CN116437039A - 环景影像会议系统及方法 - Google Patents

环景影像会议系统及方法 Download PDF

Info

Publication number
CN116437039A
CN116437039A CN202210134657.1A CN202210134657A CN116437039A CN 116437039 A CN116437039 A CN 116437039A CN 202210134657 A CN202210134657 A CN 202210134657A CN 116437039 A CN116437039 A CN 116437039A
Authority
CN
China
Prior art keywords
image
conference
surrounding
control device
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210134657.1A
Other languages
English (en)
Inventor
罗国治
林智浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amtran Technology Co Ltd
Original Assignee
Amtran Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amtran Technology Co Ltd filed Critical Amtran Technology Co Ltd
Publication of CN116437039A publication Critical patent/CN116437039A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种环景影像会议系统及方法。该环景影像会议系统包含一环景影像产生装置及一控制装置。该控制装置分析一环景影像，以辨识该环景影像中的多个影像物件。该控制装置基于一隐私模式，从所述多个影像物件中，选择一待移除影像物件。该控制装置自该环景影像中，移除对应该待移除影像物件的一影像。该控制装置基于该环景影像及一背景填补影像，产生一环景会议影像。本发明所提供的环景影像会议技术，可选择隐藏部分影像物件，提升线上会议的服务及品质。

Description

环景影像会议系统及方法
技术领域
本发明是关于一种环景影像会议系统及方法。具体而言，本发明是关于一种提供多种功能的环景影像会议系统及方法。
背景技术
近年来，由于远端工作与线上会议的需求越来越多，市场上发展出许多不同于一般视频会议的模式及服务，其中一种为能提供多人同时视频的环景影像会议。
然而，相较于一般视频会议的影像，使用环景影像的多人会议通常需要面对更多的技术问题，例如：在会议中环景影像的呈现方式及流畅度。此外，由于环景影像的摄影角度涵盖范围较广，在使用环景影像时可能会拍摄到与会议无关的敏感物件或参与人员，造成企业隐私上的疑虑。
有鉴于此，如何提供一种能够兼顾隐私权，且在环景影像会议中提供多种功能的环景影像会议技术，以提升环景影像会议的服务品质，乃业界亟需努力的目标。
发明内容
本发明的一目的在于提供一种环景影像会议系统。该环景影像会议系统包含一环景影像产生装置及一控制装置，该控制装置连接至该环景影像产生装置。该环景影像产生装置用以产生一环景影像。该控制装置分析该环景影像，以辨识该环景影像中的多个影像物件。该控制装置基于一隐私模式，从所述多个影像物件中，选择一待移除影像物件。该控制装置自该环景影像中，移除对应该待移除影像物件的一影像。该控制装置基于该环景影像及一背景填补影像，产生一环景会议影像。
本发明的另一目的在于提供一种环景影像会议方法，该环景影像会议方法用于一环景影像会议系统，该警示系统包含一环景影像产生装置及一控制装置。该环景影像会议方法由该控制装置所执行且包含下列步骤：分析自该环景影像产生装置接收的一环景影像，以辨识该环景影像中的多个影像物件；基于一隐私模式，自所述多个影像物件中选择一待移除影像物件；自该环景影像中，移除对应该待移除影像物件的一影像；以及基于该环景影像及一背景填补影像，产生一环景会议影像。
在本发明的一实施方式中，其中该控制装置更储存一影像辨识模型，且该控制装置更执行以下运作：基于一边缘侦测演算法及该影像辨识模型，辨识该环景影像中的所述多个影像物件，其中该影像辨识模型是基于多个物件特征及多个会议人员特征训练产生。
在本发明的一实施方式中，还包含：一麦克风阵列，透过一有线连接及一无线连接至少其中之一连接至网络通讯连接至该控制装置，用以感测一会议室的声音，以产生一声音信号；其中该控制装置更执行以下运作：自该麦克风阵列，接收该声音信号；基于该声音信号，判断一发话来源；比对多个会议人员特征及对应该发话来源的该环景影像，以判断对应该发话来源的该环景影像中是否具有符合所述多个会议人员特征中的一第一会议人员特征；当判断对应该发话来源的该环景影像中具有符合该第一会议人员特征时，产生对应该发话来源的一聚焦影像；以及基于该聚焦影像及该环景影像，产生该环景会议影像。
在本发明的一实施方式中，其中还包含：一显示器，用以播放一远端会议影像及一远端会议声音；其中该控制装置，更执行以下运作：基于该显示器的一位置，产生一排除区域；比对该发话来源及该排除区域，以判断该发话来源是否来自该排除区域；以及当该发话来源来自于该排除区域时，不产生对应该发话来源的该聚焦影像。
在本发明的一实施方式中，其中该环景影像产生装置还包含：一第一摄影装置及一第二摄影装置，该第一摄影装置产生一第一影像，该第二摄影装置产生一第二影像，该环景影像由该第一影像及该第二影像组成。
在本发明的一实施方式中，其中该控制装置更执行以下运作：侦测该第一影像中是否出现具有一第一会议人员特征的一第一会议人员；以及当该第一影像中出现具有该第一会议人员特征的该第一会议人员时，产生该第一会议人员的一近距离影像以作为该第一影像。
在本发明的一实施方式中，其中该控制装置更执行以下运作：侦测该第二影像中是否出现具有一第二会议人员特征的一第二会议人员；以及当该第二影像中出现具有该第二会议人员特征的该第二会议人员时，产生该第二会议人员的该近距离影像以作为该第二影像。
在本发明的一实施方式中，其中该控制装置更执行以下运作：计算该待移除影像物件的多个邻近区块的多个色彩特征值；以及基于所述多个色彩特征值，产生该背景填补影像。
在本发明的一实施方式中，其中该控制装置更储存一影像辨识模型，且该环景影像会议方法还包含下列步骤：基于一边缘侦测演算法及该影像辨识模型，辨识该环景影像中的所述多个影像物件，其中该影像辨识模型是基于多个物件特征及多个会议人员特征训练产生。
在本发明的一实施方式中，该环景会议系统还包含：一麦克风阵列，透过一有线连接及一无线连接至少其中之一连接至该控制装置，用以感测一会议室的声音，以产生一声音信号；其中该环景影像会议方法还包含下列步骤：自该麦克风阵列，接收该声音信号；基于该声音信号，判断一发话来源；比对多个会议人员特征及对应该发话来源的该环景影像，以判断对应该发话来源的该环景影像中是否具有符合所述多个会议人员特征中的一第一会议人员特征；当判断对应该发话来源的该环景影像中具有符合该第一会议人员特征时，产生对应该发话来源的一聚焦影像；以及基于该聚焦影像及该环景影像，产生该环景会议影像。
在本发明的一实施方式中，该环景会议系统还包含：一显示器，用以播放一远端会议影像及一远端会议声音；其中该环景影像会议方法还包含下列步骤：基于该显示器的一位置，产生一排除区域；比对该发话来源及该排除区域，以判断该发话来源是否来自该排除区域；以及当该发话来源来自于该排除区域时，不产生对应该发话来源的该聚焦影像。
在本发明的一实施方式中，其中该环景影像产生装置还包含：一第一摄影装置及一第二摄影装置，该第一摄影装置产生一第一影像，该第二摄影装置产生一第二影像，该环景影像由该第一影像及该第二影像组成。
在本发明的一实施方式中，其中该环景影像会议方法还包含下列步骤：侦测该第一影像中是否出现具有一第一会议人员特征的一第一会议人员；以及当该第一影像中出现具有该第一会议人员特征的该第一会议人员时，产生该第一会议人员的一近距离影像以作为该第一影像。
在本发明的一实施方式中，其中该环景影像会议方法还包含下列步骤：侦测该第二影像中是否出现具有一第二会议人员特征的一第二会议人员；以及当该第二影像中出现具有该第二会议人员特征的该第二会议人员时，产生该第二会议人员的该近距离影像以作为该第二影像。
在本发明的一实施方式中，其中该环景影像会议方法还包含下列步骤：计算该待移除影像物件的多个邻近区块的多个色彩特征值；以及基于所述多个色彩特征值，产生该背景填补影像。
本发明所提供的环景影像会议技术(至少包含系统及方法)，通过分析该环景影像，辨识该环景影像中的多个影像物件。另外，本发明所提供的环景影像会议技术可基于一隐私模式，从所述多个影像物件中，选择一待移除影像物件从该环景影像中移除。最后，基于该环景影像及背景填补影像，产生环景会议影像。本发明所提供的环景影像会议技术，透过上述机制可选择隐藏部分影像物件，提供企业更弹性的隐私需求。此外，本发明所提供的环景影像会议技术更提供了许多功能，提升了线上会议的服务及品质。
以下结合附图阐述本发明的详细技术及实施方式，以使本发明所属技术领域中具有通常知识者能理解所请求保护的发明的技术特征。
附图说明
图1是描绘第一实施方式的环景影像会议系统的架构示意图；
图2是描绘第一实施方式的控制装置架构示意图；
图3A是描绘第一实施方式的具有多个物件特征的影像示意图；
图3B是描绘第一实施方式的移除影像物件的影像示意图；以及
图4是描绘第二实施方式的环景影像会议方法的部分流程图。
【符号说明】
1：环景影像会议系统
2：控制装置
3：环景影像产生装置
4：麦克风阵列
5：显示器
301：环景影像
21：储存器
23：收发接口
25：处理器
303：影像
305：影像
OB1、OB2：影像物件
S401、S403、S405、S407：步骤
具体实施方式
以下将透过实施方式来解释本发明所提供的一种环景影像会议系统及方法。然而，这些实施方式并非用以限制本发明需在如这些实施方式所述的任何环境、应用或方式方能实施。因此，关于实施方式的说明仅为阐释本发明的目的，而非用以限制本发明的范围。应理解，在以下实施方式及附图中，与本发明非直接相关的元件已省略而未绘示，且各元件的尺寸以及元件间的尺寸比例仅为例示而已，而非用以限制本发明的范围。
先说明本发明的适用场景，其示意图是描绘于图1。如图1所示，于本发明的第一实施方式中，环景影像会议系统1至少包含了环景影像产生装置3及控制装置2。于该场景中，控制装置2可透过有线或无线的方式(例如：无线通讯网络)连线至环景影像产生装置3，环景影像产生装置3用以持续产生对应于会议的环景影像301(例如：以每秒30帧的频率)。举例而言，环景影像产生装置3可设置于会议室的桌子上，产生所有参与会议人员的影像。
于某些实施方式中，环景影像会议系统1还包含麦克风阵列4及显示器5，麦克风阵列4及显示器5可透过有线或无线的方式(例如：无线通讯网络)连线至控制装置2。
须说明者，环景影像产生装置3用以产生360度的环景影像301，环景影像产生装置3可由至少二个摄影装置所组成，且环景影像301可由这些摄影装置产生的多张影像画面(即，多个帧)组合而成。举例而言，环景影像产生装置3可由三个可拍摄视野范围(Field OfView；FOV)为120度角的摄影装置组成，因此可将各该摄影装置的影像组合后，产生360度环景的环景影像301。
于本发明中，环景影像会议系统1为本地端的会议系统，环景影像会议系统1与其他远端的会议系统(未绘示)连线，且环景影像会议系统1透过传输环景会议影像至远端的会议系统以进行线上会议，以下段落将聚焦于本地端的环景影像会议系统1的各种功能。本领域具有通常知识者应可理解不同会议系统间连线的实施细节，故不赘言。
于本发明中，为了提升线上会议的品质，环景影像会议系统1主要提供至少三类型功能，分别为隐私物件隐藏功能、发话来源聚焦功能及循环播放功能，以下段落将详细说明与本发明相关的实施细节。
本发明的第一实施方式中的控制装置2，其架构示意图是描绘于图2。控制装置2包含一储存器21、一收发接口23及一处理器25，处理器25电性连接至储存器21及收发接口23。储存器21可为一记忆体、一通用串列总线(Universal Serial Bus；USB)盘、一硬盘、一光盘、一随身盘或本发明所属技术领域中具有通常知识者所知且具有相同功能的任何其他储存媒体或电路。收发接口23为一可接收及传输数据的接口或本发明所属技术领域中具有通常知识者所知悉的其他可接收及传输数据的接口。收发接口23可透过例如：外部装置、外部网页、外部应用程序等等来源接收数据。处理器25可为各种处理单元、中央处理单元(Central Processing Unit；CPU)、微处理器或本发明所属技术领域中具有通常知识者所知悉的其他计算装置。
接着，以下将说明本发明的第一实施方式的运作，请同时参考图1及图2。本发明的第一实施方式是关于环景影像会议系统1提供的隐私物件隐藏功能。需说明者，由于在会议时，基于隐私权或是会议的需求，需要隐藏部分的会议参与人员、敏感物件及会议室中的杂物等等。因此，于本实施方式中，控制装置2可透过辨识环景影像301中的物件，并将部分的物件移除(例如：将该物件透明化)，产生移除后的环景会议影像。
具体而言，控制装置2分析环景影像301，以辨识环景影像301中的多个影像物件。当使用者透过控制装置2选择一隐私模式时，控制装置2可从所述多个影像物件中，选择一待移除影像物件。于某些实施方式中，控制装置2亦可从所述多个影像物件中，选择多个待移除影像物件。须说明者，该隐私模式可包含一待移除影像物件的清单，该清单指示需要被隐藏的影像物件。举例而言，该清单可从多个预设模板中挑选，或是由控制装置2辨识完环景影像301中的多个影像物件后，由使用者动态的选择所产生(例如：手动勾选需要隐藏的会议参与人员、敏感物件等等)。
于某些实施方式中，控制装置2更储存一影像辨识模型，且控制装置3基于一边缘侦测(Edge Detection)演算法及该影像辨识模型，辨识环景影像301中的这些影像物件。举例而言，控制装置2通过边缘侦测演算法，对环景影像301进行边缘侦测，以找出影像中(即，环景影像301)的物件。接着，透过影像辨识模型，针对此区的影像数据进行分类及特征值比对，以辨识出影像中物品及人物所在位置及身分数据。
须说明者，该影像辨识模型可用于识别环景影像301中的所述多个影像物件，该影像辨识模型可由多个物件特征及多个会议人员特征，经由一类神经网络架构训练产生，本领域具有通常知识者应可基于上述说明内容理解其运作方式，故不赘言。
接着，于本实施方式中，控制装置2自环景影像301中，移除对应该待移除影像物件的一影像。最后，控制装置3基于该环景影像及一背景填补影像，产生一环景会议影像。
于某些实施方式中，控制装置3先计算该待移除影像物件的多个邻近区块的多个色彩特征值，接着控制装置2基于所述多个色彩特征值，产生该背景填补影像。举例而言，控制装置2可透过最近邻居演算法(例如：k-nearest neighbors(KNN)演算法)，分离前景物件及背景，且计算移除后的空白区域的色彩特征值分布。接着，产生填补该空白区域的背景填补影像。于某些实施方式中，控制装置2亦可基于半纹理合成演算法(Sub-patch TextureSynthesis Algorithm)，再次对于空白区域进行第二次区域填补，以使融合后的影像更为自然。
为便于理解，以一实际范例举例而言，请同时参考图3A及图3B。图3A例示了具有多个物件特征的影像303，经由控制装置2分析影像303后，辨识出影像303中包含影像物件OB1及OB2。于本范例中，当影像物件OB1及OB2均为待移除影像物件时，控制装置2移除影像303中影像物件OB1及OB2的影像(即，影像物件OB1及OB2所框出的区域)，透过前述方法所产生的背景填补影像，控制装置2产生如图3B的影像305。
应理解，为便于例示，影像303及影像305仅为影像中的其中一帧，实际上运作时，控制装置2是持续的对影像中的一或多个帧(例如：同时基于10个帧)动态的进行判断，可视控制装置2实际上运作的需求调整，本领域具有通常知识者应可基于上述内容理解对于多个帧时的实施方式，故不赘言。
接着说明，本发明的环景影像会议系统1提供的发话来源聚焦功能。在会议进行中时，当有会议人员进行发言时，环景影像会议系统1可将影像聚焦至该发言者(例如：产生聚焦于该发言者的影像)，以提升会议的品质。
具体而言，环景影像会议系统1还包含麦克风阵列4，透过一有线连接及一无线连接至少其中之一连接至网络通讯连接至控制装置2，麦克风阵列4用以感测会议室的声音，以产生一声音信号。控制装置2首先自麦克风阵列4，接收该声音信号。接着，控制装置2基于该声音信号，判断一发话来源(例如：会议发言者)。
随后，控制装置2比对多个会议人员特征及对应该发话来源的该环景影像，以判断对应该发话来源的该环景影像中是否具有符合所述多个会议人员特征中的一第一会议人员特征。当判断对应该发话来源的该环景影像中具有符合该第一会议人员特征时，控制装置2产生对应该发话来源的一聚焦影像。最后，控制装置2基于该聚焦影像及该环景影像，产生该环景会议影像(例如：产生上下的分割影像，上面的影像为该环景影像，下面的影像为该聚焦影像)。
举例而言，控制装置2可基于波达方向(Direction of arrival；DOA)及波束成型(beamforming)技术，判断发话来源。须说明者，控制装置2透过比对发话来源是否符合所述多个会议人员特征，以确定发话来源确实为参与会议的人员所发出，可避免环境中的噪音或是不相关动作所造成的误判，提升会议的品质。
此外，由于会议进行时，会议室通常设置有用以播放远端影像及声音的显示器，为避免显示器所播放的远端会议声音，将引起聚焦影像聚焦于显示器的状况发生。因此，于某些实施方式中，控制装置2将限制“发话来源聚焦功能”使用的范围，以避免误判的情形(即，由显示器5发出的声音须主动排除)。具体而言，环景影像会议系统1还包含显示器5，用以播放一远端会议影像及一远端会议声音。控制装置2基于该显示器的一位置，产生一排除区域。控制装置2比对该发话来源及该排除区域，以判断该发话来源是否来自该排除区域，当该发话来源来自于该排除区域时，不产生对应该发话来源的该聚焦影像。
须说明者，控制装置2可透过前述的物件辨识，确认显示器5的位置。此外，于某些实施方式中，当显示器5的位置移动时，控制装置2亦可动态的调整排除区域，以避免误判的发生。
接着说明，本发明的环景影像会议系统1提供的循环播放功能，以下段落将详细说明与本发明相关的实施细节。在会议开始前或会议结束后，环景影像会议系统1可在影像侦测到参与会议的人员出现时，产生该参与会议的人员的近距离影像，并开启循环影像以介绍目前已到场的会议的人员(例如：循环模式播放)。
具体而言，环景影像会议系统1中的环景影像产生装置3可能还包含一第一摄影装置及一第二摄影装置，该第一摄影装置产生一第一影像，该第二摄影装置产生一第二影像，环景影像301由该第一影像及该第二影像组成。
于本实施方式中，控制装置2可侦测该第一影像中是否出现具有一第一会议人员特征的一第一会议人员，当该第一影像中出现具有该第一会议人员特征的该第一会议人员时，控制装置2产生该第一会议人员的一近距离影像以作为该第一影像。
此外，控制装置2侦测该第二影像中是否出现具有一第二会议人员特征的一第二会议人员，当该第二影像中出现具有该第二会议人员特征的该第二会议人员时，控制装置2产生该第二会议人员的该近距离影像以作为该第二影像。
因此，在会议开始前或会议结束后，环景影像会议系统1可循环播放由该第一影像及该第二影像组成的环景影像301。应理解，本发明并未限制摄影装置及影像的数量，本领域具有通常知识者应可基于上述内容理解当具有不同数量的摄影装置及影像(即，大于2)的实施方式，故不赘言。
于某些实施方式中，环景影像会议系统1可还包含一云端服务器，环景影像会议系统1可透过有线网络或无线网络传送会议数据(例如：本次会议的环景会议影像、相关信息等等)至该云端服务器，将会议数据储存于该云端服务器作为历史会议记录，提供会议相关人员进行查询。
由上述说明可知，本发明所提供的环景影像会议系统1，通过分析该环景影像，辨识该环景影像中的多个影像物件。另外，本发明所提供的环景影像会议系统1可基于一隐私模式，从所述多个影像物件中，选择一待移除影像物件从该环景影像中移除。最后，基于该环景影像及背景填补影像，产生环景会议影像。环景影像会议系统1，透过上述机制可选择隐藏部分影像物件，提供企业更弹性的隐私需求。此外，环景影像会议系统1更提供了许多功能，提升了线上会议的服务及品质。
本发明的第二实施方式为一环景影像会议方法，其流程图是描绘于图4。环景影像会议方法400适用于一环景影像会议系统，例如：第一实施方式所述的环景影像会议系统1。该环景影像会议系统包含一环景影像产生装置及一控制装置，例如：第一实施方式所述的环景影像产生装置3及控制装置2。环景影像会议方法400由该控制装置所执行，且透过步骤S401至步骤S407产生环景会议影像。
于步骤S401，由该控制装置分析自该环景影像产生装置接收的一环景影像，以辨识该环景影像中的多个影像物件。于步骤S403，由该控制装置基于一隐私模式，自所述多个影像物件中选择一待移除影像物件。
接着，于步骤S405，由该控制装置自该环景影像中，移除对应该待移除影像物件的一影像。最后，于步骤S407，由该控制装置基于该环景影像及一背景填补影像，产生一环景会议影像。
于某些实施方式中，其中该控制装置更储存一影像辨识模型，且环景影像会议方法400还包含下列步骤：基于一边缘侦测演算法及该影像辨识模型，辨识该环景影像中的所述多个影像物件，其中该影像辨识模型是基于多个物件特征及多个会议人员特征训练产生。
于某些实施方式中，该环景会议系统还包含一麦克风阵列(例如：第一实施方式所述的麦克风阵列4)，透过一有线连接及一无线连接至少其中之一连接至该控制装置，用以感测一会议室的声音，以产生一声音信号。其中环景影像会议方法400还包含下列步骤：自该麦克风阵列，接收该声音信号；基于该声音信号，判断一发话来源；比对多个会议人员特征及对应该发话来源的该环景影像，以判断对应该发话来源的该环景影像中是否具有符合所述多个会议人员特征中的一第一会议人员特征；当判断对应该发话来源的该环景影像中具有符合该第一会议人员特征时，产生对应该发话来源的一聚焦影像；以及基于该聚焦影像及该环景影像，产生该环景会议影像。
于某些实施方式中，该环景会议系统还包含一显示器(例如：第一实施方式所述的显示器5)，用以播放一远端会议影像及一远端会议声音。其中环景影像会议方法400还包含下列步骤：基于该显示器的一位置，产生一排除区域；比对该发话来源及该排除区域，以判断该发话来源是否来自该排除区域；以及当该发话来源来自于该排除区域时，不产生对应该发话来源的该聚焦影像。
于某些实施方式中，其中该环景影像产生装置还包含：一第一摄影装置及一第二摄影装置，该第一摄影装置产生一第一影像，该第二摄影装置产生一第二影像，该环景影像由该第一影像及该第二影像组成。
于某些实施方式中，其中环景影像会议方法400还包含下列步骤：侦测该第一影像中是否出现具有一第一会议人员特征的一第一会议人员；以及当该第一影像中出现具有该第一会议人员特征的该第一会议人员时，产生该第一会议人员的一近距离影像以作为该第一影像。
于某些实施方式中，其中环景影像会议方法400还包含下列步骤：侦测该第二影像中是否出现具有一第二会议人员特征的一第二会议人员；以及当该第二影像中出现具有该第二会议人员特征的该第二会议人员时，产生该第二会议人员的该近距离影像以作为该第二影像。
于某些实施方式中，其中环景影像会议方法400还包含下列步骤：计算该待移除影像物件的多个邻近区块的多个色彩特征值；以及基于所述多个色彩特征值，产生该背景填补影像。
除了上述步骤，第二实施方式亦能执行第一实施方式所描述的环景影像会议系统1的所有运作及步骤，具有同样的功能，且达到同样的技术效果。本发明所属技术领域中具有通常知识者可直接了解第二实施方式如何基于上述第一实施方式以执行此等运作及步骤，具有同样的功能，并达到同样的技术效果，故不赘述。
需说明者，于本发明专利说明书及权利要求书中，某些用语(包含：影像、会议人员、会议人员特征及摄影装置)前被冠以“第一”或“第二”，这些“第一”及“第二”仅用来区分不同的用语。例如：第一影像及第二影像中的“第一”及“第二”仅用来表示不同运作时的影像。
综上所述，本发明所提供的环景影像会议技术(至少包含系统及方法)，通过分析该环景影像，辨识该环景影像中的多个影像物件。另外，本发明所提供的环景影像会议技术可基于一隐私模式，从这些影像物件中，选择一待移除影像物件从该环景影像中移除。最后，基于该环景影像及背景填补影像，产生环景会议影像。本发明所提供的环景影像会议技术，透过上述机制可选择隐藏部分影像物件，提供企业更弹性的隐私需求。此外，本发明所提供的环景影像会议技术更提供了许多功能，提升了线上会议的服务及品质。
上述实施方式仅用来例举本发明的部分实施态样，以及阐释本发明的技术特征，而非用来限制本发明的保护范畴及范围。任何本发明所属技术领域中具有通常知识者可轻易完成的改变或均等性的安排均属于本发明所主张的范围，而本发明的权利保护范围以权利要求书为准。

Claims (16)

1.一种环景影像会议系统，其特征在于，包含：
一环景影像产生装置，用以产生一环景影像；
一控制装置连接该环景影像产生装置，并执行以下运作：
分析该环景影像，以辨识该环景影像中的多个影像物件；
基于一隐私模式，从所述多个影像物件中，选择一待移除影像物件；
自该环景影像中，移除对应该待移除影像物件的一影像；以及
基于该环景影像及一背景填补影像，产生一环景会议影像。
2.如权利要求1所述的环景影像会议系统，其特征在于，其中该控制装置更储存一影像辨识模型，且该控制装置更执行以下运作：
基于一边缘侦测演算法及该影像辨识模型，辨识该环景影像中的所述多个影像物件，其中该影像辨识模型是基于多个物件特征及多个会议人员特征训练产生。
3.如权利要求1所述的环景影像会议系统，其特征在于，还包含：
一麦克风阵列，透过一有线连接及一无线连接至少其中之一连接至网络通讯连接至该控制装置，用以感测一会议室的声音，以产生一声音信号；
其中该控制装置更执行以下运作：
自该麦克风阵列，接收该声音信号；
基于该声音信号，判断一发话来源；
比对多个会议人员特征及对应该发话来源的该环景影像，以判断对应该发话来源的该环景影像中是否具有符合所述多个会议人员特征中的一第一会议人员特征；
当判断对应该发话来源的该环景影像中具有符合该第一会议人员特征时，产生对应该发话来源的一聚焦影像；以及
基于该聚焦影像及该环景影像，产生该环景会议影像。
4.如权利要求3所述的环景影像会议系统，其特征在于，其中还包含：
一显示器，用以播放一远端会议影像及一远端会议声音；
其中该控制装置，更执行以下运作：
基于该显示器的一位置，产生一排除区域；
比对该发话来源及该排除区域，以判断该发话来源是否来自该排除区域；以及
当该发话来源来自于该排除区域时，不产生对应该发话来源的该聚焦影像。
5.如权利要求1所述的环景影像会议系统，其特征在于，其中该环景影像产生装置还包含：
一第一摄影装置及一第二摄影装置，该第一摄影装置产生一第一影像，该第二摄影装置产生一第二影像，该环景影像由该第一影像及该第二影像组成。
6.如权利要求5所述的环景影像会议系统，其特征在于，其中该控制装置更执行以下运作：
侦测该第一影像中是否出现具有一第一会议人员特征的一第一会议人员；以及
当该第一影像中出现具有该第一会议人员特征的该第一会议人员时，产生该第一会议人员的一近距离影像以作为该第一影像。
7.如权利要求6所述的环景影像会议系统，其特征在于，其中该控制装置更执行以下运作：
侦测该第二影像中是否出现具有一第二会议人员特征的一第二会议人员；以及
当该第二影像中出现具有该第二会议人员特征的该第二会议人员时，产生该第二会议人员的该近距离影像以作为该第二影像。
8.如权利要求1所述的环景影像会议系统，其特征在于，其中该控制装置更执行以下运作：
计算该待移除影像物件的多个邻近区块的多个色彩特征值；以及
基于所述多个色彩特征值，产生该背景填补影像。
9.一种环景影像会议方法，其特征在于，用于一环景影像会议系统，该环景影像会议系统包含一环景影像产生装置及一控制装置，该环景影像会议方法由该控制装置所执行且包含下列步骤：
分析自该环景影像产生装置接收的一环景影像，以辨识该环景影像中的多个影像物件；
基于一隐私模式，自所述多个影像物件中选择一待移除影像物件；
自该环景影像中，移除对应该待移除影像物件的一影像；以及
基于该环景影像及一背景填补影像，产生一环景会议影像。
10.如权利要求9所述的环景影像会议方法，其特征在于，其中该控制装置更储存一影像辨识模型，且该环景影像会议方法还包含下列步骤：
基于一边缘侦测演算法及该影像辨识模型，辨识该环景影像中的所述多个影像物件，其中该影像辨识模型是基于多个物件特征及多个会议人员特征训练产生。
11.如权利要求9所述的环景影像会议方法，其特征在于，该环景会议系统还包含：
一麦克风阵列，透过一有线连接及一无线连接至少其中之一连接至该控制装置，用以感测一会议室的声音，以产生一声音信号；
其中该环景影像会议方法还包含下列步骤：
自该麦克风阵列，接收该声音信号；
基于该声音信号，判断一发话来源；
比对多个会议人员特征及对应该发话来源的该环景影像，以判断对应该发话来源的该环景影像中是否具有符合所述多个会议人员特征中的一第一会议人员特征；
当判断对应该发话来源的该环景影像中具有符合该第一会议人员特征时，产生对应该发话来源的一聚焦影像；以及
基于该聚焦影像及该环景影像，产生该环景会议影像。
12.如权利要求11所述的环景影像会议方法，其特征在于，该环景会议系统还包含：
一显示器，用以播放一远端会议影像及一远端会议声音；
其中该环景影像会议方法还包含下列步骤：
基于该显示器的一位置，产生一排除区域；
比对该发话来源及该排除区域，以判断该发话来源是否来自该排除区域；以及
当该发话来源来自于该排除区域时，不产生对应该发话来源的该聚焦影像。
13.如权利要求9所述的环景影像会议方法，其特征在于，其中该环景影像产生装置还包含：
一第一摄影装置及一第二摄影装置，该第一摄影装置产生一第一影像，该第二摄影装置产生一第二影像，该环景影像由该第一影像及该第二影像组成。
14.如权利要求13所述的环景影像会议方法，其特征在于，其中该环景影像会议方法还包含下列步骤：
侦测该第一影像中是否出现具有一第一会议人员特征的一第一会议人员；以及
当该第一影像中出现具有该第一会议人员特征的该第一会议人员时，产生该第一会议人员的一近距离影像以作为该第一影像。
15.如权利要求14所述的环景影像会议方法，其特征在于，其中该环景影像会议方法还包含下列步骤：
侦测该第二影像中是否出现具有一第二会议人员特征的一第二会议人员；以及
当该第二影像中出现具有该第二会议人员特征的该第二会议人员时，产生该第二会议人员的该近距离影像以作为该第二影像。
16.如权利要求9所述的环景影像会议方法，其特征在于，其中该环景影像会议方法还包含下列步骤：
计算该待移除影像物件的多个邻近区块的多个色彩特征值；以及
基于所述多个色彩特征值，产生该背景填补影像。
CN202210134657.1A 2021-12-30 2022-02-14 环景影像会议系统及方法 Pending CN116437039A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW110149736 2021-12-30
TW110149736A TWI799048B (zh) 2021-12-30 2021-12-30 環景影像會議系統及方法

Publications (1)

Publication Number Publication Date
CN116437039A true CN116437039A (zh) 2023-07-14

Family

ID=86948753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210134657.1A Pending CN116437039A (zh) 2021-12-30 2022-02-14 环景影像会议系统及方法

Country Status (3)

Country Link
US (1) US20230215011A1 (zh)
CN (1) CN116437039A (zh)
TW (1) TWI799048B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201901527A (zh) * 2017-05-26 2019-01-01 和碩聯合科技股份有限公司 視訊會議裝置與視訊會議管理方法
CN108447105A (zh) * 2018-02-02 2018-08-24 微幻科技(北京)有限公司 一种全景图像的处理方法及装置
CN111918018B (zh) * 2019-05-08 2022-05-06 奥图码股份有限公司 视频会议系统、视频会议设备以及视频会议方法

Also Published As

Publication number Publication date
TW202327342A (zh) 2023-07-01
TWI799048B (zh) 2023-04-11
US20230215011A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
CN109325933B (zh) 一种翻拍图像识别方法及装置
CN107980221B (zh) 合成并缩放角度分离的子场景
US9894320B2 (en) Information processing apparatus and image processing system
US10083710B2 (en) Voice control system, voice control method, and computer readable medium
US10582117B1 (en) Automatic camera control in a video conference system
CN111918018B (zh) 视频会议系统、视频会议设备以及视频会议方法
US11501578B2 (en) Differentiating a rendered conference participant from a genuine conference participant
CN106470313B (zh) 影像产生系统及影像产生方法
US11477393B2 (en) Detecting and tracking a subject of interest in a teleconference
US20200304713A1 (en) Intelligent Video Presentation System
JP2019220848A (ja) データ処理装置、データ処理方法及びプログラム
US20210135892A1 (en) Automatic Detection Of Presentation Surface and Generation of Associated Data Stream
CN110673811B (zh) 基于声音信息定位的全景画面展示方法、装置及存储介质
JP2009206924A (ja) 情報処理装置、情報処理システム及び情報処理プログラム
CN114245065A (zh) 用于会议系统的定位跟踪方法、系统及电子设备
JPWO2009119288A1 (ja) コミュニケーションシステム及びコミュニケーションプログラム
JP4934158B2 (ja) 映像音声処理装置、映像音声処理方法、映像音声処理プログラム
Pingali et al. Audio-visual tracking for natural interactivity
KR100711950B1 (ko) 하이브리드 광학 및 가상 주밍 장치를 사용한 관심있는물체의 실시간 트래킹
CN116437039A (zh) 环景影像会议系统及方法
CN114422743A (zh) 视频流显示方法、装置、计算机设备和存储介质
JP2009060220A (ja) コミュニケーションシステム及びコミュニケーションプログラム
CN113824916A (zh) 图像显示方法、装置、设备及存储介质
JP2017108240A (ja) 情報処理装置、及び情報処理方法
US20240177335A1 (en) Data processing method, electronic apparatus, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination