CN104539873B - 远程会议系统和进行远程会议的方法 - Google Patents
远程会议系统和进行远程会议的方法 Download PDFInfo
- Publication number
- CN104539873B CN104539873B CN201510013171.2A CN201510013171A CN104539873B CN 104539873 B CN104539873 B CN 104539873B CN 201510013171 A CN201510013171 A CN 201510013171A CN 104539873 B CN104539873 B CN 104539873B
- Authority
- CN
- China
- Prior art keywords
- personnel
- audience
- audiences
- image
- talked
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 230000001815 facial effect Effects 0.000 claims description 28
- 210000001508 eye Anatomy 0.000 claims description 25
- 210000005252 bulbus oculi Anatomy 0.000 claims description 19
- 210000003128 head Anatomy 0.000 claims description 6
- 238000010276 construction Methods 0.000 description 3
- 241000287181 Sturnus vulgaris Species 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明的实施例公开了一种远程会议系统和进行远程会议的方法。远程会议系统包括：处于第一会议场所的第一图像显示系统，用于显示多个听众的图像；检测系统，检测处于第一会议场所的人员的头部的至少一部分的动作或位姿；判断系统，基于检测系统检测到的动作或位姿判断正在讲话的人员是正在对某一听众或某些听众讲话还是针对所有听众讲话；处于第二会议场所的第二图像显示系统，在判断系统判断出正在讲话的人员是正在对多个听众中的某一听众或某些听众讲话时，向多个听众中的某一听众或某些听众显示特定图像，使多个听众中的某一听众或某些听众知道正在讲话的人员是正在对自己讲话。由此，使远程会议中目标听众知道讲话的人员正在对自己讲话。
Description
技术领域
本发明的实施例涉及一种远程会议系统和进行远程会议的方法。
背景技术
基于互联网的远程会议成为了许多办公的选择。但是，远程会议中听众无法知道说话的人是否正在针对自己讲话。
发明内容
本发明的实施例的目的是提供一种远程会议系统和进行远程会议的方法，由此，远程会议中听众能够知道说话的人员是否正在针对自己讲话。
根据本发明的实施例，提供了一种远程会议系统，该远程会议系统包括：处于第一会议场所的第一图像显示系统，所述第一图像显示系统用于显示多个听众的图像；检测系统，所述检测系统构造成检测处于第一会议场所的人员的头部的至少一部分的动作或位姿；判断系统，所述判断系统构造成基于所述检测系统检测到的动作或位姿判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话；处于第二会议场所的第二图像显示系统，所述第二图像显示系统构造成在所述判断系统判断出正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话时，向所述多个听众中的某一听众或某些听众显示特定图像，使所述多个听众中的某一听众或某些听众知道正在讲话的人员是正在对自己讲话。
采用上述技术方案，例如使远程会议中目标听众知道讲话的人员正在对自己讲话。
根据本发明的实施例，所述的远程会议系统还包括：处于第一会议场所的声音跟踪系统，所述声音跟踪系统构造成确定处于第一会议场所的人员中谁正在讲话。
采用上述技术方案，例如可以在第一会议场所具有多个人员时自动确定谁正在讲话。
根据本发明的实施例，所述第二图像显示系统进一步构造成在所述判断系统判断出正在讲话的人员是正在对所有听众讲话时，向所有听众显示普通图像。
采用上述技术方案，例如听众能够知道讲话不是针对自己。
根据本发明的实施例，所述第二图像显示系统进一步构造成在向所述多个听众中的某一听众或某些听众显示特定图像的同时，向其余的听众显示普通图像。
采用上述技术方案，例如其余的听众能够知道讲话不是针对自己。
根据本发明的实施例，除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外，在第一会议场所还包括另外的人员，所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像。
采用上述技术方案，例如在两个会议场所都有多个人时，向某一听众或某些听众提供仅仅包含讲话的人员的图像，使听众知道讲话是针对自己。
根据本发明的实施例，除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外，在第一会议场所还包括另外的人员，所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像，而所述普通图像包含正在讲话的人员以及至少一个另外的人员的图像或正在讲话的人员以及至少一个另外的人员的面部的图像。
采用上述技术方案，例如在两个会议场所都有多个人时，向听众提供仅仅包含讲话的人员的图像或包含第一会议场所的所有人的图像，使听众知道讲话是否是针对自己。
根据本发明的实施例，除了包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像之外，所述普通图像比所述特定图像包含更多的场景的图像。
采用上述技术方案，例如第一会议场所有一个人或多个人时，改变图像中的场景的大小，使听众知道讲话是否是针对自己。
根据本发明的实施例，正在对所述多个听众中的某一听众或某些听众讲话的人员的图像在所述特定图像中的大小大于在所述普通图像中的大小。
采用上述技术方案，例如第一会议场所有一个人或多个人时，改变图像中的讲话的人员的图像的大小，使听众知道讲话是否是针对自己
根据本发明的实施例，正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像在所述特定图像中的大小大于在所述普通图像中的大小。
采用上述技术方案，例如第一会议场所有一个人或多个人时，改变图像中的讲话的人员的面部的图像的大小，使听众知道讲话是否是针对自己。
根据本发明的实施例，所述检测系统是眼球跟踪系统，所述眼球跟踪系统构造成检测处于第一会议场所的人员的眼球动作，所述判断系统基于所述眼球跟踪系统检测到的眼球动作，判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
采用上述技术方案，例如可以更准确地确定正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
根据本发明的实施例，本发明提供了一种进行远程会议的方法，该方法包括：在第一会议场所利用第一图像显示系统显示多个听众的图像；利用检测系统检测处于第一会议场所的人员的头部的至少一部分的动作或位姿；利用判断系统基于所述检测系统检测到的动作或位姿判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话；在所述判断系统判断出正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话时，利用处于第二会议场所的第二图像显示系统向所述多个听众中的某一听众或某些听众显示特定图像，使所述多个听众中的某一听众或某些听众知道正在讲话的人员是正在对自己讲话。
采用上述技术方案，例如使远程会议中目标听众知道讲话的人员正在对自己讲话。
根据本发明的实施例，所述的进行远程会议的方法还包括：在判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话之前，利用声音跟踪系统确定处于第一会议场所的人员中谁正在讲话。
采用上述技术方案，例如可以在第一会议场所具有多个人员时自动确定谁正在讲话。
根据本发明的实施例，所述的进行远程会议的方法还包括：在所述判断系统判断出正在讲话的人员是正在对所有听众讲话时，利用所述第二图像显示系统向所有听众显示普通图像。
采用上述技术方案，例如听众能够知道讲话不是针对自己。
根据本发明的实施例，所述的进行远程会议的方法还包括：利用所述第二图像显示系统在向所述多个听众中的某一听众或某些听众显示特定图像的同时，向其余的听众显示普通图像。
采用上述技术方案，例如其余的听众能够知道讲话不是针对自己。
根据本发明的实施例，除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外，在第一会议场所还包括另外的人员，所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像。
采用上述技术方案，例如在两个会议场所都有多个人时，向某一听众或某些听众提供仅仅包含讲话的人员的图像，使听众知道讲话是针对自己。
根据本发明的实施例，除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外，在第一会议场所还包括另外的人员，所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像，而所述普通图像包含正在讲话的人员以及至少一个另外的人员的图像或正在讲话的人员以及至少一个另外的人员的面部的图像。
采用上述技术方案，例如在两个会议场所都有多个人时，向听众提供仅仅包含讲话的人员的图像或包含第一会议场所的所有人的图像，使听众知道讲话是否是针对自己。
根据本发明的实施例，除了包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像之外，所述普通图像比所述特定图像包含更多的场景的图像。
采用上述技术方案，例如第一会议场所有一个人或多个人时，改变图像中的场景的大小，使听众知道讲话是否是针对自己。
根据本发明的实施例，正在对所述多个听众中的某一听众或某些听众讲话的人员的图像在所述特定图像中的大小大于在所述普通图像中的大小。
采用上述技术方案，例如第一会议场所有一个人或多个人时，改变图像中的讲话的人员的图像的大小，使听众知道讲话是否是针对自己
根据本发明的实施例，正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像在所述特定图像中的大小大于在所述普通图像中的大小。
采用上述技术方案，例如第一会议场所有一个人或多个人时，改变图像中的讲话的人员的面部的图像的大小，使听众知道讲话是否是针对自己。
所述检测系统是眼球跟踪系统，所述眼球跟踪系统构造成检测处于第一会议场所的人员的眼球动作，所述判断系统基于所述眼球跟踪系统检测到的眼球动作，判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
采用上述技术方案，例如可以更准确地确定正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
附图说明
图1为根据本发明的一个实施例的远程会议系统的示意框图；以及
图2为根据本发明的一个实施例的进行远程会议的方法的流程图。
具体实施方式
下面结合说明书附图来说明本发明的具体实施方式。
下面结合附图，对本发明实施例的具体实施方式进行详细地说明。另外，在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本披露实施例的全面理解。然而明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。在其他情况下，公知的结构和装置以图示的方式体现以简化附图。
如图1所示，根据本发明的实施例的远程会议系统100包括：处于第一会议场所10的第一图像显示系统D1，所述第一图像显示系统D1用于显示多个听众B1、B2、B3的图像；检测系统，所述检测系统构造成检测处于第一会议场所10的人员A1、A2、A3的头部的至少一部分的动作或位姿；判断系统J，所述判断系统J构造成基于所述检测系统检测到的动作或位姿判断正在讲话的人员(例如处于第一会议场所10的一个人员或多个人员A1、A2、A3)是正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话还是针对所有听众B1、B2、B3讲话；处于第二会议场所20的第二图像显示系统D2，所述第二图像显示系统D2构造成在所述判断系统J判断出正在讲话的人员是正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话时，向所述多个听众B1、B2、B3中的某一听众或某些听众显示特定图像，使所述多个听众B1、B2、B3中的某一听众或某些听众知道正在讲话的人员是正在对自己讲话。由此，使远程会议中目标听众知道讲话的人员正在对自己讲话。此外，根据本发明的实施例的远程会议系统还可以包括：处于第一会议场所的声音跟踪系统V，所述声音跟踪系统V构造成确定处于第一会议场所10的人员A1、A2、A3中谁正在讲话。由此，可以在第一会议场所10具有多个人员A1、A2、A3时自动确定谁正在讲话。此外，根据本发明的实施例的远程会议系统还可以包括控制器等，用于控制各个组成部件的操作。
根据本发明的实施例，检测系统可以是眼球跟踪系统E，所述眼球跟踪系统E构造成检测处于第一会议场所10的人员A1、A2、A3的眼球动作，所述判断系统J基于所述眼球跟踪系统E检测到的眼球动作，判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。由此，可以更准确地确定正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
此外，作为选择，也可以采用检测正在讲话的人员的面部朝向的面部朝向检测系统或其它任何合适的系统，由此所述判断系统J基于检测结果判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
例如，参见图1，声音跟踪系统V能够自动寻找声源位置，由此确定处于第一会议场所10的人员A1、A2、A3中谁正在讲话。在第一会议场所10设置摄像系统C，摄像系统C根据声音跟踪系统V确定的声源位置，进行图像采集。多个人员A1、A2、A3在讲话时，或通过麦克风讲话时被声音跟踪系统V探测到，然后摄像系统C进行图像采集。声音跟踪系统V可以是语音寻址系统。眼球跟踪系统E可以通过特殊设计的光学探头，去捕捉人的眼球动作，所述判断系统J基于所述眼球跟踪系统E检测到的眼球动作判断正在讲话的人员是正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话还是针对所有听众讲话。例如，眼球跟踪系统E可以设有光学探头，去捕捉人的眼球动作。此外，远程会议系统100还包括：处于第二会议场所20的摄像系统，用于将多个听众B1、B2、B3的图像传送到处于第一会议场所10的第一图像显示系统D1。在第一会议场所10的人员A1、A2、A3和处于第二会议场所20的听众B1、B2、B3进行对话的情况下，与第一会议场所10一样，第二会议场所20可以设有声音跟踪系统V、眼球跟踪系统E和摄像系统C。
如图1所示，根据本发明的一些实施例，所述第二图像显示系统D2进一步构造成在所述判断系统J判断出正在讲话的人员是正在对所有听众讲话时，向所有听众B1、B2、B3显示普通图像。由此，听众能够知道讲话不是针对自己。根据本发明的另外一些实施例，所述第二图像显示系统D2进一步构造成在向所述多个听众B1、B2、B3中的某一听众或某些听众显示特定图像的同时，向其余的听众显示普通图像。由此，其余的听众能够知道讲话不是针对自己。
根据本发明的一些实施例，除了正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员之外，在第一会议场所10还包括另外的人员，所述特定图像仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的面部的图像。由此，在两个会议场所都有多个人时，向某一听众或某些听众提供仅仅包含讲话的人员的图像，使听众知道讲话是针对自己。
根据本发明的另外一些实施例，除了正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员之外，在第一会议场所10还包括另外的人员，所述特定图像仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的面部的图像，而所述普通图像包含正在讲话的人员以及至少一个另外的人员的图像或正在讲话的人员以及至少一个另外的人员的面部的图像。在两个会议场所都有多个人时，向听众提供仅仅包含讲话的人员的图像或包含第一会议场所的所有人的图像，使听众知道讲话是否是针对自己。
作为特定图像和普通图像的一种实施例，除了包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像之外，所述普通图像比所述特定图像包含更多的场景的图像。由此第一会议场所有一个人或多个人时，改变图像中的场景的大小，使听众知道讲话是否是针对自己。
作为特定图像和普通图像的另一种实施例，正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像在所述特定图像中的大小大于在所述普通图像中的大小。由此，第一会议场所有一个人或多个人时，改变图像中的讲话的人员的图像的大小，使听众知道讲话是否是针对自己。作为特定图像和普通图像的再一种实施例，正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的面部的图像在所述特定图像中的大小大于在所述普通图像中的大小。由此，第一会议场所有一个人或多个人时，改变图像中的讲话的人员的面部的图像的大小，使听众知道讲话是否是针对自己。
例如，声音跟踪系统V确定处于第一会议场所10的人员A1、A2、A3中谁正在讲话，判断系统J判断正在讲话的人员是正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话还是针对所有听众讲话，根据判断系统J判断的结果，会议系统100中的第二图像显示系统D2对多个听众B1、B2、B3提供不同的图像或相同的图像，例如第二图像显示系统D2可以是多视场显示系统或多个显示器，由此可以对多个听众B1、B2、B3提供不同的图像，这样就可以根据不同的需要，更加接近地还原实际的远程会议场景。
比如，在第一会议场所10，如图1所示，声音跟踪系统V检测到正在讲话的人员A2在讲话，并且正在讲话的人员A2在讲话时如果眼部盯着第一图像显示系统D1中的听众B3的图像，判断系统J判断出正在讲话的人员A2和听众B3是在进行单独的对话和交流，第二图像显示系统D2会向听众B3显示特定的图像，例如采用多视场显示系统向听众B3显示特定的图像，而第二图像显示系统D2向其他听众B1和B2依旧提供普通图像，例如第一会议场所10的全部场景，即第二图像显示系统D2向其他听众B1和B2提供的普通图像不受影响。如果眼球跟踪系统E探测到正在讲话的人员A2的眼部动作没有固定的对象，那么判断系统J会判断出正在讲话的人员A2是针对所有听众B1、B2、B3在讲话，所以第二图像显示系统D2不会做特殊处理或所以第二图像显示系统D2提供所有第一会议场所10的人员A1、A2、A3的图像。
例如，在视频会议中，眼球跟踪系统E会捕捉到正在讲话的人员A2盯着第一图像显示系统D1中的听众B3的图像，语音跟踪系统V检测到正在讲话的人员A2发出声音，由此判断系统J判断出正在讲话的人员A2主要是针对听众B3进行讲话，这样在摄像系统C的配合下，将采集的图像输送给第二图像显示系统D2，第二图像显示系统D2会向听众B3显示特定的图像，例如正在讲话的人员A2的单人的影像，而第二图像显示系统D2向其他听众B1和B2依旧提供普通图像，例如第一会议场所10的全景的视频影像或所有第一会议场所10的人员A1、A2、A3的图像。由此，提高了远程视频会议的针对性，避免讲话者针对听者的不确定导致的交流阻塞。
作为另一个示例，在视频会议中，眼球跟踪系统E通过捕捉人员A1、A2、A3的眼球动作检测到人员A1、A2的眼部分别盯着第一图像显示系统D1中的听众B1和B3，同时语音跟踪系统V也同时检测到人员A1、A2发出声音，由此判断系统J判断出正在讲话的人员A1和听众B1是在进行一对一讲话，并且正在讲话的人员A2和听众B3是在进行一对一讲话，第二图像显示系统D2会向听众B1显示特定的图像，例如正在讲话的人员A1的单人的影像，向听众B3显示特定的图像，例如正在讲话的人员A2的单人的影像，而第二图像显示系统D2向其他听众B2依旧提供普通图像，例如第一会议场所10的全景的视频影像或所有第一会议场所10的人员A1、A2、A3的图像。
下面描述根据本发明的实施例的进行远程会议的方法。
参见图2，根据本发明的实施例的进行远程会议的方法包括：
步骤S100：在第一会议场所10利用第一图像显示系统D1显示多个听众B1、B2、B3的图像；
步骤S200：利用检测系统检测处于第一会议场所10的人员A1、A2、A3的头部的至少一部分的动作或位姿；
步骤S300：利用判断系统J基于所述检测系统检测到的动作或位姿判断正在讲话的人员是正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话还是针对所有听众讲话；
步骤S400：在所述判断系统J判断出正在讲话的人员是正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话时，利用处于第二会议场所20的第二图像显示系统D2向所述多个听众B1、B2、B3中的某一听众或某些听众显示特定图像，使所述多个听众B1、B2、B3中的某一听众或某些听众知道正在讲话的人员是正在对自己讲话。由此，使远程会议中目标听众知道讲话的人员正在对自己讲话。
参见图2，进行远程会议的方法还包括：步骤S500：在所述判断系统J判断出正在讲话的人员是正在对所有听众讲话时，利用所述第二图像显示系统D2向所有听众显示普通图像。由此，听众能够知道讲话不是针对自己。
根据本发明的一些实施例，进行远程会议的方法还可以包括：在判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话之前，利用声音跟踪系统确定处于第一会议场所的人员中谁正在讲话。由此可以在第一会议场所具有多个人员时自动确定谁正在讲话。
根据本发明的一个示例，所述检测系统是眼球跟踪系统，所述眼球跟踪系统构造成检测处于第一会议场所的人员的眼球动作，所述判断系统基于所述眼球跟踪系统检测到的眼球动作，判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。由此，可以更准确地确定正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
根据本发明的一些实施例，进行远程会议的方法还包括：利用所述第二图像显示系统D2在向所述多个听众B1、B2、B3中的某一听众或某些听众显示特定图像的同时，向其余的听众显示普通图像。由此，其余的听众能够知道讲话不是针对自己。
根据本发明的一些实施例，除了正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员之外，在第一会议场所10还包括另外的人员，所述特定图像仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的面部的图像。由此，在两个会议场所都有多个人时，向某一听众或某些听众提供仅仅包含讲话的人员的图像，使听众知道讲话是针对自己。
根据本发明的另外一些实施例，除了正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员之外，在第一会议场所10还包括另外的人员，所述特定图像仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的面部的图像，而所述普通图像包含正在讲话的人员以及至少一个另外的人员的图像或正在讲话的人员以及至少一个另外的人员的面部的图像。由此，在两个会议场所都有多个人时，向听众提供仅仅包含讲话的人员的图像或包含第一会议场所的所有人的图像，使听众知道讲话是否是针对自己。
作为特定图像和普通图像的一种实施例，除了包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像之外，所述普通图像比所述特定图像包含更多的场景的图像。由此，第一会议场所有一个人或多个人时，改变图像中的场景的大小，使听众知道讲话是否是针对自己。
作为特定图像和普通图像的另一种实施例，正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像在所述特定图像中的大小大于在所述普通图像中的大小。由此，第一会议场所有一个人或多个人时，改变图像中的讲话的人员的图像的大小，使听众知道讲话是否是针对自己。
作为特定图像和普通图像的再一种实施例，正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员A1、A2、A3的面部的图像在所述特定图像中的大小大于在所述普通图像中的大小。由此，第一会议场所有一个人或多个人时，改变图像中的讲话的人员的面部的图像的大小，使听众知道讲话是否是针对自己。
此外，第一会议场的人员可以是一个人或多个人。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
Claims (20)
1.一种远程会议系统，包括：
处于第一会议场所的第一图像显示系统，所述第一图像显示系统用于显示多个听众的图像；
检测系统，所述检测系统构造成检测处于第一会议场所的包括第一人员和第二人员在内的人员的头部的至少一部分的动作或位姿；
判断系统，所述判断系统构造成基于所述检测系统检测到的动作或位姿判断正在讲话的包括第一人员和第二人员在内的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话；
处于第二会议场所的第二图像显示系统，所述第二图像显示系统构造成在所述判断系统判断出正在讲话的第一人员是正在对所述多个听众中的包括第三人员在内的某一听众或某些听众讲话时，向所述多个听众中的包括第三人员在内的某一听众或某些听众显示特定图像，使所述多个听众中的包括第三人员在内的某一听众或某些听众知道正在讲话的第一人员是正在对自己讲话，
所述第二图像显示系统还构造成在所述判断系统判断出正在讲话的第二人员是正在对所述多个听众中的包括第四人员在内的某一听众或某些听众讲话时，向所述多个听众中的包括第四人员在内的某一听众或某些听众显示特定图像，使所述多个听众中的包括第四人员在内的某一听众或某些听众知道正在讲话的第二人员是正在对自己讲话，
其中，第三人员不同于第四人员。
2.根据权利要求1所述的远程会议系统，还包括：
处于第一会议场所的声音跟踪系统，所述声音跟踪系统构造成确定处于第一会议场所的人员中谁正在讲话。
3.根据权利要求1所述的远程会议系统，其中：
所述第二图像显示系统进一步构造成在所述判断系统判断出正在讲话的人员是正在对所有听众讲话时，向所有听众显示普通图像。
4.根据权利要求1所述的远程会议系统，其中：
所述第二图像显示系统进一步构造成在向所述多个听众中的某一听众或某些听众显示特定图像的同时，向其余的听众显示普通图像。
5.根据权利要求1至4中的任一项所述的远程会议系统，其中：
除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外，在第一会议场所还包括另外的人员，所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像。
6.根据权利要求3或4所述的远程会议系统，其中：
除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外，在第一会议场所还包括另外的人员，所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像，而所述普通图像包含正在讲话的人员以及至少一个另外的人员的图像或正在讲话的人员以及至少一个另外的人员的面部的图像。
7.根据权利要求3或4所述的远程会议系统，其中：
除了包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像之外，所述普通图像比所述特定图像包含更多的场景的图像。
8.根据权利要求3或4所述的远程会议系统，其中：
正在对所述多个听众中的某一听众或某些听众讲话的人员的图像在所述特定图像中的大小大于在所述普通图像中的大小。
9.根据权利要求3或4所述的远程会议系统，其中：
正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像在所述特定图像中的大小大于在所述普通图像中的大小。
10.根据权利要求1所述的远程会议系统，其中：
所述检测系统是眼球跟踪系统，所述眼球跟踪系统构造成检测处于第一会议场所的人员的眼球动作，所述判断系统基于所述眼球跟踪系统检测到的眼球动作，判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
11.一种进行远程会议的方法，包括：
在第一会议场所利用第一图像显示系统显示多个听众的图像；
利用检测系统检测处于第一会议场所的包括第一人员和第二人员在内的人员的头部的至少一部分的动作或位姿；
利用判断系统基于所述检测系统检测到的动作或位姿判断正在讲话的包括第一人员和第二人员在内的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话；
在所述判断系统判断出正在讲话的第一人员是正在对所述多个听众中的包括第三人员在内的某一听众或某些听众讲话时，利用处于第二会议场所的第二图像显示系统向所述多个听众中的包括第三人员在内的某一听众或某些听众显示特定图像，使所述多个听众中的包括第三人员在内的某一听众或某些听众知道正在讲话的第一人员是正在对自己讲话，
在所述判断系统判断出正在讲话的第二人员是正在对所述多个听众中的包括第四人员在内的某一听众或某些听众讲话时，利用处于第二会议场所的第二图像显示系统向所述多个听众中的包括第四人员在内的某一听众或某些听众显示特定图像，使所述多个听众中的包括第四人员在内的某一听众或某些听众知道正在讲话的第二人员是正在对自己讲话，
其中，第三人员不同于第四人员。
12.根据权利要求11所述的进行远程会议的方法，还包括：
在判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话之前，利用声音跟踪系统确定处于第一会议场所的人员中谁正在讲话。
13.根据权利要求11所述的进行远程会议的方法，还包括：
在所述判断系统判断出正在讲话的人员是正在对所有听众讲话时，利用所述第二图像显示系统向所有听众显示普通图像。
14.根据权利要求11所述的进行远程会议的方法，还包括：
利用所述第二图像显示系统在向所述多个听众中的某一听众或某些听众显示特定图像的同时，向其余的听众显示普通图像。
15.根据权利要求11至14中的任一项所述的进行远程会议的方法，其中：
除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外，在第一会议场所还包括另外的人员，所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像。
16.根据权利要求13或14所述的进行远程会议的方法，其中：
除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外，在第一会议场所还包括另外的人员，所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像，而所述普通图像包含正在讲话的人员以及至少一个另外的人员的图像或正在讲话的人员以及至少一个另外的人员的面部的图像。
17.根据权利要求13或14所述的进行远程会议的方法，其中：
除了包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像之外，所述普通图像比所述特定图像包含更多的场景的图像。
18.根据权利要求13或14所述的进行远程会议的方法，其中：
正在对所述多个听众中的某一听众或某些听众讲话的人员的图像在所述特定图像中的大小大于在所述普通图像中的大小。
19.根据权利要求13或14所述的进行远程会议的方法，其中：
正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像在所述特定图像中的大小大于在所述普通图像中的大小。
20.根据权利要求11所述的进行远程会议的方法，其中：
所述检测系统是眼球跟踪系统，所述眼球跟踪系统构造成检测处于第一会议场所的人员的眼球动作，所述判断系统基于所述眼球跟踪系统检测到的眼球动作，判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510013171.2A CN104539873B (zh) | 2015-01-09 | 2015-01-09 | 远程会议系统和进行远程会议的方法 |
| US14/912,686 US9706169B2 (en) | 2015-01-09 | 2015-06-09 | Remote conference system and method of performing remote conference |
| PCT/CN2015/081041 WO2016110047A1 (zh) | 2015-01-09 | 2015-06-09 | 远程会议系统和进行远程会议的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510013171.2A CN104539873B (zh) | 2015-01-09 | 2015-01-09 | 远程会议系统和进行远程会议的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104539873A CN104539873A (zh) | 2015-04-22 |
| CN104539873B true CN104539873B (zh) | 2017-09-29 |
Family
ID=52855332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510013171.2A Active CN104539873B (zh) | 2015-01-09 | 2015-01-09 | 远程会议系统和进行远程会议的方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9706169B2 (zh) |
| CN (1) | CN104539873B (zh) |
| WO (1) | WO2016110047A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104539873B (zh) * | 2015-01-09 | 2017-09-29 | 京东方科技集团股份有限公司 | 远程会议系统和进行远程会议的方法 |
| JP6945767B2 (ja) * | 2019-05-29 | 2021-10-06 | 三菱電機株式会社 | 受話者推定装置、受話者推定方法、及び受話者推定プログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102209227A (zh) * | 2010-03-30 | 2011-10-05 | 宝利通公司 | 在视频会议中增加翻译的方法和系统 |
| WO2012049320A1 (en) * | 2010-10-14 | 2012-04-19 | Skype Limited | Control of user interface to display call participants auto focus |
| CN104038725A (zh) * | 2010-09-09 | 2014-09-10 | 华为终端有限公司 | 多屏视频会议中对与会者图像显示进行调整的方法及装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7106358B2 (en) | 2002-12-30 | 2006-09-12 | Motorola, Inc. | Method, system and apparatus for telepresence communications |
| WO2007005752A2 (en) | 2005-07-01 | 2007-01-11 | Dennis Christensen | Visual and aural perspective management for enhanced interactive video telepresence |
| US8253770B2 (en) | 2007-05-31 | 2012-08-28 | Eastman Kodak Company | Residential video communication system |
| JP5201050B2 (ja) * | 2009-03-27 | 2013-06-05 | ブラザー工業株式会社 | 会議支援装置、会議支援方法、会議システム、会議支援プログラム |
| CN101764990A (zh) | 2009-12-11 | 2010-06-30 | 圆展科技股份有限公司 | 识别标签呈现方法、呈现系统与视频提供装置、接收装置 |
| CN102377975A (zh) * | 2010-08-10 | 2012-03-14 | 华为终端有限公司 | 用于视频通信的视频处理方法、装置及系统 |
| CN102025970A (zh) * | 2010-12-15 | 2011-04-20 | 广东威创视讯科技股份有限公司 | 自动调整视频会议显示模式的方法及系统 |
| US8947493B2 (en) * | 2011-11-16 | 2015-02-03 | Cisco Technology, Inc. | System and method for alerting a participant in a video conference |
| US8848021B2 (en) * | 2012-01-19 | 2014-09-30 | Microsoft Corporation | Remote participant placement on a unit in a conference room |
| US20130215214A1 (en) * | 2012-02-22 | 2013-08-22 | Avaya Inc. | System and method for managing avatarsaddressing a remote participant in a video conference |
| US9386270B2 (en) * | 2014-01-15 | 2016-07-05 | Cisco Technology, Inc. | Displaying information about at least one participant in a video conference session |
| CN104539873B (zh) | 2015-01-09 | 2017-09-29 | 京东方科技集团股份有限公司 | 远程会议系统和进行远程会议的方法 |
-
2015
- 2015-01-09 CN CN201510013171.2A patent/CN104539873B/zh active Active
- 2015-06-09 WO PCT/CN2015/081041 patent/WO2016110047A1/zh active Application Filing
- 2015-06-09 US US14/912,686 patent/US9706169B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102209227A (zh) * | 2010-03-30 | 2011-10-05 | 宝利通公司 | 在视频会议中增加翻译的方法和系统 |
| CN104038725A (zh) * | 2010-09-09 | 2014-09-10 | 华为终端有限公司 | 多屏视频会议中对与会者图像显示进行调整的方法及装置 |
| WO2012049320A1 (en) * | 2010-10-14 | 2012-04-19 | Skype Limited | Control of user interface to display call participants auto focus |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016110047A1 (zh) | 2016-07-14 |
| US9706169B2 (en) | 2017-07-11 |
| US20160353059A1 (en) | 2016-12-01 |
| CN104539873A (zh) | 2015-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101636716B1 (ko) | 발언자를 구별하는 영상 회의 장치 및 방법 | |
| EP4345816A2 (en) | Speaker attributed transcript generation | |
| US11128793B2 (en) | Speaker tracking in auditoriums | |
| US9769425B1 (en) | Adjusting an image for video conference display | |
| US7907165B2 (en) | Speaker predicting apparatus, speaker predicting method, and program product for predicting speaker | |
| US8166109B2 (en) | Linking recognized emotions to non-visual representations | |
| US20210407516A1 (en) | Processing Overlapping Speech from Distributed Devices | |
| US20150111550A1 (en) | Context based meeting attendee identification and meeting organizer system for use in automated multi-media conference call system | |
| US8861779B2 (en) | Methods for electronically analysing a dialogue and corresponding systems | |
| US20130022189A1 (en) | Systems and methods for receiving and processing audio signals captured using multiple devices | |
| US20090123035A1 (en) | Automated Video Presence Detection | |
| WO2014040429A1 (zh) | 视频会议提醒方法、装置和视频会议系统 | |
| US11750925B1 (en) | Computer program product and method for auto-focusing a camera on an in-person attendee who is speaking into a microphone at a meeting | |
| US11405584B1 (en) | Smart audio muting in a videoconferencing system | |
| US20220131979A1 (en) | Methods and systems for automatic queuing in conference calls | |
| CN210469530U (zh) | 发言人员音频及影像追踪系统 | |
| CN104539873B (zh) | 远程会议系统和进行远程会议的方法 | |
| EP3412036B1 (fr) | Procédé d'aide au suivi d'une conversation pour personne malentendante | |
| US11468895B2 (en) | Distributed device meeting initiation | |
| JP4501037B2 (ja) | 通信制御システムと通信装置および通信方法 | |
| WO2009119288A1 (ja) | コミュニケーションシステム及びコミュニケーションプログラム | |
| WO2018043115A1 (ja) | 情報処理装置、情報処理方法、並びにプログラム | |
| JP2009060220A (ja) | コミュニケーションシステム及びコミュニケーションプログラム | |
| CN110348011A (zh) | 一种无纸化会议展示对象确定方法、装置和存储介质 | |
| Ronzhin et al. | A software system for the audiovisual monitoring of an intelligent meeting room in support of scientific and education activities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |