CN110324555B - 视频通信装置及方法 - Google Patents

Abstract

本发明涉及一种本地视频通信装置，包括：一本地半透明显示器，用于显示其余多方的远程的视频信息；一本地摄像机阵列，用于拍摄本地用户的视频信息；所述本地摄像机阵列是由多个本地摄像机排列形成的二维摄像机阵列；该本地半透明显示器包括一微处理单元，包括：一视频采集及处理模块，用于对本地用户的视频信息进行采集及处理以能够在远程半透明显示器中显示；一位置获取模块，用于获取本地用户的脸部空间位置信息；一通讯模块，用于从远程视频通信装置接收视频信息及位置信息、发送视频信息及位置信息；一显示模块，用于对多个远程视频信息进行矫正处理，并在所述本地半透明显示器中显示。本发明涉及一种基于该本地视频通信装置的方法。

Description

视频通信装置及方法

技术领域

本发明涉及通信领域，特别涉及一种视频通信装置及方法。

背景技术

随着通信技术的发展，视频通话方式已经越来越多出现在人们的工作和生活中，比如公司内的远程视讯会议、与远方亲友的视频聊天等。视频通话在一定程度上拉近了人们之间的距离。然而，现有的远程视讯、视频通话系统都存在一个问题，就是无法直视对方的眼睛。这其中的原因就是显示屏和摄像头不在同一位置。如果对方要看着显示屏说话，而这边看到的图像就是对方的眼睛就在看着别处，如果对方看着摄像头，则对方无法看到这边人物图像的眼睛。因此，对话的双方之间没有眼神的交流，对话体验不好。

发明内容

有鉴于此，确有必要提供一种能够让视频通话的双方可以进行眼神交流的视频通信装置及方法。

一种本地视频通信装置，所述本地视频通信装置用于多方视频通信系统中的一方，该本地视频通信装置包括：一本地半透明显示器，用于显示其余多方的远程的视频信息；一本地摄像机阵列，用于拍摄本地用户的视频信息；其中，所述本地摄像机阵列是由多个本地摄像机排列形成的二维摄像机阵列且设置于所述本地半透明显示器背面；进一步所述本地半透明显示器包括一微处理单元；所述微处理单元包括：一视频采集及处理模块，用于对本地用户的视频信息进行采集及处理以能够在远程半透明显示器中显示；一位置获取模块，用于获取本地用户的脸部空间位置信息；一通讯模块，用于从远程视频通信装置接收视频信息及位置信息、发送视频信息及位置信息至远程视频通信装置；一显示模块，用于根据通过多个虚拟窗口的设置，对多个远程视频信息进行矫正处理，并通过虚拟窗口在所述本地半透明显示器中显示。

与现有技术相比较，本发明提供的视频通信装置，将摄像头设置在半透明屏幕的背后，并且可跟随多方远程用户的头部位置移动来实时选取对应的一个或多个摄像头，从而本地用户在看屏幕中远程用户的眼睛位置时，本地摄像头拍到的就是本地用户直视远程用户的面孔，通信的任意双方可彼此直视对方的眼睛，中间只相当于隔了一块透明玻璃，大大增加浸入感，通话体验大为改善。

附图说明

图1是本发明第一实施例提供的视频通信系统的结构示意图。

图2是本发明提供的半透明显示器的结构示意图。

图3是本发明提供的半透明显示器的显示区域的划分示意图。

图4是本发明提供的本地用户视觉方向划分示意图。

图5是本发明提供的微处理单元的结构示意图。

图6是本发明提供的摄像机阵列的结构示意图。

图7是本发明提供的用户位置与视野范围的关系示意图。

图8是本发明提供的扬声器阵列的结构示意图。

图9是本发明提供的麦克风阵列的结构示意图。

图10是本发明第二实施例提供的视频通信系统的结构示意图。

图11是本发明第三实施例提供的视频通信方法的流程图。

图12是本发明提供的半透明显示器的图像显示帧和摄像头的采集帧的工作原理图。

图13是本发明第四实施例提供的视频通信系统的结构示意图。

图14是本发明提供的半透明显示器显示画面的示意图。

图15是本发明提供的半透明显示器的结构示意图。

图16是本发明提供的微处理单元的结构示意图。

图17是本发明提供的视频显示画面矫正前后的示意图。

图18是本发明第五实施例提供的视频通信方法的流程图。

图19是本发明提供的半透明显示器中虚拟窗口的排布示意图。

图20是本发明提供的视频通信系统中摄像机与视频通信装置的对应图。

主要元件符号说明

如下具体实施例将结合上述附图进一步说明本发明。

具体实施方式

下面将结合具体实施例及附图对本发明所提供的视频通信装置、视频通信方法作进一步说明。

请参阅图1，本发明第一实施例提供一种视频通信系统1，该视频通信系统1包括一本地视频通信装置10和一远程视频通信装置10’。所述本地视频通信装置10和所述远程视频通信装置10’分别用于视频通话的双方，所述本地视频通信装置10与远程视频通信装置10’通过有线或无线相连接。所述本地视频通信装置10包括一本地半透明显示器11和一本地摄像机阵列12；所述远程视频通信装置10’包括一远程半透明显示器13和一远程摄像机阵列14。所述本地摄像机阵列12设置于所述本地半透明显示器11的背面，与远程用户在本地半透明显示器11显示画面的位置对应的本地摄像机拍摄的视频信息传递给远程视频通信装置10’。所述远程摄像机阵列14设置于所述远程半透明显示器13的背面，与本地用户在远程半透明显示器13显示画面的位置对应的远程摄像机拍摄的视频信息传递给本地视频通信装置10。在此，所述本地视频通信装置10和远程视频通信装置10’的结构特征与作用相同，以下仅对所述本地视频通信装置10进行详细描述。

所述本地半透明显示器11用于显示远程的视频信息。所述本地半透明显示器11显示的远程的视频信息是通过远程摄像机阵列14拍摄并传输到本地半透明显示器11的远程视频图像。其中，半透明显示器是半透明的，从半透明显示器的背面可以捕捉到半透明显示器前面的景象。请参阅图2，为所述半透明显示器的结构示意图，所述半透明显示器为裸眼3D显示器，该半透明显示器包括多个像素单元112a，该多个像素单元112a间隔分布形成像素区域，且间隔区域112b是透明的，为透光区域；每个像素单元112a上均设置一微透镜112c。所述像素单元112a为非透光结构，用于显示视频图像；所述微透镜112c仅覆盖在所述像素单元112a上。所述裸眼3D显示器可向位于不同方向的多个本地用户提供视频信息，并根据每位用户的方向显示不同的视频信息。请参阅图3，所述裸眼3D显示器中每个像素单元112a的显示区域按照角度可平均分成N个角度单元，N大于等于2。本实施例中，所述裸眼3D显示器的显示区域分为3个角度单元a、b、c，该裸眼3D显示器同时在上述3个角度单元显示的视频信息不同。请参阅图4，当三位用户A、B、C的视觉方向分别在上述三个不同的角度单元时，所看到的画面也不同，用户A、B、C看到的视频信息不同。人眼或本地摄像机阵列12可从所述本地半透明显示器11背面的透光区域捕捉到本地半透明显示器11前面的景象信息。

所述本地半透明显示器11中设置有一微处理单元100。请参阅图5，该微处理单元100包括一视频采集及处理模块101，一位置获取模块102，一声音处理模块103，一通讯模块104，一显示模块105，和一中央控制模块107。所述视频采集及处理模块101用于对每个本地用户的视频信息进行采集及处理以能够在远程半透明显示器13中显示。其中，对视频信息的处理主要包括对视频信号进行剪裁、失真矫正及景物遮挡关系的计算等。具体地，该视频采集及处理模块101可控制多个本地摄像机同时工作，仅选取与远程用户脸部画面位置相对应的一组或多组本地摄像机所拍摄的视频信息，并处理生成与远程用户位置对应的视频信息；所述本地摄像机阵列12中的本地摄像机也可不同时工作，该视频采集及处理模块101仅选择与远程用画面位置相对应的一组或多组本地摄像机工作，并处理生成与远程用户位置对应的视频信息。所述位置获取模块102用于获取每个本地用户的脸部空间位置信息，优选地，用于获取每个本地用户的眼睛位置信息。所述声音处理模块103用于控制视频信息的声音播放以及采集本地声音。所述通讯模块104用于与远程通讯，如从远程视频通信装置接收视频信息及位置信息、发送视频信息及位置信息至远程视频通信装置等。所述显示模块105用于显示远程的视频信息，具体地，根据每个本地用户的视觉方向显示相应的远程的视频信息。所述中央控制模块107用于协调各模块工作。具体地，所述位置获取模块102获取的位置信息可通过所述中央控制模块107传送给所述视频采集及处理模块101，从而生成符合三维空间关系的视频画面。

所述本地摄像机阵列12用于拍摄本地用户的视频信息，所述视频信息会被传递给远程视频通信装置10’。具体地，所述本地摄像机阵列12设置于所述本地半透明显示器11的背面，由于该本地半透明显示器11是半透明的，所述本地摄像机阵列12可透过该本地半透明显示器11拍摄到该本地半透明显示器11前面的本地用户的视频信息。请参阅图6，所述本地摄像机阵列12是由多个本地摄像机排列形成的二维摄像机阵列。所述多个本地摄像机可同时工作，而仅与远程用户的显示画面位置相对应的一个或多个本地摄像机所拍摄的视频信息可被传递给远程视频通信装置10’；该多个本地摄像机也可不用同时工作，仅与远程用户的显示画面位置相对应的一个或多个本地摄像机工作，且工作的本地摄像机所拍摄的视频信息会被传递给远程视频通信装置10’，上述选取本地摄像机拍摄的视频信息可通过所述视频采集和处理模块101获取得到。当远程用户在本地透明显示器上的显示的位置位于几个本地摄像机之间时，本地视频采集和处理模块将选取几个最近的本地摄像机拍摄的视频信息，通过计算合成远程用户所在的真实位置应当看到的视频信息，并传递给远程视频通信系统。

当所述本地半透明显示器11显示有多个远程用户的画面时，该多个远程用户的画面对应所述本地摄像机阵列12中的多个或多组本地摄像机，该多个或多组本地摄像机所拍摄的视频信息会同时被传递给远程视频通信装置10’。当远程用户的画面的位置移动变化时，其所对应的本地摄像机阵列12中选取的本地摄像机也在不断改变。具体地，在实施例中，本地摄像机所对应的远程用户画面的位置是指远程用户的脸部图像的位置，优选地，该本地摄像机的位置对应于远程用户的眼睛的位置，从而使得本地用户与远程用户可以有对视的真实体验。上述与远程用户画面相对应的本地摄像机相当于远程用户的眼睛，当远程用户画面移动时，其对应的本地摄像机也相应改变，不同位置的本地摄像机所拍摄的画面不同，因此，远程用户在移动时看到的画面也是在不同的。

具体地，所述视频采集及处理模块101会根据远程用户画面的位置信息选取相应位置的摄像机，从而精确捕捉到相应的画面。从而远程用户能够拥有更真实的浸入式体验。具体地，当远程用户脸部图像仅对应一个摄像机时，所述视频采集及处理模块101会选取该摄像机所拍摄的视频信息；当远程用户脸部图像变大同时对应多个摄像机时，所述视频采集及处理模块101会从该多个摄像机中选取对应眼睛位置的摄像机拍摄的视频信息；当远程用户脸部图像再变大时，远程用户的眼睛位置分别对应一摄像机，所述视频采集及处理模块101可选取该眼睛位置对应的两摄像机的视频信息并将两视频信息进行合成，或者也可选取眼睛间距的中间位置处对应的摄像机所拍摄的视频信息；当远程用户脸部图像进一步变大时，远程用户的每只眼睛对应多个摄像机，所述视频采集及处理模块101可选取眼睛瞳孔位置处对应的摄像机所拍摄的视频信息，或者也可选取眼睛对应的多个摄像机所拍摄的视频信息并进行合成。

进一步，所述本地摄像机阵列12中的本地摄像机可为双目摄像头。所述双目摄像头可模拟人眼的双目视觉，根据两摄像头拍摄的景物信息，三维计算得到景物的深度信息。例如，根据本地摄像机阵列12中两摄像机拍摄的视频信息得到本地用户距离显示屏的深度信息，再把该深度信息传递给远程视频通信装置10’，所述远程视频通信装置10’会根据深度信息计算并选取本地用户在该位置应当看到的视野范围和景物之间的遮挡关系的视频信息。请参阅图7，从图中可以看出，当本地用户位于显示屏前的M位置处时，其对应的视野范围较大；当位于N位置处时，其对应的视野范围变小。具体地，远程摄像机相当于本地用户的眼睛，本地用户可在本地的显示屏前前后移动，而远程摄像机距离远程显示屏的距离固定不变，因此，远程摄像机需拍摄相对较大的视野范围，优选地，视角达到180^o视野范围的摄像机。这样所述显示模块105才能根据本地用户距离本地半透明显示器11的位置信息从较大的视野范围中选取相应的视野范围的视频信息进行显示。在此，所述本地摄像机阵列12和远程摄像机阵列14的摄像头均为广角、高像素摄像头。

上述深度信息的计算可由本地半透明显示器11中的位置获取模块102完成，也可将数据传到云上完成计算再发送给远程，以保证数据传输的实时性。进一步，为了能在竖直方向上计算遮挡关系，所述本地摄像机阵列12的每个本地摄像机还可为4个摄像头组成的摄像机。进一步，在本地还可增设一深度传感器120，以专门感测本地景物的深度信息；在远程还可增设一深度传感器140，以专门感测远程景物的深度信息。上述深度信息的传输可由本地半透明显示器11中的通讯模块104完成。

进一步，请参阅图8，在所述本地半透明显示器11上还可设置一扬声器阵列17，所述扬声器阵列17均匀分布于本地半透明显示器11的背面，也可以超出半透明显示设备11的范围设置，根据对方的声源位置模拟对方说话的方位。该扬声器阵列17可设置在所述本地摄像机阵列12远离该本地半透明显示器11的一侧。请参阅图9，在所述本地半透明显示器11的前方设置多个立体声麦克风18，用以采集实际声场用以传输给对方。上述设置可使用户在听觉上同样有身临其境的感觉，如在视频画面中看不到的地方有只猫叫，对方也能听出方位。

本发明提供的本地视频通信装置10具有以下优点：将摄像头阵列设置在半透明屏幕的背后，并且可跟随多个远程用户的头部位置移动来实时选取对应的一个或多个摄像头，从而多个本地用户在看屏幕中远程用户的眼睛位置时，本地摄像头拍到的就是本地用户直视远程用户的面孔，通信的双方可彼此直视对方的眼睛，中间只相当于隔了一块透明玻璃，大大增加浸入感，通话体验大为改善。

请参阅图10，本发明第二实施例提供一种视频通信系统2，该视频通信系统2包括一本地半透明显示器11，一本地摄像机阵列12，一本地识别定位装置15，一远程半透明显示器13，一远程摄像机阵列14，一远程识别定位装置16。所述本地识别定位装置15设置于所述本地半透明显示器11上，用于识别多个本地用户的人脸位置信息。根据该多个远程用户在本地半透明显示器11上显示画面的位置，选取对应的本地摄像头。所述远程识别定位装置16设置于所述远程半透明显示器13上，用于识别多个远程用户的人脸位置信息。根据多个本地用户在远程半透明显示器13上显示画面的位置，选取对应的远程摄像头。

本实施例所提供的视频通信系统2与第一实施例提供的视频通信系统1基本相同，其区别在于，所述视频通信系统2增加了一本地识别定位装置15和一远程识别定位装置16。所述本地识别定位装置15用于识别并计算多个本地用户的位置信息，并将多个本地用户的位置信息传递至远程摄像机阵列14。所述本地摄像机阵列12只用于拍摄多个本地用户的视频信息。所述远程识别定位装置16用于识别并计算多个远程用户的位置信息，并将多个远程用户的位置信息传递至本地摄像机阵列12。所述远程摄像机阵列14只用于拍摄多个远程用户的视频信息。所述本地识别定位装置15和所述远程识别定位装置16可为光学摄像头、红外摄像头、需与用户佩戴的位置标签式传感器配合使用的位置检测单元等。本实施例中，所述本地识别定位装置15和所述远程识别定位装置16均为kinect装置。

请参阅图11，本发明第三实施例提供一种适用于所述本地视频通信装置10的通信方法，其包括以下步骤：

S11，从远程视频通信装置10’获取远程的视频图像信息；

S12，将远程的视频图像信息显示于本地半透明显示器11；

S13，获取本地半透明显示器11上多个远程用户画面的位置信息；

S14，在本地摄像机阵列12中选取与所述多个远程用户画面的位置对应的本地摄像机，并将选取的多个本地摄像机拍摄的视频图像发送给远程视频通信装置10’。

在步骤S11中，所述远程的视频图像信息通过所述远程摄像机阵列14拍摄得到。所述远程摄像机阵列14位于远程半透明显示器13的背面，该远程摄像机阵列14透过该远程半透明显示器13拍摄多个远程用户的视频图像信息。在摄像机透过半透明显示器拍摄时，半透明显示器中可发光的像素部分由于在像素下有遮光层遮挡，光线不会进入到显示器的背面，从而避免了干扰摄像机工作，因此，在半透明显示器工作的过程中，其背面的摄像机也可以实时工作。优选地，为了使得摄像机工作时不会有光线的干扰，半透明显示器的图像显示帧和摄像机的图像采集帧可采用分帧错开的方法。具体地，请参阅图12，半透明显示器的图像显示帧和摄像头的图像采集帧是一帧一帧交替工作，在图像显示帧工作时，摄像头的图像采集帧关闭；在图像显示帧关闭时，摄像头的图像采集帧工作。其中，图像显示帧和图像采集帧的交替时间很短，人眼无法区分，所以不会对人们的视频通信体验造成影响。

当远程有多个远程用户时，所述多个远程用户会对应多个远程摄像机，从而该多个摄像机会拍摄多个视频信息。该多个视频信息通过远程视频通信装置10’处理合成形成所述远程的视频图像信息。本地视频通信装置10通过所述通讯模块104接收获取远程的视频图像信息。

在步骤S12中，所述本地半透明显示器11在接收获取远程的视频图像信息后，该远程的视频图像信息会通过所述显示模块105显示于本地半透明显示器11上。所述本地半透明显示器11是裸眼3D显示器会根据每位本地用户的位置及方向显示相对应的远程视频图像信息。

在步骤S13中，在本地半透明显示器11上显示的每个远程用户画面的位置信息可通过以下两种方式获取。一、每个远程用户画面的位置信息可通过专门的识别定位装置识别得到。其中，在所述远程视频通信装置10’上可专门设置一识别定位装置，用以识别远程用户人脸位置得到每个远程用户画面的位置信息。所述识别定位装置可为光学摄像头、红外摄像头、需与用户佩戴的位置标签式传感器配合使用的位置检测单元等。二、从摄像机拍摄的视频中采用图像识别方法得到每个远程用户在视频中的相对位置，再结合摄像机自身位置计算确定每个远程用户的位置。

在步骤S14中，在本地摄像机阵列12中选取与所述多个远程用户画面的位置对应的本地摄像机可通过所述视频采集及处理模块101完成。由于被选取的多个本地摄像机位于每个远程用户画面的后方，因此当本地用户看向屏幕中的远程用户时，位于显示器后的本地摄像机正好拍摄到本地用户直视的画面，从而远程用户可以看到本地用户直视自己的画面。被选取的多个本地摄像机所拍摄的视频图像会通过所述通讯模块104传递给远程视频通信装置10’。

当然，在视频通信的过程中，若一方用户离开摄像机的视野范围，则该用户所对应的对方的摄像机阵列不再根据用户画面位置选取摄像机，这时视频通信装置可提前设置一初始位置，即当视频通信装置前没有用户时，其后方的摄像机阵列可选择一固定摄像机工作。例如，当远程用户离开其所在视频通信的房间后，超出了远程摄像机阵列14或远程识别定位装置对于人脸识别的视野范围，该远程用户所对应的本地摄像机阵列12中只有中间位置的本地摄像机工作，这时，所述远程半透明显示器13所播放的视频的视野范围不再改变。然而，由于本地用户依然在本地半透明显示器11前，该本地用户所对应的远程摄像头仍会根据本地用户的位置移动，本地用户依然可观看到远程不同视野范围的景象。

本发明提供的视频通信方法具有以下优点：通过实时选取一个或多个摄像头，用户双方在视频通信时能够彼此注视对方的眼睛，增加交互体验；用户在显示屏前移动时，其对应的摄像头也在相应实时选取，拍摄到的画面也在不断变化，从而使得用户在移动时看到的画面也在不断改变，沉浸感增加。

请参阅图13，本发明第四实施例提供一种视频通信系统3，该视频通信系统3包括多个视频通信装置。所述多个视频通信装置分别用于视频通话的多方，该多个视频通信装置通过有线或无线两两相互连接。设定该视频通信系统包括N个视频通信装置，N大于等于3。本实施例中，N为3，即该视频通信系统3包括一视频通信装置30、一视频通信装置30’、和一视频通信装置30”。所述视频通信装置30包括一半透明显示器31和一摄像机阵列32。所述摄像机阵列32设置于所述半透明显示器31的背面，仅与其他两方的远程用户在半透明显示器31显示画面的位置对应的摄像机拍摄的视频信息分别传递给两方的视频通信装置。所述视频通信装置30’包括一半透明显示器33和一摄像机阵列34。所述摄像机阵列34设置于所述半透明显示器33的背面，仅与其他两方的远程用户在半透明显示器33显示画面的位置对应的摄像机拍摄的视频信息分别传递给两方的视频通信装置。所述视频通信装置30”包括一半透明显示器35和一摄像机阵列36。所述摄像机阵列36设置于所述半透明显示器35的背面，仅与其他两方的远程用户在半透明显示器35显示画面的位置对应的摄像机拍摄的视频信息分别传递给两方的视频通信装置。在此，所述视频通信装置30、视频通信装置30’和视频通信装置30”的结构特征与作用均相同，以下会对所述视频通信装置30进行详细描述。

请参阅图14，所述半透明显示器31用于显示其他两方的视频信息。所述其他两方的视频信息可通过在所述半透明显示器31的显示屏上的不同位置设置虚拟窗口310显示。设定参与视频通话的三方用户分别为U1、U2、U3，三方用户分别对应的半透明显示器31、32、33，则用户U1在所述半透明显示器31前可看到显示U2、U3用户画面的视频信息，U2、U3用户画面的视频信息通过虚拟窗口310显示在所述半透明显示器31上。其中，显示U2、U3用户画面的虚拟窗口310可根据用户的数量调节窗口的个数、排布顺序及大小等。所述半透明显示器31是半透明的，从该半透明显示器31的背面可以捕捉到该半透明显示器31前面的景象。请参阅图15，为所述半透明显示器31的结构示意图，所述半透明显示器31包括多个像素单元112a，该多个像素单元112a间隔分布，且间隔区域112b是透明的，为透光区域。所述像素单元112a为非透光区域，用于显示视频图像。人眼或所述摄像机阵列32可从所述半透明显示器31的背面透过该间隔区域112b捕捉到所述半透明显示器31前面的景象信息。

所述半透明显示器31中设置有一微处理单元300。请参阅图16，该微处理单元300包括一视频采集及处理模块301，一位置获取模块302，一声音处理模块303，一通讯模块304，一显示模块305，和一中央控制模块307。所述视频采集及处理模块301用于对本地用户的视频信息进行采集及处理以能够在远程半透明显示器中显示。其中，对视频信息的处理主要包括对视频信号进行剪裁、失真矫正及景物遮挡关系的计算等。所述位置获取模块302用于获取本地用户的脸部空间位置信息，优选地，用于获取本地用户的眼睛位置信息。所述声音处理模块303用于控制视频信息的声音播放以及采集本地声音；所述通讯模块304用于与远程通讯，如从远程视频通信装置接收视频信息及位置信息、发送视频信息及位置信息至远程视频通信装置等。所述显示模块305用于根据通过多个虚拟窗口310的设置，对多个远程视频信息进行矫正处理，并通过虚拟窗口310在所述半透明显示器31中显示。所述中央控制模块307用于协调控制各模块工作。

请参阅图17，未经处理的U2、U3用户的视频信息可直接通过虚拟窗口在所述半透明显示器31中显示，其中，显示U2用户视频信息的虚拟窗口和显示U3用户视频信息的虚拟窗口以方框形式平铺于显示桌面上；所述U2、U3用户的视频信息也可通过所述显示模块305进行矫正处理后以立体形式显示在所述半透明显示器31中，显示矫正后的U2、U3用户视频信息的虚拟窗口可为能呈现立体感觉的梯形框。所述显示模块305对未经处理的U2、U3用户的视频信息进行视频矫正以分别显示在对应的虚拟窗口里，但矫正后视频里景物的相对位置不会发生变化。如，U2用户矫正前位于屏幕的一边，矫正后在虚拟窗口中仍在一边；U3用户矫正前位于屏幕的中间，矫正后仍在虚拟窗口的中间。同时，所生成的立体虚拟窗口，相对于本地半透明显示器31的空间相对位置也会通过通讯模块304发送给远程视频通信装置30’和30”，远程视频矫正模块将根据此空间相对位置生成远程的虚拟窗口，使得多方的虚拟窗口空间位置保持一致。这样，当U2用户与U3用户对视时，该半透明显示器31前的U1用户可观察到U2用户与U3用户对视的画面。所述虚拟窗口的位置定义和调整，可由视频通话中的一方或多方用户进行调整。

本实施例中所述摄像机阵列32与本发明第一实施例的本地摄像机阵列12的结构特征以及根据用户画面的位置选择摄像机的方法均相同，在此不再赘述。在所述半透明显示器31上显示的多个用户画面是来自多方的视频通信装置，因此，分别与不同用户画面对应的摄像机所拍摄的视频会被传递不同的视频通信装置。

本发明提供的视频通信装置30具有以下优点：将摄像头设置在半透明屏幕的背后，并且可跟随多方远程用户的头部位置移动来实时选取对应的一个或多个摄像头，从而本地用户在看屏幕中远程用户的眼睛位置时，本地摄像头拍到的就是本地用户直视远程用户的面孔，通信的任意双方可彼此直视对方的眼睛，中间只相当于隔了一块透明玻璃，大大增加浸入感，通话体验大为改善。

请参阅图18，本发明第五实施例提供一种适用于所述视频通信装置30的通信方法，其包括以下步骤：

S21，从所述视频通信装置30’和所述视频通信装置30”中分别获取视频图像信息；

S22，将每一方的视频图像信息分别显示于本地半透明显示器31的一立体式设置的虚拟窗口310中；

S23，获取虚拟窗口310中多个用户显示画面的位置信息；

S24，在所述摄像机阵列32中选取与该多个用户显示画面的位置对应的摄像机，并将选取的每个摄像机拍摄的视频图像发送至相应的用户使用的视频通信装置上。

在步骤S21中，本实施例中获取视频图像信息的方法与本发明第三实施例中获取视频图像信息的方法基本相同，其区别在于，所述视频通信装置30同时获取其他两方的视频图像信息，即通过该视频通信装置30’中摄像机阵列34拍摄的视频信息和通过该视频通信装置30”中摄像机阵列36拍摄的视频信息。

在步骤S22中，所述半透明显示器31中的视频采集及处理模块301可根据获取的视频数量设置虚拟窗口310的数量及排布，再对所述多个视频图像信息进行矫正处理以显示于对应的虚拟窗口310中。具体地，每个视频图像信息均显示于一单独的立体式的虚拟窗口310中。所述立体式的虚拟窗口是指虚拟窗口并非平铺显示于所述半透明显示器31中，而是呈空间三维立体方式呈现在所述半透明显示器31中。其中，虚拟窗口的形状、大小、位置分布可根据视频数量或具体需要进行调节，如图19所示，多个虚拟窗口可在同一水平高度依次排开，多个虚拟窗口独立分布，当本地用户通过显示器与其他用户通话时，就像所有人围成一圈互相交流，如同多为用户围在一圆桌或方桌前交流，而其中任意两个人均可以直接眼神交流。

在步骤S23中，本实施例中获取用户画面的位置信息的方法与本发明第三实施例中获取用户画面的位置信息的方法相同，在此不再赘述。

在步骤S24中，本实施例中选取摄像机的方法与本发明第三实施例中获选取摄像机的方法相同，在此不再赘述。选取摄像机后，每个摄像机拍摄的视频图像仅会发送给相应用户所使用的视频通信装置，具体地，每个摄像机对应于哪个用户的显示画面，该摄像机所拍摄的视频就会传送给哪个用户所使用的视频通信装置上。请参阅图20，设定在所述摄像机阵列32中所选定的摄像机分别为321和322，所述摄像机321对应于U2用户画面的位置，所述摄像机322对应于U3用户画面的位置。该摄像机321会将拍摄的U1用户的视频信息发送给U2用户所使用的视频通信装置30’。所述摄像机322会将拍摄的U1用户的视频信息发送给U3用户所使用的视频通信装置30”。同样地，所述摄像机341会将拍摄的U2用户的视频信息发送给所述视频通信装置30；所述摄像机342会将拍摄的U2用户的视频信息发送给所述视频通信装置30”；所述摄像机361会将拍摄的U3用户的视频信息发送给所述视频通信装置30；该摄像机362会将拍摄的U3用户的视频信息发送给所述视频通信装置30’。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

另外，本领域技术人员还可在本发明精神内作其它变化，当然这些依据本发明精神所作的变化，都应包含在本发明所要求保护的范围内。

Claims (10)

1.一种本地视频通信装置，所述本地视频通信装置用于多方视频通信系统中的一方，该本地视频通信装置包括：

一本地半透明显示器，用于显示其余多方的远程的视频信息；

一本地摄像机阵列，用于拍摄本地用户的视频信息；

其特征在于，所述本地摄像机阵列是由多个本地摄像机排列形成的二维摄像机阵列且设置于所述本地半透明显示器背面；进一步所述本地半透明显示器包括一微处理单元；所述微处理单元包括：

一视频采集及处理模块，用于控制与其余多方远程用户脸部图像位置对应的多组本地摄像机同时工作，并对本地用户的视频信息进行采集及处理以能够在远程半透明显示器中显示；

一位置获取模块，用于获取本地用户的脸部空间位置信息；

一通讯模块，用于从远程视频通信装置接收视频信息及位置信息、发送视频信息及位置信息至远程视频通信装置；

一显示模块，用于根据通过多个虚拟窗口的设置，对多个远程视频信息进行矫正处理，并通过虚拟窗口在所述本地半透明显示器中显示。

2.如权利要求1所述的本地视频通信装置，其特征在于，所述位置获取模块用于获取本地用户的眼睛位置信息。

3.如权利要求1所述的本地视频通信装置，其特征在于，所述显示模块用于根据本地用户的位置显示相应视野范围的远程视频信息。

4.如权利要求1所述的本地视频通信装置，其特征在于，进一步包括一本地识别定位装置设置于所述本地半透明显示器上，用于识别本地用户的人脸位置信息，并将该人脸位置信息通过所述通讯模块传递给远程用户，所述本地识别定位装置为光学摄像头、红外摄像头、需与用户佩戴的位置标签式传感器配合使用的位置检测单元中的一种。

5.如权利要求1所述的本地视频通信装置，其特征在于，所述视频采集及处理模块对本地用户的视频信息进行采集及处理的方法为：控制多个本地摄像机同时工作，选取仅与远程用户脸部图像位置对应的一组或多组本地摄像机拍摄的视频信息，计算所述一组或多组本地摄像机拍摄的视频信息获得与远程用户位置对应的视频信息。

6.如权利要求1所述的本地视频通信装置，其特征在于，所述视频采集及处理模块对本地用户的视频信息进行采集及处理的方法为：从多个本地摄像机中选取与远程用户脸部图像位置对应的一组或多组本地摄像机，仅使该选取的一组或多组本地摄像机工作并计算获得与远程用户位置对应的视频信息。

7.一种视频通信方法，该方法适用于权利要求1-6中任一本地视频通信装置，该方法包括以下步骤：

获取其余多方的远程视频图像信息；

将每一方的远程视频图像信息分别显示于本地半透明显示器的一虚拟窗口中；

获取每一方的远程用户脸部图像在该本地半透明显示器上的位置信息；

在本地摄像机阵列中选取与每一方远程用户脸部图像位置对应的本地摄像机拍摄的视频图像；以及

将选取的多个本地摄像机拍摄的视频图像同时发送至相对应的每一方的远程用户所使用的远程视频通信装置。

8.如权利要求7所述的视频通信方法，其特征在于，所述本地半透明显示器的图像显示帧和本地摄像头的图像采集帧交替工作。

9.如权利要求7所述的视频通信方法，其特征在于，获取每一方的远程用户脸部图像在该本地半透明显示器上的位置信息的方法为：在远程视频中采用图像识别方法得到每个远程用户脸部图像的相对位置，再结合远程摄像机的自身位置，计算得到每个远程用户脸部图像的位置信息。

10.如权利要求7所述的视频通信方法，其特征在于，获取每一方的远程用户脸部图像在该本地半透明显示器上的位置信息的方法为：通过专门的识别定位装置直接识别得到每个远程用户脸部图像的位置信息。

Images