CN110324556B - 视频通信装置及方法 - Google Patents

Abstract

本发明涉及一种本地视频通信装置，包括：一本地半透明显示设备，用于显示远程的视频信息；多个本地摄像机，用于拍摄本地用户的视频信息；其中，所述多个本地摄像机设置于所述本地半透明显示设备的背面，该多个本地摄像机排列成一二维摄像机阵列，进一步所述本地半透明显示设备包括一微处理单元，所述微处理单元包括：一视频采集及处理模块，用于选择与远程用户脸部位置对应的本地摄像机，并对本地摄像机拍摄的视频信息进行采集和处理；一位置获取模块，用于获取本地用户的脸部空间位置信息；一通讯模块，用于与远程视频通信装置之间接收和发送视频信息及位置信息；一显示模块，用于显示远程的视频信息。

Description

视频通信装置及方法

技术领域

本发明涉及通信领域，特别涉及一种视频通信装置及方法。

背景技术

随着通信技术的发展，视频通话方式已经越来越多出现在人们的工作和生活中，比如公司内的远程视讯会议、与远方亲友的视频聊天等。视频通话在一定程度上拉近了人们之间的距离。然而，现有的远程视讯、视频通话系统都存在一个问题，就是无法直视对方的眼睛。这其中的原因就是显示屏和摄像头不在同一位置。如果对方要看着显示屏说话，而这边看到的图像就是对方的眼睛就在看着别处，如果对方看着摄像头，则对方无法看到这边人物图像的眼睛。因此，对话的双方之间没有眼神的交流，对话体验不好。另外，现有的视频播放装置仅单方播放视频，本地用户与远程场景的交互为零。

发明内容

有鉴于此，确有必要提供一种能够让视频通话的双方可以进行眼神交流的视频通信系统。

一种本地视频通信装置，包括：一本地半透明显示设备，用于显示远程的视频信息；多个本地摄像机，用于拍摄本地用户的视频信息；其中，所述多个本地摄像机设置于所述本地半透明显示设备的背面，该多个本地摄像机排列成一二维摄像机阵列，进一步所述本地半透明显示设备包括一微处理单元，所述微处理单元包括：一视频采集及处理模块，用于选择与远程用户脸部位置对应的本地摄像机，并对本地摄像机拍摄的视频信息进行采集和处理；一位置获取模块，用于获取本地用户的脸部空间位置信息；一通讯模块，用于与远程视频通信装置之间接收和发送视频信息及位置信息；一显示模块，用于显示远程的视频信息。

与现有技术相比较，本发明提供的本地视频通信装置，将摄像头设置在半透明屏幕的背后，并且摄像头始终正对用户的头部位置，从而用户在看屏幕中对方的眼睛位置时，背后摄像头拍到的就是用户直视对方的面孔，通信的双方可彼此直视对方的眼睛，中间只相当于隔了一块透明玻璃，大大增加浸入感，通话体验大为改善。

附图说明

图1是本发明第一实施例提供的视频通信系统的结构示意图。

图2是本发明提供的半透明显示器的结构示意图。

图3是本发明提供的普通显示器与半透半反镜组成的半透明显示设备的结构示意图。

图4是本发明提供的投影仪与半透明投影屏组成的半透明显示设备的结构示意图。

图5是本发明提供的微处理单元的结构示意图。

图6是本发明提供的通过机械臂移动摄像机的示意图。

图7是本发明提供的通过桁架式x-y移动台移动摄像机的示意图。

图8是本发明提供的通过桁架式y移动台移动摄像机的示意图。

图9是本发明提供的本地摄像机阵列的结构示意图。

图10是本发明提供的用户位置与视野范围的关系示意图。

图11是本发明提供的扬声器阵列的结构示意图。

图12是本发明提供的麦克风阵列的结构示意图。

图13是本发明第二实施例提供的视频通信系统的结构示意图。

图14是本发明第三实施例提供的视频通信方法的流程图。

图15是本发明提供的半透明显示设备的图像显示帧和摄像头的采集帧的工作原理图。

图16是本发明提供的获取用户位置信息的示意图。

图17是本发明第四实施例提供的实景窗系统的结构示意图。

图18是本发明第五实施例提供的实景窗系统的结构示意图。

主要元件符号说明

如下具体实施例将结合上述附图进一步说明本发明。

具体实施方式

下面将结合具体实施例及附图对本发明所提供的视频通信装置、视频通信方法以及实景窗系统作进一步说明。

请参阅图1，本发明第一实施例提供一种视频通信系统1，该视频通信系统1包括一本地视频通信装置10和一远程视频通信装置10’。所述本地视频通信装置10和所述远程视频通信装置10’分别用于视频通话的双方，所述本地视频通信装置10与远程视频通信装置10’通过有线或无线相连接。所述本地视频通信装置10包括一本地半透明显示设备11和一本地摄像机12；所述远程视频通信装置10’包括一远程半透明显示设备13和一远程摄像机14。所述本地摄像机12的位置对应于远程用户的眼睛在本地半透明显示设备11上显示画面的位置，并跟随远程用户眼睛的位置移动。所述远程摄像机14的位置对应于本地用户的眼睛在远程半透明显示设备13上显示画面的位置，并跟随本地用户眼睛的位置移动。在此，所述本地视频通信装置10和远程视频通信装置10’的结构特征与作用相同，以下仅对所述本地视频通信装置10进行详细描述。

所述本地半透明显示设备11用于显示远程的视频信息。所述本地半透明显示设备11显示的远程的视频信息是通过远程摄像机14拍摄并传输到本地半透明显示设备11的远程视频图像。其中，半透明显示设备是指显示设备是半透明的，从半透明显示设备的背面可以捕捉到半透明显示设备前面的景象。所述半透明显示设备可为半透明显示器，也可通过普通显示器与半透半反镜组合而成，还可通过投影仪与半透明投影屏组合而成。请参阅图2，为本实施例采用的半透明显示器的结构示意图，所述半透明显示器包括多个像素单元112a，该多个像素单元112a间隔分布，且间隔区域112b是透明的，为透光区域。所述像素单元112a为非透光区域，用于显示视频图像。人眼或本地摄像机12可从所述半透明显示器的背面透过该间隔区域112b捕捉到半透明显示器前面的景象信息。

请参阅图3，在另一个实施例中，该半透明显示设备为一普通显示器113与一半透半反镜114组合而成。所述半透半反镜114放置于所述普通显示器113前面，与该普通显示器113的显示屏面呈夹角α，其中0°<α<90°。优选地，30°<α<60°。更优选地，α＝45°。所述半透半反镜114可改变光的路线，使用时用户与普通显示器113位于所述半透半反镜114的同一侧，该半透半反镜114将普通显示器113显示的画面反射到用户眼睛中(如图3中虚线所示)，用户即可看到该普通显示器113显示的画面，而这时位于半透半反镜114另一侧的本地摄像机12或人眼可透过该半透半反镜114捕捉到用户的视频信息。

请参阅图4，在另一个实施例中，该半透明显示设备为一投影仪115与一半透明投影屏116组合而成。所述投影仪115将视频图像投影到半透明投影屏116上，用户在投影屏前面即可看到屏幕上显示的视频图像，而由于该投影屏116是半透明的，则在投影屏116的背面的本地摄像机12是可以透过该半透明投影屏116捕捉到屏幕前面用户的视频信息的。

所述本地通信视频装置10中还包括一微处理单元100。请参阅图5，该微处理单元100包括一视频采集及处理模块101，一位置获取模块102，一声音处理模块103，一通讯模块104，一显示模块105，一位置控制模块106、和一中央控制模块107。所述视频采集及处理模块101用于对本地用户的视频信息进行采集及处理以能够在远程半透明显示设备13中显示。具体地，对视频信息的处理主要包括对视频信号进行剪裁、失真矫正及景物遮挡关系的计算等。所述位置获取模块102用于获取本地用户的脸部空间位置信息，优选地，用于获取本地用户的眼睛位置信息。所述声音处理模块103用于控制视频信息的声音播放以及采集本地声音；所述通讯模块104用于与远程通讯，如从远程视频通信装置接收视频信息及位置信息、发送视频信息及位置信息至远程视频通信装置等；所述显示模块105用于显示远程的视频信息；所述位置控制模块106用于根据远程用户显示画面的位置信息控制本地摄像机的位置和角度的选取，使该本地摄像机移动至相应位置。所述中央控制模块107用于协调各模块工作。具体地，所述位置获取模块102获取的位置信息可通过所述中央控制模块107传送给所述视频采集及处理模块101，从而生成符合三维空间关系的视频画面。所述本地半透明显示设备可为智能电视、一体机等。

所述本地摄像机12用于拍摄本地用户的视频信息，所述视频信息会被传递给远程视频通信装置10’。所述本地摄像机12设置于所述本地半透明显示设备11的背面，由于该本地半透明显示设备11是半透明的，所述本地摄像机12可拍摄到位于该本地半透明显示设备11前面的本地用户的视频信息。所述本地摄像机12是可移动的。该本地摄像机12通过所述位置控制模块106进行位置的移动和角度的旋转。具体地，该本地摄像机12可在与所述本地半透明显示设备11的显示屏平行的平面内自由移动，该本地摄像机12与所述本地半透明显示设备11的间隔距离可根据需要进行调节，只要保证本地摄像机12在移动的过程中不会碰到半透明显示设备，又能正常拍摄到本地半透明显示设备11前面的画面即可。所述本地摄像机12的位置随着远程用户在本地半透明显示设备11上的画面移动而移动，并始终保持与远程用户的画面位置相对应。具体地，在实施例中，本地摄像机12所对应的远程用户画面的位置是指远程用户的脸部图像的位置，优选地，该本地摄像机12的位置对应于远程用户的眼睛的位置，从而使得本地用户与远程用户可以有对视的真实体验。上述本地摄像机12相当于远程用户的眼睛，当远程用户移动时，该本地摄像机12也相应移动，本地摄像机12拍摄的画面不断变化，因此，远程用户在移动时看到的画面也是在不断变化的。

进一步，所述本地摄像机12的位置信息也可通过远程视频通信装置10’直接传输到本地视频通信装置10。具体地，当远程用户移动时，远程视频通信装置10’根据远程摄像机14拍摄到的远程用户的画面并结合远程摄像机14本身所在的位置，实时计算确定远程用户的移动轨迹，再将远程用户移动轨迹的信息传递给本地视频通信装置10的位置控制模块106。所述本地摄像机12会根据远程用户的位置移动到相应位置，从而捕捉相应位置的画面，并传递给远程半透明显示设备13。因此，远程用户能够更真实浸入式体验。

所述本地摄像机12的移动方式可通过以下三种方式实现。请参阅图6，所述本地摄像机12可被放置在一机械臂121上，通过机械臂121的带动而移动，即可实现在所在的平面内朝各个方向自由移动。请参阅图7，所述本地摄像机12还可被放置在一桁架式x-y移动台122上，该桁架式x-y移动台122包括一横梁123，所述本地摄像机12本身可在横梁123上的x方向水平移动，并结合横梁123本身可在y方向上竖直移动，从而实现该本地摄像机12在所在平面内的自由移动。当然，上述横梁123也可改为竖直方向的立柱，本地摄像机12可在立柱上沿y方向上下移动，该立柱可沿x方向移动。进一步，请参阅图8，多个所述本地摄像机12被放置于一桁架式y移动台122上，该桁架式y移动台122包括一横梁124，所述多个本地摄像机12并排并固定放置于该横梁124上。该横梁124可实现y方向上的竖直移动，所述多个摄像机12不会在x方向上移动。对应地，所述视频采集及处理模块101需要根据远程用户的X方向位置，选取最接近的1个或多个本地摄像机的视频画面，即该位置对应的1个或多个本地摄像机的视频画面，计算生成在远程用户真实位置上应当看到的视频画面。本实施例中，所述本地摄像机12被放置于桁架式y移动台上。

进一步，请参阅图9，所述本地视频通信装置10还可包括多个本地摄像机12，该多个本地摄像机12排列成一二维摄像机阵列，该二维摄像机阵列均匀分布于所述本地半透明显示设备11的背面。其中，每个本地摄像机12的位置和安装角度固定，这时，该本地视频通信装置10无需设置所述位置控制模块106去移动所述本地摄像机12的位置。该多个本地摄像机12可同时工作，所述视频采集及处理模块101控制多个本地摄像机同时工作并从同时工作的多个本地摄像机12中选取仅与远程用户脸部画面位置相对应的一个或多个本地摄像机12，而所述一个或多个本地摄像机12所拍摄的视频信息会经过所述视频采集及处理模块101生成一个与远程用户位置对应的视频画面，传递给远程视频通信装置10’；该多个本地摄像机12也可不用同时工作，而根据远程用户的实时位置，由所述视频采集及处理模块101选择仅与远程用户画面位置相对应的一个或多个本地摄像机12工作，并生成合适的视频画面。

进一步，所述本地摄像机12可包括双目摄像头。所述双目摄像头可模拟人眼的双目视觉，根据两摄像头拍摄的景物信息，三维计算从而得到景物的深度信息。例如，根据本地摄像机12得到本地用户距离显示屏的深度信息，再把该深度信息传递给远程视频通信装置10’，所述远程视频通信装置10’会根据深度信息计算并选取本地用户在该位置应当看到的视野范围和景物之间的遮挡关系的视频信息。请参阅图10，当本地用户位于显示屏前的M位置处时，其对应的视野范围较大；当位于N位置处时，其对应的视野范围变小。具体地，远程摄像机相当于本地用户的眼睛，本地用户可在本地的显示屏前前后移动，而远程摄像机距离远程显示屏的距离固定不变，因此，远程摄像机需拍摄相对较大的视野范围，优选地，视角达到180°视野范围的摄像机。这样所述显示模块105才能根据本地用户距离本地半透明显示设备11的位置信息从较大的视野范围中选取相应的视野范围的视频信息进行显示。在此，所述本地摄像机12和远程摄像机14的摄像头均为广角、高像素摄像头。

上述深度信息的计算可由本地半透明显示设备11中的位置获取模块102完成，也可将数据传到云上完成计算再发送给远程，以保证数据传输的实时性。上述深度信息的传输可由本地半透明显示设备11中的通讯模块104完成。进一步，为了在竖直方向上计算遮挡关系，所述本地摄像机12还可包括交叉设置的4个摄像头组成的摄像机。进一步，在本地还可增设一深度传感器120，以专门感知本地景物的深度信息；同样地，在远程也可增设一深度传感器140，以专门感知远程景物的深度信息。上述深度信息的传输可由本地半透明显示设备11中的通讯模块104完成。

所述远程半透明显示设备13用于显示本地摄像机12拍摄并经过计算处理的视频图像。上述对所述本地半透明显示设备11的技术特征的描述同样适用于该远程半透明显示设备13，在此不再赘述。

所述远程摄像机14用于拍摄远程用户的视频信息，并将视频信息经过计算处理后传递给本地半透明显示设备11。所述远程摄像机14设置于所述远程半透明显示设备13的背面，由于该远程半透明显示设备13是半透明的，所述远程摄像机14可拍摄到位于该远程半透明显示设备13前面的远程用户的视频信息。上述对本地摄像机12的技术特征的描述同样适用于该远程摄像机14，在此不再赘述。

进一步，请参阅图11，在所述本地半透明显示设备11上还可设置一扬声器阵列17，所述扬声器阵列17均匀分布于本地半透明显示设备11的背面，根据对方的声源位置模拟对方说话的方位。该扬声器阵列17也可以超出半透明显示设备11的范围设置，如设置在所述本地摄像机12远离该本地半透明显示设备11的一侧或外侧(图未示)，以模拟视野范围外的声源。请参阅图12，在所述本地半透明显示设备11的前方设置多个立体声麦克风18，用以采集实际声场用以传输给对方。上述设置可使用户在听觉上同样有身临其境的感觉，如在视频画面中看不到的地方有只猫叫，对方也能听出方位。

本发明提供的本地视频通信装置10具有以下优点：将摄像头设置在半透明屏幕的背后，并且摄像头可跟随用户的头部位置实时移动，从而用户在看屏幕中对方的眼睛位置时，背后摄像头拍到的就是用户直视对方的面孔，通信的双方可彼此直视对方的眼睛，中间只相当于隔了一块透明玻璃，大大增加浸入感，通话体验大为改善。

请参阅图13，本发明第二实施例提供一种视频通信系统2，该视频通信系统2包括一本地半透明显示设备11，一本地摄像机12，一本地识别定位装置15，一远程半透明显示设备13，一远程摄像机14，一远程识别定位装置16。所述本地识别定位装置15设置于所述本地半透明显示设备11上，用于识别本地用户的脸部位置信息。所述本地摄像机12的位置对应于远程用户在本地本透明显示设备11上显示画面的位置，并跟随远程用户显示画面的位置移动。所述远程识别定位装置16设置于所述远程半透明显示设备13上，用于识别远程用户的脸部位置信息。所述远程摄像机14的位置对应于本地用户在远程半透明显示设备13上显示画面的位置，并跟随本地用户的显示画面位置移动。

本实施例所提供的视频通信系统2与第一实施例提供的视频通信系统1基本相同，其区别在于，所述视频通信系统2增加了一本地识别定位装置15和一远程识别定位装置16。所述本地识别定位装置15用于识别并计算本地用户的位置信息，并将本地用户的位置信息传递至远程摄像机14。所述本地摄像机12只用于拍摄本地用户的视频信息。所述远程识别定位装置16用于识别并计算远程用户的位置信息，并将远程用户的位置信息传递至本地摄像机12。所述远程摄像机14只用于拍摄远程用户的视频信息。所述本地识别定位装置15和所述远程识别定位装置16可为光学摄像头、红外摄像头、需与用户佩戴的位置标签式传感器配合使用的位置检测单元等。本实施例中，所述本地识别定位装置15和所述远程识别定位装置16均为kinect装置。

请参阅图14，本发明第三实施例提供一种视频通信的方法，其包括以下步骤：

S11，获取本地和远程两方的视频图像信息；

S12，将两方的视频图像信息分别显示在对方的半透明显示设备，并使得对方的摄像机获取视频信息中用户的位置信息；

S13，本地和远程的摄像机根据接收到的位置信息分别移动到相应的位置，并采集视频信息传递给对方的半透明显示设备。

在步骤S11中，本地视频图像信息通过本地摄像机12拍摄得到，远程视频图像信息通过远程摄像机14拍摄得到。所述本地摄像机12位于本地半透明显示设备11的背面，该本地摄像机12透过该本地半透明显示设备11拍摄本地用户的视频图像信息。所述远程摄像机14位于远程半透明显示设备13的背面，该远程摄像机14透过该远程半透明显示设备13拍摄远程用户的视频图像信息。在摄像机透过半透明显示设备拍摄时，半透明显示设备中可发光的像素部分由于在像素下有遮光层遮挡，光线不会进入到显示设备的背面，从而避免了干扰摄像机工作，因此，在半透明显示设备工作的过程中，其背面的摄像机也可以实时工作。本实施例中，本地和远程的视频图像信息均由双目广角摄像头实时拍摄得到。

优选地，为了使得摄像机工作时不会有光线的干扰，半透明显示设备的图像显示帧和摄像机的图像采集帧可采用分帧错开的方法。具体地，请参阅图15，半透明显示设备的图像显示帧和摄像头的图像采集帧是一帧一帧交替工作，在图像显示帧工作时，摄像头的图像采集帧关闭；在图像显示帧关闭时，摄像头的图像采集帧工作。其中，图像显示帧和图像采集帧的交替时间很短，人眼无法区分，所以不会对人们的视频通信体验造成影响。

在步骤S12中，本地摄像机12将拍摄的本地用户的视频图像信息传递给远程半透明显示设备13，同时，所述远程摄像机14需获取视频图像信息中本地用户的位置信息。远程摄像机14将拍摄的远程用户的视频图像信息传递给本地半透明显示设备11，同时，该本地摄像机12需获取视频图像信息中远程用户的位置信息。

上述视频中用户画面的位置信息可通过以下两种方法得到。一、从摄像机拍摄的视频中采用图像识别方法得到用户在视频中的相对位置，再结合摄像机自身位置计算确定用户的位置。如图16所示，假定本地摄像机12和远程摄像机14的初始位置均在显示设备的正中间位置，本地视频通信装置10和远程视频通信装置10’会根据摄像机拍摄到的用户在视频中的相对位置以及摄像机自身的位置计算并确定用户的位置，并将位置信息传递给对方的摄像机。最后，本地摄像机12和远程摄像机14会分别根据接收到的位置信息移动到相应的位置。上述用户画面的位置信息的计算可以在本地计算后传递至远方，也可以将数据传递至远方再计算。二、所述用户画面的位置信息还可通过专门的识别定位装置识别得到，所述识别定位装置可设置于半透明显示设备前用以直接识别用户脸部位置。所述识别定位装置可为光学摄像头、红外摄像头、需与用户佩戴的位置标签式传感器配合使用的位置检测单元等。

在步骤S13中，在进行视频通信之前，所述本地摄像机12和远程摄像机14均位于一初始位置。所述初始位置可为半透明显示设备背面的任一位置，如中间或两端位置。本实施例中，在进行视频通信前，所述本地摄像机12设置于本地半透明显示设备11背面的正中间位置，所述远程摄像机14设置于远程半透明显示设备13背面的正中间位置。

所述本地摄像机12根据视频中远程用户画面的位置信息移动到相应位置。又，本地半透明显示设备11是用于接收并显示远程用户的视频图像信息，视频显示的远程用户画面在本地半透明显示设备11中的相对位置正好与本地摄像机12移动后的位置重叠。因此，当本地用户看向屏幕中的远程用户时，位于显示设备后面的本地摄像机12正好拍摄到本地用户直视的画面，从而远程用户可以看到本地用户直视自己的画面。同样地，所述远程摄像机14在接收到本地用户的位置信息后，也会作出相应的位置移动，从而本地用户也可以看到远程用户直视自己的画面。

当然，在视频通信的过程中，若一方用户离开摄像机的视野范围，则该用户所对应的摄像机不再移动。例如，当远程用户离开其所在视频通信的房间后，超出了远程摄像机14或远程识别定位装置对于脸部识别的视野范围，该远程用户所对应的本地摄像机12则不再移动，这时，所述远程半透明显示设备13所播放的视频的视野范围不再改变。然而，由于本地用户依然在本地半透明显示设备11前，该本地用户所对应的远程摄像头仍会根据本地用户的位置移动，本地用户依然可观看到远程不同视野范围的景象。

上述视频通信方法分别适用于本地视频通信装置和远程视频通信装置。在另一个实施例中，适用于本地视频通信装置的视频通信方法包括以下步骤：

S21，从远程视频通信装置10’获取远程用户的视频图像信息；

在本实施例中，远程用户的视频图像信息是由远程视频通信装置10’中的远程摄像机14拍摄获取得到，该远程摄像机14透过该远程半透明显示设备13拍摄远程用户的视频图像信息。

S22，将远程用户的视频图像信息显示于本地半透明显示设备11；

在本实施例中，本地半透明显示设备11通过所述通讯模块104接收远程用户的视频图像信息后，该视频图像信息会通过所述视频处理模块101处理并经所述显示模块105显示于本地半透明显示设备11。

S23，获取远程用户的显示画面在本地半透明显示设备11上的位置信息；

获取远程用户的显示画面的位置信息可先通过所述远程视频通信装置10’计算后再传递至本地视频通信装置10；也可先将远程用户的显示画面信息传递至本地视频通信装置10，再经本地视频通信装置10计算得到位置信息。本实施例中，远程用户的显示画面的位置信息是先通过所述远程视频通信装置10’计算后再传递至本地视频通信装置10。

S24，使本地摄像机12移动到与远程用户的显示画面在本地半透明显示设备11上的位置对应的位置；

在本实施例中，本地摄像机12通过所述位置控制模块106移动到与远程用户的图像的位置信息所对应的位置。

当然，当所述本地视频通信装置10包括多个本地摄像机12排列成二维摄像机阵列时，该多个本地摄像机12不会移动。这时，只有与本地半透明显示设备显示的远程用户图像的位置对应的一个或多个本地摄像机会被选取。

S25，本地摄像机12在该对应位置采集本地用户的视频图像，并将该本地用户的视频图像发送给远程视频通信装置10’。

在本实施例中，该本地摄像机12采集本地用户的视频图像通过所述通讯模块104发送至远程程视频通信装置10’。

本发明提供的视频通信方法具有以下优点：通过实时移动摄像头，用户双方在视频通信时能够彼此注视对方的眼睛，增加交互体验；用户在显示屏前移动时，其对应的摄像头也在相应移动，拍摄到的画面也在不断变化，从而使得用户在移动时看到的画面也在不断改变，沉浸感增加。

请参阅图17，本发明第四实施例提供一种实景窗系统30，所述实景窗系统30包括一本地显示器31，一本地识别定位装置32，一远程摄像机33。所述本地识别定位装置32用于识别本地用户的脸部位置，并将脸部位置信息传递给所述远程摄像机33。所述远程摄像机33用于根据脸部位置信息拍摄相应的远程景象的视频信息。在此，所述本地显示器31和所述本地识别定位装置32可设定为本地用户端。

所述本地显示器31用于显示远程的视频信息。该本地显示器31为普通显示器即可，如LED显示器、LCD显示器等。所述本地识别定位装置32设置于该本地显示器31上，该本地识别定位装置32可为光学摄像头、红外摄像头、需与用户佩戴的位置标签式传感器配合使用的位置检测单元等。本实施例中，所述本地显示器31为LED显示器，所述本地识别定位装置32为kinect装置。

所述远程摄像机33用于拍摄远程景象的视频信息。具体地，该远程摄像机33被设置在远程的某一位置，且满足在该位置能够拍摄到所需要的景物视频即可。所述远程摄像机33可为一可移动摄像头，多个不同方位的摄像头形成的阵列，或为一广角摄像机，以满足该远程摄像机33可在拍摄到大范围的景象。所述远程摄像机33的移动方式与本地摄像机12的移动方式相同，在此不再赘述。

进一步，在所述实景窗系统30上还包括一信息处理器34，该信息处理器34分别与本地用户端和远程摄像机连接。具体地，所述信息处理器34可根据本地用户的脸部位置信息计算出用户在该位置所能看到的视野范围，并根据本地用户的视野范围选取所述远程摄像机33拍摄该范围内的视频信息，并将拍摄的视频信息传递到本地显示器31，本地用户即可看到远程的实时景象。优选地，所述信息处理器34可根据本地用户的眼睛位置信息计算出用户在该位置所能看到的视野范围。同时，随着本地用户位置的移动，该本地识别定位装置32也会根据本地用户的位置的改变，选择相应的视频景象传递给所述本地显示器31。当所述远程摄像机33包括多个远程摄像机排列成一二维摄像机阵列时，所述信息处理器34用于从该多个远程摄像机中选取仅与本地用户脸部的位置信息对应的一个或多个远程摄像机拍摄的视频信息，对所述一个或多个远程摄像机拍摄的视频信息计算得到本地用户位置对应的视频信息，再将计算得到的视频信息传递至本地显示器31。因此，本地用户在所述本地显示器31前移动时，看到的视频景象也会不同。

进一步，还可设置本地扬声器、本地光照装置、本地喷雾装置与该本地显示器31配合使用，以模拟远程景象中的声音、光照、空气湿度等。相应地，在远程场景中也会相应设置麦克风、感光装置、空气湿度检测器等。

具体地，当远程场景为一沙滩时，所述实景窗系统30打开后，本地用户也如同置身于沙滩上，可看到蔚蓝的海水、听到海浪拍岸的声音、感受沙滩充足的阳光以及海边潮湿的空气，给人身临其境的感觉。当本地用户移动时，看到的视野范围也在改变，如同漫步海边。

请参阅图18，本发明第五实施例提供一种实景窗系统40，所述实景窗系统40包括多个本地显示器41，多个本地识别定位装置42，一远程摄像机阵列43，一信息处理器44。其中，每个本地显示器和每个本地识别定位装置可看作一本地用户端。每个本地识别定位装置42用于识别其对应的本地用户的脸部位置，并将脸部位置信息传递给所述信息处理器44。所述信息处理器44分别与多个本地用户端和远程摄像机阵列连接，该信息处理器44用于可根据每位本地用户的脸部位置信息计算出该本地用户在其位置所能看到的视野范围，并根据视野范围选取所述远程摄像机阵列43中对应的摄像机采集的视频图像。所述远程摄像机阵列43包括多个摄像机，该多个摄像机呈阵列式排布。所述信息处理器44可控制该多个摄像机同时工作并分别选取不同的视角范围拍摄视频信息，并将拍摄的视频信息传递给对应的本地显示器41。

本实施例所提供的实景窗系统40与第四实施例提供的实景窗系统30基本相同，其区别在于，所述实景窗系统40包括多个本地显示器41，所述信息处理器44根据每个本地用户的位置信息将视频信息同时传递给多个本地显示器41，以供多个用户同时欣赏。具体地，所述远程摄像机阵列43中的多个摄像机可分别选取不同的视角范围进行拍摄，从而该远程摄像机阵列43可同时拍摄多角度、不同视野范围的视频。由于每个本地显示器41前的用户所在位置角度不尽相同，其通过本地识别定位装置42传递给远程摄像机阵列43的位置信息也不同，这时，该信息处理器44可根据不同用户的位置及角度信息进行计算处理后再选取相应的视频信息传递给对应的本地显示器41。所述实景窗系统40可同时适用于处在不同地方的多个用户同时使用，且每个用户根据自己的位置信息看到的视野范围也不相同。

本发明提供的实景窗系统具有以下优点：通过实时感测用户的位置信息，将不同位置的远程的景象实时传递给用户，用户可以与远程场景实时交互，可以体验到身临其境的感觉。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

另外，本领域技术人员还可在本发明精神内作其它变化，当然这些依据本发明精神所作的变化，都应包含在本发明所要求保护的范围内。

Claims (4)

1.一种本地视频通信装置，包括：

一本地半透明显示设备，用于显示远程的视频信息；

多个本地摄像机，用于拍摄本地用户的视频信息；

其特征在于，所述多个本地摄像机设置于所述本地半透明显示设备的背面，该多个本地摄像机排列成一二维摄像机阵列，进一步所述本地半透明显示设备包括一微处理单元，所述微处理单元包括：

一视频采集及处理模块，用于选择与远程用户脸部位置对应的本地摄像机，并对本地摄像机拍摄的视频信息进行采集和处理；

一位置获取模块，用于获取本地用户的脸部空间位置信息；

一通讯模块，用于与远程视频通信装置之间接收和发送视频信息及位置信息；

一显示模块，用于显示远程的视频信息，所述显示模块用于根据本地用户的位置及本地用户距离本地半透明显示设备的深度信息显示相应视野范围的远程视频信息，进一步包括一深度传感器，以专门感知本地景物的深度信息，所述视频采集及处理模块选择本地摄像机并对采集的视频信息处理的方法为：控制多个本地摄像机同时工作，选取仅与远程用户眼睛图像位置对应的一个或多个本地摄像机拍摄的视频信息，选取的本地摄像机用于模拟图像中远程用户的眼睛进行本地的视频采集，计算所述一个或多个本地摄像机拍摄的视频信息获得一与远程用户位置对应的视频信息。

2.如权利要求1所述的本地视频通信装置，其特征在于，所述本地半透明显示设备是半透明显示器、普通显示器与半透半反镜的组合、投影仪与半透明投影屏的组合中的一种。

3.如权利要求1所述的本地视频通信装置，其特征在于，所述位置获取模块用于获取本地用户的眼睛的位置信息。

4.如权利要求1所述的本地视频通信装置，其特征在于，进一步包括一本地识别定位装置设置于所述本地半透明显示设备上，用于识别本地用户的脸部位置信息，并将该脸部位置信息通过所述通讯模块传递给远程用户；所述本地识别定位装置为光学摄像头、红外摄像头、需与用户佩戴的位置标签式传感器配合使用的位置检测单元中的一种。

Images