CN102246520B - 通过视频会议通信的方法和设备 - Google Patents

Abstract

一种用于本地用户(1)与至少一个远程用户(3)之间的视频会议的设备，所述设备包括：屏幕(7)，能够向所述本地用户(1)恢复所述远程用户的图像(I3)；以及图像传感器(9)，能够为所述远程用户(3)捕获所述本地用户的图像(I1)。所述设备还包括延迟设施(14)，能够将选定延迟(R1)施加于源自本地图像传感器的所述本地用户(1)的图像(I1)，所述屏幕(7)能够向本地用户(1)恢复由此延迟后的所述本地用户的图像，以便在远程恢复所述本地用户的图像的同时，本地恢复由此延迟后的所述本地用户的图像。

Description

通过视频会议通信的方法和设备

技术领域

本发明涉及视频会议通信。

背景技术

通常，视频会议使得本地用户能够通过语音和视觉与至少一个远程用户通信。在此方面，每个用户使用向他或她显示该用户的图像的至少一个屏幕，以及使用摄像机为其他用户捕获他或她自己的图像。

如果用户彼此间隔很长的距离，则视频会议通信(尤其是使用卫星的视频会议通信)会在用户间产生相对严重的不同步问题。这是因为本地用户的图像在一段可能相对较长的时间后到达远程用户的位置处，该段时间取决于所使用的通信网络、图像的编码、距离，以及用户之间的语音和图像传播速度。结果是用户不能彼此自然和交互地交谈的负面感觉，这阻止了用户之间的高质量通信。

发明内容

本发明提供了对此问题的解决方案。

本发明披露了一种在本地用户与至少一个远程用户之间的视频会议通信设备，所述设备包括：本地屏幕，能够向所述本地用户显示所述远程用户的图像；以及本地图像传感器，能够为所述远程用户捕获所述本地用户的图像。

根据本发明的一种一般定义，所述设备还包括本地延迟单元，其能够将选定延迟施加于来自本地图像传感器的本地用户的图像，本地屏幕能够向本地用户显示由此延迟后的所述本地用户的图像，以便在远程显示本地用户的图像的同时，本地显示由此延迟后的所述本地用户的图像。

因此，由于本发明的设备，消除了不同步的负面感觉，因为在远程显示本地用户自己的图像时，本地用户具有他或她自己的图像的本地视图，这使得他或她能够实现高质量的视频会议通信。

根据一个实施例，根据属于由通信网络、图像编码、距离、语音和图像传播速度和/或经历的传输时间构成的组的元素的技术特征来计算所述延迟。

根据另一个实施例，根据所述本地用户与所述远程用户之间的往返传输时间来计算所述延迟。

根据另一个实施例，实时地、动态地、永久地或以给定步调计算所述延迟。

根据另一个实施例，额外考虑传输质量，本地显示所述图像，这使得在远程显示本地用户自己的图像时，本地用户不仅能够同时而且能够以相同的质量在本地查看其自己的图像，这进一步改善了沉浸的感觉。

根据另一个实施例，所述设备还包括叠加单元，能够将由此延迟后的所述本地用户的图像与没有延迟的所述本地用户的图像相叠加，这使得所述本地用户能够根据所述本地用户的具有和没有延迟的图像之间的差异来调整他或她的行为。

根据另一个实施例，所述设备还包括处理单元，能够将声音传输中存在的回声和/或本地用户与远程用户之间的传输滞后转换为可视或振动表示。这在音频会议中也是有利的。

本发明的另一个目的是一种在本地用户与至少一个远程用户之间的视频会议通信方法，所述方法包括向本地用户提供本地屏幕和本地图像传感器，本地屏幕能够向本地用户显示本地用户的图像，本地图像传感器能够为远程用户捕获本地用户的图像。

根据本发明的另一个方面，所述方法还包括以下步骤：将选定延迟本地地施加于来自本地图像传感器的本地用户的图像，并且向所述本地用户显示由此延迟后的所述本地用户的图像，以便在远程显示所述本地用户的图像的同时，本地显示由此延迟后的本地用户的图像。

根据另一个实施例，所述远程用户具备另一通信设备，该设备包括：远程屏幕，能够向所述远程用户显示所述本地用户的图像；远程图像传感器，能够为所述本地用户显示所述远程用户的图像；以及远程延迟单元，其能够将选定延迟施加于来自远程图像传感器的远程用户的图像，并且其中向远程用户显示由此延迟后的远程用户的图像，以便在给定时刻向所述远程用户显示的由此延迟后的所述远程用户的图像与在所述时刻向所述本地用户显示的所述远程用户的图像相匹配。

附图说明

在研究以下详细说明和附图后，本发明的其他特征和优点将变得显而易见，这些附图是：

图1示意性地示出了根据现有技术的两个彼此间隔很长距离的用户之间的视频会议通信；

图2示意性地示出了图1的视频会议通信，其中根据本发明将延迟施加于本地用户的图像；

图3详细示出了本发明的设备的一个变型实施例；

图4是示出本发明的方法的流程图；以及

图5示意性地示出了图2的视频会议通信，其中所施加的延迟与用户间的往返时间匹配。

具体实施方式

现在参考图1，在位于地点2处的本地用户1与位于远离地点2(例如，几千公里之外)的地点4处的远程用户3之间建立视频会议通信。在一个变型中，在本地用户1与多个远程用户3之间建立视频会议通信。借助其处理装置10位于地点2处的通信设备5建立视频会议通信。在一个变型中，通信设备5的处理装置10可以位于诸如地点4之类的不同地点。

在地点2，通信设备5包括屏幕7，屏幕7能够以滞后D向本地用户1显示远程用户3的图像I3。在此，滞后D随所使用的通信网络、图像编码、距离，以及两个地点2与4之间的语音和图像的传播速度而变化。设备5还包括摄像机9，能够为远程用户3捕获本地用户1的图像I1。屏幕7还能够在参考时间T显示来自摄像机9的本地用户1的图像I1。

在地点4，屏幕11可以向远程用户3显示来自通信设备5的本地用户的图像I1。以滞后D显示图像I1，滞后D随所使用的通信网络、图像编码、距离，以及用户之间的语音和图像的传播速度而变化。屏幕11还显示由位于地点4处的摄像机13捕获的远程用户3的图像。经由设备5以等于T+D的时间在屏幕7上显示此图像I3并以等于T+2D的时间在屏幕11上显示此图像I3。

因此，现有技术的通信设备经历用户之间相对较高的不同步的问题。这是因为本地用户的图像I1在可能较长的滞后D之后到达远程用户的位置，而本地用户并不知晓该滞后D。结果造成用户不能彼此自然和交互地交谈的负面感觉，这阻止了用户之间的高质量通信。

参考图2，设备5还包括本地延迟单元12，其能够将选定延迟R施加于来自本地图像传感器9的本地用户的图像I1。

本地屏幕7然后在等于T+R的时间向本地用户显示由此延迟后的本地用户的图像I1，而远程屏幕11在等于T+R+D的时间向远程用户显示本地用户的图像I1，其中D是两个地点之间的通信滞后。

这样选择延迟R：在本地显示远程用户的图像的同时在屏幕7上本地显示由此延迟后的本地用户的图像I1。换言之，选择延迟R，使得在屏幕7上显示的时间等于T+R的图像I1和时间等于T+D的图像I3被同步，此处意味着T+R＝T+D。

同样，在此选择延迟R，使得以等于T+D+R的时间在屏幕11上显示的由此延迟后的本地用户的图像I1与以等于T+2D的时间在屏幕11上显示的远程用户的图像同步，此处意味着T+R+D＝T+D+D。

参考图3，通信设备在地点2处包括延迟单元14，其能够将选定延迟R1施加于来自图像传感器9的用户图像I1，并且在经由通信网络15与地点2相连的地点4处，通信设备包括延迟单元16，能够将延迟R2施加于来自图像传感器13的用户图像I3。

选择延迟R1和R2，以便图像I1和I3在屏幕7和11上同步，此处意味着T+R1＝T+D＝T+R2。

参考图4，视频会议通信方法的主要步骤如下。

在步骤S1，使用图像传感器9和13执行视频获取。

在步骤S2，估计延迟R和/或延迟R1和R2。

例如，通过测量将图像从本地地点发送到远程地点时的时间差来估计所述延迟。例如，在RTP(实时传输协议)分组上执行此测量，并将时钟与NTP(网络时间协议)信号同步。

在一种变型中，通过测量探测分组到达和例如使用UDP(用户数据报协议)或ICMP(互联网控制消息协议)发送探测分组时的时间差来估计所述延迟。

在实际中，实时地、动态地、永久地或以给定步调计算所述延迟。

在步骤S3，将由此估计的延迟施加于步骤S1期间获得的图像。

在实际中，通过使预定用于全屏幕的分组存储在存储器中的持续时间对应于传输滞后D来施加所述延迟。

在一种变型中，通过更改要发送到解码图像的设备的分组的时间标签来施加所述延迟。

在实际中，在额外考虑传输质量(比特率、错误率等)的情况下本地地显示图像，这使得在远程显示本地用户自己的图像时，本地用户不仅能够同时而且能够以相同的质量在本地查看其自己的图像。

在步骤S4，执行在屏幕7和11上显示图像的步骤。

例如，为了进一步改善视频会议的质量，所述设备还包括叠加单元，其能够在每个屏幕7和11上将由此延迟后的用户图像与没有延迟的用户图像相叠加，这使得所述用户能够根据所述用户的具有和没有延迟的图像之间的差异来调整他或她的行为。

根据另一个实施例，所述设备还包括处理单元，其能够将声音传输中存在的回声和/或本地用户与远程用户之间的传输滞后转换为可视或振动表示。

参考图5，延迟单元18施加延迟R，延迟R的值是根据两个地点之间的往返传输滞后来计算的，此处R＝2D。

因此，屏幕7上显示的图像I1和I3是同步的并在等于T+2D的时间显示图像I1和I3。同样，屏幕11上显示的图像I1和I3是同步的并在等于T+2D的时间显示图像I1和I3。

Claims (8)

1.一种被配置为在本地用户与至少一个远程用户之间进行视频会议的视频会议设备，所述设备包括：

图像传感器，能够捕获所述本地用户的没有延迟的图像以向所述远程用户传输，作为传输的本地图像；

延迟单元，所述延迟单元能够将选定延迟施加于本地图像传感器生成的本地用户的没有延迟的图像以产生延迟后的本地图像以便延迟后的本地图像的本地用户处的时间与所述传输的本地图像的远程用户处的时间相同；

叠加单元，被配置为将没有延迟的本地用户的图像与延迟后的本地用户的图像相叠加，以产生叠加的图像；以及，

屏幕，被配置为向本地用户同时显示远程用户的图像和叠加的图像，所述叠加的图像包含没有延迟的本地图像和延迟后的本地图像，以使得没有延迟的本地图像和延迟后的本地图像之间的差异对本地用户可见。

2.根据权利要求1所述的设备，其中根据属于由通信网络、图像编码、距离、语音和图像传播速度和/或经历的传输时间构成的组的元素的技术特征来计算所述延迟。

3.根据权利要求1所述的设备，其中根据所述本地用户与所述远程用户之间的往返传输滞后来计算所述延迟。

4.根据权利要求1所述的设备，其中实时地、动态地、永久地或以给定步调计算所述延迟。

5.根据权利要求1所述的设备，其中额外考虑所述本地用户与所述远程用户之间的传输的比特率或错误率，本地显示本地用户的延迟后的本地图像。

6.根据权利要求1所述的设备，其特征在于，所述设备还包括处理单元，能够将本地用户与远程用户之间的声音传输中存在的回声转换为可视或振动表示。

7.根据权利要求1所述的设备，其中所述远程用户配备有另一通信设备，所述另一设备包括：

远程图像传感器，能够捕获所述远程用户的没有延迟图像以向所述本地用户传输，作为传输的远程图像；

远程延迟单元，所述延迟单元能够将选定延迟施加于所述远程图像传感器生成的远程用户的没有延迟的远程图像以产生延迟后的远程图像以便延迟后的本地图像的远程用户处的时间与所述传输的远程图像的本地用户处的时间相同；

叠加单元，被配置为将没有延迟的远程图像与延迟后的远程图像相叠加，以产生叠加的远程图像；以及，

屏幕，被配置为向远程用户同时显示本地用户的图像和叠加的图像，所述叠加的图像包含没有延迟的远程图像和延迟后的远程图像，以使得没有延迟的远程图像和延迟后的远程图像之间的差异对远程用户可见。

8.一种在本地用户与至少一个远程用户之间进行视频会议的方法，所述方法包括：

捕获所述本地用户的没有延迟图像以向所述远程用户传输，作为传输的本地图像；

将选定延迟施加于本地图像传感器生成的本地用户的所述没有延迟图像以产生延迟后的本地图像以便延迟后的本地图像的本地用户处的时间与所述传输的本地图像的远程用户处的时间相同；

将没有延迟的本地用户的图像与延迟后的本地用户的图像相叠加，以产生叠加的图像；以及，

向所述本地用户同时显示所述远程用户的图像和叠加的图像，所述叠加的图像包含没有延迟的本地图像和延迟后的本地图像，以使得没有延迟的本地图像和延迟后的本地图像之间的差异对本地用户可见。