CN103686056A - 会议终端及该会议终端的视频处理方法 - Google Patents

Abstract

本发明提供一种会议终端及该会议终端的视频处理方法。该方法包括：实时获取对应的会议终端的影像；对影像进行解码获得各帧图像，并从每帧图像中提取演示文稿图像和指示部图像；确定演示文稿图像和指示部图像的尺寸；确定每帧图像中指示部图像在演示文稿图像上所指示的对象；按照其所属会议终端的演示文稿的预定尺寸对来自其它各个会议终端的指示部图像尺寸进行缩放，并确定所述对象分别在该预定尺寸的演示文稿上的对应位置，并将缩放之后的其它各个会议终端的指示部图像分别按照该些对应位置与该预定尺寸的演示文稿合成组合画面。本发明能够使得各个会议终端的显示屏可在显示演示文稿的同时在演示文稿的特定位置同时显示各个指示部影像。

Description

会议终端及该会议终端的视频处理方法

技术领域

本发明涉及通信领域，尤其涉及一种会议终端及该会议终端视频处理的方法。

背景技术

视频会议系统提供至少两个会议终端之间的通信，在诸如WAN或LAN等网络上实时传输视频、音频和/或数据流，以允许本地端和会议终端处的参与者之间进行视频会议。由于传统的视频会议系统都是通过分屏技术使各个会议终端处获取的包括用户的视频影像可以和显示屏上的演示文稿同时显示，即，视频影像与演示文稿分成两个独立的画面同时显示于显示屏上。这样，远程与会者能清楚看到其它会议终端处用户的肢体动作，然而却不能直观地看到用户此时讲述的演示文稿的具体位置。

发明内容

有鉴于此，有必要提供一种会议终端及该会议终端的视频处理的方法，能够解决上述问题。

本发明提供一种会议终端，可与其它至少一会议终端通过网络进行通信，每个会议终端均包括一用于显示演示文稿的显示屏，该会议终端还连接有一投影装置和一影像获取装置，该投影装置用于将显示的演示文稿投影至一投影屏上，该影像获取装置用于对投影的演示文稿进行影像获取，该会议终端包括：

一影像获取模块，用于实时获取对应的会议终端的影像；

一影像处理模块，用于采用预定的编码算法对获取的影像进行解码而获得来自该会议终端的影像的各帧图像，然后从每帧图像中提取出演示文稿图像和指示部图像；

一尺寸分析模块，用于获取该会议终端的影像中的演示文稿图像和指示部图像，并确定该会议终端的所述演示文稿图像和指示部图像的尺寸；

一对象定位模块，用于确定每帧图像中指示部图像在演示文稿图像上所指示的对象；和

一组合模块，用于获取其它各个会议终端的所有指示部图像、该指示部图像和演示文稿图像的尺寸以及该指示部图像相对于该演示文稿图像的距离，按照其所属会议终端的演示文稿的预定尺寸对来自其它各个会议终端的指示部图像尺寸进行缩放，并结合来自其它各个会议终端的指示部图像在其相应的演示文稿图像上所指示的对象确定所述对象分别在该预定尺寸的演示文稿上的对应位置，然后将缩放之后的其它各个会议终端的指示部图像分别按照该些对应位置与该预定尺寸的演示文稿合成一组合画面，并显示于各个会议终端的显示屏。

本发明还提供一种会议终端的视频处理方法，应用于至少两个会议终端之间，每个会议终端均包括一用于显示演示文稿的显示屏，该会议终端还连接有一投影装置和一影像获取装置，该投影装置用于将显示的演示文稿投影至一投影屏上，该影像获取装置用于对投影的演示文稿进行影像获取，该方法包括：

实时获取对应的会议终端的影像；

采用预定的编码算法对获取的影像进行解码而获得来自该会议终端的影像的各帧图像，然后从每帧图像中提取出演示文稿图像和指示部图像；

获取所述提取该会议终端的影像中的演示文稿图像和指示部图像，并确定该会议终端的所述演示文稿图像和指示部图像的尺寸；

确定每帧图像中指示部图像在演示文稿图像上所指示的对象；和

获取其它各个会议终端的所有指示部图像、该指示部图像和演示文稿图像的尺寸以及该指示部图像相对于该演示文稿图像的距离，按照其所属会议终端的演示文稿的预定尺寸对来自其它各个会议终端的指示部图像尺寸进行缩放，并结合来自其它各个会议终端的指示部图像在其相应的演示文稿图像上所指示的对象确定所述对象分别在该预定尺寸的演示文稿上的对应位置，然后将缩放之后的其它各个会议终端的指示部图像分别按照该些对应位置与该预定尺寸的演示文稿合成一组合画面，并显示于各个会议终端的显示屏。

相较于现有技术，本发明从各个会议终端获取的影像中提取出指示部影像，然后将所有的指示部影像分别做一定比例的缩放后按照一定的位置关系与演示文稿组合成一个组合画面，使得各个会议终端的显示屏可在显示演示文稿的同时在演示文稿的特定位置同时显示各个指示部影像。

附图说明

图1是本发明一较佳实施方式中的会议终端的环境应用示意图。

图2是本发明一较佳实施方式中的会议终端的硬体架构图。

图3为本发明一较佳实施方式中的其中一会议终端的显示屏上显示的组合画面的示意图。

图4是本发明一较佳实施方式中的会议终端的视频处理方法的流程图。

主要元件符号说明

会议终端	100
		显示屏	101
投影装置	200
		影像获取模块	11
影像处理模块	12
		尺寸分析模块	13
对象定位模块	14
		组合模块	15

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

图1为本发明一较佳实施例中的会议终端100的环境应用示意图。每一个会议终端100与其它会议终端100之间建立有视频媒体传输通道，并通过IP网络在所述视频媒体传输通道之间进行通信。其中，所述会议终端100之间可以通过预定的媒体传输通道参数或动态信令协商的方式来建立所述视频媒体传输通道。所述信令可以采用但并不局限于实时流传输协议（RTSP，Real Time Streaming Protocol）；所述媒体传输通道可以采用但并不局限于传输控制协议（TCP，TransmissionControl Protocol）或用户数据包协议（UDP，User Datagram Protocol）。为简要起见，图1仅示出两个会议终端100，然而，本发明同样适用于多个会议终端100的情况。

每个会议终端100均包括一用于显示演示文稿的显示屏101，每一会议终端100还连接有一投影装置200和一影像获取装置（如一摄像机，图未示），该投影装置200用于将显示屏101显示的演示文稿投影至一投影屏（图未示）上，该影像获取装置用于获取包括投影屏上演示文稿的影像，其中，该获取的影像还包括用于指示该演示文稿的指示部的影像。在本实施方式中，用户利用手指对投影屏上的演示文稿进行指示，故所述指示部的影像为至少包括用户手指的影像。当然，所述指示部并不局限于用户的手指。在其它实施方式中，当用户采用如激光笔对演示文稿进行指示时，所述影像获取装置对投影屏上包括激光点的演示文稿进行摄取。在这种情况下，所述指示部的影像为包括激光点的影像。其中，该指示部图像还可包括人的身体等。

如图2所示，该会议终端100包括一影像获取模块11、一影像处理模块12、一尺寸分析模块13、一对象定位模块14和一组合模块15。

该影像获取模块11用于实时获取对应的会议终端100的影像。

该影像处理模块12用于采用预定的编码算法（如H.263或H.264）对获取的影像进行解码而获得来自该会议终端100的影像的各帧图像，然后从每帧图像中提取出演示文稿图像和指示部图像。在本实施方式中，每帧图像还包括背景图像，其中，演示文稿图像、指示部图像以及背景图像各具有不同的灰度。该影像处理模块12用于根据该灰度差异从每帧图像中提取出所述的演示文稿图像和指示部图像，该提取过程可参考现有的图像提取技术，例如，可结合青岛海信电子产业控股股份有限公司于2009年1月6日提出的“车辆阴影去除方法和装置”（专利申请号200910000341.8）。

该尺寸分析模块13用于获取该影像处理模块12提取的该会议终端100影像中的演示文稿图像和指示部图像，确定该会议终端100影像中所述演示文稿图像和指示部图像的尺寸。在本实施方式中，该尺寸分析模块13将所述演示文稿图像和指示部图像的宽度方向的尺寸确定为所述演示文稿图像和指示部图像的尺寸。

该对象定位模块14用于确定每帧图像中指示部图像在演示文稿图像上所指示的对象。在本实施方式中，该指示的对象通过指示部图像相对于该演示文稿图像的距离来确定，该对象定位模块14首先识别该指示部图像的中心位置，然后通过确定该中心位置与演示文稿图像的至少两个固定点的距离来获取该指示部图像相对于该演示文稿图像的距离，以根据该距离确定指示部图像在演示文稿上所指示的对象。其中，该至少两个固定点中的任一固定点可以是演示文稿图像的顶点、边界中点或者演示文稿的中心点等。在另一实施方式中，该指示的对象通过该指示部图像在演示文稿图像上指示的内容来确定。在这种情况下，该对象定位模块14首先识别指示部图像中指示部（如手指）的位置，并识别与该指示部位置对应的演示文稿图像的内容。

该组合模块15用于获取其它各个会议终端100的通过所述视频媒体传输通道发送来的所有指示部图像、该指示部图像和演示文稿图像的尺寸以及该指示部图像相对于该演示文稿图像的距离，由于显示的演示文稿相同，该组合模块15按照其所属会议终端100的演示文稿的预定尺寸对来自其它各个会议终端100的指示部图像尺寸进行缩放，并结合来自其它各个会议终端100的指示部图像在其相应的演示文稿图像上所指示的对象确定所述对象分别在该预定尺寸的演示文稿上的对应位置，然后将缩放之后的其它各个会议终端100的指示部图像分别按照该些对应位置与该预定尺寸的演示文稿合成一组合画面，这样，该组合模块15能够在将各个会议终端100的指示部图像以及演示文稿图像组合成该组合画面，并显示于本会议终端100的显示屏101。在这种情况下，所述各个会议终端100的显示屏101的显示比例均相同，使得该预定尺寸的演示文稿的显示比例与各个显示屏101上显示的演示文稿的显示比例均相同。

具体的，若该对象定位模块14通过获取指示部图像相对于该演示文稿图像的距离来确定指示部图像在该演示文稿上指示的对象，该组合模块15在按照其所属会议终端100的演示文稿的预定尺寸对来自其它各个会议终端100的指示部图像尺寸进行缩放后，对各个会议终端100的指示部图像相对于该演示文稿图像的距离也进行相应的缩放，该缩放之后的距离即对应于缩放之后的指示部图像在该预定尺寸的演示文稿图像上的指示的对象，然后将该演示文稿图像以及缩放之后的其它各个会议终端100的指示部图像按照该缩放之后的距离合成所述组合画面。在本实施方式中，该组合模块15根据演示文稿图像相对于该预定尺寸的演示文稿的缩放比例对相应的指示部图像的尺寸和其相对于该演示文稿图像的距离也进行同样比例的缩放，然后将该演示文稿图像以及缩放之后的其它各个会议终端100的指示部图像按照该缩放之后的距离合成所述组合画面。例如，如图3所示，若位于A处的会议终端100接收到来自B处和C处的会议终端100的分别传输的指示部图像（以下简称指示部图像B和指示部图像C），其中，指示部图像B和对应的演示文稿图像B的尺寸分别为10inch和15inch，指示部图像B的中心位置距离该演示文稿图像B的两个顶点的距离分别为5inch和16inch；指示部图像C与对应的演示文稿图像C的距离分别为10inch和20inch，指示部图像C的中心位置距离该演示文稿图像C的两个顶点的距离分别为8inch和24inch。A处的会议终端100的演示文稿的预定尺寸为30inch。由于该预定尺寸分别为该演示文稿图像B和演示文稿图像C的尺寸的2倍和1.5倍，故，指示部图像B和指示部图像C分别放大2倍和1.5倍至20inch和15inch，指示部图像B的中心位置距离该演示文稿图像B的两个顶点的距离相应放大至10inch和32inch，指示部图像C与对应的演示文稿图像C的距离相应放大至12inch和36inch。经过尺寸缩放和距离缩放之后，指示部图像B、指示部图像C以及该预定尺寸的演示文稿合成所述组合画面并显示于A处的会议终端100的显示屏101上。

当然，本发明对指示部图像进行尺寸缩放和距离缩放的方式并不局限于以上实施例所示出的。在另一实施方式中，该组合模块15进一步计算各个会议终端100的指示部图像相对于演示文稿图像的尺寸比例以及其距离相对于该演示文稿图像尺寸的位置关系比例。显然，当该指示部图像相对于演示文稿图像的距离包括指示部图像的中心位置与演示文稿图像的至少两个边界点的距离时，该位置关系比例也相应包括至少两个位置关系比例。然后，该组合模块15按照其所属会议终端100的演示文稿的预定尺寸、指示部图像相对于演示文稿图像的尺寸比例以及其距离相对于该演示文稿图像尺寸的位置关系比例相应缩放所述指示部图像以及相对于演示文稿图像的距离，再将该演示文稿以及缩放之后的其它各个会议终端100的指示部图像按照该缩放之后的距离合成所述组合画面。其中，该组合画面中各个指示部图像相对于该预定尺寸的演示文稿的尺寸比例以及位置关系比例与所获取的对应的会议终端100中的指示部图像相对于演示文稿的尺寸比例以及位置关系比例相同。根据上述例子，组合模块15计算指示部图像B和演示文稿图像B的尺寸比例为2/3，距离相对于该演示文稿图像B的位置关系比例为1/3和16/15；指示部图像C和演示文稿图像C的尺寸比例为1/2，距离相对于该演示文稿图像C的位置关系比例为6/5和2/5。由于该预定尺寸为30inch，故，指示部图像B放大至30inch的2/3倍至20inch，指示部图像C放大至30inch的1/2倍至15inch，指示部图像B与演示文稿的距离放大至30inch的1/3倍和16/15倍至10inch和32inch，指示部图像C与演示文稿的距离放大至30inch的6/5倍和2/5倍至36inch和12inch，以获得所述组合画面。

若该对象定位模块14通过识别与指示部图像的指示部位置对应的演示文稿图像的内容来确定指示部图像在该演示文稿上指示的对象，该组合模块15按照该预定尺寸的演示文稿中确定该内容的位置，该位置即对应于缩放之后的指示部图像在该预定尺寸的演示文稿上指示的对象，然后将缩放之后的其它各个会议终端100的指示部图像分别按照该内容的位置与该预定尺寸的演示文稿合成所述组合画面。

在本实施方式中，当该影像处理模块12识别出从某一会议终端100处解码得到的各帧图像中均不存在指示部图像时，则该会议终端100停止向该组合模块15发送其指示部图像，在这种情况下，其它会议终端100的显示屏101不显示来自该会议终端100的影像。在本实施方式中，该演示文稿可以为视频格式的演示文稿或图片格式的演示文稿。当该演示文稿为图片格式的演示文稿时，该组合模块15先将该图片格式的演示文稿转化为视频格式的演示文稿，然后再将来自其它会议终端100的指示部图像与视频格式的演示文稿进行组合。

图4为本发明一较佳实施例中的会议终端的视频处理方法的流程图，其中，该方法应用于上述会议终端100之间，该方法包括如下步骤：

步骤S41：该影像获取模块11实时获取对应的会议终端100的影像。

步骤S42：该影像处理模块12采用预定的编码算法对获取的影像进行解码而获得来自该会议终端100的影像的各帧图像。

步骤S43：该影像处理模块12判断解码后的影像的每帧图像中是否存在指示部图像，若是，则进行步骤S44；否则，则回到步骤S41。

步骤S44：该影像处理模块12从每帧图像中提取演示文稿图像和指示部图像。

步骤S45：该尺寸分析模块13获取该影像处理模块12提取的该会议终端100影像中的演示文稿图像和指示部图像，确定该会议终端100影像中所述演示文稿图像和指示部图像的尺寸。

步骤S46：该对象定位模块14确定每帧图像中在演示文稿图像上所指示的对象。

步骤S47：该组合模块15获取其它各个会议终端100的通过所述视频媒体传输通道发送来的所有指示部图像、该指示部图像和演示文稿图像的尺寸以及该指示部图像相对于该演示文稿图像的距离，由于显示的演示文稿相同，该组合模块15按照其所属会议终端的演示文稿的一预定尺寸对来自其它各个会议终端100的指示部图像尺寸进行缩放，并结合来自其它各个会议终端100的指示部图像在其相应的演示文稿图像上所指示的对象确定所述对象分别在该预定尺寸的演示文稿上的对应位置，然后将缩放之后的其它各个会议终端100的指示部图像分别按照该些对应位置与该预定尺寸的演示文稿合成一组合画面，这样，该组合模块15能够在将各个会议终端100的用户图像以及演示文稿图像组合成该组合画面，并显示于本会议终端100的显示屏101。

本技术领域的普通技术人员应当认识到，以上的实施方式仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围之内，对以上实施例所作的适当改变和变化都落在本发明要求保护的范围之内。

Claims (12)

1.一种会议终端，可与其它至少一会议终端通过网络进行通信，每个会议终端均包括一用于显示演示文稿的显示屏，该会议终端还连接有一投影装置和一影像获取装置，该投影装置用于将显示的演示文稿投影至一投影屏上，该影像获取装置用于对投影的演示文稿进行影像获取，其特征在于，该会议终端包括：

一影像获取模块，用于实时获取对应的会议终端的影像；

一影像处理模块，用于采用预定的编码算法对获取的影像进行解码而获得来自该会议终端的影像的各帧图像，然后从每帧图像中提取出演示文稿图像和指示部图像；

一尺寸分析模块，用于获取该会议终端的影像中的演示文稿图像和指示部图像，并确定该会议终端的所述演示文稿图像和指示部图像的尺寸；

一对象定位模块，用于确定每帧图像中指示部图像在演示文稿图像上所指示的对象；和

一组合模块，用于获取其它各个会议终端的所有指示部图像、该指示部图像和演示文稿图像的尺寸以及该指示部图像相对于该演示文稿图像的距离，按照其所属会议终端的演示文稿的预定尺寸对来自其它各个会议终端的指示部图像尺寸进行缩放，并结合来自其它各个会议终端的指示部图像在其相应的演示文稿图像上所指示的对象确定所述对象分别在该预定尺寸的演示文稿上的对应位置，然后将缩放之后的其它各个会议终端的指示部图像分别按照该些对应位置与该预定尺寸的演示文稿合成一组合画面，并显示于各个会议终端的显示屏。

2.如权利要求1所述的会议终端，其特征在于，所述每帧图像还包括背景图像，该演示文稿图像、指示部图像以及背景图像各具有不同的灰度；该影像处理模块根据该灰度差异从每帧图像中提取出所述的演示文稿图像和指示部图像。

3.如权利要求1所述的会议终端，其特征在于，该尺寸分析模块将所述演示文稿图像和指示部图像的宽度方向的尺寸确定为所述演示文稿图像和指示部图像的尺寸。

4.如权利要求1所述的会议终端，其特征在于，该指示的对象通过指示部图像相对于该演示文稿图像的距离来确定；该对象定位模块首先识别该指示部图像的中心位置，然后通过确定该中心位置与演示文稿图像的至少两个固定点的距离来获取该指示部图像相对于该演示文稿图像的距离，以根据该距离确定指示部图像在演示文稿上所指示的对象。

5.如权利要求4所述的会议终端，其特征在于，该组合模块在按照其所属会议终端的演示文稿的预定尺寸对来自其它各个会议终端的指示部图像相对于该演示文稿图像的距离也进行相应的缩放，该缩放之后的距离即对应于缩放之后的指示部图像在该预定尺寸的演示文稿图像上的指示的对象，然后将该演示文稿图像以及缩放之后的其它各个会议终端的指示部图像按照该缩放之后的距离合成所述组合画面。

6.如权利要求1所述的会议终端，其特征在于，该指示的对象通过该指示部图像在演示文稿图像上指示的内容来确定；该对象定位模块首先识别指示部图像中指示部的位置，并识别与该指示部位置对应的演示文稿图像的内容。

7.如权利要求6所述的会议终端，其特征在于，该组合模块按照该预定尺寸的演示文稿中确定该内容的位置，该位置即对应于缩放之后的指示部图像在该预定尺寸的演示文稿上指示的对象，然后将缩放之后的其它各个会议终端的指示部图像分别按照该内容的位置与该预定尺寸的演示文稿合成所述组合画面。

8.如权利要求1所述的会议终端，其特征在于，该影像处理模块识别出从某一会议终端处解码得到的各帧图像中均不存在指示部图像时，则该会议终端停止向该组合模块发送其指示部图像，使得其它会议终端的显示屏不显示来自该会议终端的影像。

9.如权利要求1所述的会议终端，其特征在于，该组合模块在该演示文稿为图片格式的演示文稿时，将该图片格式的演示文稿转化为视频格式的演示文稿，然后再将来自其它各个会议终端的指示部图像与视频格式的演示文稿进行组合。

10.一种会议终端的视频处理方法，应用于至少两个会议终端之间，每个会议终端均包括一用于显示演示文稿的显示屏，该会议终端还连接有一投影装置和一影像获取装置，该投影装置用于将显示的演示文稿投影至一投影屏上，该影像获取装置用于对投影的演示文稿进行影像获取，其特征在于，该方法包括：

实时获取对应的会议终端的影像；

采用预定的编码算法对获取的影像进行解码而获得来自该会议终端的影像的各帧图像，然后从每帧图像中提取出演示文稿图像和指示部图像；

获取所述提取该会议终端的影像中的演示文稿图像和指示部图像，并确定该会议终端的所述演示文稿图像和指示部图像的尺寸；

确定每帧图像中指示部图像在演示文稿图像上所指示的对象；和

获取其它各个会议终端的所有指示部图像、该指示部图像和演示文稿图像的尺寸以及该指示部图像相对于该演示文稿图像的距离，按照其所属会议终端的演示文稿的预定尺寸对来自其它各个会议终端的指示部图像尺寸进行缩放，并结合来自其它各个会议终端的指示部图像在其相应的演示文稿图像上所指示的对象确定所述对象分别在该预定尺寸的演示文稿上的对应位置，然后将缩放之后的其它各个会议终端的指示部图像分别按照该些对应位置与该预定尺寸的演示文稿合成一组合画面，并显示于各个会议终端的显示屏。

11.如权利要求10所述的会议终端的视频处理方法，其特征在于，该指示的对象通过指示部图像相对于该演示文稿图像的距离来确定；所述步骤“确定每帧图像中指示部图像在演示文稿图像上所指示的对象”包括：

识别该指示部图像的中心位置；和

通过确定该中心位置与演示文稿图像的至少两个固定点的距离来获取该指示部图像相对于该演示文稿图像的距离，以根据该距离确定指示部图像在演示文稿上所指示的对象。

12.如权利要求10所述的会议终端的视频处理方法，其特征在于，该指示的对象通过该指示部图像在演示文稿图像上指示的内容来确定；所述步骤“确定每帧图像中指示部图像在演示文稿图像上所指示的对象”包括：

识别指示部图像中指示部的位置；和

识别与该指示部位置对应的演示文稿图像的内容。

Images