CN100459674C - 一种视频通信画面显示控制装置及方法 - Google Patents

Abstract

本发明涉及通信技术，特别涉及视频通信技术，公开一种视频通信画面显示控制装置及方法。本发明所述控制装置，包括：远程视频显示控制模块和本地视频显示控制模块，其中，远程视频显示控制模块中包括本地视频数据缓存单元和本地视频数据接收控制单元，和/或本地视频显示控制模块中包括远程视频数据缓存单元和远程视频数据接收控制单元；所述方法包括：远程视频显示控制模块和/或本地视频显示控制模块获取用户远程视频数据帧和本地视频数据帧，并在视窗中将远程视频图像和本地视频图像中的一个显示为主画面，另一个同步显示为子画面。应用本发明所述装置及方法，实现了多种画中画模式的显示控制，并提高了用户体验。

Description

一种视频通信画面显示控制装置及方法

技术领域

本发明涉及通信技术，特别涉及视频通信技术，公开一种视频通信画面显示控制装置及方法。

背景技术

现有的视频通信应用中，视频聊天是一项非常广泛的应用，随着视频聊天的普及，用户对视频聊天的各种需求越来越多，其中，画中画视频图像模式就是一项非常重要的功能。

画中画的概念最早出现在电视机的功能中，是利用数字技术在同一屏幕上显示两套节目，即在正常观看的主画面上，同时插入一个或多个经过压缩的子画面，以便在欣赏主画面的同时，监视其它频道。而在视频聊天的视频图像中，为了满足用户的需求，也能够实现同样的效果，所不同的只是画中画的内容不再是电视频道，而是视频聊天双方的摄像头所捕获的内容。所以在视频聊天中的画中画视频图像模式就是指在一个视频窗口中显示视频聊天双方的视频图像，一方显示为视频窗口尺寸的主画面，另一方显示为覆盖于主画面之上指定尺寸的子画面，这样用户可以在同一个视频窗口中同时看到对方和自己的视频图像。

如图1所示，视频聊天过程中，一般会出现两个视频窗口，一个是远程窗口，用于显示对方视频图像，一个是本地窗口，用于显示本地视频图像，图中用不同的箭头方向标识。从网络中获取的对方视频数据就会显示在远程窗口上，而从本地摄像头获取的视频数据则会显示在本地窗口上。

如图2所示，现在有些主流视频聊天软件提供了画中画的功能，而在功能实现上，所采用的是窗口叠加的方式实现画中画，将其中一个视频显示窗口缩小到指定尺寸，另一个窗口大小不变，把缩小的窗口叠加到另一个窗口上，此时大小不变的窗口则作为画中画模式中的主画面，缩小的窗口则作为子画面，在视觉上可以呈现出画中画的效果。

如图3所示，现有视频通信控制器1中设置管理软件，管理软件中包括两个独立控制模块，远程视频显示控制模块101和本地视频显示控制模块102，视频通信控制器1中还包括用户操作指令接收模块103和用户操作指令识别模块104，用户操作指令接收模块103接收到用户操作时，送入用户操作指令识别模块104，用户操作指令识别模块104解析用户的操作，具体包括如下几种：

1、普通双画面显示

远程视频显示过程为：打开远程视频数据获取单元从终端连接的网络中获取远程视频数据帧，并缓存远程视频数据缓存单元，同时指示远程视频数据传输控制单元逐帧从缓存单元中获取视频数据帧并发送给远程视频主画面控制单元，远程视频主画面控制单元创建远程视频视窗、解码视频数据帧并通过远程视窗显示单元显示。

本地视频显示过程和远程显示类似，获取本地视频图像为与终端连接的摄像头，本地视频数据传输控制单元还包括将本地视频数据帧通过网络传输给对端。

2、画中画显示

以在远程视频中显示本地子画面为例，远程视频显示过程的控制和普通显示相同，本地视频画面控制单元将在远程显示视窗上叠加创建缩小到指定尺寸的本地视窗并显示。

上述窗口叠加方式实现画中画的缺点在于：

1、只能显示单一的画中画模式，无法进行更多的扩展，如子画面变形等特殊效果；

2、由于是窗口叠加，有可能出现其他程序的窗口叠加在主画面和子画面之间的情况，造成用户的不良体验；

3、由于其中一个窗口已被缩小用于实现画中画模式，这就意味着在此模式无法再看到子画面原始大小的视频图像内容。

发明内容

本发明提供一种视频通信画面显示控制装置及方法，以解决现有视频聊天画中画显示模式单一、用户体验较差的问题。

一种视频通信画面显示控制装置，包括：远程视频显示控制模块和本地视频显示控制模块，所述远程视频显示控制模块包括：依次连接的第一远程视频数据缓存单元、第一远程视频数据传输控制单元和第一远程视频画面控制单元；所述本地视频显示控制模块中包括：依次连接的第一本地视频数据缓存单元、第一本地视频数据传输控制单元和第一本地视频画面控制单元；

所述远程视频显示控制模块中还包括：第二本地视频数据缓存单元和第二本地视频数据接收控制单元，所述第一本地视频数据传输控制单元复制本地视频数据并传输给所述第二本地视频数据缓存单元，由第二本地视频数据接收控制单元从所述第二本地视频数据缓存单元中获取该本地视频数据并发送给第一远程视频画面控制单元；和/或

所述本地视频显示控制模块中还包括：第二远程视频数据缓存单元和第二远程视频数据接收控制单元，所述第一远程视频数据传输控制单元复制远程视频数据并传输给所述第二远程视频数据缓存单元，由第二远程视频数据接收控制单元从所述第二远程视频数据缓存单元中获取该远程视频数据并发送给第一本地视频画面控制单元。

所述远程视频显示控制模块中还包括：远程视频数据获取单元，从网络获取远程视频数据后送入所述第一远程视频数据缓存单元；以及所述本地视频显示控制模块中还包括：本地视频数据获取单元，获取本地视频数据后送入所述第一本地视频数据缓存单元。

所述远程视频显示控制模块中还包括：连接所述第一远程视频数据传输控制单元的远程视窗显示单元；以及所述本地视频显示控制模块中还包括：连接所述第一本地视频数据传输控制单元的本地视窗显示单元。

所述视频通信画面显示控制装置还包括：用户操作指令接收模块和用户操作指令解析模块，所述用户操作指令解析模块解析用户操作指令并根据解析结果向所述远程视频显示控制模块和/或所述本地视频显示控制模块输入控制信号。

所述第一远程视频数据传输控制单元和所述第一本地视频数据传输控制单元分别包括：视窗创建子单元、视频数据解码子单元和视频数据处理子单元。

所述视频数据解码子单元和视频数据处理子单元并行设置为两套。

本发明的有益效果如下：

1、本发明所述装置实现了远程视频数据和本地视频数据在远程显示控制模块和本地显示控制模块中的同步传输，通过数据的同步处理，分别在远程视窗或本地视窗中同步显示远程视频图像和本地视频图像，实现多种画中画模式的控制显示，满足用户不同的需求；

2、本发明所述方法的在显示画中画效果时，两个视频图像通过数据处理显示在一个视窗中，避免了视窗叠加造成的不良影响；

3、本发明所述方法可以对子画面进行特效处理，避免了子画面在变形或漂移过程对主画面视频图像的影响。

附图说明

图1为视频聊天画面普通显示模式示意图，其中两个箭头方向分别标识远程画面和本地画面；

图2为现有视频聊天画中画显示模式示意图，其中两个箭头方向分别标识远程画面和本地画面；

图3为现有视频聊天画面控制模块结构示意图；

图4a～图4e分别为本发明所述方法控制的视频聊天画中画显示模式示意图，其中两个箭头方向分别标识远程画面和本地画面；

图5为本发明所述视频聊天画面控制模块结构示意图；

图6为视频画面控制单元的结构示意图；

图7为非画中画显示的处理流程；

图8为在远程视频窗口中显示画中画处理流程。

具体实施方式

为了在视频通信中，为用户提供多种画中画模式，以及更好的画中画视频图像体验，本发明提供了一种实现多种画中画模式的视频通信控制器，有效控制画中画模式下网络视频数据和本地视频数据之间的交换和显示，以达到如图4a～图4e所示的多种画中画显示效果，并可以对子画面进行方便的变形等特效处理。

如图5所示，与现有技术相同，本发明所述实现多模式画中画效果的视频通信管理器2中包括两个控制模块，远程视频显示控制模块201和本地视频显示控制模块202，视频通信控制器2中还包括用户操作指令接收模块203和用户操作指令解析模块204，用户操作指令接收模块203接收到用户操作时，送入用户操作指令解析模块204，用户操作指令解析模块204解析用户的操作并输出相应的控制指令。

由于本发明要实现的画中画模式在一个窗口中同时显示对方和本地的视频的同时，保持另外一个窗口的完全显示，所以，与现有技术不同的是，远程视频显示控制模块201和本地视频显示控制模块202分别需要同时获取对方的视频数据，这就需要有效的控制视频数据的传输，以实现各种画中画模式，由此：

首先，在远程视频显示控制模块201和本地视频显示控制模块202分别增加相应的数据缓存区以及逻辑控制。在远程显示控制模块201中，增加本地视频数据缓存单元，并设立一个数据接收控制单元，控制其是否接收本地视频数据；同时在数据传输控制单元中增加数据传输控制功能，控制其是否向本地显示控制模块202传输复制的远程视频数据；在远程主画面控制单元中增建本地视频子画面的控制功能，控制在远程视频画面中显示画中画模式，并且可以灵活控制以远程视频图像为主画面还是以本地视频图像为主画面；

同理，在本地显示控制模块202中，增加远程视频数据缓存单元，并设立一个远程视频数据接收控制，控制其是否接收远程视频数据；坐在本地视频数据缓存单元中增建设立一个数据传输控制，控制其是否向远程显示控制模块201传输复制的本地视频数据；同时在本地视频主画面控制单元中增建设立控制显示画中画模式，是以远程视频图像为主画面还是以本地视频图像为主画面。这样就可以通过这些逻辑控制实现数据的传输，从而实现画中画视频图像。

接着，还需要在操作指令解析模块中建立模式操作指令以及各逻辑控制跟操作指令的对应关系，从而实现通过操作指令完成对数据的控制以及不同画中画模式的切换。这里的操作指令就是指用户向系统传达的所需要的画中画模式类型，比如非画中画，画中画模式1，画中画模式2......等等。

当切换非画中画模式时，需要将所有逻辑控制禁用，这样就不会有数据传输，则显示原始画面。当切换到画中画模式中时，如果需要在远程窗口显示，则开启远程显示控制模块201中的数据接收控制和本地显示控制模块202中的数据传输控制，那么远程显示控制模块201就可以从本地显示控制模块202中获取本地视频数据，再加上从网络获取的远程视频数据，就可以在远程窗口中同步显示双方的视频图像了。再通过主画面控制来选择远程或是本地作为主画面，就可以显示出其中一种画中画模式了。

如图6所示，远程视频主画面控制单元或本地视频主画面控制单元分别包括：视窗创建子单元、视窗存储子单元、视频数据解码子单元和视频数据处理子单元；其中：视频数据解码子单元和视频数据处理子单元并行设置为两套，分别用于主画面显示和子画面显示。

在远程视窗和本地视窗中，主画面和子画面的位置信息实现设定到处理流程中，并且如果需要对子画面进行变形、漂移等特效处理，处理流程中预先设定有相关变形处理的子流程。

图5所示结构为本发明的较佳实施方式，根据本发明实现原理，也可以仅在远程视频显示控制模块201或本地显示控制模块202中增加相应的功能单元，从而在其中一个视窗上实现画中画显示控制，这样，可以相应减少模式指令的种类。

如图4a～图4e所示，在画中画的窗口选择中，可以设置三种模式，包括在远程窗口中显示画中画、在本地窗口中显示画中画或同时在远程窗口和本地窗口中显示画中画。在显示画中画模式时还可以选择：主画面为远程方、子画面为本地方，或者主画面为本地方、子画面为远程方。

除了上述画中画实现模式，还应该包括如图1所示的普通显示模式的控制。

具体各画中画模式的指令对应关系可以如表1所示：

                  表1.画中画模式指令对应表

表1所反映出的是数据的流向，远程显示控制模块201可以获取远程视频数据，此时让本地视频数据从本地显示控制模块202流向远程显示控制模块201，就可以在远程窗口实现画中画；本地显示控制模块202可以获得本地视频数据，此时让远程视频数据从远程显示控制模块201流向本地显示控制模块202，就可以在本地窗口实现画中画。但是由于此数据流向涉及两个线程的数据接收，无法通过一个简单的控制完成，所以需要建立模式指令，用户操作指令解析模块解析用户指令并根据设定的模式同时对两个控制模块中的相关功能单元下发逻辑控制命令，从而完成数据传输和处理。

上述视频通信控制器2中，远程视频主画面控制模块201和本地视频主画面控制模块202中在同时获得远程视频数据帧和本地视频数据帧后，同步解码远程视频数据帧和本地视频数据帧，并根据预先设定的流程，将其中的一个显示为主画面。另一个显示为子画面，子画面直接绘制到主画面视窗的设定位置并与主画面同步显示。当用户打开视频控制器时，默认为非画中画显示，远程视频主画面控制模块或本地视频主画面控制模块的控制流程如图7所示，这时，仅启动主画面视频数据解码模块和处理模块开始逐帧处理视频数据，具体包括如下步骤：

S101、在显示内存的设定位置创建视频显示视窗；

S102、接收数据接收控制模块发送的视频数据帧；

S103、解码视频数据帧；

S104、将解码后的数据根据设定的放大倍数绘制到显示视窗上并显示；

S105、返回步骤S102。

上述步骤循环进行，由视窗创建子单元、主画面视频数据帧解码子单元和处理子单元配合，在本地视窗和远程视窗中同步显示为完整的主画面，当收到用户的显示模式切换指令时，如果远程视频主画面控制模块或本地视频主画面控制模块控制显示画中画模式，下面以控制指令类型为在远程视窗中主画面显示远程视频、子画面显示本地视频为例进行说明，控制流程如图8所示，具体包括如下步骤：

S201、主画面解码视频数据解码子单元和子画面视频解码子单元接收相应控制指令；

S202、主画面解码视频数据解码子单元逐帧获取远程视频数据帧；子画面视频解码子单元同步逐帧获取本地视频数据帧；

S203、主画面解码视频数据解码子单元和子画面视频解码子单元同步解码本地视频数据帧和远程视频数据帧；

S204、主画面解码视频数据处理子单元和子画面视频数据处理子单元分别在视窗的指定位置分别绘制主画面和子画面，然后同步显示；

S205、返回步骤S202。

主画面视窗的大小和位置信息以及子画面的位置信息、以及实现子画面的各种变形、漂移等特殊效果控制流程都预先设置在处理流程中，由于在一个视窗中同步显示，子画面的各种变形、漂移等特殊效果不会影响主画面的显示效果。

如果预先设定了子画面的变形处理流程，则在步骤S204中，启动该流程对子画面的视频数据进行相应处理。步骤S204中所述的子画面和主画面同步显示技术以及子画面的变形处理技术可以采用DirectX视频图像处理技术或其他视频图像处理技术，为本领域技术人员所熟知，这里不再赘述。

当再次收到用户切换回非画中画模式时，返回步骤S102进行循环控制。

以上仅以一个画中画的显示处理流程为例进行说明，其他画中画模式的处理流程完全相同，这里不再赘述。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1、一种视频通信画面显示控制装置，包括：远程视频显示控制模块和本地视频显示控制模块，所述远程视频显示控制模块包括：依次连接的第一远程视频数据缓存单元、第一远程视频数据传输控制单元和第一远程视频画面控制单元；所述本地视频显示控制模块中包括：依次连接的第一本地视频数据缓存单元、第一本地视频数据传输控制单元和第一本地视频画面控制单元；其特征在于：

所述远程视频显示控制模块中还包括：第二本地视频数据缓存单元和第二本地视频数据接收控制单元，所述第一本地视频数据传输控制单元复制本地视频数据并传输给所述第二本地视频数据缓存单元，由第二本地视频数据接收控制单元从所述第二本地视频数据缓存单元中获取该本地视频数据并发送给第一远程视频画面控制单元；和/或

所述本地视频显示控制模块中还包括：第二远程视频数据缓存单元和第二远程视频数据接收控制单元，所述第一远程视频数据传输控制单元复制远程视频数据并传输给所述第二远程视频数据缓存单元，由第二远程视频数据接收控制单元从所述第二远程视频数据缓存单元中获取该远程视频数据并发送给第一本地视频画面控制单元。

2、如权利要求1所述的装置，其特征在于，

所述远程视频显示控制模块中还包括：远程视频数据获取单元，从网络获取远程视频数据后送入所述第一远程视频数据缓存单元；以及

所述本地视频显示控制模块中还包括：本地视频数据获取单元，获取本地视频数据后送入所述第一本地视频数据缓存单元。

3、如权利要求1所述的装置，其特征在于，

所述远程视频显示控制模块中还包括：连接所述第一远程视频数据传输控制单元的远程视窗显示单元；以及

所述本地视频显示控制模块中还包括：连接所述第一本地视频数据传输控制单元的本地视窗显示单元。

4、如权利要求1所述的装置，其特征在于，所述视频通信画面显示控制装置还包括：用户操作指令接收模块和用户操作指令解析模块，所述用户操作指令解析模块解析用户操作指令并根据解析结果向所述远程视频显示控制模块和/或本地视频显示控制模块输入控制信号。

5、如权利要求1所述的装置，其特征在于，所述第一远程视频画面控制单元和所述第一本地视频画面控制单元分别包括：视窗创建子单元、视窗存储子单元、视频数据解码子单元和视频数据处理子单元。

6、如权利要求5所述的装置，其特征在于，所述视频数据解码子单元和视频数据处理子单元并行设置为两套。

Images