CN105635785A - 一种多画面中子画面的调整控制方法、装置及多点控制单元 - Google Patents

Abstract

本发明提供一种多画面中子画面的调整控制方法、装置及多点控制单元，其中，该方法包括：获取多个视频终端发送的N个原始视频图像，并将所述N个原始视频图像的分辨率调整后对应显示于多点控制单元显示屏幕上的N个区域；其中，所述N为大于或者等于1的自然数；对N个区域中任一区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像；根据分辨率被放大的视频图像所处的区域信息，对所述分辨率被放大的视频图像进行裁剪，得到经过裁剪后位于所述分辨率被放大的视频图像所处区域的图像。本发明的方案使得在不影响其他区域的视频图像的前提下，在兴趣视频图像所处区域内对兴趣图像进行分辨率的放大和兴趣图像的移动。

Description

一种多画面中子画面的调整控制方法、装置及多点控制单元

技术领域

本发明涉及通信技术领域，特别是涉及一种多画面中子画面的调整控制方法、装置及多点控制单元。

背景技术

在会议电视多画面中，如果想放大某个子画面中具体位置的图像，只能通过远程遥控该子画面对应终端的摄像头来实现。比如，先遥控摄像头正对着感兴趣的位置，然后通过远遥把图像拉近或者拉远来实现，但这样实现有个弊端，就是对应子画面终端摄像头拉近拉远后，对各个会场的终端图像都有影响。

在视频会议中，各种终端可以自定义多画面的数量，以及自定义选看单画面图像终端。除了这些已经实现了的基本操作之外，现在的技术没有实现各个会议终端控制选看的多画面中子画面图像清晰度或者感兴趣区域的随意移动。

发明内容

本发明的目的是提供一种多画面中子画面的调整控制方法、装置及多点控制单元，能够解决目前技术会议终端用户在查看多画面中一兴趣画面时，对其他子画面也会产生影响的问题。

为了解决上述技术问题，本发明的实施例提供一种多画面中子画面的调整控制方法，其中，包括：

获取多个视频终端发送的N个原始视频图像，并将所述N个原始视频图像的分辨率调整后对应显示于多点控制单元显示屏幕上的N个区域；其中，所述N为大于或者等于1的自然数；

对N个区域中任一区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像；

根据分辨率被放大的视频图像所处的区域信息，对所述分辨率被放大的视频图像进行裁剪，得到经过裁剪后位于所述分辨率被放大的视频图像所处区域的图像。

其中，所述将所述N个原始视频图像的分辨率调整的步骤包括：

对所述N个原始视频图像进行抽样处理。

其中，所述对N个区域中任一区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像的步骤包括：

获取N个区域中任一区域的视频图像的放大参数；

根据所述放大参数，对对应区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像。

其中，所述获取N个区域中任一区域的视频图像的放大参数的步骤包括：

获取一携带有一区域视频图像的放大比例信息的指令；

根据所述指令中的放大比例信息，获取对应区域视频图像的放大参数。

其中，所述获取一携带一区域视频图像的放大比例信息的指令的步骤包括：

在检测到对一区域视频图像的触摸放大操作时，根据所述触摸放大操作获取一携带对应区域视频图像的放大比例信息的指令；或

在检测到一区域视频图像操作菜单上的放大操作选项的选取操作时，获取一携带有对应区域视频图像的放大比例信息的指令。

其中，所述根据所述放大参数，对对应区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像的步骤包括：

根据所述放大参数，对对应区域的视频图像进行放大，获取放大后的图像的分辨率；其中，所述放大后的图像的分辨率小于对应的原始视频图像的分辨率；

根据所述放大后的图像的分辨率，获取丢失的像素点信息；

根据所述丢失的像素点信息，从预存的与所述放大后的图像对应的原始视频图像的对应位置获取所述丢失的像素点，获取分辨率被放大的视频图像。

其中，所述获取分辨率被放大的视频图像之后的步骤还包括：

获取分辨率被放大的视频图像的移动轨迹信息；

根据所述移动轨迹信息对所述分辨率被放大的视频图像进行平移。

其中，所述获取分辨率被放大的视频图像的移动轨迹信息的步骤包括：

在检测到对所述分辨率被放大的视频图像的触摸移动操作时，根据所述触摸移动操作获取所述分辨率被放大的视频图像的移动轨迹信息；或

在检测到所述分辨率被放大的视频图像操作菜单上的移动轨迹选项的选取操作时，获取所述分辨率被放大的视频图像的移动轨迹信息。

为了解决上述技术问题，本发明的实施例还提供一种多画面中子画面的调整控制装置，其中，包括：

第一获取模块，用于获取多个视频终端发送的N个原始视频图像，并将所述N个原始视频图像的分辨率调整后对应显示于多点控制单元显示屏幕上的N个区域；其中，所述N为大于或者等于1的自然数；

第二获取模块，用于对N个区域中任一区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像；

第三获取模块，用于根据分辨率被放大的视频图像所处的区域信息，对所述分辨率被放大的视频图像进行裁剪，得到经过裁剪后位于所述分辨率被放大的视频图像所处区域的图像。

其中，所述第一获取模块包括：

处理子模块，用于对所述N个原始视频图像进行抽样处理。

其中，所述第二获取模块包括：

第一获取子模块，用于获取N个区域中任一区域的视频图像的放大参数；

第二获取子模块，用于根据所述放大参数，对对应区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像。

其中，所述第一获取子模块包括：

第一获取单元，用于获取一携带有一区域视频图像的放大比例信息的指令；

第二获取单元，用于根据所述指令中的放大比例信息，获取对应区域视频图像的放大参数。

其中，所述第一获取单元包括：

第一获取子单元，用于在检测到对一区域视频图像的触摸放大操作时，根据所述触摸放大操作获取一携带对应区域视频图像的放大比例信息的指令；或

第二获取子单元，用于在检测到一区域视频图像操作菜单上的放大操作选项的选取操作时，获取一携带有对应区域视频图像的放大比例信息的指令。

其中，所述第二获取单元包括：

第三获取子单元，用于根据所述放大参数，对对应区域的视频图像进行放大，获取放大后的图像的分辨率；其中，所述放大后的图像的分辨率小于对应的原始视频图像的分辨率；

第四获取子单元，用于根据所述放大后的图像的分辨率，获取丢失的像素点信息；

第五获取子单元，用于根据所述丢失的像素点信息，从预存的与所述放大后的图像对应的原始视频图像的对应位置获取所述丢失的像素点，获取分辨率被放大的视频图像。

其中，所述第二获取单元还包括：

第六获取子单元，用于获取分辨率被放大的视频图像的移动轨迹信息；

移动子单元，用于根据所述移动轨迹信息对所述分辨率被放大的视频图像进行平移。

其中，所述第六获取子单元包括：

第三获取单元，用于在检测到对所述分辨率被放大的视频图像的触摸移动操作时，根据所述触摸移动操作获取所述分辨率被放大的视频图像的移动轨迹信息；或

第四获取单元，用于在检测到所述分辨率被放大的视频图像操作菜单上的移动轨迹选项的选取操作时，获取所述分辨率被放大的视频图像的移动轨迹信息。

为了解决上述技术问题，本发明的实施例还提供一种多点控制单元，包括如上所述的多画面中子画面的调整控制装置。

本发明的有益效果是：

本发明的多画面中子画面的调整控制方法，通过对该多画面中的一子画面在相应的该子画面所在区域内进行移动和分辨率的放大，使得在不影响其他子画面的前提下，对该子画面的感兴趣区域，在该子画面所在区域内进行查看。

附图说明

图1表示本发明的多画面中子画面的调整控制方法流程示意图一；

图2表示本发明的多画面中子画面的调整控制方法流程示意图二；

图3表示本发明的多画面中子画面的调整控制方法流程示意图三；

图4表示本发明的多画面中子画面的调整控制方法流程示意图四；

图5表示本发明的多画面中子画面的调整控制方法流程示意图五；

图6表示本发明的具体实施例中MCU多画面合成图像；

图7表示一与会终端发送的原始视频图像；

图8表示图7中的原始视频图像经MCU处理后在多画面中的显示效果；

图9表示图8中区域0中的视频图像在经过分辨率放大和移动后显示A区域的示意图；

图10表示图8中区域0中的视频图像在经过分辨率放大和移动后显示B区域的示意图；

图11表示本发明的多画面中子画面的调整控制装置结构示意图一；

图12表示本发明的多画面中子画面的调整控制装置结构示意图二；

图13表示本发明的多画面中子画面的调整控制装置结构示意图三；

图14表示本发明的多画面中子画面的调整控制装置结构示意图四；

图15表示本发明的多画面中子画面的调整控制装置结构示意图五。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。

如图1所示，本发明的多画面中子画面的调整控制方法，包括：

步骤11，获取多个视频终端发送的N个原始视频图像，并将所述N个原始视频图像的分辨率调整后对应显示于多点控制单元显示屏幕上的N个区域；其中，所述N为大于或者等于1的自然数；

步骤12，对N个区域中任一区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像；

步骤13，根据分辨率被放大的视频图像所处的区域信息，对所述分辨率被放大的视频图像进行裁剪，得到经过裁剪后位于所述分辨率被放大的视频图像所处区域的图像。

其中，该步骤11中，将所述N个原始视频图像的分辨率调整的步骤包括：

对所述N个原始视频图像进行抽样处理。

其中，如图2所示，该步骤12包括如下步骤：

步骤20，获取N个区域中任一区域的视频图像的放大参数；

步骤21，根据所述放大参数，对对应区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像。

其中，上述步骤20，如图3所示，包括如下步骤：

步骤30，获取一携带有一区域视频图像的放大比例信息的指令；

步骤31，根据所述指令中的放大比例信息，获取对应区域视频图像的放大参数。

其中，上述步骤30，包括如下步骤：

在检测到对一区域视频图像的触摸放大操作时，根据所述触摸放大操作获取一携带对应区域视频图像的放大比例信息的指令；或

在检测到一区域视频图像操作菜单上的放大操作选项的选取操作时，获取一携带有对应区域视频图像的放大比例信息的指令。

其中，上述步骤21，如图4所示，包括如下步骤：

步骤41，根据所述放大参数，对对应区域的视频图像进行放大，获取放大后的图像的分辨率；其中，所述放大后的图像的分辨率小于对应的原始视频图像的分辨率；

步骤42，根据所述放大后的图像的分辨率，获取丢失的像素点信息；

步骤43，根据所述丢失的像素点信息，从预存的与所述放大后的图像对应的原始视频图像的对应位置获取所述丢失的像素点，获取分辨率被放大的视频图像。

其中，在该步骤43之后，如图5所示，还包括：

步骤51，获取分辨率被放大的视频图像的移动轨迹信息；

步骤52，根据所述移动轨迹信息对所述分辨率被放大的视频图像进行平移。

其中，该步骤51，包括如下步骤：

在检测到对所述分辨率被放大的视频图像的触摸移动操作时，根据所述触摸移动操作获取所述分辨率被放大的视频图像的移动轨迹信息；或

在检测到所述分辨率被放大的视频图像操作菜单上的移动轨迹选项的选取操作时，获取所述分辨率被放大的视频图像的移动轨迹信息。

下面将结合具体的实施例对上述步骤11至13作详细描述：

在开启电视会议时，此时，多个与会终端编码发送视频图像，这些视频图像发送至多点控制单元MCU，该MCU会把各个与会终端发送过来的视频图像进行多画面的合成，把各种与会终端的视频图像按规则放入各种多画面布局中。在电视会议中，若果某个终端看多画面(画面可以为视频图像)的同时，想看某一个子画面的细节部分，同时整个多画面有没有放大，布局也没有改变，只是在该子画面所处区域中放大该子画面，并移动到感兴趣的区域，也就是说这个动作对其他子画面没有任何影响，本发明的方案能够很好的解决此问题。

假设多个与会终端(视频终端)编码发送了6个原始视频图像，该6个原始视频图像发送至MCU，MCU将此6个视频图像进行多画面合成，具体地，MCU将此6个原始视频图像的分辨率进行调整，一般是对该6个原始视频图像进行抽样处理，此时该6个原始视频图像的分辨率缩小，在本发明的具体实施例中，该MCU可以将该6个分辨率缩小的视频图像对应显示于该MCU显示屏幕上互不重叠的6个区域(也可以有区域重叠，在本发明的具体实施例中，以区域互不重叠为例)。在本发明的具体实施例中，该6个区域的划分流程可以为：该MCU可以根据该分辨率缩小的6个视频图像占该MCU显示屏幕呈现的画面中的面积，将该MCU显示屏幕呈现的画面划分成如图6所示的6个互不重叠的区域。

假设区域0位置，如图8所示，显示有一将如图7所示的原始视频图像分辨率缩小的视频图像，假设一终端想要查看该区域0中视频图像的细节部分，由于区域0中的视频图像为原始视频图像经过分辨率缩小的视频图像，由于是整体缩小，所以有像素点的丢失，损失了很多细节，导致有不够真实不够清晰的感觉，假如某一个与会终端想看该区域0中的视频图像对应的图7中原始视频图像某一细节部分，则可以在该区域0中放大该视频图像，并移动到感兴趣的区域，具体MCU的处理流程如下：

首先，获取携带有该区域0中的视频图像的放大比例信息的指令：

该指令至少可通过两种方式：其一，在检测到对该区域0中的视频图像的触摸放大操作时，根据该触摸放大操作获取该指令，其中，该指令中携带有该区域0中的视频图像的放大比例；其二，在检测到该区域0中的视频图像操作菜单上的放大操作选项的选取操作时，获取该指令。

然后，在获取到该指令后，MCU根据该指令中的放大比例信息实时产生放大参数。

然后，该MCU根据该放大参数，对该区域0中的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像，具体流程如下：

(一)，根据该放大参数，对该区域0中的视频图像进行放大，获取放大后的图像的分辨率；其中，该放大后的图像的分辨率小于与区域0中的视频图像对应的原始视频图像的分辨率；

(二)，根据该放大后的图像的分辨率，来获取丢失的像素点信息；

(三)，根据该丢失的像素点信息，从预存的与该放大后的图像对应的如图7所示的原始视频图像的对应位置获取该丢失的像素点，从而获取分辨率被放大的视频图像。

最后，假如该分辨率被放大的视频图像中，根据该区域0，对该分辨率被放大的视频图像进行裁剪，得到经过裁剪后位于该区域0的图像：

假如该与会终端欲查看的细节部分位于区域0内，则直接对该分辨率被放大的视频图像进行裁剪，从而得到经过裁剪后位于该区域0中的细节部分；

假如与会终端欲查看的细节部分不位于区域0内，则还可进行如下步骤：

1)，获取分辨率被放大的视频图像的移动轨迹信息；

该移动轨迹信息至少可通过两种方式来获取：其一，在检测到对该分辨率被放大的视频图像的触摸移动操作时，根据该触摸移动操作获取该分辨率被放大的视频图像的移动轨迹信息；其二，在检测到该分辨率被放大的视频图像操作菜单上的移动轨迹选项的选取操作时，获取该分辨率被放大的视频图像的移动轨迹信息。

2)，根据该移动轨迹信息对该分辨率被放大的视频图像进行平移，直至上述该与会终端欲查看的细节部分位于该区域0内，然后对该分辨率被放大的视频图像进行裁剪，从而得到经过裁剪后位于该区域0中的细节部分。

当然，若经过上述步骤(一)、(二)、(三)以及步骤1)、2)、3)后，该与会终端欲查看的细节部位仍不位于该区域0内，则重新获取放大参数，并重复上述步骤(一)、(二)、(三)以及1)、2)、3)直至该与会终端欲查看到的细节部位位于该占用区域内。

如图9所示，为通过上述对区域0内的视频图像进行分辨率的放大以及移动后，获取到的欲查看的细节部位(A)的图像，图10为通过上述对区域0内的视频图像进行分辨率的放大以及移动后，获取到的欲查看的细节部位(B)的图像，当然，还可以通过上述对区域0内的视频图像进行分辨率的放大以及移动后，获取其他细节部位的图像，在此不再赘述。

综上，本发明的方案只是在对应区域内放大该区域中的视频图像，并移动到感兴趣的区域，这个动作对其他区域中的视频图像没有任何影响。

如图11所示，本发明的实施例还提供一种多画面中子画面的调整控制装置，其中，包括：

第一获取模块110，用于获取多个视频终端发送的N个原始视频图像，并将所述N个原始视频图像的分辨率调整后对应显示于多点控制单元显示屏幕上的N个区域；其中，所述N为大于或者等于1的自然数；

第二获取模块111，用于对N个区域中任一区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像；

第三获取模块112，用于根据分辨率被放大的视频图像所处的区域信息，对所述分辨率被放大的视频图像进行裁剪，得到经过裁剪后位于所述分辨率被放大的视频图像所处区域的图像。

其中，该第一获取模块110，包括：

处理子模块，用于对所述N个原始视频图像进行抽样处理。

其中，该第二获取模块111，如图12所示，包括：

第一获取子模块121，用于获取N个区域中任一区域的视频图像的放大参数；

第二获取子模块122，用于根据所述放大参数，对对应区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像。

其中，该第一获取子模块121，如图13所示，包括：

第一获取单元131，用于获取一携带有一区域视频图像的放大比例信息的指令；

第二获取单元132，用于根据所述指令中的放大比例信息，获取对应区域视频图像的放大参数。

其中，该第一获取单元131，包括：

第一获取子单元，用于在检测到对一区域视频图像的触摸放大操作时，根据所述触摸放大操作获取一携带对应区域视频图像的放大比例信息的指令；或

第二获取子单元，用于在检测到一区域视频图像操作菜单上的放大操作选项的选取操作时，获取一携带有对应区域视频图像的放大比例信息的指令。

其中，该第二获取单元132，如图14所示，包括：

第三获取子单元141，用于根据所述放大参数，对对应区域的视频图像进行放大，获取放大后的图像的分辨率；其中，所述放大后的图像的分辨率小于对应的原始视频图像的分辨率；

第四获取子单元142，用于根据所述放大后的图像的分辨率，获取丢失的像素点信息；

第五获取子单元143，用于根据所述丢失的像素点信息，从预存的与所述放大后的图像对应的原始视频图像的对应位置获取所述丢失的像素点，获取分辨率被放大的视频图像。

其中，该第二获取单元132，如图15所示，还包括：

第六获取子单元151，用于获取分辨率被放大的视频图像的移动轨迹信息；

移动子单元152，用于根据所述移动轨迹信息对所述分辨率被放大的视频图像进行平移。

其中，该所述第六获取子单元151包括：

第三获取单元，用于在检测到对所述分辨率被放大的视频图像的触摸移动操作时，根据所述触摸移动操作获取所述分辨率被放大的视频图像的移动轨迹信息；或

第四获取单元，用于在检测到所述分辨率被放大的视频图像操作菜单上的移动轨迹选项的选取操作时，获取所述分辨率被放大的视频图像的移动轨迹信息。

需要说明的是，该装置是与上述方法实施例对应的装置，上述方法实施例中所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。

本发明的实施例还提供一种多点控制单元，包括如上所述的多画面中子画面的调整控制装置。

需要说明的是，该多点控制单元是包括上述装置的多点控制单元，上述装置的实施例的实现方式适用于该多点控制单元的实施例中，也能达到相同的技术效果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种多画面中子画面的调整控制方法，其特征在于，包括：

获取多个视频终端发送的N个原始视频图像，并将所述N个原始视频图像的分辨率调整后对应显示于多点控制单元显示屏幕上的N个区域；其中，所述N为大于或者等于1的自然数；

对N个区域中任一区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像；

根据分辨率被放大的视频图像所处的区域信息，对所述分辨率被放大的视频图像进行裁剪，得到经过裁剪后位于所述分辨率被放大的视频图像所处区域的图像。

2.根据权利要求1所述的多画面中子画面的调整控制方法，其特征在于，所述将所述N个原始视频图像的分辨率调整的步骤包括：

对所述N个原始视频图像进行抽样处理。

3.根据权利要求1所述的多画面中子画面的调整控制方法，其特征在于，所述对N个区域中任一区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像的步骤包括：

获取N个区域中任一区域的视频图像的放大参数；

根据所述放大参数，对对应区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像。

4.根据权利要求3所述的多画面中子画面的调整控制方法，其特征在于，所述获取N个区域中任一区域的视频图像的放大参数的步骤包括：

获取一携带有一区域视频图像的放大比例信息的指令；

根据所述指令中的放大比例信息，获取对应区域视频图像的放大参数。

5.根据权利要求4所述的多画面中子画面的调整控制方法，其特征在于，所述获取一携带一区域视频图像的放大比例信息的指令的步骤包括：

在检测到对一区域视频图像的触摸放大操作时，根据所述触摸放大操作获取一携带对应区域视频图像的放大比例信息的指令；或

在检测到一区域视频图像操作菜单上的放大操作选项的选取操作时，获取一携带有对应区域视频图像的放大比例信息的指令。

6.根据权利要求4所述的多画面中子画面的调整控制方法，其特征在于，所述根据所述放大参数，对对应区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像的步骤包括：

根据所述放大参数，对对应区域的视频图像进行放大，获取放大后的图像的分辨率；其中，所述放大后的图像的分辨率小于对应的原始视频图像的分辨率；

根据所述放大后的图像的分辨率，获取丢失的像素点信息；

根据所述丢失的像素点信息，从预存的与所述放大后的图像对应的原始视频图像的对应位置获取所述丢失的像素点，获取分辨率被放大的视频图像。

7.根据权利要求6所述的多画面中子画面的调整控制方法，其特征在于，所述获取分辨率被放大的视频图像之后的步骤还包括：

获取分辨率被放大的视频图像的移动轨迹信息；

根据所述移动轨迹信息对所述分辨率被放大的视频图像进行平移。

8.根据权利要求7所述的多画面中子画面的调整控制方法，其特征在于，所述获取分辨率被放大的视频图像的移动轨迹信息的步骤包括：

在检测到对所述分辨率被放大的视频图像的触摸移动操作时，根据所述触摸移动操作获取所述分辨率被放大的视频图像的移动轨迹信息；或

在检测到所述分辨率被放大的视频图像操作菜单上的移动轨迹选项的选取操作时，获取所述分辨率被放大的视频图像的移动轨迹信息。

9.一种多画面中子画面的调整控制装置，其特征在于，包括：

第一获取模块，用于获取多个视频终端发送的N个原始视频图像，并将所述N个原始视频图像的分辨率调整后对应显示于多点控制单元显示屏幕上的N个区域；其中，所述N为大于或者等于1的自然数；

第二获取模块，用于对N个区域中任一区域的视频图像进行分辨率的放大调整处理，获取分辨率被放大的视频图像；

第三获取模块，用于根据分辨率被放大的视频图像所处的区域信息，对所述分辨率被放大的视频图像进行裁剪，得到经过裁剪后位于所述分辨率被放大的视频图像所处区域的图像。

10.一种多点控制单元，其特征在于，包括权利要求9所述的多画面中子画面的调整控制装置。