CN102348116A - 视频处理方法、视频处理装置以及视频处理系统 - Google Patents

Abstract

本发明提供一种视频处理方法、视频处理设备和视频处理系统，所述视频处理方法包括：检测视频帧中的提取部分，所述提取部分包括感兴趣区域；从视频帧中提取检测到的所述提取部分，以将所述视频帧分离为所述提取部分以及背景图像；减少所述背景图像的数据量，并且对数据量减少后的所述背景图像进行编码；对所述提取部分进行编码；以及分别传送编码后的所述背景图像以及编码后的所述提取部分。

Description

视频处理方法、视频处理装置以及视频处理系统

技术领域

本发明涉及一种视频处理方法、装置以及系统

背景技术

近些年来，随着网络技术的不断发展，通过网络传输视频以及通过网络进行视频通话正在变得日益普遍。现今，如何通过有限的带宽传输高质量的视频变得日益重要。

例如，美国专利No.7492821提出了一种选择性地进行图像捕获，传输以及重构的技术。其中，首先由输入设备获得视频，在视频帧上进行图像处理，例如采样操作(空间，时间及颜色空间采样)。然后利用(例如)基于小波的JPEG2000压缩方法进行视频压缩。然后，将压缩的视频被传输到接收端以进行显示。

特别地，在上述处理过程中，用户可以控制感兴趣区域的选取，调整图像处理参数等。通过空间采样，可以将一个视频帧以多分辨率来表示，其中感兴趣区域或比背景区域具有更高质量。根据上述技术，由于利用高分辨率显示感兴趣区域，而利用相对较低的分辨率显示背景区域，因此可以进一步压缩视频帧的容量，并且视频帧的容量相对较小。在这种情况下，可以利用较小的网络带宽就能传输利用上述技术所产生的视频帧，并且不明显降低视频帧的图像质量。

然而，上述技术中，感兴趣区域及背景区域共存于一个视频帧中，因此需要特殊的自定制编码解码过程来实现一个视频帧的多分辨率表示。

发明内容

虽然在现有技术中存在能够以多分辨率表示一幅图像或视频帧的各部分，以在不明显损失图像或视频帧质量的情况下对图像或视频帧进行进一步压缩的技术。然而，需要采用自定制的编码解码过程来对图像或视频帧的各部分进行压缩编码，自定制的编码解码过程需要自定制的编码解码器，这不利于成本控制，并且降低了系统兼容性。

为了解决现有技术中的上述问题，根据本发明的一个方面，提供一种视频处理方法，包括：检测视频帧中的提取部分，提取部分包括感兴趣区域；从视频帧中提取检测到的提取部分，以将视频帧分离为提取部分以及背景图像；减少背景图像的数据量，并且对数据量减少后的背景图像进行编码；对提取部分进行编码；以及分别传送编码后的背景图像以及编码后的提取部分。

此外，根据本发明的另一方面，提供一种视频处理方法，包括：分别接收背景图像以及提取部分；对背景图像进行解码，并且将解码后的背景图像还原为与原始视频帧相同的尺寸；对提取部分进行解码，提取部分包括感兴趣区域；以及将提取部分与还原的背景图像组合以还原原始视频帧。

此外，根据本发明的另一方面，提供一种视频处理设备，包括：处理器，配置来检测视频帧中的提取部分，从视频帧中提取检测到的提取部分，并且减少背景图像的数据量，其中提取部分包括感兴趣区域；编解码器，配置来分别对数据量减少后的所述背景图像以及提取部分进行编码；以及传送器，配置来分别传送编码后的背景图像以及编码后的提取部分。

此外，根据本发明的另一方面，提供一种视频处理设备，包括：接收器，配置来分别接收背景图像以及提取部分，其中提取部分包括感兴趣区域；编解码器，配置来分别对背景图像以及提取部分进行解码；以及处理器，配置来将解码后的背景图像还原为与原始视频帧相同的尺寸，并且将提取部分与还原的背景图像组合以还原原始视频帧。

此外，根据本发明的另一方面，提供一种视频处理系统，包括：在发送端的视频处理设备，包括：处理器，配置来检测视频帧中的提取部分，从视频帧中提取检测到的提取部分，并且减少背景图像的数据量，其中提取部分包括感兴趣区域；编解码器，配置来分别对数据量减少后的背景图像以及提取部分进行编码；传送器，配置来分别传送编码后的背景图像以及编码后的提取部分；以及在接收端的视频处理设备，包括：接收器，配置来分别接收背景图像以及提取部分，其中提取部分包括感兴趣区域；编解码器，配置来分别对背景图像以及提取部分进行解码；以及处理器，配置来将解码后的背景图像还原为与原始视频帧相同的尺寸，并且将提取部分与还原的背景图像组合以还原原始视频帧。

根据上述配置，首先将一个视频帧拆分成提取部分及背景图像两部分，对每一部分分别进行不同的前处理。然后将提取部分及背景图像分别进行编码并传送到接收端。也就是，在对视频帧进行编码之前，将一个视频帧拆分为两个部分，并分别进行前处理以产生不同分辨率的图像。在这种情况下，可以采用任意公知的编码解码器对这两个部分进行编码。此外，在接收端，对所接收到的两个部分分别进行解码，并且将解码后的提取部分及背景图像重新组合生成视频帧。由于在将视频帧的两个部分进行编码之前拆分成两个部分，并且对这两个部分进行前处理以产生不同分辨率的图像，然后再对这两部分进行编码，因此无需采用自定制的编码解码器就能够产生包含不同分辨率的部分(即，背景图像和提取部分)的视频帧，从而增加了系统的便利性和兼容性。此外，由于无需自定制的编码解码器，因此可以节约成本。

此外，根据本发明，可以确保提取区域的视频质量并进一步压缩背景图像的数据量。同时，与现有技术中均一编码方法相比，可以在不明显损失视频帧的图像质量的情况下节约更多的带宽。另外，通过提取区域和背景图像分离的方式，可以为质量调节，带宽分配和优先级设定提供更大的灵活性。

附图说明

图1是图解根据本发明实施例的视频处理系统的示意方框图；

图2是图解根据本发明实施例的、对感兴趣区域以及背景图像执行的不同前处理的示意图；

图3是图解根据本发明实施例的视频处理设备执行的视频处理方法的流程图；

图4是图解根据本发明实施例的视频合成的示意图；

图5是图解根据本发明实施例的另一视频处理设备的视频处理方法的流程图；

图6(a)至(c)图解在对背景图像进行数据压缩以及组合背景图像和感兴趣区域的结果的示意图；

图7图解根据本发明另一实施例的视频处理设备执行的最佳匹配方法的流程图；

图8是根据本发明实施例的、基于运动向量将感兴趣区域移动到最佳匹配位置的示意图。

具体实施方式

下面，描述根据本发明的各个实施例，其中在附图中，利用相同的附图标记表示相同或类似的元件或组成部分，并且省略了它们的重复描述。

下面，将简要描述根据本发明实施例的视频处理系统。

图1是图解根据本发明实施例的视频处理系统的示意方框图。

如图1所示，根据本发明实施例的视频处理系统包括在发送端的视频处理设备100以及在接收端的视频处理设备200。视频处理设备100可以通过任意有线或无线的方式与视频处理设备200连接，并且可以通过有线或无线的连接相互交换数据。

根据本发明的实施例，视频处理设备100以及视频处理设备200可以为基于预定硬件或在其上执行的预定软件来实现特定功能的计算机设备。然而，本发明不限于此，只要能够基于预定的硬件或软件进行数据处理，并且能够彼此交换数据并能够显示所交换的数据，视频处理设备100以及视频处理设备200还可以由诸如服务器、移动终端(如，手机等)和个人数字助理(PDA)之类的终端设备实现。

如图1所示，例如，在发送端的视频处理设备100包括处理器101、编解码器102、传送器103。

处理器101可以检测从视频处理设备100中的内置或外接的视频捕获装置(未示出)拍摄的视频帧中的提取部分，并且从视频帧中提取所检测到的提取部分以将视频帧分离为提取部分和背景图像。此外，处理器101还可以通过对背景图像进行诸如下采样或模糊处理之类的压缩处理来减少背景图像的数据量。编解码器102可以从处理器101接收视频帧的提取部分以及经过压缩处理的背景图像，并且分别对它们进行编码。传送器103可以从编解码器102接收编码后的背景图像以及提取部分，并且分别将它们传送到接收端的视频处理设备200。

此外，在接收端的视频处理设备200包括处理器201，接收器202和编解码器203。

接收器202可以从视频处理设备100分别接收背景图像以及提取部分。编解码器203可以分别对从接收器202接收的背景图像以及提取部分进行解码。处理器201可以从编解码器203接收解码后的背景图像以及提取部分。此外，处理器201还可以将背景图像还原为原始视频帧的大小，并且将提取部分与还原的背景图像组合以产生视频帧。

通过上述配置，与采用自定制编码解码器来针对同一视频帧中的各个部分进行不同的编码以产生在该视频帧中具有不同分辨率的各个部分的现有技术不同，由于在对视频帧进行编码之前将其分离为提取部分及背景图像两部分(如，两个图像)，并且对背景图像进行数据压缩，因此可以采用任意公知的编码解码器对这两个部分进行编码。因此无需采用自定制的编码解码器就能够产生具有不同分辨率的部分的视频帧，从而增加了系统的便利性和兼容性。

下面，将具体描述视频处理系统的各个组成部分的结构以及操作。

1.发送端

首先，将描述在发送端的视频处理设备100的部件以及操作。

例如，根据本发明的一个实施例，视频处理设备100包括处理器101、编解码器102、传送器103。如图1所示，处理器101与编解码器102连接，而编解码器102与传送器103连接。

根据本发明的实施例，处理器101可以由任意的处理器、微处理器或DSP等实现，编解码器102可以由任意的编码解码器(codec)实现，而传送器103可以由任意的有线或无线传送装置(包括任意的网络接口、蓝牙、红外传送器等)实现。

在操作中，例如，在视频通话(会议)时，处理器101接收视频处理设备100中的内置或外接的视频捕获装置(未示出)拍摄的视频帧(视频流)，并且检测视频帧中的提取部分。这里，通常将视频帧中的感兴趣区域(ROI)用作提取部分。此外，例如，在需要传输视频(如，远程视频点播)时，处理器101检测视频处理设备100的存储部件(未示出)中存储的视频帧中的感兴趣区域(ROI)。根据本发明的实施例，可以采用任意公知的感兴趣区域检测技术(如，人脸识别、图像识别或特征识别技术)来实现对视频帧中的提取部分(感兴趣区域)的检测。例如，如果将视频帧中的人脸看作感兴趣区域，则在视频帧中运用人脸识别方法进行感兴趣区域的检测。这里，需要注意的是，由于本发明不涉及对感兴趣区域的检测的改进，因此这里省略了如何检测视频帧中的感兴趣区域的具体描述。

在从视频帧识别(检测)出感兴趣区域之后，处理器101将视频帧拆分成两部分：即，感兴趣区域和背景图像。然后，处理器101将感兴趣区域从视频帧中分割并提取出来。例如，处理器101可以根据感兴趣区域内的像素在视频帧中的位置以及该像素的色彩和亮度等信息来从视频帧中分离并提取感兴趣区域。根据本发明的一个实施例，处理器101可以仅从视频帧中提取感兴趣区域，并且在对其进行编码和传输之前不对其进行任何处理。在这种情况下，在接收端上的感兴趣区域和背景图像的合并处理中，需要确定感兴趣区域在背景图像上的位置以合并感兴趣区域和背景图像。但是，本发明不限于此，为了便于在接收端进行图像(感兴趣区域和背景图像)的合并操作，还可以对感兴趣区域进行预定的前处理。

下面参照图2描述根据本发明实施例的对感兴趣区域进行的预定前处理。

图2是图解根据本发明实施例的、对感兴趣区域以及背景图像执行的不同前处理的示意图。

具体地，处理器101可以基于所检测的视频帧的尺寸来产生一个与视频帧具有相同尺寸的单色图像。在这种情况下，如图2所示，处理器101可以基于感兴趣区域中的像素的位置以及颜色和亮度等信息，用视频帧中感兴趣区域的像素替换单色图像中对应位置的像素以生成包含的感兴趣区域的图像。产生包含感兴趣区域的图像的优点在于：在接收端，仅需要简单地合并包含感兴趣区域的图像以及背景图像就能够产生原始的视频帧，而无需在合并过程中确定从视频处理设备100传送的感兴趣区域在背景图像中的位置。此外，由于在编码过程中单色图像的压缩比更高，因此，根据本发明的一个实施例，利用单色图像来产生具有感兴趣区域的图像。

此外，如果仅仅从视频帧分离并提取感兴趣区域，则在接收端合成原始视频帧时在感兴趣区域边缘的区域部分的图像质量可能会受到影响。因此，根据本发明的另一个实施例，为了确保在接收端的合成处理中感兴趣区域的质量能够被更好地保存，除了从视频帧中提取感兴趣区域之外，处理器101还对感兴趣区域进行扩展以产生扩展感兴趣区域(x-ROI)来作为提取部分，并且提取扩展感兴趣区域(如图2所示)。具体地，通过从感兴趣区域的边缘出发，向外扩展预定的距离(例如n个像素的距离)以形成扩展感兴趣区域。然后，处理器101基于扩展感兴趣区域中的像素位置以及颜色和亮度等信息，利用视频帧中扩展感兴趣区域的像素来替换单色图像中对应位置的像素以生成包含扩展感兴趣区域的图像。

具体地，可以通过下面的公式(1)来在单色图像上产生包含感兴趣区域以及扩展感兴趣区域的图像的操作：

$I^{\&prime;}(x,y)=\left\{\begin{array}{cc}I(x,y)& (x,y)\&Element;\mathrm{ROI}\\ I(x,y)& \mathrm{ifD}((x,y),\mathrm{ROI\; border})<n\\ \left(\mathrm{0,0,255}\right)& \mathrm{ohterwise}\end{array}\right....\left(1\right)$

这里，n代表某像素距感兴趣区域边界的距离(即，像素是否在扩展感兴趣区域内)，I(x，y)表示视频帧的感兴趣区域和扩展感兴趣区域内的像素的颜色和亮度等信息，也就是感兴趣区域和扩展感兴趣区域内的像素的原始像素信息，而I’(x，y)表示合成后的图像中的像素的像素信息。在这里，需要注意的是，可以使用任意的单色图像来产生包含感兴趣区域以及扩展感兴趣区域的图像。

下面描述针对背景图像的前处理操作。

通常，视频帧中的背景图像是用户所不关心或不重要的图像部分，因此在对背景图像进行编码之前，处理器101还可以通过对背景图像执行诸如下采样或模糊处理之类的数据压缩处理来产生具有更低的分辨率的新背景图像，从而进一步减少了背景图像的数据量。例如，如图2所示，通过对背景图像进行下采样(如，1/2下采样)来产生具有更低分辨率的新背景图像来进一步压缩背景图像的数据量(如，在1/2下采样的情况下，相当于原始背景图像数据量的1/4)。显然，本发明不限于此，可以采用任何能够压缩背景图像来产生具有较小的分辨率的新背景图像的技术来压缩背景图像的数据量。

在处理器101产生了包含感兴趣区域(或感兴趣区域+扩展感兴趣区域)的图像以及具有较小分辨率的新背景图像的情况下，编解码器102可以从处理器101分别接收包含感兴趣区域的图像以及新背景图像，并且分别对它们进行编码。在这种情况下，由于将原始的视频帧分离为两幅图像(即，包含感兴趣区域(或感兴趣区域+扩展感兴趣区域)的图像以及新背景图像)，并且分别对它们进行编码，因此，无需自定制的编码解码器，可以通过任意的视频编码解码器(CODEC)利用任意的视频或图像编码技术来对这两幅图像进行编码。

在编解码器102对包含感兴趣区域(或感兴趣区域+扩展感兴趣区域)的图像以及新背景图像进行编码之后，传送器103可以从编解码器102接收编码后的背景图像以及包含感兴趣区域(或感兴趣区域+扩展感兴趣区域)的图像，并且通过网络分别将它们传送到接收端的视频处理设备200。这里，需要注意的是，网络包含任意的有线或无线网络。

下面，将参照图3描述在发送端的视频处理设备100执行的操作。

图3是图解根据本发明实施例的视频处理设备100执行的视频处理方法的流程图。

如图3所示，在步骤S301，检测视频帧中的感兴趣区域。具体地，处理器101通过任意的感兴趣区域检测技术检测视频中的感兴趣区域。此外，为了保证合并时的图像质量，处理器101还可以检测视频帧中的扩展感兴趣区域，该扩展感兴趣区域为从感兴趣区域边缘向外扩展预定的距离(如，n个像素的距离)的区域。

在步骤S302，从视频帧中提取检测到的感兴趣区域(或感兴趣区域+扩展感兴趣区域)，以将视频帧分离为感兴趣区域(或感兴趣区域+扩展感兴趣区域)以及背景图像。

具体地，处理器101将视频帧分离为感兴趣区域(或感兴趣区域+扩展感兴趣区域)以及背景图像两部分。

在步骤S303，减少背景图像的数据量。

具体地，处理器101通过诸如下采样或模糊处理之类的数据压缩处理来产生具有较小分辨率的背景图像，从而压缩背景图像的数据量。

在步骤S304，对数据量减少后的背景图像进行编码。

具体地，编解码器102从处理器101接收经受了数据压缩处理的背景图像(具有较小的分辨率)，并且对该背景图像进行编码。

在步骤S305，对感兴趣区域(或感兴趣区域+扩展感兴趣区域)进行编码。

具体地，编解码器102接收由处理器101从视频帧中产生的感兴趣区域(或感兴趣区域+扩展感兴趣区域)进行编码。

在步骤S306，分别传送编码后的背景图像以及编码后的感兴趣区域(或感兴趣区域+扩展感兴趣区域)。

具体地，传送器103向接收端的视频处理设备200分别传送由编解码器102编码的背景图像和感兴趣区域(或感兴趣区域+扩展感兴趣区域)。

此外，根据本发明的另一个实施例，为了便于在接收端的图像合成处理，步骤S305还可以包括产生与视频帧相同大小的单色图像，将感兴趣区域(或感兴趣区域+扩展感兴趣区域)与该单色图像组合，并且对组合图像进行编码。

具体地，处理器101产生与视频帧相同大小的单色图像，通过用感兴趣区域(或感兴趣区域+扩展感兴趣区域)中的像素替换该单色图像的对应位置上的像素来产生包含感兴趣区域(或感兴趣区域+扩展感兴趣区域)的图像(组合图像)，并且编码器102对包含感兴趣区域(或感兴趣区域+扩展感兴趣区域)的图像进行编码。

在上面以顺序方式描述了视频处理设备100执行的操作，然而，本发明不限于此，只要能够得到所期望的结果，可以以与上述描述顺序不同的顺序(如，改变其中的一些步骤的顺序)执行上述处理。此外，还可以以并行的方式执行其中的一些步骤。

与现有技术中利用自定制的编解码器对单个视频帧(图像)进行编码来产生包括具有不同分辨率的各部分的视频帧(图像)的技术不同，根据本发明的实施例，在对视频帧进行编码之前，将一个视频帧拆分为两个部分，并分别对这两个部分进行不同的前处理以产生不同分辨率的图像。在这种情况下，由于无需对单个视频帧的各部分进行不同的编码，因此可以采用任意公知的编码解码器对这两个部分进行编码。从而极大地增强了系统的便利性和兼容性。此外，由于无需自定制的编码解码器，因此可以节约成本。另外，通过感兴趣区域和背景图像分离的方式，显然可以为质量调节，带宽分配和优先级设定提供更大的灵活性。

2.接收端

下面将描述在接收端的视频处理设备200的结构和操作。

例如，根据本发明的一个实施例，视频处理设备200可以包括处理器201，接收器202和编解码器203。如图1所示，接收器202与编解码器203连接，而编解码器202与处理器201连接。根据本发明的实施例，处理器201可以由任意的处理器、微处理器或DSP等实现，传送器202可以由任意的有线或无线接收装置(包括任意的网络接口、蓝牙、红外接收器等)实现，而编解码器203可以由任意的编码解码器(codec)实现。

在操作中，接收器202可以分别接收从视频处理设备100传送来的包含背景图像以及感兴趣区域(或感兴趣区域+扩展感兴趣区域)的数据，并且将所接收到的数据传送给编解码器203。这里，扩展感兴趣区域指的是从感兴趣区域边缘向外扩展预定的距离(如，n个像素的距离)的区域。

编解码器203可以分别对从接收器202接收的背景图像以及感兴趣区域(或感兴趣区域+扩展感兴趣区域)进行解码。

处理器201可以从编解码器203接收解码后的背景图像以及感兴趣区域(或感兴趣区域+扩展感兴趣区域)。此外，由于之前在发送端的视频处理设备100对背景图像进行诸如下采样之类的处理来产生具有较小分辨率(尺寸)的新背景图像，因此处理器201将背景图像还原为原始视频帧的大小，并且将感兴趣区域(或感兴趣区域+扩展感兴趣区域)与还原的背景图像组合以产生视频帧。

下面将参照图4描述视频处理设备200执行的视频合成处理。

图4是图解根据本发明实施例的视频处理设备200执行的视频合成的示意图。

例如，如图4所示，如果在发送端的视频处理设备100通过下采样处理压缩背景图像以产生具有较小分辨率(尺寸)的新背景图像，则处理器201基于从视频处理设备100接收的新背景图像与原始视频帧的尺寸比，通过诸如上采样之类的处理将背景图像上还原为原始尺寸，也就是原始视频帧的尺寸。此外，在图4所示的示例中，用于与背景图像组合的图像为包含感兴趣区域和扩展感兴趣区域的组合图像。在这种情况下，处理器201将还原为原始尺寸的背景图像与包含感兴趣区域和扩展感兴趣区域的组合图像进行组合，其中可以基于组合图像中的感兴趣区域和扩展感兴趣区域中的像素的位置，用感兴趣区域和扩展感兴趣区域中的像素来替换背景图像中的对应位置上的像素来将背景图像与感兴趣区域和扩展感兴趣区域进行组合，以产生完整的视频帧。

此外，例如在图像视频处理设备100不产生单色图像来与感兴趣区域和扩展感兴趣区域(或感兴趣区域)组合，并且仅发送感兴趣区域和扩展感兴趣区域的情况下，视频处理设备100的传送器103还可以额外地发送与感兴趣区域和扩展感兴趣区域中的像素的在原始视频帧中的位置有关的信息以实现背景图像与感兴趣区域和扩展感兴趣区域的组合。

下面，将参照图5描述接收端的视频处理设备200的操作。

图5是图解根据本发明实施例的视频处理设备200的视频处理方法的流程图。

如图5所示，在步骤S501，分别接收背景图像以及感兴趣区域(或感兴趣区域+扩展感兴趣区域)。

具体地，接收器202分别接收从视频处理设备100传送来的包含背景图像以及感兴趣区域(或感兴趣区域+扩展感兴趣区域)的数据，并且将所接收到的数据传送给编解码器203。

在步骤S502，对背景图像进行解码。

具体地，编解码器203对从传送器202接收到的背景图像进行解码。

在步骤S503，将解码后的背景图像还原为与原始视频帧相同的尺寸。

具体地，处理器201基于从视频处理设备100接收的背景图像与原始视频帧的尺寸比，通过诸如上采样之类的处理将背景图像上还原为原始尺寸。

在步骤S504，对感兴趣区域(或感兴趣区域+扩展感兴趣区域)进行解码。

具体地，编解码器203对从传送器202接收到的感兴趣区域(或感兴趣区域+扩展感兴趣区域)进行解码。

在步骤S505，将感兴趣区域(或感兴趣区域+扩展感兴趣区域)与还原的背景图像组合以还原所述原始视频帧。

具体地，处理器201基于组合图像中的感兴趣区域和扩展感兴趣区域中的像素的位置，用感兴趣区域和扩展感兴趣区域中的像素来替换背景图像中的对应位置上的像素来将背景图像与感兴趣区域和扩展感兴趣区域进行组合，以产生完整的视频帧。

在上面以顺序方式描述了视频处理设备200执行的操作，然而，本发明不限于此，只要能够得到所期望的结果，可以以与上述描述顺序不同的顺序(如，改变其中的一些步骤的顺序)执行上述处理。此外，还可以以并行的方式执行其中的一些步骤。

通过上述方式，可以采用任意公知的编码解码器对背景图像和感兴趣区域进行解码来组成原始视频帧，而无需采用现有技术中的自定制编解码器来对单个视频帧的具有不同分辨率的各部分进行解码。从而增强了系统的便利性和兼容性。另外，通过感兴趣区域和背景图像分离的方式，显然可以通过设置例如编码解码器的编码率、对背景图像的压缩率、优先传送感兴趣的区域等方式来为质量调节，带宽分配和优先级设定提供更大的灵活性。

在上面描述了在接收端的视频处理设备200的结构和操作。但是，本发明不限于此。在一些特殊情况下(如，极低带宽)情况下，由于受到带宽的限制，对视频进行压缩(如，有损压缩)和编码后会在感兴趣区域或者背景区域产生“变形”，也就是组合后的图像可能存在一些“错位”现象。例如，图6(a)-(c)图解了在对背景图像进行数据压缩以及组合背景图像和感兴趣区域的结果的示意图。因此，如果直接将提取的感兴趣区域(或感兴趣区域+扩展感兴趣区域)放回到背景中的原始位置上，可能会在感兴趣区域和背景之间产生“不匹配”的现象。例如，如图6(c)所示，可以看到沿感兴趣区域的边缘，感兴趣区域和背景没有很好地完成匹配。

为了消除在合成时可能产生的感兴趣区域与背景之间的不匹配现象，根据本发明的另一个实施例，在通过合成背景图像以及感兴趣区域以形成视频帧期间，处理器101通过搜索背景图像以及感兴趣区域(或感兴趣区域+扩展感兴趣区域)的最佳匹配的方式来组合背景图像以及感兴趣区域(或感兴趣区域+扩展感兴趣区域)。

图7图解根据本发明另一实施例的视频处理设备200执行的最佳匹配方法的流程图，而图8是根据本发明实施例的、基于运动向量将感兴趣区域移动到最佳匹配位置的示意图。

如图7所示，在处理器201将感兴趣区域(或感兴趣区域+扩展感兴趣区域)与背景图像进行组合之后，在步骤S701，处理器201计算感兴趣区域(或感兴趣区域+扩展感兴趣区域)与背景图像之间的边缘的梯度值并计算梯度值的总和。这里，将计算出梯度值的总和表示为Sum_gradient。

在步骤S702，处理器201判断梯度值的总和Sum_gradient的值是否大于预先设定的阈值G_threshold。如果梯度值的总和Sum_gradient的值大于预先设定的阈值G_threshold，则处理器201可以确定在感兴趣区域和背景之间可能产生了不匹配，并且处理前进到步骤S703。否则处理前进到步骤S705。这里，需要注意的是阈值G_threshold可以基于经验值设置，或者基于具体的环境任意地设置。

在步骤S703，处理器201搜索感兴趣区域(或感兴趣区域+扩展感兴趣区域)与背景之间的最佳匹配位置。

具体地，例如，处理器201可以以如下方式搜索该最佳匹配位置：

其中，例如，如果(x，y)表示感兴趣区域(或感兴趣区域+扩展感兴趣区域)的中心位置，则指定x’＝x+a；y＝y’+b，其中a，b∈(-c，0，c)，而c值表示感兴趣区域(或感兴趣区域+扩展感兴趣区域)从其中心位置(x，y)可移动的范围，并且可以基于经验值设置。然后，处理器201对于所指定的多个位置中的每一个位置(x’，y’)，指定以为(x’，y’)中心的、与感兴趣区域(或感兴趣区域+扩展感兴趣区域)大小相同的区域R(x’，y’)，并且计算感兴趣区域(或感兴趣区域+扩展感兴趣区域)与区域R(x’，y’)之间的绝对差异之和SAD。该绝对差异之和SAD表示感兴趣区域(或感兴趣区域+扩展感兴趣区域)中的每个像素与区域R(x’，y’)中的对应像素的之间的差值的绝对值之和。

在计算出感兴趣区域(或感兴趣区域+扩展感兴趣区域)与多个区域中的每一个区域R(x’，y’)之间的绝对差异之和SAD之后，处理器201选择在可移动范围内具有最小SAD值的区域R(x’，y’)来作为最佳匹配位置。然后，处理器201计算感兴趣区域(或感兴趣区域+扩展感兴趣区域)与该区域R(x’，y’)之间的运动向量MV_ROI。这里，运动向量MV_ROI表示从感兴趣区域(或感兴趣区域+扩展感兴趣区域)的中心到具有最小SAD值的区域R(x’，y’)的中心的向量。

在步骤S704，如图8所示，处理器201根据计算出的运动向量MV_ROI，将感兴趣区域(或感兴趣区域+扩展感兴趣区域)移动到所搜索到的最佳匹配位置。

在将感兴趣区域(或感兴趣区域+扩展感兴趣区域)移动到所搜索到的最佳匹配位置之后，由于通常感兴趣区域的质量要高于背景图像的质量，因此在图像合成后，感兴趣区域与背景图像的边缘处可察觉到质量的突变，因而呈现出明显的“人工边缘“。为减少这种合成后的边缘效应，在步骤S705，处理器201还(例如)基于公式(2)进行感兴趣区域(或感兴趣区域+扩展感兴趣区域)与背景图像之间的边缘的融合及平滑操作。

其中I(x，y)代表图像合成之后视频帧中的像素，I_ROI(x，y)代表感兴趣区域(或感兴趣区域+扩展感兴趣区域)中的像素，I_BG(x，y)代表背景图像中的像素，而α是值位于0和1之间的参数并可基于经验值设置。

通过上述方式，可以有效地消除感兴趣区域(或感兴趣区域+扩展感兴趣区域)与背景图像的合成处理导致的不匹配效果，同时向用户提供自然的视频图像。

在这里，已经描述了本发明的多个实施例，然而，需要注意的是，本发明的实施例可以采用整体硬件实施、整体软件实施或包含硬件和软件组合的方式实现。例如，在一些实施例中，可以通过在计算机系统中安装软件的方式来实施本发明的实施例，其包含(但不限于)固件、内置软件、微码等。此外，本发明采用可以由计算机或任何命令执行系统使用来执行根据本发明实施例的处理方法的计算机程序产品的形式，所述计算机程序产品存储在计算机可读介质中。计算机可读介质的实例包括半导体或固态存储器、磁带、可卸载计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬盘和光盘等。

此外，由于如上所述在编码和传输之前将视频帧拆分成感兴趣区域和背景图像两部分进行处理，因此本这两部分之间的处理相互独立，因此具有更大的灵活性。例如，在发送端，对背景图像而言，如果对背景图像x和y方向分别做1/2的下采样，则对背景图像来说，采样后的像素数目仅为原来的1/4。因此，背景图像中的信息量大大减少，这有助于后续的编码操作(减少带宽占用)，并且可以使编码过程可以加快，提高处理效率。此外，根据本发明实施例的视频处理设备和视频处理方法并未涉及到编码过程中的具体操作(例如DCT变换，量化等)的改动，因此可以直接应用于任何视频编解码器(CODEC)，因而无需对编解码器进行自定制或改动。另外，例如，还可以通过基于网络环境调节分配给这两部分的带宽来这两部分执行不同的编码操作(不同的压缩率)，以达到提高或降低某一部分的质量的目的。

如上所述，已经在上面具体地描述了本发明的各个实施例，但是本发明不限于此。本领域的技术人员应该理解，可以根据设计要求或其它因素进行各种修改、组合、子组合或者替换，而它们在所附权利要求及其等效物的范围内。

Claims (11)

1.一种视频处理方法，包括：

检测视频帧中的提取部分，所述提取部分包括感兴趣区域；

从视频帧中提取检测到的所述提取部分，以将所述视频帧分离为所述提取部分以及背景图像；

减少所述背景图像的数据量；

对数据量减少后的所述背景图像进行编码；

对所述提取部分进行编码；以及

分别传送编码后的所述背景图像以及编码后的所述提取部分。

2.如权利要求1所述的视频处理方法，其中所述提取部分进一步包括扩展感兴趣区域，所述扩展感兴趣区域为从所述感兴趣区域边缘向外扩展预定的距离的区域。

3.如权利要求1所述的视频处理方法，其中对提取部分进行编码的步骤进一步包括：

产生与所述视频帧相同大小的单色图像；

将所述提取部分与所述单色图像组合；以及

对组合图像进行编码。

4.如权利要求1所述的视频处理方法，其中通过对所述背景图像进行空间下采样以减少背景图像的数据量。

5.一种视频处理方法，包括：

分别接收背景图像以及提取部分；

对背景图像进行解码；

将解码后的所述背景图像还原为与原始视频帧相同的尺寸；

对所述提取部分进行解码，所述提取部分包括感兴趣区域；以及

将所述提取部分与还原的背景图像组合以还原所述原始视频帧。

6.如权利要求5所述的视频处理方法，其中所述提取部分进一步包括扩展感兴趣区域，所述扩展感兴趣区域为从所述感兴趣区域边缘向外扩展预定的距离的区域。

7.如权利要求5所述的视频处理方法，其中通过对解码后的所述背景图像进行空间上采样以将所述背景图像还原为与原始视频帧相同的尺寸。

8.如权利要求5所述的视频处理方法，其中将所述提取部分与还原的背景图像组合进一步包括：

在还原的所述背景图像中搜索所述提取部分的最佳匹配位置；

将所述提取部分放置在最佳匹配位置上以将所述提取部分与所述还原的背景图像组合；以及

对组合图像进行平滑。

9.一种视频处理设备，包括：

处理器，配置来检测视频帧中的提取部分，从视频帧中提取检测到的所述提取部分以将所述视频帧分离为所述提取部分以及背景图像，并且减少所述背景图像的数据量，其中所述提取部分包括感兴趣区域；

编解码器，配置来分别对数据量减少后的所述背景图像以及所述提取部分进行编码；以及

传送器，配置来分别传送编码后的所述背景图像以及编码后的所述提取部分。

10.一种视频处理设备，包括：

接收器，配置来分别接收背景图像以及提取部分，其中所述提取部分包括感兴趣区域；

编解码器，配置来分别对所述背景图像以及所述提取部分进行解码；以及

处理器，配置来将解码后的所述背景图像还原为与原始视频帧相同的尺寸，并且将所述提取部分与还原的背景图像组合以还原所述原始视频帧。

11.一种视频处理系统，包括：

在发送端的视频处理设备，包括：

处理器，配置来检测视频帧中的提取部分，从视频帧中提取检测到的所述提取部分以将所述视频帧分离为所述提取部分以及背景图像，并且减少所述背景图像的数据量，其中所述提取部分包括感兴趣区域。

编解码器，配置来分别对数据量减少后的所述背景图像以及所述提取部分进行编码；

传送器，配置来分别传送编码后的所述背景图像以及编码后的所述提取部分；以及

在接收端的视频处理设备，包括：

接收器，配置来分别接收背景图像以及提取部分，其中所述提取部分包括感兴趣区域；

编解码器，配置来分别对所述背景图像以及所述提取部分进行解码；以及

处理器，配置来将解码后的所述背景图像还原为与原始视频帧相同的尺寸，并且将所述提取部分与还原的背景图像组合以还原所述原始视频帧。

Images