CN105608709B - 用于处理视频内容的方法和系统 - Google Patents

Abstract

本申请涉及用于处理视频内容的方法和系统。更具体而言，本文公开了处理视频内容以便从视频内容的图像序列中提取运动对象的方法和系统的各个方面。在实施例中，该方法包括确定视频内容中一个或多个运动对象的一个或多个对象轮廓。包围第一运动对象的第一对象轮廓的第一对象边框(OBB)是基于所确定的一个或多个对象轮廓创建的。用于第一运动对象的第一对象蒙版是基于所创建的第一OBB中第一对象轮廓的充填而在第一目的地图像帧中生成的。

Description

用于处理视频内容的方法和系统

技术领域

本公开内容的各种实施例涉及视频内容的处理。更具体而言，本公开内容的各种实施例涉及视频内容的处理，用于从视频内容的图像序列中提取运动对象。

背景技术

视频处理领域的进步已经彻底改变了数字成像行业，以及其相关联的设备和成像应用。设备，诸如数码相机或智能电话，可以具有可允许处理视频或图像序列以创建新类型媒体的功能。新类型媒体可以包括新类型的照片和/或运动画面。

在某些场景中，新的媒体类型可以基于从视频内容的图像序列中提取一个或多个运动对象来创建。在这种视频处理中执行的许多操作之一可以包括视频中看起来处于移动状态的(一个或多个)对象的精细边界提取。但是，可能难以为这些(一个或多个)运动对象产生(一个或多个)精细对象边界蒙版(mask)，以用于从这些图像序列中提取(一个或多个)运动对象。

通过将所描述的系统与如在本申请的其余部分并参照附图所阐述的本公开内容的一些方面进行比较，常规和传统方法的其它局限性和缺点对本领域技术人员将变得显而易见。

发明内容

基本上如在至少一个附图中示出和/或联系至少一个附图描述的用于处理视频内容的方法和系统更完整地在权利要求中阐述。

本公开内容的这些和其它特征及优点可以从以下本公开内容的详细描述连同附图的检查来理解，相同的标号贯穿所有附图指相同的部分。

附图说明

图1是根据本公开内容的实施例示出示例性视频处理设备的框图。

图2A、2B和2C根据本公开内容的实施例示出了用于处理视频内容的所公开方法和系统的实现的第一示意性场景。

图3根据本公开内容的实施例示出了用于处理视频内容的所公开方法和系统的实现的第二示意性场景。

图4A、4B和4C是根据本公开内容的实施例示出处理视频内容的示例性方法的流程图。

图5是根据本公开内容的实施例示出用于处理视频内容的所公开方法的示例性充填(infilling)技术。

具体实施方式

以下描述的实现可以在处理视频内容的所公开方法和系统中找到。本公开内容的示例性方面可以包括一种方法，其可确定视频内容中一个或多个运动对象的一个或多个对象轮廓。可以创建可包围第一运动对象的第一对象轮廓的第一对象边框(object boundingbox，OBB)。OBB的这种创建可以基于所确定的一个或多个对象轮廓而发生。用于第一运动对象的第一对象蒙版可以在第一目的地图像帧中动态地生成。第一对象蒙版的这种生成可以基于所创建的第一OBB中第一对象轮廓的充填而生成。

在实施例中，该方法可以包括基于视频内容的三个连续的图像帧检测一个或多个运动对象。这三个连续的图像帧可以包括前一图像帧、当前图像帧以及下一图像帧。

在实施例中，该方法可以包括对齐当前图像帧与前一图像帧。在实施例中，该方法还可以包括对齐下一图像帧与当前图像帧。

在实施例中，该方法可以包括确定对齐的当前图像帧与前一图像帧之间的第一绝对差图像。在实施例中，该方法还可以包括确定对齐的下一图像帧与当前图像帧之间的第二绝对差图像。

在实施例中，该方法可以包括检测对应于一个或多个运动对象的一个或多个对象轮廓。这种检测可以在所确定的第一绝对差图像和第二绝对差图像中发生。

在实施例中，该方法可以包括基于第一绝对差图像中检测到的一个或多个对象轮廓确定第一对象轮廓图像。在实施例中，该方法还可以包括基于第二绝对差图像中检测到的一个或多个对象轮廓确定第二对象轮廓图像。

在实施例中，该方法可以包括基于所生成的第一对象轮廓图像与第二对象轮廓图像之间的交集确定中间对象轮廓图像。在实施例中，该方法可以包括利用所确定的中间对象轮廓图像和与该中间对象轮廓图像相关联的梯度信息。这种利用可以对确定一个或多个运动对象的一个或多个对象轮廓而发生。

在实施例中，该方法可以包括在第一目的地图像帧中设置第一像素值。在实施例中，该方法可以包括从所确定的一个或多个对象轮廓提取颜色属性。这种提取可以在所确定的一个或多个对象轮廓中设置第二像素值。

在实施例中，该方法可以包括将所创建的第一OBB在预定位置处拷贝到目的地图像帧。在实施例中，该方法可以包括检测第一OBB中的第一像素是否具有第三像素值。在实施例中，该方法还可以包括检测第一目的地图像帧中的第二相邻像素是否具有第一像素值。

在实施例中，该方法可以包括当检测到相邻的第二像素具有第一像素值时把第一像素值分配给检测到的第一像素。在实施例中，第一像素值可以对应于灰色。第二像素值可以对应于白色，并且第三像素值可以对应于黑色。

在实施例中，该方法可以包括将第二像素值分配给第一OBB中具有第三像素值的一个或多个像素。这种用于第一对象轮廓的充填的分配可以在检测到第一OBB中的两个相邻像素没有处于第三像素值和第一像素值时发生。

在实施例中，该方法可以包括当在视频内容中检测到第二运动对象时创建包围第二运动对象的第二OBB。在实施例中，该方法可以包括把所创建的第二OBB在预定位置处拷贝到第二目的地图像帧。第二目的地帧可以对应于包括为第一运动对象生成的第一对象蒙版的第一目的地帧。

在实施例中，该方法可以包括生成第二OBB中第二运动对象的第二对象蒙版。第二OBB中的第二运动对象可以与第一运动对象的所生成的第一对象蒙版相关联。在实施例中，该方法可以包括基于所生成的第一对象蒙版和第二对象蒙版提取第一运动对象和第二运动对象。

图1是根据本公开内容的实施例示出示例性视频处理设备的框图。参考图1，示出了视频处理设备102。视频处理设备102可以包括一个或多个处理器，诸如视频处理器104，存储器106，一个或多个输入/输出(I/O)设备，诸如I/O设备108，以及一个或多个感测设备，诸如感测设备110。视频处理器104可以通信耦合到存储器106、I/O设备108和感测设备110。

视频处理设备102可以包括能操作以基于运动对象的对象轮廓的充填为多个运动对象生成对象蒙版的合适的逻辑、电路、接口和/或代码。视频处理设备102的例子可以包括，但不限于，智能电话、数码相机、摄像机、平板计算机、膝上型计算机、投影仪、电视、互联网协议电视(IPTV)和/或个人数字助理(PDA)设备。

视频处理器104可以包括能操作以执行存储在存储器106中的指令集的合适的逻辑、电路、接口和/或代码。视频处理器104能操作以处理可从一个或多个I/O设备，诸如照相机或摄像机，接收的视频内容。视频处理器104还能操作以检索存储在存储器106中的数据，诸如视频内容和/或图像序列。视频处理器104可以基于本领域中已知的多种处理器技术来实现。视频处理器104的例子可以是基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器、微处理器、微控制器，和/或其它处理器。

存储器106可以包括能操作以存储具有可由视频处理器104执行的至少一个代码部分的机器代码和/或计算机程序的合适的逻辑、电路、接口和/或代码。存储器106还能操作以存储视频内容和/或其它数据。存储器106还能操作以存储视频内容的视频帧缓冲区、视频内容的图像序列、操作系统以及相关联的应用。存储器106的实现例可以包括，但不限于，随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)、闪存存储器和/或安全数字(SD)卡。

I/O设备108可以包括能操作以捕捉视频内容和/或图像的合适的逻辑、电路、接口和/或代码。I/O设备108还能操作以从一个或多个用户接收输入，并且向一个或多个用户提供输出。I/O设备108可以包括能操作以与视频处理器104通信的各种输入和输出设备。输入设备的例子可以包括，但不限于，相机、摄像机、触摸屏、输入端口、运动传感器、光传感器和/或扩展坞。输出设备的例子可以包括，但不限于，显示屏(未示出)和/或投影屏幕。显示屏能操作以呈现视频处理设备102的一个或多个特征和/或应用。显示屏可以通过本领域已知的几种技术来实现，诸如但不限于液晶显示(LCD)显示器、发光二极管(LED)显示器和/或有机发光二极管(OLED)显示器。投影屏幕可以是用于显示投影图像和/或视频的表面和/或全息屏幕。在实施例中，输入和输出设备可以作为两个分开的单元提供。

感测设备110可以包括能操作以存储具有可由视频处理器104执行的至少一个代码部分的机器代码和/或计算机程序的合适的逻辑、电路、接口和/或代码。感测设备110可以包括一个或多个传感器，诸如图像传感器，以帮助图像、视频、确认识别、标识和/或一个或多个用户的验证的捕捉。一个或多个传感器可以包括用来检测从一个或多个用户接收的基于触摸的输入动作的电容式触摸传感器。

在操作中，视频处理器104能操作以接收视频的图像序列。在实施例中，视频处理器104能操作以把来自所接收的视频的图像序列的图像帧的尺寸从第一分辨率值缩减到第二分辨率值。在实施例中，第二分辨率值可以对应于视频图形阵列(VGA)尺寸。

在实施例中，视频处理器104能操作以在环形缓冲区中缓冲图像序列的至少三个连续的缩减尺寸的图像帧。这三个连续的图像帧可以包括前一图像帧、当前图像帧以及下一图像帧。

在实施例中，视频处理器104能操作以对齐当前图像帧与前一图像帧。视频处理器104还能操作以对齐下一图像帧与当前图像帧。在实施例中，视频处理器104能操作以确定第一绝对差图像和第二绝对差图像。确定第一绝对差图像可以基于当前图像帧与前一图像帧之间的对齐。确定第二绝对差图像可以基于下一图像帧与当前图像帧之间的对齐。

在实施例中，视频处理器104能操作以在第一绝对差图像中检测一个或多个运动对象的一个或多个对象轮廓。一个或多个对象轮廓的这种检测可以同时在第二绝对差图像中发生。在实施例中，这种检测可以在从所确定的第一绝对差图像和所确定的第二绝对差图像中除去非重叠区域之后发生。在实施例中，这种检测可以通过使用本领域中已知的一种或多种轮廓检测算法或方法发生。这种轮廓检测算法或方法的例子可以包括，但不限于，基于搜索的、基于过零的、Roberts算子、Prewitt算子、Sobel算子、Canny算子和/或Laplacian边缘检测器。但是，对象轮廓可以利用任何合适的轮廓检测算法或方法检测和精炼，而不限制本公开内容的范围。例如，在实施例中，轮廓检测算法可以通过使用预定的敏感性阈值来实现，用于通过轮廓检测的结果的使用进行对象的进一步检测和精炼。

在实施例中，视频处理器104能操作以基于在所确定的第一绝对差图像中检测到的一个或多个对象轮廓确定第一对象轮廓图像。类似地，视频处理器104能操作以同时在所确定的第二绝对差图像中确定第二对象轮廓图像。

在实施例中，视频处理器104能操作以基于检测到的第一对象轮廓图像与第二对象轮廓图像之间的交集确定中间对象轮廓图像。在实施例中，中间对象轮廓图像可以对应于除去非重叠区域的当前图像帧。

在实施例中，视频处理器104能操作以计算中间对象轮廓图像中的梯度信息，诸如Sobel梯度。这种计算可以在对象轮廓信息在中间对象轮廓图像的一个或多个对象轮廓部分中缺失的时候发生。在这种情况下，视频处理器104能操作以恢复一个或多个对象轮廓部分中的对象轮廓信息。一个或多个对象轮廓部分的这种恢复可以利用梯度跟踪操作。梯度信息和所确定的中间对象轮廓图像可以用作梯度跟踪操作的输入。

在实施例中，视频处理器104能操作以确定对应于一个或多个运动对象的一个或多个对象轮廓。这种确定可以利用中间对象轮廓图像的对象轮廓信息和与该中间对象轮廓图像相关联的梯度信息。

在实施例中，视频处理器104能操作以基于所确定的一个或多个对象轮廓检测一个或多个运动对象。在实施例中，视频处理器104能操作以创建包围第一运动对象的第一对象轮廓的第一OBB。第一OBB的这种创建可以基于所确定的一个或多个对象轮廓。

在实施例中，视频处理器104能操作以在第一目的地图像帧中设置第一像素值。在实施例中，第一目的地图像帧可以是与所接收的视频的图像序列不同的图像帧。在实施例中，第一目的地图像帧可以与缩减尺寸的当前图像帧具有相似的尺寸和分辨率。

在实施例中，视频处理器104能操作以从所确定的一个或多个对象轮廓提取颜色属性，使得在所确定的一个或多个对象轮廓中设置第二像素值。在实施例中，视频处理器104能操作以将所创建的第一OBB在预定位置处拷贝到第一目的地图像帧。

在实施例中，视频处理器104能操作以检测第一OBB中的第一像素是否具有第三像素值。在实施例中，视频处理器104还可以检测与第一目标图像帧中的第一像素相邻的第二像素是否具有第一像素值。在实施例中，当检测到相邻的第二像素也具有第一像素值时，视频处理器104能操作以将第一像素值分配给所检测到的第一像素。在实施例中，第一像素值、第二像素值和第三像素值可分别对应于灰色、白色和黑色。

在实施例中，视频处理器104能操作以把第二像素值分配给在第一OBB中可实际上具有第三像素值的一个或多个像素。当检测到第一OBB中两个相邻的像素不是分别具有第一像素值和第三像素值时，可以发生第二像素值的这种分配。换句话说，当第一对象轮廓之外的所有像素都被分配第一像素值(诸如灰色)时，可能会发生这样的分配。第二像素值的分配可以对应于在第一OBB中第一对象轮廓的充填。

在实施例中，视频处理器104能操作以为第一运动对象动态地生成第一对象蒙版。第一对象蒙版的这种生成可以基于第一OBB中第一运动对象的对象轮廓的充填而在第一目的地图像帧中发生。

在实施例中，视频处理器104能操作以当在三个连续的图像帧中检测到第二运动对象时创建第二OBB。第二OBB可以包围第二运动对象的第二对象轮廓。第二OBB可以基于所确定的一个或多个运动对象的一个或多个对象轮廓来创建。

在实施例中，视频处理器104能操作以将所创建的第二OBB在预定位置处拷贝到第二目的地图像帧。第二目的地图像帧可以对应于可包括用于第一运动对象的所生成的第一对象蒙版的第一目的地图像帧。

在实施例中，视频处理器104能操作以生成第二OBB中第二运动对象的第二对象蒙版。第二OBB中的第二运动对象可以与所生成的第一运动对象的第一对象蒙版相关联。在实施例中，视频处理器104能操作以基于所生成的第一对象蒙版和第二对象蒙版提取第一运动对象和第二运动对象。

在实施例中，第一像素值、第二像素值和第三像素值可分别对应于灰色、黑色和白色。应当理解的是，本公开内容的实施例可以使用所接收到的图像序列的多于三个连续的图像帧。这会增加所公开的方法和系统的健壮性。例如，在实施例中，可以利用图像序列的五个连续的图像帧。在这种实施例中，视频处理器104能操作以对齐这五个连续的图像帧的第一图像帧与第三图像帧。类似地，视频处理器104能操作以对齐第五图像帧与第三图像帧。在这种实施例中，第一图像帧可以对应于前一图像帧。第三图像帧可以对应于当前图像帧。第五图像帧可以对应于下一图像帧，如上所述。类似地，视频处理器104能操作以确定对齐的第一图像帧与第三帧图像之间的第一绝对差图像。视频处理器104还能操作以确定对齐的第五图像帧与第三图像帧之间的第二绝对差图像。

在实施例中，来自所接收的图像序列的图像帧的缩减尺寸操作可指的是图像帧的重新调整大小。重新调整大小可以是从高分辨率值(如高清晰度(HD))到低分辨率值(VGA)。在实施例中，连续的图像帧之间的对齐可以使用本领域中已知的一种或多种对齐算法，诸如全局整帧图像对齐算法、基于强度的对齐算法和/或基于特征的对齐算法。

在实施例中，前一图像帧和当前图像帧之间的对齐可以相对于图像帧中的静态场景。类似地，下一图像帧与当前图像帧之间的对齐可以相对于图像帧中的静态场景。在实施例中，静态场景可包括一个或多个运动对象的视图。

在实施例中，视频处理器104能操作以从所确定的第一绝对差图像和所确定的第二绝对差图像除去非重叠区域。在实施例中，视频处理器104能操作以当确定第一绝对差图像可以发生时除去非重叠区域。非重叠区域可以是不对应的冗余区域。例如，摄像机可以捕捉视频。相机可能朝右移动，在那里可以捕捉到在当前帧中可能不存在的部分新场景。随后，当前一帧和当前帧对齐时，由于摄像机视场的非重叠，在帧边界可能不存在对应场景。以上动作在对齐之后定义“非重叠”区域。

在实施例中，视频处理器104能操作以通过使用另外三个连续的图像序列来提取第一运动对象和第二运动对象，这可以在视频的另一时间段发生。在不同时间段对移动物体的这种提取可以用来创建动画。由于对象轮廓的充填，所生成的对象蒙版可以是均匀的，如上所述。精细边界和均匀对象蒙版的动态生成可以使得能够从图像序列快速提取移动的对象。从视频内容的图像序列中对运动对象的这种提取可以在电影制作公司中使用，诸如处理视频，以创建各种动画。例如，动画图像可以被创建为具有对运动对象的特殊效果和表达，诸如在涉及体育、车辆和其它运动对象的动作场景中。

在实施例中，视频处理器104能操作以从远程服务器(未示出)接收视频的图像序列。在实施例中，视频处理器104能操作以从可能远程定位的I/O设备108接收视频的图像序列。

图2A、2B和2C根据本公开内容的实施例示出了用于处理视频内容的所公开方法和系统的实现的第一示意性场景。图2A、2B和2C是结合图1的元素来解释的。参考图2A，示出了第一目的地图像帧202和第一OBB 204。第一OBB 204可以包括第一运动对象的第一对象轮廓206。还示出了第一对象轮廓206中的一个或多个区域，诸如区域206a。

根据该第一示例性场景，第一目的地图像帧202可以是预先存储在存储器106中的图像帧。视频处理器104能操作以对第一目的地图像帧中的所有像素设置第一像素值，诸如灰色。第一OBB 204可以对应于包围第一运动对象的所创建的OBB。第一对象轮廓206可对应于第一运动对象的所确定的第一对象轮廓。视频处理器104能操作以从第一目标轮廓206提取色彩属性。在这种提取中，可以对第一对象轮廓206设置第二像素值，诸如白色。另外，第一对象轮廓206中的区域206a，以及第一OBB 204中第一对象轮廓206之外的矩形区域，也可以设置为第三像素值，诸如黑色。第一对象轮廓206内的区域206a可能需要用第二像素值充填，以生成用于第一运动对象，诸如移动的人(如所示出的)，的均匀对象蒙版。

在操作中，视频处理器104能操作以把第一OBB 204在预定位置处拷贝到第一目的地图像帧202。例如，这种拷贝操作可以通过使用拷贝命令执行，诸如“memcpy”命令。当第一OBB 204从源拷贝到第一目的地图像帧202时，“memcpy”命令可以保留第一OBB 204的信息。这样保留的信息可以对应于第一OBB 204的像素值和位置信息(诸如像素坐标信息)。源可以指对应于视频内容的当前图像帧的所确定的中间对象轮廓图像。

参考图2B，根据图2A的第一示例性场景的操作序列，示出了第一目的地图像帧202、第一OBB 204以及第一OBB 204中第一运动对象的第一对象轮廓206。还示出了第一对象蒙版206b。

在实施例中，视频处理器104能操作以检测第一目的地图像帧202中的两个像素的像素值。例如，视频处理器104能操作以检测第一OBB 204中的第一像素是否具有第三像素值。视频处理器104还可以检测第一目的地图像帧202中相邻的第二像素是否具有第一像素值。在实施例中，视频处理器104能操作以将第一像素值分配给第一OBB 204中检测到的第一像素。第一像素值(诸如灰色)的这种分配在检测到相邻的第二像素具有第一像素值时发生。

在实施例中，这种检测和分配可以从第一OBB 204的边界像素开始。这种检测和分配可以朝一个或多个方向前进，直到在第一OBB 204中的第一对象轮廓206之外的所有像素都被分配第一像素值。例如，这种检测和分配可以在第一OBB 204中逐行从左至右和/或从右到左迭代前进。类似地，这种检测和分配可以逐列从顶部至底部和/或从底部到顶部迭代前进。在行或列中的检测和分配可以从在第一OBB 204的边界像素的一端开始并且可以在一个或多个方向上向第一OBB 204的另一端前进。在行或列中的检测和分配可以继续，直到检测到具有第二像素值的像素。换言之，这种检测和分配可以被执行，直到遇到具有第二像素值，诸如白色，的第一对象轮廓206。

在实施例中，视频处理器104能操作以将第二像素值分配给第一OBB 204中可以具有第三像素值的一个或多个像素。第三像素值可在第一对象轮廓206中的一个或多个区域中，诸如区域206a。当检测到第一OBB 204中的两个相邻像素不具有第三像素值和第一像素值时，这种分配发生。第二像素值的分配可以对应于在第一OBB 204中第一对象轮廓206的充填。

在实施例中，视频处理器104能操作以动态地为第一运动对象生成第一对象蒙版206b。第一对象蒙版206b的这种生成可以基于第一目的地图像帧202中的第一OBB 204中第一对象轮廓206的充填。

参考图2C，根据图2B的第一示例性场景的操作序列，示出了第二目的地图像帧202'、第一运动对象的第一对象轮廓206、第一对象蒙版206b、第二OBB 208、球的第二对象轮廓210以及球的第二对象蒙版212。

第二目的地图像帧202'可以对应于包括第一运动对象的第一对象蒙版206b的第一目的地图像帧202。第二OBB 208可以对应于所创建的第二OBB 208(图1)。除第二OBB 208包围球之外，第二OBB 208类似于第一OBB 204。球可以对应于第二运动对象。诸如第一OBB204和第二OBB 208的OBB的面积可与位于OBB中的对象的尺寸相关联。运动对象的尺寸越大，包围对应运动对象的OBB越大。

在实施例中，视频处理器104能操作以将第二OBB 208在预定位置处拷贝到第二目的地图像帧202'。该预定位置可对应于球在视频的三个连续的图像帧的当前图像帧中的位置。

在实施例中，视频处理器104能操作以检测第二OBB 208中的第一像素是否具有第三像素值。视频处理器104还可以检测第二目标图像帧202'中相邻的第二像素是否具有第一像素值。在实施例中，视频处理器104能操作以将第一像素值分配给在第二OBB 208中检测到的第一像素。这种检测和分配技术可以类似于以上对第一OBB 204所描述的技术。在实施例中，视频处理器104能操作以按类似于第一对象蒙版202b的方式生成第二OBB 208中球的第二对象蒙版212。

基于所生成的第一对象蒙版206b和第二对象蒙版212，第一运动对象(诸如人)和球可以从视频内容的三个连续图像序列提取。这种对第一运动对象和球(第二运动对象)的提取可以对另外三个连续的图像序列发生，这可以在视频的另一时间段发生。在不同时间段对运动对象的这种提取可以用来创建具有特殊效果的动画图像。例如，视频处理器104能操作以在数字照片中叠加在不同时间段提取出的运动对象。

图3根据本公开内容的实施例示出了用于处理视频内容的所公开方法和系统的实现的第二示意性场景。图3是结合图1的元素解释的。参考图1，示出了目的地图像帧302、OBB304、任意形状对象的对象轮廓306、对象轮廓306中具有黑色像素的区域306a以及任意形状对象的对象蒙版306b。

在该第二示例性场景中，目的地图像帧302可以对应于第一目的地图像帧。OBB304可以对应于所创建的第一OBB。任意形状对象的对象轮廓306可以对应于第一运动对象的第一对象轮廓。任意形状的对象可以包括可能难以接近的一个或多个区域。例如，在像英文字母表中“G”的对象轮廓306外面的像槽的区域“A”。

视频处理器104能操作以在目的地图像帧302中设置第一像素值，诸如灰色。例如，目的地图像帧302中的所有像素都可以设置为灰色背景值。视频处理器104能操作以从对象轮廓306提取颜色属性，类似于上面所解释的。例如，在这种提取中，可以对对象轮廓306设置第二像素值(诸如白色)。第一对象轮廓306中的区域306a以及OBB 304中对象轮廓306之外的矩形区域也可以设置为第三像素值，诸如黑色。对象轮廓306中的区域306a可能需要用第二像素值充填，以生成用于任意形状对象的统一对象蒙版。

在实施例中，视频处理器104能操作以检测OBB 304中的第一像素是否具有第三像素值，诸如黑色。视频处理器104还能操作以检测目的地图像帧302中相邻的第二像素是否具有第一像素值。例如，第一像素值可以具有像素坐标(2,10)(由指向OBB 304的左下区域的黑色箭头标志示出)，该像素坐标(2,10)对应于在平面中的(x,y)坐标。“x”坐标可以指水平轴，并且“y”坐标可以指垂直轴。相邻的第二个像素可以具有像素坐标(1,10)。在实施例中，视频处理器104能操作以当检测到相邻的第二个像素(1,10)具有第一像素值时把第一像素值分配给第一OBB 304中检测到的第一像素(2,10)。

在上述例子中，检测可以前进到OBB 304中的连续像素(3,10)，这个像素可以具有第三像素值。作为分配的结果，检测到的与连续像素(3,10)相邻的第一像素(2,10)现在可以具有第一像素值。视频处理器104能操作以当检测到第一像素(2,10)具有第一像素值时把第一像素值分配给第一OBB 304中检测到的连续像素(3,10)。

如上所述，这种检测和分配可以朝一个或多个方向迭代前进，直到OBB 304中在对象轮廓306之外的所有像素都被分配第一像素值。在一些区域(诸如区域“A”)在第一次迭代中未被考虑(left-out)的情况下，检测和分配操作可以在第二次迭代中恢复。这种检测和分配可以在检测到OBB 304中的两个相邻像素处于第三像素值和第一像素值的任何时候发生，如上所述。第二次迭代可以对应于确保OBB 304中在对象轮廓306之外的所有像素都被分配第一像素值的检查机制。

在实施例中，视频处理器104能操作以把第二像素值分配给OBB 304中具有第三像素值的一个或多个像素。第三像素值可以在对象轮廓306中的区域306a中。这种分配在检测到OBB 304中的两个相邻像素不具有第三像素值和第一像素值时发生。基于这种分配，视频处理器104能操作以动态地为任意形状的对象生成对象蒙版306b。第二像素值的分配可以对应于利用第二像素值(诸如白色)对对象轮廓306的充填，以生成统一颜色的对象蒙版306b。

图4A、4B和4C是根据本公开内容的实施例示出处理视频内容的示例性方法的流程图。参考图4A、4B和4C，示出了流程图400。流程图400是结合图1描述的。该方法在步骤402开始并且前进到步骤404。

在步骤404，可以接收视频的图像序列。在步骤406，来自所接收的视频的图像序列的图像帧可以缩减尺寸。

在步骤408，图像序列的缩减尺寸的三个连续的图像帧可以缓冲在环形缓冲区中。在步骤410，前一图像帧可以与当前图像帧对齐。

在步骤412，第一绝对差图像可以在对齐的前一图像帧与当前图像帧之间确定。在实施例中，来自所确定的第一绝对差图像的非重叠区域可以被除去。在实施例中，当第一绝对差图像被确定时，非重叠区域可以同时被除去。在步骤414，对应于一个或多个运动对象的一个或多个对象轮廓可以在所确定的第一绝对差图像中检测到。

在步骤416，第一对象轮廓图像可以基于第一绝对差图像中检测到的一个或多个对象轮廓来确定。控制可以并行地从步骤418传递到步骤424。在步骤418，下一图像帧可以与当前图像帧对齐。

在步骤420，第二绝对差图像可以在对齐的下一图像帧与当前图像帧之间确定。在实施例中，来自所确定的第二绝对差图像的非重叠区域可以被除去。在实施例中，当第二绝对差图像被确定时，非重叠区域可以同时被除去。在步骤422，对应于一个或多个运动对象的一个或多个对象轮廓可以在所确定的第二绝对差图像中检测到。

在步骤424，第二对象轮廓图像可以基于第二绝对差图像中检测到的一个或多个对象轮廓来确定。在步骤426，中间对象轮廓图像可以基于所生成的第一对象轮廓图像与第二对象轮廓图像之间的交集来确定。

在步骤428，可以确定中间对象轮廓图像的一个或多个部分中的对象轮廓信息是否缺失。在这种情况下，控制传递到步骤430。在步骤430，缺失的对象轮廓信息可以基于梯度跟踪操作来恢复。

在步骤432，中间对象轮廓图像的对象轮廓信息以及与中间对象轮廓图像相关联的梯度信息可以用于确定一个或多个运动对象的一个或多个对象轮廓。在步骤434，一个或多个运动对象的一个或多个对象轮廓可以在视频内容中确定。这种确定可以基于所确定的对象轮廓信息以及与中间对象轮廓信息相关联的梯度信息。

在步骤436，一个或多个运动对象可以基于所确定的一个或多个对象轮廓来检测。在步骤438，包围第一运动对象的第一对象轮廓的第一OBB可以基于所确定的一个或多个对象轮廓来创建。

在步骤440，第一运动对象的第一对象轮廓可以被充填。在步骤442，用于第一运动对象的第一对象蒙版可以基于所创建的第一OBB中对象轮廓的充填在第一目的地图像帧中生成。控制并行地从步骤444传递到步骤446(如所示出的)。

在步骤444，当检测到第二运动对象时，可以创建包围第二运动对象的第二对象轮廓的第二OBB。第二OBB的这种创建可以基于所确定的一个或多个对象轮廓。在步骤446，当第二运动对象的第二对象轮廓在所创建的第一OBB的区域内检测到时，第二OBB可以被分割。此外，这种分割可以在第二对象轮廓不与第一对象轮廓接触时发生。

在步骤448，第二OBB中第二运动对象的第二对象轮廓可以在第二目的地图像帧中充填。这种第二目的地图像帧可以对应于包括为第一运动对象生成的第一对象蒙版的第一目的地图像帧。在步骤450，第二运动对象的第二对象蒙版可以在第二OBB中生成。

在步骤452，第一运动对象和第二运动对象可以基于所生成的第一对象蒙版和第二对象蒙版来提取。在没有检测到第二运动对象的情况下，控制可以从步骤442传递到步骤452。控制传递到结束步骤454。

图5是根据本公开内容的实施例示出用于处理视频内容的所公开方法的示例性充填技术。参考图5，示出了描述图4C的步骤440的子步骤的流程图。流程图440是结合图1、图2A、图2B、图2C、图4A、图4B和图4C来描述的。流程图在步骤440a开始并且前进到步骤440b。

在步骤440b，第一像素值可以在第一目的地图像帧中设置。在步骤440c，颜色属性可以从所确定的第一对象轮廓中提取，使得第二像素值在所确定的第一对象轮廓中设置。

在步骤440d，所创建的第一OBB可以在预定位置处拷贝到第一目的地图像帧。在步骤440e，检测第一OBB中的第一像素是否具有第三像素值以及第一目的地图像帧中相邻的第二像素是否具有第一像素值。在第一OBB中的第一像素具有第三像素值并且相邻的第二像素具有第一像素值的情况下，控制可以传递到步骤440f。

在步骤440f，当检测到相邻的第二像素具有第一像素值时，第一像素值可以分配给检测到的第一像素。步骤440e至440f可以重复，直到在第一OBB中完成检测和分配。在第一OBB中的第一像素不具有第三像素值并且相邻的第二像素具有第一像素值的情况下，控制可以传递到步骤440g。

在步骤440g，第二像素值可以分配给第一OBB中具有第三像素值的一个或多个像素。第二像素值向一个或多个像素的这种分配可以造成第一运动对象的第一对象轮廓的充填。控制传递到结束步骤440h。

根据本公开内容的实施例，公开了处理视频内容的系统。诸如视频处理设备102(图1)的设备可以包括一个或多个视频处理器(下文中称为视频处理器104(图1))。视频处理器104能操作以确定视频内容中一个或多个运动对象的一个或多个对象轮廓。视频处理器104还能操作以基于所确定的一个或多个对象轮廓创建第一OBB，该第一OBB可以包围第一运动对象的第一对象轮廓。视频处理器104还能操作以基于所创建的第一OBB中第一对象轮廓的充填在第一目的地图像帧中为第一运动对象生成第一对象蒙版。

本公开内容的各种实施例可以提供非临时性计算机可读介质和/或存储介质，和/或其上存储具有至少一个可由处理视频的机器和/或计算机执行的代码段的机器代码和/或计算机程序的非临时性机器可读介质和/或存储介质。视频处理器104中的至少一个代码段可以使机器和/或计算机执行以下步骤：确定视频内容中一个或多个运动对象的一个或多个对象轮廓。可以包围第一运动对象的第一对象轮廓的第一OBB可以基于所确定的一个或多个对象轮廓来创建。用于第一运动对象的第一对象蒙版可以基于所创建的第一OBB中第一对象轮廓的充填在第一目的地图像帧中生成。

本公开内容可以在硬件或者硬件和软件的组合中实现。本公开内容可以在至少一个计算机系统中以集中方式实现，或者以其中不同元素可以跨几个互连的计算机系统散布的分布式方式实现。适于执行本文所述方法的计算机系统或其它装置会是适合的。硬件与软件的组合可以是具有计算机程序的通用计算机系统，当计算机程序被加载和执行时，可以控制计算机系统，使得它执行本文所述的方法。本公开内容可以在包括还执行其它功能的集成电路的一部分的硬件中实现。

本公开内容还可以在计算机程序产品中体现，该计算机程序产品包括使得能够实现本文所述方法的所有特征，并且当在计算机系统中加载时，能够执行这些方法。在所给出的上下文中，计算机程序意味着要使具有信息处理能力的系统或者直接地或者在以下任意一个或两个之后执行特定功能的一组指令以任何语言、代码或符号的任意表示：a)转换成另一种语言、代码或符号；b)以不同的材料形式再现。

虽然已经参考某些实施例进行描述了本公开内容，但是本领域技术人员应当理解，在不背离本公开内容范围的情况下，可以进行各种变化并且等效物可以被代替。此外，在不背离其范围的情况下，可以进行许多修改，以便使特定的情形或材料适应本公开内容的示教。因此，本公开内容不限于所公开的特定实施例，而是本公开内容将包括落入所述权利要求范围的所有实施例。

Claims (15)

1.一种用于处理视频内容的方法，该方法包括：

在视频处理器中：

确定所述视频内容中一个或多个运动对象的一个或多个对象轮廓；

基于所确定的一个或多个对象轮廓，创建包围第一运动对象的第一对象轮廓的第一对象边框；及

基于所创建的第一对象边框中所述第一对象轮廓的充填，在第一目的地图像帧中为所述第一运动对象动态生成第一对象蒙版，

其中，所述充填包括：

将第一目的地图像帧中的所有像素设置为第一像素值；

通过从第一对象轮廓中提取颜色属性，将属于第一对象轮廓的像素设置为第二像素值，并将第一对象轮廓包围的但不属于第一对象轮廓的区域中的像素设置为第三像素值；

将第一对象边框中第一对象轮廓之外的区域中的像素设置为第三像素值；

将第一对象边框在预定位置处拷贝到第一目的地图像帧；

在第一对象边框中的像素具有第三像素值、且第一目的地图像帧中的与该像素相邻的像素具有第一像素值的情况下，为第一对象边框中的该像素分配第一像素值；

在第一对象边框中的相邻像素分别具有第一像素值和第三像素值的情况下，为具有第三像素值的像素分配第一像素值；及

为第一对象轮廓包围的但不属于第一对象轮廓的所述区域中的像素分配第二像素值。

2.如权利要求1所述的方法，还包括基于所述视频内容的三个连续的图像帧检测所述一个或多个运动对象，其中所述三个连续的图像帧包括前一图像帧、当前图像帧以及下一图像帧。

3.如权利要求2所述的方法，还包括：

对齐所述当前图像帧与所述前一图像帧，以及对齐所述下一图像帧与所述当前图像帧；及

确定所对齐的所述当前图像帧与所述前一图像帧之间的第一绝对差图像，以及所对齐的所述下一图像帧与所述当前图像帧之间的第二绝对差图像。

4.如权利要求3所述的方法，还包括在所确定的第一绝对差图像和所确定的第二绝对差图像中检测对应于所述一个或多个运动对象的所述一个或多个对象轮廓。

5.如权利要求4所述的方法，还包括基于所述第一绝对差图像中所检测到的一个或多个对象轮廓确定第一对象轮廓图像，以及基于所述第二绝对差图像中所检测到的一个或多个对象轮廓确定第二对象轮廓图像。

6.如权利要求5所述的方法，还包括基于所确定的第一对象轮廓图像与所确定的第二对象轮廓图像之间的交集确定中间对象轮廓图像。

7.如权利要求6所述的方法，还包括利用所确定的中间对象轮廓图像和与所述中间对象轮廓图像相关联的梯度信息来确定所述一个或多个运动对象的所述一个或多个对象轮廓。

8.如权利要求1所述的方法，其中所述第一像素值对应于灰色，所述第二像素值对应于白色，并且所述第三像素值对应于黑色。

9.如权利要求1所述的方法，还包括：当在所述视频内容中检测到第二运动对象时，创建包围所述第二运动对象的第二对象边框。

10.如权利要求9所述的方法，还包括把所创建的第二对象边框在预定位置处拷贝到第二目的地图像帧，其中所述第二目的地帧对应于包括为所述第一运动对象生成的所述第一对象蒙版的所述第一目的地帧。

11.如权利要求10所述的方法，还包括生成在所述第二对象边框中的所述第二运动对象的第二对象蒙版，其中所述第二对象边框中的所述第二运动对象与所述第一运动对象的所生成的第一对象蒙版相关联。

12.如权利要求11所述的方法，还包括基于所生成的第一对象蒙版和所生成的第二对象蒙版提取所述第一运动对象和所述第二运动对象。

13.一种用于处理视频内容的系统，该系统包括：

视频处理器，能操作以：

确定所述视频内容中一个或多个运动对象的一个或多个对象轮廓；

基于所确定的一个或多个对象轮廓，创建包围第一运动对象的第一对象轮廓的第一对象边框；及

基于所创建的第一对象边框中所述第一对象轮廓的充填，在第一目的地图像帧中为所述第一运动对象生成第一对象蒙版，

其中，所述充填包括：

将第一目的地图像帧中的所有像素设置为第一像素值；

通过从第一对象轮廓中提取颜色属性，将属于第一对象轮廓的像素设置为第二像素值，并将第一对象轮廓包围的但不属于第一对象轮廓的区域中的像素设置为第三像素值；

将第一对象边框中第一对象轮廓之外的区域中的像素设置为第三像素值；

将第一对象边框在预定位置处拷贝到第一目的地图像帧；

在第一对象边框中的像素具有第三像素值、且第一目的地图像帧中的与该像素相邻的像素具有第一像素值的情况下，为第一对象边框中的该像素分配第一像素值；

在第一对象边框中的相邻像素分别具有第一像素值和第三像素值的情况下，为具有第三像素值的像素分配第一像素值；及

为第一对象轮廓包围的但不属于第一对象轮廓的所述区域中的像素分配第二像素值。

14.如权利要求13所述的系统，其中所述视频处理器还能操作以基于所述视频内容的三个连续的图像帧检测所述一个或多个运动对象，其中所述三个连续的图像帧包括前一图像帧、当前图像帧以及下一图像帧。

15.如权利要求13所述的系统，其中所述第一像素值对应于灰色，所述第二像素值对应于白色，并且所述第三像素值对应于黑色。