CN102665062B - 一种使视频中目标物体图像稳定的方法及装置 - Google Patents

Abstract

本发明实施方式提供了一种使视频中目标物体图像稳定的方法及装置。所述方法首先捕获视频中的一帧或多帧图像；在所捕获的图像中对目标物体进行检测，获取所述目标物体的图像信息，所述图像信息包括以下一种或多种：目标物体的大小、位置和色彩信息；将所获取的目标物体的图像信息与预先设定的图像信息进行匹配，若匹配，则不进行处理；若不匹配，则调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配；显示匹配后的一帧或多帧图像。通过该方法就能够使视频通信中目标物体的图像稳定，提高视频通信效果，并节省视频通信中编解码的码率和/或带宽。

Description

一种使视频中目标物体图像稳定的方法及装置

技术领域

本发明涉及视频图像技术领域，尤其涉及一种使视频中目标物体图像稳定的方法及装置。

背景技术

目前，在各种可移动的设备进行视频通信的过程中，由于设备可能在不停的抖动/移动、摇摆、旋转、前后移动，导致设备的摄像头捕获的视频图像也在不停地抖动，图像的大小和色彩很难处于稳定状态。

例如手持手机与人聊天过程中，由于手机摄像头很难和人脸保持稳定角度，导致视频中的人在晃动，其大小也在变化；同时由于环境光也在不停地变化中，也会导致人的肤色经常变化，从而降低了视频图像效果，在视频会议场景中也存在这种肤色变化情况。

在视频过程中的其他目标物体也存在相同的问题，其图像的大小和色彩难以处于稳定状态，影响了视频通信的效果，同时由于图像大小和色彩的不稳定，也增加了视频通信中编解码的码率和/或带宽，而现有技术中缺乏相应的解决方案。

发明内容

本发明实施例提供了一种使视频中目标物体图像稳定的方法及装置，能够使视频通信中目标物体的图像稳定，提高视频通信效果，并节省视频通信中编解码的码率和/或带宽。

本发明实施例提供了一种使视频中目标物体图像稳定的方法，所述方法包括：

捕获视频中的一帧或多帧图像；

在所捕获的图像中对目标物体进行检测，获取所述目标物体的图像信息，所述图像信息包括以下一种或多种：目标物体的大小、位置和色彩信息；

将所获取的目标物体的图像信息与预先设定的图像信息进行匹配，若匹配，则不进行处理；若不匹配，则调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配；

显示匹配后的一帧或多帧图像。

本发明实施例还提供了一种使视频中目标物体图像稳定的装置，所述装置包括：

图像捕获单元，用于捕获视频中的一帧或多帧图像；

图像信息获取单元，用于在所捕获的图像中对目标物体进行检测，获取所述目标物体的图像信息，所述图像信息包括以下一种或多种：目标物体的大小、位置和色彩信息；

图像信息匹配调整单元，用于将所获取的目标物体的图像信息与预先设定的图像信息进行匹配，若匹配，则不进行处理；若不匹配，则调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配；

图像显示单元，用于显示匹配后的一帧或多帧图像。

由上述所提供的技术方案可以看出，所述方法首先捕获视频中的一帧或多帧图像；在所捕获的图像中对目标物体进行检测，获取所述目标物体的图像信息，所述图像信息包括以下一种或多种：目标物体的大小、位置和色彩信息；将所获取的目标物体的图像信息与预先设定的图像信息进行匹配，若匹配，则不进行处理；若不匹配，则调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配；显示匹配后的一帧或多帧图像。通过该方法就能够使视频通信中目标物体的图像稳定，提高视频通信效果，并节省视频通信中编解码的码率和/或带宽。

附图说明

图1为本发明实施例所提供使视频中目标物体图像稳定的方法流程图；

图2为本发明实施例所举例子中使图像稳定的操作示意图；

图3为本发明实施例所举出例子中使色彩稳定增强的操作示意图；

图4为本发明所举实例中所捕获的两帧图像；

图5为本发明实施例所举实例中匹配人脸的处理示意图；

图6为本发明实施例所举实例中不匹配人脸的处理示意图；

图7为本发明所提供使视频中目标物体图像稳定的装置结构示意图。

具体实施方式

本发明实施例提供了一种使视频中目标物体图像稳定的方法及装置，为更好的描述本发明实施方式，现结合附图对本发明的具体实施方式进行说明，如图1所示为本发明实施例所提供使视频中目标物体图像稳定的方法流程图，图1中包括：

步骤11：捕获视频中的一帧或多帧图像。

在该步骤中，可以通过摄像头，摄像机来捕获视频中的一帧或多帧图像，也可以从计算机硬盘或网络中的视频文件捕获一帧或多帧图像。

步骤12：在所捕获的图像中对目标物体进行检测，获取目标物体的图像信息。

在该步骤中，可以由专有的图像检测设备来对目标物体进行检测与跟踪，进行检测和跟踪的目标物体可以包括：人脸，向视频对象演示的物品，或计算机设备显示屏幕中特定的信息，例如指定的某些重要图片或数据；所获取的目标物体的图像信息可以包括目标物体的大小、位置和色彩信息中的一种或多种，当然也可以为目标物体的其他属性信息。

图像检测设备具体进行检测的手段可以有多种，若所述目标物体为人脸，则可以在所捕获的图像中，基于肤色检测skindetect的方式来进行；若所述目标物体为人脸或其他的特定物品，则可以基于神经网络ANN(ArtificialNeuralNetwork)，或基于级联Boosting，或基于卡尔曼滤波器/偏移的均值向量KalmanFilter/Meanshifit等方式来获取相应目标物体的图像信息。

当然，本领域技术人员可以想到的其他的图像检测与跟踪手段也是可以满足要求的。

步骤13：将所获取的目标物体的图像信息与预先设定的图像信息进行匹配。

在该步骤中，若获取的图像信息为目标物体的大小信息，则可以进一步将将所获取的目标物体的大小与预先设定的目标大小进行匹配，这里预先定义的人脸大小可以根据具体的需要来设定尺寸或像素。

另一情况下，若获取的图像信息为目标物体的色彩信息，则可以进一步根据色彩信息统计生成所述目标物体的色彩直方图曲线，将该目标物体的色彩直方图曲线与预先设定的目标色彩直方图曲线进行匹配，这里用于匹配的预设目标色彩直方图曲线可以根据具体的需要自定义，且目标色彩直方图的参数也可以根据需要自定义。

该步骤中，大小匹配过程和色彩直方图匹配过程既可以同时进行也可以分别进行。

步骤14：若不匹配，则调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配。

在该步骤中，通过上述步骤13的匹配操作，将所获取的目标物体的大小与预先设定的目标大小进行匹配，若不匹配，则调整目标物体，具体可以为缩放所获取的目标物体，使缩放后目标物体的大小与预先设定的目标大小相匹配。

另外，在缩放所获取的目标物体时，还可以进一步使缩放后的图像稳定，具体包括：

首先，生成所述目标物体的区域掩码图；再按照指定的缩放尺度，缩放所述目标物体以及区域掩码图；对缩放后的区域掩码图的权重值进行高斯滤波，获得渐变的边界掩码图；再基于新的边界掩码图及对应的权重值，强化权重值高的目标物体区域，而弱化非目标物体区域。

举例来说，如图2所示为本发明实施例所举例子中使图像稳定的操作示意图，图2中：

上图中，首先获得目标物体的区域掩码图(如图2中第3图)；在进行缩放之后，对该掩码图进行高斯滤波，使得该掩码图中的黑白分明的边界变成渐变的边界，获得渐变边界的掩码图(如图2中第4图的掩码图)；然后基于该最终获得的渐变边界的掩码图，对于越亮的区域(即权重值高的区域)对应的原始图像，采取图像增强的方法(例如图像锐化处理)使得该区域的图像更加清晰，而对于掩码图不怎么亮的区域(即非目标物体区域)采取图像弱化的方法(例如图像平滑处理)使得该区域图像变得模糊，从而达到稳定强化目标物体区域，弱化目标物体区域的目的，增强视频观看的感受，上述图像锐化处理和图像平滑处理是图像处理领域最基础的图像处理算法。

另外，在该步骤中，通过上述步骤13的匹配操作，另一情况下，根据色彩信息统计生成所述目标物体的色彩直方图曲线，将该目标物体的色彩直方图曲线与预先设定的目标色彩直方图曲线进行匹配，若不匹配，则调整目标物体，具体为将该目标物体的色彩直方图均衡化，直方图均衡化是图像处理基本算法，通过均衡化使色彩直方图曲线与预先设定的目标色彩直方图曲线相匹配。

另外，在色彩直方图均衡化时，还可以进一步对色彩进行稳定增强操作，如图3所示为本发明实施例所举出例子中色彩稳定增强的操作示意图，具体包括：

首先生成目标物体的原始色彩区域掩码图(如图3中第3图)，再调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配；然后对调整后的色彩区域掩码图的权重值进行高斯滤波，获得渐变的色彩边界掩码图(如图3中第4图)；然后基于该色彩边界掩码图及对应的权重值，与原始色彩区域掩码图对应位置的颜色值做乘积，获得调整后目标物体的最终色彩区域掩码图，从而达到对色彩稳定增强的目的。

另外，在执行上述步骤13操作时候，若匹配，则直接执行步骤15。

步骤15：显示匹配后的一帧或多帧图像。

在该步骤中，通过上述步骤14或13的操作之后，就可以显示匹配后的一帧或多帧图像，该一帧或多帧图像与预先设定的图像大小和色彩能够保持一致，从而使视频观看更加愉悦，提高视频通信效果，并节省视频通信中编解码的码率和/或带宽。

下面以具体的实例来对上述方法实施例进行说明，在本实例中以视频中人脸的检测和处理为例，具体实现中也可以为其他的目标物体，例如手、水杯，向与会者演示的物品、展示给客户的产品、笔记本电脑显示屏幕中信息等，首先对视频中人脸或头的大小进行匹配调整，具体步骤如下：

首先，通过摄像机或摄像头捕获一帧或多帧图像；或者，从硬盘或网络存储中的视频文件中捕获一帧或多帧图像；

然后，通过人脸检测和/或人脸跟踪的方法获得人脸或人头的信息，该信息包括以下一项或多项：大小，位置，姿态，肤色。这里，人脸检测与跟踪的方法可以基于肤色检测skindetect，或基于神经网络的人脸检测ANN，或基于级联Boosting的人脸检测，或基于卡尔曼滤波器/偏移的均值向量KalmanFilter/Meanshifit的人脸跟踪检测的方式，如图4所示为本发明所举实例中所捕获的两帧图像；

然后再检测人脸的大小与预先定义的人脸大小是否匹配，在该步骤中对图4中两帧图像的人脸进行匹配，左侧的人脸与预先定义的人脸大小相匹配；右侧的人脸与预先定义的人脸大小不匹配，这里预先定义的人脸大小可以根据具体的需要来设定尺寸或像素。

根据比较结果，若匹配，则无需处理，裁剪出指定大小的人脸显示，如图5所示为本发明实施例所举实例中匹配人脸的处理示意图，图5中没有对人脸进行处理，保持原人脸大小不变，裁剪出了指定大小的人脸显示。

若不匹配，则判定该帧人脸大小尺寸与预定义尺寸大小比率关系，若是当前帧检测的人脸过小，则放大当前帧人脸至指定大小人脸；若是当前帧检测的人脸大，则缩小当前帧人脸至指定大小人脸，如图6所示为本发明实施例所举实例中不匹配人脸的处理示意图，图6中对当前帧检测的人脸进行了放大处理，使其放大至指定大小人脸。

上述操作处理完毕后，再显示当前帧裁剪后的指定大小的人脸。

值得注意的是，上述预先设定人脸的大小，也可以在一个小的浮动范围内，例如，若是高分辨率大的视频图像，大小可在20个像素以内浮动；若是低分辨率小的视频图像，大小可在10个像素以内浮动；如此范围的大小浮动，人眼基本不会感觉不适。

另外，在进行上述操作对当前帧人脸区域图像进行缩放时，由于会导致背景也跟随一起缩放，使得前后帧图像背景变化过大，导致产生更大视频观看不悦，考虑到手持设备视频聊天时，人更关注于人脸及肤色区域，对背景关注度非常低，故而可采取一种图像稳定的方法，强化权重值高的人脸区域，而弱化非人脸区域，具体采用如下方式：

生成人脸区域掩码图，按照计算的缩放尺度，缩放图像以及掩码图；然后对掩码图的权重值进行高斯滤波，获得渐变的边界掩码图；再基于新的掩码图及对应的权重值，强化权重值高的人脸区域，而弱化非人脸区域。

进一步的，在捕获一帧或多帧图像之后，还可以对人脸肤色进行稳定匹配的操作，具体来说：

根据所述色彩信息统计生成所述目标物体的色彩直方图曲线，将该目标物体的色彩直方图曲线与预先设定的目标色彩直方图曲线进行匹配，这里预先定义的目标色彩直方图曲线可以根据具体的需要来设定色彩直方图的参数；

若不匹配，则将该目标物体的色彩直方图均衡化，直方图均衡化是图像处理基本算法，使均衡化后的色彩直方图曲线与预先设定的目标色彩直方图曲线相匹配，从而达到稳定人脸肤色的目的。

另外，当检测出人脸或肤色位置后，考虑到视频帧经过处理后可能导致闪烁现象，可进一步采取肤色增强的处理方法，具体来说：

首先，生成目标物体的原始色彩区域掩码图；调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配；对调整后的色彩区域掩码图的权重值进行高斯滤波，获得渐变的色彩边界掩码图；再基于该色彩边界掩码图及对应的权重值，与原始色彩区域掩码图对应位置的颜色值做乘积，获得调整后目标物体的最终色彩区域掩码图，从而达到肤色增强的目的。

上述大小匹配过程和色彩直方图匹配过程即可以同时进行也可以分别进行。

由此可见，通过本发明的方法实施例，就可以使视频通信中目标物体的图像稳定，提高视频通信效果；同时由于视频通信中目标物体的图像稳定，视频编解码过程中需要处理的数据就会减少，所需要的码率就会相应减少，视频通信的带宽也就相应的稳定，从而节省了视频通信中编解码的码率和/或带宽。

本发明实施例还提供了一种使视频中目标物体图像稳定的装置，如图7所示为本发明所提供装置的结构示意图，所述装置包括：

图像捕获单元，用于捕获视频中的一帧或多帧图像；

图像信息获取单元，用于在所捕获的图像中对目标物体进行检测，获取所述目标物体的图像信息，所述图像信息包括以下一种或多种：目标物体的大小、位置和色彩信息；具体实现方式见以上方法实施例中所述。

图像信息匹配调整单元，用于将所获取的目标物体的图像信息与预先设定的图像信息进行匹配，若匹配，则不进行处理；若不匹配，则调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配；具体实现方式见以上方法实施例中所述。

图像显示单元，用于显示匹配后的一帧或多帧图像。

另外，所述图像信息匹配调整单元具体可用于大小匹配调整，具体将所获取的目标物体的大小与预先设定的目标大小进行匹配，若匹配，则不进行处理；若不匹配，则缩放所获取的目标物体，使缩放后目标物体的大小与预先设定的目标大小相匹配，具体实现方式见以上方法实施例中所述。

所述装置还可以包括：

缩放稳定调整单元，用于在缩放所获取的目标物体时，生成所述目标物体的区域掩码图，并按照指定的缩放尺度，缩放所述目标物体以及区域掩码图，对缩放后的区域掩码图的权重值进行高斯滤波，获得渐变的边界掩码图，再基于新的边界掩码图及对应的权重值，强化权重值高的目标物体区域，而弱化非目标物体区域，具体实现方式见以上方法实施例中所述。

另外，所述图像信息匹配调整单元具体可用于色彩匹配调整，具体根据所述色彩信息统计生成所述目标物体的色彩直方图曲线，将该目标物体的色彩直方图曲线与预先设定的目标色彩直方图曲线进行匹配，若匹配，则不进行处理；若不匹配，则将该目标物体的色彩直方图均衡化，使均衡化后的色彩直方图曲线与预先设定的目标色彩直方图曲线相匹配，具体实现方式见以上方法实施例中所述。

所述装置还可以包括：

色彩稳定调整单元，用于在调整目标物体时，生成目标物体的原始色彩区域掩码图，并调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配，对调整后的色彩区域掩码图的权重值进行高斯滤波，获得渐变的色彩边界掩码图，再基于该色彩边界掩码图及对应的权重值，与原始色彩区域掩码图对应位置的颜色值做乘积，获得调整后目标物体的最终色彩区域掩码图，具体实现方式见以上方法实施例中所述。

值得注意的是，上述装置实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，相应的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

综上所述，本发明实施例所提供的方法及装置能够使视频通信中目标物体的图像稳定，提高视频通信效果，并节省视频通信中编解码的码率和/或带宽。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种使视频中目标物体图像稳定的方法，其特征在于，所述方法包括：

捕获视频中的一帧或多帧图像；

在所捕获的图像中对目标物体进行检测，获取所述目标物体的图像信息，所述图像信息包括以下一种或多种：目标物体的大小、位置和色彩信息；

将所获取的目标物体的图像信息与预先设定的图像信息进行匹配，若匹配，则不进行处理；若不匹配，则调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配；

显示匹配后的一帧或多帧图像；

其中，若所述图像信息为目标物体的色彩信息，则所述将所获取的目标物体的图像信息与预先设定的图像信息进行匹配，具体包括：

根据所述色彩信息统计生成所述目标物体的色彩直方图曲线，将该目标物体的色彩直方图曲线与预先设定的目标色彩直方图曲线进行匹配；

且所述调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配，具体包括：

将该目标物体的色彩直方图均衡化，使均衡化后的色彩直方图曲线与预先设定的目标色彩直方图曲线相匹配。

2.如权利要求1所述的方法，其特征在于，若所述图像信息为目标物体的大小信息，则所述将所获取的目标物体的图像信息与预先设定的图像信息进行匹配，具体包括：

将所获取的目标物体的大小与预先设定的目标大小进行匹配；

且所述调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配，具体包括：

缩放所获取的目标物体，使缩放后目标物体的大小与预先设定的目标大小相匹配。

3.如权利要求2所述的方法，其特征在于，在缩放所获取的目标物体时，所述方法还包括：

生成所述目标物体的区域掩码图；

按照指定的缩放尺度，缩放所述目标物体以及区域掩码图；

对缩放后的区域掩码图的权重值进行高斯滤波，获得渐变的边界掩码图；

基于新的边界掩码图及对应的权重值，强化权重值高的目标物体区域，而弱化非目标物体区域。

4.如权利要求1所述的方法，其特征在于，在调整目标物体时，所述方法还包括：

生成目标物体的原始色彩区域掩码图；

调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配；

对调整后的色彩区域掩码图的权重值进行高斯滤波，获得渐变的色彩边界掩码图；

基于该色彩边界掩码图及对应的权重值，与原始色彩区域掩码图对应位置的颜色值做乘积，获得调整后目标物体的最终色彩区域掩码图。

5.如权利要求1所述的方法，其特征在于，所述目标物体包括以下一种或多种：人脸，向视频对象演示的物品，计算机设备显示的屏幕信息。

6.如权利要求5所述的方法，其特征在于，若所述目标物体为人脸，则所述在所捕获的图像中对目标物体进行检测，获取所述目标物体的图像信息，具体包括：

在所捕获的图像中，基于肤色检测，或基于神经网络的人脸检测，或基于级联Boosting的人脸检测，或基于卡尔曼滤波器/偏移的均值向量的人脸跟踪检测的方式来获取所述人脸的图像信息。

7.一种使视频中目标物体图像稳定的装置，其特征在于，所述装置包括：

图像捕获单元，用于捕获视频中的一帧或多帧图像；

图像信息获取单元，用于在所捕获的图像中对目标物体进行检测，获取所述目标物体的图像信息，所述图像信息包括以下一种或多种：目标物体的大小、位置和色彩信息；

图像信息匹配调整单元，用于将所获取的目标物体的图像信息与预先设定的图像信息进行匹配，若匹配，则不进行处理；若不匹配，则调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配；

图像显示单元，用于显示匹配后的一帧或多帧图像；

其中，所述图像信息匹配调整单元具体用于色彩匹配调整，根据所述色彩信息统计生成所述目标物体的色彩直方图曲线，将该目标物体的色彩直方图曲线与预先设定的目标色彩直方图曲线进行匹配，若匹配，则不进行处理；若不匹配，则将该目标物体的色彩直方图均衡化，使均衡化后的色彩直方图曲线与预先设定的目标色彩直方图曲线相匹配。

8.如权利要求7所述的装置，其特征在于，所述图像信息匹配调整单元具体用于大小匹配调整，将所获取的目标物体的大小与预先设定的目标大小进行匹配，若匹配，则不进行处理；若不匹配，则缩放所获取的目标物体，使缩放后目标物体的大小与预先设定的目标大小相匹配。

9.如权利要求8所述的装置，其特征在于，所述装置还包括：

缩放稳定调整单元，用于在缩放所获取的目标物体时，生成所述目标物体的区域掩码图，并按照指定的缩放尺度，缩放所述目标物体以及区域掩码图，对缩放后的区域掩码图的权重值进行高斯滤波，获得渐变的边界掩码图，再基于新的边界掩码图及对应的权重值，强化权重值高的目标物体区域，而弱化非目标物体区域。

10.如权利要求7所述的装置，其特征在于，所述装置还包括：

色彩稳定调整单元，用于在调整目标物体时，生成目标物体的原始色彩区域掩码图，并调整目标物体，使调整后目标物体的图像信息与预先设定的图像信息相匹配，对调整后的色彩区域掩码图的权重值进行高斯滤波，获得渐变的色彩边界掩码图，再基于该色彩边界掩码图及对应的权重值，与原始色彩区域掩码图对应位置的颜色值做乘积，获得调整后目标物体的最终色彩区域掩码图。