CN105469379B

CN105469379B - 视频目标区域遮挡方法和装置

Info

Publication number: CN105469379B
Application number: CN201410450035.5A
Authority: CN
Inventors: 崔国勤; 黄小明; 张亦农
Original assignee: Guangdong Vimicro Electronics Co ltd
Current assignee: BEIJING ZHONGXINGTIANSHI TECHNOLOGY Co.,Ltd.
Priority date: 2014-09-04
Filing date: 2014-09-04
Publication date: 2020-07-28
Anticipated expiration: 2034-09-04
Also published as: CN105469379A

Abstract

本发明公开了一种视频目标区域的遮挡方法和装置，该方法包括：通过对视频图像进行分析，确定视频图像中的目标区域，以及目标区域中的目标特征；根据目标特征对视频图像进行跟踪，确定目标区域在视频图像中的位置；基于目标特征对目标区域进行机器学习，确定预先配置的区域替换图像数据库中与目标区域相匹配的区域替换图像；通过无缝拼接技术将区域替换图像置于目标区域，使区域替换图像与目标区域的背景图像形成无缝拼接。本发明通过对视频图像的分析和跟踪确定目标区域，并通过机器学习的方式确定与目标区域相匹配的区域替换图像，并通过无缝拼接技术将区域替换图像置于目标区域，使处理后的图像与视频的背景图像相衔接与融合，且不影响美观。

Description

视频目标区域遮挡方法和装置

技术领域

本发明涉及视频图像领域，具体来说，涉及一种视频目标区域遮挡方法和装置。

背景技术

目前，在视频影像中，人们为了保护个人隐私，通常会采用戴帽子或戴墨镜的方式来避免暴露个人身份，但是这种方式会给当事人带来不便，于是，为了减少当事人的负担，在现有技术中，普遍通过对视频图像进行遮挡或对视频图像打马赛克的方式来实现对视频图像中人物图像的遮挡，从而达到保护个人隐私的目的。

但是对于现有技术中的上述两种视频图像处理方式来说，均存在一些需要解决的问题，首先，就现有技术中的对视频图像进行遮挡的方法而言，其实是通过在视频中的原图像位置直接覆盖了一个替换图像，而替换图像也仅仅只是达到了对原始图像进行遮挡的效果，替换图像并不能够与视频中的图像场景相衔接和融合，举例而言，其就是将一幅现有的图片直接贴到人脸的位置，但是该图片并不能够与人脸相匹配，也不能够与周围的背景图像相衔接与融合。

另一方面，就现有技术中的对视频图像打马赛克的方法而言，其是通过在视频中锁定人眼的位置，然后对人眼所在的固定矩形区域进行放大缩小的方式，从而达到对人眼打马赛克的效果，虽然这种方式在一定程度上保护了个人的隐私，但是，这种通过对视频图像打马赛克的方法同样存在视觉上影响美观的问题。

针对相关技术中的上述问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述问题，本发明提出一种视频目标区域遮挡方法和装置，能够采用与目标区域相匹配的图像作为区域替换图像，并使设置有区域替换图像的目标区域与视频的背景图像相衔接与融合，且不影响美观。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种视频目标区域遮挡方法。

该视频目标区域遮挡方法包括：

通过对视频图像进行分析，确定所述视频图像中的目标区域，以及所述目标区域中的目标特征；

根据所述目标特征对视频图像进行跟踪，确定目标区域在视频图像中的位置；

基于目标特征对目标区域进行机器学习，确定预先配置的区域替换图像数据库中与目标区域相匹配的区域替换图像；

通过无缝拼接技术将区域替换图像置于目标区域，使区域替换图像与目标区域的背景图像形成无缝拼接。

其中，在通过对视频图像进行分析，确定视频图像中的目标区域，以及目标区域中的目标特征时，可通过对视频图像进行分析，确定视频图像的前景图像和背景图像；再对前景图像进行检测和/或人工标定，从而确定前景图像中的目标区域，以及目标区域中的目标特征。

此外，在区域替换图像与目标区域的背景图像形成无缝拼接后，该视频目标区域遮挡方法进一步包括：

通过对目标区域进行跟踪，可确定目标区域的目标特征变化；

并根据目标区域的目标特征变化对视频图像中的区域替换图像进行处理，使处理后的区域替换图像与目标区域变换后的目标特征相匹配。

另外，无缝拼接技术可采用图像梯度域编辑方法。

此外，视频图像的目标特征可包括以下至少之一：

局部特征、轮廓特征、纹理特征。

根据本发明的另一方面，提供了一种视频目标区域遮挡装置。

该视频目标区域遮挡装置包括：

分析模块，用于通过对视频图像进行分析，确定视频图像中的目标区域，以及目标区域中的目标特征；

跟踪模块，用于根据目标特征对视频图像进行跟踪，确定目标区域在视频图像中的位置；

学习模块，用于基于目标特征对目标区域进行机器学习，确定预先配置的区域替换图像数据库中与目标区域相匹配的区域替换图像；

拼接模块，用于通过无缝拼接技术将区域替换图像置于目标区域，使区域替换图像与目标区域的背景图像形成无缝拼接。

其中，分析模块包括：

第一分析子模块，用于对视频图像进行分析，确定视频图像的前景图像和背景图像；

第二分析子模块，用于对前景图像进行检测和/或人工标定，确定前景图像中的目标区域，以及目标区域中的目标特征；

此外，该视频目标区域遮挡装置进一步包括：

跟踪子模块，用于在区域替换图像与目标区域的背景图像形成无缝拼接后，对目标区域进行跟踪，从而确定目标区域的目标特征变化；

处理模块，用于根据目标区域的目标特征变化对视频图像中的区域替换图像进行处理，使处理后的区域替换图像与目标区域变换后的目标特征相匹配。

另外，无缝拼接技术可采用图像梯度域编辑方法。

此外，视频图像的特征可包括以下至少之一：

局部特征、轮廓特征、纹理特征。

本发明通过对视频图像的分析和跟踪，从而确定目标区域，并通过机器学习的方式确定与目标区域相匹配的区域替换图像，并通过无缝拼接技术对目标区域进行区域替换图像的实时替换，使经过图像替换的目标区域与视频图像的背景图像相衔接与融合，且不影响美观。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的视频目标区域遮挡方法的流程图；

图2是根据本发明一具体实施例的视频目标区域遮挡方法的流程图；

图3是根据本发明实施例的视频目标区域遮挡装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种视频目标区域遮挡方法。

如图1所示，根据本发明实施例的视频目标区域遮挡方法包括：

步骤S101，通过对视频图像进行分析，确定所述视频图像中的目标区域，以及所述目标区域中的目标特征；

步骤S103，根据所述目标特征对视频图像进行跟踪，确定目标区域在视频图像中的位置；

步骤S105，基于目标特征对目标区域进行机器学习，确定预先配置的区域替换图像数据库中与目标区域相匹配的区域替换图像；

步骤S107，通过无缝拼接技术将区域替换图像置于目标区域，使区域替换图像与目标区域的背景图像形成无缝拼接。

通过本发明的上述方案，能够对视频图像的分析和跟踪，从而确定目标区域，并通过机器学习的方式确定与目标区域相匹配的区域替换图像，并通过无缝拼接技术对目标区域进行区域替换图像的实时替换，使经过图像替换的目标区域与视频图像的背景图像相衔接与融合，且不影响美观。

为了更好的理解本发明的上述技术方案，下面结合一具体实施例对本发明的上述技术方案进行详细阐述。

参照图2所示，为了对视频图像中的目标区域(这里为用户想要遮挡、替换的图像区域)进行遮挡或替换，首先，可对视频图像进行区域划分，具体的，可通过对视频图像进行分析的方式，来确定视频图像中的前景图像和背景图像；

其中，对于目标区域，即用户想要遮挡或替换的图像区域，在实际应用中可以是人的眼睛区域、脸部轮廓区域、头部区域、上半身区域、眼睛与上身服饰区域、服饰与头部区域等等，也就是说，目标区域既可以是连通区域，也可以是非连通区域，还可以是多个非连通区域，本发明对此并不做限定。

然后，再对前景图像进行目标区域的检测，具体的，可通过对视频的前景图像序列的首张或前几帧图片进行手工标定和/或自动检测的方式，从而获得目标区域，以及目标区域的特征(例如位置、边缘、轮廓和纹理等特征)；

其中，在对图像进行手工标定和/或自动检测时，如果没有检测到目标区域，一种原因可能是前景图像序列的首张或前几帧图片不存在目标区域，那么可通过对后几帧的图片进行手工标定和/或自动检测的方式继续检测；另一种原因可能是区域划分不准确，即，此时的前景图像中不存在目标区域，那么可对视频图像重新进行区域划分(这里为，前景图像与背景图像的划分)；

在检测到视频图像中的目标区域以及目标区域的特征后，则可以进行目标的替换，具体的，需要根据检测到的目标区域的边缘、轮廓和纹理等特征来对目标区域进行机器学习，从而在本地的用于视频图像遮挡的区域替换图像数据库中查找与目标区域相匹配的图像；

在查找到与目标区域相匹配的区域替换图像后，如图2所示，可通过图像梯度域编辑方法将区域替换图像遮挡或替换至目标区域，使区域替换图像与目标区域的背景图像形成无缝拼接；

但是，应当注意的是，在本例中，采用的视频图像的无缝拼接技术虽然是图像梯度域编辑方法，但是在实际应用中，也可以根据实际需要采用其他的能够使区域替换图像与目标区域的背景图像形成无缝拼接的无缝拼接技术，从而达到目标区域被隐藏的目的，本发明对此并不做限定。

此外，由于在视频图像中，目标区域的位置并不是一直处于前几帧图片中所确定的位置，而是在不断变换的，因此，在确定了前几帧图片中目标区域的目标特征后，还可以根据确定的目标特征(例如纹理特征、轮廓特征等)来对视频图像的后续图片进行跟踪，从而确定目标区域(需要遮挡的图像)在视频图像中后续图片的位置，并完成视频图像中后续图片的目标区域的替换与无缝拼接；

另外，由于在视频图像中目标区域的目标特征(例如，人头的角度等)可能是在不断变化的，因此，在对目标区域完成了无缝拼接后，还可以对目标区域进行跟踪，从而确定目标区域的目标特征的变化，并根据目标特征的变化来对视频图像中的区域替换图像进行处理，使处理后的区域替换图像与目标区域变换后的目标特征相匹配；

最后，在对目标区域完成无缝拼接后，还可对图像的拼接序列结果是否合理进行判断，如果判断结果为合理，则将拼接序列结果进行显示；如果判断结果为不合理，则由人工干预。

通过以上描述可以看出，本发明可以通过手工标定或自动检测的方式确定目标区域，并通过跟踪的方式在视频图像中对确定的目标区域进行定位，并通过机器学习的方式采用与目标区域及其场景相和谐的图像作为替换图像，同时采用特定图像区域的无缝链接技术，通过图像的叠加，生成了新视频，使得对目标区域进行图像遮挡后的视频图像，在视觉上仍然感觉比较自然。

而支撑本发明上述技术方案的核心思想则是通过算法实现对视频监控区域中的特定区域的自动发现，并通过选择特定的图像对特定区域(例如人脸区域)进行图像的替换，并通过图像的处理方法，是特定的图像与原图像区域实现无缝链接，进而达到隐藏特定区域的目的。

在实际应用中，在对目标区域进行遮挡或替换时，目标区域的数量并没有限制，可以根据实际需求进行多个目标区域的检测和替换与拼接，并且，对于每个目标区域的处理次序，可以同步进行，也可以顺序进行，还可以按照其他的次序来进行，本发明对此并不做限定。

具体的，可以采用局部替换、整体贴换、以及局部与整体替换融合的多种形式来对目标区域进行替换，其中，既可以对视频图像中的一张图片进行替换，也可以是对视频图像中连续的图片序列进行贴换；其中，对于局部替换而言，贴换的对象可以是脸部、额头、眼睛、整个头部以及衣服等，而与之相应的目标特征则可以是局部特征、轮廓特征等；此外，对于整体贴换而言，例如，如果一个人不愿意以其真面目示人，则可以采用整体替换的方法，即根据个人图像的整体特征、以及对应的目标，通过跟踪的方式，快速生成与环境背景融合的视频图像；另外，对于整体与局部融合的替换而言，则是根据目标图像的表观特征，对同一视频图像中的不同个体采用不同的替换形式，从而实现对视频图像区域的智能遮挡和替换。

根据本发明的实施例，提供了一种视频目标区域遮挡装置。

如图3所示，根据本发明实施例的视频目标区域遮挡装置包括：

分析模块31，用于通过对视频图像进行分析，确定视频图像中的目标区域，以及目标区域中的目标特征；

跟踪模块32，用于根据目标特征对视频图像进行跟踪，确定目标区域在视频图像中的位置；

学习模块33，用于基于目标特征对目标区域进行机器学习，确定预先配置的区域替换图像数据库中与目标区域相匹配的区域替换图像；

拼接模块34，用于通过无缝拼接技术将区域替换图像置于目标区域，使区域替换图像与目标区域的背景图像形成无缝拼接。

其中，在一个实施例中，分析模块31可包括：

第一分析子模块(未示出)，用于对视频图像进行分析，确定视频图像的前景图像和背景图像；

第二分析子模块(未示出)，用于对前景图像进行检测和/或人工标定，确定前景图像中的目标区域，以及目标区域中的目标特征；

可选的，根据本发明实施例的视频目标区域遮挡装置进一步包括：

跟踪子模块(未示出)，用于在区域替换图像与目标区域的背景图像形成无缝拼接后，对目标区域进行跟踪，从而确定目标区域的目标特征变化；

处理模块(未示出)，用于根据目标区域的目标特征变化对视频图像中的区域替换图像进行处理，使处理后的区域替换图像与目标区域变换后的目标特征相匹配。

在一个实施例中，无缝拼接技术可采用图像梯度域编辑方法。

此外，在另一个实施例中，视频图像的特征可包括以下至少之一：

局部特征、轮廓特征、纹理特征。

综上所述，借助于本发明的上述技术方案，通过对视频图像的分析和跟踪，从而确定目标区域，并通过机器学习的方式确定与目标区域相匹配的区域替换图像，并通过无缝拼接技术对目标区域进行区域替换图像的实时替换，使经过图像替换的目标区域与视频图像的背景图像相衔接与融合，且不影响美观。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种视频目标区域遮挡方法，其特征在于，包括：

通过对视频图像进行分析，确定所述视频图像的前景图像和背景图像；

对所述前景图像进行检测和/或人工标定，确定所述前景图像中的目标区域，以及所述目标区域中的目标特征；

根据所述目标特征对所述视频图像进行跟踪，确定所述前景图像中的所述目标区域在所述视频图像中的位置；

基于所述前景图像中的所述目标区域中的所述目标特征对所述目标区域进行机器学习，确定预先配置的区域替换图像数据库中与所述前景图像中的所述目标区域相匹配的区域替换图像；

通过无缝拼接技术将所述区域替换图像置于所述前景图像中的所述目标区域，使所述区域替换图像与所述前景图像中的所述目标区域的背景图像形成无缝拼接；

在所述区域替换图像与所述目标区域的背景图像形成无缝拼接后，通过对所述目标区域进行跟踪，确定所述目标区域的目标特征变化；

根据所述目标区域的目标特征变化对所述视频图像中的区域替换图像进行处理，使处理后的所述区域替换图像与所述目标区域变换后的目标特征相匹配。

2.根据权利要求1所述的视频目标区域遮挡方法，其特征在于，所述无缝拼接技术采用图像梯度域编辑方法。

3.根据权利要求1所述的视频目标区域遮挡方法，其特征在于，所述视频图像的目标特征包括以下至少之一：

局部特征、轮廓特征、纹理特征。

4.一种视频目标区域遮挡装置，其特征在于，包括：

分析模块，用于通过对视频图像进行分析，确定所述视频图像的前景图像和背景图像；用于对所述前景图像进行检测和/或人工标定，确定所述前景图像中的目标区域，以及所述目标区域中的目标特征；

跟踪模块，用于根据所述目标特征对所述视频图像进行跟踪，确定所述前景图像中的所述目标区域在所述视频图像中的位置；

学习模块，用于基于所述前景图像中的所述目标区域中的所述目标特征对所述前景图像中的所述目标区域进行机器学习，确定预先配置的区域替换图像数据库中与所述前景图像中的所述目标区域相匹配的区域替换图像；

拼接模块，用于通过无缝拼接技术将所述区域替换图像置于所述前景图像中的所述目标区域，使所述区域替换图像与所述前景图像中的所述目标区域的背景图像形成无缝拼接；

跟踪子模块，用于在所述区域替换图像与所述目标区域的背景图像形成无缝拼接后，通过对所述目标区域进行跟踪，确定所述目标区域的目标特征变化；

处理模块，用于根据所述目标区域的目标特征变化对所述视频图像中的区域替换图像进行处理，使处理后的所述区域替换图像与所述目标区域变换后的目标特征相匹配。

5.根据权利要求4所述的视频目标区域遮挡装置，其特征在于，所述无缝拼接技术采用图像梯度域编辑方法。

6.根据权利要求4所述的视频目标区域遮挡装置，其特征在于，所述视频图像的特征包括以下至少之一：

局部特征、轮廓特征、纹理特征。