CN108109107B - 视频数据处理方法及装置、计算设备 - Google Patents
视频数据处理方法及装置、计算设备 Download PDFInfo
- Publication number
- CN108109107B CN108109107B CN201711362466.6A CN201711362466A CN108109107B CN 108109107 B CN108109107 B CN 108109107B CN 201711362466 A CN201711362466 A CN 201711362466A CN 108109107 B CN108109107 B CN 108109107B
- Authority
- CN
- China
- Prior art keywords
- frame image
- processed
- face
- video data
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 38
- 230000000694 effects Effects 0.000 claims abstract description 34
- 238000012216 screening Methods 0.000 claims abstract description 33
- 230000001815 facial effect Effects 0.000 claims description 61
- 238000004891 communication Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 240000007711 Peperomia pellucida Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种视频数据处理方法及装置、计算设备，其方法包括：对获取的视频数据进行甄别，获取待处理的帧图像；根据待处理的帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定待处理的帧图像中的面部预测区域；根据待处理的帧图像中的面部预测区域，确定待处理的帧图像中的面部关键区域；对待处理的帧图像中的面部关键区域进行预设处理，得到处理后的帧图像，将处理后的帧图像覆盖待处理的帧图像得到处理后的视频数据。本发明采用了双跟踪算法，将稳定性较好和准确率较高的跟踪算法相融合，实现了跟踪准确性和稳定性俱佳的效果。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种视频数据处理方法及装置、计算设备。
背景技术
随着科技的发展，图像采集设备的技术也日益提高。使用图像采集设备录制的视频也更加清晰，分辨率、显示效果也大幅提高。为了使图像采集设备录制的视频更加清晰、人脸显示效果更加多元化以及更加美化，通常需要在连续的视频帧中确定每一帧图像中包含的面部区域，以便对面部区域进行处理，以实现提升视频显示效果。
但是发明人在实现本发明的过程中发现，现有技术中，大多采用检测算法检测每一帧图像中包含的面部区域，然而，检测时需针对图像中的全部区域进行检测，效率低下且耗时较长，无法及时地对检测到的面部区域进行处理。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频数据处理方法及装置、计算设备。
根据本发明的一个方面，提供了一种视频数据处理方法，其包括：
对获取的视频数据进行甄别，获取待处理的帧图像；
根据待处理的帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定待处理的帧图像中的面部预测区域；
根据待处理的帧图像中的面部预测区域，确定待处理的帧图像中的面部关键区域；
对待处理的帧图像中的面部关键区域进行预设处理，得到处理后的帧图像，将处理后的帧图像覆盖待处理的帧图像得到处理后的视频数据。
可选地，其中，所述对获取的视频数据进行甄别的步骤进一步包括：
对获取的本地视频数据和/或网络视频数据进行甄别。
可选地，其中，所述对获取的视频数据进行甄别的步骤进一步包括：
获取由多个本地图片和/或多个网络图片合成的视频数据，对所述合成的视频数据进行甄别。
可选地，其中，所述对获取的视频数据进行甄别的步骤进一步包括
对获取的用户指定时间段的视频数据进行甄别。
可选地，其中，所述根据所述待处理的帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定所述待处理的帧图像中的面部预测区域的步骤具体包括：
根据与所述前帧图像中的面部关键区域相对应的面部关键点，通过所述第一跟踪算法确定所述待处理的帧图像中的面部预测点；
判断所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配；
若是，根据所述待处理的帧图像中的面部预测点确定所述待处理的帧图像中的面部预测区域；若否，根据所述前帧图像中的面部关键区域，通过所述第二跟踪算法确定所述待处理的帧图像中的面部预测区域。
可选地，其中，所述判断所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配的步骤具体包括：
确定所述待处理的帧图像中的面部预测点所对应的预测点特征信息；
确定所述前帧图像中的面部关键区域相对应的面部关键点所对应的关键点特征信息；
判断所述预测点特征信息与所述关键点特征信息之间的特征距离是否大于预设阈值，若否，确定所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点匹配。
可选地，其中，所述预测点特征信息和/或关键点特征信息通过像素颜色信息表示，其中，所述像素颜色信息包括：YUV颜色信息和/或RGB颜色信息。
可选地，其中，所述根据所述待处理的帧图像中的面部预测区域，确定所述待处理的帧图像中的面部关键区域的步骤具体包括：
根据所述待处理的帧图像中的面部预测区域确定预测范围，在所述预测范围内通过神经网络算法预测面部关键点；
根据预测得到的面部关键点，确定所述待处理的帧图像中的面部关键区域。
可选地，其中，所述根据预测得到的面部关键点，确定所述待处理的帧图像中的面部关键区域的步骤具体包括：
判断所述预测得到的面部关键点是否符合预设关键点规则；
若是，根据所述面部关键点确定所述待处理的帧图像中的面部关键区域；
若否，对所述待处理的帧图像进行检测，根据检测结果确定所述待处理的帧图像中的面部关键区域。
可选地，其中，所述面部关键点包括：与面部五官和/或面部轮廓相对应的特征点。
可选地，其中，所述对所述待处理的帧图像中的面部关键区域进行预设处理，得到处理后的帧图像的步骤具体包括：
在与所述面部关键区域相对应的位置绘制效果贴图；
将所述效果贴图和所述待处理的帧图像进行融合处理，得到处理后的帧图像。
可选地，其中，所述待处理的帧图像所对应的前帧图像包括：所述待处理的帧图像的前N帧图像，其中，N为大于0的自然数。
可选地，其中，所述面部关键区域通过面部关键框确定，和/或，所述面部预测区域通过面部预测框确定。
可选地，其中，所述方法还包括：
将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
根据本发明的另一个方面，提供了一种视频数据实时处理装置，包括：
获取模块，适于对获取的视频数据进行甄别，获取待处理的帧图像；
第一确定模块，适于根据所述待处理的帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定所述待处理的帧图像中的面部预测区域；
第二确定模块，适于根据所述待处理的帧图像中的面部预测区域，确定所述待处理的帧图像中的面部关键区域；
处理模块，适于对所述待处理的帧图像中的面部关键区域进行预设处理，得到处理后的帧图像，将处理后的帧图像覆盖待处理的帧图像得到处理后的视频数据。
可选地，其中，所述获取模块进一步适于：
对获取的本地视频数据和/或网络视频数据进行甄别。
可选地，其中，所述获取模块进一步适于：
获取由多个本地图片和/或多个网络图片合成的视频数据，对所述合成的视频数据进行甄别。
可选地，其中，所述获取模块进一步适于：
对获取的用户指定时间段的视频数据进行甄别。
可选地，其中，所述第一确定模块进一步适于：
根据与所述前帧图像中的面部关键区域相对应的面部关键点，通过所述第一跟踪算法确定所述待处理的帧图像中的面部预测点；
判断所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配；
若是，根据所述待处理的帧图像中的面部预测点确定所述待处理的帧图像中的面部预测区域；若否，根据所述前帧图像中的面部关键区域，通过所述第二跟踪算法确定所述待处理的帧图像中的面部预测区域。
可选地，其中，所述第一确定模块进一步适于：
确定所述待处理的帧图像中的面部预测点所对应的预测点特征信息；
确定所述前帧图像中的面部关键区域相对应的面部关键点所对应的关键点特征信息；
判断所述预测点特征信息与所述关键点特征信息之间的特征距离是否大于预设阈值，若否，确定所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点匹配。
可选地，其中，所述预测点特征信息和/或关键点特征信息通过像素颜色信息表示，其中，所述像素颜色信息包括：YUV颜色信息和/或RGB颜色信息。
可选地，其中，所述第二确定模块进一步适于：
根据所述待处理的帧图像中的面部预测区域确定预测范围，在所述预测范围内通过神经网络算法预测面部关键点；
根据预测得到的面部关键点，确定所述待处理的帧图像中的面部关键区域。
可选地，其中，所述第二确定模块进一步适于：
判断所述预测得到的面部关键点是否符合预设关键点规则；
若是，根据所述面部关键点确定所述待处理的帧图像中的面部关键区域；
若否，对所述待处理的帧图像进行检测，根据检测结果确定所述待处理的帧图像中的面部关键区域。
可选地，其中，所述面部关键点包括：与面部五官和/或面部轮廓相对应的特征点。
可选地，其中，所述处理模块进一步适于：
在与所述面部关键区域相对应的位置绘制效果贴图；
将所述效果贴图和所述待处理的帧图像进行融合处理，得到处理后的帧图像。
可选地，其中，所述待处理的帧图像所对应的前帧图像包括：所述待处理的帧图像的前N帧图像，其中，N为大于0的自然数。
可选地，其中，所述面部关键区域通过面部关键框确定，和/或，所述面部预测区域通过面部预测框确定。
可选地，其中，所述装置还包括：
上传模块，适于将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述视频数据处理方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述视频数据处理方法对应的操作。
根据本发明实施例提供的视频数据处理方法及装置、计算设备，能够根据待处理的帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定待处理的帧图像中的面部预测区域，进而根据面部预测区域来确定待处理的帧图像中的面部关键区域。由此可见，通过前帧图像中的面部关键区域以及跟踪算法，无需针对图像中的全部区域进行检测，提升了效率，缩短了耗时。并且，两种跟踪算法的使用能够扬长补短，进一步提升了跟踪效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的视频数据处理方法的流程图；
图2示出了根据本发明另一个实施例的视频数据处理方法的流程图；
图3示出了根据本发明一个实施例的视频数据处理装置的功能框图；
图4示出了根据本发明一个实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的视频数据处理方法的流程图。如图1所示，视频数据处理方法具体包括如下步骤：
步骤S101，对获取的视频数据进行甄别，获取待处理的帧图像。
获取的视频数据可以是用户本地的视频数据，也可以获取网络的视频数据。或者还可以获取由多个本地图片合成的视频数据，或者获取由多个网络图片合成的视频数据，或者获取由多个本地图片和多个网络图片合成的视频数据。在获取到上述视频数据之后，由于视频数据中包含很多帧图像，所以需要对视频数据进行甄别，从而获取待处理的帧图像。
步骤S102，根据待处理的帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定待处理的帧图像中的面部预测区域。
其中，面部关键区域可通过下述方式得到：在面部预测区域内通过神经网络算法预测得到面部关键点，然后根据上述面部关键点确定面部关键区域。上述面部关键点包括与面部五官和/或面部轮廓相对应的特征点，具体可以指脸部轮廓位置上所对应的特征点、面部五官位置上所对应的特征点以及面部其它部位上所对应的特征点。相应地，待处理的帧图像所对应的前帧图像中的面部关键区域是指：在待处理的帧图像所对应的前帧图像中确定的面部关键区域。其中，待处理的帧图像所对应的前帧图像包括：待处理的帧图像的前N帧图像，其中，N为大于0的自然数。则可以根据待处理的帧图像所对应的前一帧图像或者前多帧图像中的面部关键区域通过第一跟踪算法以及第二跟踪算法确定待处理的帧图像中的面部预测区域。根据待处理的帧图像所对应的前多帧图像中的面部关键区域时，可以获得前多帧图像中面部关键区域移动的速度或者移动的方向，然后根据上述移动的速度或者移动的方向并通过第一跟踪算法以及第二跟踪算法能够更加准确省时地确定待处理的帧图像中的面部预测区域。其中，上述面部关键区域是预测出的比较精确的面部所在的区域，可以通过面部关键框确定；面部预测区域是跟踪得到的精确较低的面部所在的区域，可以通过面部预测框确定。另外，上述第一算法可以是基于关键点的算法，上述第二算法可以是基于关键框的算法。
步骤S103，根据待处理的帧图像中的面部预测区域，确定待处理的帧图像中的面部关键区域。
由于待处理的帧图像中的面部预测区域是跟踪得到的精确度较低的待处理的帧图像中的面部所在区域，为了获得待处理的帧图像中的面部所在的准确的位置，需要确定待处理的帧图像中的面部关键区域。具体地，可以在图像中的面部预测区域的部分区域或者全部区域范围内通过神经网络算法预测面部关键点，然后根据预测得到的面部关键点，确定待处理的帧图像中的面部关键区域。除了上述方法外，还可以根据其它的方法来确定待处理的帧图像中的面部关键区域。
步骤S104，对待处理的帧图像中的面部关键区域进行预设处理，得到处理后帧图像，将处理后的帧图像覆盖待处理的帧图像得到处理后的视频数据。
上述预设处理可以是萌颜处理，具体地，可以对眼睛所在区域进行放大处理、嘴巴所在区域进行缩小处理以及下巴所在区域进行拉长处理等。上述预设处理还可以是在上述面部关键区域相对应的位置绘制效果贴图；并将上述效果贴图和待处理的帧图像进行融合处理，得到处理后的帧图像。对待处理的帧图像中的面部关键区域除了进行上述预设处理外，还可以进行其它的预设处理，从而得到处理后的帧图像，最后使用处理后的帧图像覆盖掉原待处理的帧图像，可以得到处理后的视频数据。
根据本实施例提供的视频数据处理方法，能够根据待处理的帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定待处理的帧图像中的面部预测区域，进而根据面部预测区域来确定待处理的帧图像中的面部关键区域。由此可见，通过前帧图像中的面部关键区域以及跟踪算法，无需针对图像中的全部区域进行检测，提升了效率，缩短了耗时。并且，两种跟踪算法的使用能够扬长补短，进一步提升了跟踪效果。
图2示出了根据本发明另一个实施例提供的视频数据处理方法的流程图。如图2所示，视频数据处理方法具体包括如下步骤：
步骤S201，对获取的视频数据进行甄别，获取待处理的帧图像。
获取的视频数据可以是用户本地的视频数据，也可以获取网络的视频数据。或者还可以获取由多个本地图片合成的视频数据，或者获取由多个网络图片合成的视频数据，或者获取由多个本地图片和多个网络图片合成的视频数据。在本实施例中，获取的视频数据可以是预先拍摄好的，通过本实施例中的各个步骤对预先拍摄好的视频数据进行剪辑处理等操作，以提升视频的显示效果。在获取到上述视频数据之后，由于视频数据中包含很多帧图像，所以需要对视频数据进行甄别，从而获取待处理的帧图像。同时，在甄别时，还可以根据用户指定时间段，仅对用户指定时间段内的视频数据进行甄别，而不需要对其他时间段的视频数据进行甄别。如由于视频数据的后半段为高潮时段，往往用户指定时间段为视频数据的后半段。因此仅对用户指定时间段的视频数据进行甄别，获取用户指定时间段的视频数据中待处理的帧图像。
步骤S202，根据与前帧图像中的面部关键区域相对应的面部关键点，通过第一跟踪算法确定待处理的帧图像中的面部预测点。
其中，第一跟踪算法可以是基于关键点的算法，比如可以为KLT(Kanade-Lucas-Tomasi Tracking)算法，第一跟踪算法可以假设跟踪目标在视频流中，只产生一致性的小位移，并且目标的灰度变化不大；第一跟踪算法对于图像中的跟踪目标，并不是目标框和跟踪框内的所有的点都求取偏移量，而是选取一些特征不变的角点作为跟踪点，比如可以选取与前帧图像中的面部关键区域相对应的面部关键点作为跟踪点进行跟踪。其中，与前帧图像中的面部关键区域相对应的面部关键点包括与面部五官和/或面部轮廓相对应的特征点。比如可以是面部的五官位置处所对应的特征点、面部轮廓处所对应的特征点以及还可以是面部的其它位置处所对应的特征点。根据与前帧图像中的面部关键区域相对应的面部关键点，通过第一跟踪算法可以确定待处理的帧图像中的面部预测点。
步骤S203，判断待处理的帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点是否匹配。
具体地，首先确定待处理的帧图像中的面部预测点所对应的预测点特征信息。然后确定前帧图像中的面部关键区域相对应的面部关键点所对应的关键点特征信息；其中，上述预测点特征信息和/或关键点特征信息可以通过像素颜色信息表示或者其它的特征信息表示，上述颜色信息可以包括：YUV颜色信息和/或RGB颜色信息。进一步地，判断预测点特征信息与关键点特征信息之间的特征距离是否大于预设阈值，若否，确定待处理的帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点匹配。具体地，比如可以在获取的待处理的帧图像中在眼球所在位置提取若干个面部预测点，在上述面部预测点周围提取一个小区域1，然后提取该小区域1的YUV颜色信息；在确定的前帧图像中的面部关键区域中的该眼球位置提取若干个面部关键点，在上述若干个面部关键点周围提取一个小区域2，然后提取该小区域2的YUV颜色信息；判断小区域1的YUV颜色信息和小区域2的YUV颜色信息的特征距离是否大于预设阈值，若是，则确定待处理的帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点不匹配；若否，则确定待处理的帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点匹配。进一步地，如果判断出待处理的帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点相匹配则执行步骤S204，若不匹配则执行步骤S205。
步骤S204，根据待处理的帧图像中的面部预测点确定待处理的帧图像中的面部预测区域。
其中，面部预测区域可以通过面部关键框确定。如果判断待处理的帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点相匹配，则说明根据第一跟踪算法可以跟踪成功，此时可以根据通过第一跟踪算法确定的待处理的帧图像中的面部预测点确定待处理的帧图像中的面部预测区域。
步骤S205，根据前帧图像中的面部关键区域，通过第二跟踪算法确定待处理的帧图像中的面部预测区域。
如果判断待处理的帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点不匹配，则说明根据第一跟踪算法跟踪失败，此时需要根据前帧图像中的面部关键区域，通过第二跟踪算法确定待处理的帧图像中的面部预测区域。其中，第二跟踪算法可以是基于关键框的算法，比如可以为KCF(Kernel Correlation Filter)跟踪算法，第二跟踪算法对于图像中的跟踪目标，可以对图像中面部五官和/或面部轮廓相对应的关键框进行跟踪，并且跟踪速度较快。
步骤S206，根据待处理的帧图像中的面部预测区域确定预测范围，在预测范围内通过神经网络算法预测面部关键点。
其中预测范围是根据面部预测区域确定的，具体地，预测范围既可以是与面部预测区域相同的区域范围，也可以是大于面部预测区域的区域范围，甚至也可能是小于面部预测区域的区域范围，具体选取的大小本领域人员可以根据实际情况自己设定。并且在上述预测范围内可以通过神经网络算法预测面部关键点，其中神经网络算法是逻辑性的思维，具体是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理。通过神经网络算法可以比较准确地预测出面部关键点。由于预测范围仅为整个图像中的局部区域，因此，预测速度快，提升了效率，缩短了延时。
步骤S207，根据预测得到的面部关键点，确定待处理的帧图像中的面部关键区域。
其中，面部关键区域通过面部关键框确定。具体地，首先判断预测得到的面部关键点是否符合预设关键点规则。由于在步骤S206中得到的面部关键点可能是存在错误的面部关键点，比如根据预测得到的面部关键点所确定的面部关键框只能框住部分面部区域或者不能框住面部区域，则该得到的面部关键点即为存在错误的面部关键点。因此在得到面部关键点之后，需要进一步地判断预测得到的面部关键点是否符合预设关键点规则。若是，根据上述面部关键点确定待处理的帧图像中的面部关键区域。若否，则对上述待处理的帧图像进行检测，根据检测结果确定待处理的帧图像中的面部关键区域。根据该步骤S207，能够更加准确地确定待处理的帧图像中的面部关键区域，减少了失误率。
具体地，如果判断出预测得到的面部关键点不符合预设关键点规则，则需要针对上述待处理的帧图像的整帧图像的全局进行重新检测，并根据检测的结果确定待处理的帧图像中的面部关键区域。也就是说，需要通过神经网络算法对整个图像中的全部区域进行检测，以确定面部关键区域，该方式虽耗时稍多，但能够确保不遗漏任何区域，准确性较高。
步骤S208，对待处理的帧图像中的面部关键区域进行预设处理，得到处理后的帧图像，将处理后的帧图像覆盖待处理的帧图像得到处理后的视频数据。
本步骤的目的在于：对面部区域进行预设处理可以得到更加美化、多元化的或者有趣的处理后的帧图像，从而增强了待处理的帧图像的观赏性和趣味性。具体地，本步骤S208可以包括：在与面部关键区域相对应的位置绘制效果贴图；将效果贴图和待处理的帧图像进行融合处理，得到处理后的帧图像。上述效果贴图可以为静态的效果贴图，也可以为动态的效果贴图。效果贴图可以为如猫耳朵、摇动的兔耳朵、小胡子等效果，具体根据实施情况进行设置，此处不做限定。根据获取的面部关键区域信息，可以确定面部关键区域中五官所在的位置或者面部轮廓所在的位置，然后在在上述不同的位置绘制不同的效果贴图。比如在人耳朵所在的位置，绘制兔子耳朵，在人嘴巴上方绘制小胡子等。在绘制效果贴图之后，将不同位置的效果贴图与该位置所对应的待处理的帧图像的部分进行融合处理，使得效果贴图更真实地与当前景图像融合在一起，得到处理后的帧图像。为使效果贴图和待处理的帧图像可以更好地融合，可以对待处理的帧图像中绘制动态贴图的位置的边缘进行半透明处理，模糊贴图位置的边缘，以便更好的融合。可选地，上述预设处理还可以是萌颜处理，具体地，可以对眼睛所在区域进行放大处理、嘴巴所在区域进行缩小处理以及下巴所在区域进行拉长处理等。在得到处理后的帧图像之后，使用处理后的帧图像覆盖掉原待处理的帧图像，可以得到处理后的视频数据。
步骤S209，将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
处理后的视频数据可以保存在本地仅供用户观看，也可以将处理后的视频数据直接上传至一个或多个云视频平台服务器，如爱奇艺、优酷、快视频等云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
根据本实施例提供的视频数据处理方法，首先通过对获取的视频数据进行甄别，获取待处理的帧图像，然后根据与前帧图像中的面部关键区域相对应的面部关键点，通过第一跟踪算法确定待处理的帧图像中的面部预测点，并且判断待处理的帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点是否匹配，若匹配则根据待处理的帧图像中的面部预测点确定待处理的帧图像中的面部预测区域，若不匹配则根据前帧图像中的面部关键区域，通过第二跟踪算法确定待处理的帧图像中的面部预测区域；从而能够将第一算法和第二算法结合起来来确定待处理的帧图像中的面部预测区域，提高了稳定性和准确率。然后进一步地，根据待处理的帧图像中的面部预测区域确定预测范围，在预测范围内通过神经网络算法预测面部关键点，根据预测得到的面部关键点，确定待处理的帧图像中的面部关键区域；然后对待处理的帧图像中的面部关键区域进行预设处理，得到处理后的帧图像，以得到更加美化的或者有趣的处理后的帧图像；最后将处理后的帧图像覆盖待处理的帧图像得到处理后的视频数据。根据本实施方法提供的方法，能够将稳定性较好和准确率较高的跟踪算法相融合，通过前帧图像中的面部关键区域以及跟踪算法，无需针对图像中的全部区域进行检测，提升了效率，缩短了耗时，实现了跟踪准确性和稳定性俱佳的效果，能够准确省时地预测出每一帧图像中面部所在的位置。本实施例可用于针对已录制的视频进行剪辑处理(例如快剪辑)，以提升已录制的视频的显示效果。
本领域技术人员还可以对上述实施例进行各种改动和变形：例如，在采用两种跟踪算法时，可以根据每种跟踪算法的处理速度、处理精度来确定先采用哪一种跟踪算法，例如，可以先采用处理速度较快的跟踪算法，若较快的跟踪算法未跟踪成功，再采用跟踪速度较慢的跟踪算法；或者，可以先采用处理精度较高的跟踪算法，若精度较高的跟踪算法未跟踪成功，再采用精度较低的跟踪算法等。此时，可以通过一个线程来先后运行两种算法。另外，可选地，还可以通过两个并行运行的线程分别同时运行两种跟踪算法，并结合两种跟踪算法输出的结果来确定面部预测区域，以提升跟踪结果的准确性，进而提升后续的预测准确度。
图3示出了根据本发明一个实施例的视频数据处理装置的功能框图。如图3所示，所述装置包括:获取模块301、第一确定模块302、第二确定模块303、处理模块304、上传模块305。
其中，获取模块301，适于对获取的视频数据进行甄别，获取待处理的帧图像
第一确定模块302，适于根据所述待处理的帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定所述待处理的帧图像中的面部预测区域；
第二确定模块303，适于根据所述待处理的帧图像中的面部预测区域，确定所述待处理的帧图像中的面部关键区域；
处理模块304，适于对所述待处理的帧图像中的面部关键区域进行预设处理，得到处理后的帧图像，将处理后的帧图像覆盖待处理的帧图像得到处理后的视频数据。
另外，在本发明另一个实施例中，其中，所述获取模块301进一步适于：
对获取的本地视频数据和/或网络视频数据进行甄别。
可选地，其中，所述获取模块301进一步适于：
获取由多个本地图片和/或多个网络图片合成的视频数据，对所述合成的视频数据进行甄别。
可选地，其中，所述获取模块301进一步适于：
对获取的用户指定时间段的视频数据进行甄别。
可选地，其中，所述第一确定模块302进一步适于：
根据与所述前帧图像中的面部关键区域相对应的面部关键点，通过所述第一跟踪算法确定所述待处理的帧图像中的面部预测点；
判断所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配；
若是，根据所述待处理的帧图像中的面部预测点确定所述待处理的帧图像中的面部预测区域；若否，根据所述前帧图像中的面部关键区域，通过所述第二跟踪算法确定所述待处理的帧图像中的面部预测区域。
可选地，其中，所述第一确定模块302进一步适于：
确定所述待处理的帧图像中的面部预测点所对应的预测点特征信息；
确定所述前帧图像中的面部关键区域相对应的面部关键点所对应的关键点特征信息；
判断所述预测点特征信息与所述关键点特征信息之间的特征距离是否大于预设阈值，若否，确定所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点匹配。
可选地，其中，所述预测点特征信息和/或关键点特征信息通过像素颜色信息表示，其中，所述像素颜色信息包括：YUV颜色信息和/或RGB颜色信息。
可选地，其中，所述第二确定模块303进一步适于：
根据所述待处理的帧图像中的面部预测区域确定预测范围，在所述预测范围内通过神经网络算法预测面部关键点；
根据预测得到的面部关键点，确定所述待处理的帧图像中的面部关键区域。
可选地，其中，所述第二确定模块303进一步适于：
判断所述预测得到的面部关键点是否符合预设关键点规则；
若是，根据所述面部关键点确定所述待处理的帧图像中的面部关键区域；
若否，对所述待处理的帧图像进行检测，根据检测结果确定所述待处理的帧图像中的面部关键区域。
可选地，其中，所述面部关键点包括：与面部五官和/或面部轮廓相对应的特征点。
可选地，其中，所述处理模块304进一步适于：
在与所述面部关键区域相对应的位置绘制效果贴图；
将所述效果贴图和所述待处理的帧图像进行融合处理，得到处理后的帧图像。
可选地，其中，所述待处理的帧图像所对应的前帧图像包括：所述待处理的帧图像的前N帧图像，其中，N为大于0的自然数。
可选地，其中，所述面部关键区域通过面部关键框确定，和/或，所述面部预测区域通过面部预测框确定。
可选地，其中，所述装置还包括：
上传模块305，适于将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
其中，上述各个模块的具体工作原理可参照方法实施例中相应步骤的描述，此处不再赘述。
图4示出了根据本发明一个实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述视频数据处理方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行以下操作：
对获取的视频数据进行甄别，获取待处理的帧图像；
根据待处理的帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定待处理的帧图像中的面部预测区域；
根据待处理的帧图像中的面部预测区域，确定待处理的帧图像中的面部关键区域；
对待处理的帧图像中的面部关键区域进行预设处理，得到处理后的帧图像，将处理后的帧图像覆盖待处理的帧图像得到处理后的视频数据。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
根据与所述前帧图像中的面部关键区域相对应的面部关键点，通过所述第一跟踪算法确定所述待处理的帧图像中的面部预测点；
判断所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配；
若是，根据所述待处理的帧图像中的面部预测点确定所述待处理的帧图像中的面部预测区域；若否，根据所述前帧图像中的面部关键区域，通过所述第二跟踪算法确定所述待处理的帧图像中的面部预测区域。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：对获取的本地视频数据和/或网络视频数据进行甄别。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：获取由多个本地图片和/或多个网络图片合成的视频数据，对所述合成的视频数据进行甄别。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：对获取的用户指定时间段的视频数据进行甄别。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：根据与所述前帧图像中的面部关键区域相对应的面部关键点，通过所述第一跟踪算法确定所述待处理的帧图像中的面部预测点；
判断所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配；
若是，根据所述待处理的帧图像中的面部预测点确定所述待处理的帧图像中的面部预测区域；若否，根据所述前帧图像中的面部关键区域，通过所述第二跟踪算法确定所述待处理的帧图像中的面部预测区域。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：确定所述待处理的帧图像中的面部预测点所对应的预测点特征信息；
确定所述前帧图像中的面部关键区域相对应的面部关键点所对应的关键点特征信息；
判断所述预测点特征信息与所述关键点特征信息之间的特征距离是否大于预设阈值，若否，确定所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点匹配。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：所述预测点特征信息和/或关键点特征信息通过像素颜色信息表示，其中，所述像素颜色信息包括：YUV颜色信息和/或RGB颜色信息。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
根据所述待处理的帧图像中的面部预测区域确定预测范围，在所述预测范围内通过神经网络算法预测面部关键点；
根据预测得到的面部关键点，确定所述待处理的帧图像中的面部关键区域。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
判断所述预测得到的面部关键点是否符合预设关键点规则；
若是，根据所述面部关键点确定所述待处理的帧图像中的面部关键区域；
若否，对所述待处理的帧图像进行检测，根据检测结果确定所述待处理的帧图像中的面部关键区域。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：所述面部关键点包括：与面部五官和/或面部轮廓相对应的特征点。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
在与所述面部关键区域相对应的位置绘制效果贴图；
将所述效果贴图和所述待处理的帧图像进行融合处理，得到处理后的帧图像。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：所述待处理的帧图像所对应的前帧图像包括：所述待处理的帧图像的前N帧图像，其中，N为大于0的自然数。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：所述面部关键区域通过面部关键框确定，和/或，所述面部预测区域通过面部预测框确定。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的视频数据实时处理的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (28)
1.一种视频数据处理方法，其包括：
对获取的视频数据进行甄别，获取待处理的帧图像；
根据与所述待处理的帧图像所对应的前帧图像中的面部关键区域相对应的面部关键点，通过第一跟踪算法确定所述待处理的帧图像中的面部预测点；
判断所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配；
若是，根据所述待处理的帧图像中的面部预测点确定所述待处理的帧图像中的面部预测区域；若否，根据所述前帧图像中的面部关键区域，通过第二跟踪算法确定所述待处理的帧图像中的面部预测区域，所述第一跟踪算法包括基于关键点的算法，所述第二跟踪算法包括基于关键框的算法；
根据所述待处理的帧图像中的面部预测区域，确定所述待处理的帧图像中的面部关键区域；
对所述待处理的帧图像中的面部关键区域进行预设处理，得到处理后的帧图像，将处理后的帧图像覆盖待处理的帧图像得到处理后的视频数据。
2.根据权利要求1所述的方法，其中，所述对获取的视频数据进行甄别的步骤进一步包括：
对获取的本地视频数据和/或网络视频数据进行甄别。
3.根据权利要求1所述的方法，其中，所述对获取的视频数据进行甄别的步骤进一步包括：
获取由多个本地图片和/或多个网络图片合成的视频数据，对所述合成的视频数据进行甄别。
4.根据权利要求1-3任一项中所述的方法，其中，所述对获取的视频数据进行甄别的步骤进一步包括：
对获取的用户指定时间段的视频数据进行甄别。
5.根据权利要求1所述的方法，其中，所述判断所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配的步骤具体包括：
确定所述待处理的帧图像中的面部预测点所对应的预测点特征信息；
确定所述前帧图像中的面部关键区域相对应的面部关键点所对应的关键点特征信息；
判断所述预测点特征信息与所述关键点特征信息之间的特征距离是否大于预设阈值，若否，确定所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点匹配。
6.根据权利要求5所述的方法，其中，所述预测点特征信息和/或关键点特征信息通过像素颜色信息表示，其中，所述像素颜色信息包括：YUV颜色信息和/或RGB颜色信息。
7.根据权利要求1所述的方法，其中，所述根据所述待处理的帧图像中的面部预测区域，确定所述待处理的帧图像中的面部关键区域的步骤具体包括：
根据所述待处理的帧图像中的面部预测区域确定预测范围，在所述预测范围内通过神经网络算法预测面部关键点；
根据预测得到的面部关键点，确定所述待处理的帧图像中的面部关键区域。
8.根据权利要求7所述的方法，其中，所述根据预测得到的面部关键点，确定所述待处理的帧图像中的面部关键区域的步骤具体包括：
判断所述预测得到的面部关键点是否符合预设关键点规则；
若是，根据所述面部关键点确定所述待处理的帧图像中的面部关键区域；
若否，对所述待处理的帧图像进行检测，根据检测结果确定所述待处理的帧图像中的面部关键区域。
9.根据权利要求7所述的方法，其中，所述面部关键点包括：与面部五官和/或面部轮廓相对应的特征点。
10.根据权利要求1所述的方法，其中，所述对所述待处理的帧图像中的面部关键区域进行预设处理，得到处理后的帧图像的步骤具体包括：
在与所述面部关键区域相对应的位置绘制效果贴图；
将所述效果贴图和所述待处理的帧图像进行融合处理，得到处理后的帧图像。
11.根据权利要求1所述的方法，其中，所述待处理的帧图像所对应的前帧图像包括：所述待处理的帧图像的前N帧图像，其中，N为大于0的自然数。
12.根据权利要求1所述的方法，其中，所述面部关键区域通过面部关键框确定，和/或，所述面部预测区域通过面部预测框确定。
13.根据权利要求1所述的方法，其中，所述方法还包括：
将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
14.一种视频数据处理装置，其包括：
获取模块，适于对获取的视频数据进行甄别，获取待处理的帧图像；
第一确定模块，适于根据与所述待处理的帧图像所对应的前帧图像中的面部关键区域相对应的面部关键点，通过第一跟踪算法确定所述待处理的帧图像中的面部预测点；判断所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配；若是，根据所述待处理的帧图像中的面部预测点确定所述待处理的帧图像中的面部预测区域；若否，根据所述前帧图像中的面部关键区域，通过第二跟踪算法确定所述待处理的帧图像中的面部预测区域，所述第一跟踪算法包括基于关键点的算法，所述第二跟踪算法包括基于关键框的算法；
第二确定模块，适于根据所述待处理的帧图像中的面部预测区域，确定所述待处理的帧图像中的面部关键区域；
处理模块，适于对所述待处理的帧图像中的面部关键区域进行预设处理，得到处理后的帧图像，将处理后的帧图像覆盖待处理的帧图像得到处理后的视频数据。
15.根据权利要求14所述的装置，其中，所述获取模块进一步适于：
对获取的本地视频数据和/或网络视频数据进行甄别。
16.根据权利要求14所述的装置，其中，所述获取模块进一步适于：
获取由多个本地图片和/或多个网络图片合成的视频数据，对所述合成的视频数据进行甄别。
17.根据权利要求14-16任一项中所述的装置，其中，所述获取模块进一步适于：
对获取的用户指定时间段的视频数据进行甄别。
18.根据权利要求14所述的装置，其中，所述第一确定模块进一步适于：
确定所述待处理的帧图像中的面部预测点所对应的预测点特征信息；
确定所述前帧图像中的面部关键区域相对应的面部关键点所对应的关键点特征信息；
判断所述预测点特征信息与所述关键点特征信息之间的特征距离是否大于预设阈值，若否，确定所述待处理的帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点匹配。
19.根据权利要求18所述的装置，其中，所述预测点特征信息和/或关键点特征信息通过像素颜色信息表示，其中，所述像素颜色信息包括：YUV颜色信息和/或RGB颜色信息。
20.根据权利要求14所述的装置，其中，所述第二确定模块进一步适于：
根据所述待处理的帧图像中的面部预测区域确定预测范围，在所述预测范围内通过神经网络算法预测面部关键点；
根据预测得到的面部关键点，确定所述待处理的帧图像中的面部关键区域。
21.根据权利要求20所述的装置，其中，所述第二确定模块进一步适于：
判断所述预测得到的面部关键点是否符合预设关键点规则；
若是，根据所述面部关键点确定所述待处理的帧图像中的面部关键区域；
若否，对所述待处理的帧图像进行检测，根据检测结果确定所述待处理的帧图像中的面部关键区域。
22.根据权利要求20所述的装置，其中，所述面部关键点包括：与面部五官和/或面部轮廓相对应的特征点。
23.根据权利要求14所述的装置，其中，所述处理模块进一步适于：
在与所述面部关键区域相对应的位置绘制效果贴图；
将所述效果贴图和所述待处理的帧图像进行融合处理，得到处理后的帧图像。
24.根据权利要求14所述的装置，其中，所述待处理的帧图像所对应的前帧图像包括：所述待处理的帧图像的前N帧图像，其中，N为大于0的自然数。
25.根据权利要求14所述的装置，其中，所述面部关键区域通过面部关键框确定，和/或，所述面部预测区域通过面部预测框确定。
26.根据权利要求14所述的装置，其中，所述装置还包括：
上传模块，适于将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
27.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-13中任一项所述的视频数据处理方法对应的操作。
28.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-13中任一项所述的视频数据处理方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711362466.6A CN108109107B (zh) | 2017-12-18 | 2017-12-18 | 视频数据处理方法及装置、计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711362466.6A CN108109107B (zh) | 2017-12-18 | 2017-12-18 | 视频数据处理方法及装置、计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108109107A CN108109107A (zh) | 2018-06-01 |
| CN108109107B true CN108109107B (zh) | 2021-08-20 |
Family
ID=62209809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711362466.6A Active CN108109107B (zh) | 2017-12-18 | 2017-12-18 | 视频数据处理方法及装置、计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108109107B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581497B (zh) * | 2019-09-30 | 2024-09-20 | 浙江菜鸟供应链管理有限公司 | 多目标跟踪方法、系统、计算设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101964064A (zh) * | 2010-07-27 | 2011-02-02 | 上海摩比源软件技术有限公司 | 一种人脸比对方法 |
| CN101968846A (zh) * | 2010-07-27 | 2011-02-09 | 上海摩比源软件技术有限公司 | 一种人脸跟踪方法 |
| CN102214291A (zh) * | 2010-04-12 | 2011-10-12 | 云南清眸科技有限公司 | 一种快速准确的基于视频序列的人脸检测跟踪方法 |
| CN103377367A (zh) * | 2012-04-28 | 2013-10-30 | 中兴通讯股份有限公司 | 面部图像的获取方法及装置 |
| CN104182718A (zh) * | 2013-05-21 | 2014-12-03 | 腾讯科技（深圳）有限公司 | 一种人脸特征点定位方法及装置 |
| CN104731964A (zh) * | 2015-04-07 | 2015-06-24 | 上海海势信息科技有限公司 | 基于人脸识别的人脸摘要方法、视频摘要方法及其装置 |
| CN106295567A (zh) * | 2016-08-10 | 2017-01-04 | 腾讯科技（深圳）有限公司 | 一种关键点的定位方法及终端 |
| CN106709932A (zh) * | 2015-11-12 | 2017-05-24 | 阿里巴巴集团控股有限公司 | 一种人脸位置跟踪方法、装置和电子设备 |
| CN106815859A (zh) * | 2017-01-13 | 2017-06-09 | 大连理工大学 | 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法 |
| CN107274431A (zh) * | 2017-03-07 | 2017-10-20 | 阿里巴巴集团控股有限公司 | 视频内容增强方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101276158B1 (ko) * | 2011-03-02 | 2013-06-18 | 한남대학교 산학협력단 | 얼굴 특징점 추적을 이용한 실시간 3디 영상 처리 방법 |
| US9558396B2 (en) * | 2013-10-22 | 2017-01-31 | Samsung Electronics Co., Ltd. | Apparatuses and methods for face tracking based on calculated occlusion probabilities |
-
2017
- 2017-12-18 CN CN201711362466.6A patent/CN108109107B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102214291A (zh) * | 2010-04-12 | 2011-10-12 | 云南清眸科技有限公司 | 一种快速准确的基于视频序列的人脸检测跟踪方法 |
| CN101964064A (zh) * | 2010-07-27 | 2011-02-02 | 上海摩比源软件技术有限公司 | 一种人脸比对方法 |
| CN101968846A (zh) * | 2010-07-27 | 2011-02-09 | 上海摩比源软件技术有限公司 | 一种人脸跟踪方法 |
| CN103377367A (zh) * | 2012-04-28 | 2013-10-30 | 中兴通讯股份有限公司 | 面部图像的获取方法及装置 |
| CN104182718A (zh) * | 2013-05-21 | 2014-12-03 | 腾讯科技（深圳）有限公司 | 一种人脸特征点定位方法及装置 |
| CN104731964A (zh) * | 2015-04-07 | 2015-06-24 | 上海海势信息科技有限公司 | 基于人脸识别的人脸摘要方法、视频摘要方法及其装置 |
| CN106709932A (zh) * | 2015-11-12 | 2017-05-24 | 阿里巴巴集团控股有限公司 | 一种人脸位置跟踪方法、装置和电子设备 |
| CN106295567A (zh) * | 2016-08-10 | 2017-01-04 | 腾讯科技（深圳）有限公司 | 一种关键点的定位方法及终端 |
| CN106815859A (zh) * | 2017-01-13 | 2017-06-09 | 大连理工大学 | 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法 |
| CN107274431A (zh) * | 2017-03-07 | 2017-10-20 | 阿里巴巴集团控股有限公司 | 视频内容增强方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108109107A (zh) | 2018-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110176027B (zh) | 视频目标跟踪方法、装置、设备及存储介质 | |
| US10872420B2 (en) | Electronic device and method for automatic human segmentation in image | |
| CN107959798B (zh) | 视频数据实时处理方法及装置、计算设备 | |
| CN112419170B (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| CN110334635B (zh) | 主体追踪方法、装置、电子设备和计算机可读存储介质 | |
| CN110046546B (zh) | 一种自适应视线追踪方法、装置、系统及存储介质 | |
| CN106447721B (zh) | 图像阴影检测方法和装置 | |
| CN108428214B (zh) | 一种图像处理方法及装置 | |
| CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
| CN107665482B (zh) | 实现双重曝光的视频数据实时处理方法及装置、计算设备 | |
| CN109816694B (zh) | 目标跟踪方法、装置及电子设备 | |
| CN109274891B (zh) | 一种图像处理方法、装置及其存储介质 | |
| CN113658197B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110781770A (zh) | 基于人脸识别的活体检测方法、装置及设备 | |
| JP2022153857A (ja) | 画像処理装置、画像処理方法、移動装置、及びコンピュータプログラム | |
| CN107564085B (zh) | 图像扭曲处理方法、装置、计算设备及计算机存储介质 | |
| CN107705279B (zh) | 实现双重曝光的图像数据实时处理方法及装置、计算设备 | |
| CN110852974B (zh) | 图像抗锯齿处理方法、图像生成器的训练方法及装置 | |
| CN108734712B (zh) | 背景分割的方法、装置及计算机存储介质 | |
| CN108109107B (zh) | 视频数据处理方法及装置、计算设备 | |
| CN107977644B (zh) | 基于图像采集设备的图像数据处理方法及装置、计算设备 | |
| CN108121963B (zh) | 视频数据的处理方法、装置及计算设备 | |
| CN115082496A (zh) | 一种图像分割方法及装置 | |
| CN108171719B (zh) | 基于自适应跟踪框分割的视频穿越处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |