CN107959798B - 视频数据实时处理方法及装置、计算设备 - Google Patents

视频数据实时处理方法及装置、计算设备 Download PDF

Info

Publication number
CN107959798B
CN107959798B CN201711362842.1A CN201711362842A CN107959798B CN 107959798 B CN107959798 B CN 107959798B CN 201711362842 A CN201711362842 A CN 201711362842A CN 107959798 B CN107959798 B CN 107959798B
Authority
CN
China
Prior art keywords
frame image
current frame
face
determining
face key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711362842.1A
Other languages
English (en)
Other versions
CN107959798A (zh
Inventor
刘洛麒
肖胜涛
张望
熊超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201711362842.1A priority Critical patent/CN107959798B/zh
Publication of CN107959798A publication Critical patent/CN107959798A/zh
Application granted granted Critical
Publication of CN107959798B publication Critical patent/CN107959798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频数据实时处理方法及装置、计算设备，其方法包括：实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；或者，实时获取当前所播放的视频中的当前帧图像；根据当前帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定当前帧图像中的面部预测区域；根据当前帧图像中的面部预测区域，确定当前帧图像中的面部关键区域；对当前帧图像中的面部关键区域进行预设处理，得到处理后的当前帧图像，显示处理后的当前帧图像。本发明采用了双跟踪算法，将稳定性较好和准确率较高的跟踪算法相融合，实现了跟踪准确性和稳定性俱佳的效果。

Description

视频数据实时处理方法及装置、计算设备
技术领域
本发明涉及图像处理领域，具体涉及一种视频数据实时处理方法及装置、计算设备。
背景技术
随着科技的发展，图像采集设备的技术也日益提高。使用图像采集设备录制的视频也更加清晰，分辨率、显示效果也大幅提高。为了使图像采集设备录制的视频更加清晰、人脸显示效果更加多元化以及更加美化，通常需要在连续的视频帧中确定每一帧图像中包含的面部区域，以便对面部区域进行处理，以实现提升视频显示效果。
但是发明人在实现本发明的过程中发现，现有技术中，大多采用检测算法检测每一帧图像中包含的面部区域，然而，检测时需针对图像中的全部区域进行检测，效率低下且耗时较长，无法及时地对检测到的面部区域进行处理。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频数据实时处理方法及装置、计算设备。
根据本发明的一个方面，提供了一种视频数据实时处理方法，其包括：
实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；或者，实时获取当前所播放的视频中的当前帧图像；
根据当前帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定当前帧图像中的面部预测区域；
根据当前帧图像中的面部预测区域，确定当前帧图像中的面部关键区域；
对当前帧图像中的面部关键区域进行预设处理，得到处理后的当前帧图像，显示处理后的当前帧图像。
可选地，其中，所述根据所述当前帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定所述当前帧图像中的面部预测区域的步骤具体包括：
根据与所述前帧图像中的面部关键区域相对应的面部关键点，通过所述第一跟踪算法确定所述当前帧图像中的面部预测点；
判断所述当前帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配；
若是，根据所述当前帧图像中的面部预测点确定所述当前帧图像中的面部预测区域；若否，根据所述前帧图像中的面部关键区域，通过所述第二跟踪算法确定所述当前帧图像中的面部预测区域。
可选地，其中，所述判断所述当前帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配的步骤具体包括：
确定所述当前帧图像中的面部预测点所对应的预测点特征信息；
确定所述前帧图像中的面部关键区域相对应的面部关键点所对应的关键点特征信息；
判断所述预测点特征信息与所述关键点特征信息之间的特征距离是否大于预设阈值，若否，确定所述当前帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点匹配。
可选地，其中，所述预测点特征信息和/或关键点特征信息通过像素颜色信息表示，其中，所述像素颜色信息包括：YUV颜色信息和/或RGB颜色信息。
可选地，其中，所述根据所述当前帧图像中的面部预测区域，确定所述当前帧图像中的面部关键区域的步骤具体包括：
根据所述当前帧图像中的面部预测区域确定预测范围，在所述预测范围内通过神经网络算法预测面部关键点；
根据预测得到的面部关键点，确定所述当前帧图像中的面部关键区域。
可选地，其中，所述根据预测得到的面部关键点，确定所述当前帧图像中的面部关键区域的步骤具体包括：
判断所述预测得到的面部关键点是否符合预设关键点规则；
若是，根据所述面部关键点确定所述当前帧图像中的面部关键区域；
若否，对所述当前帧图像进行检测，根据检测结果确定所述当前帧图像中的面部关键区域。
可选地，其中，所述面部关键点包括：与面部五官和/或面部轮廓相对应的特征点。
可选地，其中，所述对所述当前帧图像中的面部关键区域进行预设处理，得到处理后的当前帧图像的步骤具体包括：
在与所述面部关键区域相对应的位置绘制效果贴图；
将所述效果贴图和所述当前帧图像进行融合处理，得到处理后的当前帧图像。
可选地，其中，所述当前帧图像所对应的前帧图像包括：所述当前帧图像的前N帧图像，其中，N为大于0的自然数。
可选地，其中，所述面部关键区域通过面部关键框确定，和/或，所述面部预测区域通过面部预测框确定。
可选地，其中，所述显示所述处理后的当前帧图像进一步包括：将所述处理后的当前帧图像实时显示；
所述方法还包括：将所述处理后的当前帧图像上传至云服务器。
可选地，其中，所述将所述处理后的当前帧图像上传至云服务器进一步包括：
将所述处理后的当前帧图像上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
可选地，其中，所述将所述处理后的当前帧图像上传至云服务器进一步包括：
将所述处理后的当前帧图像上传至云直播服务器，以供云直播服务器将所述处理后的当前帧图像实时推送给观看用户客户端。
可选地，其中，所述将所述处理后的当前帧图像上传至云服务器进一步包括：
将所述处理后的当前帧图像上传至云公众号服务器，以供云公众号服务器将所述处理后的当前帧图像推送给公众号关注客户端。
可选地，其中，所述显示所述处理后的当前帧图像的步骤具体包括：
根据处理后的当前帧图像得到处理后的视频数据，显示所述处理后的视频数据。
根据本发明的另一个方面，提供了一种视频数据实时处理装置，包括：
获取模块，适于实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；或者，实时获取当前所播放的视频中的当前帧图像；
第一确定模块，适于根据所述当前帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定所述当前帧图像中的面部预测区域；
第二确定模块，适于根据所述当前帧图像中的面部预测区域，确定所述当前帧图像中的面部关键区域；
显示模块，适于对所述当前帧图像中的面部关键区域进行预设处理，得到处理后的当前帧图像，显示所述处理后的当前帧图像。
可选地，其中，所述第一确定模块进一步用于：
根据与所述前帧图像中的面部关键区域相对应的面部关键点，通过所述第一跟踪算法确定所述当前帧图像中的面部预测点；
判断所述当前帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配；
若是，根据所述当前帧图像中的面部预测点确定所述当前帧图像中的面部预测区域；若否，根据所述前帧图像中的面部关键区域，通过所述第二跟踪算法确定所述当前帧图像中的面部预测区域。
可选地，其中，所述第一确定模块进一步适于：
确定所述当前帧图像中的面部预测点所对应的预测点特征信息；
确定所述前帧图像中的面部关键区域相对应的面部关键点所对应的关键点特征信息；
判断所述预测点特征信息与所述关键点特征信息之间的特征距离是否大于预设阈值，若否，确定所述当前帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点匹配。
可选地，其中，所述预测点特征信息和/或关键点特征信息通过像素颜色信息表示，其中，所述像素颜色信息包括：YUV颜色信息和/或RGB颜色信息。
可选地，其中，所述第二确定模块进一步适于：
根据所述当前帧图像中的面部预测区域确定预测范围，在所述预测范围内通过神经网络算法预测面部关键点；
根据预测得到的面部关键点，确定所述当前帧图像中的面部关键区域。
可选地，其中，所述第二确定模块进一步适于：
判断所述预测得到的面部关键点是否符合预设关键点规则；
若是，根据所述面部关键点确定所述当前帧图像中的面部关键区域；
若否，对所述当前帧图像进行检测，根据检测结果确定所述当前帧图像中的面部关键区域。
可选地，其中，所述面部关键点包括：与面部五官和/或面部轮廓相对应的特征点。
可选地，其中，所述显示模块进一步适于：
在与所述面部关键区域相对应的位置绘制效果贴图；
将所述效果贴图和所述当前帧图像进行融合处理，得到处理后的当前帧图像。
可选地，其中，所述当前帧图像所对应的前帧图像包括：所述当前帧图像的前N帧图像，其中，N为大于0的自然数。
可选地，其中，所述面部关键区域通过面部关键框确定，和/或，所述面部预测区域通过面部预测框确定。
可选地，其中，所述显示模块进一步适于：将所述处理后的当前帧图像实时显示；
所述装置还包括：上传模块，适于将所述处理后的当前帧图像上传至云服务器。
可选地，其中，所述上传模块进一步适于：
将所述处理后的当前帧图像上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
可选地，其中，所述上传模块进一步适于：
将所述处理后的当前帧图像上传至云直播服务器，以供云直播服务器将所述处理后的当前帧图像实时推送给观看用户客户端。
可选地，其中，所述上传模块进一步适于：
将所述处理后的当前帧图像上传至云公众号服务器，以供云公众号服务器将所述处理后的当前帧图像推送给公众号关注客户端。
可选地，其中，所述显示模块进一步适于：
根据处理后的当前帧图像得到处理后的视频数据，显示所述处理后的视频数据。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述视频数据实时处理方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述视频数据实时处理方法对应的操作。
根据本发明实施例提供的视频数据实时处理方法及装置、计算设备，能够根据当前帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定当前帧图像中的面部预测区域，进而根据面部预测区域来确定当前帧图像中的面部关键区域。由此可见，通过前帧图像中的面部关键区域以及跟踪算法，无需针对图像中的全部区域进行检测，提升了效率，缩短了耗时。并且，两种跟踪算法的使用能够扬长补短，进一步提升了跟踪效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的视频数据实时处理方法的流程图；
图2示出了根据本发明另一个实施例的视频数据实时处理方法的流程图；
图3示出了根据本发明一个实施例的视频数据实时处理装置的功能框图；
图4示出了根据本发明一个实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的视频数据实时处理方法的流程图。如图1所示，视频数据实时处理方法具体包括如下步骤：
步骤S101，实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；或者，实时获取当前所播放的视频中的当前帧图像。
本实施例中图像采集设备可以以移动终端为例进行说明。实时获取到移动终端摄像头在录制视频时的当前帧图像或者拍摄视频时的当前帧图像。除实时获取图像采集设备所拍摄和/或所录制的视频外，还可以实时获取当前所播放的视频中的当前帧图像。
步骤S102，根据当前帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定当前帧图像中的面部预测区域。
其中，面部关键区域可通过下述方式得到：在面部预测区域内通过神经网络算法预测得到面部关键点，然后根据上述面部关键点确定面部关键区域。上述面部关键点包括与面部五官和/或面部轮廓相对应的特征点，具体可以指脸部轮廓位置上所对应的特征点、面部五官位置上所对应的特征点以及面部其它部位上所对应的特征点。相应地，当前帧图像所对应的前帧图像中的面部关键区域是指：在当前帧图像所对应的前帧图像中确定的面部关键区域。其中，当前帧图像所对应的前帧图像包括：当前帧图像的前N帧图像，其中，N为大于0的自然数。则可以根据当前帧图像所对应的前一帧图像或者前多帧图像中的面部关键区域通过第一跟踪算法以及第二跟踪算法确定当前帧图像中的面部预测区域。根据当前帧图像所对应的前多帧图像中的面部关键区域时，可以获得前多帧图像中面部关键区域移动的速度或者移动的方向，然后根据上述移动的速度或者移动的方向并通过第一跟踪算法以及第二跟踪算法能够更加准确省时地确定当前帧图像中的面部预测区域。其中，上述面部关键区域是预测出的比较精确的面部所在的区域，可以通过面部关键框确定；面部预测区域是跟踪得到的精确较低的面部所在的区域，可以通过面部预测框确定。另外，上述第一算法可以是基于关键点的算法，上述第二算法可以是基于关键框的算法。
步骤S103，根据当前帧图像中的面部预测区域，确定当前帧图像中的面部关键区域。
由于当前帧图像中的面部预测区域是跟踪得到的精确度较低的当前帧图像中的面部所在区域，为了获得当前帧图像中的面部所在的准确的位置，需要确定当前帧图像中的面部关键区域。具体地，可以在图像中的面部预测区域的部分区域或者全部区域范围内通过神经网络算法预测面部关键点，然后根据预测得到的面部关键点，确定当前帧图像中的面部关键区域。除了上述方法外，还可以根据其它的方法来确定当前帧图像中的面部关键区域。
步骤S104，对当前帧图像中的面部关键区域进行预设处理，得到处理后的当前帧图像，显示处理后的当前帧图像。
上述预设处理可以是萌颜处理，具体地，可以对眼睛所在区域进行放大处理、嘴巴所在区域进行缩小处理以及下巴所在区域进行拉长处理等。上述预设处理还可以是在上述面部关键区域相对应的位置绘制效果贴图；并将上述效果贴图和当前帧图像进行融合处理，得到处理后的当前帧图像。对当前帧图像中的面部关键区域除了进行上述预设处理外，还可以进行其它的预设处理，从而得到处理后的当前帧图像，最后使用处理后的当前帧图像直接覆盖掉原当前帧图像，直接可以得到处理后的视频数据。同时，录制的用户还可以直接看到当前帧处理后的图像。得到处理后的视频数据后，可以将其实时的进行显示，用户可以直接看到处理后的视频数据的显示效果。
根据本实施例提供的视频数据实时处理方法，能够根据当前帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定当前帧图像中的面部预测区域，进而根据面部预测区域来确定当前帧图像中的面部关键区域。由此可见，通过前帧图像中的面部关键区域以及跟踪算法，无需针对图像中的全部区域进行检测，提升了效率，缩短了耗时。并且，两种跟踪算法的使用能够扬长补短，进一步提升了跟踪效果。
图2示出了根据本发明另一个实施例提供的视频数据实时处理方法的流程图。如图2所示，视频数据实时处理方法具体包括如下步骤：
步骤S201，实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；或者，实时获取当前所播放的视频中的当前帧图像。
本实施例中图像采集设备可以以移动终端为例进行说明。实时获取到移动终端摄像头在录制视频时的当前帧图像或者拍摄视频时的当前帧图像。除实时获取图像采集设备所拍摄和/或所录制的视频外，还可以实时获取当前所播放的视频中的当前帧图像。
步骤S202，根据与前帧图像中的面部关键区域相对应的面部关键点，通过第一跟踪算法确定当前帧图像中的面部预测点。
其中，第一跟踪算法可以是基于关键点的算法，比如可以为KLT(Kanade-Lucas-Tomasi Tracking)算法，第一跟踪算法可以假设跟踪目标在视频流中，只产生一致性的小位移，并且目标的灰度变化不大；第一跟踪算法对于图像中的跟踪目标，并不是目标框和跟踪框内的所有的点都求取偏移量，而是选取一些特征不变的角点作为跟踪点，比如可以选取与前帧图像中的面部关键区域相对应的面部关键点作为跟踪点进行跟踪。其中，与前帧图像中的面部关键区域相对应的面部关键点包括与面部五官和/或面部轮廓相对应的特征点。比如可以是面部的五官位置处所对应的特征点、面部轮廓处所对应的特征点以及还可以是面部的其它位置处所对应的特征点。根据与前帧图像中的面部关键区域相对应的面部关键点，通过第一跟踪算法可以确定当前帧图像中的面部预测点。
步骤S203，判断当前帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点是否匹配。
具体地，首先确定当前帧图像中的面部预测点所对应的预测点特征信息。然后确定前帧图像中的面部关键区域相对应的面部关键点所对应的关键点特征信息；其中，上述预测点特征信息和/或关键点特征信息可以通过像素颜色信息表示或者其它的特征信息表示，上述颜色信息可以包括：YUV颜色信息和/或RGB颜色信息。进一步地，判断预测点特征信息与关键点特征信息之间的特征距离是否大于预设阈值，若否，确定当前帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点匹配。具体地，比如可以在获取的当前帧图像中在眼球所在位置提取若干个面部预测点，在上述面部预测点周围提取一个小区域1，然后提取该小区域1的YUV颜色信息；在确定的前帧图像中的面部关键区域中的该眼球位置提取若干个面部关键点，在上述若干个面部关键点周围提取一个小区域2，然后提取该小区域2的YUV颜色信息；判断小区域1的YUV颜色信息和小区域2的YUV颜色信息的特征距离是否大于预设阈值，若是，则确定当前帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点不匹配；若否，则确定当前帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点匹配。进一步地，如果判断出当前帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点相匹配则执行步骤S204，若不匹配则执行步骤S205。
步骤S204，根据当前帧图像中的面部预测点确定当前帧图像中的面部预测区域。
其中，面部预测区域可以通过面部关键框确定。如果判断当前帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点相匹配，则说明根据第一跟踪算法可以跟踪成功，此时可以根据通过第一跟踪算法确定的当前帧图像中的面部预测点确定当前帧图像中的面部预测区域。
步骤S205，根据前帧图像中的面部关键区域，通过第二跟踪算法确定当前帧图像中的面部预测区域。
如果判断当前帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点不匹配，则说明根据第一跟踪算法跟踪失败，此时需要根据前帧图像中的面部关键区域，通过第二跟踪算法确定当前帧图像中的面部预测区域。其中，第二跟踪算法可以是基于关键框的算法，比如可以为KCF(Kernel Correlation Filter)跟踪算法，第二跟踪算法对于图像中的跟踪目标，可以对图像中面部五官和/或面部轮廓相对应的关键框进行跟踪，并且跟踪速度较快。
步骤S206，根据当前帧图像中的面部预测区域确定预测范围，在预测范围内通过神经网络算法预测面部关键点。
其中预测范围是根据面部预测区域确定的，具体地，预测范围既可以是与面部预测区域相同的区域范围，也可以是大于面部预测区域的区域范围，甚至也可能是小于面部预测区域的区域范围，具体选取的大小本领域人员可以根据实际情况自己设定。并且在上述预测范围内可以通过神经网络算法预测面部关键点，其中神经网络算法是逻辑性的思维，具体是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理。通过神经网络算法可以比较准确地预测出面部关键点。由于预测范围仅为整个图像中的局部区域，因此，预测速度快，提升了效率，缩短了延时。
步骤S207，根据预测得到的面部关键点，确定当前帧图像中的面部关键区域。
其中，面部关键区域通过面部关键框确定。具体地，首先判断预测得到的面部关键点是否符合预设关键点规则。由于在步骤S206中得到的面部关键点可能是存在错误的面部关键点，比如根据预测得到的面部关键点所确定的面部关键框只能框住部分面部区域或者不能框住面部区域，则该得到的面部关键点即为存在错误的面部关键点。因此在得到面部关键点之后，需要进一步地判断预测得到的面部关键点是否符合预设关键点规则。若是，根据上述面部关键点确定当前帧图像中的面部关键区域。若否，则对上述当前帧图像进行检测，根据检测结果确定当前帧图像中的面部关键区域。根据该步骤S207，能够更加准确地确定当前帧图像中的面部关键区域，减少了失误率。
具体地，如果判断出预测得到的面部关键点不符合预设关键点规则，则需要针对上述当前帧图像的整帧图像的全局进行重新检测，并根据检测的结果确定当前帧图像中的面部关键区域。也就是说，需要通过神经网络算法对整个图像中的全部区域进行检测，以确定面部关键区域，该方式虽耗时稍多，但能够确保不遗漏任何区域，准确性较高。
步骤S208，对当前帧图像中的面部关键区域进行预设处理，得到处理后的当前帧图像，显示处理后的当前帧图像。
本步骤的目的在于：对面部区域进行预设处理可以得到更加美化、多元化的或者有趣的处理后的当前帧图像，从而增强了当前帧图像的观赏性和趣味性。具体地，本步骤S208可以包括：在与面部关键区域相对应的位置绘制效果贴图；将效果贴图和当前帧图像进行融合处理，得到处理后的当前帧图像。上述效果贴图可以为静态的效果贴图，也可以为动态的效果贴图。效果贴图可以为如猫耳朵、摇动的兔耳朵、小胡子等效果，具体根据实施情况进行设置，此处不做限定。根据获取的面部关键区域信息，可以确定面部关键区域中五官所在的位置或者面部轮廓所在的位置，然后在在上述不同的位置绘制不同的效果贴图。比如在人耳朵所在的位置，绘制兔子耳朵，在人嘴巴上方绘制小胡子等。在绘制效果贴图之后，将不同位置的效果贴图与该位置所对应的当前帧图像的部分进行融合处理，使得效果贴图更真实地与当前景图像融合在一起，得到处理后的当前帧图像。为使效果贴图和当前帧图像可以更好地融合，可以对当前帧图像中绘制动态贴图的位置的边缘进行半透明处理，模糊贴图位置的边缘，以便更好的融合。可选地，上述预设处理还可以是萌颜处理，具体地，可以对眼睛所在区域进行放大处理、嘴巴所在区域进行缩小处理以及下巴所在区域进行拉长处理等。在得到处理后的当前帧图像之后，显示处理后的当前帧图像。进一步地，显示上述处理后的当前帧图像包括：将处理后的当前帧图像实时显示。上述显示处理后的当前帧图像的步骤具体包括：根据处理后的当前帧图像得到处理后的视频数据，显示所述处理后的视频数据。具体地，使用处理后的当前帧图像直接覆盖掉原当前帧图像，直接可以得到处理后的视频数据。同时，录制的用户还可以直接看到当前帧处理后的图像。得到处理后的视频数据后，可以将其实时的进行显示，用户可以直接看到处理后的视频数据的显示效果。
步骤S209，将处理后的当前帧图像上传至云服务器。
具体地，可以将处理后的当前帧图像上传至云视频平台服务器，如爱奇艺、优酷、快视频等云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
可选地，还可以将上述处理后的当前帧图像上传至云直播服务器，以供云直播服务器将处理后的当前帧图像实时推送给观看用户客户端。当有直播观看端的用户进入云直播服务器进行观看时，可以由云直播服务器将视频数据实时推送给观看用户客户端。
可选地，还可以将处理后的当前帧图像上传至云公众号服务器，以供云公众号服务器将处理后的当前帧图像推送给公众号关注客户端。当有用户关注该公众号时，由云公众号服务器将视频数据推送给公众号关注客户端；进一步，云公众号服务器还可以根据关注公众号的用户的观看习惯，推送符合用户习惯的视频数据给公众号关注客户端。
根据本实施例提供的视频数据实时处理方法，首先通过实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；或者，实时获取当前所播放的视频中的当前帧图像，然后根据与前帧图像中的面部关键区域相对应的面部关键点，通过第一跟踪算法确定当前帧图像中的面部预测点，并且判断当前帧图像中的面部预测点与前帧图像中的面部关键区域相对应的面部关键点是否匹配，若匹配则根据当前帧图像中的面部预测点确定当前帧图像中的面部预测区域，若不匹配则根据前帧图像中的面部关键区域，通过第二跟踪算法确定当前帧图像中的面部预测区域；从而能够将第一算法和第二算法结合起来来确定当前帧图像中的面部预测区域，提高了稳定性和准确率。然后进一步地，根据当前帧图像中的面部预测区域确定预测范围，在预测范围内通过神经网络算法预测面部关键点，根据预测得到的面部关键点，确定当前帧图像中的面部关键区域；然后对当前帧图像中的面部关键区域进行预设处理，得到处理后的当前帧图像，以得到更加美化的或者有趣的处理后的当前帧图像；最后显示处理后的当前帧图像，还可以实时显示给用户处理后的视频数据，方便用户查看显示效果。根据本实施方法提供的方法，能够将稳定性较好和准确率较高的跟踪算法相融合，实现了跟踪准确性和稳定性俱佳的效果，并且能够准确省时地预测出每一帧图像中面部所在的位置。
本领域技术人员还可以对上述实施例进行各种改动和变形：例如，在采用两种跟踪算法时，可以根据每种跟踪算法的处理速度、处理精度来确定先采用哪一种跟踪算法，例如，可以先采用处理速度较快的跟踪算法，若较快的跟踪算法未跟踪成功，再采用跟踪速度较慢的跟踪算法；或者，可以先采用处理精度较高的跟踪算法，若精度较高的跟踪算法未跟踪成功，再采用精度较低的跟踪算法等。此时，可以通过一个线程来先后运行两种算法。另外，可选地，还可以通过两个并行运行的线程分别同时运行两种跟踪算法，并结合两种跟踪算法输出的结果来确定面部预测区域，以提升跟踪结果的准确性，进而提升后续的预测准确度。本实施例可用于针对实时录制的视频(例如快视频/直播等)进行实时处理，以提升实时直播的视频图像的显示效果。
图3示出了根据本发明一个实施例的视频数据实时处理装置的功能框图。如图3所示，所述装置包括:获取模块301、第一确定模块302、第二确定模块303、显示模块304、上传模块305。
其中，获取模块301，适于实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；或者，实时获取当前所播放的视频中的当前帧图像；
第一确定模块302，适于根据所述当前帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定所述当前帧图像中的面部预测区域；
第二确定模块303，适于根据所述当前帧图像中的面部预测区域，确定所述当前帧图像中的面部关键区域；
显示模块304，适于对所述当前帧图像中的面部关键区域进行预设处理，得到处理后的当前帧图像，显示所述处理后的当前帧图像。
另外，在本发明另一个实施例中，第一确定模块302进一步用于：
根据与所述前帧图像中的面部关键区域相对应的面部关键点，通过所述第一跟踪算法确定所述当前帧图像中的面部预测点；
判断所述当前帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配；
若是，根据所述当前帧图像中的面部预测点确定所述当前帧图像中的面部预测区域；若否，根据所述前帧图像中的面部关键区域，通过所述第二跟踪算法确定所述当前帧图像中的面部预测区域。
第一确定模块302进一步适于：
确定所述当前帧图像中的面部预测点所对应的预测点特征信息；
确定所述前帧图像中的面部关键区域相对应的面部关键点所对应的关键点特征信息；
判断所述预测点特征信息与所述关键点特征信息之间的特征距离是否大于预设阈值，若否，确定所述当前帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点匹配。
其中，所述预测点特征信息和/或关键点特征信息通过像素颜色信息表示，其中，所述像素颜色信息包括：YUV颜色信息和/或RGB颜色信息。
所述第二确定模块303进一步适于：
根据所述当前帧图像中的面部预测区域确定预测范围，在所述预测范围内通过神经网络算法预测面部关键点；
根据预测得到的面部关键点，确定所述当前帧图像中的面部关键区域。
所述第二确定模块303进一步适于：
判断所述预测得到的面部关键点是否符合预设关键点规则；
若是，根据所述面部关键点确定所述当前帧图像中的面部关键区域；
若否，对所述当前帧图像进行检测，根据检测结果确定所述当前帧图像中的面部关键区域。
其中，所述面部关键点包括：与面部五官和/或面部轮廓相对应的特征点。
所述显示模块304进一步适于：
在与所述面部关键区域相对应的位置绘制效果贴图；
将所述效果贴图和所述当前帧图像进行融合处理，得到处理后的当前帧图像。
其中，所述当前帧图像所对应的前帧图像包括：所述当前帧图像的前N帧图像，其中，N为大于0的自然数。
其中，所述面部关键区域通过面部关键框确定，和/或，所述面部预测区域通过面部预测框确定。
所述显示模块304进一步适于：将所述处理后的当前帧图像实时显示；
上传模块305，适于将所述处理后的当前帧图像上传至云服务器。
所述上传模块305进一步适于：
将所述处理后的当前帧图像上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
所述上传模块305进一步适于：
将所述处理后的当前帧图像上传至云直播服务器，以供云直播服务器将所述处理后的当前帧图像实时推送给观看用户客户端。
所述上传模块305进一步适于：
将所述处理后的当前帧图像上传至云公众号服务器，以供云公众号服务器将所述处理后的当前帧图像推送给公众号关注客户端。
所述显示模块304进一步适于：
根据处理后的当前帧图像得到处理后的视频数据，显示所述处理后的视频数据。
其中，上述各个模块的具体工作原理可参照方法实施例中相应步骤的描述，此处不再赘述。
图4示出了根据本发明一个实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述视频数据实时处理方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行以下操作：
实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；或者，实时获取当前所播放的视频中的当前帧图像；
根据当前帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定当前帧图像中的面部预测区域；
根据当前帧图像中的面部预测区域，确定当前帧图像中的面部关键区域；
对当前帧图像中的面部关键区域进行预设处理，得到处理后的当前帧图像，显示处理后的当前帧图像。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
根据与所述前帧图像中的面部关键区域相对应的面部关键点，通过所述第一跟踪算法确定所述当前帧图像中的面部预测点；
判断所述当前帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配；
若是，根据所述当前帧图像中的面部预测点确定所述当前帧图像中的面部预测区域；若否，根据所述前帧图像中的面部关键区域，通过所述第二跟踪算法确定所述当前帧图像中的面部预测区域。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
确定所述当前帧图像中的面部预测点所对应的预测点特征信息；
确定所述前帧图像中的面部关键区域相对应的面部关键点所对应的关键点特征信息；
判断所述预测点特征信息与所述关键点特征信息之间的特征距离是否大于预设阈值，若否，确定所述当前帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点匹配。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：所述预测点特征信息和/或关键点特征信息通过像素颜色信息表示，其中，所述像素颜色信息包括：YUV颜色信息和/或RGB颜色信息。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
根据所述当前帧图像中的面部预测区域确定预测范围，在所述预测范围内通过神经网络算法预测面部关键点；
根据预测得到的面部关键点，确定所述当前帧图像中的面部关键区域。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
判断所述预测得到的面部关键点是否符合预设关键点规则；
若是，根据所述面部关键点确定所述当前帧图像中的面部关键区域；
若否，对所述当前帧图像进行检测，根据检测结果确定所述当前帧图像中的面部关键区域。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：所述面部关键点包括：与面部五官和/或面部轮廓相对应的特征点。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
在与所述面部关键区域相对应的位置绘制效果贴图；
将所述效果贴图和所述当前帧图像进行融合处理，得到处理后的当前帧图像。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：所述当前帧图像所对应的前帧图像包括：所述当前帧图像的前N帧图像，其中，N为大于0的自然数。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：所述面部关键区域通过面部关键框确定，和/或，所述面部预测区域通过面部预测框确定。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：将所述处理后的当前帧图像实时显示；将所述处理后的当前帧图像上传至云服务器。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：将所述处理后的当前帧图像上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：将所述处理后的当前帧图像上传至云直播服务器，以供云直播服务器将所述处理后的当前帧图像实时推送给观看用户客户端。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：将所述处理后的当前帧图像上传至云公众号服务器，以供云公众号服务器将所述处理后的当前帧图像推送给公众号关注客户端。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：根据处理后的当前帧图像得到处理后的视频数据，显示所述处理后的视频数据。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的视频数据实时处理的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (30)

1.一种视频数据实时处理方法，其包括：
实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；或者，实时获取当前所播放的视频中的当前帧图像；
根据所述当前帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定所述当前帧图像中的面部预测区域；
根据所述当前帧图像中的面部预测区域，确定所述当前帧图像中的面部关键区域；
对所述当前帧图像中的面部关键区域进行预设处理，得到处理后的当前帧图像，显示所述处理后的当前帧图像；
其中，所述根据所述当前帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定所述当前帧图像中的面部预测区域的步骤具体包括：根据与所述前帧图像中的面部关键区域相对应的面部关键点，通过所述第一跟踪算法确定所述当前帧图像中的面部预测点；判断所述当前帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配；若是，根据所述当前帧图像中的面部预测点确定所述当前帧图像中的面部预测区域；若否，根据所述前帧图像中的面部关键区域，通过所述第二跟踪算法确定所述当前帧图像中的面部预测区域。
2.根据权利要求1所述的方法，其中，所述判断所述当前帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配的步骤具体包括：
确定所述当前帧图像中的面部预测点所对应的预测点特征信息；
确定所述前帧图像中的面部关键区域相对应的面部关键点所对应的关键点特征信息；
判断所述预测点特征信息与所述关键点特征信息之间的特征距离是否大于预设阈值，若否，确定所述当前帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点匹配。
3.根据权利要求2所述的方法，其中，所述预测点特征信息和/或关键点特征信息通过像素颜色信息表示，其中，所述像素颜色信息包括：YUV颜色信息和/或RGB颜色信息。
4.根据权利要求1所述的方法，其中，所述根据所述当前帧图像中的面部预测区域，确定所述当前帧图像中的面部关键区域的步骤具体包括：
根据所述当前帧图像中的面部预测区域确定预测范围，在所述预测范围内通过神经网络算法预测面部关键点；
根据预测得到的面部关键点，确定所述当前帧图像中的面部关键区域。
5.根据权利要求4所述的方法，其中，所述根据预测得到的面部关键点，确定所述当前帧图像中的面部关键区域的步骤具体包括：
判断所述预测得到的面部关键点是否符合预设关键点规则；
若是，根据所述面部关键点确定所述当前帧图像中的面部关键区域；
若否，对所述当前帧图像进行检测，根据检测结果确定所述当前帧图像中的面部关键区域。
6.根据权利要求5所述的方法，其中，所述面部关键点包括：与面部五官和/或面部轮廓相对应的特征点。
7.根据权利要求1-6任一所述的方法，其中，所述对所述当前帧图像中的面部关键区域进行预设处理，得到处理后的当前帧图像的步骤具体包括：
在与所述面部关键区域相对应的位置绘制效果贴图；
将所述效果贴图和所述当前帧图像进行融合处理，得到处理后的当前帧图像。
8.根据权利要求1-6任一所述的方法，其中，所述当前帧图像所对应的前帧图像包括：所述当前帧图像的前N帧图像，其中，N为大于0的自然数。
9.根据权利要求1-6任一所述的方法，其中，所述面部关键区域通过面部关键框确定，和/或，所述面部预测区域通过面部预测框确定。
10.根据权利要求1-6中任一项所述的方法，其中，所述显示所述处理后的当前帧图像进一步包括：将所述处理后的当前帧图像实时显示；
所述方法还包括：将所述处理后的当前帧图像上传至云服务器。
11.根据权利要求10中所述的方法，其中，所述将所述处理后的当前帧图像上传至云服务器进一步包括：
将所述处理后的当前帧图像上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
12.根据权利要求10中所述的方法，其中，所述将所述处理后的当前帧图像上传至云服务器进一步包括：
将所述处理后的当前帧图像上传至云直播服务器，以供云直播服务器将所述处理后的当前帧图像实时推送给观看用户客户端。
13.根据权利要求10中所述的方法，其中，所述将所述处理后的当前帧图像上传至云服务器进一步包括：
将所述处理后的当前帧图像上传至云公众号服务器，以供云公众号服务器将所述处理后的当前帧图像推送给公众号关注客户端。
14.根据权利要求1中所述的方法，其中，所述显示所述处理后的当前帧图像的步骤具体包括：
根据处理后的当前帧图像得到处理后的视频数据，显示所述处理后的视频数据。
15.一种视频数据实时处理装置，其包括：
获取模块，适于实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；或者，实时获取当前所播放的视频中的当前帧图像；
第一确定模块，适于根据所述当前帧图像所对应的前帧图像中的面部关键区域，通过第一跟踪算法以及第二跟踪算法确定所述当前帧图像中的面部预测区域；
第二确定模块，适于根据所述当前帧图像中的面部预测区域，确定所述当前帧图像中的面部关键区域；
显示模块，适于对所述当前帧图像中的面部关键区域进行预设处理，得到处理后的当前帧图像，显示所述处理后的当前帧图像；其中，所述第一确定模块进一步用于：
根据与所述前帧图像中的面部关键区域相对应的面部关键点，通过所述第一跟踪算法确定所述当前帧图像中的面部预测点；
判断所述当前帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点是否匹配；
若是，根据所述当前帧图像中的面部预测点确定所述当前帧图像中的面部预测区域；若否，根据所述前帧图像中的面部关键区域，通过所述第二跟踪算法确定所述当前帧图像中的面部预测区域。
16.根据权利要求15所述的装置，其中，所述第一确定模块进一步适于：
确定所述当前帧图像中的面部预测点所对应的预测点特征信息；
确定所述前帧图像中的面部关键区域相对应的面部关键点所对应的关键点特征信息；
判断所述预测点特征信息与所述关键点特征信息之间的特征距离是否大于预设阈值，若否，确定所述当前帧图像中的面部预测点与所述前帧图像中的面部关键区域相对应的面部关键点匹配。
17.根据权利要求16所述的装置，其中，所述预测点特征信息和/或关键点特征信息通过像素颜色信息表示，其中，所述像素颜色信息包括：YUV颜色信息和/或RGB颜色信息。
18.根据权利要求15所述的装置，其中，所述第二确定模块进一步适于：
根据所述当前帧图像中的面部预测区域确定预测范围，在所述预测范围内通过神经网络算法预测面部关键点；
根据预测得到的面部关键点，确定所述当前帧图像中的面部关键区域。
19.根据权利要求18所述的装置，其中，所述第二确定模块进一步适于：
判断所述预测得到的面部关键点是否符合预设关键点规则；
若是，根据所述面部关键点确定所述当前帧图像中的面部关键区域；
若否，对所述当前帧图像进行检测，根据检测结果确定所述当前帧图像中的面部关键区域。
20.根据权利要求19所述的装置，其中，所述面部关键点包括：与面部五官和/或面部轮廓相对应的特征点。
21.根据权利要求15-20任一所述的装置，其中，所述显示模块进一步适于：
在与所述面部关键区域相对应的位置绘制效果贴图；
将所述效果贴图和所述当前帧图像进行融合处理，得到处理后的当前帧图像。
22.根据权利要求15-20任一所述的装置，其中，所述当前帧图像所对应的前帧图像包括：所述当前帧图像的前N帧图像，其中，N为大于0的自然数。
23.根据权利要求15-20任一所述的装置，其中，所述面部关键区域通过面部关键框确定，和/或，所述面部预测区域通过面部预测框确定。
24.根据权利要求15-20中任一项所述的装置，其中，所述显示模块进一步适于：将所述处理后的当前帧图像实时显示；
所述装置还包括：上传模块，适于将所述处理后的当前帧图像上传至云服务器。
25.根据权利要求24中所述的装置，其中，所述上传模块进一步适于：
将所述处理后的当前帧图像上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
26.根据权利要求24中所述的装置，其中，所述上传模块进一步适于：
将所述处理后的当前帧图像上传至云直播服务器，以供云直播服务器将所述处理后的当前帧图像实时推送给观看用户客户端。
27.根据权利要求24中所述的装置，其中，所述上传模块进一步适于：
将所述处理后的当前帧图像上传至云公众号服务器，以供云公众号服务器将所述处理后的当前帧图像推送给公众号关注客户端。
28.根据权利要求15中所述的装置，其中，所述显示模块进一步适于：
根据处理后的当前帧图像得到处理后的视频数据，显示所述处理后的视频数据。
29.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-14中任一项所述的视频数据实时处理方法对应的操作。
30.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-14中任一项所述的视频数据实时处理方法对应的操作。
CN201711362842.1A 2017-12-18 2017-12-18 视频数据实时处理方法及装置、计算设备 Active CN107959798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711362842.1A CN107959798B (zh) 2017-12-18 2017-12-18 视频数据实时处理方法及装置、计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711362842.1A CN107959798B (zh) 2017-12-18 2017-12-18 视频数据实时处理方法及装置、计算设备

Publications (2)

Publication Number Publication Date
CN107959798A CN107959798A (zh) 2018-04-24
CN107959798B true CN107959798B (zh) 2020-07-07

Family

ID=61959206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711362842.1A Active CN107959798B (zh) 2017-12-18 2017-12-18 视频数据实时处理方法及装置、计算设备

Country Status (1)

Country Link
CN (1) CN107959798B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064489A (zh) * 2018-07-17 2018-12-21 北京新唐思创教育科技有限公司 用于人脸追踪的方法、装置、设备和介质
CN109147012B (zh) * 2018-09-20 2023-04-14 麒麟合盛网络技术股份有限公司 图像处理方法和装置
CN109871760B (zh) * 2019-01-15 2021-03-26 北京奇艺世纪科技有限公司 一种人脸定位方法、装置、终端设备及存储介质
US10630310B1 (en) 2019-07-26 2020-04-21 Nxp B.V. Analog signal generation by hardware re-use in sampled circuits
CN111563913B (zh) * 2020-04-15 2021-12-10 上海摩象网络科技有限公司 基于跟踪目标的搜索方法、设备及其手持相机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271520A (zh) * 2008-04-01 2008-09-24 北京中星微电子有限公司 一种确定图像中的特征点位置的方法及装置
CN101923717A (zh) * 2009-06-10 2010-12-22 新奥特（北京）视频技术有限公司 一种对快速运动目标的特征点准确跟踪的方法
KR101687217B1 (ko) * 2015-11-30 2016-12-16 수원대학교산학협력단 인터벌 타입-2 rbf 신경회로망 기반 ct 기법을 이용한 강인한 얼굴 인식 패턴 분류 방법 및 이를 실행하기 위한 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271520A (zh) * 2008-04-01 2008-09-24 北京中星微电子有限公司 一种确定图像中的特征点位置的方法及装置
CN101923717A (zh) * 2009-06-10 2010-12-22 新奥特（北京）视频技术有限公司 一种对快速运动目标的特征点准确跟踪的方法
KR101687217B1 (ko) * 2015-11-30 2016-12-16 수원대학교산학협력단 인터벌 타입-2 rbf 신경회로망 기반 ct 기법을 이용한 강인한 얼굴 인식 패턴 분류 방법 및 이를 실행하기 위한 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于KLT与Mean-Shift的目标跟踪研究;马金国;《中国优秀硕士论文全文数据库 信息科技辑》;20120715;第4章 *

Also Published As

Publication number Publication date
CN107959798A (zh) 2018-04-24

Similar Documents

Publication Publication Date Title
CN107959798B (zh) 视频数据实时处理方法及装置、计算设备
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
CN109376667B (zh) 目标检测方法、装置及电子设备
CN111667520B (zh) 红外图像和可见光图像的配准方法、装置及可读存储介质
CN110334635B (zh) 主体追踪方法、装置、电子设备和计算机可读存储介质
CN110046546B (zh) 一种自适应视线追踪方法、装置、系统及存储介质
CN112419170B (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN107920257B (zh) 视频关键点实时处理方法、装置及计算设备
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN107665482B (zh) 实现双重曝光的视频数据实时处理方法及装置、计算设备
CN110070551B (zh) 视频图像的渲染方法、装置和电子设备
CN109816694B (zh) 目标跟踪方法、装置及电子设备
CN109274891B (zh) 一种图像处理方法、装置及其存储介质
CN114092678A (zh) 图像处理方法、装置、电子设备及存储介质
CN111325107A (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CN107564085B (zh) 图像扭曲处理方法、装置、计算设备及计算机存储介质
CN107766803B (zh) 基于场景分割的视频人物装扮方法、装置及计算设备
CN116582653A (zh) 一种基于多摄像头数据融合的智能视频监控方法及系统
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
CN108734712B (zh) 背景分割的方法、装置及计算机存储介质
CN107743263B (zh) 视频数据实时处理方法及装置、计算设备
CN108109107B (zh) 视频数据处理方法及装置、计算设备
CN110084306B (zh) 用于生成动态图像的方法和装置
CN107977644B (zh) 基于图像采集设备的图像数据处理方法及装置、计算设备
US20220385810A1 (en) Panoramic Video Data Process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant