CN109871760A - 一种人脸定位方法、装置、终端设备及存储介质 - Google Patents
一种人脸定位方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN109871760A CN109871760A CN201910037053.3A CN201910037053A CN109871760A CN 109871760 A CN109871760 A CN 109871760A CN 201910037053 A CN201910037053 A CN 201910037053A CN 109871760 A CN109871760 A CN 109871760A
- Authority
- CN
- China
- Prior art keywords
- face
- frame
- key point
- frame image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 84
- 238000012545 processing Methods 0.000 claims abstract description 70
- 230000003287 optical effect Effects 0.000 claims description 61
- 238000003062 neural network model Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 7
- 230000004807 localization Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 description 24
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000013519 translation Methods 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 6
- 210000000887 face Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种人脸定位方法、装置、终端设备及存储介质。所述方法包括：获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点；获取各所述第一人脸关键点在所述第一帧图像对应的图像坐标系中的各第一坐标；对各所述第一人脸关键点进行跟踪处理，得到跟踪处理结果；依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标；所述第一帧图像为所述第二帧图像的上一帧图像；依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框。本发明能够减少人脸关键点定位所需的时间，可以满足人脸定位实时处理的需求。
Description
技术领域
本发明涉及视频处理技术领域，特别是涉及一种人脸定位方法、装置、终端设备及存储介质。
背景技术
随着直播和短视频领域的飞速发展，在移动终端上出现了对人脸进行美颜、瘦脸和虚拟穿戴等需求，上述技术的实现依赖于视频流中的人脸关键点定位技术，主要分为两个部分：获取视频流中的人脸区域和定位人脸的关键点。
现有技术方案中，通常是对上述两部分分开进行处理的，人脸区域的获取是通过逐帧检测或者对人脸区域进行跟踪，然后在人脸框中进行关键点的定位。而人脸检测算法大多是基于卷积神经网络，对视频流中的每帧图像均做人脸检测和关键点定位过于耗时，无法满足实时处理的需求。
发明内容
本发明实施例所要解决的技术问题是提供一种人脸定位方法、装置、终端设备及存储介质，以解决现有技术中进行人脸检测过于耗时，无法满足实时处理需求的技术问题。
为了解决上述问题，本发明实施例提供了一种人脸定位方法，包括：获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点；获取各所述第一人脸关键点在所述第一帧图像对应的图像坐标系中的各第一坐标；对各所述第一人脸关键点进行跟踪处理，得到跟踪处理结果；依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标；所述第一帧图像为所述第二帧图像的上一帧图像；依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框。
优选地，所述依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标，包括：在所述第二帧图像渲染完成之后，依据所述跟踪处理结果，获取所述第二帧图像中跟踪得到的各所述第二人脸关键点；根据所述第一帧图像和所述第二帧图像，获取光流值；其中，所述光流值用于指示各所述第一人脸关键点与对应的各所述第二人脸关键点间的移动距离；依据所述光流值及各所述第一坐标，确定各所述第二人脸关键点对应的第二坐标。
优选地，在所述依据所述光流值及各所述第一坐标，确定各所述第二人脸关键点对应的第二坐标之后，还包括：依据各所述移动距离，计算得到平均距离；计算各所述移动距离与所述平均距离之间的差值；从各所述第二人脸关键点中获取所述差值小于差值中位数的一半的第二目标人脸关键点；依据各所述第二目标人脸关键点对应的初始第二坐标，对所有第二人脸关键点中除所述第二目标人脸关键点之外的其它第二人脸关键点对应的初始第二坐标进行校正；依据校正结果，确定各所述第二人脸关键点对应的第二坐标。
优选地，在所述获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点之后，还包括：对所述第一人脸框进行跟踪处理，得到所述第二帧图像中与所述第一人脸框对应的第二跟踪人脸框；在所述依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框之后，还包括：依据各所述第二坐标，判断各所述第二人脸关键点是否符合第一预设条件；在各所述第二人脸关键点不符合第一预设条件的情况下，获取所述第一人脸框的中点和所述第二跟踪人脸框的中点间的间隔距离；依据所述间隔距离、所述第一人脸框的长度和所述第一人脸框的宽度，判断所述第二跟踪人脸框是否符合第二预设条件；在所述第二跟踪人脸框符合所述第二预设条件的情况下，依据所述第二跟踪人脸框，通过预先训练好的神经网络模型，确定所述第二跟踪人脸框中的各第一预测人脸关键点。
优选地，在所述依据所述间隔距离、所述第一人脸框的长度和所述第一人脸框的宽度，判断所述第二跟踪人脸框是否符合第二预设条件之后，还包括：在所述第二跟踪人脸框不符合所述第二预设条件的情况下，依据所述第二跟踪人脸框获取检测人脸框；获取所述第二跟踪人脸框与所述检测人脸框之间的重叠区域和非重叠区域；计算所述重叠区域和所述非重叠区域的比值；在所述比值大于设定阈值的情况下，依据所述第二跟踪人脸框，通过所述神经网络模型，确定所述第二跟踪人脸框中的各第二预测人脸关键点；或者，在所述比值小于等于所述设定阈值的情况下，依据所述检测人脸框，通过所述神经网络模型，确定所述检测人脸框中的各第三预测人脸关键点。
优选地，在所述依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框之后，还包括：判断所述第二帧图像是否为所述视频流中的最后一帧图像；若是，则结束人脸定位处理流程。
为了解决上述问题，本发明实施例提供了一种人脸定位装置，包括：人脸框关键点获取模块，用于获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点；第一坐标获取模块，用于获取各所述第一人脸关键点在所述第一帧图像对应的图像坐标系中的各第一坐标；跟踪结果获取模块，用于对各所述第一人脸关键点进行跟踪处理，得到跟踪处理结果；第二关键点坐标确定模块，用于依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标；所述第一帧图像为所述第二帧图像的上一帧图像；第二人脸框获取模块，用于依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框。
优选地，所述第二关键点坐标确定模块包括：第二关键点获取子模块，用于在所述第二帧图像渲染完成之后，依据所述跟踪处理结果，获取所述第二帧图像中跟踪得到的各所述第二人脸关键点；光流值获取子模块，用于根据所述第一帧图像和所述第二帧图像，获取光流值；其中，所述光流值用于指示各所述第一人脸关键点与对应的各所述第二人脸关键点间的移动距离；第二坐标确定子模块，用于依据所述光流值及各所述第一坐标，确定各所述第二人脸关键点对应的第二坐标。
优选地，还包括：平均距离计算模块，用于依据各所述移动距离，计算得到平均距离；差值计算模块，用于计算各所述移动距离与所述平均距离之间的差值；目标关键点获取模块，用于从各所述第二人脸关键点中获取所述差值小于差值中位数的一半的第二目标人脸关键点；初始坐标校正模块，用于依据各所述第二目标人脸关键点对应的初始第二坐标，对所有第二人脸关键点中除所述第二目标人脸关键点之外的其它第二人脸关键点对应的初始第二坐标进行校正；第二坐标确定模块，用于依据校正结果，确定各所述第二人脸关键点对应的第二坐标。
优选地，还包括：第一人脸框跟踪模块，用于对所述第一人脸框进行跟踪处理，得到所述第二帧图像中与所述第一人脸框对应的第二跟踪人脸框；第一预设条件判断模块，用于依据各所述第二坐标，判断各所述第二跟踪人脸关键点是否符合第一预设条件；间隔距离获取模块，用于在各所述第二人脸关键点不符合第一预设条件的情况下，获取所述第一人脸框的中点和所述第二跟踪人脸框的中点间的间隔距离；第二预设条件判断模块，用于依据所述间隔距离、所述第一人脸框的长度和所述第一人脸框的宽度，判断所述第二跟踪人脸框是否符合第二预设条件；第一预测关键点确定模块，用于在所述第二跟踪人脸框符合所述第二预设条件的情况下，依据所述第二跟踪人脸框，通过预先训练好的神经网络模型，确定所述第二跟踪人脸框中的各第一预测人脸关键点。
优选地，还包括：检测人脸框获取模块，用于在所述第二人脸框不符合所述第二预设条件的情况下，依据所述第二人脸框获取检测人脸框；区域获取模块，用于获取所述第二人脸框与所述检测人脸框之间的重叠区域和非重叠区域；比值计算模块，用于计算所述重叠区域和所述非重叠区域的比值；第二预测关键点确定模块，用于在所述比值大于设定阈值的情况下，依据所述第二人脸框，通过所述神经网络模型，确定所述第二人脸框中的各第二预测人脸关键点；或者，第三预测关键点确定模块，用于在所述比值小于等于所述设定阈值的情况下，依据所述检测人脸框，通过所述神经网络模型，确定所述检测人脸框中的各第三预测人脸关键点。
优选地，还包括：最后一帧图像判断模块，用于判断所述第二帧图像是否为所述视频流中的最后一帧图像；定位流程结束模块，用于在所述第二帧图像为最后一帧图像时，结束人脸定位处理流程。
为了解决上述问题，本发明实施例提供了一种终端设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一项所述的人脸定位方法的步骤。
为了解决上述问题，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的人脸定位方法的步骤。
与现有技术相比，本发明实施例包括以下优点：
本发明实施例中，通过获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点，获取各第一人脸关键点在第一帧图像对应的图像坐标系中的各第一坐标，对各第一人脸关键点在第一帧图像对应的图像坐标系中的各第一坐标，对各第一人脸关键点进行跟踪处理，得到跟踪处理结果，并依据跟踪处理结果及各第一坐标，确定第二帧图像中的各第一人脸关键点对应的各第二人脸关键点，及各第二人脸关键点对应的第二坐标，且第一帧图像为第二帧图像的上一帧图像，进而依据各第二坐标，确定第二帧图像中的与第一人脸框对应的第二人脸框。本发明实施例通过对视频流中的上一帧图像中的各人脸关键点进行跟踪，从而跟踪得到当前帧图像中的各人脸关键点，进而根据当前帧图像对应的人脸关键点确定第二人脸框，通过对人脸关键点进行跟踪，从而避免了对人脸框的跟踪需要每次都采用人脸检测算法进行人脸关键点的定位的问题，减少了人脸关键点定位的时间，能够满足人脸定位实时处理的需求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
图1示出了本发明实施例提供的一种人脸定位方法的步骤流程图；
图2示出了本发明实施例提供的一种人脸定位方法的步骤流程图；
图3示出了本发明实施例提供的一种人脸定位装置的结构示意图；
图4示出了本发明实施例提供的一种人脸定位装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明实施例提供的一种人脸定位方法的步骤流程图，具体可以包括如下步骤：
步骤101：获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点。
本发明实施例可以应用于直播和短视频等需要对人脸实时处理(如美颜、瘦脸等)时，需要快速定位人脸的场景中，如xx直播、xx短视频等等。
视频流是指在直播或视频拍摄的过程中实时采集的视频流数据，其中，视频流中包含有人脸图像序列。
第一帧图像是指视频流中的某一帧，而并非是限定于视频流中按帧数顺序排列的第一帧，例如，视频流中包含4帧图像序列，分别为图像1、图像2、图像3和图像4，第一帧图像可以为图像1，也可以为图像3，还可以为图像2等等。
可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明实施例的唯一限制。
人脸关键点是指人脸上的关键点，包括但不限于眼睛(如眼角、眼球中心、眼尾)、鼻子(如鼻尖、鼻翼)、嘴巴(如嘴唇、唇角、唇边)、下巴、眉角等关键点。
人脸框是指包含人脸的图像中的人脸区域，在本发明实施例中，人脸框为一长方形区域，可以用长方形区域的四个顶点表示(左上角、左下角、右上角和右下角)。
在获取到视频流中的第一帧图像之后，可以采用人脸检测技术，检测第一帧图像中的人脸区域，即第一人脸框，进而可以采用人脸关键点定位方法，定位出第一人脸关键点。
当然，在进行人脸检测和人脸关键点定位时，可以采用预先训练好的人脸神经网络模型，输入第一帧图像，从而获取第一帧图像中的第一人脸关键点和第一人脸框。
在实际应用中，本领域技术人员可以根据实际需要选择任何一种可以获取第一帧人脸图像中的第一人脸关键点和第一人脸框的方法，本发明实施例对此不加以限制。
在获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点之后，执行步骤102。
步骤102：获取各所述第一人脸关键点在所述第一帧图像对应的图像坐标系中的各第一坐标。
在获取第一帧图像中的第一人脸关键点和第一人脸框之后，可以结合第一帧图像建立对应的图像坐标系，可以以第一帧图像的某一顶点作为坐标原点，例如，建立图像坐标系之后，以第一帧图像的左上角顶点或左下角顶点作为坐标原点等等。
在建立图像坐标系之后，可以获取各第一人脸关键点在图像坐标系中对应的第一坐标。
在获取各第一人脸关键点在第一帧图像对应的图像坐标系中的各第一坐标之后，执行步骤103。
步骤103：对各所述第一人脸关键点进行跟踪处理，得到跟踪处理结果。
人脸跟踪技术是指在连续的视频帧序列跟踪一个或多个人脸，并实时输出每帧人脸图像中人脸关键点。
人脸关键点的跟踪通常是对人脸面部的关键点添加关键点标识，并对各关键点标识进行跟踪，例如，通过对上一帧人脸图像中的各人脸关键点添加标识，并进行跟踪，从而得到的跟踪处理结果即为当前帧图像中的人脸关键点。
当然，还可以基于神经网络模型进行跟踪，例如，首先提取人脸的68个关键点，然后用自相关的神经网络将它映射到5维空间中，再用一个普通的多层感知器进行判别，从而完成人脸关键点的跟踪。
在具体实现中，本领域技术人员还可以采用其它跟踪技术对人脸关键点进行跟踪，以得到跟踪处理结果，本发明实施例在此不再一一赘述。
在对各第一人脸关键点进行跟踪处理，得到跟踪处理结果之后，执行步骤104。
步骤104：依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标；所述第一帧图像为所述第二帧图像的上一帧图像。
在本发明实施例中，第一帧图像为视频流中第二帧图像的上一帧图像，也即，第一帧图像与第二帧图像是属于同一视频的两个相邻图像。例如，视频流中有5帧图像，按帧数先后排列顺序依次为图像a、图像b、图像c、图像d和图像e，在第一帧图像为图像a时，则第二帧图像为图像b；在第一帧图像为图像d时，则第二帧图像为图像e等等。
可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明实施例的唯一限制。
通过上述人脸跟踪技术，对第一帧图像中的各第一人脸关键点进行跟踪，可以获取第二帧图像中的与各第一人脸关键点对应的第二人脸关键点，即通过跟踪技术，可以确定变化之后的第二帧图像中各第二人脸关键点所处的位置。
通过跟踪变化结果，可以依据各第一人脸关键点所对应的第一坐标，可以结合跟踪变化值，确定出各第二人脸关键点对应的第二坐标。
而对于通过跟踪技术获取各第二人脸关键点对应的第二坐标的具体方式将以下述优选实施例进行详细描述。
在本发明实施例的一种优选实施例中，上述步骤104可以包括：
子步骤A1：在所述第二帧图像渲染完成之后，依据所述跟踪处理结果，获取所述第二帧图像中跟踪得到的各所述第二人脸关键点。
在本发明实施例中，在对第一帧图像中的各第一人脸关键点进行跟踪处理，并在第二帧图像渲染完成之后，可以依据跟踪处理结果，获取第二帧图像中跟踪得到的各第二人脸关键点。
在获取第二帧图像中跟踪得到的各第二人脸关键点之后，执行子步骤A2。
子步骤A2：根据所述第一帧图像和所述第二帧图像，获取光流值；其中，所述光流值用于指示各所述第一人脸关键点与对应的各所述第二人脸关键点间的移动距离。
光流值是指用于指示各第一人脸关键点与对应的各第二人脸关键点间的移动距离的值。
人脸在运动时，包括该人脸的时变图像上对应点的亮度模式也在随时间变化，这种图像亮度模式的表观运动就是光流(Optical Flow)，根据第一帧图像和第二帧图像可以获取光流值，可以根据Gunnar Farneback的稠密光流算法或Lucas–Kanade光流算法等算法获取存在于第一帧图像与第二帧图像中的各人脸关键点的光流向量，即为光流值。
可以理解地，在从第一帧图像变换至第二帧图像的过程中，各人脸关键点的光流值是相同的，即移动距离值，而通过人脸跟踪技术确定的第二人脸关键点可能存在不同的误差，因此，在本发明实施例中，可以分别获取各第一人脸关键点与对应的第二人脸关键点的初始光流值，即各第一人脸关键点与对应的第二人脸关键点之间的移动距离的值，从而计算出多个初始光流值的平均值，以作为最后确定的光流值。
在根据第一帧图像和第二帧图像获取光流值之后，执行子步骤A3。
子步骤A3：依据所述光流值及各所述第一坐标，确定各所述第二人脸关键点对应的第二坐标。
在得到光流值之后，可以结合各第一坐标计算得到各第二人脸关键点对应的初始第二坐标，通过将第一坐标与光流值相加得到第二坐标，例如，第一坐标包括(3，3)、(3，4)、(4，4)，获取的光流值为一向量值，即(1，1)，则根据光流值与第一坐标获取的对应的初始第二坐标分别为(4，4)、(4，5)、(5，5)。
可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明实施例的唯一限制。
当然，在本发明实施例中，在得到第二帧图像中各第二人脸关键点对应的第二坐标之后，还可以对各第二坐标进行校正，以提高得到的第二坐标的精度，具体地，以下述优选实施例进行详细描述。
在本发明实施例中，在上述子步骤A3之后，还可以包括：
步骤B1：依据各所述移动距离，计算得到平均距离。
在本发明实施例中，平均距离是指各第一人脸关键点与对应的各第二人脸关键点之间的移动距离的平均值，例如，3个第一人脸关键点及对应的3个第二人脸关键点的移动距离分别为1cm、3cm、2cm，则平均距离即为(1+2+3)/3＝2cm。
可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明实施例的唯一限制。
在上述子步骤A2中，在获取光流值之后，即可获取第一帧图像中各第一人脸关键点与第二帧图像中对应的各第二人脸关键点的移动距离，进而可以将各移动距离求和，并除以关键点的个数，即可得到平均距离。
在计算得到平均距离之后，执行步骤B2。
步骤B2：计算各所述移动距离与所述平均距离之间的差值。
在计算得到平均距离之后，可以计算各第一人脸关键点和对应的各第二人脸关键点的移动距离与平均距离之间的差值，例如，平均距离为2cm，有2个第一人脸关键点与第二人脸关键点间的移动距离，分别为2cm、3cm，则计算得到的差值分别为0和1。
可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明实施例的唯一限制。
在计算得到各移动距离与平均距离之间的差值之后，执行步骤B3。
步骤B3：从各所述第二人脸关键点中获取所述差值小于差值中位数的一半的第二目标人脸关键点。
差值中位数是指各移动距离和平均距离的差值，按照从大到小的顺序进行排序，或按照从小到达的顺序进行排序之后，从而选择位于中间位置的差值，即为差值中位数。
当然，在得到的差值的个数为奇数时，直接选取排序后的中间的差值作为差值中位数即可，例如，得到的差值按从小到大的顺序进行排序，得到的排序结果为：1、2、5、8、9，则差值中位数即为5。
而在得到的差值的个数为偶数时，则可以在排序后，选取位于中间位置的两个的差值，以其中任一个差值作为差值中位数即可，例如，得到的差值按从小到大的顺序进行排序，得到的排序结果为：3、4、6、7、10、11，则可以选择差值6作为差值中位数，也可以选择差值7作为差值中位数。
可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明实施例的唯一限制。
差值中位数的一半即为差值中位数的1/2，例如，在差值中位数为10时，则差值中位数的一半即为5，而在差值中位数为5时，则差值中位数的一半即为2.5。
第二目标人脸关键点是指从第二人脸关键点中选择的人脸关键点。
在上述步骤B2中，计算得到各移动距离与平均距离之间的差值之后，可以将各第二人脸关键点对应的差值，分别与差值中位数进行比较，从各第二人脸关键点中获取差值小于差值中位数的一半的第二目标人脸关键点。
在从各第二人脸关键点中获取差值小于差值中位数的一半的第二目标人脸关键点之后，执行步骤B4。
步骤B4：依据各所述第二目标人脸关键点对应的初始第二坐标，对所有第二人脸关键点中除所述第二目标人脸关键点之外的其它第二人脸关键点对应的初始第二坐标进行校正。
初始第二坐标即为通过上述子步骤A1～子步骤A3，依据光流值获取的各第二目标人脸关键点对应的坐标。
在获取第二目标人脸关键点之后，可以获取各第二目标人脸关键点对应的初始第二坐标，利用各第二目标人脸关键点对应的初始第二坐标，对所有第二人脸关键点中除第二目标人脸关键点之外的、其它第二人脸关键点对应的初始第二坐标进行校正，例如，5个第二人脸关键点分别为关键点1、关键点2、关键点3、关键点4和关键点5，其中，关键点1和关键点2为第二目标人脸关键点，也即在获取第二目标人脸关键点：关键点1和关键点2之后，则可以结合关键点1和关键点2分别对应的第二初始坐标，对关键点3、关键点4和关键点5分别对应的第二初始坐标进行调整。
具体地，调整过程可以采用如下述示例所描述的方案：结合上述示例，可以结合关键点1和关键点2的第二初始坐标，计算两个第二初始坐标与关键点1和2对应的第一帧图像中的第一坐标，计算出两个移动距离，并计算两个移动距离的平均距离，进而，结合关键点3、关键点4和关键点5分别对应的第一帧图像中的第一坐标，利用上述过程计算得到的平均距离，计算出关键点3、关键点4和关键点5分别对应的调整后的第二初始坐标，即利用关键点3、4和5对应的第一坐标，分别与平均距离相加，即可得到调整后的第二初始坐标。以完成第二初始坐标的校正过程。
可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明实施例的唯一限制。
在依据各第二目标人脸关键点对应的初始第二坐标，对所有第二人脸关键点中除第二目标人脸关键点之外的其它第二人脸关键点对应的初始第二坐标进行校正之后，执行步骤B5。
步骤B5：依据校正结果，确定各所述第二人脸关键点对应的第二坐标。
在获取校正结果之后，可以依据校正结果及未进行校正的第二人脸关键点对应的第二初始坐标，从而确定出第二帧图像中各第二人脸关键点对应的第二坐标，也即将各第二目标人脸关键点对应的第二初始坐标作为第二坐标，并将所有第二人脸关键点中除第二目标人脸关键点之外的、其它第二人脸关键点对应的初始第二坐标进行校正之后对应的调整后的第二初始坐标作为第二坐标，例如，第二人脸关键点包括关键点a、关键点b、关键点c、关键点d，关键点a和关键点b为第二目标人脸关键点，则将关键点a和关键点b对应的第二初始坐标作为第二坐标，并按照上述步骤208中的调整方式对关键点c和关键点d对应的第二初始坐标进行调整，并将调整后的第二初始坐标作为与关键点c和关键点d对应的第二坐标。
可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明实施例的唯一限制。
本发明实施例中，通过对第二人脸关键点对应的第二坐标进行调整，从而可以使得到的第二帧图像中第二人脸关键点的定位更加精确，提升了人脸关键点定位的精度。
在获取各第二人脸关键点及各第二人脸关键点对应的第二坐标之后，执行步骤105。
步骤105：依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框。
在获取各第二坐标之后，可以根据第二坐标重新进行统计，从而获取第二帧图像中与第一人脸框对应的第二人脸框，具体地，可以结合各第二人脸关键点对应的第二坐标，统计出新的第二人脸框，而非是通过人脸框的跟踪去检测识别人脸关键点，也就不需要在获取每帧图像中的人脸关键点时，均需对每帧图像做人脸检测和关键点定位的过程，节省了人脸关键点定位的时间。
本发明实施例提供的人脸定位方法，通过获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点，获取各第一人脸关键点在第一帧图像对应的图像坐标系中的各第一坐标，对各第一人脸关键点在第一帧图像对应的图像坐标系中的各第一坐标，对各第一人脸关键点进行跟踪处理，得到跟踪处理结果，并依据跟踪处理结果及各第一坐标，确定第二帧图像中的各第一人脸关键点对应的各第二人脸关键点，及各第二人脸关键点对应的第二坐标，且第一帧图像为第二帧图像的上一帧图像，进而依据各第二坐标，确定第二帧图像中的与第一人脸框对应的第二人脸框。本发明实施例通过对视频流中的上一帧图像中的各人脸关键点进行跟踪，从而跟踪得到当前帧图像中的各人脸关键点，进而根据当前帧图像对应的人脸关键点确定第二人脸框，通过对人脸关键点进行跟踪，从而避免了对人脸框的跟踪需要每次都采用人脸检测算法进行人脸关键点的定位的问题，减少了人脸关键点定位的时间，能够满足人脸定位实时处理的需求。
参照图2，示出了本发明实施例提供的一种人脸定位方法的步骤流程图，具体可以包括如下步骤：
步骤201：获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点。
本发明实施例可以应用于直播和短视频等需要对人脸实时处理(如美颜、瘦脸等)时，需要快速定位人脸的场景中，如xx直播、xx短视频等等。
视频流是指在直播或视频拍摄的过程中实时采集的视频流数据，其中，视频流中包含有人脸图像序列。
第一帧图像是指视频流中的某一帧，而并非是限定于视频流中按帧数顺序排列的第一帧，例如，视频流中包含4帧图像序列，分别为图像1、图像2、图像3和图像4，第一帧图像可以为图像1，也可以为图像3，还可以为图像2等等。
可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明实施例的唯一限制。
人脸关键点是指人脸上的关键点，包括但不限于眼睛(如眼角、眼球中心、眼尾)、鼻子(如鼻尖、鼻翼)、嘴巴(如嘴唇、唇角、唇边)、下巴、眉角等关键点。
人脸框是指包含人脸的图像中的人脸区域，在本发明实施例中，人脸框为一长方形区域，可以用长方形区域的四个顶点表示(左上角、左下角、右上角和右下角)。
在获取到视频流中的第一帧图像之后，可以采用人脸检测技术，检测第一帧图像中的人脸区域，即第一人脸框，进而可以采用人脸关键点定位方法，定位出第一人脸关键点。
当然，在进行人脸检测和人脸关键点定位时，可以采用预先训练好的人脸神经网络模型，输入第一帧图像，从而获取第一帧图像中的第一人脸关键点和第一人脸框。
在实际应用中，本领域技术人员可以根据实际需要选择任何一种可以获取第一帧人脸图像中的第一人脸关键点和第一人脸框的方法，本发明实施例对此不加以限制。
在获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点之后，执行步骤202和步骤203。
步骤202：对所述第一人脸框进行跟踪处理，得到所述第二帧图像中与所述第一人脸框对应的第二跟踪人脸框。
在获取视频流中第一帧图像中的第一人脸框之后，可以对第一人脸框进行跟踪，从而在第二帧图像渲染完成之后，可以根据人脸框跟踪结果，得到第二帧图像中与第一人脸框对应的第二人脸框。
此处得到的第二人脸框即为第二跟踪人脸框，可以用于对后续的依据跟踪得到的各第二人脸关键点确定的第二人脸框进行检测，具体地，将在下述步骤中进行详细描述。
步骤203：获取各所述第一人脸关键点在所述第一帧图像对应的图像坐标系中的各第一坐标。
在获取第一帧图像中的第一人脸关键点和第一人脸框之后，可以结合第一帧图像建立对应的图像坐标系，可以以第一帧图像的某一顶点作为坐标原点，例如，建立图像坐标系之后，以第一帧图像的左上角顶点或左下角顶点作为坐标原点等等。
在建立图像坐标系之后，可以获取各第一人脸关键点在图像坐标系中对应的第一坐标。
在获取各第一人脸关键点在第一帧图像对应的图像坐标系中的各第一坐标之后，执行步骤204。
步骤204：对各所述第一人脸关键点进行跟踪处理，得到跟踪处理结果。
人脸跟踪技术是指在连续的视频帧序列跟踪一个或多个人脸，并实时输出每帧人脸图像中人脸关键点。
人脸关键点的跟踪通常是对人脸面部的关键点添加关键点标识，并对各关键点标识进行跟踪，例如，通过对上一帧人脸图像中的各人脸关键点添加标识，并进行跟踪，从而得到的跟踪处理结果即为当前帧图像中的人脸关键点。
当然，还可以基于神经网络模型进行跟踪，例如，首先提取人脸的68个关键点，然后用自相关的神经网络将它映射到5维空间中，再用一个普通的多层感知器进行判别，从而完成人脸关键点的跟踪。
在具体实现中，本领域技术人员还可以采用其它跟踪技术对人脸关键点进行跟踪，以得到跟踪处理结果，本发明实施例在此不再一一赘述。
在对各第一人脸关键点进行跟踪处理，得到跟踪处理结果之后，执行步骤205。
步骤205：依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标；所述第一帧图像为所述第二帧图像的上一帧图像。
在本发明实施例中，第一帧图像为视频流中第二帧图像的上一帧图像，也即，第一帧图像与第二帧图像是属于同一视频的两个相邻图像。例如，视频流中有5帧图像，按帧数先后排列顺序依次为图像a、图像b、图像c、图像d和图像e，在第一帧图像为图像a时，则第二帧图像为图像b；在第一帧图像为图像d时，则第二帧图像为图像e等等。
可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明实施例的唯一限制。
通过上述人脸跟踪技术，对第一帧图像中的各第一人脸关键点进行跟踪，可以获取第二帧图像中的与各第一人脸关键点对应的第二人脸关键点，即通过跟踪技术，可以确定变化之后的第二帧图像中各第二人脸关键点所处的位置。
通过跟踪变化结果，可以依据各第一人脸关键点所对应的第一坐标，可以结合跟踪变化值，确定出各第二人脸关键点对应的第二坐标。
对于第二坐标的获取可以结合光流值的方式进行获取，具体地，在第二帧图像渲染完成之后，可以依据跟踪处理结果，获取第二帧图像中跟踪得到的各第二人脸关键点，并依据第二帧图像获取光流值，光流值是指用于指示各第一人脸关键点与对应的各第二人脸关键点间的移动距离的值。
人脸在运动时，包括该人脸的时变图像上对应点的亮度模式也在随时间变化，这种图像亮度模式的表观运动就是光流(Optical Flow)，根据第一帧图像和第二帧图像可以获取光流值，可以根据Gunnar Farneback的稠密光流算法或Lucas–Kanade光流算法等算法获取存在于第一帧图像与第二帧图像中的各人脸关键点的光流向量，即为光流值。
可以理解地，在从第一帧图像变换至第二帧图像的过程中，各人脸关键点的光流值是相同的，即移动距离值，而通过人脸跟踪技术确定的第二人脸关键点可能存在不同的误差，因此，在本发明实施例中，可以分别获取各第一人脸关键点与对应的第二人脸关键点的初始光流值，即各第一人脸关键点与对应的第二人脸关键点之间的移动距离的值，从而计算出多个初始光流值的平均值，以作为最后确定的光流值。
在得到光流值之后，可以结合各第一坐标计算得到各第二人脸关键点对应的初始第二坐标，通过将第一坐标与光流值相加得到第二坐标，例如，第一坐标包括(3，3)、(3，4)、(4，4)，获取的光流值为一向量值，即(1，1)，则根据光流值与第一坐标获取的对应的初始第二坐标分别为(4，4)、(4，5)、(5，5)。
可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明实施例的唯一限制。
在依据跟踪处理结果及各第一坐标，确定第二帧图像中的各第一人脸关键点对应的各第二人脸关键点，及各第二人脸关键点对应的第二坐标之后，执行步骤206。
步骤206：依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框。
在获取各第二坐标之后，可以根据第二坐标重新进行统计，从而获取第二帧图像中与第一人脸框对应的第二人脸框，具体地，可以结合各第二人脸关键点对应的第二坐标，统计出新的第二人脸框，而非是通过人脸框的跟踪去检测识别人脸关键点，也就不需要在获取每帧图像中的人脸关键点时，均需对每帧图像做人脸检测和关键点定位的过程，节省了人脸关键点定位的时间。
步骤207：依据各所述第二坐标，判断各所述第二人脸关键点是否符合第一预设条件。
本发明实施例中，在获取第二帧图像中的各第二人脸关键点对应的第二坐标之后，可以依据各第二坐标判断各第二人脸关键点是否符合第一预设条件，也即判断各第二人脸关键点是否可靠。
在各第二人脸关键点符合第一预设条件的情况下，则获取的各第二人脸关键点为可靠的关键点；在各第二人脸关键点不符合第一预设条件的情况下，则获取的各第二人脸关键为不可靠的关键点。
对于结合各第二坐标判断各第二人脸关键点是否可靠的方式可以采用下述两种方式执行：
1、依据最小外接矩形进行判断的方式
获取各第二坐标中的横坐标对应的最大值和最小值，及纵坐标对应的最大值和最小值，并依据横坐标最大值、横坐标最小值、纵坐标最大值和纵坐标最小值作为边界的矩形，该矩形包含了所有的第二人脸关键点，进而可以将矩形的宽高比与设定宽高比阈值进行比较，在矩形的宽高比超过设定宽高比阈值时，则认为跟踪得到的各第二人脸关键点不可靠，即不符合第一预设条件。
2、脸部轮廓拟合的抛物线进行判断的方式
脸部轮廓通常为锥形结构，在获取各第二人脸关键点对应的第二坐标之后，可以选取脸部轮廓包含的多个人脸关键点第二坐标，并利用这些第二坐标拟合得到一抛物线，然后利用拟合得到的抛物线的二次项系数的绝对值表示开口大小，当抛物线开口大小超出预设开口阈值的情况下，则判定跟踪到的第二人脸关键点不可靠，即不符合第一预设条件。
当然，在具体实现中，还可以采用其它方式对各第二人脸关键点是否可靠进行判断，本发明实施例对此不加以限制。
在依据上述判断条件确定各第二人脸关键点可靠的情况下，则可以确定根据各第二人脸关键点重新统计得到的第二人脸框也是可靠的，从而可以结束人脸定位流程。
而在依据各第二坐标，判断各第二人脸关键点是否符合第一预设条件之后，执行步骤208。
步骤208：在各所述第二人脸关键点不符合第一预设条件的情况下，获取所述第一人脸框的中点和所述第二跟踪人脸框的中点间的间隔距离。
可以理解地，本发明实施例中所描述的人脸框为一方形人脸框，在获取第一人脸框的四个顶点坐标和第二跟踪人脸框的四个顶点坐标之后，可以计算得到第一人脸框的中心点坐标和第二跟踪人脸框的中心点坐标。
在依据上述判断条件判断出各第二人脸关键点不符合第一预设条件的情况下，即各第二人脸关键点不可靠的情况下，则可以根据第一人脸框的中心点坐标和第二跟踪人脸框的中心点坐标，获取两个中心点之间的间隔距离，即第一人脸框的中点和第二跟踪人脸框的中点间的间隔距离。
在获取间隔距离之后，执行步骤209。
步骤209：依据所述间隔距离、所述第一人脸框的长度和所述第一人脸框的宽度，判断所述第二跟踪人脸框是否符合第二预设条件。
在获取间隔距离之后，可以依据间隔距离，结合第一人脸框的长读和宽度，判断第二人脸框是否符合第二预设条件，即判断第二跟踪人脸框是否可靠，具体地，可以采用下述方式进行判断。
1、采用平移变化率判断第二跟踪人脸框是否可靠
平移变化率是指为人脸框的中点平移量与人脸框大小的比值，包括第二帧人脸框的中点相对于第一帧人脸框的中点横坐标差值的绝对值与第一人脸框宽度的比值，第二帧跟踪人脸框的中点相对于第一帧人脸框的中点纵坐标差值的绝对值与第一人脸框高度的比值，人脸框中点是指矩形框的中点，可以计算左上角与右下角坐标的均值、或者左下角与右上角坐标的均值，取两个比值中的最大值。
平移变化率可以按照下述公式(1)表示：
上述公式(1)中，xt表示第二跟踪人脸框中点的横坐标，xt-1表示第一人脸框中点的横坐标，yt表示第二跟踪人脸框中点的纵坐标，yt-1表示第一人脸框中心的纵坐标，wt-1表示第一人脸框宽度，ht-1表示第一人脸框高度。
当平移变化率小于等于设定平移变化率阈值时，则表示得到的第二跟踪人脸框是可靠的，而当平移变化率大于设定平移变化率阈值时，则表示第二跟踪人脸框不可靠。
可以理解地，设定平移变化率阈值是由研发人员根据经验预先设定的，而对于设定平移变化率阈值的具体数值，本发明实施例不加以限制。
2、采用尺度变化率判断第二跟踪人脸框是否可靠
尺度变化率是指人脸框大小的变化量与人脸框大小的比值，包括第二人脸框宽度相对于第一人脸框宽度差值的绝对值与第一人脸框宽度的比值，第二人脸框高度相对于第一人脸框高度差值的绝对值与第一人脸框高度的比值，取两个比值中的最大值。
尺度变化率可以按照下述公式(2)表示：
上述公式(2)中，wt-1表示第一人脸框宽度，wt表示第二跟踪人脸框宽度，yt表示第二跟踪人脸框中点的纵坐标，yt-1表示第一人脸框中心的纵坐标，ht-1表示第一人脸框高度。
当尺度变化率小于等于设定尺度变化率阈值时，则表示得到的第二跟踪人脸框是可靠的，而当尺度变化率大于设定尺度变化率阈值时，则表示第二跟踪人脸框不可靠。
可以理解地，设定尺度变化率阈值是由研发人员根据经验预先设定的，而对于设定尺度变化率阈值的具体数值，本发明实施例不加以限制。
当然，在具体实现中，还可以采用其它方式判断第二跟踪人脸框是否可靠，即是否符合第二预设条件，可以根据实际情况而定，本发明实施例对此不加以限制。
在依据间隔距离、第一人脸框的长度和第一人脸框的高度，判断第二人脸框是否符合第二预设条件之后，执行步骤210。
步骤210：在所述第二跟踪人脸框符合所述第二预设条件的情况下，依据所述第二跟踪人脸框，通过预先训练好的神经网络模型，确定所述第二人脸框中的各第一预测人脸关键点。
在预先训练好的神经网络模型中预先存储有与各种类型(如大小、倾斜角度等等)的人脸框，并在各种类型的人脸框中均预先设置有相应的关键点。
在第二跟踪人脸框符合第二预设条件的情况下，即依据第二预设条件判断第二跟踪人脸框可靠时，可以将第二跟踪人脸框输入预先训练好的神经网络模型，通过神经网络模型对第二跟踪人脸框中的各第二人脸关键点进行预测，从而确定第二跟踪人脸框中的各第一预测人脸关键点。
步骤211：在所述第二跟踪人脸框不符合所述第二预设条件的情况下，依据所述第二跟踪人脸框获取检测人脸框。
检测人脸框是指第二帧图像中采用人脸检测算法获得的人脸框。
在确定第二跟踪人脸框不符合第二预设条件的情况下，即第二跟踪人脸框不可靠的情况下，可以使用人脸检测算法进行验证。
人脸检测可以分为粗定位和精校两个模块，在采用人脸跟踪技术跟踪成功时，即使跟踪得到的第二跟踪人脸框不可靠，也提供了大致的人脸区域，因而可以直接作为检测精校模块的基准。人脸检测模型是对丰富的预存的人脸数据库进行拟合，具有较强的泛化能力，但对不同角度拍摄的人脸可能存在较大波动；跟踪视频中特定的人脸目标，延续性较强。
在第二跟踪人脸框不符合第二预设条件的情况下，可以使用人脸检测的方式依据跟踪的第二跟踪人脸框获取人脸检测框。
在得到人脸检测框之后，执行步骤212。
步骤212：获取所述第二跟踪人脸框与所述检测人脸框之间的重叠区域和非重叠区域。
在获取第二帧图像中的人脸检测框之后，可以获取第二跟踪人脸框和检测人脸框之间的重叠区域和非重叠区域，即第二跟踪人脸框和检测人脸框在第二帧图像的交集和并集。
在本发明中，检测人脸框与第二跟踪人脸框均为矩形，交集是指它们共同包含的像素，并集是指包含在检测人脸框或者第二跟踪人脸框中的像素。
在获取第二跟踪人脸框与检测人脸框之间的重叠区域和非重叠区域之后，执行步骤213。
步骤213：计算所述重叠区域和所述非重叠区域的比值。
在获取第二跟踪人脸框和检测人脸框之间的重叠区域和非重叠区域之后，可以计算重叠区域和非重叠区域的比值，并执行步骤214。
步骤214：在所述比值大于设定阈值的情况下，依据所述第二跟踪人脸框，通过所述神经网络模型，确定所述第二跟踪人脸框中的各第二预测人脸关键点。
设定阈值是根据研发人员的经验预先设定的数值，对于设定阈值的大小可以是在研发执行人脸定位流程之前预先设定的，而对于设定阈值的具体数值可以根据实际情况而定，本发明实施例在此不再加以赘述。
第二预测人脸关键点是指第二帧图像中的人脸关键点。
在重叠区域与非重叠区域的比值大于设定阈值的情况下，可以将跟踪得到的第二跟踪人脸框作为相对较为精确的人脸框，即根据第二跟踪人脸框进行第二帧图像的人脸关键点预测，而预测方式可以是如上述步骤210中所描述的方式，即将第二跟踪人脸框输入预先训练好的神经网络模型，通过神经网络模型，确定出第二跟踪人脸框中的各第二预测人脸关键点。
步骤215：在所述比值小于等于所述设定阈值的情况下，依据所述检测人脸框，通过所述神经网络模型，确定所述检测人脸框中的各第三预测人脸关键点。
第三预测人脸关键点是指第二帧图像中的人脸关键点。
在重叠区域与非重叠区域的比值小于等于设定阈值的情况下，可以将检测人脸框作为相对较为精确的人脸框，即根据检测人脸框进行第二帧图像的人脸关键点预测，而预测方式可以是如上述步骤210中所描述的方式，即将检测人脸框输入预先训练好的神经网络模型，通过神经网络模型，确定出检测人脸框中的各第三预测人脸关键点。
步骤216：判断所述第二帧图像是否为所述视频流中的最后一帧图像。
步骤217：结束人脸定位处理流程。
在获取确定与第二帧图像中的与第一人脸框对应的第二人脸框之后，还可以判断第二帧图像是否为视频流中的最后一帧图像，例如，视频流包括5帧图像，分别为图像1、图像2、图像3、图像4、图像5，各帧图像按照视频流帧数排列，从先到后依次为：图像1、图像2、图像3、图像4、图像5，当第二帧图像为图像5时，表示第二帧图像为视频流中的最后一帧图像；而当第二帧图像并非图像5时，则表示第二帧图像并非最后一帧图像。
在第二帧图像并非最后一帧图像时，则可以继续采用上述步骤对第二帧图像之后的下一帧图像执行人脸定位流程。
而在第二帧图像为最后一帧图像时，则可以结束视频流的人脸定位流程。
本发明实施例提供的人脸定位方法，通过获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点，获取各第一人脸关键点在第一帧图像对应的图像坐标系中的各第一坐标，对各第一人脸关键点在第一帧图像对应的图像坐标系中的各第一坐标，对各第一人脸关键点进行跟踪处理，得到跟踪处理结果，并依据跟踪处理结果及各第一坐标，确定第二帧图像中的各第一人脸关键点对应的各第二人脸关键点，及各第二人脸关键点对应的第二坐标，且第一帧图像为第二帧图像的上一帧图像，进而依据各第二坐标，确定第二帧图像中的与第一人脸框对应的第二人脸框。本发明实施例通过对视频流中的上一帧图像中的各人脸关键点进行跟踪，从而跟踪得到当前帧图像中的各人脸关键点，进而根据当前帧图像对应的人脸关键点确定第二人脸框，通过对人脸关键点进行跟踪，从而避免了对人脸框的跟踪需要每次都采用人脸检测算法进行人脸关键点的定位的问题，减少了人脸关键点定位的时间，能够满足人脸定位实时处理的需求。
参照图3，示出了本发明实施例提供的一种人脸定位装置的结构示意图，具体可以包括：
人脸框关键点获取模块301，用于获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点；第一坐标获取模块302，用于获取各所述第一人脸关键点在所述第一帧图像对应的图像坐标系中的各第一坐标；跟踪结果获取模块303，用于对各所述第一人脸关键点进行跟踪处理，得到跟踪处理结果；第二关键点坐标确定模块304，用于依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标；所述第一帧图像为所述第二帧图像的上一帧图像；第二人脸框获取模块305，用于依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框。
优选地，所述第二关键点坐标确定模块304包括：第二关键点获取子模块，用于在所述第二帧图像渲染完成之后，依据所述跟踪处理结果，获取所述第二帧图像中跟踪得到的各所述第二人脸关键点；光流值获取子模块，用于根据所述第一帧图像和所述第二帧图像，获取光流值；其中，所述光流值用于指示各所述第一人脸关键点与对应的各所述第二人脸关键点间的移动距离；第二坐标确定子模块，用于依据所述光流值及各所述第一坐标，确定各所述第二人脸关键点对应的第二坐标。
优选地，所述装置还包括：平均距离计算模块，用于依据各所述移动距离，计算得到平均距离；差值计算模块，用于计算各所述移动距离与所述平均距离之间的差值；目标关键点获取模块，用于从各所述第二人脸关键点中获取所述差值小于差值中位数的一半的第二目标人脸关键点；初始坐标校正模块，用于依据各所述第二目标人脸关键点对应的初始第二坐标，对所有第二人脸关键点中除所述第二目标人脸关键点之外的其它第二人脸关键点对应的初始第二坐标进行校正；第二坐标确定模块，用于依据校正结果，确定各所述第二人脸关键点对应的第二坐标。
本发明实施例提供的人脸定位装置，通过获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点，获取各第一人脸关键点在第一帧图像对应的图像坐标系中的各第一坐标，对各第一人脸关键点在第一帧图像对应的图像坐标系中的各第一坐标，对各第一人脸关键点进行跟踪处理，得到跟踪处理结果，并依据跟踪处理结果及各第一坐标，确定第二帧图像中的各第一人脸关键点对应的各第二人脸关键点，及各第二人脸关键点对应的第二坐标，且第一帧图像为第二帧图像的上一帧图像，进而依据各第二坐标，确定第二帧图像中的与第一人脸框对应的第二人脸框。本发明实施例通过对视频流中的上一帧图像中的各人脸关键点进行跟踪，从而跟踪得到当前帧图像中的各人脸关键点，进而根据当前帧图像对应的人脸关键点确定第二人脸框，通过对人脸关键点进行跟踪，从而避免了对人脸框的跟踪需要每次都采用人脸检测算法进行人脸关键点的定位的问题，减少了人脸关键点定位的时间，能够满足人脸定位实时处理的需求。
参照图4，示出了本发明实施例提供的一种人脸定位装置的结构示意图，具体可以包括：
人脸框关键点获取模块401，用于获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点；第一人脸框跟踪模块402，用于对所述第一人脸框进行跟踪处理，得到所述第二帧图像中与所述第一人脸框对应的第二跟踪人脸框；第一坐标获取模块403，用于获取各所述第一人脸关键点在所述第一帧图像对应的图像坐标系中的各第一坐标；跟踪结果获取模块404，用于对各所述第一人脸关键点进行跟踪处理，得到跟踪处理结果；第二关键点坐标确定模块405，用于依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标；所述第一帧图像为所述第二帧图像的上一帧图像；第二人脸框获取模块406，用于依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框；第一预设条件判断模块407，用于依据各所述第二坐标，判断各所述第二人脸关键点是否符合第一预设条件；间隔距离获取模块408，用于在各所述第二人脸关键点不符合第一预设条件的情况下，获取所述第一人脸框的中点和所述第二跟踪人脸框的中点间的间隔距离；第二预设条件判断模块409，用于依据所述间隔距离、所述第一人脸框的长度和所述第一人脸框的宽度，判断所述第二跟踪人脸框是否符合第二预设条件；第一预测关键点确定模块410，用于在所述第二跟踪人脸框符合所述第二预设条件的情况下，依据所述第二跟踪人脸框，通过预先训练好的神经网络模型，确定所述第二跟踪人脸框中的各第一预测人脸关键点；检测人脸框获取模块411，用于在所述第二跟踪人脸框不符合所述第二预设条件的情况下，依据所述第二跟踪人脸框获取检测人脸框；区域获取模块412，用于获取所述第二跟踪人脸框与所述检测人脸框之间的重叠区域和非重叠区域；比值计算模块413，用于计算所述重叠区域和所述非重叠区域的比值；第二预测关键点确定模块414，用于在所述比值大于设定阈值的情况下，依据所述第二跟踪人脸框，通过所述神经网络模型，确定所述第二跟踪人脸框中的各第二预测人脸关键点；第三预测关键点确定模块415，用于在所述比值小于等于所述设定阈值的情况下，依据所述检测人脸框，通过所述神经网络模型，确定所述检测人脸框中的各第三预测人脸关键点；最后一帧图像判断模块416，用于判断所述第二帧图像是否为所述视频流中的最后一帧图像；定位流程结束模块417，用于在所述第二帧图像为最后一帧图像时，结束人脸定位处理流程。
本发明实施例提供的人脸定位装置，通过获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点，获取各第一人脸关键点在第一帧图像对应的图像坐标系中的各第一坐标，对各第一人脸关键点和第一人脸框进行跟踪处理，依据跟踪处理结果及各第一坐标，确定第二帧图像中的与各第一人脸关键点对应的各第二人脸关键点，及各第二人脸关键点对应的第二坐标，其中，第一帧图像为第二帧图像的上一帧图像，进而依据各第二坐标，确定第二帧图像中的与第一人脸框对应的第二人脸框。本发明实施例通过对视频流中的上一帧图像中的各人脸关键点进行跟踪，从而跟踪得到当前帧图像中的各人脸关键点，进而根据当前帧图像对应的人脸关键点确定第二人脸框，通过对人脸关键点进行跟踪，从而避免了采用人脸检测算法进行人脸关键点的定位，减少了人脸关键点定位的时间，能够满足人脸定位实时处理的需求。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可选的，本发明还提供一种终端设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述人脸定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
可选的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的人脸定位方法的步骤。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例中，通过获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点，获取各第一人脸关键点在第一帧图像对应的图像坐标系中的各第一坐标，对各第一人脸关键点和第一人脸框进行跟踪处理，依据跟踪处理结果及各第一坐标，确定第二帧图像中的与各第一人脸关键点对应的各第二人脸关键点，及各第二人脸关键点对应的第二坐标，其中，第一帧图像为第二帧图像的上一帧图像，进而依据各第二坐标，确定第二帧图像中的与第一人脸框对应的第二人脸框。本发明实施例通过对视频流中的上一帧图像中的各人脸关键点进行跟踪，从而跟踪得到当前帧图像中的各人脸关键点，进而根据当前帧图像对应的人脸关键点确定第二人脸框，通过对人脸关键点进行跟踪，从而避免了采用人脸检测算法进行人脸关键点的定位，减少了人脸关键点定位的时间，能够满足人脸定位实时处理的需求。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种人脸定位方法、一种人脸定位装置、一种终端设备和一种计算机可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (14)
1.一种人脸定位方法，其特征在于，包括：
获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点；
获取各所述第一人脸关键点在所述第一帧图像对应的图像坐标系中的各第一坐标；
对各所述第一人脸关键点进行跟踪处理，得到跟踪处理结果；
依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标；所述第一帧图像为所述第二帧图像的上一帧图像；
依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框。
2.根据权利要求1所述的方法，其特征在于，所述依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标，包括：
在所述第二帧图像渲染完成之后，依据所述跟踪处理结果，获取所述第二帧图像中跟踪得到的各所述第二人脸关键点；
根据所述第一帧图像和所述第二帧图像，获取光流值；其中，所述光流值用于指示各所述第一人脸关键点与对应的各所述第二人脸关键点间的移动距离；
依据所述光流值及各所述第一坐标，确定各所述第二人脸关键点对应的第二坐标。
3.根据权利要求2所述的方法，其特征在于，在所述依据所述光流值及各所述第一坐标，确定各所述第二人脸关键点对应的第二坐标之后，还包括：
依据各所述移动距离，计算得到平均距离；
计算各所述移动距离与所述平均距离之间的差值；
从各所述第二人脸关键点中获取所述差值小于差值中位数的一半的第二目标人脸关键点；
依据各所述第二目标人脸关键点对应的初始第二坐标，对所有第二人脸关键点中除所述第二目标人脸关键点之外的其它第二人脸关键点对应的初始第二坐标进行校正；
依据校正结果，确定各所述第二人脸关键点对应的第二坐标。
4.根据权利要求1所述的方法，其特征在于，在所述获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点之后，还包括：
对所述第一人脸框进行跟踪处理，得到所述第二帧图像中与所述第一人脸框对应的第二跟踪人脸框；
在所述依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框之后，还包括：
依据各所述第二坐标，判断各所述第二人脸关键点是否符合第一预设条件；
在各所述第二人脸关键点不符合第一预设条件的情况下，获取所述第一人脸框的中点和所述第二跟踪人脸框的中点间的间隔距离；
依据所述间隔距离、所述第一人脸框的长度和所述第一人脸框的宽度，判断所述第二跟踪人脸框是否符合第二预设条件；
在所述第二跟踪人脸框符合所述第二预设条件的情况下，依据所述第二跟踪人脸框，通过预先训练好的神经网络模型，确定所述第二人脸框中的各第一预测人脸关键点。
5.根据权利要求4所述的方法，其特征在于，在所述依据所述间隔距离、所述第一人脸框的长度和所述第一人脸框的宽度，判断所述第二跟踪人脸框是否符合第二预设条件之后，还包括：
在所述第二跟踪人脸框不符合所述第二预设条件的情况下，依据所述第二人脸框获取检测人脸框；
获取所述第二跟踪人脸框与所述检测人脸框之间的重叠区域和非重叠区域；
计算所述重叠区域和所述非重叠区域的比值；
在所述比值大于设定阈值的情况下，依据所述第二跟踪人脸框，通过所述神经网络模型，确定所述第二跟踪人脸框中的各第二预测人脸关键点；或者，
在所述比值小于等于所述设定阈值的情况下，依据所述检测人脸框，通过所述神经网络模型，确定所述检测人脸框中的各第三预测人脸关键点。
6.根据权利要求1所述的方法，其特征在于，在所述依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框之后，还包括：
判断所述第二帧图像是否为所述视频流中的最后一帧图像；
若是，则结束人脸定位处理流程。
7.一种人脸定位装置，其特征在于，包括：
人脸框关键点获取模块，用于获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点；
第一坐标获取模块，用于获取各所述第一人脸关键点在所述第一帧图像对应的图像坐标系中的各第一坐标；
跟踪结果获取模块，用于对各所述第一人脸关键点进行跟踪处理，得到跟踪处理结果；
第二关键点坐标确定模块，用于依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标；所述第一帧图像为所述第二帧图像的上一帧图像；
第二人脸框获取模块，用于依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框。
8.根据权利要求7所述的装置，其特征在于，所述第二关键点坐标确定模块包括：
第二关键点获取子模块，用于在所述第二帧图像渲染完成之后，依据所述跟踪处理结果，获取所述第二帧图像中跟踪得到的各所述第二人脸关键点；
光流值获取子模块，用于根据所述第一帧图像和所述第二帧图像，获取光流值；其中，所述光流值用于指示各所述第一人脸关键点与对应的各所述第二人脸关键点间的移动距离；
第二坐标确定子模块，用于依据所述光流值及各所述第一坐标，确定各所述第二人脸关键点对应的第二坐标。
9.根据权利要求8所述的装置，其特征在于，还包括：
平均距离计算模块，用于依据各所述移动距离，计算得到平均距离；
差值计算模块，用于计算各所述移动距离与所述平均距离之间的差值；
目标关键点获取模块，用于从各所述第二人脸关键点中获取所述差值小于差值中位数的一半的第二目标人脸关键点；
初始坐标校正模块，用于依据各所述第二目标人脸关键点对应的初始第二坐标，对所有第二人脸关键点中除所述第二目标人脸关键点之外的其它第二人脸关键点对应的初始第二坐标进行校正；
第二坐标确定模块，用于依据校正结果，确定各所述第二人脸关键点对应的第二坐标。
10.根据权利要求7所述的装置，其特征在于，还包括：
第一人脸框跟踪模块，用于对所述第一人脸框进行跟踪处理，得到所述第二帧图像中与所述第一人脸框对应的第二跟踪人脸框；
第一预设条件判断模块，用于依据各所述第二坐标，判断各所述第二人脸关键点是否符合第一预设条件；
间隔距离获取模块，用于在各所述第二人脸关键点不符合第一预设条件的情况下，获取所述第一人脸框的中点和所述第二跟踪人脸框的中点间的间隔距离；
第二预设条件判断模块，用于依据所述间隔距离、所述第一人脸框的长度和所述第一人脸框的宽度，判断所述第二跟踪人脸框是否符合第二预设条件；
第一预测关键点确定模块，用于在所述第二跟踪人脸框符合所述第二预设条件的情况下，依据所述第二跟踪人脸框，通过预先训练好的神经网络模型，确定所述第二跟踪人脸框中的各第一预测人脸关键点。
11.根据权利要求10所述的方法，其特征在于，还包括：
检测人脸框获取模块，用于在所述第二跟踪人脸框不符合所述第二预设条件的情况下，依据所述第二跟踪人脸框获取检测人脸框；
区域获取模块，用于获取所述第二跟踪人脸框与所述检测人脸框之间的重叠区域和非重叠区域；
比值计算模块，用于计算所述重叠区域和所述非重叠区域的比值；
第二预测关键点确定模块，用于在所述比值大于设定阈值的情况下，依据所述第二跟踪人脸框，通过所述神经网络模型，确定所述第二人脸框中的各第二预测人脸关键点；或者，
第三预测关键点确定模块，用于在所述比值小于等于所述设定阈值的情况下，依据所述检测人脸框，通过所述神经网络模型，确定所述检测人脸框中的各第三预测人脸关键点。
12.根据权利要求7所述的装置，其特征在于，还包括：
最后一帧图像判断模块，用于判断所述第二帧图像是否为所述视频流中的最后一帧图像；
定位流程结束模块，用于在所述第二帧图像为最后一帧图像时，结束人脸定位处理流程。
13.一种终端设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的人脸定位方法的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的人脸定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910037053.3A CN109871760B (zh) | 2019-01-15 | 2019-01-15 | 一种人脸定位方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910037053.3A CN109871760B (zh) | 2019-01-15 | 2019-01-15 | 一种人脸定位方法、装置、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109871760A true CN109871760A (zh) | 2019-06-11 |
| CN109871760B CN109871760B (zh) | 2021-03-26 |
Family
ID=66917673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910037053.3A Active CN109871760B (zh) | 2019-01-15 | 2019-01-15 | 一种人脸定位方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109871760B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110619262A (zh) * | 2019-04-17 | 2019-12-27 | 深圳爱莫科技有限公司 | 图像识别的方法及装置 |
| CN110852254A (zh) * | 2019-11-08 | 2020-02-28 | 杭州网易云音乐科技有限公司 | 人脸关键点跟踪方法、介质、装置和计算设备 |
| CN111241940A (zh) * | 2019-12-31 | 2020-06-05 | 浙江大学 | 一种机器人的远程控制方法、人体边界框确定方法及系统 |
| CN111275910A (zh) * | 2019-11-05 | 2020-06-12 | 杭州安脉盛智能技术有限公司 | 一种基于高斯混合模型的扶梯越界行为检测方法及系统 |
| CN111563838A (zh) * | 2020-04-24 | 2020-08-21 | 维沃移动通信有限公司 | 图像处理方法及电子设备 |
| CN111667504A (zh) * | 2020-04-23 | 2020-09-15 | 广州多益网络股份有限公司 | 一种人脸追踪方法、装置及设备 |
| CN112347810A (zh) * | 2019-08-07 | 2021-02-09 | 杭州萤石软件有限公司 | 移动目标物体的检测方法、装置及存储介质 |
| CN112488064A (zh) * | 2020-12-18 | 2021-03-12 | 平安科技（深圳）有限公司 | 一种人脸追踪方法、系统、终端及存储介质 |
| CN112767436A (zh) * | 2019-10-21 | 2021-05-07 | 深圳云天励飞技术有限公司 | 一种人脸检测跟踪方法及装置 |
| CN113223083A (zh) * | 2021-05-27 | 2021-08-06 | 北京奇艺世纪科技有限公司 | 一种位置确定方法、装置、电子设备及存储介质 |
| CN113239847A (zh) * | 2021-05-26 | 2021-08-10 | 电子科技大学中山学院 | 一种人脸检测网络的训练方法、装置、设备以及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101789125A (zh) * | 2010-01-26 | 2010-07-28 | 北京航空航天大学 | 一种无标记单目视频人体骨架运动跟踪方法 |
| US20130156278A1 (en) * | 2011-12-19 | 2013-06-20 | Electronics And Telecommunications Research Institute | Optical flow accelerator for motion recognition and method thereof |
| CN105069408A (zh) * | 2015-07-24 | 2015-11-18 | 上海依图网络科技有限公司 | 一种复杂场景下基于人脸识别的视频人像跟踪方法 |
| CN106250850A (zh) * | 2016-07-29 | 2016-12-21 | 深圳市优必选科技有限公司 | 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统 |
| CN106874826A (zh) * | 2015-12-11 | 2017-06-20 | 腾讯科技（深圳）有限公司 | 人脸关键点跟踪方法和装置 |
| CN107748858A (zh) * | 2017-06-15 | 2018-03-02 | 华南理工大学 | 一种基于级联卷积神经网络的多姿态眼睛定位方法 |
| CN107784294A (zh) * | 2017-11-15 | 2018-03-09 | 武汉烽火众智数字技术有限责任公司 | 一种基于深度学习的人脸检测与跟踪方法 |
| CN107959798A (zh) * | 2017-12-18 | 2018-04-24 | 北京奇虎科技有限公司 | 视频数据实时处理方法及装置、计算设备 |
| CN108229282A (zh) * | 2017-05-05 | 2018-06-29 | 商汤集团有限公司 | 关键点检测方法、装置、存储介质及电子设备 |
| CN108304001A (zh) * | 2018-02-09 | 2018-07-20 | 成都新舟锐视科技有限公司 | 一种人脸检测跟踪方法、球机头部转动控制方法及球机 |
| CN108875503A (zh) * | 2017-11-09 | 2018-11-23 | 北京旷视科技有限公司 | 人脸检测方法、装置、系统、存储介质和抓拍机 |
| CN109063593A (zh) * | 2018-07-13 | 2018-12-21 | 北京智芯原动科技有限公司 | 一种人脸跟踪方法及装置 |
-
2019
- 2019-01-15 CN CN201910037053.3A patent/CN109871760B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101789125A (zh) * | 2010-01-26 | 2010-07-28 | 北京航空航天大学 | 一种无标记单目视频人体骨架运动跟踪方法 |
| US20130156278A1 (en) * | 2011-12-19 | 2013-06-20 | Electronics And Telecommunications Research Institute | Optical flow accelerator for motion recognition and method thereof |
| CN105069408A (zh) * | 2015-07-24 | 2015-11-18 | 上海依图网络科技有限公司 | 一种复杂场景下基于人脸识别的视频人像跟踪方法 |
| CN106874826A (zh) * | 2015-12-11 | 2017-06-20 | 腾讯科技（深圳）有限公司 | 人脸关键点跟踪方法和装置 |
| CN106250850A (zh) * | 2016-07-29 | 2016-12-21 | 深圳市优必选科技有限公司 | 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统 |
| CN108229282A (zh) * | 2017-05-05 | 2018-06-29 | 商汤集团有限公司 | 关键点检测方法、装置、存储介质及电子设备 |
| CN107748858A (zh) * | 2017-06-15 | 2018-03-02 | 华南理工大学 | 一种基于级联卷积神经网络的多姿态眼睛定位方法 |
| CN108875503A (zh) * | 2017-11-09 | 2018-11-23 | 北京旷视科技有限公司 | 人脸检测方法、装置、系统、存储介质和抓拍机 |
| CN107784294A (zh) * | 2017-11-15 | 2018-03-09 | 武汉烽火众智数字技术有限责任公司 | 一种基于深度学习的人脸检测与跟踪方法 |
| CN107959798A (zh) * | 2017-12-18 | 2018-04-24 | 北京奇虎科技有限公司 | 视频数据实时处理方法及装置、计算设备 |
| CN108304001A (zh) * | 2018-02-09 | 2018-07-20 | 成都新舟锐视科技有限公司 | 一种人脸检测跟踪方法、球机头部转动控制方法及球机 |
| CN109063593A (zh) * | 2018-07-13 | 2018-12-21 | 北京智芯原动科技有限公司 | 一种人脸跟踪方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 林智能: "一种鲁棒的长期人脸特征点跟踪系统", 《电脑知识与技术》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110619262B (zh) * | 2019-04-17 | 2023-09-01 | 深圳爱莫科技有限公司 | 图像识别的方法及装置 |
| CN110619262A (zh) * | 2019-04-17 | 2019-12-27 | 深圳爱莫科技有限公司 | 图像识别的方法及装置 |
| CN112347810A (zh) * | 2019-08-07 | 2021-02-09 | 杭州萤石软件有限公司 | 移动目标物体的检测方法、装置及存储介质 |
| CN112767436A (zh) * | 2019-10-21 | 2021-05-07 | 深圳云天励飞技术有限公司 | 一种人脸检测跟踪方法及装置 |
| CN111275910A (zh) * | 2019-11-05 | 2020-06-12 | 杭州安脉盛智能技术有限公司 | 一种基于高斯混合模型的扶梯越界行为检测方法及系统 |
| CN110852254B (zh) * | 2019-11-08 | 2022-11-15 | 杭州网易云音乐科技有限公司 | 人脸关键点跟踪方法、介质、装置和计算设备 |
| CN110852254A (zh) * | 2019-11-08 | 2020-02-28 | 杭州网易云音乐科技有限公司 | 人脸关键点跟踪方法、介质、装置和计算设备 |
| CN111241940B (zh) * | 2019-12-31 | 2022-07-26 | 浙江大学 | 一种机器人的远程控制方法、人体边界框确定方法及系统 |
| CN111241940A (zh) * | 2019-12-31 | 2020-06-05 | 浙江大学 | 一种机器人的远程控制方法、人体边界框确定方法及系统 |
| CN111667504A (zh) * | 2020-04-23 | 2020-09-15 | 广州多益网络股份有限公司 | 一种人脸追踪方法、装置及设备 |
| CN111563838A (zh) * | 2020-04-24 | 2020-08-21 | 维沃移动通信有限公司 | 图像处理方法及电子设备 |
| CN112488064A (zh) * | 2020-12-18 | 2021-03-12 | 平安科技（深圳）有限公司 | 一种人脸追踪方法、系统、终端及存储介质 |
| CN112488064B (zh) * | 2020-12-18 | 2023-12-22 | 平安科技（深圳）有限公司 | 一种人脸追踪方法、系统、终端及存储介质 |
| CN113239847A (zh) * | 2021-05-26 | 2021-08-10 | 电子科技大学中山学院 | 一种人脸检测网络的训练方法、装置、设备以及存储介质 |
| CN113223083A (zh) * | 2021-05-27 | 2021-08-06 | 北京奇艺世纪科技有限公司 | 一种位置确定方法、装置、电子设备及存储介质 |
| CN113223083B (zh) * | 2021-05-27 | 2023-08-15 | 北京奇艺世纪科技有限公司 | 一种位置确定方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109871760B (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109871760B (zh) | 一种人脸定位方法、装置、终端设备及存储介质 | |
| US11302315B2 (en) | Digital video fingerprinting using motion segmentation | |
| CN111899334B (zh) | 一种基于点线特征的视觉同步定位与地图构建方法及装置 | |
| US11037325B2 (en) | Information processing apparatus and method of controlling the same | |
| CN111008947B (zh) | 图像处理方法和装置、终端设备及存储介质 | |
| CN106033621B (zh) | 一种三维建模的方法及装置 | |
| CN106875425A (zh) | 一种基于深度学习的多目标追踪系统及实现方法 | |
| US8254644B2 (en) | Method, apparatus, and program for detecting facial characteristic points | |
| US20150279021A1 (en) | Video object tracking in traffic monitoring | |
| JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| CN108961158B (zh) | 一种图像合成方法及装置 | |
| CN112218107B (zh) | 直播渲染方法和装置、电子设备及存储介质 | |
| CN105095853B (zh) | 图像处理装置及图像处理方法 | |
| CN105809716B (zh) | 融合超像素与三维自组织背景减除法的前景提取方法 | |
| KR20110014067A (ko) | 스테레오 컨텐트의 변환 방법 및 시스템 | |
| CN111340749B (zh) | 图像质量的检测方法、装置、设备及存储介质 | |
| CN108369739B (zh) | 物体检测装置和物体检测方法 | |
| CN111105366A (zh) | 图像处理方法和装置、终端设备及存储介质 | |
| CN105592367A (zh) | 一种图像显示参数调节方法和系统 | |
| CN112487978A (zh) | 一种视频中说话人定位的方法、装置及计算机存储介质 | |
| CN103500454A (zh) | 一种抖动视频运动目标提取方法 | |
| JP7096175B2 (ja) | オブジェクト抽出方法および装置 | |
| CN109978908B (zh) | 一种适应大尺度形变的单目标快速跟踪定位方法 | |
| JP6579816B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN112561915A (zh) | 图像处理方法、装置、图像采集装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |