CN111950401B - 确定关键点区域位置的方法、图像处理系统、设备和介质 - Google Patents
确定关键点区域位置的方法、图像处理系统、设备和介质 Download PDFInfo
- Publication number
- CN111950401B CN111950401B CN202010736377.9A CN202010736377A CN111950401B CN 111950401 B CN111950401 B CN 111950401B CN 202010736377 A CN202010736377 A CN 202010736377A CN 111950401 B CN111950401 B CN 111950401B
- Authority
- CN
- China
- Prior art keywords
- key point
- position data
- face
- displacement
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 title claims description 23
- 238000006073 displacement reaction Methods 0.000 claims abstract description 223
- 238000001514 detection method Methods 0.000 claims description 57
- 238000004422 calculation algorithm Methods 0.000 claims description 35
- 210000004709 eyebrow Anatomy 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Abstract
本发明实施例公开了一种确定关键点区域位置的方法，包括：获取待检测视频流中目标帧的目标人脸图像中多个关键点区域的第一位置数据和目标帧的下一帧的待测图像中多个关键点区域的第二位置数据；根据第一位置数据和第二位置数据计算每个关键点区域的标准位移值；将每个关键点区域的标准位移值与位移阈值进行比较；当标准位移值小于或等于位移阈值时，将标准位移值对应的关键点区域的第一位置数据作为关键点区域的有效位置数据，当标准位移值大于位移阈值时，将标准位移值对应的关键点区域的第二位置数据作为关键点区域的有效位置数据，根据所述有效位置数据显示所述待测图像。本发明可以提升定位的稳定性，避免个别人脸关键点抖动的问题。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及确定关键点区域位置的方法、图像处理系统、设备和介质。
背景技术
目前越来越多的终端场景应用了人脸关键点区域的检测和定位，尤其是视频流应用上，需要实时预测人脸关键点区域，这就需要人脸关键点区域模型足够小，足够快。但在视频流上，当人脸静止时，关键点区域会出现抖动现象，这使得有些场景的应用变得困难，比如AR(Augmented Reality，增强现实)试妆，如果关键点区域抖动，那么试妆的效果就会抖动，用户体验很差。
发明内容
基于此，有必要针对上述问题，提出了确定关键点区域位置的方法、图像处理系统、设备和介质。
一种确定关键点区域位置的方法，包括：获取待检测视频流中目标帧的目标人脸图像中多个关键点区域的第一位置数据和所述待检测视频流中所述目标帧的下一帧的待测图像中所述多个关键点区域的第二位置数据；根据所述第一位置数据和所述第二位置数据计算每个所述关键点区域的标准位移值；获取预设的位移阈值，将每个所述关键点区域的所述标准位移值与所述位移阈值进行比较；当所述标准位移值小于或等于所述位移阈值时，将所述标准位移值对应的关键点区域的所述第一位置数据作为所述关键点区域的有效位置数据，当所述标准位移值大于所述位移阈值时，将所述标准位移值对应的关键点区域的第二位置数据作为所述关键点区域的有效位置数据，根据所述有效位置数据显示所述待测图像。
一种图像处理系统，包括：获取模块，用于获取待检测视频流中目标帧的目标人脸图像中多个关键点区域的第一位置数据和所述待检测视频流中所述目标帧的下一帧的待测图像中所述多个关键点区域的第二位置数据；计算模块，用于根据所述第一位置数据和所述第二位置数据计算每个所述关键点区域的标准位移值；比较模块，用于获取预设的位移阈值，将每个所述关键点区域的所述标准位移值与所述位移阈值进行比较；结果模块，用于当所述标准位移值小于或等于所述位移阈值时，将所述标准位移值对应的关键点区域的所述第一位置数据作为所述关键点区域的有效位置数据，当所述标准位移值大于所述位移阈值时，将所述标准位移值对应的关键点区域的第二位置数据作为所述关键点区域的有效位置数据，根据所述有效位置数据处理所述待测图像。
一种图像处理设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述方法的步骤。
一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上所述方法的步骤。
采用本发明实施例，具有如下有益效果：
将关键点区域的标准位移值与位移阈值进行比较，若标准位移值小于或等于位移阈值，该关键点区域的人脸关键点的位置保持在目标人脸图像中的位置，若标准位移值大于位移阈值，该关键点区域的人脸关键点的位置更新为待测图像中的位置，当由于检测误差导致第二位置数据和第一位置数据发生细微偏差时，通过位移阈值过滤掉这些细微偏差，使得下一帧关键点区域维持原先的位置，避免由于检测误差等问题出现抖动，当待检测视频流中人脸移动时，若某关键点区域的标准位移值大于位移阈值，则该关键点区域的有效位置数据更新为第二位置数据，实现了关键点区域的整体移动，可以有效提升关键点区域定位的准确性和稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1是本发明提供的确定关键点区域位置的方法的第一实施例的流程示意图；
图2是本发明提供的确定关键点区域位置的方法的第二实施例的流程示意图；
图3是本发明提供的图像处理系统的一实施例的结构示意图；
图4是本发明提供的图像处理设备的一实施例的结构示意图；
图5是本发明提供的存储介质的一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在进行人脸关键点区域的检测和定位，关键点区域会出现抖动现象，这使得有些场景的应用变得困难。
为解决上述问题，本实施例提供一种确定关键点区域位置的方法，每个关键点区域具有整体移动性，不会出现个别人脸像素点出现抖动的问题，有效提升图像显示的整体效果。
请参阅图1，图1是本发明提供的确定关键点区域位置的方法的第一实施例的流程示意图。本发明提供的确定关键点区域位置的方法包括如下步骤：
S101：获取待检测视频流中目标帧的目标人脸图像中多个关键点区域的第一位置数据和待检测视频流中目标帧的下一帧的待测图像中多个关键点区域的第二位置数据。
在一个具体的实施场景中，获取待检测视频流，该待检测视频流可以是用户预先录制的或者从网络下载的，还可以是用户实时拍摄的。待检测视频流包括若干帧的图像。通过人脸检测算法以及人脸关键点检测模型，可以获取待检测视频流中每一帧的图像的关键点区域的位置数据。关键点区域的个数为多个，包括左眉毛、右眉毛、左眼、右眼、鼻子、嘴巴、脸部轮廓中的至少一项。关键点区域可以由用户根据自身需求进行选择和划分，例如还可以包括额头、面中、下巴中的至少一项。
在本实施场景中，获取待检测视频流中的目标帧的目标人脸图像的多个关键点区域的第一位置数据和在待检测视频流中目标帧的下一帧的待测图像中的多个关键点区域的第二位置数据。第一位置数据和第二位置数据可以是关键点区域中每个人脸关键点的位置数据，例如坐标值，还可以是关键点区域的轮廓的位置数据，或者是关键点区域的中心点的位置数据。
在本实施场景中，目标帧为待检测视频流中的第一帧，目标帧的下一帧为待检测视频流中的第二帧，在其他实施场景中，目标帧可以为待检测视频流中除了最后一帧之外的任意帧，例如第N帧，则目标帧的下一帧为第N+1帧。
S102：根据第一位置数据和第二位置数据计算每个关键点区域的标准位移值。
在一个具体的实施场景中，根据目标人脸图像的第一位置数据和待测图像的第二位置数据计算每个关键点区域的标准位移值。例如，关键点区域包括左眼区域，以左眼区域为例进行说明，其他关键点区域参照左眼区域。获取左眼区域在目标人脸图像中的第一位置数据，和左眼区域在待测图像中的第二位置数据，第一位置数据和第二位置数据包括左眼区域中多个人脸关键点的坐标值，将第一位置数据中的多个人脸关键点的坐标值和第二位置数据中的对应的多个人脸关键点的坐标值一一相减，可以获取左眼区域中每个人脸关键点的坐标位移值，计算左眼区域中人脸关键点的坐标位移值的平均值，将该平均值作为左眼区域的标准位移值。
在其他实施场景中，第一位置数据和第二位置数包括左眼区域的中心点的坐标值，将第一位置数据中的中心点的坐标值和第二位置数据中的中心点的坐标值相减，获取中心位移值，将中心位移值作为左眼区域的标准位移值。
在另一个实施场景中，第一位置数据和第二位置数据包括左眼区域的轮廓的坐标值，具体的，可以是左眼区域的轮廓的若干参照点的坐标值，例如眼头、眼尾、上眼睑中心、下眼睑中心等等。将第一位置数据中的每个参照点的坐标值和第二位置数据中对应的参照点的坐标相减，获取每个参照点的参照位移值，计算左眼区域的参照点的参照位移值的平均值，将该平均值作为左眼区域的标准位移值。
S103：获取预设的位移阈值，将每个关键点区域的标准位移值与位移阈值进行比较。
在一个具体的实施场景中，用户可以预设位移阈值，该位移阈值可以是用户根据多次试验获得，或者是用户根据预设算法获得，例如获取用户距离屏幕的距离，获取当前距离下人眼可以察觉的位移距离，将该位移距离作为位移阈值，或者根据每一帧的人脸部分占整体图像的比例获取，人脸部分所占的比例越大，位移阈值的数值越小。
由于待检测视频流中的人物的不同动作，例如摇头、歪头等，会造成不同的关键点区域的位移不同，例如人物向左侧歪头，则左眼区域的标准位移值将会小于右眼区域的标准位移值，因此将每个关键点区域的标准位移值与获取的位移阈值进行比较。
进一步地，不同的关键点区域具有不同的位移阈值，例如，左眉毛区域的位移阈值、左眼区域的位移阈值、鼻子区域的位移阈值不相等。例如，用户做出表情时，眉毛和眼睛区域的位移会鼻子区域的位移更多，因此左眉毛区域、左眼区域的位移阈值、鼻子区域的位移阈值不相等。使得不同关键点区域的位移监测的敏感度不同，更好的贴合用户的使用需求。
在进一步地，至少部分关键点区域在不同方向上的位移阈值不等，例如，眉毛可以做出挑眉、皱眉等动作，这些动作在竖直方向上的位移比水平方向上更多，因此左眉毛区域和右眉毛区域在水平方向上的位移阈值大于竖直方向上的位移阈值，以检测出用户做表情时的正确的关键点区域的位置。在例如，鼻子区域和嘴巴区域应该位于人脸的中心线上，若是偏左或者偏右则会显得人脸较为怪异，因此鼻子区域和嘴巴区域的在水平方向上的位移阈值小于竖直方向上的位移阈值，避免移动距离过大导致显示的人脸怪异。
S104：当标准位移值小于或等于位移阈值时，将标准位移值对应的关键点区域的第一位置数据作为关键点区域的有效位置数据。
在一个具体的实施场景中，当位移标准值小于或者等于位移阈值时，将位移标准值对应的关键点区域的第一位置数据作为该关键点区域的有效位置数据。例如，左眼区域的标准位移值小于位移阈值，则左眼区域的有效位置数据为第一位置数据，也就是说左眼区域保持不变，在待测图像中的位置与在目标人脸图像中的位置相同。
S105：当标准位移值大于位移阈值时，将标准位移值对应的关键点区域的第二位置数据作为关键点区域的有效位置数据。
在一个具体的实施场景中，当位移标准值大于位移阈值时，将位移标准值对应的关键点区域的第二位置数据作为该关键点区域的有效位置数据。例如，右眼区域的标准位移值大于位移阈值，则右眼区域的有效位置数据为第二位置数据，也就是说右眼区域更新为待测图像中的位置。
S106：根据有效位置数据处理待测图像。
在一个具体的实施场景中，根据步骤S104和/或步骤S105显示待测图像。例如，待测图像包括左眉毛、右眉毛、左眼、右眼、鼻子、嘴巴、脸部轮廓7个关键点区域，其中，左眉毛区域、左眼区域、鼻子区域、嘴巴区域的标准位移值均小于或等于其各自的区域阈值，而右眉毛区域、右眼区域和脸部轮廓区域的位移标准值大于各自的区域阈值，因此，在显示待测图像时，左眉毛区域、左眼区域、鼻子区域、嘴巴区域按照在目标人脸图像中的位置显示，右眉毛区域、右眼区域和脸部轮廓区域按照待测图像中的位置显示。
进一步地，根据有效位置数据处理待测图像，例如根据预设的图像处理算法度待测图像进行处理，或者对关键点区域进行放大、变色、缩小、移动等等。
通过上述描述可知，在本实施例中将关键点区域的标准位移值与位移阈值进行比较，若标准位移值小于或等于位移阈值，该关键点区域的人脸关键点的位置保持在目标人脸图像中的位置，若标准位移值大于位移阈值，该关键点区域的人脸关键点的位置更新为待测图像中的位置，当由于检测误差导致第二位置数据和第一位置数据发生细微偏差时，通过位移阈值过滤掉这些细微偏差，使得下一帧关键点区域维持原先的位置，避免由于检测误差等问题出现抖动，当待检测视频流中人脸移动时，若某关键点区域的标准位移值大于位移阈值，则该关键点区域的有效位置数据更新为第二位置数据，实现了关键点区域的整体移动，可以有效提升关键点区域定位的准确性和稳定性。
请参阅图2，图2是本发明提供的确定关键点区域位置的方法的第二实施例的流程示意图。本发明提供的确定关键点区域位置的方法包括如下步骤：
S201：通过人脸检测算法获取目标人脸图像中的第一人脸检测框，通过人脸关键点检测算法获取第一人脸检测框中多个关键点区域的第一位置数据。
在一个具体的实施场景中，获取待检测视频中目标帧的目标人脸图像，对通过人脸检测算法对目标人脸图像进行人脸检测，获取目标人脸图像的第一人脸检测框，人脸检测算法包括dlib算法、mtcnn(Multi-task convolutional neural network，多任务卷积神经网络)、ssd(Single Shot MultiBox Detector，多分类单杆检测器)等目标检测算法，在此不做限定。通过人脸关键点检测算法获取第一人脸检测框中的多个人脸关键点。人脸关键点检测算法包括dlib等人脸关键点检测模型，在此不做限定。根据预设划分规则将多个人脸关键点划分为多个关键点区域，每个关键点区域包括多个人脸关键点，获取每个关键点区域中每个人脸关键点的坐标值，作为该关键点区域的第一位置数据。
S202：通过人脸检测算法和/或人脸跟踪算法获取待测图像中的第二人脸检测框，通过人脸关键点检测算法获取第二人脸检测框中多个关键点区域的第二位置数据。
在一个具体的实施场景中，获取待检测视频中目标帧的下一帧的待测图像。通过人脸检测算法和/或人脸跟踪算法获取待测图像中的第二人脸检测框。与步骤S201中类似的，可以采用dlib算法、mtcnn(Multi-task convolutional neural network，多任务卷积神经网络)、ssd(Single Shot MultiBox Detector，多分类单杆检测器)等目标检测算法获取待测图像中的第二人脸检测框，在其他实施场景中，也可以采用人脸跟踪算法，例如KCF(Kernel Correlation Filter核相关滤波算法)获取待测图像中的第二人脸检测框。在此不做限定。
通过人脸关键点检测算法获取第二人脸检测框中的多个人脸关键点。人脸关键点检测算法包括dlib等人脸关键点检测模型，在此不做限定。根据预设划分规则将多个人脸关键点划分为多个关键点区域，预设划分规则与步骤S201中相同，每个关键点区域包括多个人脸关键点，获取每个关键点区域中每个人脸关键点的坐标值，作为该关键点区域的第一位置数据。
在本实施场景中，目标帧为待检测视频流中的第一帧，目标帧的下一帧为待检测视频流中的第二帧，在其他实施场景中，目标帧可以为待检测视频流中除了最后一帧之外的任意帧，例如第N帧，则目标帧的下一帧为第N+1帧。
步骤S201和步骤S202可以同步执行或者先后执行，对于执行顺序本实施场景中不做限制。
S203：根据第一位置数据和第二位置数据获取每个关键点区域中每个人脸关键点的位移值。
在一个具体的实施场景中，每个关键点区域包括至少一个人脸关键点。计算每个关键点区域中每个人脸关键点的位移值。以左眉毛区域为例进行阐述，左眉毛区域包括人脸关键点A、B、C和D，根据第一位置数据获取A、B、C和D在目标人脸图像中的坐标值：A(a，b)、B(c，d)、C(e，f)和D(g，h)，根据第二位置数据获取人脸关键点A、B、C和D在待测图像中的坐标值A(a’，b’)、B(c’，d’)、C(e’，f’)和D(g’，h’)。分别计算每个人脸关键点的位移值。例如A的位移值为|a-a’|2+|b-b’|2。以此类推，可以计算出B、C和D的位移值，以及其他关键点区域的每个人脸关键点位移值。
S204：计算每个关键点区域的人脸关键点的位移值的平均值，将平均值作为平均值对应关键点区域的标准位移值。
在一个具体的实施场景中，将每个关键点区域的人脸关键点的位移值的平均值作为该关键点区域的标准位移值。具体地说，以左眉毛区域为例进行阐述，左眉毛区域包括人脸关键点A、B、C和D，其各自的位移值分别为j、k、l和m。则左眉毛区域的标准位移值为(j+k+l+m)/4。在其他实施场景中，一个关键点区域的标准位移值还可以是该关键点区域的人脸关键点的位移值的、平方平均值、调和平均值、加权平均值、指数平均值、中位值等，可以根据用户的使用需求自行定义。
进一步地，将每个关键点区域的人脸关键点的位移值按照从大到小的顺序排列，选择前预设数量个位移值作为计算位移值，计算计算位移值的平均值，将该平均值作为该关键点区域的标准位移值。具体地说，以左眉毛区域为例进行阐述，将人脸关键点A、B、C和D的位移值分j、k、l和m按照从大到小的顺序进行排列，为k、l、j、m。选择前3个位移值作为计算位移值，即k、l、j，计算计算位移值的平均值为(k+l+j)/3，即为左眉毛区域的标准位移值。
预设数量可以根据用户的实际需求设置，当关键点区域中的人脸关键点的个数较多时，预设数量可以为5个、7个等等。各个关键点区域的预设数量可以相同或者不同。
S205：将目标关键点区域的标准位移值与目标关键点区域对应的区域阈值进行比较，目标关键点区域为任一关键点区域。
在一个具体的实施场景中，不同的关键点区域具有不同的位移阈值，例如，左眉毛区域的位移阈值、左眼区域的位移阈值、鼻子区域的位移阈值不相等。例如，用户做出表情时，眉毛和眼睛区域的位移会鼻子区域的位移更多，因此左眉毛区域、左眼区域的位移阈值、鼻子区域的位移阈值不相等，可以更加精准的识别不同的关键点区域对应的位移。
将目标关键点区域的标准位移值与目标关键点区域对应的区域阈值进行比较，目标关键点区域可以是左眼区域、右眼区域等任一关键点区域。
S206：当标准位移值小于或等于位移阈值时，将标准位移值对应的关键点区域的第一位置数据作为关键点区域的有效位置数据。
S207：当标准位移值大于位移阈值时，将标准位移值对应的关键点区域的第二位置数据作为关键点区域的有效位置数据。
S208：根据有效位置数据处理待测图像。
在一个具体的实施场景中，步骤S206-S208与本发明提供的确定关键点区域位置的方法的第一实施例中的步骤S104-S106基本一致，此处不再进行赘述。
通过上述描述可知，在本实施例中计算每个关键点区域的中位移值最大的预设数量个位移值计算平均值，作为该关键点区域的标准位移值，当存在个别人脸关键点由于检测误差等问题而出现位移较大的现象时，可以通过计算平均值将该个别人脸关键点的误差减小甚至消除，可以提升定位的敏感性，避免出现瞬间位移过大的问题，针对不同的关键点区域设置不同的区域阈值，可以有效提升定位的合理性和准确性，在标准位移值大于区域阈值时，关键点区域的有效位置数据更新为第二位置数据，实现了关键点区域的整体移动，可以提升定位的稳定性，避免了个别人脸关键点的抖动问题。
请参阅图3，图3是本发明提供的图像处理系统的一实施例的结构示意图。图像处理系统10包括获取模块11、计算模块12、比较模块13和结果模块14。
获取模块11用于获取待检测视频流中目标帧的目标人脸图像中多个关键点区域的第一位置数据和待检测视频流中目标帧的下一帧的待测图像中多个关键点区域的第二位置数据；计算模块12用于根据第一位置数据和第二位置数据计算每个关键点区域的标准位移值；比较模块13用于获取预设的位移阈值，将每个关键点区域的标准位移值与位移阈值进行比较；结果模块14用于当标准位移值小于或等于位移阈值时，将标准位移值对应的关键点区域的第一位置数据作为关键点区域的有效位置数据，当标准位移值大于位移阈值时，将标准位移值对应的关键点区域的第二位置数据作为关键点区域的有效位置数据，根据有效位置数据处理待测图像。
其中，每个关键点区域包括多个人脸关键点。
计算模块12还用于根据第一位置数据和第二位置数据获取每个关键点区域中每个人脸关键点的位移值；计算每个关键点区域的关键像素的位移值的平均值，将平均值作为平均值对应关键点区域的标准位移值。
计算模块12还用于将多个位移值按照从大到小的顺序排列，计算前预设数量个位移值的平均值，将平均值作为多个关键点区域的位置数据差的标准位移值。
其中，位移阈值包括每个关键点区域对应的区域阈值。
比较模块13还用于将目标关键点区域的标准位移值与目标关键点区域对应的区域阈值进行比较，目标关键点区域为任一关键点区域。
获取模块11还用于通过人脸检测算法获取目标人脸图像中的第一人脸检测框，通过人脸关键点检测算法获取第一人脸检测框中多个关键点区域的第一位置数据；通过人脸检测算法和/或人脸跟踪算法获取待测图像中的第二人脸检测框，通过人脸关键点检测算法获取第二人脸检测框中多个关键点区域的第二位置数据。
其中，多个关键点区域包括左眉毛、右眉毛、左眼、右眼、鼻子、嘴巴、脸部轮廓中的至少一项。
通过上述描述可知，在本实施例中的图像处理系统将关键点区域的标准位移值与位移阈值进行比较，当标准位移值超过位移阈值时，将关键点区域第二位置数据的有效坐标数据，即将关键点区域整体整体移动至第二位置数据对应的位置，可以有效提升关键点区域定位的准确性和稳定性，避免了个别关键点像素的抖动问题。计算每个关键点区域的中位移值最大的预设数量个位移值计算平均值，作为该关键点区域的标准位移值，可以提升定位的敏感性，避免出现瞬间位移过大的问题，针对不同的关键点区域设置不同的区域阈值，可以有效提升定位的合理性和准确性。
请参阅图4，图4是本发明提供的图像处理设备的一实施例的结构示意图。运维监控终端20包括处理器21、存储器22。处理器21耦接存储器22。存储器22中存储有计算机程序，处理器21在工作时执行该计算机程序以实现如图1-图2所示的方法。详细的方法可参见上述，在此不再赘述。
通过上述描述可知，在本实施例中的图像处理设备将关键点区域的标准位移值与位移阈值进行比较，实现了关键点区域的整体移动，可以有效提升关键点区域定位的准确性和稳定性，避免了个别关键点像素的抖动问题。计算每个关键点区域的中位移值最大的预设数量个位移值计算平均值，作为该关键点区域的标准位移值，可以提升定位的敏感性，避免出现瞬间位移过大的问题，针对不同的关键点区域设置不同的区域阈值，可以有效提升定位的合理性和准确性。
请参阅图5，图5是本发明提供的存储介质的一实施例的结构示意图。存储介质30中存储有至少一个计算机程序31，计算机程序31用于被处理器执行以实现如图1-图2所示的方法，详细的方法可参见上述，在此不再赘述。在一个实施例中，可读存储介质30可以是终端中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具，还可以是服务器等等。
通过上述描述可知，在本实施例中的存储介质中的计算机程序可以用于将关键点区域的标准位移值与位移阈值进行比较，实现了关键点区域的整体移动，可以有效提升关键点区域定位的准确性和稳定性，避免了个别关键点像素的抖动问题。计算每个关键点区域的中位移值最大的预设数量个位移值计算平均值，作为该关键点区域的标准位移值，可以提升定位的敏感性，避免出现瞬间位移过大的问题，针对不同的关键点区域设置不同的区域阈值，可以有效提升定位的合理性和准确性。
区别于现有技术，本发明实现了关键点区域的整体移动，可以有效提升关键点区域定位的准确性和稳定性，计算每个关键点区域的中位移值最大的预设数量个位移值计算平均值，作为该关键点区域的标准位移值，可以提升定位的敏感性，针对不同的关键点区域设置不同的区域阈值，可以有效提升定位的合理性和准确性。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种确定关键点区域位置的方法，其特征在于，包括：
获取待检测视频流中目标帧的目标人脸图像中多个关键点区域的第一位置数据和所述待检测视频流中所述目标帧的下一帧的待测图像中所述多个关键点区域的第二位置数据；
根据所述第一位置数据和所述第二位置数据计算每个所述关键点区域的标准位移值；
获取预设的位移阈值，将每个所述关键点区域的所述标准位移值与所述位移阈值进行比较；
当所述标准位移值小于或等于所述位移阈值时，将所述标准位移值对应的关键点区域的所述第一位置数据作为所述关键点区域的有效位置数据，当所述标准位移值大于所述位移阈值时，将所述标准位移值对应的关键点区域的第二位置数据作为所述关键点区域的有效位置数据，根据所述有效位置数据处理所述待测图像。
2.根据权利要求1所述的确定关键点区域位置的方法，其特征在于，每个所述关键点区域包括多个人脸关键点；
所述根据所述第一位置数据和所述第二位置数据计算每个所述关键点区域的标准位移值的步骤，包括：
根据所述第一位置数据和所述第二位置数据获取每个所述关键点区域中每个所述人脸关键点的位移值；
计算每个所述关键点区域的所述人脸关键点的所述位移值的平均值，将所述平均值作为所述平均值对应的关键点区域的标准位移值。
3.根据权利要求2所述的确定关键点区域位置的方法，其特征在于，所述计算每个所述关键点区域的所述关键像素的所述位移值的平均值的步骤，包括：
将多个所述位移值按照从大到小的顺序排列，计算前预设数量个所述位移值的平均值，将所述平均值作为所述多个所述位移值对应的所述关键点区域的标准位移值。
4.根据权利要求1所述的确定关键点区域位置的方法，其特征在于，所述位移阈值包括每个所述关键点区域对应的区域阈值；
所述将每个所述关键点区域的所述标准位移值与所述位移阈值进行比较的步骤，包括：
将目标关键点区域的所述标准位移值与所述目标关键点区域对应的所述区域阈值进行比较，所述目标关键点区域为任一所述关键点区域。
5.根据权利要求1所述的确定关键点区域位置的方法，其特征在于，
所述获取待检测视频中目标帧的目标人脸图像中多个关键点区域的第一位置数据和所述待检测视频中所述目标帧的下一帧的待测图像中所述多个关键点区域的第二位置数据的步骤，包括：
通过人脸检测算法获取所述目标人脸图像中的第一人脸检测框，通过人脸关键点检测算法获取所述第一人脸检测框中所述多个关键点区域的所述第一位置数据；
通过人脸检测算法和/或人脸跟踪算法获取所述待测图像中的第二人脸检测框，通过人脸关键点检测算法获取所述第二人脸检测框中所述多个关键点区域的所述第二位置数据。
6.根据权利要求5所述的确定关键点区域位置的方法，其特征在于，所述通过人脸关键点检测算法获取所述第一人脸检测框中所述多个关键点区域的所述第一位置数据的步骤，包括：
通过所述人脸关键点检测算法获取所述第一人脸检测框中的多个所述人脸关键点，按照预设的划分规则将所述多个人脸关键点划分为所述多个关键点区域；
所述通过人脸关键点检测算法获取所述第二人脸检测框中所述多个关键点区域的所述第二位置数据的步骤，包括：
通过所述人脸关键点检测算法获取所述第二人脸检测框中的多个所述人脸关键点，按照预设的划分规则将所述多个人脸关键点划分为所述多个关键点区域。
7.根据权利要求1所述的确定关键点区域位置的方法，其特征在于，所述多个关键点区域包括左眉毛、右眉毛、左眼、右眼、鼻子、嘴巴、脸部轮廓中的至少一项。
8.一种图像处理系统，其特征在于，包括：
获取模块，用于获取待检测视频流中目标帧的目标人脸图像中多个关键点区域的第一位置数据和所述待检测视频流中所述目标帧的下一帧的待测图像中所述多个关键点区域的第二位置数据；
计算模块，用于根据所述第一位置数据和所述第二位置数据计算每个所述关键点区域的标准位移值；
比较模块，用于获取预设的位移阈值，将每个所述关键点区域的所述标准位移值与所述位移阈值进行比较；
结果模块，用于当所述标准位移值小于或等于所述位移阈值时，将所述标准位移值对应的关键点区域的所述第一位置数据作为所述关键点区域的有效位置数据，当所述标准位移值大于所述位移阈值时，将所述标准位移值对应的关键点区域的第二位置数据作为所述关键点区域的有效位置数据，根据所述有效位置数据处理所述待测图像。
9.一种图像处理设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010736377.9A CN111950401B (zh) | 2020-07-28 | 2020-07-28 | 确定关键点区域位置的方法、图像处理系统、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010736377.9A CN111950401B (zh) | 2020-07-28 | 2020-07-28 | 确定关键点区域位置的方法、图像处理系统、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111950401A CN111950401A (zh) | 2020-11-17 |
| CN111950401B true CN111950401B (zh) | 2023-12-08 |
Family
ID=73339695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010736377.9A Active CN111950401B (zh) | 2020-07-28 | 2020-07-28 | 确定关键点区域位置的方法、图像处理系统、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111950401B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112969037B (zh) * | 2021-02-26 | 2022-03-15 | 北京卓视智通科技有限责任公司 | 一种视频图像侧向融合拼接方法、电子设备及存储介质 |
| CN113284167B (zh) * | 2021-05-28 | 2023-03-07 | 深圳数联天下智能科技有限公司 | 人脸跟踪检测方法、装置、设备和介质 |
| CN113256586A (zh) * | 2021-05-28 | 2021-08-13 | 深圳数联天下智能科技有限公司 | 人脸图像的模糊判断方法、装置、设备和介质 |
| CN113627306B (zh) * | 2021-08-03 | 2023-04-07 | 展讯通信（上海）有限公司 | 关键点处理方法及装置、可读存储介质、终端 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018192406A1 (zh) * | 2017-04-20 | 2018-10-25 | 腾讯科技（深圳）有限公司 | 身份验证方法及装置、存储介质 |
| CN111209873A (zh) * | 2020-01-09 | 2020-05-29 | 杭州趣维科技有限公司 | 一种基于深度学习的高精度人脸关键点定位方法及系统 |
-
2020
- 2020-07-28 CN CN202010736377.9A patent/CN111950401B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018192406A1 (zh) * | 2017-04-20 | 2018-10-25 | 腾讯科技（深圳）有限公司 | 身份验证方法及装置、存储介质 |
| CN111209873A (zh) * | 2020-01-09 | 2020-05-29 | 杭州趣维科技有限公司 | 一种基于深度学习的高精度人脸关键点定位方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 表演驱动的二维人脸表情合成;丁宾;邵晓根;孙天凯;杜志军;;计算机工程与设计(08);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111950401A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950401B (zh) | 确定关键点区域位置的方法、图像处理系统、设备和介质 | |
| KR102362544B1 (ko) | 이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체 | |
| US20180225828A1 (en) | Image processing method and processing system | |
| CN108537749B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| WO2022078041A1 (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| CN109299658B (zh) | 脸部检测方法、脸部图像渲染方法、装置及存储介质 | |
| JP5949331B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| CN113973190A (zh) | 视频虚拟背景图像处理方法、装置及计算机设备 | |
| US11232584B2 (en) | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium | |
| CN111667504B (zh) | 一种人脸追踪方法、装置及设备 | |
| CN113283271A (zh) | 虹膜自动捕捉方法、装置、计算机可读存储介质及设备 | |
| CN113424516A (zh) | 处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法 | |
| CN111488779B (zh) | 视频图像超分辨率重建方法、装置、服务器及存储介质 | |
| JP2018081402A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN111028318A (zh) | 一种虚拟人脸合成方法、系统、装置和存储介质 | |
| CN112446254A (zh) | 人脸追踪的方法及相关装置 | |
| JP2002366958A (ja) | 画像認識方法および画像認識装置 | |
| EP3699865B1 (en) | Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium | |
| US20200074612A1 (en) | Image analysis apparatus, image analysis method, and recording medium | |
| JP2020201823A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US20160261853A1 (en) | Constructing a user's face model using particle filters | |
| WO2020263277A1 (en) | Landmark temporal smoothing | |
| JP7385416B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム | |
| CN107977644B (zh) | 基于图像采集设备的图像数据处理方法及装置、计算设备 | |
| CN112101106A (zh) | 人脸关键点确定方法、装置以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |