CN111126101B - 关键点位置的确定方法、装置、电子设备和存储介质 - Google Patents

关键点位置的确定方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111126101B
CN111126101B CN201811275552.8A CN201811275552A CN111126101B CN 111126101 B CN111126101 B CN 111126101B CN 201811275552 A CN201811275552 A CN 201811275552A CN 111126101 B CN111126101 B CN 111126101B
Authority
CN
China
Prior art keywords
key point
image
target key
detected
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811275552.8A
Other languages
English (en)
Other versions
CN111126101A (zh
Inventor
刘继文
赵永乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Orion Star Technology Co Ltd
Original Assignee
Beijing Orion Star Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Orion Star Technology Co Ltd filed Critical Beijing Orion Star Technology Co Ltd
Priority to CN201811275552.8A priority Critical patent/CN111126101B/zh
Publication of CN111126101A publication Critical patent/CN111126101A/zh
Application granted granted Critical
Publication of CN111126101B publication Critical patent/CN111126101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种关键点位置的确定方法、装置、电子设备和存储介质，其中，方法包括：获取待检测图像中目标关键点的检测位置，以及待检测图像的前一帧图像中目标关键点的应用位置；根据待检测图像中目标关键点的检测位置和前一帧图像中目标关键点的应用位置，确定目标关键点的位移；根据目标关键点的位移，确定待检测图像中目标关键点的应用位置。该方法根据目标关键点在前一帧图像中的应用位置和在待检测图像中的检测位置确定目标关键点的位移，根据目标关键点的位移动态确定目标关键点的应用位置，可以大大提高点位确定的准确性。

Description

关键点位置的确定方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种关键点位置的确定方法、装置、电子设备和存储介质。
背景技术
视频图像中关键点检测时，通常会利用关键点检测算法，输出各关键点的检测位置，但该检测位置并不会直接应用，而是会基于该检测位置进行运算，得到关键点的应用位置(关键点的应用位置称为点位)。
相关技术中，通常采用多帧平滑方法得到关键点的应用位置，以两帧平滑为例，当前帧图像中关键点的应用位置，等于前一帧图像中关键点的应用位置与当前帧图像中关键点的检测位置的均值。
但是，由于上述方法无法区分抖动和点位真实的移动，多帧平滑使得点位确定的准确性严重下降。当点位实际上大幅移动时，多帧平滑的结果严重滞后，会产生“拖尾”现象。
发明内容
本申请提出一种关键点位置的确定方法、装置、电子设备和存储介质，用于解决相关技术中，点位确定的准确性差的问题。
本申请一方面实施例提出了一种关键点位置的确定方法，包括：
获取待检测图像中目标关键点的检测位置，以及所述待检测图像的前一帧图像中所述目标关键点的应用位置；
根据所述待检测图像中所述目标关键点的检测位置和所述前一帧图像中所述目标关键点的应用位置，确定所述目标关键点的位移；
根据所述目标关键点的位移，确定所述待检测图像中所述目标关键点的应用位置。
本申请实施例的关键点位置的确定方法，通过首先获取待检测图像中目标关键点的检测位置，以及待检测图像的前一帧图像中所述目标关键点的应用位置，然后根据待检测图像中目标关键点的检测位置和前一帧图像中目标关键点的应用位置，确定目标关键点的位移，最后根据目标关键点的位移，确定待检测图像中目标关键点的应用位置。由此，根据目标关键点在前一帧图像中的应用位置和在待检测图像中的检测位置确定目标关键点的位移，根据目标关键点的位移动态确定目标关键点的应用位置，可以大大提高点位确定的准确性。
作为本申请实施例一方面实施例一种可能的实现方式，根据所述目标关键点的位移，确定所述待检测图像中所述目标关键点的应用位置，包括：
根据所述目标关键点的位移，确定调整参数；
根据所述目标关键点的位移以及所述调整参数，确定所述待检测图像中所述目标关键点的应用位置。
作为本申请实施例一方面实施例一种可能的实现方式，通过以下公式确定所述待检测图像中所述目标关键点的应用位置：
x＝x0+(x1-x0)*K，K∈(0,1]；
其中，x为所述待检测图像中所述目标关键点的应用位置，x0为所述前一帧图像中所述目标关键点的应用位置，x1为所述待检测图像中所述目标关键点的检测位置，K为所述调整参数。
作为本申请实施例一方面实施例一种可能的实现方式，在根据所述目标关键点的位移，确定调整参数之前，还包括：
获取所述待检测图像中与所述目标关键点相关联的至少一个参考关键点的检测位置，以及所述前一帧图像中所述至少一个参考关键点的应用位置；
根据所述待检测图像中所述至少一个参考关键点的检测位置和所述前一帧图像中所述至少一个参考关键点的应用位置，确定每个参考关键点的位移；
根据所述目标关键点的位移，确定调整参数，包括：
根据所述目标关键点的位移和所述每个参考关键点的位移，确定调整参数。
作为本申请实施例一方面实施例一种可能的实现方式，所述至少一个参考关键点为与所述目标关键点相连的关键点。
作为本申请实施例一方面实施例一种可能的实现方式，根据所述目标关键点的位移和所述每个参考关键点的位移，确定调整参数，包括：
根据所述目标关键点的位移，生成第一调整参数；
根据所述每个参考关键点的位移，生成第二调整参数；
根据所述第一调整参数和所述第二调整参数，生成所述调整参数。
作为本申请实施例一方面实施例一种可能的实现方式，通过以下公式生成所述第一调整参数：
Figure BDA0001846894630000021
其中，K1为所述第一调整参数，x1为所述待检测图像中所述目标关键点的检测位置，x0为所述前一帧图像中所述目标关键点的应用位置，a和b为常数。
作为本申请实施例一方面实施例一种可能的实现方式，通过以下公式生成所述第二调整参数：
Figure BDA0001846894630000031
其中，K2为所述第二调整参数，y11、y21、…、yn1为所述待检测图像中n个所述参考关键点的检测位置，y10、y20、…、yn0为所述前一帧图像中n个所述参考关键点的应用位置，n为大于或者等于1的正整数，yn0和yn1分别为同一参考关键点在所述前一帧图像中的应用位置和在所述待检测图像中的检测位置，a和b为常数。
作为本申请实施例一方面实施例一种可能的实现方式，通过以下公式生成所述调整参数，
K＝K1*K2，其中，K为所述调整参数，K1为所述第一调整参数，K2为第二调整参数。
本申请另一方面实施例提出了一种关键点位置的确定装置，包括：
获取模块，用于获取待检测图像中目标关键点的检测位置，以及所述待检测图像的前一帧图像中所述目标关键点的应用位置；
第一确定模块，用于根据所述待检测图像中所述目标关键点的检测位置和所述前一帧图像中所述目标关键点的应用位置，确定所述目标关键点的位移；以及
第二确定模块，用于根据所述目标关键点的位移，确定所述待检测图像中所述目标关键点的应用位置。
本申请实施例的关键点位置的确定装置，通过获取待检测图像中目标关键点的检测位置，以及待检测图像的前一帧图像中目标关键点的应用位置，然后根据待检测图像中目标关键点的检测位置和前一帧图像中目标关键点的应用位置，确定目标关键点的位移，最后根据目标关键点的位移，确定待检测图像中目标关键点的应用位置。由此，根据目标关键点在前一帧图像中的应用位置和在待检测图像中的检测位置确定目标关键点的位移，根据目标关键点的位移动态确定目标关键点的应用位置，可以大大提高点位确定的准确性。
作为本申请另一方面实施例一种可能的实现方式，所述第二确定模块包括：
第一确定单元，用于根据所述目标关键点的位移，确定调整参数；
第二确定单元，用于根据所述目标关键点的位移以及所述调整参数，确定所述待检测图像中所述目标关键点的应用位置。
作为本申请另一方面实施例一种可能的实现方式，所述第二确定单元具体用于：通过以下公式确定所述待检测图像中所述目标关键点的应用位置：
x＝x0+(x1-x0)*K，K∈(0,1]；
其中，x为所述待检测图像中所述目标关键点的应用位置，x0为所述前一帧图像中所述目标关键点的应用位置，x1为所述待检测图像中所述目标关键点的检测位置，K为所述调整参数。
作为本申请另一方面实施例一种可能的实现方式，所述第二确定模块还包括：
获取单元，用于获取所述待检测图像中与所述目标关键点相关联的至少一个参考关键点的检测位置，以及所述前一帧图像中所述至少一个参考关键点的应用位置；
第三确定单元，用于根据所述待检测图像中所述至少一个参考关键点的检测位置和所述前一帧图像中所述至少一个参考关键点的应用位置，确定每个参考关键点的位移；
第一确定单元，具体用于根据所述目标关键点的位移和所述每个参考关键点的位移，确定调整参数。
作为本申请另一方面实施例一种可能的实现方式，所述至少一个参考关键点为与所述目标关键点相连的关键点。
作为本申请另一方面实施例一种可能的实现方式，第一确定单元具体用于：
根据所述目标关键点的位移，生成第一调整参数；
根据所述每个参考关键点的位移，生成第二调整参数；
根据所述第一调整参数和所述第二调整参数，生成所述调整参数。
作为本申请另一方面实施例一种可能的实现方式，第一确定单元具体用于：
通过以下公式生成所述第一调整参数：
Figure BDA0001846894630000041
其中，K1为所述第一调整参数，x1为所述待检测图像中所述目标关键点的检测位置，x0为所述前一帧图像中所述目标关键点的应用位置，a和b为常数。
作为本申请另一方面实施例一种可能的实现方式，所述第一确定单元具体用于：
通过以下公式生成所述第二调整参数：
Figure BDA0001846894630000042
其中，K2为所述第二调整参数，y11、y21、…、yn1为所述待检测图像中n个所述参考关键点的检测位置，y10、y20、…、yn0为所述前一帧图像中n个所述参考关键点的应用位置，n为大于或者等于1的正整数，yn0和yn1分别为同一参考关键点在所述前一帧图像中的应用位置和在所述待检测图像中的检测位置，a和b为常数。
作为本申请另一方面实施例一种可能的实现方式，所述第一确定单元具体用于：
通过以下公式生成所述调整参数：
K＝K1*K2，其中，K为所述调整参数，K1为所述第一调整参数，K2为第二调整参数。
本申请另一方面实施例提出了一种电子设备，包括：存储器和处理器，其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上述一方面实施例所述的关键点位置的确定方法。
本申请另一方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述一方面实施例所述的关键点位置的确定方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种关键点位置的确定方法的流程示意图；
图2为本申请实施例提供的另一种关键点位置的确定方法的流程示意图；
图3为本申请实施例提供的又一种关键点位置的确定方法的流程示意图；
图4为本申请实施例提供的函数
Figure BDA0001846894630000051
的曲线示意图；
图5为本申请实施例提供的一种关键点位置的确定方法的过程示意图；
图6为本申请实施例提供的一种关键点位置的确定装置的结构示意图；
图7为本申请实施例提供的另一种关键点位置的确定装置的结构示意图；
图8示出了适于用来实现本申请实施方式的示例性电子设备的框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的关键点位置的确定方法、装置、电子设备和存储介质。
本申请实施例，针对相关技术中，利用多帧平滑方法确定的点位准确性差的问题，提出一种关键点位置的确定方法。
本申请实施例的关键点位置的确定方法，首先获取待检测图像中目标关键点的检测位置，以及待检测图像的前一帧图像中目标关键点的应用位置，然后根据待检测图像中目标关键点的检测位置和前一帧图像中目标关键点的应用位置，确定目标关键点的位移，最后根据目标关键点的位移，确定待检测图像中目标关键点的应用位置。由此，根据目标关键点在前一帧图像中的应用位置和在待检测图像中的检测位置确定目标关键点的位移，根据目标关键点的位移动态确定目标关键点的应用位置，可以大大提高点位确定的准确性。
图1为本申请实施例提供的一种关键点位置的确定方法的流程示意图。
本申请实施例的关键点位置的确定方法，可由本申请提供的关键点位置的确定装置执行，上述装置可配置于电子设备中，如移动终端、服务器等。
如图1所示，该关键点位置的确定方法包括：
步骤101，获取待检测图像中目标关键点的检测位置，以及待检测图像的前一帧图像中目标关键点的应用位置。
其中，位置可以用关键点在图像中的坐标表示。
本实施例中，关键点的检测可包括人脸关键点检测、人体关键点检测等。其中，人脸关键点包括额头、眉毛、鼻子、嘴巴等，人体关键点可包括：额头、鼻子、肩膀、手肘等。
由于视频是由一帧一帧的图像组成的，可以视频中的一帧图像为对象进行检测。具体而言，可按照视频的播放顺序，在检测完前一帧图像后，接着检测下一帧图像，即下一帧图像为待检测图像。
本实施例中，检测位置是利用关键点检测算法直接检测到位置，而应用位置是最终确定的关键点的位置。
在获取待检测图像中关键点的检测位置时，可利用预先训练的卷积神经网络(Convolutional Neural Network，简称CNN)模型对图像进行处理，得到待检测图像的多个热力图，然后对各个热力图中的特征点求取质心得到待检测图像中关键点的检测位置。其中，热力图是一个概率密度图。以一个热力图为例，计算关键点的检测位置时，可对热力图中各特征点进行加权取平均得到该热力图对应的关键点的坐标，如公式(1)所示：
Figure BDA0001846894630000061
其中，x表示关键点的坐标；n表示热力图中特征点的个数；x1，x2，…，xn表示特征点的坐标；l1表示坐标为x1的特征点对应的概率，l2表示坐标为x2的特征点对应的概率，…，ln表示坐标为xn的特征点对应的概率。
利用上述方法，可以获得待检测图像中关键点的检测位置，当以其中一个关键点作为目标关键点，可确定该目标关键点的检测位置。在获取目标关键点在前一帧图像中的应用位置时，由于对前一帧图像中的关键点已经检测完成，可以从记录的前一帧图像中各关键点的应用位置中，获取目标关键点的应用位置。
步骤102，根据待检测图像中目标关键点的检测位置和前一帧图像中目标关键点的应用位置，确定目标关键点的位移。
本实施例中，可根据目标关键点在待检测图像中的检测位置，以及在前一帧图像中的应用位置，计算出目标关键点位移。具体地，可将目标关键点在待检测图像中的检测位置的坐标，减去目标关键点在前一帧图像中的应用位置的坐标，得到目标关键点的位移。
步骤103，根据目标关键点的位移，确定待检测图像中目标关键点的应用位置。
相关技术中，多帧平滑是将待检测图像中目标关键点的检测位置和前几帧图像中该目标关键点的应用位置的均值，作为待检测图像中该目标关键点的应用位置。
由于多帧平滑仅是将当前帧和前几帧的结果求均值，只能在一定程度上能消除点位的高斯抖动。
本实施例中，根据目标关键点的位移，动态确定待检测图像中目标关键点的应用位置。其中，目标关键点的位移越大，待检测图像中目标关键点的应用位置与前一帧图像中目标关键点的应用位置之间的距离越远；目标关键点的位移越小，待检测图像中目标关键点的应用位置与前一帧图像中目标关键点的应用位置之间的距离越近。
在实际应用中，在根据目标关键点的位移，确定待检测图像中关键点的应用位置时，可先根据目标关键点的位移确定调整参数，通过调整参数确定目标关键点在待检测图像中的应用位置，从而将待检测图像中目标关键点的应用位置与目标关键点的位移之间的关系，进行量化，提高了目标关键点的应用位置的准确性。
下面结合图2进行说明，图2为本申请实施例提供的另一种关键点位置的确定方法的流程示意图。
如图2所示，上述根据目标关键点的位移，确定待检测图像中目标关键点的应用位置，包括：
步骤201，根据目标关键点的位移，确定调整参数。
在一个实施例中，可预先建立各关键点的位移与调整参数之间的对应关系表。在确定目标关键点的位移后，可通过查询各关键点的位移与调整参数之间的关系表，确定与目标关键点的位移对应的调整参数。
其中，目标关键点的位移越大，说明目标关键点在相邻两帧图像中的位置变化越大，可使调整参数越大；目标关键点的位移越小，说明目标关键点在相邻两帧图像中的位置变化越小，可使调整参数越小。
在其它实施例中，也可以采用其它方式确定调整参数，例如图3所示的方式，后文详述。
步骤202，根据目标关键点的位移以及调整参数，确定待检测图像中目标关键点的应用位置。
在实际中，相邻两帧图中关键点的位置变化不会太大，因此，可根据前一帧图像中目标关键点的应用位置、目标关键点的位移和调整参数，确定待检测图像中目标关键点应用位置。
在具体实现时，可通过以下公式(2)计算待检测图像中目标关键点的应用位置。
x＝x0+(x1-x0)*K (2)
其中，x为待检测图像中目标关键点的应用位置，x0为前一帧图像中目标关键点的应用位置，x1为待检测图像中目标关键点的检测位置，K为调整参数，K∈(0,1]。
本实施例中，调整参数K表示目标关键点的移动速度。当K＝1时，x＝x1，说明目标关键点从前一帧图像中的应用位置x0移动到x1；当K无限趋近于0时，可以认为x＝x0，说明目标关键点保持在前一帧图像中的应用位置x0；当K＝0.5时，
Figure BDA0001846894630000081
说明目标关键点从前一帧图像中的参考位置x0移动到x0与x1中间的位置。
根据上述公式(2)可以看出，当目标关键点抖动时，K取较小值，能够达到消除抖动的作用；当目标关键点移动幅度较大时，K取较大值，避免点位的“拖尾”现象。从而，通过引入调整参数表示目标关键点的移动速度，能够自动区分抖动和点位真实移动，避免了点位滞后带来的“拖尾”负面影响，提高了点位确定的准确性。并且，可以较好的抑制点位的抖动，大大提高点位的稳定性。从而，在保证点位准确的情况下，提高了点位的稳定性。
上述实施例中，在确定调整参数时，通过根据目标关键点的位移，确定调整参数。为了进一步提高点位确定的准确性，在确定调整参数时，可引入与目标关键点相关联的至少一个参考关键点在当前待检测图像中的检测位置信息和在前一帧图像中的历史应用位置信息，从而通过目标关键点以及与目标关键点具有约束关系的至少一个参考关键点，确定调整参数。下面结合图3进行说明，图3为本申请实施例提供的又一种关键点位置的确定方法的流程示意图。
如图3所示，上述根据目标关键点的位移，确定调整参数，包括：
步骤301，获取待检测图像中与目标关键点相关联的至少一个参考关键点的检测位置，以及前一帧图像中所述至少一个参考关键点的应用位置。
其中，与目标关键点相关联的参考关键点可以是与目标关键点相连的关键点。例如，目标关键点为鼻子，那么与目标关键点相连的关键点额头、脸颊、嘴巴等为鼻子的参考关键点。
在根据目标关键点的位移确定调整参数之前，可先获取待检测图像中与目标关键点相关联的至少一个参考关键点的检测位置，以及在前一帧图像中至少一个参考关键点的应用位置。其中，在获取参考关键点的检测位置时，可利用上述CNN模型获得。
由于对前一帧图像中的关键点已经检测完成，可以从记录的前一帧图像中各关键点的应用位置中，获取与目标关键点相关联的至少一个参考关键点的应用位置。
步骤302，根据待检测图像中至少一个参考关键点的检测位置和前一帧图像中至少一个参考关键点的应用位置，确定每个参考关键点的位移。
本实施例中，可根据每个参考关键点在待检测图像中的检测位置，和在前一帧图像中的应用位置，计算每个参考关键点的位移。具体地，针对每个参考关键点，可将参考关键点在待检测图像中的检测位置的坐标，减去在前一帧图像中的应用位置的坐标，得到该参考关键点的位移。
步骤303，根据目标关键点的位移和每个参考关键点的位移，确定调整参数。
本实施例中，在确定调整参数时，引入每个参考关键点的位移，根据目标关键点的位移和每个参考关键的位移，共同确定调整参数。
其中，目标关键点的位移越大，调整参数越大；参考关键点的位移越大，说明与参考关键点相关联的目标关键点的位置变化越大，调整参数也越大。
作为一种可能的实现方式，可根据目标关键点位移确定第一调整参数，根据每个参考关键点的位移，确定第二调整参数，最后根据第一调整参数和第二调整参数确定最终的调整参数。
在根据目标关键点的位移，确定第一调整参数时，可通过以下公式(3)计算第一调整参数。
Figure BDA0001846894630000091
其中，K1为第一调整参数，x0为前一帧图像中目标关键点的应用位置，x1为待检测图像中目标关键点的检测位置，a和b为常数，且a>1，b>0。也就是说，K1是目标关键点的位移绝对值的函数。
在根据每个参考关键点的位移，确定第二调整参数时，以n个参考关键点为例，可利用公式(4)确定第二调整参数。
Figure BDA0001846894630000101
其中，K2为第二调整参数，y11、y21、…、yn1为待检测图像中n个参考关键点的检测位置，y10、y20、…、yn0为前一帧图像中n个参考关键点的应用位置，n为大于或者等于1的正整数，yn0和yn1分别为同一参考关键点在前一帧图像中的应用位置和在待检测图像中的检测位置，a和b为常数。
也就是说，在确定第二调整参数时，可将所有参考关键点的位移相加，得到所有参考关键点的位移和，将位移和的绝对值代入函数
Figure BDA0001846894630000102
中，计算出的函数值便是第二调整参数。
本实施例中，函数
Figure BDA0001846894630000103
在x>0时的曲线如图4所示。由图4可以看出，函数/>
Figure BDA0001846894630000104
为递增函数。其中，a决定了函数曲线斜率的变化快慢，b决定了函数值趋近于0时对应的自变量x的范围。
以两个参考关键点为例，当目标关键点的位移的绝对值|x1-x0|越小，K1越趋近于0；当|x1-x0|较大时，K1趋近于1。同理，当两个参考关键点位移和的绝对值|(y11-y10)+(y21-y20)|越小，K2越趋近于0；当|(y11-y10)+(y21-y20)|较大时，K2趋近于1。
对于上述公式中的参数a和b，由于在使用场景变化不大时，通过实验设定a和b到合适的常数值，能够达到预期要求。
在计算出第一调整参数和第二调整参数后，可将第一调整参数与第二调整参数的乘积，作为最终的调整参数，如公式(5)所示。
K＝K1*K2 (5)
其中，K为调整参数，K1为第一调整参数，K2为第二调整参数。
当调整参数K＝K1*K2，结合计算第一调整参数和第二调整参数的公式(3)和公式(4)，当目标关键点的位移较小，或者与目标关键点相关联的至少一个参考关键点的位移和很小时，调整参数K也很小，所以A点移动的速度很小，从而抑制了点位的抖动；当目标关键点大幅移动并且两个目标关键点位移和也较大时，调整参数K趋近于1，即目标关键点直接移动到x1，无‘拖尾’现象。
需要说明的是，参考关键点的数量不限于两个，可以是一个也可以大于两个。例如，当参考关键点的数量为M时，那么第二调整参数可以是M个参考关键点位移和的绝对值的函数。
在利用目标关键点的位移和每个参考关键点的位移，确定调整参数后，可根据目标关键点在前一帧图像中的应用位置、目标关键点的位移和调整参数，利用公式(2)计算出待检测图像中目标关键点的应用位置。
本申请实施例中，在计算调整参数时，引入与目标关键点相关的至少一个参考关键点的位移，从而通过目标关键点以及与目标关键点具有约束关系的至少一个参考关键点，确定调整参数，进而根据调整参数和目标关键点的位移，确定待检测图像中目标关键点的应用位置，可以进一步提高点位确定的准确性。
下面结合图5进行说明，图5为本申请实施例提供的一种关键点位置的确定方法的过程示意图。
如图5所示，将待检测图像输入至CNN，可以得到目标关键点A点在当前待检测图像中的检测位置的坐标和与A点相关联的至少一个参考关键点在当前待检测图像中的检测位置的坐标。
然后，利用非线性函数
Figure BDA0001846894630000111
根据A点的坐标信息，即在待检测图像中的检测位置的坐标和在前一帧图像中应用位置的坐标，可以得到第一调整参数K1；利用非线性函数/>
Figure BDA0001846894630000112
根据至少一个参考关键点的坐标信息，即根据至少一个参考关键点在待检测图像中的检测位置的坐标和在前一帧图像中的应用位置的坐标，可以得到第二调整参数K2。
其中，在计算K1和K2之前，可先根据当前待检测图像的其他特征，如待检测关键点所在的对象的尺寸，通过自适应调整确定自适应参数a和b的取值。在实际应用中，通常a和b的计算公式为a＝A(m)；b＝B(m)。其中，m可以是检测对象的尺寸，函数A()和B()是经验函数。
以人脸关键点检测为例，当人脸离摄像头较远时，图像中人脸的尺寸相对图像尺寸较小，即人脸在图像中的占比较小，那么点位的抖动也较小，此时b的取值可以小些。当人脸离摄像头比较近时，图像中人脸的尺寸较大，点位抖动较大，此时b的取值可以大些。从而，在进行人脸关键点检测时，可根据人脸尺寸确定b的取值。
在计算第一调整参数K1和第二调整参数K2后，根据K1和K2的乘积生成调整参数K，之后根据公式x＝x0+(x1-x0)*K，生成A点的应用位置的坐标，即得到A点的应用位置。
为了实现上述实施例，本申请实施例还提出一种关键点位置的确定装置。图6为本申请实施例提供的一种关键点位置的确定装置的结构示意图。
如图6所示，该关键点位置的确定装置包括：获取模块510、第一确定模块520、第二确定模块530。
获取模块510用于获取待检测图像中目标关键点的检测位置，以及待检测图像的前一帧图像中所述目标关键点的应用位置。
第一确定模块520用于根据待检测图像中目标关键点的检测位置和前一帧图像中目标关键点的应用位置，确定目标关键点的位移。
第二确定模块530用于根据目标关键点的位移，确定待检测图像中目标关键点的应用位置。
图7为本申请实施例提供的另一种关键点位置的确定装置的结构示意图。
如图7所示，在本申请实施例一种可能的实现方式中，上述第二确定模块530包括：
第一确定单元531，用于根据目标关键点的位移，确定调整参数；
第二确定单元532，用于根据目标关键点的位移以及调整参数，确定待检测图像中目标关键点的应用位置。
在本申请实施例一种可能的实现方式中，上述第二确定单元532具体用于：通过以下公式确定待检测图像中目标关键点的应用位置：
x＝x0+(x1-x0)*K，K∈(0,1]；
其中，x为待检测图像中所述目标关键点的应用位置，x0为前一帧图像中目标关键点的应用位置，x1为待检测图像中目标关键点的检测位置，K为调整参数。
在本申请实施例一种可能的实现方式中，第二确定模块530还包括：
获取单元，用于获取待检测图像中与目标关键点相关联的至少一个参考关键点的检测位置，以及前一帧图像中所述至少一个参考关键点的应用位置；
第三确定单元，用于根据待检测图像中至少一个参考关键点的检测位置和前一帧图像中至少一个参考关键点的应用位置，确定每个参考关键点的位移；
第一确定单元531，具体用于根据目标关键点的位移和每个参考关键点的位移，确定调整参数。
在本申请实施例一种可能的实现方式中，至少一个参考关键点为与目标关键点相连的关键点。
在本申请实施例一种可能的实现方式中，上述第一确定单元531具体用于：
根据目标关键点的位移，生成第一调整参数；
根据每个参考关键点的位移，生成第二调整参数；
根据第一调整参数和所述第二调整参数，生成调整参数。
在本申请实施例一种可能的实现方式中，上述第一确定单元531具体用于：
通过以下公式生成第一调整参数：
Figure BDA0001846894630000131
其中，K1为第一调整参数，x1待检测图像中所述目标关键点的检测位置，x0为前一帧图像中目标关键点的应用位置，a和b为常数。
在本申请实施例一种可能的实现方式中，上述第一确定单元531具体用于：
通过以下公式生成第二调整参数：
Figure BDA0001846894630000132
其中，K2为第二调整参数，y11、y21、…、yn1为待检测图像中n个参考关键点的检测位置，y10、y20、…、yn0为前一帧图像中n个参考关键点的应用位置，n为大于或者等于1的正整数，yn0和yn1分别为同一参考关键点在前一帧图像中的应用位置和在待检测图像中的检测位置，a和b为常数。
在本申请实施例一种可能的实现方式中，上述第一确定单元531具体用于：
通过以下公式生成调整参数：
K＝K1*K2，其中，K为调整参数，K1为第一调整参数，K2为第二调整参数。
需要说明的是，前述对关键点位置的确定方法实施例的解释说明，也适用于本实施例的关键点位置的确定装置，故在此不再赘述。
本申请实施例的关键点位置的确定装置，通过获取待检测图像中目标关键点的检测位置，以及待检测图像的前一帧图像中目标关键点的应用位置，然后根据待检测图像中目标关键点的检测位置和前一帧图像中目标关键点的应用位置，确定目标关键点的位移，最后根据目标关键点的位移，确定待检测图像中目标关键点的应用位置。由此，根据目标关键点在前一帧图像中的应用位置和在待检测图像中的检测位置确定目标关键点的位移，根据目标关键点的位移动态确定目标关键点的应用位置，可以大大提高点位确定的准确性。
为了实现上述实施例，本申请实施例还提出一种电子设备，包括：存储器和处理器，其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如上述实施例所述的关键点位置的确定方法。
图8示出了适于用来实现本申请实施方式的示例性电子设备的框图。图8显示的电子设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
为了实现上述实施例，本申请实施例还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所述的关键点位置的确定方法。
在本说明书的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种关键点位置的确定方法，其特征在于，包括：
获取待检测图像中目标关键点的检测位置，以及所述待检测图像的前一帧图像中所述目标关键点的应用位置，所述检测位置是利用关键点检测算法得到的关键点的位置，所述应用位置是最终确定的关键点的位置；
根据所述待检测图像中所述目标关键点的检测位置和所述前一帧图像中所述目标关键点的应用位置，确定所述目标关键点的位移；
根据所述目标关键点的位移，确定所述待检测图像中所述目标关键点的应用位置。
2.如权利要求1所述的关键点位置的确定方法，其特征在于，根据所述目标关键点的位移，确定所述待检测图像中所述目标关键点的应用位置，包括：
根据所述目标关键点的位移，确定调整参数；
根据所述目标关键点的位移以及所述调整参数，确定所述待检测图像中所述目标关键点的应用位置。
3.如权利要求2所述的关键点位置的确定方法，其特征在于，通过以下公式确定所述待检测图像中所述目标关键点的应用位置：
x＝x0+(x1-x0)*K，K∈(0,1]；
其中，x为所述待检测图像中所述目标关键点的应用位置，x0为所述前一帧图像中所述目标关键点的应用位置，x1为所述待检测图像中所述目标关键点的检测位置，K为所述调整参数。
4.如权利要求2所述的关键点位置的确定方法，其特征在于，在根据所述目标关键点的位移，确定调整参数之前，还包括：
获取所述待检测图像中与所述目标关键点相关联的至少一个参考关键点的检测位置，以及所述前一帧图像中所述至少一个参考关键点的应用位置；
根据所述待检测图像中所述至少一个参考关键点的检测位置和所述前一帧图像中所述至少一个参考关键点的应用位置，确定每个参考关键点的位移；
根据所述目标关键点的位移，确定调整参数，包括：
根据所述目标关键点的位移和所述每个参考关键点的位移，确定调整参数。
5.如权利要求4所述的关键点位置的确定方法，其特征在于，所述至少一个参考关键点为与所述目标关键点相连的关键点。
6.如权利要求4所述的关键点位置的确定方法，其特征在于，根据所述目标关键点的位移和所述每个参考关键点的位移，确定调整参数，包括：
根据所述目标关键点的位移，生成第一调整参数；
根据所述每个参考关键点的位移，生成第二调整参数；
根据所述第一调整参数和所述第二调整参数，生成所述调整参数。
7.如权利要求6所述的关键点位置的确定方法，其特征在于，通过以下公式生成所述第一调整参数：
Figure FDA0004106220710000021
其中，K1为所述第一调整参数，x1为所述待检测图像中所述目标关键点的检测位置，x0为所述前一帧图像中所述目标关键点的应用位置，a和b为常数。
8.如权利要求6所述的关键点位置的确定方法，其特征在于，通过以下公式生成所述第二调整参数：
K2＝f(|(y11-y10)+(y21-y20)+…+(yn1-yn0)|)，
Figure FDA0004106220710000022
其中，K2为所述第二调整参数，y11、y21、…、yn1为所述待检测图像中n个所述参考关键点的检测位置，y10、y20、…、yn0为所述前一帧图像中n个所述参考关键点的应用位置，n为大于或者等于1的正整数，yn0和yn1分别为同一参考关键点在所述前一帧图像中的应用位置和在所述待检测图像中的检测位置，a和b为常数。
9.如权利要求6所述的关键点位置的确定方法，其特征在于，通过以下公式生成所述调整参数：
K＝K1*K2；
其中，K为所述调整参数，K1为所述第一调整参数，K2为第二调整参数。
10.一种关键点位置的确定装置，其特征在于，包括：
获取模块，用于获取待检测图像中目标关键点的检测位置，以及所述待检测图像的前一帧图像中所述目标关键点的应用位置，所述检测位置是利用关键点检测算法得到的关键点的位置，所述应用位置是最终确定的关键点的位置；
第一确定模块，用于根据所述待检测图像中所述目标关键点的检测位置和所述前一帧图像中所述目标关键点的应用位置，确定所述目标关键点的位移；以及
第二确定模块，用于根据所述目标关键点的位移，确定所述待检测图像中所述目标关键点的应用位置。
11.一种电子设备，其特征在于，包括：存储器和处理器，其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-9中任一所述的关键点位置的确定方法。
12.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的关键点位置的确定方法。
CN201811275552.8A 2018-10-30 2018-10-30 关键点位置的确定方法、装置、电子设备和存储介质 Active CN111126101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811275552.8A CN111126101B (zh) 2018-10-30 2018-10-30 关键点位置的确定方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811275552.8A CN111126101B (zh) 2018-10-30 2018-10-30 关键点位置的确定方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111126101A CN111126101A (zh) 2020-05-08
CN111126101B true CN111126101B (zh) 2023-06-06

Family

ID=70484835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811275552.8A Active CN111126101B (zh) 2018-10-30 2018-10-30 关键点位置的确定方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111126101B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706463B (zh) * 2021-07-22 2024-04-26 杭州键嘉医疗科技股份有限公司 基于深度学习的关节影像关键点自动检测方法、装置
CN113657251A (zh) * 2021-08-16 2021-11-16 联想(北京)有限公司 一种检测方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512627A (zh) * 2015-12-03 2016-04-20 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
CN107622252A (zh) * 2017-09-29 2018-01-23 百度在线网络技术（北京）有限公司 信息生成方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104596929B (zh) * 2013-10-31 2017-06-23 国际商业机器公司 确定空气质量的方法及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512627A (zh) * 2015-12-03 2016-04-20 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
CN107622252A (zh) * 2017-09-29 2018-01-23 百度在线网络技术（北京）有限公司 信息生成方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙为民 ; 王晖 ; 高涛 ; 张凯 ; 刘爱民 ; .用关键点密度算法加速基于卷积神经网络的绝缘子图像目标检测.电子制作.2018,(16),全文. *

Also Published As

Publication number Publication date
CN111126101A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN110175558B (zh) 一种人脸关键点的检测方法、装置、计算设备及存储介质
CN109934065B (zh) 一种用于手势识别的方法和装置
CN109344755B (zh) 视频动作的识别方法、装置、设备及存储介质
CN109711304B (zh) 一种人脸特征点定位方法及装置
US20210287381A1 (en) Object tracking method, tracking processing method, corresponding apparatus, and electronic device
CN107633237B (zh) 图像背景分割方法、装置、设备及介质
CN111368717B (zh) 视线确定方法、装置、电子设备和计算机可读存储介质
US20150091832A1 (en) Information processing apparatus, information processing method, and program
CN111126101B (zh) 关键点位置的确定方法、装置、电子设备和存储介质
CN113807160B (zh) 图像采集设备劫持的检测方法、装置及计算机设备
CN111274852B (zh) 目标对象关键点检测方法和装置
CN114494046A (zh) 触摸轨迹处理方法、装置、终端、存储介质及程序产品
CN111833847B (zh) 语音处理模型训练方法和装置
JP4559375B2 (ja) 対象物位置追跡方法、装置、およびプログラム
CN110956131A (zh) 单目标追踪方法、装置及系统
CN110992400A (zh) 基于边缘的动态投影映射对象跟踪方法和装置
WO2020263277A1 (en) Landmark temporal smoothing
CN116188535A (zh) 基于光流估计的视频跟踪方法、装置、设备及存储介质
US20210027434A1 (en) Systems and Methods for Leveling Images
CN113837987B (zh) 舌部图像采集方法、装置及计算机设备
CN111063011B (zh) 一种人脸图像处理方法、装置、设备和介质
CN114245102A (zh) 车载摄像头抖动识别方法、装置及计算机可读存储介质
CN111126105B (zh) 人体关键点检测方法和装置
CN110738082B (zh) 人脸关键点的定位方法、装置、设备及介质
US10671881B2 (en) Image processing system with discriminative control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant