CN109308721A - 图像关键点的定位方法、装置、存储介质及电子设备 - Google Patents

图像关键点的定位方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN109308721A
CN109308721A CN201811289667.2A CN201811289667A CN109308721A CN 109308721 A CN109308721 A CN 109308721A CN 201811289667 A CN201811289667 A CN 201811289667A CN 109308721 A CN109308721 A CN 109308721A
Authority
CN
China
Prior art keywords
key point
vector
comprehensive function
point
contiguous range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811289667.2A
Other languages
English (en)
Other versions
CN109308721B (zh
Inventor
罗子懿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN201811289667.2A priority Critical patent/CN109308721B/zh
Publication of CN109308721A publication Critical patent/CN109308721A/zh
Application granted granted Critical
Publication of CN109308721B publication Critical patent/CN109308721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种图像关键点的定位方法、装置、存储介质及电子设备,以实现对图像关键点的快速定位。本公开的图像关键点的的定位方法包括多次迭代更新关键点坐标的方法,以得到关键点的最终坐标;其中,每次更新关键点坐标的过程包括对上一次更新后所述图像上的每一关键点分别执行以下操作:根据所述关键点的坐标,确定所述关键点在所述图像上所处的邻域范围;确定所述邻域范围内所有像素点对所述关键点的综合作用向量;获取所述关键点的历史综合作用向量;根据所述综合作用向量以及所述历史综合作用向量的向量和,更新所述关键点的坐标。

Description

图像关键点的定位方法、装置、存储介质及电子设备
技术领域
本公开涉及图像处理技术领域,具体地,涉及一种图像关键点的定位方法、装置、存储介质及电子设备。
背景技术
关键点又称特征点、兴趣点,它是图像中具备一定代表意义的一些点,比如图像物体中的角点、边缘点等。关键点的定位是计算机自动处理图像的重要环节之一,其在图像形变、图像识别、图像配准、3D建模等过程中有着十分重要的作用。
相关技术中,主要是通过OpenCV(Open Source Computer Vision Library,开源计算机视觉库)提供的图像关键点定位技术进行关键点定位,或者是通过深度学习的方法实现关键点的定位。上述两种相关技术虽然能够定位到图像的关键点,但是其算法复杂度较高,检测速度较慢,从而无法快速地定位到图像中的所有关键点。
发明内容
本公开的目的是提供一种图像关键点的定位方法、装置、存储介质及电子设备,以实现对图像所有关键点的快速定位。
为了实现上述目的,第一方面,本公开提供一种图像关键点的定位方法,所述方法包括多次迭代更新关键点坐标的方法,以得到关键点的最终坐标;其中,每次更新关键点坐标的过程包括对上一次更新后所述图像上的每一关键点分别执行以下操作:
根据所述关键点的坐标,确定所述关键点在所述图像上所处的邻域范围;
确定所述邻域范围内所有像素点对所述关键点的综合作用向量;
获取所述关键点的历史综合作用向量,所述历史综合作用向量包括上一次更新确定的所述关键点所处邻域范围内所有像素点对所述关键点的综合作用向量;
根据所述综合作用向量以及所述历史综合作用向量的向量和,更新所述关键点的坐标。
可选地,所述确定所述邻域范围内所有像素点对所述关键点的综合作用向量,包括:
确定所述邻域范围Ω内每一个像素点的梯度向量以及所述关键点分别到每一个像素点的方向向量
采用如下公式计算所述邻域范围内所有像素点对所述关键点的综合作用向量:
ψ(po,pi)=η[d(po,pi)cos(θ)]
其中,d(po,pi)是所述方向向量的距离,θ是梯度向量与方向向量之间的夹角,η是对梯度向量进行标准化处理后的结果,ψ(po,pi)是邻域范围Ω内的第i个像素点对所述关键点的作用向量,Ψo是邻域范围Ω内的所有像素点对所述关键点的综合作用向量。
可选地,所述历史综合作用向量为上一次更新确定的所述关键点所处邻域范围内所有像素点对所述关键点的综合作用向量;
或者,所述历史综合作用向量为本次更新之前的历次更新中的每一综合作用向量的向量和。
可选地,所述方法还包括:
在确定所述综合作用向量以及所述历史综合作用向量的向量和不为零,且关键点更新次数小于预设次数时,执行下一次更新关键点坐标的过程。
第二方面,本公开还提供一种图像关键点的定位装置,所述装置用于多次迭代更新关键点坐标,以得到关键点的最终坐标,包括:
第一确定模块,用于针对上一次更新后所述图像上的每一关键点,根据所述关键点的坐标,确定所述关键点在所述图像上所处的邻域范围;
第二确定模块,用于确定所述邻域范围内所有像素点对所述关键点的综合作用向量;
获取模块,用于获取所述关键点的历史综合作用向量,所述历史综合作用向量包括上一次更新确定的所述关键点所处邻域范围内所有像素点对所述关键点的综合作用向量;
更新模块,用于根据所述综合作用向量以及所述历史综合作用向量的向量和,更新所述关键点的坐标。
可选地,所述第二确定模块用于:
确定所述邻域范围Ω内每一个像素点的梯度向量以及所述关键点分别到每一个像素点的方向向量
采用如下公式计算所述邻域范围内所有像素点对所述关键点的综合作用向量:
ψ(po,pi)=η[d(po,pi)cos(θ)]
其中,d(po,pi)是所述方向向量的距离,θ是梯度向量与方向向量之间的夹角,η是对梯度向量进行标准化处理后的结果,ψ(po,pi)是邻域范围Ω内的第i个像素点对所述关键点的作用向量,Ψo是邻域范围Ω内的所有像素点对所述关键点的综合作用向量。
可选地,所述历史综合作用向量为上一次更新确定的所述关键点所处邻域范围内所有像素点对所述关键点的综合作用向量;
或者,所述历史综合作用向量为本次更新之前的历次更新中的每一综合作用向量的向量和。
可选地,所述装置还包括:
触发执行模块,用于在确定所述综合作用向量以及所述历史综合作用向量的向量和不为零,且关键点更新次数小于预设次数时,执行下一次更新关键点坐标的过程。
第三方面,本公开还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面里任一项所述方法的步骤。
第四方面,本公开还提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现第一方面里任一项所述方法的步骤。
通过上述技术方案,在关键点定位过程中,通过当前综合作用向量和历史综合作用向量的向量和对关键点进行更新,由于每一次的更新过程都参考了历史更新过程,从而能够更加快速地得到关键点定位结果,并且,关键点所受的综合作用向量是一定邻域范围内的所有像素点对关键点的综合作用向量,经过迭代计算后,能够得到更加精确的关键点定位结果。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据示例性实施例示出的一种图像关键点坐标更新方法的流程图;
图2(a)是根据示例性实施例示出的关键点更新过程中梯度向量与方向向量之间的一夹角示意图;
图2(b)是根据示例性实施例示出的关键点更新过程中梯度向量与方向向量之间的另一夹角示意图;
图3是根据示例性实施例示出的更新关键点坐标的示意图;
图4是根据示例性实施例示出的一种图像关键点的定位方法的流程图;
图5是是根据示例性实施例示出的一种图像关键的定位装置的一框图;
图6是是根据示例性实施例示出的一种图像关键的定位装置的另一框图;
图7是是根据示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
首先说明,本公开实施例中的图像可以是人脸图像,也可以是其他的物体图像,等等,本公开实施例对于图像的具体内容不作限定,只要是可进行关键点定位的图像即可。
在本公开实施例中,图像关键点的定位方法包括多次迭代更新关键点坐标的方法,以得到关键点的最终坐标,其中,在第一次迭代更新关键点坐标的过程中,图像可以是进行了粗略关键点定位的图像,即该图像中各个关键点的大致位置已知,但是关键点定位结果的精确度不高,然后在第一次更新以后的每次迭代更新过程中,图像是上一次关键点更新后的图像,通过结合当前综合作用向量和历史综合作用向量对关键点进行更新,能够更加快速地得到关键点定位结果。
参照图1,每一次迭代更新过程中,图像的每一个关键点的更新过程包括对上一次更新后图像上的每一关键点分别执行以下步骤:
步骤S101,根据所述关键点的坐标,确定所述关键点在所述图像上所处的邻域范围。
步骤S102,确定所述邻域范围内所有像素点对所述关键点的综合作用向量。
步骤S103,获取所述关键点的历史综合作用向量,所述历史综合作用向量包括上一次更新确定的所述关键点所处邻域范围内所有像素点对所述关键点的综合作用向量。
步骤S104,根据所述综合作用向量以及所述历史综合作用向量的向量和,更新所述关键点的坐标。
在步骤S101中,邻域范围可以用于表征关键点迭代更新的速度,邻域范围确定得越小,则关键点迭代更新的速度越快,但是,应当注意的是,小邻域范围容易使关键点定位结果陷入局部最优,从而导致关键点定位的精确度不高,因此,邻域范围也不能设定得过小。在本公开实施例中,邻域范围可以是通过获取关键点的响应图确定的,也可以是根据用户对于关键点定位的精度要求确定的,等等,本公开实施例对于邻域范围的具体数值及确定方式不作限定。
在确定关键点的邻域范围后,则确定该邻域范围内所有像素点对关键点的综合作用向量。应当理解的是,一个关键点的邻域范围内有多个像素点,因此,在确定邻域范围内的所有像素点对关键点的综合作用向量时,可以先分别确定每一个像素点对关键点的作用向量,然后对每一个像素点对关键点的作用向量进行求和,从而得到邻域范围内所有像素点对关键点的综合作用向量。
也就是说,在步骤S102中,可以是先确定所述邻域范围Ω内每一个像素点的梯度向量以及所述关键点分别到每一像素点的方向向量然后采用如下公式计算所述邻域范围内所有像素点对所述关键点的综合作用向量:
ψ(po,pi)=η[d(po,pi)cos(θ)] (1)
其中,d(po,pi)是所述方向向量的距离,θ是梯度向量与方向向量之间的夹角,η是对梯度向量进行标准化处理后的结果,ψ(po,pi)是邻域范围Ω内的第i个像素点对所述关键点的作用向量,Ψo是邻域范围Ω内的所有像素点对所述关键点的综合作用向量。
应当理解的是,梯度向量是根据每一个像素点周围像素点的灰度确定的,其方向表征了像素点灰度由小变大的趋势,其大小可以根据周围像素点的灰度和相关技术中的梯度向量计算公式进行确定,本公开实施例对于梯度向量的具体确定过程不作限定。
示例地,当前关键点位置为po,邻域范围为Ω,先确定邻域范围Ω内每一个像素点pi的梯度向量并按照以下公式对梯度向量进行标准化处理:
然后,确定关键点po分别到每一个像素点pi的方向向量以及梯度向量与方向向量之间的夹角θ,并按照公式(1),根据该方向向量以及夹角θ分别确定每一个像素点pi对关键点关键点po的作用向量ψ(po,pi)。
应当理解的是,梯度向量与方向向量之间的夹角θ会由于关键点是否位于边缘区域内部而不同,其中,边缘区域是根据灰度值划分的区域,其灰度值大于周围区域的灰度值。
示例地,参照图2(a),区域1的灰度值大于区域2的灰度值,即,区域1为边缘区域,且关键点po位于边缘区域外部,邻域范围内的像素点pi位于该边缘区域的边缘线上,因此,梯度向量与方向向量之间的夹角θ为锐角,又或者,参照图2(b),区域1的灰度值大于区域2的灰度值,即,区域1为边缘区域,且关键点po位于边缘区域内部,邻域范围内的像素点pi位于该边缘区域的边缘线上,因此,梯度向量与方向向量之间的夹角θ为钝角。应当理解的是,本公开实施例对于夹角θ的具体数值不作限定。
最后,按照公式(2),计算邻域范围Ω内所有像素点pi对关键点po的综合作用向量Ψo
通过以上的方式,关键点所受的综合作用向量是一定邻域范围内的所有像素点对关键点的综合作用向量,从而能够得到更加精确的关键点定位结果。
本公开实施例中,在确定邻域范围内所有像素点对关键点的综合作用向量之后,还需要获取关键点的历史综合作用向量,该历史综合作用向量包括上一次更新确定的关键点所处邻域范围内所有像素点对该关键点的综合作用向量。
历史综合作用向量是关键点在本次坐标更新之前所受到的综合作用向量,可以是上一次更新确定的关键点所处邻域范围内所有像素点对该关键点的综合作用向量,或者,也可以是本次更新之前的历次更新中的每一综合作用向量的向量和。
如果历史综合作用向量是上一次更新确定的关键点所处邻域范围内所有像素点对该关键点的综合作用向量,那么关键点的历史综合作用向量可以是α·Ψt-1,其中,Ψt-1是上一次更新确定的关键点所处邻域范围内所有像素点对该关键点的综合作用向量,α是预设学习率,用于表征历史作用向量对于本次关键点坐标更新的影响,α越大表示历史综合作用向量对本次关键点坐标更新的影响越大,而α越小则表示历史综合作用向量对本次关键点坐标更新的影响越小,应当理解的是,α的大小可以是用户对于关键点定位结果的不同需求自行设定的,本公开实施例对此不作限定。
相应地,在步骤S104,可以是按照以下公式,根据当前综合作用向量以及历史综合作用向量的向量和,更新关键点的坐标:
Ψt=γ·vt+α·Ψt-1 (4)
其中,vt是邻域范围Ω内的所有像素点对关键点的当前综合作用向量,γ是预设阻力系数,用于确定当前综合向量对于本次关键点坐标更新的影响,γ越大表示当前综合作用向量对本次关键点坐标更新的影响越大,而γ越小则表示当前综合作用向量对本次关键点坐标更新的影响越小,应当理解的是,γ的大小可以是用户对于关键点定位结果的不同需求自行设定的,本公开实施例对此不作限定。
在一个示例性实施例中,更新关键点的坐标的示意图可以如图3所示,当前关键点为po,历史综合作用向量为α·Ψt-1,关键点po邻域范围内所有像素点对关键点po当前综合作用向量为γ·vt,那么当前综合作用向量γ·vt以及历史综合作用向量α·Ψt-1的向量和为Ψt,因此,可以在当前关键点po的坐标上叠加向量和Ψt对应的坐标值,从而实现关键点的更新过程。
如果历史综合作用向量是本次更新之前的历次更新中的每一综合作用向量的向量和,那么关键点的历史综合作用向量可以是α1·Ψ12·Ψ2+…+αt-1·Ψt-1,其中,α12,…,αt-1分别表示本次更新之前的历次更新中的预设学习率,Ψ12,…,Ψt-1分别表示本次更新之前的历次更新中的综合作用向量。
相应地,在步骤S104,可以是按照以下公式,根据当前综合作用向量以及历史综合作用向量的向量和,更新关键点的坐标:
Ψt=γ·vt1·Ψ12·Ψ2+…+αt-1·Ψt-1 (5)
通过以上的方式,在关键点定位过程中,通过当前综合作用向量和历史综合作用向量的向量和对关键点进行更新,由于每一次的更新过程都参考了历史更新过程,从而能够更加快速地得到关键点定位结果。
在每一次迭代更新后,还可以在确定当前综合作用向量以及历史综合作用向量的向量和不为零,且关键点更新次数小于预设次数时,执行下一次更新关键点坐标的过程。这样通过多次迭代更新,更能保证关键点定位结果的准确性。
下面说明本公开实例中图像关键点的定位方法的完整流程。
参照图4,该图像关键点的定位方法可以包括以下步骤:
步骤S401,根据关键点的坐标,确定关键点在图像上所处的邻域范围。
需要说明的是,第一次迭代更新关键点坐标的过程中,可以是在进行了粗略关键点定位的图像中,根据关键点的坐标,确定关键点在图像上所处的邻域范围,然后在第一次更新以后的每次迭代更新过程中,在上一次关键点更新后的图像中根据关键点的坐标,确定关键点在图像上所处的邻域范围。
步骤S402,确定邻域范围内所有像素点对所述关键点的综合作用向量。
步骤S403,获取所述关键点的历史综合作用向量,所述历史综合作用向量包括上一次更新确定的所述关键点所处邻域范围内所有像素点对所述关键点的综合作用向量。
需要说明的是,在第一次迭代更新过程中,由于没有上一次更新过程,因此,历史综合作用向量为0。
步骤S404,根据所述综合作用向量以及所述历史综合作用向量的向量和,更新所述关键点的坐标。
步骤S405,确定当前综合作用向量以及历史综合作用向量的向量和是否不为零,且关键点更新次数是否小于预设次数,当确定当前综合作用向量以及历史综合作用向量的向量和不为零,且关键点更新次数小于预设次数时,进入步骤S401,否则,进入步骤S406。
步骤S406,得到关键点的最终坐标。
通过以上的方式,在关键点定位过程中,通过当前综合作用向量和历史综合作用向量的向量和对关键点进行更新,由于每一次的更新过程都参考了历史更新过程,从而能够更加快速地得到关键点定位结果,并且,关键点所受的综合作用向量是一定邻域范围内的所有像素点对关键点的综合作用向量,经过迭代计算后,能够得到更加精确的关键点定位结果。
基于同一发明构思,参照图5,本公开实施例还提供一种图像关键点的定位装置500,所述装置500用于多次迭代更新关键点坐标,以得到关键点的最终坐标,包括:
第一确定模块501,用于针对上一次更新后所述图像上的每一关键点,根据所述关键点的坐标,确定所述关键点在所述图像上所处的邻域范围;
第二确定模块502,用于确定所述邻域范围内所有像素点对所述关键点的综合作用向量;
获取模块503,用于获取所述关键点的历史综合作用向量,所述历史综合作用向量包括上一次更新确定的所述关键点所处邻域范围内所有像素点对所述关键点的综合作用向量;
更新模块504,用于根据所述综合作用向量以及所述历史综合作用向量的向量和,更新所述关键点的坐标。
可选地,第二确定模块502用于:
确定所述邻域范围Ω内每一个像素点的梯度向量以及所述关键点分别到每一个像素点的方向向量
采用如下公式计算所述邻域范围内所有像素点对所述关键点的综合作用向量:
ψ(po,pi)=η[d(po,pi)cos(θ)] (1)
其中,d(po,pi)是所述方向向量的距离,θ是梯度向量与方向向量之间的夹角,η是对梯度向量进行标准化处理后的结果,ψ(po,pi)是邻域范围Ω内的第i个像素点对所述关键点的作用向量,Ψo是邻域范围Ω内的所有像素点对所述关键点的综合作用向量。
可选地,所述历史综合作用向量为上一次更新确定的所述关键点所处邻域范围内所有像素点对所述关键点的综合作用向量;
或者,所述历史综合作用向量为本次更新之前的历次更新中的每一综合作用向量的向量和。
可选地,参照图6,装置500还包括:
触发执行模块505,用于在确定所述综合作用向量以及所述历史综合作用向量的向量和不为零,且关键点更新次数小于预设次数时,执行下一次更新关键点坐标的过程。
通过以上的装置,在关键点定位过程中,通过当前综合作用向量和历史综合作用向量的向量和对关键点进行更新,由于每一次的更新过程都参考了历史更新过程,从而能够更加快速地得到关键点定位结果,并且,关键点所受的综合作用向量是一定邻域范围内的所有像素点对关键点的综合作用向量,经过迭代计算后,能够得到更加精确的关键点定位结果。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
基于同一发明构思,本公开实施例还提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现上述任一图像关键点的定位方法的步骤。
在一示例性实施例中,该电子设备的框图可以如图7所示。参照图7,该电子设备700可以包括:处理器701,存储器702。该电子设备700还可以包括多媒体组件703,输入/输出(I/O)接口704,以及通信组件705中的一者或多者。
其中,处理器701用于控制该电子设备700的整体操作,以完成上述的图像关键点的定位方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作,这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如每一次迭代更新后的关键点坐标数据、每一次迭代更新后的综合作用向量,等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏。
I/O接口704为处理器701和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(NearField Communication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件705可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的图像关键点的定位方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的图像关键点的定位方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器702,上述程序指令可由电子设备700的处理器701执行以完成上述的图像关键点的定位方法的步骤。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (10)

1.一种图像关键点的定位方法,其特征在于,所述方法包括多次迭代更新关键点坐标的方法,以得到关键点的最终坐标;其中,每次更新关键点坐标的过程包括对上一次更新后所述图像上的每一关键点分别执行以下操作:
根据所述关键点的坐标,确定所述关键点在所述图像上所处的邻域范围;
确定所述邻域范围内所有像素点对所述关键点的综合作用向量;
获取所述关键点的历史综合作用向量,所述历史综合作用向量包括上一次更新确定的所述关键点所处邻域范围内所有像素点对所述关键点的综合作用向量;
根据所述综合作用向量以及所述历史综合作用向量的向量和,更新所述关键点的坐标。
2.根据权利要求1所述的方法,其特征在于,所述确定所述邻域范围内所有像素点对所述关键点的综合作用向量,包括:
确定所述邻域范围Ω内每一个像素点的梯度向量以及所述关键点分别到每一个像素点的方向向量
采用如下公式计算所述邻域范围内所有像素点对所述关键点的综合作用向量:
ψ(po,pi)=η[d(po,pi)cos(θ)]
其中,d(po,pi)是所述方向向量的距离,θ是梯度向量与方向向量之间的夹角,η是对梯度向量进行标准化处理后的结果,ψ(po,pi)是邻域范围Ω内的第i个像素点对所述关键点的作用向量,Ψo是邻域范围Ω内的所有像素点对所述关键点的综合作用向量。
3.根据权利要求2所述的方法,其特征在于,所述历史综合作用向量为上一次更新确定的所述关键点所处邻域范围内所有像素点对所述关键点的综合作用向量;
或者,所述历史综合作用向量为本次更新之前的历次更新中的每一综合作用向量的向量和。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述方法还包括:
在确定所述综合作用向量以及所述历史综合作用向量的向量和不为零,且关键点更新次数小于预设次数时,执行下一次更新关键点坐标的过程。
5.一种图像关键点的定位装置,其特征在于,所述装置用于多次迭代更新关键点坐标,以得到关键点的最终坐标,包括:
第一确定模块,用于针对上一次更新后所述图像上的每一关键点,根据所述关键点的坐标,确定所述关键点在所述图像上所处的邻域范围;
第二确定模块,用于确定所述邻域范围内所有像素点对所述关键点的综合作用向量;
获取模块,用于获取所述关键点的历史综合作用向量,所述历史综合作用向量包括上一次更新确定的所述关键点所处邻域范围内所有像素点对所述关键点的综合作用向量;
更新模块,用于根据所述综合作用向量以及所述历史综合作用向量的向量和,更新所述关键点的坐标。
6.根据权利要求5所述的装置,其特征在于,所述第二确定模块用于:
确定所述邻域范围Ω内每一个像素点的梯度向量以及所述关键点分别到每一个像素点的方向向量
采用如下公式计算所述邻域范围内所有像素点对所述关键点的综合作用向量:
ψ(po,pi)=η[d(po,pi)cos(θ)]
其中,d(po,pi)是所述方向向量的距离,θ是梯度向量与方向向量之间的夹角,η是对梯度向量进行标准化处理后的结果,ψ(po,pi)是邻域范围Ω内的第i个像素点对所述关键点的作用向量,Ψo是邻域范围Ω内的所有像素点对所述关键点的综合作用向量。
7.根据权利要求6所述的装置,其特征在于,所述历史综合作用向量为上一次更新确定的所述关键点所处邻域范围内所有像素点对所述关键点的综合作用向量;
或者,所述历史综合作用向量为本次更新之前的历次更新中的每一综合作用向量的向量和。
8.根据权利要求5至7中任一项所述的装置,其特征在于,所述装置还包括:
触发执行模块,用于在确定所述综合作用向量以及所述历史综合作用向量的向量和不为零,且关键点更新次数小于预设次数时,执行下一次更新关键点坐标的过程。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至4中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1至4中任一项所述方法的步骤。
CN201811289667.2A 2018-10-31 2018-10-31 图像关键点的定位方法、装置、存储介质及电子设备 Active CN109308721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811289667.2A CN109308721B (zh) 2018-10-31 2018-10-31 图像关键点的定位方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811289667.2A CN109308721B (zh) 2018-10-31 2018-10-31 图像关键点的定位方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN109308721A true CN109308721A (zh) 2019-02-05
CN109308721B CN109308721B (zh) 2020-10-30

Family

ID=65222510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811289667.2A Active CN109308721B (zh) 2018-10-31 2018-10-31 图像关键点的定位方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN109308721B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113820658A (zh) * 2021-08-18 2021-12-21 上海闻泰电子科技有限公司 无线定位方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123543A (zh) * 2014-07-23 2014-10-29 泰亿格电子(上海)有限公司 一种基于人脸识别的眼球运动识别方法
CN106355138A (zh) * 2016-08-18 2017-01-25 电子科技大学 基于深度学习和关键点特征提取的人脸识别方法
CN106845398A (zh) * 2017-01-19 2017-06-13 北京小米移动软件有限公司 人脸关键点定位方法及装置
CN106980809A (zh) * 2016-01-19 2017-07-25 深圳市朗驰欣创科技股份有限公司 一种基于asm的人脸特征点检测方法
CN107729879A (zh) * 2017-11-14 2018-02-23 北京进化者机器人科技有限公司 人脸识别方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123543A (zh) * 2014-07-23 2014-10-29 泰亿格电子(上海)有限公司 一种基于人脸识别的眼球运动识别方法
CN106980809A (zh) * 2016-01-19 2017-07-25 深圳市朗驰欣创科技股份有限公司 一种基于asm的人脸特征点检测方法
CN106355138A (zh) * 2016-08-18 2017-01-25 电子科技大学 基于深度学习和关键点特征提取的人脸识别方法
CN106845398A (zh) * 2017-01-19 2017-06-13 北京小米移动软件有限公司 人脸关键点定位方法及装置
CN107729879A (zh) * 2017-11-14 2018-02-23 北京进化者机器人科技有限公司 人脸识别方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XUANYI DONG: ""Supervision-by-registration:An Unsupervised Approach to Improve the Precision of Facial Landmark Detector"", 《CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 2018》 *
胡旭: ""瞳孔和眼角的梯度特征重构快速定位算法"", 《计算机辅助设计与图形学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113820658A (zh) * 2021-08-18 2021-12-21 上海闻泰电子科技有限公司 无线定位方法、装置、电子设备及存储介质
CN113820658B (zh) * 2021-08-18 2024-09-20 上海闻泰电子科技有限公司 无线定位方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109308721B (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
US10373244B2 (en) System and method for virtual clothes fitting based on video augmented reality in mobile phone
KR20210129189A (ko) 타깃 검출 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체
CN110246182A (zh) 基于视觉的全局地图定位方法、装置、存储介质和设备
JP5223502B2 (ja) 方位追従表示装置、方位追従表示方法および方位追従表示プログラム
JP5355683B2 (ja) 表示入力装置および車載情報機器
KR20210113612A (ko) 얼굴과 손을 관련지어 검출하는 방법 및 장치, 전자기기 및 기억매체
JP5287838B2 (ja) 表示位置設定装置
CN104101348B (zh) 导航系统以及在导航系统上显示地图的方法
CN108332758A (zh) 一种移动机器人的走廊识别方法及装置
JP4626860B2 (ja) 操作装置
US20140152702A1 (en) Image display device, image display method, image display program, and computer-readable recording medium whereon program is recorded
US11106280B1 (en) On-the-fly calibration for improved on-device eye tracking
CN110427849A (zh) 人脸姿态确定方法、装置、存储介质和电子设备
CN109308721A (zh) 图像关键点的定位方法、装置、存储介质及电子设备
KR102209076B1 (ko) 가상 키보드 오타 보정을 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독가능한 기록 매체
CN111213118B (zh) 位置识别方法及终端
CN109781144B (zh) 数据校正方法、装置、电子设备及计算机可读存储介质
JP2009043197A (ja) 判別装置
JPWO2021033242A1 (ja) 画像認識装置、画像認識方法、及び、画像認識プログラム
CN114299192B (zh) 定位建图的方法、装置、设备和介质
JP6355909B2 (ja) 検査記録装置及び検査記録評価方法
CN115380308A (zh) 实现vSLAM系统的自适应特征检测的方法和系统
US20200167005A1 (en) Recognition device and recognition method
JP6575221B2 (ja) 表示制御方法、情報処理装置及び表示制御プログラム
CN111179284A (zh) 交互式图像分割方法、系统及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant