CN104573737B - 特征点定位的方法及装置 - Google Patents

特征点定位的方法及装置 Download PDF

Info

Publication number
CN104573737B
CN104573737B CN201310493846.9A CN201310493846A CN104573737B CN 104573737 B CN104573737 B CN 104573737B CN 201310493846 A CN201310493846 A CN 201310493846A CN 104573737 B CN104573737 B CN 104573737B
Authority
CN
China
Prior art keywords
layer
renewal
feature point
point set
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310493846.9A
Other languages
English (en)
Other versions
CN104573737A (zh
Inventor
张维
刘健庄
许春景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310493846.9A priority Critical patent/CN104573737B/zh
Priority to PCT/CN2014/074745 priority patent/WO2015054991A1/zh
Publication of CN104573737A publication Critical patent/CN104573737A/zh
Application granted granted Critical
Publication of CN104573737B publication Critical patent/CN104573737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/164Detection; Localisation; Normalisation using holistic features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Cosmetics (AREA)

Abstract

本发明公开了一种特征点定位的方法及装置。该方法包括:获取图像I,图像I包括至少一个特征点;基于图像I的三维姿态二值化特征,对预设的初始三维姿态参数θ0进行回归运算,得到收敛的三维姿态参数θ;根据收敛的三维姿态参数θ,确定初始的第1层特征点集的形状参数基于图像I的第1层形状二值化特征,对初始的第1层特征点集的形状参数进行回归运算,得到收敛的第1层特征点集的形状参数V1。本发明实施例中,分别对三维姿态和特征点集合进行建模,然后根据三维姿态的输出结果选取特征点集合模型的初始化参数,从而能够实现多姿态场景下的特征点定位,同时有较高的准确度和较快的处理速度。

Description

特征点定位的方法及装置
技术领域
本发明涉及领域图像处理领域,并且更具体地,涉及一种特征点定位的方法及装置。
背景技术
自动化人脸特征定位是计算机视觉领域的重要研究课题。目前,在最新的人脸识别技术中,所有输入用以进行自动识别的人脸图像,均需通过人脸特征点定位来实现局部人脸特征的抽取和人脸的几何校正。例如,在微软的体感设备采用的人脸识别技术中,利用五个关键特征点(左右眼睛、左右嘴角和鼻尖)的位置来抽取人脸特征并进行识别。
随着无标记点表情捕捉系统在影视特效产业中的应用,类似于“阿凡达”特效的场景已经成为一种广泛使用的特效,业界对于鲁棒的真实场景下的人脸特征点实时定位和动作捕捉技术的需求越来越高。而自动化的多视角人脸特征定位,作为无标记点表情捕捉的核心,也广泛地应用在数字娱乐、增强现实等诸多应用场景中。
当前采用的一种特征点定位技术中,利用二值化图像特征和回归算法实现人脸特征点定位。该类技术对人脸特征点进行参数化描述,并把相应的定位问题建模为直接从图像到形状参数的回归计算。然而,该类技术无法有效地处理多姿态人脸特征点的定位问题。
发明内容
本发明实施例提供了一种特征点定位的方法及装置,能够实现多姿态场景下的特征点定位,同时有较高的准确度和较快的处理速度。
第一方面,提供了一种特征点定位的方法,包括:获取图像I,图像I包括至少一个特征点;基于图像I的三维姿态二值化特征,对预设的初始三维姿态参数θ0进行回归运算,得到收敛的三维姿态参数θ;根据收敛的三维姿态参数θ,确定初始的第1层特征点集的形状参数基于图像I的第1层形状二值化特征,对初始的第1层特征点集的形状参数进行回归运算,得到收敛的第1层特征点集的形状参数V1
结合第一方面,在第一方面的第一种实现方式中,该方法还包括:预设i的值为1;根据收敛的第i层特征点集的形状参数Vi,确定初始的第i+1层特征点集的形状参数基于图像I的第i+1层形状二值化特征,对初始的第i+1层特征点集的形状参数进行回归运算,得到收敛的第i+1层特征点集的形状参数Vi+1;i的值增加1,执行上一步骤直至i的值为n,n为预设的大于1的正整数。
结合第一方面及其上述实现方式,在第一方面的第二种实现方式中,初始的第1层特征点集合包括根特征点和子特征点,基于矢量坐标表示子特征点与根特征点之间的位置关系,根特征点和子特征点共同呈现为预设的几何形状。
结合第一方面及其上述实现方式,在第一方面的第三种实现方式中,基于图像I的三维姿态二值化特征,对预设的初始三维姿态参数θ0进行回归运算,得到收敛的三维姿态参数θ,包括:基于初始三维姿态参数θ0,确定图像I的三维姿态二值化特征的第1值β1;基于第1值β1,确定初始三维姿态参数θ0的更新量Δθ0;根据初始三维姿态参数θ0和更新量Δθ0,确定更新后的三维姿态参数θ1;预设j的值为1;基于更新后的三维姿态参数θj,确定图像I的三维姿态二值化特征的第j+1值βj+1,基于第j+1值βj+1,确定更新后的三维姿态参数θj的更新量Δθj,根据更新后的三维姿态参数θj和更新量Δθj,确定更新后的三维姿态参数θj+1;j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数;根据更新后的三维姿态参数θj+1,确定收敛的三维姿态参数θ。
结合第一方面及其上述实现方式,在第一方面的第四种实现方式中,基于初始三维姿态参数θ0,确定图像I的三维姿态二值化特征的第1值β1,包括:根据图像I和初始三维姿态参数θ0,确定第1数量的点对或块对;基于第1数量的点对或块对,确定图像I的三维姿态二值化特征的第1值β1;基于更新后的三维姿态参数θj,确定图像I的三维姿态二值化特征的第j+1值βj+1,包括:根据图像I和更新后的三维姿态参数θj,确定第j数量的点对或块对;基于第j数量的点对或块对,确定图像I的三维姿态二值化特征的第j+1值βj+1
结合第一方面及其上述实现方式,在第一方面的第五种实现方式中,根据初始三维姿态参数θ0和更新量Δθ0,确定更新后的三维姿态参数θ1,包括:根据以下公式确定更新后的三维姿态参数θ1
θ10·Δθ0
其中,二元运算·满足数学中群的定义,θ1存在单位元和逆元;
根据更新后的三维姿态参数θj和更新量Δθj,确定更新后的三维姿态参数θj+1,包括:根据以下公式确定更新后的三维姿态参数θj+1
θj+1j·Δθj
其中,二元运算·满足数学中群的定义,θj+1存在单位元和逆元。
结合第一方面及其上述实现方式,在第一方面的第六种实现方式中,基于图像I的第1层形状二值化特征,对初始的第1层特征点集的形状参数进行回归运算,得到收敛的第1层特征点集的形状参数V1,包括:基于初始的第1层特征点集的形状参数确定图像I的第1层形状二值化特征的第1值γ1;基于第1值γ1,确定初始的第1层特征点集的形状参数的更新量根据初始的第1层特征点集的形状参数和更新量确定更新后的第1层特征点集的形状参数V1 1;预设j的值为1;基于更新后的第1层特征点集的形状参数确定图像I的第1层形状二值化特征的第j+1值γj+1,基于第j+1值γj+1,确定更新后的第1层特征点集的形状参数的更新量根据更新后的第1层特征点集的形状参数和更新量确定更新后的第1层特征点集的形状参数j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数;根据更新后的第1层特征点集的形状参数确定收敛的第1层特征点集的形状参数V1
结合第一方面及其上述实现方式,在第一方面的第七种实现方式中,基于初始的第1层特征点集的形状参数确定图像I的第1层形状二值化特征的第1值γ1,包括:根据图像I和初始的第1层特征点集的形状参数确定第1层第1数量的点对或块对;基于第1层第1数量的点对和/或块对,确定图像I的第1层形状二值化特征的第1值γ1;基于更新后的第1层特征点集的形状参数确定图像I的第1层形状二值化特征的第j+1值γj+1,包括:根据图像I和更新后的第1层特征点集的形状参数确定第1层第j数量的点对或块对;基于第1层第j数量的点对或块对,确定图像I的第1层形状二值化特征的第j+1值γj+1
结合第一方面及其上述实现方式,在第一方面的第八种实现方式中,根据初始的第1层特征点集的形状参数和更新量确定更新后的第1层特征点集的形状参数V1 1,包括:根据以下公式确定更新后的第1层特征点集的形状参数V1 1
其中,二元运算·满足数学中群的定义,V1 1存在单位元和逆元;
根据更新后的第1层特征点集的形状参数和更新量确定更新后的第1层特征点集的形状参数包括:根据以下公式确定更新后的第1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元。
结合第一方面及其上述实现方式,在第一方面的第九种实现方式中,基于图像I的第i+1层形状二值化特征,对初始的第i+1层特征点集的形状参数进行回归运算,得到收敛的第i+1层特征点集的形状参数Vi+1,包括:基于初始的第i+1层特征点集的形状参数确定图像I的第i+1层形状二值化特征的第1值α1;基于第1值α1,确定初始的第i+1层特征点集的形状参数的更新量根据初始的第i+1层特征点集的形状参数和更新量确定更新后的第i+1层特征点集的形状参数预设j的值为1;基于更新后的第i+1层特征点集的形状参数确定图像I的第i+1层形状二值化特征的第j+1值αj+1,基于第j+1值αj+1,确定更新后的第i+1层特征点集的形状参数的更新量根据更新后的第i+1层特征点集的形状参数和更新量确定更新后的第i+1层特征点集的形状参数j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数;根据更新后的第i+1层特征点集的形状参数确定收敛的第i+1层特征点集的形状参数Vi+1
结合第一方面及其上述实现方式,在第一方面的第十种实现方式中,基于初始的第i+1层特征点集的形状参数确定图像I的第i+1层形状二值化特征的第1值α1,包括:根据图像I和初始的第i+1层特征点集的形状参数确定第i+1层第1数量的点对或块对;基于第i+1层第1数量的点对或块对,确定图像I的第i+1层形状二值化特征的第1值α1;基于更新后的第i+1层特征点集的形状参数确定图像I的第i+1层形状二值化特征的第j+1值αj+1,包括:根据图像I和更新后的第i+1层特征点集的形状参数确定第i+1层第j数量的点对或块对;基于第i+1层第j数量的点对或块对,确定图像I的第i+1层形状二值化特征的第j+1值αj+1
结合第一方面及其上述实现方式,在第一方面的第十一种实现方式中,根据初始的第i+1层特征点集的形状参数和更新量确定更新后的第i+1层特征点集的形状参数包括:根据以下公式确定更新后的第i+1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元;
根据更新后的第i+1层特征点集的形状参数和更新量确定更新后的第i+1层特征点集的形状参数包括:根据以下公式确定更新后的第i+1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元。
第二方面,提供了一种特征点定位装置,包括:获取单元,用于获取图像I,图像I包括至少一个特征点;第一处理单元,用于基于图像I的三维姿态二值化特征,对预设的初始三维姿态参数θ0进行回归运算,得到收敛的三维姿态参数θ;第二处理单元,用于根据收敛的三维姿态参数θ,确定初始的第1层特征点集的形状参数基于图像I的第1层形状二值化特征,对初始的第1层特征点集的形状参数进行回归运算,得到收敛的第1层特征点集的形状参数V1
结合第二方面,在第二方面的第一种实现方式中,第二处理单元还用于,预设i的值为1;根据收敛的第i层特征点集的形状参数Vi,确定初始的第i+1层特征点集的形状参数基于图像I的第i+1层形状二值化特征,对初始的第i+1层特征点集的形状参数进行回归运算,得到收敛的第i+1层特征点集的形状参数Vi+1;i的值增加1,执行上一步骤直至i的值为n,n为预设的大于1的正整数。
结合第二方面及其上述实现方式,在第二方面的第二种实现方式中,初始的第1层特征点集合包括根特征点和子特征点,基于矢量坐标表示子特征点与根特征点之间的位置关系,根特征点和子特征点共同呈现为预设的几何形状。
结合第二方面及其上述实现方式,在第二方面的第三种实现方式中,第一处理单元具体用于,基于初始三维姿态参数θ0,确定图像I的三维姿态二值化特征的第1值β1;基于第1值β1,确定初始三维姿态参数θ0的更新量Δθ0;根据初始三维姿态参数θ0和更新量Δθ0,确定更新后的三维姿态参数θ1;预设j的值为1;基于更新后的三维姿态参数θj,确定图像I的三维姿态二值化特征的第j+1值βj+1,基于第j+1值βj+1,确定更新后的三维姿态参数θj的更新量Δθj,根据更新后的三维姿态参数θj和更新量Δθj,确定更新后的三维姿态参数θj+1;j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数;根据更新后的三维姿态参数θj+1,确定收敛的三维姿态参数θ。
结合第二方面及其上述实现方式,在第二方面的第四种实现方式中,第一处理单元具体用于,根据图像I和初始三维姿态参数θ0,确定第1数量的点对或块对;基于第1数量的点对或块对,确定图像I的三维姿态二值化特征的第1值β1;根据图像I和更新后的三维姿态参数θj,确定第j数量的点对或块对;基于第j数量的点对或块对,确定图像I的三维姿态二值化特征的第j+1值βj+1
结合第二方面及其上述实现方式,在第二方面的第五种实现方式中,第一处理单元具体用于,根据以下公式确定更新后的三维姿态参数θ1
θ10·Δθ0
其中,二元运算·满足数学中群的定义,θ1存在单位元和逆元;
根据以下公式确定更新后的三维姿态参数θj+1
θj+1=θj·Δθj
其中,二元运算·满足数学中群的定义,θj+1存在单位元和逆元。
结合第二方面及其上述实现方式,在第二方面的第六种实现方式中,第二处理单元具体用于,基于初始的第1层特征点集的形状参数确定图像I的第1层形状二值化特征的第1值γ1;基于第1值γ1,确定初始的第1层特征点集的形状参数的更新量根据初始的第1层特征点集的形状参数和更新量确定更新后的第1层特征点集的形状参数V1 1;预设j的值为1;基于更新后的第1层特征点集的形状参数确定图像I的第1层形状二值化特征的第j+1值γj+1,基于第j+1值γj+1,确定更新后的第1层特征点集的形状参数的更新量根据更新后的第1层特征点集的形状参数和更新量确定更新后的第1层特征点集的形状参数j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数;根据更新后的第1层特征点集的形状参数确定收敛的第1层特征点集的形状参数V1。。
结合第二方面及其上述实现方式,在第二方面的第七种实现方式中,第二处理单元具体用于,根据图像I和初始的第1层特征点集的形状参数确定第1层第1数量的点对或块对;基于第1层第1数量的点对和/或块对,确定图像I的第1层形状二值化特征的第1值γ1;根据图像I和更新后的第1层特征点集的形状参数确定第1层第j数量的点对或块对;基于第1层第j数量的点对或块对,确定图像I的第1层形状二值化特征的第j+1值γj+1
结合第二方面及其上述实现方式,在第二方面的第八种实现方式中,第二处理单元具体用于,根据以下公式确定更新后的第1层特征点集的形状参数V1 1
其中,二元运算·满足数学中群的定义,V1 1存在单位元和逆元;
根据以下公式确定更新后的第1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元。
结合第二方面及其上述实现方式,在第二方面的第九种实现方式中,第二处理单元具体用于,基于初始的第i+1层特征点集的形状参数确定图像I的第i+1层形状二值化特征的第1值α1;基于第1值α1,确定初始的第i+1层特征点集的形状参数的更新量根据初始的第i+1层特征点集的形状参数和更新量确定更新后的第i+1层特征点集的形状参数预设j的值为1;基于更新后的第i+1层特征点集的形状参数确定图像I的第i+1层形状二值化特征的第j+1值αj+1,基于第j+1值αj+1,确定更新后的第i+1层特征点集的形状参数的更新量根据更新后的第i+1层特征点集的形状参数和更新量确定更新后的第i+1层特征点集的形状参数j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数;根据更新后的第i+1层特征点集的形状参数确定收敛的第i+1层特征点集的形状参数Vi+1
结合第二方面及其上述实现方式,在第二方面的第十种实现方式中,第二处理单元具体用于,根据图像I和初始的第i+1层特征点集的形状参数确定第i+1层第1数量的点对或块对;基于第i+1层第1数量的点对或块对,确定图像I的第i+1层形状二值化特征的第1值α1;根据图像I和更新后的第i+1层特征点集的形状参数确定第i+1层第j数量的点对或块对;基于第i+1层第j数量的点对或块对,确定图像I的第i+1层形状二值化特征的第j+1值αj+1
结合第二方面及其上述实现方式,在第二方面的第十一种实现方式中,第二处理单元具体用于,根据以下公式确定更新后的第i+1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元;
根据以下公式确定更新后的第i+1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元。
本发明实施例的技术方案中,可以分别对三维姿态和特征点集合进行建模,然后根据三维姿态的输出结果选取特征点集合模型的初始化参数,从而能够实现多姿态场景下的特征点定位,同时有较高的准确度和较快的处理速度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例特征点定位的方法的示意性流程图。
图2是本发明实施例的三维姿态建模的示意图。
图3是本发明一个实施例的特征点集的形状参数进行回归运算过程的示意性流程图。
图4是本发明另一实施例的特征点集的形状参数进行回归运算过程的示意性流程图。
图5是本发明一个实施例的特征点定位装置的示意性框图。
图6是本发明另一实施例的特征点定位装置的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
图1是本发明实施例特征点定位的方法的示意性流程图。图1的方法100包括:
110,获取图像I,图像I包括至少一个特征点。
120,基于图像I的三维姿态二值化特征,对预设的初始三维姿态参数θ0进行回归运算,得到收敛的三维姿态参数θ。
130,根据收敛的三维姿态参数θ,确定初始的第1层特征点集的形状参数
140,基于图像I的第1层形状二值化特征,对初始的第1层特征点集的形状参数进行回归运算,得到收敛的第1层特征点集的形状参数V1
本发明实施例中,分别对三维姿态和特征点集合进行建模,然后根据三维姿态的输出结果选取特征点集合模型的初始化参数,从而能够实现多姿态场景下的特征点定位,同时有较高的准确度和较快的处理速度。
应理解,收敛的第1层特征点集的形状参数V1表示了图像I的特征点,也即得到收敛的第1层特征点集的形状参数V1后,就完成了图像I的特征点定位。同时,也可将收敛的三维姿态参数θ作为特征点定位结果的一部分。
另外,根据本发明实施例的方法,对三维姿态和特征点集合采用统一的特征描述,也即进行建模。例如,在人脸特征点定位的应用场景下,对人脸的三维姿态和特征点分别建模。然后,基于统一的回归算法对初始参数进行回归运算,最终得到收敛的结果。例如,获取人脸图像的初始化三维姿态参数,基于人脸图像进行回归运算,最终得到收敛的三维姿态参数。这样,本发明实施例的特征点定位方法有更强的扩展性,使进一步提高定位准确度成为可能。同时,对不同场景下的特征点定位具有适应性。
可选地,作为一个实施例,还可以预设i的值为1。根据收敛的第i层特征点集的形状参数Vi,确定初始的第i+1层特征点集的形状参数基于图像I的第i+1层形状二值化特征,对初始的第i+1层特征点集的形状参数进行回归运算,得到收敛的第i+1层特征点集的形状参数Vi+1。将i的值增加1,执行上一步骤直至i的值为n,n为预设的大于1的正整数。
这样,将需要定位的特征点分为多层,每一层根据前一层输出的特征点集合进行建模,也即确定初始的特征点集合,能够进一步提高特征点定位的准确度和处理速度。
可选地,作为另一实施例,初始的第1层特征点集合包括根特征点和子特征点,基于矢量坐标表示子特征点与根特征点之间的位置关系,根特征点和子特征点共同呈现为预设的几何形状。
在对第1层特征点进行建模时,基于矢量坐标表示特征点之间的位置关系,各特征点共同呈现为与图像I匹配的几何形状,这样能够更快速的对图像I的特征点进行定位。应理解,可以通过训练预先确定不同类型图像匹配的几何形状。例如,在人脸特征点定位的应用场景下,左眼、右眼和嘴巴形成了三角形,因此可设置根特征点和子特征点共同呈现为三角形。
可选地,作为另一实施例,初始的第i+1层特征点集合包括子特征点,基于矢量坐标表示子特征点与收敛的第i层特征点集合Vi中的特征点之间的位置关系。
可选地,作为另一实施例,在步骤120中,基于初始三维姿态参数θ0,确定图像I的三维姿态二值化特征的第1值β1。再基于第1值β1,确定初始三维姿态参数θ0的更新量Δθ0,根据初始三维姿态参数θ0和更新量Δθ0,确定更新后的三维姿态参数θ1。然后,预设j的值为1,基于更新后的三维姿态参数θj,确定图像I的三维姿态二值化特征的第j+1值βj+1,再基于第j+1值βj+1,确定更新后的三维姿态参数θj的更新量Δθj,根据更新后的三维姿态参数θj和更新量Δθj,确定更新后的三维姿态参数θj+1;将j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数。最后,根据更新后的三维姿态参数θj+1,确定收敛的三维姿态参数θ。
可选地,作为另一实施例,在基于初始三维姿态参数θ0,确定图像I的三维姿态二值化特征的第1值β1时,根据图像I和初始三维姿态参数θ0,确定第1数量的点对或块对,再基于第1数量的点对或块对,确定图像I的三维姿态二值化特征的第1值β1。在基于更新后的三维姿态参数θj,确定图像I的三维姿态二值化特征的第j+1值βj+1时,根据图像I和更新后的三维姿态参数θj,确定第j数量的点对或块对,再基于第j数量的点对或块对,确定图像I的三维姿态二值化特征的第j+1值βj+1
这样,根据点对或块对来确定二值化特征,能够实现更快速且轻量级的图像特征点定位。
可选地,作为一个实施例,其特征在于,在根据初始三维姿态参数θ0和更新量Δθ0,确定更新后的三维姿态参数θ1时,根据公式(1)确定更新后的三维姿态参数θ1
θ10·Δθ0 (1)
其中,二元运算·满足数学中群的定义,θ1存在单位元和逆元。
在根据更新后的三维姿态参数θj和更新量Δθj,确定更新后的三维姿态参数θj+1时,根据公式(2)确定更新后的三维姿态参数θj+1
θj+1j·Δθj (2)
其中,二元运算·满足数学中群的定义,θj+1存在单位元和逆元。
这样,在对特征点进行定位时,能够进一步提高准确度。
可选地,作为另一实施例,在步骤140中,基于初始的第1层特征点集的形状参数确定图像I的第1层形状二值化特征的第1值γ1。再基于第1值γ1,确定初始的第1层特征点集的形状参数的更新量根据初始的第1层特征点集的形状参数和更新量确定更新后的第1层特征点集的形状参数V1 1。然后,预设j的值为1,基于更新后的第1层特征点集的形状参数确定图像I的第1层形状二值化特征的第j+1值γj+1,再基于第j+1值γj+1,确定更新后的第1层特征点集的形状参数的更新量根据更新后的第1层特征点集的形状参数和更新量确定更新后的第1层特征点集的形状参数将j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数。最后,根据更新后的第1层特征点集的形状参数确定收敛的第1层特征点集的形状参数V1
可选地,作为另一实施例,在基于初始的第1层特征点集的形状参数确定图像I的第1层形状二值化特征的第1值γ1时,先根据图像I和初始的第1层特征点集的形状参数确定第1层第1数量的点对或块对,再基于第1层第1数量的点对和/或块对,确定图像I的第1层形状二值化特征的第1值γ1。在基于更新后的第1层特征点集的形状参数确定图像I的第1层形状二值化特征的第j+1值γj+1时,先根据图像I和更新后的第1层特征点集的形状参数确定第1层第j数量的点对或块对,再基于第1层第j数量的点对或块对,确定图像I的第1层形状二值化特征的第j+1值γj+1
这样,根据点对或块对来确定二值化特征,能够实现更快速且轻量级的图像特征点定位。
可选地,作为另一实施例,在根据初始的第1层特征点集的形状参数和更新量确定更新后的第1层特征点集的形状参数V1 1时,根据公式(3)确定更新后的第1层特征点集的形状参数V1 1
其中,二元运算·满足数学中群的定义,V1 1存在单位元和逆元。
在根据更新后的第1层特征点集的形状参数和更新量确定更新后的第1层特征点集的形状参数时,根据公式(4)确定更新后的第1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元。
可选地,作为一个实施例,在基于图像I的第i+1层形状二值化特征,对初始的第i+1层特征点集的形状参数进行回归运算,得到收敛的第i+1层特征点集的形状参数Vi+1时,基于初始的第i+1层特征点集的形状参数确定图像I的第i+1层形状二值化特征的第1值α1,再基于第1值α1,确定初始的第i+1层特征点集的形状参数的更新量根据初始的第i+1层特征点集的形状参数和更新量确定更新后的第i+1层特征点集的形状参数然后,预设j的值为1,基于更新后的第i+1层特征点集的形状参数确定图像I的第i+1层形状二值化特征的第j+1值αj+1,基于第j+1值αj+1,确定更新后的第i+1层特征点集的形状参数的更新量根据更新后的第i+1层特征点集的形状参数和更新量确定更新后的第i+1层特征点集的形状参数将j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数。最后,根据更新后的第i+1层特征点集的形状参数确定收敛的第i+1层特征点集的形状参数Vi+1
可选地,作为另一实施例,在基于初始的第i+1层特征点集的形状参数确定图像I的第i+1层形状二值化特征的第1值α1时,先根据图像I和初始的第i+1层特征点集的形状参数确定第i+1层第1数量的点对或块对,再基于第i+1层第1数量的点对或块对,确定图像I的第i+1层形状二值化特征的第1值α1。在基于更新后的第i+1层特征点集的形状参数确定图像I的第i+1层形状二值化特征的第j+1值αj+1时,先根据图像I和更新后的第i+1层特征点集的形状参数确定第i+1层第j数量的点对或块对,再基于第i+1层第j数量的点对或块对,确定图像I的第i+1层形状二值化特征的第j+1值αj+1
这样,根据点对或块对来确定二值化特征,能够实现更快速且轻量级的图像特征点定位。
可选地,作为另一实施例,在根据初始的第i+1层特征点集的形状参数和更新量确定更新后的第i+1层特征点集的形状参数时,根据公式(5)确定更新后的第i+1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元;
在根据更新后的第i+1层特征点集的形状参数和更新量确定更新后的第i+1层特征点集的形状参数时,根据公式(6)确定更新后的第i+1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元。
下面将结合具体的例子详细描述本发明实施例。应注意,这些例子只是为了帮助本领域技术人员更好地理解本发明实施例,而非限制本发明实施例的范围。
图2是本发明实施例的三维姿态建模的示意图。如图2所示,以俯仰角、偏转角和滚动角表征三维姿态。具体地,可以对三维姿态进行建模,以三维姿态参数θ={θpitchyawroll}表征三维姿态,其中,θpitch表示俯仰角,θyaw表示偏转角,θroll表示滚动角。以θ0表示初始化三维姿态参数,基于输入的图像I对θ0进行回归运算,其中,回归运算过程中使用的回归模型为预配置的,或实时获取的。
对特征点集合进行建模,根据三维姿态模型的输出结果获取初始化特征点集的形状参数V0。这时,可以将特征点集合分为多层特征点子集合,每一层特征点子集合根据上一层特征点子集合的输出结果,来获取本层的初始化特征点子集的形状参数可选地,可以结合三维姿态模型的输出结果和前面各特征点子集合的收敛结果,来获取本层初始化特征点子集的形状参数这样,能够进一步提高准确度和运算速度。然后,对每一层特征点子集合初始化参数分别进行回归运算,得到每一层特征点子集合的收敛结果。其中,回归运算过程中使用的回归模型为预配置的,或实时获取的。
可以基于矢量坐标表示各特征点子集合中的特征点。例如,第一层包括三个特征点,左眼、右眼和嘴巴,假设将左眼作为根节点,使用矢量坐标表示右眼和嘴巴相对于左眼的位置关系。第二层包括十个特征点,三个特征点隶属于左眼(即将左眼作为父亲节点),基于矢量坐标表示与左眼特征点的位置关系;三个隶属于右眼(即将右眼作为父亲节点),基于矢量坐标表示与右眼特征点的位置关系;四个隶属于嘴巴(即将嘴巴作为父亲节点),基于矢量坐标表示与嘴巴特征点的位置关系。每层特征点集合中包含的特征点可以共同呈现为预设的与人脸特征匹配的几何形状,这样可以提高回归运算的速度和准确度,从而提高了特征点定位的速度和准确度。
为描述方便,下文将三维姿态参数和特征点集的形状参数统称为形状参数。
例如,可以事先按照以下训练过程进行每一个回归模型的训练:
在基于图像的二值化特征进行回归运算时,假设获取到了长度为k的二值化特征(二进制特征串),可以根据此二进制特征串,把训练样本的特征划分到2k个特征子空间。对每一个长度为k的二值化特征,根据公式(7)进行回归训练。
其中,F(Ii,S)为第i张图像Ii根据形状参数S,确定的二值化特征,Si为回归目标。在训练中,由于根据二值化特征确定了到2k个子空间的映射,对应的每个子空间的回归目标集合定义为{Si}。在最小化残差的优化准则下,我们可以得到回归模型的解析表达式(8)。
由于一个二值化特征比较弱,可以通过级联的方式对多个二值化特征{F(I,S)}进行组合,来提高整个回归模型的预测能力。具体地,我们使用梯度级联的学习算法,在此框架下训练,可以得到增强的回归模型函数表达式(9)。
其中,αi为每个弱回归模型的学习系数。
基于图像I的二值化特征对初始化形状参数S0进行回归运算时,可以按照以下步骤进行:
对于图像I,获取初始化形状参数S0,利用分阶段参数回归策略,在T个阶段逐步调整形状参数{S1,S2,...,ST},最终收敛得到正确的物体形状参数描述ST
图3是本发明一个实施例的特征点集的形状参数进行回归运算过程的示意性流程图。如图3所示,以第一层特征点集模型为例描述回归运算过程。在初始阶段,给出三个特征点(左眼、右眼和嘴中心)的形状参数的初始估计S0(对应于图3中左侧图的三个特征点)。在第t个阶段,利用回归模型rt(F(I,St-1))优化前一个阶段得到的形状参数St-1。其中,rt为本层选用的回归模型。第t个阶段的二值化特征F(I,St-1)是根据前一个阶段的形状参数St-1确定的。具体地,可以根据以下公式(10)和(11)确定长度为k的二值化特征F(I,X):
F(I,X)=(f1(I,X1),f2(I,X2),...,fk(I,Xk)) (10)
F(I,X)表示在图像I中根据X确定的二值化特征,τi为预设的阈值,X为根据形状参数S确定的k个点对或点块的位置信息,X={X1,X2,...,Xk},
所有二值化特征中的位置信息X都是基于形状参数S确定的,当形状参数S发生改变,对应的X也会发生改变,最终的二值化特征F(I,X)也随之改变。
然后,根据当前阶段的回归模型rt(F(I,St-1))确定形状参数St-1在阶段t的增量ΔSt。最后,根据增量ΔSt和前一个阶段的形状参数St-1共同确定t阶段的形状参数St。重复上述步骤直至第T步,形状参数ST收敛。图3中间图中的三个特征点所示的为根据第1个阶段的增量ΔS1和初始估计S0共同确定的本阶段的形状参数S1。经过多次上述步骤,可以得到图3右侧图中收敛的形状参数(三个特征点分别落入左眼、右眼和嘴巴的位置)。
图4是本发明另一实施例的特征点集的形状参数进行回归运算过程的示意性流程图。图4所示的特征点集合(对应于小圆点所示的特征点)包括十个子特征点,基于矢量坐标表示与图3中收敛的三个特征点之间的位置关系。图4右侧图为初始的形状参数,经过多次回归运算得到图4中左侧图所示的收敛结果,最终十个特征点分别落入眉毛和嘴角的位置。回归过程与前文所述方法相同,为避免重复,在此不再赘述。
为了提高分阶段回归算法的鲁棒性,可以分别构造不同的初始的形状参数估计集合i=1,...,n,得到最终的回归参数估计集合i=1,...,n。然后,利用聚类算法对于回归参数估计集合进行聚类,以得到最终的鲁棒形状参数估计ST
图5是本发明一个实施例的特征点定位装置的示意性框图。图5中的装置50包括获取单元501、第一处理单元502和第二处理单元503。
获取单元501,用于获取图像I,图像I包括至少一个特征点;
第一处理单元502,用于基于图像I的三维姿态二值化特征,对预设的初始三维姿态参数θ0进行回归运算,得到收敛的三维姿态参数θ;
第二处理单元503,用于根据收敛的三维姿态参数θ,确定初始的第1层特征点集的形状参数基于图像I的第1层形状二值化特征,对初始的第1层特征点集的形状参数进行回归运算,得到收敛的第1层特征点集的形状参数V1
本发明实施例中,分别对三维姿态和特征点集合进行建模,然后根据三维姿态的输出结果选取特征点集合模型的初始化参数,从而能够实现多姿态场景下的特征点定位,同时有较高的准确度和较快的处理速度。
应理解,收敛的第1层特征点集的形状参数V1表示了图像I的特征点,也即得到收敛的第1层特征点集的形状参数V1后,就完成了图像I的特征点定位。同时,也可将收敛的三维姿态参数θ作为特征点定位结果的一部分。
另外,根据本发明实施例的方法,对三维姿态和特征点集合采用统一的特征描述,也即进行建模。例如,在人脸特征点定位的应用场景下,对人脸的三维姿态和特征点分别建模。然后,基于统一的回归算法对初始参数进行回归运算,最终得到收敛的结果。例如,获取人脸图像的初始化三维姿态参数,基于人脸图像进行回归运算,最终得到收敛的三维姿态参数。这样,本发明实施例的特征点定位方法有更强的扩展性,使进一步提高定位准确度成为可能。同时,对不同场景下的特征点定位具有适应性。
可选地,作为一个实施例,第二处理单元503还用于,预设i的值为1;根据收敛的第i层特征点集的形状参数Vi,确定初始的第i+1层特征点集的形状参数基于图像I的第i+1层形状二值化特征,对初始的第i+1层特征点集的形状参数进行回归运算,得到收敛的第i+1层特征点集的形状参数Vi+1;将i的值增加1,执行上一步骤直至i的值为n,n为预设的大于1的正整数。
这样,将需要定位的特征点分为多层,每一层根据前一层输出的特征点集合进行建模,也即确定初始的特征点集合,能够进一步提高特征点定位的准确度和处理速度。
可选地,作为另一实施例,初始的第1层特征点集合包括根特征点和子特征点,基于矢量坐标表示子特征点与根特征点之间的位置关系,根特征点和子特征点共同呈现为预设的几何形状。
在对第1层特征点进行建模时,基于矢量坐标表示特征点之间的位置关系,各特征点共同呈现为与图像I匹配的几何形状,这样能够更快速的对图像I的特征点进行定位。应理解,可以通过训练预先确定不同类型图像匹配的几何形状。例如,在人脸特征点定位的应用场景下,左眼、右眼和嘴巴形成了三角形,因此可设置根特征点和子特征点共同呈现为三角形。
可选地,作为另一实施例,初始的第i+1层特征点集合包括子特征点,基于矢量坐标表示子特征点与收敛的第i层特征点集合Vi中的特征点之间的位置关系。
可选地,作为另一实施例,第一处理单元502具体用于,基于初始三维姿态参数θ0,确定图像I的三维姿态二值化特征的第1值β1;再基于第1值β1,确定初始三维姿态参数θ0的更新量Δθ0;根据初始三维姿态参数θ0和更新量Δθ0,确定更新后的三维姿态参数θ1。然后,预设j的值为1,基于更新后的三维姿态参数θj,确定图像I的三维姿态二值化特征的第j+1值βj+1,基于第j+1值βj+1,确定更新后的三维姿态参数θj的更新量Δθj,根据更新后的三维姿态参数θj和更新量Δθj,确定更新后的三维姿态参数θj+1,将j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数。最后,根据更新后的三维姿态参数θj+1,确定收敛的三维姿态参数θ。
可选地,作为另一实施例,第一处理单元502具体用于,先根据图像I和初始三维姿态参数θ0,确定第1数量的点对或块对;再基于第1数量的点对或块对,确定图像I的三维姿态二值化特征的第1值β1。先根据图像I和更新后的三维姿态参数θj,确定第j数量的点对或块对;再基于第j数量的点对或块对,确定图像I的三维姿态二值化特征的第j+1值βj+1
这样,根据点对或块对来确定二值化特征,能够实现更快速且轻量级的图像特征点定位。
可选地,作为另一实施例,第一处理单元502具体用于,根据公式(12)确定更新后的三维姿态参数θ1
θ10·Δθ0 (12)
其中,二元运算·满足数学中群的定义,θ1存在单位元和逆元;
根据公式(13)确定更新后的三维姿态参数θj+1
θj+1j·Δθj (13)
其中,二元运算·满足数学中群的定义,θj+1存在单位元和逆元。
这样,在对特征点进行定位时,能够进一步提高准确度。
可选地,作为另一实施例,第二处理单元503具体用于,基于初始的第1层特征点集的形状参数确定图像I的第1层形状二值化特征的第1值γ1;再基于第1值γ1,确定初始的第1层特征点集的形状参数的更新量根据初始的第1层特征点集的形状参数和更新量确定更新后的第1层特征点集的形状参数V1 1。然后,预设j的值为1,基于更新后的第1层特征点集的形状参数确定图像I的第1层形状二值化特征的第j+1值γj+1,再基于第j+1值γj+1,确定更新后的第1层特征点集的形状参数的更新量根据更新后的第1层特征点集的形状参数和更新量确定更新后的第1层特征点集的形状参数j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数。最后,根据更新后的第1层特征点集的形状参数确定收敛的第1层特征点集的形状参数V1
可选地,作为另一实施例,第二处理单元503具体用于,先根据图像I和初始的第1层特征点集的形状参数确定第1层第1数量的点对或块对;再基于第1层第1数量的点对和/或块对,确定图像I的第1层形状二值化特征的第1值γ1。先根据图像I和更新后的第1层特征点集的形状参数确定第1层第j数量的点对或块对;再基于第1层第j数量的点对或块对,确定图像I的第1层形状二值化特征的第j+1值γj+1
这样,根据点对或块对来确定二值化特征,能够实现更快速且轻量级的图像特征点定位。
可选地,作为另一实施例,第二处理单元503具体用于,根据公式(14)确定更新后的第1层特征点集的形状参数V1 1
其中,二元运算·满足数学中群的定义,V1 1存在单位元和逆元;
根据公式(15)确定更新后的第1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元。
可选地,作为另一实施例,第二处理单元503具体用于,基于初始的第i+1层特征点集的形状参数确定图像I的第i+1层形状二值化特征的第1值α1;再基于第1值α1,确定初始的第i+1层特征点集的形状参数的更新量根据初始的第i+1层特征点集的形状参数和更新量确定更新后的第i+1层特征点集的形状参数然后,预设j的值为1,基于更新后的第i+1层特征点集的形状参数确定图像I的第i+1层形状二值化特征的第j+1值αj+1,基于第j+1值αj+1,确定更新后的第i+1层特征点集的形状参数的更新量根据更新后的第i+1层特征点集的形状参数和更新量确定更新后的第i+1层特征点集的形状参数j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数。最后,根据更新后的第i+1层特征点集的形状参数确定收敛的第i+1层特征点集的形状参数Vi+1
可选地,作为另一实施例,第二处理单元503具体用于,先根据图像I和初始的第i+1层特征点集的形状参数确定第i+1层第1数量的点对或块对,再基于第i+1层第1数量的点对或块对,确定图像I的第i+1层形状二值化特征的第1值α1。先根据图像I和更新后的第i+1层特征点集的形状参数确定第i+1层第j数量的点对或块对,再基于第i+1层第j数量的点对或块对,确定图像I的第i+1层形状二值化特征的第j+1值αj+1
这样,根据点对或块对来确定二值化特征,能够实现更快速且轻量级的图像特征点定位。
可选地,作为另一实施例,第二处理单元503具体用于,根据公式(16)确定更新后的第i+1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元;
根据公式(17)确定更新后的第i+1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元。
图6是本发明另一实施例的特征点定位装置的示意性框图。
图6的装置60可用于实现上述方法实施例中各步骤及方法。装置60可应用于各种通信系统中的终端。图6的实施例中,装置60包括发射电路602、接收电路603、处理器604、存储器605及天线601。处理器604控制装置60的操作,并且可用于处理信号。处理器604还可以称为CPU(Central Processing Unit,中央处理单元)。存储器605可以包括只读存储器和随机存取存储器,并向处理器604提供指令和数据。存储器605的一部分还可以包括非易失行随机存取存储器(NVRAM)。具体的应用中,装置60可以嵌入或者本身可以就是例如移动电话之类的无线通信设备。发射电路602和接收电路603可以耦合到天线601。装置60的各个组件通过总线系统606耦合在一起,其中总线系统606除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图中将各种总线都标为总线系统606。
具体地,存储器605可存储使得处理器604执行以下操作的指令:
获取图像I,图像I包括至少一个特征点;基于图像I的三维姿态二值化特征,对预设的初始三维姿态参数θ0进行回归运算,得到收敛的三维姿态参数θ;根据收敛的三维姿态参数θ,确定初始的第1层特征点集的形状参数基于图像I的第1层形状二值化特征,对初始的第1层特征点集的形状参数进行回归运算,得到收敛的第1层特征点集的形状参数V1
本发明实施例中,分别对三维姿态和特征点集合进行建模,然后根据三维姿态的输出结果选取特征点集合模型的初始化参数,从而能够实现多姿态场景下的特征点定位,同时有较高的准确度和较快的处理速度。
应理解,收敛的第1层特征点集的形状参数V1表示了图像I的特征点,也即得到收敛的第1层特征点集的形状参数V1后,就完成了图像I的特征点定位。同时,也可将收敛的三维姿态参数θ作为特征点定位结果的一部分。
另外,根据本发明实施例的方法,对三维姿态和特征点集合采用统一的特征描述,也即进行建模。例如,在人脸特征点定位的应用场景下,对人脸的三维姿态和特征点分别建模。然后,基于统一的回归算法对初始参数进行回归运算,最终得到收敛的结果。例如,获取人脸图像的初始化三维姿态参数,基于人脸图像进行回归运算,最终得到收敛的三维姿态参数。这样,本发明实施例的特征点定位方法有更强的扩展性,使进一步提高定位准确度成为可能。同时,对不同场景下的特征点定位具有适应性。
可选地,作为一个实施例,存储器605还可存储使得处理器604执行以下操作的指令:
预设i的值为1;根据收敛的第i层特征点集的形状参数Vi,确定初始的第i+1层特征点集的形状参数基于图像I的第i+1层形状二值化特征,对初始的第i+1层特征点集的形状参数进行回归运算,得到收敛的第i+1层特征点集的形状参数Vi+1;将i的值增加1,执行上一步骤直至i的值为n,n为预设的大于1的正整数。
可选地,作为另一实施例,存储器605还可存储使得处理器604执行以下过程的指令:
初始的第1层特征点集合包括根特征点和子特征点,基于矢量坐标表示子特征点与根特征点之间的位置关系,根特征点和子特征点共同呈现为预设的几何形状。
可选地,作为另一实施例,存储器605还可存储使得处理器604执行以下过程的指令:
初始的第i+1层特征点集合包括子特征点,基于矢量坐标表示子特征点与收敛的第i层特征点集合Vi中的特征点之间的位置关系。
可选地,作为另一实施例,存储器605还可存储使得处理器604执行以下操作的指令:
基于初始三维姿态参数θ0,确定图像I的三维姿态二值化特征的第1值β1;基于第1值β1,确定初始三维姿态参数θ0的更新量Δθ0;根据初始三维姿态参数θ0和更新量Δθ0,确定更新后的三维姿态参数θ1。然后,预设j的值为1;基于更新后的三维姿态参数θj,确定图像I的三维姿态二值化特征的第j+1值βj+1,基于第j+1值βj+1,确定更新后的三维姿态参数θj的更新量Δθj,根据更新后的三维姿态参数θj和更新量Δθj,确定更新后的三维姿态参数θj+1;j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数。最后,根据更新后的三维姿态参数θj+1,确定收敛的三维姿态参数θ。
可选地,作为另一实施例,存储器605还可存储使得处理器604执行以下操作的指令:
先根据图像I和初始三维姿态参数θ0,确定第1数量的点对或块对;再基于第1数量的点对或块对,确定图像I的三维姿态二值化特征的第1值β1。先根据图像I和更新后的三维姿态参数θj,确定第j数量的点对或块对;再基于第j数量的点对或块对,确定图像I的三维姿态二值化特征的第j+1值βj+1
可选地,作为另一实施例,存储器605还可存储使得处理器604执行以下操作的指令:
根据公式(18)确定更新后的三维姿态参数θ1
θ10·Δθ0 (18)
其中,二元运算·满足数学中群的定义,θ1存在单位元和逆元;
根据公式(19)确定更新后的三维姿态参数θj+1
θj+1j·Δθj (19)
其中,二元运算·满足数学中群的定义,θj+1存在单位元和逆元。
可选地,作为另一实施例,存储器605还可存储使得处理器604执行以下操作的指令:
基于初始的第1层特征点集的形状参数确定图像I的第1层形状二值化特征的第1值γ1;基于第1值γ1,确定初始的第1层特征点集的形状参数的更新量根据初始的第1层特征点集的形状参数和更新量确定更新后的第1层特征点集的形状参数V1 1。然后,预设j的值为1;基于更新后的第1层特征点集的形状参数确定图像I的第1层形状二值化特征的第j+1值γj+1,基于第j+1值γj+1,确定更新后的第1层特征点集的形状参数的更新量根据更新后的第1层特征点集的形状参数和更新量确定更新后的第1层特征点集的形状参数将j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数。最后,根据更新后的第1层特征点集的形状参数确定收敛的第1层特征点集的形状参数V1
可选地,作为另一实施例,存储器605还可存储使得处理器604执行以下操作的指令:
根据图像I和初始的第1层特征点集的形状参数确定第1层第1数量的点对或块对;基于第1层第1数量的点对和/或块对,确定图像I的第1层形状二值化特征的第1值γ1。根据图像I和更新后的第1层特征点集的形状参数确定第1层第j数量的点对或块对;基于第1层第j数量的点对或块对,确定图像I的第1层形状二值化特征的第j+1值γj+1
可选地,作为另一实施例,存储器605还可存储使得处理器604执行以下操作的指令:
根据公式(20)确定更新后的第1层特征点集的形状参数V1 1
其中,二元运算·满足数学中群的定义,V1 1存在单位元和逆元;
根据公式(21)确定更新后的第1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元。
可选地,作为另一实施例,存储器605还可存储使得处理器604执行以下操作的指令:
基于初始的第i+1层特征点集的形状参数确定图像I的第i+1层形状二值化特征的第1值α1;基于第1值α1,确定初始的第i+1层特征点集的形状参数的更新量根据初始的第i+1层特征点集的形状参数和更新量确定更新后的第i+1层特征点集的形状参数然后,预设j的值为1;基于更新后的第i+1层特征点集的形状参数确定图像I的第i+1层形状二值化特征的第j+1值αj+1,基于第j+1值αj+1,确定更新后的第i+1层特征点集的形状参数的更新量根据更新后的第i+1层特征点集的形状参数和更新量确定更新后的第i+1层特征点集的形状参数将j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数。最后,根据更新后的第i+1层特征点集的形状参数确定收敛的第i+1层特征点集的形状参数Vi+1
可选地,作为另一实施例,存储器605还可存储使得处理器604执行以下操作的指令:
根据图像I和初始的第i+1层特征点集的形状参数确定第i+1层第1数量的点对或块对;基于第i+1层第1数量的点对或块对,确定图像I的第i+1层形状二值化特征的第1值α1。根据图像I和更新后的第i+1层特征点集的形状参数确定第i+1层第j数量的点对或块对;基于第i+1层第j数量的点对或块对,确定图像I的第i+1层形状二值化特征的第j+1值αj+1
可选地,作为另一实施例,存储器605还可存储使得处理器604执行以下操作的指令:
根据公式(22)确定更新后的第i+1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元;
根据公式(23)确定更新后的第i+1层特征点集的形状参数
其中,二元运算·满足数学中群的定义,存在单位元和逆元。
应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (24)

1.一种特征点定位的方法,其特征在于,包括:
获取图像I,所述图像I包括至少一个特征点;
基于所述图像I的三维姿态二值化特征,对预设的初始三维姿态参数θ0进行回归运算,得到收敛的三维姿态参数θ;
根据所述收敛的三维姿态参数θ,确定初始的第1层特征点集的形状参数
基于所述图像I的第1层形状二值化特征,对所述初始的第1层特征点集的形状参数进行回归运算,得到收敛的第1层特征点集的形状参数V1
2.根据权利要求1所述的方法,其特征在于,还包括:
预设i的值为1;
根据收敛的第i层特征点集的形状参数Vi,确定初始的第i+1层特征点集的形状参数基于所述图像I的第i+1层形状二值化特征,对所述初始的第i+1层特征点集的形状参数进行回归运算,得到收敛的第i+1层特征点集的形状参数Vi+1
将i的值增加1,执行上一步骤直至i的值为n,n为预设的大于1的正整数。
3.根据权利要求1所述的方法,其特征在于,所述初始的第1层特征点集合包括根特征点和子特征点,基于矢量坐标表示所述子特征点与所述根特征点之间的位置关系,所述根特征点和所述子特征点共同呈现为预设的几何形状。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述基于所述图像I的三维姿态二值化特征,对预设的初始三维姿态参数θ0进行回归运算,得到收敛的三维姿态参数θ,包括:
基于所述初始三维姿态参数θ0,确定所述图像I的三维姿态二值化特征的第1值β1
基于所述第1值β1,确定所述初始三维姿态参数θ0的更新量Δθ0
根据所述初始三维姿态参数θ0和所述更新量Δθ0,确定更新后的三维姿态参数θ1
预设j的值为1;
基于所述更新后的三维姿态参数θj,确定所述图像I的三维姿态二值化特征的第j+1值βj+1,基于所述第j+1值βj+1,确定更新后的三维姿态参数θj的更新量Δθj,根据所述更新后的三维姿态参数θj和所述更新量Δθj,确定更新后的三维姿态参数θj+1
将j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数;
根据所述更新后的三维姿态参数θj+1,确定收敛的三维姿态参数θ。
5.根据权利要求4所述的方法,其特征在于,
所述基于所述初始三维姿态参数θ0,确定所述图像I的三维姿态二值化特征的第1值β1,包括:
根据所述图像I和所述初始三维姿态参数θ0,确定第1数量的点对或块对;
基于所述第1数量的点对或块对,确定所述图像I的三维姿态二值化特征的第1值β1
所述基于所述更新后的三维姿态参数θj,确定所述图像I的三维姿态二值化特征的第j+1值βj+1,包括:
根据所述图像I和所述更新后的三维姿态参数θj,确定第j数量的点对或块对;
基于所述第j数量的点对或块对,确定所述图像I的三维姿态二值化特征的第j+1值βj+1
6.根据权利要求5所述的方法,其特征在于,
所述根据所述初始三维姿态参数θ0和所述更新量Δθ0,确定更新后的三维姿态参数θ1,包括:
根据以下公式确定更新后的三维姿态参数θ1
θ1=θ0·Δθ0
其中,二元运算·满足数学中群的定义,θ1存在单位元和逆元;
所述根据所述更新后的三维姿态参数θj和所述更新量Δθj,确定更新后的三维姿态参数θj+1,包括:
根据以下公式确定更新后的三维姿态参数θj+1
θj+1=θj·Δθj
其中,二元运算·满足数学中群的定义,θj+1存在单位元和逆元。
7.根据权利要求1至3中任一项所述的方法,其特征在于,所述基于所述图像I的第1层形状二值化特征,对所述初始的第1层特征点集的形状参数进行回归运算,得到收敛的第1层特征点集的形状参数V1,包括:
基于所述初始的第1层特征点集的形状参数确定所述图像I的第1层形状二值化特征的第1值γ1
基于所述第1值γ1,确定所述初始的第1层特征点集的形状参数的更新量
根据所述初始的第1层特征点集的形状参数和所述更新量确定更新后的第1层特征点集的形状参数
预设j的值为1;
基于所述更新后的第1层特征点集的形状参数确定所述图像I的第1层形状二值化特征的第j+1值γj+1,基于所述第j+1值γj+1,确定更新后的第1层特征点集的形状参数的更新量根据所述更新后的第1层特征点集的形状参数和所述更新量确定更新后的第1层特征点集的形状参数
将j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数;
根据所述更新后的第1层特征点集的形状参数确定收敛的第1层特征点集的形状参数V1
8.根据权利要求7所述的方法,其特征在于,
所述基于所述初始的第1层特征点集的形状参数确定所述图像I的第1层形状二值化特征的第1值γ1,包括:
根据所述图像I和所述初始的第1层特征点集的形状参数确定第1层第1数量的点对或块对;
基于所述第1层第1数量的点对和/或块对,确定所述图像I的第1层形状二值化特征的第1值γ1
所述基于所述更新后的第1层特征点集的形状参数确定所述图像I的第1层形状二值化特征的第j+1值γj+1,包括:
根据所述图像I和所述更新后的第1层特征点集的形状参数确定第1层第j数量的点对或块对;
基于所述第1层第j数量的点对或块对,确定所述图像I的第1层形状二值化特征的第j+1值γj+1
9.根据权利要求8所述的方法,其特征在于,
所述根据所述初始的第1层特征点集的形状参数和所述更新量确定更新后的第1层特征点集的形状参数包括:
根据以下公式确定更新后的第1层特征点集的形状参数
<mrow> <msubsup> <mi>V</mi> <mn>1</mn> <mn>1</mn> </msubsup> <mo>=</mo> <msubsup> <mi>V</mi> <mn>0</mn> <mn>1</mn> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>&amp;Delta;V</mi> <mn>0</mn> <mn>1</mn> </msubsup> <mo>,</mo> </mrow>
其中,二元运算·满足数学中群的定义,存在单位元和逆元;
所述根据所述更新后的第1层特征点集的形状参数和所述更新量确定更新后的第1层特征点集的形状参数包括:
根据以下公式确定更新后的第1层特征点集的形状参数
<mrow> <msubsup> <mi>V</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mn>1</mn> </msubsup> <mo>=</mo> <msubsup> <mi>V</mi> <mi>j</mi> <mn>1</mn> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>&amp;Delta;V</mi> <mi>j</mi> <mn>1</mn> </msubsup> <mo>,</mo> </mrow>
其中,二元运算·满足数学中群的定义,存在单位元和逆元。
10.根据权利要求2所述的方法,其特征在于,所述基于所述图像I的第i+1层形状二值化特征,对所述初始的第i+1层特征点集的形状参数进行回归运算,得到收敛的第i+1层特征点集的形状参数Vi+1,包括:
基于所述初始的第i+1层特征点集的形状参数确定所述图像I的第i+1层形状二值化特征的第1值α1
基于所述第1值α1,确定所述初始的第i+1层特征点集的形状参数的更新量
根据所述初始的第i+1层特征点集的形状参数和所述更新量确定更新后的第i+1层特征点集的形状参数
预设j的值为1;
基于所述更新后的第i+1层特征点集的形状参数确定所述图像I的第i+1层形状二值化特征的第j+1值αj+1,基于所述第j+1值αj+1,确定所述更新后的第i+1层特征点集的形状参数的更新量根据所述更新后的第i+1层特征点集的形状参数和所述更新量确定更新后的第i+1层特征点集的形状参数
将j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数;
根据所述更新后的第i+1层特征点集的形状参数确定收敛的第i+1层特征点集的形状参数Vi+1
11.根据权利要求10所述的方法,其特征在于,
所述基于所述初始的第i+1层特征点集的形状参数确定所述图像I的第i+1层形状二值化特征的第1值α1,包括:
根据所述图像I和所述初始的第i+1层特征点集的形状参数确定第i+1层第1数量的点对或块对;
基于所述第i+1层第1数量的点对或块对,确定所述图像I的第i+1层形状二值化特征的第1值α1
所述基于所述更新后的第i+1层特征点集的形状参数确定所述图像I的第i+1层形状二值化特征的第j+1值αj+1,包括:
根据所述图像I和所述更新后的第i+1层特征点集的形状参数确定第i+1层第j数量的点对或块对;
基于所述第i+1层第j数量的点对或块对,确定所述图像I的第i+1层形状二值化特征的第j+1值αj+1
12.根据权利要求10或11所述的方法,其特征在于,
所述根据所述初始的第i+1层特征点集的形状参数和所述更新量确定更新后的第i+1层特征点集的形状参数包括:
根据以下公式确定更新后的第i+1层特征点集的形状参数
<mrow> <msubsup> <mi>V</mi> <mn>1</mn> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>V</mi> <mn>0</mn> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>&amp;Delta;V</mi> <mn>0</mn> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> </mrow>
其中,二元运算·满足数学中群的定义,存在单位元和逆元;
所述根据所述更新后的第i+1层特征点集的形状参数和所述更新量确定更新后的第i+1层特征点集的形状参数包括:
根据以下公式确定更新后的第i+1层特征点集的形状参数
<mrow> <msubsup> <mi>V</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>V</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>&amp;Delta;V</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> </mrow>
其中,二元运算·满足数学中群的定义,存在单位元和逆元。
13.一种特征点定位装置,其特征在于,包括:
获取单元,用于获取图像I,所述图像I包括至少一个特征点;
第一处理单元,用于基于所述图像I的三维姿态二值化特征,对预设的初始三维姿态参数θ0进行回归运算,得到收敛的三维姿态参数θ;
第二处理单元,用于根据所述收敛的三维姿态参数θ,确定初始的第1层特征点集的形状参数基于所述图像I的第1层形状二值化特征,对所述初始的第1层特征点集的形状参数进行回归运算,得到收敛的第1层特征点集的形状参数V1
14.根据权利要求13所述的装置,其特征在于,所述第二处理单元还用于,
预设i的值为1;
根据收敛的第i层特征点集的形状参数Vi,确定初始的第i+1层特征点集的形状参数基于所述图像I的第i+1层形状二值化特征,对所述初始的第i+1层特征点集的形状参数进行回归运算,得到收敛的第i+1层特征点集的形状参数Vi+1
将i的值增加1,执行上一步骤直至i的值为n,n为预设的大于1的正整数。
15.根据权利要求13所述的装置,其特征在于,所述初始的第1层特征点集合包括根特征点和子特征点,基于矢量坐标表示所述子特征点与所述根特征点之间的位置关系,所述根特征点和所述子特征点共同呈现为预设的几何形状。
16.根据权利要求13至15中任一项所述的装置,其特征在于,所述第一处理单元具体用于,
基于所述初始三维姿态参数θ0,确定所述图像I的三维姿态二值化特征的第1值β1
基于所述第1值β1,确定所述初始三维姿态参数θ0的更新量Δθ0
根据所述初始三维姿态参数θ0和所述更新量Δθ0,确定更新后的三维姿态参数θ1
预设j的值为1;
基于所述更新后的三维姿态参数θj,确定所述图像I的三维姿态二值化特征的第j+1值βj+1,基于所述第j+1值βj+1,确定更新后的三维姿态参数θj的更新量Δθj,根据所述更新后的三维姿态参数θj和所述更新量Δθj,确定更新后的三维姿态参数θj+1
将j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数;
根据所述更新后的三维姿态参数θj+1,确定收敛的三维姿态参数θ。
17.根据权利要求16所述的装置,其特征在于,所述第一处理单元具体用于,
根据所述图像I和所述初始三维姿态参数θ0,确定第1数量的点对或块对;
基于所述第1数量的点对或块对,确定所述图像I的三维姿态二值化特征的第1值β1
根据所述图像I和所述更新后的三维姿态参数θj,确定第j数量的点对或块对;
基于所述第j数量的点对或块对,确定所述图像I的三维姿态二值化特征的第j+1值βj+1
18.根据权利要求17所述的装置,其特征在于,所述第一处理单元具体用于,
根据以下公式确定更新后的三维姿态参数θ1
θ1=θ0·Δθ0
其中,二元运算·满足数学中群的定义,θ1存在单位元和逆元;
根据以下公式确定更新后的三维姿态参数θj+1
θj+1=θj·Δθj
其中,二元运算·满足数学中群的定义,θj+1存在单位元和逆元。
19.根据权利要求13至15中任一项所述的装置,其特征在于,所述第二处理单元具体用于,
基于所述初始的第1层特征点集的形状参数确定所述图像I的第1层形状二值化特征的第1值γ1
基于所述第1值γ1,确定所述初始的第1层特征点集的形状参数的更新量
根据所述初始的第1层特征点集的形状参数和所述更新量确定更新后的第1层特征点集的形状参数
预设j的值为1;
基于所述更新后的第1层特征点集的形状参数确定所述图像I的第1层形状二值化特征的第j+1值γj+1,基于所述第j+1值γj+1,确定更新后的第1层特征点集的形状参数的更新量根据所述更新后的第1层特征点集的形状参数和所述更新量确定更新后的第1层特征点集的形状参数
将j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数;
根据所述更新后的第1层特征点集的形状参数确定收敛的第1层特征点集的形状参数V1
20.根据权利要求19所述的装置,其特征在于,所述第二处理单元具体用于,
根据所述图像I和所述初始的第1层特征点集的形状参数确定第1层第1数量的点对或块对;
基于所述第1层第1数量的点对和/或块对,确定所述图像I的第1层形状二值化特征的第1值γ1
根据所述图像I和所述更新后的第1层特征点集的形状参数确定第1层第j数量的点对或块对;
基于所述第1层第j数量的点对或块对,确定所述图像I的第1层形状二值化特征的第j+1值γj+1
21.根据权利要求20所述的装置,其特征在于,所述第二处理单元具体用于,
根据以下公式确定更新后的第1层特征点集的形状参数
<mrow> <msubsup> <mi>V</mi> <mn>1</mn> <mn>1</mn> </msubsup> <mo>=</mo> <msubsup> <mi>V</mi> <mn>0</mn> <mn>1</mn> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>&amp;Delta;V</mi> <mn>0</mn> <mn>1</mn> </msubsup> <mo>,</mo> </mrow>
其中,二元运算·满足数学中群的定义,存在单位元和逆元;
根据以下公式确定更新后的第1层特征点集的形状参数
<mrow> <msubsup> <mi>V</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mn>1</mn> </msubsup> <mo>=</mo> <msubsup> <mi>V</mi> <mi>j</mi> <mn>1</mn> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>&amp;Delta;V</mi> <mi>j</mi> <mn>1</mn> </msubsup> <mo>,</mo> </mrow>
其中,二元运算·满足数学中群的定义,存在单位元和逆元。
22.根据权利要求14所述的装置,其特征在于,所述第二处理单元具体用于,
基于所述初始的第i+1层特征点集的形状参数确定所述图像I的第i+1层形状二值化特征的第1值α1
基于所述第1值α1,确定所述初始的第i+1层特征点集的形状参数的更新量
根据所述初始的第i+1层特征点集的形状参数和所述更新量确定更新后的第i+1层特征点集的形状参数
预设j的值为1;
基于所述更新后的第i+1层特征点集的形状参数确定所述图像I的第i+1层形状二值化特征的第j+1值αj+1,基于所述第j+1值αj+1,确定所述更新后的第i+1层特征点集的形状参数的更新量根据所述更新后的第i+1层特征点集的形状参数和所述更新量确定更新后的第i+1层特征点集的形状参数
将j的值增加1,执行上一步骤直至j的值为m,m为预设的大于1的正整数;
根据所述更新后的第i+1层特征点集的形状参数确定收敛的第i+1层特征点集的形状参数Vi+1
23.根据权利要求22所述的装置,其特征在于,所述第二处理单元具体用于,
根据所述图像I和所述初始的第i+1层特征点集的形状参数确定第i+1层第1数量的点对或块对;
基于所述第i+1层第1数量的点对或块对,确定所述图像I的第i+1层形状二值化特征的第1值α1
根据所述图像I和所述更新后的第i+1层特征点集的形状参数确定第i+1层第j数量的点对或块对;
基于所述第i+1层第j数量的点对或块对,确定所述图像I的第i+1层形状二值化特征的第j+1值αj+1
24.根据权利要求22或23所述的装置,其特征在于,所述第二处理单元具体用于,
根据以下公式确定更新后的第i+1层特征点集的形状参数
<mrow> <msubsup> <mi>V</mi> <mn>1</mn> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>V</mi> <mn>0</mn> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>&amp;Delta;V</mi> <mn>0</mn> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> </mrow>
其中,二元运算·满足数学中群的定义,存在单位元和逆元;
根据以下公式确定更新后的第i+1层特征点集的形状参数
<mrow> <msubsup> <mi>V</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>V</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>&amp;Delta;V</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> </mrow>
其中,二元运算·满足数学中群的定义,存在单位元和逆元。
CN201310493846.9A 2013-10-18 2013-10-18 特征点定位的方法及装置 Active CN104573737B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310493846.9A CN104573737B (zh) 2013-10-18 2013-10-18 特征点定位的方法及装置
PCT/CN2014/074745 WO2015054991A1 (zh) 2013-10-18 2014-04-03 特征点定位的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310493846.9A CN104573737B (zh) 2013-10-18 2013-10-18 特征点定位的方法及装置

Publications (2)

Publication Number Publication Date
CN104573737A CN104573737A (zh) 2015-04-29
CN104573737B true CN104573737B (zh) 2018-03-27

Family

ID=52827624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310493846.9A Active CN104573737B (zh) 2013-10-18 2013-10-18 特征点定位的方法及装置

Country Status (2)

Country Link
CN (1) CN104573737B (zh)
WO (1) WO2015054991A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766867A (zh) * 2016-08-15 2018-03-06 佳能株式会社 对象形状检测装置及方法、图像处理装置及系统、监视系统
CN108629248A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN108051005A (zh) * 2017-11-30 2018-05-18 天津大学 目标空间位置和姿态的单个psd探测方法
CN110807833B (zh) * 2019-11-04 2023-07-25 成都数字天空科技有限公司 一种网状拓扑获得方法、装置、电子设备及存储介质
CN113137939B (zh) * 2021-05-19 2022-07-19 东南大学 基于二值特征模式匹配的解包裹方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
CN102254154A (zh) * 2011-07-05 2011-11-23 南京大学 一种基于三维模型重建的人脸身份认证方法
CN102262724A (zh) * 2010-05-31 2011-11-30 汉王科技股份有限公司 目标图像特征点定位方法和目标图像特征点定位系统
CN102999942A (zh) * 2012-12-13 2013-03-27 清华大学 三维人脸重建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187256A (ja) * 2007-01-26 2008-08-14 Fujifilm Corp 動画作成装置、方法およびプログラム
CN101339606B (zh) * 2008-08-14 2011-10-12 北京中星微电子有限公司 一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置
TW201023092A (en) * 2008-12-02 2010-06-16 Nat Univ Tsing Hua 3D face model construction method
CN101593365A (zh) * 2009-06-19 2009-12-02 电子科技大学 一种通用三维人脸模型的调整方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
CN102262724A (zh) * 2010-05-31 2011-11-30 汉王科技股份有限公司 目标图像特征点定位方法和目标图像特征点定位系统
CN102254154A (zh) * 2011-07-05 2011-11-23 南京大学 一种基于三维模型重建的人脸身份认证方法
CN102999942A (zh) * 2012-12-13 2013-03-27 清华大学 三维人脸重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"3D Shape Regression for Real-time Facial Animation";Chen Cao 等;《Journal ACM Transactions on Graphics(TOG)-SIGGRAPH 2013 Conference》;20130731;第32卷(第4期);1-10 *
"Cascaded Pose Regression";Piotr Dollar 等;《CVPR,2010 IEEE Conference on》;20100805;1-8 *

Also Published As

Publication number Publication date
CN104573737A (zh) 2015-04-29
WO2015054991A1 (zh) 2015-04-23

Similar Documents

Publication Publication Date Title
CN110020620B (zh) 一种大姿态下的人脸识别方法、装置及设备
CN110705448B (zh) 一种人体检测方法及装置
CN104573737B (zh) 特征点定位的方法及装置
WO2021120834A1 (zh) 基于生物识别的手势识别方法、装置、计算机设备及介质
CN109063584B (zh) 基于级联回归的面部特征点定位方法、装置、设备及介质
KR102353637B1 (ko) 골프 동작 분석 방법 및 장치
CN108960178A (zh) 一种人手姿态估计方法及系统
CN110163087A (zh) 一种人脸姿态识别方法及系统
CN107368820A (zh) 一种精细化手势识别方法、装置及设备
CN107203963A (zh) 一种图像处理方法及装置、电子设备
CN108496188A (zh) 神经网络训练的方法、装置、计算机系统和可移动设备
CN109902716A (zh) 一种对齐分类模型的训练方法和图像分类方法
TW202040517A (zh) 產生模擬使用者的三維臉部模型的方法及裝置
CN109074497A (zh) 使用深度信息识别视频图像序列中的活动
CN112488067B (zh) 人脸姿态估计方法、装置、电子设备和存储介质
JP2020177615A (ja) アバター用の3d顔モデルを生成する方法及び関連デバイス
CN110222780A (zh) 物体检测方法、装置、设备和存储介质
CN113971833A (zh) 多角度的人脸识别方法、装置、计算机主设备及存储介质
CN115546365A (zh) 一种虚拟人驱动方法及系统
CN109359542A (zh) 基于神经网络的车辆损伤级别的确定方法及终端设备
CN104850820B (zh) 一种脸部识别方法及装置
CN109531578B (zh) 仿人机械手臂体感控制方法及装置
CN116612513A (zh) 头部姿态估计方法及系统
WO2023109086A1 (zh) 文字识别方法、装置、设备及存储介质
CN107622498B (zh) 基于场景分割的图像穿越处理方法、装置及计算设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant