CN111428565B - 一种基于深度学习的点云标识点定位方法及装置 - Google Patents

一种基于深度学习的点云标识点定位方法及装置 Download PDF

Info

Publication number
CN111428565B
CN111428565B CN202010117022.1A CN202010117022A CN111428565B CN 111428565 B CN111428565 B CN 111428565B CN 202010117022 A CN202010117022 A CN 202010117022A CN 111428565 B CN111428565 B CN 111428565B
Authority
CN
China
Prior art keywords
point
points
candidate
identification
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010117022.1A
Other languages
English (en)
Other versions
CN111428565A (zh
Inventor
杨健
艾丹妮
范敬凡
郭龙腾
王涌天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010117022.1A priority Critical patent/CN111428565B/zh
Publication of CN111428565A publication Critical patent/CN111428565A/zh
Application granted granted Critical
Publication of CN111428565B publication Critical patent/CN111428565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习的点云标识点定位方法及装置，能够完成面部点云标识点的自动快速精准定位。方法包括：(1)生成预测定位；(2)如果候选定位点集中的候选定位点的个数少于3，跳转到步骤(4)，否则执行步骤(3)；(3)滤除错误候选点；(4)定位缺失标识点。

Description

一种基于深度学习的点云标识点定位方法及装置
技术领域
本发明涉及点云图像处理的技术领域，尤其涉及一种基于深度学习的点云标识点定位方法，还涉及一种基于深度学习的点云标识点定位装置。
背景技术
三维图像是一种特殊的信息表达形式，其特征是表达的空间中三个维度的数据，表现形式包括：深度图(以灰度表达物体与相机的距离)，几何模型(由CAD软件建立)，点云模型(所有逆向工程设备都将物体采样成点云)。和二维图像相比，三维图像借助第三个维度的信息，可以实现天然的物体——背景解耦。点云数据是最为常见也是最基础的三维模型。点云模型往往由测量直接得到，每个点对应一个测量点，未经过其他处理手段，故包含了最大的信息量。这些信息隐藏在点云中需要以其他提取手段将其萃取出来，提取点云中信息的过程则为三维图像处理。
点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”(PointCloud)。从输入点云提取采样点集，从采样点集中选取部分点集，并将其中的点称为监测点。
点云中标识点的快速精准定位在身份识别、3D模型分割、3D模型检索等领域均有非常重要的应用，其中3D人脸点云中的标识点的自动定位在人脸识别、表情识别、头部位姿识别、头部运动估计、头部点云稠密匹配、嘴唇形状分析、头部手术以及疾病诊断等方面均有十分重要应用。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于深度学习的点云标识点定位方法，其能够完成面部点云标识点的自动快速精准定位。
本发明的技术方案是：这种基于深度学习的点云标识点定位方法，其包括以下步骤：
(1)对于每一个监测点生成一个目标标识点的预测定位点集Rj，使用一个基于距离的非极大值抑制方法在每个标识点的预测定位点集中得到至多一个的候选定位点，最终选择候选点集C′j中置信度最大的候选点作为第j个目标标识点的最终候选定位点Cj，所有目标标识点的最终候选定位点组成候选定位点集Call；
(2)如果候选定位点集Call中的候选定位点的个数少于3，跳转到步骤(4)，否则执行步骤(3)；
(3)滤除错误候选点：使用基于贪婪搜索的方法将Call＝{C0,C1,…,CL-1}中不正确的候选点滤除，从而得知滤除错误点之后的定位结果中缺失了哪些标识点；
(4)定位缺失标识点：使用基于PCA统计形状模型的方法对缺失标识点进行预测。
本发明通过对于每一个监测点生成一个目标标识点的预测定位点集Rj，使用一个基于距离的非极大值抑制方法在每个标识点的预测定位点集中得到至多一个的候选定位点，最终选择候选点集C′j中置信度最大的候选点作为第j个目标标识点的最终候选定位点Cj，所有目标标识点的最终候选定位点组成候选定位点集Call，使用基于贪婪搜索的方法将Call＝{C0,C1,…,CL-1}中不正确的候选点滤除，从而得知滤除错误点之后的定位结果中缺失了哪些标识点，使用基于PCA统计形状模型的方法对缺失标识点进行预测，从而能够完成面部点云标识点的自动快速精准定位。
还提供了一种基于深度学习的点云标识点定位装置，其包括：
生成预测定位模块，其配置来对于每一个监测点生成一个目标标识点的预测定位点集Rj，使用一个基于距离的非极大值抑制方法在每个标识点的预测定位点集中得到至多一个的候选定位点，最终选择候选点集C′j中置信度最大的候选点作为第j个目标标识点的最终候选定位点Cj，所有目标标识点的最终候选定位点组成候选定位点集Call；
判断模块，其配置来判断候选定位点集Call中的候选定位点的个数是否少于3，少于执行定位缺失标识点模块，否则执行滤除错误候选点模块；
滤除错误候选点模块，其配置来使用基于贪婪搜索的方法将Call＝{C0,C1,…,CL-1}中不正确的候选点滤除，从而得知滤除错误点之后的定位结果中缺失了哪些标识点；
定位缺失标识点模块，其配置来使用基于PCA统计形状模型的方法对缺失标识点进行预测。
附图说明
图1是根据本发明的基于深度学习的点云标识点定位方法的流程图。
图2是根据本发明的基于深度学习的点云标识点定位方法的一个具体实施例的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了使本揭示内容的叙述更加详尽与完备，下文针对本发明的实施方式与具体实施例提出了说明性的描述；但这并非实施或运用本发明具体实施例的唯一形式。实施方式中涵盖了多个具体实施例的特征以及用以建构与操作这些具体实施例的方法步骤与其顺序。然而，亦可利用其它具体实施例来达成相同或均等的功能与步骤顺序。
如图1、2所示，这种基于深度学习的点云标识点定位方法，其包括以下步骤：
(1)对于每一个监测点生成一个目标标识点的预测定位点集Rj，使用一个基于距离的非极大值抑制方法在每个标识点的预测定位点集中得到至多一个的候选定位点，最终选择候选点集C′j中置信度最大的候选点作为第j个目标标识点的最终候选定位点Cj，所有目标标识点的最终候选定位点组成候选定位点集Call；
(2)如果候选定位点集Call中的候选定位点的个数少于3，跳转到步骤(4)，否则执行步骤(3)；
(3)滤除错误候选点：使用基于贪婪搜索的方法将Call＝{C0,C1,…,CL-1}中不正确的候选点滤除，从而得知滤除错误点之后的定位结果中缺失了哪些标识点；
(4)定位缺失标识点：使用基于PCA统计形状模型的方法对缺失标识点进行预测。
本发明通过对于每一个监测点生成一个目标标识点的预测定位点集Rj，使用一个基于距离的非极大值抑制方法在每个标识点的预测定位点集中得到至多一个的候选定位点，最终选择候选点集C′j中置信度最大的候选点作为第j个目标标识点的最终候选定位点Cj，使用基于贪婪搜索的方法将Call＝{C0,C1,…,CL-1}中不正确的候选点滤除，从而得知滤除错误点之后的定位结果中缺失了哪些标识点，使用基于PCA统计形状模型的方法对缺失标识点进行预测，从而能够完成面部点云标识点的自动快速精准定位。
优选地，所述步骤(1)中，对于每一个监测点得到它位于每个标识点邻域内的概率/>以及对每个标识点与它的相对偏移量的预测；如果/>大于阈值thp，则网络预测的第j个标记点与此监测点的偏移量/>被认为是可信的，根据公式(1)将预测点/>加入第j个目标标识点的预测定位点集Rj
如果所有监测点位于第j个目标标识点邻域内的预测概率均小于阈值thp，Rj将为空，网络将判定输入点集中不存在第j个目标标识点；针对每个标识点重复上述操作，得到网络对L个目标标识点的预测定位。
优选地，所述步骤(1)中，对于第j个目标标识点，首先选择预测定位点集Rj中具有最大预测概率的点/>作为第一个候选定位点/>接着在Rj中与/>距离小于阈值thd的预测定位点组成点集NPSj，按照公式(2)，将NPSj中所有预测定位点的平均预测概率作为候选点/>的置信度/>
其中，N′是NPSj中点的数目；
然后NPSj中所有的点从Rj中移除，并且将候选点对加入第j个目标标识点的候选点集C′j中；选择Rj中剩余预测定位点中预测概率/>最大的定位点/>作为下一个候选定位点，迭代执行上述操作直至Rj为空；根据公式(3)，选择候选点集C′j中置信度最大的候选点作为第j个目标标识点的最终候选定位点Cj
优选地，所述步骤(3)中，首先从Call中找到与平均形状平均普氏距离最小的/>个候选定位点的组合；
初始化正确候选点集Xf，并且将其从Call中移除；
从Call中剩余的候选定位点中找到最佳候选定位点加入Xf，在Xf中加入此最佳候选定位点后，Xf与平均形状的平均普氏距离/>最小，并将此候选定位点从Call中移除；迭代上述操作直至Call为空或者将Call中剩余所有候选点加入Xf后与平均形状/>的平均普氏距离/>大于阈值the；根据公式(4)获得平均普氏距离/>
其中代表Xf中的每个点，/>代表平均形状/>中与/>具有相同标签的点，通过将点集Xf与/>中具有相同标签的点组成的点集进行普氏相似配准得到矩阵R和T，N′为Xf中候选点的数量。
优选地，所述步骤(4)中，将所有标识点的坐标进行排列得到人脸标识点的统计形状模型的数学表达为公式(5)：
假设Xg为缺失的g个标识点，Xf为探测到的f个标识点，让Xg移至Xf前方，
则X′的协方差矩阵Cov(X′)为公式(6)：
经过贪婪搜索滤除错误候选点的步骤，得知探测结果中缺失了哪些标识点，根据这个信息计算换行矩阵P；
假设形状X在PCA空间中的分布概率Pr(x)遵循多元高斯分布
其中，Λ-1和ΦT分别是Cov(X′)的前N个特征值和其对应的特征向量组成的矩阵，
通过令得到对确实标识点Xg的最大似然估计：
其中Ψgg为矩阵Ψ＝ΦΛ-1ΦT的前g行前g列组成的方阵，Ψgf为矩阵Ψ中前g行第g至第g+f列组成的矩阵，与/>分别为平均形状与缺失标识点Xg和已知标识点Xf对应的标识点的平均坐标，由于Ψgg为实对称矩阵，是可逆的，所以公式(8)存在确定的实解。
优选地，所述步骤(4)中，协方差阵Cov(X)只在测试阶段前计算一次，而协方差阵Cov(X′)在每次测试时根据滤除错误候选点操作后定位结果中所缺失的标识点进行计算。
图2是根据本发明的基于深度学习的点云标识点定位方法的一个具体实施例的流程示意图。以下具体说明：
对于每一个监测点可以得到它位于每个标识点邻域内的概率以及对每个标识点与它的相对偏移量的预测。如果/>大于阈值thp，则网络预测的第j个标记点与此监测点的偏移量/>被认为是可信的，将预测点/>加入第j个目标标识点的预测定位点集Rj。
如果所有监测点位于第j个目标标识点邻域内的预测概率均小于阈值thp，Rj将为空，网络将判定输入点集中不存在第j个目标标识点。针对每个标识点重复上述操作，可得到网络对L个目标标识点的预测定位。
接着使用一个基于距离的非极大值抑制方法在每个标识点的预测定位点集中得到至多一个的候选定位点。
对于第j个目标标识点，首先选择预测定位点集Rj中具有最大预测概率的点/>作为第一个候选定位点/>接着在Rj中与/>距离小于阈值thd的预测定位点组成点集NPSj，将NPSj中所有预测定位点的平均预测概率作为候选点/>的置信度/>
其中，N′是NPSj中点的数目。
然后NPSj中所有的点从Rj中移除，并且将候选点对加入第j个目标标识点的候选点集C＇j中。然后选择Rj中剩余预测定位点中预测概率/>最大的定位点作为下一个候选定位点，迭代执行上述操作直至Rj为空。最终选择候选点集C′j中置信度最大的候选点作为第j个目标标识点的最终候选定位点Cj。
当输入点云中存在大量遮挡或噪声时，上述步骤得到的候选点不能被保证绝对正确。使用基于贪婪搜索的方法将Call＝{C0,C1,…,CL-1}中不正确的候选点滤除，经过此步骤，能得知滤除错误点之后的定位结果中缺失了哪些标识点。如果Call中的候选定位点的个数少于(/>默认为3)，此步骤将会被跳过，直接使用Call中的这些候选定位点去预测缺失的标识点的位置。如果Call中的候选定位点的个数大于/>首先从Call中找到与平均形状/>平均普氏距离最小的/>个候选定位点的组合。由于Call中点的数目不会大于L，在此过程中需要遍历的组合的数量将会很少。
使用上述步骤找到的最佳组合中的个候选点初始化正确候选点集Xf，并且将其从Call中移除。然后从Call中剩余的候选定位点中找到最佳候选定位点加入Xf，在Xf中加入此最佳候选定位点后，Xf与平均形状/>的平均普氏距离/>最小，并将此候选定位点从Call中移除。迭代上述操作直至Call为空或者将Call中剩余所有候选点加入Xf后与平均形状/>的平均普氏距离/>大于the。平均普氏距离/>的计算方式如下：
其中代表Xf中的每个点，/>代表平均形状/>中与/>具有相同标签的点，通过将点集Xf与/>中具有相同标签的点组成的点集进行普氏相似配准得到矩阵R和T，N′为Xf中候选点的数量。
经过上述步骤，若有些标识点在探测结果中缺失，使用基于PCA统计形状模型的方法对其进行预测。将所有标识点的坐标进行排列得到人脸标识点的统计形状模型的数学表达如下所示：
假设Xg为缺失的g个标识点，Xf为探测到的f个标识点，让Xg移至Xf前方，即：
则X′的协方差矩阵Cov(X′)为：
经过贪婪搜索滤除错误候选点的步骤，能够得知探测结果中缺失了哪些标识点，根据这个信息可以计算换行矩阵P。
假设形状X在PCA空间中的分布概率Pr(x)遵循多元高斯分布
其中，Λ-1和ΦT分别是Cov(X′)的前N个特征值和其对应的特征向量组成的矩阵。
通过令可得到对确实标识点Xg的最大似然估计：
其中Ψgg为矩阵Ψ＝ΦΛ-1ΦT的前g行前g列组成的方阵，Ψgf为矩阵Ψ中前g行第g至第g+f列组成的矩阵，与/>分别为平均形状与缺失标识点Xg和已知标识点Xf对应的标识点的平均坐标。由于Ψgg为实对称矩阵，是可逆的，所以上述方程比存在确定的实解。
协方差阵Cov(X)只需在测试阶段前计算一次，而协方差阵Cov(X′)需要在每次测试时根据滤除错误候选点操作后定位结果中所缺失的标识点进行计算。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于深度学习的点云标识点定位装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
生成预测定位模块，其配置来对于每一个监测点生成一个目标标识点的预测定位点集Rj，使用一个基于距离的非极大值抑制方法在每个标识点的预测定位点集中得到至多一个的候选定位点，最终选择候选点集C′j中置信度最大的候选点作为第j个目标标识点的最终候选定位点Cj，所有目标标识点的最终候选定位点组成候选定位点集Call；
判断模块，其配置来判断候选定位点集Call中的候选定位点的个数是否少于3，少于执行定位缺失标识点模块，否则执行滤除错误候选点模块；
滤除错误候选点模块，其配置来使用基于贪婪搜索的方法将Call＝{C0,C1,…,CL-1}中不正确的候选点滤除，从而得知滤除错误点之后的定位结果中缺失了哪些标识点；
定位缺失标识点模块，其配置来使用基于PCA统计形状模型的方法对缺失标识点进行预测。
优选地，所述生成预测定位模块
对于每一个监测点得到它位于每个标识点邻域内的概率以及对每个标识点与它的相对偏移量的预测；如果/>大于阈值thp，则网络预测的第j个标记点与此监测点的偏移量/>被认为是可信的，根据公式(1)将预测点/>加入第j个目标标识点的预测定位点集Rj
如果所有监测点位于第j个目标标识点邻域内的预测概率均小于阈值thp，Rj将为空，网络将判定输入点集中不存在第j个目
标标识点；针对每个标识点重复上述操作，得到网络对L个目标标识点的预测定位；
对于第j个目标标识点，首先选择预测定位点集Rj中具有最大预测概率的点作为第一个候选定位点/>接着在Rj中与/>距离小于阈值thd的预测定位点组成点集NPSj，按照公式(2)，将NPSj中所有预测定位点的平均预测概率作为候选点/>的置信度
其中，N′是NPSj中点的数目；
然后NPSj中所有的点从Rj中移除，并且将候选点对加入第j个目标标识点的候选点集C′j中；选择Rj中剩余预测定位点中预测概率/>最大的定位点/>作为下一个候选定位点，迭代执行上述操作直至Rj为空；根据公式(3)，选择候选点集C′j中置信度最大的候选点作为第j个目标标识点的最终候选定位点Cj
优选地，所述滤除错误候选点模块
首先从Call中找到与平均形状平均普氏距离最小的/>个候选定位点的组合；
初始化正确候选点集Xf，并且将其从Call中移除；
从Call中剩余的候选定位点中找到最佳候选定位点加入Xf，在Xf中加入此最佳候选定位点后，Xf与平均形状的平均普氏距离/>最小，并将此候选定位点从Call中移除；迭代上述操作直至Call为空或者将Call中剩余所有候选点加入Xf后与平均形状/>的平均普氏距离/>大于阈值the；根据公式(4)获得平均普氏距离/>
其中代表Xf中的每个点，/>代表平均形状/>中与/>具有相同标签的点，通过将点集Xf与/>中具有相同标签的点组成的点集进行普氏相似配准得到矩阵R和T，N′为Xf中候选点的数量。
优选地，所述定位缺失标识点模块
将所有标识点的坐标进行排列得到人脸标识点的统计形状模型的数学表达为公式(5)：
假设Xg为缺失的g个标识点，Xf为探测到的f个标识点，让Xg移至Xf前方，
则X′的协方差矩阵Cov(X′)为公式(6)：
经过贪婪搜索滤除错误候选点的步骤，得知探测结果中缺失了哪些标识点，根据这个信息计算换行矩阵P；
假设形状X在PCA空间中的分布概率Pr(x)遵循多元高斯分布
其中，Λ-1和ΦT分别是Cov(X′)的前N个特征值和其对应的特征向量组成的矩阵，
通过令得到对确实标识点Xg的最大似然估计：
其中Ψgg为矩阵Ψ＝ΦΛ-1ΦT的前g行前g列组成的方阵，Ψgf为矩阵Ψ中前g行第g至第g+f列组成的矩阵，与/>分别为平均形状与缺失标识点Xg和已知标识点Xf对应的标识点的平均坐标，由于Ψgg为实对称矩阵，是可逆的，所以公式(8)存在确定的实解；协方差阵Cov(X)只在测试阶段前计算一次，而协方差阵Cov(X′)在每次测试时根据滤除错误候选点操作后定位结果中所缺失的标识点进行计算。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (8)

1.一种基于深度学习的点云标识点定位方法，其特征在于：其包括以下步骤：
(1)对于每一个监测点生成一个目标标识点的预测定位点集Rj，使用一个基于距离的非极大值抑制方法在每个标识点的预测定位点集中得到至多一个的候选定位点，最终选择候选点集C′j中置信度最大的候选点作为第j个目标标识点的最终候选定位点Cj，所有目标标识点的最终候选定位点组成候选定位点集Call；
(2)如果候选定位点集Call中的候选定位点的个数少于3，跳转到步骤(4)，否则执行步骤(3)；
(3)滤除错误候选点：使用基于贪婪搜索的方法将Call＝{C0,C1,…,CL-1}中不正确的候选点滤除，从而得知滤除错误点之后的定位结果中缺失了哪些标识点；
(4)定位缺失标识点：使用基于PCA统计形状模型的方法对缺失标识点进行预测；
所述步骤(1)中，对于第j个目标标识点，首先选择预测定位点集Rj中具有最大预测概率的点/>作为第一个候选定位点/>接着在Rj中与/>距离小于阈值thd的预测定位点组成点集NPSj，按照公式(2)，将NPSj中所有预测定位点的平均预测概率作为候选点/>的置信度/>
其中，N′是NPSj中点的数目；
然后NPSj中所有的点从Rj中移除，并且将候选点对加入第j个目标标识点的候选点集C′j中；选择Rj中剩余预测定位点中预测概率/>最大的定位点/>作为下一个候选定位点，迭代执行上述操作直至Rj为空；根据公式(3)，选择候选点集C′j中置信度最大的候选点作为第j个目标标识点的最终候选定位点Cj
2.根据权利要求1所述的基于深度学习的点云标识点定位方法，其特征在于：所述步骤(1)中，对于每一个监测点得到它位于每个标识点邻域内的概率以及对每个标识点与它的相对偏移量的预测；如果/>大于阈值thp，则网络预测的第j个标记点与此监测点的偏移量/>被认为是可信的，根据公式(1)将预测点/>加入第j个目标标识点的预测定位点集Rj
如果所有监测点位于第j个目标标识点邻域内的预测概率均小于阈值thp，Rj将为空，网络将判定输入点集中不存在第j个目标标识点；针对每个标识点重复上述操作，得到网络对L个目标标识点的预测定位。
3.根据权利要求2所述的基于深度学习的点云标识点定位方法，其特征在于：所述步骤(3)中，首先从Call中找到与平均形状平均普氏距离最小的/>个候选定位点的组合；
初始化正确候选点集Xf，并且将其从Call中移除；
从Call中剩余的候选定位点中找到最佳候选定位点加入Xf，在Xf中加入此最佳候选定位点后，Xf与平均形状的平均普氏距离/>最小，并将此候选定位点从Call中移除；迭代上述操作直至Call为空或者将Call中剩余所有候选点加入Xf后与平均形状/>的平均普氏距离/>大于阈值the；根据公式(4)获得平均普氏距离/>
其中代表Xf中的每个点，/>代表平均形状/>中与/>具有相同标签的点，通过将点集Xf与/>中具有相同标签的点组成的点集进行普氏相似配准得到矩阵R和T，N′为Xf中候选点的数量。
4.根据权利要求3所述的基于深度学习的点云标识点定位方法，其特征在于：所述步骤(4)中，将所有标识点的坐标进行排列得到人脸标识点的统计形状模型的数学表达为公式(5)：
假设Xg为缺失的g个标识点，Xf为探测到的f个标识点，让Xg移至Xf前方，
则X′的协方差矩阵Cov(X′)为公式(6)：
经过贪婪搜索滤除错误候选点的步骤，得知探测结果中缺失了哪些标识点，根据这个信息计算换行矩阵P；
假设形状X在PCA空间中的分布概率Pr(x)遵循多元高斯分布
其中，Λ-1和ΦT分别是Cov(X′)的前N个特征值和其对应的特征向量组成的矩阵，
通过令得到对缺失标识点Xg的最大似然估计：
其中Ψgg为矩阵Ψ＝ΦΛ-1ΦT的前g行前g列组成的方阵，Ψgf为矩阵Ψ中前g行第g至第g+f列组成的矩阵，与/>分别为平均形状与缺失标识点Xg和已知标识点Xf对应的标识点的平均坐标，由于Ψgg为实对称矩阵，是可逆的，所以公式(8)存在确定的实解。
5.根据权利要求4所述的基于深度学习的点云标识点定位方法，其特征在于：所述步骤(4)中，协方差阵Cov(X)只在测试阶段前计算一次，而协方差阵Cov(X′)在每次测试时根据滤除错误候选点操作后定位结果中所缺失的标识点进行计算。
6.一种基于深度学习的点云标识点定位装置，其特征在于：其包括：生成预测定位模块，其配置来对于每一个监测点生成一个目标标识点的预测定位点集Rj，使用一个基于距离的非极大值抑制方法在每个标识点的预测定位点集中得到至多一个的候选定位点，最终选择候选点集C′j中置信度最大的候选点作为第j个目标标识点的最终候选定位点Cj，所有目标标识点的最终候选定位点组成候选定位点集Call；
判断模块，其配置来判断候选定位点集Call中的候选定位点的个数是否少于3，少于执行定位缺失标识点模块，否则执行滤除错误候选点模块；
滤除错误候选点模块，其配置来使用基于贪婪搜索的方法将Call＝{C0,C1,…,CL-1}中不正确的候选点滤除，从而得知滤除错误点之后的定位结果中缺失了哪些标识点；
定位缺失标识点模块，其配置来使用基于PCA统计形状模型的方法对缺失标识点进行预测；
所述生成预测定位模块
对于每一个监测点得到它位于每个标识点邻域内的概率以及对每个标识点与它的相对偏移量的预测；如果/>大于阈值thp，则网络预测的第j个标记点与此监测点的偏移量/>被认为是可信的，根据公式(1)将预测点/>加入第j个目标标识点的预测定位点集Rj
如果所有监测点位于第j个目标标识点邻域内的预测概率均小于阈值thp，Rj将为空，网络将判定输入点集中不存在第j个目标标识点；针对每个标识点重复上述操作，得到网络对L个目标标识点的预测定位；
对于第j个目标标识点，首先选择预测定位点集Rj中具有最大预测概率的点/>作为第一个候选定位点/>接着在Rj中与/>距离小于阈值thd的预测定位点组成点集NPSj，按照公式
(2)，将NPSj中所有预测定位点的平均预测概率作为候选点的置信度/>
其中，N′是NPSj中点的数目；
然后NPSj中所有的点从Rj中移除，并且将候选点对加入第j个目标标识点的候选点集C′j中；选择Rj中剩余预测定位点中预测概率/>最大的定位点/>作为下一个候选定位点，迭代执行上述操作直至Rj为空；根据公式(3)，选择候选点集C′j中置信度最大的候选点作为第j个目标标识点的最终候选定位点Cj
7.根据权利要求6所述的基于深度学习的点云标识点定位装置，其特征在于：所述滤除错误候选点模块
首先从Call中找到与平均形状平均普氏距离最小的/>个候选定位点的组合；
初始化正确候选点集Xf，并且将其从Call中移除；
从Call中剩余的候选定位点中找到最佳候选定位点加入Xf，在Xf中加入此最佳候选定位点后，Xf与平均形状的平均普氏距离/>最小，并将此候选定位点从Call中移除；迭代上述操作直至Call为空或者将Call中剩余所有候选点加入Xf后与平均形状/>的平均普氏距离/>大于阈值the；根据公式(4)获得平均普氏距离/>
其中代表Xf中的每个点，/>代表平均形状/>中与/>具有相同标签的点，通过将点集Xf与/>中具有相同标签的点组成的点集进行普氏相似配准得到矩阵R和T，N′为Xf中候选点的数量。
8.根据权利要求7所述的基于深度学习的点云标识点定位装置，其特征在于：所述定位缺失标识点模块
将所有标识点的坐标进行排列得到人脸标识点的统计形状模型的数学表达为公式(5)：
假设Xg为缺失的g个标识点，Xf为探测到的f个标识点，让Xg移至Xf前方，
则X′的协方差矩阵Cov(X′)为公式(6)：
经过贪婪搜索滤除错误候选点的步骤，得知探测结果中缺失了哪些标识点，根据这个信息计算换行矩阵P；
假设形状X在PCA空间中的分布概率Pr(x)遵循多元高斯分布
其中，Λ-1和ΦT分别是Cov(X′)的前N个特征值和其对应的特征向量组成的矩阵，
通过令得到对缺失标识点Xg的最大似然估计：
其中Ψgg为矩阵Ψ＝ΦΛ-1ΦT的前g行前g列组成的方阵，Ψgf为矩阵Ψ中前g行第g至第g+f列组成的矩阵，与/>分别为平均形状与缺失标识点Xg和已知标识点Xf对应的标识点的平均坐标，由于Ψgg为实对称矩阵，是可逆的，所以公式(8)存在确定的实解；协方差阵Cov(X)只在测试阶段前计算一次，而协方差阵Cov(X′)在每次测试时根据滤除错误候选点操作后定位结果中所缺失的标识点进行计算。
CN202010117022.1A 2020-02-25 2020-02-25 一种基于深度学习的点云标识点定位方法及装置 Active CN111428565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010117022.1A CN111428565B (zh) 2020-02-25 2020-02-25 一种基于深度学习的点云标识点定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010117022.1A CN111428565B (zh) 2020-02-25 2020-02-25 一种基于深度学习的点云标识点定位方法及装置

Publications (2)

Publication Number Publication Date
CN111428565A CN111428565A (zh) 2020-07-17
CN111428565B true CN111428565B (zh) 2023-11-14

Family

ID=71547146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010117022.1A Active CN111428565B (zh) 2020-02-25 2020-02-25 一种基于深度学习的点云标识点定位方法及装置

Country Status (1)

Country Link
CN (1) CN111428565B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128247B (zh) * 2021-05-17 2024-04-12 阳光电源股份有限公司 一种图像定位标识验证方法及服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874850A (zh) * 2017-01-10 2017-06-20 广东工业大学 一种基于三维人脸点云特征点定位方法
CN110443840A (zh) * 2019-08-07 2019-11-12 山东理工大学 实物表面采样点集初始配准的优化求解方法
CN110688947A (zh) * 2019-09-26 2020-01-14 西安知象光电科技有限公司 一种同步实现人脸三维点云特征点定位和人脸分割的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874850A (zh) * 2017-01-10 2017-06-20 广东工业大学 一种基于三维人脸点云特征点定位方法
CN110443840A (zh) * 2019-08-07 2019-11-12 山东理工大学 实物表面采样点集初始配准的优化求解方法
CN110688947A (zh) * 2019-09-26 2020-01-14 西安知象光电科技有限公司 一种同步实现人脸三维点云特征点定位和人脸分割的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep Hough Voting for 3D Object Detection in Point Clouds;Charles R.Qi 等;《Proceedings of the IEEE/CVF International Conference on Computer Vision(ICCV)》;第9277-9286页 *
基于spin image的人脸点云特征定位;朱思豪 等;《计算机工程与设计》;第38卷(第8期);第2209-2212页 *

Also Published As

Publication number Publication date
CN111428565A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN110909651B (zh) 视频主体人物的识别方法、装置、设备及可读存储介质
Glocker et al. Automatic localization and identification of vertebrae in arbitrary field-of-view CT scans
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
CN106815323B (zh) 一种基于显著性检测的跨域视觉检索方法
KR102140805B1 (ko) 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치
CN111401387B (zh) 异常样本构建方法、装置、计算机设备和存储介质
CN109685830B (zh) 目标跟踪方法、装置和设备及计算机存储介质
EP3620958A1 (en) Learning method, learning device for detecting lane through lane model and testing method, testing device using the same
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN109146918B (zh) 一种基于分块的自适应相关目标定位方法
US20220114724A1 (en) Image processing model generation method, image processing method and device, and electronic device
KR102508067B1 (ko) 약지도 학습 기반 시멘틱 영상 분할 학습 데이터 생성 장치 및 방법
KR102166117B1 (ko) 시멘틱 매칭 장치 및 방법
WO2017168462A1 (en) An image processing device, an image processing method, and computer-readable recording medium
CN107533671B (zh) 模式识别装置、模式识别方法以及记录介质
CN114119460B (zh) 半导体图像缺陷识别方法、装置、计算机设备和存储介质
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN113298146A (zh) 一种基于特征检测的图像匹配方法、装置、设备及介质
CN110942473A (zh) 一种基于特征点网格化匹配的运动目标跟踪检测方法
CN109948515B (zh) 物体的类别识别方法和装置
CN111428565B (zh) 一种基于深度学习的点云标识点定位方法及装置
EP1930852A1 (en) Image search method and device
CN114119970B (zh) 目标跟踪方法及装置
CN113269236B (zh) 基于多模型集成的装配体变化检测方法、设备和介质
EP2161689A1 (en) Registration and visualization of image structures based on confiners

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant