CN105701448A - 三维人脸点云鼻尖检测方法及应用其的数据处理装置 - Google Patents
三维人脸点云鼻尖检测方法及应用其的数据处理装置 Download PDFInfo
- Publication number
- CN105701448A CN105701448A CN201511027786.7A CN201511027786A CN105701448A CN 105701448 A CN105701448 A CN 105701448A CN 201511027786 A CN201511027786 A CN 201511027786A CN 105701448 A CN105701448 A CN 105701448A
- Authority
- CN
- China
- Prior art keywords
- partial structurtes
- point cloud
- dimensional partial
- detected
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 103
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 238000003066 decision tree Methods 0.000 claims description 24
- 238000007637 random forest analysis Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 14
- 230000008878 coupling Effects 0.000 claims description 10
- 238000010168 coupling process Methods 0.000 claims description 10
- 238000005859 coupling reaction Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 abstract description 14
- 230000011218 segmentation Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 101100001677 Emericella variicolor andL gene Proteins 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009089 cytolysis Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种三维人脸点云鼻尖检测方法及应用其的数据处理装置,通过利用超体素对三维点云数据进行高效分割,利用超体素邻域来增强人脸局部结构之间的匹配能力,结合局部参考框架来估计测试人脸姿态与训练样本人脸姿态的相对几何变换,进而校正三维人脸鼻尖位置的广义霍夫投票过程,提高了系统的人脸鼻尖位置估计精度和可靠性。
Description
技术领域
本发明涉及三维点云数据处理领域,具体涉及一种三维人脸点云鼻尖检测方法及应用其的数据处理装置。
背景技术
随着结构光、立体视觉以及激光扫描等三维成像技术的日益成熟,实时的三维数据采集成为了现实。越来越多的人脸识别研究人员将目光投向了三维人脸识别技术领域。三维人脸识别技术有望从根本上解决二维人脸识别所面临的“光照、姿态和表情”难题。
三维人脸检测是三维人脸识别技术的基础。通过传感器或者立体视觉采集到的点云往往包含大量的非人脸点云数据。这些区域对于三维人脸识别而言属于无用信息,会影响后期人脸识别效果。因此从三维场景点云数据中检测出人脸是三维人脸识别的关键环节。
目前大部分的三维人脸识别技术都没有过多考虑如何自动地进行人脸检测,更多的是假定人脸数据已经获得的前提下进行三维人脸识别,或者严重依赖于手工切割的方式提取人脸区域。其他三维人脸检测技术或者仅依赖鼻尖轮廓处的几何特征,或者结合二维纹理信息来定位鼻尖位置,定位精度比较低。现有技术中,仅依赖鼻尖轮廓处几何特征的鼻尖检测技术没有充分利用人脸其他结构如眼睛、嘴巴等与鼻尖的空间关系。而结合二维纹理信息技术在仅能获得三维点云数据的情况下会失效。
发明内容
有鉴于此,本发明提供一种三维人脸点云鼻尖检测方法及应用其的数据处理装置,以提高鼻尖检测的可靠性和精确性,解决三维人脸识别过程中的人脸定位问题。
第一方面,提供一种三维人脸点云鼻尖检测方法,包括:
训练步骤,所述训练步骤包括:
根据标识有鼻尖位置的训练样本点云获取训练样本三维局部结构的描述集合,每个训练样本三维局部结构的描述包括对应三维局部结构的特征向量、类别标记、局部参考框架以及相对于鼻尖位置的三维空间偏移量,其中所述类别标记用于表示训练样本点云为正样本或负样本,正样本为包含人脸数据的训练样本点云,负样本为不包含人脸数据的训练样本点云,所述局部参考框架为用于描述对应三维局部结构的局部参考坐标系;以及
以最小化类别不确定性和偏移量不确定性为目标,基于全部训练样本点云的三维局部结构的描述集合训练随机森林分类模型,所述随机森林分类模型包括多个决策树分类器,所述决策树分类器的叶子节点存储正训练三维局部结构的局部参考框架、相对于鼻尖位置的三维空间偏移量以及在该叶子节点上正样本数量的占比,所述决策树分类器的枝节点存储对应的二元测试函数分类条件,所述二元测试函数分类条件包括分类使用的特征通道和分类阈值;
以及,
检测步骤,所述检测步骤包括:
根据待检测样本点云获取待检测三维局部结构的描述集合,每个待检测三维局部结构的描述包括对应待检测三维局部结构的特征向量和局部参考框架;
利用所述随机森林分类模型对待检测点云的每个待检测三维局部结构进行分类,基于匹配的叶子节点处存储的每一个正样本的空间偏移量和局部参考框架以及待检测三维局部结构的局部参考框架估计对应的候选鼻尖位置,并基于匹配的叶子节点处的正样本占比对所述候选鼻尖位置赋予权重以获取霍夫空间;
在所述霍夫空间检测极值获取鼻尖位置。
优选地,
根据标识有鼻尖位置的训练样本点云获取训练样本三维局部结构的描述集合包括:
对标识有鼻尖位置的训练样本点云进行过分割以获取训练样本点云的超体素;
基于超体素构建训练样本超体素邻域图;
基于所述训练样本超体素邻域图获取训练样本三维局部结构的集合,并进而获取每个训练样本三维局部结构的特征向量、局部参考框架、类别标记以及相对于鼻尖位置的三维空间偏移量作为该训练样本三维局部结构的描述。
优选地,基于VCCS分割方法来对训练样本点云进行过分割以获取所述训练样本点云的超体素。
优选地,根据待检测样本点云获取待检测三维局部结构的描述集合包括:
对待检测样本点云进行过分割以获取待检测样本点云的超体素;
基于超体素构建待检测样本超体素邻域图;
基于所述待检测样本超体素邻域图获取待检测三维局部结构的集合,并进而获取每个待检测三维局部结构的特征向量和局部参考框架作为待检测三维局部结构的描述。
优选地,基于VCCS分割方法来对待检测样本点云进行过分割以获取所述待检测样本点云的超体素。
优选地,基于所述训练样本超体素邻域图获取训练样本三维局部结构的集合包括:
在训练样本邻域图中,获取每个超体素为中心的一阶邻域中的所有超体素作为所述训练样本三维局部结构;
以及,基于所述待检测样本超体素邻域图获取待检测样本三维局部结构的集合包括:
在待检测样本超体素邻域图中,获取每个超体素为中心的一阶邻域中的所有超体素作为待检测样本三维局部结构。
优选地,以最小化类别不确定性和偏移量不确定性为目标,基于全部训练样本点云的训练样本三维局部结构的描述集合训练随机森林分类模型包括:
在决策树分类器的不同层,交替地以最小化类别不确定性和偏移量不确定性为目标,基于如下二元测试函数求取对应的分类条件,直至随机森林中决策树分类器的深度达到了最大值或到达当前节点的样本数量小于预定阈值:
其中,v表示三维局部结构,a∈{1,2,...C}表示选取的特征通道,C表示三维局部结构的特征向量的总维数,τ表示选取的特征通道对应的分类阈值;
类别不确定性为
其中,|A|是三维局部结构A中超体素的个数,p(l|A)是A中类别为l的超体素所占的比例;
偏移量不确定性为
其中,di是该叶子节点处第i个三维局部结构相对于鼻尖位置的三维空间偏移量,dA是集合A中所有三维局部结构的平均空间偏移量。
优选地,所述估计候选鼻尖位置包括:
在待检测样本点云和训练样本点云相互匹配的三维局部结构均为非对称时,基于局部参考框架来估计待检测三维局部结构与匹配的正样本三维局部结构之间的旋转变换矩阵,并基于所述旋转变换矩阵和所述匹配叶子节点上的每一个正样本的三维空间偏移量估计一个对应的候选鼻尖预测位置。
第二方面,提供一种数据处理装置,包括处理器,所述处理器适于执行如上所述的方法。
本发明通过利用超体素对三维点云数据进行高效分割,利用超体素邻域来增强人脸局部结构之间的匹配能力,结合局部参考框架来估计测试人脸姿态与训练样本人脸姿态的相对几何变换,进而校正三维人脸鼻尖位置的广义霍夫投票过程,提高了系统的人脸鼻尖位置估计精度和可靠性。
附图说明
通过以下参照附图对本发明实施例的描述,本发明的上述以及其它目的、特征和优点将更为清楚,在附图中:
图1是本发明实施例的三维人脸点云鼻尖检测方法的流程图;
图2是本发明实施例中获取训练三维局部结构的描述集合的步骤的流程图;
图3是本发明实施例中构建超体素邻域图的局部示意图;
图4是本发明实施例中在训练步骤中训练样本点云、基于VCCS方法过分割获得的超体素以及提取获得训练三维局部结构的示意图;
图5是本发明实施例中训练步骤获得的决策树分类器的示意图;
图6是本发明实施例中获取待检测三维局部结构的描述集合的步骤的流程图;
图7是本发明实施例中在检测步骤中待检测点云、基于VCCS方法过分割获得的超体素以及提取获得待检测三维局部结构的示意图。
具体实施方式
以下基于实施例对本发明进行描述,但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质,公知的方法、过程、流程、元件和电路并没有详细叙述。
此外,本领域普通技术人员应当理解,在此提供的附图都是为了说明的目的,并且附图不一定是按比例绘制的。
除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
图1是本发明实施例的三维人脸点云鼻尖检测方法的流程图。
如图1所示,所述方法包括模型的训练过程和在线检测过程两个步骤。
训练步骤包括:
步骤100、根据标识有鼻尖位置的训练样本点云获取训练三维局部结构的描述集合,每个三维局部结构的描述包括对应的特征向量、类别标记、局部参考框架以及相对于鼻尖位置的三维空间偏移量。
其中,所述类别标记用于表示训练样本点云为正样本(三维人脸点云数据)或负样本点云。正样本为包含人脸数据的训练样本点云,负样本为不包含人脸数据的训练样本点云。训练三维局部结构的描述集合用于描述训练样本点云的局部特征。具体地,如图2所示,训练三维局部结构的描述集合通过如下步骤获取:
步骤110、对标识有鼻尖位置的训练样本点云进行过分割以获取训练样本点云的超体素。
超体素(Supervoxel)是二维图像中广泛使用的超像素(Superpixel)在三维中的拓展,能够高效地将三维无规则点云数据过分割为有意义的三维局部结构。每个超体素中的三维数据点是相互连通的,且具有相似的几何特征。
优选地,可以基于文献[J.Papon,A.Abramov,M.Schoeleretal.VoxelCloudConnectivitySegmentation-SupervoxelsforPointClouds[C].inProc.IEEEConf.ComputerVisionandPatternRecognition,2013:2027-2034.]中提出的VCCS分割方法来进行所述过分割。
VCCS是一种高效的基于K-均值算法的超体素分割算法。给定场景或目标的三维点云数据,首先根据给定的空间分辨率r,利用八叉树算法从三维点云数据中构建体素空间Vr。本专利采用Vr(i)来表示空间Vr中索引为i的体素(voxel)的特征向量,如下式:
Vr(i)=F1,2,....n
其中,F表示索引为i的体素的特征向量,n表示特征个数。如果没有特别之处,下文中的体素均指空间Vr中的体素。
步骤120、基于超体素构建训练样本超体素邻域图。
邻域图的顶点V由所有超体素的中心点组成,邻域图的边则仅存在于直接相邻的超体素之间。对于中心点为v的超体素,其n阶邻域Nn(v)定义为:
Nn(v)={vi|d(v,vi)≤n,vi∈V}
其中,d(v,vi)表示从中心点v到中心点vi的所有路径中最少的边的个数。对于中心点为v的超体素,以v为中心的三维局部结构定义为其对应的n阶邻域Nn(v),即与中心点为v的超体素的距离小于n的所有超体素构成中心点为v的三维局部结构。下文采用Nn(v)来表示以v为中心的三维局部结构。例如,N0(v)表示中心点为v的超体素自身构成了三维局部结构,N1(v)表示中心点为v的超体素及其一阶邻域范围内的所有超体素构成了三维局部结构。图3展示了基于超体素一阶邻域的三维局部结构的提取过程。其中,中心表示中心点为v的超体素,实心点是其中心,空心点代表的是邻域超体素的中心。一阶邻域超体素之间用虚线相连。
步骤130、基于所述训练样本超体素邻域图获取训练三维局部结构的集合,并进而获取每个训练三维局部结构的特征向量、该三维局部结构的类别标记、局部参考框架以及相对于鼻尖位置的空间偏移量作为该训练三维局部结构的描述。
其中,基于所述超体素邻域图获取训练三维局部结构的集合包括:
在邻域图中,获取以每个超体素为中心的一阶邻域中所有超体素作为所述训练三维局部结构。
三维局部结构的特征向量可以基于各种现有的三维点云特征描述方式获取。优选地,可以采用用文献[Y.Guo,F.Sohel,M.Bennamounetal.RotationalProjectionStatisticsfor3DLocalSurfaceDescriptionandObjectRecognition[J].InternationalJournalofComputerVision,2013,105(1):63-86.]中的RoPS(RotationalProjectionStatistics)特征计算获得。
所述类别标记l用于表示训练样本点云为正样本(三维人脸点云数据)还是负样本,将正样本的三维局部结构类别标记l设为1,将负样本的三维局部结构类别标记l设为0。
局部参考框架(LocalReferenceFrame,LRF),其本质上是一个三维坐标系,用于表述三维局部结构的局部参考坐标系。优选地,本方案采用文献[S.Salti,F.Tombari,andL.DiStefano.SHOT:UniqueSignaturesofHistogramsforSurfaceandTextureDescription[J].ComputerVisionandImageUnderstanding,2014,125:251-264.]中的方法计算每个三维局部结构的局部参考框架。
超体素的高效性适用于大场景三维点云信息提取。将超体素替代原始的三维点云作为基本的处理单元,可以极大的提高算法的运行速度。因此,本专利提出了一种基于超体素邻域的三维局部结构提取方法,以每个超体素为中心,以其一阶邻域提取三维局部结构,并将超体素的中心作为三维局部结构的中心。该方法既结合了超体素高效的分割能力,同时又针对超体素不能跨越目标边界这一特性会降低局部结构描述能力的缺陷进行了改进,大大提升了局部结构提取算法的性能。
在具体实验中,训练样本点云、基于VCCS方法过分割获得的超体素以及提取获得训练三维局部结构的示意图如图4所示。
步骤200、以最小化类别不确定性和偏移量不确定性为目标,基于全部训练样本点云的训练三维局部结构的描述集合训练随机森林分类模型。
其中所述随机森林分类模型包括多个决策树分类器。所述决策树分类器的叶子节点存储正样本的训练三维局部结构中心相对于正样本中心(也即,正样本中的人脸鼻尖位置)的三维空间偏移量、局部参考框架以及在该叶子节点上正样本数量的占比,所述决策树分类器的枝节点存储对应的二元测试函数分类条件所述二元测试函数的分类条件包括分类使用的特征通道和分类阈值
其中,步骤200具体包括:
在决策树分类器的不同层交替地以获取最小化类别不确定性和最小化偏移量不确定性为目标,基于如下二元测试函数求取最优的分类条件,直至随机森林中决策树分类器的深度达到了最大值或到达当前节点的样本数量小于预定阈值:
其中,v表示三维局部结构,a∈{1,2,...C}表示选取的特征通道,C表示三维局部结构特征的总维数,τ表示选取的特征通道对应的阈值;
其中,类别不确定性为
其中,|A|是三维局部结构A中体素的个数,p(l|A)是A中类别为l的元素所占的比例。
偏移量不确定性为
其中,di是该叶子节点处第i个三维局部结构相对于鼻尖位置的空间偏移量,dA是集合A中所有训练三维局部结构的平均空间偏移量。
例如,在决策树分类器的根节点(决策树的第0层)处,以最小化类别不确定性为目标,选择最优的特征通道1和分类阈值1将所有的训练三维局部结构划分为两个类别,将其分别移动至根节点的左右两个子节点中。对于根节点的两个子节点(决策树的第1层),以最小化偏移量不确定性为目标,选择最优的特征通道2和分类阈值2以及特征通道3和分类阈值3(不同的子节点具有不同的特征通道和分类阈值)分别将其中的训练三维局部结构分类到子节点的子节点中。对于决策树的第2层,再以最小化类别不确定性为目标,继续获取最后的特征通道和分类阈值。如此交替确定的最优化目标,直至随机森林中决策树分类器的深度达到了最大值或到达当前节点的样本数量小于预定阈值。由此,可以获得同时最小化类别不确定性和最小化偏移量不确定性的决策树分类器。
如图5所示,在该决策树分类器中,树的每个枝节点存储分类条件,而每个叶子节点存储的为分类到该叶子节点正样本的训练三维局部结构的空间偏移量di、局部参考框架Fi以及正样本数量的占比wi。其中,空间偏移量di和局部参考框架Fi均为矢量,正样本数量的占比wi为标量。
基于训练步骤获得的随机森林分类模型可以对任意的待检测点云(也即,包括人脸部位的三维人脸点云)进行鼻尖检测。
检测步骤包括:
步骤300、根据待检测点云获取待检测三维局部结构的描述集合,每个待检测三维局部结构的描述包括对应待检测三维局部结构的特征向量和局部参考框架。
步骤300与步骤100类似,但是其处理对象为需要进行检测的、鼻尖位置未知的待检测点云。并且,由于鼻尖位置未知,其获取的待检测三维局部结构的描述中不包括类型标识和相对于鼻尖的偏移量。
具体地,如图6所示,步骤300可以包括:
步骤310、对待检测点云进行过分割以获取待检测点云的超体素。
步骤320、基于超体素构建待检测样本超体素邻域图。
步骤330、基于所述待检测样本超体素邻域图获取待检测三维局部结构的集合,并进而获取每个待检测三维局部结构的特征向量和局部参考框架作为待检测三维局部结构的描述。
容易理解,基于邻域图获取待检测三维局部结构的集合的方式应与训练步骤中的方式相同。在本实施例中,在邻域图中,获取以每个超体素为中心的一阶邻域中所有超体素作为待检测三维局部结构。容易理解,也可以采用二阶邻域甚至更多阶邻域来构建三维局部结构。
在检测步骤中待检测点云、基于VCCS方法过分割获得的超体素以及提取获得待检测三维局部结构的示意图如图7所示。
步骤400、利用所述随机森林分类模型对待检测点云的每个待检测三维局部结构进行分类,基于匹配的叶子节点处存储的三维空间偏移量估计候选鼻尖位置,并基于所述正样本占比对所述候选鼻尖位置赋予权重以获取霍夫投票空间。
利用随机森林分类模型中的决策树分类器,可以将待检测三维局部结构分类到一个具体的类别中(也即分类到一个叶子节点)。模型中的每个叶子节点(也即类别)均存储到达该叶子节点的正样本的训练三维局部结构的三维空间偏移量、局部参考框架以及正样本数量在该叶子节点处总样本数量的占比。需要说明的是,叶子节点中正样本数量可能为0。根据叶子节点存储的每一个正样本三维局部结构的三维空间偏移量、局部参考框架以及待检测三维局部结构本身的特征描述、局部参考框架,既可以估计一个候选鼻尖位置,同时,以所述占比作为该候选鼻尖位置的权重,即霍夫投票值。也就是说,在一个匹配的叶子节点存储有多个正样本三维局部结构的参数时,需要针对每一个正样本三维局部结构的三维空间偏移量估计一个对应的候选鼻尖位置,并以正样本占比为权重进行投票。由此,对于一个待检测三维局部结构,一个匹配的叶子节点可以产生多个候选鼻尖位置,这些候选鼻尖位置获得的霍夫投票是相同的。每一个待检测三维局部结构在多个不同的决策分类器中均进行上述操作。投票完成后,可以获得一个包括多个候选鼻尖预测位置以及对应累计权重的霍夫投票空间。霍夫投票空间中某处权重的大小表示该处为鼻尖的置信度。
具体地,步骤400可以包括基于局部参考框架对候选鼻尖预测位置进行校正:
在待检测样本和训练样本相互匹配的三维局部结构均为非对称时,基于局部参考框架来估计检测样本和训练样本之间的旋转变换矩阵,并基于旋转矩阵和所述匹配的正训练样本的空间偏移量估计候选鼻尖位置。
正训练样本中人脸姿态与检测样本中人脸姿态通常不一致,因此需要进行旋转以使得两者的姿态相同。由此,给定中心位置为ps的待检测三维局部结构vs及其对应的局部参考框架Fs,将vs作为随机森林分类模型的输入进行分类。假设vs与随机森林分类模型中的某个叶子节点相匹配,该叶子节点包含正样本vm,对应的局部参考框架为Fm,相对于鼻尖位置的空间偏移量(SpatialOffset)为dm。那么,待检测三维局部结构vs与训练三维局部结构vm之间的旋转变换矩阵R为
利用旋转矩阵R来矫正训练样本局部结构的偏移量dm的霍夫投票,则待检测三维局部结构vs相对于鼻尖位置的偏移量ds为
ds=dmR
据此计算的候选鼻尖预测位置o应为
由此,可以进一步增加鼻尖检测方法的适应性。
步骤500、在所述霍夫空间检测极值获取鼻尖检测位置。
通过在霍夫空间中进行全局极值检测,既可以获得置信度最大的鼻尖预测位置。该位置可以作为鼻尖检测位置。可以基于各种现有的极值检测方法来在所述霍夫空间中进行极值检测。
优选地,非极大值抑制或均值漂移(MeanShift)算法(文献[D.Comaniciu,andP.Meer.MeanShift:ARobustApproachTowardFeatureSpaceAnalysis[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2002,24(5):603-619.])在霍夫投票空间检测极值来估计鼻尖位置。
本发明将霍夫森林模型用于三维人脸鼻尖位置检测,充分利用了人脸局部结构信息来检测鼻尖点。同时,本发明将超体素替代原始的三维点云作为基本的处理单元,极大的提高了检测算法的运行速度;进一步地,本发明提出了基于超体素邻域的三维局部结构提取方法用于提取目标的局部结构,提高了三维局部结构的判别能力以及算法在复杂场景的鲁棒性,特别是提高了霍夫森林判别能力。进一步地,本发明将超体素算法与霍夫森林模型相结合,充分利用了超体素对三维点云过分割的高效性以及霍夫森林模型的高效性;进一步地,本发明利用基于局部参考框架校正广义霍夫投票过程,提高了鼻尖点的估计精度。而且,霍夫森林模型是一种基于机器学习的目标检测方法,该方法用于鼻尖点的检测大大提高了检测算法的鲁棒性及拓展性。
上述的方法和装置可以被应用于数据处理系统,由其处理器执行。在具体实施方式中描述的数据结构和代码通常存储在计算机可读存储介质上,其可以是能够存储供计算机系统使用的代码和/或数据的任何设备或介质。计算机可读存储介质包括但不限于易失性存储器、非易失性存储器、磁性和光学存储设备,例如磁盘驱动器、磁带、CD(光盘)、DVD(数字多功能光盘或数字视频光盘)、或现在已知或以后开发的能够存储代码和/或数据的其他介质。
可以将具体实施方式部分描述的方法和过程具体化为代码和/或数据,该代码和/或数据可存储在如上所述的计算机可读存储介质中。当计算机系统读取并执行计算机可读存储介质上存储的代码和/或数据时,计算机系统执行具体化为数据结构和代码并存储于计算机可读存储介质内的方法和过程。
此外,可以将本文描述的方法和过程包括在硬件模块或装置中。这些模块或装置可以包括但不限于专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)、在特定时间执行特定软件模块或一段代码的专用或共享处理器和/或其他现在已知或以后开发的可编程逻辑设备。当激活硬件模块或装置时,它们执行包括在其中的方法和过程。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种三维人脸点云鼻尖检测方法,包括:
训练步骤,所述训练步骤包括:
根据标识有鼻尖位置的训练样本点云获取训练样本三维局部结构的描述集合,每个训练样本三维局部结构的描述包括对应三维局部结构的特征向量、类别标记、局部参考框架以及相对于鼻尖位置的三维空间偏移量,其中所述类别标记用于表示训练样本点云为正样本或负样本,正样本为包含人脸数据的训练样本点云,负样本为不包含人脸数据的训练样本点云,所述局部参考框架为用于描述对应三维局部结构的局部参考坐标系;以及
以最小化类别不确定性和偏移量不确定性为目标,基于全部训练样本点云的三维局部结构的描述集合训练随机森林分类模型,所述随机森林分类模型包括多个决策树分类器,所述决策树分类器的叶子节点存储正训练三维局部结构的局部参考框架、相对于鼻尖位置的三维空间偏移量以及在该叶子节点上正样本数量的占比,所述决策树分类器的枝节点存储对应的二元测试函数分类条件,所述二元测试函数分类条件包括分类使用的特征通道和分类阈值;
以及,
检测步骤,所述检测步骤包括:
根据待检测样本点云获取待检测三维局部结构的描述集合,每个待检测三维局部结构的描述包括对应待检测三维局部结构的特征向量和局部参考框架;
利用所述随机森林分类模型对待检测点云的每个待检测三维局部结构进行分类,基于匹配的叶子节点处存储的每一个正样本的空间偏移量和局部参考框架以及待检测三维局部结构的局部参考框架估计对应的候选鼻尖位置,并基于匹配的叶子节点处的正样本占比对所述候选鼻尖位置赋予权重以获取霍夫空间;
在所述霍夫空间检测极值获取鼻尖位置。
2.根据权利要求1所述的三维人脸点云鼻尖检测方法,其特征在于,根据标识有鼻尖位置的训练样本点云获取训练样本三维局部结构的描述集合包括:
对标识有鼻尖位置的训练样本点云进行过分割以获取训练样本点云的超体素;
基于超体素构建训练样本超体素邻域图;
基于所述训练样本超体素邻域图获取训练样本三维局部结构的集合,并进而获取每个训练样本三维局部结构的特征向量、局部参考框架、类别标记以及相对于鼻尖位置的三维空间偏移量作为该训练样本三维局部结构的描述。
3.根据权利要求2所述的三维人脸点云鼻尖检测方法,其特征在于,基于VCCS分割方法来对训练样本点云进行过分割以获取所述训练样本点云的超体素。
4.根据权利要求2所述的三维人脸点云鼻尖检测方法,其特征在于,根据待检测样本点云获取待检测三维局部结构的描述集合包括:
对待检测样本点云进行过分割以获取待检测样本点云的超体素;
基于超体素构建待检测样本超体素邻域图;
基于所述待检测样本超体素邻域图获取待检测三维局部结构的集合,并进而获取每个待检测三维局部结构的特征向量和局部参考框架作为待检测三维局部结构的描述。
5.根据权利要求4所述的三维人脸点云鼻尖检测方法,其特征在于,基于VCCS分割方法来对待检测样本点云进行过分割以获取所述待检测样本点云的超体素。
6.根据权利要求4所述的三维人脸点云鼻尖检测方法,其特征在于,基于所述训练样本超体素邻域图获取训练样本三维局部结构的集合包括:
在训练样本超体素邻域图中,获取每个超体素为中心的一阶邻域中的所有超体素作为所述训练样本三维局部结构;
以及,基于所述待检测样本超体素邻域图获取待检测三维局部结构的集合包括:
在待检测样本超体素邻域图中,获取每个超体素为中心的一阶邻域中的所有超体素作为待检测样本三维局部结构。
7.根据权利要求1所述的三维人脸点云鼻尖检测方法,其特征在于,以最小化类别不确定性和偏移量不确定性为目标,基于全部训练样本点云的三维局部结构的描述集合训练随机森林分类模型包括:
在决策树分类器的不同层,交替地以最小化类别不确定性和偏移量不确定性为目标,基于如下二元测试函数求取对应的分类条件,直至随机森林中决策树分类器的深度达到了最大值或到达当前节点的样本数量小于预定阈值:
其中,v表示三维局部结构,a∈{1,2,...C}表示选取的特征通道,C表示三维局部结构的特征向量的总维数,τ表示选取的特征通道对应的分类阈值;
类别不确定性为
其中,|A|是三维局部结构A中超体素的个数,p(l|A)是A中类别为l的超体素所占的比例;
偏移量不确定性为
其中,di是该叶子节点处第i个三维局部结构相对于鼻尖位置的三维空间偏移量,dA是集合A中所有三维局部结构的平均空间偏移量。
8.根据权利要求1所述的三维人脸点云鼻尖检测方法,其特征在于,所述估计候选鼻尖位置包括:
在待检测样本点云和训练样本点云相互匹配的三维局部结构均为非对称时,基于局部参考框架来估计待检测三维局部结构与匹配的正训练样本三维局部结构之间的旋转变换矩阵,并基于所述旋转变换矩阵和所述匹配叶子节点上的每一个正样本的三维空间偏移量估计一个对应的候选鼻尖预测位置。
9.一种数据处理装置,包括处理器,所述处理器适于执行如权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511027786.7A CN105701448B (zh) | 2015-12-31 | 2015-12-31 | 三维人脸点云鼻尖检测方法及应用其的数据处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511027786.7A CN105701448B (zh) | 2015-12-31 | 2015-12-31 | 三维人脸点云鼻尖检测方法及应用其的数据处理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105701448A true CN105701448A (zh) | 2016-06-22 |
CN105701448B CN105701448B (zh) | 2019-08-09 |
Family
ID=56226020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511027786.7A Expired - Fee Related CN105701448B (zh) | 2015-12-31 | 2015-12-31 | 三维人脸点云鼻尖检测方法及应用其的数据处理装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105701448B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106548483A (zh) * | 2016-10-27 | 2017-03-29 | 西北工业大学 | 一种基于三维超像素分割的材料晶粒边缘提取方法 |
CN106600622A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于超体素的点云数据分割方法 |
CN106909874A (zh) * | 2016-07-07 | 2017-06-30 | 湖南拓视觉信息技术有限公司 | 一种鼻尖定位方法和装置 |
CN107292276A (zh) * | 2017-06-28 | 2017-10-24 | 武汉大学 | 一种车载点云聚类方法及系统 |
CN108470174A (zh) * | 2017-02-23 | 2018-08-31 | 百度在线网络技术(北京)有限公司 | 障碍物分割方法及装置、计算机设备及可读介质 |
CN108765547A (zh) * | 2018-04-23 | 2018-11-06 | 北京林业大学 | 一种叶片形态空间校正的方法及其应用 |
CN109919145A (zh) * | 2019-01-21 | 2019-06-21 | 江苏徐工工程机械研究院有限公司 | 一种基于3d点云深度学习的矿卡检测方法及系统 |
CN109961021A (zh) * | 2019-03-05 | 2019-07-02 | 北京超维度计算科技有限公司 | 一种深度图像中人脸检测方法 |
CN110717406A (zh) * | 2019-09-18 | 2020-01-21 | 平安科技(深圳)有限公司 | 一种人脸检测的方法、装置及终端设备 |
CN112183247A (zh) * | 2020-09-14 | 2021-01-05 | 广东工业大学 | 一种基于多光谱影像的激光点云数据分类方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140043329A1 (en) * | 2011-03-21 | 2014-02-13 | Peng Wang | Method of augmented makeover with 3d face modeling and landmark alignment |
CN103735253A (zh) * | 2014-01-17 | 2014-04-23 | 厦门强本科技有限公司 | 一种基于移动终端的中医舌象分析系统及方法 |
CN104299243A (zh) * | 2014-09-28 | 2015-01-21 | 南京邮电大学 | 一种基于霍夫森林的目标跟踪方法 |
CN104616289A (zh) * | 2014-12-19 | 2015-05-13 | 西安华海盈泰医疗信息技术有限公司 | 一种3d ct图像中骨组织的移除方法及系统 |
-
2015
- 2015-12-31 CN CN201511027786.7A patent/CN105701448B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140043329A1 (en) * | 2011-03-21 | 2014-02-13 | Peng Wang | Method of augmented makeover with 3d face modeling and landmark alignment |
CN103735253A (zh) * | 2014-01-17 | 2014-04-23 | 厦门强本科技有限公司 | 一种基于移动终端的中医舌象分析系统及方法 |
CN104299243A (zh) * | 2014-09-28 | 2015-01-21 | 南京邮电大学 | 一种基于霍夫森林的目标跟踪方法 |
CN104616289A (zh) * | 2014-12-19 | 2015-05-13 | 西安华海盈泰医疗信息技术有限公司 | 一种3d ct图像中骨组织的移除方法及系统 |
Non-Patent Citations (1)
Title |
---|
HANYUN WANG 等: "3-D Point Cloud Object Detection Based on Supervoxel Neighborhood With Hough Forest Framework", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106909874A (zh) * | 2016-07-07 | 2017-06-30 | 湖南拓视觉信息技术有限公司 | 一种鼻尖定位方法和装置 |
CN106909874B (zh) * | 2016-07-07 | 2019-08-30 | 湖南拓视觉信息技术有限公司 | 一种鼻尖定位方法和装置 |
CN106548483B (zh) * | 2016-10-27 | 2019-04-19 | 西北工业大学 | 一种基于三维超像素分割的材料晶粒边缘提取方法 |
CN106548483A (zh) * | 2016-10-27 | 2017-03-29 | 西北工业大学 | 一种基于三维超像素分割的材料晶粒边缘提取方法 |
CN106600622A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于超体素的点云数据分割方法 |
CN106600622B (zh) * | 2016-12-06 | 2019-11-08 | 西安电子科技大学 | 一种基于超体素的点云数据分割方法 |
CN108470174B (zh) * | 2017-02-23 | 2021-12-24 | 百度在线网络技术(北京)有限公司 | 障碍物分割方法及装置、计算机设备及可读介质 |
CN108470174A (zh) * | 2017-02-23 | 2018-08-31 | 百度在线网络技术(北京)有限公司 | 障碍物分割方法及装置、计算机设备及可读介质 |
CN107292276A (zh) * | 2017-06-28 | 2017-10-24 | 武汉大学 | 一种车载点云聚类方法及系统 |
CN107292276B (zh) * | 2017-06-28 | 2020-01-07 | 武汉大学 | 一种车载点云聚类方法及系统 |
CN108765547A (zh) * | 2018-04-23 | 2018-11-06 | 北京林业大学 | 一种叶片形态空间校正的方法及其应用 |
CN109919145A (zh) * | 2019-01-21 | 2019-06-21 | 江苏徐工工程机械研究院有限公司 | 一种基于3d点云深度学习的矿卡检测方法及系统 |
CN109961021A (zh) * | 2019-03-05 | 2019-07-02 | 北京超维度计算科技有限公司 | 一种深度图像中人脸检测方法 |
CN110717406A (zh) * | 2019-09-18 | 2020-01-21 | 平安科技(深圳)有限公司 | 一种人脸检测的方法、装置及终端设备 |
CN110717406B (zh) * | 2019-09-18 | 2024-04-09 | 平安科技(深圳)有限公司 | 一种人脸检测的方法、装置及终端设备 |
CN112183247A (zh) * | 2020-09-14 | 2021-01-05 | 广东工业大学 | 一种基于多光谱影像的激光点云数据分类方法 |
CN112183247B (zh) * | 2020-09-14 | 2023-08-08 | 广东工业大学 | 一种基于多光谱影像的激光点云数据分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105701448B (zh) | 2019-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105701448A (zh) | 三维人脸点云鼻尖检测方法及应用其的数据处理装置 | |
EP3620979B1 (en) | Learning method, learning device for detecting object using edge image and testing method, testing device using the same | |
Wei et al. | Toward automatic building footprint delineation from aerial images using CNN and regularization | |
CN107657226B (zh) | 一种基于深度学习的人数估计方法 | |
Huttunen et al. | Car type recognition with deep neural networks | |
Cummins et al. | Highly scalable appearance-only SLAM-FAB-MAP 2.0. | |
Movaghati et al. | Road extraction from satellite images using particle filtering and extended Kalman filtering | |
Kowdle et al. | Multiple view object cosegmentation using appearance and stereo cues | |
CN111091105A (zh) | 基于新的边框回归损失函数的遥感图像目标检测方法 | |
CN103198493B (zh) | 一种基于多特征自适应融合和在线学习的目标跟踪方法 | |
CN110889318B (zh) | 利用cnn的车道检测方法和装置 | |
CN104598890A (zh) | 一种基于rgb-d视频的人体行为识别方法 | |
CN106885574A (zh) | 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法 | |
CN107833213A (zh) | 一种基于伪真值自适应法的弱监督物体检测方法 | |
AU2020202249A1 (en) | Feature extraction from mobile lidar and imagery data | |
KR102320985B1 (ko) | 멀티 카메라 시스템 내의 더블 임베딩 구성을 이용하여 도로 이용자 이벤트를 검출하기 위해 이용될 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
CN109033944B (zh) | 一种全天空极光图像分类与关键局部结构定位方法及系统 | |
CN104636732A (zh) | 一种基于序列深信度网络的行人识别方法 | |
CN113409252B (zh) | 一种架空输电线路巡检机器人障碍物检测方法 | |
CN111797836A (zh) | 一种基于深度学习的地外天体巡视器障碍物分割方法 | |
CN103971096A (zh) | 一种基于mb-lbp特征和人脸能量图的多姿态人脸识别方法 | |
CN103310465B (zh) | 一种基于马尔科夫随机场的车辆遮挡处理方法 | |
CN105160285A (zh) | 基于立体视觉的自动人体跌倒识别方法及系统 | |
CN111626417B (zh) | 一种基于无监督深度学习的闭环检测方法 | |
Zhang et al. | A comparative analysis of object detection algorithms in naturalistic driving videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20221012 Address after: Room 1016, Block C, Haiyong International Building 2, No. 489, Lusong Road, High tech Zone, Changsha City, Hunan Province, 410221 Patentee after: Hunan Fenghua Intelligent Technology Co.,Ltd. Address before: 410205 A645, room 39, Changsha central software park headquarters, No. 39, Jian Shan Road, hi tech Development Zone, Hunan. Patentee before: HUNAN VISUALTOURING INFORMATION TECHNOLOGY Co.,Ltd. |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190809 |