CN103927747A - 一种基于人脸生物特征的面匹配空间注册方法 - Google Patents
一种基于人脸生物特征的面匹配空间注册方法 Download PDFInfo
- Publication number
- CN103927747A CN103927747A CN201410134295.1A CN201410134295A CN103927747A CN 103927747 A CN103927747 A CN 103927747A CN 201410134295 A CN201410134295 A CN 201410134295A CN 103927747 A CN103927747 A CN 103927747A
- Authority
- CN
- China
- Prior art keywords
- face
- nose
- eyes
- method based
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Abstract
本发明是一种基于人脸生物特征的面匹配空间注册方法。针对人脸表面光滑,纹理单一的特点,搭建了主动式结构光立体视觉系统,进行人脸面部点云的获取。提出并实现了一种基于人脸生物特征的面部点云粗略配准方法,在二维图像空间通过基于统计信息的主动形状模型(ASM)方法识别鼻尖与眼睛;在三维空间通过对局部邻域进行主成分分析识别出对应的鼻尖与眼睛,从而自动获得两个点云的初始配准矩阵。最后基于迭代最近点(ICP)算法,完成点云的精确配准,实现空间注册。
Description
技术领域
本发明属于计算机辅助医疗领域,具体地说是一种基于人脸生物特征的面匹配空间注册方法,该方法可用于图像引导神经外科手术导航系统中去,改善医生的医护环境。
背景技术
随着计算机技术和医学影像技术的发展,图像引导神经外科手术导航系统(ImageGuided Neurosurgery System,IGNS)得到了越来越广泛的应用,成为医疗器械领域的一个新的研究热点。神经导航系统能够帮助医生快速确定病灶位置,规划手术刀操作路径,使手术更加快捷、微创、安全高效,进而缩短手术时间,降低手术风险。
在导航手术过程中,患者的实际体位要和三维模型精确配准,才能保证在模型中真实反映出器械与病变的位置关系。把患者在空间中的实际位置和三维模型中的虚拟位置进行精确配准的过程,在导航手术中称为注册,而注册算法和注册过程的精度直接影响着整个导航系统的精度。基于点匹配的刚体配准法是目前手术导航系统临床应用中使用最多的空间配准法。该方法需要在两个空间中分别选取对应的标记点(不管是手都还是自动的方法)。基于点匹配的方法目前已经可以达到一个很高的精度了,但是点匹配法中存在一些固有缺陷,给神经导航的临床应用造成不便,需要有人工标记物的医学影像图片,即需要专门为导航进行一次影像扫描,粘贴在头皮表面的人工标记物容易发生移位,从而引起较大的空间配准误差,植入型人工标记物需要固定在头骨上,对患者带来一定伤害,具有侵入性,标记点识别过程消耗时间较长。
与点匹配相比,面匹配的优点是使用病人固有特征进行空间配准,不需要再额外放置人工标记物,缩短了术前准备时间,可以直接使用已有的图像进行导航,而不需专门为导航进行影像扫描。在面匹配方面,著名的“头帽法”是将一个空间中提取的点为“帽”,另一个空间中提取的面为“头”,当“头”与“帽”最佳匹配时,即完成空间配准。迭代最近点算法Fast-MICP在开始时需要手动指定一些匹配点对来初始化ICP(Iterative Closest Points,迭代最近点)算法,得到一个初步的转换矩阵。将病人空间点云数据映射到2D平面,根据点到平面的距离生成灰度图(投影高度图像),用Harris角点检测算法检测到的角点来代替参与匹配的点云,大大减少了点的数量,加快了ICP的收敛速度。该算法虽然速度较快,但精度不是很理想(<3mm)。
发明内容
在本文中,设计并实现了一种基于人脸生物特征的面匹配空间注册方法。在分别获得病人物理空间和图像引导空间的脸部点云后,在二维图像空间通过基于统计信息的ASM(Active Shape Model,主动形状模型)方法识别鼻尖与眼睛,在三维空间通过对局部邻域进行主成分分析提取面部特征点,对这些特征点进一步聚类识别出对应的鼻尖与眼睛,从而自动获得两个点云的初始配准矩阵。最后基于ICP完成无人工标记点的空间注册。
附图说明
图1示出本发明基于人脸生物特征的面匹配空间注册方法的主要流程图;
图2示出本发明随机编码结构光的人头模型;
图3示出本发明基于基于统计信息的ASM方法识别鼻尖与眼睛;
图4示出本发明通过对局部邻域进行主成分分析识别出对应的鼻尖与眼睛;
图5示出本发明粗略配准和精细配准的结果。
具体实施方式
如图1所示,本发明的基于人脸生物特征的面匹配空间注册方法采用如下步骤:
(1)结合结构光和双目立体视觉的方法获取病人空间表面点云。一般来说,模式图中相邻像素差异越大、对比越明显,在左右像对中寻找匹配点准确度越高。随机编码就是这样的一种编码方式,其基本思想是模式图每个位置的信息都是随机的,不需要特别设计的编码信息,因此也不需要解码。由于彩色的结构光模式对物体本身的颜色和纹理非常敏感,本文选用了二值随机编码方式。在获得校正的左右图像后,我们利用SAD方法作为相似性评价标准来计算左右两图中点的对应关系。同时为了过滤掉那些误匹配点,使重建出的三维点坐标准确,提高空间注册精度。使用了两个过滤规则:1)有效区域过滤。对于一个表面平滑、连续的物体,其视差变换也应该平滑连续,相差较小,即具有局部一致性。因此,对于视差图内的任一像素点,都满足:
其中,N(i)为像素点i的邻域,j为像素点i邻域内的一点,di、dj分别表示像素点i、j处的视差。如果两点视差偏差小于给定阈值δ,则认为这两点表示的平面为连续平面。2)健壮性过滤。健壮的匹配是指一个像素点的最佳匹配要远好于其次佳匹配,即最大匹配值远大于次大匹配值。本文设定阈值为0.8,若次大匹配值小于最大匹配值的4/5,则保留该最佳匹配像素点,否则过滤掉。
(2)在病人空间使用基于统计信息的主动形状模型(ASM)方法识别鼻尖与眼睛。首先利用ASM方法对双目相机采集到的图片进行特征点提取。在获取特定眼睛和鼻尖点的二维坐标后,利用立体视觉原理,计算这些特点的三维坐标。
(3)在模型空间使用基于局部邻域主成分分析识别出对应的鼻尖与眼睛。使用基于PCA的方法计算后,将术前扫描模型分割为两部分:第一部分为眼睑、鼻子、耳朵;剩余部分为第二部分。针对第一部分,做如下处理:
1.对提取出的特征点进行聚类,使这些特征点划分到3个类中。一般情况下,这三个类中心分别在左右耳,前脸处。
2.求人头模型质心,其中pi为第i点的坐标,n为模型顶点数。
3.以质心为中心,两耳之间的夹角最大,根据此特点,区分出前脸对应的聚类中心c1与左右耳聚类中心c2、c3。
4.求c2、c3两点连线的垂直平分面。
5.对前脸对应的分类再次聚类,使这些特征点划分到3个子类中。由于两眼、鼻部具有较多的特征点,这三个子类中心会分布在左右眼睛,鼻部。
6.距离c2、c3两点连线的垂直平分面距离最近的聚类中心标记为鼻部,用该点近似鼻尖。
7.求解左右眼睛。如图4,其中P1左眼、P2为右眼,P点为P1和P2的中心,Q为鼻子,O为人头模型质心,按照右手法则,计算OP到OP1的向量积,得到OPP1平面的法向量ON1。同理,计算OP到OP2的向量积,得到OPP2平面的法向量ON2。由于平面OP1P2与OQ有夹角,则N1OQ为钝角,N2OQ为锐角,其中钝角为左眼,锐角为右眼。
Claims (5)
1.一种基于人脸生物特征的面匹配空间注册方法,其特征在于它包括以下步骤:
(1)在病人空间中结合结构光和双目立体视觉的方法获取病人空间表面三维点云;
(2)在二维图像上通过基于统计信息的ASM方法识别鼻尖与眼睛;
(3)对术前采集的医学影像图像进行表面重建,获得人头三维模型,在该三维模型上通过对局部邻域进行主成分分析提取面部特征点,对这些特征点进一步聚类识别出对应的鼻尖与眼睛;
(4)利用上述步骤(2)和(3)获取的鼻尖与眼睛的对应点,计算人头模型和三维点云之间的初始变化矩阵,再利用最近点算法(ICP)来完成人头三维模型的模型空间和病人空间的点云注册。
2.如权利要求1所述的基于人脸生物特征的面匹配空间注册方法,其特征在于:在所述步骤(1)中结合结构光和双目立体视觉的方法来获取病人空间表面点云的方法,该方法结合主动式和被动式两种方法,建立主动式结构光立体视觉系统,
(1)选用二值随机编码方式;
(2)利用SAD方法作为相似性评价标准来计算左右两图中点的对应关系;
(3)采用了有效区域过滤和健壮性过滤,包括:
1)有效区域过滤,对于一个表面平滑、连续的物体,其视差变换也应该平滑连续,具有局部一致性;因此,对于视差图内的任一像素点,都满足:
其中,N(i)为像素点i的邻域,j为像素点i邻域内的一点,di、dj分别表示像素点i、j处的视差;如果两点视差偏差小于给定阈值δ,则认为这两点表示的平面为连续平面;
2)健壮性过滤,健壮的匹配是指一个像素点的最佳匹配要远好于其次佳匹配,即最大匹配值远大于次大匹配值,若次大匹配值小于最大匹配值的4/5,则保留该最佳匹配像素点,否则过滤掉。
3.如权利要求1所述的基于人脸生物特征的面匹配空间注册方法,其特征在于:在所述步骤(2)中通过基于统计信息的ASM方法识别鼻尖与眼睛,具体方法是:
首先利用ASM方法对双目相机采集到的图片进行特征点提取;
其次在获取特定眼睛和鼻尖点的二维坐标后,利用立体视觉原理,计算这些特征点的三维坐标。
4.如权利要求1所述的基于人脸生物特征的面匹配空间注册方法,其特征在于:在所述的步骤(4)中,使用基于人脸生物特征方法先确定一个初始矩阵,进行粗略配准,然后再使用ICP算法进行精确配准;模型空间和病人空间的左右眼睛、鼻子的三维坐标,计算出粗略的空间变换矩阵。
5.如权利要求1所述的基于人脸生物特征的面匹配空间注册方法,其特征在于:步骤(3)中,在模型空间使用基于局部邻域主成分分析识别出对应的鼻尖与眼睛,具体为:使用基于PCA的方法计算后,将术前扫描模型分割为两部分:第一部分为眼睑、鼻子、耳朵;剩余部分为第二部分;针对第一部分,做如下处理:
(3.1)对提取出的特征点进行聚类,使这些特征点划分到3个类中,这三个类中心分别在左右耳,前脸处;
(3.2)求人头模型质心,中pi为第i点的坐标,n为模型顶点数;
(3.3).以质心为中心,两耳之间的夹角最大,根据此特点,区分出前脸对应的聚类中心c1与左右耳聚类中心c2、c3;
(3.4)求c2、c3两点连线的垂直平分面;
(3.5)对前脸对应的分类再次聚类,使这些特征点划分到3个子类中,由于两眼、鼻部具有较多的特征点,这三个子类中心会分布在左右眼睛,鼻部;
(3.6)距离c2、c3两点连线的垂直平分面距离最近的聚类中心标记为鼻部,用该点近似鼻尖;
(3.7)求解左右眼睛,P1左眼、P2为右眼,P点为P1和P2的中心,Q为鼻子,O为人头模型质心,按照右手法则,计算OP到OP1的向量积,得到OPP1平面的法向量ON1;同理,计算OP到OP2的向量积,得到OPP2平面的法向量ON2;由于平面OP1P2与OQ有夹角,则N1OQ为钝角,N2OQ为锐角,其中钝角为左眼,锐角为右眼。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410134295.1A CN103927747B (zh) | 2014-04-03 | 2014-04-03 | 一种基于人脸生物特征的面匹配空间注册方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410134295.1A CN103927747B (zh) | 2014-04-03 | 2014-04-03 | 一种基于人脸生物特征的面匹配空间注册方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103927747A true CN103927747A (zh) | 2014-07-16 |
CN103927747B CN103927747B (zh) | 2017-01-11 |
Family
ID=51145958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410134295.1A Expired - Fee Related CN103927747B (zh) | 2014-04-03 | 2014-04-03 | 一种基于人脸生物特征的面匹配空间注册方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103927747B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104573722A (zh) * | 2015-01-07 | 2015-04-29 | 深圳市唯特视科技有限公司 | 基于三维点云的三维人脸种族分类装置和方法 |
CN105023010A (zh) * | 2015-08-17 | 2015-11-04 | 中国科学院半导体研究所 | 一种人脸活体检测方法及系统 |
CN105138979A (zh) * | 2015-08-19 | 2015-12-09 | 南京理工大学 | 基于立体视觉的运动人体头部检测方法 |
CN107085654A (zh) * | 2017-04-06 | 2017-08-22 | 深圳创维-Rgb电子有限公司 | 基于人脸图像的健康分析方法及装置 |
CN107992820A (zh) * | 2017-11-29 | 2018-05-04 | 北京伟景智能科技有限公司 | 基于双目视觉的货柜自助售货方法 |
CN108665555A (zh) * | 2018-05-15 | 2018-10-16 | 华中师范大学 | 一种融入真实人物形象的孤独症干预系统 |
CN108765578A (zh) * | 2018-05-15 | 2018-11-06 | 华中科技大学 | 离心铸造物理模拟的充型流体形貌三维拍摄系统及方法 |
CN110363858A (zh) * | 2019-06-18 | 2019-10-22 | 新拓三维技术(深圳)有限公司 | 一种三维人脸重建方法及系统 |
CN110543871A (zh) * | 2018-09-05 | 2019-12-06 | 天目爱视(北京)科技有限公司 | 基于点云的3d比对测量方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101315661B (zh) * | 2008-07-18 | 2010-07-07 | 东南大学 | 一种减小表情影响的快速三维人脸识别方法 |
CN101625768B (zh) * | 2009-07-23 | 2011-11-09 | 东南大学 | 一种基于立体视觉的三维人脸重建方法 |
CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及系统 |
EP2672424A1 (en) * | 2012-06-08 | 2013-12-11 | Realeyes OÜ | Method and apparatus using adaptive face registration method with constrained local models and dynamic model switching |
-
2014
- 2014-04-03 CN CN201410134295.1A patent/CN103927747B/zh not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104573722A (zh) * | 2015-01-07 | 2015-04-29 | 深圳市唯特视科技有限公司 | 基于三维点云的三维人脸种族分类装置和方法 |
CN105023010A (zh) * | 2015-08-17 | 2015-11-04 | 中国科学院半导体研究所 | 一种人脸活体检测方法及系统 |
CN105023010B (zh) * | 2015-08-17 | 2018-11-06 | 中国科学院半导体研究所 | 一种人脸活体检测方法及系统 |
CN105138979A (zh) * | 2015-08-19 | 2015-12-09 | 南京理工大学 | 基于立体视觉的运动人体头部检测方法 |
CN107085654A (zh) * | 2017-04-06 | 2017-08-22 | 深圳创维-Rgb电子有限公司 | 基于人脸图像的健康分析方法及装置 |
CN107992820A (zh) * | 2017-11-29 | 2018-05-04 | 北京伟景智能科技有限公司 | 基于双目视觉的货柜自助售货方法 |
CN108665555A (zh) * | 2018-05-15 | 2018-10-16 | 华中师范大学 | 一种融入真实人物形象的孤独症干预系统 |
CN108765578A (zh) * | 2018-05-15 | 2018-11-06 | 华中科技大学 | 离心铸造物理模拟的充型流体形貌三维拍摄系统及方法 |
CN110543871A (zh) * | 2018-09-05 | 2019-12-06 | 天目爱视(北京)科技有限公司 | 基于点云的3d比对测量方法 |
CN110543871B (zh) * | 2018-09-05 | 2022-01-04 | 天目爱视(北京)科技有限公司 | 基于点云的3d比对测量方法 |
CN110363858A (zh) * | 2019-06-18 | 2019-10-22 | 新拓三维技术(深圳)有限公司 | 一种三维人脸重建方法及系统 |
CN110363858B (zh) * | 2019-06-18 | 2022-07-01 | 新拓三维技术(深圳)有限公司 | 一种三维人脸重建方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103927747B (zh) | 2017-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103927747B (zh) | 一种基于人脸生物特征的面匹配空间注册方法 | |
Liang et al. | Improved detection of landmarks on 3D human face data | |
Joshi et al. | Depth discontinuity-based cup segmentation from multiview color retinal images | |
CN102814002B (zh) | 经颅磁刺激导航系统及经颅磁刺激线圈定位方法 | |
JP4692526B2 (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
CN104573634A (zh) | 一种三维人脸识别方法 | |
US10311598B2 (en) | Fully automated localization of electroencephalography (EEG) electrodes | |
CN112907642B (zh) | 一种配准重合的方法、系统、存储介质及设备 | |
JP4936491B2 (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
CN112220444B (zh) | 一种基于深度相机的瞳距测量方法和装置 | |
JP2023516930A (ja) | 空間位置決め方法、関連装置およびナビゲーションスティック | |
Niri et al. | Multi-view data augmentation to improve wound segmentation on 3D surface model by deep learning | |
CN107749084A (zh) | 一种基于图像三维重建技术的虚拟试戴方法和系统 | |
CN104463832A (zh) | 一种神经外科手术导航的注册方法及系统 | |
Oliveira et al. | Simultaneous detection of prominent points on breast cancer conservative treatment images | |
Boukamcha et al. | Automatic landmark detection and 3D Face data extraction | |
JP4682372B2 (ja) | 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム | |
CN114037744A (zh) | 一种基于卷积神经网络的口腔感兴趣区域三维重建方法及装置 | |
CN109124765A (zh) | 基于混合现实的辅助诊疗系统在神经外科中的应用方法 | |
CN112329723A (zh) | 一种基于双目相机的多人人体3d骨骼关键点定位方法 | |
Tang et al. | 3D reconstruction of the optic nerve head using stereo fundus images for computer-aided diagnosis of glaucoma | |
CN108804861A (zh) | 一种具有真实力反馈的脊柱微创手术培训系统及方法 | |
Vagvolgyi et al. | Video to CT registration for image overlay on solid organs | |
CN115294018A (zh) | 一种基于rgb-d图像的颈部肌张力障碍识别系统 | |
CN108960112A (zh) | 一种人脸表情识别系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170111 Termination date: 20190403 |