CN103927747B - 一种基于人脸生物特征的面匹配空间注册方法 - Google Patents

Abstract

本发明是一种基于人脸生物特征的面匹配空间注册方法。针对人脸表面光滑，纹理单一的特点，搭建了主动式结构光立体视觉系统，进行人脸面部点云的获取。提出并实现了一种基于人脸生物特征的面部点云粗略配准方法，在二维图像空间通过基于统计信息的主动形状模型（ASM）方法识别鼻尖与眼睛；在三维空间通过对局部邻域进行主成分分析识别出对应的鼻尖与眼睛，从而自动获得两个点云的初始配准矩阵。最后基于迭代最近点（ICP）算法，完成点云的精确配准，实现空间注册。

Description

一种基于人脸生物特征的面匹配空间注册方法

技术领域

本发明属于计算机辅助医疗领域，具体地说是一种基于人脸生物特征的面匹配空间注册方法，该方法可用于图像引导神经外科手术导航系统中去，改善医生的医护环境。

背景技术

随着计算机技术和医学影像技术的发展，图像引导神经外科手术导航系统（ImageGuided Neurosurgery System，IGNS）得到了越来越广泛的应用，成为医疗器械领域的一个新的研究热点。神经导航系统能够帮助医生快速确定病灶位置，规划手术刀操作路径，使手术更加快捷、微创、安全高效，进而缩短手术时间，降低手术风险。

在导航手术过程中，患者的实际体位要和三维模型精确配准，才能保证在模型中真实反映出器械与病变的位置关系。把患者在空间中的实际位置和三维模型中的虚拟位置进行精确配准的过程，在导航手术中称为注册，而注册算法和注册过程的精度直接影响着整个导航系统的精度。基于点匹配的刚体配准法是目前手术导航系统临床应用中使用最多的空间配准法。该方法需要在两个空间中分别选取对应的标记点（不管是手都还是自动的方法）。基于点匹配的方法目前已经可以达到一个很高的精度了，但是点匹配法中存在一些固有缺陷，给神经导航的临床应用造成不便，需要有人工标记物的医学影像图片，即需要专门为导航进行一次影像扫描，粘贴在头皮表面的人工标记物容易发生移位，从而引起较大的空间配准误差，植入型人工标记物需要固定在头骨上，对患者带来一定伤害，具有侵入性，标记点识别过程消耗时间较长。

与点匹配相比，面匹配的优点是使用病人固有特征进行空间配准，不需要再额外放置人工标记物，缩短了术前准备时间，可以直接使用已有的图像进行导航，而不需专门为导航进行影像扫描。在面匹配方面，著名的“头帽法”是将一个空间中提取的点为“帽”，另一个空间中提取的面为“头”，当“头”与“帽”最佳匹配时，即完成空间配准。迭代最近点算法Fast-MICP在开始时需要手动指定一些匹配点对来初始化ICP（Iterative Closest Points，迭代最近点）算法，得到一个初步的转换矩阵。将病人空间点云数据映射到2D平面，根据点到平面的距离生成灰度图（投影高度图像），用Harris角点检测算法检测到的角点来代替参与匹配的点云，大大减少了点的数量，加快了ICP的收敛速度。该算法虽然速度较快，但精度不是很理想（<3mm）。

发明内容

在本文中，设计并实现了一种基于人脸生物特征的面匹配空间注册方法。在分别获得病人物理空间和图像引导空间的脸部点云后，在二维图像空间通过基于统计信息的ASM（Active Shape Model，主动形状模型）方法识别鼻尖与眼睛，在三维空间通过对局部邻域进行主成分分析提取面部特征点，对这些特征点进一步聚类识别出对应的鼻尖与眼睛，从而自动获得两个点云的初始配准矩阵。最后基于ICP完成无人工标记点的空间注册。

附图说明

图1示出本发明基于人脸生物特征的面匹配空间注册方法的主要流程图；

图2示出本发明随机编码结构光的人头模型；

图3示出本发明基于基于统计信息的ASM方法识别鼻尖与眼睛；

图4示出本发明通过对局部邻域进行主成分分析识别出对应的鼻尖与眼睛；

图5示出本发明粗略配准和精细配准的结果。

具体实施方式

如图1所示，本发明的基于人脸生物特征的面匹配空间注册方法采用如下步骤：

（1）结合结构光和双目立体视觉的方法获取病人空间表面点云。一般来说，模式图中相邻像素差异越大、对比越明显，在左右像对中寻找匹配点准确度越高。随机编码就是这样的一种编码方式，其基本思想是模式图每个位置的信息都是随机的，不需要特别设计的编码信息，因此也不需要解码。由于彩色的结构光模式对物体本身的颜色和纹理非常敏感，本文选用了二值随机编码方式。在获得校正的左右图像后，我们利用SAD方法作为相似性评价标准来计算左右两图中点的对应关系。同时为了过滤掉那些误匹配点，使重建出的三维点坐标准确，提高空间注册精度。使用了两个过滤规则：1）有效区域过滤。对于一个表面平滑、连续的物体，其视差变换也应该平滑连续，相差较小，即具有局部一致性。因此，对于视差图内的任一像素点，都满足：

$\{\frac{j\&Element;N\left(i\right)}{|d_j-d_i|\&le;\mathrm{\&delta;}}---\left(2\right)$

其中，N（i）为像素点i的邻域，j为像素点i邻域内的一点，di、dj分别表示像素点i、j处的视差。如果两点视差偏差小于给定阈值δ，则认为这两点表示的平面为连续平面。2）健壮性过滤。健壮的匹配是指一个像素点的最佳匹配要远好于其次佳匹配，即最大匹配值远大于次大匹配值。本文设定阈值为0.8，若次大匹配值小于最大匹配值的4/5，则保留该最佳匹配像素点，否则过滤掉。

（2）在病人空间使用基于统计信息的主动形状模型（ASM）方法识别鼻尖与眼睛。首先利用ASM方法对双目相机采集到的图片进行特征点提取。在获取特定眼睛和鼻尖点的二维坐标后，利用立体视觉原理，计算这些特点的三维坐标。

（3）在模型空间使用基于局部邻域主成分分析识别出对应的鼻尖与眼睛。使用基于PCA的方法计算后，将术前扫描模型分割为两部分：第一部分为眼睑、鼻子、耳朵；剩余部分为第二部分。针对第一部分，做如下处理：

1.对提取出的特征点进行聚类，使这些特征点划分到3个类中。一般情况下，这三个类中心分别在左右耳，前脸处。

2.求人头模型质心，其中p_i为第i点的坐标，n为模型顶点数。

3.以质心为中心，两耳之间的夹角最大，根据此特点，区分出前脸对应的聚类中心c1与左右耳聚类中心c2、c3。

4.求c2、c3两点连线的垂直平分面。

5.对前脸对应的分类再次聚类，使这些特征点划分到3个子类中。由于两眼、鼻部具有较多的特征点，这三个子类中心会分布在左右眼睛，鼻部。

6.距离c2、c3两点连线的垂直平分面距离最近的聚类中心标记为鼻部，用该点近似鼻尖。

7.求解左右眼睛。如图4，其中P1左眼、P2为右眼，P点为P1和P2的中心，Q为鼻子，O为人头模型质心，按照右手法则，计算OP到OP1的向量积，得到OPP1平面的法向量ON1。同理，计算OP到OP2的向量积，得到OPP2平面的法向量ON2。由于平面OP1P2与OQ有夹角，则N1OQ为钝角，N2OQ为锐角，其中钝角为左眼，锐角为右眼。

Claims (5)

1.一种基于人脸生物特征的面匹配空间注册方法，其特征在于它包括以下步骤：

(1)在病人空间中结合结构光和双目立体视觉的方法获取病人空间表面三维点云；

(2)在二维图像上通过基于统计信息的ASM方法识别鼻尖与眼睛；

(3)对术前采集的医学影像图像进行表面重建，获得人头三维模型，在该人头三维模型上通过对局部邻域进行主成分分析提取面部特征点，对这些特征点进一步聚类识别出对应的鼻尖与眼睛；

(4)利用上述步骤(2)和(3)获取的鼻尖与眼睛的对应点，计算人头三维模型和表面三维点云之间的初始变化矩阵，再利用最近点算法(ICP)来完成模型空间和病人空间的点云注册。

2.如权利要求1所述的基于人脸生物特征的面匹配空间注册方法，其特征在于：在所述步骤(1)中结合结构光和双目立体视觉的方法来获取病人空间表面点云的方法，该方法结合主动式和被动式两种方法，建立主动式结构光立体视觉系统，

(1)选用二值随机编码方式；

(2)利用SAD方法作为相似性评价标准来计算左右两图中点的对应关系；

(3)采用了有效区域过滤和健壮性过滤，包括：

1)有效区域过滤，对于一个表面平滑、连续的物体，其视差变换也应该平滑连续，具有局部一致性；因此，对于视差图内的任一像素点，都满足：

$\{\frac{j\&Element;N\left(i\right)}{|d_j-d_i|\&le;\mathrm{\&delta;}}---\left(1\right)$

其中，N(i)为像素点i的邻域，j为像素点i邻域内的一点，di、dj分别表示像素点i、j处的视差；如果两点视差偏差小于给定阈值δ，则认为这两点表示的平面为连续平面；

2)健壮性过滤，健壮的匹配是指一个像素点的最佳匹配要远好于其次佳匹配，即最大匹配值远大于次大匹配值，若次大匹配值小于最大匹配值的4/5，则保留该最佳匹配像素点，否则过滤掉。

3.如权利要求1所述的基于人脸生物特征的面匹配空间注册方法，其特征在于：在所述步骤(2)中通过基于统计信息的ASM方法识别鼻尖与眼睛，具体方法是：

首先利用ASM方法对双目相机采集到的图片进行特征点提取；

其次在获取特定眼睛和鼻尖的二维坐标后，利用立体视觉原理，计算这些特征点的三维坐标。

4.如权利要求1所述的基于人脸生物特征的面匹配空间注册方法，其特征在于：在所述的步骤(4)中，使用基于人脸生物特征方法先确定一个初始变化矩阵，进行粗略配准，然后再使用ICP算法进行精确配准：利用模型空间和病人空间的左右眼睛、鼻尖的三维坐标，计算出粗略的初始变化矩阵。

5.如权利要求1所述的基于人脸生物特征的面匹配空间注册方法，其特征在于：步骤(3)中，在模型空间使用基于局部邻域主成分分析识别出对应的鼻尖与眼睛，具体为：使用基于PCA的方法计算后，将人头三维模型分割为两部分：第一部分为眼睛区域、鼻子区域、耳朵区域部分；剩余部分为第二部分；针对第一部分，做如下处理：

(3.1)对提取出的特征点进行聚类，使这些特征点划分到3个类中，这三个类中心分别在左右耳，前脸处；

(3.2)求人头三维模型质心，中p_i为第i点的坐标，n为人头三维模型顶点数；

(3.3).以质心为中心，两耳之间的夹角最大，根据此特点，区分出前脸对应的聚类中心c1与左右耳聚类中心c2、c3；

(3.4)求c2、c3两点连线的垂直平分面；

(3.5)对前脸对应的分类再次聚类，使这些特征点划分到3个子类中，由于左右眼区域、鼻子区域具有较多的特征点，这三个子类中心会分布在左右眼睛，鼻尖；

(3.6)距离c2、c3两点连线的垂直平分面距离最近的聚类中心标记为鼻尖，用该点近似鼻尖；

(3.7)求解左右眼睛，P1左眼、P2为右眼，P点为P1和P2的中心，Q为鼻尖，O为人头三维模型质心，按照右手法则，计算OP到OP1的向量积，得到OPP1平面的法向量ON1；同理，计算OP到OP2的向量积，得到OPP2平面的法向量ON2；由于平面OP1P2与OQ有夹角，则N1OQ为钝角，N2OQ为锐角，其中钝角为左眼，锐角为右眼。