CN100581460C - 测量颜面缺损患者面部三维形貌的方法 - Google Patents

Abstract

测量颜面缺损患者面部三维形貌的方法，属于光学测量、机械工程和医学工程技术领域。本发明基于结构光投影三维视觉测量技术，采用用于患者颜面缺损修复的双单目白光三维测量系统，控制左幻灯投影仪和右幻灯投影仪分别将格雷码和相移编码结构光条纹图案投射至颜面缺损患者左右侧面部，左摄像机和右摄像机分别拍摄发生变形的结构光条纹图像后，通过图像解码、三角原理和双单目测量数据合并，实现对完整患者面部三维形貌的测量。本发明可在非接触条件下实现对患者面部自然状态软组织的精确数据采集，为临床颜面缺损修复治疗提供实用可靠的患者面部三维形貌原始数据。

Description

测量颜面缺损患者面部三维形貌的方法

所属技术领域：

本发明涉及一种测量颜面缺损患者面部三维形貌的方法。特别是一种基于结构光投影三维视觉测量技术，采用用于患者颜面缺损修复的双单目白光三维测量系统，对颜面缺损患者的面部形貌实现完整数据采集的三维测量方法。属于光学测量、机械工程和医学工程技术领域。

背景技术：

各种原因造成的颜面缺损，不仅会给患者带来生理功能的障碍，同时会使患者产生严重的心理障碍，难以进行正常的工作和社交，甚至使许多患者丧失生活的信心。由于颌面器官的特殊解剖形态、组织结构及其他影响因素，颜面大面积缺损通常采用赝复体进行修复治疗。该技术的关键在于患者颜面缺损区信息的精确获取，以满足赝复体形状，定位，与组织面贴合，边缘处理及形态学等方面的诸多精度要求。

传统的患者颜面缺损区数据采集技术一直停留在印模制取的阶段。它采用各类印模材料取得患者的缺损区的缺损状况，翻制模型后，再由技师凭经验进行手工的蜡形雕刻，充填后完成。这种印模制取方法存在很多缺点：比如说印模材料会对组织产生一定的刺激性，并可能引起软组织移位，造成模型偏差；同时存在制作工艺复杂、制作周期长、成型赝复体美学效果差，定位和贴合不准等问题。

随着科技的发展，部分国内外学者和临床医生开始采用电脑断层扫描(CT)、核磁共振成像(MRI)、激光扫描等技术实现患者缺损颜面的三维测量和图像重建，可替代传统的印模制取方法而获得相对较精确的缺损区信息。但这些测量方法仍然具有一定的局限性。CT和MRI测量方法空间分辨率低、测量精度差，获取数据时间长，对软组织的重建有一定的欠缺，而且扫描的放射线对人体有潜在的损害。激光测量的速度同样较慢，无法确保整个测量过程中患者面部形貌的绝对静止，加上激光光源对人眼有潜在的伤害，都限制了这些方法在颜面缺损修复中的进一步应用。

白光三维测量是近年来迅速发展的一种测量方法，它采用类似照相的原理，在几秒之内，即可获取上百万个点的测量数据。而且白光测量安全，对人体没有任何伤害，是一种有前途的人体数据测量及三维重建的好方法。然而，由于患者颜面测量的特殊性，限制了现有白光三维测量技术在这领域的应用。比如现有的白光三维测量技术通常实现单一视角的测量，要获取完整数据需要多视角测量，并进行软件拼合。已有技术中，J.在论文Three dimensional measurementof human face with structured-light illumination(Measurement Science Review，Volume 6，Section 2，No.1，2006)中提到在使用三维颜面单目测量系统(ShapeCam)来测量多个视角面部数据后，不得不再使用ShapeMatcher软件进行拼合以获得完整面部数据。由于整个测量过程中患者姿势和面部形态不可能保持绝对静止不动，所以多视角测量后拼合会引入较大的拼合误差，从而导致患者面部测量数据的不精确。

发明内容：

为克服已有技术中颜面缺损患者面部测量存在的测量精度低、测量速度慢和对人体有潜在损害等不足，本发明根据面部测量的特点，提出了一种全新的测量颜面缺损患者面部三维形貌的方法。采用用于患者颜面缺损修复的双单目白光三维测量系统，在非接触条件下实现对患者面部自然状态软组织的精确数据采集，为临床颜面缺损修复治疗提供实用可靠的患者面部三维形貌原始数据。

本发明是通过下述技术方案实现的。本发明提出的测量颜面缺损患者面部三维形貌的方法所使用的测量设备为经过双单目白光三维测量系统标定方法标定后的用于患者颜面缺损修复的双单目白光三维测量系统。该测量系统由左单目测量头、右单目测量头、测量头支架、测量头平移机构、控制柜、计算机组成。其中左单目测量头包括左幻灯投影仪和左摄像机。右单目测量头包括右幻灯投影仪和右摄像机。左幻灯投影仪和右幻灯投影仪均由白光源、隔热玻璃、物理编码光栅、光栅平移机构、投影镜头组成。白光源经过隔热玻璃隔热，背投至物理编码光栅，将物理编码光栅的结构光条纹图案通过投影镜头投射至患者面部。其中，每幅结构光条纹图案的切换通过移动光栅平移机构实现。本发明采用的结构光条纹图案由7幅格雷码图案和4幅相移图案组合进行编码。格雷码和相移图案组合编码的方式编码健壮性好，分辨率高，既可测量突变和不连续表面，又可获得表面的精细纹理，适用于颜面缺损患者面部三维形貌的测量。

格雷码图案第一幅为黑白条纹各一半，从第二幅开始，对条纹逐渐细分：前一幅黑条纹区域按照半黑半白进行等分，前一幅白条纹区域按照半白半黑进行等分。按照黑白条纹分别表示逻辑值0和1，7幅格雷码图案可得到7位的编码序列，可将空间分成27个区域，按一个方向分别对应一个整数索引值m(m＝0，1，2，...，2ⁿ-1)。格雷码图案编码获得的空间分辨率较低。

相移图案按四步相移的编码规则，其周期和格雷码图案划分的空间区域宽度相一致，并以第一幅相移图案为基准，第二幅开始分别比前一幅偏移半个条纹宽度。投射相移图案获得的光强分布I_q(q＝0，1，2，3)由下式表示：

$I_q=I^{\′}+I^{\′\′}\·\cos ({\mathrm{\φ}}^{\′}+q\·\frac{\mathrm{\π}}{2})$

其中，I′为背景光强，I″为条纹光强对比度，φ′为相对相位。其中相对相位φ′可由下式计算得到：

${\mathrm{\φ}}^{\′}=\mathrm{arctg}\frac{I_1-I_3}{I_0-I_2}$

相移图案编码在每个格雷码划分的空间区域内具有极高的空间分辨率。因为主相位周期和格雷码空间区域完全重合，所以这两种编码的组合可通过以下式子得到：

φ＝2π·m+φ′

其中φ为组合编码的绝对相位。由此实现了空间光线投射方向的高分辨率编码，建立了这些方向和绝对相位之间对应关系。

本发明提出的测量颜面缺损患者面部三维形貌的方法具体包括如下步骤：

1)调整左单目测量头和右单目测量头的位置以及调整左摄像机和右摄像机拍摄曝光量参数。开启左幻灯投影仪和右幻灯投影仪，投射结构光条纹图案至患者面部，打开左摄像机和右摄像机进行实时场景拍摄。控制测量头平移机构，将左单目测量头和右单目测量头上下和前后平移至合适测量位置，使患者面部同时位于左摄像机和右摄像机拍摄场景中心。根据拍摄图像的结构光条纹质量，调整左摄像机和右摄像机拍摄曝光量参数。

2)左单目测量头测量。关闭右幻灯投影仪，移动左幻灯投影仪的光栅平移机构，左幻灯投影仪投射一幅结构光条纹图案至患者左侧面部。左摄像机采集投射至患者左侧面部的结构光条纹图案。如果已完成所有结构光条纹图案的投射，将左幻灯投影仪的光栅平移机构回归原位；如果没有完成所有结构光条纹图案的投射，控制左幻灯投影仪的光栅平移机构移动，再投射一幅结构光条纹图案，左摄像机再次进行采集，直至所有结构光条纹图案投射完毕。

3)右单目测量头测量。关闭左幻灯投影仪，开启右幻灯投影仪，移动右幻灯投影仪的光栅平移机构，右幻灯投影仪投射一幅结构光条纹图案至患者右侧面部。右摄像机采集投射到患者右侧面部的结构光条纹图案。如果已完成所有结构光条纹图案的投射，将右幻灯投影仪的光栅平移机构回归原位；如果没有完成所有结构光条纹图案的投射，控制右幻灯投影仪的光栅平移机构移动，再投射一幅结构光条纹图案，右摄像机再次进行采集，直至所有结构光条纹图案投射完毕。

4)结构光条纹图像处理、三维坐标点计算及结果显示。

由于患者面部三维形貌的调制作用，投射的结构光条纹图案发生变形。这些变形的结构光条纹图案包含有面部三维形貌信息。可通过分别分析左摄像机和右摄像机拍摄获取的变形结构光条纹图像，实现患者面部形貌的三维重建。

对左摄像机拍摄的结构光条纹图像按照格雷码和相移编码规则进行解码，得到左摄像机每个图像像素点的绝对相位。根据每个图像像素点的绝对相位值可确定该图像像素点对应的左幻灯投影仪空间光线投射方向。

图像像素点位置和左摄像机参数，可确定左摄像机的成像直线；左幻灯投影仪空间光线投射方向和左幻灯投影仪参数可确定左幻灯投影仪的光线投射平面；根据左摄像机、左幻灯投影仪分别与左单目测量头测量坐标系的旋转和平移位姿转换矩阵，可将左摄像机的成像直线和左幻灯投影仪的光线投射平面转换至左单目测量头测量坐标系，求得该直线和平面的交点，即为患者左侧面部三维点在左单目测量头测量坐标系下的空间位置。

对右摄像头拍摄的结构光条纹图像的分析处理方式与上述对左摄像机拍摄的结构光条纹图像的处理完全一致，最终获得患者右侧面部三维点在右单目测量头测量坐标系下的空间位置。

根据左单目测量头和右单目测量头测量坐标系间旋转和平移位姿转换矩阵关系，将患者右侧面部三维坐标点转换至左单目测量头测量坐标系，或将患者左侧面部三维坐标点转换至右单目测量头测量坐标系，从而获得完整的患者面部三维形貌数据，并在计算机上以点云形式进行显示，便于人机交互操作。

本发明的有益效果：

本发明采用用于患者颜面缺损修复的双单目白光三维测量系统，能在非接触条件下实现自然状态患者面部软组织完整数据的快速采集，其测量精度在0.03mm以内，测量时间少于8s，可获得近200万数量三维点云。该测量方法可取代传统颜面缺损修复中赝复体制作的印模制取工艺过程，大大缩短治疗周期，减少了技师工作强度。由于这些数据直接来自患者自然状态，制成的赝复体与患者颜面缺损部位可做到十分精确的吻合，极大地减少由于人为原因造成的误差，提高赝复体制作精度，降低了手术的风险性。相对于CT、MRI、激光等技术，采用白光作为背投光源，对人体不产生任何潜在伤害。

附图说明：

图1本发明测量方法流程框图

图2本发明使用的双单目白光三维测量系统示意图

图3本发明幻灯投影仪结构示意图

图中1左单目测量头、2右单目测量头、3测量头支架、4测量头平移机构、5控制柜、6计算机、7左幻灯投影仪、8左摄像机、9右幻灯投影仪、10右摄像机、11白光源、12隔热玻璃、13物理编码光栅、14光栅平移机构、15投影镜头、16患者颜面

具体实施方式：

下面结合附图对本发明的具体实施做进一步描述。

如图2和图3所示，本发明提出的测量颜面缺损患者面部三维形貌的方法所使用的测量设备为用于患者颜面缺损修复的双单目白光三维测量系统。该测量系统由左单目测量头1、右单目测量头2、测量头支架3、测量头平移机构4、控制柜5、计算机6组成。其中左单目测量头1包括左幻灯投影仪7和左摄像机8。右单目测量头2包括右幻灯投影仪9和右摄像机10。左幻灯投影仪7和右幻灯投影仪9均由白光源11、隔热玻璃12、物理编码光栅13、光栅平移机构14、投影镜头15组成。白光源11经过隔热玻璃12隔热，背投至物理编码光栅13上，将物理编码光栅13的结构光条纹图案通过投影镜头15投射至患者面部16。其中，每幅结构光条纹图案的切换通过移动光栅平移机构14实现。

该测量系统使用双单目白光三维测量系统标定方法标定，标定的参数包括：左摄像机8和右摄像机10的焦距和主点，左幻灯投影仪7和右幻灯投影仪9的焦距和主相位，左摄像机8和左幻灯投影仪7分别相对于左单目测量头1测量坐标系的旋转和平移位姿转换矩阵，右摄像机10和右幻灯投影仪9分别相对于右单目测量头2测量坐标系的旋转和平移位姿转换矩阵，左单目测量头1和右单目测量头2测量坐标系间旋转和平移位姿转换矩阵。

如图1所示，本发明提出的测量颜面缺损患者面部三维形貌的方法具体包括如下步骤：

1)调整左单目测量头1和右单目测量头2位置以及调整左摄像机8和右摄像机10拍摄曝光量参数。开启左幻灯投影仪7和右幻灯投影仪9，投射结构光条纹图案至患者面部，打开左摄像机8和右摄像机10进行实时场景拍摄。控制测量头平移机构4，将左单目测量头1和右单目测量头2上下和前后平移至合适测量位置，使患者面部同时位于左摄像机8和右摄像机10拍摄场景中心。根据拍摄图像中结构光条纹图像质量，调整左摄像机8和右摄像机10拍摄曝光量参数。

2)左单目测量头1测量。关闭右幻灯投影仪9，移动左幻灯投影仪7的光栅平移机构14，左幻灯投影仪7投射一幅结构光条纹图案至患者左侧面部。左摄像机8采集投射至患者左侧面部的结构光条纹图案。如果已完成所有结构光条纹图案的投射，将左幻灯投影仪7的光栅平移机构14回归原位；如果没有完成所有结构光条纹图案的投射，控制左幻灯投影仪7的光栅平移机构14移动，再投射一幅结构光条纹图案，左摄像机8再次进行采集，直至所有结构光条纹图案投射完毕。

3)右单目测量头2测量。关闭左幻灯投影仪7，开启右幻灯投影仪9，移动右幻灯投影仪9的光栅平移机构14，右幻灯投影仪9投射一幅结构光条纹图案至患者右侧面部。右摄像机10采集投射到患者右侧面部的结构光条纹图案。如果已完成所有结构光条纹图案的投射，将右幻灯投影仪9的光栅平移机构14回归原位；如果没有完成所有结构光条纹图案的投射，控制右幻灯投影仪9的光栅平移机构14移动，再投射一幅结构光条纹图案，右摄像机10再次进行采集，直至所有结构光条纹图案投射完毕。

4)结构光条纹图像处理、三维坐标点计算及结果显示。

对左摄像机8拍摄的结构光条纹图像按照格雷码和相移编码规则进行解码，得到左摄像机8每个图像像素点的绝对相位。根据每个图像像素点的绝对相位值可确定该图像像素点对应的左幻灯投影仪7空间光线投射方向。

图像像素点位置和左摄像机8参数，可确定左摄像机8的成像直线；左幻灯投影仪7空间光线投射方向和左幻灯投影仪7参数可确定左幻灯投影仪7的光线投射平面；根据左摄像机8、左幻灯投影仪7分别与左单目测量头1测量坐标系之间旋转和平移位姿转换矩阵，可将左摄像机8的成像直线和左幻灯投影仪7的光线投射平面转换至左单目测量头1测量坐标系，求得该直线和平面的交点，即为患者左侧面部三维点在左单目测量头1测量坐标系下的空间位置。

对右摄像头10拍摄的结构光条纹图像的分析处理方式与上述对左摄像机8拍摄的结构光条纹图像的处理完全一致，最终获得患者右侧面部三维点在右单目测量头2测量坐标系下的空间位置。

根据左单目测量头1和右单目测量头2测量坐标系间旋转和平移位姿转换矩阵关系，将患者右侧面部三维坐标点转换至左单目测量头1测量坐标系下，或将患者左侧面部三维坐标点转换至右单目测量头2测量坐标系下，从而获得完整的患者面部三维形貌数据，并在计算机上以点云形式进行显示，便于人机交互操作。

Claims (1)

1.一种测量颜面缺损患者面部三维形貌的方法，其特征在于该方法使用了用于患者颜面缺损修复的双单目白光三维测量系统，该测量系统包括左单目测量头(1)、右单目测量头(2)、测量头支架(3)、测量头平移机构(4)、控制柜(5)和计算机(6)；其中左单目测量头(1)包括左幻灯投影仪(7)和左摄像机(8)，右单目测量头(2)包括右幻灯投影仪(9)和右摄像机(10)；左幻灯投影仪(7)和右幻灯投影仪(9)均由白光源(11)、隔热玻璃(12)、物理编码光栅(13)、光栅平移机构(14)、投影镜头(15)组成；白光源(11)经过隔热玻璃(12)隔热，背投至物理编码光栅(13)上，将物理编码光栅(13)的结构光条纹图案通过投影镜头(15)投射至患者面部(16)；该测量系统的参数经过双单目白光三维测量系统标定方法的标定；所述测量颜面缺损患者面部三维形貌的方法包括如下步骤：

1)调整左单目测量头(1)和右单目测量头(2)位置以及调整左摄像机(8)和右摄像机(10)拍摄曝光量参数：开启左幻灯投影仪(7)和右幻灯投影仪(9)，投射结构光条纹图案至患者面部(16)；打开左摄像机(8)和右摄像机(10)进行实时场景拍摄；控制测量头平移机构(4)，将左单目测量头(1)和右单目测量头(2)上下和前后平移，使患者面部同时位于左摄像机(8)和右摄像机(10)拍摄场景中心；根据拍摄图像中结构光条纹图像质量，调整左摄像机(8)和右摄像机(10)拍摄曝光量参数；

2)左单目测量头(1)测量：关闭右幻灯投影仪(9)，移动左幻灯投影仪(7)的光栅平移机构(14)，左幻灯投影仪(7)投射一幅结构光条纹图案至患者左侧面部；左摄像机(8)采集投射至患者左侧面部的结构光条纹图案；如果已完成所有结构光条纹图案的投射，将左幻灯投影仪(7)的光栅平移机构(14)回归原位；如果没有完成所有结构光条纹图案的投射，控制左幻灯投影仪(7)的光栅平移机构(14)移动，再投射一幅结构光条纹图案，左摄像机(8)再次进行采集，直至所有结构光条纹图案投射完毕；

3)右单目测量头(2)测量：关闭左幻灯投影仪(7)，开启右幻灯投影仪(9)，移动右幻灯投影仪(9)的光栅平移机构(14)，右幻灯投影仪(9)投射一幅结构光条纹图案至患者右侧面部；右摄像机(10)采集投射到患者右侧面部的结构光条纹图案；如果已完成所有结构光条纹图案的投射，将右幻灯投影仪(9)的光栅平移机构(14)回归原位；如果没有完成所有结构光条纹图案的投射，控制右幻灯投影仪(9)的光栅平移机构(14)移动，再投射一幅结构光条纹图案，右摄像机(10)再次进行采集，直至所有结构光条纹图案投射完毕；

4)结构光条纹图像处理、三维坐标点计算及结果显示：

对左摄像机(8)拍摄的结构光条纹图像按照格雷码和相移编码规则进行解码，得到左摄像机(8)每个图像像素点的绝对相位；根据每个图像像素点的绝对相位值可确定该图像像素点对应的左幻灯投影仪(7)空间光线投射方向；

图像像素点位置和左摄像机(8)参数能够确定左摄像机(8)的成像直线；左幻灯投影仪(7)空间光线投射方向和左幻灯投影仪(7)参数能够确定左幻灯投影仪(7)的光线投射平面；根据左摄像机(8)、左幻灯投影仪(7)分别与左单目测量头(1)测量坐标系的旋转和平移位姿转换矩阵，能够将左摄像机(8)的成像直线和左幻灯投影仪(7)的光线投射平面转换至左单目测量头(1)测量坐标系，求得该直线和平面的交点，即为患者左侧面部三维点在左单目测量头(1)测量坐标系下的空间位置；

对右摄像头(10)拍摄的结构光条纹图像的分析处理方式与上述对左摄像机(8)拍摄的结构光条纹图像的处理完全一致，最终获得患者右侧面部三维点在右单目测量头(2)测量坐标系下的空间位置；

根据左单目测量头(1)和右单目测量头(2)测量坐标系间旋转和平移位姿转换矩阵关系，将患者右侧面部三维坐标点转换至左单目测量头(1)测量坐标系下，或将患者左侧面部三维坐标点转换至右单目测量头(2)测量坐标系下，从而获得完整患者面部三维形貌数据，并在计算机上以点云形式进行显示。

Images