CN106580470B - 基于双目视觉的头部定位方法及系统 - Google Patents

Abstract

本发明提供一种基于双目视觉的头部定位方法及系统，通过对摄像机进行标定；将拍摄对象的头部完全置于拍摄区域内部，并将面部标记点组件固定于拍摄对象面部特征位置，采集拍摄记录拍摄对象佩戴标记点组件后的图像；利用图像处理算法，实现标记点组件的检测，根据标记点组件的检测结果，结合双目视觉原理，确定标记点组件在三维世界坐标中的空间坐标；利用各特征位置标记点的空间坐标，实现头部的定位。该方法及系统不仅解决了面部形貌采集的定位问题，对比于其他头部辅助定位系统，还具有适用性强，无遮挡，无干扰的优点。

Description

基于双目视觉的头部定位方法及系统

技术领域

本发明涉及一种基于双目视觉的头部定位方法及系统，属于医学光电应用领域。

背景技术

近年来，随着图像技术的发展，以及临床辅助诊断设备的不断更新，基于光学的面部形貌采集技术设备的出现、革新和推广，为临床医学特别是口腔额面医学的发展提供了有利的条件，该项技术已经成为了临床诊断不可缺失的光学影像检测分析手段之一。然而，同一拍摄对象，当其头部处于不同的位置特别是不同的姿态时，其面部软组织的形貌会有所不同进而影响面部形貌的采集结果。

现今，无论是传统的二维光学影像采集技术，还是新兴的三维光学影像采集技术，对于面部形貌采集时头部的空间位置和姿态的定位，并没有现成的系统和相关设备，更多的是依赖于操作者的经验和简单的视觉判断。而已有的一些用于放射影像以及手术规划等技术的头面部定位的设备由于其具有较多的遮挡或较强的干扰，或者更多的是仅仅考虑头部的空间位置，而对拍摄对象的姿态考虑并不充分，并不适用于光学面部形貌采集技术。

因此，针对现今技术的不足，本发明提出了一种适用性强的面部的三维头部定位系统，除了确定头部的三维空间位置以外，还可以辅助判断头部的姿态。

发明内容

本发明的目的是提供一种基于双目视觉的头部定位方法及系统，不仅能实现头部的空间三维坐标的确定，还能实现头部姿态，比如头部屈伸、侧屈、旋转等情况的确定，解决现有技术中存在的上述问题。

本发明的技术解决方案是：

一种基于双目视觉的头部定位方法，包括以下步骤，

S1、利用双目视觉技术中的张正友摄像机标定方法进行标定，并获得摄像头组的内参和外参；取摄像头镜头A中心点O_l与摄像头镜头B中心点O_r连线中点O为坐标系原点，摄像机镜头中心连线为X轴，且X轴与地面平行，Y轴垂直于地面，Z轴垂直于X轴与Y轴，建立以两台摄像机的中点为世界坐标原点的三维坐标系；

S2、让拍摄对象正对坐标原点站立，使拍摄对象面部处于摄像头A与摄像头B共同的拍摄区域，并将面部标记点组件固定于拍摄对象面部特征位置；将表面黏贴式面部标记M_c、M_b1、M_b2、M_c1、M_c2分别固定于被拍摄者下巴颏最前点，两个眉头以及锁骨胸骨端位置，将插入固定式面部标记M_e1、M_e2插入被拍摄者左耳、右耳中，利用光学采集系统采集拍摄对象佩戴标记点组件后的图像；

S3、利用图像处理算法提取标记点M在摄像头A与摄像头B所采集的图像中的坐标m_l(u_l，v_l)与m_r(u_r，v_r)，并据此结合摄像头的内参和外参计算各标记点在世界坐标系中的空间坐标M(x，y，z)；

S4、利用各标记点的空间坐标，实现头部的实时定位。

进一步地，步骤S3具体为：

S31、操作人员手动点取标记点M分别在摄像头A与摄像头B采集的结果图像中组件图像区域中的任意点S_l、S_r；

S32、分别以S_l、S_r为种子点对标记点组件的图像区域采用区域增长算法；

S33、分别获取摄像机采集图像中区域增长后的结果区域的质心P_l(u_l,v_l)，P_r(u_r,v_r)作为的标记组件分别在摄像机采集图像中的中心点的坐标M_l(u_l,v_l)，M_r(u_r,v_r)；

S34、利用不同摄像机采集图像中的标记点组件的中心点坐标M_l(u_l,v_l)，M_r(u_r,v_r)，结合摄像机的内参与外参，采用双目视觉理论计算当前标记点组件M在世界坐标系的空间坐标M(x，y，z)；

S35、分别对左耳中、右耳中、两个眉头、下巴颏最前点以及锁骨胸骨端的标记点组件做步骤S31-S34的操作，获取空间坐标M_e1、M_e2、M_b1、M_b2、M_c、M_c1、M_c2。

进一步地，步骤S4中实现头部的实时定位具体为：

S41、基准垂线s的计算：计算两个眉头M_b1、M_b2之间的中点M_bc，中点M_bc与下巴颏最前点M_c的连线作为基准垂线l_v；

S42、面部基准水平线l_lf的确定：计算两耳中标记点组件M_e1、M_e2的连线作为面部水平基准线l_lf；

S43、身体基准水平线l_lb的确定：计算两锁骨胸骨端标记点组件M_b1、M_b2的连线作为身体基准水平线l_lb；

S44、头部屈伸角度θ_f的确定：基准垂线l_v与世界坐标系的X-Y平面所成的角度为头面部的前倾或后仰角度；

S45、头部侧屈角度θ_l的计算：面部基准水平线l_lf与世界坐标系的X-Z平面所成的角度为面部左偏或右偏角度；

S46、头部旋转角度θ_r的计算：面部基准水平线l_lf与身体基准水平线l_lb所成的角度在水平面上的投影角度为头部旋转角度。

进一步地，步骤S4还包括面部姿态的判断，具体为：根据步骤S44所得屈伸角度的度数判断，拍摄对象头面部有前倾或者后仰；根据步骤S45所得侧屈角度的判断拍摄对象头部有向左或者向右偏斜以及偏斜的程度，根据步骤S46所得旋转角度判断，拍摄对象头部相对于身体的旋转情况。

一种基于双目视觉的头部定位系统，包括光学采集单元、面部标记组件和定位分析单元，光学采集单元采用两个摄像机，即摄像机A与摄像机B，面部标记组件采用不透明材料制成的面部标记，定位分析单元采用上述任一项所述基于双目视觉的头部定位方法。

进一步地，面部标记采用插入固定式面部标记和/或表面黏贴式面部标记。

进一步地，插入固定式面部标记为采用插入进行固定的面部标记，插入固定式面部标记包括标记示踪部和插入固定部，标记示踪部设于插入固定部的端部。

进一步地，插入固定部采用不透明橡胶或不透明聚酯制成的半径为1mm、高4mm的圆柱体，标记示踪部采用不透明橡胶或不透明聚酯制成的半径为2mm、厚2mm的圆薄片。

进一步地，表面黏贴式面部标记的一面用于示踪，表面黏贴式面部标记的另一面设有用于粘于人体表面进行固定的黏胶。

进一步地，表面黏贴式面部标记采用不透明橡胶或不透明聚酯制成的半径为2mm、厚2mm的圆薄片。

本发明的有益效果是：该种基于双目视觉的头部定位方法及系统，不仅解决了面部形貌采集的定位问题，对比于其他头部辅助定位系统，还具有适用性强，无遮挡，无干扰的优点，且可以和面部形貌三维光学采集系统很好的结合。该方法及系统，可用于颅颌面治疗前后面部形貌变化的精确比较，可提高对于颌面部治疗效果中形貌变化评价的准确性，作为临床效果量化评价的基础；也可用于颅颌面治疗面部形貌采集时对自然头位等头位的定义确定，提高诊断时辅助测量手段的准确性。该方法及系统的应用并不局限于光学影像，其他对于头部位置和姿态有需求，或者对于无遮挡要求较高的定位系统领域，皆可使用。

附图说明

图1是本发明实施例基于双目视觉的头部定位方法的流程示意图；

图2是实施例中对摄像机进行标定的说明示意图；

图3是实施例中建立以两台摄像机的中点为世界坐标原点的三维坐标系的说明示意图；

图4是实施例中被拍摄者佩戴标记点后的说明示意图；

图5是实施例中被拍摄者佩戴标记点后基准垂线l_v、面部基准水平线l_lf和身体基准水平线l_lb的说明示意图；

图6是实施例中面部姿态确定的头部屈伸角度θ_f的说明示意图；

图7是实施例中面部姿态确定的头部侧屈角度θ_l的说明示意图；

图8是实施例中面部姿态确定的头部旋转角度θ_r的说明示意图；

图9是实施例中插入固定式面部标记的结构示意图；

图10是实施例中黏贴式面部标记的结构示意图；

其中：1-标记示踪部，2-插入固定部，3-表面黏贴式面部标记。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例

一种基于双目视觉的头部定位方法，包括：1)对摄像机进行标定；2)将拍摄对象的头部完全置于拍摄区域内部，并将面部标记点组件固定于拍摄对象面部特征位置，采集拍摄记录拍摄对象佩戴标记点组件后的图像；3)利用图像处理算法，实现标记点组件的检测，根据标记点组件的检测结果，结合双目视觉原理，确定标记点组件在三维世界坐标中的空间坐标，进行基准线的计算；4)利用各特征位置标记点的空间坐标，实现头部的定位，进行面部姿态的计算。

该种基于双目视觉的头部定位方法，如图1，具体包括以下步骤：

S1、利用双目视觉技术中普遍采用的张正友摄像机标定方法进行标定，并获得摄像头组的内参和外参，如图2；取摄像头镜头A中心点O_l与摄像头镜头B中心点O_r连线中点O为坐标系原点，摄像机镜头中心连线为X轴，与地面平行，Y轴垂直于地面，Z轴垂直于X轴与Y轴，建立以两台摄像机的中点为世界坐标原点的三维坐标系，其坐标说明图如图3所示。

S2、让拍摄对象正对坐标原点站立，使拍摄对象面部处于摄像头A与摄像头B共同的拍摄区域，并将面部标记点组件固定于拍摄对象面部特征位置；将表面黏贴式面部标记M_c，M_b1，M_b2，M_c1，M_c2固定于被拍摄者下巴颏最前点，两个眉头以及锁骨胸骨端位置，将插入固定式面部标记M_e1，M_e2插入被拍摄者耳中，利用光学采集系统采集拍摄对象佩戴标记点组件后的图像；被拍摄者佩戴标记点后的示意图如图4所示。

S3、利用图像处理算法提取标记点M在摄像头A与摄像头B所采集的图像中的坐标m_l(u_l，v_l)与m_r(u_r，v_r)，并据此结合摄像头的内参和外参计算各标记点在世界坐标系中的空间坐标M(x，y，z)。

其中步骤S3包括：

S31、操作人员手动点取标记点M分别在摄像头A与摄像头B采集的结果图像中组件图像区域中的任意点S_l，S_r。

S32、分别以S_l，S_r为种子点对标记点组件的图像区域采用区域增长算法；分别获取摄像机采集图像中区域增长后的结果区域的质心P_l(u_l,v_l)，P_r(u_r,v_r)作为的标记组件分别在摄像机采集图像中的中心点的坐标M_l(u_l,v_l)，M_r(u_r,v_r)。

S33、利用不同摄像机采集图像中的标记点组件的中心点坐标M_l(u_l,v_l)，M_r(u_r,v_r)，结合摄像机的内参与外参，采用双目视觉理论计算当前标记点组件M在世界坐标系的空间坐标M(x，y，z)。

S34、分别对耳中，眉头、下巴颏最前点以及锁骨胸骨端的标记点组件做步骤S31-S34的操作，获取空间坐标M_e1，M_e2，M_c，M_b1，M_b2，M_c1，M_c2。

S4、利用各标记点的空间坐标，实现头部的实时定位。

其中的步骤S4包括：

S41、基准垂线l_v的计算：计算两眉头M_b1，M_b2之间的中点M_bc，其与下巴颏最前点M_c的连线作为基准垂线，如图5；

S42、面部基准水平线l_lf的确定：计算两耳中标记点组件的连线作为面部水平基准线，如图5；

S43、身体基准水平线l_lb的确定：计算两锁骨胸骨端标记点组件M_b1，M_b2的连线作为身体基准水平线，如图5；

S44、头部屈伸角度θ_f的确定：基准垂线l_v与世界坐标系的X-Y平面所成的角度为头面部的前倾和后仰角度，如图6；

S45、头部侧屈角度θ_l的计算：面部基准水平线l_lf与世界坐标系的X-Z平面所成的角度为面部左偏或右偏角度，如图7；

S46、头部旋转角度θ_r的计算：面部基准水平线l_lf与身体基准水平线l_lb所成的角度在水平面上的投影角度为头部旋转角度，如图8；

S47、面部姿态的判断：根据屈伸角度的度数可判断，拍摄对象头面部有前倾或者后仰，如图6；根据侧屈角度的可判断拍摄对象头部有向左或者向右偏斜以及偏斜的程度，如图7；根据旋转角度可判断，拍摄对象头部相对于身体的旋转情况，如图8。其具体空间信息说明示意图如图6、图7和图8所示。

实施例还提供一种基于双目视觉的头部定位系统，包括光学采集单元、面部标记组件和定位分析单元，光学采集单元采用两个摄像机，即摄像机A与摄像机B，面部标记组件采用不透明的橡胶或聚酯材料制成的面部标记，定位分析单元采用上述任一项所述基于双目视觉的头部定位方法。

该系统提供头部三维定位与分析服务，能够通过利用头部标记点组件，对于头部的三维空间位置进行确定，包括头部的三维坐标，头部的倾斜、旋转等情况。该系统能够实时捕捉并有效地确定面部的3D空间位置。

实施例中面部标记组件，为一组不透明的橡胶或聚酯材料做成的标记。标记可分为两种类型，一种是的插入固定式面部标记，插入固定式面部标记包括标记示踪部1和插入固定部2，标记示踪部1设于插入固定部2的端部，如图9；一种是表面黏贴式面部标记3，如图10。插入固定式的标记一端为半径为1mm，高4mm的圆柱体可插入耳部等类似部位进行固定，一端为半径为2mm，厚2mm的圆薄片用于标记示踪。表面黏贴式面部标记3为半径为2mm，厚2mm的圆薄片，一面可用于示踪，另一面可用黏胶粘于人体表面进行固定，如下巴颏最前点、眉头等部位，其佩戴后的示意图如图4所示。

需要说明的是上述圆薄片的半径以及厚度还有插入式固定标记点组件固定端的半径和长度都可根据实际应用需要调整大小。面部标记组件的材料可根据实际应用需要调整，不仅限于橡胶和聚酯等类材料。

该种基于双目视觉的头部定位方法及系统，不仅解决了面部形貌采集的定位问题，对比于其他头部辅助定位系统，还具有适用性强，无遮挡，无干扰的优点，且可以和面部形貌三维光学采集系统很好的结合。该方法及系统，可用于颅颌面治疗前后面部形貌变化的精确比较，可提高对于颌面部治疗效果中形貌变化评价的准确性，作为临床效果量化评价的基础；也可用于颅颌面治疗面部形貌采集时对自然头位等头位的定义确定，提高诊断时辅助测量手段的准确性。该方法及系统的应用并不局限于光学影像，其他对于头部位置和姿态有需求，或者对于无遮挡要求较高的定位系统领域，皆可使用。

Claims (8)

1.一种基于双目视觉的头部定位方法，其特征在于：包括以下步骤，

S1、利用双目视觉技术中的张正友摄像机标定方法进行标定，并获得摄像头组的内参和外参；取摄像头镜头A中心点O_l与摄像头镜头B中心点O_r连线中点O为坐标系原点，摄像机镜头中心连线为X轴，且X轴与地面平行，Y轴垂直于地面，Z轴垂直于X轴与Y轴，建立以两台摄像机的中点为世界坐标原点的三维坐标系；

S2、让拍摄对象正对坐标原点站立，使拍摄对象面部处于摄像头A与摄像头B共同的拍摄区域，并将面部标记点组件固定于拍摄对象面部特征位置；将表面黏贴式面部标记M_c、M_b1、M_b2、M_c1、M_c2分别固定于被拍摄者下巴颏最前点，两个眉头以及锁骨胸骨端位置，将插入固定式面部标记M_e1、M_e2插入被拍摄者左耳、右耳中，利用光学采集系统采集拍摄对象佩戴标记点组件后的图像；插入固定式面部标记为采用插入进行固定的面部标记，插入固定式面部标记包括标记示踪部和插入固定部，标记示踪部设于插入固定部的端部，插入固定部采用不透明橡胶或不透明聚酯制成半径为1mm、高4mm的圆柱体，标记示踪部采用不透明橡胶或不透明聚酯制成的半径为2mm、厚2mm的的圆薄片；

S3、利用图像处理算法提取标记点M在摄像头A与摄像头B所采集的图像中的坐标m_l(u_l，v_l)与m_r(u_r，v_r)，并据此结合摄像头的内参和外参计算各标记点在世界坐标系中的空间坐标M(x，y，z)；步骤S3具体为：

S31、操作人员手动点取标记点M分别在摄像头A与摄像头B采集的结果图像中组件图像区域中的任意点S_l、S_r；

S32、分别以S_l、S_r为种子点对标记点组件的图像区域采用区域增长算法；

S33、分别获取摄像机采集图像中区域增长后的结果区域的质心P_l(u_l,v_l)，P_r(u_r,v_r)作为的标记组件分别在摄像机采集图像中的中心点的坐标M_l(u_l,v_l)，M_r(u_r,v_r)；

S34、利用不同摄像机采集图像中的标记点组件的中心点坐标M_l(u_l,v_l)，M_r(u_r,v_r)，结合摄像机的内参与外参，采用双目视觉理论计算当前标记点组件M在世界坐标系的空间坐标M(x，y，z)；

S35、分别对左耳中、右耳中、两个眉头、下巴颏最前点以及锁骨胸骨端的标记点组件做步骤S31-S34的操作，获取空间坐标M_e1、M_e2、M_b1、M_b2、M_c、M_c1、M_c2；

S4、利用各标记点的空间坐标，实现头部的实时定位；步骤S4中实现头部的实时定位具体为：

S41、基准垂线s的计算：计算两个眉头M_b1、M_b2之间的中点M_bc，中点M_bc与下巴颏最前点M_c的连线作为基准垂线l_v；

S42、面部基准水平线l_lf的确定：计算两耳中标记点组件M_e1、M_e2的连线作为面部水平基准线l_lf；

S43、身体基准水平线l_lb的确定：计算两锁骨胸骨端标记点组件M_b1、M_b2的连线作为身体基准水平线l_lb；

S44、头部屈伸角度θ_f的确定：基准垂线l_v与世界坐标系的X-Y平面所成的角度为头面部的前倾或后仰角度；

S45、头部侧屈角度θ_l的计算：面部基准水平线l_lf与世界坐标系的X-Z平面所成的角度为面部左偏或右偏角度；

S46、头部旋转角度θ_r的计算：面部基准水平线l_lf与身体基准水平线l_lb所成的角度在水平面上的投影角度为头部旋转角度。

2.如权利要求1所述的基于双目视觉的头部定位方法，其特征在于：步骤S4还包括面部姿态的判断，具体为：根据步骤S44所得屈伸角度的度数判断，拍摄对象头面部有前倾或者后仰；根据步骤S45所得侧屈角度的判断拍摄对象头部有向左或者向右偏斜以及偏斜的程度，根据步骤S46所得旋转角度判断，拍摄对象头部相对于身体的旋转情况。

3.一种基于双目视觉的头部定位系统，其特征在于：包括光学采集单元、面部标记组件和定位分析单元，光学采集单元采用两个摄像机，即摄像机A与摄像机B，面部标记组件采用不透明材料制成的面部标记，定位分析单元采用权利要求1-2任一项所述基于双目视觉的头部定位方法。

4.如权利要求3所述的基于双目视觉的头部定位系统，其特征在于：面部标记采用插入固定式面部标记和/或表面黏贴式面部标记。

5.如权利要求4所述的基于双目视觉的头部定位系统，其特征在于：插入固定式面部标记为采用插入进行固定的面部标记，插入固定式面部标记包括标记示踪部和插入固定部，标记示踪部设于插入固定部的端部。

6.如权利要求5所述的基于双目视觉的头部定位系统，其特征在于：插入固定部采用不透明橡胶或不透明聚酯制成半径为1mm、高4mm的圆柱体，标记示踪部采用不透明橡胶或不透明聚酯制成的半径为2mm、厚2mm的的圆薄片。

7.如权利要求4所述的基于双目视觉的头部定位系统，其特征在于：表面黏贴式面部标记的一面用于示踪，表面黏贴式面部标记的另一面设有用于粘于人体表面进行固定的黏胶。

8.如权利要求7所述的基于双目视觉的头部定位系统，其特征在于：表面黏贴式面部标记采用不透明橡胶或不透明聚酯制成的半径为2mm、厚2mm的圆薄片。