CN108846866B - 基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统 - Google Patents
基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统 Download PDFInfo
- Publication number
- CN108846866B CN108846866B CN201810543421.7A CN201810543421A CN108846866B CN 108846866 B CN108846866 B CN 108846866B CN 201810543421 A CN201810543421 A CN 201810543421A CN 108846866 B CN108846866 B CN 108846866B
- Authority
- CN
- China
- Prior art keywords
- point
- camera
- coordinates
- mark
- marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统,通过1)三维空间标定;2)采集面部图像;3)获取采集图像上的标记点坐标;4)利用各标记点的三维空间坐标,计算各特征点,确定矢状向中轴面。该方法及系统能够通过三维面部中各标记点,确定面部软组织矢状向中轴面,该轴面的确定是面部软组织对称性分析以及面部软组织相关临床诊断分析的基础,特别是针对无法同时获取硬组织的情况。与现有的技术相比,本发明能便捷、有效、客观地确定三维空间中颅颌面软组织矢状向中轴面的位置,特别是在无法获取硬组织的情况下。
Description
技术领域
本发明涉及一种基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统,属于医学光电应用领域。
背景技术
传统的计算机辅助颅颌面外科手术系统的设计一般是通过头颅侧位片在二维空间上进行手术的设计,结果不够准确。依靠2D头颅分析系统能提高患者和医生之间的交流,但是还不能准确地描述。基于光学的面部三维成像技术是近几年发展起来并逐渐被广泛应用的技术,但已有的颅颌面分析方法中缺乏对于面部软组织分析中对称轴面的确定的方法。
发明内容
本发明的目的是提供一种基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统,解决现有技术中存在的已有的颅颌面分析方法中缺乏对于面部软组织分析中对称轴面的确定的问题。
本发明的技术解决方案是:
一种基于光学成像的颅颌面软组织矢状向中轴面确定方法,包括以下步骤,
S1、三维空间标定,利用双目视觉技术中的张正友摄像机标定方法进行标定,并获得摄像头组的内参和外参;建立以两台摄像机L、R的中点为世界坐标原点的三维坐标系:取摄像头镜头L中心点Ol与摄像头镜头R中心点Or连线中点O为坐标系原点,两台摄像机镜头中心连线为X轴,与地面平行,Y轴垂直于地面,Z轴垂直于X轴与Y轴;
S2、采集面部图像,让拍摄对象正对坐标原点站立,使拍摄对象面部处于摄像头L与摄像头R共同的拍摄区域,使用面部标记组件对拍摄对象进行标记,将固定式标记点插入拍摄对象的标记部位,摄像头L、R同时拍摄图像;
S3、在双侧摄像头所采集的面部图像上获取标记点坐标,包括固定式标记点和图像特征标记点;
S31、对于固定式标记组件:计算面部标记组件的质心M在摄像头L与摄像头R所采集的面部图像中的对应点Ml、Mr,坐标为与并据此结合摄像头的内参和外参计算各标记点在世界坐标系中的三维空间坐标(xM,yM,zM);
S4、利用各标记点的三维空间坐标,计算各特征点,确定矢状向中轴面。
进一步地,步骤S31中固定标记点的获取,具体为:
S311、操作人员手动点取标记组件分别在摄像头L与摄像头R采集的结果图像中组件图像区域内的任意点Sl、Sr;
S312、分别以Sl、Sr为种子点对标记组件的图像区域采用区域增长算法,获得的填充区域为R(l)和R(r);
进一步地,步骤S32中图像特征点的获取,具体为:
S321、操作人员选取面部特征点N分别在摄像头L与摄像头R采集的结果图像中的对应点Nl,Nr,并获取其坐标根据摄像机的内参与外参,采用双目视觉理论计算当前特征点N在世界坐标系的空间坐标(xN,yN,zN);
S322、所采集的图像特征点包括:左眼尾点Ne1、右眼尾点Ne2、左眼角点Nee1、右眼角点Nee2、左口角点Nl1、右口角点Nl2、鼻根点Nnr、鼻尖点Nnt、下巴颏点Nch、上唇中点Nluc、下唇中点Nllc。
进一步地,步骤S4具体为:
S41、根据左眼尾点Ne1、右眼尾点Ne2计算眼尾中点Nec:
S42、根据左眼角点Nee1、右眼角点Nee2计算眼角中点Neec:
S43、根据左口角点Nl1、右口角点Nl2计算口中点Nlc:
S44、根据左侧耳部标记点Me1、右侧耳部标记点Me2计算耳部中点Mec:
S45、根据下巴颏点Nch、鼻根点Nnr、鼻尖点Nnt、眼尾中点Nec、眼角中点Neec、口中点Nlc、耳部中点Mec,利用最小二乘法计算到这些点的距离的和最小的平面l0,该平面即为矢状向中轴面。
一种实现上述任一项所述方法的基于光学成像的颅颌面软组织矢状向中轴面确定系统,包括面部标记组件、光学采集组件和分析处理模块,
面部标记组件在拍摄对象上利用双目视觉技术中的张正友摄像机标定方法进行标定,面部标记组件包括若干用于示踪的标记,标记采用插入固定式标记,
光学采集组件采集拍摄对象的面部图像,并将采集的面部图像发送给分析处理模块;
分析处理模块对光学采集组件采集的面部图像进行分析,获取标记点的坐标,利用各标记点的空间坐标,计算各特征点坐标,实现矢状向中轴面轴面的确定。
本发明的有益效果是:该种基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统,能够通过三维面部中各标记点,确定面部软组织矢状向中轴面,该轴面的确定是面部软组织对称性分析以及面部软组织相关临床诊断分析的基础,特别是针对无法同时获取硬组织的情况。与现有的技术相比,本发明能便捷、有效、客观地确定三维空间中颅颌面软组织矢状向中轴面的位置,特别是在无法获取硬组织的情况下。
附图说明
图1是本发明实施例基于光学成像的颅颌面软组织矢状向中轴面确定方法的流程示意图;
图2是实施例中拍摄对象面部处于摄像头L与摄像头R共同的拍摄区域的说明示意图;
图3是实施例中插入式标记点的俯视结构示意图;
图4是实施例中插入式标记点的侧视结构示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例
一种基于光学成像的颅颌面软组织矢状向中轴面确定方法,如图1,包括以下步骤,
S1、三维空间标定:利用双目视觉技术中张正友摄像机标定方法进行标定,并获得摄像头组的内参和外参;建立以两台摄像机的中点为世界坐标原点的三维坐标系:取摄像头镜头L中心点Ol与摄像头镜头R中心点Or连线中点O为坐标系原点,摄像机镜头中心连线为X轴,与地面平行,Y轴垂直于地面,Z轴垂直于X轴与Y轴,其采集示意图如图2所示;
S2、颅颌面的采集:让拍摄对象正对坐标原点站立,使拍摄对象面部处于摄像头L与摄像头R共同的拍摄区域,将插入式标记点插入拍摄对象的耳孔,摄像头同时拍摄图像;
S3、在采集的面部图像上获取标记点坐标,包括固定式标记点和图像特征标记点;
固定标记点的获取具体为:
S311、操作人员手动点取标记点M分别在摄像头L与摄像头R采集的结果图像中组件图像区域内的任意点Sl,Sr;
S312、分别以Sl,Sr为种子点对标记点组件的图像区域采用区域增长算法,获得的填充区域为R(l)和R(r);
图像特征点的获取具体为:
S321、操作人员选取面部特征点N分别在摄像头L与摄像头R采集的结果图像中的对应点Nl,Nr,并获取其坐标根据摄像机的内参与外参,采用双目视觉理论计算当前特征点N在世界坐标系的空间坐标(xN,yN,zN);
S322、所采集的图像特征点包括:左眼尾点Ne1,右眼尾点Ne2,左眼角点Nee1,右眼角点Nee2,左口角点Nl1,右口角点Nl2;鼻根点Nnr,鼻尖点Nnt,下巴颏点Nch,上唇中点Nluc,下唇中点Nllc。
S4、利用各标记点的三维空间坐标,计算各特征点,确定矢状向中轴面。具体包括:
S41、根据左眼尾点Ne1、右眼尾点Ne2计算眼尾中点Nec:
S42、根据左眼角点Nee1、右眼角点Nee2计算眼角中点Neec:
S43、根据左口角点Nl1、右口角点Nl2计算口中点Nlc:
S44、根据左侧耳部标记点Me1、右侧耳部标记点Me2计算耳部中点Mec:
S45、根据下巴颏点Nch、鼻根点Nnr、鼻尖点Nnt、眼尾中点Nec、眼角中点Neec、口中点Nlc、耳部中点Mec,利用最小二乘法计算到这些点的距离的和最小的平面l0,该平面即为矢状向中轴面。
一种实现上述任一项所述方法的基于光学成像的颅颌面软组织矢状向中轴面确定系统,包括面部标记组件、光学采集组件和分析处理模块,
面部标记组件在拍摄对象上利用双目视觉技术中的张正友摄像机标定方法进行标定,面部标记组件包括若干用于示踪的标记,标记采用插入固定式标记,
光学采集组件采集拍摄对象的面部图像,并将采集的面部图像发送给分析处理模块;
分析处理模块对光学采集组件采集的面部图像进行分析,获取标记点的坐标,利用各标记点的空间坐标,计算各特征评测参数,实现初始矢状向对称轴面的确定;设定能量函数,迭代求解最优矢状向对称轴面。
实施例中面部标记组件为一组不透明的橡胶或聚酯材料做成的标记。标记为插入固定式标记,标记一端为半径为1mm、高4mm的圆柱体可插入耳部等类似部位进行固定,一端为半径为2mm、厚2mm的圆薄片用于标记示踪,如图3和图4所示。需要说明的是插入式固定标记点组件固定端的半径和长度都可根据实际应用需要调整大小。标记点组件的材料可根据实际应用需要调整,不仅限于橡胶和聚酯等类材料。
该种基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统,能够通过三维面部中各关键点,对于面部软组织矢状向对称轴面的确定,该轴面的确定是面部软组织对称性分析的基础,特别是针对无法同时获取硬组织的情况。与现有的技术相比,实施例的方法及系统能有效地确定三维空间中颅颌面软组织矢状向对称轴面的位置,具有便捷客观地实现分析面部的优势。
Claims (3)
1.一种基于光学成像的颅颌面软组织矢状向中轴面确定方法,其特征在于:通过三维面部中各标记点,确定面部软组织矢状向中轴面;包括以下步骤,
S1、三维空间标定,利用双目视觉技术中的张正友摄像机标定方法进行标定,并获得摄像头组的内参和外参;建立以两台摄像机L、R的中点为世界坐标原点的三维坐标系:取摄像头镜头L中心点Ol与摄像头镜头R中心点Or连线中点O为坐标系原点,两台摄像机镜头中心连线为X轴,与地面平行,Y轴垂直于地面,Z轴垂直于X轴与Y轴;
S2、采集面部图像,让拍摄对象正对坐标原点站立,使拍摄对象面部处于摄像头L与摄像头R共同的拍摄区域,使用面部标记组件对拍摄对象进行标记,将固定式标记点插入拍摄对象的标记部位,摄像头L、R同时拍摄图像;
S3、在双侧摄像头所采集的面部图像上获取标记点坐标,包括固定式标记点和图像特征标记点;
S31、对于固定式标记组件:计算面部标记组件的质心M在摄像头L与摄像头R所采集的面部图像中的对应点Ml、Mr,坐标为与并据此结合摄像头的内参和外参计算各标记点在世界坐标系中的三维空间坐标(xM,yM,zM);
S32、对于图像特征标记点:利用鼠标选取特征点N在摄像头L与摄像头R所采集的图像中的对应点Nl、Nr,坐标为与并结合摄像头的内参和外参,计算各标记点在世界坐标系中的三维空间坐标(xN,yN,zN);步骤S32中图像特征点的获取,具体为:
S321、操作人员点选面部特征点N分别在摄像头L与摄像头R采集的结果图像中的对应点Nl,Nr,坐标为根据摄像机的内参与外参,采用双目视觉理论计算当前特征点N在世界坐标系的空间坐标(xN,yN,zN);
S322、所采集的图像特征点包括:左眼尾点Ne1、右眼尾点Ne2、左眼角点Nee1、右眼角点Nee2、左口角点Nl1、右口角点Nl2、鼻根点Nnr、鼻尖点Nnt、下巴颏点Nch、上唇中点Nluc、下唇中点Nllc;
S4、利用各标记点的三维空间坐标,计算各特征点,确定矢状向中轴面;步骤S4具体为:
S41、根据左眼尾点Ne1、右眼尾点Ne2计算眼尾中点Nec:
S42、根据左眼角点Nee1、右眼角点Nee2计算眼角中点Neec:
S43、根据左口角点Nl1、右口角点Nl2计算口中点Nlc:
S44、根据左侧耳部标记点Me1、右侧耳部标记点Me2计算耳部中点Mec:
S45、根据下巴颏点Nch、鼻根点Nnr、鼻尖点Nnt、眼尾中点Nec、眼角中点Neec、口中点Nlc、耳部中点Mec,利用最小二乘法计算到这些点的距离的平方和最小的平面l0,该平面即为矢状向中轴面。
2.如权利要求1所述的基于光学成像的颅颌面软组织矢状向中轴面确定方法,其特征在于,步骤S31中固定标记点的获取,具体为:
S311、操作人员手动点取标记组件分别在摄像头L与摄像头R采集的结果图像中组件图像区域内的任意点Sl、Sr;
S312、分别以Sl、Sr为种子点对标记组件的图像区域采用区域增长算法,获得的填充区域为R(l)和R(r);
3.一种实现权利要求1或2所述方法的基于光学成像的颅颌面软组织矢状向中轴面确定系统,其特征在于:包括面部标记组件、光学采集组件和分析处理模块,
面部标记组件在拍摄对象上利用双目视觉技术中的张正友摄像机标定方法进行标定,面部标记组件包括若干用于示踪的标记,标记采用插入固定式标记,
光学采集组件采集拍摄对象的面部图像,并将采集的面部图像发送给分析处理模块;
分析处理模块对光学采集组件采集的面部图像进行分析,获取标记点的坐标,利用各标记点的空间坐标,计算各特征点坐标,实现矢状向中轴面轴面的确定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810543421.7A CN108846866B (zh) | 2018-05-29 | 2018-05-29 | 基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810543421.7A CN108846866B (zh) | 2018-05-29 | 2018-05-29 | 基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108846866A CN108846866A (zh) | 2018-11-20 |
CN108846866B true CN108846866B (zh) | 2022-04-12 |
Family
ID=64211089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810543421.7A Active CN108846866B (zh) | 2018-05-29 | 2018-05-29 | 基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108846866B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829915B (zh) * | 2019-02-28 | 2023-05-02 | 南京医科大学 | 基于三维空间面型的正畸专用微笑美学评测方法及系统 |
CN111513718B (zh) * | 2020-04-30 | 2021-06-29 | 赤峰学院附属医院 | 颅颌面状态的分析方法及装置、电子设备 |
CN111553907B (zh) * | 2020-04-30 | 2021-07-02 | 赤峰学院附属医院 | 颅颌面状态的分析方法及装置、电子设备 |
CN111513719B (zh) * | 2020-04-30 | 2021-08-17 | 赤峰学院附属医院 | 颅颌面状态的分析方法及装置、电子设备 |
CN111599432B (zh) * | 2020-05-29 | 2024-04-02 | 上海优医基医疗影像设备有限公司 | 一种三维颅面影像特征点标记分析系统及方法 |
CN112288725B (zh) * | 2020-10-30 | 2021-11-02 | 李艳 | 颅骨中轴垂线的确定方法、装置、存储介质及电子设备 |
CN112258492B (zh) * | 2020-10-30 | 2021-09-21 | 李艳 | 颅骨不对称信息的获取方法、存储介质及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106580470A (zh) * | 2016-10-18 | 2017-04-26 | 南京医科大学附属口腔医院 | 基于双目视觉的头部定位方法及系统 |
CN106875432A (zh) * | 2017-03-09 | 2017-06-20 | 南京医科大学附属口腔医院 | 颞下颌关节运动重建方法及系统 |
CN108830905A (zh) * | 2018-05-22 | 2018-11-16 | 苏州敏行医学信息技术有限公司 | 仿真医疗器械的双目标定定位方法及虚拟仿真医教系统 |
-
2018
- 2018-05-29 CN CN201810543421.7A patent/CN108846866B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106580470A (zh) * | 2016-10-18 | 2017-04-26 | 南京医科大学附属口腔医院 | 基于双目视觉的头部定位方法及系统 |
CN106875432A (zh) * | 2017-03-09 | 2017-06-20 | 南京医科大学附属口腔医院 | 颞下颌关节运动重建方法及系统 |
CN108830905A (zh) * | 2018-05-22 | 2018-11-16 | 苏州敏行医学信息技术有限公司 | 仿真医疗器械的双目标定定位方法及虚拟仿真医教系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108846866A (zh) | 2018-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108846866B (zh) | 基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统 | |
CN107874832B (zh) | 骨科手术器械导航系统及方法 | |
EP2953569B1 (en) | Tracking apparatus for tracking an object with respect to a body | |
US20190090955A1 (en) | Systems and methods for position and orientation tracking of anatomy and surgical instruments | |
CN106580470B (zh) | 基于双目视觉的头部定位方法及系统 | |
US20140221819A1 (en) | Apparatus, system and method for surgical navigation | |
CN107481228A (zh) | 基于计算机视觉的人体背部脊柱侧弯角度测量方法 | |
EP3188660A1 (en) | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan | |
CN107049489B (zh) | 一种手术导航方法及系统 | |
CN113240726B (zh) | 一种内窥镜下光学目标尺寸实时测量方法 | |
CN106560163A (zh) | 手术导航系统及手术导航系统的配准方法 | |
CN108113629B (zh) | 硬管内窥镜旋转角度测量方法和装置 | |
Furukawa et al. | Calibration of a 3d endoscopic system based on active stereo method for shape measurement of biological tissues and specimen | |
CN111297501A (zh) | 一种口腔种植手术增强现实导航方法和系统 | |
CN109091099A (zh) | 双目视觉的高清微型电子内窥镜系统 | |
CN109688403A (zh) | 一种应用于手术室内的裸眼3d人眼追踪方法及其设备 | |
CN106580329A (zh) | 基于双目立体视觉技术的身高测量系统及方法 | |
CN106504257B (zh) | 一种放疗头部位置姿态测量装置和解算方法 | |
KR20160057024A (ko) | 마커리스 3차원 객체추적 장치 및 그 방법 | |
TWI697317B (zh) | 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法 | |
JP3711053B2 (ja) | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 | |
CN115778333B (zh) | 一种视觉定位寸、关、尺脉搏穴位的方法和装置 | |
CN210130812U (zh) | 基于双目立体视觉的眼球突出度测量平台 | |
CN109567816B (zh) | 一种基于单目视觉的颈椎活动度测量系统及方法 | |
COMLEKCILER et al. | Three-dimensional repositioning of jaw in the orthognathic surgery using the binocular stereo vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |