CN109124765A - 基于混合现实的辅助诊疗系统在神经外科中的应用方法 - Google Patents

基于混合现实的辅助诊疗系统在神经外科中的应用方法 Download PDF

Info

Publication number
CN109124765A
CN109124765A CN201810630485.0A CN201810630485A CN109124765A CN 109124765 A CN109124765 A CN 109124765A CN 201810630485 A CN201810630485 A CN 201810630485A CN 109124765 A CN109124765 A CN 109124765A
Authority
CN
China
Prior art keywords
mixed reality
assisting
point
diagnosis
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810630485.0A
Other languages
English (en)
Inventor
邱兆文
张健
张相彤
梁洪生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang Tuomeng Technology Co Ltd
Original Assignee
Heilongjiang Tuomeng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heilongjiang Tuomeng Technology Co Ltd filed Critical Heilongjiang Tuomeng Technology Co Ltd
Priority to CN201810630485.0A priority Critical patent/CN109124765A/zh
Publication of CN109124765A publication Critical patent/CN109124765A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Processing Or Creating Images (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种基于混合现实的辅助诊疗系统在神经外科中的应用方法，该方法包括面部特征点提取、混合现实设备中的模型和面部特征配准、手术辅助导航三个部分。本发明通过将医学影像定位技术、配准技术以及特征识别技术整合在一起，并结合混合现实设备完成一套基于全息三维可视化辅助诊疗系统，并将其应用于神经外科；该系统可以有效完成外科术前计划以及手术完成时对手术完成情况的检验提供了可靠的保证，降低手术风险，减少医患纠纷，拥有着良好的商业前景和价值。

Description

基于混合现实的辅助诊疗系统在神经外科中的应用方法
技术领域
本发明属于图像识别和医学图像处理领域，涉及一种基于混合现实的辅助诊疗系统在神经外科中的应用方法。
背景技术
混合现实指的是合并现实和虚拟世界而产生的新的可视化环境，在新的可视化环境里物理和数字对象共存，并实时互动。混合现实的实现需要在一个能与现实世界各事物相互交互的环境中，如果一切事物都是虚拟的那就是虚拟现实，如果展现出来的虚拟信息只能简单叠加在现实事物上，那就是增强现实。将二者的优势结合即为混合现实的最终目的所在。
神经外科手术的医学影像导航系统是近年来发展非常迅速的一个领域。在发达国家，这类导航技术已经在临床广泛使用。国内在关键技术和系统集成方面的研究工作还不多，为此，我们对其中的关键技术研究以及如何把这些关键技术集成为系统的工作进行了尝试。神经外科手术应在切除病灶的同时最大限度地保护正常组织，并降低手术创伤，其间关键问题是术前如何制订手术计划、术中如何进行实时监督以及术后如何对手术质量进行检验。
发明内容
本发明的目的是提供一种基于混合现实的辅助诊疗系统在神经外科中的应用方法，解决目前在神经外科手术中，精准度低，容易对正常组织造成创伤的问题。
本发明通过以下技术方案来实现：一种基于混合现实的辅助诊疗系统在神经外科中的应用方法，该方法包括面部特征点提取、混合现实设备中的模型和面部特征配准、手术辅助导航三个部分，其中，
所述的面部特征点提取包括以下步骤：
(1)通过电极片采集人体特征点，记录点云数据；
(2)将特征的点云数据生成二维码；
(3)通过混合现实设备自带的摄像头识别二维码，获取特征点云模型；
所述的和面部特征配准包括以下步骤：
混合现实设备上传的比对图片为3维，特征点生成的对比图像也同样是3维，通过点云配准的方法计算两组3维图像模型的误差，用来判断人体信息与混合现实设备中的模型是否吻合；
所述的手术辅助导航包括以下步骤：
(1)在模型上为病患部位进行标注，然后将图片上传到混合现实设备上；
(2)医生通过混合现实设备的体感模式，操作指针，调整视线所在方向，系统检测标记中心，通过两点一线确定开口位置；
(3)然后通过重心到指针的连线做平行线，该平行线会与病变位置有两个切点，切点距离即为理想开口大小；
(4)将开口直接标记在模型表面，会呈现一个光斑，实时反馈给操作医生，并且在模型透视下，系统会显示开口到病变位置的路径，再根据血管和神经位置调整指针，确定开口方案。
进一步的，所述的面部特征点提取中步骤(1)中点云数据的构建方法为建立笛卡尔坐标系，拟定任意原点，记录特征点的坐标信息，形成点云数据。
进一步的，所述的和面部特征配准中点云配准的方法为ICP算法。
进一步的，所述的手术辅助导航中步骤(3)和步骤(4)之间还包括误差补偿步骤，理想开口大小经过误差步骤得到实际开口大小，实际开口大小的计算公式如下：
C实际＝(1+ε)×C理想
其中，重构前的模型点坐标集合为P，重构后坐标集合为Q。在P中任取一点，可以计算与其最近的一点(在Q中)，并记录，于是可以得到P中每一个在Q中的点，并计算每一对对应点的欧氏距离，累加后除以P与Q的重心距离再除以P中点的个数即为误差值。
进一步的，所述的混合现实设备为微软Hololens眼镜。
采用上述技术方案的积极效果：本发明通过将医学影像定位技术、配准技术以及特征识别技术整合在一起，并结合混合现实设备完成一套基于全息三维可视化辅助诊疗系统，并将其应用于神经外科；该系统可以有效完成外科术前计划以及手术完成时对手术完成情况的检验提供了可靠的保证，降低手术风险，减少医患纠纷，拥有着良好的商业前景和价值。
附图说明
图1是为面部图像特征点分布示意图；
图2是为混合设备中保存是病人的三维面部模型；
图3是本发明的基于混合现实的特征点定位方法示意图：
图4是ICP配准结果示意图；
图5是配准的误差计算示意图；
图6是应用于脑部肿瘤手术的示意图；
图7是导航给出的开口方案的大小补偿示意图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的说明，但不应理解为对本发明的限制：
一种基于混合现实的辅助诊疗系统在神经外科中的应用方法，该方法包括面部特征点提取、混合现实设备中的模型和面部特征配准、手术辅助导航三个部分，其中，
所述的面部特征点提取包括以下步骤：
(1)通过电极片采集人体特征点，记录点云数据；
(2)将特征的点云数据生成二维码；
(3)通过混合现实设备自带的摄像头识别二维码，获取特征点云模型；
所述的和面部特征配准包括以下步骤：
混合现实设备上传的比对图片为3维，特征点生成的对比图像也同样是3维，通过点云配准的方法计算两组3维图像模型的误差，用来判断人体信息与混合现实设备中的模型是否吻合；
所述的手术辅助导航包括以下步骤：
(1)在模型上为病患部位进行标注，然后将图片上传到混合现实设备上；
(2)医生通过混合现实设备的体感模式，操作指针，调整视线所在方向，系统检测标记中心，通过两点一线确定开口位置；
(3)然后通过重心到指针的连线做平行线，该平行线会与病变位置有两个切点，切点距离即为理想开口大小；
(4)将开口直接标记在模型表面，会呈现一个光斑，实时反馈给操作医生，并且在模型透视下，系统会显示开口到病变位置的路径，再根据血管和神经位置调整指针，确定开口方案。
进一步的，所述的面部特征点提取中步骤(1)中点云数据的构建方法为建立笛卡尔坐标系，拟定任意原点，记录特征点的坐标信息，形成点云数据。
进一步的，所述的和面部特征配准中点云配准的方法为ICP算法。
进一步的，所述的手术辅助导航中步骤(3)和步骤(4)之间还包括误差补偿步骤，理想开口大小经过误差步骤得到实际开口大小，实际开口大小的计算公式如下：
C实际＝(1+ε)×C理想
其中，重构前的模型点坐标集合为P，重构后坐标集合为Q。在P中任取一点，可以计算与其最近的一点(在Q中)，并记录，于是可以得到P中每一个在Q中的点，并计算每一对对应点的欧氏距离，累加后除以P与Q的重心距离再除以P中点的个数即为误差值。
进一步的，所述的混合现实设备为微软Hololens眼镜。
实施例1
一种提取面部图像特征点数据方法包括：
步骤一、使用90个特征点定位人脸，其中特征点分布为：18个点标记嘴部，14个点标记下颚，12个点标记眼睛，6个点标记眉毛，4个点标记脸颊和腮部，10个点标记鼻子，4个点标记后颈，10个点标记耳朵，12个点标记头发。如图1所示。
步骤二、建立笛卡尔坐标系，拟定任意原点，记录特征点的坐标信息，构建点云数据。该点云数据为拥有90行3列的坐标数组，3列分布对应x、y、z坐标值，每行表示不同的特征点。
步骤三、将点云数据转换成二维码进行存储，方便混合现实设备扫描识别。
实施例2
一种基于混合现实的特征点定位方法，包括：
步骤一、医生通过佩戴混合现实设备，扫描带有病人特征的二维码，获取特征点云模型，过程如图3所示。
步骤二、将病人特征点云命名为p，模型的点云命名为q。通过如下公式计算出点云重心：
利用求得的点云重心构造协方差矩阵：
步骤三、接下来进入ICP算法进行模型配准，ICP的功能是可以匹配两个数目不同的数据集合，那么应用ICP实现要利用协方差矩阵构建一个4×4的对称阵：
其中，通过这个对称阵的最大特征向量可以用来计算旋转参数，进而求出整个刚体变换所需要的R和T(R为最佳旋转向量，T为最佳位移向量)。获得了选择平移的方式就可以对两幅图像配准，进而达到计算误差的效果，配准结果如图4所示。
步骤四、接下来说明误差计算方式，如图5所示，MODEL为p点云，DATA为q点云，mid为DATA点云的中间点的位置，iclosest表记录的为每一个DATA云中的点所匹配的点的编号(在MODEL点云中的编号)。
步骤五、通过计算MODLE点到中间位置点云配准点的欧几里得距离，保证在该点云的一个区间内任意点到DATA点云的欧氏距离都小于这一点所运算出来的距离。同理计算mid±n的每一个点所匹配的最小欧氏距离，并且对这些距离进行累加，得到的结果作为误差值返回。
实施例3
本实施例说明本发明的技术方案为脑瘤患者进行导航辅助的过程。
步骤一、为在模型上为脑瘤部位进行标注，然后将图片上传到混合现实设备上。
步骤二、如图6所示，医生通过操作指针，即混合现实眼镜视线所在方向，系统检测标记中心，通过两点一线确定开口位置。
步骤三、开口大小由开口方向做切线，切线与标记肿瘤相切位置的延长线会与脑部边界产生交点，交点距离为待补偿距离；为了防止开口误差，系统通过补偿运算计算出实际开口距离，补偿距离为1mm，如图7所示，即在待补偿距离的边缘处增加1mm的补偿距离为实际开口距离。
步骤四、混合现实的手术导航系统会将运算出来的开口直接标记在模型表面，会呈现某一光斑，实时反馈给操作医生，并且在模型透视下，系统会显示开口到病变位置的路径，用来检测是该开口方式会不会受到血管的干扰，完成辅助导航功能。
本发明通过将医学影像定位技术、配准技术以及特征识别技术整合在一起，并结合混合现实设备完成一套基于全息三维可视化辅助诊疗系统，并将其应用于神经外科；该系统可以有效完成外科术前计划以及手术完成时对手术完成情况的检验提供了可靠的保证，降低手术风险，减少医患纠纷，拥有着良好的商业前景和价值。

Claims (5)

1.一种基于混合现实的辅助诊疗系统在神经外科中的应用方法，其特征在于：该方法包括面部特征点提取、混合现实设备中的模型和面部特征配准、手术辅助导航三个部分，其中，
所述的面部特征点提取包括以下步骤：
(1)通过电极片采集人体特征点，记录点云数据；
(2)将特征的点云数据生成二维码；
(3)通过混合现实设备自带的摄像头识别二维码，获取特征点云模型；
所述的和面部特征配准包括以下步骤：
混合现实设备上传的比对图片为3维，特征点生成的对比图像也同样是3维，通过点云配准的方法计算两组3维图像模型的误差，用来判断人体信息与混合现实设备中的模型是否吻合；
所述的手术辅助导航包括以下步骤：
(1)在模型上为病患部位进行标注，然后将图片上传到混合现实设备上；
(2)医生通过混合现实设备的体感模式，操作指针，调整视线所在方向，系统检测标记中心，通过两点一线确定开口位置；
(3)然后通过重心到指针的连线做平行线，该平行线会与病变位置有两个切点，切点距离即为理想开口大小；
(4)将开口直接标记在模型表面，会呈现一个光斑，实时反馈给操作医生，并且在模型透视下，系统会显示开口到病变位置的路径，再根据血管和神经位置调整指针，确定开口方案。
2.根据权利要求1所述的基于混合现实的辅助诊疗系统在神经外科中的应用方法，其特征在于：所述的面部特征点提取中步骤(1)中点云数据的构建方法为建立笛卡尔坐标系，拟定任意原点，记录特征点的坐标信息，形成点云数据。
3.根据权利要求1所述的基于混合现实的辅助诊疗系统在神经外科中的应用方法，其特征在于：所述的和面部特征配准中点云配准的方法为ICP算法。
4.根据权利要求1所述的基于混合现实的辅助诊疗系统在神经外科中的应用方法，其特征在于：所述的手术辅助导航中步骤(3)和步骤(4)之间还包括误差补偿步骤，理想开口大小经过误差步骤得到实际开口大小，实际开口大小的计算公式如下：
C实际＝(1+ε)×C理想
其中，重构前的模型点坐标集合为P，重构后坐标集合为Q。在P中任取一点，可以计算与其最近的一点(在Q中)，并记录，于是可以得到P中每一个在Q中的点，并计算每一对对应点的欧氏距离，累加后除以P与Q的重心距离再除以P中点的个数即为误差值。
5.根据权利要求1-4中任一权利要求所述的基于混合现实的辅助诊疗系统在神经外科中的应用方法，其特征在于：所述的混合现实设备为微软Hololens眼镜。
CN201810630485.0A 2018-06-19 2018-06-19 基于混合现实的辅助诊疗系统在神经外科中的应用方法 Pending CN109124765A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810630485.0A CN109124765A (zh) 2018-06-19 2018-06-19 基于混合现实的辅助诊疗系统在神经外科中的应用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810630485.0A CN109124765A (zh) 2018-06-19 2018-06-19 基于混合现实的辅助诊疗系统在神经外科中的应用方法

Publications (1)

Publication Number Publication Date
CN109124765A true CN109124765A (zh) 2019-01-04

Family

ID=64802078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810630485.0A Pending CN109124765A (zh) 2018-06-19 2018-06-19 基于混合现实的辅助诊疗系统在神经外科中的应用方法

Country Status (1)

Country Link
CN (1) CN109124765A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070788A (zh) * 2019-03-18 2019-07-30 叶哲伟 一种基于混合现实的人体3d经络穴位可视化方法
WO2020172782A1 (zh) * 2019-02-26 2020-09-03 武汉资联虹康科技股份有限公司 一种基于摄像头的经颅磁刺激诊疗检测系统
CN114469375A (zh) * 2022-01-20 2022-05-13 福建省立医院 可显影定位皮肤的保护膜

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102551892A (zh) * 2012-01-17 2012-07-11 王旭东 一种用于颅颌面外科手术的定位方法
CN103251457A (zh) * 2013-03-20 2013-08-21 东南大学 一种用于神经外科立体定向手术的头面部标记点半自动标定方法
WO2015081025A1 (en) * 2013-11-29 2015-06-04 The Johns Hopkins University Cranial reference mount
CN206548612U (zh) * 2016-09-28 2017-10-13 李健 一种医用智能手术显微系统
CN107374728A (zh) * 2017-08-25 2017-11-24 四川大学 颅颌面畸形应用骨性标志点建立标准正中矢状面的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102551892A (zh) * 2012-01-17 2012-07-11 王旭东 一种用于颅颌面外科手术的定位方法
CN103251457A (zh) * 2013-03-20 2013-08-21 东南大学 一种用于神经外科立体定向手术的头面部标记点半自动标定方法
WO2015081025A1 (en) * 2013-11-29 2015-06-04 The Johns Hopkins University Cranial reference mount
CN206548612U (zh) * 2016-09-28 2017-10-13 李健 一种医用智能手术显微系统
CN107374728A (zh) * 2017-08-25 2017-11-24 四川大学 颅颌面畸形应用骨性标志点建立标准正中矢状面的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020172782A1 (zh) * 2019-02-26 2020-09-03 武汉资联虹康科技股份有限公司 一种基于摄像头的经颅磁刺激诊疗检测系统
CN110070788A (zh) * 2019-03-18 2019-07-30 叶哲伟 一种基于混合现实的人体3d经络穴位可视化方法
CN114469375A (zh) * 2022-01-20 2022-05-13 福建省立医院 可显影定位皮肤的保护膜

Similar Documents

Publication Publication Date Title
Wang et al. A practical marker-less image registration method for augmented reality oral and maxillofacial surgery
CN107456278B (zh) 一种内窥镜手术导航方法和系统
CN109785374B (zh) 一种牙科增强现实手术导航的自动实时无标记图像配准方法
US9743993B2 (en) Systems and methods for planning hair transplantation
US11341662B2 (en) Medical procedure using augmented reality
CN108701170B (zh) 用于产生解剖部分的三维(3d)视图的图像处理系统和方法
EP2682068B1 (en) System and method for generating profile change using cephalometric monitoring data
CN106890031B (zh) 一种标记物识别及标记点定位方法及手术导航系统
US20150032421A1 (en) Producing a three dimensional model of an implant
McRackan et al. Comparison of cochlear implant relevant anatomy in children versus adults
CN109124765A (zh) 基于混合现实的辅助诊疗系统在神经外科中的应用方法
Mitsuno et al. Intraoperative evaluation of body surface improvement by an augmented reality system that a clinician can modify
US20230114385A1 (en) Mri-based augmented reality assisted real-time surgery simulation and navigation
Guigou et al. Augmented reality based transmodiolar cochlear implantation
CN110025377A (zh) 一种基于手势识别控制的手术辅助导航方法
US11670013B2 (en) Methods, systems, and computing platforms for photograph overlaying utilizing anatomic body mapping
Wang et al. Optimal path generation in scala tympani and path planning for robotic cochlear implant of perimodiolar electrode
Hong et al. A Low-Cost Mobile-Based Augmented Reality Neuronavigation System for Retrosigmoid Craniotomy
CN111743628A (zh) 一种基于计算机视觉的自动穿刺机械臂路径规划的方法
US20230149087A1 (en) Method and system to augment medical scan image information on extended reality image
Wengert et al. Endoscopic navigation for minimally invasive suturing
Taleb et al. Registration of preoperative temporal bone CT-scan to otoendoscopic video for augmented-reality based on convolutional neural networks
Xu et al. VITON-Based CT Image Registration for Medical Surgery Application
CN117635884A (zh) 嗜铬细胞瘤腔镜影像和三维图像的虚实融合方法及装置
CN115222887A (zh) 一种基于容貌的颅颌面骨骼手术规划的设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190104

WD01 Invention patent application deemed withdrawn after publication