CN109124765A - 基于混合现实的辅助诊疗系统在神经外科中的应用方法 - Google Patents
基于混合现实的辅助诊疗系统在神经外科中的应用方法 Download PDFInfo
- Publication number
- CN109124765A CN109124765A CN201810630485.0A CN201810630485A CN109124765A CN 109124765 A CN109124765 A CN 109124765A CN 201810630485 A CN201810630485 A CN 201810630485A CN 109124765 A CN109124765 A CN 109124765A
- Authority
- CN
- China
- Prior art keywords
- mixed reality
- point
- points
- point cloud
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000003745 diagnosis Methods 0.000 title claims abstract description 15
- 230000001815 facial effect Effects 0.000 claims abstract description 19
- 230000005484 gravity Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 210000004204 blood vessel Anatomy 0.000 claims description 4
- 239000011521 glass Substances 0.000 claims description 4
- 230000003902 lesion Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 230000036285 pathological change Effects 0.000 claims description 3
- 231100000915 pathological change Toxicity 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000001356 surgical procedure Methods 0.000 abstract description 9
- 238000012800 visualization Methods 0.000 abstract description 4
- 238000007689 inspection Methods 0.000 abstract 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 208000014674 injury Diseases 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008733 trauma Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Processing Or Creating Images (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种基于混合现实的辅助诊疗系统在神经外科中的应用方法,该方法包括面部特征点提取、混合现实设备中的模型和面部特征配准、手术辅助导航三个部分。本发明通过将医学影像定位技术、配准技术以及特征识别技术整合在一起,并结合混合现实设备完成一套基于全息三维可视化辅助诊疗系统,并将其应用于神经外科;该系统可以有效完成外科术前计划以及手术完成时对手术完成情况的检验提供了可靠的保证,降低手术风险,减少医患纠纷,拥有着良好的商业前景和价值。
Description
技术领域
本发明属于图像识别和医学图像处理领域,涉及一种基于混合现实的辅助诊疗系统在神经外科中的应用方法。
背景技术
混合现实指的是合并现实和虚拟世界而产生的新的可视化环境,在新的可视化环境里物理和数字对象共存,并实时互动。混合现实的实现需要在一个能与现实世界各事物相互交互的环境中,如果一切事物都是虚拟的那就是虚拟现实,如果展现出来的虚拟信息只能简单叠加在现实事物上,那就是增强现实。将二者的优势结合即为混合现实的最终目的所在。
神经外科手术的医学影像导航系统是近年来发展非常迅速的一个领域。在发达国家,这类导航技术已经在临床广泛使用。国内在关键技术和系统集成方面的研究工作还不多,为此,我们对其中的关键技术研究以及如何把这些关键技术集成为系统的工作进行了尝试。神经外科手术应在切除病灶的同时最大限度地保护正常组织,并降低手术创伤,其间关键问题是术前如何制订手术计划、术中如何进行实时监督以及术后如何对手术质量进行检验。
发明内容
本发明的目的是提供一种基于混合现实的辅助诊疗系统在神经外科中的应用方法,解决目前在神经外科手术中,精准度低,容易对正常组织造成创伤的问题。
本发明通过以下技术方案来实现:一种基于混合现实的辅助诊疗系统在神经外科中的应用方法,该方法包括面部特征点提取、混合现实设备中的模型和面部特征配准、手术辅助导航三个部分,其中,
所述的面部特征点提取包括以下步骤:
(1)通过电极片采集人体特征点,记录点云数据;
(2)将特征的点云数据生成二维码;
(3)通过混合现实设备自带的摄像头识别二维码,获取特征点云模型;
所述的和面部特征配准包括以下步骤:
混合现实设备上传的比对图片为3维,特征点生成的对比图像也同样是3维,通过点云配准的方法计算两组3维图像模型的误差,用来判断人体信息与混合现实设备中的模型是否吻合;
所述的手术辅助导航包括以下步骤:
(1)在模型上为病患部位进行标注,然后将图片上传到混合现实设备上;
(2)医生通过混合现实设备的体感模式,操作指针,调整视线所在方向,系统检测标记中心,通过两点一线确定开口位置;
(3)然后通过重心到指针的连线做平行线,该平行线会与病变位置有两个切点,切点距离即为理想开口大小;
(4)将开口直接标记在模型表面,会呈现一个光斑,实时反馈给操作医生,并且在模型透视下,系统会显示开口到病变位置的路径,再根据血管和神经位置调整指针,确定开口方案。
进一步的,所述的面部特征点提取中步骤(1)中点云数据的构建方法为建立笛卡尔坐标系,拟定任意原点,记录特征点的坐标信息,形成点云数据。
进一步的,所述的和面部特征配准中点云配准的方法为ICP算法。
进一步的,所述的手术辅助导航中步骤(3)和步骤(4)之间还包括误差补偿步骤,理想开口大小经过误差步骤得到实际开口大小,实际开口大小的计算公式如下:
C实际=(1+ε)×C理想
其中,重构前的模型点坐标集合为P,重构后坐标集合为Q。在P中任取一点,可以计算与其最近的一点(在Q中),并记录,于是可以得到P中每一个在Q中的点,并计算每一对对应点的欧氏距离,累加后除以P与Q的重心距离再除以P中点的个数即为误差值。
进一步的,所述的混合现实设备为微软Hololens眼镜。
采用上述技术方案的积极效果:本发明通过将医学影像定位技术、配准技术以及特征识别技术整合在一起,并结合混合现实设备完成一套基于全息三维可视化辅助诊疗系统,并将其应用于神经外科;该系统可以有效完成外科术前计划以及手术完成时对手术完成情况的检验提供了可靠的保证,降低手术风险,减少医患纠纷,拥有着良好的商业前景和价值。
附图说明
图1是为面部图像特征点分布示意图;
图2是为混合设备中保存是病人的三维面部模型;
图3是本发明的基于混合现实的特征点定位方法示意图:
图4是ICP配准结果示意图;
图5是配准的误差计算示意图;
图6是应用于脑部肿瘤手术的示意图;
图7是导航给出的开口方案的大小补偿示意图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的说明,但不应理解为对本发明的限制:
一种基于混合现实的辅助诊疗系统在神经外科中的应用方法,该方法包括面部特征点提取、混合现实设备中的模型和面部特征配准、手术辅助导航三个部分,其中,
所述的面部特征点提取包括以下步骤:
(1)通过电极片采集人体特征点,记录点云数据;
(2)将特征的点云数据生成二维码;
(3)通过混合现实设备自带的摄像头识别二维码,获取特征点云模型;
所述的和面部特征配准包括以下步骤:
混合现实设备上传的比对图片为3维,特征点生成的对比图像也同样是3维,通过点云配准的方法计算两组3维图像模型的误差,用来判断人体信息与混合现实设备中的模型是否吻合;
所述的手术辅助导航包括以下步骤:
(1)在模型上为病患部位进行标注,然后将图片上传到混合现实设备上;
(2)医生通过混合现实设备的体感模式,操作指针,调整视线所在方向,系统检测标记中心,通过两点一线确定开口位置;
(3)然后通过重心到指针的连线做平行线,该平行线会与病变位置有两个切点,切点距离即为理想开口大小;
(4)将开口直接标记在模型表面,会呈现一个光斑,实时反馈给操作医生,并且在模型透视下,系统会显示开口到病变位置的路径,再根据血管和神经位置调整指针,确定开口方案。
进一步的,所述的面部特征点提取中步骤(1)中点云数据的构建方法为建立笛卡尔坐标系,拟定任意原点,记录特征点的坐标信息,形成点云数据。
进一步的,所述的和面部特征配准中点云配准的方法为ICP算法。
进一步的,所述的手术辅助导航中步骤(3)和步骤(4)之间还包括误差补偿步骤,理想开口大小经过误差步骤得到实际开口大小,实际开口大小的计算公式如下:
C实际=(1+ε)×C理想
其中,重构前的模型点坐标集合为P,重构后坐标集合为Q。在P中任取一点,可以计算与其最近的一点(在Q中),并记录,于是可以得到P中每一个在Q中的点,并计算每一对对应点的欧氏距离,累加后除以P与Q的重心距离再除以P中点的个数即为误差值。
进一步的,所述的混合现实设备为微软Hololens眼镜。
实施例1
一种提取面部图像特征点数据方法包括:
步骤一、使用90个特征点定位人脸,其中特征点分布为:18个点标记嘴部,14个点标记下颚,12个点标记眼睛,6个点标记眉毛,4个点标记脸颊和腮部,10个点标记鼻子,4个点标记后颈,10个点标记耳朵,12个点标记头发。如图1所示。
步骤二、建立笛卡尔坐标系,拟定任意原点,记录特征点的坐标信息,构建点云数据。该点云数据为拥有90行3列的坐标数组,3列分布对应x、y、z坐标值,每行表示不同的特征点。
步骤三、将点云数据转换成二维码进行存储,方便混合现实设备扫描识别。
实施例2
一种基于混合现实的特征点定位方法,包括:
步骤一、医生通过佩戴混合现实设备,扫描带有病人特征的二维码,获取特征点云模型,过程如图3所示。
步骤二、将病人特征点云命名为p,模型的点云命名为q。通过如下公式计算出点云重心:
利用求得的点云重心构造协方差矩阵:
步骤三、接下来进入ICP算法进行模型配准,ICP的功能是可以匹配两个数目不同的数据集合,那么应用ICP实现要利用协方差矩阵构建一个4×4的对称阵:
其中,通过这个对称阵的最大特征向量可以用来计算旋转参数,进而求出整个刚体变换所需要的R和T(R为最佳旋转向量,T为最佳位移向量)。获得了选择平移的方式就可以对两幅图像配准,进而达到计算误差的效果,配准结果如图4所示。
步骤四、接下来说明误差计算方式,如图5所示,MODEL为p点云,DATA为q点云,mid为DATA点云的中间点的位置,iclosest表记录的为每一个DATA云中的点所匹配的点的编号(在MODEL点云中的编号)。
步骤五、通过计算MODLE点到中间位置点云配准点的欧几里得距离,保证在该点云的一个区间内任意点到DATA点云的欧氏距离都小于这一点所运算出来的距离。同理计算mid±n的每一个点所匹配的最小欧氏距离,并且对这些距离进行累加,得到的结果作为误差值返回。
实施例3
本实施例说明本发明的技术方案为脑瘤患者进行导航辅助的过程。
步骤一、为在模型上为脑瘤部位进行标注,然后将图片上传到混合现实设备上。
步骤二、如图6所示,医生通过操作指针,即混合现实眼镜视线所在方向,系统检测标记中心,通过两点一线确定开口位置。
步骤三、开口大小由开口方向做切线,切线与标记肿瘤相切位置的延长线会与脑部边界产生交点,交点距离为待补偿距离;为了防止开口误差,系统通过补偿运算计算出实际开口距离,补偿距离为1mm,如图7所示,即在待补偿距离的边缘处增加1mm的补偿距离为实际开口距离。
步骤四、混合现实的手术导航系统会将运算出来的开口直接标记在模型表面,会呈现某一光斑,实时反馈给操作医生,并且在模型透视下,系统会显示开口到病变位置的路径,用来检测是该开口方式会不会受到血管的干扰,完成辅助导航功能。
本发明通过将医学影像定位技术、配准技术以及特征识别技术整合在一起,并结合混合现实设备完成一套基于全息三维可视化辅助诊疗系统,并将其应用于神经外科;该系统可以有效完成外科术前计划以及手术完成时对手术完成情况的检验提供了可靠的保证,降低手术风险,减少医患纠纷,拥有着良好的商业前景和价值。
Claims (5)
1.一种基于混合现实的辅助诊疗系统在神经外科中的应用方法,其特征在于:该方法包括面部特征点提取、混合现实设备中的模型和面部特征配准、手术辅助导航三个部分,其中,
所述的面部特征点提取包括以下步骤:
(1)通过电极片采集人体特征点,记录点云数据;
(2)将特征的点云数据生成二维码;
(3)通过混合现实设备自带的摄像头识别二维码,获取特征点云模型;
所述的和面部特征配准包括以下步骤:
混合现实设备上传的比对图片为3维,特征点生成的对比图像也同样是3维,通过点云配准的方法计算两组3维图像模型的误差,用来判断人体信息与混合现实设备中的模型是否吻合;
所述的手术辅助导航包括以下步骤:
(1)在模型上为病患部位进行标注,然后将图片上传到混合现实设备上;
(2)医生通过混合现实设备的体感模式,操作指针,调整视线所在方向,系统检测标记中心,通过两点一线确定开口位置;
(3)然后通过重心到指针的连线做平行线,该平行线会与病变位置有两个切点,切点距离即为理想开口大小;
(4)将开口直接标记在模型表面,会呈现一个光斑,实时反馈给操作医生,并且在模型透视下,系统会显示开口到病变位置的路径,再根据血管和神经位置调整指针,确定开口方案。
2.根据权利要求1所述的基于混合现实的辅助诊疗系统在神经外科中的应用方法,其特征在于:所述的面部特征点提取中步骤(1)中点云数据的构建方法为建立笛卡尔坐标系,拟定任意原点,记录特征点的坐标信息,形成点云数据。
3.根据权利要求1所述的基于混合现实的辅助诊疗系统在神经外科中的应用方法,其特征在于:所述的和面部特征配准中点云配准的方法为ICP算法。
4.根据权利要求1所述的基于混合现实的辅助诊疗系统在神经外科中的应用方法,其特征在于:所述的手术辅助导航中步骤(3)和步骤(4)之间还包括误差补偿步骤,理想开口大小经过误差步骤得到实际开口大小,实际开口大小的计算公式如下:
C实际=(1+ε)×C理想
其中,重构前的模型点坐标集合为P,重构后坐标集合为Q。在P中任取一点,可以计算与其最近的一点(在Q中),并记录,于是可以得到P中每一个在Q中的点,并计算每一对对应点的欧氏距离,累加后除以P与Q的重心距离再除以P中点的个数即为误差值。
5.根据权利要求1-4中任一权利要求所述的基于混合现实的辅助诊疗系统在神经外科中的应用方法,其特征在于:所述的混合现实设备为微软Hololens眼镜。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810630485.0A CN109124765A (zh) | 2018-06-19 | 2018-06-19 | 基于混合现实的辅助诊疗系统在神经外科中的应用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810630485.0A CN109124765A (zh) | 2018-06-19 | 2018-06-19 | 基于混合现实的辅助诊疗系统在神经外科中的应用方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109124765A true CN109124765A (zh) | 2019-01-04 |
Family
ID=64802078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810630485.0A Pending CN109124765A (zh) | 2018-06-19 | 2018-06-19 | 基于混合现实的辅助诊疗系统在神经外科中的应用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109124765A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110070788A (zh) * | 2019-03-18 | 2019-07-30 | 叶哲伟 | 一种基于混合现实的人体3d经络穴位可视化方法 |
WO2020172782A1 (zh) * | 2019-02-26 | 2020-09-03 | 武汉资联虹康科技股份有限公司 | 一种基于摄像头的经颅磁刺激诊疗检测系统 |
CN114469375A (zh) * | 2022-01-20 | 2022-05-13 | 福建省立医院 | 可显影定位皮肤的保护膜 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102551892A (zh) * | 2012-01-17 | 2012-07-11 | 王旭东 | 一种用于颅颌面外科手术的定位方法 |
CN103251457A (zh) * | 2013-03-20 | 2013-08-21 | 东南大学 | 一种用于神经外科立体定向手术的头面部标记点半自动标定方法 |
WO2015081025A1 (en) * | 2013-11-29 | 2015-06-04 | The Johns Hopkins University | Cranial reference mount |
CN206548612U (zh) * | 2016-09-28 | 2017-10-13 | 李健 | 一种医用智能手术显微系统 |
CN107374728A (zh) * | 2017-08-25 | 2017-11-24 | 四川大学 | 颅颌面畸形应用骨性标志点建立标准正中矢状面的方法 |
-
2018
- 2018-06-19 CN CN201810630485.0A patent/CN109124765A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102551892A (zh) * | 2012-01-17 | 2012-07-11 | 王旭东 | 一种用于颅颌面外科手术的定位方法 |
CN103251457A (zh) * | 2013-03-20 | 2013-08-21 | 东南大学 | 一种用于神经外科立体定向手术的头面部标记点半自动标定方法 |
WO2015081025A1 (en) * | 2013-11-29 | 2015-06-04 | The Johns Hopkins University | Cranial reference mount |
CN206548612U (zh) * | 2016-09-28 | 2017-10-13 | 李健 | 一种医用智能手术显微系统 |
CN107374728A (zh) * | 2017-08-25 | 2017-11-24 | 四川大学 | 颅颌面畸形应用骨性标志点建立标准正中矢状面的方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020172782A1 (zh) * | 2019-02-26 | 2020-09-03 | 武汉资联虹康科技股份有限公司 | 一种基于摄像头的经颅磁刺激诊疗检测系统 |
CN110070788A (zh) * | 2019-03-18 | 2019-07-30 | 叶哲伟 | 一种基于混合现实的人体3d经络穴位可视化方法 |
CN114469375A (zh) * | 2022-01-20 | 2022-05-13 | 福建省立医院 | 可显影定位皮肤的保护膜 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107456278B (zh) | 一种内窥镜手术导航方法和系统 | |
CN109464196B (zh) | 采用结构光影像配准的手术导航系统及配准信号采集方法 | |
Wang et al. | A practical marker-less image registration method for augmented reality oral and maxillofacial surgery | |
CN110033465B (zh) | 一种应用于双目内窥镜医学图像的实时三维重建方法 | |
CN101797182A (zh) | 一种基于增强现实技术的鼻内镜微创手术导航系统 | |
CN109124765A (zh) | 基于混合现实的辅助诊疗系统在神经外科中的应用方法 | |
CN110459301A (zh) | 基于热力图和面部关键点的脑部神经外科导航配准方法 | |
CN112618026A (zh) | 远程手术数据融合交互显示系统及方法 | |
Qiu et al. | Endoscope navigation and 3d reconstruction of oral cavity by visual slam with mitigated data scarcity | |
US20230114385A1 (en) | Mri-based augmented reality assisted real-time surgery simulation and navigation | |
CN110310726B (zh) | 基于医学影像三维重建及全息显示的肝段切除术辅助系统 | |
WO2019136588A1 (zh) | 基于云端计算的标定方法、装置、电子设备和计算机程序产品 | |
CN103927747A (zh) | 一种基于人脸生物特征的面匹配空间注册方法 | |
CN115153835A (zh) | 基于特征点配准与增强现实的髋臼假体放置引导系统及方法 | |
KR20210052270A (ko) | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
CN117643501B (zh) | 脊柱配准导板、制作方法、模型构建方法和装置 | |
JP2017164075A (ja) | 画像位置合せ装置、方法およびプログラム | |
CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
CN109771052A (zh) | 基于多目成像和多偏振态成像的三维图像建立方法及系统 | |
CN113274130A (zh) | 用于光学手术导航系统的无标记手术注册方法 | |
CN111728695A (zh) | 一种用于开颅手术的光束辅助定位方法及定位系统 | |
CN110559075B (zh) | 术中增强现实配准方法和装置 | |
CN115105204A (zh) | 一种腹腔镜增强现实融合显示方法 | |
CN110009666B (zh) | 一种机器人空间配准中建立匹配模型的方法及装置 | |
CN113256820A (zh) | 基于边缘检测的下颌面病变数字显影方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190104 |
|
WD01 | Invention patent application deemed withdrawn after publication |