CN111529063B - 基于三维重建的多模态融合的手术导航系统及方法 - Google Patents
基于三维重建的多模态融合的手术导航系统及方法 Download PDFInfo
- Publication number
- CN111529063B CN111529063B CN202010457380.7A CN202010457380A CN111529063B CN 111529063 B CN111529063 B CN 111529063B CN 202010457380 A CN202010457380 A CN 202010457380A CN 111529063 B CN111529063 B CN 111529063B
- Authority
- CN
- China
- Prior art keywords
- module
- model
- image data
- real
- preoperative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 230000003902 lesion Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000007499 fusion processing Methods 0.000 claims abstract description 6
- 230000001537 neural effect Effects 0.000 claims description 21
- 238000010146 3D printing Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000002980 postoperative effect Effects 0.000 claims description 5
- 238000007639 printing Methods 0.000 claims description 5
- 230000008439 repair process Effects 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004088 simulation Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种基于三维重建的多模态融合的手术导航系统及方法，系统包括影像数据预处理模块、手术前规划模块和实时手术导航模块；影像数据预处理模块用于对医学影像数据的采集和处理；手术前规划模块将处理后的医学影像数据进行多模态融合以建立术前病灶定位模型并规划出手术路径；实时手术导航模块根据术中的四维超声扫描数据建立动态模型，将动态模型与术前病灶模型进行比对，以更新手术路径；其有益效果是：对不同的医学影像数据进行融合处理，集各模型的优点，做到信息互补，并通过实时建立的动态模型与术前病灶定位导航模型进行实时比对，使得导航更加准确，手术实施过程对病灶改变精准监控，从而提高介入手术治疗的精确性及效果。
Description
技术领域
本发明涉及医学技术领域，具体涉及一种基于三维重建的多模态融合的手术导航系统及方法。
背景技术
医学影像学从诞生之同起就是临床诊断信息的重要来源。随着医学影像学蓬勃发展，它能够为临床提供更多、更全面的有助于诊断的信息。根据医学图像所提供的信息内涵，解剖结构图像和功能图像，这两类图像各有其优缺点，功能图像分辨率较差，但它提供的脏器功能代谢信息是解剖图像所不能替代的；解剖图像以较高的分辨率提供了脏器的解剖形态信息，但无法反映脏器的功能情况。
随着技术的发展，在现有的手术导航系统中，其建立的基础和路径规划均是依赖于术前影像数据重建的基础之上的，且基于单一的医学图像，然后医生在医学影像的引导下进行手术。然而在实际手术的过程中，由于病情的不断变化，呼吸、手术器械的接触等原因可能使得原有的导航方案存在一定的偏差，使其导航精度受到影响，影响手术效果。
随着四维超声的技术发展，如何使手术导航中降低辐射，提升实时导航精度成为新的探索亮点。
发明内容
本发明的发明目的在于：提供了一种基于三维重建的多模态融合的手术导航系统及方法，以提高手术导航的精度。
第一方面：一种基于三维重建的多模态融合的手术导航系统，包括影像数据预处理模块、手术前规划模块和实时手术导航模块；
所述影像数据预处理模块用于对医学影像数据的采集和处理，其中，所述医学影像数据包括CT或MRI数据以及四维超声扫描数据；
所述手术前规划模块用于将处理后的所述医学影像数据进行多模态融合以建立术前重建的病灶定位模型，并根据所述病灶定位模型规划出手术路径；
所述实时手术导航模块用于根据术中的四维超声扫描数据实时建立动态模型，并将所述动态模型与术前重建的所述病灶定位模型进行实时比对，以实时跟踪导航的手术路径。
作为本申请一种可选的实施方式，所述的基于三维重建的多模态融合的手术导航系统，还包括立体显示模块，所述立体显示模块用于对所述手术前规划模块和实时手术导航模块中的过程数据进行深度算法处理，并以裸眼3D的形式进行展示，向医生提供具有实时立体的空间图像信息与空间逻辑；利用裸眼立体视觉，令手术更精准，施术更简单。
作为本申请一种可选的实施方式，所述影像数据预处理模块还用于对同一病灶的多种格式医学影像数据的优点进行重建，并模态融合处理得到术前重建的初始病灶定位模型，具体包括：
数据整理；
图形建模；
参数匹配；
特征提取；
对位匹配；
AI数据修补；
同类/异类模型配比融合三维重建。
作为本申请一种可选的实施方式，所述手术前规划模块还用于：
对所述术前重建的病灶定位模型实施定位规划出路径，并可以对手术路径进行虚拟显示处理；也可以转换成3D打印格式输出；并可以对接3D打印把模型1：1打印出实体；
在术前，使用四维超声扫描设备扫描用手术工具依照规划路径进入打印出来的3D模型，手术工具根据手术路径进入模型，通过扫描与实施建模比对，检测显示出手术工具进入模型的空间位置以及与病灶定位的位置关系，实现与外部人机交互设备进行连接，以实现术前模拟练习或手术方案检测；如此，可以作为医患沟通工具进行术前方案讲演，或用于医学教育以及科室规培。
作为本申请一种可选的实施方式，所述多模态融合具体包括：
对需要进行融合的图像分别进行特征点选取，其中，所述特征点为在图像变换下稳定不变的点；
对所述特征点进行匹配，按匹配的评分对它们进行排序，并移除匹配度超过预设误差值的特征点；
根据剩余的所述特征点，计算需融合图像之间的单应性，并根据所述单应性实现图像映射。
作为本申请一种可选的实施方式，所述影像数据预处理模块包括第一AI神经学习模块，所述手术前规划模块包括第二AI神经学习模块，所述实时手术导航模块包括第三AI神经学习模块；
所述第一AI神经学习模块用于对所述医学影像数据进行AI数据修补；
所述第二AI神经学习模块用于对所述病灶模型和手术路径进行优化；
所述第三AI神经学习模块用于将术前和术后的病灶模型进行比对，进而得到比对结果。
作为本申请一种可选的实施方式，所述实时手术导航模块还用于：
在手术过程中，将手术过程的实际情况实时反馈到所述动态模型中，以得到反馈信息。
第二方面：一种基于三维重建的多模态融合的手术导航方法，应用于第一方面所述的基于三维重建的多模态融合的手术导航系统，所述方法包括：
由所述影像数据预处理模块对医学影像数据的采集和处理，其中，所述医学影像数据包括CT或MRI数据以及四维超声扫描数据；
通过所述手术前规划模块将处理后的所述医学影像数据进行多模态融合以建立术前的病灶定位模型，并根据所述病灶定位模型规划出手术路径；
由实时手术导航模块根据术中的四维超声扫描数据实时建立动态模型，并将所述动态模型与术前重建的病灶定位模型进行实时比对，精准计算并显示出根据术前规划的路径实施手术，在术中手术所抵达的位置，以及术中实时病灶被处理改变的情态。
作为本申请一种可选的实施方式，所述多模态融合具体包括：
对需要进行融合的图像分别进行特征点选取，其中，所述特征点为在图像变换下稳定不变的点；
对所述特征点进行匹配，按匹配的评分对它们进行排序，并移除匹配度超过预设误差值的特征点；
根据剩余的所述特征点，计算需融合图像之间的单应性，并根据所述单应性实现图像映射。
作为本申请一种可选的实施方式，所述方法还包括：
对所述医学影像数据进行数据修补；
对所述病灶模型和手术路径进行优化；
将术前和术后的病灶模型进行比对，进而得到比对结果。
采用上述技术方案，具有以下优点：本发明提出的一种基于三维重建的多模态融合的手术导航系统及方法，通过对不同的医学影像数据进行处理并融合，集合各影像模型的优点，做到信息互补，并通过术中依据四维超声扫描数据建立的动态模型与病灶模型进行比对，以更新所述手术路径，使得导航更加准确，以及手术实施过程对病灶改变精准监控，从而提高介入手术治疗的精确性及最终疗效。
附图说明
图1是本发明实施例所提供的一种基于三维重建的多模态融合的手术导航系统的系统框图；
图2是本发明实施例所提供的一种基于三维重建的多模态融合的手术导航方法的流程图。
具体实施方式
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。
下面结合附图，对本发明作详细的说明。
参考图1所示，一种基于三维重建的多模态融合的手术导航系统，包括影像数据预处理模块、手术前规划模块和实时手术导航模块。
所述影像数据预处理模块用于对医学影像数据的采集和处理，其中，所述医学影像数据包括CT或MRI数据以及四维超声扫描数据。
具体地，CT或MRI数据来源于CT/MRI数据库，CT/MRI数据库存储有患者的各种历史数据、医学图像。其中，所述影像数据预处理模块还用于对同一病灶的多种格式医学影像数据的优点进行重建，并模态融合处理得到术前重建的初始病灶定位模型，具体包括：
数据整理；即将数据按不同的类型进行分类，同时在同一类别中，又按具体的时间、医学图像的类型进行分类。
图形建模；即选择具体的医学影像数据来进行三维模型重建。
参数匹配；即对医学图像中的病灶和各组织进行区间划分，设置不同的参数，以进行区分。
特征提取；即进行相应的灰度特征提取、纹理特征提取、形态特征提取，并根据对应的像素值分布情况、根据需要可以筛选特定范围像素值的分布来实现更好的显示。
对位匹配；即采用图形对齐技术进行处理，其具体处理过程，参照后续的多模态融合的步骤描述。
AI数据修补；参照后续的第一AI神经学习模块描述。
同类/异类模型配比融合三维重建；即对同一病灶的多种格式医学影像数据的优点进行重建，并模态融合处理。
所述手术前规划模块用于将处理后的所述医学影像数据进行多模态融合以建立病灶模型，并根据所述病灶模型规划出手术路径。
具体地，所述多模态融合具体包括：
对需要进行融合的图像分别进行特征点选取，其中，所述特征点为在图像变换下稳定不变的点，以方向不变性、尺度不变性和旋转不变性进行判定；
对所述特征点进行匹配，按匹配的评分对它们进行排序，并移除匹配度超过预设误差值的特征点；
根据剩余的所述特征点，计算需融合图像之间的单应性，并根据所述单应性实现图像映射。
其中，使用汉明距离(hamming distance)作为两个特征描述符之间相似性的度量；单应性的计算通过随机抽样一致性算法(RANSAC)进行处理；一旦计算出准确的单应性，则将一个图像中的所有像素，以将其映射到另一个图像。
通过这种处理方式，进行融合后，对病灶进行定位、测量、固化以及规划的手术路径进行固化，实现手术前的模拟，帮助临床医生提升术前分析、判断、手术规划水平，同时，也利于医患之间的沟通，增加形象的沟通工具，利于医患关系的改善。
所述实时手术导航模块用于根据术中的四维超声扫描数据实时建立动态模型，并将所述动态模型与术前重建的所述病灶定位模型进行实时比对，以实时跟踪导航的手术路径。
具体地，利用超声扫描、实时重建，将手术中变化的情况，实时与病灶模型进行比对，更新所述手术路径，提高相应的导航精度；应用时，可采用在手术器械设置定位芯片来更加准确的判断手术情况。
通过上述方案，通过对不同的医学影像数据进行处理并融合，集合各影像模型的优点，做到信息互补，并通过术中依据四维超声扫描数据建立的动态模型与病灶模型进行比对，以更新所述手术路径，使得导航更加准确，以及手术实施过程对病灶改变精准监控，从而提高介入手术治疗的精确性及最终疗效。
进一步地，在上述方案的基础上，所述的基于三维重建的多模态融合的手术导航系统，还包括立体显示模块，所述立体显示模块用于对所述手术前规划模块和实时手术导航模块中的过程数据进行深度算法处理，并以裸眼3D的形式进行展示，向医生提供具有实时立体的空间图像信息与空间逻辑。
相应的，所述手术前规划模块还用于：
对所述术前重建的病灶定位模型实施定位规划出路径，并可以对手术路径进行虚拟显示处理；也可以转换成3D打印格式输出；并可以对接3D打印把模型1：1打印出实体；
在术前，使用四维超声扫描设备扫描用手术工具依照规划路径进入打印出来的3D模型，手术工具根据手术路径进入模型，通过扫描与实施建模比对，检测显示出手术工具进入模型的空间位置以及与病灶定位的位置关系，实现与外部人机交互设备进行连接，以实现术前模拟练习或手术方案检测。
具体地，通过虚拟显示与病灶模型进行虚实对比，实现更好的人机交互效果；并通过3D打印将其设定的模型以立体化的形式进行展示，便于医生进行术前分析和规划，或用于医学教育以及科室规培。
进一步地，在前述方案的基础上，所述所述影像数据预处理模块包括第一AI神经学习模块，所述手术前规划模块包括第二AI神经学习模块，所述实时手术导航模块包括第三AI神经学习模块；即各模块内部均集成有AI神经学习模块，所述AI神经学习模块包括神经网络学习单元。
所述第一AI神经学习模块用于对所述医学影像数据进行AI数据修补；
所述第二AI神经学习模块用于对所述病灶模型和手术路径进行优化；
所述第三AI神经学习模块用于将术前和术后的病灶模型进行比对，进而得到比对结果。
这样设置，使得本系统的处理不局限于当前的数据，还能通过神经网络进行自主学习，结合历史数据进行不断的自学习，进而最终实现提高处理的准确性。
进一步地，在前述方案的基础上，所述实时手术导航模块还用于：
在手术过程中，将手术过程的实际情况实时反馈到所述动态模型中，以得到反馈信息。
在实时导航系统的辅助下可改进医生的手术技术，提高手术的精确度，并减少手术并发症的发生；同时，四维超声的技术应用，也降低了手术导航中的辐射量。
基于上述同样的发明思路，参考图2，本发明实施例还提供了一种基于医学影像三维重建的手术导航方法，应用于上述所述的一种基于三维重建的多模态融合的手术导航系统，所述手术辅助系统的组成部分如前文所述，在此不再赘述，所述方法包括：
S101，由所述影像数据预处理模块对医学影像数据的采集和处理，其中，所述医学影像数据包括CT或MRI数据以及四维超声扫描数据；
S102，通过所述手术前规划模块将处理后的所述医学影像数据进行多模态融合以建立术前的病灶定位模型，并根据所述病灶定位模型规划出手术路径；
S103，由实时手术导航模块根据术中的四维超声扫描数据实时建立动态模型，并将所述动态模型与术前重建的病灶定位模型进行实时比对，精准计算并显示出根据术前规划的路径实施手术，在术中手术所抵达的位置，以及术中实时病灶被处理改变的情态。
在另一实施例中，在上述方法实施例的基础上，所述方法还包括：
对所述医学影像数据进行数据修补；
对所述病灶模型和手术路径进行优化；
将术前和术后的病灶模型进行比对，进而得到比对结果。
所述多模态融合具体包括：
对需要进行融合的图像分别进行特征点选取，其中，所述特征点为在图像变换下稳定不变的点；
对所述特征点进行匹配，按匹配的评分对它们进行排序，并移除匹配度超过预设误差值的特征点；
根据剩余的所述特征点，计算需融合图像之间的单应性，并根据所述单应性实现图像映射。
需要说明的是，上述方法与前述的系统实施例所对应，其方法步骤中，具体实施方式以及有益效果，参见前述的文字记载，在此不再赘述。
通过上述方法，将多模态影像融合技术、三维可视化技术及导航技术有机的结合起来,集各影像模型优点，又可以简化操作程序得帮助临床医生提升术前分析、判断，手术规划，术中可以定位、导航、提醒，术后比对，降低辐射，提高介入手术治疗的精确性及最终疗效。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (2)
1.一种基于三维重建的多模态融合的手术导航系统，其特征在于，包括影像数据预处理模块、手术前规划模块和实时手术导航模块；
所述影像数据预处理模块用于对医学影像数据的采集和处理，其中，所述医学影像数据包括四维超声扫描数据以及CT或MRI数据中的一种；
所述手术前规划模块用于将处理后的所述医学影像数据进行多模态融合以建立术前重建的病灶定位模型，并根据所述病灶定位模型规划出手术路径；
所述多模态融合具体包括：
对需要进行融合的图像分别进行特征点选取，其中，所述特征点为在图像变换下稳定不变的点；
对所述特征点进行匹配，按匹配的评分对它们进行排序，并移除匹配度超过预设误差值的特征点；
根据剩余的特征点，计算需融合图像之间的单应性，并根据所述单应性实现图像映射；
所述实时手术导航模块用于根据术中的四维超声扫描数据实时建立动态模型，并将所述动态模型与术前重建的所述病灶定位模型进行实时比对，以实时跟踪导航的手术路径；
其中，所述影像数据预处理模块包括第一AI神经学习模块，所述手术前规划模块包括第二AI神经学习模块，所述实时手术导航模块包括第三AI神经学习模块；各模块内部均集成有神经网络学习单元；
所述第一AI神经学习模块用于对所述医学影像数据进行AI数据修补；
所述第二AI神经学习模块用于对所述病灶定位模型和手术路径进行优化；
所述第三AI神经学习模块用于将术前和术后的病灶模型进行比对，进而得到比对结果；
所述影像数据预处理模块还用于对同一病灶的多种格式医学影像数据的优点进行重建，并模态融合处理得到术前重建的初始病灶定位模型，具体包括：
数据整理；即将数据按不同的类型进行分类，同时在同一类别中，又按具体的时间、医学图像的类型进行分类；
图形建模；即选择具体的医学影像数据来进行三维模型重建；
参数匹配；即对医学图像中的病灶和各组织进行区间划分，设置不同的参数，以进行区分；
特征提取；即进行相应的灰度特征提取、纹理特征提取、形态特征提取，并根据对应的像素值分布情况、根据需要可以筛选特定范围像素值的分布来实现更好的显示；
对位匹配；即采用图形对齐技术进行；
AI数据修补；
同类/异类模型配比融合三维重建；即对同一病灶的多种格式医学影像数据的优点进行重建，并模态融合处理；
所述手术前规划模块还用于：
对所述术前重建的病灶定位模型实施定位规划出路径，并可以对手术路径进行虚拟显示处理；也可以转换成3D打印格式输出；并可以对接3D打印把模型1∶1打印出实体；
在术前，使用四维超声扫描设备扫描用手术工具依照规划路径进入打印出来的3D模型，手术工具根据手术路径进入模型，通过扫描与实施建模比对，检测显示出手术工具进入模型的空间位置以及与病灶定位的位置关系，实现与外部人机交互设备进行连接，以实现术前模拟练习或手术方案检测；
并通过虚拟显示与病灶模型进行虚实对比，实现更好的人机交互效果；
所述实时手术导航模块还用于：
在手术过程中，将手术过程的实际情况实时反馈到所述动态模型中，以得到反馈信息。
2.根据权利要求1所述的基于三维重建的多模态融合的手术导航系统，其特征在于，还包括立体显示模块，所述立体显示模块用于对所述手术前规划模块和实时手术导航模块中的过程数据进行深度算法处理，并以裸眼3D的形式进行展示，向医生提供具有实时立体的空间图像信息与空间逻辑。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010457380.7A CN111529063B (zh) | 2020-05-26 | 2020-05-26 | 基于三维重建的多模态融合的手术导航系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010457380.7A CN111529063B (zh) | 2020-05-26 | 2020-05-26 | 基于三维重建的多模态融合的手术导航系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111529063A CN111529063A (zh) | 2020-08-14 |
| CN111529063B true CN111529063B (zh) | 2022-06-17 |
Family
ID=71970975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010457380.7A Active CN111529063B (zh) | 2020-05-26 | 2020-05-26 | 基于三维重建的多模态融合的手术导航系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111529063B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112057165B (zh) * | 2020-09-22 | 2023-12-22 | 上海联影医疗科技股份有限公司 | 一种路径规划方法、装置、设备和介质 |
| WO2022048601A1 (zh) * | 2020-09-02 | 2022-03-10 | 上海联影医疗科技股份有限公司 | 路径规划方法、操作引导信息的确定方法、装置及系统 |
| CN112043383B (zh) * | 2020-09-30 | 2022-07-15 | 复旦大学附属眼耳鼻喉科医院 | 一种眼科手术导航系统及电子设备 |
| CN112767484B (zh) * | 2021-01-25 | 2023-09-05 | 脸萌有限公司 | 定位模型的融合方法、定位方法、电子装置 |
| CN113274135B (zh) * | 2021-04-26 | 2022-10-14 | 上海友脉科技有限责任公司 | 一种血管腔内介入手术系统及手术机器人 |
| CN113768622A (zh) * | 2021-09-25 | 2021-12-10 | 湖南师范大学树达学院 | 一种pbc穿刺路径的规划方法 |
| CN113940756B (zh) * | 2021-11-09 | 2022-06-07 | 广州柏视医疗科技有限公司 | 一种基于移动dr影像的手术导航系统 |
| CN114305689B (zh) * | 2021-12-31 | 2023-08-18 | 杭州三坛医疗科技有限公司 | 一种手术导航定位方法、装置及手术台车 |
| CN114305690B (zh) * | 2021-12-31 | 2023-12-26 | 杭州三坛医疗科技有限公司 | 一种手术导航定位方法及装置 |
| CN114177545B (zh) * | 2022-01-17 | 2023-11-07 | 中国科学院合肥物质科学研究院 | 一种用于放疗中无接触式呼吸节律监测装置和方法 |
| CN114533996A (zh) * | 2022-01-18 | 2022-05-27 | 中山大学附属第六医院 | 可调控阴道冲洗器及其冲洗方法、系统、计算机设备 |
| CN114668497B (zh) * | 2022-03-29 | 2023-06-06 | 四川大学华西医院 | 一种计算机辅助肝脏手术规划三维建模系统 |
| CN114795468B (zh) * | 2022-04-19 | 2022-11-15 | 首都医科大学附属北京天坛医院 | 一种血管内治疗的术中导航方法及其系统 |
| CN115624383A (zh) * | 2022-12-21 | 2023-01-20 | 湖南医科医工科技有限公司 | 一种手术部位三维建模系统 |
| CN117274506B (zh) * | 2023-11-20 | 2024-02-02 | 华中科技大学同济医学院附属协和医院 | 一种导管下介入目标场景的三维重建方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600596A (zh) * | 2016-12-21 | 2017-04-26 | 南昌航空大学 | 一种心脏腔室动态显示方法及系统 |
| CN107362464A (zh) * | 2017-08-13 | 2017-11-21 | 吴大可 | 精准立体定向放射外科治疗装置 |
| CN110236674A (zh) * | 2019-05-09 | 2019-09-17 | 苏州大学 | 一种基于结构光扫描的肝脏手术导航方法及系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013141974A1 (en) * | 2012-02-08 | 2013-09-26 | Convergent Life Sciences, Inc. | System and method for using medical image fusion |
| CN104463859B (zh) * | 2014-11-28 | 2017-07-04 | 中国航天时代电子公司 | 一种基于跟踪指定点的实时视频拼接方法 |
| CN104441664A (zh) * | 2014-12-05 | 2015-03-25 | 马学晓 | 一种计算机模拟结合3d打印脊柱手术方法 |
| CN107240067A (zh) * | 2017-05-11 | 2017-10-10 | 同济大学 | 一种基于三维重建的序列图像自动拼接方法 |
| CN109223121A (zh) * | 2018-07-31 | 2019-01-18 | 广州狄卡视觉科技有限公司 | 基于医学影像模型重建、定位的脑出血穿刺手术导航系统 |
| CN111166489B (zh) * | 2018-12-07 | 2021-09-28 | 张永学 | 自动穿刺活检医疗机器人的控制方法、装置及机器人 |
| CN110992263B (zh) * | 2019-11-27 | 2023-07-11 | 国网智能科技股份有限公司 | 一种图像拼接方法及系统 |
-
2020
- 2020-05-26 CN CN202010457380.7A patent/CN111529063B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600596A (zh) * | 2016-12-21 | 2017-04-26 | 南昌航空大学 | 一种心脏腔室动态显示方法及系统 |
| CN107362464A (zh) * | 2017-08-13 | 2017-11-21 | 吴大可 | 精准立体定向放射外科治疗装置 |
| CN110236674A (zh) * | 2019-05-09 | 2019-09-17 | 苏州大学 | 一种基于结构光扫描的肝脏手术导航方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111529063A (zh) | 2020-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111529063B (zh) | 基于三维重建的多模态融合的手术导航系统及方法 | |
| CN103371870B (zh) | 一种基于多模影像的外科手术导航系统 | |
| US9928588B2 (en) | Indication-dependent display of a medical image | |
| CN102784003B (zh) | 一种基于结构光扫描的椎弓根内固定手术导航系统 | |
| CN202751447U (zh) | 一种基于结构光扫描的椎弓根内固定手术导航系统 | |
| US8165366B2 (en) | Determining correspondence object pairs for medical navigation | |
| US20180108131A1 (en) | Generation of a Patient-Specific Anatomical Atlas | |
| CN111772792A (zh) | 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质 | |
| CN107854177A (zh) | 一种基于光学定位配准的超声与ct/mr图像融合手术导航系统及其方法 | |
| CN115105207A (zh) | 基于混合现实的手术全息导航方法及系统 | |
| JP5934070B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
| WO2014050018A1 (ja) | 仮想内視鏡画像生成装置および方法並びにプログラム | |
| Alam et al. | A review on extrinsic registration methods for medical images | |
| Shao et al. | Augmented reality navigation with real-time tracking for facial repair surgery | |
| Kim et al. | Application of augmented reality using automatic markerless registration for facial plastic and reconstructive surgery | |
| Chabanas et al. | Evaluating soft tissue simulation in maxillofacial surgery using preoperative and postoperative CT scans | |
| US11501442B2 (en) | Comparison of a region of interest along a time series of images | |
| Ding et al. | Novel Augmented Reality System for Oral and Maxillofacial Surgery | |
| CN114463323B (zh) | 一种病灶区域识别方法、装置、电子设备和存储介质 | |
| Weersink | Image Fusion and Visualization | |
| EP4040388A1 (en) | Intuitive display for rotator cuff tear diagnostics | |
| Manning et al. | Surgical navigation | |
| EP4252660A1 (en) | Radiology workflow | |
| Weersink | Image Fusion and Visualization | |
| Ha et al. | 2D-3D Reconstruction of a Femur by Single X-Ray Image Based on Deep Transfer Learning Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240604 Address after: 510670 East half of Building 3, No. 62 Nanxiang 1st Road, Science City, Guangzhou Economic and Technological Development Zone, Guangzhou City, Guangdong Province Patentee after: GUANGZHOU ARAHELIO BIOLOGICAL TECHNOLOGY CO.,LTD. Country or region after: China Address before: 510663 room 106, east half of the third floor of Building 1, No. 62, Nanxiang 1st Road, Science City, Huangpu District, Guangzhou City, Guangdong Province Patentee before: GUANGZHOU DIKA VISION TECHNOLOGY Co.,Ltd. Country or region before: China |