CN111553979B - 基于医学影像三维重建的手术辅助系统及方法 - Google Patents
基于医学影像三维重建的手术辅助系统及方法 Download PDFInfo
- Publication number
- CN111553979B CN111553979B CN202010457378.XA CN202010457378A CN111553979B CN 111553979 B CN111553979 B CN 111553979B CN 202010457378 A CN202010457378 A CN 202010457378A CN 111553979 B CN111553979 B CN 111553979B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- setting
- reconstruction
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004088 simulation Methods 0.000 claims abstract description 36
- 230000003993 interaction Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000002452 interceptive effect Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000004040 coloring Methods 0.000 claims description 9
- 238000001356 surgical procedure Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 6
- 238000002224 dissection Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010146 3D printing Methods 0.000 claims description 2
- 208000002173 dizziness Diseases 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013334 tissue model Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
Abstract
本发明公开了一种基于医学影像三维重建的手术辅助系统及方法，系统包括主机、显示单元和人机交互单元；主机包括影像数据处理模块、影像数据设置模块、模拟影像模块；影像数据处理模块对导入的DICOM数据进行三维模型重建以生成第一图像；影像数据设置模块对第一图像中的病灶和各组织进行区别设置以得到目标图像；模拟影像模块将目标图像进行加载，以进行模拟空间图形展示；人机交互单元对模拟空间图形进行交互操作，实现模拟手术；显示单元将模拟手术的过程以裸眼3D的形式进行展示；其有益效果是：通过对重建后的病灶和各组织进行区别设置，使对应的部分突出显示，增强其空间感，同时裸眼3D的形式也避免了AR设备会出现眩晕感的缺陷。
Description
技术领域
本发明涉及医学技术领域，具体涉及一种基于医学影像三维重建的手术辅助系统及方法。
背景技术
DICOM即医学数字成像和通信，是医学图像和相关信息的国际标准。随着科学技术的发展，医学技术也经历了变革，计算机辅助手术系统近些年来越来越得到生物医学工程界的重视。利用术前医学影像，对病灶进行精确定位和导航，但现有技术中，存在多个dicom数据时，处理时间长，不能对dicom数据迅速三维重建；即使，形成重建模型在输出图像显示由于图片的黑白格式，其空间感差，不能对病灶形成立体的显示；虽然有采用AR技术进行观看的方案，但使用AR设备会出现眩晕感，而且画面质量感差，再者，大多三维重建技术，不能对CT与MRI的数据重建实现系统兼容。
发明内容
本发明的发明目的在于：提供了一种基于医学影像三维重建的手术辅助系统及方法，以克服现有技术中存在空间感差、使用AR设备会出现眩晕感的缺陷；以及CT与MRI的重建不能系统兼容的问题。
第一方面：基于医学影像三维重建的手术辅助系统，包括主机、显示单元和人机交互单元；
所述主机包括影像数据处理模块、影像数据设置模块、模拟影像模块；
所述影像数据处理模块用于对导入的DICOM数据进行三维模型重建以生成第一图像，所述DICOM数据来源于CT/MRI数据库；
所述影像数据设置模块用于对所述第一图像中的病灶和各组织进行区别设置以得到目标图像；
所述模拟影像模块用于将所述目标图像采用加速引擎进行加载，以进行模拟空间图形展示；
所述人机交互单元包括交互装置，所述交互装置用于识别医务人员对所述模拟空间图形的手部动作指令，实现对所述模拟空间图形的旋转、大小缩放的交互操作，以及利用辅具在术前设定手术入路，然后依照手术路线，模拟手术内镜导入时的场景图像，或实现对所述模拟空间图形的切割，并输出图像，实现模拟手术；
所述显示单元用于将所述模拟手术的过程以裸眼3D的形式进行展示。
作为本申请一种可选的实施方式，所述影像数据处理模块具体用于：
将同一病灶的多组DICOM数据进行分组显示；
对选择的一组DICOM数据进行三维模型重建并准确对位重合以生成第一图像。
作为本申请一种可选的实施方式，所述影像数据设置模块具体用于：
对所述第一图像中的病灶和各组织进行区间划分；
对划分的各区间设置不同范围的CT值或MRI参数；
根据不同范围的CT值或MRI参数进行再次重建以得到目标图像。
作为本申请一种可选的实施方式，所述影像数据设置模块还用于：
只显示指定区间的重建结果；
对指定区间的重建结果进行着色；
设置指定区间的重建结果的透明度。
作为本申请一种可选的实施方式，所述交互操作具体包括：
在所述模拟空间图形上选择特定的重建区域；
对所述重建区域进行颜色和透明度的设置以及显示的设置；
在所述模拟空间图形上选择需操作的表面区域，利用虚拟的手术工具对所述表面区域进行逐层模拟解剖。
作为本申请一种可选的实施方式，所述交互操作还包括：
对所述模拟空间图形进行任意切割，并对切割后的各图形模块进行分离；
对分离后指定的图形模块进行缩放、旋转操作；
对分离后指定的图形模块进行定位、着色操作。
作为本申请一种可选的实施方式，所述旋转操作包括单独旋转或关联旋转，所述关联旋转包括指定图形模块的连续旋转和所述模拟空间图形的旋转。
作为本申请一种可选的实施方式，所述主机还包括虚拟内镜导航模块，所述虚拟内镜导航模块用于：
在所述模拟空间图形中选择指定目标进行测量；
对所述指定目标进行定位并对虚拟内窥镜进入人体的操作进行参数设定，所述参数设定包括导航路线设定、镜头行进速度参数和镜像参数；
根据所述导航路线设定示出虚拟内镜进入的影像。
作为本申请一种可选的实施方式，所述主机还包括云端处理模块，所述云端处理模块用于：
将所述交互操作后的图像在云端同步，并将进行深度计算后的图像数据传输给指定端口，同时以裸眼3D的形式进行立体显示；
利用设置的触碰屏幕，实现远端的人机互动。
第二方面：一种基于医学影像三维重建的手术辅助方法，应用于第一方面所述的基于医学影像三维重建的手术辅助系统，所述方法包括：
由影像数据处理模块对导入的DICOM数据进行三维模型重建以生成第一图像，所述DICOM数据来源于CT/MRI数据库；
由影像数据设置模块对所述第一图像中的病灶和各组织进行区别设置以得到目标图像；
由模拟影像模块将所述目标图像采用加速引擎进行加载，以进行模拟空间图形展示；
由交互装置医务人员对所述模拟空间图形进行交互操作，以实现模拟手术；
所述交互操作具体包括：
在所述模拟空间图形上选择特定的重建区域；
对所述重建区域进行颜色和透明度的设置以及显示的设置；
在所述模拟空间图形上选择需操作的表面区域，利用虚拟的手术工具对所述表面区域进行逐层模拟解剖；
通过显示单元将所述模拟手术的过程以裸眼3D的形式进行展示。
采用上述技术方案，具有以下优点：本发明提出的一种基于医学影像三维重建的手术辅助系统及方法，通过对导入的DICOM数据进行重建并准确对位重合，然后对重建后的病灶和各组织进行区别设置，使对应的部分进行突出显示，增强其空间感，同时，利用互动的人机操作和裸眼3D的形式展示，在带来直观、生动的基础上，也避免了使用AR设备会出现眩晕感的缺陷。
附图说明
图1是本发明实施例所提供的基于医学影像三维重建的手术辅助系统的系统框图；
图2是本发明实施例中影像数据处理模块的处理示意图；
图3是本发明实施例中对病灶和各组织进行区别设置的示意图；
图4是本发明实施例中交互操作的示意图；
图5是本发明实施例所提供的一种基于医学影像三维重建的手术辅助方法的流程图。
具体实施方式
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。
下面结合附图，对本发明作详细的说明。
参考图1所示，一种基于医学影像三维重建的手术辅助系统，包括主机、显示单元和人机交互单元。
所述主机包括影像数据处理模块、影像数据设置模块、模拟影像模块；
所述影像数据处理模块用于对导入的DICOM数据进行三维模型重建以生成第一图像，所述DICOM数据来源于CT/MRI数据库。具体地，DICOM数据即(Digital ImagingCommunications in Medicine)，CT/MRI数据库存储有患者的各种历史数据，就包括医学影像数据；应用时，如图2所示，在多个文件里面，选择其中一个进行三维重建，解决了CT与MRI的重建不能系统兼容的问题，所述影像数据处理模块具体用于：
将同一病灶的多组DICOM数据进行分组显示；用户选择其中一组完成三维重建即可；
对选择的一组DICOM数据进行三维模型重建并准确对位重合以生成第一图像；
重建时，每一组DICOM数据可指定不同的模型进行三维重建，以实现迅速达成模型重建并准确对位重合的目的。
所述影像数据设置模块用于对所述第一图像中的病灶和各组织进行区别设置以得到目标图像。
具体地，对所述第一图像中的病灶和各组织进行区间划分；
对划分的各区间设置不同范围的CT值或MRI值；
根据不同范围的CT值或MRI值进行再次重建以得到目标图像。这样设置多个CT(或MRI)值区间后，突出了病灶与邻近组织的显示效果，参考图3所示：
例如，对区间1的ct值范围25-45，区间2的ct值范围65-85，区间3的ct值范围125-225，区间4的ct值范围300-600；同时还可选择只显示指定区间的重建结果，对指定区间的重建结果着色，设置指定区间的重建结果的透明度。例如，图3中，S1a、S2a、S3a则表示不同的区间且各自着色程度、透明度不同，剩下的3个子图中的标号与其含义相同，在此不再列举；进而可以实现对重建的病灶与相关模型(以及精度不高的神经与血管)做多区间剔除，标注，着色和突出显示。
所述模拟影像模块用于将所述目标图像采用加速引擎进行加载，以进行模拟空间图形展示。即对上述重建结果进行操作，以3D引擎加载重建的模型。
所述人机交互单元包括交互装置，所述交互装置用于识别医务人员对所述模拟空间图形的手部动作指令，实现对所述模拟空间图形的旋转、大小缩放的交互操作，以及利用辅具在术前设定手术入路，然后依照手术路线，模拟手术内镜导入时的场景图像，或实现对所述模拟空间图形的切割，并输出图像，实现模拟手术。
具体地，在所述模拟空间图形上选择特定的重建区域；
对所述重建区域进行颜色和透明度的设置以及显示的设置；
在所述模拟空间图形上选择需操作的表面区域，利用虚拟的手术工具对所述表面区域进行逐层模拟解剖。
具体地，即选择某个表面区域(可以参照手术工具尺寸设计尺寸参数)，用鼠标像橡皮檫一样，从外向内逐层的擦除(或剥除)，每一个擦除层的厚度可以设定，以实现模拟解剖的作用；如图4所示，剥除后，仍可显示其内部组织形态，提高了模拟的真实性和精细程度。
在其他实施例中，在上述操作的基础上，所述交互操作还包括：
对所述模拟空间图形进行任意切割，并对切割后的各图形模块进行分离；
在应用时，还可以对选择的图形模块测量体积，通过设置一个标尺，可以对图形模块进行测量。
需要说明的是，所述模拟空间图形也是指代整体模型的意思，图形模块即为所选择的模型的意思。
对分离后指定的图形模块进行缩放、旋转操作；
对分离后指定的图形模块进行定位、着色操作。
具体地，所述旋转操作包括单独旋转或关联旋转，所述关联旋转包括指定图形模块的连续旋转和所述模拟空间图形的旋转。
需要说明的是，在应用时，还可通过所述主机上包括的输入设备实现对所述模拟空间图形进行交互操作，以实现模拟手术，在此不做限制，其交互操作所包括的内容，如前文所述，在此不再赘述。
所述显示单元用于将所述模拟手术的过程以裸眼3D的形式进行展示。
具体地，所述显示单元不止对模拟手术的过程进行显示，还可对各模块、系统的各个工作流程以裸眼3D的形式进行展示，在此不做限制；所述显示单元采用裸眼3D显示设备，并进行4K显示；所述交互装置可采用AR设备，其他实施例中，还可包括可穿戴设备，在此不做限制。
通过上述方案，利用对导入的DICOM数据进行重建并准确对位重合，然后对重建后的病灶和各组织进行区别设置，使对应的部分进行突出显示，增强其空间感，同时，利用互动的人机操作和裸眼3D的形式展示，在带来直观、生动的基础上，实现模拟手术的同时，也避免了使用AR设备会出现眩晕感的缺陷。
进一步地，在上述方案的基础上，所述主机还包括虚拟内镜导航模块，所述虚拟内镜导航模块用于：
在所述模拟空间图形中选择指定目标进行测量；
对所述指定目标进行定位并对虚拟内窥镜进入人体的操作进行参数设定，所述参数设定包括导航路线设定、镜头行进速度参数和镜像参数；
根据所述导航路线设定示出虚拟内镜进入的影像。
具体地，所述指定目标包括病灶或是各组织，所述测量包括体积、面积、直径、长度等进行测量；通过上述设置，即使其还具有内镜导航的作用，这样在术前，可提前规划出手术路径，并按内镜导航路线虚拟出内镜的图像，进而提供更好的辅助效果，模拟的更加真实。
进一步地，在前述方案的基础上，所述主机还包括云端处理模块，所述云端处理模块用于：
将所述交互操作后的图像在云端同步，并将进行深度计算后的图像数据传输给指定端口，同时以裸眼3D的形式进行立体显示；
利用设置的触碰屏幕，实现远端的人机互动。
具体地，可以利用设置的动捕镜头识别医生的手部，按规定动作对指定模型按动作要求实现对模型的放大缩小，旋转等人机互动，需要说明的是，这里所说的模型是指所述交互操作过程中，所产生的图像；这样设置，使得本系统的应用不再局限于本地应用，还可通过云端处理模块应用于远程，使得其应用的范围和方式更加灵活；例如，可实现远程的同步示例教学模拟。
进一步地，在前述方案的基础上，所述主机还与外部的智能设备连接。
具体地，所述智能设备采用3D打印设备；即，模拟影像模块还可实现模型的输出，将选择的模型另存为stl格式，直接进行3D打印，使得显示更加直观。
上述系统的应用，利用导入的DICOM数据进行三维重建和相应的处理，在手术前可对病灶与病灶邻近组织模型重建，定位，选色，标注，制定手术规划、模拟开孔，分层和切割等，对病灶模型放大，旋转显示，且利用虚拟内镜导航设定功能，规划出手术路径，按内镜导航路线虚拟出内镜的图像，通过标注加强对病灶的功能提示和突出的明确显示，术中，医生对照病灶模型的裸眼3D屏幕显示观看，通过对病灶模型被放大，旋转显示，实现更好的辅助效果；同时在术前以病灶组织为模型，利用手术模拟对病人与家属宣教，做到更好地病患沟通。
基于上述同样的发明思路，参考图5，本发明实施例还提供了一种基于医学影像三维重建的手术辅助方法，应用于上述所述的一种基于医学影像三维重建的手术辅助系统，所述手术辅助系统的组成部分如前文所述，在此不再赘述，所述方法包括：
S101，由影像数据处理模块对导入的DICOM数据进行三维模型重建以生成第一图像，所述DICOM数据来源于CT/MRI数据库；
S102，由影像数据设置模块对所述第一图像中的病灶和各组织进行区别设置以得到目标图像；
S103，由模拟影像模块将所述目标图像采用加速引擎进行加载，以进行模拟空间图形展示；
S104，由交互装置医务人员对所述模拟空间图形进行交互操作，以实现模拟手术；所述交互装置用于识别医务人员对所述模拟空间图形的手部动作指令，实现对所述模拟空间图形的旋转、大小缩放的交互操作，以及利用辅具在术前设定手术入路，然后依照手术路线，模拟手术内镜导入时的场景图像，或实现对所述模拟空间图形的切割，并输出图像；
所述交互操作具体包括：
在所述模拟空间图形上选择特定的重建区域；
对所述重建区域进行颜色和透明度的设置以及显示的设置；
在所述模拟空间图形上选择需操作的表面区域，利用虚拟的手术工具对所述表面区域进行逐层模拟解剖；
S105，通过显示单元将所述模拟手术的过程以裸眼3D的形式进行展示。
进一步地，所述方法还包括：
将同一病灶的多组DICOM数据进行分组显示；
对选择的一组DICOM数据进行三维模型重建并准确对位重合以生成第一图像。
上述步骤由影像数据处理模块执行。
进一步地，所述方法还包括：
对所述第一图像中的病灶和各组织进行区间划分；
对划分的各区间设置不同范围的CT值；
根据不同范围的CT值进行再次重建以得到目标图像。
所述方法还包括：
只显示指定区间的重建结果；
对指定区间的重建结果进行着色；
设置指定区间的重建结果的透明度。
上述步骤由影像数据设置模块执行。
进一步地，所述方法还包括：
所述交互操作还包括：
对所述模拟空间图形进行任意切割，并对切割后的各图形模块进行分离；
对分离后指定的图形模块进行缩放、旋转操作；
对分离后指定的图形模块进行定位、着色操作。
具体地，所述旋转操作包括单独旋转或关联旋转，所述关联旋转包括指定图形模块的连续旋转和所述模拟空间图形的旋转。
在另一实施例中，在上述方法实施例的基础上，所述方法还包括：
利用虚拟内镜导航模块在所述模拟空间图形中选择指定目标进行测量；
对所述指定目标进行定位并对虚拟内窥镜进入人体的操作进行参数设定，所述参数设定包括导航路线设定、镜头行进速度参数和镜像参数；
根据所述导航路线设定示出虚拟内镜进入的影像。
进一步地，所述方法还包括：
利用云端处理模块将所述交互操作后的图像在云端同步，并进行深度计算，同时以裸眼3D的形式进行立体显示；
利用设置的触碰屏幕，实现远端的人机互动。
需要说明的是，上述方法与前述的系统实施例所对应，其方法步骤中，具体实施方式以及有益效果，参见前述的文字记载，在此不再赘述。
通过上述方法，利用对导入的DICOM数据进行重建并准确对位重合，然后对重建后的病灶和各组织进行区别设置，使对应的部分进行突出显示，增强其空间感，同时，利用互动的人机操作和裸眼3D的形式展示，在带来直观、生动的基础上，实现模拟手术的同时，也避免了使用AR设备会出现眩晕感以及图像画面质量不高的缺陷。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (6)
1.一种基于医学影像三维重建的手术辅助系统，其特征在于，包括主机、显示单元和人机交互单元；
所述主机包括影像数据处理模块、影像数据设置模块、模拟影像模块；
所述影像数据处理模块用于对导入的DICOM数据进行三维模型重建以生成第一图像，所述DICOM数据来源于CT/MRI数据库；
所述影像数据设置模块用于对所述第一图像中的病灶和各组织进行区别设置以得到目标图像；
所述模拟影像模块用于将所述目标图像采用加速引擎进行加载，以进行模拟空间图形展示；
所述人机交互单元包括交互装置，所述交互装置用于识别医务人员对所述模拟空间图形的手部动作指令，实现对所述模拟空间图形的旋转、大小缩放的交互操作，以及利用辅具在术前设定手术入路，然后依照手术路线，模拟手术内镜导入时的场景图像，或实现对所述模拟空间图形的切割，并输出图像，实现模拟手术；对选择的图形模块测量体积，通过设置一个标尺，可以对图形模块进行测量；所述模拟空间图形也是指代整体模型的意思，图形模块即为所选择的模型；
所述显示单元用于将所述模拟手术的过程以裸眼3D的形式进行展示；
所述主机还包括虚拟内镜导航模块，所述虚拟内镜导航模块用于：
在所述模拟空间图形中选择指定目标进行测量；
对所述指定目标进行定位并对虚拟内窥镜进入人体的操作进行参数设定，所述参数设定包括导航路线设定、镜头行进速度参数和镜像参数；
根据所述导航路线设定示出虚拟内镜进入的影像；所述影像数据处理模块具体用于：
将同一病灶的多组DICOM数据进行分组显示；
对选择的一组DICOM数据进行三维模型重建并准确对位重合以生成第一图像；重建时，每一组DICOM数据可指定不同的模型进行三维重建，以实现迅速达成模型重建并准确对位重合的目的；
所述影像数据设置模块具体用于：
对所述第一图像中的病灶和各组织进行区间划分；
对划分的各区间设置不同范围的CT值或MRI参数；
根据不同范围的CT值或MRI参数进行再次重建以得到目标图像；
所述主机还与外部的智能设备连接；所述智能设备采用3D打印设备；即，模拟影像模块还可实现模型的输出。
2.根据权利要求1所述的基于医学影像三维重建的手术辅助系统，其特征在于，所述影像数据设置模块还用于：
只显示指定区间的重建结果；
对指定区间的重建结果进行着色；
设置指定区间的重建结果的透明度。
3.根据权利要求1所述的基于医学影像三维重建的手术辅助系统，其特征在于，所述交互操作具体包括：
在所述模拟空间图形上选择特定的重建区域；
对所述重建区域进行颜色和透明度的设置以及显示的设置；
在所述模拟空间图形上选择需操作的表面区域，利用虚拟的手术工具对所述表面区域进行逐层模拟解剖。
4.根据权利要求3所述的基于医学影像三维重建的手术辅助系统，其特征在于，所述交互操作还包括：
对所述模拟空间图形进行任意切割，并对切割后的各图形模块进行分离；
对分离后指定的图形模块进行缩放、旋转操作；
对分离后指定的图形模块进行定位、着色操作。
5.根据权利要求4所述的基于医学影像三维重建的手术辅助系统，其特征在于，所述旋转操作包括单独旋转或关联旋转，所述关联旋转包括指定图形模块的连续旋转和所述模拟空间图形的旋转。
6.根据权利要求5所述的基于医学影像三维重建的手术辅助系统，其特征在于，所述主机还包括云端处理模块，所述云端处理模块用于：
将所述交互操作后的图像在云端同步，并将进行深度计算后的图像数据传输给指定端口，同时以裸眼3D的形式进行立体显示；
利用设置的触碰屏幕，实现远端的人机互动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010457378.XA CN111553979B (zh) | 2020-05-26 | 2020-05-26 | 基于医学影像三维重建的手术辅助系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010457378.XA CN111553979B (zh) | 2020-05-26 | 2020-05-26 | 基于医学影像三维重建的手术辅助系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111553979A CN111553979A (zh) | 2020-08-18 |
| CN111553979B true CN111553979B (zh) | 2023-12-26 |
Family
ID=72001374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010457378.XA Active CN111553979B (zh) | 2020-05-26 | 2020-05-26 | 基于医学影像三维重建的手术辅助系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111553979B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI741889B (zh) * | 2020-11-30 | 2021-10-01 | 財團法人金屬工業研究發展中心 | 手術空間註冊系統與方法 |
| CN112618026B (zh) * | 2020-12-15 | 2022-05-31 | 清华大学 | 远程手术数据融合交互显示系统及方法 |
| CN113256791A (zh) * | 2021-05-24 | 2021-08-13 | 南开大学 | 一种全息增强现实辅助的外科手术术中人机交互诊疗系统 |
| CN113681895B (zh) * | 2021-08-20 | 2023-03-10 | 宜宾显微智能科技有限公司 | 一种导针定位导向板定制及模拟验证系统及其方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2836728Y (zh) * | 2005-09-15 | 2006-11-15 | 吴大怡 | 颅颌面锥束计算机断层成像装置 |
| CN1931093A (zh) * | 2005-09-15 | 2007-03-21 | 吴大怡 | 颅颌面锥束计算机断层成像装置 |
| CN101422352A (zh) * | 2008-12-10 | 2009-05-06 | 华北电力大学（保定） | 一种交互式冠状动脉虚拟血管镜的实现方法 |
| WO2017088816A1 (zh) * | 2015-11-27 | 2017-06-01 | 广州聚普科技有限公司 | 一种基于dti的颅内神经纤维束的三维重建方法 |
| CN106874700A (zh) * | 2017-04-01 | 2017-06-20 | 上海术理智能科技有限公司 | 基于Web的手术模拟方法、手术模拟装置及电子设备 |
| CN109061892A (zh) * | 2018-09-27 | 2018-12-21 | 广州狄卡视觉科技有限公司 | 整形外科医学影像模型重建互动裸眼立体显示系统及方法 |
| CN109157284A (zh) * | 2018-09-28 | 2019-01-08 | 广州狄卡视觉科技有限公司 | 一种脑肿瘤医学影像三维重建显示交互方法及系统 |
| CN109223121A (zh) * | 2018-07-31 | 2019-01-18 | 广州狄卡视觉科技有限公司 | 基于医学影像模型重建、定位的脑出血穿刺手术导航系统 |
| CN109414180A (zh) * | 2016-06-30 | 2019-03-01 | 直观外科手术操作公司 | 在图像引导程序期间以多种模式显示指导信息的图形用户界面 |
| CN110174953A (zh) * | 2019-07-01 | 2019-08-27 | 苏州蓝软智能医疗科技有限公司 | 基于混合现实技术的假体置换手术模拟系统及构建方法 |
| CN110428887A (zh) * | 2019-08-05 | 2019-11-08 | 河南省三门峡市中心医院(三门峡市儿童医院、三门峡市妇幼保健院) | 一种脑肿瘤医学影像三维重建显示交互方法及系统 |
| CN110478050A (zh) * | 2019-08-23 | 2019-11-22 | 北京仁馨医疗科技有限公司 | 基于ct/mri数据的三维图像与内镜影像融合方法、装置及系统 |
| CN110517238A (zh) * | 2019-08-20 | 2019-11-29 | 厦门天允星途医疗科技有限公司 | Ct医学影像ai三维重建与人机交互可视化网络系统 |
| CN110584780A (zh) * | 2019-09-11 | 2019-12-20 | 湘南学院附属医院 | 一种脑出血穿刺手术导航系统 |
| CN110663084A (zh) * | 2017-04-18 | 2020-01-07 | 直观外科手术操作公司 | 用于规划程序的图形用户界面 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2920565B1 (fr) * | 2007-08-29 | 2009-12-18 | Ensam Ecole Nationale Superieu | Procede de reconstruction en trois dimensions d'un objet singulier a partir d'imagerie par coupes (scanner, irm) |
| JP6161004B2 (ja) * | 2011-03-09 | 2017-07-12 | 国立大学法人大阪大学 | 画像データ処理装置および経頭蓋磁気刺激装置 |
| EP3301649B1 (en) * | 2017-09-07 | 2019-10-30 | Siemens Healthcare GmbH | Method for processing medical image data and image processing system for medical image data |
-
2020
- 2020-05-26 CN CN202010457378.XA patent/CN111553979B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1931093A (zh) * | 2005-09-15 | 2007-03-21 | 吴大怡 | 颅颌面锥束计算机断层成像装置 |
| CN2836728Y (zh) * | 2005-09-15 | 2006-11-15 | 吴大怡 | 颅颌面锥束计算机断层成像装置 |
| CN101422352A (zh) * | 2008-12-10 | 2009-05-06 | 华北电力大学（保定） | 一种交互式冠状动脉虚拟血管镜的实现方法 |
| WO2017088816A1 (zh) * | 2015-11-27 | 2017-06-01 | 广州聚普科技有限公司 | 一种基于dti的颅内神经纤维束的三维重建方法 |
| CN109414180A (zh) * | 2016-06-30 | 2019-03-01 | 直观外科手术操作公司 | 在图像引导程序期间以多种模式显示指导信息的图形用户界面 |
| CN106874700A (zh) * | 2017-04-01 | 2017-06-20 | 上海术理智能科技有限公司 | 基于Web的手术模拟方法、手术模拟装置及电子设备 |
| CN110663084A (zh) * | 2017-04-18 | 2020-01-07 | 直观外科手术操作公司 | 用于规划程序的图形用户界面 |
| CN109223121A (zh) * | 2018-07-31 | 2019-01-18 | 广州狄卡视觉科技有限公司 | 基于医学影像模型重建、定位的脑出血穿刺手术导航系统 |
| CN109061892A (zh) * | 2018-09-27 | 2018-12-21 | 广州狄卡视觉科技有限公司 | 整形外科医学影像模型重建互动裸眼立体显示系统及方法 |
| CN109157284A (zh) * | 2018-09-28 | 2019-01-08 | 广州狄卡视觉科技有限公司 | 一种脑肿瘤医学影像三维重建显示交互方法及系统 |
| CN110174953A (zh) * | 2019-07-01 | 2019-08-27 | 苏州蓝软智能医疗科技有限公司 | 基于混合现实技术的假体置换手术模拟系统及构建方法 |
| CN110428887A (zh) * | 2019-08-05 | 2019-11-08 | 河南省三门峡市中心医院(三门峡市儿童医院、三门峡市妇幼保健院) | 一种脑肿瘤医学影像三维重建显示交互方法及系统 |
| CN110517238A (zh) * | 2019-08-20 | 2019-11-29 | 厦门天允星途医疗科技有限公司 | Ct医学影像ai三维重建与人机交互可视化网络系统 |
| CN110478050A (zh) * | 2019-08-23 | 2019-11-22 | 北京仁馨医疗科技有限公司 | 基于ct/mri数据的三维图像与内镜影像融合方法、装置及系统 |
| CN110584780A (zh) * | 2019-09-11 | 2019-12-20 | 湘南学院附属医院 | 一种脑出血穿刺手术导航系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111553979A (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553979B (zh) | 基于医学影像三维重建的手术辅助系统及方法 | |
| Venkatesan et al. | Virtual and augmented reality for biomedical applications | |
| Bernardo | Virtual reality and simulation in neurosurgical training | |
| US11413094B2 (en) | System and method for multi-client deployment of augmented reality instrument tracking | |
| CN102208114B (zh) | 投影图像生成技术 | |
| US6049622A (en) | Graphic navigational guides for accurate image orientation and navigation | |
| Robb | Virtual endoscopy: development and evaluation using the Visible Human datasets | |
| US20210015583A1 (en) | Augmented reality system and method for tele-proctoring a surgical procedure | |
| Gsaxner et al. | The HoloLens in medicine: A systematic review and taxonomy | |
| Temkin et al. | An interactive three‐dimensional virtual body structures system for anatomical training over the internet | |
| CN106980383A (zh) | 一种虚拟模型展示方法、模块及基于该模块的虚拟人体解剖模型展示系统 | |
| US7924295B2 (en) | Image processing device for expanded representation of three-dimensional image data sets | |
| CN113035038A (zh) | 一种虚拟骨科手术练习系统及模拟训练方法 | |
| CN112967786B (zh) | 基于多模影像与交互设备的解剖导航的构建方法及系统 | |
| CN110136522A (zh) | 颅底手术模拟教学培训系统 | |
| CN104112384A (zh) | 一种神经外科虚拟手术训练系统 | |
| JP2008302090A (ja) | 医用画像表示装置及びプログラム | |
| Müller et al. | The virtual reality arthroscopy training simulator | |
| Talyshinskii et al. | Patient counseling through the pelvicalyceal-shaped labyrinth: in search of an easy understanding of the upcoming stone removal: a pilot study | |
| Xu et al. | Doctoral colloquium—a snapshot of the future: Virtual and augmented reality training for radiology | |
| Balzli et al. | 3D multimodal teaching of human anatomy and autopsy with real human data | |
| CN101176683A (zh) | 人体立体解剖图象的制作方法与应用 | |
| Cai et al. | Development and application of vr support system for medical students | |
| CN114913309A (zh) | 基于混合现实的高仿真外科手术教学系统及其方法 | |
| TW202207242A (zh) | 用於增強現實脊柱手術之系統及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 510663 room 106, east half of the third floor of Building 1, No. 62, Nanxiang 1st Road, Science City, Huangpu District, Guangzhou City, Guangdong Province Applicant after: Guangzhou Dika Health Technology Co.,Ltd. Address before: 510663 room 106, east half of the third floor of Building 1, No. 62, Nanxiang 1st Road, Science City, Huangpu District, Guangzhou City, Guangdong Province Applicant before: GUANGZHOU DIKA VISION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231124 Address after: 510670 East half of Building 3, No. 62 Nanxiang 1st Road, Science City, Guangzhou Economic and Technological Development Zone, Guangzhou City, Guangdong Province Applicant after: GUANGZHOU ARAHELIO BIOLOGICAL TECHNOLOGY CO.,LTD. Address before: 510663 room 106, east half of the third floor of Building 1, No. 62, Nanxiang 1st Road, Science City, Huangpu District, Guangzhou City, Guangdong Province Applicant before: Guangzhou Dika Health Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |