CN112950774A - 一种三维建模装置、手术规划系统及教学系统 - Google Patents
一种三维建模装置、手术规划系统及教学系统 Download PDFInfo
- Publication number
- CN112950774A CN112950774A CN202110396314.8A CN202110396314A CN112950774A CN 112950774 A CN112950774 A CN 112950774A CN 202110396314 A CN202110396314 A CN 202110396314A CN 112950774 A CN112950774 A CN 112950774A
- Authority
- CN
- China
- Prior art keywords
- medical image
- head
- module
- neck
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 230000003321 amplification Effects 0.000 claims description 15
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 83
- 238000000034 method Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 210000001519 tissue Anatomy 0.000 description 14
- 238000005520 cutting process Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 10
- 238000005457 optimization Methods 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000001715 carotid artery Anatomy 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 208000027205 Congenital disease Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000003109 clavicle Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 210000002388 eustachian tube Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000000256 facial nerve Anatomy 0.000 description 1
- 210000004491 foramen ovale Anatomy 0.000 description 1
- 208000014829 head and neck neoplasm Diseases 0.000 description 1
- 210000001169 hypoglossal nerve Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 210000001785 incus Anatomy 0.000 description 1
- 208000027866 inflammatory disease Diseases 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000004731 jugular vein Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000001699 lower leg Anatomy 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 210000001664 manubrium Anatomy 0.000 description 1
- 210000001595 mastoid Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 210000002990 parathyroid gland Anatomy 0.000 description 1
- 210000003681 parotid gland Anatomy 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 210000002480 semicircular canal Anatomy 0.000 description 1
- 210000001050 stape Anatomy 0.000 description 1
- 210000001913 submandibular gland Anatomy 0.000 description 1
- 210000001738 temporomandibular joint Anatomy 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 210000003901 trigeminal nerve Anatomy 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供一种三维建模装置、手术规划系统及教学系统。三维建模装置包括：医学影像获取模块，用于获取头颈部医学影像；特征模型获取模块，用于根据头颈部医学影像中的组织类型获取匹配的特征提取模型；特征值获取模块，用于获取头颈部医学影像的多个特征值；权重值获取模块，用于获取各特征值对应的权重；特征值融合模块，用于获取一组合特征；分割结果获取模块，用于获取头颈部医学影像的分割结果；文件生成模块，用于生成三维模型文件；三维模型构建模块，用于获取头颈部医学影像的三维模型。所述三维建模装置生成的三维模型具有较高的精确度，可以直接应用于头颈部外科手术的手术规划或手术导航中。
Description
技术领域
本发明涉及一种三维建模装置，特别是涉及一种三维建模装置、手术规划系统及教学系统。
背景技术
头颈外科是耳鼻咽喉科的一门延伸学科，是为适应头颈部与耳鼻咽喉科相关恶性肿瘤的临床诊治与科研的需要而逐步发展起来的学科。头颈外科疾病根据发病时间、部位及性质的不同可以分为很多种，总体概括为：颈的先天性疾病及畸形、颈部炎性疾病、颈部血管性疾病、甲状腺和甲状旁腺疾病、下颌下腺疾病、腮腺疾病、颈部肿瘤、颈部肿块等等。外科手术是治疗头颈部肿瘤最常用的根治手段之一，要求在彻底切除肿瘤的基础上，尽可能保留器官的基本功能，在提高患者生存率的同时提高生存质量。
实际临床中，基于患者的头颈部三维模型进行手术规划或手术导航，能够使得头颈部外科手术更加快速、更加精确和更加安全。而手术规划或手术导航的实现依赖于对患者头颈部的三维建模。然而，发明人在实际应用中发现，不同于其他部位的外科手术，患者对于头颈部外科手术通常具有微创以及尽可能保留组织的外观和功能等需求，因此，对于头颈部外科手术所进行的手术规划或手术导航必须要有较高的准确度，为满足这一要求，在对患者的头颈部进行三维建模时必须要有足够高的精确度，这就导致现有的三维建模技术很难直接应用到对头颈部的三维建模中。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种三维建模装置、手术规划系统及教学系统，用于解决现有三维建模技术很难直接应用到对头颈部的三维建模中的问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种头颈部医学影像的三维建模装置，所述三维建模装置包括：医学影像获取模块，用于获取患者的头颈部医学影像；特征模型获取模块，与所述医学影像获取模块相连，用于根据所述头颈部医学影像中的组织类型获取匹配的特征提取模型；特征值获取模块，与所述医学影像获取模块和所述特征模型获取模块相连，用于利用所述特征提取模型对所述头颈部医学影像进行处理，以获取所述头颈部医学影像的多个特征值；权重值获取模块，与所述特征值获取模块相连，用于获取各所述特征值对应的权重；特征值融合模块，与所述特征值获取模块和所述权重值获取模块相连，用于根据各所述特征值对应的权重对各所述特征值进行融合，以获取一组合特征；分割结果获取模块，与所述特征值融合模块相连，用于对所述组合特征进行处理，以获取所述头颈部医学影像的分割结果；文件生成模块，与所述分割结果获取模块相连，用于根据所述分割结果所包含的坐标点集合生成三维模型文件；三维模型构建模块，与所述文件生成模块相连，用于采用三维可视化技术对所述三维模型文件进行处理，以获取所述头颈部医学影像的三维模型。
于所述第一方面的一实施例中，所述特征提取模型包括卷积层、激活函数层和池化层，且所述特征提取模型中任一中间层输出的特征图谱均作为其后每一层的输入参数。
于所述第一方面的一实施例中，所述特征模型获取模块根据所述头颈部医学影像中的组织类型从一模型库中获取所述特征提取模型，其中，所述模型库中包括多个预训练完成的特征提取模型，且所述模型库中的每一特征提取模型均与一种头颈部组织相匹配。
于所述第一方面的一实施例中，所述三维建模装置还包括：信息扩增模块，与所述医学影像获取模块和所述特征值获取模块相连，用于对所述头颈部医学影像进行处理以获取至少一幅中间医学影像，所述特征值获取模块用于利用所述特征提取模型对所述头颈部医学影像和所述中间医学影像进行处理，以获取所述头颈部医学影像的多个特征值。
于所述第一方面的一实施例中，所述特征值获取模块还用于对所述多个特征值进行筛选。
于所述第一方面的一实施例中，所述文件生成模块包括：中间文件生成单元，与所述分割结果获取模块相连，用于将所述坐标点集合中的所有坐标替换至医学数字成像和通信像素矩阵中，以获取一中间文件；三维模型文件生成单元，与所述中间文件生成单元相连，用于将所述中间文件转换为mhd文件，所述mhd文件即为所述三维模型文件。
于所述第一方面的一实施例中，所述三维建模装置还包括：显示模块，与所述三维模型构建模块相连，用于显示所述头颈部医学影像的三维模型。
于所述第一方面的一实施例中，所述三维建模装置还包括：交互控制模块，与所述显示模块相连，用于响应于接收到的控制指令对所述显示模块的显示内容和/或显示方式进行控制。
本发明的第二方面提供一种术前规划系统，所述术前规划系统包括本发明第一方面任一项所述的三维建模装置。
本发明的第三方面提供一种教学系统，所述教学系统包括：本发明第一方面任一项所述的三维建模装置，用于获取所述头颈部医学影像的三维模型；虚拟现实显示模块，与所述三维建模装置相连，用于采用虚拟现实技术显示所述头颈部医学影像的三维模型。
如上所述，本发明所述三维建模装置、手术规划系统及教学系统的一个技术方案具有以下有益效果：
所述三维建模装置利用的是与所述头颈部医学影像中的组织类型相匹配的特征提取模型，且基于各特征值对应的权重值进行特征值融合并根据融合得到的组合特征来对头颈部医学影像进行分割，能够保证得到的分割结果具有较高的精确度。根据所述高精确度的分割结果所获取的头颈部医学影像的三维模型同样具有较高的精确度，因而能够直接应用于头颈部外科手术的手术规划或手术导航中。
附图说明
图1A显示为本发明所述三维建模装置于一具体实施例中的结构示意图。
图1B显示为本发明所述三维建模装置于一具体实施例中特征提取模型的网络结构示意图。
图2显示为本发明所述三维建模装置于另一具体实施例中的结构示意图。
图3显示为本发明所述三维建模装置于一具体实施例中文件生成模块的结构示意图。
元件标号说明
1 三维建模装置
11 医学影像获取模块
12 特征模型获取模块
13 特征值获取模块
14 权重值获取模块
15 特征值融合模块
16 分割结果获取模块
17 文件生成模块
171 中间文件生成单元
172 三维模型文件生成单元
18 三维模型构建模块
19 信息扩增模块
110 显示模块
111 交互控制模块
2 特征提取模型
21 卷积层
22 激活函数层
23 池化层
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。此外，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
实际临床中，基于患者的头颈部三维模型进行手术规划或手术导航，能够使得头颈部外科手术更加快速、更加精确和更加安全。而手术规划或手术导航的实现依赖于对患者头颈部的三维建模。然而，不同于其他部位的外科手术，患者对于头颈部外科手术具有微创以及尽可能保留组织的外观和功能等需求，因此，对于头颈部外科手术所进行的手术规划或手术导航必须要有较高的准确度，为满足这一要求，在对患者的头颈部进行三维建模时必须要有足够高的精确度，这就导致现有的三维建模技术很难直接应用到对头颈部的三维建模中。
针对上述问题，本发明提供一种三维建模装置。首先，所述三维建模装置利用的是与所述头颈部医学影像中的组织类型相匹配的特征提取模型，例如，对于包含颈动脉的医学影像，所述三维建模装置利用与颈动脉相匹配的特征提取模型，对于包含外耳道的医学影像，所述三维建模装置利用与外耳道相对应的特征提取模型，此种方式能够提升所得到的特征值的准确度。其次，对于所述特征提取模型获取的多个特征值，不同特征值对分割结果的作用和贡献各不相同，基于此，所述三维建模装置为不同的特征值分别配置对应的权重，并基于各特征值对应的权重值进行特征值融合并根据融合得到的组合特征来对头颈部医学影像进行分割，通过此种方式能够提升分割结果的精确度。根据所述高精确度的分割结果所获取的头颈部医学影像的三维模型同样具有较高的精确度，因此，本发明所述三维建模装置获取的头颈部医学影像的三维模型能够直接应用于头颈部外科手术的手术规划或手术导航中。
请参阅图1A，于本发明的一实施例中，所述三维建模装置1包括医学影像获取模块11、特征模型获取模块12、特征值获取模块13、权重值获取模块14、特征值融合模块15、分割结果获取模块16、文件生成模块17和三维模型构建模块18。
所述医学影像获取模块11用于获取患者的头颈部医学影像，所述头颈部医学影像例如为来自于不同医院、不同院区、不同机器上获取的患者的CT(Computed Tomography，计算机断层扫描)或MR(Magnetic Resonance，磁共振)影像。需要说明的是，即便同一机器所采集到的医学影像也可能包含多种参数的差异，例如：呼吸运动、管电压、管电流、信噪比、重建方法等方面的差异。
所述特征模型获取模块12与所述医学影像获取模块11相连，用于根据所述头颈部医学影像中的组织类型来获取匹配的特征提取模型。所述组织类型例如为乳突、颧部、颅窝、总脚、耳蜗、鼓窦、镫骨、圆窗、匙突、前庭、鼓膜、茎突、齿突、半规管、咽鼓管、乙状窦、面神经、颈动脉、颈静脉、锤骨柄、砧骨体、面隐窝、外耳道、下颌骨、舌下神经、枕骨髁、卵圆孔、内听道、二腹肌峭、颞颌关节、弓状隆起、岩浅大神经、三叉神经等。
可选地，所述特征模型获取模块12根据所述头颈部医学影像中的组织类型从一模型库中获取所述特征提取模型，其中，所述模型库中包括多个预训练完成的特征提取模型，且所述模型库中的每一特征提取模型均与一种头颈部组织相匹配。
优选地，请参阅图1B，所述特征提取模型2包括卷积层21、激活函数层22和池化层23，且所述特征提取模型中任一中间层输出的特征图谱均作为其后每一层的输入参数，其中，所述中间层是指输入层和输出层之间的层。此时，由于所述特征提取模型中的任何一个中间层输出的特征图谱，均能够被后面的所有层访问，使得各个中间层所捕获的特征能够被充分复用，因而模型较为紧凑且其参数的数量相对较少，有利于简化模型的复杂度。并且，由于所述特征提取模型中含有较多的快捷连接，使得模型中各个层都能独立的接收损失函数的梯度传导，从而实现深度监督。此外，在所述特征提取模型内部，任意一个中间层与后面所有的层都有直接的连接，使得两个不同模型中的网络层隔着转换层相连接成为可能，因而能够实现随机的深度和连接。
所述特征值获取模块13与所述医学影像获取模块11和所述特征模型获取模块12相连，用于利用所述特征提取模型对所述头颈部医学影像进行处理，以获取所述头颈部医学影像的多个特征值。具体地，所述特征提取模型具有多个输出通道，其中，每个通道对应一个特征值。
可选地，所述特征值获取模块13还用于对所述多个特征值进行筛选，例如，可以采用正则化项L1对所述多个特征值进行筛选，以防止所述特征提取模型出现过拟合。
所述权重值获取模块14与所述特征值获取模块13相连，用于获取各所述特征值对应的权重。具体地，由于不同特征值在影像分割以及三维模型重建的不同任务中所起的作用存在差异，因此，为了进一步提升分割结果以及三维模型的精确度，可以根据各所述特征值在具体任务中所起的作用的大小为其配置对应的权重，例如，对于影像分割任务，若某一特征值在该任务中所起的作用越大，则该特征值对应的权重越大，反之则越小。
所述特征值融合模块15与所述特征值获取模块13和所述权重值获取模块14相连，用于根据各所述特征值对应的权重对各所述特征值进行融合，以获取一组合特征。具体地，所述组合特征为
其中，wi为第i个特征值对应的权重，Fi为第i个特征值，M为所述特征值的数量。
所述分割结果获取模块16与所述特征值融合模块15相连，用于对所述组合特征进行处理，以获取所述头颈部医学影像的分割结果。所述分割结果例如为病灶或组织边界的勾勒，也即一系列矩阵上的坐标点。
所述文件生成模块17与所述分割结果获取模块16相连，用于根据所述分割结果所包含的坐标点集生成三维模型文件，所述三维模型文件例如为mhd文件。
所述三维模型构建模块18与所述文件生成模块17相连，用于采用三维可视化技术对所述三维模型文件进行处理，以获取所述头颈部医学影像的三维模型。具体地，所述三维模型构建模块18读取所述三维模型文件并利用三维可视化技术对获得的模型进行渲染，即可得到所述头颈部医学影像的三维模型。并且，所述三维模型构建模块18还可以重现个体化解剖的三维结构，通过透明、旋转、缩放、着色等操作方法以方便用户对于器官和组织的空间三维结构进行观测和了解。此外，所述三维模型构建模块18也可以通过长度、角度、面积、体积等测量方法，实现对三维空间个体解剖的生物特征信息的量化。
根据以上描述可知，本实施例所述三维建模装置利用的是与所述头颈部医学影像中的组织类型相匹配的特征提取模型，且基于各特征值对应的权重值进行特征值融合并根据融合得到的组合特征来对头颈部医学影像进行分割，能够保证得到的分割结果具有较高的精确度。根据所述高精确度的分割结果所获取的头颈部医学影像的三维模型同样具有较高的精确度，因而能够直接应用于头颈部外科手术的手术规划或手术导航中。
请参阅图2，于本发明的一实施例中，考虑到所述头颈部医学影像多为黑白的二维图像，其信息量有限，为了增加其信息量与数据多样性，本实施例中，所述三维建模装置1还包括信息扩增模块19。所述信息扩增模块19与所述医学影像获取模块11和所述特征值获取模块13相连，用于对所述头颈部医学影像进行处理以获取至少一副中间医学影像，所述特征值获取模块13利用所述特征提取模块对所述头部医学影像和所述中间医学影像进行处理，以获取所述头颈部医学影像的多个特征值。
可选地，所述信息扩增模块19利用生成式对抗网络对所述头颈部医学影像进行处理以生成所述中间医学影像。
可选地，所述信息扩增模块19采用高斯拉普拉斯变换对所述头颈部医学影像进行处理以生成所述中间医学影像，具体变换公式为：
其中，x、y和z分别为像素点在x轴、y轴和z轴的坐标值，σ为标准差，G(x,y,z,σ)为变换后的值，所述扩增模块19利用该公式对所述头颈部医学影像中的每一像素点进行变换，即可得到所述中间医学影像。
可选地，所述信息扩增模块19采用小波变换对所述头颈部医学影像进行处理以生成所述中间医学影像，具体变换公式为：
其中，
为基本小波函数，a＞0为尺度因子，τ反映位移，x(t)为每个像素点的强度，WTx(a,τ)为变换后的值。
可选地，所述信息扩增模块19采用图像强度平方滤波对所述头颈部医学影像进行处理，以获取所述中间医学影像，具体变换公式为：f(x)＝(c1×x)2，其中
x和f(x)分别为所述头颈部医学影像和所述中间医学影像的图像强度。
可选地，所述信息扩增模块19采用图像强度平方根滤波对所述头颈部医学影像进行处理，以获取所述中间医学影像，具体变换公式为：
其中，c2＝max(|x|)，x和f(x)分别为所述头颈部医学影像和所述中间医学影像的图像强度。
可选地，所述信息扩增模块19采用对数变换对所述头颈部医学影像进行处理以获取所述中间医学影像，具体变换公式为：
其中
x和f(x)分别为所述头颈部医学影像和所述中间医学影像的图像强度。
可选地，所述信息扩增模块19采用指数变换对所述头颈部医学影像进行处理以获取所述中间医学影像，具体变换公式为：
其中，
x和f(x)分别为所述头颈部医学影像和所述中间医学影像的图像强度。
可选地，所述信息扩增模块19采用梯度变换对所述头颈部医学影像进行处理以获取所述中间医学影像，具体变换公式为：
其中，f为所述头颈部医学影像的像素矩阵。
可选地，所述信息扩增矩阵19采用局部二值变换对所述头颈部医学影像进行处理以获取所述中间医学影像，具体变换公式为：
其中，
(xc,yc)为中心像素，其亮度为ic，ip为相邻像素的亮度，P为所述中心像素的相邻像素的数量。
根据以上描述可知，本实施例通过所述信息扩增模块19能够获取至少一幅中间医学影像，能够增加所述头颈部医学影像的信息量与数据的多样性，根据所述头颈部医学影像和所述中间医学影像共同获取的特征值携带有更多的信息，基于此种特征值得到的分割结果具有更高的准确度，有利于进一步提升所述三维模型的精确度。
请参阅图3，于本发明的一实施例中，所述文件生成模块17包括中间文件生成单元171和三维模型文件生成单元172。
所述中间文件生成单元171与所述分割结果获取模块16相连，用于获取DICOM(Digital Imaging and Communications in Medicine，医学数字成像和通信)文件中的像素矩阵，并将所述坐标点集合中的所有坐标替换至DICOM文件的像素矩阵中，其值根据组织类型预先设定，从而形成新的DICOM文件，该新的DICOM文件即为所述中间文件。
例如，若分割结果中的坐标点用1标识，其余点用0标识，则本实施例中获取的一个分割结果用矩阵表示为
假设获取的DICOM文件中的一个原始像素矩阵为
如果将最高值设置为9，则将所述坐标点集合中的所有坐标替换至所述DICOM文件的原始像素矩阵后得到的矩阵为
根据该矩阵即可生成所述新的DICOM文件。
所述三维模型文件生成单元172与所述中间文件生成单元171相连，用于将所述中间文件转换为mhd文件，所述mhd文件即为所述三维模型文件，也即三维模型初稿。
于本发明的一实施例中，所述三维建模装置1还包括显示模块110。所述显示模块110与所述三维模型构建模块18相连，用于显示所述头颈部医学影像的三维模型。
可选地，所述三维建模装置1还包括交互控制模块111。所述交互模块111与所述显示模块110相连，用于响应于接收到的控制指令对所述显示模块的显示内容和/或显示方式进行控制。
可选地，所述控制指令包括二维图像显示指令、三维图像显示指令、图像分割指令或模型数据处理指令，所述交互控制模块111响应于所述控制指令而控制所述显示模块110分别实现二维图像视图功能、三维图像视图功能、图像分割功能或模型数据处理功能。
具体地，所述二维图像视图功能包括：实现多图显示，以及三维、横断面、矢状面和冠状面视图放大显示；允许用户通过鼠标等输入设备输入控制指令以实现窗宽窗位调节，并且在状态条显示窗宽窗位信息；允许用户通过控制指令设置十字交叉线、提示信息的显示和隐藏；允许用户通过控制指令在二维视图或三维视图中对感兴趣区域进行设置和调节；以弹出菜单等形式提示用户重置三维场景摄像头位置和图像窗宽窗位的缺省值；允许用户通过控制指令在二维视图中进行距离、角度、十字交叉线和面积测量；允许用户通过控制指令对不同断面图像进行自动滚屏、截图和视频录制；允许用户通过控制指令进行分割数据显示、隐藏、参数、更名、修改透明度、查看属性和/或复制粘贴。
所述三维视图功能包括：允许用户通过控制指令对分割数据进行三维预览，以及在三维视图中实现局部添加、局部删除、多边形裁切和智能联通；允许用户通过控制指令对三维模型进行渲染，以正确显示三维深度位置关系；允许用户通过控制指令实现三维图像数据的体绘制(Volume Rendering)以及与面模型数据的融合显示；允许用户通过控制指令进行三维模型的旋转、放大、缩小、显示、隐藏和透明等交互操作；允许用户通过控制指令在三维视图中进行长度、角度、面积、最大径和体积的测量；实现模型的自动旋转、加速、停止、截图和录制视频；允许用户通过控制指令在三维视图中进行任意切面调节和查看；允许用户通过控制指令进行三维渲染场景的背景色设置；允许用户通过控制指令对三维模型数据进行显示和隐藏、参数更名、修改透明度、查看属性以及复制粘贴；允许用户通过控制指令对三维模型在立体空间中进行三维的位置调节；允许用户通过控制指令进行动态智能连接血管，动态添加分割血管，对局部分割的数据进行删除、平滑、填充和膨胀操作，并且实现对三维模式下的分割数据进行任意形态的裁切；允许用户通过控制指令进行自动去背板、自动去骨和任意形态裁切，并配合三维阅片功能实现所见即所得模式的图像分割功能。
所述图像分割功能包括：允许用户通过控制指令新建分割数据并自动选择分割的颜色；允许用户通过直观的划线和拖动边界线等方式输入控制指令以实现阈值分割的参数选择；基于用户选定的起点和调节的阈值范围分割出最大联通结果；对于阈值界限不清楚的对象通过单步分割处理得到分割结果；对于CT阈值不均的图像实现智能分割；支持血管增强，对于造影状况不好的数据实现血管分割；对已经确认的分割，可以随时通过三维建模来实现从分割数据到Mesh数据的转换；自动对分割结果进行优化。
所述模型数据处理功能包括：根据已经分割的数据选择恰当的参数进行三维建模，以获得用于3D打印和显示的Mesh表面模型；允许用户通过控制指令进行线裁切，即，允许用户通过输入设备在三维模型上选择两点以生成环状裁切线，并在空白处双击鼠标执行裁切，右键双击取消，在此过程中可以连续选点，以最终选择为准；允许用户通过控制指令进行柱状裁切，即，允许用户通过输入设备构建柱状体以包围待裁切的面数据，并基于该柱状体进行裁切；允许用户通过控制指令进行点选裁切，即，允许用户设置起始点、并通过鼠标滚轮等方式来扩展联通区域，基于用户的选择进行裁切；允许用户通过控制指令进行拖拽变形，即，对于特定的模型，允许用户选择一个中心点并随着点的移动实现模型变形；允许用户通过控制指令进行框选优化，即，允许用户通过鼠标点击等方式拉伸一个矩形区域来确定选择表面模型的表面，进而对局部优化模型表面进行优化平滑以减少三件面数据；允许用户通过控制指令进行点选优化，即，允许用户通过鼠标点击等方式选择一个连通区域来确定选择表面模型的表面，进而对局部优化模型表面进行优化平滑以减少三件面数据；实现模型的全局优化，并允许用户通过控制指令选择不同的优化等级；允许用户通过控制指令进行联通选择，即，允许用户选择联通的模型进行复制和删除，例如，用户在选中模型以后双击左键为复制，双击右键为删除；自动重建皮肤模型而不对任何分割数据进行操作；将表面模型重新转换为二值图像模型；对面模型进行合并；允许用户通过控制指令对模型编辑数据进行回退处理；支持安全编辑，即，在选中肿瘤或者占位以后，实现肿瘤的安全距离范围内肿瘤边界的模拟；允许用户通过控制指令测量血管在三维模式下的距离；允许用户根据穿刺的位置，通过控制指令设置穿刺或者规定导板；允许用户通过控制指令进行手术模拟，即，允许用户通过曲面裁切工具以手动模式对面模型进行裁切，例如，用户可以依次通过“点选曲面”、“生成曲面”和“曲面裁切”三个步骤来实现裁切操作，在裁切完成以后自动计算两个裁切部分的体积和最大直径；允许用户通过控制指令进行手动配准，即，允许用户通过鼠标等方式来移动表面模型从而配准相应模型的空间位置关系；允许用户通过控制指令进行流域分析，即，根据血管、气管等管道结构分析出对应分支的支配和营养的器官分段。
基于以上对所述三维建模装置的描述，本发明还提供一种术前规划系统，所述术前规划系统包括图1A或图2所示的三维建模装置。
可选地，所述术前规划系统可以采用HoloLens设备来展示个体化的三维医学案例，并为用户带来良好的浸入感。所述术前规划系统可以对场景进行360度旋转、距离远近以及大小缩放，改变影像的颜色以及透明度，对部位进行拆分以便于观察医学影像的具体信息。此外，所述术前规划系统还可以支持多人协同，以实现多人多视角、协同操作(场景位置、旋转、缩放等实时同步)、共同观看。并且，所述术前规划系统也可以通过大屏扩展显示输出内容，并允许用户通过声音、手势或平板控制交互。
基于以上对所述三维建模装置的描述，本发明还提供一种教学系统。所述教学系统包括图1A或图2所示的三维建模转置以及虚拟显示模块，其中，所述三维建模装置用户获取所述头颈部医学影像的三维模型，所述虚拟现实显示模块与所述三维建模装置相连，用于采用虚拟现实技术显示所述头颈部医学影像的三维模型。
本发明所述三维建模装置利用的是与所述头颈部医学影像中的组织类型相匹配的特征提取模型，且基于各特征值对应的权重值进行特征值融合并根据融合得到的组合特征来对头颈部医学影像进行分割，能够保证得到的分割结果具有较高的精确度。根据所述高精确度的分割结果所获取的头颈部医学影像的三维模型同样具有较高的精确度，因而能够直接应用于头颈部外科手术的手术规划或手术导航中。
综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种头颈部医学影像的三维建模装置，其特征在于，所述三维建模装置包括：
医学影像获取模块，用于获取患者的头颈部医学影像；
特征模型获取模块，与所述医学影像获取模块相连，用于根据所述头颈部医学影像中的组织类型获取匹配的特征提取模型；
特征值获取模块，与所述医学影像获取模块和所述特征模型获取模块相连，用于利用所述特征提取模型对所述头颈部医学影像进行处理，以获取所述头颈部医学影像的多个特征值；
权重值获取模块，与所述特征值获取模块相连，用于获取各所述特征值对应的权重；
特征值融合模块，与所述特征值获取模块和所述权重值获取模块相连，用于根据各所述特征值对应的权重对各所述特征值进行融合，以获取一组合特征；
分割结果获取模块，与所述特征值融合模块相连，用于对所述组合特征进行处理，以获取所述头颈部医学影像的分割结果；
文件生成模块，与所述分割结果获取模块相连，用于根据所述分割结果所包含的坐标点集合生成三维模型文件；
三维模型构建模块，与所述文件生成模块相连，用于采用三维可视化技术对所述三维模型文件进行处理，以获取所述头颈部医学影像的三维模型。
2.根据权利要求1所述的三维建模装置，其特征在于：所述特征提取模型包括卷积层、激活函数层和池化层，且所述特征提取模型中任一中间层输出的特征图谱均作为其后每一层的输入参数。
3.根据权利要求1或2所述的三维建模装置，其特征在于：所述特征模型获取模块根据所述头颈部医学影像中的组织类型从一模型库中获取所述特征提取模型，其中，所述模型库中包括多个预训练完成的特征提取模型，且所述模型库中的每一特征提取模型均与一种头颈部组织相匹配。
4.根据权利要求1-3任一项所述的三维建模装置，其特征在于，所述三维建模装置还包括：
信息扩增模块，与所述医学影像获取模块和所述特征值获取模块相连，用于对所述头颈部医学影像进行处理以获取至少一幅中间医学影像，所述特征值获取模块用于利用所述特征提取模型对所述头颈部医学影像和所述中间医学影像进行处理，以获取所述头颈部医学影像的多个特征值。
5.根据权利要求1所述的三维建模装置，其特征在于：所述特征值获取模块还用于对所述多个特征值进行筛选。
6.根据权利要求1所述的三维建模装置，其特征在于，所述文件生成模块包括：
中间文件生成单元，与所述分割结果获取模块相连，用于将所述坐标点集合中的所有坐标替换至医学数字成像和通信像素矩阵中，以获取一中间文件；
三维模型文件生成单元，与所述中间文件生成单元相连，用于将所述中间文件转换为mhd文件，所述mhd文件即为所述三维模型文件。
7.根据权利要求1所述的三维建模装置，其特征在于，所述三维建模装置还包括：
显示模块，与所述三维模型构建模块相连，用于显示所述头颈部医学影像的三维模型。
8.根据权利要求7所述的三维建模装置，其特征在于，所述三维建模装置还包括：
交互控制模块，与所述显示模块相连，用于响应于接收到的控制指令对所述显示模块的显示内容和/或显示方式进行控制。
9.一种术前规划系统，其特征在于：所述术前规划系统包括权利要求1-8任一项所述的三维建模装置。
10.一种教学系统，其特征在于，所述教学系统包括：
权利要求1-8任一项所述的三维建模装置，用于获取所述头颈部医学影像的三维模型；
虚拟现实显示模块，与所述三维建模装置相连，用于采用虚拟现实技术显示所述头颈部医学影像的三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110396314.8A CN112950774A (zh) | 2021-04-13 | 2021-04-13 | 一种三维建模装置、手术规划系统及教学系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110396314.8A CN112950774A (zh) | 2021-04-13 | 2021-04-13 | 一种三维建模装置、手术规划系统及教学系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112950774A true CN112950774A (zh) | 2021-06-11 |
Family
ID=76232498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110396314.8A Pending CN112950774A (zh) | 2021-04-13 | 2021-04-13 | 一种三维建模装置、手术规划系统及教学系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950774A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115624383A (zh) * | 2022-12-21 | 2023-01-20 | 湖南医科医工科技有限公司 | 一种手术部位三维建模系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180005381A1 (en) * | 2015-02-18 | 2018-01-04 | Vanderbilt University | Image segmentation via multi-atlas fusion with context learning |
| US20180061059A1 (en) * | 2016-08-26 | 2018-03-01 | Elekta, Inc. | System and methods for image segmentation using convolutional neural network |
| CN109872328A (zh) * | 2019-01-25 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 一种脑部图像分割方法、装置和存储介质 |
| CN111192269A (zh) * | 2020-01-02 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 模型训练、医学影像分割方法和装置 |
| CN111325729A (zh) * | 2020-02-19 | 2020-06-23 | 青岛海信医疗设备股份有限公司 | 基于生物医学影像的生物组织的分割方法和通信终端 |
| CN111353987A (zh) * | 2020-03-02 | 2020-06-30 | 中国科学技术大学 | 一种细胞核分割方法及装置 |
| CN112419332A (zh) * | 2020-11-16 | 2021-02-26 | 复旦大学 | 一种面向厚层mri影像的头骨剥离方法及装置 |
-
2021
- 2021-04-13 CN CN202110396314.8A patent/CN112950774A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180005381A1 (en) * | 2015-02-18 | 2018-01-04 | Vanderbilt University | Image segmentation via multi-atlas fusion with context learning |
| US20180061059A1 (en) * | 2016-08-26 | 2018-03-01 | Elekta, Inc. | System and methods for image segmentation using convolutional neural network |
| CN109872328A (zh) * | 2019-01-25 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 一种脑部图像分割方法、装置和存储介质 |
| CN111192269A (zh) * | 2020-01-02 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 模型训练、医学影像分割方法和装置 |
| CN111325729A (zh) * | 2020-02-19 | 2020-06-23 | 青岛海信医疗设备股份有限公司 | 基于生物医学影像的生物组织的分割方法和通信终端 |
| CN111353987A (zh) * | 2020-03-02 | 2020-06-30 | 中国科学技术大学 | 一种细胞核分割方法及装置 |
| CN112419332A (zh) * | 2020-11-16 | 2021-02-26 | 复旦大学 | 一种面向厚层mri影像的头骨剥离方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 尚倩;张寅升;: "基于WebGL的三维医学影像在线教学系统", 高教学刊, no. 06, 25 March 2018 (2018-03-25) * |
| 张震;董跃福;陈秋平;董万鹏;: "基于CT和MRI影像数据融合构建个体化OA膝关节三维解剖模型", 中国骨与关节损伤杂志, no. 12, 15 December 2019 (2019-12-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115624383A (zh) * | 2022-12-21 | 2023-01-20 | 湖南医科医工科技有限公司 | 一种手术部位三维建模系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6837551B2 (ja) | Ｈｍｄｓに基づく医学画像形成装置 | |
| CN110033465B (zh) | 一种应用于双目内窥镜医学图像的实时三维重建方法 | |
| CN106874700A (zh) | 基于Web的手术模拟方法、手术模拟装置及电子设备 | |
| CN103200871B (zh) | 图像处理系统、装置、方法以及医用图像诊断装置 | |
| US9361726B2 (en) | Medical image diagnostic apparatus, medical image processing apparatus, and methods therefor | |
| CN102663818A (zh) | 颅颌面三维形貌模型的构建方法及其装置 | |
| CN110021445A (zh) | 一种基于vr模型的医疗系统 | |
| TW200830217A (en) | Image processing device and method by using differences of different scaled images as layered images | |
| CN109191508A (zh) | 一种模拟整容装置、模拟整容方法及设备 | |
| AU2019430369B2 (en) | VRDS 4D medical image-based vein Ai endoscopic analysis method and product | |
| CN114391158A (zh) | 用于在虚拟多用户协作中分析医学图像数据的方法、计算机程序、用户接口和系统 | |
| Abou El-Seoud et al. | An interactive mixed reality ray tracing rendering mobile application of medical data in minimally invasive surgeries | |
| WO2021030995A1 (zh) | 基于vrds ai下腔静脉影像的分析方法及产品 | |
| Bucioli et al. | Holographic real time 3D heart visualization from coronary tomography for multi-place medical diagnostics | |
| CN114340496A (zh) | 基于vrds ai医学影像的心脏冠脉的分析方法和相关装置 | |
| CN112950774A (zh) | 一种三维建模装置、手术规划系统及教学系统 | |
| WO2020173054A1 (zh) | Vrds 4d医学影像处理方法及产品 | |
| KR101657285B1 (ko) | 초음파 치료 시뮬레이션시스템 | |
| WO2020173055A1 (zh) | VRDS 4D医学影像多设备Ai联动显示方法及产品 | |
| Chen et al. | The research and practice of medical image enhancement and 3D reconstruction system | |
| CN111462314B (zh) | 器官三维图像重建方法、手术导航方法及手术辅助系统 | |
| CN113344942A (zh) | 人体按摩区域分割方法、装置、系统及计算机存储介质 | |
| WO2023245505A1 (en) | A system and a method for 3d image processing, and a method for rendering a 3d image | |
| JP2004024795A (ja) | 医用画像複合観察装置 | |
| WO2024083817A1 (en) | De-identifying sensitive information in 3d a setting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |