CN113744387A - 一种医学图像三维重建方法、介质及电子设备 - Google Patents
一种医学图像三维重建方法、介质及电子设备 Download PDFInfo
- Publication number
- CN113744387A CN113744387A CN202110852024.XA CN202110852024A CN113744387A CN 113744387 A CN113744387 A CN 113744387A CN 202110852024 A CN202110852024 A CN 202110852024A CN 113744387 A CN113744387 A CN 113744387A
- Authority
- CN
- China
- Prior art keywords
- plain film
- organ
- plain
- floating
- lateral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 210000000056 organ Anatomy 0.000 claims abstract description 55
- 238000003062 neural network model Methods 0.000 claims abstract description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 39
- 238000010586 diagram Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 210000004394 hip joint Anatomy 0.000 claims description 10
- 210000004197 pelvis Anatomy 0.000 claims description 8
- 210000001694 thigh bone Anatomy 0.000 claims description 3
- 230000002746 orthostatic effect Effects 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000002436 femur neck Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 210000000527 greater trochanter Anatomy 0.000 description 4
- 210000000528 lesser trochanter Anatomy 0.000 description 4
- 210000003131 sacroiliac joint Anatomy 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 210000000689 upper leg Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种医学图像三维重建方法、介质及电子设备。所述医学三维图像重建方法包括：获取基准X平片和浮动X平片；获取所述基准X平片和所述浮动X平片对应的解剖学关键点；获取所述基准X平片和所述浮动X平片对应的多器官掩膜；根据所述解剖学关键点和所述多器官掩膜对所述基准X平片和所述浮动X平片进行对齐，并根据对齐结果获取正位单器官X平片和侧位单器官X平片；利用第一卷积神经网络模型对所述正位单器官X平片和所述侧位单器官X平片进行三维重建，以获取单器官三维图像。所述医学图像三维重建方法能够实现医学图像的三维重建，且具有良好的精度和稳定性。
Description
技术领域
本发明涉及一种图像处理方法，特别是涉及一种医学图像三维重建方法、介质及电子设备。
背景技术
在骨科疾病诊疗中，为减少患者所受到的辐射量，通常会基于二维X平片进行三维重建来为医生提供三维信息，从而辅助医生阅片以及疾病诊断。相关技术中的三维重建方法主要包括基于立体视觉的三维重建方法和基于二维三维配准的三维重建方法。其中，基于立体视觉的三维重建方法需要采集多个角度的X平片图像，这些图像在实际应用中往往很难得到，因而导致此种方法很难应用到实际诊断中。而基于二维三维配准的三维重建方法通常需要使用数字重建X平片图像(DRR)技术，这意味着在重建过程中需要进行大量的计算，因而此种方法存在计算复杂度过高的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种医学图像三维重建方法、介质及电子设备，用于解决现有技术中存在的上述问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种医学图像三维重建方法、介质及电子设备，所述医学三维图像重建方法包括：获取基准X平片和浮动X平片，其中，所述基准X平片包括基准正位X平片和基准侧位X平片，所述浮动X平片包括浮动正位X平片和浮动侧位X平片；获取所述基准X平片和所述浮动X平片对应的解剖学关键点；获取所述基准X平片和所述浮动X平片对应的多器官掩膜；根据所述解剖学关键点和所述多器官掩膜对所述基准X平片和所述浮动X平片进行对齐，并根据对齐结果获取正位单器官X 平片和侧位单器官X平片；利用第一卷积神经网络模型对所述正位单器官X平片和所述侧位单器官X平片进行三维重建，以获取单器官三维图像。
于所述第一方面的一实施例中，所述基准正位X平片、所述基准侧位X平片、所述浮动正位X平片和所述浮动侧位X平片均包括双侧股骨和盆骨，且所述基准侧位X平片和所述浮动侧位X平片为髋关节假斜位X平片。
于所述第一方面的一实施例中，获取所述基准X平片和所述浮动X平片对应的解剖学关键点的实现方法包括：利用第二卷积神经网络模型对所述基准X平片和所述浮动X平片进行处理，以获取所述解剖学关键点。
于所述第一方面的一实施例中，利用所述第二卷积神经网络模型对所述基准X平片进行处理的实现方法包括：利用所述第二卷积神经网络模型对所述基准X平片进行处理，以获取所述基准X平片对应的解剖学关键点热力图；根据所述基准X平片对应的解剖学关键点热力图中像素点的像素值，获取所述基准X平片对应的解剖学关键点。
于所述第一方面的一实施例中，获取所述基准X平片和所述浮动X平片对应的多器官掩膜的实现方法包括：利用第三卷积神经网络模型对所述基准X平片和所述浮动X平片进行处理，以获取所述多器官掩膜。
于所述第一方面的一实施例中，根据所述解剖学关键点和所述多器官掩膜对所述基准X 平片和所述浮动X平片进行对齐的实现方法包括：根据所述基准X平片和所述浮动X平片中的点对配准获取欧式变换矩阵；利用所述欧式变换矩阵对所述浮动X平片及其对应的多器官掩膜进行处理，以获取对齐后的正位X平片及其对应的多器官掩膜、对齐后的侧位X平片及其对应的多器官掩膜。
于所述第一方面的一实施例中，根据对齐结果获取正位单器官X平片和侧位单器官X平片的实现方法包括：将所述对齐后的正位X平片与其对应的多器官掩膜进行与操作，以获取所述正位单器官X平片；将所述对齐后的侧位X平片与其对应的多器官掩膜进行与操作，以获取所述侧位单器官X平片。
于所述第一方面的一实施例中，利用所述第一卷积神经网络模型对所述正位单器官X平片和所述侧位单器官X平片进行三维重建的实现方法包括：将所述正位单器官X平片沿其摄片轴进行扩充，以获取正位三维数据；将所述侧位单器官X平片沿其摄片轴进行扩充，以获取侧位三维数据；利用所述第一卷积神经网络模型对所述正位三维数据和所述侧位三维数据进行处理，以获取所述单器官三维图像。
本发明的第二方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面任一项所述的医学图像三维重建方法，
本发明的第三方面提供一种电子设备，所述电子设备包括：存储器，其上存储有计算机程序；处理器，与所述存储器通信相连，用于调用所述计算机程序时执行本发明第一方面任一项所述的医学三维图像重建方法。
如上所述，本发明一个或多个实施例中所述的医学图像三维重建方法具有以下有益效果：
所述医学三维图像重建方法能够基于基准X平片和浮动X平片获取解剖学关键点以及多器官掩膜，并基于所述解剖学关键点以及多器官掩膜来获取对齐后的正位单器官X平片和侧位单器官X平片，基于此，所述医学三维图像重建方法能够利用第一卷积神经网络模型实现单器官三维重建。与现有技术相比，本发明实施例中提供了另一种医学图像三维重建的方法，所述医学三维图像重建方法仅需要获取正位和侧位的X平片即可，而正位和侧位的X平片在实际应用中很容易得到，因而具有良好的实用性。此外，所述医学三维图像重建方法无需使用数字重建X平片图像技术，因而能够降低三维重建过程的计算复杂度。
附图说明
图1A显示为本发明所述医学图像三维重建方法于一具体实施例中的流程图。
图1B显示为本发明所述医学图像三维重建方法于一具体实施例中解剖学关键点的示例图。
图2A显示为本发明所述医学图像三维重建方法于一具体实施例中获取解剖学关键点的流程图。
图2B和图2C显示为本发明所述医学图像三维重建方法于一具体实施例中解剖学关键点热力图的示例图。
图3A显示为本发明所述医学图像三维重建方法于一具体实施例中的基准正位X平片示例图。
图3B显示为本发明所述医学图像三维重建方法于一具体实施例中的多器官掩膜示例图。
图4A显示为本发明所述医学图像三维重建方法于一具体实施例中获取多器官掩膜的流程图。
图4B显示为本发明所述医学图像三维重建方法于一具体实施例中的正位单器官X平片示例图。
图4C显示为本发明所述医学图像三维重建方法于一具体实施例中的侧位单器官X平片示例图。
图5显示为本发明所述医学图像三维重建方法于一具体实施例中获取单器官三维图像的流程图。
图6显示为本发明所述医学图像三维重建方法于另一具体实施例中的流程图。
图7显示为本发明所述电子设备于一具体实施例中的结构示意图。
元件标号说明
700 电子设备
710 存储器
720 处理器
730 显示器
S11～S14 步骤
S21～S22 步骤
S41～S42 步骤
S51～S53 步骤
S61～S65 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。此外，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
请参阅图1A，于本发明的一实施例中提供一种医学图像三维重建方法，用于对目标器官进行三维重建，所述医学图像三维重建方法包括：
S11，获取基准X平片和浮动X平片。其中，所述基准X平片是指目标器官观感较佳的X平片，包括基准正位X平片和基准侧位X平片，且所述基准正位X平片和所述基准侧位X 平片为同一样本不同视角的两张X平片。所述基准X平片可以由医务人员通过人工方式选取。所述浮动X平片是指待重建的X平片，其包括浮动正位X平片和浮动侧位X平片，且所述浮动正位X平片和所述浮动侧位X平片也为同一样本不同视角的两张X平片。
可选地，所述目标器官为髋关节，所述基准正位X平片和所述基准侧位X平片均包含双侧股骨和骨盆，所述浮动正位X平片和所述浮动侧位X平片也包含双侧股骨和骨盆。此外，所述基准正位X平片和所述浮动正位X平片均为骨盆前后位X平片，所述基准侧位X平片和所述浮动侧位X平片均为髋关节假斜位X平片。
S12，获取所述基准X平片和所述浮动X平片对应的解剖学关键点。其中，所述解剖学关键点是指能够定位所述目标器官的关键点，具体可以根据解剖学相关知识进行定义。
特别地，请参阅图1B，显示为所述目标器官为髋关节时的一组解剖学关键点，分别为： 1号点右骶髂关节，2号点左骶髂关节，3号点右股骨颈，4号点左股骨颈，5号点趾骨联合上端，6号点趾骨联合下端，7号点右大转子，8号点左大转子，9号点右小转子，10号点左小转子。
S13，获取所述基准X平片和所述浮动X平片对应的多器官掩膜，其中，所述基准正位 X平片和所述基准侧位X平片各自分别对应一个多器官掩膜，所述浮动正位X平片和所述浮动侧位X平片各自分别对应一个多器官掩膜。所述多器官掩膜用于标记非器官区域以及不同的器官区域，例如，可以将所述多器官掩膜记为
其中，i为大于1的整数。
S14，根据所述解剖学关键点和所述多器官掩膜对所述基准X平片和所述浮动X平片进行对齐，并根据对齐结果获取正位单器官X平片和侧位单器官X平片。具体地，步骤S14将所述基准正位X平片与所述浮动正位X平片进行对齐以得到对齐后的正位X平片，根据所述对齐后的正位X平片即可获取所述正位单器官X平片。并且，步骤S14将所述基准侧位X 平片与所述浮动侧位X平片进行对齐以得到对齐后的侧位X平片，根据所述对齐后的侧位X 平片即可获取所述侧位单器官X平片。本步骤中所采用的对齐方式例如为刚性变换，但本发明并不以此为限。
S15，利用第一卷积神经网络模型对所述正位单器官X平片和所述侧位单器官X平片进行三维重建，以获取单器官三维图像。其中，所述第一卷积神经网络模型为一训练好的模型，不同的目标器官可以使用结构相同但是参数不同的第一卷积神经网络模型进行三维重建。
根据以上描述可知，本实施例所述医学三维图像重建方法能够基于基准X平片和浮动X 平片获取解剖学关键点以及多器官掩膜，并基于所述解剖学关键点以及多器官掩膜来获取对齐后的正位单器官X平片和侧位单器官X平片，基于此，所述医学三维图像重建方法能够利用第一卷积神经网络模型实现单器官三维重建。与现有技术相比，本实施例提供了另一种医学图像三维重建方法，所述医学三维图像重建方法仅需要获取正位和侧位的X平片即可，而正位和侧位的X平片在实际应用中很容易得到，因而具有良好的实用性。此外，所述医学三维图像重建方法无需使用数字重建X平片图像技术，因而能够降低三维重建过程的计算复杂度。
此外，本实施例所述医学三维图像重建方法是基于真实的X平片进行三维重建来得到目标器官的三维图像，相对于相关技术中仅使用仿真生成的X平片进行训练和验证的方案，本实施例能够解决从真实X平片重建为三维图像的问题。
于本发明的一实施例中，获取所述基准正位X平片对应的解剖学关键点的实现方法包括：利用第二卷积神经网络模型对所述基准正位X平片进行处理，以获取其对应的解剖学关键点。
可选地，请参阅图2A，利用所述第二卷积神经网络模型对所述基准正位X平片进行处理的实现方法包括：
S21，利用所述第二卷积神经网络模型对所述基准正位X平片进行处理，以获取所述基准正位X平片对应的解剖学关键点热力图。具体地，将所述基准正位X平片输入训练好的所述第二卷积神经网络模型即可得到其对应的解剖学关键点热力图，例如，请参阅图2B，显示为本实施例中获取的解剖学关键点热力图的示例图。
S22，根据所述基准正位X平片对应的解剖学关键点热力图中像素点的像素值，获取所述基准正位X平片对应的解剖学关键点。
可选地，所述第二卷积神经网络模型包括多个输出通道，各输出通道分别输出对应于不同解剖学关键点的解剖学关键点热力图。此时，每一解剖学关键点的坐标为对应输出通道中像素值最大的像素点坐标。例如，请参阅图2C，显示为所述第二卷积神经网络模型的某一输出通道输出的解剖学关键点热力图，该热力图中像素值最大的像素点的坐标即为右股骨颈这一解剖学关键点的坐标。
根据以上描述可知，本实施例提供了一种获取所述基准正位X平片对应的解剖学关键点的实现方法。可以理解的是，所述第二卷积神经网络模型也可以获取所述浮动正位X平片对应的解剖学关键点；并且，通过相应的训练，所述第二卷积神经网络模型也可以获取所述基准侧位X平片对应的解剖学关键点，以及所述浮动侧位X平片对应的解剖学关键点。需要说明的是，本实施例中，用于对侧位X平片进行处理的卷积神经网络模型与用于对正位X平片进行处理的卷积神经网络模型可能具有不同的结构和/或参数，然而，它们的输入均为X平片，输出均为解剖学关键点热力图，因而可以采用相似的方式进行构建、训练以及使用，为节省说明书篇幅，此处不再分别展开叙述。
于本发明的一实施例中，获取所述基准正位X平片对应的多器官掩膜的实现方法包括：利用第三卷积神经网络模型对所述基准正位X平片进行处理，以获取其对应的多器官掩膜。例如，请参阅图3A和图3B，分别显示为本实施例中一基准正位X平片示例图及其对应的多器官掩膜。
可以理解的是，所述第三卷积神经网络模型也可以对所述浮动正位X平片进行处理，以获取其对应的多器官掩膜；并且，通过相应的训练，所述第三卷积神经网络模型也可以获取所述基准侧位X平片对应的多器官掩膜，以及所述浮动侧位X平片对应的多器官掩膜。需要说明的是，本实施例中，用于对侧位X平片进行处理的卷积神经网络模型与用于对正位X平片进行处理的卷积神经网络模型可能具有不同的结构和/或参数，然而，它们的输入均为X平片，输出均为多器官掩膜，因而可以采用相似的方式进行构建、训练以及使用，为节省说明书篇幅，此处不再分别展开叙述。
请参阅图4A，于本发明的一实施例中，根据所述解剖学关键点和所述多器官掩膜对所述基准正位X平片和所述浮动正位X平片进行对齐的实现方法包括：
S41，根据所述基准正位X平片和所述浮动正位X平片中的点对配准获取欧式变换矩阵。具体地，记所述基准正位X平片对应的解剖学关键点集合为Q＝{q1,q2,...,qn}，记所述浮动正位X平片对应的解剖学关键点集合为P＝{p1,p2,...,pn}，其中，qi为所述基准正位X平片对应的第i个解剖学关键点，pi为所述浮动正位X平片对应的第i个解剖学关键点，n为所述解剖学关键点的总数，其中，各解剖学关键点的坐标皆为图像空间中的像素坐标。由于各解剖学关键点的相对位置关系是确定的，因而P和Q两组解剖学关键点的相对位置关系是确定的，故两组解剖学关键点的对应关系是已知的。因此，可以通过求解以下优化问题来获取所述欧式变换矩阵
实际应用中，可以通过最小二乘法等方式获取所述欧式变换矩阵(R*,T*)。其中，L(R,t)为变换损失或误差，例如为经变换后的点与对应点的平方误差，并且，
表示获取使得L(R,t) 最小的旋转变换R和平移变换t。
S42，利用所述欧式变换矩阵对所述浮动X平片及其对应的多器官掩膜进行处理，以获取对齐后的正位X平片及其对应的多器官掩膜。具体地，将所述欧式变换矩阵作用于所述浮动正位X平片及其对应的掩膜，即可获取对齐后的正位X平片及其对应的多器官掩膜。
根据以上描述可知，本实施例提供了一种获取对齐后的正位X平片及其对应的多器官掩膜的一种实现方式。可以理解的是，也可以通过与上述步骤S41～S42类似的方式对所述浮动侧位X平片及其对应的多器官掩膜进行处理来获取对齐后的侧位X平片及其对应的多器官掩膜。请参阅图4B和4C，分别显示为本实施例中对齐后的正位单器官X平片和侧位单器官X 平片的示例图。
需要说明的是，在对正位X平片进行对齐时所采用的欧式变换矩阵，与对侧位X平片进行对齐时所采用的欧式变换矩阵并不一定相同，实际应用中可以采用上述(R*,T*)的公式进行相应的求解。
于本发明的一实施例中，获取正位单器官X平片的实现方法包括：将所述对齐后的正位 X平片与其对应的多器官掩膜进行与操作，以获取所述正位单器官X平片。具体地，记一掩膜M中第i个器官的掩膜为Mi，此时Mi中第i个器官区的数值为1，其余区域数值为0，则所述与操作定义为：若I(x,y)和Mi(x,y)均不为0，则Ii(x,y)＝I(x,y)∩Mi(x,y)＝I(x,y)，否则，Ii(x,y)＝I(x,y)∩Mi(x,y)＝0。其中，I(x,y)表示所述对齐后的正位X平片在坐标(x,y)处的像素值，Ii(x,y)表示第i个器官的正位单器官X平片在坐标(x,y)处的像素值，Mi(x,y)表示掩膜Mi在坐标(x,y)处的像素值。
本实施例中，获取所述侧位单器官X平片的实现方法包括：将所述对齐后的侧位X平片与其对应的多器官掩膜进行与操作，以获取所述侧位单器官X平片。其具体方式与获取所述正位单器官X平片的方法类似，此处不做过多赘述。
请参阅图5，于本发明的一实施例中，利用所述第一卷积神经网络模型对所述正位单器官X平片和所述侧位单器官X平片进行三维重建的实现方法包括：
S51，将所述正位单器官X平片沿其摄片轴进行扩充，以获取正位三维数据。
例如，假设一个直角坐标系有三个轴x、y和z，正位单器官X平片获取自z轴观测且图像大小为(xa，ya)，沿着摄片轴将其扩充为正位三维图像即将所述正位单器官X平片沿着z轴复制za份，并沿着z轴拼接成三维图像，最后得到的正位三维图像的大小为(xa，ya，za)。其中，所述正位三维图像可以作为所述正位三维数据的一种表现形式。
S52，将所述侧位单器官X平片沿其摄片轴进行扩充，以获取侧位三维数据。
例如，假设一个直角坐标系有三个轴x、y和z，侧位单器官X平片获取自y轴观测且图像大小为(xb，zb)，沿着摄片轴将其扩充为侧位三维图像即将所述侧位单器官X平片沿着y 轴复制yb份，并沿着y轴拼接成三维图像，最后得到的侧位三维图像的大小为(xb，yb，zb)。其中，所述侧位三维图像可以作为所述侧位三维数据的一种表现形式。
S53，利用所述第一卷积神经网络模型对所述正位三维数据和所述侧位三维数据进行处理，以获取所述单器官三维图像。
优选地，步骤S53可以将所述正位三维数据和所述侧位三维数据并接为双通道三维数据，然后将所述双通道三维数据输入所述第一卷积神经网络模型以实现三维重建。
请参阅图6，于本发明的一实施例中，所述医学图像三维重建方法包括：
S61，获取基准X平片和浮动X平片，所述基准X平片包括基准正位X平片和基准侧位X平片，所述浮动X平片包括浮动正位X平片和浮动侧位X平片，并且，所述基准正位X 平片和所述浮动正位X平片均包含双侧股骨和骨盆。所述基准侧位X平片和所述浮动侧位X 平片是指髋关节假斜位的X平片，二者均包含双侧股骨和骨盆。本实施例中，所述基准X平片是手动选取的、股骨骨盆位置观感最正的X平片。
S62，使用第二卷积神经网络模型提取各X平片中的解剖学关键点。具体地，将所述基准正位X平片、所述基准侧位X平片、所述浮动正位X平片和所述浮动侧位X平片分别输入所述第二卷积神经网络模型，即可获取各自对应的一组解剖学关键点。在本实施例中，各 X平片均对应10个解剖学关键点，分别为：右骶髂关节，左骶髂关节，右股骨颈，左股骨颈，趾骨联合上端，趾骨联合下端，右大转子，左大转子，右小转子和左小转子。
本实施例中，所述第二卷积神经网络模型对应于各X平片的输出均为解剖学关键点热力图，其中，每个解剖学关键点对应所述第二卷积神经网络模型的一个输出通道，单个解剖学关键点的坐标为单通道解剖学关键点热力图像素值最大的像素点坐标。
此外，本实施例中正位X平片(包括基准正位X平片和浮动正位X平片)与侧位X平片(包括基准侧位X平片和浮动侧位X平片)分别使用两个不同的第二卷积神经网络模型来提取对应的解剖学关键点。
S63，使用第三卷积神经网络模型提取各X平片对应的多器官掩膜。具体地，本实施例中，将单幅X平片输入训练好的所述第三卷积神经网络模型即可得到股骨、盆骨的多器官掩膜，记为
S64，基于步骤S62和S63获取的解剖学关键点和多器官掩膜，提取对齐后的正位X平片和侧位X平片。具体地，首先通过点对配准获取正位X平片对应的第一欧式变换矩阵和侧位X平片对应的第二欧式变换矩阵，然后利用第一欧式变换矩阵作用于浮动正位X平片及其对应的掩膜以得到对齐后的正位X平片及其对应的掩膜，利用第二欧式变换矩阵作用于浮动侧位X平片及其对应的掩膜以得到对齐后的侧位X平片及其对应的掩膜。将对齐后的正位X 平片、对齐后的侧位X平片分别与其对应的掩膜进行与操作，从而得到多组单器官正位X平片和单器官侧位X平片。
S65，使用第一卷积神经网络模型对单器官正位X平片和单器官侧位X平片进行三维重建，以获取髋关节的三维图像。具体地，将所述单器官正位X平片和所述单器官侧位X平片沿各自的摄片轴扩充为三维数据，其后并接的输入所述第一卷积神经网络模型即可得到所述髋关节的三维图像。
优选地，所述第二卷积神经网络模型、所述第三卷积神经网络模型和所述第一卷积神经网络模型采用混联形式连接，其中，所述第二卷积神经网络模型和所述第三卷积神经网络模型并联，分别用于提取解剖学关键点和多器官掩膜，且二者的输出经上述步骤S64处理之后输入所述第一卷积神经网络模型，并最终实现图像的三维重建。
本实施例所述的医学图像三维重建方法可以从两幅不同视角的真实二维髋关节X平片中重建三维髋关节骨头图像，其中包含基于深度学习的解剖学关键点提取、多器官掩膜提取和二维-三维重建方法，能够从实际角度解决真实X平片图像重建三维图像的问题，且能够提升重建图像的精度和稳定性。
基于以上对所述医学图像三维重建方法的描述，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现图1A或图6所示的医学图像三维重建方法。
基于以上对所述医学图像三维重建方法的描述，本发明还提供一种电子设备。具体地，请参阅图7，于本发明的一实施例中，所述电子设备700包括存储器710和处理器720，其中，所述存储器710上存储有计算机程序，所述处理器720与所述存储器710通信相连，用于调用所述计算机程序时执行图1A或图6所述的医学三维图像重建方法。
可选地，所述电子设备700还包括显示器730，所述显示器730与所述存储器710和所述处理器720通信相连，用于显示所述医学三维图像重建方法的相关GUI交互界面。
本发明所述的医学图像三维重建方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明所述医学三维图像重建方法能够基于基准X平片和浮动X平片获取解剖学关键点以及多器官掩膜，并基于所述解剖学关键点以及多器官掩膜来获取对齐后的正位单器官X平片和侧位单器官X平片，基于此，所述医学三维图像重建方法能够利用第一卷积神经网络模型实现单器官三维重建。与现有技术相比，本发明提供了另一种医学图像三维重建方法，所述医学三维图像重建方法仅需要获取正位和侧位的X平片即可，而正位和侧位的X平片在实际应用中很容易得到，因而具有良好的实用性。此外，所述医学三维图像重建方法无需使用数字重建X平片图像技术，因而能够降低三维重建过程的计算复杂度。
此外，本发明所述医学三维图像重建方法是基于真实的X平片进行三维重建来得到目标器官的三维图像，相对于相关技术中仅使用仿真生成的X平片进行训练的验证的方案，本发明所述医学三维图像重建方法能够解决从真实X平片重建为三维图像的问题。
综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种医学三维图像重建方法，其特征在于，所述医学三维图像重建方法包括：
获取基准X平片和浮动X平片，其中，所述基准X平片包括基准正位X平片和基准侧位X平片，所述浮动X平片包括浮动正位X平片和浮动侧位X平片；
获取所述基准X平片和所述浮动X平片对应的解剖学关键点；
获取所述基准X平片和所述浮动X平片对应的多器官掩膜；
根据所述解剖学关键点和所述多器官掩膜对所述基准X平片和所述浮动X平片进行对齐，并根据对齐结果获取正位单器官X平片和侧位单器官X平片；
利用第一卷积神经网络模型对所述正位单器官X平片和所述侧位单器官X平片进行三维重建，以获取单器官三维图像。
2.根据权利要求1所述的医学三维图像重建方法，其特征在于：所述基准正位X平片、所述基准侧位X平片、所述浮动正位X平片和所述浮动侧位X平片均包括双侧股骨和盆骨，且所述基准侧位X平片和所述浮动侧位X平片为髋关节假斜位X平片。
3.根据权利要求1所述的医学三维图像重建方法，其特征在于，获取所述基准X平片和所述浮动X平片对应的解剖学关键点的实现方法包括：
利用第二卷积神经网络模型对所述基准X平片和所述浮动X平片进行处理，以获取所述解剖学关键点。
4.根据权利要求3所述的医学三维图像重建方法，其特征在于，利用所述第二卷积神经网络模型对所述基准X平片进行处理的实现方法包括：
利用所述第二卷积神经网络模型对所述基准X平片进行处理，以获取所述基准X平片对应的解剖学关键点热力图；
根据所述基准X平片对应的解剖学关键点热力图中像素点的像素值，获取所述基准X平片对应的解剖学关键点。
5.根据权利要求1-4任一项所述的医学三维图像重建方法，其特征在于，获取所述基准X平片和所述浮动X平片对应的多器官掩膜的实现方法包括：
利用第三卷积神经网络模型对所述基准X平片和所述浮动X平片进行处理，以获取所述多器官掩膜。
6.根据权利要求1-5任一项所述的医学三维图像重建方法，其特征在于，根据所述解剖学关键点和所述多器官掩膜对所述基准X平片和所述浮动X平片进行对齐的实现方法包括：
根据所述基准X平片和所述浮动X平片中的点对配准获取欧式变换矩阵；
利用所述欧式变换矩阵对所述浮动X平片及其对应的多器官掩膜进行处理，以获取对齐后的正位X平片及其对应的多器官掩膜、对齐后的侧位X平片及其对应的多器官掩膜。
7.根据权利要求6所述的医学三维图像重建方法，其特征在于，根据对齐结果获取正位单器官X平片和侧位单器官X平片的实现方法包括：
将所述对齐后的正位X平片与其对应的多器官掩膜进行与操作，以获取所述正位单器官X平片；
将所述对齐后的侧位X平片与其对应的多器官掩膜进行与操作，以获取所述侧位单器官X平片。
8.根据权利要求1-7任一项所述的医学三维图像重建方法，其特征在于，利用所述第一卷积神经网络模型对所述正位单器官X平片和所述侧位单器官X平片进行三维重建的实现方法包括：
将所述正位单器官X平片沿其摄片轴进行扩充，以获取正位三维数据；
将所述侧位单器官X平片沿其摄片轴进行扩充，以获取侧位三维数据；
利用所述第一卷积神经网络模型对所述正位三维数据和所述侧位三维数据进行处理，以获取所述单器官三维图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-8任一项所述的医学三维图像重建方法。
10.一种电子设备，其特征在于，所述电子设备包括：
存储器，其上存储有计算机程序；
处理器，与所述存储器通信相连，用于调用所述计算机程序时执行权利要求1-8任一项所述的医学三维图像重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110852024.XA CN113744387B (zh) | 2021-07-27 | 2021-07-27 | 一种医学图像三维重建方法、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110852024.XA CN113744387B (zh) | 2021-07-27 | 2021-07-27 | 一种医学图像三维重建方法、介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113744387A true CN113744387A (zh) | 2021-12-03 |
| CN113744387B CN113744387B (zh) | 2024-02-09 |
Family
ID=78729159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110852024.XA Active CN113744387B (zh) | 2021-07-27 | 2021-07-27 | 一种医学图像三维重建方法、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113744387B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110853082A (zh) * | 2019-10-21 | 2020-02-28 | 科大讯飞股份有限公司 | 医学图像配准方法、装置、电子设备及计算机存储介质 |
| CN111815735A (zh) * | 2020-09-09 | 2020-10-23 | 南京安科医疗科技有限公司 | 一种人体组织自适应的ct重建方法及重建系统 |
| CN111968135A (zh) * | 2020-08-15 | 2020-11-20 | 中南大学 | 一种基于全卷积网络的三维腹部ct图像多器官配准方法 |
| CN112509123A (zh) * | 2020-12-09 | 2021-03-16 | 北京达佳互联信息技术有限公司 | 三维重建方法、装置、电子设备及存储介质 |
-
2021
- 2021-07-27 CN CN202110852024.XA patent/CN113744387B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110853082A (zh) * | 2019-10-21 | 2020-02-28 | 科大讯飞股份有限公司 | 医学图像配准方法、装置、电子设备及计算机存储介质 |
| CN111968135A (zh) * | 2020-08-15 | 2020-11-20 | 中南大学 | 一种基于全卷积网络的三维腹部ct图像多器官配准方法 |
| CN111815735A (zh) * | 2020-09-09 | 2020-10-23 | 南京安科医疗科技有限公司 | 一种人体组织自适应的ct重建方法及重建系统 |
| CN112509123A (zh) * | 2020-12-09 | 2021-03-16 | 北京达佳互联信息技术有限公司 | 三维重建方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113744387B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI742690B (zh) | 人體檢測方法、裝置、電腦設備及儲存媒體 | |
| Schnabel et al. | A generic framework for non-rigid registration based on non-uniform multi-level free-form deformations | |
| Zeng et al. | Supine and prone colon registration using quasi-conformal mapping | |
| CN107403463B (zh) | 在成像系统中具有非刚性部分的人体表示 | |
| Duan et al. | 3D tracking and positioning of surgical instruments in virtual surgery simulation. | |
| US20210012492A1 (en) | Systems and methods for obtaining 3-d images from x-ray information for deformed elongate bones | |
| CN113822982B (zh) | 一种人体三维模型构建方法、装置、电子设备及存储介质 | |
| CN111340077B (zh) | 基于注意力机制的视差图获取方法和装置 | |
| Kyriacou et al. | A biomechanical model of soft tissue deformation, with applications to non-rigid registration of brain images with tumor pathology | |
| Agudo et al. | Real-time 3D reconstruction of non-rigid shapes with a single moving camera | |
| CN108470324A (zh) | 一种鲁棒的双目立体图像拼接方法 | |
| WO2021098143A1 (zh) | 图像处理方法及装置、图像处理设备及存储介质 | |
| Florkow et al. | The impact of MRI-CT registration errors on deep learning-based synthetic CT generation | |
| Haouchine et al. | Monocular 3D reconstruction and augmentation of elastic surfaces with self-occlusion handling | |
| Papademetris et al. | Articulated rigid registration for serial lower-limb mouse imaging | |
| JP2022512262A (ja) | 画像処理方法及び装置、画像処理機器並びに記憶媒体 | |
| Shi et al. | Direct cortical mapping via solving partial differential equations on implicit surfaces | |
| Wang et al. | Large window-based mamba unet for medical image segmentation: Beyond convolution and self-attention | |
| CN113744387A (zh) | 一种医学图像三维重建方法、介质及电子设备 | |
| WO2016026759A2 (de) | Reformatierung unter berücksichtigung der anatomie eines zu untersuchenden objekts | |
| Krishna et al. | Medical (CT) image generation with style | |
| García et al. | Mapping 3D breast lesions from full-field digital mammograms using subject-specific finite element models | |
| Imielinska et al. | Incorporating 3D virtual anatomy into the medical curriculum | |
| Sanfeliu et al. | Progress in pattern recognition, image analysis and applications | |
| Zhao et al. | Surface Registration in the Presence of Missing Patches and Topology Change. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |