CN110717961A - 多模态图像重建方法、装置、计算机设备和存储介质 - Google Patents
多模态图像重建方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110717961A CN110717961A CN201910875737.0A CN201910875737A CN110717961A CN 110717961 A CN110717961 A CN 110717961A CN 201910875737 A CN201910875737 A CN 201910875737A CN 110717961 A CN110717961 A CN 110717961A
- Authority
- CN
- China
- Prior art keywords
- medical image
- curved surface
- modality medical
- modality
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000006243 chemical reaction Methods 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000000877 morphologic effect Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 19
- 238000007499 fusion processing Methods 0.000 claims description 17
- 238000002600 positron emission tomography Methods 0.000 description 29
- 238000002591 computed tomography Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 210000001715 carotid artery Anatomy 0.000 description 4
- 210000000256 facial nerve Anatomy 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 210000001367 artery Anatomy 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000037260 Atherosclerotic Plaque Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 206010057469 Vascular stenosis Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000014337 facial nerve disease Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 206010039722 scoliosis Diseases 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请涉及一种多模态图像重建方法、装置、计算机设备和存储介质。该方法包括：获取至少两种不同模态下的医学图像；对至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像；根据第一模态医学图像和曲面重建后的第一模态医学图像，确定第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系；利用转换关系对第二模态医学图像进行曲面重建处理，得到曲面重建后的第二模态医学图像；将曲面重建后的第一模态医学图像和曲面重建后的第二模态医学图像进行融合处理，得到曲面重建后的多模态图像。采用本方法能够将检查过程简单化，同时也可以节省检查时间，进而提高检查效率。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种多模态图像重建方法、装置、计算机设备和存储介质。
背景技术
随着医学影像技术的不断发展，慢慢出现了多模态的医学影像设备，如今越来越多的人选择采用多模态的医学影像设备来对身体进行检查，在检查之后，医生分别观察每个模态下拍摄的医学影像的三视图，就可以对人体的器官进行检查。通常在观察多模态医学图像时，医生需要记忆在各个模态的医学图像上观察到的问题，最后将记忆的各个模态的医学图像上的问题进行综合分析，从而确定人体的器官是否存在病变。
然而，上述技术在利用多模态医学图像对人体器官是否病变进行检查时，存在检查过程复杂，导致检查效率低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种多模态图像重建方法、装置、计算机设备和存储介质。
一种多模态图像重建方法，该方法包括：
获取至少两种不同模态下的医学图像；
对上述至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像；
根据上述第一模态医学图像和上述曲面重建后的第一模态医学图像，确定上述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系；
利用上述转换关系对上述至少两种不同模态下的医学图像中其它模态的第二模态医学图像进行曲面重建处理，得到曲面重建后的第二模态医学图像；
将上述曲面重建后的第一模态医学图像和上述曲面重建后的第二模态医学图像进行融合处理，得到曲面重建后的多模态图像。
在其中一个实施例中，上述根据第一模态医学图像和曲面重建后的第一模态医学图像，确定第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系，包括：
获取第一模态医学图像上各个点的像素值、上述曲面重建后的第一模态医学图像上各个点的像素值；
根据上述第一模态医学图像上各个点的像素值、上述曲面重建后的第一模态医学图像上各个点的像素值，确定上述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系。
在其中一个实施例中，上述将曲面重建后的第一模态医学图像和曲面重建后的第二模态医学图像进行融合处理，包括：
获取曲面重建后的第一模态医学图像的第一位置信息和上述曲面重建后的第二模态医学图像的第二位置信息；
根据上述第一位置信息和上述第二位置信息，将上述曲面重建后的第一模态医学图像和上述曲面重建后的第二模态医学图像进行融合处理。
在其中一个实施例中，上述根据第一位置信息和第二位置信息，将曲面重建后的第一模态医学图像和曲面重建后的第二模态医学图像进行融合处理，包括：
比较上述第一位置信息和上述第二位置信息，得到比较结果；
若上述比较结果为上述第一位置信息大于上述第二位置信息，则按照预设的像素比例将上述曲面重建后的第一模态医学图像悬浮于上述曲面重建后的第二模态医学图像之上。
在其中一个实施例中，上述预设的像素比例包括第一预设像素比例和第二预设像素比例，按照预设的像素比例将曲面重建后的第一模态医学图像悬浮于曲面重建后的第二模态医学图像之上，包括：
按照上述第一预设像素比例将上述曲面重建后的第一模态医学图像悬浮于上述曲面重建后的第二模态医学图像之上，以及按照上述第二预设像素比例将上述曲面重建后的第二模态医学图像悬浮于上述曲面重建后的第一模态医学图像之下。
在其中一个实施例中，上述对至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像，包括：
获取第一模态医学图像中目标形态结构的中心线；
沿着上述目标形态结构的中心线将上述第一模态医学图像展开，并将展开后的第一模态医学图像进行拉伸处理，得到曲面重建后的第一模态医学图像。
在其中一个实施例中，上述对至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，包括：
在第一模态医学图像中确定感兴趣区域；
对上述感兴趣区域进行曲面重建；
上述感兴趣区域的获取方式包括：
对上述至少两种不同模态下的医学图像进行融合处理，获取融合图像；
根据上述融合图像定位上述第一模态医学图像中的感兴趣区域。
一种多模态图像重建装置，该装置包括：
获取模块，用于获取至少两种不同模态下的医学图像；
第一重建模块，用于对上述至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像；
确定模块，用于根据上述第一模态医学图像和上述曲面重建后的第一模态医学图像，确定上述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系；
第二重建模块，用于利用上述转换关系对上述至少两种不同模态下的医学图像中其它模态的第二模态医学图像进行曲面重建处理，得到曲面重建后的第二模态医学图像；
融合模块，用于将上述曲面重建后的第一模态医学图像和上述曲面重建后的第二模态医学图像进行融合处理，得到曲面重建后的多模态图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取至少两种不同模态下的医学图像；
对上述至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像；
根据上述第一模态医学图像和上述曲面重建后的第一模态医学图像，确定上述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系；
利用上述转换关系对上述至少两种不同模态下的医学图像中其它模态的第二模态医学图像进行曲面重建处理，得到曲面重建后的第二模态医学图像；
将上述曲面重建后的第一模态医学图像和上述曲面重建后的第二模态医学图像进行融合处理，得到曲面重建后的多模态图像。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取至少两种不同模态下的医学图像；
对上述至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像；
根据上述第一模态医学图像和上述曲面重建后的第一模态医学图像，确定上述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系；
利用上述转换关系对上述至少两种不同模态下的医学图像中其它模态的第二模态医学图像进行曲面重建处理，得到曲面重建后的第二模态医学图像；
将上述曲面重建后的第一模态医学图像和上述曲面重建后的第二模态医学图像进行融合处理，得到曲面重建后的多模态图像。
上述多模态图像重建方法、装置、计算机设备和存储介质，通过获取至少两种不同模态下的医学图像，对其中的第一模态医学图像进行曲面重建，得到曲面重建后的第一模态医学图像，根据第一模态的医学图像和曲面重建后的第一模态医学图像，可以得到第一模态的医学图像和曲面重建后的第一模态的医学图像之间的转换关系，利用该转换关系对第二模态医学图像进行曲面重建，可以得到曲面重建后的第二模态医学图像，将两个曲面重建后的医学图像进行融合，就可以得到曲面重建后的多模态图像。在该方法中，由于可以利用曲面重建技术对多个模态的医学图像进行曲面重建，因此，该方法可以便于医生对病灶进行观察；另外，由于该方法中第一模态医学图像和其他模态医学图像在曲面重建时使用的是同一个转换关系，因此，该方法可以将曲面重建后的多个模态的图像进行融合，在对病灶进行多方位的观察时，通过该融合后的多模态图像就可以看清楚各个模态的医学图像上的问题，从而可以将检查过程简单化，同时也可以节省检查时间，进而提高检查效率。
附图说明
图1为一个实施例中计算机设备的内部结构图；
图2为一个实施例中多模态图像重建方法的流程示意图；
图3为另一个实施例中多模态图像重建方法的流程示意图；
图4为另一个实施例中多模态图像重建方法的流程示意图；
图5为另一个实施例中多模态图像重建方法的流程示意图；
图6为另一个实施例中多模态图像重建方法的流程示意图；
图7为另一个实施例中对第一模态医学图像进行曲面重建处理的结果示意图；
图8为一个实施例中多模态图像重建装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的多模态图像重建方法，可以应用于如图1所示的计算机设备。如图1所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多模态图像重建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
需要说明的是，本申请实施例的执行主体可以是多模态图像重建装置，也可以是计算机设备，下面实施例将以执行主体为计算机设备为例进行说明。
在一个实施例中，提供了一种多模态图像重建方法，本实施例涉及的是如何对多个不同模态医学图像进行曲面重建(curved planar reconstruction，CPR)，并将重建后图像进行融合得到多模态的图像的具体过程。如图2所示，该方法可以包括以下步骤：
S202，获取至少两种不同模态下的医学图像。
其中，这里的不同模态可以是包括电子计算机断层扫描(Computed Tomography，CT)、数字平板X射线成像(digital radiography，DR)、计算机X射线成像(computedradiography，CR)在内的X射线成像，可以是包括磁共振(Magnetic Resonance，MR)成像，可以是超声成像，还可以是包括正电子发射型计算机断层显像(Positron EmissionComputed Tomography，PET)或单光子发射计算机断层成像(Single-Photon EmissionComputed Tomography，SPECT)的核医学成像、等等，当然也可以包括其他模态，这里给出的不同模态中任意一种模态为第一模态，其他模态就可以认为是第二模态，利用不同模态的扫描设备可以得到不同模态下对应的医学图像。另外，这里的医学图像可以是一维图像、二维图像、三维图像等，本实施例主要使用的是三维图像，这里获取的可以是两种不同模态下的医学图像，也可以是三种不同模态下的医学图像，当然也可以是更多不同模态下的医学图像，本实施例对此不作具体限定。
具体的，在对待检测对象进行检查时，计算机设备可以通过对不同模态的扫描设备采集的快速扫描数据进行图像重建和校正，就可以得到不同模态下的医学图像，或者，不同模态下的医学图像也可以预先重建和校正好，存储在计算机设备中，当需要对其进行处理时，直接从计算机设备的存储器中读取不同模态下的医学图像。又或者，计算机设备也可以从外部设备中获取不同模态下的医学图像，比如，将不同模态下的医学图像存储在云端，当需要进行处理操作时，计算机设备从云端获取该不同模态下的医学图像。本实施例对获取不同模态下的医学图像的获取方式不做限定。
S204，对至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像。
其中，曲面重建技术一般是针对获取的医学图像上的目标器官进行曲面重建的技术，一般在对目标器官进行扫描得到的体数据(即医学图像)的基础上，沿目标器官划线，然后计算该划线按照指定方向扫描面经过的曲面上的所有像素的灰度值，并将这些灰度值以二维形式显示出来。这里的曲面重建可以是对第一模态医学图像中的感兴趣区域进行曲面重建，也可以是对第一模态医学图像整体进行曲面重建，本实施例对此不作具体限定。这里至少两种不同模态下的医学图像可以包括第一模态医学图像和第二模态医学图像，当让也可以包括第三模态医学图像或者其他更多模态的医学图像。
具体的，计算机设备在得到第一模态医学图像之后，可以采用曲面重建技术对第一模态医学图像进行曲面重建，得到重建后的图像，记为曲面重建后的第一模态医学图像。
S206，根据第一模态医学图像和曲面重建后的第一模态医学图像，确定第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系。
其中，这里的转换关系可以是转换矩阵、转换公式等等；这里在确定转换关系时，可以是根据第一模态医学图像上各个点的属性值和曲面重建后的第一模态医学图像上各个点的属性值，计算得到两者之间的转换关系，该属性值可以是像素值、体素值、位置信息值等等，当然也可以是其他值，本实施例对此不作具体限定。
示例地，转换关系为线性关系，假设笛卡尔坐标系中一条直线的表达式为y＝x，该表达式经伸缩变化可变成y＝2x，那么y＝2x就可以表征原图像上所有点纵坐标变为原来2倍，横坐标不变；上述表达式y＝x经过平移变换可变成y＝x+1，那么y＝x+1就可以表征原图像上所有点都左移1个单位；当然还有其他变换过程等。在医学图像的实际处理过程中，比如血管拉直，其实也可以采用类似的转换关系来进行转换，以完成对医学图像的处理。
具体的，计算机设备在得到第一模态医学图像和曲面重建后的第一模态医学图像之后，可以根据两者图像上各个点的属性值，得到第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系。
S208，利用转换关系对至少两种不同模态下的医学图像中其它模态的第二模态医学图像进行曲面重建处理，得到曲面重建后的第二模态医学图像。
其中，其它模态可以是一个第二模态，也可以是多个第二模态，例如，不同模态包括：PET、CT、MR等，假设PET是第一模态，那么CT和MR均可以称为第二模态，当然，也可以是CT称为第二模态，MR称为第三模态。
具体的，计算机设备在得到第二模态医学图像、第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系之后，可以按照该转换关系，采用曲面重建技术对第二模态医学图像进行曲面重建，得到重建后的图像，记为曲面重建后的第二模态医学图像。在这里，由于第一模态医学图像和第二模态医学图像是采用同一个转换关系进行曲面重建的，因此，两者曲面重建后的得到重建图像的坐标系等性质都是一致的，两者可以进行叠加和融合。
S210，将曲面重建后的第一模态医学图像和曲面重建后的第二模态医学图像进行融合处理，得到曲面重建后的多模态图像。
其中，融合处理可以是采用图像融合技术对图像进行的处理，图像融合是指将多源信道(即不同模态的扫描设备)所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，这样可以提高图像信息的利用率，便于对不同通道采集的图像同时进行观察。例如，利用MR图像可以看目标中的斑块信息等，利用PET图像可以看目标的化学成分等，每个模态的图像都可以表征不同的信息，同时对多种不同信息进行观察和考虑，最终得到的分析结果就会更准确。
具体的，计算机设备在得到曲面重建后的第一模态医学图像和曲面重建后的第二模态医学图像之后，可以利用图像融合等相关技术对这两类图像进行融合处理，将这两种模态的图像融合成多模态图像，由于该多模态图像由于是两种模态的曲面重建图像融合得到的，因此也可以称为曲面重建后的多模态图像。
需要说明的是，由于曲面重建一般是基于组织的解剖特征进行的，在融合图像情况下，解剖特征位于下层，受到上层图像影响，解剖图的窗宽、窗位、不透明度等会因此改变，从而对解剖特征的识别造成不利条件，影响曲面重建的准确性和图像质量。示例地，以PET/MR为例，上层PET显示代谢信息，下层MR显示解剖信息，将PET和MR图像融合后，MR图像的观感明显下降，且部分信息会被PET高代谢阻挡，再进行曲面重建其实观看的信息也不准确。
因此，本实施例采用的方案是先对两种不同模态的医学图像分别进行曲面重建，然后将曲面重建后的两种图像再进行融合，而不是采用先融合两种模态的图像，然后对融合图像进行曲面重建的方法，采用本实施例的方法可以提高曲面重建的准确性和曲面重建后融合图像的图像质量。
上述多模态图像重建方法中，通过获取至少两种不同模态下的医学图像，对其中的第一模态医学图像进行曲面重建，得到曲面重建后的第一模态医学图像，根据第一模态的医学图像和曲面重建后的第一模态医学图像，可以得到第一模态的医学图像和曲面重建后的第一模态的医学图像之间的转换关系，利用该转换关系对第二模态医学图像进行曲面重建，可以得到曲面重建后的第二模态医学图像，将两个曲面重建后的医学图像进行融合，就可以得到曲面重建后的多模态图像。在该方法中，由于可以利用曲面重建技术对多个模态的医学图像进行曲面重建，因此，该方法可以便于医生对病灶进行观察；另外，由于该方法中第一模态医学图像和其他模态医学图像在曲面重建时使用的是同一个转换关系，因此，该方法可以将曲面重建后的多个模态的图像进行融合，在对病灶进行多方位的观察时，通过该融合后的多模态图像就可以看清楚各个模态的医学图像上的问题，从而可以将检查过程简单化，同时也可以节省检查时间，进而提高检查效率。
在另一个实施例中，提供了另一种多模态图像重建方法，本实施例涉及的是如何根据像素值确定第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系的具体过程。在上述实施例的基础上，如图3所示，上述S206可以包括以下步骤：
S302，获取第一模态医学图像上各个点的像素值、曲面重建后的第一模态医学图像上各个点的像素值。
具体的，计算机设备在利用扫描设备的数据重建第一模态医学图像时，利用像素值获取工具等就可以得到第一模态医学图像上个点的像素值，同样，在对第一模态医学图像进行曲面重建得到曲面重建后的第一模态医学图像之后，利用像素值获取工具也可以得到曲面重建后的第一模态医学图像的像素值。
S304，根据第一模态医学图像上各个点的像素值、曲面重建后的第一模态医学图像上各个点的像素值，确定第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系。
其中，转换关系如上所述可以是转换矩阵、转换公式等，这里以转换关系为转换矩阵为例进行说明。
具体的，计算机设备在得到第一模态医学图像上各个点的像素值和曲面重建后的第一模态医学图像上各个点的像素值之后，利用如下公式就可以得到两者之间的转换矩阵，如下公式(1)所示：[x1 x2 ... xn]＝M[y1 y2 ... yn]，在公式(1)中，假设第一模态医学图像上有n个点，分别为x1，x2...xn，曲面重建后的第一模态医学图像上也有n个点，y1，y2...yn，M为转换矩阵，对两个图像上对应的一对点分别进行计算，最后综合所有点的计算结果就可以得到转换矩阵。
本实施例提供的多模态图像重建方法，通过获取第一模态医学图像上各个点的像素值、曲面重建后的第一模态医学图像上各个点的像素值，并根据获取的第一模态医学图像上各个点的像素值和曲面重建后的第一模态医学图像上各个点的像素值，就可以确定第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系。在本实施例中，由于第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系是通过两者图像上各个点的像素值进行计算的，因此，该方法得到的转换关系比较准确，且计算过程比较简单。
在另一个实施例中，提供了另一种多模态图像重建方法，本实施例涉及的是如何对曲面重建后的第一模态医学图像和曲面重建后的第二模态医学图像进行融合处理的具体过程。在上述实施例的基础上，如图4所示，上述S210可以包括以下步骤：
S402，获取曲面重建后的第一模态医学图像的第一位置信息和曲面重建后的第二模态医学图像的第二位置信息。
其中，这里的位置信息可以是坐标值，该坐标值可以是一维坐标值、二维坐标值、三维坐标值，本实施例主要针对三维坐标值。
具体的，计算机设备在对各个模态医学图像进行曲面重建之后，也可以利用坐标获取工具得到曲面重建后各个模态医学图像的位置信息，该位置信息可以表征曲面重建后的各个模态医学图像之间的位置对应关系。
S404，根据第一位置信息和第二位置信息，将曲面重建后的第一模态医学图像和曲面重建后的第二模态医学图像进行融合处理。
其中，这里的第一位置信息和第二位置信息均可以是一个位置信息，也可以是多个位置信息，当是多个位置信息时，在比较时，就分开比较，本实施例对此不作限定。在曲面重建后的第一模态医学图像和曲面重建后的第二模态医学图像具体进行融合时，可选的，可以参见如下步骤A和步骤B的内容，如下所示：
步骤A，比较第一位置信息和第二位置信息，得到比较结果。
具体的，计算机设备在得到第一位置信息和第二位置信息之后，可以将两者进行对比，得到比较结果。
步骤B，若比较结果为第一位置信息大于第二位置信息，则按照预设的像素比例将曲面重建后的第一模态医学图像悬浮于曲面重建后的第二模态医学图像之上。
其中，这里的像素比例也可以理解为透明度比例等，这里曲面重建后的第一模态医学图像和曲面重建后的第二模态医学图像可以是使用同一个像素比例，还可以不同的像素比例，本实施例对此不作具体限定。
具体的，当比较结果为第一位置信息大于第二位置信息时，可选的，可以按照第一预设像素比例将曲面重建后的第一模态医学图像悬浮于曲面重建后的第二模态医学图像之上，以及按照第二预设像素比例将曲面重建后的第二模态医学图像悬浮于曲面重建后的第一模态医学图像之下；当比较结果为第一位置信息不大于第二位置信息时，则可以按照第一预设像素比例将曲面重建后的第一模态医学图像悬浮于曲面重建后的第二模态医学图像之下，以及按照第二预设像素比例将曲面重建后的第二模态医学图像悬浮于曲面重建后的第一模态医学图像之上。其中的第一预设像素比例可以和第二预设像素比例相同，也可以不同，示例地，第一预设像素比例可以是70％、第二预设像素比例可以是30％等等。在这里，将两种图像以设置像素比例的方式进行融合，使得可以更好地显示两种图像上的信息，便于医生更好的观察。
本实施例提供的多模态图像重建方法，通过获取曲面重建后的第一模态医学图像的第一位置信息和曲面重建后的第二模态医学图像的第二位置信息，根据第一位置信息和第二位置信息，将曲面重建后的第一模态医学图像和曲面重建后的第二模态医学图像进行融合处理。在该方法中，由于曲面重建后的第一模态医学图像和曲面重建后的第二模态医学图像是通过位置信息进行融合的，因此，该方法一方面可以简单的将两类图像进行融合显示，另一方面，利用该融合图像可以使医生更好地去观察病灶。
在另一个实施例中，提供了另一种多模态图像重建方法，本实施例涉及的是如何对第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像的一种可能的实施方式。在上述实施例的基础上，如图5所示，上述S204可以包括以下步骤：
S502，获取第一模态医学图像中目标形态结构的中心线。
其中，目标形态结构可以是一个形态结构，也可以是多个形态结构，每个形态结构可以是有一个分支，也可以有多个分支，示例地，假设第一模态医学图像是腹部图像，那么目标形态结构可以包括肝脏、胃、小肠、大肠等等。
具体的，计算机设备在得到第一模态医学图像之后，可以将第一模态医学图像输入至分割模型或者利用结构勾画工具，得到目标形态结构的图像，然后利用中心线提取算法等对目标形态结构图像进行处理，就可以得到目标形态结构的中心线。
S504，沿着目标形态结构的中心线将第一模态医学图像展开，并将展开后的第一模态医学图像进行拉伸处理，得到曲面重建后的第一模态医学图像。
其中，由于有些目标形态结构的形态是弯曲的，在曲面重建时就需要将弯曲的形态拉伸开来，这样显示的目标形态结构才是最准确的。
具体的，计算机设备在得到目标形态结构的中心线之后，可以按照该目标形态结构的中心线将第一模态医学图像展开，在展开之后，可以继续将目标形态结构弯曲的部分进行拉伸处理，之后得到图像称为曲面重建后的第一模态医学图像。
需要说明的是，在对第二模态医学图像进行曲面重建时，也可以跟上述第一模态医学图像的重建方法一样，获取第二模态医学图像中目标形态结构的中心线，沿着目标形态结构的中心线将第二模态医学图像展开，并将展开后的第二模态医学图像进行拉伸处理，得到曲面重建后的第二模态医学图像。
本实施例提供的多模态图像重建方法，通过获取第一模态医学图像中目标形态结构的中心线，沿着目标形态结构的中心线将第一模态医学图像展开，并将展开后的第一模态医学图像进行拉伸处理，得到曲面重建后的第一模态医学图像。在本实施例中，由于将第一模态医学图像按照目标形态结构的中心线展开，并对目标形态结构弯曲的部分进行了拉伸处理，因此得到的曲面重建后的第一模态医学图像是比较准确的，这样医生在利用该曲面重建后的图像去观察时，得到的观察结果也会更准确。
在另一个实施例中，提供了另一种多模态图像重建方法，本实施例涉及的是如何对第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像的另一种可能的实施方式。在上述实施例的基础上，如图6所示，上述S204可以包括以下步骤：
S602，在第一模态医学图像中确定感兴趣区域。
其中，感兴趣区域可以是目标形态结构，也可以是其他结构等。示例地，感兴趣区域可以是颈动脉血管、面神经，动脉疑似斑块区域等。
具体的，计算机设备可以将第一模态医学图像输入至分割模型或者利用结构勾画工具，得到感兴趣区域的图像。
S604，对感兴趣区域进行曲面重建。
具体的，计算机设备在得到感兴趣区域的图像之后，可以采用曲面重建技术对感兴趣区域的图像进行曲面重建，得到重建后的图像，记为曲面重建后的第一模态医学图像。
示例地，以感兴趣区域可以是上述颈动脉血管、面神经等为例，那么对感兴趣区域进行曲面重建就可以是如下情况：如血管壁成像，对颈动脉血管行走路线做曲面重建，观察血管狭窄情况；又如面神经炎MR增强扫描，对面神经进行曲面重建，观察面神经的颅内走向和受累情况。
另外，这里的曲面重建可以是按照点-线-面的顺序来获得重建曲面，先由点定义出一组特征线，然后再由这些曲线构造曲面，当然也可以是对目标形态进行模式识别，然后直接重建出曲面，当然也可以是其他曲面重建方法，本实施例对此不作具体限定。
可选的，上述感兴趣区域的获取方式包括：对至少两种不同模态下的医学图像进行融合处理，获取融合图像；在融合图像中定位第一模态医学图像中的感兴趣区域。也就是说，可以在第一模态医学图像中定位感兴趣区域，也可以在第一模态医学图像和第二模态医学图像融合之后，在融合图像上定位出感兴趣区域。
图7为另一个实施例中对第一模态医学图像进行曲面重建处理的结果示意图。该第一模态医学图像为磁共振图像，如图7中的第一区域A为对采集的磁共振数据进行最大密度投影(Maximum Intensity Projection)重建获得的投影图像，且该投影图像中包括作为感兴趣区域的颈动脉区域，对该颈动脉区域进行中心线的提取，且图中确定三个特征点a1、a2和a3。图7中的第二区域B为受检者扫描的矢状位视图，该图中包括三个特定点a1、a2和a3，其中第一和第三特征点(a1和a3)为参考点，第二特征点(a2)为病灶点。对上述磁共振投影图像中的感兴趣区域进行曲面重建包括：
获取感兴趣区域中动脉的轮廓线；轮廓线沿着感兴趣方向扫描形成扫描曲面；显示扫描曲面对应的体数据，得到感兴趣区域的重建曲面。上述过程中，选取的参考点还用于监测轮廓线的提取过程中，该选取的参考点是否再该轮廓线上。
通过上述过程可得到如图7中第三区域C所示的局部曲面图像，如图所示，弯曲部分的血管区域已经被拉直，三个特征点部位的具体尺寸可被精确量化，如图中第四区域D所示。进一步地，可选择PET图像最为第二模态医学图像，并对第二医学图像中的感兴趣区域进行曲面重建，通过对两种模态医学图像进行融合，可得到精确量化结果。本申请实施中第一特征点的面积为15.3mm2，最大直径为3.8mm；第三特征点的面积为12.0mm2，最大直径为3.4mm；第二特征点的面积为10.5mm2，最大直径为3.1mm，即病灶区域相对参考点存在明显的血管狭窄。
需要说明的是，在对第二模态医学图像进行曲面重建时，也可以跟上述第一模态医学图像的重建方法一样，在第二模态医学图像中确定感兴趣区域，对感兴趣区域进行曲面重建，该感兴趣区域的获取方式包括：对至少两种不同模态下的医学图像进行融合处理，获取融合图像；在融合图像中定位第二模态医学图像中的感兴趣区域。
本实施例提供的多模态图像重建方法，通过在第一模态医学图像中确定感兴趣区域，并对感兴趣区域进行曲面重建，该感兴趣区域的获取方式包括：对至少两种不同模态下的医学图像进行融合处理，获取融合图像；在融合图像中定位第一模态医学图像中的感兴趣区域。在该方法中，由于可以对感兴趣区域进行曲面重建，因此，该方法得到的曲面重建图像可以准确地观察感兴趣区域，从而使得观察结果更准确。
在另一实施例中，本发明所述的多模态重建方法可适用于PET/MR成像的动脉粥样硬化斑块观察分析，具体过程如下：
使用PET/MR一体化设备对患者进行成像，获取患者部位的PET数据和MR数据；分别对PET数据和MR数据进行重建获得PET图像和MR图像；以及对PET图像和MR图像进行融合，获取PET/MR融合图像；根据PET/MR融合图像的信息，在MR图像中确定动脉疑似斑块区域；使用曲面重建方法对MR图像中动脉疑似斑块区域进行重建获取动脉疑似斑块区域的第一曲面图像；确定MR图像中动脉疑似斑块区域与PET图像中相应区域的映射关系/转换关系；根据转换关系，对PET图像中动脉疑似斑块区域进行重建获取动脉疑似斑块区域的第二曲面图像；进一步地，将第一曲面图像和第二曲面图像进行融合，可分析观察斑块的形态和成分等信息。
在又一实施例中，本发明所述的多模态重建方法可适用于PET/CT图像脊柱侧弯校正，具体过程如下：
使用PET/CT一体化设备对患者进行成像，获取患者部位的PET数据和CT数据；分别对PET数据和CT数据进行重建获得PET图像和CT图像；对CT图像进行增强处理，具体为调整CT图像中每层面的阈值，以建立各个椎体的蒙板(mask)层；根据蒙板层，去除CT图像中每层面的伪影，以确定CT增强图像中的椎体图像；使用曲面重建方法对CT增强图像中的椎体图像进行重建获取CT曲面图像；确定CT图像中椎体区域与PET图像中相应区域的映射关系/转换关系；根据转换关系，对PET图像中椎体区域进行重建获取PET曲面图像；对CT曲面图像和PET曲面图像进行融合，并根据该融合图像获得椎体的弯曲度。可以理解的，本发明所述的多模态重建方法还可适用于PET和CT设备异体机。应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种多模态图像重建装置，包括：获取模块10、第一重建模块11、确定模块12、第二重建模块13和融合模块14，其中：
获取模块10，用于获取至少两种不同模态下的医学图像；
第一重建模块11，用于对所述至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像；
确定模块12，用于根据所述第一模态医学图像和所述曲面重建后的第一模态医学图像，确定所述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系；
第二重建模块13，用于利用所述转换关系对所述至少两种不同模态下的医学图像中其它模态的第二模态医学图像进行曲面重建处理，得到曲面重建后的第二模态医学图像；
融合模块14，用于将所述曲面重建后的第一模态医学图像和所述曲面重建后的第二模态医学图像进行融合处理，得到曲面重建后的多模态图像。
本实施例提供的多模态图像重建装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在另一个实施例中，提供了另一种多模态图像重建装置，在上述实施例的基础上，上述确定模块12可以包括：像素获取单元和确定单元，其中：
像素获取单元，用于获取所述第一模态医学图像上各个点的像素值、所述曲面重建后的第一模态医学图像上各个点的像素值；
确定单元，用于根据所述第一模态医学图像上各个点的像素值、所述曲面重建后的第一模态医学图像上各个点的像素值，确定所述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系。
在另一个实施例中，提供了另一种多模态图像重建装置，在上述实施例的基础上，上述融合模块14可以包括：位置获取单元和融合单元，其中：
位置获取单元，用于获取所述曲面重建后的第一模态医学图像的第一位置信息和所述曲面重建后的第二模态医学图像的第二位置信息；
融合单元，用于根据所述第一位置信息和所述第二位置信息，将所述曲面重建后的第一模态医学图像和所述曲面重建后的第二模态医学图像进行融合处理。
在另一个实施例中，提供了另一种多模态图像重建装置，在上述实施例的基础上，上述融合单元可以包括：比较子单元和设置子单元，其中：
比较子单元，用于比较所述第一位置信息和所述第二位置信息，得到比较结果；
设置子单元，用于若所述比较结果为所述第一位置信息大于所述第二位置信息，则按照预设的像素比例将所述曲面重建后的第一模态医学图像悬浮于所述曲面重建后的第二模态医学图像之上。
在另一个实施例中，所述预设的像素比例包括第一预设像素比例和第二预设像素比例，那么上述设置子单元还用于按照所述第一预设像素比例将所述曲面重建后的第一模态医学图像悬浮于所述曲面重建后的第二模态医学图像之上，以及按照所述第二预设像素比例将所述曲面重建后的第二模态医学图像悬浮于所述曲面重建后的第一模态医学图像之下。
在另一个实施例中，提供了另一种多模态图像重建装置，在上述实施例的基础上，上述第一重建模块11可以包括：中心线获取单元和展开单元，其中：
中心线获取单元，用于获取所述第一模态医学图像中目标形态结构的中心线；
展开单元，用于沿着所述目标形态结构的中心线将所述第一模态医学图像展开，并将展开后的第一模态医学图像进行拉伸处理，得到曲面重建后的第一模态医学图像。
在另一个实施例中，提供了另一种多模态图像重建装置，在上述实施例的基础上，上述第一重建模块11可以包括：区域确定单元和重建单元，其中：
区域确定单元，用于在所述第一模态医学图像中确定感兴趣区域；
重建单元，用于对所述感兴趣区域进行曲面重建；所述感兴趣区域的获取方式包括：对所述至少两种不同模态下的医学图像进行融合处理，获取融合图像；在所述融合图像中定位所述第一模态医学图像中的感兴趣区域。
本实施例提供的多模态图像重建装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于多模态图像重建装置的具体限定可以参见上文中对于多模态图像重建方法的限定，在此不再赘述。上述多模态图像重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取至少两种不同模态下的医学图像；
对所述至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像；
根据所述第一模态医学图像和所述曲面重建后的第一模态医学图像，确定所述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系；
利用所述转换关系对所述至少两种不同模态下的医学图像中其它模态的第二模态医学图像进行曲面重建处理，得到曲面重建后的第二模态医学图像；
将所述曲面重建后的第一模态医学图像和所述曲面重建后的第二模态医学图像进行融合处理，得到曲面重建后的多模态图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取所述第一模态医学图像上各个点的像素值、所述曲面重建后的第一模态医学图像上各个点的像素值；根据所述第一模态医学图像上各个点的像素值、所述曲面重建后的第一模态医学图像上各个点的像素值，确定所述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取所述曲面重建后的第一模态医学图像的第一位置信息和所述曲面重建后的第二模态医学图像的第二位置信息；根据所述第一位置信息和所述第二位置信息，将所述曲面重建后的第一模态医学图像和所述曲面重建后的第二模态医学图像进行融合处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
比较所述第一位置信息和所述第二位置信息，得到比较结果；若所述比较结果为所述第一位置信息大于所述第二位置信息，则按照预设的像素比例将所述曲面重建后的第一模态医学图像悬浮于所述曲面重建后的第二模态医学图像之上。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
按照所述第一预设像素比例将所述曲面重建后的第一模态医学图像悬浮于所述曲面重建后的第二模态医学图像之上，以及按照所述第二预设像素比例将所述曲面重建后的第二模态医学图像悬浮于所述曲面重建后的第一模态医学图像之下。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取所述第一模态医学图像中目标形态结构的中心线；沿着所述目标形态结构的中心线将所述第一模态医学图像展开，并将展开后的第一模态医学图像进行拉伸处理，得到曲面重建后的第一模态医学图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在所述第一模态医学图像中确定感兴趣区域；对所述感兴趣区域进行曲面重建；所述感兴趣区域的获取方式包括：对所述至少两种不同模态下的医学图像进行融合处理，获取融合图像；在所述融合图像中定位所述第一模态医学图像中的感兴趣区域。
在一个实施例中，提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取至少两种不同模态下的医学图像；
对所述至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像；
根据所述第一模态医学图像和所述曲面重建后的第一模态医学图像，确定所述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系；
利用所述转换关系对所述至少两种不同模态下的医学图像中其它模态的第二模态医学图像进行曲面重建处理，得到曲面重建后的第二模态医学图像；
将所述曲面重建后的第一模态医学图像和所述曲面重建后的第二模态医学图像进行融合处理，得到曲面重建后的多模态图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取所述第一模态医学图像上各个点的像素值、所述曲面重建后的第一模态医学图像上各个点的像素值；根据所述第一模态医学图像上各个点的像素值、所述曲面重建后的第一模态医学图像上各个点的像素值，确定所述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取所述曲面重建后的第一模态医学图像的第一位置信息和所述曲面重建后的第二模态医学图像的第二位置信息；根据所述第一位置信息和所述第二位置信息，将所述曲面重建后的第一模态医学图像和所述曲面重建后的第二模态医学图像进行融合处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
比较所述第一位置信息和所述第二位置信息，得到比较结果；若所述比较结果为所述第一位置信息大于所述第二位置信息，则按照预设的像素比例将所述曲面重建后的第一模态医学图像悬浮于所述曲面重建后的第二模态医学图像之上。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
按照所述第一预设像素比例将所述曲面重建后的第一模态医学图像悬浮于所述曲面重建后的第二模态医学图像之上，以及按照所述第二预设像素比例将所述曲面重建后的第二模态医学图像悬浮于所述曲面重建后的第一模态医学图像之下。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取所述第一模态医学图像中目标形态结构的中心线；沿着所述目标形态结构的中心线将所述第一模态医学图像展开，并将展开后的第一模态医学图像进行拉伸处理，得到曲面重建后的第一模态医学图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在所述第一模态医学图像中确定感兴趣区域；对所述感兴趣区域进行曲面重建；所述感兴趣区域的获取方式包括：对所述至少两种不同模态下的医学图像进行融合处理，获取融合图像；在所述融合图像中定位所述第一模态医学图像中的感兴趣区域。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种多模态图像重建方法，其特征在于，所述方法包括：
获取至少两种不同模态下的医学图像；
对所述至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像；
根据所述第一模态医学图像和所述曲面重建后的第一模态医学图像，确定所述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系；
利用所述转换关系对所述至少两种不同模态下的医学图像中其它模态的第二模态医学图像进行曲面重建处理，得到曲面重建后的第二模态医学图像；
将所述曲面重建后的第一模态医学图像和所述曲面重建后的第二模态医学图像进行融合处理，得到曲面重建后的多模态图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一模态医学图像和所述曲面重建后的第一模态医学图像，确定所述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系，包括：
获取所述第一模态医学图像上各个点的像素值、所述曲面重建后的第一模态医学图像上各个点的像素值；
根据所述第一模态医学图像上各个点的像素值、所述曲面重建后的第一模态医学图像上各个点的像素值，确定所述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系。
3.根据权利要求1所述的方法，其特征在于，所述将所述曲面重建后的第一模态医学图像和所述曲面重建后的第二模态医学图像进行融合处理，包括：
获取所述曲面重建后的第一模态医学图像的第一位置信息和所述曲面重建后的第二模态医学图像的第二位置信息；
根据所述第一位置信息和所述第二位置信息，将所述曲面重建后的第一模态医学图像和所述曲面重建后的第二模态医学图像进行融合处理。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一位置信息和所述第二位置信息，将所述曲面重建后的第一模态医学图像和所述曲面重建后的第二模态医学图像进行融合处理，包括：
比较所述第一位置信息和所述第二位置信息，得到比较结果；
若所述比较结果为所述第一位置信息大于所述第二位置信息，则按照预设的像素比例将所述曲面重建后的第一模态医学图像悬浮于所述曲面重建后的第二模态医学图像之上。
5.根据权利要求4所述的方法，其特征在于，所述预设的像素比例包括第一预设像素比例和第二预设像素比例，所述按照预设的像素比例将所述曲面重建后的第一模态医学图像悬浮于所述曲面重建后的第二模态医学图像之上，包括：
按照所述第一预设像素比例将所述曲面重建后的第一模态医学图像悬浮于所述曲面重建后的第二模态医学图像之上，以及按照所述第二预设像素比例将所述曲面重建后的第二模态医学图像悬浮于所述曲面重建后的第一模态医学图像之下。
6.根据权利要求1所述的方法，其特征在于，所述对所述至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像，包括：
获取所述第一模态医学图像中目标形态结构的中心线；
沿着所述目标形态结构的中心线将所述第一模态医学图像展开，并将展开后的第一模态医学图像进行拉伸处理，得到曲面重建后的第一模态医学图像。
7.根据权利要求1所述的方法，其特征在于，所述对所述至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，包括：
在所述第一模态医学图像中确定感兴趣区域；
对所述感兴趣区域进行曲面重建；
所述感兴趣区域的获取方式包括：
对所述至少两种不同模态下的医学图像进行融合处理，获取融合图像；
根据所述融合图像定位所述第一模态医学图像中的感兴趣区域。
8.一种多模态图像重建装置，其特征在于，所述装置包括：
获取模块，用于获取至少两种不同模态下的医学图像；
第一重建模块，用于对所述至少两种不同模态下的医学图像中的第一模态医学图像进行曲面重建处理，得到曲面重建后的第一模态医学图像；
确定模块，用于根据所述第一模态医学图像和所述曲面重建后的第一模态医学图像，确定所述第一模态医学图像和曲面重建后的第一模态医学图像之间的转换关系；
第二重建模块，用于利用所述转换关系对所述至少两种不同模态下的医学图像中其它模态的第二模态医学图像进行曲面重建处理，得到曲面重建后的第二模态医学图像；
融合模块，用于将所述曲面重建后的第一模态医学图像和所述曲面重建后的第二模态医学图像进行融合处理，得到曲面重建后的多模态图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910875737.0A CN110717961B (zh) | 2019-09-17 | 2019-09-17 | 多模态图像重建方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910875737.0A CN110717961B (zh) | 2019-09-17 | 2019-09-17 | 多模态图像重建方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110717961A true CN110717961A (zh) | 2020-01-21 |
| CN110717961B CN110717961B (zh) | 2023-04-18 |
Family
ID=69210530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910875737.0A Active CN110717961B (zh) | 2019-09-17 | 2019-09-17 | 多模态图像重建方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110717961B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529821A (zh) * | 2021-02-07 | 2021-03-19 | 南京景三医疗科技有限公司 | 一种cpr图像伪影的去除方法 |
| CN113077425A (zh) * | 2021-03-23 | 2021-07-06 | 上海联影智能医疗科技有限公司 | 目标图像的确定方法、装置、计算机设备和存储介质 |
| CN113393427A (zh) * | 2021-05-28 | 2021-09-14 | 上海联影医疗科技股份有限公司 | 斑块分析方法、装置、计算机设备和存储介质 |
| CN113506262A (zh) * | 2021-07-07 | 2021-10-15 | 上海商汤智能科技有限公司 | 图像处理方法、装置及其相关设备和存储介质 |
| CN114299254A (zh) * | 2021-12-20 | 2022-04-08 | 北京朗视仪器股份有限公司 | 一种基于曲面重建的面神经展开方法、装置及电子设备 |
| CN114723844A (zh) * | 2022-06-10 | 2022-07-08 | 中国医学科学院北京协和医院 | 经盐水造影校正的搏动灌注图像重建方法、系统及设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100239140A1 (en) * | 2007-08-03 | 2010-09-23 | Koninklijke Philips Electronics N.V. | Coupling the viewing direction of a blood vessel's cpr view with the viewing angle on the 3d tubular structure's rendered voxel volume and/or with the c-arm geometry of a 3d rotational angiography device's c-arm system |
| CN103093424A (zh) * | 2011-10-14 | 2013-05-08 | 美国西门子医疗解决公司 | 用于从医学成像数据中生成增强图像的方法和装置 |
| US20150317785A1 (en) * | 2012-07-30 | 2015-11-05 | General Electric Company | Method of generating a multi-modality anatomical atlas |
| DE102015219622A1 (de) * | 2015-10-09 | 2017-04-13 | Siemens Healthcare Gmbh | Rekonstruktion einer Abbildung anhand einer oder mehrerer Bildgebungsmodalitäten |
| CN107137107A (zh) * | 2017-05-09 | 2017-09-08 | 上海联影医疗科技有限公司 | 多模态医学图像获取方法及多模态医学图像成像系统 |
| US20190139236A1 (en) * | 2016-12-28 | 2019-05-09 | Shanghai United Imaging Healthcare Co., Ltd. | Method and system for processing multi-modality image |
| CN110060227A (zh) * | 2019-04-11 | 2019-07-26 | 艾瑞迈迪科技石家庄有限公司 | 多模态影像融合显示方法和装置 |
-
2019
- 2019-09-17 CN CN201910875737.0A patent/CN110717961B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100239140A1 (en) * | 2007-08-03 | 2010-09-23 | Koninklijke Philips Electronics N.V. | Coupling the viewing direction of a blood vessel's cpr view with the viewing angle on the 3d tubular structure's rendered voxel volume and/or with the c-arm geometry of a 3d rotational angiography device's c-arm system |
| CN103093424A (zh) * | 2011-10-14 | 2013-05-08 | 美国西门子医疗解决公司 | 用于从医学成像数据中生成增强图像的方法和装置 |
| US20150317785A1 (en) * | 2012-07-30 | 2015-11-05 | General Electric Company | Method of generating a multi-modality anatomical atlas |
| DE102015219622A1 (de) * | 2015-10-09 | 2017-04-13 | Siemens Healthcare Gmbh | Rekonstruktion einer Abbildung anhand einer oder mehrerer Bildgebungsmodalitäten |
| US20190139236A1 (en) * | 2016-12-28 | 2019-05-09 | Shanghai United Imaging Healthcare Co., Ltd. | Method and system for processing multi-modality image |
| CN107137107A (zh) * | 2017-05-09 | 2017-09-08 | 上海联影医疗科技有限公司 | 多模态医学图像获取方法及多模态医学图像成像系统 |
| CN110060227A (zh) * | 2019-04-11 | 2019-07-26 | 艾瑞迈迪科技石家庄有限公司 | 多模态影像融合显示方法和装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529821A (zh) * | 2021-02-07 | 2021-03-19 | 南京景三医疗科技有限公司 | 一种cpr图像伪影的去除方法 |
| CN112529821B (zh) * | 2021-02-07 | 2021-05-14 | 南京景三医疗科技有限公司 | 一种cpr图像伪影的去除方法 |
| CN113077425A (zh) * | 2021-03-23 | 2021-07-06 | 上海联影智能医疗科技有限公司 | 目标图像的确定方法、装置、计算机设备和存储介质 |
| CN113393427A (zh) * | 2021-05-28 | 2021-09-14 | 上海联影医疗科技股份有限公司 | 斑块分析方法、装置、计算机设备和存储介质 |
| CN113393427B (zh) * | 2021-05-28 | 2023-04-25 | 上海联影医疗科技股份有限公司 | 斑块分析方法、装置、计算机设备和存储介质 |
| CN113506262A (zh) * | 2021-07-07 | 2021-10-15 | 上海商汤智能科技有限公司 | 图像处理方法、装置及其相关设备和存储介质 |
| CN114299254A (zh) * | 2021-12-20 | 2022-04-08 | 北京朗视仪器股份有限公司 | 一种基于曲面重建的面神经展开方法、装置及电子设备 |
| CN114299254B (zh) * | 2021-12-20 | 2022-11-15 | 北京朗视仪器股份有限公司 | 一种基于曲面重建的面神经展开方法、装置及电子设备 |
| CN114723844A (zh) * | 2022-06-10 | 2022-07-08 | 中国医学科学院北京协和医院 | 经盐水造影校正的搏动灌注图像重建方法、系统及设备 |
| CN114723844B (zh) * | 2022-06-10 | 2022-08-19 | 中国医学科学院北京协和医院 | 经盐水造影校正的搏动灌注图像重建方法、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110717961B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717961B (zh) | 多模态图像重建方法、装置、计算机设备和存储介质 | |
| CN109993726B (zh) | 医学图像的检测方法、装置、设备和存储介质 | |
| Uus et al. | Deformable slice-to-volume registration for motion correction of fetal body and placenta MRI | |
| CN109544566B (zh) | 冠脉图像分割方法、装置、计算机设备和存储介质 | |
| US9384555B2 (en) | Motion correction apparatus and method | |
| US9471987B2 (en) | Automatic planning for medical imaging | |
| CN110570483B (zh) | 扫描方法、装置、计算机设备和存储介质 | |
| CN111179231A (zh) | 图像处理方法、装置、设备和存储介质 | |
| US20150023575A1 (en) | Anatomy Aware Articulated Registration for Image Segmentation | |
| CN109152566B (zh) | 校正超声融合成像系统中的探头引起的变形 | |
| CN111080573A (zh) | 肋骨图像检测方法、计算机设备和存储介质 | |
| US10713802B2 (en) | Ultrasonic image processing system and method and device thereof, ultrasonic diagnostic device | |
| JP6541334B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN115100067A (zh) | 图像重建方法及装置 | |
| JP6458166B2 (ja) | 医用画像処理方法及び装置及びシステム及びプログラム | |
| CN109199422A (zh) | Ct预览图像重建优化方法、装置、计算机设备和存储介质 | |
| CN113643176A (zh) | 一种肋骨显示方法和装置 | |
| CN114092475A (zh) | 病灶长径确定方法、图像标注方法、装置及计算机设备 | |
| JP2013223620A (ja) | 医用画像のレジストレーション処理装置、方法およびプログラム | |
| CN114943714A (zh) | 医学图像处理系统、装置、电子设备及存储介质 | |
| JP2016041245A (ja) | 医用画像処理装置及び医用画像処理方法 | |
| CN108898582B (zh) | 心脏图像重建方法、装置以及计算机设备 | |
| CN110473241B (zh) | 图像配准方法、存储介质及计算机设备 | |
| CN111161369B (zh) | 图像重建存储方法、装置、计算机设备和存储介质 | |
| CN110473226B (zh) | 图像处理网络的训练方法、计算机设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant after: Shanghai Lianying Medical Technology Co.,Ltd. Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |