CN107993236A - 一种多模态图像处理的方法和平台 - Google Patents
一种多模态图像处理的方法和平台 Download PDFInfo
- Publication number
- CN107993236A CN107993236A CN201711208773.9A CN201711208773A CN107993236A CN 107993236 A CN107993236 A CN 107993236A CN 201711208773 A CN201711208773 A CN 201711208773A CN 107993236 A CN107993236 A CN 107993236A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- spect
- pet
- bulls
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 title claims abstract description 21
- 238000012636 positron electron tomography Methods 0.000 claims abstract description 37
- 238000002603 single-photon emission computed tomography Methods 0.000 claims abstract description 37
- 241001522301 Apogonichthyoides nigripinnis Species 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000012937 correction Methods 0.000 claims abstract description 7
- 238000000638 solvent extraction Methods 0.000 claims abstract description 7
- 238000002156 mixing Methods 0.000 claims abstract description 5
- 238000004445 quantitative analysis Methods 0.000 claims abstract description 5
- 238000012831 peritoneal equilibrium test Methods 0.000 claims abstract 11
- 238000012877 positron emission topography Methods 0.000 claims abstract 11
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 238000012800 visualization Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 16
- 210000005240 left ventricle Anatomy 0.000 description 11
- 210000004165 myocardium Anatomy 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000002107 myocardial effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 208000028867 ischemia Diseases 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本发明涉及一种多模态图像处理的方法及平台，包括SPECT和PET数据与CT数据的读入；读入数据的预处理；三维显示；使用分割算法将图像中的选定区域分割出来；根据图像中心脏的长轴与短轴校正图像；采用互信息方法以CT图像为模板，将PET与SPECT图像配准到CT图像，从而得到配准后的SPECT和PET图像；以小波融合的方式将配准后的SPECT和PET图像融合；显示SPECT、PET及融合图像的靶心图；以及对得到的靶心图进行测量、多边形勾勒、缩放、旋转和/或标记操作，以对结果进行定量分析，利用不同模态数据靶心图的差异性为医生提供定量诊断指标。本发明能够读取多种图像数据，并通过匹配、分割、融合、三维可视化等操作对图像数据进行分析和处理，便于使用，显著地提高了效率。
Description
技术领域
本发明涉及一种多模态图像处理的方法和平台，尤其涉及多模态核医学影像数据的分析与处理。
背景技术
成像技术和图像处理广泛地应用于工业制造、材料加工、故障诊断、辅助医疗等各个技术领域。比如在制造领域，经常需要检测设备或材料内部的结构；在诊断缺血性心脏病等有关心肌活性的疾病时，也常用到PET/SPECT等多模态核医学影像数据。对图像进行分析与处理，用以辅助制造或诊断。PET(正电子发射型计算机断层显像，Positron EmissionComputed Tomography)和SPECT(单光子发射计算机断层成像术，Single-Photon EmissionComputed Tomography)是核医学的两种CT技术，由于它们都是对从病人体内发射的γ射线成像，故统称发射型计算机断层成像术(Emission Computed Tomography，ECT)。
一般来说，现有的图像处理系统或平台，仅能采集或处理单一来源或格式的图像，如果需要基于多种来源、格式的图像或多模态影像数据进行综合分析判断时，通常需要多个不同的图像处理系统或平台分别进行处理，再由工作人员对各种不同的图像或处理结果进行综合分析、处理或判断。这种方式，工作效率较低，不方便使用，并且在综合分析、处理或判断时，对工作人员本身的经验和能力有较高要求，会对最终的处理结果带来更多的不确定性或不利影响。
发明内容
鉴于现有技术的上述缺陷，本发明提供一种图像处理的方法及平台，可以读取多种模态图像数据，并通过匹配、分割、融合、三维可视化等操作对图像数据进行分析和处理，并且在处理过程中，还可以进行人机交互操作，可以根据需要手动或自动地进行各种操作，便于使用，显著地提高了工作效率，并且处理效果更好。
一方面，本发明提供一种多模态图像处理的方法，包括以下步骤：S1、读入多模态的图像数据；S2、对读入的图像数据进行预处理；S3、显示所述图像数据；S4、对所述图像数据进行分割；S5、对所述图像数据进行方位校正；S6、对所述图像数据进行配准；S7、对所述图像数据进行融合；S8、对所述图像数据进行分析；以及S9、对所述图像数据的分析结果进行定量呈现。
本发明的一个实施例中，步骤S2-S9可以不同的顺序进行，并且也可以省略或重复进行步骤S2-S9中的一个或多个。
本发明的另一个实施例中，步骤S1包括：读取二维和三维的图像数据，以及与图像数据相关的其他信息。
本发明的另一个实施例中，步骤S2包括：对读入的图像进行一维、二维或者三维的滤波处理，滤波器包括但不限于高斯平滑滤波器。
本发明的另一个实施例中，步骤S3包括：将三维图像数据显示在多个视图当中，其中一个或多个视图用以显示不同角度的二维图像，一个视图用以显示三维图像。
本发明的另一个实施例中，步骤S3包括：在一个二维显示的视图中选中某个点，其他的二维视图中将同步显示该点坐标所对应的断层图像，并显示此时该点坐标的三维坐标，并加以标记。
本发明的另一个实施例中，步骤S4包括：通过手动选取生长点或多边形区域进行分割，和/或通过预先设定的算法进行自动分割；以及在将图像分割后同时显示某一方向上的断层平面图像。
本发明的另一个实施例中，步骤S5中，根据图像中重点区域或选定区域的长轴与短轴对图像方位进行校正，从而使得多模态的图像数据方位一致；步骤S6中，采用互信息方法对多模态的图像数据进行配准；以及步骤S7中，以小波融合方式融合配准后的图像数据。
本发明的另一个实施例中，步骤S8包括：对基于多组图像数据所生成的不同的靶心图进行对比，生成一张新的靶心图，并将重叠部分和非重叠部分分别标识出来。
本发明的另一个实施例中，其特征在于：步骤S1中，读入同一成像被试的SPECT和PET数据与CT数据；步骤S2中，对读入数据使用一种或多种滤波方法进行预处理；步骤S3中，三维显示图像数据；步骤S4中，使用一种或多种分割算法将图像中的选定区域分割出来，所述分割算法包括但不限于三维区域生长和/或FCM算法；步骤S5中，根据图像中重点区域或选定区域的长轴与短轴，校正图像方位，以确保SPECT和PET方位一致；步骤S6中，采用互信息方法将PET和SPECT图像配准到CT图像，从而得到配准后的SPECT和PET图像；步骤S7中，以小波融合方式将配准后的SPECT和PET图像融合；步骤S8中，显示SPECT、PET及融合图像的靶心图步骤S9中，对得到的靶心图进行测量、多边形勾勒、缩放、旋转和/或标记操作，并对结果进行定量分析展示。
另一方面，本发明提供一种多模态图像处理平台，使用上述的方法处理多模态图像。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个实施例中的操作流程图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
下面结合本发明的具体实施例对本发明的技术方案进行详细阐述。
本发明可以广泛地应用于工业制造、材料加工、故障诊断、辅助医疗等各个技术领域。比如在诊断缺血性心脏病等有关心肌活性的疾病时，可以使用PET/SPECT等多模态核医学影像数据，通过对图像进行分析与处理，用以辅助制造或诊断。具体地说，可以读取多模态核医学数据PET和SPECT数据及CT扫描数据等，对多模态数据进行配准分割、融合、三维可视化以及靶心图分析，并且在处理过程中还可以进行人机交互操作。
DICOM(digital imaging and communications in medicine)是目前应用最广泛的医学图像文件格式。DICOM文件一般是由一个DICOM的文件头和一个DICOM的数据信息集合组合而成的。在头文件中具有各种数据信息，如病人ID、检查模式、床位、图像大小、设备信息等等，也同时读取出来。
在本发明的一个实施例中，图像数据读取与管理的主要功能包括：
(1)支持PET和SPECT的DICOM文件分别读取，并支持批量读取；
(2)读取的数据在数据栏中显示；
(3)可以在数据栏中对数据进行保存、删除、显示等操作。
具体地说，平台读取的是SPECT和PET的DIOCM数据，PET的数据格式是二维的DICOM格式，SPECT是三维的DICOM格式。在读取数据的时候将这两种数据分开，读取PET数据的同时读取批量一组DICOM文件，以便于对数据进行三维分析。
在将数据读取进内存之后，将数据在用户界面中标识出来。在一个实施例中显示为数据栏，可以让用户能够直观地观察到数据栏中显示的标识，代表已经读入的数据，可以通过对这个标识进行操作来对这些数据进行操作。在操作的过程中，产生的有价值的中间数据，也可以显示在数据栏中。
为了使显示更加清晰，可以执行保存图像、删除图像、显示图像等功能。这些功能可以按钮的形式显示在界面中或数据栏附近。
在读取图像之后，对图像进行分割等操作。由于某些分割方法对于图像的预处理有较高的要求，所以平台将对读入的图像数据进行相应的预处理，如滤波等操作。在一个实施例中，图像数据进行预处理的功能包括：
(1)设计高斯滤波器，并以按键形式实现预处理功能；
(2)留下选择条目，以便后期添加其他的预处理方式。
具体地说，滤波器是高斯滤波器，滤波的方式为对图像进行二维上的高斯滤波，然后整合为三维数据。也可根据需求，灵活地采用其他的预处理方式或各种预处理方式的组合。在一个实施例中，以按键形式实现这一功能。
根据读取或经过预处理的图像，对多模态图像进行配准融合。在一个实施例中，多模态图像配准融合的功能包括：将配准与融合算法集成在用户界面的按键上，自动对所读取的多模态数据进行配准与融合，并将得到的新数据存储在数据栏中。
对于医学图像来说，不同模态的数据由于其成像方式原理的不同，其包含的信息也不同。比如，CT通过各个层面的X线扫描得到结构图像，能清晰地显示其组织结构；PET和SPECT通过放射性同位素标记化合物，检测衰变后的光子湮灭事件标识其集聚区域，从而得到功能图像，以显示肿瘤高亮病灶区域或失活心肌的低灰度区域等。
在实际应用中，既需要精准地标识病灶区域，也需要病灶区域清晰的组织成像。而每次成像时，由于体位等因素的不确定性，使得每次成像不可能完全相同，从而导致不同图像的组织方位也不同，位置信息无法匹配。因此，通过配准来将不同模态的数据进行匹配，并将配准后的图像数据进行图像融合，以使不同图像的突出信息能够显示在一张图像上，从而达到信息的综合使用的目的。
在一个实施例中，使用互信息的方式对CT、PET、SPECT等图像进行配准，如以CT图像为模板将PET与SPECT图像配准到CT图像，从而得到配准后的SPECT和PET图像，并使用小波融合的方式进行图像融合。
然后，将配准融合后的图像进行可视化处理，并可进行交互操作。在一个实施例中，图像可视化与交互的功能包括：
(1)将三维图像数据显示在多个视图当中，如一个或多个视图用以显示不同角度的二维图像，一个视图用以直观的三维显示；
(2)在将图像分割后可同时显示某一方向上的断层平面图像；
(3)在一个二维显示的视图中选中某个点，其他的二维视图中将同步显示该点坐标所对应的断层图像，并显示此时该点的三维坐标，并加以标记，如以十字光标加以标记；
(4)对所选视图进行放大、旋转、分割等操作，可以通过按键的形式实现，如选择放大功能按键对所选视图进行放大操作，在三维显示视图中进行拖动对三维图进行旋转操作，以及通过选取生长点或者多边形区域对图像进行分割。
对于医学图像处理软件来说，图像可视化与交互的功能是非常重要的。在一个实施例中，医学图像的显示界面具有四个视图，其中三个视图是二维显示，分别对应图像的冠状面、矢状面和横断面，用以显示数据在不同方向上的二维显示，便于对三维数据中的每一个点进行选取并操作。第四个视图则是用来直观显示数据的三维状态。对于在医学领域应用的图像软件来说，三视图显示和直观三维显示对图像的综合分析判断是有利的。此外，在一个具体的实施中，可针对心脏核医学图像进行处理和显示，如保留在左心室分割后同时显示某一断层平面图像，用以对比观察数据的整体情况。
交互操作也是本发明一个非常重要的方面，可以根据不同的需要灵活便捷地对图像进行各种处理，在一个实施例中，通过鼠标点击和/或功能按键实现在四个视图中进行交互操作。比如，在选择相应的功能按键后，程序或系统能够捕捉到鼠标在视图上的点击操作并作出响应，完成已定义好的响应事件。
在对图像进行分析处理时，通常会重点关注图像中某个区域的信息，可以对图像进行分割以去除不需要的部分或者提取需要的部分。在一个实施例中，分割功能包括：
(1)通过选择按键或使用鼠标在图像中选取待分割的区域，并确认生成新的三维数据，所选择的区域可以是任意形状或尺寸，如在横断面选取矩形或选择左心室所在的区域，长宽分别为矩形的长宽，高为横断面的层数，数据显示于标识栏；
(2)选择如模糊C均值算法(Fuzzy C-means,FCM)或者区域生长方法等分割方法进行自动分割，并保存数据至数据栏。
在本发明的一个实施例中，可用于心肌检测，而靶心图分析是目前运用广泛的定量分析方式，可针对左心室心肌图像进行分析处理。靶心图分析的功能包括：
(1)对之前得到的心肌ROI(region of interested)根据长轴进行校正，方式为遍历心肌二值图像，找到距离最长的两点作为长轴，计算其与Z轴的夹角，然后将长轴旋转至Z轴；
(2)采用椭球模型并计算模型参数，方式为对每一横截面以二值图像为基准进行圆参数拟合，找出每一横截面的圆心和半径；
(3)生成靶心图，每一组数据生成四幅靶心图，第一幅为直接投射的靶心图，共有横截面数X40个区域；第二幅为17段靶心图，17个区域只显示每一区域的最大放射性计数，可用于定性观察心肌活性；第三幅为正常人的17段靶心图；第四幅为黑靶心图；
(4)靶心图对比，两组数据生成靶心图后，可以进行对比，生成显示一张新的17段靶心图，并将黑色的重叠部分和非重叠部分分别标识出来；
(5)对于所得到的靶心图结果，进行定量分析展示，如可以利用不同模态数据靶心图的差异性提供定量诊断指标。
在一个具体的实施例中，对左心房进行分割的方式为：首先由用户在断层面以矩形方式选择左心室区域ROI，确认后生成新的三维数据，标识显示在数据栏中。此时四个视图中显示的是包含左心室的ROI，然后通过选择按键使用FCM算法或者三维区域生长算法等分割算法，进行自动分割，数据栏中保存左心室心肌的二值数据以及将二值图像反乘回去所得到的分割后的左心室心肌图像。
如图1所示为本发明的一个实施例中的涉及到的各种操作步骤：
(1)读入数据：如读入同一成像被试的三维SPECT和PET数据与CT数据；
(2)预处理：如对读入数据进行高斯滤波等预处理；
(3)显示数据：如三维显示，并得到像素等信息；
(4)图像分割：如使用三维区域生长与FCM算法等分割算法将左心室分割出来，包含交互操作；
(5)方位校正：根据图像中的重点区域或选定区域的位置和尺寸进行方位校正，以使得不同图像的方位一致，如根据图像中心脏的长轴与短轴进行方位校正，以确保SPECT和PET方位一致，以及确保心脏分区准确；
(6)图像配准：如采用互信息方法将PET和SPECT图像配准到CT图像，得到配准后的SPECT和PET图像；
(7)图像融合：如以小波融合方式将配准后的SPECT与PET融合；
(8)靶心图分析及定量呈现：如显示SPECT、PET及融合图像的靶心图(18段与全靶心图)，并对得到的靶心图进行测量、多边形区域勾勒、缩放、旋转、标记等操作，以对结果进行定量分析展示或呈现，从而可以利用不同模态数据靶心图的差异性提供定量诊断指标。
在不同的实施例中，上述各个步骤可以不同的顺序进行，并且也可以根据实际需要省略或重复进行一个或多个步骤。
以下结合本发明的一个具体实施例对上述步骤进行更详细的阐述。
(1)数据读取与管理：
读取同一成像被试的三维的SPECT、PET和CT数据，读入的数据存储在相应的存储控件中，并将标识tag显示在数据栏中，并配置为在数据栏中选取标识tag即可对相应数据进行操作，如显示图像、保存图像、删除图像等。
(2)预处理：
对读入的数据进行高斯滤波等预处理。
(3)显示数据：
读入数据后，在四个视图中进行三视图和直观三维的三维可视化。可选择标识tag操作显示不同的数据。
(4)图像配准和融合：
选择按键后，对PET、SPECT、CT数据进行自动配准与融合，配准和融合后的数据标识在数据栏中。
(5)图像分割：
选择按键后，选择FCM方法或者区域生长方法等分割方法进行分割，以矩形方式圈出包含左心室的区域，并自动完成分割，分割数据标识在数据栏中。
(6)方位校正：
选择按键后，自动计算并提取分割出的左心室的长轴与短轴，然后将左心室的长轴旋转到Z轴。
(7)靶心图分析及定量呈现：
选择按键后，每一组数据生成四幅靶心图，其中，第一幅为直接投射的靶心图，共有横截面数X40个区域；第二幅为17段靶心图，17个区域只会显示每一区域的最大放射性计数，可用于定性观察心肌活性；第三幅为正常人的17段靶心图；第四幅为变黑靶心图。
对比生成的靶心图：在两组数据生成靶心图后，进行对比，生成显示一张新的17段靶心图，并将黑色的重叠部分和非重叠部分分别标识出来。
对于所得到的靶心图结果，显示分析报告，从而可以利用不同模态数据靶心图的差异性为医生提供定量诊断指标。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (11)
1.一种多模态图像处理的方法，其特征在于，包括以下步骤：
S1、读入多模态的图像数据；
S2、对读入的图像数据进行预处理；
S3、显示所述图像数据；
S4、对所述图像数据进行分割；
S5、对所述图像数据进行方位校正；
S6、对所述图像数据进行配准；
S7、对所述图像数据进行融合；
S8、对所述图像数据进行分析；以及
S9、对所述图像数据的分析结果进行定量呈现。
2.根据权利要求1所述的方法，其特征在于：
步骤S2-S9可以不同的顺序进行，并且也可以省略或重复进行步骤S2-S9中的一个或多个。
3.根据权利要求1所述的方法，其特征在于，步骤S1包括：
读取二维和三维的图像数据，以及与图像数据相关的其他信息。
4.根据权利要求1所述的方法，其特征在于，步骤S2包括：
对读入的图像进行一维、二维或者三维的滤波处理，滤波器包括但不限于高斯平滑滤波器。
5.根据权利要求1所述的方法，其特征在于，步骤S3包括：
将三维图像数据显示在多个视图当中，其中一个或多个视图用以显示不同角度的二维图像，一个视图用以显示三维图像。
6.根据权利要求5所述的方法，其特征在于，步骤S3包括：
在一个二维显示的视图中选中某个点，其他的二维视图中将同步显示该点坐标所对应的断层图像，并显示此时该点坐标的三维坐标，并加以标记。
7.根据权利要求1所述的方法，其特征在于，步骤S4包括：
通过手动选取生长点或多边形区域进行分割，和/或通过预先设定的算法进行自动分割；以及
在将图像分割后同时显示某一方向上的断层平面图像。
8.根据权利要求1所述的方法，其特征在于：
步骤S5中，根据图像中重点区域或选定区域的长轴与短轴对图像方位进行校正，从而使得多模态的图像数据方位一致；
步骤S6中，采用互信息方法对多模态的图像数据进行配准；以及
步骤S7中，以小波融合方式融合配准后的图像数据。
9.根据权利要求1所述的方法，其特征在于，步骤S8包括：
对基于多组图像数据所生成的不同的靶心图进行对比，生成一张新的靶心图，并将重叠部分和非重叠部分分别标识出来。
10.根据权利要求1-8中任一项所述的方法，其特征在于：
步骤S1中，读入同一成像被试的SPECT和PET数据与CT数据；
步骤S2中，对读入数据使用一种或多种滤波方法进行预处理；
步骤S3中，三维显示图像数据；
步骤S4中，使用一种或多种分割算法将图像中的选定区域分割出来，所述分割算法包括但不限于三维区域生长和/或FCM算法；
步骤S5中，根据图像中重点区域或选定区域的长轴与短轴，校正图像方位，以确保SPECT和PET方位一致；
步骤S6中，采用互信息方法将PET和SPECT图像配准到CT图像，从而得到配准后的SPECT和PET图像；
步骤S7中，以小波融合方式将配准后的SPECT和PET图像融合；
步骤S8中，显示SPECT、PET及融合图像的靶心图
步骤S9中，对得到的靶心图进行测量、多边形勾勒、缩放、旋转和/或标记操作，并对结果进行定量分析展示。
11.一种多模态图像处理平台，使用根据权利要求1-9中任一项所述的方法处理多模态图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711208773.9A CN107993236A (zh) | 2017-11-27 | 2017-11-27 | 一种多模态图像处理的方法和平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711208773.9A CN107993236A (zh) | 2017-11-27 | 2017-11-27 | 一种多模态图像处理的方法和平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107993236A true CN107993236A (zh) | 2018-05-04 |
Family
ID=62032316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711208773.9A Pending CN107993236A (zh) | 2017-11-27 | 2017-11-27 | 一种多模态图像处理的方法和平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107993236A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111312373A (zh) * | 2020-01-19 | 2020-06-19 | 浙江树人学院（浙江树人大学） | 一种pet/ct图像融合自动标注方法 |
| CN111904450A (zh) * | 2020-09-07 | 2020-11-10 | 北京永新医疗设备有限公司 | 左心室中心和感兴趣区域的提取方法、装置及系统 |
| CN112949732A (zh) * | 2021-03-12 | 2021-06-11 | 中国人民解放军海军航空大学 | 基于自适应多模态遥感图像融合语义标注方法及系统 |
| CN113610751A (zh) * | 2021-06-03 | 2021-11-05 | 迈格生命科技（深圳）有限公司 | 图像处理方法、装置及计算机可读存储介质 |
| WO2021258638A1 (en) * | 2020-06-24 | 2021-12-30 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for image registration |
| CN117475397A (zh) * | 2023-12-26 | 2024-01-30 | 安徽蔚来智驾科技有限公司 | 基于多模态传感器的目标标注数据获取方法、介质及设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1818974A (zh) * | 2006-03-08 | 2006-08-16 | 杭州电子科技大学 | 一种多模态医学体数据三维可视化方法 |
| CN101796544A (zh) * | 2007-09-03 | 2010-08-04 | 皇家飞利浦电子股份有限公司 | 体素数据的可视化 |
| CN102292747A (zh) * | 2009-01-22 | 2011-12-21 | 皇家飞利浦电子股份有限公司 | 针对pet/ct图像的像素特征混合融合 |
| CN102665566A (zh) * | 2010-10-25 | 2012-09-12 | 株式会社东芝 | 医用图像处理装置、医用图像拍摄装置和医用图像处理程序 |
| CN103426174A (zh) * | 2013-08-13 | 2013-12-04 | 中国科学院深圳先进技术研究院 | 多模态医学影像配准方法 |
| US20160171698A1 (en) * | 2014-12-15 | 2016-06-16 | Kabushiki Kaisha Toshiba | Method of, and apparatus for, registration and segmentation of medical imaging data |
| CN106910179A (zh) * | 2017-01-22 | 2017-06-30 | 南京觅踪电子科技有限公司 | 基于小波变换的多模态医学图像融合方法 |
-
2017
- 2017-11-27 CN CN201711208773.9A patent/CN107993236A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1818974A (zh) * | 2006-03-08 | 2006-08-16 | 杭州电子科技大学 | 一种多模态医学体数据三维可视化方法 |
| CN101796544A (zh) * | 2007-09-03 | 2010-08-04 | 皇家飞利浦电子股份有限公司 | 体素数据的可视化 |
| CN102292747A (zh) * | 2009-01-22 | 2011-12-21 | 皇家飞利浦电子股份有限公司 | 针对pet/ct图像的像素特征混合融合 |
| CN102665566A (zh) * | 2010-10-25 | 2012-09-12 | 株式会社东芝 | 医用图像处理装置、医用图像拍摄装置和医用图像处理程序 |
| CN103426174A (zh) * | 2013-08-13 | 2013-12-04 | 中国科学院深圳先进技术研究院 | 多模态医学影像配准方法 |
| US20160171698A1 (en) * | 2014-12-15 | 2016-06-16 | Kabushiki Kaisha Toshiba | Method of, and apparatus for, registration and segmentation of medical imaging data |
| CN106910179A (zh) * | 2017-01-22 | 2017-06-30 | 南京觅踪电子科技有限公司 | 基于小波变换的多模态医学图像融合方法 |
Non-Patent Citations (7)
| Title |
|---|
| 唐红等: ""胎儿心脏超声解剖"", 《人民军医出版社》 * |
| 李成等: ""图像融合-理论、技术与应用"", 《国防工业出版社》 * |
| 谭海涛等: "《3D骨科学》", 30 September 2016 * |
| 赵书俊等: ""心肌核素断层显像定量分析系统"", 《北京生物医学工程》 * |
| 赵宗贵等: ""信息融合工程实践-技术与方法"", 《国防工业出版社》 * |
| 赵涓涓: ""基于PET-CT的肺癌早期计算机辅助诊断技术"", 《国防工业出版社》 * |
| 魏志勇等: ""医用核辐射物理学"", 《苏州大学出版社》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111312373A (zh) * | 2020-01-19 | 2020-06-19 | 浙江树人学院（浙江树人大学） | 一种pet/ct图像融合自动标注方法 |
| CN111312373B (zh) * | 2020-01-19 | 2023-08-18 | 浙江树人学院（浙江树人大学） | 一种pet/ct图像融合自动标注方法 |
| WO2021258638A1 (en) * | 2020-06-24 | 2021-12-30 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for image registration |
| CN111904450A (zh) * | 2020-09-07 | 2020-11-10 | 北京永新医疗设备有限公司 | 左心室中心和感兴趣区域的提取方法、装置及系统 |
| CN111904450B (zh) * | 2020-09-07 | 2023-11-07 | 北京永新医疗设备有限公司 | 左心室中心和感兴趣区域的提取方法、装置及系统 |
| CN112949732A (zh) * | 2021-03-12 | 2021-06-11 | 中国人民解放军海军航空大学 | 基于自适应多模态遥感图像融合语义标注方法及系统 |
| CN112949732B (zh) * | 2021-03-12 | 2022-04-22 | 中国人民解放军海军航空大学 | 基于自适应多模态遥感图像融合语义标注方法及系统 |
| CN113610751A (zh) * | 2021-06-03 | 2021-11-05 | 迈格生命科技（深圳）有限公司 | 图像处理方法、装置及计算机可读存储介质 |
| CN117475397A (zh) * | 2023-12-26 | 2024-01-30 | 安徽蔚来智驾科技有限公司 | 基于多模态传感器的目标标注数据获取方法、介质及设备 |
| CN117475397B (zh) * | 2023-12-26 | 2024-03-22 | 安徽蔚来智驾科技有限公司 | 基于多模态传感器的目标标注数据获取方法、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107993236A (zh) | 一种多模态图像处理的方法和平台 | |
| US8929635B2 (en) | Method and system for tooth segmentation in dental images | |
| US8907952B2 (en) | Reparametrized bull's eye plots | |
| EP2245592B1 (en) | Image registration alignment metric | |
| EP2054860B1 (en) | Selection of datasets from 3d renderings for viewing | |
| JP5323795B2 (ja) | 診断支援装置、診断支援プログラムおよび診断支援方法 | |
| CN105167793A (zh) | 图像显示装置、显示控制装置及显示控制方法 | |
| AU2006282500A1 (en) | Image processing method, image processing program, and image processing device | |
| CN104885126B (zh) | 感兴趣组织的计算机辅助识别 | |
| EP1877984B1 (en) | Multi-surface modelling | |
| EP2401719B1 (fr) | Méthodes de segmentation d'images et de détection de structures particulières | |
| CN107563998A (zh) | 医学图像中心脏图像处理方法 | |
| CN101379413A (zh) | 创建基于ct的衰减图时对外来物体的说明 | |
| EP2601637B1 (en) | System and method for multi-modality segmentation of internal tissue with live feedback | |
| CN102132322A (zh) | 用于确定对象的尺寸改变的设备 | |
| CN108430332A (zh) | 断层扫描设备及其用于重建断层扫描图像的方法 | |
| WO2019068689A1 (en) | ANNOTATION OF IMAGE CHARACTERISTICS IN DIAGNOSTIC IMAGING | |
| US9014448B2 (en) | Associating acquired images with objects | |
| EP4026102B1 (en) | Confidence map for neural network based limited angle artifact reduction in cone beam ct | |
| EP2734147B1 (en) | Method for segmentation of dental images | |
| CN108573514A (zh) | 一种图像的三维融合方法及装置、计算机存储介质 | |
| Shapira et al. | Convolutional encoder-decoder networks for volumetric computed tomography surviews from single-and dual-view topograms | |
| JP2005253755A (ja) | 腫瘍領域設定方法及び腫瘍領域設定システム | |
| McVeigh et al. | Visualization and analysis of functional cardiac MRI data | |
| CN108257088A (zh) | 斜率约束三次插值 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180504 |