CN110533641A - 一种多模态医学图像配准方法和装置 - Google Patents

一种多模态医学图像配准方法和装置 Download PDF

Info

Publication number
CN110533641A
CN110533641A CN201910769043.9A CN201910769043A CN110533641A CN 110533641 A CN110533641 A CN 110533641A CN 201910769043 A CN201910769043 A CN 201910769043A CN 110533641 A CN110533641 A CN 110533641A
Authority
CN
China
Prior art keywords
image
initial
reference image
registration
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910769043.9A
Other languages
English (en)
Inventor
曲荣召
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Medical Systems Co Ltd
Original Assignee
Neusoft Medical Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Medical Systems Co Ltd filed Critical Neusoft Medical Systems Co Ltd
Priority to CN201910769043.9A priority Critical patent/CN110533641A/zh
Publication of CN110533641A publication Critical patent/CN110533641A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供一种多模态医学图像配准的方法、装置和计算机设备。所述方法包括:使用第一医学成像设备,对被检体的被检部位进行扫描,生成初始参考图像;使用第二医学成像设备,对所述被检体的所述被检部位进行扫描,生成初始浮动图像;计算所述初始参考图像的自信息熵,得到结构参考图像;计算所述初始浮动图像的自信息熵,得到结构浮动图像;对所述结构参考图像和所述结构浮动图像进行图像配准,得到配准参数;根据所述配准参数,融合所述初始参考图像和所述初始浮动图像,得到融合图像。本申请将多模态的两幅初始图像通过计算自信息熵转换为结构图像,计算方法简单,后续使用传统算法对结构图像进行图像配准,也能够得到较高的配准精度。

Description

一种多模态医学图像配准方法和装置
技术领域
本申请涉及医学图像处理领域,尤其涉及一种多模态医学图像配准的方法和装置。
背景技术
随着医学、计算机技术等的发展,医学影像学为临床诊断提供了多种模态的医学图像,如电子计算机断层扫描(Computed Tomography,CT)图像、磁共振(MagneticResonance,MR)图像、正电子发射计算机断层扫描(Positron Emission Tomography,PET)图像、超声图像等。在实际临床应用中,通常需要将不同模态的图像融合在一起,以促进诊断的准确性。而图像配准是图像融合的重要前提,多模态医学图像配准与融合技术在病灶定位、放射治疗方案制定、器官功能分析、神经手术指导以及治疗效果反馈评估等临床实践中有着日益重要的应用价值。融合图像必须既能保持源图像中重要的信息,又能明显反映出新增加的图像信息的变化。
然而由于医学图像的成像原理不同,多模态图像之间的差异较大,因此多模态图像配准后得到的融合图像的精度较低。
发明内容
有鉴于此,本申请提供一种多模态医学图像配准的方法和装置。
第一方面,本申请提供的一种多模态医学图像配准的方法是通过如下技术方案实现的:
使用第一医学成像设备,对被检体的被检部位进行扫描,生成初始参考图像;
使用第二医学成像设备,对所述被检体的所述被检部位进行扫描,生成初始浮动图像;
计算所述初始参考图像的自信息熵,得到结构参考图像;
计算所述初始浮动图像的自信息熵,得到结构浮动图像;
对所述结构参考图像和所述结构浮动图像进行图像配准,得到配准参数;
根据所述配准参数,融合所述初始参考图像和所述初始浮动图像,得到融合图像。
第二方面,本申请提供的一种多模态医学图像配准的装置包括:
第一接收模块,用于接收初始参考图像,所述初始参考图像为使用第一医学成像设备,对被检体的被检部位进行扫描生成的图像;
第二接收模块,用于接收初始浮动图像,所述初始浮动图像为使用第二医学成像设备,对所述被检体的所述被检部位进行扫描生成的图像;
第一计算模块,用于计算所述初始参考图像的自信息熵,得到结构参考图像;
第二计算模块,用于计算所述初始浮动图像的自信息熵,得到结构浮动图像;
配准模块,用于对所述结构参考图像和所述结构浮动图像进行图像配准,得到配准参数;
融合模块,用于根据所述配准参数,融合所述初始参考图像和所述初始浮动图像,得到融合图像。
第三方面,本申请提供的一种多模态医学图像配准的装置包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使实现第一方面所述的模态医学图像配准方法。
本申请供的多模态医学图像配准方法和装置,可以将多模态的两幅初始图像通过计算自信息熵转换为结构图像,计算方法简单,后续使用传统算法对结构图像进行图像配准,也能够得到较高的配准精度。
附图说明
图1是本申请一示例性实施例示出的一种多模态医学图像配准的方法;
图2是本申请一示例性实施例示出的计算自信息时模板移动示意图;
图3是本申请另一示例性实施例示出的一种多模态医学图像配准的方法;
图4A是一示例性的初始参考图像;
图4B是基于图4A的初始参考图像根据本申请一示例性实施例提供的方法得到的结构参考图像;
图4C是与图4A同一被检部位的示例性的初始浮动图像;
图4D是基于图4C的初始浮动图像根据本申请一示例性实施例提供的方法得到的结构浮动图像;
图5是根据本申请一示例性实施例提供的融合图像;
图6是本申请一示例性实施例示出的一种多模态医学图像配准装置的模块图;
图7是本申请一示例性实施例示出的一种多模态医学图像配准装置的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在医学图像配准领域,针对同一模态下的两帧图像,很多传统的配准算法可以得到比较理想的效果。但是使用这些配准算法对多模态图像进行配准,所得的效果不尽如人意,根本原因是多模态图像之间的差异太大。因此,本申请提出的配准方法,先将多模态图像转换为第三模态下,从而改变图像本身的性质,然后结合传统的图像配准算法进行多模态图像的配准,从而提高多模态图像配准的精度。
参见图1,为本申请一示例性实施例示出的一种多模态医学图像配准的方法。所述配准方法包括如下步骤。
步骤S110:使用第一医学成像设备,对被检体的被检部位进行扫描,生成初始参考图像。
在步骤S110中,第一医学成像设备可以是CT、磁共振成像(Magnetic ResonanceImaging,MRI)、PET、超声设备等医学成像设备,本申请对此不做限制。所述被检部位可以为头部、胸部、腹腔、四肢、某一特定器官等等,本申请对此不做限制。根据所选择的第一医学成像设备的成像原理,可以由扫描得到的生数据,重建出相应的医学图像,该医学图像即为初始参考图像。例如,使用CT设备进行扫描,可以将生成的CT图像作为初始参考图像。又例如,使用超声设备进行扫描,可以将生成的超声图像作为初始参考图像。
步骤S120:使用第二医学成像设备,对所述被检体的所述被检部位进行扫描,生成初始浮动图像。
在步骤S120中,使用的第二医学成像设备也可以是CT、MRI、PET、超声设备等医学成像设备。但是需要注意的是,该第二医学成像设备与步骤S110中使用的第一医学成像设备不同。为了后续的配准过程,所以第一医学成像设备和第二医学成像设备要对同一被检体的同一部位进行扫描。
更进一步的,为了使配准时两幅医学图像尽可能对准病变位置,还可以进行手动的面配准过程。例如,可以在被检部位上粘贴若干标记物,然后再进行扫描。该标记物可以作为后续配准时使用的特征点。
步骤S130:计算初始参考图像的自信息熵,得到结构参考图像。
步骤S140:计算初始浮动图像的自信息熵,得到结构浮动图像。
对于不同的医学成像设备,由于其成像原理各不相同,得到的图像的信噪比相差较大,从而使得基于特征点的配准方法,可能无法准确获取两种模态下的空间位置信息。而使用基于灰度信息的配准方法是将初始浮动图像转换到符合初始参考图像的模态下,例如可以根据超声和CT的成像原理,找到二者像素灰度之间的映射关系,将CT图像映射为伪超声图像,或者将超声图像映射为伪CT图像。然而,对于这种配准方法来讲,很难找到一种简单的映射关系将两种图像进行转换,配准的效果也不理想。为此,本申请提出,可以同时将两种模态的图像转换成第三种模态,通过配准第三种模态的两帧图像,得到第三种模态的空间位置关系,这种位置关系也就反映了未变换模态之前的图像的空间位置关系。
对于医学图像来讲,反映组织、器官的轮廓信息比较常见,因此,可以通过计算每幅初始图像的自信息熵,得到突出轮廓信息的结构图像,对结构图像进行配准。这样做可以减少初始灰度图中细节成分的干扰,提高配准精度。
在步骤S130和S140中,计算自信息熵的方法类似,具体如下所述。
在步骤S130中,可以将初始参考图像记为R,初始参考图像R的灰度值为一个矩阵,矩阵大小和初始参考图像R相同,矩阵上每个点的值为该初始参考图像R上该像素点的灰度值。当所述医学成像设备得到的初始参考图像或初始浮动图像为彩色图像时,可以使用业界常见的方法将彩色图像转为灰度图像,在此不再赘述。
然后确定一个N x N大小的模板。其中,N的取值需要小于初始参考图像的尺寸。具体来讲,N值过小的话,结构图像不够理想,N值太大的话计算量过大会导致计算时间过长,在一个例子中,N可以为7像素或9像素。参见图2,其中,202即为该模板的示意图,201为初始参考图像的示意图。然后在初始参考图像R中移动该模板202,移动的步长p为一个像素。如图2所示,移动的方向可以为横向和纵向,从而使得模板202可以遍历整幅初始参考图像R。
当模板202在某一位置时,可以将该位置区域记为Y,根据香农熵公式计算该模板覆盖区域的自信息熵,如公式(1)所示:
其中,Y为变量,p代表变量Y的密度函数,i表示灰度值,I表示灰度值的取值范围,I由初始参考图像R确定,例如I为[0,255]。香农公式中的Log可以2为底,也可以以e为底,本申请对此不做限制。公式(1)中的密度函数p的计算方法如公式(2)所示:
其中,#Y=i表示在变量Y中灰度值为i的像素的个数,也就是模板202当前覆盖区域Y中灰度值为i的像素的个数,N×N为模板202中所包含的像素的个数。例如,当模板202的N的取值为7时,对于灰度值i=10,假设当模板202在当前位置时,有1个像素点的灰度值为10,此时,密度函数p为1/49。根据公式(2),可以计算所有灰度值的密度函数,例如,当I为[0,255]时,分别计算p(Y=0),p(Y=1),…,p(Y=255)的值,然后根据公式(1),得到H(Y)的值,该值即为模板202在位置Y的自信息熵。
结合公式(1)和公式(2),可以计算出模板202每一移动覆盖区域对应的一个自信息熵。这样每次移动模板202,都可以得到一个自信息熵,这些自信息熵可以组成一个矩阵。该矩阵即为结构参考图像。
使用上述生成方法得到的结构参考图像会比初始参考图像减少N-1个像素宽度的边缘。由于所减少的边缘相对初始参考图像的占比很小,对初始参考图像的主要信息影响较小,因此可以直接使用这种结构参考图像作为后续处理的基础。当然,也可以使用业界常见的方法,补齐结构参考图像的边缘,比如对初始参考图像进行预处理,扩充N-1个像素尺寸的边缘,这样所得的结构图像就和初始参考图像大小一致。然后使用与初始参考图像相同大小的结构参考图像作为后续处理的基础。本申请对参考图像是否进行预处理不做限制。在步骤S140中,可以将初始浮动图像记为F,同样的,初始浮动图像F的灰度值为一个矩阵,矩阵大小和初始浮动图像的相同,矩阵上每个点的值为该初始浮动图像该像素点的灰度值。需要注意的是,初始浮动图像F的大小可以与初始参考图像R不同。
然后确定一个N x N大小的模板,移动的步长p也为1个像素,根据上述公式(1)和(2),计算该模板在某一位置Y时,覆盖区域的自信息熵。需要注意的是,初始浮动图像的灰度值取值范围可以与初始参考图像不同,也就是公式(1)中的I的取值范围可以不同。例如初始浮动图像的灰度值取值范围可以为0到63,初始参考图像的灰度值取值范围可以为0到255。该取值范围由其对应的医学成像设备决定。
结合公式(1)和公式(2),可以计算出模板每一移动覆盖区域对应的一个自信息熵。这样每次移动模板,都可以得到一个自信息熵,这些自信息熵可以组成一个矩阵。该矩阵即为结构浮动图像。具体的计算方法与结构参考图像相同,在此不再赘述。
步骤S150:对结构参考图像和结构浮动图像进行图像配准,得到配准参数。
在步骤S150中,对前述步骤S130得到的结构参考图像和S140得到的结构浮动图像进行配准,也就是寻找一个空间变换关系,使得经过该空间变换之后,两幅图像间的相似性尽可能达到最大,从而使得两幅图像在空间上尽可能一致。为此,可以定义一个相似性测度函数,来描述两幅图像的空间对齐程度。相似性测度越高,说明两幅图越对齐。在进行相似性测度时,可以进一步使用两幅结构图像的互信息熵、条件熵、相关系数;也可以提取两幅结构图的特征,比如点特征、线特征、曲面特征、区域特征等,基于这些特征进行相似性测度。本申请对相似性测度函数不做限定。
在进行配准时,可以先对结构浮动图像进行空间变换。例如,刚体变换、仿射变换、投影变换、非刚体变换等等。本申请对空间变换的具体方法不做限定。然后计算变换后的相似性测度函数的数值,通过搜索算法找到相似性测度最高时的变换数值,将其作为配准参数。例如,对于刚体二维刚体变换,可以进行旋转角度和横纵坐标轴位移三个自由度上的变换。当最后搜索到最高的相似性测度时,对应的旋转角度和横纵坐标轴位移的具体数值就是配准参数。
医学图像的配准实际上是一种多参数最优化的问题,通过不断改变变换参数使得相似性测度达到最大。因此确定最优变换参数的过程计算量很大,需要采用一定的搜索算法来更快更好地达到迭代的最优解。搜索优化算法有很多种,例如单纯形法,Powell法,遗传算法(Genetic Algorithm),模拟退火(Simulate Anneal)法,粒子群优化(ParticleSwarm Optimization)算法等。本申请对此不做限制。
步骤S160:根据配准参数,融合初始参考图像和初始浮动图像,得到融合图像。
根据两幅结构图像得到的配置参数,在步骤S160中采用刚性变换将两幅初始图像统一到同一坐标系下,重叠放置。并对同一位置下的初始参考图像和初始浮动图像的灰度值加权求和,得到最终的融合图像。
本申请提供的多模态医学图像配准方法,首先使用两种医学成像设备,分别得到初始参考图像和初始浮动图像。然后分别计算初始参考图像的自信息熵、初始浮动图像的自信息熵,得到结构参考图像和结构浮动图像。接下来对结构参考图像和结构浮动图像进行图像配准,得到配准参数。最后根据配准参数,融合初始参考图像和初始浮动图像,得到融合图像。由于将多模态的两幅初始图像统一映射到第三模态,也即结构图像,因此在配准过程中使用传统算法进行运算,也可以达到较高的配准精度。此外,将灰度图像转换为结构图像原理简单,计算量较少,从而加快了得到融合图像的速度。
在一个例子中,可以使用超声引导手术。患者进行手术之前需要在待手术部位进行CT或MR扫描,并重建为三维影像,医生根据三维CT或MR影像进行手术规划,术中医生手持标定好的超声探头,找到病变部位,根据通过光学/电磁定位设备和三维CT/MR影像,找到与二维超声影像相对应的二维CT/MR切片。
虽然使用额外的定位设备能够实现两种模态图像的初步配准,获取到相同位置处的二维图像,但是经过多次坐标变换,两种模态的二维图像必然存在位置上的偏移误差,可以使用本申请提供的方法,对这两种模态的二维图像进行配准。参见图3,所述方法包括如下的步骤。
步骤S310:使用CT或MRI对被检体的被检部位进行扫描,生成初始参考图像。
在步骤S310中,使用CT可以进行扫描可以生成CT图像,使用MRI进行扫描可以得到MR图像。所生成的CT图像或MR图像为初始参考图像。参见图4A,为一示例性的初始参考图像。
步骤S310的实现方法可以参考步骤S110,在此不再赘述。
步骤S320:使用超声设备对所述被检体的所述被检部位进行扫描,生成初始浮动图像。
图4C为与图4A相同被检部位的初始浮动图像。需要注意的是,由于超声图像受到探头尺寸的影响较大,采集到的图像是局部图像。超声图像的尺寸要比CT图像或MR图像小。步骤S320的实现方法可以参考步骤S120,在此不再赘述。
步骤S330:计算初始参考图像的自信息熵,得到结构参考图像。
步骤S330的实现方法可以参考步骤S130,在此不再赘述。所得到的结构参考图像,可以参见图4B。
步骤S340:计算初始浮动图像的自信息熵,得到结构浮动图像。
步骤S340的实现方法可以参考步骤S140,在此不再赘述。所得到的结构浮动图像,可以参见图4D。
从图4B和图4D中可以看出,结构图像能够很好地显现边缘特征并抑制噪声的干扰。
步骤S351:根据变换参数对结构浮动图像做空间变换,得到变换后的结构浮动图像。
在得到结构浮动图像后,可以对结构浮动图像做空间变换,比如刚体变换,仿射变换,投影变换和非线性变换等。本例中,采用刚体变换,获取两幅结构图像之间的旋转参数和横纵坐标轴两个方向上的位移参数,作为变换参数。
步骤S352:对结构参考图像和变换后的结构浮动图像进行相似性测度,得到相似性测度结果。
如步骤S150中所述,需要对两幅结构图像进行相似性测度。本例中,可以使用最大互信息熵作为相似性测度函数。以两幅结构图像的互信息作为相似性测度函数,两幅图像的互信息越大,说明它们越相似。这种方法具有适用范围广,鲁棒性强的优点。
需要注意的是,由于病灶可能比较小,医生还可以在用超声图像引导手术时,手动从超声图像和CT或MR图像中,选择出其感兴趣的区域,对感兴趣的区域进行配准。也就是配准的图像是结构参考图像的局部和结构浮动图像的局部。对于本申请提供实现方法来讲,配准局部图像和配准整幅图像的步骤相同,只是进行配准的图像是局部的结构图像,而不是整体的结构图像。
步骤S353:判断相似性测度结果是否最优。
在本例中,通过不断更改变换S351步骤中的变换参数,可以得到多个变换后的结构浮动图像。对每个变换后的结构浮动图像和结构参考图像求互信息值。当互信息值最大时,则所对应的变换后的结构浮动图像是使用了最佳变换参数得到的。此时,执行步骤S355。当相似性测度结果不为最优时,执行步骤S354。
不断更改参数的过程,本质上是一个数值迭代的过程,在确定了相似性测度之后采用何种优化策略关系到配准的效率和精度。在本例中,采用Powell迭代优化算法从搜索空间中探测出浮动图像的最佳变换参数。使用Powell法,不用计算函数的导数,收敛速度快。
步骤S354:更改变换参数。
当相似性测度结果不为最优时,可以通过Powell法,给出新的变换参数。将新的变换参数输入步骤S351,可以得到新的变换后的结构浮动图像。然后使用新的变换后的结构浮动图像继续进行步骤S352和S353。当未找到最优结果时,持续所述的步骤循环,进行搜索。
步骤S355:相似性测度最优结果对应的变换后的结构浮动图像,其变换参数为配准参数。
相似性测度最优结果对应的变换后的结构浮动图像,其变换参数被确定为配准参数。例如,对于刚性变换,最终的变换参数可以是向左移动10个像素,向下移动5个像素,逆时针旋转1.5°。该组变换参数就是配准参数。
步骤S360:根据配准参数,融合初始参考图像和初始浮动图像,得到融合图像。
根据步骤S355得到的配置参数,在步骤S360中采用刚性变换将两幅初始图像统一到同一坐标系下,重叠放置。例如,可以将初始浮动图像的矩阵进行如下处理:向左移动10个像素,向下移动5个像素,逆时针旋转1.5°。然后将处理过的初始浮动图像的矩阵叠加到初始参考图像的矩阵上。也即这两个矩阵的同一位置的灰度值加权求和,得到新的矩阵,该新的矩阵为最终的融合图像,如图5所示。
更进一步的,可以将初始浮动图像进行伪彩色处理,并对初始参考图像也进行伪彩色处理,然后再将它们根据配准参数进行融合。得到伪彩色的融合图像,以供医生更清晰地读取融合图像。
与前述多模态医学图像配准方法的实施例相对应,本申请还提供了多模态医学图像配准装置,下面结合附图进行详细的介绍。
请参考图6,为本申请实施例提供的一种多模态医学图像配准装置的结构示意图,其中该装置可以应用在医学成像设备的主计算机上,例如应用在第二医学成像设备的主计算机上。如图6所示,该成像装置可以包括:第一接收模块610,第二接收模块620,第一计算模块630,第二计算模块640,配准模块650,融合模块660。
第一接收模块610,用于接收初始参考图像,所述初始参考图像为使用第一医学成像设备,对被检体的被检部位进行扫描生成的图像;
第二接收模块620,用于接收初始浮动图像,所述初始浮动图像为使用第二医学成像设备,对所述被检体的所述被检部位进行扫描生成的图像;
第一计算模块630,用于计算所述初始参考图像的自信息熵,得到结构参考图像;
第二计算模块640,用于计算所述初始浮动图像的自信息熵,得到结构浮动图像;
配准模块650,用于对所述结构参考图像和所述结构浮动图像进行图像配准,得到配准参数;
融合模块660,用于根据所述配准参数,融合所述初始参考图像和所述初始浮动图像,得到融合图像。
在一种可选的实施方式中,所述第一计算模块630具体用于:设置模板,所述模板小于所述初始参考图像;以1个像素的步长移动所述模板,遍历所述初始参考图像;对于所述模板覆盖的各个区域,根据所述区域内所述初始参考图像的灰度值,分别得到所述区域的自信息熵;按所述各个区域的位置信息排布所述各个区域的所述自信息熵,组成的矩阵,即为所述结构参考图像。
更进一步的,所述模板的大小为7像素乘以7像素或9像素乘以9像素。
更进一步的,根据所述区域内所述初始参考图像的灰度值,得到所述区域的自信息熵,包括:使用香农熵公式,计算所述区域的自信息熵。
在一种可选的实施方式中,所述第二计算模块640具体用于:以1个像素的步长移动所述模板,遍历所述初始浮动图像;对于所述模板覆盖的各个区域,根据所述区域内所述初始浮动图像的灰度值得到所述区域的自信息熵;按所述各个区域的位置信息排布所述各个区域的所述自信息熵,组成所述结构浮动图像。
更进一步的,所述模板的大小与第一计算模块630使用的模板大小一致。
更进一步的,根据所述区域内所述初始浮动图像的灰度值,得到所述区域的自信息熵,包括:使用香农熵公式,计算所述区域的自信息熵。
在一种可选的实施方式中,所述融合模块660具体用于:根据所述配准参数,将所述初始参考图像和所述初始浮动图像统一到同一坐标系下,重叠放置;通过对同一位置下的所述初始参考图像和所述初始浮动图像的灰度值加权求和,得到所述融合图像。
在一种可选的实施方式中,所述第一医学成像设备为CT设备或MRI设备,所述第二医学成像设备为超声设备。
更进一步的,所述初始浮动图像的尺寸小于所述初始参考图像的尺寸。
在一种可选的实施方式中,配准模块650具体用于:根据变换参数对所述结构浮动图像做空间变换,得到变换后的结构浮动图像;对所述结构参考图像和所述变换后的结构浮动图像进行相似性测度,得到相似性测度结果;当所述相似性测度结果为最优时,相似性测度最优结果对应的变换后的结构浮动图像的变换参数被确定为所述配准参数;当所述相似性测度结果不为最优时,使用迭代优化算法更改所述变换参数,得到新的变换参数,生成新的变换后的结构浮动图像,并进行相似性测度,得到新的相似性测度结果,直至所述新的相似性测度结果为最优。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
请参见图7,为本申请实施例提供的一种多模态医学图像配准装置的硬件结构示意图。该成像装置可以包括处理器701、存储有机器可执行指令的机器可读存储介质702。处理器701与机器可读存储介质702可经由系统总线703通信。并且,通过读取并执行机器可读存储介质702中与成像逻辑对应的机器可执行指令,处理器701可执行上文描述的一种多模态医学图像配准装置的方法。
本文中提到的机器可读存储介质702可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等),或者类似的存储介质,或者它们的组合。
本说明书中描述的主题及功能操作的实施例可以在以下中实现:数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序,即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地,程序指令可以被编码在人工生成的传播信号上,例如机器生成的电、光或电磁信号,该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行,以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行,并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括,例如通用和/或专用微处理器,或任何其他类型的中央处理单元。通常,中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备,例如磁盘、磁光盘或光盘等,或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据,抑或两种情况兼而有之。然而,计算机不是必须具有这样的设备。此外,计算机可以嵌入在另一设备中,例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备,仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备,例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节,但是这些不应被解释为限制任何发明的范围或所要求保护的范围,而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中,或者封装成多个软件产品。
由此,主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下,权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外,附图中描绘的处理并非必需所示的特定顺序或顺次顺序,以实现期望的结果。在某些实现中,多任务和并行处理可能是有利的。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (12)

1.一种多模态医学图像配准的方法,其特征在于,所述方法包括:
使用第一医学成像设备,对被检体的被检部位进行扫描,生成初始参考图像;
使用第二医学成像设备,对所述被检体的所述被检部位进行扫描,生成初始浮动图像;
计算所述初始参考图像的自信息熵,得到结构参考图像;
计算所述初始浮动图像的自信息熵,得到结构浮动图像;
对所述结构参考图像和所述结构浮动图像进行图像配准,得到配准参数;
根据所述配准参数,融合所述初始参考图像和所述初始浮动图像,得到融合图像。
2.根据权利要求1所述的方法,其特征在于,计算所述初始参考图像的自信息熵,得到所述结构参考图像,包括:
设置模板,所述模板小于所述初始参考图像;
以1个像素的步长移动所述模板,遍历所述初始参考图像;
对于所述模板覆盖的各个区域,根据所述区域内所述初始参考图像的灰度值得到所述区域的自信息熵;
按所述各个区域的位置信息排布所述各个区域的所述自信息熵,组成所述结构参考图像。
3.根据权利要求1所述的方法,其特征在于,计算所述初始浮动图像的自信息熵,得到所述结构参考图像,包括:
以1个像素的步长移动所述模板,遍历所述初始浮动图像;
对于所述模板覆盖的各个区域,根据所述区域内所述初始浮动图像的灰度值得到所述区域的自信息熵;
按所述各个区域的位置信息排布所述各个区域的所述自信息熵,组成所述结构浮动图像。
4.根据权利要求2或3所述的方法,其特征在于,所述模板的大小为7像素乘以7像素或9像素乘以9像素。
5.根据权利要求2所述的方法,其特征在于,根据所述区域内所述初始参考图像的灰度值得到所述区域的自信息熵,包括:
使用香农熵公式,计算所述区域的自信息熵。
6.根据权利要求3所述的方法,其特征在于,根据所述区域内所述初始浮动图像的灰度值得到所述区域的自信息熵,包括:
使用香农熵公式,计算所述区域的自信息熵。
7.根据权利要求1所述的方法,其特征在于,根据所述配准参数,融合所述初始参考图像和所述初始浮动图像,得到融合图像,包括:
根据所述配准参数,将所述初始参考图像和所述初始浮动图像统一到同一坐标系下,重叠放置;
通过对同一位置下的所述初始参考图像和所述初始浮动图像的灰度值加权求和,得到所述融合图像。
8.根据权利要求1所述的方法,其特征在于,
所述第一医学成像设备为电子计算机断层扫描设备或磁共振成像设备;
所述第二医学成像设备为超声设备。
9.根据权利要求8所述的方法,其特征在于,所述初始浮动图像的尺寸小于所述初始参考图像的尺寸。
10.根据权利要求1所述的方法,其特征在于,对所述结构参考图像和所述结构浮动图像进行图像配准,得到所述配准参数,包括:
根据变换参数对所述结构浮动图像做空间变换,得到变换后的结构浮动图像;
对所述结构参考图像和所述变换后的结构浮动图像进行相似性测度,得到相似性测度结果;
当所述相似性测度结果为最优时,相似性测度最优结果对应的变换后的结构浮动图像的变换参数被确定为所述配准参数;
当所述相似性测度结果不为最优时,使用迭代优化算法更改所述变换参数,得到新的变换参数,生成新的变换后的结构浮动图像,并进行相似性测度,得到新的相似性测度结果,直至所述新的相似性测度结果为最优。
11.一种多模态医学图像配准的装置,其特征在于,所述装置包括:
第一接收模块,用于接收初始参考图像,所述初始参考图像为使用第一医学成像设备,对被检体的被检部位进行扫描生成的图像;
第二接收模块,用于接收初始浮动图像,所述初始浮动图像为使用第二医学成像设备,对所述被检体的所述被检部位进行扫描生成的图像;
第一计算模块,用于计算所述初始参考图像的自信息熵,得到结构参考图像;
第二计算模块,用于计算所述初始浮动图像的自信息熵,得到结构浮动图像;
配准模块,用于对所述结构参考图像和所述结构浮动图像进行图像配准,得到配准参数;
融合模块,用于根据所述配准参数,融合所述初始参考图像和所述初始浮动图像,得到融合图像。
12.一种多模态医学图像配准的装置,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使实现权利要求1-10中任一项所述的多模态医学图像的配准方法。
CN201910769043.9A 2019-08-20 2019-08-20 一种多模态医学图像配准方法和装置 Pending CN110533641A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910769043.9A CN110533641A (zh) 2019-08-20 2019-08-20 一种多模态医学图像配准方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910769043.9A CN110533641A (zh) 2019-08-20 2019-08-20 一种多模态医学图像配准方法和装置

Publications (1)

Publication Number Publication Date
CN110533641A true CN110533641A (zh) 2019-12-03

Family

ID=68663690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910769043.9A Pending CN110533641A (zh) 2019-08-20 2019-08-20 一种多模态医学图像配准方法和装置

Country Status (1)

Country Link
CN (1) CN110533641A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754554A (zh) * 2020-06-28 2020-10-09 上海应用技术大学 颅脑多模态医学图像配准方法
CN112750152A (zh) * 2021-01-18 2021-05-04 上海联影医疗科技股份有限公司 图像配准方法、装置、计算机设备和存储介质
CN112767299A (zh) * 2021-04-07 2021-05-07 成都真实维度科技有限公司 一种多模态三维图像配准融合方法
CN113034558A (zh) * 2021-03-29 2021-06-25 上海交通大学医学院附属第九人民医院 基于影像辅助的医学诊断评估系统、方法、介质及终端
CN113393427A (zh) * 2021-05-28 2021-09-14 上海联影医疗科技股份有限公司 斑块分析方法、装置、计算机设备和存储介质
CN113689477A (zh) * 2021-09-09 2021-11-23 上海联影医疗科技股份有限公司 多模态医学图像配准方法、系统、可读存储介质和设备
CN114820730A (zh) * 2022-03-08 2022-07-29 安徽慧软科技有限公司 一种基于伪ct的ct与cbct配准方法
CN114974518A (zh) * 2022-04-15 2022-08-30 浙江大学 多模态数据融合的肺结节影像识别方法及装置
CN116703994A (zh) * 2023-07-31 2023-09-05 柏意慧心(杭州)网络科技有限公司 医学图像配准的方法、计算设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9245201B1 (en) * 2013-03-15 2016-01-26 Excelis Inc. Method and system for automatic registration of images
CN108364307A (zh) * 2018-02-11 2018-08-03 湖南文理学院 一种基于α-Renyi互信息的医学图像配准方法
CN108416802A (zh) * 2018-03-05 2018-08-17 华中科技大学 一种基于深度学习的多模医学图像非刚性配准方法及系统
US20190130572A1 (en) * 2016-06-30 2019-05-02 Huazhong University Of Science And Technology Registration method and system for non-rigid multi-modal medical image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9245201B1 (en) * 2013-03-15 2016-01-26 Excelis Inc. Method and system for automatic registration of images
US20190130572A1 (en) * 2016-06-30 2019-05-02 Huazhong University Of Science And Technology Registration method and system for non-rigid multi-modal medical image
CN108364307A (zh) * 2018-02-11 2018-08-03 湖南文理学院 一种基于α-Renyi互信息的医学图像配准方法
CN108416802A (zh) * 2018-03-05 2018-08-17 华中科技大学 一种基于深度学习的多模医学图像非刚性配准方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN WACHINGER AND NASSIR NAVAB: "Entropy and Laplacian images: Structural representations for multi-modal registration", 《MEDICAL IMAGE ANALYSIS》, pages 3 - 5 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754554B (zh) * 2020-06-28 2023-09-15 上海应用技术大学 颅脑多模态医学图像配准方法
CN111754554A (zh) * 2020-06-28 2020-10-09 上海应用技术大学 颅脑多模态医学图像配准方法
CN112750152A (zh) * 2021-01-18 2021-05-04 上海联影医疗科技股份有限公司 图像配准方法、装置、计算机设备和存储介质
CN113034558B (zh) * 2021-03-29 2022-09-20 上海交通大学医学院附属第九人民医院 基于影像辅助的医学诊断评估系统、方法、介质及终端
CN113034558A (zh) * 2021-03-29 2021-06-25 上海交通大学医学院附属第九人民医院 基于影像辅助的医学诊断评估系统、方法、介质及终端
CN112767299A (zh) * 2021-04-07 2021-05-07 成都真实维度科技有限公司 一种多模态三维图像配准融合方法
CN113393427B (zh) * 2021-05-28 2023-04-25 上海联影医疗科技股份有限公司 斑块分析方法、装置、计算机设备和存储介质
CN113393427A (zh) * 2021-05-28 2021-09-14 上海联影医疗科技股份有限公司 斑块分析方法、装置、计算机设备和存储介质
CN113689477A (zh) * 2021-09-09 2021-11-23 上海联影医疗科技股份有限公司 多模态医学图像配准方法、系统、可读存储介质和设备
CN114820730A (zh) * 2022-03-08 2022-07-29 安徽慧软科技有限公司 一种基于伪ct的ct与cbct配准方法
CN114974518A (zh) * 2022-04-15 2022-08-30 浙江大学 多模态数据融合的肺结节影像识别方法及装置
CN116703994A (zh) * 2023-07-31 2023-09-05 柏意慧心(杭州)网络科技有限公司 医学图像配准的方法、计算设备和计算机可读存储介质
CN116703994B (zh) * 2023-07-31 2023-10-24 柏意慧心(杭州)网络科技有限公司 医学图像配准的方法、计算设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN110533641A (zh) 一种多模态医学图像配准方法和装置
CN109410273B (zh) 根据医学成像中表面数据的定位片预测
US11478212B2 (en) Method for controlling scanner by estimating patient internal anatomical structures from surface data using body-surface and organ-surface latent variables
US10631829B2 (en) Segmentation of large objects from multiple three-dimensional views
CN103402453B (zh) 用于导航系统的自动初始化和配准的系统和方法
US9105207B2 (en) Four dimensional image registration using dynamical model for augmented reality in medical applications
JP5243754B2 (ja) 画像データの位置合わせ
JP5355074B2 (ja) 3次元形状データ処理装置、3次元形状データ処理方法及びプログラム
CN104000655B (zh) 用于腹腔镜外科手术的组合的表面重构和配准
CN107072595A (zh) 基于多模态成像的自适应重计划
US11257241B2 (en) System and method for component positioning by registering a 3D patient model to an intra-operative image
US20170105601A1 (en) Method and System for Calculating Resected Tissue Volume from 2D/2.5D Intraoperative Image Data
CN109754396A (zh) 图像的配准方法、装置、计算机设备和存储介质
JP6407959B2 (ja) ビュー分類に基づいたモデル初期化
US20200113544A1 (en) Method and system for enhanced visualization of ultrasound probe positioning feedback
US20230026942A1 (en) Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
JP2010125329A (ja) 対称性検出及び画像位置合わせを用いた自動式走査計画のシステム及び方法
CN106456253A (zh) 免于重建的自动多模态超声配准
JP6340315B2 (ja) 画像処理方法
Tomaževič et al. “Gold standard” data for evaluation and comparison of 3D/2D registration methods
US10945709B2 (en) Systems, methods and computer readable storage media storing instructions for image-guided interventions based on patient-specific models
Peressutti et al. Estimating and resolving uncertainty in cardiac respiratory motion modelling
Oulbacha et al. MRI to C‐arm spine registration through Pseudo‐3D CycleGANs with differentiable histograms
WO2021137115A1 (en) Method and apparatus for registering live medical image with anatomical model
Zhang et al. A multiscale adaptive mask method for rigid intraoperative ultrasound and preoperative CT image registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination