CN111681237B - 图像配准方法、装置、计算机设备和存储介质 - Google Patents

图像配准方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111681237B
CN111681237B CN202010535830.XA CN202010535830A CN111681237B CN 111681237 B CN111681237 B CN 111681237B CN 202010535830 A CN202010535830 A CN 202010535830A CN 111681237 B CN111681237 B CN 111681237B
Authority
CN
China
Prior art keywords
firefly
image
point
brightness
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010535830.XA
Other languages
English (en)
Other versions
CN111681237A (zh
Inventor
黄朔
严计超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN202010535830.XA priority Critical patent/CN111681237B/zh
Publication of CN111681237A publication Critical patent/CN111681237A/zh
Application granted granted Critical
Publication of CN111681237B publication Critical patent/CN111681237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像配准方法、装置、计算机设备和存储介质，其中，该图像配准方法包括：获取第一图像以及第二图像；根据所述第一图像以及第二图像，得到目标配准方程，并根据目标配准方程的解空间选取多个萤火虫点；计算每个萤火虫点针对第一图像以及第二图像进行配准的相似度，将所述相似度作为相应萤火虫点的亮度；根据每个萤火虫点的亮度以及萤火虫算法，对每个萤火虫点进行迭代计算，得到目标配准方程的最终解；根据所述最终解对第一图像以及第二图像进行配准。通过在迭代计算中加入了萤火虫点的亮度，能够降低迭代次数，减少算法的运行时间，提高算法的收敛速度。

Description

图像配准方法、装置、计算机设备和存储介质
技术领域
本申请涉及医疗设备技术领域，特别是涉及一种图像配准方法、装置、计算机设备和存储介质。
背景技术
在进行医学图像分析时，通常需要将同一患者几幅图像放在一起分析，从而得到该患者的多方面的综合信息，提高医学诊断和治疗的水平。对几幅不同的图像作定量分析，首先要解决这几幅图像的严格对齐问题，这就是我们所说的图像的配准。医学图像配准，是指对于一幅医学图像寻求一种(或一系列)空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置。配准的结果应使两幅图像上所有的解剖点，或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。例如，通过将同一位患者不同时间同一成像方法采集到的数据进行配准；或者将同一位患者使用不同成像方法得到的数据(例如CT数据与MR数据)进行配准，从而利用多种检测方法对医生感兴趣的区域进行检测。
目前的传统技术中，通常使用萤火虫算法进行两张图像的配准。但传统的萤火虫配准方法，没有考虑亮度对数值移动数值迭代的影响，只考虑了移动方向，这样会导致迭代收敛的时间过长。
发明内容
本申请实施例提供了一种图像配准方法、装置、计算机设备和存储介质，以至少解决相关技术中图像配准时迭代收敛的时间过长的问题。
第一方面，本申请实施例提供了一种图像配准方法，包括：获取第一图像以及第二图像；根据所述第一图像以及第二图像，得到目标配准方程，并根据目标配准方程的解空间选取多个萤火虫点；计算每个萤火虫针点对第一图像以及第二图像进行配准的相似度，将所述相似度作为相应萤火虫点的亮度；根据每个萤火虫点的亮度以及萤火虫算法，对每个萤火虫点进行迭代计算，得到目标配准方程的最终解；根据所述最终解对第一图像以及第二图像进行配准。
在其中一个实施例中，所述根据目标配准方程的解空间选取多个萤火虫点包括：获取目标配准方程的求解范围；在所述目标配准方程的求解范围内得到解空间；所述解空间内的每一个点包括移动距离以及旋转角度；在所述解空间内选取多个萤火虫点。
在其中一个实施例中，所述计算每个萤火虫点针对第一图像以及第二图像进行配准的相似度包括：获取每一个萤火虫点对应的移动距离以及旋转角度；根据所述移动距离以及旋转角度对第一图像和第二图像进行配准；根据配准后的第一图像和第二图像，计算对应萤火虫点的相似度。
在其中一个实施例中，所述根据配准后的第一图像和第二图像，计算对应萤火虫点的相似度包括：根据配准后的第一图像和第二图像，计算归一化互信息，将所述归一化互信息作为对应萤火虫点的相似度；或根据配准后的第一图像和第二图像，计算均方误差，将所述均方误差作为对应萤火虫点的相似度。
在其中一个实施例中，根据每个萤火虫点的亮度以及萤火虫算法，对每个萤火虫点进行迭代计算，得到目标配准方程的最终解包括：将每个萤火虫点分别与其余萤火虫点进行亮度比较；将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动；所述移动的距离根据萤火虫的亮度以及萤火虫算法计算得到；计算移动后的所有萤火虫点的亮度，并将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动，直至满足迭代停止条件，得到目标配准方程的最终解。
在其中一个实施例中，所述迭代停止条件包括：迭代次数达到预设次数或萤火虫点间距小于预设距离。
在其中一个实施例中，所述计算移动后的所有萤火虫点的亮度，并将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动，直至满足迭代停止条件，得到目标配准方程的最终解包括：计算移动后的所有萤火虫点的亮度，并将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动，直至满足迭代停止条件；计算所有萤火虫点的亮度；将亮度最高的萤火虫点作为目标配准方程的最终解，所述最终解包括移动距离以及旋转角度。
第二方面，本申请实施例提供了一种图像配准装置，包括：获取模块，用于获取第一图像以及第二图像；选取模块，用于根据所述第一图像以及第二图像，得到目标配准方程，并根据目标配准方程的解空间选取多个萤火虫点；计算模块，用于计算每个萤火虫点针对第一图像以及第二图像进行配准的相似度，将所述相似度作为相应萤火虫点的亮度；迭代模块，用于根据每个萤火虫点的亮度以及萤火虫算法，对每个萤火虫点进行迭代计算，得到目标配准方程的最终解；配准模块，用于根据所述最终解对第一图像以及第二图像进行配准。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的图像配准方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的图像配准方法。
相比于相关技术，本申请实施例提供的图像配准方法，通过获取第一图像以及第二图像，再根据第一图像以及第二图像得到目标配准方程，在目标配准方程的解空间中选取多个萤火虫点，并计算利用每一个萤火虫点对第一图像和第二图像进行配准的相似度，将该相似度作为萤火虫点的亮度，根据萤火虫点的亮度以及萤火虫算法，对每个萤火虫点进行迭代计算，得到目标配准方程的最终解，通过最终解对第一图像和第二图像进行配准。通过在迭代计算中加入了萤火虫点的亮度，能够降低迭代次数，减少算法的运行时间，提高算法的收敛速度。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为一个实施例中图像配准方法的流程示意图；
图2为一个实施例中计算萤火虫点移动距离的方法流程示意图；
图3a为一个实施例中的浮动图像；
图3b为一个实施例中的参考图像；
图4a为一个实施例中使用传统方法进行图像配准的配准结果；
图4b为一个实施例中使用本申请方法进行图像配准的配准结果；
图4c为一个实施例中传统方法配准结果与参考图像的差异；
图4d为一个实施例中本申请方法配准结果与参考图像的差异；
图5a为一个实施例中传统图像配准方法每次迭代后归一化互信息最大值形成的曲线；
图5b为一个实施例中使用本申请图像配准方法每次迭代后归一化互信息最大值形成的曲线；
图6a为一个实施例中传统图像配准方法每次迭代后均方误差最小值形成的曲线；
图6b为一个实施例中使用本申请图像配准方法每次迭代后均方误差最小值形成的曲线；
图7为一个实施例中图像配准装置的结构框图；
图8为一个实施例中计算机设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
数据配准，就是将不同时间、不同传感器(成像设备)或不同条件下(天气、照度、摄像位置以及摄像角度等)获取的两个或多个数据进行匹配、叠加的过程，它已经被广泛的应用与遥感数据分析、计算机视觉、图像处理等领域。图像配准为数据配准中的一种。
萤火虫配准方法是目前常用的一种配准初值计算方法，该方法速度较快，误差较低，目前在图像配准领域得到了广泛的应用。萤火虫算法是通过模拟自然界中萤火虫群体发光行为而构造的一种随机优化算法。其仿生学原理是：用自然界中的萤火虫个体模拟搜索空间中的点，将萤火虫个体相互吸引和移动的过程模拟成目标寻优的过程。用萤火虫个体所处位置的优劣来衡量求解问题的目标函数，萤火虫个体的优胜劣汰过程即为目标函数优化过程中函数可行解的迭代过程。在萤火虫算法中，亮度和吸引度是萤火虫点的两个重要特征。其中，亮度代表了萤火虫所处位置的优劣并决定了萤火虫点的移动方向，吸引度则直接影响了萤火虫点的移动距离，通过亮度和吸引度不断更新和迭代来寻找目标函数的最优解。
更具体的，萤火虫算法通过在可能的所有解组成的集合(解空间)中，选取一些点，作为萤火虫点，并计算当解选择这些位置时的相似性测度作为该萤火虫点的亮度，然后，将所有的萤火虫都向着比它所在的位置更亮的位置进行移动，直到算法收敛，此时，亮度最高的位置，就是当前要求的解。在每一次迭代移动的过程中，每一个萤火虫点需要向着比自身更亮的每个萤火虫点都移动一次。
本实施例还提供了一种图像配准方法。图1为一个实施例中图像配准方法的流程示意图，如图1所示，该流程包括如下步骤：
步骤S102，获取第一图像以及第二图像。
具体地，第一图像以及第二图像为通过医学影像设备对扫描对象进行扫描后得到的图像。其中，扫描对象可以为模体、活体等。医学影像设备包括X线成像设备(数字X线摄影、CT、X线机)、核磁共振成像设备、超声成像设备(A型、B型、C型以及M型等)、热成像设备(红外成像以及光机扫描成像等)、核医学成像设备(PET以及SPECT等)以及光学成像设备(医专用内镜成像)。本实施例适用于以上任意一种设备或多种设备的组合设备。获取第一图像以及第二图像是为了对两张图像进行图像配准。第一图像以及第二图像可以是同一医学影像设备在不同时间不同条件下采集到的图像；也可以是不同医学影像设备在同一时间同一条件下采集到的图像；也可以是不同医学影像设备在不同时间不同条件下采集到的图像。
步骤S104，根据所述第一图像以及第二图像，得到目标配准方程，并根据目标配准方程的解空间选取多个萤火虫点。
具体地，首先根据第一图像以及第二图像，得到两张图像的目标配准方程。其中，计算得到目标配准方程的方法为医学图像配准常用的计算方法。在获取到目标配准方程之后，在目标配准方程的解空间内选取多个萤火虫点。其中，如果是将两个2D图像进行刚性配准时，目标配准方程的解可以为移动距离以及旋转角度，其中移动距离可以包括水平移动距离以及垂直移动距离。如果是将一张2D图像和一张3D图像进行刚性配准或将两张3D图像进行刚性配准时，目标配准方程的解可以为移动距离以及旋转角度，其中移动距离可以包括X、Y、Z三个坐标轴方向的平移量；旋转角度可以包括X、Y、Z三个坐标轴的旋转角度。其中，刚性配准为通过平移以及旋转将两张图像进行配准的方式，保证了图像中任意两点间的距离不变。
在其中一个实施例中，根据目标配准方程的解空间选取多个萤火虫点包括：获取目标配准方程的求解范围；在所述目标配准方程的求解范围内得到解空间；所述解空间内的每一个点包括移动距离以及旋转角度；在所述解空间内选取多个萤火虫点。具体地，求解范围为根据实际需求，设定的目标配准方程的解的范围，例如，移动距离的范围以及旋转角度的范围，目标配准方程的解空间就在该范围内形成。解空间就是目标配准方程所有解组成的集合。因此，解空间中的每一个点都包括所有解组成的集合。选取萤火虫点可以在选择好范围的解空间中，均匀地选取一些点，作为萤火虫点。通常的，这些点的坐标会加上随机误差，从而避免完全的平均选取萤火虫点。
步骤S106，计算每个萤火虫点针对第一图像以及第二图像进行配准的相似度，将所述相似度作为相应萤火虫点的亮度。
具体地，在选取好萤火虫点之后，获取每一个萤火虫点所表示的移动距离以及旋转角度。根据该移动距离以及旋转角度对第一图像以及第二图像进行配准，并计算得到配准后第一图像和第二图像的相似度，将该相似度作为相应萤火虫点的相似度，也即相应萤火虫点的亮度。其中，相似度可以用不同参数体现，这些参数就叫做相似性测度。相似性测度是刻画或说明实体之间相似性成都的一种定量度量指标，一般说来，相似性测度是通过代价函数来计算的。在基于灰度的影像匹配中，常用的相似性测度包括相关系数测度、差平方和测度、差绝对和测度、互信息和均方误差等。在本实施例中，相似性测度可以为互信息或均方误差。
在其中一个实施例中，根据配准后的第一图像和第二图像，计算归一化互信息，将所述归一化互信息作为对应萤火虫点的相似度。其中，互信息是指一个变量包含另一个变量的信息量多少的度量，主要用描述两个随机变量间的统计相关性。互信息的计算方法可以用信息熵来描述。本实施例中使用归一化互信息。使用归一化互信息作为相似性测度，可以使目标配准方程更加的平滑，能够有效的减少对图像重叠部分的敏感性，与传统的方式相比，具有更好的鲁棒性和配准精度。
在其中一个实施例中，根据配准后的第一图像和第二图像，计算均方误差，将所述均方误差作为对应萤火虫点的相似度。其中，均方误差是反映估计量与被估计量之间差异程度的一种度量。设t是根据子样确定的总参数θ的一个估计量，(θ-t)2的数学期望，称为估计量t的均方误差。均方误差等于σ2+b2，其中σ2与b分别是t的方差与偏倚。
步骤S108，根据每个萤火虫点的亮度以及萤火虫算法，对每个萤火虫点进行迭代计算，得到目标配准方程的最终解。
具体地，根据每个萤火虫点的亮度，确定每个萤火虫点的移动方向；根据每个萤火虫点的亮度以及萤火虫算法，计算萤火虫点的移动距离，根据萤火虫点的移动距离和萤火虫点的移动方向，将每个萤火虫点均向着比自身亮度更亮的萤火虫点进行移动。移动之后，再次计算每个萤火虫点的相似性测度，作为当前萤火虫点的亮度，在根据亮度确定萤火虫点的移动方向；根据亮度以及萤火虫算法确定萤火虫点的移动距离，根据萤火虫点的移动距离以及萤火虫点的移动方向移动每个萤火虫点，这样不断的迭代计算萤火虫点亮度然后移动萤火虫点，直至满足迭代停止条件。当满足迭代停止条件之后，计算所有萤火虫点的亮度，将亮度最高的萤火虫点最为目标配准方程的最终解。最终解包括移动距离以及旋转方向。
步骤S110，根据所述最终解对第一图像以及第二图像进行配准。
具体地，根据最终解的移动距离和旋转角度，对第一图像或第二图像进行旋转和平移，以使第一图像和第二图像配准。
上述图像配准方法，通过获取第一图像以及第二图像，再根据第一图像以及第二图像得到目标配准方程，在目标配准方程的解空间中选取多个萤火虫点，并计算利用每一个萤火虫点对第一图像和第二图像进行配准的相似度，将该相似度作为萤火虫点的亮度，根据萤火虫点的亮度以及萤火虫算法，对每个萤火虫点进行迭代计算，得到目标配准方程的最终解。通过在萤火虫点移动距离计算时，增加了萤火虫点亮度对移动距离的影响，能够降低迭代次数，减少算法的运行时间，提高算法的收敛速度。
在其中一个实施例中，还提供了一种计算萤火虫点移动距离的方法。图2为一个实施例中计算萤火虫点移动距离的方法流程示意图，如图2所示，该流程包括如下步骤：
步骤S202，将每个萤火虫点分别与其余萤火虫点进行亮度比较。
具体地，将每个萤火虫点进行配准后的相似度进行比较。根据亮度的大小，也就是相似度的大小，确定每个萤火虫点的移动方向。
步骤S204，将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动；所述移动的距离根据萤火虫的亮度以及萤火虫算法计算得到。
具体地，在对一个萤火虫点进行移动时，首先确定比当前萤火虫点亮度高的其余萤火虫点，将当前萤火虫点像其余亮度更高的萤火虫点均进行移动。例如，比当前萤火虫点亮度更高的萤火虫点共有4个，则将当前萤火虫点先向第一个萤火虫点方向移动第一距离；移动之后，再将当前萤火虫点向第二个萤火虫点方向移动第二距离；移动之后，再将当前萤火虫点向第三个萤火虫点方向移动第三距离；移动之后，再将当前萤火虫点向第四个萤火虫点方向移动第四距离。移动的距离根据萤火虫算法的距离计算公式计算得到，具体的，两个萤火虫点之间移动的距离的计算公式为：
其中：
其中，β0为两只萤火虫点距离为0时的吸引度，为吸引度的最小值，γ光吸收系数，大多数情况下为1，rij为第i和j只萤火虫之间的笛卡尔距离，θ＝0.95～0.99，α0＝1，t为迭代次数，xi为第i个萤火虫点的位置，xj为第j个萤火虫点的位置，li为第i个萤火虫点所在的位置的亮度，lj为第j个萤火虫点所在的位置的亮度。
传统的萤火虫配准方法，没有考虑亮度的数值对萤火虫点的移动距离迭代影响，亮度只影响萤火虫点的移动方向，这样会导致迭代收敛的时间增加。因此，在本实施例中，增加了亮度对萤火虫点移动距离的影响，这样可以降低迭代次数，减少算法的运行时间，提高算法的收敛速度。
根据上述移动距离计算公式，通过β0将两个萤火虫点所在位置的亮度引入了相应萤火虫点移动距离的计算公式，亮度对萤火虫点的影响，不只与亮度的差别有关，还与两个位置原本的亮度有关。此时，当两个萤火虫点距离较近时，亮度较低的萤火虫点的移动距离会根据其亮度进行调整，两个萤火虫点之间的亮度差值越大，萤火虫点的移动距离越大；两个萤火虫点之间的亮度差值越小，萤火虫点的移动距离越小。同时，为了防止陷入局部最优解，当两只萤火虫距离很远时，β0可以取最小值，防止迭代过于迅速，陷入局部最优解；当两只萤火虫点相聚很近时，β0与亮度无关，防止陷入局部的尖点，陷入局部最优解。将β0的系数设置为2，也可以进一步的提高迭代计算的收敛速度。
步骤S206，计算移动后的所有萤火虫点的亮度，并将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动，直至满足迭代停止条件，得到目标配准方程的最终解。
具体地，根据计算得到的萤火虫点移动距离移动相应萤火虫点，移动之后，再次计算每个萤火虫点的相似性测度，作为当前萤火虫点的亮度，再将每个萤火虫点分别与其余萤火虫点进行亮度比较，将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动，根据萤火虫点的移动距离以及萤火虫点的移动方向移动每个萤火虫点，这样不断的迭代计算萤火虫点亮度然后移动萤火虫点，直至满足迭代停止条件。其中，迭代次数达到预设次数或萤火虫点间距小于预设距离。例如，迭代停止条件为迭代次数达到预设次数，预设次数为100次，则当迭代移动100次之后停止迭代计算得到目标方程的最优解。迭代停止条件为萤火虫点间距小于预设距离，预设距离的0.1个步长，当移动后两个萤火虫点间距小于0.1个步长，则停止迭代，计算得到目标方程的最优解。
在其中一个实施例中，计算移动后的所有萤火虫点的亮度，并将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动，直至满足迭代停止条件；计算所有萤火虫点的亮度；将亮度最高的萤火虫点作为目标配准方程的最终解，所述最终解包括移动距离以及旋转角度。具体地，在停止迭代之后，再次计算每个萤火虫点的亮度值，将亮度值最高的点对用的萤火虫点作为最优解。通过计算得到的最优解对第一图像以及第二图像进行配准。
上述计算萤火虫点移动距离的方法，通过将亮度引入萤火虫配准算法的萤火虫点移动距离计算公式，再使用归一化互信息或均方误差作为亮度值，可以提高萤火虫算法的收敛速度，并且将引入移动距离计算公式的萤火虫点亮度的系数设置为2，可以进一步的提高萤火虫算法的收敛速度。
在其中一个实施例中，在利用上述实施例提供的配准方式进行配准后，对对准后的图像进行检测。在本实施例中，使用同一个CT数据得到浮动图像与参考图像进行配准，使用归一化信息作为相似性测度。如图3a-3b所示，图3a为一个实施例中的浮动图像；图3b为一个实施例中的参考图像。分别使用传统图像配准方法和上述实施例中记载的图像配准方法，进行150次迭代后，输出的移动距离与归一化互信息如下表所示：
由上述表格可以看出，上述实施例的方法在150次迭代之后，归一化互信息接近于1，而传统方法在150次迭代之后，归一化互信息约为0.8，在有方向上，距离全局最优值有0.8个像素的误差。计算150次迭代后的浮动图像和参考图像的差异。如图4a-4d所示，图4a为一个实施例中使用传统方法进行图像配准的配准结果；图4c为一个实施例中传统方法配准结果与参考图像的差异；图4b为一个实施例中使用本申请方法进行图像配准的配准结果；图4d为一个实施例中本申请方法配准结果与参考图像的差异。可以看到在图4c中，由于配准后的浮动图像与参考图像之间在y方向的差异，导致图像存在差别。而在图4d中，由于配准结果已经接近全局最优质，图像间的差异很小。
在其中一个实施例中，分别使用传统图像配准方法和上述实施例中记载的图像配准方法，进行190次迭代后，如图5a-5b所示，图5a为一个实施例中传统图像配准方法每次迭代后归一化互信息最大值形成的曲线；图5b为一个实施例中使用本申请图像配准方法每次迭代后归一化互信息最大值形成的曲线；由图5a-5b能够明显的看出，本申请图像配准方法可以收敛到全局最优值，而传统方法的归一化互信息约为0.8，得到的结果距离全局最优值差别明显。
在其中一个实施例中，使用上述相同数据，通过均方误差作为相似性测度，进行配准。每一次迭代之后，如图6a-6b所示，图6a为一个实施例中传统图像配准方法每次迭代后均方误差最小值形成的曲线；图6b为一个实施例中使用本申请图像配准方法每次迭代后均方误差最小值形成的曲线。迭代后的移动距离和旋转角度如下表所示：
由上述图6a-6b以及上表所示，本申请提供的图像配准方法，收敛到均方误差为0的位置速度更快，代表本申请提供的图像配准方法确实能够加速萤火虫算法的收敛速度。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种图像配准装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7为一个实施例中图像配准装置的结构框图，如图7所示，该装置包括：获取模块100、选取模块200、计算模块300、迭代模块400以及配准模块500。
获取模块100，用于获取第一图像以及第二图像。
选取模块200，用于根据所述第一图像以及第二图像，得到目标配准方程，并根据目标配准方程的解空间选取多个萤火虫点。
计算模块300，用于计算每个萤火虫点针对第一图像以及第二图像进行配准的相似度，将所述相似度作为相应萤火虫点的亮度。
迭代模块400，用于根据每个萤火虫点的亮度以及萤火虫算法，对每个萤火虫点进行迭代计算，得到目标配准方程的最终解。
配准模块500，用于根据所述最终解对第一图像以及第二图像进行配准。
选取模块200，还用于获取目标配准方程的求解范围；在所述目标配准方程的求解范围内得到解空间；所述解空间内的每一个点包括移动距离以及旋转角度；在所述解空间内选取多个萤火虫点。
计算模块300，还用于获取每一个萤火虫点对应的移动距离以及旋转角度；根据所述移动距离以及旋转角度对第一图像和第二图像进行配准；根据配准后的第一图像和第二图像，计算对应萤火虫点的相似度。
计算模块300，还用于根据配准后的第一图像和第二图像，计算归一化互信息，将所述归一化互信息作为对应萤火虫点的相似度；或根据配准后的第一图像和第二图像，计算均方误差，将所述均方误差作为对应萤火虫点的相似度。
迭代模块400，还用于将每个萤火虫点分别与其余萤火虫点进行亮度比较；将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动；所述移动的距离根据萤火虫的亮度以及萤火虫算法计算得到；计算移动后的所有萤火虫点的亮度，并将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动，直至满足迭代停止条件，得到目标配准方程的最终解。
迭代模块400，还用于计算移动后的所有萤火虫点的亮度，并将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动，直至满足迭代停止条件；计算所有萤火虫点的亮度；将亮度最高的萤火虫点作为目标配准方程的最终解，所述最终解包括移动距离以及旋转角度。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外，结合图1描述的本申请实施例图像配准方法可以由计算机设备来实现。图8为一个实施例中计算机设备的硬件结构示意图。
计算机设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种图像配准方法。
在其中一些实施例中，计算机设备还可包括通信接口83和总线80。其中，如图8所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该计算机设备可以基于获取到的计算机指令，执行本申请实施例中的图像配准方法，从而实现结合图1描述的图像配准方法。
另外，结合上述实施例中的图像配准方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像配准方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种图像配准方法，其特征在于，包括：
获取第一图像以及第二图像；
根据所述第一图像以及第二图像，得到目标配准方程，并根据目标配准方程的解空间选取多个萤火虫点；
计算每个萤火虫点针对第一图像以及第二图像进行配准的相似度，将所述相似度作为相应萤火虫点的亮度；
根据每个萤火虫点的亮度以及萤火虫算法，对每个萤火虫点进行迭代计算，得到目标配准方程的最终解；
根据所述最终解对第一图像以及第二图像进行配准；
其中，根据每个萤火虫点的亮度以及萤火虫算法，对每个萤火虫点进行迭代计算，得到目标配准方程的最终解，包括：根据每个萤火虫点的亮度以及萤火虫算法，确定每个萤火虫点的移动方向和移动距离；根据所述移动方向和移动距离，将每个萤火虫点向比自身亮度高的萤火虫点进行移动；计算移动后每个萤火虫点的亮度，并将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动，直至满足迭代停止条件，得到所述目标配准方程的最终解；其中，两个萤火虫点之间所述移动距离的计算公式为：且其中，β0为两只萤火虫点距离为0时的吸引度，βmin为吸引度的最小值，γ为光吸收系数，rij为第i和j只萤火虫之间的笛卡尔距离，θ值的范围为0.95至0.99，α0的值为1，t为迭代次数，xi为第i个萤火虫点的位置，xj为第j个萤火虫点的位置，li为第i个萤火虫点所在的位置的亮度，lj为第j个萤火虫点所在的位置的亮度。
2.根据权利要求1所述的图像配准方法，其特征在于，所述根据目标配准方程的解空间选取多个萤火虫点包括：
获取目标配准方程的求解范围；
在所述目标配准方程的求解范围内得到解空间；所述解空间内的每一个点包括移动距离以及旋转角度；
在所述解空间内选取多个萤火虫点。
3.根据权利要求2所述的图像配准方法，其特征在于，所述计算每个萤火虫点针对第一图像以及第二图像进行配准的相似度包括：
获取每一个萤火虫点对应的移动距离以及旋转角度；
根据所述移动距离以及旋转角度对第一图像和第二图像进行配准；
根据配准后的第一图像和第二图像，计算对应萤火虫点的相似度。
4.根据权利要求3所述的图像配准方法，其特征在于，所述根据配准后的第一图像和第二图像，计算对应萤火虫点的相似度包括：
根据配准后的第一图像和第二图像，计算归一化互信息，将所述归一化互信息作为对应萤火虫点的相似度；或
根据配准后的第一图像和第二图像，计算均方误差，将所述均方误差作为对应萤火虫点的相似度。
5.根据权利要求1所述的图像配准方法，其特征在于，
所述迭代停止条件包括：迭代次数达到预设次数或萤火虫点间距小于预设距离。
6.根据权利要求1所述的图像配准方法，其特征在于，所述计算移动后每个萤火虫点的亮度，并将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动，直至满足迭代停止条件，得到所述目标配准方程的最终解包括：
计算移动后的所有萤火虫点的亮度，并将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动，直至满足迭代停止条件；
计算所有萤火虫点的亮度；
将亮度最高的萤火虫点作为目标配准方程的最终解，所述最终解包括移动距离以及旋转角度。
7.一种图像配准装置，其特征在于，包括：
获取模块，用于获取第一图像以及第二图像；
选取模块，用于根据所述第一图像以及第二图像，得到目标配准方程，并根据目标配准方程的解空间选取多个萤火虫点；
计算模块，用于计算每个萤火虫针点对第一图像以及第二图像进行配准的相似度，将所述相似度作为相应萤火虫点的亮度；
迭代模块，用于根据每个萤火虫点的亮度以及萤火虫算法，对每个萤火虫点进行迭代计算，得到目标配准方程的最终解；
迭代模块，还用于根据每个萤火虫点的亮度以及萤火虫算法，确定每个萤火虫点的移动方向和移动距离；根据所述移动方向和移动距离，将每个萤火虫点向比自身亮度高的萤火虫点进行移动；计算移动后每个萤火虫点的亮度，并将当前萤火虫点向比自身亮度高的其余萤火虫点分别进行移动，直至满足迭代停止条件，得到所述目标配准方程的最终解；其中，两个萤火虫点之间所述移动距离的计算公式为： 且其中，β0为两只萤火虫点距离为0时的吸引度，βmin为吸引度的最小值，γ为光吸收系数，rij为第i和j只萤火虫之间的笛卡尔距离，θ值的范围为0.95至0.99，α0的值为1，t为迭代次数，xi为第i个萤火虫点的位置，xj为第j个萤火虫点的位置，li为第i个萤火虫点所在的位置的亮度，lj为第j个萤火虫点所在的位置的亮度；
配准模块，用于根据所述最终解对第一图像以及第二图像进行配准。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的图像配准方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的图像配准方法。
CN202010535830.XA 2020-06-12 2020-06-12 图像配准方法、装置、计算机设备和存储介质 Active CN111681237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010535830.XA CN111681237B (zh) 2020-06-12 2020-06-12 图像配准方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010535830.XA CN111681237B (zh) 2020-06-12 2020-06-12 图像配准方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111681237A CN111681237A (zh) 2020-09-18
CN111681237B true CN111681237B (zh) 2023-11-21

Family

ID=72454782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010535830.XA Active CN111681237B (zh) 2020-06-12 2020-06-12 图像配准方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111681237B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750152B (zh) * 2021-01-18 2023-04-07 上海联影医疗科技股份有限公司 图像配准方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942574A (zh) * 2014-02-25 2014-07-23 浙江大学 3d手写识别svm分类器核参数选取方法及用途
CN107590815A (zh) * 2017-09-07 2018-01-16 陕西师范大学 基于萤火虫群优化法的图像多阈值分割方法
CN107886508A (zh) * 2017-11-23 2018-04-06 上海联影医疗科技有限公司 差分减影方法和医学图像处理方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760983B2 (en) * 2015-10-19 2017-09-12 Shanghai United Imaging Healthcare Co., Ltd. System and method for image registration in medical imaging system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942574A (zh) * 2014-02-25 2014-07-23 浙江大学 3d手写识别svm分类器核参数选取方法及用途
CN107590815A (zh) * 2017-09-07 2018-01-16 陕西师范大学 基于萤火虫群优化法的图像多阈值分割方法
CN107886508A (zh) * 2017-11-23 2018-04-06 上海联影医疗科技有限公司 差分减影方法和医学图像处理方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于改进萤火虫算法的SVM 核参数选取;杨海等;计算机应用与软件;第32卷(第6期);256-258 *
改进萤火虫算法优化粒子滤波的信号源定位;杜太行等;中国测试;第43卷(第11期);97-101 *
杜晓刚 ; 党建武 ; 王阳萍 ; 刘新国 ; 李莎 ; .基于萤火虫算法的互信息医学图像配准.计算机科学.2013,第40卷(第07期),第274页第2段至第276页第1段. *

Also Published As

Publication number Publication date
CN111681237A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
US11900647B2 (en) Image classification method, apparatus, and device, storage medium, and medical electronic device
CN110909693B (zh) 3d人脸活体检测方法、装置、计算机设备及存储介质
US7787683B2 (en) Tree structure based 2D to 3D registration
US8818057B2 (en) Methods and apparatus for registration of medical images
CN111754553B (zh) 多模态扫描图像配准方法、装置、计算机设备和存储介质
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
CN113826143A (zh) 特征点检测
WO2014049368A1 (en) A system and method for annotating images by propagating information
US20050033143A1 (en) Automatic optimal view determination for cardiac acquisitions
CN111462115B (zh) 医学图像显示方法、装置和计算机设备
CN111488872B (zh) 图像检测方法、装置、计算机设备和存储介质
US11684333B2 (en) Medical image analyzing system and method thereof
US20220101034A1 (en) Method and system for segmenting interventional device in image
CN111445550B (zh) Pet图像的迭代重建方法、装置和计算机可读存储介质
CN111681237B (zh) 图像配准方法、装置、计算机设备和存储介质
Tang et al. Retinal image registration based on robust non-rigid point matching method
CN116862930B (zh) 适用于多模态的脑血管分割方法、装置、设备和存储介质
CN117523350A (zh) 基于多模态特征的口腔影像识别方法、系统及电子设备
US20230115927A1 (en) Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection
CN109872353A (zh) 基于改进迭代最近点算法的白光数据与ct数据配准方法
CN113177953B (zh) 肝脏区域分割方法、装置、电子设备及存储介质
CN112598665B (zh) 一种曼哈顿场景消失点、消失线检测方法及装置
US20210251601A1 (en) Method for ultrasound imaging and related equipment
CN116664644B (zh) 一种基于磁共振图像的血管中心线配准方法及装置
US20100142779A1 (en) Method and apparatus for locating a physiological feature of interest in image data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant after: Shanghai Lianying Medical Technology Co.,Ltd.

Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant