CN111402221A - 一种图像处理方法、装置及电子设备 - Google Patents

一种图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN111402221A
CN111402221A CN202010166430.6A CN202010166430A CN111402221A CN 111402221 A CN111402221 A CN 111402221A CN 202010166430 A CN202010166430 A CN 202010166430A CN 111402221 A CN111402221 A CN 111402221A
Authority
CN
China
Prior art keywords
image
transformation
obtaining
model
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010166430.6A
Other languages
English (en)
Other versions
CN111402221B (zh
Inventor
张耀
李让
钟诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202010166430.6A priority Critical patent/CN111402221B/zh
Publication of CN111402221A publication Critical patent/CN111402221A/zh
Application granted granted Critical
Publication of CN111402221B publication Critical patent/CN111402221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种图像处理方法、装置及电子设备，方法包括：获得第一图像和第二图像；对所述第二图像基于变换模型进行图像变换，得到第三图像；所述变换模型至少包括基于全局形变的模型参数和基于局部形变的模型参数；获得所述第三图像和所述第一图像的图像相似度值；根据所述图像相似度值，对所述变换模型的模型参数进行调整，以使得参数调整后的变换模型用于重新对所述第二图像进行图像变换以得到更新的第三图像，直到所述更新的第三图像和所述第一图像的图像相似度值满足相似条件，所述更新的第三图像与所述第一图像形成图像配准。

Description

一种图像处理方法、装置及电子设备
技术领域
本申请涉及医学图像技术领域，尤其涉及一种图像处理方法、装置及电子设备。
背景技术
在临床诊断过程中，需要将同一个病灶区域不同模态的CT图像(平扫、动脉期、静脉期、延迟期等)进行对比判断。而在图像采集过程中，由于病人身体的移动、呼吸等原因，不同模态的数据往往存在一些形变，因此，医学图像的配准非常必要。
目前的医学图像配准方案通常是通过医护人员通过手动完成，因此，会存在图像配准效率较低的情况。
发明内容
有鉴于此，本申请提供一种图像处理方法、装置及电子设备，包括：
一种图像处理方法，包括：
获得第一图像和第二图像；
对所述第二图像基于变换模型进行图像变换，得到第三图像；所述变换模型至少包括基于全局形变的模型参数和基于局部形变的模型参数；
获得所述第三图像和所述第一图像的图像相似度值；
根据所述图像相似度值，对所述变换模型的模型参数进行调整，以使得参数调整后的变换模型用于重新对所述第二图像进行图像变换以得到更新的第三图像，直到所述更新的第三图像和所述第一图像的图像相似度值满足相似条件，所述更新的第三图像与所述第一图像形成图像配准。
上述方法，优选的，对所述第二图像基于变换模型进行图像变换，得到第三图像，包括：
利用所述变换模型中的全局形变模型对所述第二图像进行图像变换，得到中间图像；
利用所述变换模型中的局部形变模型对所述中间图像进行图像变换，得到第三图像。
上述方法，优选的，所述全局形变模型至少包括：仿射变换模型；所述局部形变模型至少包括：自由形变模型。
上述方法，优选的，获得所述第三图像和所述第一图像的图像相似度值，包括：
获得所述第一图像中的第一对象区域并获得第三图像中的第二对象区域，所述第一对象区域和所述第二对象区域属于同一目标对象的图像区域；
获得所述第三图像中的第二对象区域和所述第一图像中的第一对象区域之间的区域相似度值；
至少基于所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值。
上述方法，优选的，获得所述第三图像中的第二对象区域和所述第一图像中的第一对象区域之间的区域相似度值，包括：
获得所述第一对象区域和所述第二对象区域的区域重叠度值；
获得所述第一对象区域和所述第二对象区域的区域中心距离值；
根据所述区域重叠度值和所述区域中心距离值，获得所述第一对象区域和所述第二对象区域之间的区域相似度值。
上述方法，优选的，在至少基于所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值之前，所述方法还包括：
获得所述第三图像和所述第一图像的互信息值；
其中，至少基于所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值，包括：
根据所述互信息值和所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值。
上述方法，优选的，根据所述互信息值和所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值，包括：
获得所述互信息值与第一系数的第一乘积并获得所述区域相似度值与第二系数的第二乘积；
获得所述第一乘积和所述第二乘积的和，以作为所述第三图像和所述第一图像的图像相似度值。
上述方法，优选的，获得所述第一图像中的第一对象区域并获得第三图像中的第二对象区域，包括：
利用语义分割模型，识别所述第一图像中的第一对象区域和所述第三图像中的第二对象区域，所述第一对象区域和所述第二对象区域属于所述第一图像和所述第三图像中均包含的同一目标对象的图像区域。
一种图像处理装置，包括：
图像获得单元，用于获得第一图像和第二图像；
图像变换单元，用于对所述第二图像基于变换模型进行图像变换，得到第三图像；所述变换模型至少包括基于全局形变的模型参数和基于局部形变的模型参数；
相似获得单元，用于获得所述第三图像和所述第一图像的图像相似度值；
参数调整单元，用于根据所述图像相似度值，对所述变换模型的模型参数进行调整，以使得参数调整后的变换模型用于所述图像变换单元重新对所述第二图像进行图像变换以得到更新的第三图像，直到所述相似获得单元所获得的所述更新的第三图像和所述第一图像的图像相似度值满足相似条件，所述更新的第三图像与所述第一图像形成图像配准。
一种电子设备，包括：
存储器，用于存储应用程序及所述应用程序运行所产生的数据；
处理器，用于执行所述应用程序，以实现：获得第一图像和第二图像；对所述第二图像基于变换模型进行图像变换，得到第三图像；所述变换模型至少包括基于全局形变的模型参数和基于局部形变的模型参数；获得所述第三图像和所述第一图像的图像相似度值；根据所述图像相似度值，对所述变换模型的模型参数进行调整，以使得参数调整后的变换模型用于重新对所述第二图像进行图像变换以得到更新的第三图像，直到所述更新的第三图像和所述第一图像的图像相似度值满足相似条件，所述更新的第三图像与所述第一图像形成图像配准。
从上述技术方案可以看出，本申请公开的一种图像处理方法、装置及电子设备，在获得到待配准的第二图像之后，对第二图像基于具有基于全局形变的模型参数和基于局部形变的模型参数的变换模型进行图像变换，进而在得到第三图像之后，获得第一图像和第三图像之间的图像相似度值，之后再根据图像相似度值对变换模型的模型参数进行调整，以使得参数调整后的变换模型用于重新对第二图像进行图像变换以得到更新的第三图像，直到更新的第三图像和所述第一图像的图像相似度值满足相似条件，此时所更新的第三图像与第一图像即可形成图像配准，如实现对同一病灶区域不同模态下所采集的多个CT图像针对病灶区域进行配准。可见，本申请中通过对第二图像经过全局形变和局部形变后进行图像相似计算，再经过迭代的全局形变和局部形变的模型参数均调整优化后实现配准图像的最优化，由此无需手动进行图像配准，从而达到提高图像配准效率的目的。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种图像处理方法的流程图；
图2为本申请实施例中图像配准的示例图；
图3及图4分别为本申请实施例一的部分流程图；
图5为本申请实施例中图像的对象区域示意图；
图6为本申请实施例二提供的一种图像处理装置的结构示意图；
图7为本申请实施例三提供的一种电子设备的结构示意图；
图8为本申请实施例的实现流程示例图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参考图1，为本申请实施例一提供的一种图像处理方法的实现流程图，本实施例中的方法适用于能够进行图像处理的电子设备中，如计算机或服务器等，主要用于对采集到的针对病灶区域的不同模态下的CT图像进行图像配准，以得到针对同一病灶区域配准后的图像。
具体的，本实施例中的方法可以包括以下步骤：
步骤101：获得第一图像和第二图像。
其中，第一图像和第二图像可以为针对同一病灶区域在不同模态下的CT图像，如针对肝脏区域或肾脏区域所采集的在诸如平扫、动脉期、静脉期、延迟期等不同模态下的CT图像。
需要说明的是，第一图像可以为作为配准标准的固定CT图像，即参考图像F(FixedImage)，如通过图像采集设备采集到的病灶区域在平扫模态下的第一帧CT图像，第二图像可以有一帧或多帧，即待配准图像M(Moving Image)，如通过图像采集设备采集到的病灶区域在动脉期、静脉期和延迟期等中的任意一种或任意多种模态下的其他帧CT图像。
步骤102：对第二图像基于变换模型进行图像变换，得到第三图像。
在本实施例中，可以以T(Transformation Model)表示变换模型，相应的，通过T实现对第二图像的图像变换，例如，W＝T(M；μ)，其中，μ是转换模型的参数，W为第三图像，即为对第二图像进行配准之后的图像。
其中，变换模型至少包括基于全局形变的模型参数和基于局部形变的模型参数，具体的，变换模型至少由两个模型组成：全局形变模型和局部形变模型，具体可以以T(x)＝Tglobal(x)+Tlocal(x)表示。其中，全局形变模型中具有基于全局形变的模型参数，局部形变模型具有基于局部形变的模型参数。
在具体实现中，全局形变模型可以为仿射变换模型，局部形变模型可以为自由形变模型，如B样条曲线差值模型，进而本实施例中可以首先利用仿射变换模型对第二图像进行全局形变，再利用B样条曲线差值模型对经过全局形变的第二图像进行局部形变，以得到第三图像，由此，所得到的第三图像更加准确。
步骤103：获得第三图像和第一图像的图像相似度值。
其中，本实施例中可以通过欧式距离计算算法和/或互信息计算算法等方式获得第三图像和第一图像的图像相似度值。相应的，该图像相似度值的大小表征经过图像变换之后所得到的第三图像接近于第一图像的程度。
步骤104：根据图像相似度值，对变换模型的模型参数进行调整，返回重新执行步骤102，以使得参数调整后的变换模型用于重新对第二图像进行图像变换以得到更新的第三图像，直到更新的第三图像和第一图像的图像相似度值满足相似条件，在第三图像和第一图像的图像相似度值满足相似条件时，更新的第三图像与第一图像形成图像配准，即第三图像和第一图像针对图像中的同一对象区域如同一病灶区域是配准的，例如，第三图像中的肝脏的CT图像区域与第一图像中的肝脏的CT图像区域是对应的，如图2中所示。
具体的，所述更新的第三图像和所述第一图像的图像相似度值满足相似条件可以为：图像相似度值的增量值为0。例如，在步骤104中根据图像相似度值对变换模型的模型参数进行调整之后，重新执行步骤102，以重新对原来的第二图像利用经过模型参数调整的变换模型进行图像变换，得到更新的第三图像，之后，再获得更新的第三图像和第一图像的更新的图像相似度值，此时，获得更新的图像相似度值与上一次的图像相似度值之间的差值，即图像相似度值的增量值，此时图像相似度值的增量值表征在模型参数调整后的变换模型的作用下所得到的更新的第三图像是否更加接近于第一图像，由此，在图像相似度值的增量值不为0的情况下，表明经过迭代图像变换后的第三图像正在进一步接近于第一图像，此时，重新返回执行步骤104，继续进行图像变换的迭代过程，而如果图像相似度值的增量值为0，则表明图像相似度值没有发生变化，此时表明经过迭代图像变换后的第三图像已经是最接近于第一图像的变换结果，此时，停止图像变换的迭代，此时的第三图像即为对第二图像按照第一图像进行配准得到的图像。
从上述技术方案可以看出，本申请实施例一提供的一种图像处理方法，在获得到待配准的第二图像之后，对第二图像基于具有基于全局形变的模型参数和基于局部形变的模型参数的变换模型进行图像变换，进而在得到第三图像之后，获得第一图像和第三图像之间的图像相似度值，之后再根据图像相似度值对变换模型的模型参数进行调整，以使得参数调整后的变换模型用于重新对第二图像进行图像变换以得到更新的第三图像，直到更新的第三图像和所述第一图像的图像相似度值满足相似条件，此时所更新的第三图像与第一图像即可形成图像配准，如实现对同一病灶区域不同模态下所采集的多个CT图像针对病灶区域进行配准。可见，本申请中通过对第二图像经过全局形变和局部形变后进行图像相似计算，再经过迭代的全局形变和局部形变的模型参数均调整优化后实现配准图像的最优化，由此无需手动进行图像配准，从而达到提高图像配准效率的目的。
在一种实现方式中，步骤102中在对第二图像基于变换模型进行图像变换，得到第三图像时，具体可以通过以下方式实现，如图3中所示：
步骤301：利用变换模型中的全局形变模型对第二图像进行图像变换，得到中间图像。
其中，全局形变模型可以为仿射变换模型，具体可以以Tglobal(x)表示，相应的定义如下：
Tglobal(x)＝Ax+b＝[[a1,a2,a3],[a4,a5,a6],[a7,a8,a9]]*[x1,x2,x3]+[b1,b2,b3]；
其中，x是第二图像中一个体素的坐标，A是线性变换矩阵(表示图像的旋转和缩放关系)，b是沿坐标轴的平移向量(表示图像的平移关系)。
由此，本实施例中通过以上的仿射变换模型Tglobal(x)实现对第二图像的全局形变。
步骤302：利用变换模型中的局部形变模型对中间图像进行图像变换，得到第三图像。
其中，局部形变模型可以采用B样条曲线差值算法建模得到，例如，本实施例中可以用nx*ny*nz个均匀分布的控制点构成的网格图对局部形变进行建模，每个点均为三维坐标点，表示三个轴的自由度，每个点之间的距离为：(ρx，ρy，ρz)，相应的，局部形变模型可以以Tlocal(x)表示，如下公式(1)：
Figure BDA0002407622670000081
其中的i、j、k、u、v、w分别如下所示：
Figure BDA0002407622670000082
Figure BDA0002407622670000083
而Bn、Bm、Bl分别表示第n个基函数，例如，B0-B3分别下所示：
Figure BDA0002407622670000084
Figure BDA0002407622670000085
Figure BDA0002407622670000086
Figure BDA0002407622670000087
由此，本实施例中通过以上的B样条曲线差值模型Tlocal(x)实现对经过全局形变得到的中间图像的局部形变。
基于以上实现，本实施例中在迭代优化过程中可以通过不同方式实现，例如，首先利用变换模型中的全局形变模型和局部形变模型对第二图像进行图像变换，通过迭代优化，对变换模型中的全局形变模型的模型参数进行优化而对变换模型中的局部形变模型不做调整，之后，再利用优化完成的全局形变模型和初始的局部形变模型依次重新对第二图像进行图像变换，通过迭代优化，对变换模型中的局部形变模型的模型参数进行优化，此时保持优化完成的全局形变模型的模型参数不变，最后再利用优化完成的全局形变模型和优化完成的局部形变模型重新对第二图像进行图像变换，通过迭代优化，实现对全局形变模型和局部形变模型相结合时的模型参数进行优化，最终得到更新的第三图像和第一图像的图像相似度值满足相似条件，在对基于局部形变的模型参数进行调整优化在第三图像和第一图像的图像相似度值满足相似条件时，更新的第三图像与第一图像形成图像配准。
在一种实现方式中，步骤103中在获得第三图像和第一图像的图像相似度值时，具体可以通过以下方式实现，如图4中所示：
步骤401：获得第一图像中的第一对象区域并获得第三图像中的第二对象区域。
其中，第一对象区域和第二对象区域属于同一目标对象的图像区域。例如，第一对象区域为第一图像中肝脏的图像区域，第二对象区域为第三图像中肝脏的图像区域，如图5中所示。
具体的，本实施例中可以通过图像识别算法或者基于图像识别算法构建的深度学习模型等方式识别出第一图像中的第一对象区域和第三图像中的第二对象区域。例如，步骤401中在获得所述第一图像中的第一对象区域并获得第三图像中的第二对象区域时，可以通过以下方式实现：
利用语义分割模型，识别所述第一图像中的第一对象区域和所述第三图像中的第二对象区域，所述第一对象区域和所述第二对象区域属于所述第一图像和所述第三图像中均包含的同一目标对象的图像区域。
例如，本实施例中利用语义分割模型seg(·)分别对第一图像和第三图像(CT图像)进行识别，得到各CT图像中各个器官如肝脏或肾脏等的分割掩码，即第一对象区域和第二对象区域，此时的第一对象区域可以有一个或多个，相应的第二对象区域为一个或多个，具体的，可以用一个与CT图像相同大小的3D矩阵表示[D1，D2，Di，…，DN]，N表示不同器官个数，Di中体素为1的点表示对应原始的第二图像中该点属于器官i的点。
步骤402：获得第三图像中的第二对象区域和第一图像中的第一对象区域之间的区域相似度值。
其中，本实施例中可以利用欧式距离计算算法计算第二对象区域和第一对象区域之间的区域相似度值，进而表征出所配准的第三图像中的第二对象区域与作为参考的第一图像中的第一对象区域之间的相似度，而区域相似度值越高，表征所所配准的第三图像中的第二对象区域越接近作为参考的第一图像中的第一对象区域。
具体的，本实施例中在获得第三图像中的第二对象区域和第一图像中的第一对象区域之间的区域相似度值时，具体可以通过以下方式实现：
首先，获得第一对象区域和第二对象区域的区域重叠度值，之后，获得第一对象区域和第二对象区域的区域中心距离值，最后，根据区域重叠度值和区域中心距离值，获得第一对象区域和所述第二对象区域之间的区域相似度值。
例如，本实施例中在得到[D1，D2，Di，…，DN]之后，分别求得第一对象区域和第二对象区域中各器官的中心坐标：
Figure BDA0002407622670000101
和
Figure BDA0002407622670000102
之后，利用
Figure BDA0002407622670000103
获得第一对象区域和第二对象区域的区域重叠度值，其中，DF＝seg(F)，DW＝seg(W)，F为第一图像中的第一对象区域的像素数据，W为第三图像中的第二对象区域的像素数据，之后，在获得利用
Figure BDA0002407622670000104
获得第一对象区域和第二对象区域的区域中心距离值，进而，可以利用以下公式(2)获得第一对象区域和所述第二对象区域之间的区域相似度值Eanatomy(F,W)。
Figure BDA0002407622670000111
步骤403：至少基于所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值。
在一种实现方式中，本实施例中可以将区域相似度值即作为第三图像和第一图像的图像相似度值，以表征第三图像接近第一图像的程度。
在另一种实现方式中，本实施例中在步骤403之前，还可以先获得第三图像和第一图像的互信息值，例如，利用公式(3)获得第三图像W和第一图像F的互信息值：
Eintensity(F,W)＝IMI(F,W) 公式(3)
基于此，在步骤403中具体可以根据互信息值和区域相似度值，获得所述第三图像和所述第一图像的图像相似度值。
具体的，本实施例中在根据互信息值和区域相似度值，获得第三图像和所述第一图像的图像相似度值时，可以通过以下方式实现：
首先，获得所述互信息值与第一系数的第一乘积并获得所述区域相似度值与第二系数的第二乘积；之后，获得所述第一乘积和所述第二乘积的和，以作为所述第三图像和所述第一图像的图像相似度值。
例如，第一系数以α表示，第二系数以β表示，相应的，利用以下公式(4)获得第三图像和第一图像的相似度值E(M,W)：
E(M,W)＝αEintensity(F,W)+βEanatomy(F,W) 公式(4)
参考图6，为本申请实施例二提供的一种图像处理装置的结构示意图，本实施例中的装置适用于能够进行图像处理的电子设备中，如计算机或服务器等，主要用于对采集到的针对病灶区域的不同模态下的CT图像进行图像配准，以得到针对同一病灶区域配准后的图像。
具体的，本实施例中的装置可以包括以下结构：
图像获得单元601，用于获得第一图像和第二图像；
图像变换单元602，用于对所述第二图像基于变换模型进行图像变换，得到第三图像；所述变换模型至少包括基于全局形变的模型参数和基于局部形变的模型参数；
相似获得单元603，用于获得所述第三图像和所述第一图像的图像相似度值；
参数调整单元604，用于根据所述图像相似度值，对所述变换模型的模型参数进行调整，以使得参数调整后的变换模型用于所述图像变换单元602重新对所述第二图像进行图像变换以得到更新的第三图像，直到所述相似获得单元603所获得的所述更新的第三图像和所述第一图像的图像相似度值满足相似条件，所述更新的第三图像与所述第一图像形成图像配准。
从上述技术方案可以看出，本申请实施例二提供的一种图像处理装置，在获得到待配准的第二图像之后，对第二图像基于具有基于全局形变的模型参数和基于局部形变的模型参数的变换模型进行图像变换，进而在得到第三图像之后，获得第一图像和第三图像之间的图像相似度值，之后再根据图像相似度值对变换模型的模型参数进行调整，以使得参数调整后的变换模型用于重新对第二图像进行图像变换以得到更新的第三图像，直到更新的第三图像和所述第一图像的图像相似度值满足相似条件，此时所更新的第三图像与第一图像即可形成图像配准，如实现对同一病灶区域不同模态下所采集的多个CT图像针对病灶区域进行配准。可见，本实施例中通过对第二图像经过全局形变和局部形变后进行图像相似计算，再经过迭代的全局形变和局部形变的模型参数均调整优化后实现配准图像的最优化，由此无需手动进行图像配准，从而达到提高图像配准效率的目的。
在一种实现方案中，图像变换单元602对所述第二图像基于变换模型进行图像变换，得到第三图像，包括：
利用所述变换模型中的全局形变模型对所述第二图像进行图像变换，得到中间图像；利用所述变换模型中的局部形变模型对所述中间图像进行图像变换，得到第三图像。
可选的，所述全局形变模型至少包括：仿射变换模型；所述局部形变模型至少包括：自由形变模型。
在一种实现方式中，相似获得单元603获得所述第三图像和所述第一图像的图像相似度值，包括：
获得所述第一图像中的第一对象区域并获得第三图像中的第二对象区域，所述第一对象区域和所述第二对象区域属于同一目标对象的图像区域；获得所述第三图像中的第二对象区域和所述第一图像中的第一对象区域之间的区域相似度值；至少基于所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值。
可选的，相似获得单元603获得所述第三图像中的第二对象区域和所述第一图像中的第一对象区域之间的区域相似度值，包括：
获得所述第一对象区域和所述第二对象区域的区域重叠度值；获得所述第一对象区域和所述第二对象区域的区域中心距离值；根据所述区域重叠度值和所述区域中心距离值，获得所述第一对象区域和所述第二对象区域之间的区域相似度值。
在一种实现方式中，相似获得单元603在至少基于所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值之前，先获得所述第三图像和所述第一图像的互信息值；
相应的，相似获得单元603在至少基于所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值时，通过以下方式实现：
根据所述互信息值和所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值。例如，获得所述互信息值与第一系数的第一乘积并获得所述区域相似度值与第二系数的第二乘积；获得所述第一乘积和所述第二乘积的和，以作为所述第三图像和所述第一图像的图像相似度值。
在一种实现方式中，相似获得单元603获得所述第一图像中的第一对象区域并获得第三图像中的第二对象区域，包括：
利用语义分割模型，识别所述第一图像中的第一对象区域和所述第三图像中的第二对象区域，所述第一对象区域和所述第二对象区域属于所述第一图像和所述第三图像中均包含的同一目标对象的图像区域。
需要说明的是，本实施例中的各单元的具体实现可以参考前文中相应内容，此处不再详述。
参考图7，为本申请实施例三提供的一种电子设备的结构示意图，该电子设备可以为能够进行图像处理的电子设备，如计算机或服务器等，主要用于对采集到的针对病灶区域的不同模态下的CT图像进行图像配准，以得到针对同一病灶区域配准后的图像。
具体的，本实施例中的电子设备可以包括以下结构：
存储器701，用于存储应用程序及所述应用程序运行所产生的数据；
处理器702，用于执行所述应用程序，以实现：获得第一图像和第二图像；对所述第二图像基于变换模型进行图像变换，得到第三图像；所述变换模型至少包括基于全局形变的模型参数和基于局部形变的模型参数；获得所述第三图像和所述第一图像的图像相似度值；根据所述图像相似度值，对所述变换模型的模型参数进行调整，以使得参数调整后的变换模型用于重新对所述第二图像进行图像变换以得到更新的第三图像，直到所述更新的第三图像和所述第一图像的图像相似度值满足相似条件，所述更新的第三图像与所述第一图像形成图像配准。
从上述技术方案可以看出，本申请实施例三提供的一种电子设备，在获得到待配准的第二图像之后，对第二图像基于具有基于全局形变的模型参数和基于局部形变的模型参数的变换模型进行图像变换，进而在得到第三图像之后，获得第一图像和第三图像之间的图像相似度值，之后再根据图像相似度值对变换模型的模型参数进行调整，以使得参数调整后的变换模型用于重新对第二图像进行图像变换以得到更新的第三图像，直到更新的第三图像和所述第一图像的图像相似度值满足相似条件，此时所更新的第三图像与第一图像即可形成图像配准，如实现对同一病灶区域不同模态下所采集的多个CT图像针对病灶区域进行配准。可见，本实施例中通过对第二图像经过全局形变和局部形变后进行图像相似计算，再经过迭代的全局形变和局部形变的模型参数均调整优化后实现配准图像的最优化，由此无需手动进行图像配准，从而达到提高图像配准效率的目的。
需要说明的是，本实施例中处理器702的具体实现可以参考前文中相应内容，此处不再详述。
以图像为CT图像为例，对本申请中的技术方案进行举例说明，如下：
对于一个参考图像(Fixed Image)F和一个待配准图像(Moving Image)M，图像配准的目标是要找到配准之后的图像W，此时的W和F对应的区域位置要尽量相似。其中，本实施例中使用T表示待配准图像到配准后图像的变换模型(Transformation Model)，即W＝T(M；μ)，其中μ是变换模型的模型参数。
本申请的技术方案中的核心实现在于：首先利用包含全局形变和局部形变的模型参数的变换模型将待配准图像变换为W，之后，通过提取W和F的图像特征，再计算W和F的相似度，通过迭代，使得使W和F的相似度最大化，基于此，本申请的技术方案通过能够语义分割模型实现自动的关键点标记，节省人力，而且，本申请的技术方案中同时对刚性形变和非刚性形变进行建模，能够有效兼容处理图像配准中全局形变和局部形变，提升配准的精度。
其中，本申请的技术方案在图像配准任务中，需要处理全局形变和局部形变，而为了达到更好的配准精度，可以设计变换模型T(x；μ)同时对全局形变和局部形变进行建模，如下：
(1)全局形变
全局形变描述了两个图像之间整体的较大的位置差异。其中，仿射变换模型可以作为一种全局形变模型Tglobal(x)，医学图像通常是3D的，可以使用3D仿射变换建模。
(2)局部形变
局部形变描述了两个图像之间关于局部位置上的差异变形，其中，B样条曲线差值模型可以作为一种局部形变模型Tlocal(x)，实现图像局部形变处理。
基于此，本实施例中的变换模型T(x)＝Tglobal(x)+Tlocal(x)。其中，变换模型T的求解即是找到最优的变换参数μ，使得M变换之后的图像W，与F之间的相似度函数E(μ)最大。
另外，本申请的技术方案在图像配准任务中，可以在图像强度信息的基础上，引入图像解剖结构的信息，能够在配准转换中维持图像中病灶区域或器官的结构关系，从而提高相似度度计算及后续图像配准的精度，具体如下：
在利用T对M进行图像变换得到W之后，分别利用语义分割模型seg(·)对F和W的CT图像进行识别，得到各CT图像中各个器官如肝脏或肾脏等的分割掩码，具体可以用一个与CT图像相同大小的3D矩阵表示[D1，D2，Di，…，DN]，N表示不同器官个数，Di中体素为1的点表示对应原始的第二图像中该点属于器官i的点。之后，根据分割掩码，可以分别求得各个器官在F和W中的中心点坐标
Figure BDA0002407622670000161
和
Figure BDA0002407622670000162
相应的，在重叠区域的重叠度和中心点距离的基础上，获得到F和W两张图的解剖结构相似度Eanatomy(F,W)。
其中，当两个图像相同的语义部分重叠越多，中心点的距离越近，则说明两个图像越相似，其中，器官区域和中心点坐标可以由分割模型自动获得，而配准任务的目标则是求解使得E(μ)最大化的参数μ。
同时，本实施例中还针对图像强度使用互信息(Mutual Information)建模，例如，Eintensity(F,W)＝IMI(F,W)，其中，互信息值越大，说明两张图像的强度分布越相似。
基于此，为了调整两个相似度的权重，互信息和解剖结构相似度这两项相似度之前分别加入系数α和β，获得最终的相似度函数，
最后，本申请的技术方案中在通过迭代分别对全局形变和局部形变的变换模型的模型参数进行优化求解时，可以首先迭代优化Tglobal(x)的模型参数，不考虑Tlocal(x)；当Tglobal(x)优化完成后，模型参数固定不动，然后优化Tlocal(x)的模型参数；最后同时优化Tglobal(x)+Tlocal(x)的模型参数。具体可以使用梯度下降法迭代求解模型参数，参考图8中，其中，作为输入的参考图像F和待配准图像M，输出为配准后的图像W，具体流程如下所示：
首先，初始化模型参数μ＝{A,b,k}；
然后，迭代执行以下流程，以实现对Tglobal(x)的优化：
使用初始化的Tglobal(x|A,b)将M变换到W；
计算F和W的图像强度相似度IMI(F,W)；
求解相似度函数的梯度λt←▽IMI(F,W)，其中，t为迭代次数；
更新转换模型参数μt+1←μt+λt；
直到相似度不再增加(相似度值的增量值为0)，停止对Tglobal(x)的优化流程；
之后，迭代执行以下流程，以实现固化Tglobal(x)的前提下，对Tlocal(x)的优化：
固定参数A和b，使用优化完成的Tglobal(x|A,b)和初始化的Tlocal(x|k)将M变换到W；
计算F和W的图像强度相似度IMI(F,W)；
求解相似度函数的梯度λt←▽IMI(F,W)；
更新转换模型参数μt+1←μt+λt；
直到相似度不再增加(相似度值的增量值为0)，停止对Tlocal(x)的优化流程；
最后，迭代执行以下流程，以实现Tglobal(x)+Tlocal(x)的优化：
使用优化完成的Tglobal(x|A,b)+Tlocal(x|k)将M变换到W；
计算F和W的图像强度相似度IMI(F,W)；
求解相似度函数的梯度λt←▽IMI(F,W)；
更新转换模型参数μt+1←μt+λt；
直到相似度不再增加(相似度值的增量值为0)，停止对Tglobal(x)+Tlocal(x)的优化流程；
最终，使用优化参数μ后的变换模型T求得配准后的图像W＝T(M；μ)。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像处理方法，包括：
获得第一图像和第二图像；
对所述第二图像基于变换模型进行图像变换，得到第三图像；所述变换模型至少包括基于全局形变的模型参数和基于局部形变的模型参数；
获得所述第三图像和所述第一图像的图像相似度值；
根据所述图像相似度值，对所述变换模型的模型参数进行调整，以使得参数调整后的变换模型用于重新对所述第二图像进行图像变换以得到更新的第三图像，直到所述更新的第三图像和所述第一图像的图像相似度值满足相似条件，所述更新的第三图像与所述第一图像形成图像配准。
2.根据权利要求1所述的方法，对所述第二图像基于变换模型进行图像变换，得到第三图像，包括：
利用所述变换模型中的全局形变模型对所述第二图像进行图像变换，得到中间图像；
利用所述变换模型中的局部形变模型对所述中间图像进行图像变换，得到第三图像。
3.根据权利要求2所述的方法，所述全局形变模型至少包括：仿射变换模型；所述局部形变模型至少包括：自由形变模型。
4.根据权利要求1或2所述的方法，获得所述第三图像和所述第一图像的图像相似度值，包括：
获得所述第一图像中的第一对象区域并获得第三图像中的第二对象区域，所述第一对象区域和所述第二对象区域属于同一目标对象的图像区域；
获得所述第三图像中的第二对象区域和所述第一图像中的第一对象区域之间的区域相似度值；
至少基于所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值。
5.根据权利要求4所述的方法，获得所述第三图像中的第二对象区域和所述第一图像中的第一对象区域之间的区域相似度值，包括：
获得所述第一对象区域和所述第二对象区域的区域重叠度值；
获得所述第一对象区域和所述第二对象区域的区域中心距离值；
根据所述区域重叠度值和所述区域中心距离值，获得所述第一对象区域和所述第二对象区域之间的区域相似度值。
6.根据权利要求4所述的方法，在至少基于所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值之前，所述方法还包括：
获得所述第三图像和所述第一图像的互信息值；
其中，至少基于所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值，包括：
根据所述互信息值和所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值。
7.根据权利要求6所述的方法，根据所述互信息值和所述区域相似度值，获得所述第三图像和所述第一图像的图像相似度值，包括：
获得所述互信息值与第一系数的第一乘积并获得所述区域相似度值与第二系数的第二乘积；
获得所述第一乘积和所述第二乘积的和，以作为所述第三图像和所述第一图像的图像相似度值。
8.根据权利要求4所述的方法，获得所述第一图像中的第一对象区域并获得第三图像中的第二对象区域，包括：
利用语义分割模型，识别所述第一图像中的第一对象区域和所述第三图像中的第二对象区域，所述第一对象区域和所述第二对象区域属于所述第一图像和所述第三图像中均包含的同一目标对象的图像区域。
9.一种图像处理装置，包括：
图像获得单元，用于获得第一图像和第二图像；
图像变换单元，用于对所述第二图像基于变换模型进行图像变换，得到第三图像；所述变换模型至少包括基于全局形变的模型参数和基于局部形变的模型参数；
相似获得单元，用于获得所述第三图像和所述第一图像的图像相似度值；
参数调整单元，用于根据所述图像相似度值，对所述变换模型的模型参数进行调整，以使得参数调整后的变换模型用于所述图像变换单元重新对所述第二图像进行图像变换以得到更新的第三图像，直到所述相似获得单元所获得的所述更新的第三图像和所述第一图像的图像相似度值满足相似条件，所述更新的第三图像与所述第一图像形成图像配准。
10.一种电子设备，包括：
存储器，用于存储应用程序及所述应用程序运行所产生的数据；
处理器，用于执行所述应用程序，以实现：获得第一图像和第二图像；对所述第二图像基于变换模型进行图像变换，得到第三图像；所述变换模型至少包括基于全局形变的模型参数和基于局部形变的模型参数；获得所述第三图像和所述第一图像的图像相似度值；根据所述图像相似度值，对所述变换模型的模型参数进行调整，以使得参数调整后的变换模型用于重新对所述第二图像进行图像变换以得到更新的第三图像，直到所述更新的第三图像和所述第一图像的图像相似度值满足相似条件，所述更新的第三图像与所述第一图像形成图像配准。
CN202010166430.6A 2020-03-11 2020-03-11 一种图像处理方法、装置及电子设备 Active CN111402221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010166430.6A CN111402221B (zh) 2020-03-11 2020-03-11 一种图像处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010166430.6A CN111402221B (zh) 2020-03-11 2020-03-11 一种图像处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111402221A true CN111402221A (zh) 2020-07-10
CN111402221B CN111402221B (zh) 2023-02-17

Family

ID=71434175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010166430.6A Active CN111402221B (zh) 2020-03-11 2020-03-11 一种图像处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111402221B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393505A (zh) * 2021-06-25 2021-09-14 浙江商汤科技开发有限公司 图像配准方法、视觉定位方法及相关装置、设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411780A (zh) * 2011-09-07 2012-04-11 华南理工大学 一种基于配准的ct图像全心脏自动分割系统
CN105389775A (zh) * 2015-10-16 2016-03-09 浙江工业大学 融合图像灰度特征与结构化表示的图像群组配准方法
CN106934821A (zh) * 2017-03-13 2017-07-07 中国科学院合肥物质科学研究院 一种基于icp算法和b样条的锥形束ct和ct图像配准方法
CN107016695A (zh) * 2017-04-13 2017-08-04 首都师范大学 一种亚像素级影像配准方法及系统
CN109584201A (zh) * 2018-09-14 2019-04-05 新影智能科技(昆山)有限公司 医学图像配准方法、配准系统、存储介质、及电子设备
EP2369551B1 (en) * 2010-03-25 2019-10-30 Emory University Imaging system and method
CN110858412A (zh) * 2018-08-24 2020-03-03 南京邮电大学 基于图像配准的心脏冠脉cta模型建立方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2369551B1 (en) * 2010-03-25 2019-10-30 Emory University Imaging system and method
CN102411780A (zh) * 2011-09-07 2012-04-11 华南理工大学 一种基于配准的ct图像全心脏自动分割系统
CN105389775A (zh) * 2015-10-16 2016-03-09 浙江工业大学 融合图像灰度特征与结构化表示的图像群组配准方法
CN106934821A (zh) * 2017-03-13 2017-07-07 中国科学院合肥物质科学研究院 一种基于icp算法和b样条的锥形束ct和ct图像配准方法
CN107016695A (zh) * 2017-04-13 2017-08-04 首都师范大学 一种亚像素级影像配准方法及系统
CN110858412A (zh) * 2018-08-24 2020-03-03 南京邮电大学 基于图像配准的心脏冠脉cta模型建立方法
CN109584201A (zh) * 2018-09-14 2019-04-05 新影智能科技(昆山)有限公司 医学图像配准方法、配准系统、存储介质、及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡成涛 等: "基于区域重叠及相关因数的轮胎花纹相似度算法", 《轮胎工业》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393505A (zh) * 2021-06-25 2021-09-14 浙江商汤科技开发有限公司 图像配准方法、视觉定位方法及相关装置、设备
CN113393505B (zh) * 2021-06-25 2023-11-03 浙江商汤科技开发有限公司 图像配准方法、视觉定位方法及相关装置、设备

Also Published As

Publication number Publication date
CN111402221B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
JP5335280B2 (ja) 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体
US9474582B2 (en) Personalized orthopedic implant CAD model generation
Yushkevich et al. Continuous medial representations for geometric object modeling in 2D and 3D
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
Song et al. Lung CT image registration using diffeomorphic transformation models
CN107154038B (zh) 一种肋骨可视化的肋骨骨折辅助诊断方法
Modat et al. Parametric non-rigid registration using a stationary velocity field
Pizer et al. A method and software for segmentation of anatomic object ensembles by deformable m‐reps
CN114119549A (zh) 一种多模态医学图像三维点云配准优化方法
Dong et al. Accelerated nonrigid image registration using improved Levenberg–Marquardt method
Zhou et al. Interactive medical image segmentation using snake and multiscale curve editing
Spinczyk et al. Automatic liver segmentation in computed tomography using general-purpose shape modeling methods
CN115830016B (zh) 医学图像配准模型训练方法及设备
Nakao et al. Image-to-graph convolutional network for deformable shape reconstruction from a single projection image
EP2877980B1 (en) Dose deformation error calculation method and system
CN111402221B (zh) 一种图像处理方法、装置及电子设备
Wei et al. Morphology-preserving smoothing on polygonized isosurfaces of inhomogeneous binary volumes
CN111260546B (zh) 一种图像处理方法、装置及电子设备
CN110288696B (zh) 一种完备一致生物体三维特征表征模型的建立方法
Dam et al. Prostate shape modeling based on principal geodesic analysis bootstrapping
Zhuang et al. Efficient contour-based annotation by iterative deep learning for organ segmentation from volumetric medical images
Chang et al. Deformable registration of lung 3DCT images using an unsupervised heterogeneous multi-resolution neural network
CN115829947A (zh) 模型处理设备及方法
Erdt et al. Computer aided segmentation of kidneys using locally shape constrained deformable models on CT images
US20220375099A1 (en) Segmentating a medical image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant