CN113643332B - 图像配准方法、电子设备及可读存储介质 - Google Patents

图像配准方法、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113643332B
CN113643332B CN202110793797.5A CN202110793797A CN113643332B CN 113643332 B CN113643332 B CN 113643332B CN 202110793797 A CN202110793797 A CN 202110793797A CN 113643332 B CN113643332 B CN 113643332B
Authority
CN
China
Prior art keywords
registration
displacement field
image
picture
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110793797.5A
Other languages
English (en)
Other versions
CN113643332A (zh
Inventor
何志权
何玉鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110793797.5A priority Critical patent/CN113643332B/zh
Publication of CN113643332A publication Critical patent/CN113643332A/zh
Application granted granted Critical
Publication of CN113643332B publication Critical patent/CN113643332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像配准方法、电子设备及可读存储介质，所述图像配准方法包括以下步骤：获取移动图片和固定图片，并通过图像分割网络分别对所述移动图片和所述固定图片进行预测分割；根据预测分割结果去除所述移动图片和所述固定图片中的干扰因素；基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场；将所述移动图片和所述目标位移场输入空间变换网络，通过所述空间变换网络生成配准图像。本发明去除图片中的干扰因素，解决除关键部位外的其他部位对网络模型训练造成干扰的问题。

Description

图像配准方法、电子设备及可读存储介质
技术领域
本发明涉及医学影像领域，尤其涉及一种图像配准方法、电子设备及可读存储介质。
背景技术
图像配准是叠加同一场景在不同时间、不同视点和/或不同传感器拍摄的两幅图像或多幅图像的过程。在医学领域，通过对不同时刻采集的动态图像的配准，可以定量分析病灶和器官的变化情况，使得医疗诊断、制定手术计划、放射治疗计划更准确可靠。医学图像配准技术可以分为两类，一类是基于传统的配准方法，传统的配准方法步骤繁琐且耗时长，其针对每一对需要配准的图像都要进行迭代搜索，并且其配准的效果也并不理想；另一种是基于深度学习的配准方法，所述基于深度学习的方法只需要构建合适的网络和设计合适的损失函数，在训练好模型后图像配准速度远远快于传统的配准方法。但所述基于深度学习的图像配准技术也存在不足，即在配准过程中保留了除关键部位外的其他部位的图像，其他部位的图像对图像配准会产生一定的干扰。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种图像配准方法，旨在去除图片中的干扰因素，解决其他部位信息对网络模型训练造成干扰的问题。
为实现上述目的，本发明提供一种图像配准方法，所述图像配准方法包括以下步骤：
获取移动图片和固定图片，并通过图像分割网络分别对所述移动图片和所述固定图片进行预测分割；
根据预测分割结果去除所述移动图片和所述固定图片中的干扰因素；
基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场；
将所述移动图片和所述目标位移场输入空间变换网络，通过所述空间变换网络生成配准图像。
进一步地，所述根据预测分割结果去除所述所述移动图片和所述固定图片中的干扰因素的步骤包括：
将所述移动图片和所述固定图片分别与对应的预测分割结果相乘，以去除所述移动图片和所述固定图片中的干扰因素。
进一步地，所述基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场的步骤包括：
对去除干扰因素后的所述移动图片和所述固定图片进行合并，对合并图片进行下采样，得到不同分辨率的合并图片；
根据所述不同分辨率的合并图片得到不同分辨率的位移场；
通过位移场级联模块将不同分辨率的位移场合并为目标位移场。
进一步地，所述通过位移场级联模块将不同分辨率的位移场合并为目标位移场的步骤包括：
将第一位移场中X轴和Y轴的位移分别与对应的权重系数相乘，其中，所述第一位移场为分辨率最低的图片对应的位移场；
确定相乘后所述第一位移场对应的第一分辨率，根据所述第一分辨率查找第二位移场，其中，所述第二位移场对应的第二分辨率与第一分辨率相同；
合并所述第一位移场与所述第二位移场；
将合并得到的位移场作为第一位移场，循环上述步骤，直至仅剩一个位移场，即为目标位移场。
进一步地，所述基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场的步骤之后，还包括：
获取所述移动图片与所述固定图片分别对应的实际分割结果；
将所述移动图片对应的实际分割结果和所述目标位移场输入空间变换网络，得到配准图像对应的分割结果；
根据所述固定图片对应的实际分割结果以及所述配准图像对应的分割结果确定标签相似性；
根据所述标签相似性对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
进一步地，所述将所述移动图片对应的实际分割结果和所述目标位移场输入空间变换网络，得到所述配准图像对应的分割结果的步骤之后，还包括：
通过拉普拉斯算子确定所述配准图像对应的分割结果与所述固定图片对应的实际分割结果分别对应的轮廓图片；
根据所述配准图像对应的分割结果与所述固定图片对应的实际分割结果分别对应的轮廓图片确定轮廓约束项；
根据所述轮廓约束项对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
进一步地，所述将所述移动图片对应的实际分割结果和所述目标位移场输入空间变换网络，得到所述配准图像对应的分割结果的步骤之后，还包括：
根据所述配准图像对应的分割结果与所述固定图片对应的实际分割结果确定全局约束项；
根据所述全局约束项对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
进一步地，所述基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场的步骤之后，还包括：
根据所述目标位移场确定对应的正则项；
根据所述正则想对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准；
所述将所述移动图片与所述目标位移场输入空间变换网络，得到配准图像的步骤之后，还包括：
确定所述固定图片与所述配准图像的图像相似性；
根据所述图片相似性对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
为了实现上述目的，本发明还提供一种电子设备，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像配准程序，所述图像配准程序被所述处理器执行时实现上述任一项所述的图像配准方法的步骤。
为了实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有图像配准程序，所述图像配准程序被处理器执行时实现上述任一项所述的图像配准方法的步骤。
本发明的技术方案中，获取移动图片和固定图片，并通过图像分割网络分别对所述移动图片和所述固定图片进行预测分割；根据预测分割结果去除所述移动图片和所述固定图片中的干扰因素；基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场；将所述移动图片和所述目标位移场输入空间变换网络，通过所述空间变换网络生成配准图像。如此，可以通过图像分割网络处理所述移动图片和所述固定图片得到预测分割结果，所述预测分割结果将图片分为关键部位和其余部位，根据所述预测分割结果去除所述移动图片和所述固定图片中的干扰因素，解决除关键部位外的其他部位对网络模型训练造成干扰的问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图；
图2为本发明图像配准方法一实施例的流程示意图；
图3为本发明图像配准方法中步骤S300的细化流程示意图；
图4为本发明图像配准方法中步骤S330的细化流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的主要技术方案是：
获取移动图片和固定图片，并通过图像分割网络分别对所述移动图片和所述固定图片进行预测分割；
根据预测分割结果去除所述移动图片和所述固定图片中的干扰因素；
基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场；
将所述移动图片和所述目标位移场输入空间变换网络，通过所述空间变换网络生成配准图像。
在相关技术中，在训练网络时输入的是移动图像和固定图像全局，此时，除关键部位外的其他部位信息会对网络模型的训练造成一定的干扰。
在本发明的技术方案中，获取移动图片和固定图片，并通过图像分割网络分别对所述移动图片和所述固定图片进行预测分割；根据预测分割结果去除所述移动图片和所述固定图片中的干扰因素；基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场；将所述移动图片和所述目标位移场输入空间变换网络，通过所述空间变换网络生成配准图像。如此，可以通过图像分割网络处理所述移动图片和所述固定图片得到预测分割结果，所述预测分割结果将图片分为关键部位和其余部位，根据所述预测分割结果去除所述移动图片和所述固定图片中的干扰因素，解决除关键部位外的其他部位对网络模型训练造成干扰的问题。
如图1所示，图1是本发明实施例方案涉及的终端的硬件运行环境示意图。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端的结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像配准程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的图像配准程序，并执行以下操作：
获取移动图片和固定图片，并通过图像分割网络分别对所述移动图片和所述固定图片进行预测分割；
根据预测分割结果去除所述移动图片和所述固定图片中的干扰因素；
基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场；
将所述移动图片和所述目标位移场输入空间变换网络，通过所述空间变换网络生成配准图像。
进一步地，处理器1001可以调用存储器1005中存储的图像配准程序，还执行以下操作：
将所述移动图片和所述固定图片分别与对应的预测分割结果相乘，以去除所述移动图片和所述固定图片中的干扰因素。
进一步地，处理器1001可以调用存储器1005中存储的图像配准程序，还执行以下操作：
对去除干扰因素后的所述移动图片和所述固定图片进行合并，对合并图片进行下采样，得到不同分辨率的合并图片；
根据所述不同分辨率的合并图片得到不同分辨率的位移场；
通过位移场级联模块将不同分辨率的位移场合并为目标位移场。
进一步地，处理器1001可以调用存储器1005中存储的图像配准程序，还执行以下操作：
将第一位移场中X轴和Y轴的位移分别与对应的权重系数相乘，其中，所述第一位移场为分辨率最低的图片对应的位移场；
确定相乘后所述第一位移场对应的第一分辨率，根据所述第一分辨率查找第二位移场，其中，所述第二位移场对应的第二分辨率与第一分辨率相同；
合并所述第一位移场与所述第二位移场；
将合并得到的位移场作为第一位移场，循环上述步骤，直至仅剩一个位移场，即为目标位移场。
进一步地，处理器1001可以调用存储器1005中存储的图像配准程序，还执行以下操作：
获取所述移动图片与所述固定图片分别对应的实际分割结果；
将所述移动图片对应的实际分割结果和所述目标位移场输入空间变换网络，得到配准图像对应的分割结果；
根据所述固定图片对应的实际分割结果以及所述配准图像对应的分割结果确定标签相似性；
根据所述标签相似性对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
进一步地，处理器1001可以调用存储器1005中存储的图像配准程序，还执行以下操作：
通过拉普拉斯算子确定所述配准图像对应的分割结果与所述固定图片对应的实际分割结果分别对应的轮廓图片；
根据所述配准图像对应的分割结果与所述固定图片对应的实际分割结果分别对应的轮廓图片确定轮廓约束项；
根据所述轮廓约束项对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
进一步地，处理器1001可以调用存储器1005中存储的图像配准程序，还执行以下操作：
根据所述配准图像对应的分割结果与所述固定图片对应的实际分割结果确定全局约束项；
根据所述全局约束项对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
进一步地，处理器1001可以调用存储器1005中存储的图像配准程序，还执行以下操作：
根据所述目标位移场确定对应的正则项；
根据所述正则项对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准；
所述将所述移动图片与所述目标位移场输入空间变换网络，得到配准图像的步骤之后，还包括：
确定所述固定图片与所述配准图像的图像相似性；
根据所述图像相似性对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
如图2所示，在本发明一实施例中，所述图像配准方法包括以下步骤：
步骤S100，获取移动图片和固定图片，并通过图像分割网络分别对所述移动图片和所述固定图片进行预测分割；
在本实施例中，所述图像分割为将图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。将移动图片和固定图片分别输入图像分割网络，图像分割网络根据输入的图片确定输入的图片中的关键部位，得到预测分割结果，所述预测分割结果将图片划分为关键部位与其他部位。所述预测分割结果为图片，其中将关键部位即需要保留的区域设置为白色，除关键部位外的其余部位设置为黑色。
步骤S200，根据预测分割结果去除所述移动图片和所述固定图片中的干扰因素；
在本实施例中，原图片可与对应的预测分割结果进行图片相乘，所述图片相乘可以用来获取图像的关键部分，对需要保留下来的区域，掩膜图像的值设置为1即为白色，在需要被抑制的区域即不需要保留的区域，掩膜图像的值设置为0即为黑色。将移动图片与对应的预测分割结果进行相乘，可根据预测分割结果中标出的保留区域确定并保留移动图片中对应位置的图像，并且确定需抑制区域的图像，将需抑制区域的图像设置为黑色，即可排除其他区域的对模型训练的干扰。
步骤S300，基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场；
在本实施例中，去除干扰因素后的所述移动图片和所述固定图片中仅保留关键部位的图像，将除关键部位图像外的其他图像都设置为黑色。将去除干扰因素后的移动图片和固定图片合并后输入初始配准网络，所述初始配准网络通过下采样操作获得不同分辨率的合并图片，并根据不同分辨率的合并图片得到不同分辨率的对应的位移场。针对不同分辨率的位移场，所述配准网络通过位移场级联模块将不同分辨率的位移场合并，形成最终的位移场。所述下采样操作为将图片进行缩小，得到低分辨率的图片，所述初始配准网络可通过总损失函数进行训练，所述总损失函数包括以下损失函数，即图像相似性Lsim、正则项Lreg、标签相似性Lmse、全局约束性Lae以及轮廓约束项Lcontour，将上述损失函数相加得到总损失函数，通过所述总损失函数对配准网络进行训练，所述总损失函数越小，所述配准网络配准效果越好。
步骤S400，将所述移动图片和所述目标位移场输入空间变换网络，通过所述空间变换网络生成配准图像。
在本实施例中，所述位移场包含像素瞬间运动的信息。将移动图片与位移场输入空间变换网络，所述移动网络根据最终位移场对移动图像进行矫正，得到最终的配准图像。
综上所述，在本实施例中，获取移动图片和固定图片，并通过图像分割网络分别对所述移动图片和所述固定图片进行预测分割；根据预测分割结果去除所述移动图片和所述固定图片中的干扰因素；基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场；将所述移动图片和所述目标位移场输入空间变换网络，通过所述空间变换网络生成配准图像。如此，可以通过图像分割网络处理所述移动图片和所述固定图片得到预测分割结果，所述预测分割结果将图片分为关键部位和其余部位，根据所述预测分割结果去除所述移动图片和所述固定图片中的干扰因素，解决除关键部位外的其他部位对网络模型训练造成干扰的问题。
在本发明一实施例中，所述步骤S200包括：
将所述移动图片和所述固定图片分别与对应的预测分割结果相乘，以去除所述移动图片和所述固定图片中的干扰因素。
在本实施例中，原图片可与对应的预测分割结果进行图片相乘，所述图片相乘可以用来获取图像的关键部分，对需要保留下来的区域，掩膜图像的值设置为1即为白色，在需要被抑制的区域即不需要保留的区域，掩膜图像的值设置为0即为黑色。将移动图片和固定图片分别与对应的预测分割结果进行相乘，可根据预测分割结果中标出的保留区域确定并保留移动图片中对应位置的图像，并且确定需抑制区域的图像，将需抑制区域的图像设置为黑色，即可排除其他区域的对模型训练的干扰。如此，将原图片与对应的预测分割结果相乘，将图片中的关键部位保留，将图片中的其余部位用黑色掩盖，从而达到去除干扰因素，解决其他部位对网络模型训练造成干扰的问题。
如图3所示，在本发明一实施例中，所述步骤S300包括：
步骤S310，对去除干扰因素后的所述移动图片和所述固定图片进行合并，对合并图片进行下采样，得到不同分辨率的合并图片；
步骤S320，根据所述不同分辨率的合并图片得到不同分辨率的位移场；
步骤S330，通过位移场级联模块将不同分辨率的位移场合并为目标位移场。
在本实施例中，由于现有的配准网络在小变形的图像配准中有不错的性能，但在针对大变形的图像配准中则有不足，故本实施例将去除干扰因素后的移动图片和固定图片进行连接，在通道处合并为一张有两个通道的合并图片，并将所述有两个通道的合并图片输入配准网络，所述配准网络对所述合并图片执行下采样操作，即通过将图片缩小得到同一图片的不同分辨率图片。通过不同分辨率的图片使配准网络不同深度的层中拥有更多的图像信息，加深了网络的表达能力。通过不同分辨率的图片可获得对应的位移场，所述位移场的分辨率也不相同。配准网络通过设计位移场级联模块，将低分辨率位移场的分辨率调整至与高分辨率位移场的分辨率相同，并将两个位移场合为一个位移场。重复上述步骤，直至只剩一个位移场，将该位移场作为最终位移场并输出。如此，通过获取不同分辨率的图片从而获取不同分辨率的位移场，并设计位移场级联模块，所述位移场级联模块能够使不同分辨率的位移场能够合并，提升了网络模型在大变形图像配准的能力。
如图4所示，在本发明一实施例中，所述步骤S330包括：
步骤S331，将第一位移场中X轴和Y轴的位移分别与对应的权重系数相乘，其中，所述第一位移场为分辨率最低的图片对应的位移场；
步骤S332，确定相乘后所述第一位移场对应的第一分辨率，根据所述第一分辨率查找第二位移场，其中，所述第二位移场对应的第二分辨率与第一分辨率相同；
步骤S333，合并所述第一位移场与所述第二位移场；
步骤S334，将合并得到的位移场作为第一位移场，循环上述步骤，直至仅剩一个位移场，即为目标位移场。
在本实施例中，由于分辨率不同的位移场无法进行合并，故需要通过位移场级联模块中X轴的权重系数图与Y轴的权重系数图使位移场的分辨率相同，从而能够进行位移场的合并。所述位移场级联模块对位移场的X轴与Y轴分别进行学习，在X轴和Y轴上分别学习一个权重系数图，即对X轴与Y轴分开进行学习，得到X轴权重系数图与Y轴权重系数图。获取最低分辨率的图片对应的位移场作为第一位移场，将第一位移场中X轴和Y轴的位移分别与对应的权重系数相乘，相乘前后的第一位移场的分辨率不同，查找与相乘后的第一位移场分辨率相同的位移场作为第二位移场，即相乘后的第一位移场对应的第一分辨率与第二位移场对应的第二分辨率相同，由于相乘后的第一位移场与第二位移场的分辨率相同，故可以将第一位移场与第二位移场进行合并。如此，所述位移场级联模块分别从X轴与Y轴分析位移场，可更清晰的得到位移场分别在X轴和Y轴上的变化，并分别对X轴和Y轴进行单独学习，分别得到X轴权重系数图与Y轴权重系数图，从而保证根据位移场级联模块变换分辨率的位移场的X轴和Y轴的变化更准确。
在本发明一实施例中，所述步骤S300之后，还包括：
获取所述移动图片与所述固定图片分别对应的实际分割结果；
将所述移动图片对应的实际分割结果和所述目标位移场输入空间变换网络，得到配准图像对应的分割结果；
根据所述固定图片对应的实际分割结果以及所述配准图像对应的分割结果确定标签相似性；
根据所述标签相似性对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
在本实施例中，所述标签相似性Lmse为计算所述固定图片对应的实际分割结果与所述配准图像对应的分割结果的每个像素之间的均方误差，标签相似性越高，一般而言，计算得出的标签相似性越高表明两张图像的相似程度越低。通过在公开数据集中获取所述移动图片与所述固定图片对应的实际分割结果，并将所述移动图片对应的实际分割结果和所述目标位移场输入空间变换网络，以得到所述配准图像对应的分割结果，通过计算得出标签相似性，所述标签相似性的计算公式为：
Lmse＝mse(IF,seg,Iwarp,seg)
其中，IF代表固定图像，Iwarp代表配准后的图像。根据所述标签相似性以及其余四个损失函数，即图像相似性、正则项、全局约束项以及轮廓约束项，相加得到的总损失函数对所述配准网络进行训练，保存训练后的配准网络用于下一次图像配准。如此，通过获取配准图像对应的分割结果，将固定图片的实际分割结果与配准图像对应的分割结果计算得出标签相似性，通过所述标签相似性判断两张图片的相似程度，并根据所述标签相似性以及其余四个损失函数相加得到的总损失函数对配准网络模型进行训练，使配准网络输出更准确的结果。
在本发明一实施例中，所述将所述移动图片对应的实际分割结果和所述目标位移场输入空间变换网络，得到所述配准图像对应的分割结果的步骤之后，还包括：
通过拉普拉斯算子确定所述配准图像对应的分割结果与所述固定图片对应的实际分割结果分别对应的轮廓图片；
根据所述配准图像对应的分割结果与所述固定图片对应的实际分割结果分别对应的轮廓图片确定轮廓约束项；
根据所述轮廓约束项对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
在本实施例中，由于在弱监督医学图像配准中，使用交叉熵衡量变换后的移动标签和固定标签的相似性作为一项损失函数，该损失函数不能提供很好的全局约束情况，故本实施例提出在训练配准网络的过程中加入拉普拉斯算子。在训练配准网络的过程中，获取所述移动图片与所述固定图片对应的实际分割结果，将所述移动图片对应的实际分割结果与所述目标位移场输入空间变换网络，以获取所述配准网络对应的分割结果。通过拉普拉斯算子对所述固定图片对应的实际分割结果和所述配准图像对应的分割结果进行处理，获取对应的关键部位的轮廓图片，再通过交叉熵对两张轮廓图片进行处理，确定轮廓约束项Lcontour，计算所述轮廓约束项的公式为：
Lcontour＝cross_entropy(Laplace(yF,seg),Laplace(ywarp,seg))
通过所述轮廓约束项以及其余四个损失函数，即图像相似性、正则项、标签相似性以及全局约束项，相加得到的总损失函数对初始配准网络进行训练，让通过配准网络进行配准的两张图片的轮廓拟合更好，保存训练后的配准网络用于下一次图像配准。如此，通过添加拉普拉斯算子确定轮廓约束项，再通过所述轮廓约束项以及其余四个损失函数相加得到总损失函数，根据所述总损失函数训练配准网络，以达到让进行配准的图片轮廓拟合更好的效果。
在本发明一实施例中，所述将所述移动图片对应的实际分割结果和所述目标位移场输入空间变换网络，得到所述配准图像对应的分割结果的步骤之后，还包括：
根据所述配准图像对应的分割结果与所述固定图片对应的实际分割结果确定全局约束项；
根据所述全局约束项对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
在本实施例中，通过encoder模块分别处理所述配准图像的分割结果与所述固定图片对应的实际分割结果，基于经过encoder模块处理后的结果以及交叉熵，最后得到全局约束项Lae，计算所述全局约束项的公式为：
Lae＝cross_entrop(encoder(IF,seg),encoder(Iwarp.seg))
其中，IF代表固定图像，Iwarp代表配准后的图像，所述全局约束项为训练配准网络的损失函数之一，根据所述全局约束项以及其余四个损失函数相加得到总损失函数，即图像相似性、正则项、标签相似性以及轮廓约束性，对所述配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
在本发明一实施例中，所述步骤S300之后，还包括：
根据所述目标位移场确定对应的正则项；
根据所述正则项对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准；
所述步骤S400之后，还包括：
确定所述固定图片与所述配准图像的图像相似性；
根据所述图像相似性对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
在本实施例中，对配准网络输出的位移场求梯度，根据求梯度的结果确定正则项，所述正则项的计算公式为其中，/>为对图像求梯度，DFV为用于图像变换的位移场，所述正则项为训练配准网络的损失函数之一。确定所述正则项目的是利用图像的梯度损失对网络进行约束，防止过拟合，以提高配准网络的泛化能力，根据所述正则项对所述配准网络进行训练，保存训练后的配准网络用于下一次图像配准。由于现有的基于深度学习的图像配准技术在训练网络的过程中，只使用了基于强度的损失函数即NCC函数，使得训练出来的网络对噪声和图像的灰度变化非常敏感，不利于网络的训练和模型的泛化。本实施例提出在使用NCC函数的基础上添加包含图像结构信息的损失函数即SSIM函数。在所述固定图片与所述配准图像的图像相似性Lsim时使用NCC函数与SSIM函数，根据所述图像相似性对所述配准网络进行训练，保存训练后的配准网络用于下一次图像配准，所述图像相似性的计算公式为：
Lsim＝NCC(IF,Iwarp)+SSIM(IF,Iwarp)
其中，IF代表固定图像，Iwarp代表配准后的图像，NCC的计算公式为：
其中p代表图像的像素坐标，所述NCC函数为归一化互相关匹配算法，通过计算固定图片和配准图像的互相关值，来确定匹配的程度。而所述SSIM是指结构相似性，即一种衡量两幅图像相似度的指标，通过引入结构相似性，能确保图像在保留灰度信息的同时，保留更多的结构信息。所述正则项以及所述图像相似性与其余三个损失函数，即标签相似性、全局约束项以及轮廓约束项，相加得到的总损失函数可用于训练所述配准网络。
为了实现上述目的，本发明还提供一种电子设备，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像配准程序，所述图像配准程序被所述处理器执行时实现上述任一项所述的图像配准方法的步骤。
为了实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有图像配准程序，所述图像配准程序被处理器执行时实现上述任一项所述的图像配准方法的步骤。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种图像配准方法，其特征在于，所述图像配准方法包括以下步骤：
获取移动图片和固定图片，并将所述移动图片和所述固定图片分别输入至图像分割网络，获得包括关键部位和其他部位的预测分割结果；
将所述预测分割结果中的所述关键部位设置为白色，并将所述其他部位设置为黑色；
将所述移动图片和所述固定图片分别与所述预测分割结果相乘，获得去除干扰因素的所述移动图片和所述固定图片；
基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场；
将所述移动图片和所述目标位移场输入空间变换网络，通过所述空间变换网络生成配准图像；
其中，所述基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场的步骤包括：
对去除干扰因素后的所述移动图片和所述固定图片进行合并，对合并图片进行下采样，得到不同分辨率的合并图片；
根据所述不同分辨率的合并图片得到不同分辨率的位移场；
通过位移场级联模块将不同分辨率的位移场合并为目标位移场；
其中，所述基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场的步骤之后，还包括：
获取所述移动图片与所述固定图片分别对应的实际分割结果；
将所述移动图片对应的实际分割结果和所述目标位移场输入空间变换网络，得到配准图像对应的分割结果；
根据所述固定图片对应的实际分割结果以及所述配准图像对应的分割结果确定标签相似性；
通过拉普拉斯算子确定所述配准图像对应的分割结果与所述固定图片对应的实际分割结果分别对应的轮廓图片；
根据所述配准图像对应的分割结果与所述固定图片对应的实际分割结果分别对应的轮廓图片确定轮廓约束项；
根据所述标签相似性和所述轮廓约束项，对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
2.如权利要求1所述的图像配准方法，其特征在于，所述通过位移场级联模块将不同分辨率的位移场合并为目标位移场的步骤包括：
将第一位移场中X轴和Y轴的位移分别与对应的权重系数相乘，其中，所述第一位移场为分辨率最低的图片对应的位移场；
确定相乘后所述第一位移场对应的第一分辨率，根据所述第一分辨率查找第二位移场，其中，所述第二位移场对应的第二分辨率与第一分辨率相同；
合并所述第一位移场与所述第二位移场；
将合并得到的位移场作为第一位移场，循环上述步骤，直至仅剩一个位移场，即为目标位移场。
3.如权利要求1所述的图像配准方法，其特征在于，所述将所述移动图片对应的实际分割结果和所述目标位移场输入空间变换网络，得到配准图像对应的分割结果的步骤之后，还包括：
根据所述配准图像对应的分割结果与所述固定图片对应的实际分割结果确定全局约束项；
根据所述全局约束项对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
4.如权利要求1所述的图像配准方法，其特征在于，所述基于去除干扰因素后的所述移动图片和所述固定图片及初始配准网络确定目标位移场的步骤之后，还包括：
根据所述目标位移场确定对应的正则项；
根据所述正则项对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准；
所述将所述移动图片与所述目标位移场输入空间变换网络，得到配准图像的步骤之后，还包括：
确定所述固定图片与所述配准图像的图像相似性；
根据所述图像相似性对所述初始配准网络进行训练，保存训练后的配准网络用于下一次图像配准。
5.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像配准程序，所述图像配准程序被所述处理器执行时实现如权利要求1至4中任一项所述的图像配准方法的步骤。
6.一种可读存储介质，其特征在于，所述可读存储介质上存储有图像配准程序，所述图像配准程序被处理器执行时实现如权利要求1至4中任一项所述的图像配准方法的步骤。
CN202110793797.5A 2021-07-13 2021-07-13 图像配准方法、电子设备及可读存储介质 Active CN113643332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110793797.5A CN113643332B (zh) 2021-07-13 2021-07-13 图像配准方法、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110793797.5A CN113643332B (zh) 2021-07-13 2021-07-13 图像配准方法、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113643332A CN113643332A (zh) 2021-11-12
CN113643332B true CN113643332B (zh) 2023-12-19

Family

ID=78417306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110793797.5A Active CN113643332B (zh) 2021-07-13 2021-07-13 图像配准方法、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113643332B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862175A (zh) * 2020-07-13 2020-10-30 清华大学深圳国际研究生院 一种基于循环正则训练的跨模态医学图像配准方法及装置
CN112767463A (zh) * 2021-01-12 2021-05-07 深圳大学 一种对抗配准方法、装置、计算机设备及存储介质
CN112907439A (zh) * 2021-03-26 2021-06-04 中国科学院深圳先进技术研究院 一种基于深度学习的仰卧位和俯卧位乳腺图像配准方法
CN113034453A (zh) * 2021-03-16 2021-06-25 深圳先进技术研究院 一种基于深度学习的乳腺图像配准方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018110615A (ja) * 2017-01-06 2018-07-19 キヤノン株式会社 画像処理装置および画像処理方法
US11570434B2 (en) * 2019-08-23 2023-01-31 Qualcomm Incorporated Geometric partition mode with harmonized motion field storage and motion compensation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862175A (zh) * 2020-07-13 2020-10-30 清华大学深圳国际研究生院 一种基于循环正则训练的跨模态医学图像配准方法及装置
CN112767463A (zh) * 2021-01-12 2021-05-07 深圳大学 一种对抗配准方法、装置、计算机设备及存储介质
CN113034453A (zh) * 2021-03-16 2021-06-25 深圳先进技术研究院 一种基于深度学习的乳腺图像配准方法
CN112907439A (zh) * 2021-03-26 2021-06-04 中国科学院深圳先进技术研究院 一种基于深度学习的仰卧位和俯卧位乳腺图像配准方法

Also Published As

Publication number Publication date
CN113643332A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
EP3540637B1 (en) Neural network model training method, device and storage medium for image processing
CN108229490B (zh) 关键点检测方法、神经网络训练方法、装置和电子设备
CN113516659B (zh) 一种基于深度学习的医学影像自动分割方法
US8605118B2 (en) Matrix generation apparatus, method, and program, and information processing apparatus
JP5500163B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
CN108230235B (zh) 一种视差图生成系统、方法及存储介质
CN113920538B (zh) 目标检测方法、装置、设备、存储介质及计算机程序产品
US11263773B2 (en) Object detection apparatus, object detection method, computer program product, and moving object
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN113450396A (zh) 基于骨骼特征的三维/二维图像配准方法及装置
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN113793370A (zh) 三维点云配准方法、装置、电子设备及可读介质
CN109961435B (zh) 脑图像获取方法、装置、设备及存储介质
CN117541632A (zh) 一种基于特征增强及多尺度相关的多模态图像配准方法
CN113643332B (zh) 图像配准方法、电子设备及可读存储介质
CN116934591A (zh) 多尺度特征提取的图像拼接方法、装置、设备及存储介质
CN116468761A (zh) 基于概率分布距离特征描述的配准方法、设备及存储介质
JP5928465B2 (ja) 劣化復元システム、劣化復元方法およびプログラム
CN113327226B (zh) 目标检测方法、装置、电子设备及存储介质
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法
CN117011137B (zh) 基于rgb相似度特征匹配的图像拼接方法、装置及设备
CN114750147B (zh) 机器人的空间位姿确定方法、装置和机器人
CN113096011B (zh) 图像处理方法、装置及电子设备
CN115082295B (zh) 一种基于自注意力机制的图像编辑方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant