CN113516693B - 一种快速通用的图像配准方法 - Google Patents
一种快速通用的图像配准方法 Download PDFInfo
- Publication number
- CN113516693B CN113516693B CN202110555201.8A CN202110555201A CN113516693B CN 113516693 B CN113516693 B CN 113516693B CN 202110555201 A CN202110555201 A CN 202110555201A CN 113516693 B CN113516693 B CN 113516693B
- Authority
- CN
- China
- Prior art keywords
- resolution
- registration
- image
- feature map
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn - After Issue
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 89
- 239000013598 vector Substances 0.000 claims abstract description 74
- 238000006073 displacement reaction Methods 0.000 claims abstract description 65
- 238000012952 Resampling Methods 0.000 claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000013519 translation Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 3
- 238000005070 sampling Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 16
- 238000000844 transformation Methods 0.000 claims description 14
- 239000002131 composite material Substances 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 14
- 230000000903 blocking effect Effects 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 241000125258 Scandix pecten-veneris Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种快速通用的图像配准方法，特征在于基于图像在不同分辨率对应关系的整体一致性，利用低分辨率相对小的计算量实现对应原图大范围的配准，进而通过对更高分辨率图重采样，对更高分辨率下的残差余量配准，实现大幅度变换图像间的快速、精细的配准；在残差配准中采用空间平移模型参数共享的学习算法拟合位移向量场，摆脱了对图像分块所带来的问题；在配准过程同时拟合配准置信度权重，表达所估计像素对应关系的可靠性，辅助同一空间位置的预测量在不同分辨率之间的融合，同时也对未能正确找到对应关系的像素插值与调整；通过自监督的端到端学习，使得模型在训练过程中可以无需人为标注，且在应用过程中可以自适应的调整模型参数。
Description
技术领域
本发明涉及图像数据处理技术领域，特别是一种快速通用的图像配准方法。
背景技术
图像配准(Image Registration)是图像处理研究领域中的一个典型问题和技术难点，其目的在于比较或融合针对同一对象在不同条件下获取的图像，例如图像会来自不同的采集设备，取自不同的时间，不同的拍摄视角等等，有时也需要用到针对不同对象的图像配准问题。具体地说，对于一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。该技术在计算机视觉、医学图像处理以及材料力学等领域都具有广泛的应用。根据具体应用的不同，有的侧重于通过变换结果融合两幅图像，有的侧重于研究变换本身以获得对象的一些力学属性。20世纪以来医学成像技术经历了从静态到动态，从形态到功能，从平面到立体的飞速发展。将各种图像结合起来，在同一图像上显示各自的信息，为临床医学诊断提供多数据多信息的图像，这成为极具应用价值的技术，而准确高效的图像配准则又是关键和难点。
图像配准根据空间变换性质可以分为参数化变换和非参数化变换，其中参数化变换通常包括刚体变换、仿射变换、相似变换、透视变换、单应性变换，相比之下非参数化变换具有最高的自由度，通常在图像中具有多个对象的不同复杂变换或物体自身形变情况下使用，通过一个位移向量场来表示。目前大部分的配准方法都针对求解其中一种参数化变换，或具有小幅度的非参数化变换，或先后分别求解参数化变换和小幅度的非参数化变换。
Julia A.Schnabel教授于2001MICCAI会议上公开了一项在脑科医学图像领域中关于多分辨率形变配准的工作，其中提出了对于多个分辨率的图像相似度估计作为损失函数，以全局形变场作为自变量，迭代优化该损失函数，得到搜索范围内最优的位移向量场，可以用于表达被配准图像之间的像素匹配关系。然而该方法需要在每次使用中对多个尺度的位移向量场反复计算梯度，并进行迭代优化得到最终结果，需要庞大的计算和时间成本。
Bob D.de Vos于2019年期刊Medical Image Analysis发表了一项基于多阶段深度学习网络的仿射配准及形变配准方法，提出了通过不同分辨率的图像训练多个不同的卷积神经网络，第一个网络预测全局的仿射变换，第二个及其之后网络基于之前所配准的图像进一步预测对应分辨率的网格控制点的位移向量，进而通过β样条插值得到全局的位移向量场。其中：1)该方法不是端到端的神经网络模型，使得多个网络模型在配准过程中无法复用神经网络中所提取的隐空间特征，同时也无法在使用时自适应的整体优化模型参数；2)对应每个网格控制点将图像分割为多块区域，将两张图像对应区域逐个输入卷积神经网络并输出该区域中心对应的控制点位移向量，然而该过程严重依赖于分割区域的大小位置及其图像的纹理特点：当分块区域不重合时，过小的分块区域可能会导致部分弱纹理区域无法提取有效的特征，而扩大分块区域则由于每个区域只有一个控制点而无法充分表达该区域不同像素之间的位移差异，从而无法获得精细稠密化的位移向量场，而使分块区域重合不仅增加了额外的计算量，也使对应重合区域内会像素产生不同的位移向量，另外配准结果也因此依赖于分块尺寸和滑动位置，破坏了图像中天然的空间平移不变性。
另外光流法也可以看作是相邻两帧之间图像的非参数化配准，基于光度不变假设估计其位移向量场即光流。Philipp Fischer等人于2015年ICCV会议上发表的FlowNet方法，基于编码器-解码器的卷积神经网络中额外包含对两张图像之间逐像素计算特征向量的相关系数，而Eddy Ilg等于2016年CVPR会议上提出了FlowNet2，通过堆叠多个基于编码器-解码器结构的卷积神经网络构建一个端到端学习的光流估计模型，其中每个编码器-解码器网络所预测的光流对图像进行变换后输入下一个编码器-解码器网络进行更精细化的配准，而第一个编码器-解码器网络沿用上述FlowNet结构，实现对图像全局范围内的像素对应关系搜索，其中：1)两张图像之间逐像素计算相关系数需要原图像像素数量平方的计算复杂度，2)所堆叠的编码器解码器网络输入并用于预测接近原图分辨率的光流，使得该卷积神经网络对于较大位移向量的预测所需的较大有效感受野(Receptive Field)需要较大的计算量，因而受限于硬件设备难以运用于高清、高维图像。
发明内容
本发明的目的是针对现有的图像配准方面所存在的问题，提供一种快速通用的图像配准方法。
本发明的一种快速通用的图像配准方法，特征在于基于图像在不同分辨率对应关系的整体一致性，搭建一个包括特征提取模块和配准模块的学习模型，通过从低分辨率到高分辨率下迭代进行图像变换余量的残差配准与重采样实现快速通用的图像配准，先由所述的特征提取模块提取不同分辨率下的图像特征，再由所述的配准模块进行由低分辨率到高分辨率的图像配准，得到配准结果后再通过按需设定的损失函数对其中学习模型参数进行优化、并输出优化后的模型参数及其配准结果，具体实施步骤如下：
步骤1.对任意输入的原分辨率图像，通过特征提取模块提取每个图像中多个分辨率尺度的一组特征向量，其中对应各个分辨率尺度的特征向量按图像顺序排列组成特征图，并从低分辨率到高分辨率从上到下组成特征图金字塔；
步骤2.通过配准模块，由低分辨率到高分辨率的特征图进行配准，获得其中模板图像，即待配准图，到目标图像的空间变换，并通过该空间变换应用于模板图像得到配准后的重采样图；
步骤3.重复步骤1与步骤2，基于所设定的损失函数，优化其中的可训练模型参数；
步骤4.基于步骤3得到的模型参数，输出所预测的模板图到目标图的空间变换及重采样图，该模型保留并被使用于其他图像的配准，或作为另外一轮训练的初始值；
其中：
所述的步骤1是通过对两个原图像迭代进行包括特征提取模块中下采样模块和上采样模块的操作实现的，具体包括：
步骤1-1.通过所述下采样模块提取当前分辨率图局部特征组成特征图；
步骤1-2.通过所述下采样模块对步骤1-1中得到的特征图下采样得到更低分辨率特征图，并指定更低分辨率特征图为当前分辨率特征图；
步骤1-3.重复步骤1-1到步骤1-2，直到达到设定的分辨率尺度图；
步骤1-4.通过所述上采样模块提取当前图像局部特征，并与之前下采样模块得到的同一分辨率特征图融合；
步骤1-5.通过所述上采样模块提取对当前特征图上采样得到更高分辨率特征图，并指定更高分辨率特征图为当前特征图；
步骤1-6.重复步骤1-4到步骤1-5，直到达到原图的分辨率尺度；
步骤1-7.将所述步骤1-4中各个尺度融合后的特征图从上到下，由低分辨率到高分辨率，组成特征图金字塔；
所述的步骤2是通过对两个图像的特征图由低分辨率到高分辨率迭代进行包括配准模块中残差配准模块、参数融合模块和重采样模块的操作实现的，具体步骤如下：
步骤2-1.通过残差配准模块，得到当前分辨率重采样特征图与目标特征图之间的像素对应关系，其中最低分辨率的重采样特征图初始设定为该分辨率的模板特征图；
步骤2-2.通过参数融合模块，利用空间变换的先验信息约束步骤2-1中所估测的像素对应关系得到对应空间变换参数，并与前一层更低分辨率的空间变换进行映射的复合运算得到该分辨率下的空间变换，其中线性参数变换的复合运算采用矩阵乘法；未知先验空间变换信息或已知非参数化的空间变换表达为位移向量场，其复合运算采用前一低分辨率位移向量场在插值或上采样后与下一个更高分辨率位移向量场叠加融合；
步骤2-3.通过重采样模块，基于步骤2-2中所得到的空间变换对下一层更高分辨率模板特征图重采样得到重采样图；
步骤2-4.从低分辨率到高分辨率重复步骤2-1到步骤2-3，直至获得模板图到目标图的空间变换；
其中步骤2-1采用空间平移模型参数共享的学习算法来实现，输入重采样特征图与目标特征图，拟合并输出位移向量场，其中每个向量表达目标特征图的每个像素与重采样图中的空间对应关系。
此外：
所述步骤2中利用另外一个学习模型分支，基于像素之间对应关系、语义信息和结构信息拟合置信权重，来表达所述位移向量场中每个位移向量的可靠程度，并用于步骤2中所述的参数融合运算、位移向量场的插值或上采样运算与不同分辨率的空间变换之间的复合运算。
所述步骤3中损失函数表达式基于配准图像之间的相似度及其对应空间变换的合理性，其中非参数化配准中对应空间变换的合理性损失项基于位移场光滑度，并利用图像边缘识别对每个位移向量的光滑度损失值加权。
所述步骤3中还通过随机生成的空间变换应用于图像中得到模拟数据，并利用已知的空间变换参数或位移场对模型参数训练，以克服缺少训练数据的问题。
本发明的有益技术效果是：实现了对两张图像快速的参数及非参数配准，相比现有的图像配准方法，该发明基于图像在不同分辨率对应关系的整体一致性，利用低分辨率相对小的计算量即可实现的对应原图大范围的配准，进而通过对更高分辨率图重采样，在更高分辨率下对空间变换余量的精细化配准，实现图像间存在大幅度空间变换情况下的快速、精细的配准；在对重采样图与目标图之间变换余量的残差配准中采用空间平移模型参数共享的学习方法拟合对应的位移向量场，摆脱了对图像分块所带来的问题；在配准过程同时通过另一学习模型分支拟合配准置信度权重，表达每个分辨率下在配准中所估计的对应像素位移向量的可靠性，既可以辅助同一空间位置的预测量在不同分辨率之间的融合，也可以对未能正确找到对应关系的像素基于邻域的配准结果插值或调整；通过自监督的端到端学习方法，使得模型在训练过程中无需人为标注，且在应用过程中可以自适应地调整模型参数。
附图说明
图1是本发明实施例的整体流程示意图；
图2是本发明实施例中特征提取模块基于卷积神经网络方案的简单示意图；
图3是本发明实施例中配准模块的简单示意图，其中初始的最低分辨率为3×3；
图4是本发明实施例中残差配准模块基于卷积神经网络方案的网络结构图；
图5是本发明实施例中残差配准模块基于Transformer神经网络方案的网络结构图；
图6是本发明实施例中参数融合模块中基于参数化配准的方案示意图；
图7是本发明实施例中参数融合模块中基于非参数化配准的方案示意图；
图中：
1.特征提取模块 11.下采样模块 12.上采样模块 2.配准模块
21.残差配准模块 22.参数融合模块 23.重采样模块
具体实施方式
下面结合附图和典型实施例对本发明作进一步说明。
在图1到图5中，本发明的一种快速通用的图像配准方法，其特征在于基于图像在不同分辨率对应关系的整体一致性，搭建一个包括特征提取模块1和配准模块2的学习模型，通过从低分辨率到高分辨率下迭代进行图像变换余量的残差配准与重采样实现快速通用的图像配准，先由所述的特征提取模块1提取不同分辨率下的图像特征，再由所述的配准模块2进行由低分辨率到高分辨率的特征配准，得到配准结果后再通过按需设定的损失函数对其中学习模型参数进行优化、并输出优化后的模型参数及其配准结果，具体实施步骤如下：
步骤1.对任意输入的两个原分辨率图像，特征提取模块1提取每个图像中多个分辨率像素尺度的一组特征向量，其中对应各个分辨率尺度按图像顺序排列组成特征图，并从低分辨率到高分辨率从上到下获得一个特征图金字塔；
其中Is、It分别是模板与目标图，
是从低分辨率到高分辨率的模板特征图，
是从低分辨率到高分辨率的目标特征图，n表达特征图数量，
是表达特征提取模块1的映射，ws、wt分别是
提取模板与目标图特征中的对应可训练模型参数，在本实例中设定共享参数，即ws与wt相等；
步骤1是通过对两个原图像由低分辨率特征到高分辨率迭代进行包括特征提取模块1中下采样模块11和上采样模块12的操作实现的，具体步骤包括：
步骤1-1.通过所述下采样模块11提取当前图像局部特征；
步骤1-2.通过所述下采样模块11提取对当前图下采样得到更低分辨率特征图，并指定更低分辨率特征图为当前特征图；
步骤1-3.重复步骤1-1到步骤1-2，直到达到设定的分辨率尺度图；
步骤1-4.通过所述上采样模块12提取当前图像局部特征，并与之前得到的同一分辨率特征图融合；
步骤1-5.通过所述上采样模块12提取对当前图上采样得到更高分辨率特征图，并指定更高分辨率特征图为当前特征图；
步骤1-6.重复步骤1-4到步骤1-5，直到达到原图的分辨率尺度；
步骤1-7.将所述的各个尺度融合后的特征图叠加得到特征图金字塔；
步骤2.通过配准模块2，获得其中模板图像到目标图像的全局配准结果和依照配准结果空间变换的重采样图，具体是通过对两个图像的特征图由低分辨率特征到高分辨率特征图迭代进行包括配准模块2中残差配准模块21、参数融合模块22和重采样模块23的操作实现的，主要步骤如下：
步骤2-1.通过残差配准模块21，得到当前分辨率重采样特征图与目标特征图之间的位移向量场，其中最低分辨率的重采样特征图初始化设定为该分辨率模板特征图；
步骤2-2.通过参数融合模块22，利用变换的先验信息约束步骤2-1中所估测的位移向量场得到对应空间变换参数，并与前一层更低分辨率的空间变换进行映射的复合运算得到该分辨率下的空间变换，其中线性参数变换的复合运算可以采用矩阵乘法，非参数化的空间变换则表达为位移向量场，其复合运算采用低分辨率在插值或上采样后与该分辨率位移向量场相加；
步骤2-3.通过重采样模块23，基于步骤2-2中所得到的空间变换对下一层更高分辨率模板特征图重采样得到重采样图；
步骤2-4.从低分辨率到高分辨率重复步骤2-1到步骤2-3，直至获得模板图到目标图的空间变换。
其中所述步骤2具体实施方式可以表达为：
其中φk是所估计的特征金字塔第k层的空间变换，φ0设定为恒等变换，
是第k层的重采样特征图与目标特征图之间所估计的位移向量场，
代表参数融合模块22，利用变换的先验信息约束所估测的位移向量场得到对应空间变换，并与第k-1层的空间变换组合得到φk，
代表残差配准模块21，利用模板与目标特征图像素之间的相似度或差异度计算对应的位移向量场，
代表重采样模块23，基于所计算的空间变换对特征图重采样；进一步地，通过以下公式计算每个像素的位移向量对应置信度权重：
其中θk是配准置信权重，即第k层目标特征图像素在模板特征图空间对应关系的置信度，
是位移向量
的每个位移向量的置信权重，并利用该置信度权重对其中无法找到对应关系或找到不合理对应关系的像素进行插值或修正：
其中wr、wc及wt是可训练参数。
步骤3.重复步骤1与步骤2计算得到原图的空间变换φn，基于重采样图像与目标图像的相似性及变换连续性的损失函数优化模型中的可训练参数，直到满足停止训练条件，该过程可以表达为：
其中在本实例中可训练参数为w＝[ws,wt,wa,wr,wc,wt]，损失函数表达式为：
其中
是配准后的图像相似度损失项，
是非参数化配准中位移场光滑度损失项，其中基于图像边缘识别对每个像素间的损失值加权：
其中SSIM是图像结构相似度函数，||·||2是欧几里得(L2)范数，只在单模态配准中使用，
是一阶梯度差分算子，可以用横向和纵向两个索贝尔(sobel)卷积核实现；
除了利用所输入的真实图像在配准后的相似性进行训练外，还可以预先通过随机生成的空间变换应用于图像中得到模拟数据，并利用已知的空间变换参数或位移场对模型参数训练，克服缺少训练数据的问题。
步骤4.基于所述步骤3训练的参数w，输出所预测的模板图到目标图的空间变换及重采样图，该模型可以进一步被使用于在其他图像的配准。
此外，所述特征提取模块1中的特征图金字塔在本实例中为五层，是通过搭建一个卷积神经网络实现的，如图2所示，采用了常见的编码器-解码器网络结构，包含五个下采样模块11组成的编码器和五个上采样模块12组成的解码器，五个上采样模块输出的特征图按顺序堆叠组成所述特征图金字塔。
其中对应深度学习方案，所述的下采样模块11包括两个3×3(二维图像)或3×3×3(三维图像)卷积层和两个激活层交替排列后加入一个池化下采样层，用以提取每个图像更加抽象的特征图；所述的上采样模块12包括一个反卷积上采样层后接两对3×3或3×3×3卷积层加激活层，用来融合和输出各个分辨率尺度的特征图组成特征图金字塔；其中每个下采样后的特征图通过跃接连接串联至对应尺度的反卷积上采样层之前用以处理结构信息并恢复特征图的分辨率；其中激活层采用线性整流函数(ReLU)。
根据非参数化配准原理，在不考虑位移向量场所代表的物理性质时，残差配准模块21中求解位移向量场的过程可以近似写为：
其中
是重采样特征图，
是两个特征图之间的差异度量函数，写作：
其中d是两个特征向量之间的差异度度量函数，pk是第k层分辨率下的图像坐标，
表示目标图该坐标下的特征向量，
表示位移向量场在该坐标的位移向量；λ是正则函数权重，
是基于目标特征图信息对位移向量场光滑度的正则项，写作：
其中位移向量场中位移向量写为：
因此该函数与pk无关，即满足平移不变性，其中Ω作为每一个位移向量的取值范围，也是配准过程中每个像素对应关系的搜索邻域范围；
综上，所述步骤2-1中残差配准模块21中所用的学习模型
可以通过空间平移模型参数共享来减小模型的自由度，其中该学习模型的有效感受野可看作配准中的邻域搜索范围；本实例中提出两种空间平移模型参数共享的学习模型方案，卷积神经网络与基于注意力机制的Transformer神经网络：其中卷积神经网络结构如图4所示，将重采样特征图与目标特征图在特征向量维度堆叠，并输入该卷积网络，接连通过两对3×3或3×3×3卷积层加激活层得到一个共有的特征图，其中卷积的输出的特征通道数量即特征向量维度的长度设定为二倍于3的图像维数次方，对于二维图像等于18，三维图像等于54，之后通过一个3×3或3×3×3卷积层加激活层加3×3或3×3×3卷积层拟合位移场，通过一个3×3或3×3×3卷积层加激活层拟合目标特征图每个像素对应的置信权重；基于注意力机制的Transformer神经网络结构如图5所示，其中包括多个同样特征通道数量的3×3或3×3×3卷积层与多个激活层，其中不同之处在于在卷积与激活层后利用之后特征向量维度分组，并与目标特征图卷积后在特征向量维度上点乘获得每个像素不同分组的权重，通过之后的特征向量维度上softmax函数激活层和矩阵乘法实现模板特征图与目标特征图之间的交互注意力机制，将有效感受野内的对应重采样特征与目标特征通过特征向量维度堆叠，并利用特征向量的线性变换拟合位移向量场与对应的置信权重矩阵，其中除了点乘后的激活层为softmax外其他激活层均为线性整流(ReLU)函数。
在图6和图7中，所述参数融合模块22在本实例的参数化配准方案中首先通过已知的空间变化模式基于置信权重加权位移向量场计算空间变换参数，并与上一层较低分辨率的空间变换结果结合，其中仿射变换的计算方式为：
其中Pk是第k层分辨率的图像坐标组成的矩阵，
是其齐次形式，diag(·)是对角化函数，在实际计算中可以看作直接与右边矩阵逐元素乘法；另外也可以基于仿射变换的基础上对其中旋转矩阵格拉姆-施密特正交化得到刚体变换；其中非参数化空间变换，如图7所示，计算方式为：将该层分辨率的残差配准模块21所估计的重采样与目标特征图之间的位移场及其置信度权重、前一层更低分辨率参数融合模块22中所得到的模板与目标特征图之间的位移场及其置信度权重上采样或插值后在特征向量维度堆叠，并输入一个3×3卷积层加激活层再加一个3×3卷积层，得到该分辨率下模板到目标图的位移向量场，即配准的空间变换，这一过程中置信度权重能够起到筛选出可靠控制点的作用，且该控制点数量和质量不会因为将图像分块而受到窗口大小与位置的影响；另外所述参数融合模块22也将该层分辨率的残差配准模块21所估计的重采样与目标特征图之间的配准置信度权重与上采样或插值后的前一层更低分辨率的模板与目标特征图之间的配准置信权重加权后堆叠，并输入一个3×3卷积层，计算得到该分辨率下模板到目标图的配准结果的置信权重。
所述重采样模块23根据输入的空间变换对所输入图像的采样操作，通过2015年NeuIPS会议上Max Jaderberg发表的Spatial Transformer Network中的采样函数实现。
本实例中所述方法通过LPBA40公开数据集验证，该数据集包括人脑的多个模态三维图像数据，该方法被用于单模态和多模态、不同样本之间、没有经过初始刚体变换对齐的形变配准，验证过程中模型的训练采用两个阶段：模拟数据训练与真实数据训练；其中模拟数据训练对每一个选取的三维图像基于随机生成的参数进行灰度值变换与空间变换得到模板图和目标图，通过该模板图、目标图以及所生成的空间变换对模型参数直接训练，其中空间变换的损失函数采用预测参数与所生成的参数之间的欧几里得距离，非参数化配准中采用位移向量的预测值及生成值之间的欧几里得距离；真实数据训练如所述损失函数
所示，其中单模态配准的损失函数包括结构相似度损失函数SSIM与欧几里得距离，多模态配准的损失函数仅包括结构相似度损失函数。通过测试集数据上配准后对应的标定分割区域的重合度量Dice相似系数(Dice Similarity Coefficient)作为评价标准，本发明方法超越了目前主流使用的Guha Balakrishnan于2018年CVPR会议上所发表的VoxelMorph方法和Philipp Fischer等人于2015年ICCV会议上发表的FlowNet方法。
以上所述为本发明的一个实施例，但本发明范围并不局限于此，不仅可用于图像配准任务，还可用于其他关于估计多个图像之间像素或区域对应关系及其空间变换的任务，如图像匹配、拼接、融合、相机位姿估计、深度估计及立体匹配等，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。
Claims (4)
1.一种快速通用的图像配准方法，其特征在于基于图像在不同分辨率对应关系的整体一致性，搭建一个包括特征提取模块(1)和配准模块(2)的学习模型，通过从低分辨率到高分辨率下迭代进行图像变换余量的残差配准与重采样实现快速通用的图像配准，先由所述的特征提取模块(1)提取不同分辨率下的图像特征，再由所述的配准模块(2)进行由低分辨率到高分辨率的图像配准，得到配准结果后再通过按需设定的损失函数对其中学习模型参数进行优化、并输出优化后的模型参数及其配准结果，具体实施步骤如下：
步骤1.对任意输入的原分辨率图像，通过特征提取模块(1)提取每个图像中多个分辨率尺度的一组特征向量，其中对应各个分辨率尺度的特征向量按图像顺序排列组成特征图，并从低分辨率到高分辨率，即从上到下，组成特征图金字塔；
步骤2.通过配准模块(2)，由低分辨率到高分辨率的特征图进行配准，获得其中模板图像，即待配准图，到目标图像的空间变换，并通过该空间变换应用于模板图像得到配准后的重采样图；
步骤3.重复步骤1与步骤2，基于所设定的损失函数，优化其中的可训练模型参数；
步骤4.基于步骤3得到的模型参数，输出所预测的模板图到目标图的空间变换及重采样图，该模型保留并被使用于其他图像的配准，或作为另外一轮训练的初始值；
其中：
所述的步骤1是通过对两个原图像迭代进行包括特征提取模块(1)中下采样模块(11)和上采样模块(12)的操作实现的，具体步骤如下：
步骤1-1.通过所述下采样模块(11)提取当前分辨率图局部特征组成特征图；
步骤1-2.通过所述下采样模块(11)对步骤1-1中得到的特征图下采样得到更低分辨率特征图，并指定更低分辨率特征图为当前分辨率特征图；
步骤1-3.重复步骤1-1到步骤1-2，直到达到设定的分辨率尺度；
步骤1-4.通过所述上采样模块(12)提取当前图像局部特征，并与之前下采样模块(11)得到的同一分辨率特征图融合；
步骤1-5.通过所述上采样模块(12)对当前特征图上采样得到更高分辨率特征图，并指定更高分辨率特征图为当前特征图；
步骤1-6.重复步骤1-4到步骤1-5，直到达到原图的分辨率尺度；
步骤1-7.所述的步骤1-4中各个尺度融合后的特征图从上到下，由低分辨率到高分辨率，组成特征图金字塔；
所述的步骤2是通过对两个图像的特征图由低分辨率到高分辨率迭代进行包括配准模块(2)中残差配准模块(21)、参数融合模块(22)和重采样模块(23)的操作实现的，具体步骤如下：
步骤2-1.通过残差配准模块(21)，得到当前分辨率重采样特征图与目标特征图之间的像素对应关系，其中最低分辨率的重采样特征图初始设定为该分辨率的模板特征图；
步骤2-2.通过参数融合模块(22)，利用空间变换的先验信息约束步骤2-1中所估测的像素对应关系得到对应空间变换参数，并与前一层更低分辨率的空间变换进行映射的复合运算得到该分辨率下的空间变换，其中线性参数变换的复合运算采用矩阵乘法；未知先验空间变换信息或已知非参数化的空间变换表达为位移向量场，其复合运算采用前一低分辨率位移向量场在插值或上采样后与下一个更高分辨率位移向量场叠加融合；
步骤2-3.通过重采样模块(23)，基于步骤2-2中所得到的空间变换对下一层更高分辨率模板特征图重采样得到重采样图；
步骤2-4.从低分辨率到高分辨率重复步骤2-1到步骤2-3，直至获得模板图到目标图的空间变换；
其中步骤2-1采用空间平移模型参数共享的学习算法来实现，输入重采样特征图与目标特征图，拟合并输出位移向量场，其中每个位移向量表达目标特征图的每个像素与重采样图中的空间对应关系。
2.根据权利要求1所述的一种快速通用的图像配准方法，其特征在于所述步骤2中利用另外一个学习模型分支，基于像素之间对应关系、语义信息和结构信息拟合置信权重，来表达所述位移向量场中每个位移向量的可靠程度，并用于步骤2中所述的参数融合运算、位移向量场的插值或上采样运算与不同分辨率的空间变换之间的复合运算。
3.根据权利要求1所述的一种快速通用的图像配准方法，其特征在于所述步骤3中损失函数表达式基于配准图像之间的相似度及其对应空间变换的合理性，其中非参数化配准中对应空间变换的合理性损失项基于位移场光滑度，并利用图像边缘识别对每个位移向量的光滑度损失值加权。
4.根据权利要求1所述的一种快速通用的图像配准方法，其特征在于所述步骤3中还通过生成的空间变换应用于图像中得到模拟数据，并利用已知的空间变换参数或位移场对模型参数训练，以克服缺少训练数据的问题。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110555201.8A CN113516693B (zh) | 2021-05-21 | 2021-05-21 | 一种快速通用的图像配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110555201.8A CN113516693B (zh) | 2021-05-21 | 2021-05-21 | 一种快速通用的图像配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113516693A CN113516693A (zh) | 2021-10-19 |
| CN113516693B true CN113516693B (zh) | 2023-01-03 |
Family
ID=78064921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110555201.8A Withdrawn - After Issue CN113516693B (zh) | 2021-05-21 | 2021-05-21 | 一种快速通用的图像配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113516693B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114155168A (zh) * | 2021-12-08 | 2022-03-08 | 武汉中海庭数据技术有限公司 | 一种全自动点云数据的偏移纠正方法及系统 |
| CN115115676A (zh) * | 2022-04-29 | 2022-09-27 | 腾讯医疗健康(深圳)有限公司 | 图像配准方法、装置、设备和存储介质 |
| CN114693755B (zh) * | 2022-05-31 | 2022-08-30 | 湖南大学 | 多模图像最大矩与空间一致性的非刚性配准方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361590A (zh) * | 2014-11-12 | 2015-02-18 | 河海大学 | 一种控制点自适应分布的高分辨率遥感影像配准方法 |
| CN107871325A (zh) * | 2017-11-14 | 2018-04-03 | 华南理工大学 | 基于Log‑Euclidean协方差矩阵描述符的图像非刚性配准方法 |
| CN111160433A (zh) * | 2019-12-19 | 2020-05-15 | 华东师范大学 | 一种高分辨率图像特征点的高速匹配方法及系统 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN112734818A (zh) * | 2021-01-26 | 2021-04-30 | 中国科学院空天信息创新研究院 | 基于残差网络和sift的多源高分辨率遥感图像自动配准方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537723B (zh) * | 2018-04-08 | 2021-09-28 | 华中科技大学苏州脑空间信息研究院 | 海量脑图像数据集的三维非线性配准方法及系统 |
| CN112132878B (zh) * | 2020-11-03 | 2024-04-05 | 贵州大学 | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 |
-
2021
- 2021-05-21 CN CN202110555201.8A patent/CN113516693B/zh not_active Withdrawn - After Issue
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361590A (zh) * | 2014-11-12 | 2015-02-18 | 河海大学 | 一种控制点自适应分布的高分辨率遥感影像配准方法 |
| CN107871325A (zh) * | 2017-11-14 | 2018-04-03 | 华南理工大学 | 基于Log‑Euclidean协方差矩阵描述符的图像非刚性配准方法 |
| CN111160433A (zh) * | 2019-12-19 | 2020-05-15 | 华东师范大学 | 一种高分辨率图像特征点的高速匹配方法及系统 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN112734818A (zh) * | 2021-01-26 | 2021-04-30 | 中国科学院空天信息创新研究院 | 基于残差网络和sift的多源高分辨率遥感图像自动配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113516693A (zh) | 2021-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113516693B (zh) | 一种快速通用的图像配准方法 | |
| CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
| CN111862126B (zh) | 深度学习与几何算法结合的非合作目标相对位姿估计方法 | |
| CN110009674B (zh) | 基于无监督深度学习的单目图像景深实时计算方法 | |
| CN113283525B (zh) | 一种基于深度学习的图像匹配方法 | |
| CN109558862B (zh) | 基于空间感知的注意力细化框架的人群计数方法及系统 | |
| CN111738091A (zh) | 一种基于多任务深度学习的姿态估计与人体解析系统 | |
| CN113221647B (zh) | 一种融合点云局部特征的6d位姿估计方法 | |
| CN113361560B (zh) | 一种基于语义的多姿势虚拟试衣方法 | |
| JP7439153B2 (ja) | 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み | |
| CN113159232A (zh) | 一种三维目标分类、分割方法 | |
| CN114494594B (zh) | 基于深度学习的航天员操作设备状态识别方法 | |
| CN116385660A (zh) | 室内单视图场景语义重建方法及系统 | |
| CN115115676A (zh) | 图像配准方法、装置、设备和存储介质 | |
| CN117252928B (zh) | 用于电子产品模块化智能组装的视觉图像定位系统 | |
| CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
| CN113160315B (zh) | 一种基于对偶二次曲面数学模型的语义环境地图表征方法 | |
| CN112669452B (zh) | 一种基于卷积神经网络多分支结构的物体定位方法 | |
| CN111832399B (zh) | 一种融合注意力机制的跨域道路航标配准算法 | |
| Seetharaman et al. | A piecewise affine model for image registration in nonrigid motion analysis | |
| CN117612204A (zh) | 一种三维手部姿态估计器构建方法及系统 | |
| CN115620016B (zh) | 一种骨架检测模型的构建方法、图像数据识别方法 | |
| CN112396089B (zh) | 基于lfgc网络和压缩激励模块的图像匹配方法 | |
| CN112435345B (zh) | 一种基于深度学习的人体三维测量方法及系统 | |
| CN114972451A (zh) | 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| AV01 | Patent right actively abandoned | ||
| AV01 | Patent right actively abandoned | ||
| AV01 | Patent right actively abandoned |
Granted publication date: 20230103 Effective date of abandoning: 20240104 |
|
| AV01 | Patent right actively abandoned |
Granted publication date: 20230103 Effective date of abandoning: 20240104 |