CN114648560A - 分布式图像配准方法、系统、介质、计算机设备及终端 - Google Patents

分布式图像配准方法、系统、介质、计算机设备及终端 Download PDF

Info

Publication number
CN114648560A
CN114648560A CN202210115227.5A CN202210115227A CN114648560A CN 114648560 A CN114648560 A CN 114648560A CN 202210115227 A CN202210115227 A CN 202210115227A CN 114648560 A CN114648560 A CN 114648560A
Authority
CN
China
Prior art keywords
image
distributed
rbfn
registration
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210115227.5A
Other languages
English (en)
Inventor
谢晋
赵心怡
陈家喜
高卫峰
李宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210115227.5A priority Critical patent/CN114648560A/zh
Publication of CN114648560A publication Critical patent/CN114648560A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像配准技术领域，公开了一种分布式图像配准方法、系统、介质、计算机设备及终端，对待配准原始图像进行切割得到子图，利用子图生成训练样本，并使用预先训练好的卷积神经网络CNN提取生成样本的特征；分布式训练高斯径向基神经网络RBFN学习图像特征与配准参数之间的最优映射关系；使用已训练好的RBFN模型预测图像间的配准参数。本发明基于CNN模型来进行图像特征提取，有效地获取图像关键信息，同时提出分布式算法DD‑RBFN‑ZGS，有效的进行图像配准参数预测。本发明通过仿真实验验证了算法的收敛性与准确性，与端到端的图像配准算法和传统的图像配准算法相比，在图像配准中得到更好的准确率。

Description

分布式图像配准方法、系统、介质、计算机设备及终端
技术领域
本发明属于图像配准技术领域，尤其涉及一种分布式图像配准方法、系统、介质、计算机设备及终端。
背景技术
目前，图像配准技术广泛应用于遥感数据分析、无人机自动巡航、计算机视觉等领域。图像配准问题的类别有很多，例如：不同拍摄角度的图像配准、多台拍摄设备下的图像配准、不同拍摄时间的图像之间的配准等。
许多经典的图像配准算法，大致可以分为两个步骤。首先，提取图像的关键点。在图中找到对旋转和变形不敏感的关键点，并以合理的方式描述关键点，例如Scale-invariant feature transform(SIFT)或Oriented FAST and Rotated BRIEF(ORB)等特征点描述符。其次，设计匹配算法。从两幅待配准图像的关键点集合中找到最可能匹配的点对集合，并用于计算单应性矩阵参数。
近年来神经网络在计算机视觉领域表现出了很强的通用性，使用神经网络进行图像配准也成了一种首选的方法。
有很多方法可以在图像配准问题中使用神经网络技术。一些研究遵循传统的两阶段配准思想，使用前馈神经网络(FNN)来学习特征点信息与配准参数之间的映射关系。在2000年，Elhanany等人提出了一种基于FNN的配准算法。他们通过随机旋转模板图像生成了一批训练样本，旋转参数被用作标签，图像的离散余弦变换(DCT)特征来训练FNN进行图像配准。2016年，Yan Min等人通过使用更强大的SIFT特征并将单应变换参数的数量增加到八个，改进了Elhanany等人的算法。这种算法需要在每次配准时训练模型，导致效率受到了影响。为了解决这个问题，该算法每次只生成少量的训练样本，并使用极限学习(ELM)算法计算FNN参数以提高效率。
一些研究使用预先训练的CNN模型来提取图像特征，然后使用这些特征来计算配准参数。2018年，Famao Ye等人使用经过训练的CNN分类模型的一些卷积层来建立图像的关键点特征描述符。2021年，Fei Zhu等人首次提出了一种基于拉普拉斯特征图的深度CNN来提取图像的内在特征进行图像配准。
也有一些研究以端到端的方式构建了高效的图像配准模型，可以通过深度模型直接预测配准参数。2016年，DeTone等人提出了一个类似VGG的深度CNN以端到端的方式完成图像配准。2018年，T.Nguyen等人接着提出了上述算法的改进形式，以一种无监督的方式训练CNN。与基于关键点匹配的配准算法相比，这两种算法具有更高的配准精度。
从前文中知道，Yan Min等人提出的算法在每个单独的配准任务上都进行了重新训练，虽然可以学习到待配准的图像的特征信息，但严重依赖SIFT算法的稳定性。如果特征点提取失败，则算法无法正确的配准图像。另外，对于大图像来说，直接进行SIFT特征点计算需要消耗巨大的内存资源和较长的计算时间。该算法在单台计算机上执行，性能有限，配准过程仅生成200个训练样本，样本丰富度不足。而DeTone等人的端到端深度网络可以稳定地提取特征，但是需要庞大的训练集和反复的参数调优来保证模型的泛化能力。因此，如果整合这两种算法的优点，有望突破两种算法各自的局限。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有的基于FNN的图像配准算法在每次配准时训练模型，考虑到算法效率，每次只生成少量的训练样本。
(2)现有技术严重依赖SIFT算法的稳定性；如果特征点提取失败，则算法无法正确的配准图像。
(3)对于大图像来说，直接进行SIFT特征点计算需要消耗巨大的内存资源和较长的计算时间，过大的图像将导致内存溢出(OOM)使得算法无法计算。
(4)现有的端到端深度网络可以稳定地提取特征，但是需要庞大的训练集和反复的参数调优来保证模型的泛化能力。
解决以上问题及缺陷的难度为：
(1)对于问题(1)(3)，继续使用单机算法须对算法进行改造。例如，将SIFT算法改造为分区域的多次特征提取，这使得计算时间更长；减少SIFT金字塔层数，这使得特征点准确性下降；很难既提高算法效率又不损失精度。
(2)对于问题(2)，需要设计更加健壮的人工特征点提取算法，需要研究图形学技术，综合信号处理，计算机图形学等多门学科知识，研发难度大。
(3)对于问题(4)，需要提供更大的训练数据集进行网络训练，或者在实际使用时提供准用数据集进行微调，亦或是改造网络结构，使用更为先进的注意力模型，但这类模型的成本极高，有一定的成本控制难度。
解决以上问题及缺陷的意义为：
(1)提出分布式算法，利用多台计算机的能力解决问题(1)(3)，可以同时兼顾算法效率与算法效果。
(2)对于问题(2)，省去人工构造特征的步骤，降低数据分析难度，使得算法的应用性和稳定性更强。
(3)对于问题(4)，不使用端到端的训练方式，基础模型只需要训练一次，节约训练成本，同时保证模型的泛化能力。
发明内容
针对现有技术存在的问题，本发明提供了一种分布式图像配准方法、系统、介质、计算机设备及终端，尤其涉及一种基于图像切割的分布式图像配准方法、系统、介质、计算机设备及终端。
本发明是这样实现的，一种分布式图像配准方法，所述分布式图像配准方法包括：
对原始图像进行切割，并使用预先训练好的卷积神经网络CNN提取切割后的图像特征；分布式训练高斯径向基神经网络RBFN学习图像特征与配准参数之间的最优映射关系；使用已训练好的RBFN模型预测图像间的配准参数。
进一步，所述分布式图像配准方法还包括：
模型的输入是待配准的图像，将所述待配准的图像切割成不同大小的子图像后，将主体图、模板图和切割后的子图像发送到分布式网络；在分布式网络中，每个代理根据收到的子图像自动生成训练样本，并通过训练好的CNN模型提取图像特征；使用所述图像特征，每个代理节点训练RBFN，所有的RBFN共享相同的中心参数c；多代理训练的RBFN模型的参数通过ZGS算法进行全局优化，得到最终训练好的RBFN；使用与代理节点相同的方法提取待配准图像的特征，并将所述特征输入至RBFN，进而获得对配准参数的最终预测结果。
进一步，所述分布式图像配准方法包括以下步骤：
步骤一，进行图像切割得到子图；
步骤二，进行分布式网络构建；
步骤三，进行子图的分发，分布式网络中各代理各收到一张子图；
步骤四，各分布式代理进行样本生成与特征提取；
步骤五，进行分布式RBFN优化算法构建；
步骤六，进行图像配准参数预测。
图像切割，可以将图像分给分布式网络中的代理进行处理，是分布式算法的前提。同时，每个代理处理一张子图，可以充分的学习原始图像各部分的局部信息，有利于后序的配准参数预测。分布式优化算法可以充分利用多台计算机的计算能力，解决单台计算机在处理大图时的性能问题。对图像进行特征提取(CNN提取特征)，使得算法能在图像有大量噪声时还可以准确进行配准。
进一步，所述步骤一中的图像切割包括：
将图像切割成不同大小的子图学习原始图像各个区域的局部信息，待配准图像按照4等分和9等分的方法进行切割。
所述步骤三中的样本生成与特征提取包括：
在分布式网络中，每个代理得到一张子图后，使用所述子图生成训练样本。当待配准的原始图像大小为N×N，四等分子图大小为
Figure BDA0003496017190000051
在子图中心固
Figure BDA0003496017190000052
的矩形，并在
Figure BDA0003496017190000053
范围内随机移动矩形的4个顶点，得到一组新的顶点。设矩形的四个顶点坐标为(xi,yi),i＝1,2,3,4，移动后的顶点坐标为(xi′,yi′),i＝1,2,3,4，得到H4p＝((x1-x1′,y1-y1′),...,(x4-x′4,y4-y′4))T，对应的单应性矩阵为H＝DLT(H4p)。使用所述方法生成一批单应性矩阵。
使用CNN模型提取特征，所述模型接受两个叠加图像作为输入预测配准参数；每个代理生利用CNN提取所述训练数据的图像特征。
按照以下公式，使用生成的单应性矩阵H对代理收到的子图像进行单应性变换，并将变换后的图像堆叠在子图像上。将堆叠后的图像输入到CNN模型中进行特征提取，CNN展开层的输出即为所需的特征向量。
Figure BDA0003496017190000054
进一步，所述步骤四中的分布式网络的构建包括：
分布式网络有28个代理，所述分布式网络信息传输是有向的，网络拓扑是有向的；所述分布式网络连通并满足权重平衡，
Figure BDA0003496017190000055
分布式网络中每个代理均具有结构相同的FNN，选用的FNN为RBFN。
所述步骤四中的分布式RBFN优化算法的构建包括：
(1)高斯径向基网络
有L个隐藏层节点的RBFN表达式如下：
Figure BDA0003496017190000056
其中，x是RBFN的输入，W＝[w1,w2,...,wL]T是输出层权重，c被称为高斯核中心，ρi(||x-ci||)＝exp(-β||x-ci||2)，h(x)＝[ρ1(x),ρ2(x),...,ρL(x)]，β是高斯径向基的超参数。损失函数的定义为：
Figure BDA0003496017190000061
其中，y是样本的标签，λ是正则化参数。
高斯径向基的参数优化方法是极限学习(ELM)。由于ZGS可优化条件要求所有的分布式代理需要有相同的中心参数c，故RBFN的中心c通过统一随机初始化使得所有代理的RBFN中心参数都相同，并在整个训练过程中保持不变。
固定中心参数c后，分布式代理的RBFN的表达式为：
Figure BDA0003496017190000062
其中，Hrbfi＝h(Xi)T表示第i个代理使用局部数据计算得到的隐藏层输出，分布式网络全局的损失函数为：
Figure BDA0003496017190000063
分布式网络全局的损失函数公式满足ZGS可优化条件。
(2)分布式优化公式
根据所述分布式网络全局的损失函数公式，得：
Figure BDA0003496017190000064
ZGS分布式优化公式为：
Figure BDA0003496017190000065
结合ZGS分布式优化公式，DD-RBFN-ZGS算法的表达式为：
Figure BDA0003496017190000066
其中，Wi(k)表示代理i的RBFN输出层参数在第k次迭代时的值，并且所述参数更新是在离散时间下进行的；γ是ZGS算法的超参数；aij是邻接矩阵A中的元素；Ni表示代理i的邻居代理下标集合；所述分布式网络连通且权重平衡。
(3)收敛性分析
已知目标函数二次可导且强凸，基于李雅普诺夫函数：
Figure BDA0003496017190000071
DD-RBFN-ZGS算法的收敛性满足如下公式：
Figure BDA0003496017190000072
其中，κ∈(0,1)是与分布式网络结构相关的常量，k代表迭代次数。
进一步，所述步骤五中的图像配准参数预测包括：
采用和分布式代理中相同的方式对模板图和主体图进行特征提取，并使用分布式网络训练完成的RBFN进行配准参数预测。
设模板图和主体图的尺寸分别为(hA,wA),(hB,wB)，统一缩放为128×128大小的图像，并使用CNN提取特征。经过步骤四得到的RBFN在这组特征上做出对配准参数H4p＝((x1-x1',y1-y1'),...,(x4-x4',y4-y4'))的预测。
原始图像的配准参数如下：
Figure BDA0003496017190000073
通过计算H＝DLT(H'4p)，即可得到原始图像之间的配准单应性参数。
本发明的另一目的在于提供一种实施所述的分布式图像配准方法的分布式图像配准系统，所述分布式图像配准系统包括：
图像切割模块，用于对原始图像进行切割；
样本生成与特征提取模块，用于在分布式网络中，每个代理根据收到的子图像自动生成训练样本，并通过训练好的CNN模型提取图像特征；
分布式网络构建模块，用于进行分布式网络的构建；
优化算法构建模块，用于进行分布式RBFN优化算法的构建；
图像配准参数预测模块，用于使用RBFN模型预测图像间的配准参数。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
模型的输入是待配准的图像，将所述待配准的图像切割成不同大小的子图像后，将主体图、模板图和切割后的子图像发送到分布式网络；在分布式网络中，每个代理根据收到的子图像自动生成训练样本，并通过训练好的CNN模型提取图像特征；使用所述图像特征，每个代理节点训练RBFN，所有的RBFN共享相同的中心参数c；多代理训练的RBFN模型的参数通过ZGS算法进行全局优化，得到最终训练好的RBFN；使用与代理节点相同的方法提取待配准图像的特征，并将所述特征输入至RBFN，进而获得对配准参数的最终预测结果。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
模型的输入是待配准的图像，将所述待配准的图像切割成不同大小的子图像后，将主体图、模板图和切割后的子图像发送到分布式网络；在分布式网络中，每个代理根据收到的子图像自动生成训练样本，并通过训练好的CNN模型提取图像特征；使用所述图像特征，每个代理节点训练RBFN，所有的RBFN共享相同的中心参数c；多代理训练的RBFN模型的参数通过ZGS算法进行全局优化，得到最终训练好的RBFN；使用与代理节点相同的方法提取待配准图像的特征，并将所述特征输入至RBFN，进而获得对配准参数的最终预测结果。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的分布式图像配准系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的分布式图像配准方法，具体涉及一种基于图像切割的分布式图像配准算法。该算法的提出是为了解决带噪声图像的配准问题。首先，本发明对原始图像进行切割，并将切割后的子图分发至分布式网络中，分布式网络中的每个代理利用收到的子图生成一批训练样本，并使用一个预先训练好的卷积神经网络(CNN)来提取训练样本的图像特征；然后，分布式训练一个高斯径向基神经网络(RBFN)来学习图像特征与配准参数之间的最优映射关系；最后，使用这个已训练好的RBFN模型来预测待配准图像间的配准参数。针对上述提出的分布式问题，本发明对零梯度和(ZGS)分布式优化算法进行了改进，提出了一种基于RBFN的分布式离散时间模型，称为DD-RBFN-ZGS(Distributed discrete-time learning modelbased onRBFN with an improved ZGS algorithm)。DD-RBFN-ZGS的收敛性利用李雅普诺夫稳定性理论得以证明。在该分布式网络中，各通讯节点间交换的是系数而不是原始数据，这意味着DD-RBFN-ZGS是一种隐私保护算法，无法通过截取分布式网络节点间的通讯数据还原出原始图像。最后，本发明通过仿真实验验证了算法的收敛性与准确性，与端到端的深度网络图像配准算法和传统的基于特征点提取的图像配准算法相比，基于图像切割，样本生成，与DD-RBFN-ZGS分布式训练的配准算法在图像配准中得到更好的准确率。
本发明提出了一个基于图像切割的分布式图像配准算法。该算法分为四个步骤。首先，因为待配准的图像在不同情况下通常具有不同的重叠区域，为了使训练样本覆盖尽可能多的情况，本发明将原始图像切割成多个子图像并构建分布式优化网络，网络中的每个代理分别处理一个子图像；每个代理使用子图像生成一批训练样本，使用一个训练好的CNN提取图像特征，并分布式的训练RBFN学习图像特征与配准参数的映射关系；分布式网络中各代理的RBFN参数通过ZGS算法进行优化，通过代理间的信息交流得到全局最优的RBFN参数。最后，使用经过训练的RBFN来预测待配准的图像之间的单应性参数。
本发明的贡献总结如下：
(1)本发明提出了一种基于图像切割的分布式图像配准算法。为了解决针对配准所产生的分布式问题，本发明提出了DD-RBFN-ZGS算法并通过李雅普诺夫稳定性分析证明了它的收敛性。以分布式的方式有效地学习到噪声图像特征与配准参数之间的映射关系。实验结果表明该算法是有效的。
(2)本发明在每次配准的过程中都训练一个特定的RBFN，根据当前图像信息预测配准参数。避免了端到端模型在特殊情况下泛化能力不足的问题。本发明的算法与Yan Min等人的工作的不同之处在于本发明的算法在不同尺度下对图像进行切割，并生成更多的训练样本，以保证RBFN可以学习到图像不同尺度和位置的局部信息，并且利用CNN而不是SIFT提取特征，能够更鲁棒地提取特征信息。
(3)本发明改造了DeTone等人提出的端到端CNN模型来进行图像特征提取，可以有效地获取图像关键信息。实验证明，对存在大量噪声地图像，本发明提出的特征提取方法也是有效的。
(4)对于所提出的分布式算法，原始图像信息不直接通过通信网络在代理节点之间传输。这意味着该算法是一种隐私保护的算法。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的分布式图像配准方法流程图。
图2是本发明实施例提供的分布式图像配准算法流程图。
图3是本发明实施例提供的分布式图像配准系统结构框图；
图中：1、图像切割模块；2、样本生成与特征提取模块；3、分布式网络构建模块；4、优化算法构建模块；5、图像配准参数预测模块。
图4是本发明实施例提供的分布式图像配准算法结构示意图。
图5是本发明实施例提供的将图像进行不同大小的切割示意图。
图6是本发明实施例提供的连通且权重平衡的网络拓扑示意图。
图7是本发明实施例提供的图像配准过程中的单应性变换示意图。
图8是本发明实施例提供的不同参数下W的收敛情况示意图；图8(d)展示了一种过大的γ导致W发散的情况。
图9是本发明实施例提供的不同重叠区域下，本发明的配准算法与端到端CNN配准算法的比较示意图。
图10是本发明实施例提供的不同重叠区域下与添加噪声情况下，本发明的配准算法与端到端CNN配准算法以及SIFT配准算法的比较示意图。
图11是本发明实施例提供的不同的切割策略示意图。
图12是本发明实施例提供的随机噪声情况下的配准效果对比示意图。
图13是本发明实施例提供的随机噪声和高斯噪声情况下的配准效果对比示意图。
图14是本发明实施例提供的无噪声情况下的配准效果对比示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种分布式图像配准方法、系统、介质、计算机设备及终端，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的分布式图像配准方法包括以下步骤：
S101，进行图像切割得到子图；
S102，进行分布式网络构建；
S103，进行子图的分发，分布式网络中各代理各收到一张子图；
S104，各分布式代理进行样本生成与特征提取；
S105，进行分布式RBFN优化算法构建；
S106，进行图像配准参数预测。
如图3所示，本发明实施例提供的分布式图像配准系统包括：
图像切割模块1，用于对原始图像进行切割；
样本生成与特征提取模块2，用于在分布式网络中，每个代理根据收到的子图像自动生成训练样本，并通过训练好的CNN模型提取图像特征；
分布式网络构建模块3，用于进行分布式网络的构建；
优化算法构建模块4，用于进行分布式RBFN优化算法的构建；
图像配准参数预测模块5，用于使用RBFN模型预测图像间的配准参数。
下面结合具体实施例对本发明的技术方案作进一步描述。
1、本发明提出了一种基于图像切割的分布式图像配准算法。该算法的提出是为了解决带噪声图像的配准问题。首先，本发明对原始图像进行切割，并将切割后的子图分发至分布式网络中，分布式网络中的每个代理利用收到的子图生成一批训练样本，并使用一个预先训练好的卷积神经网络(CNN)来提取训练样本的图像特征；然后，分布式训练一个高斯径向基神经网络(RBFN)来学习图像特征与配准参数之间的最优映射关系；最后，使用这个已训练好的RBFN模型来预测待配准图像间的配准参数。针对上述提出的分布式问题，本发明对零梯度和(ZGS)分布式优化算法进行了改进，提出了一种基于RBFN的分布式离散时间模型，称为DD-RBFN-ZGS(Distributed discrete-time learning model based on RBFNwith an improved ZGS algorithm)。DD-RBFN-ZGS的收敛性利用李雅普诺夫稳定性理论得以证明。在该分布式网络中，各通讯节点间交换的是系数而不是原始数据，这意味着DD-RBFN-ZGS是一种隐私保护算法。最后，本发明通过仿真实验验证了算法的收敛性与准确性，与端到端的图像配准算法和基于特征点提取的图像配准算法相比，本发明在图像配准中得到更好的准确率。
本发明提出了一个基于图像切割的分布式图像配准算法。该算法分为四个步骤。首先，待配准的图像在不同情况下有不同的重叠区域，为使训练样本覆盖尽可能多的情况，本发明将原始图像切割成多个子图像并构建分布式优化网络，网络中的每个代理分别处理一个子图像。接下来，每个代理使用子图像生成一批训练样本，使用一个训练好的CNN提取图像特征，并分布式的训练RBFN学习图像特征与配准参数的映射关系。然后，分布式网络中各代理的RBFN参数通过ZGS算法进行优化，通过代理间的信息交流得到全局最优的RBFN参数。最后，使用经过训练的RBFN来预测待配准的图像之间的单应性参数。
本发明的贡献总结如下：
1)本发明提出了一种基于图像切割的分布式图像配准算法。为了解决针对配准所产生的分布式问题，本发明提出了DD-RBFN-ZGS算法并通过李雅普诺夫稳定性分析证明了它的收敛性。以分布式的方式有效地学习到噪声图像特征与配准参数之间的映射关系。实验结果表明该算法是有效的。
2)本发明在每次配准的过程中都训练一个特定的RBFN，根据当前图像信息预测配准参数。避免了端到端模型在特殊情况下泛化能力不足的问题。本发明的算法与Yan Min等人的工作的不同之处在于本发明的算法在不同尺度下对图像进行切割，并生成更多的训练样本，以保证RBFN可以学习到图像不同尺度和位置的局部信息，并且利用CNN而不是SIFT提取特征，能够更鲁棒地提取特征信息。
3)本发明改进了DeTone等人提出的CNN模型来进行图像特征提取，可以有效地获取图像关键信息。实验证明，对存在大量噪声地图像，本发明提出的特征提取方法也是有效的。
4)对于所提出的分布式算法，原始图像信息不直接通过通信网络在代理节点之间传输。这意味着该算法是一种隐私保护的算法。
2、预备知识
2.1图论
分布式多代理系统的连接网络通常使用图g＝{v,ε}来描述。其中，v是点集合，用来表示分布式系统中n个代理的集合，ε用来表示代理之间的连接(边)，例如(i,j)∈ε表示代理i与j之间存在连接。邻居集合Ni＝{j∈v:(i,j)∈ε}表示所有和代理i联通的代理的集合。A＝[aij]∈Rn×n用来表示图的邻接矩阵，其中aij＞0如果代理i,j之间存在连接，反之aij＝0。如果A是一个对称矩阵，则图g是无向图。
2.2多代理分布式系统
考虑一个一阶的有n个代理的动力系统，代理的状态可以被表述为：xi(t+1)＝xi(t)+ui(t)，
其中xi(t)∈Rm用来表示第i个代理在时间t的状态，ui(t)∈Rm用来表示第i个代理在时间t根据其他代理状态所做出的状态调整。令
Figure BDA0003496017190000141
Figure BDA0003496017190000142
称一个多代理系统达成共识当且仅当x收敛到
Figure BDA0003496017190000143
t→∞。
在本发明中，多代理系统用来解决分布式图像配准系数的预测问题，因此多代理不仅需要达成共识，并且需要各个代理达成共识时对应的RBFN参数能预测出图像配准系数的最优解。
2.3零梯度和算法
零梯度和算法(ZGS)是一种分布式优化算法，用来求解“求和”形式的最优化问题。“求和”形式的最优化问题的目标函数表达式为：
Figure BDA0003496017190000144
ZGS算法要求目标函数是强凸且二阶可导的。如果目标函数满足条件，则可以使用ZGS进行分布式优化。ZGS分布式优化公式如下：
Figure BDA0003496017190000145
其中xi(k)∈Rn表示分布式节点i中对全局最优解x*的估计，
Figure BDA0003496017190000146
表示fi(x)的最优解，aij是邻接矩阵中第i行第j列的元素，k是迭代次数，γ>0是算法的一个超参数，用来控制学习率。
2.4单应性图像变换
同一场景不同角度拍摄的图像之间可以看做存在一种单应性映射。通常，本发明将待变换的图像称为主体图，将目标图像称为模板图。两幅图像之间的单应性映射使用矩阵H表述，图像配准的单应性变换定义如下：
Figure BDA0003496017190000151
其中，(u,v)表示主体图中的像素坐标，它们将被映射到坐标(u’,v’)。
(u’,v’)的计算公式为：
Figure BDA0003496017190000152
Figure BDA0003496017190000153
可以看出，给单应性矩阵乘以任意非零常数都不会改变单应性变换的结果，因此本发明可以给单应性矩阵乘
Figure BDA0003496017190000154
将其规范化为标准形式：
Figure BDA0003496017190000155
由公式(6)可以看出，图像的单应性变换有八个参数。
由于H的八个参数通常具有不同的数量级，不适合机器学习直接拟合，DeTone提出了一种单应性参数等价表示形式：
Figure BDA0003496017190000156
其中Δui＝u'i-ui,Δvi＝v'i-vi，(u,v)→(u',v')表示主体图和模板图中匹配的两个点的坐标。H4p矩阵可以通过直接线性变换(DLT)变为H。H4p的各个元素有相同的取值范围，使得模型更容易训练。
3、分布式图像配准算法
本发明提出的算法结构如图4所示，流程如图2所示。模型的输入是要进行配准的图像。把这些图像切割成不同大小的子图像。然后，将主体图、模板图和切割后的子图像发送到分布式网络。在分布式网络中，每个代理根据收到的子图像自动生成一批训练样本，并通过训练好的CNN模型提取图像特征。使用这些特征，每个代理节点训练一个RBFN，所有的RBFN共享相同的中心参数c。多代理训练的RBFN模型的参数通过ZGS算法进行全局优化，得到最终训练好的RBFN。使用与代理节点相同的方法提取待配准图像的特征，并将其输入到RBFN，以获得对配准参数的最终预测结果。
本发明将介绍分布式图像配准网络各个部分的信息。
3.1图像切割
本发明提出的图像配准算法依赖于待配准图像重叠部分的信息，然而在不同的情况下，待配准图像通常有不同的重叠区域。因此，本发明将图像切割成不同大小的子图来学习原始图像各个区域的局部信息。如图5所示，待配准图像按照4等分和9等分的方法进行了切割。
3.2样本生成与特征提取
在分布式网络中，每个代理得到一张子图后，会使用这张子图生成一批训练样本。假设待配准的原始图像大小为N×N，以
Figure BDA0003496017190000161
大小的子图为例来介绍样本生成方法。在子图中心固定一个
Figure BDA0003496017190000162
的矩形，然后在
Figure BDA0003496017190000163
范围内随机移动矩形的4个顶点，得到一组新的顶点。设矩形的四个顶点坐标为(xi,yi),i＝1,2,3,4，移动后的顶点坐标为(xi′,yi′),i＝1,2,3,4，可以得到H4p＝((x1-x1′,y1-y1′),...,(x4-x′4,y4-y′4))T，对应的单应性矩阵为H＝DLT(H4p)。
本发明使用DeTone等人设计的CNN模型来提取特征。该模型接受两个叠加图像作为输入来预测它们之间的配准参数。选择此模型是因为输入两个相互叠加的图像，它能有效提取两幅图像之间的空间信息。与SIFT等特征提取算法相比，CNN的输出稳定，受噪声干扰较小。按照公式(4)和(5)，使用上文中生成的H对代理收到的子图像进行单应性变换，并将变换后的图像堆叠在子图像上，输入到CNN模型中进行特征提取，CNN展开层的输出就是所需的特征向量。
3.3分布式网络结构
由于切割后的模板图和主体图产生了包括原始图像在内的28个子图像，因此本发明使用的分布式网络有28个代理。
本发明使用的分布式网络，信息传输是有向的，即网络拓扑是有向的。本发明要求分布式网络连通并满足权重平衡(即
Figure BDA0003496017190000171
)。图6给出一个满足条件的网络拓扑。每个代理都具有结构相同的FNN，本发明中算法选用RBFN。
3.4分布式RBFN优化算法
DD-RBFN-ZGS算法的细节在本章中给出。第一部分给出了满足ZGS算法要求的改进RBFN。在第二部分中，给出了离散时间有向连通网络上的DD-RBFN-ZGS的算法公式。第三部分分析了算法的收敛性。
3.4.1高斯径向基网络
有L个隐藏层节点的RBFN表达式如下：
Figure BDA0003496017190000172
其中x是RBFN的输入，W＝[w1,w2,...,wL]T是输出层权重，c被称为高斯核中心，ρi(||x-ci||)＝exp(-β||x-ci||2)，h(x)＝[ρ1(x),ρ2(x),...,ρL(x)]，β是高斯径向基的超参数。损失函数的定义为：
Figure BDA0003496017190000173
其中y是样本的标签，λ是正则化参数。
ZGS可优化条件要求所有的分布式代理需要有相同的中心参数c。因此RBFN的中心c将通过统一随机初始化使得所有代理的RBFN中心参数都相同，并在整个训练过程中保持不变。固定中心参数c后，分布式代理的RBFN的表达式可以写为：
Figure BDA0003496017190000181
其中Hrbfi＝h(Xi)T表示第i个代理使用局部数据计算得到的隐藏层输出，分布式网络全局的损失函数为：
Figure BDA0003496017190000182
公式(11)是强凸且二阶可导的求和形式函数，满足ZGS可优化条件。
3.4.2分布式优化公式
根据公式(11)，本发明可得：
Figure BDA0003496017190000183
于是，结合公式(2)，DD-RBFN-ZGS算法的表达式可以写为：
Figure BDA0003496017190000184
其中Wi(k)表示代理i的RBFN输出层参数在第k次迭代时的值，并且该参数的更新是在离散时间下进行的，γ是ZGS算法的超参数，aij是邻接矩阵A中的元素。本发明要求这个分布式网络是连通的，并且满足权重平衡。
3.4.3收敛性分析
可以证明，根据公式(13)进行离散时间的参数迭代是可以收敛的。
已知目标函数二次可导且强凸，在一个凸集D∈Rn×L，有下边的公式成立：
Figure BDA0003496017190000185
Figure BDA0003496017190000186
Figure BDA0003496017190000191
考虑一个李雅普诺夫函数：
Figure BDA0003496017190000192
定理：DD-RBFN-ZGS算法的收敛性满足如下公式：
Figure BDA0003496017190000193
其中κ∈(0,1)是与分布式网络结构相关的常量，k代表了迭代次数。
证明：根据公式(14)和(17)可知，存在一个正的常数ρ使得如下的公式在凸集Ci＝{Wi∈D:Lossi(W*)-Lossi(W)-▽Lossi(W)T(W*-W)≤V(W(0))}上成立：
Figure BDA0003496017190000194
其中Γ表示分布式网络拓扑图的拉普拉斯矩阵。对(17)进行差分得：
Figure BDA0003496017190000195
由于本发明要求网络的拓扑图满足权重平衡，因此，存在一个正的常数ε满足εΓΓT≤Γ+ΓT。在公式(13)中，参数满足W(k+1)＝W(k)-γD(k)ΓW(k)，其中D(k)＝diag{di(k)}，
Figure BDA0003496017190000196
如果Wi(k+1)≠Wi(k)，反之
Figure BDA0003496017190000197
于是
Figure BDA0003496017190000198
θ＝min{θi}成立。联立(19)(20)，可得：
Figure BDA0003496017190000199
Figure BDA00034960171900001910
Figure BDA0003496017190000201
证毕
于是，DD-RBFN-ZGS迭代式可以使得参数W以指数级的速度收敛。从公式(22)中可以看出，过小的λ将使得收敛变慢，而过大的λ将使得参数发散。根据公式(19)可以看出，在分布式优化过程中，代理之间只交换参数，不直接交换原始数据，算法是隐私保护的。
3.5图像配准参数预测
为了使用分布式网络训练完成的RBFN进行配准参数预测，本发明需要采用和分布式代理中相同的方式对模板图和主体图进行特征提取。设模板图和主体图的尺寸分别为(hA,wA),(hB,wB)，统一缩放为128×128大小的图像，并使用CNN提取特征。经过算法1得到的RBFN在这组特征上做出对配准参数H4p＝((x1-x1',y1-y1'),...,(x4-x4',y4-y4'))的预测。如图7所示，图片的缩放也是一种单应性变换，其单应性矩阵分别为：
Figure BDA0003496017190000202
所以，根据RBFN预测出的缩放后图像的配准参数，本发明可以得到缩放前原始图像的配准参数如下：
Figure BDA0003496017190000203
最终，通过计算H＝DLT(H'4p)，即可得到原始图像之间的配准单应性参数。
4、实验
4.1收敛性与准确率实验
本发明将本发明提出的算法，与基于SIFT关键点提取配准算法和DeTone等人提出的端到端CNN配准算法进行了比较。使用MS-COCO数据集作为测试集。对该数据集中的原始图像进行随机单应性变换以生成待配准的图像。配准的准确性由预测值和真实H4p的均方误差MSE两个指标来衡量。
对于SIFT算法，实验中使用了标准的OpenCV实现。为了统一度量标准，本发明将SIFT计算得到的单应矩阵H转换为H4p，并使用H4p计算配准误差。因为SITF算法在某些情况下会失败(例如，如果匹配得到的关键点数小于4，则无法计算单应矩阵)，此时本发明设SIFT预测的H4p为0矩阵。在进行SIFT关键点配准时，只有相似度大于阈值的关键点被保留。得到配对的关键点后，使用RANSAC算法对配准参数进行估计。
本发明测试了分布式算法在不同模型参数下的性能。需要控制的参数是每个代理生成的样本数N、RBFN隐藏层节点数L和ZGS的超参数γ。ZGS的最大迭代次数统一设置为5000，RBFN的正则化参数λ设置为1e-3，径向基参数β设置为5e-5。图8演示了分布式代理中RBFN系数W的收敛过程。表1给出了不同参数组合下分布式算法配准精度的均方误差。可以看出参数的最优组合为{N＝500,L＝256,γ＝5e-5}，这组参数应用于后续实验。
表1不同参数下分布式配准算法的配准均方误差
Figure BDA0003496017190000211
本发明根据图像的重叠程度将数据分为三类。重合度为>60％(大偏移)，>70％(中偏移)，>80％(小偏移)。同时，将高斯噪声和雾噪声添加到主体图中。图9显示了不添加噪声时配准精度的比较。从这三类数据得到的测试结果如图10所示。其中，end-to-end CNN是指DeTone等人提出的算法。
在实验中，当图像中存在大量噪声时，SIFT算法总是失败。这是因为噪声情况下，很难从图片中提取出足够多的有效关键点(超过四个)。
分布式配准算法可以获得更高的配准精度，尽管分布式算法和端到端CNN具有相同的卷积层来提取特征，但对于每个配准来说，训练样本由当前待配准的目标图和模板图动态生成，所以分布式网络更好地学习当前图像特征与配准参数之间的映射关系。切割策略确保生成的样本尽可能覆盖不同情况下的图像重叠区间，并且至少有一个分布式代理可以学习重叠区域的关键特征。代理之间充分通信后，达到全局最优参数。因此整合子图像信息的RBFN具有泛化能力。
4.2不同切割方案实验
为了证明本发明中提出的图像切割策略的有效性，对算法在不同切割次数下的配准精度进行了测试。网络结构和样本生成方法与以前相同。本发明调整了子图像的数量，网络中的代理数量需要与子图像的数量相同。以策略a为例，待配准的两幅图像将产生10幅子图像。因此，分布式网络需要10个代理。
如图11所示，本发明增加了7个切割策略，包括(a)不切割+4个等分；(b)不切割+9等分；(c)4等分+9等分；(d)不切割+4等分+9等分+16等分；(e)4等分；(f)9等分；(g)不切割；(h)不切割+4等分+9等分。对于这些方案，需要将分布式代理的数量调整为与子图像的数量相同。在测试过程中调整模型参数以使分布式网络在各种策略下收敛。测试结果见表2。可见，本发明中使用的切割策略具有一定的优势。注意到分布式算法将退化为策略(g)的集中式算法。因此，实验数据中没有列出对应的参数。
表2不同切割策略下分布式配准算法的效果与收敛需要的迭代次数
Figure BDA0003496017190000231
4.3对比实验
为了演示图像配准的效果，本发明在模板图和主体图上分别绘制了代表配准位置的矩形。如果两个图像配准准确，两个矩形将完全重叠。注意，计算配准参数时，这些矩形并未被绘制。
4.3.1有噪声时的配准情况对比
本发明在主体图中添加噪声来模拟噪声图像的配准。图12显示了随机噪声情况下的配准，图13显示了随机噪声和高斯噪声情况的配准。可以看出，基于SIFT的配准算法会因无法正确提取特征点而失败，本发明的算法和端到端CNN可以给出较好的配准。相比于端到端CNN，本发明的算法具有更好的配准精度。
4.3.2无噪声时的配准情况对比
此实验没有给图像添加噪声，配准结果如图14所示。当待配准图像无噪声时，SIFT特征点的提取不受干扰，实现了良好的配准。图14的第三行显示了端到端CNN由于缺乏泛化能力而偶尔出现的不准确配准。本发明算法的有效性得到进一步证明。
在本发明中，本发明研究了神经网络的图像配准问题。借鉴Yan Min和DeTone等人的工作，提出了一种基于图像切割的分布式图像配准算法。该算法将待配准的图像切割成子图像，分布式学习原始图像的局部特征信息，完成图像配准。针对分布式问题，提出了一种离散时间有向网络下的分布式训练算法，称为DD-RBFN-ZGS。该算法在训练过程中不传输原始图像信息，是一种隐私保护算法。利用李雅普诺夫稳定性理论，证明DD-RBFN-ZGS算法是收敛的。
本发明对具有不同噪声程度的图像进行了实验，并比较了不同切割策略对配准精度的影响。结果表明，与端到端深度网络和基于特征点提取的配准算法相比，本发明的算法具有良好的配准精度和鲁棒性。与端到端算法不同，文本所提出的算法在每次配准时使用待配准的图像进行分布式训练，克服端到端算法泛化能力不足的缺点。与基于传统特征点提取的配准算法相比，该算法克服了图像中存在大量噪声时无法有效提取特征点的问题。而且在配准大图像时，SIFT等特征提取算法难以在单机上执行算法。本发明提出的算法可以分布式处理图像，并利用多台计算机的计算能力来应对这种情况。
这项工作得到了国家自然科学基金项目(批准号：62106186、61772391、61966030)，中央高校基本科研业务费专项资金(批准号：JB210701)的支持。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种分布式图像配准方法，其特征在于，所述分布式图像配准方法包括：对原始图像进行切割，利用切割后的子图分布式地生成训练样本，并使用预先训练好的卷积神经网络CNN提取生成样本的特征；分布式训练高斯径向基神经网络RBFN学习图像特征与配准参数之间的最优映射关系；使用已训练好的RBFN模型预测待配准图像间的配准参数。
2.如权利要求1所述分布式图像配准方法，其特征在于，所述分布式图像配准方法还包括：模型的输入是待配准的图像，将所述待配准的图像切割成不同大小的子图像后，将主体图、模板图和切割后的子图像发送到分布式网络；在分布式网络中，每个代理根据收到的子图像自动生成训练样本，并通过训练好的CNN模型提取图像特征；使用所述图像特征，每个代理节点训练RBFN，所有的RBFN共享相同的中心参数c；多代理训练的RBFN模型的参数通过ZGS算法进行全局优化，得到最终训练好的RBFN；使用与代理节点相同的方法提取待配准图像的特征，并将所述特征输入至RBFN，进而获得对配准参数的最终预测结果。
3.如权利要求1所述分布式图像配准方法，其特征在于，所述分布式图像配准方法包括以下步骤：
步骤一，进行图像切割得到子图；
步骤二，进行分布式网络构建；
步骤三，进行子图的分发，分布式网络中各代理各收到一张子图；
步骤四，各分布式代理进行样本生成与特征提取；
步骤五，进行分布式RBFN优化算法构建；
步骤六，进行图像配准参数预测。
4.如权利要求3所述分布式图像配准方法，其特征在于，所述步骤一中的图像切割包括：
将图像切割成不同大小的子图学习原始图像各个区域的局部信息，待配准图像按照4等分和9等分的方法进行切割；
所述步骤四中的样本生成与特征提取包括：在分布式网络中，每个代理得到一张子图后，使用所述子图生成训练样本；当待配准的原始图像大小为N×N，四等分子图大小为
Figure FDA0003496017180000021
在子图中心固
Figure FDA0003496017180000022
的矩形，并在
Figure FDA0003496017180000023
范围内随机移动矩形的4个顶点，得到一组新的顶点；矩形的四个顶点坐标为(xi,yi),i＝1,2,3,4，移动后的顶点坐标为(x′i,y′i),i＝1,2,3,4，得到H4p＝((x1-x′1,y1-y′1),...,(x4-x′4,y4-y′4))T，对应的单应性矩阵为H＝DLT(H4p)；使用所述方法生成一批单应性矩阵；
使用CNN模型提取特征，所述模型接受两个叠加图像作为输入预测配准参数；每个代理生利用CNN提取所述训练数据的图像特征；
按照以下公式，使用生成的单应性矩阵H对代理收到的子图像进行单应性变换，并将变换后的图像堆叠在子图像上；将堆叠后的图像输入到CNN模型中进行特征提取，CNN展开层的输出为所需的特征向量；
Figure FDA0003496017180000024
Figure FDA0003496017180000025
5.如权利要求3所述分布式图像配准方法，其特征在于，所述步骤二中的分布式网络的构建包括：分布式网络有28个代理，所述分布式网络信息传输是有向的，网络拓扑是有向的；所述分布式网络连通并满足权重平衡，
Figure FDA0003496017180000026
其中aij为分布式网络拓扑的邻接矩阵中第i行j列个元素；分布式网络中每个代理均具有结构相同的FNN，选用的FNN为RBFN；
所述步骤五中的分布式RBFN优化算法的构建包括：
(1)高斯径向基网络
有L个隐藏层节点的RBFN表达式如下：
Figure FDA0003496017180000027
其中，x是RBFN的输入，W＝[w1,w2,...,wL]T是输出层权重，c被称为高斯核中心，ρi(||x-ci||)＝exp(-β||x-ci||2)，h(x)＝[ρ1(x),ρ2(x),...,ρL(x)]，β是高斯径向基的超参数；损失函数的定义为：
Figure FDA0003496017180000031
其中，y是样本的标签，λ是正则化参数；
高斯径向基的参数优化方法是极限学习ELM；由于ZGS可优化条件要求所有的分布式代理需要有相同的中心参数c，故RBFN的中心c通过统一随机初始化使得所有代理的RBFN中心参数都相同，并在整个训练过程中保持不变；
固定中心参数c后，分布式代理的RBFN的表达式为：
Figure FDA0003496017180000032
其中，
Figure FDA0003496017180000033
表示第i个代理使用局部数据计算得到的隐藏层输出，分布式网络全局的损失函数为：
Figure FDA0003496017180000034
分布式网络全局的损失函数公式是强凸且二阶可导的求和形式函数，满足ZGS可优化条件；
(2)分布式优化公式
根据所述分布式网络全局的损失函数公式，得：
Figure FDA0003496017180000035
ZGS分布式优化公式为：
Figure FDA0003496017180000036
结合ZGS分布式优化公式，DD-RBFN-ZGS算法的表达式为：
Figure FDA0003496017180000041
其中，Wi(k)表示代理i的RBFN输出层参数在第k次迭代时的值，并且所述参数的更新是在离散时间下进行的；γ是ZGS算法的超参数；aij是邻接矩阵A中的元素；Ni表示代理i的邻居代理下标集合；所述分布式网络是连通的，且满足权重平衡；
(3)收敛性分析
已知目标函数二次可导且强凸，在凸集D∈Rn×L，有如下公式成立：
Figure FDA0003496017180000042
Figure FDA0003496017180000043
Figure FDA0003496017180000044
其中，θ是一个正实数。基于李雅普诺夫函数：
Figure FDA0003496017180000045
DD-RBFN-ZGS算法的收敛性满足如下公式：
Figure FDA0003496017180000046
其中，κ∈(0,1)是与分布式网络结构相关的常量，k代表迭代次数。
6.如权利要求3所述分布式图像配准方法，其特征在于，所述步骤六中的图像配准参数预测包括：
采用和分布式代理中相同的方式对模板图和主体图进行特征提取，并使用分布式网络训练完成的RBFN进行配准参数预测；
模板图和主体图的尺寸分别为(hA,wA),(hB,wB)，统一缩放为128×128大小的图像，并使用CNN提取特征；经过算法1得到的RBFN在这组特征上做出对配准参数H4p＝((x1-x1',y1-y1'),...,(x4-x4',y4-y4'))的预测；
图片的缩放是单应性变换，单应性矩阵分别为：
Figure FDA0003496017180000051
根据RBFN预测出的缩放后图像的配准参数，得到缩放前原始图像的配准参数如下：
Figure FDA0003496017180000052
通过计算H＝DLT(H'4p)，即可得到原始图像之间的配准单应性参数。
7.一种实施权利要求1～6任意一项所述分布式图像配准方法的分布式图像配准系统，其特征在于，所述分布式图像配准系统包括：
图像切割模块，用于对原始图像进行切割；
样本生成与特征提取模块，用于在分布式网络中，每个代理根据收到的子图像自动生成训练样本，并通过训练好的CNN模型提取图像特征；
分布式网络构建模块，用于进行分布式网络的构建；
优化算法构建模块，用于进行分布式RBFN优化算法的构建；
图像配准参数预测模块，用于使用RBFN模型预测图像间的配准参数。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
模型的输入是待配准的图像，将所述待配准的图像切割成不同大小的子图像后，将主体图、模板图和切割后的子图像发送到分布式网络；在分布式网络中，每个代理根据收到的子图像自动生成训练样本，并通过训练好的CNN模型提取图像特征；使用所述图像特征，每个代理节点训练RBFN，所有的RBFN共享相同的中心参数c；多代理训练的RBFN模型的参数通过ZGS算法进行全局优化，得到最终训练好的RBFN；使用与代理节点相同的方法提取待配准图像的特征，并将所述特征输入至RBFN，进而获得对配准参数的最终预测结果。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
模型的输入是待配准的图像，将所述待配准的图像切割成不同大小的子图像后，将主体图、模板图和切割后的子图像发送到分布式网络；在分布式网络中，每个代理根据收到的子图像自动生成训练样本，并通过训练好的CNN模型提取图像特征；使用所述图像特征，每个代理节点训练RBFN，所有的RBFN共享相同的中心参数c；多代理训练的RBFN模型的参数通过ZGS算法进行全局优化，得到最终训练好的RBFN；使用与代理节点相同的方法提取待配准图像的特征，并将所述特征输入至RBFN，进而获得对配准参数的最终预测结果。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述分布式图像配准系统。
CN202210115227.5A 2022-02-06 2022-02-06 分布式图像配准方法、系统、介质、计算机设备及终端 Pending CN114648560A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210115227.5A CN114648560A (zh) 2022-02-06 2022-02-06 分布式图像配准方法、系统、介质、计算机设备及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210115227.5A CN114648560A (zh) 2022-02-06 2022-02-06 分布式图像配准方法、系统、介质、计算机设备及终端

Publications (1)

Publication Number Publication Date
CN114648560A true CN114648560A (zh) 2022-06-21

Family

ID=81993505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210115227.5A Pending CN114648560A (zh) 2022-02-06 2022-02-06 分布式图像配准方法、系统、介质、计算机设备及终端

Country Status (1)

Country Link
CN (1) CN114648560A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457222A (zh) * 2022-09-14 2022-12-09 北京建筑大学 一种在地理信息系统中地理配准三维模型的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457222A (zh) * 2022-09-14 2022-12-09 北京建筑大学 一种在地理信息系统中地理配准三维模型的方法

Similar Documents

Publication Publication Date Title
CN111583263B (zh) 一种基于联合动态图卷积的点云分割方法
WO2022088408A1 (zh) 基于图神经网络的交易欺诈检测方法及系统
CN112581515B (zh) 基于图神经网络的户外场景点云配准方法
CN112115998B (zh) 一种基于对抗增量聚类动态路由网络克服灾难性遗忘的方法
CN112580694B (zh) 基于联合注意力机制的小样本图像目标识别方法及系统
CN110263855B (zh) 一种利用共基胶囊投影进行图像分类的方法
Ji et al. Few-shot scene classification of optical remote sensing images leveraging calibrated pretext tasks
CN113449612B (zh) 一种基于子流型稀疏卷积的三维目标点云识别的方法
Wen et al. End-to-end semi-supervised learning for differentiable particle filters
CN111368733B (zh) 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端
CN114708479B (zh) 一种基于图结构和特征的自适应防御方法
CN113177592A (zh) 一种图像分割方法、装置、计算机设备及存储介质
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
Yang et al. Multi-target association algorithm of AIS-radar tracks using graph matching-based deep neural network
CN114648560A (zh) 分布式图像配准方法、系统、介质、计算机设备及终端
CN114119690A (zh) 一种基于神经网络重建高斯混合模型的点云配准方法
Yao et al. Transfer learning with spatial–temporal graph convolutional network for traffic prediction
Jiang et al. Multi-level graph convolutional recurrent neural network for semantic image segmentation
Yuan et al. Scaling-based weight normalization for deep neural networks
Lian et al. SORCNet: robust non-rigid shape correspondence with enhanced descriptors by Shared Optimized Res-CapsuleNet
Yang et al. Towards theoretically inspired neural initialization optimization
Liu et al. An incremental broad learning approach for semi-supervised classification
CN110717402A (zh) 一种基于层级优化度量学习的行人再识别方法
CN115862751A (zh) 基于边特征更新聚合注意力机制的量子化学性质计算方法
Mallick et al. Deep Probabilistic Kernels for Sample Efficient Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination