CN106952223B - 图像配准方法及装置 - Google Patents

Abstract

本发明提供一种图像配准方法及装置，其中，该图像配准方法可包括：根据预设的参考特征点对待配准图像进行仿射变换，得到仿射变换后的图像，采用自编码算法对参考图像和该仿射变换后的图像进行处理，得到图像特征，并根据该图像特征、预设的匹配图像数据和预设的不匹配图像数据，进行CNN训练，得到特征描述符，继而根据该特征描述符对该参考图像和该待配准图像进行图像配准。本发明可使得多光谱图像的配准精度较高，提高图像配准的效果。

Description

图像配准方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像配准方法及装置。

背景技术

图像配准(Image registration)是对多幅来自不同时间、不同传感器、不同照度或不同视角的同一场景的多个图像进行匹配的过程，将该多个图像变换至同一坐标系中，用以进行有偏移、旋转、比例等图像间的拼接融合。多光谱图像是指根据不同光谱得到的同一个场景的多幅图像，对多光谱图像进行配准，可利用多幅图像在时空上的相关性和信息上的互补性，得到对景物的全面、清晰的描述，继而提高空间分辨率、降低模糊度继而增强图像效果。

直线特征匹配方法，作为图像配准中最常见的方法，可通过寻找各图像中长度相似的线段确定该条线段，其次通过选择线段特征建立直线描述矩阵，并根据该线段描述矩阵的均值向量和标准差向量确定特征描述子，继而根据特征描述子间的欧氏距离进行图像配准。

然而，同一场景成像的不同光谱图像中对应像素值一般不存在线性对应关系，其纹理结构信息也有很大差别，这使得采用上述方法确定出的特征描述符不稳定，使得图像配准的准确度较低，效果较差。

发明内容

本发明提供一种图像配准方法及装置，以提高图像配准的准确度，提高配准效果。

本发明提供一种图像配准方法，包括：

根据预设的参考特征点对待配准图像进行仿射变换，得到仿射变换后的图像；

采用自编码算法对参考图像和所述仿射变换后的图像进行处理，得到图像特征；

根据所述图像特征、预设的匹配图像数据和预设的不匹配图像数据，进行卷积神经网络CNN训练，得到特征描述符；

根据所述特征描述符对所述参考图像和所述待配准图像进行图像配准。

本发明还提供一种图像配准方法，包括：

根据预设的参考特征点对待配准图像进行仿射变换，得到仿射变换后的图像；

生成参考图像与所述待配准图像的像素相关关系的二值图；

根据所述参考图像、所述仿射变换后的图像及所述二值图进行处理，得到图像数据；

根据所述图像数据进行卷积神经网络CNN训练，得到特征描述符；

根据所述特征描述符对所述参考图像和所述待配准图像进行图像配准。

本发明还提供一种图像配准装置，包括：

变换模块，用于根据预设的参考特征点对待配准图像进行仿射变换；

自编码模块，用于采用自编码算法对参考图像和所述仿射变换后的待配准图像进行处理，得到图像特征；

卷积神经网络CNN训练模块，用于根据所述图像特征、预设的匹配图像数据和预设的不匹配图像数据，进行CNN训练，得到特征描述符；

配准模块，用于根据所述特征描述符对所述参考图像和所述待配准图像进行图像配准。

本发明还提供一种图像配准装置，包括：

变换模块，用于根据预设的参考特征点对待配准图像进行仿射变换，得到仿射变换后的图像；

生成模块，用于生成参考图像与所述待配准图像的像素相关关系的二值图；

处理模块，用于根据所述参考图像、所述仿射变换后的图像及所述二值图进行处理，得到图像数据；

卷积神经网络CNN训练模块，用于根据所述图像数据进行CNN训练，得到特征描述符；

配准模块，用于根据所述特征描述符对所述参考图像和所述待配准图像进行图像配准。

本发明提供的图像配方法及装置，可根据预设的参考特征点对待配准图像进行仿射变换得到仿射变换后的图像，采用自编码算法对参考图像和该仿射变换后的图像进行处理得到图像特征，并根据该图像特征、预设的匹配图像数据和预设的不匹配图像数据，进行CNN训练得到特征描述符，继而根据该特征描述符对该参考图像和该待配准图像进行图像配准。该图像配准方法中，所得到的特征描述符不受多光谱图像中的像素值的线性关系以及纹理结构信息等的响应，其稳定性更高，而且，该特征描述符是CNN训练得到的，该方法还有效提高了图像对旋转变换、平移变换等的鲁棒性，可使得多光谱图像的配准精度较高，提高了图像配准的效果。

附图说明

图1为本发明提供的一种图像配准方法的流程图一；

图2为本发明提供的一种图像配准方法的流程图二；

图3为本发明提供的一种图像配准方法的流程图三；

图4为本发明提供的另一种图像配准方法的流程图一；

图5为本发明提供的另一种图像配准方法的流程图二；

图6为本发明提供的一种图像配准装置的结构示意图；

图7为本发明提供的一种图像配准设备的结构示意图；

图8为本发明提供的另一种图像配准装置的结构示意图；

图9为本发明提供的另一种图像配准设备的结构示意图。

具体实施方式

本发明提供一种图像配准方法。图1为本发明提供的一种图像配准方法的流程图一。如图1所示，该图像配准方法可包括：

S101、根据预设的参考特征点对待配准图像进行仿射变换(AffineTransform)，得到仿射变换后的图像。

具体地，该预设的参考特征点可以包括：像素点特征、直线特征及曲线特征等参考图像特征中的至少一种。

该待配准图像可以为多光谱图像。为进行图像配准，相对于该待配准图像还需具有参考图像。该参考图像也可以为多光谱图像。该参考图像和该待配准图像可以为多幅多光谱图像中的任意两副多光谱图像。该多幅多光谱图像可以为采用不同传感器、不同视角和/或不同时间在同一场景所获取的多幅图像。

该仿射变换可以为一种二维坐标到二维坐标之间的线性变换，它保持了二维图形的“平直性”和“平行性”。其中，“平直性”指的是直线经过变换之后依然是直线；“平行性”指的是二维图形之间的相对位置关系保持不变，平行线依然是平行线，且直线上点的位置顺序不变。

上述S101中对该待配准图像进行仿射变换，可以包括：对该待配准图像的缩放、旋转、平移等至少一种变换操作。

S102、采用自编码(autoencoder)算法对参考图像和该仿射变换后的图像进行处理，得到图像特征。

该S102中可以采用自编码算法对该参考图像和该仿射变换后的图像进行编码处理，从而得到图像特征。

S103、根据该图像特征、预设的匹配图像数据和预设的不匹配图像数据，进行卷积神经网络(Convolutional Neural Networks，简称CNN)训练，得到特征描述符。

该匹配图像数据可以为通过随机取样得到的匹配图像的数据，也可称为正样本。该不匹配图像数据可以为通过随机取样得到的不匹配图像的数据，也可称为负样本。

该S103中可将该图像特征、预设的匹配图像数据和预设的不匹配图像数据，按照光谱的不同，输入至预设的CNN处理模型中，采用该CNN处理模型对应的算法进行CNN训练，从而得到特征描述符。其中，该CNN处理模型可以为双塔结构的CNN处理模型。该CNN处理模型可包括：多层计算模型，该多层计算模型至少可包括：输入层、误差计算层及输出层等多层；当然，该输入层和该误差计算层之间还可包括：其他的计算层。该方法中可以将该CNN处理模型中输出层之前的特征作为该特征描述符。其中，该输出层之前的特征可以为该误差计算层输出的特征。该特征描述符可包括：至少一个特征向量。

S104、根据该特征描述符对该参考图像和该待配准图像进行图像配准。

本发明提供的图像配准方法，可根据预设的参考特征点对待配准图像进行仿射变换得到仿射变换后的图像，采用自编码算法对参考图像和该仿射变换后的图像进行处理得到图像特征，并根据该图像特征、预设的匹配图像数据和预设的不匹配图像数据，进行CNN训练得到特征描述符，继而根据该特征描述符对该参考图像和该待配准图像进行图像配准。该图像配准方法中，所得到的特征描述符不受多光谱图像中的像素值的线性关系以及纹理结构信息等的响应，其稳定性更高，而且，该特征描述符是CNN训练得到的，该方法还有效提高了图像对旋转变换、平移变换等的鲁棒性，可使得多光谱图像的配准精度较高，提高了图像配准的效果。

图2为本发明提供的一种图像配准方法的流程图二。如图2所示，如上所示的S101中根据预设的参考特征点对待配准图像进行仿射变换之前，该方法还可包括：

S201、对该参考图像和该待配准图像进行丢帧检查，以确定该参考图像和该待配准图像是否丢帧。

该方法中可对该参考图像和该待配准图像进行丢帧检查，从而根据该检查结果确定该参考图像和该待配准图像是否丢帧。

可选的，S101中根据预设的参考特征点对待配准图像进行仿射变换可包括：

S202、若该参考图像和该待配准图像未丢帧，根据该参考特征点对该待配准图像进行仿射变换。

若该参考图像丢帧，该方法中可以重新选择一个多光谱图像作为参考图像；若该待配准图像丢帧，该方法中也可重新选择一个多光谱图像作为待配准图像。

在该参考图像和该待配准图像均未丢帧的情况下，根据该参考特征点对该待配准图像进行仿射变换，继而进行图像配准，可有效避免丢帧造成的图像配准失败或配准效果较差，提高图像配准的成功率及效果。

可替代地，如上所示的S101中根据预设的参考特征点对待配准图像进行仿射变换之前，该方法还可包括：

S203、若该参考图像和/或该待配准图像丢帧，确定该参考图像和/或该待参考图像的丢帧参数。

其中，该丢帧参数可包括：丢帧个数等信息。

S204、若该丢帧参数小于或等于预设的丢帧参数阈值，则根据该参考特征点对该待配准图像进行仿射变换。

若该丢帧参数小于或等于预设的丢帧参数阈值，则可确定该参考图像和/或该待配准图像虽然存在丢帧，但丢帧范围较小，对图像配准的影响较小，则也可对该待配准图像进行仿射变换，从而进行图像配准。

也就是说，该方法中即可在该参考图像和该待配准图像均为丢帧的情况下进行图像配准，也可在该参考图像和/或该待配准图像虽丢帧但丢帧参数小于或等于预设的丢帧参数阈值的情况下进行图像配准，该图像配准的方法的适应性更广。

可选的，如上所示的S102中采用自编码算法对参考图像和该仿射变换后的图像进行处理，得到图像特征可包括：

将该参考图像和该仿射变换后的图像，切割成多个图像块；其中，每个图像块的尺寸为预设尺寸；

采用该自编码算法对该多个图像块进行处理，得到该图像特征。

具体地，该预设尺寸可以为预设的像素尺寸，如64像素(pixel)*64像素。当然，该预设尺寸也可以为其他像素尺寸，在此不再赘述。

将该参考图像和该仿射变换后的图像切割成多个图像块，继而采用自编码算法对该多个图像块进行处理可使得图像处理更灵活，其精度更高，使得得到该图像特征更精确，从而有效地保证图像配准的成功率及效果。

可选的，如上所示的S103中根据该图像特征、预设的匹配图像数据和预设的不匹配图像数据，进行CNN训练，得到特征描述符之前，所述方法还包括：

采用该自编码算法对该图像特征进行处理，直至该图像特征的维度降低至预设维度。

在采用自编码算法得到图像特征后，先确定该图像特征的维度是否大于预设维度，若是，则将该图像特征作为输入，继续采用该自编码算法对该图像特征进行处理，直至该图像特征的维度降低至预设维度。

该方法中，在采用该自编码算法对该图像特征进行处理的情况下，还可以网络的收敛速度和测试集的准确率进行处理参数的调整，从而更快地收敛，使得该图像特征的维度更快地降低至预设维度，同时还可保证图像特征的准确率。

该方法中，采用该自编码算法对该图像特征进行处理，直至该图像特征的维度降低至预设维度，可有效削减冗余信息量，使得后续得到的特征描述符更准确，从而有效地保证图像配准的成功率及效果。

图3为本发明提供的一种图像配准方法的流程图三。该方法可通过具体实例对上述各方法进行举例说明。如图3所示，该图像配准方法可包括：

S301、对参考图像和待配准图像进行丢帧检查，确定该参考图像和该待配准图像是否丢帧检查通过。

S302、若该参考图像和该待配准图像的丢帧检查通过，则根据预设的参考特征点对该待配准图像进行仿射变换。

其中，该参考图像和该待配准图像的丢帧检查通过可包括如下两种情况：若该参考图像和该待配准图像未丢帧，则可确定该参考图像和该待配准图像的丢帧检查通过；若该参考图像和该待配准图像丢帧，而丢帧参数小于或等于预设的丢帧参数阈值，也可确定该参考图像和该待配准图像的丢帧检查通过。

S303、将该参考图像和该仿射变换后的图像，切割成多个图像块；其中，每个图像块的尺寸为预设尺寸。

S304、采用自编码算法对该多个图像块进行处理，得到图像特征。

S305、采用该自编码算法对该图像特征进行处理，直至该图像特征的维度降低至预设维度。

S306、根据该图像特征、预设的匹配图像数据和预设的不匹配图像数据，进行CNN训练，得到特征描述符。

S307、根据该特征描述符对该参考图像和该待配准图像进行图像配准。

本发明提供的该图像配准方法，通过具体实例对上述各方法进行说明，其有益效果可参见上述，在此不再赘述。

可选的，本发明还提供一种图像配准方法。图4为本发明提供的另一种图像配准方法的流程图一。如图4所示，该图像配准方法可包括如下：

S401、根据预设的参考特征点对待配准图像进行仿射变换，得到仿射变换后的图像。

该S401的具体实现与上述S101类似，具体参见上述，在此不再赘述。

S402、生成参考图像与该待配准图像的像素相关关系的二值图。

该S402中可以通过对该参考图像和该仿射变换后的图像的像素值，进行线性分析，并根据该线性分析结果生成该像素相关关系的二值图。

S403、根据该参考图像、该仿射变换后的图像及该二值图进行处理，得到图像数据。

该S403中可以根据该参考图像、该仿射变换后的图像及该二值图进行压缩处理，从而得到该图像数据。该图像数据还可称为复合图像数据。

可选的，如上S403中根据该参考图像、该仿射变换后的图像及该二值图进行处理，得到图像数据可包括：

根据该参考图像、该仿射变换后的图像、该参考图像的元数据、该待配准图像的元数据以及该二值图进行处理，得到该图像数据。

其中，该参考图像的元数据可包括：该参考图像的属性数据等。该待配准图像的元数据可包括：该待配准图像的属性数据等。

S404、根据该图像数据进行CNN训练，得到特征描述符。

该S404中可将该图像数据，输入至预设的CNN处理模型中，采用该CNN处理模型对应的算法进行CNN训练，从而得到特征描述符。该CNN处理模型可包括：多层计算模型，该多层计算模型至少可包括：输入层、误差计算层及输出层等多层；当然，该输入层和该误差计算层之间还可包括：其他的计算层。该方法中可以将该CNN处理模型中输出层之前的特征作为该特征描述符。其中，该输出层之前的特征可以为该误差计算层输出的特征。该特征描述符可包括：至少一个特征向量。

S405、根据该特征描述符对该参考图像和该待配准图像进行图像配准。

本发明提供的该另一种图像配准方法，可根据预设的参考特征点对待配准图像进行仿射变换得到仿射变换后的图像，生成参考图像与该仿射变换后的图像的像素相关关系的二值图；根据该参考图像、该待配准图像及该二值图进行处理，得到图像数据，并根据该图像数据进行CNN训练得到特征描述符，继而根据该特征描述符对该参考图像和该待配准图像进行图像配准。该图像配准方法中，所得到的特征描述符不受多光谱图像中的像素值的线性关系以及纹理结构信息等的响应，其稳定性更高，而且，该特征描述符是CNN训练得到的，该方法还有效提高了图像对旋转变换、平移变换等的鲁棒性，可使得多光谱图像的配准精度较高，提高了图像配准的效果。

可选的，如上所述的S402中生成参考图像与该待配准图像的像素相关关系的二值图，可包括：

确定该参考图像和该待配准图像中线性相关的部分像素，和非线性相关的部分像素；

根据该线性相关的部分像素和所述非线性相关的部分像素，生成该像素相关关系的二值图。

该方法中，可以将该线性相关的部分像素置1，将该非线性相关的部分像素置0，从而生成该像素相关关系的二值图；该方法中，也可以是将该线性相关的部分像素置0，将该非线性相关的部分像素置1，从而生成该像素相关关系的二值图。

可选的，如上所述的确定该参考图像和所述待配准图像中线性相关的部分像素，和非线性相关的部分像素，可包括：

确定该参考图像和该待配准图像中的线段特征及线段交点特征；

根据该线段特征及该线段交点特征，对该参考图像和该待配准图像进行像素值的线性分析，确定该线性相关的部分像素和该非线性相关的部分像素。

该方法中，可根据该参考图像和该待配准图像中的像素值，确定该参考图像和该待配准图像中的线段特征及线段交点特征。该线段特征可以为该参考图像和该待配准图像中的像素线段特征，该线段交点特征可包括：至少两个线段特征相交的像素点。

可选的，如上所示的S401中根据预设的参考特征点对待配准图像进行仿射变换之前，该方法还可包括：

对该参考图像和该待配准图像进行丢帧检查，确定该参考图像和该待配准图像是否丢帧。

可选的，S401中根据预设的参考特征点对待配准图像进行仿射变换可包括：

若该参考图像和该待配准图像未丢帧，根据该参考特征点对该待配准图像进行仿射变换。

若该参考图像丢帧，该方法中可以重新选择一个多光谱图像作为参考图像；若该待配准图像丢帧，该方法中也可重新选择一个多光谱图像作为待配准图像。

在该参考图像和该待配准图像均未丢帧的情况下，根据该参考特征点对该待配准图像进行仿射变换，继而进行图像配准，可有效避免丢帧造成的图像配准失败或配准效果较差，提高图像配准的成功率及效果。

可替代地，如上所示的S401中根据预设的参考特征点对待配准图像进行仿射变换之前，该方法还可包括：

若该参考图像和/或该待配准图像丢帧，确定该参考图像和/或该待参考图像的丢帧参数。其中，该丢帧参数可包括：丢帧个数等信息。

若该丢帧参数小于或等于预设的丢帧参数阈值，则根据该参考特征点对该待配准图像进行仿射变换。

若该丢帧参数小于或等于预设的丢帧参数阈值，则可确定该参考图像和/或该待配准图像虽然存在丢帧，但丢帧范围较小，对图像配准的影响较小，则也可对该待配准图像进行仿射变换，从而进行图像配准。

也就是说，该方法中即可在该参考图像和该待配准图像均为丢帧的情况下进行图像配准，也可在该参考图像和/或该待配准图像虽丢帧但丢帧参数小于或等于预设的丢帧参数阈值的情况下进行图像配准，该图像配准的方法的适应性更广。

可选的，如上所示的S403根据该参考图像、该仿射变换后的图像及该二值图进行处理，得到图像数据可包括：

将该参考图像和该仿射变换后的图像，切割成多个图像块；其中，每个图像块的尺寸为预设尺寸；

根据该多个图像块及该二值图进行处理，得到图像数据。

具体地，该预设尺寸可以为预设的像素尺寸，如64像素(pixel)*64像素。当然，该预设尺寸也可以为其他像素尺寸，在此不再赘述。

可选的，根据该多个图像块及该二值图进行处理，得到图像数据可包括：

根据该多个图像块、该参考图像的元数据、该待配准图像的元数据及该二值图进行处理，从而得到图像数据。

将该参考图像和该仿射变换后的图像切割成多个图像块，继而根据该多个图像块及该二值图进行处理得到图像数据，可使得图像处理更灵活，其精度更高，使得得到该图像特征更精确，从而有效地保证图像配准的成功率及效果。

图5为本发明提供的另一种图像配准方法的流程图二。如图5所示，该图像配准方法可包括如下：

S501、对参考图像和待配准图像进行丢帧检查，确定该参考图像和该待配准图像是否丢帧检查通过。

S502、若该参考图像和该待配准图像的丢帧检查通过，则根据预设的参考特征点对该待配准图像进行仿射变换。

其中，该参考图像和该待配准图像的丢帧检查通过可包括如下两种情况：若该参考图像和该待配准图像未丢帧，则可确定该参考图像和该待配准图像的丢帧检查通过；若该参考图像和该待配准图像丢帧，而丢帧参数小于或等于预设的丢帧参数阈值，也可确定该参考图像和该待配准图像的丢帧检查通过。

S503、将该参考图像和该仿射变换后的图像，切割成多个图像块；其中，每个图像块的尺寸为预设尺寸。

S504、确定该参考图像和该待配准图像中的线段特征及线段交点特征。

S505、根据该线段特征及该线段交点特征，对该参考图像和该仿射变换后的图像进行像素值的线性分析，确定线性相关的部分像素和非线性相关的部分像素。

S506、根据该线性相关的部分像素和该非线性相关的部分像素，生成该参考图像与该待配准图像的像素相关关系的二值图。

S507、根据该多个图像块、该参考图像的元数据、该待配准图像的元数据及该二值图进行处理，得到图像数据。

S508、根据该图像数据进行CNN训练，得到特征描述符。

S509、根据该特征描述符对该参考图像和该待配准图像进行图像配准。

本发明提供的该图像配准方法，通过具体实例对上述各方法进行说明，其有益效果可参见上述，在此不再赘述。

可选的，本发明还提供一种图像配准装置。图6为本发明提供的一种图像配准装置的结构示意图。如图6所示，图像配准装置600包括：

变换模块601，用于根据预设的参考特征点对待配准图像进行仿射变换，得到仿射变换后的图像。

自编码模块602，用于采用自编码算法对参考图像和该仿射变换后的待配准图像进行处理，得到图像特征。

CNN训练模块603，用于根据该图像特征、预设的匹配图像数据预设的不匹配图像数据，进行CNN训练，得到特征描述符。

配准模块604，用于根据该特征描述符对该参考图像和该待配准图像进行图像配准。

可选的，图像配准装置600中所包括的上述各模块分别可通过软件和/或硬件的方式实现。

可选的，该图像配准装置600还可包括：

检查模块，用于在变换模块601根据预设的参考特征点对待配准图像进行仿射变换之前，对该参考图像和该待配准图像进行丢帧检查，确定该参考图像和该待配准图像是否丢帧。

变换模块601，具体用于若该参考图像和该待配准图像未丢帧，则根据该参考特征点对该待配准图像进行仿射变换。

可选的，检查模块，还用于若该参考图像和/或该待配准图像丢帧，确定该参考图像和/或该待参考图像的丢帧参数。

变换模块601，具体用于若该丢帧参数小于或等于预设的丢帧参数阈值，则根据该参考特征点对该待配准图像进行仿射变换。

可选的，图像配准装置600还可包括：

切割模块，用于将该参考图像和该仿射变换后的图像，切割成多个图像块；其中，每个图像块的尺寸为预设尺寸。

自编码模块602，具体用于采用该自编码算法对该多个图像块进行处理，得到该图像特征。

可选的，自编码模块602，还用于在CNN训练模块603根据该图像特征、预设的匹配图像数据和预设的不匹配图像数据，进行CNN训练，得到特征描述符之前，采用该自编码算法对该图像特征进行处理，直至该图像特征的维度降低至预设维度。

本发明还提供一种图像配准设备。图7为本发明提供的一种图像配准设备的结构示意图。如图7所示，该图像配准设备700可包括：处理器701和处理器702；该处理器701通过总线703与存储器702连接。

该存储器702中存储有程序指令。

处理器701调用存储器702中的程序指令，可使得处理器701执行上述图1至图3中任一所述图像配准方法。

本发明提供的该图像配准装置及图像配准设备可执行上述图1至图3中任一所述图像配准方法，其具体实现过程及有益效果可参见上述，在此不再赘述。

可选的，本发明还提供一种图像配准装置。图8为本发明提供的另一种图像配准装置的结构示意图。如图8所示，该图像配准装置800可包括：

变换模块801，用于根据预设的参考特征点对待配准图像进行仿射变换，得到仿射变换后的图像。

生成模块802，用于生成参考图像与该待配准图像的像素相关关系的二值图。

处理模块803，用于根据该参考图像、该仿射变换后的图像及该二值图进行处理，得到图像数据。

CNN训练模块804，用于根据该图像数据进行CNN训练，得到特征描述符。

配准模块805，用于根据该特征描述符对该参考图像和该待配准图像进行图像配准。

可选的，如上所示的生成模块802，具体用于确定该参考图像和该待配准图像中线性相关的部分像素，和非线性相关的部分像素，并根据该线性相关的部分像素和该非线性相关的部分像素，生成该像素相关关系的二值图。

可选的，生成模块802，具体用于确定该参考图像和该待配准图像中的线段特征及线段交点特征，根据该线段特征及该线段交点特征，对该参考图像和该待配准图像进行像素值的线性分析，确定该线性相关的部分像素和该非线性相关的部分像素。

本发明还提供一种图像配准设备。图9为本发明提供的另一种图像配准设备的结构示意图。如图9所示，该图像配准设备900可包括：处理器901和处理器902；该处理器901通过总线903与存储器902连接。

该存储器902中存储有程序指令。

处理器901调用存储器902中的程序指令，可使得处理器901执行上述图4或图5中任一所述图像配准方法。

本发明提供的该图像配准装置可执行上述图4或图5中任一所述图像配准方法，其具体实现过程及有益效果可参见上述，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种图像配准方法，其特征在于，包括：

根据预设的参考特征点对待配准图像进行仿射变换，得到仿射变换后的图像；

采用自编码算法对参考图像和所述仿射变换后的图像进行处理，得到图像特征；

根据所述图像特征、预设的匹配图像数据和预设的不匹配图像数据，进行卷积神经网络CNN训练，得到特征描述符；

根据所述特征描述符对所述参考图像和所述待配准图像进行图像配准；

其中，所述根据预设的参考特征点对待配准图像进行仿射变换之前，所述方法还包括：

对所述参考图像和所述待配准图像进行丢帧检查，确定所述参考图像和所述待配准图像是否丢帧；

所述根据预设的参考特征点对待配准图像进行仿射变换，包括：

若所述参考图像和所述待配准图像未丢帧，根据所述参考特征点对所述待配准图像进行仿射变换。

2.根据权利要求1所述的方法，其特征在于，所述根据预设的参考特征点对待配准图像进行仿射变换之前，所述方法还包括：

若所述参考图像和/或所述待配准图像丢帧，确定所述参考图像和/或所述待配准图像的丢帧参数；

所述根据预设的参考特征点对待配准图像进行仿射变换，包括：

若所述丢帧参数小于或等于预设的丢帧参数阈值，则根据所述参考特征点对所述待配准图像进行仿射变换。

3.根据权利要求1所述的方法，其特征在于，所述采用自编码算法对参考图像和所述仿射变换后的图像进行处理，得到图像特征包括：

将所述参考图像和所述仿射变换后的图像，切割成多个图像块；其中，每个图像块的尺寸为预设尺寸；

采用所述自编码算法对所述多个图像块进行处理，得到所述图像特征。

4.根据权利要求1所述的方法，其特征在于，所述根据所述图像特征、预设的匹配图像数据和预设的不匹配图像数据，进行CNN训练，得到特征描述符之前，所述方法还包括：

采用所述自编码算法对所述图像特征进行处理，直至所述图像特征的维度降低至预设维度。

5.一种图像配准方法，其特征在于，包括：

根据预设的参考特征点对待配准图像进行仿射变换，得到仿射变换后的图像；

生成参考图像与所述待配准图像的像素相关关系的二值图；

根据所述参考图像、所述仿射变换后的图像及所述二值图进行处理，得到图像数据；

根据所述图像数据进行卷积神经网络CNN训练，得到特征描述符；

根据所述特征描述符对所述参考图像和所述待配准图像进行图像配准。

6.根据权利要求5所述的方法，其特征在于，所述生成参考图像与所述待配准图像的像素相关关系的二值图，包括：

确定所述参考图像和所述待配准图像中线性相关的部分像素，和非线性相关的部分像素；

根据所述线性相关的部分像素和所述非线性相关的部分像素，生成所述像素相关关系的二值图。

7.根据权利要求6所述的方法，其特征在于，所述确定所述参考图像和所述待配准图像中线性相关的部分像素，和非线性相关的部分像素，包括：

确定所述参考图像和所述待配准图像中的线段特征及线段交点特征；

根据所述线段特征及所述线段交点特征，对所述参考图像和所述待配准图像进行像素值的线性分析，确定所述线性相关的部分像素和所述非线性相关的部分像素。

8.一种图像配准装置，其特征在于，包括：

变换模块，用于根据预设的参考特征点对待配准图像进行仿射变换；

自编码模块，用于采用自编码算法对参考图像和所述仿射变换后的待配准图像进行处理，得到图像特征；

卷积神经网络CNN训练模块，用于根据所述图像特征、预设的匹配图像数据和预设的不匹配图像数据，进行CNN训练，得到特征描述符；

配准模块，用于根据所述特征描述符对所述参考图像和所述待配准图像进行图像配准；

所述图像配准装置还包括：

检查模块，用于在变换模块根据预设的参考特征点对待配准图像进行仿射变换之前，对该参考图像和该待配准图像进行丢帧检查，确定该参考图像和该待配准图像是否丢帧；

变换模块，具体用于若该参考图像和该待配准图像未丢帧，则根据该参考特征点对该待配准图像进行仿射变换。

9.一种图像配准装置，其特征在于，包括：

变换模块，用于根据预设的参考特征点对待配准图像进行仿射变换，得到仿射变换后的图像；

生成模块，用于生成参考图像与所述待配准图像的像素相关关系的二值图；

处理模块，用于根据所述参考图像、所述仿射变换后的图像及所述二值图进行处理，得到图像数据；

卷积神经网络CNN训练模块，用于根据所述图像数据进行CNN训练，得到特征描述符；

配准模块，用于根据所述特征描述符对所述参考图像和所述待配准图像进行图像配准。

Images