CN109389628B - 图像配准方法、设备和存储介质 - Google Patents

Abstract

本发明实施例提供的图像配准方法、设备和存储介质，该方法包括：通过获取源图像和目标图像；提取源图像和目标图像的第一特征点和第一特征直线；再根据源图像的第一特征点和第一特征直线，获取源图像的采样点的描述符或者源图像的样本，并根据目标图像的第一特征点和第一特征直线，获取目标图像的采样点的描述符或者目标图像的样本；从而根据源图像和目标图像的采样点的描述符或者源图像和目标图像的样本，确定源图像和目标图像是否匹配。本发明实施例通过结合图像的第一特征点和第一特征直线进行图像配准，提升了图像的匹配精度和配准效果。

Description

图像配准方法、设备和存储介质

技术领域

本发明实施例涉及计算机视觉领域，尤其涉及一种图像配准方法、设备和存储介质。

背景技术

多光谱图像是指通过不同频段传感器所获取的目标物图像，其融合了目标物的二维空间信息和光谱信息，能有效提高目标探测和识别的准确性，因此，使得多光谱图像被应用于各个领域。为了获得含有丰富视觉信息的多光谱图像，通常需要稳定的图像融合技术，而有效的图像融合又离不开图像配准技术的支持。

现有技术中，尺度不变特征变换(SIFT，Scale Invariant Feature Transform)算法是一种最基本的图像配准技术，SIFT算法可以处理两幅图像之间由平移、旋转、尺度变化等带来的特征匹配问题，并在一定程度上对仿射变化也具备较为稳定的匹配能力。

但是，由于多光谱图像像素的对应关系不一致，且有些像素点的梯度方向反转等特点，采用上述图像配准方法，导致图像的配准效果不佳、匹配精度下降。

发明内容

本发明实施例提供一种图像配准方法、设备和存储介质，以克服现有的SIFT算法不能有效处理多光谱的图像配准，导致图像匹配精度下降的问题。

第一方面，本发明实施例提供一种图像配准方法，包括：

获取源图像和目标图像，所述源图像和所述目标图像分别为不同频段传感器检测出的图像；

提取所述源图像和所述目标图像的第一特征点和第一特征直线，其中，所述第一特征点和所述第一特征直线是根据预先定义的筛选条件，从图像的所有特征点和特征直线中筛选出来的；

根据所述源图像的第一特征点和第一特征直线，获取所述源图像的采样点的描述符或者所述源图像的样本，并根据所述目标图像的第一特征点和第一特征直线，获取所述目标图像的采样点的描述符或者所述目标图像的样本；

根据所述源图像和所述目标图像的采样点的描述符或者所述源图像和所述目标图像的样本，确定所述源图像和所述目标图像是否匹配。

可选的，所述根据所述源图像的第一特征点和第一特征直线获取所述源图像的采样点的描述符，包括：

获取所述源图像的第一特征点到第一特征直线之间的第一垂线；

在所述第一垂线上等距离进行采样，得到所述源图像的采样点；

计算获得所述源图像的采样点的边缘方向直方图EOH描述符；

相应的，所述根据所述目标图像的第一特征点和第一特征直线获取所述目标图像的采样点的描述符，包括：

获取所述目标图像的第一特征点到第一特征直线之间的第二垂线；

在所述第二垂线上等距离进行采样，得到所述目标图像的采样点；

计算获得所述目标图像的采样点的EOH描述符。

可选的，所述第一特征直线的数量为两条且相交，所述源图像的两条第一特征特征直线之间的交点为第一交点，所述目标图像的两条第一特征直线之间的交点为第二交点，所述根据所述源图像的第一特征点和第一特征直线，获取所述源图像的采样点的描述符，包括：

根据所述源图像的第一特征点和所述源图像第一交点，对所述源图像的第一特征直线进行采样，获取所述源图像的第一特征直线的采样点；

通过计算所述源图像的第一特征直线的采样点的EOH描述符，得到所述源图像的采样点的描述符；

相应的，所述根据所述目标图像的第一特征点和第一特征直线获取所述目标图像的采样点的描述符，包括：

根据所述目标图像的第一特征点和所述目标图像的第一交点，对所述目标图像的第一特征直线进行采样，获取所述目标图像的第一特征直线的采样点；

通过计算所述目标图像的第一特征直线采样点的EOH描述符，得到所述目标图像的采样点的描述符。

可选的，所述根据所述源图像的第一特征点和第一特征直线获取所述源图像的样本，包括：

根据所述源图像的第一特征点到所述第一特征直线中点的距离，提取所述源图像的样本；

相应的，

所述根据所述目标图像的第一特征点和第一特征直线获取所述目标图像的样本，包括：

根据所述目标图像的第一特征点到所述第一特征直线中点的距离，提取所述目标图像的样本。

可选的，所述提取所述源图像和所述目标图像的第一特征点和第一特征直线，包括：

获取所述源图像的所有特征点和所有特征直线；

计算得到所述源图像的每个特征点到每条特征直线的距离；

判断所述源图像的每个特征点到每条特征直线的距离是否满足第一预设范围，若是，则根据特征点到特征直线端点的直线与特征直线的夹角，提取所述源图像第一特征点和第一特征直线；

相应的，

获取所述目标图像的所有特征点和所有特征直线；

计算得到所述目标图像的每个特征点到每条特征直线的距离；

判断所述目标图像的每个特征点到每条特征直线的距离是否满足第一预设范围，若是，则根据特征点到特征直线端点的直线与特征直线的夹角，提取所述目标图像第一特征点和第一特征直线。

可选的，所述提取所述源图像和所述目标图像的第一特征点和第一特征直线，包括：

获取所述源图像的所有特征点和所有特征直线，其中，所述特征直线的数量为两条且相交；

计算得到所述源图像的每个特征点到每条特征直线的交点的距离，以及到每条特征直线的距离；

判断所述源图像的特征点到特征直线的交点的距离是否满足第二预设范围，且到所述特征直线的距离是否满足第三预设范围，若是，则提取所述源图像的第一特征点和第一特征直线；

相应的，

获取所述目标图像的所有特征点和所有特征直线；

提取所述目标图像的特征直线的交点，其中，所述特征直线的数量为两条且相交；

计算得到所述目标图像的每个特征点到每条特征直线的交点的距离，以及到每条特征直线的距离；

判断所述目标图像的特征点到所述特征直线的交点的距离是否满足第二预设范围，且到所述特征直线的距离是否满足第三预设范围，若是，则提取所述目标图像的第一特征点和第一特征直线。

可选的，所述提取所述源图像和所述目标的第一特征点和第一特征直线，包括：

获取所述源图像的所有特征点和所有特征直线；

计算得到所述源图像的每个特征点到每条特征直线中点的距离，以及到每条特征直线的距离；

判断所述源图像的每个特征点到每条特征直线中点的距离是否满足第四预设范围，且到每条特征直线的距离是否满足第五预设范围，若是，则根据所述源图像的每个特征点到每条特征直线中点的距离，提取所述源图像的第一特征点和第一特征直线；

相应的，

获取所述目标图像的所有特征点和所有特征直线；

计算得到所述目标图像的每个特征点到每条特征直线中点的距离，以及到每条特征直线的距离；

判断所述目标图像的每个特征点到每条特征直线中点的距离是否满足第四预设范围，且到每条特征直线的距离是否满足第五预设范围，若是，则根据所述目标图像的每个特征点到每条特征直线中点的距离，提取所述目标图像的第一特征点和第一特征直线。

第二方面，本发明实施例提供一种图像配准设备，包括：

获取模块，用于获取源图像和目标图像，所述源图像和所述目标图像分别为不同频段传感器检测出的图像；

处理模块，用于提取所述源图像和所述目标图像的第一特征点和第一特征直线，其中，所述第一特征点和所述第一特征直线是根据预先定义的筛选条件，从图像的所有特征点和特征直线中筛选出来的；

所述获取模块，还用于根据所述源图像的第一特征点和第一特征直线，获取所述源图像的采样点的描述符或者所述源图像的样本，并根据所述目标图像的第一特征点和第一特征直线，获取所述目标图像的采样点的描述符或者所述目标图像的样本；

所述处理模块，还用于根据所述源图像和所述目标图像的采样点的描述符或者所述源图像和所述目标图像的样本，确定所述源图像和所述目标图像是否匹配。

可选的，所述获取模块具体用于，获取所述源图像的第一特征点到第一特征直线之间的第一垂线；

所述处理模块具体用于，在所述第一垂线上等距离进行采样，得到所述源图像的采样点；计算获得所述源图像的采样点的边缘方向直方图EOH描述符；

所述获取模块还用于，获取所述目标图像的第一特征点到第一特征直线之间的第二垂线；

所述处理模块具体用于，在所述第二垂线上等距离进行采样，得到所述目标图像的采样点；

计算得到获得所述目标图像的采样点的EOH描述符。

可选的，所述处理模块还用于，根据所述源图像的第一特征点和所述源图像第一交点，对所述源图像的第一特征直线进行采样，获取所述源图像的第一特征直线的采样点；

通过计算所述源图像的第一特征直线的采样点的EOH描述符，得到所述源图像的采样点的描述符；

所述处理模块还用于，根据所述目标图像的第一特征点和所述目标图像的第一交点，对所述目标图像的第一特征直线进行采样，获取所述目标图像的第一特征直线的采样点；

通过计算所述目标图像的第一特征直线采样点的EOH描述符，得到所述目标图像的采样点的描述符。

可选的，所述处理模块还用于，根据所述源图像的第一特征点到所述第一特征直线中点的距离，提取所述源图像的样本；根据所述目标图像的第一特征点到所述第一特征直线中点的距离，提取所述目标图像的样本。

可选的，所述获取模块还用于，获取所述源图像的所有特征点和所有特征直线；

所述处理模块还用于，计算所述源图像的每个特征点到每条特征直线的距离；判断所述源图像的每个特征点到每条特征直线的距离是否满足第一预设范围，若是，则根据特征点到特征直线端点的直线与特征直线的夹角，提取所述源图像第一特征点和第一特征直线；

所述获取模块还用于，获取所述目标图像的所有特征点和所有特征直线；

所述处理模块还用于，计算所述目标图像的每个特征点到每条特征直线的距离；

判断所述目标图像的每个特征点到每条特征直线的距离是否满足第一预设范围，若是，则根据特征点到特征直线端点的直线与特征直线的夹角，提取所述目标图像第一特征点和第一特征直线。

可选的，所述获取模块还用于，获取所述源图像的所有特征点和所有特征直线，其中，所述特征直线的数量为两条且相交；

所述处理模块还用于，计算所述源图像的每个特征点到每条特征直线的交点的距离，以及到每条特征直线的距离；

判断所述源图像的特征点到特征直线的交点的距离是否满足第二预设范围，且到所述特征直线的距离是否满足第三预设范围，若是，则提取所述源图像的第一特征点和第一特征直线；

所述获取模块还用于，获取所述目标图像的所有特征点和所有特征直线；

所述处理模块还用于，计算所述目标图像的每个特征点到每条特征直线的交点的距离，以及到每条特征直线的距离；

判断所述目标图像的特征点到所述特征直线的交点的距离是否满足第二预设范围，且到所述特征直线的距离是否满足第三预设范围，若是，则提取所述目标图像的第一特征点和第一特征直线。

可选的，所述获取模块还用于，获取所述源图像的所有特征点和所有特征直线；

所述处理模块还用于，计算所述源图像的每个特征点到每条特征直线中点的距离，以及到每条特征直线的距离；

判断所述源图像的每个特征点到每条特征直线中点的距离是否满足第四预设范围，且到每条特征直线的距离是否满足第五预设范围，若是，则根据所述源图像的每个特征点到每条特征直线中点的距离，提取所述源图像的第一特征点和第一特征直线；

所述获取模块还用于，获取所述目标图像的所有特征点和所有特征直线；

所述处理模块还用于，计算所述目标图像的每个特征点到每条特征直线中点的距离，以及到每条特征直线的距离；

判断所述目标图像的每个特征点到每条特征直线中点的距离是否满足第四预设范围，且到每条特征直线的距离是否满足第五预设范围，若是，则根据所述目标图像的每个特征点到每条特征直线中点的距离，提取所述目标图像的第一特征点和第一特征直线。

第三方面，本发明实施例提供一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的图像配准方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的图像配准方法。

本发明实施例提供的图像配准方法、设备和存储介质，该方法通过获取源图像和目标图像，源图像和目标图像分别为不同频段传感器检测出的图像；提取源图像和目标图像的第一特征点和第一特征直线，其中，第一特征点和第一特征直线是根据预先定义的筛选条件，从图像的所有特征点和特征直线中筛选出来的；再根据源图像的第一特征点和第一特征直线，获取源图像的采样点的描述符或者源图像的样本，并根据目标图像的第一特征点和第一特征直线，获取目标图像的采样点的描述符或者目标图像的样本；根据源图像和目标图像的采样点的描述符或者源图像和目标图像的样本，确定源图像和目标图像是否匹配。本发明实施例通过结合图像的第一特征点和第一特征直线进行图像配准，提升了图像的匹配精度和配准效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的图像配准方法的流程示意图一；

图2为本发明实施例提供的图像配准方法的流程示意图二；

图3为本发明实施例提供的采样点示意图；

图4为本发明实施例提供的图像配准方法的流程示意图三；

图5为本发明实施例提供的图像配准方法的流程示意图四；

图6为本发明实施例提供的图像配准设备的结构示意图一；

图7为本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的图像配准方法的流程示意图一，本方案的执行主体可以是平板电脑、笔记本电脑、台式电脑等终端设备，本方案对此不做特别限制，如图1所示，该方法包括：

S101、获取源图像和目标图像。

需要说明的是，多光谱图像是指由不同频段传感器所获取的目标物的图像，其融合了目标物的二维空间信息和光谱信息，能够提供更丰富的视觉信息。这里的源图像和目标图像分别为不同频段传感器检测出的图像，例如，源图像可以为可见光图像，目标图像可以为红外图像。

在一种可能的设计中，源图像和目标图像可以预先存储在电脑本地，当需要对这两幅图像进行处理时，可以将源图像和目标图像加载到Microsoft Visual studio平台。

S102、提取源图像和目标图像的第一特征点和第一特征直线。

基于Microsoft Visual studio平台的opencv计算机视觉库提供有特征点和特征直线的检测算法，利用该算法可以检测到源图像和目标图像的所有特征点和所有特征直线，其中，特征点的检测算法可以是SIFT算法，采用SIFT算法检测出的特征点在不同尺度的图像中是稳定存在的，且不受光照噪声等因素的影响，特征直线的检测算法可以是霍夫变换。

在本步骤中，检测出源图像和目标图像的所有特征点和特征直线后，可以根据预先定义的筛选条件，将源图像和目标图像的第一特征点和第一特征直线从图像的所有特征点和特征直线中提取出来的，这里的筛选条件可以是满足一定的显著性条件，或者满足一定的尺度、距离条件，需要说明的是，第一特征直线和其对应的第一特征点可以为一个组合，源图像和目标图像中可以有多个这样的组合。

S103、根据源图像的第一特征点和第一特征直线，获取源图像的采样点的描述符或者源图像的样本，并根据目标图像的第一特征点和第一特征直线，获取目标图像的采样点的描述符或者目标图像的样本。

在本步骤中，图像的采样点的描述符是通过计算得到的，该描述符和图像的样本都是基于图像的边缘信息、邻域信息对该图像的一个描述。

在一种可能的设计中，获取源图像第一特征点到其对应的第一特征直线的第一垂线，再在该垂线上等距离进行采样，得到源图像的采样点，其中，该采样点包括第一特征点和垂点。

然后计算源图像的采样点的描述符，由于源图像里可以包括多个第一特征直线和第一特征点的组合，因此，每一个组合的采样点的描述符都可以作为该源图像的采样点的描述符，其中，该描述符可以为EOH描述符。关于每一个组合的采样点的描述符的计算属于现有技术，在此不再赘述。

例如，对源图像中一个组合的第一垂线等距离取20个采样点，那么采用EOH描述符对源图像进行描述时，会生成20×128维的描述子，每一维都是一个浮点数，现有技术对采样点描述符的计算有具体的描述，在此不再赘述。

相应的，目标图像中也可以包括多个第一特征点和第一特征直线的组合，每一个组合的采样点的描述符都可以作为目标图像的采样点的描述符。目标图像的采样点的描述符具体的实现过程和源图像的采样点的描述符实现过程类似，在此不再赘述。

在一种可能的设计中，根据源图像的第一特征点到第一特征直线中点的距离，提取源图像的样本，具体地，以源图像的第一特征点到第一特征直线中点的距离d1的2倍为宽，长为256，第一特征直线的中点M1的坐标为中心，截取2d1*256的图像块作为源图像的样本，应理解，本方案提到的数值都可以是以“像素”为单位。

相应的，根据目标图像的第一特征点到第一特征直线中点的距离，提取目标图像的样本，具体地，以目标图像的第一特征点到第一特征直线中点的距离d1的2倍为宽，长为256，第一特征直线的中点M1的坐标为中心，截取2d1*256的图像块作为源图像的样本。

S104、根据源图像和目标图像的采样点的描述符或者源图像和目标图像的样本，确定源图像和目标图像是否匹配。

在本步骤中，源图像和目标图像的匹配是指这两幅图像内容能够实现有效的“叠加”，从而提供丰富的视觉信息。

在一种可能的设计中，计算源图像的任一组合的采样点的描述符到目标图像的每一个组合的采样点的描述符之间的欧式距离，若源图像中的每个组合都能在目标图像对应一个组合，使得组合的采样点的描述符的距离最小并都满足阈值条件，则确定源图像和目标图像是匹配的。

在另一种可能的设计中，将源图像和目标图像的样本输入到预先训练的神经网络模型中，判断该源图像和目标图像是否匹配，现有技术对神经网络模型有具体描述，在此不再赘述。

本实施例提供的图像配准方法，通过获取源图像和目标图像，源图像和目标图像分别为不同频段传感器检测出的图像；提取源图像和目标图像的第一特征点和第一特征直线，其中，第一特征点和第一特征直线是根据预先定义的筛选条件，从图像的所有特征点和特征直线中筛选出来的；再根据源图像的第一特征点和第一特征直线，获取源图像的采样点的描述符或者源图像的样本，并根据目标图像的第一特征点和第一特征直线，获取目标图像的采样点的描述符或者目标图像的样本；根据源图像和目标图像的采样点的描述符或者源图像和目标图像的样本，确定源图像和目标图像是否匹配，提升了图像的匹配精度和配准效果。

在上述实施例一的基础上，图2为本发明实施例提供的图像配准方法的流程示意图二，如图2所示，

S201、根据源图像的第一特征点和源图像第一交点，对源图像的第一特征直线进行采样，获取源图像的第一特征直线的采样点。

在本步骤中，第一特征直线的数量为两条且相交，源图像的两条第一特征特征直线之间的交点为第一交点，目标图像的两条第一特征直线之间的交点为第二交点，第一特征点的数量至少为两个。

以源图像的第一特征点为起点，分别沿着源图像的第一特征直线的方向以及第一特征直线的两侧对第一交点进行采样，其中，第一特征直线的方向可以为第一特征点到第一交点的方向，则沿着源图像的第一特征直线的方向以及第一特征直线的两侧对第一交点进行采样，具体包括：沿着第一特征点到第一交点的方向，并沿着第一特征直线的两侧对第一交点进行采样。

可选的，以第一特征点坐标的5倍为采样距离进行等距离采样，比如：第一特征点的坐标为(1,5)，则其中一个采样点的坐标为(5,10)。图3为本发明实施例提供的采样点示意图，如图3所示，第一特征直线为两条且相交于A，第一特征点为B、C、D、E，则分别以B、C、D、E作为起点，沿着两条第一特征直线进行采样，得到源图像的第一特征直线的采样点。

S202、通过计算源图像的第一特征直线的采样点的EOH描述符，得到源图像的采样点的描述符。

关于源图像的第一特征直线的采样点的EOH描述符的计算属于现有技术，在此不再赘述，其中，源图像的第一特征直线的采样点的EOH描述符即为源图像的采样点的描述符。

相应的，根据目标图像的第一特征点和第一特征直线获取目标图像的采样点的描述符，具体包括S203-S204(图2中未示出)：

S203、根据目标图像的第一特征点和目标图像的第一交点，对目标图像的第一特征直线进行采样，获取目标图像的第一特征直线的采样点。

S204、通过计算目标图像的第一特征直线采样点的EOH描述符，得到目标图像的采样点的描述符。

步骤S203-S204的实现过程和步骤S201-S202的实现过程类似，在此不再赘述。

步骤S201-S202可以在步骤S203-S204之前执行，也可以在步骤S203-S204之后执行，本方案对此不做限制。本实施例提供的图像配准方法，根据源图像的第一特征点和源图像第一交点，对源图像的第一特征直线进行采样，获取源图像的第一特征直线的采样点，通过计算源图像的第一特征直线的采样点的EOH描述符，得到源图像的采样点的描述符；相应的，根据目标图像的第一特征点和目标图像的第一交点，对目标图像的第一特征直线进行采样，获取目标图像的第一特征直线的采样点，通过计算目标图像的第一特征直线采样点的EOH描述符，得到目标图像的采样点的描述符，提升了图像的匹配精度和配准效果。

在上述实施例一、二的基础上，图4为本发明实施例提供的图像配准方法的流程示意图三，如图4所示，步骤S102具体包括：

S301、获取源图像的所有特征点和所有特征直线。

由于基于Microsoft Visual studio平台的opencv计算机视觉库提供有特征点和特征直线的检测算法，利用该算法可以检测到源图像和目标图像的所有特征点和所有特征直线，可选的，特征点的检测算法可以是SIFT算法，特征直线的检测算法可以是霍夫变换。

S302、计算得到源图像的每个特征点到每条特征直线的距离。

S303、若源图像的每个特征点到每条特征直线的距离满足第一预设范围，则根据特征点到特征直线端点的直线与特征直线的夹角，提取源图像第一特征点和第一特征直线。

在上述步骤中，计算出每个特征点到每条特征直线的空间距离d1后，若空间距离d1满足第一预设范围，则提取出满足第一预设范围的特征点和特征直线，再获取该特征点到距离其最近的特征直线端点的直线L1与特征直线的夹角θ，应理解，一个特征点和其对应的特征直线可以为一个组合，这里的一个特征点可以对应多个特征直线。

若θ满足第一预设角度范围，则提取出源图像对应的第一特征点和第一特征直线，可选的，第一预设范围可以为60<d<120，第一预设角度范围可以为θ<90°。

若空间距离d不满足第一预设范围，则确定该空间距离d对应的特征点和特征直线不是所要获取的第一特征点和第一特征直线。

S304、获取目标图像的所有特征点和所有特征直线。

S305、计算目标图像的每个特征点到每条特征直线的距离。

S306、判断目标图像的每个特征点到每条特征直线的距离是否满足第一预设范围，若是，则根据特征点到特征直线端点的直线与特征直线的夹角，提取目标图像第一特征点和第一特征直线。

步骤S304-S306和步骤S301-S303的实现过程类似，在此不再赘述(S304-S306未在图4中示出)。

步骤S301-S303可以在步骤S304-S306之前执行，也可以在步骤S304-S306之后执行，本方案对此不做限制。

在一种可能的设计中，获取源图像的所有特征点和所有特征直线，其中，特征直线的数量为两条且相交。假设其中一条特征直线为L2,，则在L2的左边和右边分别计算每个特征点到每条特征直线交点的距离d2、d3，以及到每条特征直线的距离d4、d5。

若d2、d3满足第二预设范围，且d4、d5满足第三预设范围，则提取出d2、d3、d4、d5对应的第一特征点。进一步地，再对d2、d3按照从小到大的顺序进行排序，从而提取最小的d2、d3所对应的第一特征直线。

若d2、d3不满足第二预设范围，则确定d2、d3对应的特征点和特征直线不是所要选取的第一特征点和第一特征直线，可选的，第二预设范围为10<d2<25、10<d3<25，第三预设范围为5<d4<150、5<d5<150。

相应的，目标图像的第一特征点和第一特征直线的实现过程类似和源图像的第一特征点和第一特征直线实现过程类似，在此不再赘述。

本实施例提供的图像的配准方法，通过获取源图像的所有特征点和所有特征直线；计算源图像的每个特征点到每条特征直线的距离；判断源图像的每个特征点到每条特征直线的距离是否满足第一预设范围，若是，则根据特征点到特征直线端点的直线与特征直线的夹角，提取源图像第一特征点和第一特征直线。本实施例采用特征点和特征直线结合的方式获取第一特征点和第一特征直线，提升了图像的匹配精度和配准效果。

在上述实施例一、二、三的基础上，图5为本发明实施例提供的图像配准方法的流程示意图四，如图5所示，步骤S102还包括：

S401、获取源图像的所有特征点和所有特征直线。

步骤S401的实现过程和步骤S301的实现过程类似，在此不再赘述。

S402、计算得到源图像的每个特征点到每条特征直线中点的距离，以及到每条特征直线的距离。

S403、若源图像的每个特征点到每条特征直线中点的距离满足第四预设范围，且到每条特征直线的距离满足第五预设范围，则根据源图像的每个特征点到每条特征直线中点的距离，提取源图像的第一特征点和第一特征直线。

在上述步骤中，计算源图像的每个特征点到每条特征直线中点的距离d6，以及到每条特征直线的距离d7后，若d6满足第四预设范围，且d7满足第五预设范围，则将d6按照从小到大进行排序，得到第三个特征点和第三个特征直线，即第一特征点和人第一特征直线，其中，第一个特征点和第一个特征直线为最小的d6对应的特征点和特征直线，可选的，第四预设范围为10<d6<25，第五预设范围为5<d7<150。

若d6不满足第四预设范围，和/或d7不满足第五预设范围，则确定d6、d7对应的特征点和特征直线不是第一特征点和第一特征直线。

S404、获取目标图像的所有特征点和所有特征直线。

S405、计算目标图像的每个特征点到每条特征直线中点的距离，以及到每条特征直线的距离；

S405、若目标图像的每个特征点到每条特征直线中点的距离满足第四预设范围，且到每条特征直线的距离满足第五预设范围，则根据目标图像的每个特征点到每条特征直线中点的距离，提取目标图像的第一特征点和第一特征直线。

步骤S404-S406和步骤S401-S403的实现过程类似，在此不再赘述(S404-S406未在图5中示出)。

步骤S401-S403可以在步骤S404-S406之前执行，也可以在步骤S404-S406之后执行，本方案对此不做限制。

本实施例提供的图像配准方法，通过获取源图像的所有特征点和所有特征直线，计算源图像的每个特征点到每条特征直线中点的距离，以及到每条特征直线的距离，若源图像的每个特征点到每条特征直线中点的距离满足第四预设范围，且到每条特征直线的距离满足第五预设范围，则根据源图像的每个特征点到每条特征直线中点的距离，提取源图像的第一特征点和第一特征直线。本实施例采用特征点和特征直线结合的方式获取第一特征点和第一特征直线，提升了图像的匹配精度和配准效果。

图6为本发明实施例提供的图像配准设备的结构示意图一，如图6所示，该图像配准设备50包括：获取模块501、处理模块502。

获取模块501，用于获取源图像和目标图像，所述源图像和所述目标图像分别为不同频段传感器检测出的图像；

处理模块502，用于提取所述源图像和所述目标图像的第一特征点和第一特征直线，其中，所述第一特征点和所述第一特征直线是根据预先定义的筛选条件，从图像的所有特征点和特征直线中筛选出来的；

所述获取模块501，还用于根据所述源图像的第一特征点和第一特征直线，获取所述源图像的采样点的描述符或者所述源图像的样本，并根据所述目标图像的第一特征点和第一特征直线，获取所述目标图像的采样点的描述符或者所述目标图像的样本；

所述处理模块502，还用于根据所述源图像和所述目标图像的采样点的描述符或者所述源图像和所述目标图像的样本，确定所述源图像和所述目标图像是否匹配。

可选的，所述获取模块501具体用于，获取所述源图像的第一特征点到第一特征直线之间的第一垂线；

所述处理模块502具体用于，在所述第一垂线上等距离进行采样，得到所述源图像的采样点；计算获得所述源图像的采样点的边缘方向直方图EOH描述符；

所述获取模块501还用于，获取所述目标图像的第一特征点到第一特征直线之间的第二垂线；

所述处理模块502具体用于，在所述第二垂线上等距离进行采样，得到所述目标图像的采样点；

计算获得所述目标图像的采样点的EOH描述符。

可选的，所述处理模块502还用于，根据所述源图像的第一特征点和所述源图像第一交点，对所述源图像的第一特征直线进行采样，获取所述源图像的第一特征直线的采样点；

通过计算所述源图像的第一特征直线的采样点的EOH描述符，得到所述源图像的采样点的描述符；

所述处理模块502还用于，根据所述目标图像的第一特征点和所述目标图像的第一交点，对所述目标图像的第一特征直线进行采样，获取所述目标图像的第一特征直线的采样点；

通过计算所述目标图像的第一特征直线采样点的EOH描述符，得到所述目标图像的采样点的描述符。

可选的，所述处理模块502还用于，根据所述源图像的第一特征点到所述第一特征直线中点的距离，提取所述源图像的样本；根据所述目标图像的第一特征点到所述第一特征直线中点的距离，提取所述目标图像的样本。

可选的，所述获取模块501还用于，获取所述源图像的所有特征点和所有特征直线；

所述处理模块502还用于，计算所述源图像的每个特征点到每条特征直线的距离；判断所述源图像的每个特征点到每条特征直线的距离是否满足第一预设范围，若是，则根据特征点到特征直线端点的直线与特征直线的夹角，提取所述源图像第一特征点和第一特征直线；

所述获取模块501还用于，获取所述目标图像的所有特征点和所有特征直线；

所述处理模块502还用于，计算所述目标图像的每个特征点到每条特征直线的距离；

判断所述目标图像的每个特征点到每条特征直线的距离是否满足第一预设范围，若是，则根据特征点到特征直线端点的直线与特征直线的夹角，提取所述目标图像第一特征点和第一特征直线。

可选的，所述获取模块501还用于，获取所述源图像的所有特征点和所有特征直线，其中，所述特征直线的数量为两条且相交；

所述处理模块502还用于，计算所述源图像的每个特征点到每条特征直线的交点的距离，以及到每条特征直线的距离；

判断所述源图像的特征点到特征直线的交点的距离是否满足第二预设范围，且到所述特征直线的距离是否满足第三预设范围，若是，则提取所述源图像的第一特征点和第一特征直线；

所述获取模块501还用于，获取所述目标图像的所有特征点和所有特征直线；

所述处理模块502还用于，计算所述目标图像的每个特征点到每条特征直线的交点的距离，以及到每条特征直线的距离；

判断所述目标图像的特征点到所述特征直线的交点的距离是否满足第二预设范围，且到所述特征直线的距离是否满足第三预设范围，若是，则提取所述目标图像的第一特征点和第一特征直线。

可选的，所述获取模块501还用于，获取所述源图像的所有特征点和所有特征直线；

所述处理模块502还用于，计算所述源图像的每个特征点到每条特征直线中点的距离，以及到每条特征直线的距离；

判断所述源图像的每个特征点到每条特征直线中点的距离是否满足第四预设范围，且到每条特征直线的距离是否满足第五预设范围，若是，则根据所述源图像的每个特征点到每条特征直线中点的距离，提取所述源图像的第一特征点和第一特征直线；

所述获取模块501还用于，获取所述目标图像的所有特征点和所有特征直线；

所述处理模块502还用于，计算所述目标图像的每个特征点到每条特征直线中点的距离，以及到每条特征直线的距离；

判断所述目标图像的每个特征点到每条特征直线中点的距离是否满足第四预设范围，且到每条特征直线的距离是否满足第五预设范围，若是，则根据所述目标图像的每个特征点到每条特征直线中点的距离，提取所述目标图像的第一特征点和第一特征直线。

本实施例提供的设备，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

图7为本发明实施例提供的电子设备的硬件结构示意图，如图7所示，本实施例的语音交互设备60包括：处理器601以及存储器602；其中

存储器602，用于存储计算机执行指令；

处理器601，用于执行存储器存储的计算机执行指令，以实现上述实施例中接收设备所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。

可选地，存储器602既可以是独立的，也可以跟处理器601集成在一起。

当存储器602独立设置时，该语音交互设备还包括总线603，用于连接所述存储器602和处理器601。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的图像配准方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种图像配准方法，其特征在于，包括：

获取源图像和目标图像，所述源图像和所述目标图像分别为不同频段传感器检测出的图像；

提取所述源图像和所述目标图像的第一特征点和第一特征直线，其中，所述第一特征点和所述第一特征直线是根据预先定义的筛选条件，从图像的所有特征点和特征直线中筛选出来的；

根据所述源图像的第一特征点和第一特征直线，获取所述源图像的采样点的描述符或者所述源图像的样本，并根据所述目标图像的第一特征点和第一特征直线，获取所述目标图像的采样点的描述符或者所述目标图像的样本；

所述根据所述源图像的第一特征点和第一特征直线获取所述源图像的采样点的描述符，包括：

获取所述源图像的第一特征点到第一特征直线之间的第一垂线；

在所述第一垂线上等距离进行采样，得到所述源图像的采样点；

计算获得所述源图像的采样点的边缘方向直方图EOH描述符；

相应的，所述根据所述目标图像的第一特征点和第一特征直线获取所述目标图像的采样点的描述符，包括：

获取所述目标图像的第一特征点到第一特征直线之间的第二垂线；

在所述第二垂线上等距离进行采样，得到所述目标图像的采样点；

计算获得所述目标图像的采样点的EOH描述符；

根据所述源图像和所述目标图像的采样点的描述符或者所述源图像和所述目标图像的样本，确定所述源图像和所述目标图像是否匹配；

所述根据所述源图像的第一特征点和第一特征直线获取所述源图像的样本，包括：根据所述源图像的第一特征点到所述第一特征直线中点的距离，提取所述源图像的样本；其中，所述提取所述源图像的样本，包括：以所述第一特征直线中点的坐标为中心，截取图像块作为所述源图像的样本；相应的，所述根据所述目标图像的第一特征点和第一特征直线获取所述目标图像的样本，包括：根据所述目标图像的第一特征点到所述第一特征直线中点的距离，提取所述目标图像的样本；其中，所述提取所述目标图像的样本，包括：以所述第一特征直线中点的坐标为中心，截取图像块作为所述目标图像的样本。

2.根据权利要求1所述的方法，其特征在于，所述第一特征直线的数量为两条且相交，所述源图像的两条第一特征直线之间的交点为第一交点，所述目标图像的两条第一特征直线之间的交点为第二交点，所述根据所述源图像的第一特征点和第一特征直线，获取所述源图像的采样点的描述符，包括：

根据所述源图像的第一特征点和所述源图像第一交点，对所述源图像的第一特征直线进行采样，获取所述源图像的第一特征直线的采样点；

通过计算所述源图像的第一特征直线的采样点的EOH描述符，得到所述源图像的采样点的描述符；

相应的，所述根据所述目标图像的第一特征点和第一特征直线获取所述目标图像的采样点的描述符，包括：

根据所述目标图像的第一特征点和所述目标图像的第一交点，对所述目标图像的第一特征直线进行采样，获取所述目标图像的第一特征直线的采样点；

通过计算所述目标图像的第一特征直线采样点的EOH描述符，得到所述目标图像的采样点的描述符。

3.根据权利要求1所述的方法，其特征在于，所述提取所述源图像和所述目标图像的第一特征点和第一特征直线，包括：

获取所述源图像的所有特征点和所有特征直线；

计算得到所述源图像的每个特征点到每条特征直线的距离；

判断所述源图像的每个特征点到每条特征直线的距离是否满足第一预设范围，若是，则根据特征点到特征直线端点的直线与特征直线的夹角，提取所述源图像第一特征点和第一特征直线；

相应的，

获取所述目标图像的所有特征点和所有特征直线；

计算得到所述目标图像的每个特征点到每条特征直线的距离；

判断所述目标图像的每个特征点到每条特征直线的距离是否满足第一预设范围，若是，则根据特征点到特征直线端点的直线与特征直线的夹角，提取所述目标图像第一特征点和第一特征直线。

4.根据权利要求2所述的方法，其特征在于，所述提取所述源图像和所述目标图像的第一特征点和第一特征直线，包括：

获取所述源图像的所有特征点和所有特征直线，其中，所述特征直线的数量为两条且相交；

计算得到所述源图像的每个特征点到每条特征直线的交点的距离，以及到每条特征直线的距离；

判断所述源图像的特征点到特征直线的交点的距离是否满足第二预设范围，且到所述特征直线的距离是否满足第三预设范围，若是，则提取所述源图像的第一特征点和第一特征直线；相应的，

获取所述目标图像的所有特征点和所有特征直线；

计算得到所述目标图像的每个特征点到每条特征直线的交点的距离，以及到每条特征直线的距离；

判断所述目标图像的特征点到所述特征直线的交点的距离是否满足第二预设范围，且到所述特征直线的距离是否满足第三预设范围，若是，则提取所述目标图像的第一特征点和第一特征直线。

5.根据权利要求1所述的方法，其特征在于，所述提取所述源图像和所述目标的第一特征点和第一特征直线，包括：

获取所述源图像的所有特征点和所有特征直线；

计算得到所述源图像的每个特征点到每条特征直线中点的距离，以及到每条特征直线的距离；

判断所述源图像的每个特征点到每条特征直线中点的距离是否满足第四预设范围，且到每条特征直线的距离是否满足第五预设范围，若是，则根据所述源图像的每个特征点到每条特征直线中点的距离，提取所述源图像的第一特征点和第一特征直线；

相应的，

获取所述目标图像的所有特征点和所有特征直线；

计算得到所述目标图像的每个特征点到每条特征直线中点的距离，以及到每条特征直线的距离；

判断所述目标图像的每个特征点到每条特征直线中点的距离是否满足第四预设范围，且到每条特征直线的距离是否满足第五预设范围，若是，则根据所述目标图像的每个特征点到每条特征直线中点的距离，提取所述目标图像的第一特征点和第一特征直线。

6.一种图像配准设备，其特征在于，包括：

获取模块，用于获取源图像和目标图像，所述源图像和所述目标图像分别为不同频段传感器检测出的图像；

处理模块，用于提取所述源图像和所述目标图像的第一特征点和第一特征直线，其中，所述第一特征点和所述第一特征直线是根据预先定义的筛选条件，从图像的所有特征点和特征直线中筛选出来的；

所述获取模块，还用于根据所述源图像的第一特征点和第一特征直线，获取所述源图像的采样点的描述符或者所述源图像的样本，并根据所述目标图像的第一特征点和第一特征直线，获取所述目标图像的采样点的描述符或者所述目标图像的样本；

所述根据所述源图像的第一特征点和第一特征直线获取所述源图像的采样点的描述符，包括：

获取所述源图像的第一特征点到第一特征直线之间的第一垂线；

在所述第一垂线上等距离进行采样，得到所述源图像的采样点；

计算获得所述源图像的采样点的边缘方向直方图EOH描述符；

相应的，所述根据所述目标图像的第一特征点和第一特征直线获取所述目标图像的采样点的描述符，包括：

获取所述目标图像的第一特征点到第一特征直线之间的第二垂线；

在所述第二垂线上等距离进行采样，得到所述目标图像的采样点；

计算获得所述目标图像的采样点的EOH描述符；

所述处理模块，还用于根据所述源图像和所述目标图像的采样点的描述符或者所述源图像和所述目标图像的样本，确定所述源图像和所述目标图像是否匹配；

所述获取模块，具体用于根据所述源图像的第一特征点到所述第一特征直线中点的距离，以所述第一特征直线中点的坐标为中心，截取图像块作为所述源图像的样本，根据所述目标图像的第一特征点到所述第一特征直线中点的距离，以所述第一特征直线中点的坐标为中心，截取图像块作为所述目标图像的样本。

7.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至5任一项所述的图像配准方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至5任一项所述的图像配准方法。

Images