CN117710420A - 一种基于双光相机的图像配准方法、系统和巡检车 - Google Patents

Abstract

本申请公开了一种基于双光相机的图像配准方法、系统和巡检车，其中方法包括提取双光相机同一时刻的红外和可见光图像，确定在红外图像上产生候选框的中心点位置和尺寸，遍历候选框图像输入训练好的三元组网络模型，计算和可见光图像的损失距离，选出距离最近的几个候选框图像坐标点均值作为最终的红外和可见光的配准点。在本申请中的技术方案中，将双光相机安装在巡检车上大幅提升了光伏组件故障的检测效率，把光伏组件红外图像检测到的故障部位通过图像配准方法映射到可见光图像对应的位置，提升了配准精度。实用性强，便于推广。

Description

一种基于双光相机的图像配准方法、系统和巡检车

技术领域

本申请涉及图像检测领域，具体而言，涉及一种基于双光相机的图像配准方法、系统和巡检车。

背景技术

近年来，我国光伏组件的装机容量越来越大，同时产生的维护需求也与日俱增，光伏电站随着运行年限的增长组件的故障也逐渐增加，传统使用人工的运维已经不能满足当下光伏电站的运维要求，因此急需一种准确率高的自动巡检方法。常规方法可以通过肉眼可见的方式判断是否出现结构缺陷的情况，但是光伏组件因故障导致的局部过热问题很难通过可见光直接观察到。

发明内容

为了解决上述技术问题，本申请提供一种基于双光相机的图像配准方法、系统和巡检车，通过采用红外成像的方式，分析光伏组件颜色变化判断出发热点，再利用红外和可见光配准方法可以把故障点映射到可见光图像上。

具体的，本申请的技术方案如下：

第一方面，本申请公开一种基于双光相机的图像配准方法，应用于光伏组件故障检查，包括如下步骤：

使用安装于巡检车上的双光相机同时采集所述光伏组件的可见光图像和红外图像；将采集到的所述红外图像进行裁剪并整理为锚点数据集，将采集到的所述可见光图像作为正样本数据集；随机采集若干红外图像和可见光图像作为负样本数据集；

构建三元组网络模型；使用所述锚点数据集、所述正样本数据集和所述负样本数据集对所述三元组网络模型进行初步训练；

将所述红外图像裁剪为与所述可见光图像匹配的红外图像区域，在所述红外图像区域上确定候选框的尺寸和中心位置；在所述尺寸和所述中心位置的数据基础上加入随机浮点数，生成M个随机候选框；以所述M个随机候选框内的对应的原始所述红外图像和所述可见光图像作为所述三元组网络模型的输入数据；

依次遍历所有所述随机候选框，计算每个所述随机候选框中的红外图像与所述可见光图像之间的距离损失；选取距离损失最小的N个随机候选框，并以所述N个随机候选框的中心位置的均值作为配准点，配准所述红外图像和所述可见光图像。

在一些实施方式中，所述的将采集到的所述红外图像进行裁剪并整理为锚点数据集，包括如下子步骤：

利用匹配算法将采集到的所述红外图像与所述可见光图像进行匹配；

使用裁剪工具将所述红外图像进行裁剪；裁剪后得到第二红外图像与所述可见光图像的尺寸大小一致，图像内容一一对应；

将裁剪后的所述第二红外图像整理为锚点数据集。

在一些实施方式中，所述的将所述红外图像裁剪为与所述可见光图像匹配的红外图像区域，在所述红外图像区域上确定候选框的尺寸和中心位置，包括如下子步骤：

计算所述第二红外图像的尺寸的均值作为候选框的尺寸；

确定所述第二红外图像的中心点所在的第二位置；并确定所述第二位置对应在所述红外图像中的第一位置；将所述第一位置的均值作为候选框的中心位置。

在一些实施方式中，所述的构建三元组网络模型，包括如下子步骤：

采用Resnet50网络结构作为所述三元组网络模型的基础网络，提取所述输入数据的特征；

采用随机梯度下降法进行梯度优化，并定义三元组损失函数。

在一些实施方式中，采用以下公式定义所述三元组损失函数：

sim(a,p)＝\frac{{f(a)\cdot·f(p)}}{{\|f(a)\|\|f(p)\|}}

sim(a,n)＝\frac{{f(a)\cdot·f(n)}}{{\|f(a)\|\|f(n)\|}}

loss＝max(sim(a,p)-sim(a,n)+margin,0)

其中，sim(a,p)是所述锚点数据集和所述正样本数据集的第一余弦相似度；sim(a,n)是所述锚点数据集和所述负样本数据集的第二余弦相似度；margin是一个正数，用于控制所述第一余弦相似度与所述第二余弦相似度之间的距离。

在一些实施方式中，所述的一种基于双光相机的图像配准方法，还包括步骤：

构建红外检测算法模型，实时检测所述红外图像中的过热区域；

将检测到的所述过热区域的所述红外图像与所述可见光图像进行配准，在所述可见光图像中得到所述过热区域的故障位置。

第二方面，本申请还公开一种基于双光相机的图像配准系统，所述系统执行如上述任一项实施方式中所述的基于双光相机的图像配准方法，具体包括：

图像采集模块，安装于移动设备之上，用于采集同一时刻的可见光图像和红外图像；

数据集模块，用于将采集到的所述红外图像进行裁剪并整理为锚点数据集，将采集到的所述可见光图像作为正样本数据集；随机采集若干红外图像和可见光图像作为负样本数据集；

模型构建模块，用于构建三元组网络模型；并使用所述锚点数据集、所述正样本数据集和所述负样本数据集对所述三元组网络模型进行初步训练；

数据生成模块，用于将所述红外图像裁剪为与所述可见光图像匹配的红外图像区域，在所述红外图像区域上确定候选框的尺寸和中心位置；在所述尺寸和所述中心位置的数据基础上加入随机浮点数，生成M个随机候选框作为所述三元组网络模型的输入数据；

配准模块，用于依次遍历所有所述随机候选框，计算每个所述随机候选框中的所述红外图像与所述可见光图像之间的距离损失；选取距离损失最小的N个随机候选框，并以所述N个随机候选框的中心位置的均值作为配准点，配准所述红外图像和所述可见光图像。

在一些实施方式中，所述数据集模块，包括：

匹配子模块，用于利用匹配算法将采集到的所述红外图像与所述可见光图像进行匹配；

裁剪子模块，用于使用裁剪工具将所述红外图像进行裁剪；裁剪后得到第二红外图像与所述可见光图像的尺寸大小一致，图像内容一一对应；

整理子模块，用于将裁剪后的所述第二红外图像整理为锚点数据集。

在一些实施方式中，所述数据生成模块，包括：

尺寸计算子模块，用于计算所述第二红外图像的尺寸的均值作为候选框的尺寸；

位置计算子模块，用于确定所述第二红外图像的中心点所在的第二位置；并确定所述第二位置对应在所述红外图像中的第一位置；将所述第一位置的均值作为候选框的中心位置；

浮点添加子模块，用于在所述尺寸和中心位置的数据基础上加入随机浮点数，生成M个随机候选框；

数据输入子模块，用于以所述M个随机候选框内的对应的原始所述红外图像和所述可见光图像作为所述三元组网络模型的输入数据。

第三方面，本申请公开一种巡检车，所述巡检车包括上述任一项实施方式中所述的基于双光相机的图像配准系统；所述巡检车按照预设的导航路线自动行驶，进行光伏巡检。

与现有技术相比，本申请至少具有以下有益效果：

1、本申请方案可以通过巡检车和双光相机快速高效地采集同一时刻的红外和可见光图像，提升了巡检的效率。

2、本申请方案根据光伏组件红外图像的颜色变化，可以快速地识别出光伏组件的局部发热情况。

3、本申请方案通过图像配准方法可以快速地把红外故障区域配准到可见光图像，高效地获取了故障的位置信息。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对本申请的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1为本申请一个方法实施例的步骤流程图；

图2为本申请另一个方法实施例的步骤流程图；

图3为本申请一个系统实施例的结构框图；

图4为本申请另一个系统实施例的结构框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。

为使图面简洁，各图中只示意性地表示出了与发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在本文中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体的连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对照附图说明本申请的具体实施方式。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

参考说明书附图1，本申请提供的一种基于双光相机的图像配准方法的一个实施例，包括如下步骤：

S100，使用安装于巡检车上的双光相机同时采集所述光伏组件的可见光图像和红外图像。将采集到的所述红外图像进行裁剪并整理为锚点数据集，将采集到的所述可见光图像作为正样本数据集。随机采集若干红外图像和可见光图像作为负样本数据集。

具体的，锚点、正样本、负样本采样是一种在训练机器学习模型时使用的策略，尤其是在对比学习的场景中。指从数据集中挑选那些对模型来说难以区分或分类的样本进行学习。过程通常涉及负样本的选择。这些负样本与锚点(参考数据点)之间的差异较小，难以区分。通过在训练过程中使用这些负样本，模型需要更加努力地学习如何区分相似和不相似的数据点。这可以促使模型学到更具判别能力的特征表示，从而提高模型的性能。

S200，构建三元组网络模型。使用所述锚点数据集、所述正样本数据集和所述负样本数据集对所述三元组网络模型进行初步训练。具体的，三元组网络模型(Tripletnetwork)由3个具有相同前馈网络(共享参数)组成。当接收到锚点样本Anchor，正样本Positive，负样本Negative这三个样本时，网络输出两个中间值表示与第三个变量之间的欧式距离。三元组网络模型通过训练锚点样本的参数向正样本靠近，远离负样本，从而实现分类任务。

S300，将所述红外图像裁剪为与所述可见光图像匹配的红外图像区域，在所述红外图像区域上确定候选框的尺寸和中心位置。在所述尺寸和中心位置的数据基础上加入随机浮点数，生成M个随机候选框。以所述M个随机候选框内的对应的原始所述红外图像和所述可见光图像作为所述三元组网络模型的输入数据。

具体的，红外图像比可见光的视角更大，看到的画面更多，不能正确匹配。所以需要对红外图像进行裁剪后再输入模型进行匹配处理。所述候选框的尺寸表示对所述红外图像进行裁剪的框选范围。经过候选框裁剪后的红外图像与对应的可见光图像的尺寸大小一致(或存在微小误差)。更优的，把裁剪后红外图像尺寸的均值作为候选框的尺寸，把裁剪后红外图像中心点位置对应的原始红外图像中的位置均值作为产生候选框的中心点位置。

确定候选框的尺寸数据和位置数据后，在这个数据的基础上加减一个微小的随机浮点数，在原始红外图像上产生若干候选框，作为模型的锚点数据集Anchor输入。更优的，可以预先设置浮点数产生的数值范围。具体的，分别基于中心点位置的横坐标、中心点位置的纵坐标、候选框的长和候选框的宽，这四个数据上设定浮点数在一个(-A,+A)的范围内随机生成。

S400，依次遍历所有随机候选框，计算每个随机候选框中的红外图像与所述可见光图像之间的距离损失。选取距离损失最小的N个随机候选框，并以所述N个随机候选框的中心位置的均值作为配准点，配准所述红外图像和所述可见光图像。

具体的，M和N都是大于0的正整数，N小于M。更优的，在所述三元组网络模型处理的过程中，模型遍历M个随机候选框，计算每个随机候选框中的红外图像与所述可见光图像之间的距离损失。并在M个随机候选框中选出N个距离损失最小的候选框数据，作为图像配准的参考点进行图像配准。

本申请一种基于双光相机的图像配准方法的另一个实施例，在上述方法的一个实施例的基础上，所述的步骤S100中，将采集到的所述红外图像进行裁剪并整理为锚点数据集，包括如下子步骤：

S101，利用匹配算法将采集到的所述红外图像与所述可见光图像进行匹配。

S102，使用裁剪工具将所述红外图像进行裁剪。裁剪后得到第二红外图像与所述可见光图像的尺寸大小一致，图像内容一一对应。

S103，将裁剪后的所述第二红外图像整理为锚点数据集。

本申请一种基于双光相机的图像配准方法的另一个实施例，在上述方法的另一个实施例的基础上，所述的步骤S300中，将所述红外图像裁剪为与所述可见光图像匹配的红外图像区域，在所述红外图像区域上确定候选框的尺寸和中心位置，包括如下子步骤：

S301，计算所述第二红外图像的尺寸的均值作为候选框的尺寸。

S302，确定所述第二红外图像的中心点所在的第二位置。并确定所述第二位置对应在所述红外图像中的第一位置。

S303，将所述第一位置的均值作为候选框的中心位置。

本实施方式中，所述红外图像为裁剪前的红外图像，第二红外图像为裁剪后的红外图像。对应的，第二位置为第二红外图像的中心点所在位置，第一位置为所述第二红外图像的中心点对应在所述红外图像中的点的位置。

本申请方法的另一实施例，在上述任意一个实施例的基础上，所述的S200中，构建三元组网络模型，包括如下子步骤：

采用Resnet50网络结构作为所述三元组网络模型的基础网络，提取所述输入数据的特征。

采用随机梯度下降法进行梯度优化，并定义三元组损失函数。

具体的，采用以下公式定义所述三元组损失函数：

sim(a,p)＝\frac{{f(a)\cdot·f(p)}}{{\|f(a)\|\|f(p)\|}}

sim(a,n)＝\frac{{f(a)\cdot·f(n)}}{{\|f(a)\|\|f(n)\|}}

loss＝max(sim(a,p)-sim(a,n)+margin,0)

其中，sim(a,p)是所述锚点数据集和所述正样本数据集的第一余弦相似度。sim(a,n)是所述锚点数据集和所述负样本数据集的第二余弦相似度。margin是一个正数，用于控制所述第一余弦相似度与所述第二余弦相似度之间的距离。

本申请一种基于双光相机的图像配准方法的另一个实施例，如说明书附图2所示，包括如下子步骤：

步骤1：设备配置，将双光相机安装在巡检车上，相机可以360°转头、低头和抬头，巡检车可以根据预设的导航路线在光伏电站的组件阵列之间自动行驶，实时采集不同位置组件的红外图像。

步骤2：确定的候选框中心点位置和尺寸的数值。用双光相机大量采集同一时刻的可见光和红外图像，从采集的图像可以看出，红外图像比可见光的视角更大，看到的画面更多，不能正确匹配，因此需要用更精确的匹配算法来做配准。

步骤3：使用图像裁剪工具在红外图像上裁剪可见光匹配的红外图像区域。用对应裁剪后的红外图像作为Anchor数据集，用可见光图像作为Positive数据集，Anchor数据集和Positive数据集是一一对应的，另外随机采集其它组件多种尺寸的红外和可见光图像作为Negative数据集。

步骤4：网络模型采用Resnet50作为基础网络，提取图像的特征。采用随机梯度下降法做梯度优化。用如下公式定义三元组损失函数，其中，sim(a,p)是Anchor样本和正样本之间的余弦相似度，sim(a,n)是Anchor样本和负样本之间的余弦相似度，margin是一个正数，用于控制Anchor样本和Negative之间的余弦相似度与Anchor样本和Positive之间的余弦相似度之间的距离，训练Triplet network模型。

sim(a,p)＝\frac{{f(a)\cdot·f(p)}}{{\|f(a)\|\|f(p)\|}}

sim(a,n)＝\frac{{f(a)\cdot·f(n)}}{{\|f(a)\|\|f(n)\|}}

loss＝max(sim(a,p)-sim(a,n)+margin,0)

步骤5：确定在红外图像上产生候选框的中心点位置和尺寸，根据步骤3，我们裁剪了大量的红外图像，把裁剪后红外图像尺寸的均值作为候选框的尺寸，把裁剪后红外图像中心点位置对应的原始红外图像中的位置均值作为产生候选框的中心点位置。

步骤6：根据步骤2确定的中心点位置和尺寸的数值，在这个数值的基础上加减一个微小的随机浮点数，在原始红外图像上产生100个候选框，作为模型的确定在红外图像上产生候选框的中心点位置和尺寸。

步骤7：遍历100个候选框，依次输入步骤4训练好的模型，计算每个候选框图像与可见光图像的距离损失，选取距离损失最小的前5个候选框的位置均值作为配准点，配准所述红外图像和所述可见光图像。

步骤8：用Yolov8训练红外检测算法模型，部署在巡检车的工控机上，可以实时检测到局部过热的红外高亮区域，同时使用配准方法可以在可见光图像上配准到对应的故障位置。

本实施例的另一实施方式中，构建红外检测算法模型，实时检测所述红外图像中的过热区域。再将检测到的所述过热区域的所述红外图像与所述可见光图像进行配准，在所述可见光图像中得到所述过热区域的故障位置。其中YOLO网络包括多种类型，例如Yolov3、Yolov4、Yolov5等。更优的，还可以使用其他现有的网络模型作为红外检测算法模型的基础网络。本申请实施例中，可以根据组件红外图像的颜色变化情况，可以快速地判断出光伏组件的局部发热情况。根据红外和可见光的图像配准方法，可以快速地把红外故障区域配准到可见光图像，高效地获取了故障的位置信息。

具体的，参考说明书附图2，可将上述实施例中的实施步骤简化为以下几步：1、将相机安装在巡检车上，确定巡检车导航路线。

2、大量采集同一时刻的可见光和红外区域。

3、在红外图像上裁剪可见光匹配的红外图像区域。

4、准备Anchor、Positive和Negative数据集。

5、定义图像特征提取网络梯度优化器和损失函数。

6、训练Triplet network(三元组网络)模型。

7、在红外图像上确定产生候选框的中心点位置和尺寸。

8、产生100个候选框输入到训练好的网络模型。

9、计算每个候选框图像与可见光图像的距离损失。

10、距离损失最小的5个候选框的位置均值作为配准点。

11、通过红外检测模型，实时检测到局部过热的红外高亮区域。

12、同时使用配准方法可以在可见光图像上配准到对应的故障位置。

基于相同的技术构思，本申请还公开了一种基于双光相机的图像配准系统，该系统可用于实现上述任意一种基于双光相机的图像配准方法，具体的，本申请的一种基于双光相机的图像配准系统实施例，如说明书附图3所示，包括：

图像采集模块10，安装于移动设备之上，用于采集同一时刻的可见光图像和红外图像。

数据集模块20，用于将采集到的所述红外图像进行裁剪并整理为锚点数据集(Anchor)，将采集到的所述可见光图像作为正样本数据集(Positive)。随机采集若干红外图像和可见光图像作为负样本数据集(Negative)。

具体的，锚点、正样本、负样本采样是一种在训练机器学习模型时使用的策略，尤其是在对比学习的场景中。指从数据集中挑选那些对模型来说难以区分或分类的样本进行学习。过程通常涉及负样本的选择。这些负样本与锚点(参考数据点)之间的差异较小，难以区分。通过在训练过程中使用这些负样本，模型需要更加努力地学习如何区分相似和不相似的数据点。这可以促使模型学到更具判别能力的特征表示，从而提高模型的性能。

模型构建模块30，用于构建三元组网络模型。并使用所述锚点数据集、所述正样本数据集和所述负样本数据集对所述三元组网络模型进行初步训练。

具体的，三元组网络模型(Triplet network)由3个具有相同前馈网络(共享参数)组成。当接收到锚点样本Anchor，正样本Positive，负样本Negative这三个样本时，网络输出2个中间值表示与第三个变量之间的欧式距离。三元组网络模型通过训练锚点样本的参数向正样本靠近，远离负样本，从而实现分类任务。

数据生成模块40，用于将所述红外图像裁剪为与所述可见光图像匹配的红外图像区域，在所述红外图像区域上确定候选框的尺寸和中心位置。在所述尺寸和中心位置的数据基础上加入随机浮点数，生成M个随机候选框作为所述三元组网络模型的输入数据。

具体的，红外图像比可见光的视角更大，看到的画面更多，不能正确匹配。所以需要对红外图像进行裁剪后再输入模型进行匹配处理。所述候选框的尺寸表示对所述红外图像进行裁剪的框选范围。经过候选框裁剪后的红外图像与对应的可见光图像的尺寸大小一致(或存在微小误差)。更优的，把裁剪后红外图像尺寸的均值作为候选框的尺寸，把裁剪后红外图像中心点位置对应的原始红外图像中的位置均值作为产生候选框的中心点位置。

确定候选框的尺寸数据和位置数据后，在这个数据的基础上加减一个微小的随机浮点数，在原始红外图像上产生若干候选框，作为模型的锚点数据集Anchor输入。更优的，可以预先设置浮点数产生的数值范围。具体的，分别基于中心点位置的横坐标、中心点位置的纵坐标、候选框的长和候选框的宽，这四个数据上设定浮点数在一个(-A,+A)的范围内随机生成。

配准模块50，用于依次遍历所有随机候选框，计算每个随机候选框中的红外图像与所述可见光图像之间的距离损失。选取距离损失最小的N个随机候选框，并以所述N个随机候选框的中心位置的均值作为配准点，配准所述红外图像和所述可见光图像。

具体的，M和N都是大于0的正整数，N小于M。更优的，在所述三元组网络模型处理的过程中，模型遍历M个随机候选框，计算每个随机候选框中的红外图像与所述可见光图像之间的距离损失。并在M个随机候选框中选出N个距离损失最小的候选框数据，作为图像配准的参考点进行图像配准。

本申请提供的一种基于双光相机的图像配准系统的另一实施例，如说明书附图4所示，在上述系统实施例的基础上，所述数据集模块20，包括：

匹配子模块21，用于利用匹配算法将采集到的所述红外图像与所述可见光图像进行匹配。

裁剪子模块22，用于使用裁剪工具将所述红外图像进行裁剪。裁剪后得到第二红外图像与所述可见光图像的尺寸大小一致，图像内容一一对应。

整理子模块23，用于将裁剪后的所述第二红外图像整理为锚点数据集。

所述数据生成模块40，包括：

尺寸计算子模块41，用于计算所述第二红外图像的尺寸的均值作为候选框的尺寸。

位置计算子模块42，用于确定所述第二红外图像的中心点所在的第二位置。并确定所述第二位置对应在所述红外图像中的第一位置。将所述第一位置的均值作为候选框的中心位置。

浮点添加子模块43，用于在所述尺寸和中心位置的数据基础上加入随机浮点数，生成M个随机候选框。

数据输入子模块44，用于以所述M个随机候选框内的对应的原始所述红外图像和所述可见光图像作为所述三元组网络模型的输入数据。

本实施方式中，所述红外图像为裁剪前的红外图像，第二红外图像为裁剪后的红外图像。对应的，第二位置为第二红外图像的中心点所在位置，第一位置为所述第二红外图像的中心点对应在所述红外图像中的点的位置。

本申请提供的一种基于双光相机的图像配准系统的另一实施例，在上述系统实施例的基础上，所述模型构建模块30还包括：

特征定义子模块，用于采用Resnet50网络结构作为所述三元组网络模型的基础网络，提取所述输入数据的特征。

梯度优化子模块，用于采用随机梯度下降法进行梯度优化。

函数定义子模块，用于定义三元组损失函数。

具体的，所述函数定义子模块采用以下公式定义所述三元组损失函数：

sim(a,p)＝\frac{{f(a)\cdot·f(p)}}{{\|f(a)\|\|f(p)\|}}

sim(a,n)＝\frac{{f(a)\cdot·f(n)}}{{\|f(a)\|\|f(n)\|}}

loss＝max(sim(a,p)-sim(a,n)+margin,0)

其中，sim(a,p)是所述锚点数据集和所述正样本数据集的第一余弦相似度。sim(a,n)是所述锚点数据集和所述负样本数据集的第二余弦相似度。margin是一个正数，用于控制所述第一余弦相似度与所述第二余弦相似度之间的距离。

在本实施例的其他实施方式中，也可以使用其他网络结构作为所述三元组网络模型的基础网络，例如RCNN、YOLO、Google Net、VGG Net等。

本申请提供的一种基于双光相机的图像配准系统的另一实施例，在上述系统实施例的基础上，所述图像配准系统还包括：第二模型构建模块。用于使用YOLO网络构建红外检测算法模型，所述红外检测算法模型用于实时检测过热区域。

其中，YOLO网络包括多种类型，例如Yolov3、Yolov4、Yolov5等。更优的，还可以使用其他现有的网络模型作为红外检测算法模型的基础网络。本申请实施例中，可以根据组件红外图像的颜色变化情况，可以快速地判断出光伏组件的局部发热情况。根据红外和可见光的图像配准方法，可以快速地把红外故障区域配准到可见光图像，高效地获取了故障的位置信息。

本实施例中的图像配准系统还用于将检测到的所述过热区域的所述红外图像与所述可见光图像进行配准，在所述可见光图像中得到所述过热区域的故障位置。

基于相同构思，本申请还公开一种巡检车，所述巡检车包括上述任意一种基于双光相机的图像配准系统。

所述巡检车上至少配备双光相机，行走部件、中控系统。所述巡检车按照预设的导航路线自动行驶，进行光伏巡检。具体的，本申请方案可以通过巡检车和双光相机快速高效地采集同一时刻的红外和可见光图像，提升了巡检的效率。更优的所述中控系统与上位机信号连接。接收来自上位机的命令，协调巡检车执行巡检动作。

本申请的一种基于双光相机的图像配准方法、系统和巡检车具有相同的技术构思，三者的实施例的技术细节可相互适用，为减少重复，此次不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的程序模块完成，即将所述装置的内部结构划分成不同的程序单元或模块，以完成以上描述的全部或者部分功能。实施例中的各程序模块可以集成在一个处理单元中，也可是各个单元单独物理存在，也可以两个或两个以上单元集成在一个处理单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序单元的形式实现。另外，各程序模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件，或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其他的方式实现。示例性的，以上所描述的装置实施例仅仅是示意性的，示例性的，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，示例性的，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于双光相机的图像配准方法，其特征在于，应用于光伏组件故障检查，包括如下步骤：

使用安装于巡检车上的双光相机同时采集所述光伏组件的可见光图像和红外图像；将采集到的所述红外图像进行裁剪并整理为锚点数据集，将采集到的所述可见光图像作为正样本数据集；随机采集若干红外图像和可见光图像作为负样本数据集；

构建三元组网络模型；使用所述锚点数据集、所述正样本数据集和所述负样本数据集对所述三元组网络模型进行初步训练；

将所述红外图像裁剪为与所述可见光图像匹配的红外图像区域，在所述红外图像区域上确定候选框的尺寸和中心位置；在所述尺寸和所述中心位置的数据基础上加入随机浮点数，生成M个随机候选框；以所述M个随机候选框内的对应的原始所述红外图像和所述可见光图像作为所述三元组网络模型的输入数据；

依次遍历所有所述随机候选框，计算每个所述随机候选框中的所述红外图像与所述可见光图像之间的距离损失；选取距离损失最小的N个随机候选框，并以所述N个随机候选框的中心位置的均值作为配准点，配准所述红外图像和所述可见光图像。

2.如权利要求1所述的一种基于双光相机的图像配准方法，其特征在于，所述的将采集到的所述红外图像进行裁剪并整理为锚点数据集，包括如下子步骤：

利用匹配算法将采集到的所述红外图像与所述可见光图像进行匹配；

使用裁剪工具将所述红外图像进行裁剪；裁剪后得到第二红外图像与所述可见光图像的尺寸大小一致，图像内容一一对应；

将裁剪后的所述第二红外图像整理为锚点数据集。

3.如权利要求2所述的一种基于双光相机的图像配准方法，其特征在于，所述的将所述红外图像裁剪为与所述可见光图像匹配的红外图像区域，在所述红外图像区域上确定候选框的尺寸和中心位置，包括如下子步骤：

计算所述第二红外图像的尺寸的均值作为所述候选框的尺寸；

确定所述第二红外图像的中心点所在的第二位置；并确定所述第二位置对应在所述红外图像中的第一位置；将所述第一位置的均值作为所述候选框的中心位置。

4.如权利要求1所述的一种基于双光相机的图像配准方法，其特征在于，所述的构建三元组网络模型，包括如下子步骤：

采用Resnet50网络结构作为所述三元组网络模型的基础网络，提取所述输入数据的特征；

采用随机梯度下降法进行梯度优化，并定义三元组损失函数。

5.如权利要求4所述的一种基于双光相机的图像配准方法，其特征在于，采用以下公式定义所述三元组损失函数：

sim(a,p)＝\frac{{f(a)\cdot·f(p)}}{{\|f(a)\|\|f(p)\|}}

sim(a,n)＝\frac{{f(a)\cdot·f(n)}}{{\|f(a)\|\|f(n)\|}}

loss＝max(sim(a,p)-sim(a,n)+margin,0)

其中，sim(a,p)是所述锚点数据集和所述正样本数据集的第一余弦相似度；sim(a,n)是所述锚点数据集和所述负样本数据集的第二余弦相似度；margin是一个正数，用于控制所述第一余弦相似度与所述第二余弦相似度之间的距离。

6.如权利要求1所述的一种基于双光相机的图像配准方法，其特征在于，还包括步骤：

构建红外检测算法模型，实时检测所述红外图像中的过热区域；

将检测到的所述过热区域的所述红外图像与所述可见光图像进行配准，在所述可见光图像中得到所述过热区域的故障位置。

7.一种基于双光相机的图像配准系统，其特征在于，所述系统执行如权利要求1-6任一项所述的基于双光相机的图像配准方法，具体包括：

图像采集模块，安装于移动设备之上，用于采集同一时刻的可见光图像和红外图像；

数据集模块，用于将采集到的所述红外图像整理为锚点数据集，将采集到的所述可见光图像作为正样本数据集；随机采集若干红外图像和可见光图像作为负样本数据集；

模型构建模块，用于构建三元组网络模型；并使用所述锚点数据集、所述正样本数据集和所述负样本数据集对所述三元组网络模型进行初步训练；

数据生成模块，用于将所述红外图像裁剪为与所述可见光图像匹配的红外图像区域，在所述红外图像区域上确定候选框的尺寸和中心位置；在所述尺寸和所述中心位置的数据基础上加入随机浮点数，生成M个随机候选框作为所述三元组网络模型的输入数据；

配准模块，用于依次遍历所有所述随机候选框，计算每个所述随机候选框中的所述红外图像与所述可见光图像之间的距离损失；选取距离损失最小的N个随机候选框，并以所述N个随机候选框的中心位置的均值作为配准点，配准所述红外图像和所述可见光图像。

8.如权利要求7所述的一种基于双光相机的图像配准系统，其特征在于，所述数据集模块，包括：

匹配子模块，用于利用匹配算法将采集到的所述红外图像与所述可见光图像进行匹配；

裁剪子模块，用于使用裁剪工具将所述红外图像进行裁剪；裁剪后得到第二红外图像与所述可见光图像的尺寸大小一致，图像内容一一对应；

整理子模块，用于将裁剪后的所述第二红外图像整理为锚点数据集。

9.如权利要求8所述的一种基于双光相机的图像配准系统，其特征在于，所述数据生成模块，包括：

尺寸计算子模块，用于计算所述第二红外图像的尺寸的均值作为候选框的尺寸；

位置计算子模块，用于确定所述第二红外图像的中心点所在的第二位置；并确定所述第二位置对应在所述红外图像中的第一位置；将所述第一位置的均值作为候选框的中心位置；

浮点添加子模块，用于在所述尺寸和中心位置的数据基础上加入随机浮点数，生成M个随机候选框；

数据输入子模块，用于以所述M个随机候选框内的对应的原始所述红外图像和所述可见光图像作为所述三元组网络模型的输入数据。

10.一种巡检车，其特征在于，所述巡检车包括权利要求7-9任一项所述的基于双光相机的图像配准系统；

所述巡检车按照预设的导航路线自动行驶，进行光伏巡检。