CN116452646A - 光伏红外图像与可见光图像配准方法、装置、设备及介质 - Google Patents

Abstract

本申请提出一种光伏红外图像与可见光图像配准方法、装置、设备及介质，依据所述还原后的可见光顶角点坐标矩阵、所述匹配后的红外顶角点坐标矩阵和最小二乘法获得红外图与可见光图像的单应矩阵后，依据红外图像像素点与所述红外图与可见光图像的单应矩阵，获得对应的可见光图像像素点坐标，依据所述红外图像像素点与所述对应的可见光图像像素点坐标对红外图像与可见光图像进行配准，从而实现红外图像与可见光图像的配准，由于采用可见光图像和红外图像的顶点构成匹配顶角点对，进而提高配准的准确度。

Description

光伏红外图像与可见光图像配准方法、装置、设备及介质

技术领域

本发明属于光伏配准技术领域，尤其涉及一种光伏红外图像与可见光图像配准方法。

背景技术

目前通常采用无人机对光伏组件进行巡检，由无人机搭载的温度和图像传感器对光伏板进行采集，获得光伏组件的红外图像和可见光图像，然后对光伏组件的红外图像和可见光图像进行配准。

目前采用的配准存在以下的缺点，一是直接采用传统的特征点进行检测与配准，此种方法的缺点是由于红外图像与可见光图像中的特征信息差异较大，直接使用传统的特征点进行检测与配准会导致配准的结果不准确；另一个是由于红外图像与可见光图像拍摄的时间不同步，且不能保证无人机是位于同一地点的同一角度进行拍摄的，使得获取的红外图像和可见光图像存在较大的误差，即角度、位置、时间和光线的不同使得获得的红外图像和可见光图像中的特征点的坐标不相同，进而使得配准的误差较大。

发明内容

针对上述现有技术的不足，本发明的目的在于提供一种基于目标检测的光伏红外图像与可见光图像配准方法，以解决由于红外图像与可见光图像拍摄的时间不同步，而导致配准误差过大的问题。

本发明提供一种基于目标检测的光伏红外图像与可见光图像配准方法，包括：

获取生产运行中的光伏组件的红外图像和可见光图像；

对所述红外图像进行目标检测获得红外图像目标检测顶角点坐标集合；

对所述可见光图像进行目标检测获得可见光图像目标检测顶角点坐标集合；

依据所述红外图像目标检测顶角点坐标集合和所述可见光目标检测顶角点坐标集合获得红外可见光匹配顶角点对；

解析所述红外可见光匹配顶角点对获得匹配后的红外顶角点坐标矩阵；

依据所述红外可见光匹配顶角点对和可见光图像获得还原后的可见光顶角点坐标矩阵；

依据所述还原后的可见光顶角点坐标矩阵、所述匹配后的红外顶角点坐标矩阵和最小二乘法获得红外图与可见光图像的单应矩阵；

依据红外图像像素点与所述红外图与可见光图像的单应矩阵，获得对应的可见光图像像素点坐标，依据所述红外图像像素点与所述对应的可见光图像像素点坐标对红外图像与可见光图像进行配准。

在本发明的一实施例中，所述对所述红外图像进行目标检测获得红外图像目标检测顶角点坐标集合的步骤包括：

选取所述红外图像的顶角目标框的中心点作为红外顶角点坐标，选取所述红外图像的目标框的类别作为红外顶角点的类别，依据所述红外顶角点坐标及所述红外顶角点的类别获得红外图像目标检测顶角点坐标集合。

在本发明的一实施例中，所述对所述可见光图像进行目标检测获得可见光图像目标检测顶角点坐标集合的步骤包括：

选取所述可见光图像的顶角目标框的中心点作为可见光顶角点坐标，选取所述可见光图像的目标框的类别作为可见光顶角点的类别，依据所述可见光顶角点坐标及所述可见光顶角点的类别获得可见光图像目标检测顶角点坐标集合。

在本发明的一实施例中，所述对所述可见光图像进行目标检测获得可见光图像目标检测顶角点坐标集合的步骤还包括：

若所述红外图像与所述可见光图像的比例不一致，则选取所述可见光图像的顶角目标框的中心点作为可见光顶角点坐标，选取所述可见光图像的目标框的类别作为可见光顶角点的类别，依据所述可见光顶角点坐标及所述可见光顶角点的类别获得原始可见光图像目标检测顶角点坐标集合；

解析所述红外图像获得红外图像宽度和高度：W_i、H_i，其中W_i为红外图像的宽度，H_i为红外图像的高度；

解析所述可见光图像获得可见光图像宽度和高度：W_o、H_o，其中W_o为可见光图像的宽度，H_o为可见光图像的高度；

依据红外图像宽度和可见光图像宽度获取宽度缩放比例：s_x，则有

依据红外图像高度和可见光图像高度获取宽度缩放比例：s_y，则有

获取原始的可见光顶角点坐标(x_o，y_o)；

依据(x_o，y_o)、s_x、s_y，获得可见光换算顶角点坐标(x，y)，则有

(x，y)＝(x_os_x，y_osy)；

依据所有可见光换算顶角点坐标获得可见光图像目标检测顶角点坐标集合。

其中，W_o为可见光图像的宽度，H_o为可见光图像的高度；W_i为红外图像的宽度，H_i为红外图像的高度，X为横坐标，Y为纵坐标；o下标代表可见光图片(optical光学的)；i下标代表红外图片(infrared红外)

在本发明的一实施例中，所述依据所述红外图像目标检测顶角点坐标集合和所述可见光目标检测顶角点坐标集合获得红外可见光匹配顶角点对的步骤包括：

若所述可见光目标检测顶角点坐标集合中存在与所述所述红外图像目标检测顶角点坐标集合中的红外顶角点同类别的可见光顶角点，则将同类别的可见光顶角点坐标与红外顶角点坐标选出，计算同类别的可见光顶角点坐标与红外顶角点坐标的欧式距离D_io：

其中(x_i，y_i)为红外顶角点坐标，(x，y)为可见光顶角点坐标；

将D_io与阈值进行比较，若D_io大于阈值，则D_io对应的同类别的可见光顶角点与红外顶角点获得红外可见光匹配顶角点对不构成红外可见光匹配顶角点对；若D_io不大于阈值，则依据D_io对应的同类别的可见光顶角点与红外顶角点获得红外可见光匹配顶角点对。

其中，D_io表示红外坐标与可见光坐标点的欧式距离。

在本发明的一实施例中，所述解析所述红外可见光匹配顶角点对获得匹配后的红外顶角点坐标矩阵的步骤包括：

设红外可见光匹配顶角点对的个数为n，则自所述红外可见光匹配顶角点对中筛选出匹配后的红外顶角点坐标：

依据所述匹配后的红外顶角点坐标获得红外顶角点坐标矩阵I，则

所述依据所述红外可见光匹配顶角点对和可见光图像获得还原后的可见光顶角点坐标矩阵的步骤包括：

依据所述红外可见光匹配顶角点对中筛选出匹配后的可见光顶角点坐标，依据所述匹配后的可见光顶角点坐标自可见光图像中获得还原后的可见光顶角点坐标：

此处的上标1、2、3......n代表样本数量。

依据所述还原后的可见光顶角点坐标获得还原后的可见光顶角点坐标矩阵0，则

在本发明的一实施例中，所述依据所述还原后的可见光顶角点坐标矩阵、所述匹配后的红外顶角点坐标矩阵和最小二乘法获得红外图与可见光图像的单应矩阵的步骤包括：

将所述还原后的可见光顶角点坐标矩阵和所述匹配后的红外顶角点坐标矩阵依据最小二乘法进行计算：

H＝O(I·I^T)(I·I^T)^-1，其中I^T为I的转置矩阵，(I·I^T)^-1为(I·I^T)的逆矩阵；

获得红外图与可见光图像的单应矩阵H，

其中，h₁、h₂......h₉为单应矩阵的值，待求值；

所述依据红外图像像素点与所述红外图与可见光图像的单应矩阵，获得对应的可见光图像像素点坐标，依据所述红外图像像素点与所述对应的可见光图像像素点坐标对红外图像与可见光图像进行配准的步骤包括：依据匹配后的红外顶角点坐标获取匹配后的红外顶角点坐标对应的红外图像像素点坐标(x_i，y_i)；

依据红外图像像素点坐标与所述红外图与可见光图像的单应矩阵H，获得对应的可见光图像像素点坐标(x_o，y_o)，

依据所述红外图像像素点坐标与所述对应的可见光图像像素点坐标对红外图像与可见光图像进行配准。

本发明提出一种基于目标检测的光伏红外图像与可见光图像配准装置，图像获取模块，用于获取生产运行中的光伏组件的红外图像和可见光图像；

目标检测模块，用于对红外图像和可见光图像进行目标检测；

匹配模块，用于对红外图像目标检测顶角点坐标集合和可见光目标检测顶角点集合进行匹配；

解析模块，用于解析红外可见光匹配顶角点对、红外可见光匹配顶角点对和可见光图像；

计算模块，用于计算对应的可见光图像像素点坐标。

本发明提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的方法。

本发明提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述的方法。

实施本发明实施例，将至少具有如下有益效果：

本发明提出一种基于目标检测的光伏红外图像与可见光图像配准方法，依据所述还原后的可见光顶角点坐标矩阵、所述匹配后的红外顶角点坐标矩阵和最小二乘法获得红外图与可见光图像的单应矩阵后，依据红外图像像素点与所述红外图与可见光图像的单应矩阵，获得对应的可见光图像像素点坐标，依据所述红外图像像素点与所述对应的可见光图像像素点坐标对红外图像与可见光图像进行配准，从而实现红外图像与可见光图像的配准，由于采用可见光图像和红外图像的顶点构成匹配顶角点对，进而提高配准的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明光伏红外图像与可见光图像配准方法的实施例一的流程图；

图2为本发明光伏红外图像与可见光图像配准方法的实施例二的流程图；

图3为本发明光伏红外图像与可见光图像配准方法的实施例三的流程图；

图4为本发明基于目标检测的光伏红外图像与可见光图像配准装置的结构框图；

图5为本发明计算机设备的结构框图。

图中：

基于目标检测的光伏红外图像与可见光图像配准装置100、图像获取模块110、目标检测模块120、匹配模块130、解析模块140、计算模块150、计算机设备200、存储器210、处理器220。

具体实施方式

为了使本领域的技术人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，当元件被称为“固定于”或“设置于”另一个部件上，它可以直接在另一个部件上或者间接设置在另一个部件上；当一个部件被称为是“连接于”另一个部件，它可以是直接连接到另一个部件或间接连接至另一个部件上。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或部件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”、“若干个”的含义是两个或两个以上，除非另有明确具体的限定。

须知，本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本申请可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的功效及所能达成的目的下，均应仍落在本申请所揭示的技术内容得能涵盖的范围内。

本发明提供一种基于目标检测的光伏红外图像与可见光图像配准方法，包括：

S101、获取生产运行中的光伏组件的红外图像和可见光图像；

S102、对所述红外图像进行目标检测获得红外图像目标检测顶角点坐标集合；

S103、对所述可见光图像进行目标检测获得可见光图像目标检测顶角点坐标集合；

S104、依据所述红外图像目标检测顶角点坐标集合和所述可见光目标检测顶角点坐标集合获得红外可见光匹配顶角点对；

S105、解析所述红外可见光匹配顶角点对获得匹配后的红外顶角点坐标矩阵；

S106、依据所述红外可见光匹配顶角点对和可见光图像获得还原后的可见光顶角点坐标矩阵；

S107、依据所述还原后的可见光顶角点坐标矩阵、所述匹配后的红外顶角点坐标矩阵和最小二乘法获得红外图与可见光图像的单应矩阵；

S108、依据红外图像像素点与所述红外图与可见光图像的单应矩阵，获得对应的可见光图像像素点坐标，依据所述红外图像像素点与所述对应的可见光图像像素点坐标对红外图像与可见光图像进行配准。

在本实施方式中，本发明依据所述还原后的可见光顶角点坐标矩阵、所述匹配后的红外顶角点坐标矩阵和最小二乘法获得红外图与可见光图像的单应矩阵后，依据红外图像像素点与所述红外图与可见光图像的单应矩阵，获得对应的可见光图像像素点坐标，依据所述红外图像像素点与所述对应的可见光图像像素点坐标对红外图像与可见光图像进行配准，从而实现红外图像与可见光图像的配准，由于采用可见光图像和红外图像的顶点构成匹配顶角点对，进而提高配准的准确度。

实施例一：

请参考图1，服务器通过无人机获取生产运行中的光伏组件的红外图像和可见光图像，然后服务器对红外图像进行目标检测，经过目标检测后获得红外图像目标检测顶角点坐标集合，服务器对可见光图像进行目标检测，经过目标检测后获得可见光图像目标检测顶角点坐标集合，服务器依据红外图像目标检测顶角点坐标集合和可见光目标检测顶角点坐标集合获得红外可见光匹配顶角点对，服务器解析红外可见光匹配顶角点对获得匹配后的红外顶角点坐标矩阵，服务器依据红外可见光匹配顶角点对和可见光图像获得还原后的可见光顶角点坐标矩阵，服务器依据还原后的可见光顶角点坐标矩阵、匹配后的红外顶角点坐标矩阵和最小乘法获得红外图与可见光图像的单应矩阵，服务器依据红外图像像素点与红外图与可见光图像的单应矩阵，获得对应的可见光图像像素点坐标，依据红外图像像素点与对应的可见光图像像素点坐标对红外图像与可见光图像进行配准，通过红外图像像素点与对应的可见光图像像素点坐标对应关系进行配准，使得红外图像与可见光图像配准误差更小。

具体的，通过无人机获得红外图像和可见光图像，然后无人机将获取的红外图像和可见光图像传输至服务器。

在本发明的一实施例中，所述对所述红外图像进行目标检测获得红外图像目标检测顶角点坐标集合的步骤包括：

S201、选取所述红外图像的顶角目标框的中心点作为红外顶角点坐标，选取所述红外图像的目标框的类别作为红外顶角点的类别，依据所述红外顶角点坐标及所述红外顶角点的类别获得红外图像目标检测顶角点坐标集合。

在本发明的一实施例中，所述对所述可见光图像进行目标检测获得可见光图像目标检测顶角点坐标集合的步骤包括：

S202、选取所述可见光图像的顶角目标框的中心点作为可见光顶角点坐标，选取所述可见光图像的目标框的类别作为可见光顶角点的类别，依据所述可见光顶角点坐标及所述可见光顶角点的类别获得可见光图像目标检测顶角点坐标集合。

在本发明的一实施例中，所述对所述可见光图像进行目标检测获得可见光图像目标检测顶角点坐标集合的步骤还包括：

S301、若所述红外图像与所述可见光图像的比例不一致，则选取所述可见光图像的顶角目标框的中心点作为可见光顶角点坐标，选取所述可见光图像的目标框的类别作为可见光顶角点的类别，依据所述可见光顶角点坐标及所述可见光顶角点的类别获得原始可见光图像目标检测顶角点坐标集合；

S302、解析所述红外图像获得红外图像宽度和高度：W_i、H_i，其中W_i为红外图像的宽度，H_i为红外图像的高度；

S303、解析所述可见光图像获得可见光图像宽度和高度：W_o、H_o，其中W_o为可见光图像的宽度，H_o为可见光图像的高度；

S304、依据红外图像宽度和可见光图像宽度获取宽度缩放比例：s_x，则有

S305、依据红外图像高度和可见光图像高度获取宽度缩放比例：s_y，则有

S306、获取原始的可见光顶角点坐标(x_o，y_o)；

S307、依据(x_o，y_o)、s_x、s_y，获得可见光换算顶角点坐标(x，y)，则有

(x，y)＝(x_os_x，y_os_y)；

S308、依据所有可见光换算顶角点坐标获得可见光图像目标检测顶角点坐标集合。

实施例二：

请参考图1、2，在本实施方式中，服务器通过无人机获取生产运行中的光伏组件的红外图像和可见光图像，服务器选取红外图像的顶角目标框的中心点作为红外顶角点坐标，即服务器选取红外图像4个顶角按照一定的规律依次进行分类标注，本方案中采用顺时针对红外图像的左上角、右上角、右下角、左下角依次进行分类标注，然后对红外图像上4个顶角点进行目标检测，服务器选取红外图像的目标框的类别作为红外顶角点的类别，取目标框的中心点作为顶角点位置，取目标框的类别作为顶角点的类别，服务器依据红外顶角点坐标及红外顶角点的类别获得红外图像目标检测顶角点坐标集合；

然后服务器选取可见光图像的顶角目标框的中心点作为可见光顶角点坐标，即服务器选取可见光图像4个顶角按照一定的规律依次进行分类标注，本方案中采用顺时针对可见光图像的左上角、右上角、右下角、左下角依次进行分类标注，然后对可见光图像上4个顶角点进行目标检测，服务器选取可见光图像的目标框的类别作为可见光顶角点的类别，取目标框的中心点作为顶角点位置，取目标框的类别作为顶角点的类别，服务器依据可见光顶角点坐标及可见光顶角点的类别获得可见光图像目标检测顶角点坐标集合；

若红外图像与可见光图像的比例不一致，则服务器解析红外图像获得红外图像宽度和高度：W_i、H_i，其中W_i为红外图像的宽度，H_i为红外图像的高度；解析所述可见光图像获得可见光图像宽度和高度：W_o、H_o，其中W_o为可见光图像的宽度，H_o为可见光图像的高度；然后依据红外图像宽度和可见光图像宽度获取宽度缩放比例，依据红外图像高度和可见光图像高度获取宽度缩放比例，即

通过换算公式(x，y)＝(x_os_x，y_os_y)对可见光图像获得的顶角点坐标进行换算，从换算后的可见光顶角点坐标得到可见光目标检测顶角点坐标集合。

需要进一步说明的是，在获取红外图像与可见光图像时，由于无人机飞行的高度、拍摄的角度及摄像头设置的位置，导致红外图像与可见光图像会存在比例不一致的问题，若直接采用获取得红外图像与可见光图像进行配准，使得在配准的过程中由于特征点的位置、大小因为比例不一致导致配准误差非常大，而采用比例缩放后，使得红外图像与可见光图像的比例一致，然后对红外图像目标检测顶角点坐标集合和可见光目标检测顶角点坐标集合进行匹配，由于红外图像与可见光图像的比例一致，使得在匹配的过程中进行目标框类别及位置的匹配更加准确，避免因为图像比例的问题导致后续匹配的精准度低的问题。

在本发明的一实施例中，所述依据所述红外图像目标检测顶角点坐标集合和所述可见光目标检测顶角点坐标集合获得红外可见光匹配顶角点对的步骤包括：

S401、若所述可见光目标检测顶角点坐标集合中存在与所述所述红外图像目标检测顶角点坐标集合中的红外顶角点同类别的可见光顶角点，则将同类别的可见光顶角点坐标与红外顶角点坐标选出，计算同类别的可见光顶角点坐标与红外顶角点坐标的欧式距离D_o：

其中(x_i，y_i)为红外顶角点坐标，(x，y)为可见光顶角点坐标；

S402、将D_io与阈值进行比较，若D_io大于阈值，则D_io对应的同类别的可见光顶角点与红外顶角点不构成红外可见光匹配顶角点对；若D_io不大于阈值，则依据D_io对应的同类别的可见光顶角点与红外顶角点获得红外可见光匹配顶角点对。

需要说明的是，阈值为人工预设经验值，若D_io大于阈值，则说明D_io对应的同类别的可见光顶角点与红外顶角点的距离过大，一旦距离超过了预设的阈值则会导致后期匹配的误差过大，进一步影响配准的准确度。

在本发明的一实施例中，所述解析所述红外可见光匹配顶角点对获得匹配后的红外顶角点坐标矩阵的步骤包括：

S501、设红外可见光匹配顶角点对的个数为n，则自所述红外可见光匹配顶角点对中筛选出匹配后的红外顶角点坐标：

S502、依据所述匹配后的红外顶角点坐标获得红外顶角点坐标矩阵I，则

所述依据所述红外可见光匹配顶角点对和可见光图像获得还原后的可见光顶角点坐标矩阵的步骤包括：

S601、依据所述红外可见光匹配顶角点对中筛选出匹配后的可见光顶角点坐标，依据所述匹配后的可见光顶角点坐标自可见光图像中获得还原后的可见光顶角点坐标：

S602、依据所述还原后的可见光顶角点坐标获得还原后的可见光顶角点坐标矩阵0，则

在本发明的一实施例中，所述依据所述还原后的可见光顶角点坐标矩阵、所述匹配后的红外顶角点坐标矩阵和最小二乘法获得红外图与可见光图像的单应矩阵的步骤包括：

S701、将所述还原后的可见光顶角点坐标矩阵和所述匹配后的红外顶角点坐标矩阵依据最小二乘法进行计算：

H＝O(I·I^T)(I·I^T)^-1，其中I^T为I的转置矩阵，(I·I^T)^-1为(I·I^T)的逆矩阵；获得红外图与可见光图像的单应矩阵H，

所述依据红外图像像素点与所述红外图与可见光图像的单应矩阵，获得对应的可见光图像像素点坐标，依据所述红外图像像素点与所述对应的可见光图像像素点坐标对红外图像与可见光图像进行配准的步骤包括：

S702、依据匹配后的红外顶角点坐标获取匹配后的红外顶角点坐标对应的红外图像像素点坐标(x_i，y_i)；

S801、依据红外图像像素点坐标与所述红外图与可见光图像的单应矩阵H，获得对应的可见光图像像素点坐标(x_o，y_o)，

S802、依据所述红外图像像素点坐标与所述对应的可见光图像像素点坐标对红外图像与可见光图像进行配准。

实施例三：

请参考图1-3，在本实施方式中，服务器通过无人机获取生产运行中的光伏组件的红外图像和可见光图像，服务器选取红外图像的顶角目标框的中心点作为红外顶角点坐标，即服务器选取红外图像4个顶角按照一定的规律依次进行分类标注，本方案中采用顺时针对红外图像的左上角、右上角、右下角、左下角依次进行分类标注，然后对红外图像上4个顶角点进行目标检测，服务器选取红外图像的目标框的类别作为红外顶角点的类别，取目标框的中心点作为顶角点位置，取目标框的类别作为顶角点的类别，服务器依据红外顶角点坐标及红外顶角点的类别获得红外图像目标检测顶角点坐标集合；

然后服务器选取可见光图像的顶角目标框的中心点作为可见光顶角点坐标，即服务器选取可见光图像4个顶角按照一定的规律依次进行分类标注，本方案中采用顺时针对可见光图像的左上角、右上角、右下角、左下角依次进行分类标注，然后对可见光图像上4个顶角点进行目标检测，服务器选取可见光图像的目标框的类别作为可见光顶角点的类别，取目标框的中心点作为顶角点位置，取目标框的类别作为顶角点的类别，服务器依据可见光顶角点坐标及可见光顶角点的类别获得可见光图像目标检测顶角点坐标集合；

若红外图像与可见光图像的比例不一致，则服务器解析红外图像获得红外图像宽度和高度：W_i、H_i，其中W_i为红外图像的宽度，H_i为红外图像的高度；解析所述可见光图像获得可见光图像宽度和高度：W_o、H_o，其中W_o为可见光图像的宽度，H_o为可见光图像的高度；然后依据红外图像宽度和可见光图像宽度获取宽度缩放比例，依据红外图像高度和可见光图像高度获取宽度缩放比例，即

通过换算公式(x，y)＝(x_os_x，y_os_y)对可见光图像获得的顶角点坐标进行换算，从换算后的可见光顶角点坐标得到可见光目标检测顶角点坐标集合；

若所述可见光目标检测顶角点坐标集合中存在与所述所述红外图像目标检测顶角点坐标集合中的红外顶角点同类别的可见光顶角点，即在可见光目标检测顶角点坐标集合中寻找红外图像目标检测顶角点坐标集合中每一个红外顶角点，与红外顶角点属于同类别且距离最小的可见光顶角点，若存在某个红外顶角点与可见光顶角点同类别，则计算其欧式距离，则将同类别的可见光顶角点坐标与红外顶角点坐标选出，计算同类别的可见光顶角点坐标与红外顶角点坐标的欧式距离D_o：

其中(x_i，y_i)为红外顶角点坐标，(x，y)为可见光顶角点坐标；将D_io与阈值进行比较，若D_io大于阈值，则D_io对应的同类别的可见光顶角点与红外顶角点不构成红外可见光匹配顶角点对；若D_io不大于阈值，则依据D_io对应的同类别的可见光顶角点与红外顶角点获得红外可见光匹配顶角点对。

服务器根据红外图像和红外可见光匹配顶角点对进行计算，若存在n个红外可见光匹配顶角点对，则从红外可见光匹配顶角点对中筛选出来的匹配后的红外顶角点坐标可以表示为：

服务器依据匹配后的红外顶角点坐标生成红外顶角点坐标矩阵I，则红外顶角点坐标矩阵表示为：

服务器依据红外可见光匹配顶角点对中筛选出匹配后的可见光顶角点坐标，服务器依据匹配后的可见光顶角点坐标根据可见光图像中获得还原后的可见光顶角点坐标，即将匹配后的可见光顶角点坐标依据缩放比例对应至可见光图像(由无人机获取的可见光图像)中，获得还原后的可见光顶角点坐标：

然后服务器依据还原后的可见光顶角点坐标获得还原后的可见光顶角点坐标矩阵0，则存在：

服务器将还原后的可见光顶角点坐标矩阵和匹配后的红外顶角点坐标矩阵依据最小二乘法进行计算，将匹配后的红外顶角点坐标矩阵I和还原后的可见光顶角点坐标矩阵0按照以下公式进行计算

H＝O(I·I^T)(I·I^T)^-1，

其中I^T为I的转置矩阵，(I·I^T)^-1为(I·I^T)的逆矩阵；

获得计算后的红外图与可见光图像的单应矩阵H，

服务器依据匹配后的红外顶角点坐标获得匹配后的红外顶角点坐标对应的红外图像像素点坐标(x_i，y_i)；服务器依据红外图像像素点坐标与红外图与可见光图像的单应矩阵H，获得对应的可见光图像像素点坐标(x_o，y_o)，

服务器依据红外图像像素点坐标与对应的可见光图像像素点坐标对红外图像与可见光图像进行配准。

例如：已知红外图像像素点坐标(x_i，y_i)，求对应的可见光图像像素点坐标(x_o，y_o)的步骤如下：

已知某红外图像像素点坐标(x_i，y_i)，则对应的可见光坐标可表示为：

将对应的可见光坐标求出，即红外图像像素点坐标(x_i，y_i)，对应的可见光坐标坐标为(h₁·x_i+h₂·yi+h₃，h₄·x_i+h₅·y_i+h₆)，根据获得的红外图像像素点坐标与对应的可见光图像像素点坐标对红外图像与可见光图像进行配准，从而提高配准的准确度。

本发明提出一种基于目标检测的光伏红外图像与可见光图像配准装置100，图像获取模块110，用于获取生产运行中的光伏组件的红外图像和可见光图像；

目标检测模块120，用于对红外图像和可见光图像进行目标检测；

匹配模块130，用于对红外图像目标检测顶角点坐标集合和可见光目标检测顶角点集合进行匹配；

解析模块140，用于解析红外可见光匹配顶角点对、红外可见光匹配顶角点对和可见光图像；

计算模块150，用于计算对应的可见光图像像素点坐标。

实施例四：

请参考图4，在本实施方式中，基于目标检测的光伏红外图像与可见光图像配准装置100通过图像获取模块110获取生产运行中的光伏组件的红外图像和可见光图像，然后目标检测模块120对红外图像和可见光图像进行目标检测，获得红外图像目标检测顶角点坐标集合和可见光图像目标检测顶角点坐标集合，匹配模块130对红外图像目标检测顶角点坐标集合和可见光目标检测顶角点集合进行匹配获得红外可见光匹配顶角点对，解析模块140解析红外可见光匹配顶角点对获得匹配后的红外顶角点坐标矩阵，计算模块150依据所述红外可见光匹配顶角点对和可见光图像获得还原后的可见光顶角点坐标矩阵，依据所述还原后的可见光顶角点坐标矩阵、所述匹配后的红外顶角点坐标矩阵和最小二乘法获得红外图与可见光图像的单应矩阵；依据红外图像像素点与所述红外图与可见光图像的单应矩阵，获得对应的可见光图像像素点坐标，依据所述红外图像像素点与所述对应的可见光图像像素点坐标对红外图像与可见光图像进行配准，依据红外图像像素点与对应的可见光图像像素点坐标对红外图像与可见光图像进行配准，通过红外图像像素点与对应的可见光图像像素点坐标对应关系进行配准，使得红外图像与可见光图像配准误差更小。

本发明提出一种计算机设备200，包括存储器210和处理器220，所述存储器210存储有计算机程序，所述计算机程序被所述处理器220执行时，使得所述处理器220执行如上述的方法。

计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

请参考图5，该计算机设备包括通过终端总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质有存储操作终端，还可有存储计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述的基于目标检测的光伏红外图像与可见光图像配准方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述的基于目标检测的光伏红外图像与可见光图像配准方法。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述的方法。

本领域普通技术人员可以理解实现上述实施例系统中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各系统的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种光伏红外图像与可见光图像配准方法，其特征在于，包括：

获取生产运行中的光伏组件的红外图像和可见光图像；

对所述红外图像进行目标检测获得红外图像目标检测顶角点坐标集合；

对所述可见光图像进行目标检测获得可见光图像目标检测顶角点坐标集合；

依据所述红外图像目标检测顶角点坐标集合和所述可见光目标检测顶角点坐标集合获得红外可见光匹配顶角点对；

解析所述红外可见光匹配顶角点对获得匹配后的红外顶角点坐标矩阵；

依据所述红外可见光匹配顶角点对和可见光图像获得还原后的可见光顶角点坐标矩阵；

依据所述还原后的可见光顶角点坐标矩阵、所述匹配后的红外顶角点坐标矩阵和最小二乘法获得红外图与可见光图像的单应矩阵；

依据红外图像像素点与所述红外图与可见光图像的单应矩阵，获得对应的可见光图像像素点坐标，依据所述红外图像像素点与所述对应的可见光图像像素点坐标对红外图像与可见光图像进行配准。

2.根据权利要求1所述的光伏红外图像与可见光图像配准方法，其特征在于，所述对所述红外图像进行目标检测获得红外图像目标检测顶角点坐标集合的步骤包括：

选取所述红外图像的顶角目标框的中心点作为红外顶角点坐标，选取所述红外图像的目标框的类别作为红外顶角点的类别，依据所述红外顶角点坐标及所述红外顶角点的类别获得红外图像目标检测顶角点坐标集合。

3.根据权利要求1所述的光伏红外图像与可见光图像配准方法，其特征在于，所述对所述可见光图像进行目标检测获得可见光图像目标检测顶角点坐标集合的步骤包括：

选取所述可见光图像的顶角目标框的中心点作为可见光顶角点坐标，选取所述可见光图像的目标框的类别作为可见光顶角点的类别，依据所述可见光顶角点坐标及所述可见光顶角点的类别获得可见光图像目标检测顶角点坐标集合。

4.根据权利要求3所述的光伏红外图像与可见光图像配准方法，其特征在于，所述对所述可见光图像进行目标检测获得可见光图像目标检测顶角点坐标集合的步骤还包括：

若所述红外图像与所述可见光图像的比例不一致，则选取所述可见光图像的顶角目标框的中心点作为可见光顶角点坐标，选取所述可见光图像的目标框的类别作为可见光顶角点的类别，依据所述可见光顶角点坐标及所述可见光顶角点的类别获得原始可见光图像目标检测顶角点坐标集合；

解析所述红外图像获得红外图像宽度和高度：W_i、H_i，其中W_i为红外图像的宽度，H_i为红外图像的高度；

解析所述可见光图像获得可见光图像宽度和高度：W_o、H_o，其中W_o为可见光图像的宽度，H_o为可见光图像的高度；

依据红外图像宽度和可见光图像宽度获取宽度缩放比例：s_x，则有

依据红外图像高度和可见光图像高度获取宽度缩放比例：s_y，则有

获取原始的可见光顶角点坐标(x_o，y_o)；

依据(x_o，y_o)、s_x、s_y，获得可见光换算顶角点坐标(x，y)，则有

(x，y)＝(x_os_x，y_os_y)；

依据所有可见光换算顶角点坐标获得可见光图像目标检测顶角点坐标集合。

5.根据权利要求1所述的光伏红外图像与可见光图像配准方法，其特征在于，所述依据所述红外图像目标检测顶角点坐标集合和所述可见光目标检测顶角点坐标集合获得红外可见光匹配顶角点对的步骤包括：

若所述可见光目标检测顶角点坐标集合中存在与所述所述红外图像目标检测顶角点坐标集合中的红外顶角点同类别的可见光顶角点，则将同类别的可见光顶角点坐标与红外顶角点坐标选出，计算同类别的可见光顶角点坐标与红外顶角点坐标的欧式距离D_io：

其中(x_i，y_i)为红外顶角点坐标，(x，y)为可见光顶角点坐标；

将D_io与阈值进行比较，若D_io大于阈值，则D_io对应的同类别的可见光顶角点与红外顶角点不构成红外可见光匹配顶角点对；若D_io不大于阈值，则依据D_io对应的同类别的可见光顶角点与红外顶角点获得红外可见光匹配顶角点对。

6.根据权利要求1所述的光伏红外图像与可见光图像配准方法，其特征在于，所述解析所述红外可见光匹配顶角点对获得匹配后的红外顶角点坐标矩阵的步骤包括：

设红外可见光匹配顶角点对的个数为n，则自所述红外可见光匹配顶角点对中筛选出匹配后的红外顶角点坐标：

依据所述匹配后的红外顶角点坐标获得红外顶角点坐标矩阵I，则

所述依据所述红外可见光匹配顶角点对和可见光图像获得还原后的可见光顶角点坐标矩阵的步骤包括：

依据所述红外可见光匹配顶角点对中筛选出匹配后的可见光顶角点坐标，依据所述匹配后的可见光顶角点坐标自可见光图像中获得还原后的可见光顶角点坐标：

依据所述还原后的可见光顶角点坐标获得还原后的可见光顶角点坐标矩阵0，则

7.根据权利要求1所述的光伏红外图像与可见光图像配准方法，其特征在于，所述依据所述还原后的可见光顶角点坐标矩阵、所述匹配后的红外顶角点坐标矩阵和最小二乘法获得红外图与可见光图像的单应矩阵的步骤包括：

将所述还原后的可见光顶角点坐标矩阵和所述匹配后的红外顶角点坐标矩阵依据最小二乘法进行计算：

H＝O(I·I^T)(I·I^T)^-1，其中I^T为I的转置矩阵，(I·I^T)^-1为(I·I^T)的逆矩阵；

获得红外图与可见光图像的单应矩阵H，

所述依据红外图像像素点与所述红外图与可见光图像的单应矩阵，获得对应的可见光图像像素点坐标，依据所述红外图像像素点与所述对应的可见光图像像素点坐标对红外图像与可见光图像进行配准的步骤包括：

依据匹配后的红外顶角点坐标获取匹配后的红外顶角点坐标对应的红外图像像素点坐标；(x_i，y_i）

依据红外图像像素点坐标与所述红外图与可见光图像的单应矩阵H，获得对应的可见光图像像素点坐标(x_o，y_o)，

依据所述红外图像像素点坐标与所述对应的可见光图像像素点坐标对红外图像与可见光图像进行配准。

8.一种光伏红外图像与可见光图像配准装置，其特征在于，

图像获取模块，用于获取生产运行中的光伏组件的红外图像和可见光图像；

目标检测模块，用于对红外图像和可见光图像进行目标检测；

匹配模块，用于对红外图像目标检测顶角点坐标集合和可见光目标检测顶角点集合进行匹配；

解析模块，用于解析红外可见光匹配顶角点对、红外可见光匹配顶角点对和可见光图像；

计算模块，用于计算对应的可见光图像像素点坐标。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-7中所述的方法。

10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-7中所述的方法。