CN117351049B - 热成像与可见光融合的测点配准引导方法、设备和介质 - Google Patents
热成像与可见光融合的测点配准引导方法、设备和介质 Download PDFInfo
- Publication number
- CN117351049B CN117351049B CN202311640179.2A CN202311640179A CN117351049B CN 117351049 B CN117351049 B CN 117351049B CN 202311640179 A CN202311640179 A CN 202311640179A CN 117351049 B CN117351049 B CN 117351049B
- Authority
- CN
- China
- Prior art keywords
- visible light
- image
- constructing
- thermal imaging
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001931 thermography Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 title claims abstract description 14
- 230000009466 transformation Effects 0.000 claims abstract description 56
- 239000011159 matrix material Substances 0.000 claims abstract description 44
- 238000002329 infrared spectrum Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 18
- 239000002131 composite material Substances 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 39
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000001559 infrared map Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 5
- 238000009529 body temperature measurement Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明公开了一种热成像与可见光融合的测点配准引导方法、设备和介质，包括以下具体步骤：获取红外图谱图像和可见光图像，构建多通道模型对红外图谱图像和可见光图像进行图像处理，确定图像轮廓；构建复合损失函数计算图像轮廓相似度；基于多通道模型估计变换矩阵，通过变换矩阵和相似度进行红外图谱图像和可见光图像配准。通过构建多通道模型对红外图谱图像和可见光图像进行图像处理，可避免热成像场景相似而可见光场景不相似造成的测点误判，通过相似度和估计变换矩阵对图像进行对准，能够精确的对齐测量点位，更加精准的观测、跟踪、研判设备测点的温度信息。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种热成像与可见光融合的测点配准引导方法、设备和介质。
背景技术
在电站生产环境进行运行设备的热缺陷检测时常常需要在相同的位置及角度对设备进行测温监测，然而在实际巡检过程中，工作人员无法较为精确的对齐上一次测量的点位，即使是巡检机器人也在对齐点位时存在较大的偏差。目前通常采用以下三种作业方式：
第一种，人工作业方式：在变电站巡检或输电线路巡检时采用人工手持或穿戴测温设备进行测温监测，要求工作人员相对富有测温从业经验，对常见的易发生设备发热故障的测点有精确的掌控，对于电力运维人员的班组队伍存在较多新成员，常存在经验不足的情况；
第二种，人机协同作业方式，由巡检机器人（轮毂或四足机器人等）在现场作业采集热成像图，人工根据采集数据分析确认，由于巡检机器人存在轨道偏移，若对特定变电设备采集热成像图的视场偏移较大，将导致设备热缺陷分析失败；
第三种，智能监护作业方式，由定点监护设备构成，在持续的云台转动过程中将会出现偏移或丢失目标的情况；同时以上三种情况都会出现预置标定测温区域失效，特别是在多设备重叠区域的情况下，进而导致后续针对测温区的判据失效，测温监测失准，造成一定的生产损失。对于以上所述，在以往提出的基于轮廓重合的方法已经不能满足当前多种场景下的测点对齐要求，不能从根本上解决测点的配准及引导，因此本文提出了一种基于热成像与可见光双通道融合的测点配准及引导方法，其中第一，此算法输出测点相似度，可有效表示当前视场的重合程度；第二，此算法输出的变换矩阵，可应用于控制巡检机器、云台等伺服电机的位移，进而更加精确的匹配测点进行测温监测。
发明内容
本发明所要解决的技术问题是热缺陷检测对准偏差大，目的在于提供一种热成像与可见光融合的测点配准引导方法、设备和介质，通过构建双通道模型分别进行可见光比较和热成像图谱比较，输出图像轮廓，可避免热成像场景相似而可见光场景不相似造成的测点误判，通过相似度和估计变换矩阵对图像进行对准，能够精确的对齐测量点位，更加精准的观测、跟踪、研判设备测点的温度信息。
本发明通过下述技术方案实现：
本发明第一方面提供一种热成像与可见光融合的测点配准引导方法，包括以下具体步骤：
获取红外图谱图像和可见光图像，构建多通道模型对红外图谱图像和可见光图像进行图像处理，确定图像轮廓；
构建复合损失函数计算图像轮廓相似度；
基于多通道模型估计变换矩阵，通过变换矩阵和相似度进行红外图谱图像和可见光图像配准。
本发明通过构建多通道模型对红外图谱图像和可见光图像进行图像处理，确定图像轮廓，可避免热成像场景相似而可见光场景不相似造成的测点误判，构建复合损失函数计算图像轮廓相似度，通过相似度和估计变换矩阵对图像进行对准，能够精确的对齐测量点位，更加精准的观测、跟踪、研判设备测点的温度信息。
进一步的，所述多通道模型包括热成像通道和可见光通道。
所述热成像通道包括两个卷积分支和一个全连接层，用于对红外图谱图像进行轮廓提取；
所述可见光通道用于对可见光图像进行轮廓提取。
进一步的，所述卷积分支构建步骤包括：
构建填充层对输入的二维图像进行填充；
构建二维卷积层对填充后的图像进行卷积处理；
采用ReLU激活函数对卷积处理后图像进行非线性处理；
构建二维批正则化层对多通道模型进行训练；
构建二维随机丢弃层，以概率随机将非线性处理后的输入元素进行初始化设置。
进一步的，所述全连接层构建步骤包括：
构建第一线性变换层，将输入数据的维度进行线性变换，并将其映射到较低维度的特征空间，采用ReLU激活函数对映射后的特征进行非线性处理；
构建第二线性变换层，增加模型复杂度，采用ReLU激活函数对第二线性变换层的数据进行非线性处理；
构建第三线性变换层将输入特征映射到输出类别进行特征输出。
进一步的，所述可见光通道构建步骤包括：
加载预训练的 VGG16 模型，将VGG16 模型的权重设置为不可训练；
采用 VGG16模型的卷积部分对可见光图像进行特征提取；
构建两个空洞卷积层，设置输出通道数和特征图尺寸；
根据空洞卷积层的输出通道数和特征图尺寸，构建全连接层和输出层，提取特征并输出。
进一步的，所述构建复合损失函数包括：
采用余弦距离构造可见光通道损失函数；
采用欧式距离构造热成像通道损失函数；
采用加权计算将可见光通道损失函数和热成像通道损失函数进行融合，得到复合损失函数。
进一步的，所述基于多通道模型估计变换矩阵具体包括：
将红外图谱图像和可见光图像分别输入卷积分支网络中，提取图像高层抽象特征；
采用SIFT算法确定关键点，使用特征描述算子对关键点进行描述；
通过匹配算法将红外图谱图像和可见光图像的关键点进行匹配，进行变换矩阵估计。
进一步的，所述通过变换矩阵和相似度进行红外图谱图像和可见光图像配准，具体包括：
反转变换矩阵，得到变换矩阵的逆矩阵；
定义原始点坐标，将逆变换矩阵与原始点坐标相乘，得到变换的坐标；
基于变换的坐标确定移动距离。
本发明第二方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现一种热成像与可见光融合的测点配准引导方法。
本发明第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种热成像与可见光融合的测点配准引导方法。
本发明与现有技术相比，具有如下的优点和有益效果：
通过构建多通道模型对红外图谱图像和可见光图像进行图像处理，确定图像轮廓，可避免热成像场景相似而可见光场景不相似造成的测点误判，构建复合损失函数计算图像轮廓相似度，通过相似度和估计变换矩阵对图像进行对准，能够精确的对齐测量点位，更加精准的观测、跟踪、研判设备测点的温度信息。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
图1为本发明实施例中的方法流程图；
图2为本发明实施例中的多通道模型结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
作为一种可能的实施例，如图1所示，本实施例第一方面提供一种热成像与可见光融合的测点配准引导方法，包括以下具体步骤：
获取红外图谱图像和可见光图像，构建多通道模型对红外图谱图像和可见光图像进行图像处理，确定图像轮廓；
构建复合损失函数计算图像轮廓相似度；
基于多通道模型估计变换矩阵，通过变换矩阵和相似度进行红外图谱图像和可见光图像配准。
本实施例通过构建多通道模型对红外图谱图像和可见光图像进行图像处理，确定图像轮廓，可避免热成像场景相似而可见光场景不相似造成的测点误判，构建复合损失函数计算图像轮廓相似度，通过相似度和估计变换矩阵对图像进行对准，能够精确的对齐测量点位，更加精准的观测、跟踪、研判设备测点的温度信息。
在一些可能的实施例中，获取红外图谱图像和可见光图像包括：
设置可见光摄像头与红外图谱摄像头的相对位置保持不变，并且在测试时确保采集图像属于同一场景进行图像采集，在电站所有设备测点中，随机抽取40个测点进行拍摄，每组测点拍摄20组不同角度的热成像图与可见光图。
在一些可能的实施例中，如图2所示，多通道模型包括热成像通道和可见光通道，共有4个输入端，即可见光通道有两个输入端，热成像通道有两个输入端。
其中热成像通道采用的是定义了两个卷积分支（cnn1）和一个全连接层（fc1），两个卷积分支的权重是共享的；
卷积分支的设计步骤包括：nn.ReflectionPad2d(1)是一个填充层，它在输入的二维图像周围填充一圈0，使得输入尺寸在空间维度上增加2，以保持特征图的大小。然后，nn.Conv2d(1, 4, kernel_size=3)是一个二维卷积层，输入通道数为1，输出通道数为4，卷积核大小为3×3。 接下来，nn.ReLU(inplace=True)是一个ReLU激活函数，通过将负值置为零来引入非线性。 之后，nn.BatchNorm2d(4) 是一个二维批正则化层，用于加速训练并提高模型的稳定性。 最后，nn.Dropout2d(p=0.2) 是一个二维随机丢弃层，它以0.2的概率随机将输入元素设置为0，有助于减少过拟合。
全连接层的设计步骤包括：用于将卷积分支提取的特征进行分类或回归。nn.Linear(8 * 100 * 100, 500) 定义了一个线性变换层，输入大小为 8 * 100 * 100，输出大小为 500。这个层将输入数据的维度进行线性变换，并将其映射到较低维度的特征空间。接下来，nn.ReLU(inplace=True) 是一个ReLU激活函数，通过将负值置为零来引入非线性。 紧随其后，定义了第二个线性变换层 nn.Linear(500, 500)，输入大小为 500，输出大小也为 500。这一层可以增加模型的表达能力和复杂度。同样地，使用 nn.ReLU(inplace=True) 来引入非线性。最后，定义了最后一个线性变换层 nn.Linear(500, 5)，将输入特征映射到最终的输出类别。输入大小为 500，输出大小为 5，意味着模型预测的类别数量为5。整个 nn.Sequential 中的层依次连接起来，组成了全连接层的结构，并构成了此算法结构的图像轮廓输出。
可见光通道的设计包括：加载了预训练的 VGG16 模型，并将其权重设置为不可训练。然后获取 VGG16 的卷积部分作为特征提取器，存储在 self.feature_extractor 中。接下来，添加了两个空洞卷积层 self.dilated_conv1 和 self.dilated_conv2。这两个卷积层的输入通道数为 512（对应 VGG16 的输出通道数），输出通道数为 64，卷积核大小为3x3，膨胀率为 2。 然后，定义了全连接层和输出层，其中全连接层的输入维度根据空洞卷积层的输出通道数和特征图尺寸计算得到，最后输出层的尺寸根据任务的类别数决定在forward 方法中，通过 feature_extractor 提取特征，然后经过空洞卷积层、其他自定义层，最后经过全连接层和输出层得到预测结果。
在一些可能的实施例中，构建复合损失函数包括：
采用余弦距离构造可见光通道损失函数；
采用欧式距离构造热成像通道损失函数；
采用加权计算将可见光通道损失函数和热成像通道损失函数进行融合，得到复合损失函数。
其中，余弦距离是衡量两个向量之间夹角的一种度量方式，它描述了向量之间的方向差异，而不考虑其长度。余弦距离的取值范围在[-1, 1]之间，值越接近1表示向量越相似，越接近-1表示向量越不相似；
欧式距离是常见的距离度量方式，用于衡量两个向量之间的距离。它计算了向量之间在每个维度上的差异，并将这些差异平方后再求和并开根号。欧式距离的取值范围是非负的。最后，通过加权计算将两个通道的损失函数进行融合。加权计算可以使用简单的线性组合，其中可见光通道的损失函数和热成像通道的损失函数分别乘以权重因子，然后相加得到总体损失函数。权重因子可以根据具体任务需求和数据特点进行调整。总体损失函数的计算公式可以表示为：Loss=w1·cosine_loss+w2·euclidean_loss，其中，cosine_loss表示可见光通道的余弦距离损失，euclidean_loss表示热成像通道的欧式距离损失，w1和w2分别表示对应通道损失的权重因子。 通过设置合适的权重因子，目前的权重因子为热成像通道0.6，可见光通道0.4，可以平衡可见光通道和热成像通道对总体损失的贡献。
在一些可能的实施例中，基于多通道模型估计变换矩阵具体包括：
cnn1卷积分支作为特征提取器，将红外图谱图像和可见光图像分别输入卷积分支网络中，分别获取红外图谱图像和可见光图像的特征表示，在cnn1中，通过堆叠卷积层、池化层和激活函数等操作，提取图像高层抽象特征；
采用SIFT算法确定关键点，使用特征描述算子对关键点进行描述；
通过匹配算法将红外图谱图像和可见光图像的关键点进行匹配，进行变换矩阵估计，匹配算法可以采用基于最近邻居匹配或RANSAC算法
变换矩阵估计：利用匹配的特征点对，使用RANSAC算法来估计出适应于两个图像之间的几何变换模型（如仿射变换、透视变换等）。通过特征点匹配，可以计算出变换矩阵。需要注意的是，使用CNN进行特征提取可以更加鲁棒地获取图像的特征表示，有助于提高特征点检测和匹配算法的性能。这种方法结合了深度学习和传统的特征点匹配算法，以实现更准确和稳健的图像配准。并且输出了变换矩阵，可进一步通过机械控制或引导辅助配准。
在一些可能的实施例中，红外图谱图像和可见光图像进行对比产生的变换矩阵通常是一个 3x3 的透视变换矩阵，通过变换矩阵和相似度进行红外图谱图像和可见光图像配准，具体包括：
反转变换矩阵，使用 numpy 库中的 inv 函数计算得到变换矩阵的逆矩阵；
定义原始点坐标，(x, y, 1)，其中 1 是因使用的是齐次坐标，将逆变换矩阵与原始点坐标相乘，得到变换的坐标；
基于变换的坐标确定移动距离：计算变换后的坐标与原始坐标之间的差异，即移动距离；
在一些可能的实施例中，将变换矩阵应用于某个点，并获得在转换后的坐标系中的 x、y 和 z 变量，需要进行以下步骤：将点的坐标表示为齐次坐标（HomogeneousCoordinates）。设原始点的坐标为 (x, y, z)，则将其表示为一个 3x1 的列向量 P = [x,y, z, 1]。将点的坐标通过变换矩阵 T 进行转换。通过矩阵乘法运算，计算转换后的坐标P' = T * P。归一化转换后的齐次坐标。将坐标 P'中的前三个分量除以第四个分量，得到归一化坐标 P_normalized = [x', y', z']= [P' / P' [3]]。通过这种方式，可以将点在原始坐标系中的坐标 (x, y, z) 转化为转换后坐标系中的变量(x', y', z')；
可视化输出在x轴与y轴的配准分量，便于手动调节，同时将配准热成像图谱提取关键轮廓，进一步指导配准。
在一些可能的实施例中，通过控制信号进行坐标变换，具体包括：通过变换矩阵将图像A中的某个关键点坐标k1转换到图像B中的坐标k3，现在想计算k3与图像A中对应关键点坐标k2的差量（x，y，z），你可以按照以下步骤进行计算： 定义k2和k3的齐次坐标：将k2和k3的坐标表示为齐次坐标，即在末尾添加一个额外的分量1。例如，对于k3，我们定义k3_homogeneous = [x3, y3, z3, 1]。 计算差量向量：计算k3和k2之间的差量向量，即k3_homogeneous - k2_homogeneous。这将给出一个四维向量 [dx, dy, dz, dw]。 归一化差量向量：将差量向量的前三个分量除以第四个分量，即[x, y, z] = [dx/dw, dy/dw, dz/dw]，可以通过此坐标配准量控制伺服电机运动。
本实施例第二方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现一种热成像与可见光融合的测点配准引导方法。
本实施例第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种热成像与可见光融合的测点配准引导方法。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种热成像与可见光融合的测点配准引导方法，其特征在于，包括以下具体步骤：
获取红外图谱图像和可见光图像，构建多通道模型对红外图谱图像和可见光图像进行图像处理，确定图像轮廓；
所述多通道模型包括热成像通道和可见光通道；
所述热成像通道包括两个卷积分支和一个全连接层，用于对红外图谱图像进行轮廓提取；
所述可见光通道用于对可见光图像进行轮廓提取；
所述卷积分支构建步骤包括：
构建填充层对输入的二维图像进行填充；
构建二维卷积层对填充后的图像进行卷积处理；
采用ReLU激活函数对卷积处理后图像进行非线性处理；
构建二维批正则化层对多通道模型进行训练；
构建二维随机丢弃层，以概率随机将非线性处理后的输入元素进行初始化设置；
所述全连接层构建步骤包括：
构建第一线性变换层，将输入数据的维度进行线性变换，并将其映射到较低维度的特征空间，采用ReLU激活函数对映射后的特征进行非线性处理；
构建第二线性变换层，增加模型复杂度，采用ReLU激活函数对第二线性变换层的数据进行非线性处理；
构建第三线性变换层将输入特征映射到输出类别进行特征输出；
所述可见光通道构建步骤包括：
加载预训练的 VGG16 模型，将VGG16 模型的权重设置为不可训练；
采用 VGG16模型的卷积部分对可见光图像进行特征提取；
构建两个空洞卷积层，设置输出通道数和特征图尺寸；
根据空洞卷积层的输出通道数和特征图尺寸，构建全连接层和输出层，提取特征并输出；
构建复合损失函数计算图像轮廓相似度；
基于多通道模型估计变换矩阵，通过变换矩阵和相似度进行红外图谱图像和可见光图像配准；
所述基于多通道模型估计变换矩阵具体包括：
将红外图谱图像和可见光图像分别输入卷积分支网络中，提取图像高层抽象特征；
采用SIFT算法确定关键点，使用特征描述算子对关键点进行描述；
通过匹配算法将红外图谱图像和可见光图像的关键点进行匹配，进行变换矩阵估计。
2.根据权利要求1所述的热成像与可见光融合的测点配准引导方法，其特征在于，所述构建损失函数包括：
采用余弦距离构造可见光通道损失函数；
采用欧式距离构造热成像通道损失函数；
采用加权计算将可见光通道损失函数和热成像通道损失函数进行融合，得到复合损失函数。
3.根据权利要求1所述的热成像与可见光融合的测点配准引导方法，其特征在于，所述通过变换矩阵和轮廓相似度进行红外图谱图像和可见光图像配准，具体包括：
反转变换矩阵，得到变换矩阵的逆矩阵；
定义原始点坐标，将逆变换矩阵与原始点坐标相乘，得到变换的坐标；
基于变换的坐标确定移动距离。
4.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述的热成像与可见光融合的测点配准引导方法。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至3任一项所述的热成像与可见光融合的测点配准引导方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311640179.2A CN117351049B (zh) | 2023-12-04 | 2023-12-04 | 热成像与可见光融合的测点配准引导方法、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311640179.2A CN117351049B (zh) | 2023-12-04 | 2023-12-04 | 热成像与可见光融合的测点配准引导方法、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117351049A CN117351049A (zh) | 2024-01-05 |
| CN117351049B true CN117351049B (zh) | 2024-02-13 |
Family
ID=89355981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311640179.2A Active CN117351049B (zh) | 2023-12-04 | 2023-12-04 | 热成像与可见光融合的测点配准引导方法、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351049B (zh) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268853A (zh) * | 2014-03-06 | 2015-01-07 | 上海大学 | 一种红外图像与可见光图像配准方法 |
| CN104408700A (zh) * | 2014-11-21 | 2015-03-11 | 南京理工大学 | 基于形态学和pca的轮廓波红外与可见光图像融合方法 |
| CN106257535A (zh) * | 2016-08-11 | 2016-12-28 | 河海大学常州校区 | 基于surf算子的电气设备红外与可见光图像配准方法 |
| CN106981077A (zh) * | 2017-03-24 | 2017-07-25 | 中国人民解放军国防科学技术大学 | 基于dce和lss的红外图像和可见光图像配准方法 |
| CN109146930A (zh) * | 2018-09-20 | 2019-01-04 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
| AU2020100178A4 (en) * | 2020-02-04 | 2020-03-19 | Huang, Shuying DR | Multiple decision maps based infrared and visible image fusion |
| AU2020102091A4 (en) * | 2019-10-17 | 2020-10-08 | Wuhan University Of Science And Technology | Intelligent steel slag detection method and system based on convolutional neural network |
| CN112288758A (zh) * | 2020-05-25 | 2021-01-29 | 国网江苏省电力有限公司常州供电分公司 | 一种电力设备红外与可见光图像配准方法 |
| AU2021101531A4 (en) * | 2021-03-25 | 2021-05-13 | Sichuan University of Science and Engineering | A Fusion Method of Infrared Image and Visible Image |
| CN112801182A (zh) * | 2021-01-27 | 2021-05-14 | 安徽大学 | 一种基于困难样本感知的rgbt目标跟踪方法 |
| KR102257752B1 (ko) * | 2020-05-14 | 2021-05-31 | 인천대학교 산학협력단 | 인공지능 기반 적외선 이미지와 가시광선 이미지를 융합하는 영상 융합 장치 및 방법 |
| WO2021120007A1 (zh) * | 2019-12-17 | 2021-06-24 | 深圳先进技术研究院 | 一种基于红外图像序列的睡眠质量评估系统和方法 |
| CN113920097A (zh) * | 2021-10-14 | 2022-01-11 | 国网河南省电力公司电力科学研究院 | 一种基于多源图像的电力设备状态检测方法及系统 |
| CN113989336A (zh) * | 2021-11-05 | 2022-01-28 | 上海热像科技股份有限公司 | 一种可见光图像和红外图像配准方法及装置 |
| CN114066955A (zh) * | 2021-11-19 | 2022-02-18 | 安徽大学 | 一种红外光图像配准到可见光图像的配准方法 |
| CN114120013A (zh) * | 2021-11-23 | 2022-03-01 | 同济大学 | 一种红外与rgb跨模态特征点匹配方法 |
| CN115393404A (zh) * | 2022-09-16 | 2022-11-25 | 烟台艾睿光电科技有限公司 | 双光图像配准方法、装置及设备、存储介质 |
| CN115601407A (zh) * | 2022-09-14 | 2023-01-13 | 中国科学院西安光学精密机械研究所（Cn） | 一种红外与可见光图像配准方法 |
| CN116681636A (zh) * | 2023-07-26 | 2023-09-01 | 南京大学 | 基于卷积神经网络的轻量化红外与可见光图像融合方法 |
| CN117011346A (zh) * | 2023-06-27 | 2023-11-07 | 浙江上风高科专风实业股份有限公司 | 鼓风机图像配准算法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7924312B2 (en) * | 2008-08-22 | 2011-04-12 | Fluke Corporation | Infrared and visible-light image registration |
| US10152811B2 (en) * | 2015-08-27 | 2018-12-11 | Fluke Corporation | Edge enhancement for thermal-visible combined images and cameras |
-
2023
- 2023-12-04 CN CN202311640179.2A patent/CN117351049B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268853A (zh) * | 2014-03-06 | 2015-01-07 | 上海大学 | 一种红外图像与可见光图像配准方法 |
| CN104408700A (zh) * | 2014-11-21 | 2015-03-11 | 南京理工大学 | 基于形态学和pca的轮廓波红外与可见光图像融合方法 |
| CN106257535A (zh) * | 2016-08-11 | 2016-12-28 | 河海大学常州校区 | 基于surf算子的电气设备红外与可见光图像配准方法 |
| CN106981077A (zh) * | 2017-03-24 | 2017-07-25 | 中国人民解放军国防科学技术大学 | 基于dce和lss的红外图像和可见光图像配准方法 |
| CN109146930A (zh) * | 2018-09-20 | 2019-01-04 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
| AU2020102091A4 (en) * | 2019-10-17 | 2020-10-08 | Wuhan University Of Science And Technology | Intelligent steel slag detection method and system based on convolutional neural network |
| WO2021120007A1 (zh) * | 2019-12-17 | 2021-06-24 | 深圳先进技术研究院 | 一种基于红外图像序列的睡眠质量评估系统和方法 |
| AU2020100178A4 (en) * | 2020-02-04 | 2020-03-19 | Huang, Shuying DR | Multiple decision maps based infrared and visible image fusion |
| KR102257752B1 (ko) * | 2020-05-14 | 2021-05-31 | 인천대학교 산학협력단 | 인공지능 기반 적외선 이미지와 가시광선 이미지를 융합하는 영상 융합 장치 및 방법 |
| CN112288758A (zh) * | 2020-05-25 | 2021-01-29 | 国网江苏省电力有限公司常州供电分公司 | 一种电力设备红外与可见光图像配准方法 |
| CN112801182A (zh) * | 2021-01-27 | 2021-05-14 | 安徽大学 | 一种基于困难样本感知的rgbt目标跟踪方法 |
| AU2021101531A4 (en) * | 2021-03-25 | 2021-05-13 | Sichuan University of Science and Engineering | A Fusion Method of Infrared Image and Visible Image |
| CN113920097A (zh) * | 2021-10-14 | 2022-01-11 | 国网河南省电力公司电力科学研究院 | 一种基于多源图像的电力设备状态检测方法及系统 |
| CN113989336A (zh) * | 2021-11-05 | 2022-01-28 | 上海热像科技股份有限公司 | 一种可见光图像和红外图像配准方法及装置 |
| CN114066955A (zh) * | 2021-11-19 | 2022-02-18 | 安徽大学 | 一种红外光图像配准到可见光图像的配准方法 |
| CN114120013A (zh) * | 2021-11-23 | 2022-03-01 | 同济大学 | 一种红外与rgb跨模态特征点匹配方法 |
| CN115601407A (zh) * | 2022-09-14 | 2023-01-13 | 中国科学院西安光学精密机械研究所（Cn） | 一种红外与可见光图像配准方法 |
| CN115393404A (zh) * | 2022-09-16 | 2022-11-25 | 烟台艾睿光电科技有限公司 | 双光图像配准方法、装置及设备、存储介质 |
| CN117011346A (zh) * | 2023-06-27 | 2023-11-07 | 浙江上风高科专风实业股份有限公司 | 鼓风机图像配准算法 |
| CN116681636A (zh) * | 2023-07-26 | 2023-09-01 | 南京大学 | 基于卷积神经网络的轻量化红外与可见光图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 可见光-红外特征交互与融合的YOLOv5目标检测算法;解宇敏 等;控制理论与应用;1-9 * |
| 基于N-RGAN模型的红外与可见光图像融合;沈瑜 等;红外技术;第45卷(第9期);897-906 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117351049A (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230080133A1 (en) | 6d pose and shape estimation method | |
| CN109934857B (zh) | 一种基于卷积神经网络与orb特征的回环检测方法 | |
| CN111709980A (zh) | 基于深度学习的多尺度图像配准方法和装置 | |
| CN110260866A (zh) | 一种基于视觉传感器的机器人定位与避障方法 | |
| Ye et al. | Keypoint-based LiDAR-camera online calibration with robust geometric network | |
| CN114219855A (zh) | 点云法向量的估计方法、装置、计算机设备和存储介质 | |
| Zhao et al. | Palletizing robot positioning bolt detection based on improved YOLO-V3 | |
| Al-Sabbag et al. | Enabling human–machine collaboration in infrastructure inspections through mixed reality | |
| Chesi et al. | Automatic segmentation and matching of planar contours for visual servoing | |
| Seo et al. | A branch-and-bound algorithm for globally optimal calibration of a camera-and-rotation-sensor system | |
| Jiafa et al. | Target distance measurement method using monocular vision | |
| CN114559191A (zh) | 自动焊接系统及方法 | |
| CN113160330B (zh) | 基于端到端的相机与激光雷达标定方法、系统及介质 | |
| Yang et al. | A trajectory planning method for robot scanning system uuuusing mask R-CNN for scanning objects with unknown model | |
| CN117351049B (zh) | 热成像与可见光融合的测点配准引导方法、设备和介质 | |
| Mharolkar et al. | RGBDTCalibNet: End-to-end Online Extrinsic Calibration between a 3D LiDAR, an RGB Camera and a Thermal Camera | |
| Ponce et al. | Distance estimation using a bio-inspired optical flow strategy applied to neuro-robotics | |
| Hu et al. | Fast 6D object pose estimation of shell parts for robotic assembly | |
| CN115219492B (zh) | 一种三维物体的外观图像采集方法及装置 | |
| Song et al. | A CNN-based online self-calibration of binocular stereo cameras for pose change | |
| Zhang et al. | Attention Mechanism-based Monocular Depth Estimation and Visual Odometry | |
| Aranda et al. | Angle-based homing from a reference image set using the 1D trifocal tensor | |
| Kicki et al. | Measuring bending angle and hallucinating shape of elongated deformable objects | |
| Xiang et al. | Learnable Upsampling-Based Point Cloud Semantic Segmentation | |
| CN114332187B (zh) | 单目目标测距方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |