CN111985625B - 一种红外-可见光融合的深度神经网络及其建模方法 - Google Patents

一种红外-可见光融合的深度神经网络及其建模方法 Download PDF

Info

Publication number
CN111985625B
CN111985625B CN202010919286.9A CN202010919286A CN111985625B CN 111985625 B CN111985625 B CN 111985625B CN 202010919286 A CN202010919286 A CN 202010919286A CN 111985625 B CN111985625 B CN 111985625B
Authority
CN
China
Prior art keywords
infrared
module
visible light
fusion
encoder module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010919286.9A
Other languages
English (en)
Other versions
CN111985625A (zh
Inventor
李学钧
戴相龙
蒋勇
何成虎
王晓鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Haohan Information Technology Co ltd
Original Assignee
Jiangsu Haohan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Haohan Information Technology Co ltd filed Critical Jiangsu Haohan Information Technology Co ltd
Priority to CN202010919286.9A priority Critical patent/CN111985625B/zh
Publication of CN111985625A publication Critical patent/CN111985625A/zh
Application granted granted Critical
Publication of CN111985625B publication Critical patent/CN111985625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种红外‑可见光融合的深度神经网络及其建模方法，包括：红外编码器模块，用于提取红外摄像机采集的红外图像特征；可见光编码器模块，用于提取可见光摄像机采集的可见光图像特征；解码器模块，将所述红外编码器模块与所述可见光编码器模块融合为融合编码器模块，所述融合编码器模块输出至所述解码器模块；模型训练模块，所述解码器模块输出至所述模型训练模块，所述模型训练模块用于对所述深度神经网络模型进行训练。本发明的一种红外‑可见光融合的深度神经网络及其建模方法，构建了基于红外图像以及可见光图像的双光融合的危险源分割网络模型，能够结合两种摄像机的优势，解决了单一红外或者单一可见光摄像机定位危险源的缺点。

Description

一种红外-可见光融合的深度神经网络及其建模方法
技术领域
本发明涉及电力监控技术领域，具体涉及一种红外-可见光融合的深度神经网络及其建模方法。
背景技术
随着我国国民经济的增长和生活水平的提高，电力的需求也日益增加，电力系统电网规模的扩大和电力负荷的提高，使电力设备损坏、故障及严重时造成设备烧损等事故发生的可能性增加。为尽可能避免各类电力事故，减少事故导致的重大经济损失势在必行，刻不容缓。
单一的热成像系统只能定位到发热的危险源，单一的可见光系统则无法定位仅仅发热的危险源。传统的视频监控技术只提供视频捕捉、存储和回放等简单功能，不具备视频分析功能和异常判断能力，智能化程度不够高，很难起到预警和报警的作用。
发明内容
为了解决上述问题，本发明提供一种红外-可见光融合的深度神经网络及其建模方法，构建了基于红外图像以及可见光图像的双光融合的危险源分割网络模型，能够结合两种摄像机的优势，解决了单一红外或者单一可见光摄像机定位危险源的缺点。
为了实现以上目的，本发明采取的一种技术方案是：
一种红外-可见光融合的深度神经网络，包括：红外编码器模块，用于提取红外摄像机采集的红外图像特征，所述红外编码器模块包括三个Dwblock模块以及两个残差模块，红外图像依次输出至Dwblock模块、残差模块、Dwblock模块、Dwblock模块、残差模块以及1×1卷积层；可见光编码器模块，用于提取可见光摄像机采集的可见光图像特征，所述可见光编码器模块包括两个Dwblock模块以及两个残差模块，可见光图像依次输出至Dwblock模块、残差模块、Dwblock模块、残差模块以及1×1卷积层；解码器模块，将所述红外编码器模块与所述可见光编码器模块融合为融合编码器模块，所述融合编码器模块输出至所述解码器模块；以及模型训练模块，所述解码器模块输出至所述模型训练模块，所述模型训练模块用于对所述深度神经网络模型进行训练。
进一步地，所述Dwblock模块依次由数据填充、纵向卷积操作、批归一化处理、卷积操作和批归一化处理构成，其中，所述纵向卷积操作指输入图像有N个通道，就采用N个卷积核进行卷积，其中N为正整数。
进一步地，所述数据填充操作指将所述红外图像或所述可见光图像的边界进行扩充，针对每个输入xi所述批处理归一化过程为：xi＝(xi-u)/(sqrt((xi-v)2)+e)，其中，u为输入{x1，x2，x3，...，xn}的均值，v为输入{x1，x2，x3，...，xn}的方差，e是一个小小偏置，防止分母趋向于0。
进一步地，对所述批处理归一化的结果xi进行了scale加上shift操作，即xi＝scale*xi+shift，其中scale和shift通过学习得到。
进一步地，当输入为x时，所述残差模块输出为F(x)+x。
本发明还提供了一种基于以上所述的红外-可见光融合的深度神经网络的建模方法，包括如下步骤：S10通过红外摄像机以及可见光摄像机分别采集红外图像与可见光图像，分别在所述红外图像与所述可见光图像中标注出危险源位置，构建双光危险源分割数据集；S20构建可见光编码器模块以及红外编码器模块，并将可见光编码器模块以及红外编码器模块融合获得融合编码器模块，进而将所述双光危险源分割数据集输入所述融合编码器模块获得融合特征值；S30构建解码模块，将所述融合特征值输入所述解码模块，将所述解码模块输出至softmax层，完成建模。
进一步地，还包括S40步骤，位于所述S30步骤之后，交叉熵损失函数和梯度下降算法进行模型训练，损失函数定义如下：
其中，ti为真实值，yi代表softmax第i个输出值，i表示类别索引，C总的类别个数，vi表示解码模块的第i个输出。
本发明的上述技术方案相比现有技术具有以下优点：
本发明的一种红外-可见光融合的深度神经网络及其建模方法，利用编码器来提取图像特征，利用解码器重构融合后的图像，构建了基于红外图像以及可见光图像的双光融合的危险源分割网络模型，能够结合两种摄像机的优势，解决了单一红外或者单一可见光摄像机定位危险源的缺点，结合了两种传感器的优势，既能定位监控中的发热危险源，也能定位到可见光图像中定义的危险源，确保了电力监控效率，避免各类电力事故，减少事故导致的重大经济损失。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其有益效果显而易见。
图1所示为本发明一实施例的一种红外-可见光融合的神经网络结构图；
图2所示为本发明一实施例的一种红外-可见光融合的可见光编码器模块结构图；
图3所示为本发明一实施例的一种红外-可见光融合的红外编码器模块结构图；
图4所示为本发明一实施例的残差块的结构图；
图5所示为本发明一实施例的一种红外-可见光融合的神经网络的建模方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供了一种红外-可见光融合的深度神经网络，如图1～3所示，包括红外编码器模块、可见光编码器模块、解码器模块以及模型训练模块，所述红外编码器模块以及所述可见光编码器模块通过网络特征叠加融合为编码器模块。
所述红外编码器模块用于提取红外摄像机采集的红外图像特征，所述红外编码器模块包括三个Dwblock模块以及两个残差模块，红外图像依次输出至Dwblock模块、残差模块、Dwblock模块、Dwblock模块、残差模块以及1×1卷积层。所述可见光编码器模块，用于提取可见光摄像机采集的可见光图像特征，所述可见光编码器模块包括两个Dwblock模块以及两个残差模块，可见光图像依次输出至Dwblock模块、残差模块、Dwblock模块、残差模块以及1×1卷积层。
所述Dwblock模块依次由数据填充、纵向卷积操作、批归一化处理、卷积操作和批归一化处理构成，其中，所述纵向卷积操作指输入图像有N个通道，就采用N个卷积核进行卷积，其中N为正整数。所述数据填充操作指将所述红外图像或所述可见光图像的边界进行扩充，针对每个输入xi所述批处理归一化过程为：xi＝(xi-u)/(sqrt((xi-v)2)+e)，其中，u为输入{x1，x2，x3，...，xn}的均值，v为输入{x1，x2，x3，...，xn}的方差，e是一个小小偏置，防止分母趋向于0。对所述批处理归一化的结果xi进行了scale加上shift操作，即xi＝scale*xi+shift，其中scale和shift通过学习得到。
当输入为x时，F(x)是隐藏层操作，那么一般神经网络的输出为H(x)＝F(x),而残差网络的输出为H(x)＝F(x)+x，具体结构如图4所示，残差块包含两个部分：快捷连接和残差部分。F(x)是残差，用上图左侧表示，图中weightlayer代表着卷积操作，weightlayer为3*3卷积层，将卷积后的特征图与x相加得到新的特征图。
所述解码器模块，将所述红外编码器模块与所述可见光编码器模块融合为融合编码器模块，所述融合编码器模块输出至所述解码器模块。所述解码器模块的主要设计目的是得到和原始输入分辨率相同的密集预测。通过所述解码器模块，特征图的分辨率逐渐恢复到输入图像的分辨率。
所述解码器模块输出至所述模型训练模块，所述模型训练模块用于对所述深度神经网络模型进行训练。
如图5所示，本发明还提供了一种基于以上红外-可见光融合的深度神经网络的建模方法，包括如下步骤：S10通过红外摄像机以及可见光摄像机分别采集红外图像与可见光图像，分别在所述红外图像与所述可见光图像中标注出危险源位置，构建双光危险源分割数据集。S20构建可见光编码器模块以及红外编码器模块，并将可见光编码器模块以及红外编码器模块融合获得融合编码器模块，进而将所述双光危险源分割数据集输入所述融合编码器模块获得融合特征值。S30构建解码模块，将所述融合特征值输入所述解码模块，将所述解码模块输出至softmax层，完成建模。S40交叉熵损失函数和梯度下降算法进行模型训练，损失函数定义如下：
其中，ti为真实值，yi代表softmax第i个输出值，i表示类别索引，C总的类别个数，vi表示解码模块的第i个输出。
以上所述仅为本发明的示例性实施例，并非因此限制本发明专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种红外-可见光融合的深度神经网络，其特征在于，包括：红外编码器模块，用于提取红外摄像机采集的红外图像特征，所述红外编码器模块包括三个Dwblock模块以及两个残差模块，红外图像依次输出至Dwblock模块、残差模块、Dwblock模块、Dwblock模块、残差模块以及1×1卷积层；可见光编码器模块，用于提取可见光摄像机采集的可见光图像特征，所述可见光编码器模块包括两个Dwblock模块以及两个残差模块，可见光图像依次输出至Dwblock模块、残差模块、Dwblock模块、残差模块以及1×1卷积层；解码器模块，将所述红外编码器模块与所述可见光编码器模块融合为融合编码器模块，所述融合编码器模块输出至所述解码器模块；以及
模型训练模块，所述解码器模块输出至所述模型训练模块，所述模型训练模块用于对所述深度神经网络模型进行训练；
所述Dwblock模块依次由数据填充、纵向卷积操作、批归一化处理、卷积操作和批归一化处理构成，其中，所述纵向卷积操作指输入图像有N个通道，就采用N个卷积核进行卷积，其中N为正整数。
2.根据权利要求1所述的红外-可见光融合的深度神经网络，其特征在于，所述数据填充操作指将所述红外图像或所述可见光图像的边界进行扩充，针对每个输入xi批处理归一化过程为：x'i＝(xi-u)/(sqrt((xi-v)2)+e)，其中，u为输入{x1，x2，x3，…，xn}的均值，v为输入{x1，x2，x3，...，xn}的方差，e是一个小小偏置，防止分母趋向于0。
3.根据权利要求2所述的红外-可见光融合的深度神经网络，其特征在于，对所述批处理归一化的结果x'i进行了scale加上shift操作，即x”i＝scale*x'i+shift，其中scale和shift通过学习得到。
4.根据权利要求3所述的红外-可见光融合的深度神经网络，其特征在于，当输入为x时，所述残差模块输出为F(x)+x。
5.一种基于权利要求4所述的红外-可见光融合的深度神经网络的建模方法，其特征在于，包括如下步骤：S10通过红外摄像机以及可见光摄像机分别采集红外图像与可见光图像，分别在所述红外图像与所述可见光图像中标注出危险源位置，构建双光危险源分割数据集；S20构建可见光编码器模块以及红外编码器模块，并将可见光编码器模块以及红外编码器模块融合获得融合编码器模块，进而将所述双光危险源分割数据集输入所述融合编码器模块获得融合特征值；S30构建解码模块，将所述融合特征值输入所述解码模块，将所述解码模块输出至softmax层，完成建模。
6.根据权利要求5所述的红外-可见光融合的深度神经网络的建模方法，其特征在于，还包括S40步骤，位于所述S30步骤之后，交叉熵损失函数和梯度下降算法进行模型训练，损失函数定义如下：
其中，ti为真实值，yi代表softmax第i个输出值，i表示类别索引，C表示总的类别个数，vi表示解码模块的第i个输出。
CN202010919286.9A 2020-09-04 2020-09-04 一种红外-可见光融合的深度神经网络及其建模方法 Active CN111985625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010919286.9A CN111985625B (zh) 2020-09-04 2020-09-04 一种红外-可见光融合的深度神经网络及其建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010919286.9A CN111985625B (zh) 2020-09-04 2020-09-04 一种红外-可见光融合的深度神经网络及其建模方法

Publications (2)

Publication Number Publication Date
CN111985625A CN111985625A (zh) 2020-11-24
CN111985625B true CN111985625B (zh) 2024-04-26

Family

ID=73448080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010919286.9A Active CN111985625B (zh) 2020-09-04 2020-09-04 一种红外-可见光融合的深度神经网络及其建模方法

Country Status (1)

Country Link
CN (1) CN111985625B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569943B (zh) * 2021-07-26 2023-10-24 中铁工程装备集团有限公司 一种基于深度神经网络的渣片大块预警方法、系统及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919887A (zh) * 2019-02-25 2019-06-21 中国人民解放军陆军工程大学 一种基于深度学习的无监督图像融合方法
CN110097528A (zh) * 2019-04-11 2019-08-06 江南大学 一种基于联合卷积自编码网络的图像融合方法
CN110188670A (zh) * 2019-05-29 2019-08-30 广西释码智能信息技术有限公司 一种虹膜识别中的人脸图像处理方法、装置和计算设备
CN110782399A (zh) * 2019-08-22 2020-02-11 天津大学 一种基于多任务cnn的图像去模糊方法
CN111401292A (zh) * 2020-03-25 2020-07-10 成都东方天呈智能科技有限公司 一种融合红外图像训练的人脸识别网络构建方法
CN111523401A (zh) * 2020-03-31 2020-08-11 河北工业大学 一种识别车型的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018213841A1 (en) * 2017-05-19 2018-11-22 Google Llc Multi-task multi-modal machine learning model

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919887A (zh) * 2019-02-25 2019-06-21 中国人民解放军陆军工程大学 一种基于深度学习的无监督图像融合方法
CN110097528A (zh) * 2019-04-11 2019-08-06 江南大学 一种基于联合卷积自编码网络的图像融合方法
CN110188670A (zh) * 2019-05-29 2019-08-30 广西释码智能信息技术有限公司 一种虹膜识别中的人脸图像处理方法、装置和计算设备
CN110782399A (zh) * 2019-08-22 2020-02-11 天津大学 一种基于多任务cnn的图像去模糊方法
CN111401292A (zh) * 2020-03-25 2020-07-10 成都东方天呈智能科技有限公司 一种融合红外图像训练的人脸识别网络构建方法
CN111523401A (zh) * 2020-03-31 2020-08-11 河北工业大学 一种识别车型的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Symmetric Encoder-Decoder with Residual Block for Infrared and Visible Image Fusion;Lihua Jian;《arXiv》;1-14 *
基于卷积自编码器和残差块的红外与可见光图像融合方法;江泽涛等;《光学学报》;第39卷(第10期);218-226 *

Also Published As

Publication number Publication date
CN111985625A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN111275618A (zh) 一种基于双支感知的深度图超分辨率重建网络构建方法
CN111444924B (zh) 一种病虫害检测及灾害等级分析方法及系统
CN111539887A (zh) 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法
CN114972312A (zh) 基于YOLOv4-Tiny改进的绝缘子缺陷检测方法
CN110969634A (zh) 基于生成对抗网络的红外图像电力设备分割方法
CN114612937A (zh) 基于单模态增强的红外与可见光融合行人检测方法
CN114170144A (zh) 一种输电线路销钉缺陷检测方法、设备及介质
CN111985625B (zh) 一种红外-可见光融合的深度神经网络及其建模方法
CN112766123A (zh) 一种基于纵横交叉注意力网络的人群计数方法及系统
CN112418235A (zh) 一种基于膨胀最近邻特征增强的点云语义分割方法
CN117197624A (zh) 一种基于注意力机制的红外-可见光图像融合方法
CN117274760A (zh) 一种基于多尺度混合变换器的红外与可见光图像融合方法
CN112070712A (zh) 基于自编码器网络的印刷缺陷检测方法
CN115147347A (zh) 一种面向边缘计算的玛钢管件表面缺陷检测的方法
CN108764287B (zh) 基于深度学习和分组卷积的目标检测方法及系统
CN117173595A (zh) 基于改进YOLOv7的无人机航拍图像目标检测方法
CN116503354A (zh) 基于多模态融合的光伏电池热斑检测及评估方法与装置
CN115393735A (zh) 基于改进U-Net的遥感影像建筑物提取方法
CN115331081A (zh) 图像目标检测方法与装置
CN114882072A (zh) 一种多通道图像特征融合的高速相关滤波目标追踪方法
CN113674230A (zh) 一种室内逆光人脸关键点的检测方法及装置
CN113034432A (zh) 一种产品缺陷检测方法、系统、装置及存储介质
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN114711181B (zh) 一种嵌入式草鱼病灶自动分流装置及检测方法
CN116610080B (zh) 休闲椅的智能生产方法及其控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant