CN111985625A - 一种红外-可见光融合的深度神经网络及其建模方法 - Google Patents
一种红外-可见光融合的深度神经网络及其建模方法 Download PDFInfo
- Publication number
- CN111985625A CN111985625A CN202010919286.9A CN202010919286A CN111985625A CN 111985625 A CN111985625 A CN 111985625A CN 202010919286 A CN202010919286 A CN 202010919286A CN 111985625 A CN111985625 A CN 111985625A
- Authority
- CN
- China
- Prior art keywords
- visible light
- infrared
- module
- fused
- encoder module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 238000010606 normalization Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 claims 1
- 238000010923 batch production Methods 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010438 heat treatment Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Public Health (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Water Supply & Treatment (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种红外‑可见光融合的深度神经网络及其建模方法,包括:红外编码器模块,用于提取红外摄像机采集的红外图像特征;可见光编码器模块,用于提取可见光摄像机采集的可见光图像特征;解码器模块,将所述红外编码器模块与所述可见光编码器模块融合为融合编码器模块,所述融合编码器模块输出至所述解码器模块;模型训练模块,所述解码器模块输出至所述模型训练模块,所述模型训练模块用于对所述深度神经网络模型进行训练。本发明的一种红外‑可见光融合的深度神经网络及其建模方法,构建了基于红外图像以及可见光图像的双光融合的危险源分割网络模型,能够结合两种摄像机的优势,解决了单一红外或者单一可见光摄像机定位危险源的缺点。
Description
技术领域
本发明涉及电力监控技术领域,具体涉及一种红外-可见光融合的深度神经网络及其建模方法。
背景技术
随着我国国民经济的增长和生活水平的提高,电力的需求也日益增加,电力系统电网规模的扩大和电力负荷的提高,使电力设备损坏、故障及严重时造成设备烧损等事故发生的可能性增加。为尽可能避免各类电力事故,减少事故导致的重大经济损失势在必行,刻不容缓。
单一的热成像系统只能定位到发热的危险源,单一的可见光系统则无法定位仅仅发热的危险源。传统的视频监控技术只提供视频捕捉、存储和回放等简单功能,不具备视频分析功能和异常判断能力,智能化程度不够高,很难起到预警和报警的作用。
发明内容
为了解决上述问题,本发明提供一种红外-可见光融合的深度神经网络及其建模方法,构建了基于红外图像以及可见光图像的双光融合的危险源分割网络模型,能够结合两种摄像机的优势,解决了单一红外或者单一可见光摄像机定位危险源的缺点。
为了实现以上目的,本发明采取的一种技术方案是:
一种红外-可见光融合的深度神经网络,包括:红外编码器模块,用于提取红外摄像机采集的红外图像特征,所述红外编码器模块包括三个Dwblock模块以及两个残差模块,红外图像依次输出至Dwblock模块、残差模块、Dwblock模块、Dwblock模块、残差模块以及1×1卷积层;可见光编码器模块,用于提取可见光摄像机采集的可见光图像特征,所述可见光编码器模块包括两个Dwblock模块以及两个残差模块,可见光图像依次输出至Dwblock模块、残差模块、Dwblock模块、残差模块以及1×1卷积层;解码器模块,将所述红外编码器模块与所述可见光编码器模块融合为融合编码器模块,所述融合编码器模块输出至所述解码器模块;以及模型训练模块,所述解码器模块输出至所述模型训练模块,所述模型训练模块用于对所述深度神经网络模型进行训练。
进一步地,所述Dwblock模块依次由数据填充、纵向卷积操作、批归一化处理、卷积操作和批归一化处理构成,其中,所述纵向卷积操作指输入图像有N个通道,就采用N个卷积核进行卷积,其中N为正整数。
进一步地,所述数据填充操作指将所述红外图像或所述可见光图像的边界进行扩充,针对每个输入xi所述批处理归一化过程为:xi=(xi-u)/(sqrt((xi-v)2)+e),其中,u为输入{x1,x2,x3,...,xn}的均值,v为输入{x1,x2,x3,...,xn}的方差,e是一个小小偏置,防止分母趋向于0。
进一步地,对所述批处理归一化的结果xi进行了scale加上shift操作,即xi=scale*xi+shift,其中scale和shift通过学习得到。
进一步地,当输入为x时,所述残差模块输出为F(x)+x。
本发明还提供了一种基于以上所述的红外-可见光融合的深度神经网络的建模方法,包括如下步骤:S10通过红外摄像机以及可见光摄像机分别采集红外图像与可见光图像,分别在所述红外图像与所述可见光图像中标注出危险源位置,构建双光危险源分割数据集;S20构建可见光编码器模块以及红外编码器模块,并将可见光编码器模块以及红外编码器模块融合获得融合编码器模块,进而将所述双光危险源分割数据集输入所述融合编码器模块获得融合特征值;S30构建解码模块,将所述融合特征值输入所述解码模块,将所述解码模块输出至softmax层,完成建模。
进一步地,还包括S40步骤,位于所述S30步骤之后,交叉熵损失函数和梯度下降算法进行模型训练,损失函数定义如下:
本发明的上述技术方案相比现有技术具有以下优点:
本发明的一种红外-可见光融合的深度神经网络及其建模方法,利用编码器来提取图像特征,利用解码器重构融合后的图像,构建了基于红外图像以及可见光图像的双光融合的危险源分割网络模型,能够结合两种摄像机的优势,解决了单一红外或者单一可见光摄像机定位危险源的缺点,结合了两种传感器的优势,既能定位监控中的发热危险源,也能定位到可见光图像中定义的危险源,确保了电力监控效率,避免各类电力事故,减少事故导致的重大经济损失。
附图说明
下面结合附图,通过对本发明的具体实施方式详细描述,将使本发明的技术方案及其有益效果显而易见。
图1所示为本发明一实施例的一种红外-可见光融合的神经网络结构图;
图2所示为本发明一实施例的一种红外-可见光融合的可见光编码器模块结构图;
图3所示为本发明一实施例的一种红外-可见光融合的红外编码器模块结构图;
图4所示为本发明一实施例的残差块的结构图;
图5所示为本发明一实施例的一种红外-可见光融合的神经网络的建模方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例提供了一种红外-可见光融合的深度神经网络,如图1~3所示,包括红外编码器模块、可见光编码器模块、解码器模块以及模型训练模块,所述红外编码器模块以及所述可见光编码器模块通过网络特征叠加融合为编码器模块。
所述红外编码器模块用于提取红外摄像机采集的红外图像特征,所述红外编码器模块包括三个Dwblock模块以及两个残差模块,红外图像依次输出至Dwblock模块、残差模块、Dwblock模块、Dwblock模块、残差模块以及1×1卷积层。所述可见光编码器模块,用于提取可见光摄像机采集的可见光图像特征,所述可见光编码器模块包括两个Dwblock模块以及两个残差模块,可见光图像依次输出至Dwblock模块、残差模块、Dwblock模块、残差模块以及1×1卷积层。
所述Dwblock模块依次由数据填充、纵向卷积操作、批归一化处理、卷积操作和批归一化处理构成,其中,所述纵向卷积操作指输入图像有N个通道,就采用N个卷积核进行卷积,其中N为正整数。所述数据填充操作指将所述红外图像或所述可见光图像的边界进行扩充,针对每个输入xi所述批处理归一化过程为:xi=(xi-u)/(sqrt((xi-v)2)+e),其中,u为输入{x1,x2,x3,...,xn}的均值,v为输入{x1,x2,x3,...,xn}的方差,e是一个小小偏置,防止分母趋向于0。对所述批处理归一化的结果xi进行了scale加上shift操作,即xi=scale*xi+shift,其中scale和shift通过学习得到。
当输入为x时,F(x)是隐藏层操作,那么一般神经网络的输出为H(x)=F(x),而残差网络的输出为H(x)=F(x)+x,具体结构如图4所示,残差块包含两个部分:快捷连接和残差部分。F(x)是残差,用上图左侧表示,图中weightlayer代表着卷积操作,weightlayer为3*3卷积层,将卷积后的特征图与x相加得到新的特征图。
所述解码器模块,将所述红外编码器模块与所述可见光编码器模块融合为融合编码器模块,所述融合编码器模块输出至所述解码器模块。所述解码器模块的主要设计目的是得到和原始输入分辨率相同的密集预测。通过所述解码器模块,特征图的分辨率逐渐恢复到输入图像的分辨率。
所述解码器模块输出至所述模型训练模块,所述模型训练模块用于对所述深度神经网络模型进行训练。
如图5所示,本发明还提供了一种基于以上红外-可见光融合的深度神经网络的建模方法,包括如下步骤:S10通过红外摄像机以及可见光摄像机分别采集红外图像与可见光图像,分别在所述红外图像与所述可见光图像中标注出危险源位置,构建双光危险源分割数据集。S20构建可见光编码器模块以及红外编码器模块,并将可见光编码器模块以及红外编码器模块融合获得融合编码器模块,进而将所述双光危险源分割数据集输入所述融合编码器模块获得融合特征值。S30构建解码模块,将所述融合特征值输入所述解码模块,将所述解码模块输出至softmax层,完成建模。S40交叉熵损失函数和梯度下降算法进行模型训练,损失函数定义如下:
以上所述仅为本发明的示例性实施例,并非因此限制本发明专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种红外-可见光融合的深度神经网络,其特征在于,包括:
红外编码器模块,用于提取红外摄像机采集的红外图像特征,所述红外编码器模块包括三个Dwblock模块以及两个残差模块,红外图像依次输出至Dwblock模块、残差模块、Dwblock模块、Dwblock模块、残差模块以及1×1卷积层;
可见光编码器模块,用于提取可见光摄像机采集的可见光图像特征,所述可见光编码器模块包括两个Dwblock模块以及两个残差模块,可见光图像依次输出至Dwblock模块、残差模块、Dwblock模块、残差模块以及1×1卷积层;
解码器模块,将所述红外编码器模块与所述可见光编码器模块融合为融合编码器模块,所述融合编码器模块输出至所述解码器模块;以及
模型训练模块,所述解码器模块输出至所述模型训练模块,所述模型训练模块用于对所述深度神经网络模型进行训练。
2.根据权利要求1所述的红外-可见光融合的深度神经网络,其特征在于,所述Dwblock模块依次由数据填充、纵向卷积操作、批归一化处理、卷积操作和批归一化处理构成,其中,所述纵向卷积操作指输入图像有N个通道,就采用N个卷积核进行卷积,其中N为正整数。
3.根据权利要求2所述的红外-可见光融合的深度神经网络,其特征在于,所述数据填充操作指将所述红外图像或所述可见光图像的边界进行扩充,针对每个输入xi所述批处理归一化过程为:xi=(xi-u)/(sqrt((xi-v)2)+e),其中,u为输入{x1,x2,x3,…,xn}的均值,v为输入{x1,x2,x3,...,xn}的方差,e是一个小小偏置,防止分母趋向于0。
4.根据权利要求3所述的红外-可见光融合的深度神经网络,其特征在于,对所述批处理归一化的结果xi进行了scale加上shift操作,即xi=scale*xi+shift,其中scale和shift通过学习得到。
5.根据权利要求4所述的红外-可见光融合的深度神经网络,其特征在于,当输入为x时,所述残差模块输出为F(x)+x。
6.一种基于权利要求5所述的红外-可见光融合的深度神经网络的建模方法,其特征在于,包括如下步骤:
S10通过红外摄像机以及可见光摄像机分别采集红外图像与可见光图像,分别在所述红外图像与所述可见光图像中标注出危险源位置,构建双光危险源分割数据集;
S20构建可见光编码器模块以及红外编码器模块,并将可见光编码器模块以及红外编码器模块融合获得融合编码器模块,进而将所述双光危险源分割数据集输入所述融合编码器模块获得融合特征值;
S30构建解码模块,将所述融合特征值输入所述解码模块,将所述解码模块输出至softmax层,完成建模。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010919286.9A CN111985625B (zh) | 2020-09-04 | 2020-09-04 | 一种红外-可见光融合的深度神经网络及其建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010919286.9A CN111985625B (zh) | 2020-09-04 | 2020-09-04 | 一种红外-可见光融合的深度神经网络及其建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111985625A true CN111985625A (zh) | 2020-11-24 |
CN111985625B CN111985625B (zh) | 2024-04-26 |
Family
ID=73448080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010919286.9A Active CN111985625B (zh) | 2020-09-04 | 2020-09-04 | 一种红外-可见光融合的深度神经网络及其建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111985625B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113569943A (zh) * | 2021-07-26 | 2021-10-29 | 中铁工程装备集团有限公司 | 一种基于深度神经网络的渣片大块预警方法、系统及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919887A (zh) * | 2019-02-25 | 2019-06-21 | 中国人民解放军陆军工程大学 | 一种基于深度学习的无监督图像融合方法 |
CN110097528A (zh) * | 2019-04-11 | 2019-08-06 | 江南大学 | 一种基于联合卷积自编码网络的图像融合方法 |
CN110188670A (zh) * | 2019-05-29 | 2019-08-30 | 广西释码智能信息技术有限公司 | 一种虹膜识别中的人脸图像处理方法、装置和计算设备 |
CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
US20200089755A1 (en) * | 2017-05-19 | 2020-03-19 | Google Llc | Multi-task multi-modal machine learning system |
CN111401292A (zh) * | 2020-03-25 | 2020-07-10 | 成都东方天呈智能科技有限公司 | 一种融合红外图像训练的人脸识别网络构建方法 |
CN111523401A (zh) * | 2020-03-31 | 2020-08-11 | 河北工业大学 | 一种识别车型的方法 |
-
2020
- 2020-09-04 CN CN202010919286.9A patent/CN111985625B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200089755A1 (en) * | 2017-05-19 | 2020-03-19 | Google Llc | Multi-task multi-modal machine learning system |
CN109919887A (zh) * | 2019-02-25 | 2019-06-21 | 中国人民解放军陆军工程大学 | 一种基于深度学习的无监督图像融合方法 |
CN110097528A (zh) * | 2019-04-11 | 2019-08-06 | 江南大学 | 一种基于联合卷积自编码网络的图像融合方法 |
CN110188670A (zh) * | 2019-05-29 | 2019-08-30 | 广西释码智能信息技术有限公司 | 一种虹膜识别中的人脸图像处理方法、装置和计算设备 |
CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
CN111401292A (zh) * | 2020-03-25 | 2020-07-10 | 成都东方天呈智能科技有限公司 | 一种融合红外图像训练的人脸识别网络构建方法 |
CN111523401A (zh) * | 2020-03-31 | 2020-08-11 | 河北工业大学 | 一种识别车型的方法 |
Non-Patent Citations (2)
Title |
---|
LIHUA JIAN: "A Symmetric Encoder-Decoder with Residual Block for Infrared and Visible Image Fusion", 《ARXIV》, pages 1 - 14 * |
江泽涛等: "基于卷积自编码器和残差块的红外与可见光图像融合方法", 《光学学报》, vol. 39, no. 10, pages 218 - 226 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113569943A (zh) * | 2021-07-26 | 2021-10-29 | 中铁工程装备集团有限公司 | 一种基于深度神经网络的渣片大块预警方法、系统及装置 |
CN113569943B (zh) * | 2021-07-26 | 2023-10-24 | 中铁工程装备集团有限公司 | 一种基于深度神经网络的渣片大块预警方法、系统及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111985625B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109492612B (zh) | 基于骨骼点的跌倒检测方法及其跌倒检测装置 | |
CN111539887B (zh) | 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法 | |
CN111444924B (zh) | 一种病虫害检测及灾害等级分析方法及系统 | |
CN112581409B (zh) | 一种基于端到端的多重信息蒸馏网络的图像去雾方法 | |
CN114170144A (zh) | 一种输电线路销钉缺陷检测方法、设备及介质 | |
CN116256586B (zh) | 电力设备过热检测方法、装置、电子设备与存储介质 | |
CN114596278A (zh) | 一种用于光伏电站的光伏面板热斑缺陷检测方法及装置 | |
CN114972312A (zh) | 基于YOLOv4-Tiny改进的绝缘子缺陷检测方法 | |
CN116503318A (zh) | 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、系统及设备 | |
CN117557775B (zh) | 基于红外和可见光融合的变电站电力设备检测方法及系统 | |
CN115482473A (zh) | 提取航拍图像特征的图卷积网络模型及检测异常的方法 | |
CN115761618A (zh) | 一种重点场所安防监控图像识别方法 | |
CN117351311A (zh) | 一种基于双模态数据融合的变电站设备检测方法及系统 | |
CN111985625A (zh) | 一种红外-可见光融合的深度神经网络及其建模方法 | |
CN112418127B (zh) | 一种用于视频行人重识别的视频序列编码与解码方法 | |
CN116485802B (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
CN113255519A (zh) | 一种输电线路危险车辆吊车扬臂识别系统及多目标跟踪方法 | |
CN113378672A (zh) | 基于改进YOLOv3的输电线缺陷多目标检测方法 | |
CN116152633A (zh) | 一种基于空间特征表示的目标检测网络的检测方法和系统 | |
CN112651421B (zh) | 一种红外热成像输电线路防外破监测系统及其建模方法 | |
CN111666819B (zh) | 一种融合多元信息的高精度视频异常事件检测方法 | |
CN114694080A (zh) | 一种监控暴力行为检测方法、系统、装置及可读存储介质 | |
CN112200030A (zh) | 基于图卷积的电力系统现场作业动作风险识别方法 | |
CN113034432A (zh) | 一种产品缺陷检测方法、系统、装置及存储介质 | |
CN115880195A (zh) | 一种图像融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |