CN113011446A - 一种基于多源异构数据学习的智能目标识别方法 - Google Patents

一种基于多源异构数据学习的智能目标识别方法 Download PDF

Info

Publication number
CN113011446A
CN113011446A CN201911323338.XA CN201911323338A CN113011446A CN 113011446 A CN113011446 A CN 113011446A CN 201911323338 A CN201911323338 A CN 201911323338A CN 113011446 A CN113011446 A CN 113011446A
Authority
CN
China
Prior art keywords
prediction
image
cell
data
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911323338.XA
Other languages
English (en)
Other versions
CN113011446B (zh
Inventor
史泽林
向伟
刘云鹏
邬抒航
蓝德岩
刘鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201911323338.XA priority Critical patent/CN113011446B/zh
Publication of CN113011446A publication Critical patent/CN113011446A/zh
Application granted granted Critical
Publication of CN113011446B publication Critical patent/CN113011446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多源异构数据学习的智能目标识别方法，本发明中多源异构特征建模有两个分支，其中一个分支在大规模可见光数据集上进行预训练，并使用红外图像通过图像翻译转换生成的可见光图像进行微调参数更新，从可见光图像源借用更复杂的抽象特征来改进红外图像源的目标识别性能；第二个分支单独使用红外数据集训练。之后将两个分支提取到的特征融合后作为后续深度目标检测网络的输入进行网络参数更新，最终学习到基于多源异构数据学习的智能目标识别网络。本发明不需要收集和构建成对的多源数据，降低对红外图像源数据量的要求，可以精确地识别目标，具有较高的识别准确率。

Description

一种基于多源异构数据学习的智能目标识别方法
技术领域
本发明涉及目标识别技术领域，特别提供了一种基于多源异构数据学习的智能目标识别方法。
背景技术
成像目标识别是无人飞行器实现精确制导的关键核心技术，近年来，深度学习在目标识别的各个领域取得了优异表现，但是深度学习较为依赖训练数据量的大小。目前可见光图像中有很多公开的大型数据集，量级为10万张以上，而红外图像源的数据量与可见光图像源数据量比较起来有很大不足。于是该发明通过借鉴可见光这一特征更为丰富的数据源来提高红外图像的检测性能，同时不需要收集和构建成对的多源数据集进行成对训练。
发明内容
鉴于此，本发明的目的在于提供一种基于多源异构数据学习的智能目标识别方法，以解决红外图像领域在数据量较小、特征较少情况下的目标识别问题。
本发明提供的技术方案是：一种基于多源异构数据学习的智能目标识别方法，包括以下步骤：
步骤1：输入原始红外图像；
步骤2：对输入的原始红外图像进行图像翻译，生成伪可见光图像；
步骤3：对输入的原始红外图像进行特征提取；
步骤:4：对生成的伪可见光图像进行特征提取；
步骤5：将步骤3和步骤4得到的特征进行融合后输入深度目标检测网络；
步骤6：利用反向传播算法更新网络参数；
步骤7：将待检测红外图像通过更新网络参数后的深度目标检测网络，得到识别结果。
所述图像翻译包括以下步骤：
获取可见光数据，并根据原始红外图像获取红外图像x；
建立生成器G和生成器F：所述生成器G用于将红外图像x转为可见光图像y；所述生成器F用于将可见光图像y转为红外图像x；
将红外图像x作为真实数据，经G得到伪造数据；将真实数据和伪造数据一起经判别器D判别出真实数据和伪造数据；
对生成器G和生成器F进行训练，当迭代次数达到设定值时，选取网络损失函数值最小的最优生成器G*和生成器F*；
对于每个包含n张图片的红外数据集
Figure BDA0002327721440000021
xi为第i个红外图像数据，通过生成器G*生成伪可见光图像
Figure BDA0002327721440000022
所述网络损失函数如下：
Figure BDA0002327721440000023
L(G,F,DX,DY)＝L(G,DY,X,Y)+L(G,DX,Y,X)+Lcyc(G,F)
L(G,DY,X,Y)＝Ey～pdata(y)[logDY(y)]+Ex～pdata(x)[log(1-DY(G(x)))]
L(G,DX,Y,X)＝Ex～pdata(x)[logDX(x)]+Ey～pdata(y)[log(1-DX(F(y)))]
Lcyc(G,F)＝Ex～pdata(x)[||F(G(x))-x||1]+Ey～pdata(y)[||G(F(y))-y||1]
其中，L表示损失函数，Lcyc(G,F)表示循环损失，DX为用于判别是否为红外数据域图像x的判别器，DY为用于判别是否为可见光数据域图像y的判别器；G为用于将红外图像x转为可见光图像y的生成器；F为用于将可见光图像y转为红外图像x的生成器；
Ey～pdata(y)[·]为y～pdata(y)数据分布下方括号内分布函数的期望值，Ex～pdata(x)[·]为x～pdata(x)数据分布下方括号内分布函数的期望值；pdata(x)、pdata(y)分别表示红外图像x的数据分布、可见光图像y的数据分布。
所述步骤3具体如下：对输入的原始红外图像通过基于残差的卷积层进行特征提取。
所述步骤4具体如下：对生成的伪可见光图像
Figure BDA0002327721440000024
通过基于残差的卷积层进行特征提取。
所述步骤5具体如下：
深度目标检测网络最后的输出层根据需要识别的类别数量确定最后特征图的特征向量维数，即设定为S×S×(B×(4+1)+C)维向量；
其中，S×S是最后的特征图单元格尺寸，S×S个单元格中每个单元格预测B个目标框为预测框，(4+1)包括目标位置以及置信度(x,y,w,h,conf)，x和y代表预测框中心坐标，w和h代表预测框宽和高，conf代表置信度，C是类别数量；
通过每个预测框的置信度大小以及非极大值抑制算法得到最终的检测框；
如果某个单元格中没有目标，则不对误差函数进行反向传播即不执行步骤6；
B个预测框中与原始红外图像的真实框的IOU最高值的预测框进行误差函数的反向传播，即执行步骤6，否则，不进行反向传播即不执行步骤6。
所述步骤6包括以下步骤：
将下式得到的置信度带入步骤5中进行每个预测框的置信度的更新：
Figure BDA0002327721440000031
P(object)为单元格j中的存在目标的概率，
Figure BDA0002327721440000032
为预测框与原始红外图像的真实框交集面积与并集面积的比值；
得到每个预测框与真实框的
Figure BDA0002327721440000033
如果当前单元格的某预测框与真实标签值的
Figure BDA0002327721440000034
的值高于该单元格其他预测框的值，则计算损失函数loss，当loss小于设定值时或loss曲线已经趋于收敛，训练完成：
Figure BDA0002327721440000035
S为最终得到的特征图单元格尺寸，特征图分成S×S个单元格，B为每个单元格的预测框个数；
Figure BDA0002327721440000036
表示目标的中心坐标是否落入单元格j内，若是取值为1，反之取值为0；
Figure BDA0002327721440000041
表示当目标中心落在单元格j内时第k个预测框是否能代表单元格j的预测结果，该预测框如果是单元格j所有B个预测框中与真实框IOU值最高的预测框则能代表，能代表则取值为1，否则取值为0；
Figure BDA0002327721440000042
表示当目标中心未落在单元格j内时第k个预测框能否代表单元格j的预测结果，该预测框如果是单元格j所有B个预测框中与真实框IOU值最高的预测框则能代表，能代表则取值为1，否则取值为0；λcoord和λnoobj为修正权重。
xj表示为单元格j的预测框中与真实框IOU值最高的中心点横坐标，yj表示该预测框的中心点纵坐标，wj表示该预测框的宽，hj表示该预测框的高，confj为该预测框的置信度，pj为该预测框属于类别c的概率，classes表示数据集中类别的集合；字母上面有宝盖符号为预测值，无宝盖符号的为真实值。
所述步骤7包括以下步骤：
当预测目标中心位置的坐标落入到某个单元格中，那么该单元格预测的B个检测框中置信度最高的检测框检测出这个目标。
本发明提供的一种基于多源异构数据学习的智能目标识别方法，有益效果如下：从可见光图像源借用更复杂的抽象特征来改进红外图像源的目标识别性能，融合了多源数据特征，不仅在识别准确率上有所提高，同时不需要收集和构建成对的多源数据集，降低对红外图像源数据量的要求。
附图说明
下面结合附图及实施方式对本发明作进一步详细的说明：
图1为本发明提供的一种基于多源异构数据学习的智能目标识别方法流程示意图；
图2a～图2b为本发明提供的一种基于多源异构数据学习的智能目标识别方法从红外图像生成伪可见光图像的结果示意图，其中图2a是VEDAI数据集中的真实红外图像，图2b是从图2a生成的伪可见光图像；
图3为本发明提供的一种基于多源异构数据学习的智能目标识别方法测试集识别结果示意图，红框为检测出的车辆目标。
具体实施方式
下面将结合具体的实施方案对本发明进行进一步的解释，但并不局限本发明。
本发明公开了一种基于多源异构数据学习的智能目标识别方法，方法流程包括：原始图像输入、多源异构特征建模、深度目标检测网络构建、网络更新优化、识别结果输出等五个部分。本发明中多源异构特征建模有两个分支，其中一个分支在大规模可见光数据集上进行预训练，并使用红外图像通过图像翻译转换生成的可见光图像进行微调参数更新，从可见光图像源借用更复杂的抽象特征来改进红外图像源的目标识别性能；第二个分支单独使用红外数据集训练。之后将两个分支提取到的特征融合后作为后续深度目标检测网络的输入进行网络参数更新，最终学习到基于多源异构数据学习的智能目标识别网络。本发明不需要收集和构建成对的多源数据，降低对红外图像源数据量的要求，可以精确地识别目标，具有较高的识别准确率。
一种基于多源异构数据学习的智能目标识别方法，包括：
步骤1：输入原始红外图像。
步骤2：对输入的原始红外图像进行图像翻译，生成伪可见光图像。
步骤3：对输入的原始红外图像进行特征提取。
步骤:4：对生成的伪可见光图像进行特征提取。
步骤5：将步骤3和步骤4得到的特征进行融合后输入进所设计的深度目标检测网络。
步骤6：利用反向传播算法更新网络参数
步骤7：输出识别结果。
步骤2包括同时训练生成器和判别器参数。生成器负责将红外数据转换生成伪可见光数据，判别器判别输入图像为真实图像或是生成器的输出的伪图像。经过生成器和判别器不断的博弈后，生成器的伪造能力更强，判别器的鉴别技术也不断提高。直到判别器再也分不出真实数据还是生成器生成的伪造数据时，这个对抗过程达到平衡。
步骤3中包括针对输入的原始红外图像通过基于残差的卷积层进行特征提取。
步骤4中包括针对生成的伪可见光图像通过基于残差的卷积层进行特征提取。
步骤5中包括将步骤3和步骤4得到特征进行融合后，针对待识别目标来设计深度目标检测网络结构。在设计网络结构时，设计卷积层、池化层、分类器学习层等。
步骤6包括使用链式法则的反向传播算法对网络参数进行更新，以此达到优化网络参数的目的，最终得到更好的识别结果。
如图1所示，本发明提供了一种基于多源异构数据学习的智能目标识别方法，包括如下步骤：
步骤1：包含n张图片的红外数据集
Figure BDA0002327721440000061
xi为第i个输入到网络的红外图像数据，标签labeli(真实框)包含了该张红外图像中所有目标的中心位置坐标、目标的宽高以及属于哪个类别。对输入图像xi进行包括数据增广、归一化等预处理操作。
步骤2：对输入的原始红外图像xi进行图像翻译，生成伪可见光图像
Figure BDA0002327721440000062
两个数据域分别为红外图像数据域X和可见光图像数据域Y，生成器G负责将X转为Y，生成器F负责将Y转为X。将真实图像与伪造图像放在一起后判别器D要成功判别出伪造图像和真实图像，判别器DX负责判别是否为X(红外数据域)图像，判别器DY负责判别是否为Y(可见光数据域)图像。从X→Y的生成器G的判别损失L(G,DY,X,Y)如下式所示，该损失函数目的是让网络通过生成器G生成的伪Y(伪可见光数据域)图像与真实的Y(可见光数据域)图像相似。从数学的角度真实的Y数据域图像y的数据分布为pdata(y)，同时X(红外数据域)图像的数据分布pdata(x)也是已知的，生成器G需要将X数据域图像x的数据分布pdata(x)映射后接近pdata(y)。Ey～pdata(y)[·]为y～pdata(y)数据分布下方括号内分布函数的期望值，同理Ex～pdata(x)[·]为x～pdata(x)数据分布下方括号内分布函数的期望值。
L(G,DY,X,Y)＝Ey～pdata(y)[logDY(y)]+Ex～pdata(x)[log(1-DY(G(x)))]
同理从Y→X的生成器F的判别损失L(G,DX,Y,X)为:
L(G,DX,Y,X)＝Ex～pdata(x)[logDX(x)]+Ey～pdata(y)[log(1-DX(F(y)))]
从数据获取难度的角度考虑，红外图像x和可见光图像y不能成对匹配训练，如果不加以约束，网络完全可以将所有x(红外)图像都生成同一个伪y(伪可见光)图像，由于类别判定为Y(可见光数据域)图像，所以可以通过判别器DY的鉴定，导致整个网络失效，所以要求生成器G和F还要将生成的伪图像再映射回去。也就是让F(G(x))≈x，即原始真实红外图像x通过生成器G生成伪y(伪可见光)图像，再将该伪y(伪可见光)图像通过生成器F生成伪x(伪红外)图像，训练的目的就是让最后生成的伪x(伪红外)图像与原始真实红外图像x尽可能相近，同理G(F(y))≈y，||·||1为矩阵的1-范数，表示矩阵的每一列上的元素绝对值先求和，再从中取最大值，由此提出循环损失Lcyc(G,F)：
Lcyc(G,F)＝Ex～pdata(x)[||F(G(x))-x||1]+Ey～pdata(y)[||G(F(y))-y||1]
最终网络损失把生成器G和F的判别损失与循环损失加起来得到最终的损失函数L(G,F,DX,DY)：
L(G,F,DX,DY)＝L(G,DY,X,Y)+L(G,DX,Y,X)+Lcyc(G,F)
通过训练得到最优的生成器G*和F*，DX和DY的值就是判别器判断图像是否真实的概率(取值在0到1之间)，训练目的就是使得生成器生成的伪图像越来越真，判别器最后无法判别出伪图像，即希望最后判别器的判别概率都接近1，所以对于DX和DY来说，这个值越大越好(接近1)，在公式中对应的是max。同时希望整个损失函数的值越小越好，也就是min：
Figure BDA0002327721440000071
对于包含n张图片的红外数据集
Figure BDA0002327721440000081
最后通过训练得到的生成器G*生成伪可见光图像
Figure BDA0002327721440000082
步骤3：对输入的原始红外图像xi通过基于残差的卷积层进行特征提取。深层特征图经过卷积、上采样后与浅层特征图拼接后卷积增强对小目标的检测能力。基于残差的卷积包含卷积层、批量归一化(Batch Normalization)和Leaky Relu激活函数，通过引入残差单元使得网络深度可以更深，避免梯度弥散或爆炸。残差结构一个类似“短路”的设计，简单说就是前面层的特征数据会和后面被进一步卷积抽象过的数据共同作为后面的数据输入，这样就可以引入更为丰富的特征，网络学习到更多知识。
步骤:4：对生成的伪可见光图像
Figure BDA0002327721440000083
通过基于残差的卷积层进行特征提取，其网络结构与步骤3中的网络结构一致，由于训练数据不同，网络参数不同。
步骤5：将步骤3和步骤4得到的特征进行融合后输入进所设计的深度目标检测网络。网络最后的输出层根据需要识别的类别数量确定最后特征图的特征向量维数，即设定为S×S×(B×(4+1)+C)维向量，用其与真实标签值(真实类别与真实框位置)的均方和误差作为损失函数的参数，其中S×S是最后的特征图单元格尺寸，若目标中心位置的坐标落入到某个单元格中，那么该单元格就负责检测出这个目标。S×S中每个单元格预测B个目标框，通过每个预测框的置信度大小以及非极大值抑制算法得到最终的检测框，(4+1)是包括目标位置以及置信度(x,y,w,h,conf)，C是类别数量。
步骤6：利用反向传播算法更新网络参数。输入
Figure BDA0002327721440000084
输出
Figure BDA0002327721440000085
labeli是真实标签，包含图像中所有目标的中心位置坐标、目标的宽高以及属于哪个类别，
Figure BDA0002327721440000086
为预测结果。通过非极大值抑制(Non-maximum Suppression)过滤预测结果，输出最终结果。网络损失函数由三部分组成：位置误差、置信度误差和分类误差，计算真实标签与预测结果之间的误差。
Figure BDA0002327721440000087
相加时会考虑每种误差的贡献率，例如给位置误差coordE设置权重λcoord。由于很多单元格内并无目标物体存在，所以在损失函数中计算置信度误差时，分别给有目标与无目标存在的预测框设置不同的权重来平衡，即包含物体的单元格与不包含物体的单元格，二者的置信度误差对网络loss的贡献值是不同的，所以使用λnoobj修正置信度误差iouE(单元格包含物体指的是该物体中心坐标落入到单元格内)。如果某单元格中没有目标，则不对分类误差clsE进行反向传播。B个预测边界框中与真实标签的IOU高于一定阈值的预测边界框进行误差的反向传播，其余不进行。下面的损失函数loss各项依次为：位置误差、含目标的置信度损失、不含目标的置信度损失和分类误差。
Figure BDA0002327721440000091
其中有宝盖符号为预测值，无宝盖符号的为真实值，
Figure BDA0002327721440000092
表示目标的中心坐标是否落入单元格j内，若是取值为1，反之取值为0；
Figure BDA0002327721440000093
表示当目标中心落在单元格j内时第k个预测框是否能代表单元格j的预测结果，该预测框如果是单元格j所有B个预测框中与真实框IOU值最高的预测框则能代表，能代表则取值为1，否则取值为0；
Figure BDA0002327721440000094
表示当目标中心未落在单元格j内时第k个预测框能否代表单元格j的预测结果，该预测框如果是单元格j所有B个预测框中与真实框IOU值最高的预测框则能代表，能代表则取值为1，否则取值为0；xj表示为单元格j的预测框中与真实框IOU值最高的中心点横坐标，yj表示该预测框的中心点纵坐标，wj表示该预测框的宽，hj表示该预测框的高，confj为该预测框的置信度，是该单元格j中的存在目标的概率P(object)与预测框和真实框
Figure BDA0002327721440000095
的相乘，如下式所示，其中IOU(Intersection over Union)为预测框与真实框交集面积与并集面积的比值。
Figure BDA0002327721440000101
pj(c)为该预测框属于类别c的概率。预测框的置信度大于阈值，同时与真实标签值的IOU高于一定阈值，则参与到损失计算中来，否则不参与损失计算。设置阈值目的是控制参与损失计算的检测框的规模，阈值较大时，参与回归损失的预测边界框个数较少，容易造成过拟合；而如果阈值设置过小，那么参与计算的预测边界框数量会增多，计算量将会增加。
发明提出的基于多源异构数据学习的智能目标识别方法最终的检测结果如图3所示,整体识别准确率为90.6％。
其中识别准确率定义：
Figure BDA0002327721440000102
上面结合附图对本发明的实施方式做了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种基于多源异构数据学习的智能目标识别方法，其特征在于包括以下步骤：
步骤1：输入原始红外图像；
步骤2：对输入的原始红外图像进行图像翻译，生成伪可见光图像；
步骤3：对输入的原始红外图像进行特征提取；
步骤:4：对生成的伪可见光图像进行特征提取；
步骤5：将步骤3和步骤4得到的特征进行融合后输入深度目标检测网络；
步骤6：利用反向传播算法更新网络参数；
步骤7：将待检测红外图像通过更新网络参数后的深度目标检测网络，得到识别结果。
2.根据权利要求1所述的一种基于多源异构数据学习的智能目标识别方法，其特征在于，所述图像翻译包括以下步骤：
获取可见光数据，并根据原始红外图像获取红外图像x；
建立生成器G和生成器F：所述生成器G用于将红外图像x转为可见光图像y；所述生成器F用于将可见光图像y转为红外图像x；
将红外图像x作为真实数据，经G得到伪造数据；将真实数据和伪造数据一起经判别器D判别出真实数据和伪造数据；
对生成器G和生成器F进行训练，当迭代次数达到设定值时，选取网络损失函数值最小的最优生成器G*和生成器F*；
对于每个包含n张图片的红外数据集
Figure FDA0002327721430000011
xi为第i个红外图像数据，通过生成器G*生成伪可见光图像
Figure FDA0002327721430000012
3.根据权利要求2所述的一种基于多源异构数据学习的智能目标识别方法，其特征在于，所述网络损失函数如下：
Figure FDA0002327721430000013
L(G,F,DX,DY)＝L(G,DY,X,Y)+L(G,DX,Y,X)+Lcyc(G,F)
L(G,DY,X,Y)＝Ey～pdata(y)[logDY(y)]+Ex～pdata(x)[log(1-DY(G(x)))]
L(G,DX,Y,X)＝Ex～pdata(x)[logDX(x)]+Ey～pdata(y)[log(1-DX(F(y)))]
Lcyc(G,F)＝Ex～pdata(x)[||F(G(x))-x||1]+Ey～pdata(y)[||G(F(y))-y||1]
其中，L表示损失函数，Lcyc(G,F)表示循环损失，DX为用于判别是否为红外数据域图像x的判别器，DY为用于判别是否为可见光数据域图像y的判别器；G为用于将红外图像x转为可见光图像y的生成器；F为用于将可见光图像y转为红外图像x的生成器；
Ey～pdata(y)[·]为y～pdata(y)数据分布下方括号内分布函数的期望值，Ex～pdata(x)[·]为x～pdata(x)数据分布下方括号内分布函数的期望值；pdata(x)、pdata(y)分别表示红外图像x的数据分布、可见光图像y的数据分布。
4.根据权利要求1所述的一种基于多源异构数据学习的智能目标识别方法，其特征在于，所述步骤3具体如下：对输入的原始红外图像通过基于残差的卷积层进行特征提取。
5.根据权利要求1所述的一种基于多源异构数据学习的智能目标识别方法，其特征在于，所述步骤4具体如下：对生成的伪可见光图像
Figure FDA0002327721430000021
通过基于残差的卷积层进行特征提取。
6.根据权利要求1所述的一种基于多源异构数据学习的智能目标识别方法，其特征在于，所述步骤5具体如下：
深度目标检测网络最后的输出层根据需要识别的类别数量确定最后特征图的特征向量维数，即设定为S×S×(B×(4+1)+C)维向量；
其中，S×S是最后的特征图单元格尺寸，S×S个单元格中每个单元格预测B个目标框为预测框，(4+1)包括目标位置以及置信度(x,y,w,h,conf)，x和y代表预测框中心坐标，w和h代表预测框宽和高，conf代表置信度，C是类别数量；
通过每个预测框的置信度大小以及非极大值抑制算法得到最终的检测框；
如果某个单元格中没有目标，则不对误差函数进行反向传播即不执行步骤6；
B个预测框中与原始红外图像的真实框的IOU最高值的预测框进行误差函数的反向传播，即执行步骤6，否则，不进行反向传播即不执行步骤6。
7.根据权利要求1所述的一种基于多源异构数据学习的智能目标识别方法，其特征在于，所述步骤6包括以下步骤：
将下式得到的置信度带入步骤5中进行每个预测框的置信度的更新：
Figure FDA0002327721430000031
P(object)为单元格j中的存在目标的概率，
Figure FDA0002327721430000032
为预测框与原始红外图像的真实框交集面积与并集面积的比值；
得到每个预测框与真实框的
Figure FDA0002327721430000033
如果当前单元格的某预测框与真实标签值的
Figure FDA0002327721430000034
的值高于该单元格其他预测框的值，则计算损失函数loss，当loss小于设定值时或loss曲线已经趋于收敛，训练完成：
Figure FDA0002327721430000035
S为最终得到的特征图单元格尺寸，特征图分成S×S个单元格，B为每个单元格的预测框个数；
Figure FDA0002327721430000036
表示目标的中心坐标是否落入单元格j内，若是取值为1，反之取值为0；
Figure FDA0002327721430000037
表示当目标中心落在单元格j内时第k个预测框是否能代表单元格j的预测结果，该预测框如果是单元格j所有B个预测框中与真实框IOU值最高的预测框则能代表，能代表则取值为1，否则取值为0；
Figure FDA0002327721430000038
表示当目标中心未落在单元格j内时第k个预测框能否代表单元格j的预测结果，该预测框如果是单元格j所有B个预测框中与真实框IOU值最高的预测框则能代表，能代表则取值为1，否则取值为0；λcoord和λnoobj为修正权重。
xj表示为单元格j的预测框中与真实框IOU值最高的中心点横坐标，yj表示该预测框的中心点纵坐标，wj表示该预测框的宽，hj表示该预测框的高，confj为该预测框的置信度，pj为该预测框属于类别c的概率，classes表示数据集中类别的集合；字母上面有宝盖符号为预测值，无宝盖符号的为真实值。
8.根据权利要求1所述的一种基于多源异构数据学习的智能目标识别方法，其特征在于，所述步骤7包括以下步骤：
当预测目标中心位置的坐标落入到某个单元格中，那么该单元格预测的B个检测框中置信度最高的检测框检测出这个目标。
CN201911323338.XA 2019-12-20 2019-12-20 一种基于多源异构数据学习的智能目标识别方法 Active CN113011446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911323338.XA CN113011446B (zh) 2019-12-20 2019-12-20 一种基于多源异构数据学习的智能目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911323338.XA CN113011446B (zh) 2019-12-20 2019-12-20 一种基于多源异构数据学习的智能目标识别方法

Publications (2)

Publication Number Publication Date
CN113011446A true CN113011446A (zh) 2021-06-22
CN113011446B CN113011446B (zh) 2023-08-04

Family

ID=76381942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911323338.XA Active CN113011446B (zh) 2019-12-20 2019-12-20 一种基于多源异构数据学习的智能目标识别方法

Country Status (1)

Country Link
CN (1) CN113011446B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363512A (zh) * 2023-03-24 2023-06-30 北京城市轨道交通咨询有限公司 一种检测围岩稳定性的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025445A (zh) * 2017-04-10 2017-08-08 中国科学院合肥物质科学研究院 基于类信息熵的多源遥感图像组合选择方法
US20190043201A1 (en) * 2017-12-28 2019-02-07 Christina R. Strong Analytic image format for visual computing
CN110334661A (zh) * 2019-07-09 2019-10-15 国网江苏省电力有限公司扬州供电分公司 基于深度学习的红外输变电异常发热点目标检测方法
CN110502654A (zh) * 2019-08-26 2019-11-26 长光卫星技术有限公司 一种适用于多源异构遥感数据的目标库生成系统
CN110516560A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于fpga异构深度学习的光学遥感图像目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025445A (zh) * 2017-04-10 2017-08-08 中国科学院合肥物质科学研究院 基于类信息熵的多源遥感图像组合选择方法
US20190043201A1 (en) * 2017-12-28 2019-02-07 Christina R. Strong Analytic image format for visual computing
CN110334661A (zh) * 2019-07-09 2019-10-15 国网江苏省电力有限公司扬州供电分公司 基于深度学习的红外输变电异常发热点目标检测方法
CN110516560A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于fpga异构深度学习的光学遥感图像目标检测方法
CN110502654A (zh) * 2019-08-26 2019-11-26 长光卫星技术有限公司 一种适用于多源异构遥感数据的目标库生成系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363512A (zh) * 2023-03-24 2023-06-30 北京城市轨道交通咨询有限公司 一种检测围岩稳定性的方法及装置

Also Published As

Publication number Publication date
CN113011446B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN111259930B (zh) 自适应注意力指导机制的一般性目标检测方法
CN109190524B (zh) 一种基于生成对抗网络的人体动作识别方法
CN105488528B (zh) 基于改进自适应遗传算法的神经网络图像分类方法
CN105701502B (zh) 一种基于蒙特卡罗数据均衡的图像自动标注方法
CN110276377A (zh) 一种基于贝叶斯优化的对抗样本生成方法
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN110796199B (zh) 一种图像处理方法、装置以及电子医疗设备
CN113033520A (zh) 一种基于深度学习的树木线虫病害木识别方法及系统
Zhang et al. Fast covariance matching with fuzzy genetic algorithm
CN113554156B (zh) 基于注意力机制与可变形卷积的多任务图像处理方法
CN113095158A (zh) 一种基于对抗生成网络的笔迹生成方法及装置
CN117576079A (zh) 一种工业产品表面异常检测方法、装置及系统
CN117079098A (zh) 一种基于位置编码的空间小目标检测方法
Zhu et al. A novel simple visual tracking algorithm based on hashing and deep learning
CN112560034B (zh) 基于反馈式深度对抗网络的恶意代码样本合成方法及装置
CN113011446B (zh) 一种基于多源异构数据学习的智能目标识别方法
CN117371511A (zh) 图像分类模型的训练方法、装置、设备及存储介质
CN113723482B (zh) 基于多示例孪生网络的高光谱目标检测方法
CN115311550A (zh) 遥感影像语义变化检测方法、装置、电子设备及存储介质
CN115410250A (zh) 阵列式人脸美丽预测方法、设备及存储介质
CN113971442A (zh) 一种基于自步学习的生成通用对抗扰动方法及系统
JP2021072106A (ja) イメージ処理システム
CN111274894A (zh) 一种基于改进YOLOv3的人员在岗状态检测方法
CN114821206B (zh) 基于对抗互补特征的多模态图像融合分类方法与系统
CN113538278B (zh) 基于可变形卷积的深度图补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant