CN110674878A - 一种双模决策级图像融合的目标检测方法及设备 - Google Patents

一种双模决策级图像融合的目标检测方法及设备 Download PDF

Info

Publication number
CN110674878A
CN110674878A CN201910916886.7A CN201910916886A CN110674878A CN 110674878 A CN110674878 A CN 110674878A CN 201910916886 A CN201910916886 A CN 201910916886A CN 110674878 A CN110674878 A CN 110674878A
Authority
CN
China
Prior art keywords
visible light
target detection
model
infrared
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910916886.7A
Other languages
English (en)
Inventor
代作晓
宣静怡
龙波
王迎超
孙海铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TAICANG INSTITUTE OF OPTO-ELECTRONIC TECHNOLOGY
Suzhou Evernovi Optoelectronics Co Ltd
Original Assignee
TAICANG INSTITUTE OF OPTO-ELECTRONIC TECHNOLOGY
Suzhou Evernovi Optoelectronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TAICANG INSTITUTE OF OPTO-ELECTRONIC TECHNOLOGY, Suzhou Evernovi Optoelectronics Co Ltd filed Critical TAICANG INSTITUTE OF OPTO-ELECTRONIC TECHNOLOGY
Priority to CN201910916886.7A priority Critical patent/CN110674878A/zh
Publication of CN110674878A publication Critical patent/CN110674878A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Abstract

本发明公开了一种双模决策级图像融合的目标检测方法，包括以下步骤：采集可见光数据，对可见光预训练模型进行训练，得到可见光目标检测模型；从可见光目标检测模型抽取得到红外预训练模型，采集红外数据，对红外数据集进行微调，得到红外目标检测模型；对可见光目标检测模型和红外目标检测模型进行模型压缩；对检测照片进行决策级融合，显示置信度最高的检测回归框。本发明实施例提供的双模决策级图像融合的目标检测方法及设备，针对特征提取与分类网络结构进行优化，分别对可见光条件和红外条件下的汽车目标进行离线训练，在嵌入式平台上部署训练好的模型，实现在线目标检测，提高了目标检测的准确性和时效性。

Description

一种双模决策级图像融合的目标检测方法及设备
技术领域
本发明涉及图像检测技术领域，具体涉及一种双模决策级图像融合的目标检测方法及设备。
背景技术
在传统的目标检测中，单一传感器无法获得的目标检测效果。可见光条件下，获得目标的颜色、纹理等细节信息，但无法获得热辐射特性；红外条件下，获得目标的热辐射特性，通常与周围环境温度对比明显，但无法获得细节信息。
利用多源传感器进行数据、信息融合，从而实现提升目标检测性能，而其中最典型的是红外与可见光的融合检测。目前，红外与可见光融合检测大多采用的仍是传统方法，相关检测模型通常应用于PC端。因为嵌入式平台计算单元较少、处理速度较慢，其GPU性能远比不上PC端的GPU性能，前者的性能相比于后者至少下降1/10。
为了解决这些问题，本文针对特征提取与分类网络结构进行优化，提出一种双模决策级图像融合的目标检测方法及设备。
发明内容
有鉴于此，本发明实施例的目的在于提出一种双模决策级图像融合的目标检测方法及设备，针对特征提取与分类网络结构进行优化，实现了基于嵌入式平台的在线目标检测。
基于上述目的，本发明实施例的第一方面提供了一种双模决策级图像融合的目标检测方法，包括：
采集可见光数据，对可见光预训练模型进行训练，得到可见光目标检测模型；
从可见光目标检测模型抽取得到红外预训练模型，采集红外数据，对红外数据集进行微调，得到红外目标检测模型；
对可见光目标检测模型和红外目标检测模型进行模型压缩；
对检测照片进行决策级融合，显示置信度最高的检测回归框。
在一些实施方式中，模型压缩包括剪枝和量化。
在一些实施方式中，剪枝包括：权重阈值限定，从网络中删除权重低于阈值的连接；评估稀疏度和准确度，将密集网络转换为稀疏网络；微调参数，重新训练网络，获取剩余稀疏连接的最终权重。
在一些实施方式中，剪枝基于训练前后层级单元之间关系的重要程度。
在一些实施方式中，量化在训练量化器时采用浮点型处理数据。量化在推断时采用半长的浮点型或8位整型处理数据。
在一些实施方式中，对检测照片进行决策级融合包括：图像配准；利用可见光与红外图像中相同目标的置信度计算得到融合图像的加权系数；进行目标置信度的归一化。
在一些实施方式中，采集可见光数据包括：利用高分辨率成像传感器，获取目标的细节特征。
在一些实施方式中，采集红外数据包括：利用红外传感器，获取目标的热辐射特征。
本发明实施例的第二方面提供了一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现任一上述方法的步骤。
本发明具有以下有益技术效果：本发明实施例提供的双模决策级图像融合的目标检测方法及设备，针对特征提取与分类网络结构进行优化，分别对可见光条件和红外条件下的汽车目标进行离线训练，在嵌入式平台上部署训练好的模型，实现在线目标检测，提高了目标检测的准确性和时效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的双模决策级图像融合的目标检测方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了双模决策级图像融合的目标检测方法的一个实施例。图1示出的是本发明提供的双模决策级图像融合的目标检测方法的流程示意图。
所述双模决策级图像融合的目标检测方法，如图1所示，包括：
步骤S01：采集可见光数据，对可见光预训练模型进行训练，得到可见光目标检测模型；
步骤S02：从可见光目标检测模型抽取得到红外预训练模型，采集红外数据，对红外数据集进行微调，得到红外目标检测模型；
步骤S03：对可见光目标检测模型和红外目标检测模型进行模型压缩；
步骤S04：对检测照片进行决策级融合，显示置信度最高的检测回归框。
本发明实施例提出了基于YOLOv3(You only Once-Version 3)模型压缩的双模决策级融合的轻量目标检测模型，模型压缩主要包括剪枝和量化两个步骤。YOLOv3目标检测方法如下：首先将输入图像按网格划分，即输入S×S个网格。如果检测目标的中心落在其中一个网格内，则检测目标的任务由该网格负责。网格的输出是B个目标边界框，每个边界框输出5个参数，即4个与目标相关的预测参数和边框置信度评分。4个与目标相关的预测参数分别为目标边框的中心点横坐标x、纵坐标y、宽度w和高度h。边框置信度评分可表示为YOLOv3预测目标边框内有目标的可能性与YOLOv3预测目标边框的准确率的乘积。
在一些实施例中，剪枝包括：权重阈值限定，从网络中删除权重低于阈值的连接；评估稀疏度和准确度，将密集网络转换为稀疏网络；微调参数，重新训练网络，获取剩余稀疏连接的最终权重。剪枝主要是以保存YOLOv3中重要的链接来达到降低存储数量和计算复杂度为目的。YOLOv3常规训练后的模型大小达到200M，对于嵌入式设备，将模型预读进内存中，提供给推理过程使用，这将会消耗设备的所有内存。利用深度神经压缩的剪枝思路，对于YOLOv3模型进行压缩，是将YOLOv3应用在嵌入式设备上的一个方式。
与传统训练不同，本文并不关心迭代后权重的最终值，而是基于训练前后层级单元之间关系的重要程度。修剪低权重连接，从网络中删除权重低于阈值的所有连接，将密集网络转换为稀疏网络。重新训练网络，以获取剩余稀疏连接的最终权重。
在一些实施例中，量化是应用NVIDIA公司开源的量化工具tensorRT进行模型量化。TensorRT是NVIDIA针对神经网络inference阶段提供的加速器。训练的时候因为要保证前后向传播，每次梯度的更新是很微小的，这个时候需要相对较高的精度，一般来说需要浮点型，如FP32，32位的浮点型来处理数据，但是在推断的时候，对精度的要求没有那么高，很多研究表明可以用低精度，如半长的浮点型，即FP16，也可以用8位的整型(INT8)来做推断。
输入的是一个预先训练好的FP32的模型和网络，将模型通过parser等方式输入到TensorRT中，TensorRT可以生成一个Serialization，也就是说将输入串流到内存或文件中，形成一个优化好的engine，执行的时候可以调取它来执行推断。
在一些实施例中，对检测照片进行决策级融合包括：图像配准；利用可见光与红外图像中相同目标的置信度计算得到融合图像的加权系数；进行目标置信度的归一化。同一个目标经过红外、可见光检测模型检测，分别得到两张标有置信度的检测照片，利用非极大值抑制算法，显示置信度最高的检测回归框。经过手动图像配准，利用可见光与红外图像中相同目标的置信度(红外：ηi，可见光：μi)计算得到融合图像的加权系数，并进行目标置信度归一化：
Figure BDA0002216355190000051
Figure BDA0002216355190000052
可见光图像加权系数：
α＝μ’1+μ’2+....+μ’n
红外图像加权系数：
β＝η’1+η’2+....+η’n
在一些实施例中，采集可见光数据包括：利用高分辨率成像传感器，获取目标的细节特征。获得目标的细节信息包括颜色、纹理等。可见光条件下基于深度学习的目标检测模型的预训练模型是建立在Imagenet、Pascal VOC训练过的模型。
在一些实施例中，采集红外数据包括：利用红外传感器，获取目标的热辐射特征，通常与周围环境温度对比明显，尤其是夜晚条件下，更具有天然优势。从可见光检测模型抽取用于红外物体检测的预训练模型，并在红外数据集上进行微调，从而得到基于深度学习的红外物体检测模型。
基于上述目的，本发明实施例的第二个方面，提出了一种一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现任一上述方法的步骤。
结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现所述的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种双模决策级图像融合的目标检测方法，其特征在于，包括以下步骤：
采集可见光数据，对可见光预训练模型进行训练，得到可见光目标检测模型；
从所述可见光目标检测模型抽取得到红外预训练模型，采集红外数据，对所述红外数据集进行微调，得到红外目标检测模型；
对所述可见光目标检测模型和所述红外目标检测模型进行模型压缩；
对检测照片进行决策级融合，显示置信度最高的检测回归框。
2.根据权利要求1所述的目标检测方法，其特征在于，所述模型压缩包括剪枝和量化。
3.根据权利要求2所述的目标检测方法，其特征在于，所述剪枝包括：
权重阈值限定，从网络中删除权重低于阈值的连接；
评估稀疏度和准确度，将密集网络转换为稀疏网络；
微调参数，重新训练网络，获取剩余稀疏连接的最终权重。
4.根据权利要求3所述的目标检测方法，其特征在于，所述剪枝基于训练前后层级单元之间关系的重要程度。
5.根据权利要求2所述的目标检测方法，其特征在于，所述量化在训练量化器时采用浮点型处理数据。
6.根据权利要求2所述的目标检测方法，其特征在于，所述量化在推断时采用半长的浮点型或8位整型处理数据。
7.根据权利要求1所述的目标检测方法，其特征在于，所述对检测照片进行决策级融合包括：
图像配准；
利用可见光与红外图像中相同目标的置信度计算得到融合图像的加权系数；
进行目标置信度的归一化。
8.根据权利要求1所述的目标检测方法，其特征在于，所述采集可见光数据包括：利用高分辨率成像传感器，获取目标的细节特征。
9.根据权利要求1所述的目标检测方法，其特征在于，所述采集红外数据包括：利用红外传感器，获取目标的热辐射特征。
10.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-9任意一项所述方法的步骤。
CN201910916886.7A 2019-09-26 2019-09-26 一种双模决策级图像融合的目标检测方法及设备 Pending CN110674878A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910916886.7A CN110674878A (zh) 2019-09-26 2019-09-26 一种双模决策级图像融合的目标检测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910916886.7A CN110674878A (zh) 2019-09-26 2019-09-26 一种双模决策级图像融合的目标检测方法及设备

Publications (1)

Publication Number Publication Date
CN110674878A true CN110674878A (zh) 2020-01-10

Family

ID=69079268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910916886.7A Pending CN110674878A (zh) 2019-09-26 2019-09-26 一种双模决策级图像融合的目标检测方法及设备

Country Status (1)

Country Link
CN (1) CN110674878A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680564A (zh) * 2020-05-09 2020-09-18 安徽工程大学 一种全天候行人重识别方法、系统、设备及存储介质
CN112232208A (zh) * 2020-10-16 2021-01-15 蓝普金睛（北京）科技有限公司 红外人脸测温系统及其方法
CN112668648A (zh) * 2020-12-29 2021-04-16 西安电子科技大学 基于对称融合网络的红外可见光融合识别方法
CN112966565A (zh) * 2021-02-05 2021-06-15 深圳市优必选科技股份有限公司 一种物体检测方法、装置、终端设备及存储介质
CN112989924A (zh) * 2021-01-26 2021-06-18 深圳市优必选科技股份有限公司 目标检测方法、目标检测装置及终端设备
CN113239845A (zh) * 2021-05-26 2021-08-10 青岛以萨数据技术有限公司 一种面向嵌入式平台的红外目标检测方法及系统
CN113255521A (zh) * 2021-05-26 2021-08-13 青岛以萨数据技术有限公司 一种面向嵌入式平台的双模目标检测方法及系统
CN115265881A (zh) * 2022-09-28 2022-11-01 宁波普瑞均胜汽车电子有限公司 压力检测方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011091091A1 (en) * 2010-01-19 2011-07-28 Delacom Detection Systems, Llc A method, device and system for determining the presence of volatile organic compounds (voc) in video
CN107609525A (zh) * 2017-09-19 2018-01-19 吉林大学 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN108875669A (zh) * 2018-06-28 2018-11-23 武汉市哈哈便利科技有限公司 一种基于可见光与红外图像融合的商品识别技术
CN108898168A (zh) * 2018-06-19 2018-11-27 清华大学 用于目标检测的卷积神经网络模型的压缩方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011091091A1 (en) * 2010-01-19 2011-07-28 Delacom Detection Systems, Llc A method, device and system for determining the presence of volatile organic compounds (voc) in video
CN107609525A (zh) * 2017-09-19 2018-01-19 吉林大学 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN108898168A (zh) * 2018-06-19 2018-11-27 清华大学 用于目标检测的卷积神经网络模型的压缩方法和系统
CN108875669A (zh) * 2018-06-28 2018-11-23 武汉市哈哈便利科技有限公司 一种基于可见光与红外图像融合的商品识别技术

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FENDRI E,ET AL: "Fusion of thermal infrared and visible spectra for robust moving object detection", 《PATTERN ANAL APPLIC》 *
唐聪: "基于深度学习的红外与可见光决策级融合跟踪", 《激光与光电子学进展》 *
苟书鑫: "基于模型互更新的多模图像融合跟踪算法", 《红外技术》 *
黄杰军: "基于改进YOLO的双模目标检测识别方法研究", 《计算机与数字工程》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680564A (zh) * 2020-05-09 2020-09-18 安徽工程大学 一种全天候行人重识别方法、系统、设备及存储介质
CN112232208A (zh) * 2020-10-16 2021-01-15 蓝普金睛（北京）科技有限公司 红外人脸测温系统及其方法
CN112668648A (zh) * 2020-12-29 2021-04-16 西安电子科技大学 基于对称融合网络的红外可见光融合识别方法
CN112668648B (zh) * 2020-12-29 2023-06-20 西安电子科技大学 基于对称融合网络的红外可见光融合识别方法
CN112989924A (zh) * 2021-01-26 2021-06-18 深圳市优必选科技股份有限公司 目标检测方法、目标检测装置及终端设备
CN112966565A (zh) * 2021-02-05 2021-06-15 深圳市优必选科技股份有限公司 一种物体检测方法、装置、终端设备及存储介质
CN113239845A (zh) * 2021-05-26 2021-08-10 青岛以萨数据技术有限公司 一种面向嵌入式平台的红外目标检测方法及系统
CN113255521A (zh) * 2021-05-26 2021-08-13 青岛以萨数据技术有限公司 一种面向嵌入式平台的双模目标检测方法及系统
CN115265881A (zh) * 2022-09-28 2022-11-01 宁波普瑞均胜汽车电子有限公司 压力检测方法和装置
CN115265881B (zh) * 2022-09-28 2022-12-20 宁波普瑞均胜汽车电子有限公司 压力检测方法和装置

Similar Documents

Publication Publication Date Title
CN110674878A (zh) 一种双模决策级图像融合的目标检测方法及设备
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN112307714B (zh) 一种基于双阶段深度网络的文字风格迁移方法
CN110533022B (zh) 一种目标检测方法、系统、装置及存储介质
CN110929610A (zh) 基于cnn模型和迁移学习的植物病害识别方法及系统
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN113420794B (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
CN111047543A (zh) 图像增强方法、装置和存储介质
CN113052775B (zh) 一种图像去阴影方法及装置
CN113569881A (zh) 一种基于链式残差与注意力机制的自适应语义分割方法
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN116564338B (zh) 语音动画生成方法、装置、电子设备和介质
CN112488963A (zh) 一种用于农作物病害数据的增强方法
CN117561549A (zh) 利用生成神经网络的序列生成图像
Zhang Research on Image Recognition Based on Neural Network
CN111160327B (zh) 一种基于轻量化卷积神经网络的表情识别方法
CN116543289B (zh) 一种基于编码器-解码器及Bi-LSTM注意力模型的图像描述方法
CN116137023B (zh) 基于背景建模和细节增强的低照度图像增强方法
CN116309213A (zh) 一种基于生成对抗网络的高实时多源图像融合方法
CN112651242B (zh) 一种基于内外注意力机制和可变尺度卷积的文本分类方法
CN112991236B (zh) 一种基于模板的图像增强方法及装置
CN114998124A (zh) 面向目标检测的图像清晰化处理方法
CN115409150A (zh) 一种数据压缩方法、数据解压方法及相关设备
CN113034475A (zh) 基于轻量级三维卷积神经网络的手指oct体数据去噪方法
CN111126364A (zh) 一种基于分组卷积神经网络的表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110

RJ01 Rejection of invention patent application after publication