CN114049488A - 一种多维信息融合的远距离弱小目标检测方法和终端 - Google Patents
一种多维信息融合的远距离弱小目标检测方法和终端 Download PDFInfo
- Publication number
- CN114049488A CN114049488A CN202210012193.7A CN202210012193A CN114049488A CN 114049488 A CN114049488 A CN 114049488A CN 202210012193 A CN202210012193 A CN 202210012193A CN 114049488 A CN114049488 A CN 114049488A
- Authority
- CN
- China
- Prior art keywords
- small target
- image
- weak
- dimensional information
- small
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Abstract
本发明涉及远距离弱小目标检测技术领域，具体提供一种多维信息融合的远距离弱小目标检测方法和终端，在小目标图像中添加上下文信息；对小目标图像进行增强处理；修改小目标图像的网络结构，增加多尺度学习；将小目标图像的原分辨率进行多Batch推理；得到检测结果并进行输出。本发明基于弱小目标的成像特点，通过融合上下文信息、数据增强、多尺度学习、图像原分辨率切分多Batch推理的多维信息处理，能够在极小的误报率下实现对弱小目标的精准检测，能够满足实际使用要求。
Description
技术领域
本发明涉及远距离弱小目标检测技术领域，尤其涉及一种多维信息融合的远距离弱小目标检测方法和终端。
背景技术
目前，小目标检测作为计算机视觉中的一个难点和研究热点，在深度学习的驱动下，已经取得了较大的进步。但是鉴于当前应用的边防弱视觉场景，目标位于2-3km处的低位置区域中，在1280*1024的图像上成像低于15个像素，甚至存在5个像素的弱小目标，只利用单项小目标方案，造成对弱小目标的检测精准度低，无法满足使用要求。
发明内容
本发明提供一种能够在极小的误报率下，实现对弱小目标精准检测的多维信息融合的远距离弱小目标检测方法。
方法包括：
在小目标图像中添加上下文信息；
对小目标图像进行增强处理；
修改小目标图像的网络结构，增加多尺度学习；
将小目标图像的原分辨率进行多Batch推理；
得到检测结果并进行输出。
进一步需要说明的是，上下文信息包括：小目标图像的周围图像信息。
进一步需要说明的是，对小目标图像进行增强处理还包括：
对采集图像的左上边缘进行切分，统计图像数据集中所有目标的Bbox分布情况，根据Bbox的分布情况确定切分子图像之间的重叠区域，在切分图像时保证切分图像的重叠区域为64个像素，将一张原始图像尺寸为W*H的图像切分为((W-704)/640+1)*((H-576)/512+1)个子图像进行训练。
对采集图像参照目标进行切分时，以目标作为切分子图像中区域，随机向周围扩展704*576的区域进行切分子图像，将子图像加入到训练集数据集中。
将获取的大目标区域裁切后缩放成小目标，融合到小目标图像的背景图上。
进一步需要说明的是，步骤增加多尺度学习还包括：
增加4倍下采样的小目标图像与PANet相连，同时增加一组Anchor，提升小目标图像的检出率。
进一步需要说明的是，步骤修改小目标图像的网络结构，增加多尺度学习还包括：
将pytorch训练完成的pt文件转换成onnx文件；
将onnx文件转换成caffe格式的caffemodel文件；
按照atlas支持的算子格式修改caffe格式的prototxt文件，利用ATC转换工具将caffemodel文件转换成atlas支持的om文件；
将om模型文件部署到atlas200前端，利用C++推理程序调用om模型进行小目标图像检测识别。
本发明还提供一种实现多维信息融合的远距离弱小目标检测方法的终端，包括：
存储器，用于存储计算机程序及多维信息融合的远距离弱小目标检测方法；
处理器，用于执行所述计算机程序及多维信息融合的远距离弱小目标检测方法，以实现多维信息融合的远距离弱小目标检测方法的步骤。
从以上技术方案可以看出，本发明具有以下优点：
本发明提供的多维信息融合的远距离弱小目标检测方法是基于弱小目标的成像特点，通过融合上下文信息、数据增强、多尺度学习、图像原分辨率切分多Batch推理的多维信息处理，能够在极小的误报率下实现对弱小目标的精准检测，能够满足实际使用要求。
本发明提供的多维信息融合的远距离弱小目标检测方法将om模型文件部署到atlas200前端，利用C++推理程序调用om模型进行目标检测识别，为达到高清图像的实时推理，采用发明内容4进行切分图像多Batch推理，在提高目标检出率的同时能够满足实时要求。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为多维信息融合的远距离弱小目标检测方法流程图；
图2为图像切分多Batch推理过程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的多维信息融合的远距离弱小目标检测方法中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明提供的多维信息融合的远距离弱小目标检测方法的附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在本发明提供的多维信息融合的远距离弱小目标检测方法中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
本发明提供的多维信息融合的远距离弱小目标检测方法是基于弱小目标的成像特点，通过融合上下文信息、数据增强、多尺度学习、图像原分辨率切分多Batch推理的多维信息处理，能够在极小的误报率下实现对弱小目标的精准检测，能够满足实际使用要求。
如图1所示，方法具体包括：S101、在小目标图像中添加上下文信息；
本发明应用的场景是检测低位置远距离道路上的车辆、行人等弱小目标，在实际场景中弱小目标在热成像图像（1280*1024）中可能是3*5的灰度像素块，直接标注弱小目标势必会造成较多误检，此时考虑其周围的上下文信息，例如车辆只在道路上行驶，加上道路这样的上下文信息，那么目标就相当于变大了一些，检测也就更容易了。
S102、对小目标图像进行增强处理；
本发明针对弱小目标的数据特点：分辨率低、可提取特征少、样本数量匮乏、分布不均匀等，本发明使用多种方法对数据集进行增强，具体采用如下方法：
（1.1）对采集图像参照左上边缘进行切分时，为保证切分边界目标的完整性，先统计数据集中所有目标的Bbox（目标的边界边框的最长边）分布情况，根据Bbox的分布情况确定切分子图像之间的重叠区域，由于我们数据集中的目标较小，90%的目标的最长边小于64个像素，则在切分图像时保证切分图像的重叠区域为64个像素,将一张原始图像尺寸为W*H的图像（训练网络输入图像尺寸为704*576）能够切分为((W-704)/640+1)*((H-576)/512+1)个子图像进行训练；
（1.2）对于采集图像参照目标进行切分时，以目标作为切分子图像中区域，随机向周围扩展704*576的区域进行切分子图像，将子图像加入到训练集数据集中；
（1.3）将好获取的大目标区域裁切后缩放成小目标，融合到弱小目标的背景图上。
经过上述数据增强方案，能够大幅增加弱小目标的训练样本数，从而提升了弱小目标的检测性能。
S103、修改小目标图像的网络结构，增加多尺度学习；
本发明应用yolov5检测网络作为baseline，在网络下采样8倍至32倍的过程中，弱小目标的特征信息与位置信息会退化丢失，难以被网络检测。为此，增加4倍下采样的特征图与PANet相连，同时增加一组Anchor，训练测试发现在未明显增加推理时延的情况下，mAP提升了1.8%，在实际测试中弱小目标的检出率提升了3.6%。
S104、将小目标图像的原分辨率进行多Batch推理；
本发明在对尺寸为1280*1024的图像进行推理时，如果对图像进行缩放后再检测，也会影响弱小目标的检出率，所以本发明中对原始分辨率的图像进行重叠部分区域切分（一张尺寸为1280*1024的图像切分为四张分辨率为704*576的子图）后，多Batch送入模型进行推理，最后将推理结果按照切分子图相对原图坐标位置进行还原，对于还原后的目标框会出现的情况如图2最右侧图显示，对于图2中方框1和方框4没有歧义的目标检测框，直接根据子图的偏移位置还原即可；对于方框2，方框3情况的目标区域，当目标处于一个子图的边界，而位于另一个子图内部则直接取位于子图内部的目标检测框，取方框2作为检测结果；而对于重叠区域的多个目标检测结果，如方框5进行非极大值抑制进行滤除，只保留一个目标框检测结果。
S105、得到检测结果并进行输出。
作为本发明的多维信息融合的远距离弱小目标检测方法来讲，利用pytorch框架进行训练。其中，转换为前端部署模型的整体流程如下:
(1) 将pytorch训练完成的pt文件转换成onnx文件;
(2) 将onnx文件转换成caffe格式的caffemodel文件;
(3) 按照atlas支持的算子格式修改caffe格式的prototxt文件，利用ATC转换工具（华为开发的模型转换工具）将caffemodel文件转换成atlas支持的om文件。
将om模型文件部署到atlas200前端，利用C++推理程序调用om模型进行小目标图像检测识别。为达到高清图像的实时推理，采用切分图像多Batch推理，在提高目标检出率的同时能够满足实时要求。
基于上述方法本发明还提供一种实现多维信息融合的远距离弱小目标检测方法的终端，包括：存储器，用于存储计算机程序及多维信息融合的远距离弱小目标检测方法；处理器，用于执行所述计算机程序及多维信息融合的远距离弱小目标检测方法，以实现多维信息融合的远距离弱小目标检测方法的步骤。
终端可以以各种形式来实施。例如，本发明实施例中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、平板电脑(PAD)、便携式多媒体播放器(PMP，PortableMedia Player)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
将得到小目标图像检测结果并进行输出，可以采用显示单元进行输出。显示单元可以包括液晶显示器(LCD，Liquid Crystal Display)、薄膜晶体管LCD(TFT-LCD，ThinFilm Transistor-LCD)、有机发光二极管(OLED，Organic Light-Emitting Diode)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为透明有机发光二极管(TOLED)显示器等等。
本发明还提供一种具有多维信息融合的远距离弱小目标检测方法的可读存储介质，可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现多维信息融合的远距离弱小目标检测方法的步骤。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的具有多维信息融合的远距离弱小目标检测方法可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，具有多维信息融合的远距离弱小目标检测方法公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的索引方法。
具有多维信息融合的远距离弱小目标检测方法的存储介质中，可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种多维信息融合的远距离弱小目标检测方法，其特征在于，方法包括：
在小目标图像中添加上下文信息；
对小目标图像进行增强处理；
修改小目标图像的网络结构，增加多尺度学习；
将小目标图像的原分辨率进行多Batch推理；
得到检测结果并进行输出。
2.根据权利要求1所述的多维信息融合的远距离弱小目标检测方法，其特征在于，
上下文信息包括：小目标图像的周围图像信息。
3.根据权利要求1所述的多维信息融合的远距离弱小目标检测方法，其特征在于，
对小目标图像进行增强处理包括：
对采集图像的左上边缘进行切分，统计图像数据集中所有目标的Bbox分布情况，根据Bbox的分布情况确定切分子图像之间的重叠区域，在切分图像时保证切分图像的重叠区域为64个像素，将一张原始图像尺寸为W*H的图像切分为((W-704)/640+1)*((H-576)/512+1)个子图像进行训练。
4.根据权利要求3所述的多维信息融合的远距离弱小目标检测方法，其特征在于，对小目标图像进行增强处理还包括：
对采集图像参照目标进行切分时，以目标作为切分子图像中区域，随机向周围扩展704*576的区域进行切分子图像，将子图像加入到训练集数据集中。
5.根据权利要求3所述的多维信息融合的远距离弱小目标检测方法，其特征在于，步骤对小目标图像进行增强处理还包括：
将获取的大目标区域裁切后缩放成小目标，融合到小目标图像的背景图上。
6.根据权利要求1所述的多维信息融合的远距离弱小目标检测方法，其特征在于，步骤增加多尺度学习还包括：
增加4倍下采样的小目标图像与PANet相连，同时增加一组Anchor，提升小目标图像的检出率。
7.根据权利要求1所述的多维信息融合的远距离弱小目标检测方法，其特征在于，
步骤修改小目标图像的网络结构，增加多尺度学习还包括：
将pytorch训练完成的pt文件转换成onnx文件；
将onnx文件转换成caffe格式的caffemodel文件；
按照atlas支持的算子格式修改caffe格式的prototxt文件，利用ATC转换工具将caffemodel文件转换成atlas支持的om文件；
将om模型文件部署到atlas200前端，利用C++推理程序调用om模型进行小目标图像检测识别。
8.一种实现多维信息融合的远距离弱小目标检测方法的终端，其特征在于，包括：
存储器，用于存储计算机程序及多维信息融合的远距离弱小目标检测方法；
处理器，用于执行所述计算机程序及多维信息融合的远距离弱小目标检测方法，以实现如权利要求1至7任意一项所述多维信息融合的远距离弱小目标检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210012193.7A CN114049488A (zh) | 2022-01-07 | 2022-01-07 | 一种多维信息融合的远距离弱小目标检测方法和终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210012193.7A CN114049488A (zh) | 2022-01-07 | 2022-01-07 | 一种多维信息融合的远距离弱小目标检测方法和终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114049488A true CN114049488A (zh) | 2022-02-15 |
Family
ID=80213465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210012193.7A Pending CN114049488A (zh) | 2022-01-07 | 2022-01-07 | 一种多维信息融合的远距离弱小目标检测方法和终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114049488A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311186A (zh) * | 2022-10-09 | 2022-11-08 | 济南和普威视光电技术有限公司 | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 |
| CN115861309A (zh) * | 2023-02-22 | 2023-03-28 | 和普威视光电股份有限公司 | 红外弱小目标检测mpcm加速方法、装置、终端及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460403A (zh) * | 2018-01-23 | 2018-08-28 | 上海交通大学 | 一种图像中多尺度特征融合的目标检测方法与系统 |
| CN110765951A (zh) * | 2019-10-24 | 2020-02-07 | 西安电子科技大学 | 基于边界框修正算法的遥感图像飞机目标检测方法 |
| CN112580558A (zh) * | 2020-12-25 | 2021-03-30 | 烟台艾睿光电科技有限公司 | 红外图像目标检测模型构建方法、检测方法、装置及系统 |
| CN113420607A (zh) * | 2021-05-31 | 2021-09-21 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 无人机多尺度目标检测识别方法 |
-
2022
- 2022-01-07 CN CN202210012193.7A patent/CN114049488A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460403A (zh) * | 2018-01-23 | 2018-08-28 | 上海交通大学 | 一种图像中多尺度特征融合的目标检测方法与系统 |
| CN110765951A (zh) * | 2019-10-24 | 2020-02-07 | 西安电子科技大学 | 基于边界框修正算法的遥感图像飞机目标检测方法 |
| CN112580558A (zh) * | 2020-12-25 | 2021-03-30 | 烟台艾睿光电科技有限公司 | 红外图像目标检测模型构建方法、检测方法、装置及系统 |
| CN113420607A (zh) * | 2021-05-31 | 2021-09-21 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 无人机多尺度目标检测识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李思雨: ""面向人脸表情识别的深度神经网络模型压缩研究"", 《道客巴巴》 * |
| 蔡伟等: ""复杂背景下红外图像弱小目标检测"", 《应用光学》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311186A (zh) * | 2022-10-09 | 2022-11-08 | 济南和普威视光电技术有限公司 | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 |
| CN115311186B (zh) * | 2022-10-09 | 2023-02-03 | 济南和普威视光电技术有限公司 | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 |
| CN115861309A (zh) * | 2023-02-22 | 2023-03-28 | 和普威视光电股份有限公司 | 红外弱小目标检测mpcm加速方法、装置、终端及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107944450B (zh) | 一种车牌识别方法及装置 | |
| CN114049488A (zh) | 一种多维信息融合的远距离弱小目标检测方法和终端 | |
| CN110781823B (zh) | 录屏检测方法、装置、可读介质及电子设备 | |
| CN111191582B (zh) | 三维目标检测方法、检测装置、终端设备及计算机可读存储介质 | |
| US20220392202A1 (en) | Imaging processing method and apparatus, electronic device, and storage medium | |
| US20220358326A1 (en) | Hand posture estimation method, apparatus, device, and computer storage medium | |
| US20190228272A1 (en) | Methods, systems and media for joint manifold learning based heterogenous sensor data fusion | |
| CN112001912B (zh) | 目标检测方法和装置、计算机系统和可读存储介质 | |
| EP4322109A1 (en) | Green screen matting method and apparatus, and electronic device | |
| CN112132216B (zh) | 车型识别方法、装置、电子设备及存储介质 | |
| CN113011390A (zh) | 一种基于图像分区的道路行人小目标检测方法 | |
| CN112668577A (zh) | 大尺度图像中目标物体的检测方法、终端及装置 | |
| CN112712036A (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
| CN109102026A (zh) | 一种车辆图像检测方法、装置及系统 | |
| CN113486856B (zh) | 一种驾驶员不规范行为检测方法 | |
| CN111462164A (zh) | 一种前景分割方法以及基于图像合成的数据增强方法 | |
| CN113255555A (zh) | 中国交通标志牌识别方法、系统、处理设备及存储介质 | |
| CN113378605B (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
| CN112884702A (zh) | 一种基于内窥镜图像的息肉识别系统和方法 | |
| CN112396060A (zh) | 基于身份证分割模型的身份证识别方法及其相关设备 | |
| CN110827340B (zh) | 地图的更新方法、装置及存储介质 | |
| CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
| CN115861891A (zh) | 视频目标检测方法、装置、设备及介质 | |
| CN114373078A (zh) | 目标检测方法、装置、终端设备及存储介质 | |
| CN114863124A (zh) | 模型训练方法、息肉检测方法、相应装置、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220215 |