CN116958836A - 一种可见光图像小目标检测识别方法及系统 - Google Patents
一种可见光图像小目标检测识别方法及系统 Download PDFInfo
- Publication number
- CN116958836A CN116958836A CN202310867595.XA CN202310867595A CN116958836A CN 116958836 A CN116958836 A CN 116958836A CN 202310867595 A CN202310867595 A CN 202310867595A CN 116958836 A CN116958836 A CN 116958836A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- visible light
- module
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种可见光图像小目标检测识别系统，包括图像获取模块、图像增强模块、图像特征提取模块、多尺度特征融合模块、目标分类模块和图像追踪模块。本发明属于目标识别系统技术领域，具体是提供了一种可见光图像小目标检测识别方法及系统，用于解决无人机图片检测中小目标的漏检和误检问题，提高小目标的检测精度，并可对小目标进行识别与分类，还可对运动轨迹进行追踪。
Description
技术领域
本发明属于目标识别系统技术领域，具体是指一种可见光图像小目标检测识别方法及系统。
背景技术
目标检测是一项重要的计算机视觉任务，近些年来随着无人机市场的快速拓展以及硬件设备成本的下降，基于无人机平台的目标检测已经成为研究热点。在深度学习技术迅猛发展背景下，无人机平台上的目标检测逐步从传统手工设计特征转为深度神经网络识别。
虽然深度学习给目标检测带来很大发展，但针对小目标检测仍然存在许多问题。一般目标检测不同类别之间，部分目标纹理姿态相似易混淆，对于同一类别之间存在差异性较大，如形状姿态，尺寸以及颜色纹理，易误判。除了这些常规特点之外，无人机航拍图像还包含大量的小目标，其中小目标占图像比例尺寸小，包含信息少，网络难以提取足够的信息来进行训练。除了小目标本身信息少之外，由于网络神经卷积的固有特点，使得小目标的特征信息随着网络的逐层卷积而减少，从而也导致小目标检测效果差的问题，对小目标的检测效果欠佳。
发明内容
针对上述情况，为克服现有技术的缺陷，本发明提供了一种可见光图像小目标检测识别方法及系统，用于解决无人机图片检测中小目标的漏检和误检问题，提高小目标的检测精度，并可对小目标进行识别与分类，还可对运动轨迹进行追踪。
本发明采取的技术方案如下：本发明一种可见光图像小目标检测识别系统，包括图像获取模块、图像增强模块、图像特征提取模块、多尺度特征融合模块、目标分类模块和图像追踪模块，
所述图像获取模块，用于获取无人机视频或者图像数据，并将所述无人机视频或者图像数据中的可见光图像发送至图像增强模块；
所述图像增强模块，用于对接收到的所述可见光图像进行图像增强处理，并检测运动目标，实时输出运动目标在图像中的位置；
所述图像特征提取模块，根据目标大小自适应调整锚框大小，并对特征图像进行多次重复采样，对特征图做归一化处理；
所述多尺度特征融合模块，通过双向特征金字塔网络，多次双向融合多尺度的图像特征信息；
所述目标分类模块，利用空间金字塔注意力机制实现目标的分类；
所述图像追踪模块，用于接收图像增强模块所输出的运动目标在图像中的位置，在可见光图像中标记处运动目标，并进行实时跟踪。
进一步地，所述图像增强模块通过Mosaic数据增强的方式，将原始的帧图像利用随机缩放、随机裁剪的方式进行增强，之后获得一张包含目标边界框的新图像，真实边界框和目标锚框之间没有相交区域。
进一步地，所述图像增强模块还包括：建立恒等分辨率特征增强网络，将可见光图像输入所述恒等分辨率特征增强网络中，增强目标的特征点。
作为优选方案，所述图像特征提取模块实现图像特征提取，包括如下步骤：
步骤1：设置初始锚框大小，之后对目标边界框大小进行聚类，将得到的目标锚框结果和真实边界框大小进行比对，根据目标大小自适应调整锚框大小；
步骤2：利用注意力网络，对同一个尺度的特征图进行多次重复采样，随后进行卷积和归一化操作，通过由卷积运算和激活运算构成的卷积层提取图像特征。
在本方案中，所述图像追踪模块对目标进行实时跟踪的方法，包括以下步骤：
步骤a：首先选项相邻的帧图像，对应像素值相减得到差分图像；
步骤b：然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于预设的阈值时，即所述像素为背景像素；如果图像区域的像素值变化大于等于预设的阈值时，即所述像素为前景像素；
步骤c：根据背景像素和前景像素来确定运动目标在图像中的位置。
进一步描述中，在可见光图像上用不同的颜色绘出每个目标的预测边界框，以及其类别种类。
作为进一步阐述的方案，本方案还公开了一种可见光图像小目标检测识别方法，包括以下步骤：
S1：获取无人机视频或者图像数据，并将所述无人机视频或者图像数据中的可见光图像发送至图像增强模块；
S2：通过图像增强模块，用于对接收到的所述可见光图像进行图像增强处理，并检测运动目标，实时输出运动目标在图像中的位置；
S3：对图像增强后的可见光图像进行图像特征提取以及多尺度特征融合处理，随后利用空间金字塔注意力机制实现目标的识别与分类；同时，在可见光图像中标记处运动目标，并进行实时跟踪。
采用上述结构本发明取得的有益效果如下：本方案一种可见光图像小目标检测识别方法及系统，用于解决无人机图片检测中小目标的漏检和误检问题，提高小目标的检测精度，并可对小目标进行识别与分类，还可对运动轨迹进行追踪。
附图说明
图1为本方案所提供的一种可见光图像小目标检测识别系统的组成示意图；
图2为本方案所提供的一种可见光图像小目标检测识别方法的流程图。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-2所示，本发明一种可见光图像小目标检测识别系统，包括图像获取模块、图像增强模块、图像特征提取模块、多尺度特征融合模块、目标分类模块和图像追踪模块。
其中，所述图像获取模块，用于获取无人机视频或者图像数据，并将所述无人机视频或者图像数据中的可见光图像发送至图像增强模块；
所述图像增强模块，用于对接收到的所述可见光图像进行图像增强处理，并检测运动目标，实时输出运动目标在图像中的位置；其中，所述图像增强模块通过Mosaic数据增强的方式，将原始的帧图像利用随机缩放、随机裁剪的方式进行增强，之后获得一张包含目标边界框的新图像，真实边界框和目标锚框之间没有相交区域。在可见光图像上用不同的颜色绘出每个目标的预测边界框，以及其类别种类。
进一步方案中，所述图像增强模块还包括：建立恒等分辨率特征增强网络，将可见光图像输入所述恒等分辨率特征增强网络中，增强目标的特征点。
所述图像特征提取模块，根据目标大小自适应调整锚框大小，并对特征图像进行多次重复采样，对特征图做归一化处理。其中，所述图像特征提取模块实现图像特征提取，包括如下步骤：
步骤1：设置初始锚框大小，之后对目标边界框大小进行聚类，将得到的目标锚框结果和真实边界框大小进行比对，根据目标大小自适应调整锚框大小；
步骤2：利用注意力网络，对同一个尺度的特征图进行多次重复采样，随后进行卷积和归一化操作，通过由卷积运算和激活运算构成的卷积层提取图像特征。
所述多尺度特征融合模块，通过双向特征金字塔网络，多次双向融合多尺度的图像特征信息；
所述目标分类模块，利用空间金字塔注意力机制实现目标的分类；
所述图像追踪模块，用于接收图像增强模块所输出的运动目标在图像中的位置，在可见光图像中标记处运动目标，并进行实时跟踪。其中，所述图像追踪模块对目标进行实时跟踪的方法，包括以下步骤：
步骤a：首先选项相邻的帧图像，对应像素值相减得到差分图像；
步骤b：然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于预设的阈值时，即所述像素为背景像素；如果图像区域的像素值变化大于等于预设的阈值时，即所述像素为前景像素；
步骤c：根据背景像素和前景像素来确定运动目标在图像中的位置。
实施例中，本方案还公开了一种可见光图像小目标检测识别方法，包括以下步骤：
S1：获取无人机视频或者图像数据，并将所述无人机视频或者图像数据中的可见光图像发送至图像增强模块；
S2：通过图像增强模块，用于对接收到的所述可见光图像进行图像增强处理，并检测运动目标，实时输出运动目标在图像中的位置；
S3：对图像增强后的可见光图像进行图像特征提取以及多尺度特征融合处理，随后利用空间金字塔注意力机制实现目标的识别与分类；同时，在可见光图像中标记处运动目标，并进行实时跟踪；并可对小目标进行识别与分类，还可对运动轨迹进行追踪，提高小目标的检测精度。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (7)
1.一种可见光图像小目标检测识别系统，其特征在于：包括图像获取模块、图像增强模块、图像特征提取模块、多尺度特征融合模块、目标分类模块和图像追踪模块，
所述图像获取模块，用于获取无人机视频或者图像数据，并将所述无人机视频或者图像数据中的可见光图像发送至图像增强模块；
所述图像增强模块，用于对接收到的所述可见光图像进行图像增强处理，并检测运动目标，实时输出运动目标在图像中的位置；
所述图像特征提取模块，根据目标大小自适应调整锚框大小，并对特征图像进行多次重复采样，对特征图做归一化处理；
所述多尺度特征融合模块，通过双向特征金字塔网络，多次双向融合多尺度的图像特征信息；
所述目标分类模块，利用空间金字塔注意力机制实现目标的分类；
所述图像追踪模块，用于接收图像增强模块所输出的运动目标在图像中的位置，在可见光图像中标记处运动目标，并进行实时跟踪。
2.根据权利要求1所述的一种可见光图像小目标检测识别系统，其特征在于：所述图像增强模块通过Mosaic数据增强的方式，将原始的帧图像利用随机缩放、随机裁剪的方式进行增强，之后获得一张包含目标边界框的新图像。
3.根据权利要求2所述的一种可见光图像小目标检测识别系统，其特征在于：所述图像增强模块还包括：建立恒等分辨率特征增强网络，将可见光图像输入所述恒等分辨率特征增强网络中，增强目标的特征点。
4.根据权利要求3所述的一种可见光图像小目标检测识别系统，其特征在于：所述图像特征提取模块实现图像特征提取，包括如下步骤：
步骤1：设置初始锚框大小，之后对目标边界框大小进行聚类，将得到的目标锚框结果和真实边界框大小进行比对，根据目标大小自适应调整锚框大小；
步骤2：利用注意力网络，对同一个尺度的特征图进行多次重复采样，随后进行卷积和归一化操作，通过由卷积运算和激活运算构成的卷积层提取图像特征。
5.根据权利要求4所述的一种可见光图像小目标检测识别系统，其特征在于：所述图像追踪模块对目标进行实时跟踪的方法，包括以下步骤：
步骤a：首先选项相邻的帧图像，对应像素值相减得到差分图像；
步骤b：然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于预设的阈值时，即所述像素为背景像素；如果图像区域的像素值变化大于等于预设的阈值时，即所述像素为前景像素；
步骤c：根据背景像素和前景像素来确定运动目标在图像中的位置。
6.根据权利要求5所述的一种可见光图像小目标检测识别系统，其特征在于：在所述可见光图像上用不同的颜色绘出每个目标的预测边界框，以及其类别种类。
7.一种根据权利要求1-6任一所述的一种可见光图像小目标检测识别系统的识别方法，其特征在于，包括以下步骤：
S1：获取无人机视频或者图像数据，并将所述无人机视频或者图像数据中的可见光图像发送至图像增强模块；
S2：通过图像增强模块，用于对接收到的所述可见光图像进行图像增强处理，并检测运动目标，实时输出运动目标在图像中的位置；
S3：对图像增强后的可见光图像进行图像特征提取以及多尺度特征融合处理，随后利用空间金字塔注意力机制实现目标的识别与分类；同时，在可见光图像中标记处运动目标，并进行实时跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310867595.XA CN116958836A (zh) | 2023-07-15 | 2023-07-15 | 一种可见光图像小目标检测识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310867595.XA CN116958836A (zh) | 2023-07-15 | 2023-07-15 | 一种可见光图像小目标检测识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116958836A true CN116958836A (zh) | 2023-10-27 |
Family
ID=88450522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310867595.XA Pending CN116958836A (zh) | 2023-07-15 | 2023-07-15 | 一种可见光图像小目标检测识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116958836A (zh) |
-
2023
- 2023-07-15 CN CN202310867595.XA patent/CN116958836A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9846946B2 (en) | Objection recognition in a 3D scene | |
| JP4942510B2 (ja) | 車両画像認識装置およびその方法 | |
| Al-Ghaili et al. | Vertical-edge-based car-license-plate detection method | |
| Alefs et al. | Road sign detection from edge orientation histograms | |
| CN110414559B (zh) | 智能零售柜商品目标检测统一框架的构建方法及商品识别方法 | |
| CN106686280A (zh) | 影像修补系统及其方法 | |
| CN102663348A (zh) | 一种光学遥感图像中的海上舰船检测方法 | |
| US20060221181A1 (en) | Video ghost detection by outline | |
| CN110766020A (zh) | 一种面向多语种自然场景文本检测与识别的系统及方法 | |
| CN110008900B (zh) | 一种由区域到目标的可见光遥感图像候选目标提取方法 | |
| Naufal et al. | Preprocessed mask RCNN for parking space detection in smart parking systems | |
| CN108197523A (zh) | 基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统 | |
| CN111965636A (zh) | 一种基于毫米波雷达和视觉融合的夜间目标检测方法 | |
| CN111881832A (zh) | 车道目标检测方法、装置、设备及计算机可读存储介质 | |
| CN111382735A (zh) | 夜间车辆检测方法、装置、设备及存储介质 | |
| CN114049572A (zh) | 识别小目标的检测方法 | |
| CN111274896B (zh) | 一种烟火识别算法 | |
| CN111695373A (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN115375991A (zh) | 一种强/弱光照和雾环境自适应目标检测方法 | |
| Ghahremannezhad et al. | Automatic road detection in traffic videos | |
| CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
| CN112784675B (zh) | 目标检测方法及装置、存储介质、终端 | |
| CN117294818A (zh) | 一种用于机场施工的工地全景监控方法 | |
| CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
| CN112686247A (zh) | 一种身份证号码检测方法、装置、可读存储介质和终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |