CN111881831A - 一种基于深度学习的多尺度特征融合目标检测系统 - Google Patents

一种基于深度学习的多尺度特征融合目标检测系统 Download PDF

Info

Publication number
CN111881831A
CN111881831A CN202010739576.5A CN202010739576A CN111881831A CN 111881831 A CN111881831 A CN 111881831A CN 202010739576 A CN202010739576 A CN 202010739576A CN 111881831 A CN111881831 A CN 111881831A
Authority
CN
China
Prior art keywords
image
remote sensing
target detection
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010739576.5A
Other languages
English (en)
Inventor
张国和
丁莎
陈琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Pseudo Intelligent Technology Research Institute Co ltd
Original Assignee
Nanjing Pseudo Intelligent Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Pseudo Intelligent Technology Research Institute Co ltd filed Critical Nanjing Pseudo Intelligent Technology Research Institute Co ltd
Priority to CN202010739576.5A priority Critical patent/CN111881831A/zh
Publication of CN111881831A publication Critical patent/CN111881831A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于深度学习的多尺度特征融合目标检测系统，包括图像采集及预处理单元、遥感飞机目标检测单元和显示及保存单元，采集及预处理单元采集影像数据，将影像数据转化为单帧图像后进行预处理，遥感飞机目标检测单元，将预先训练好的权重数据载入到卷积神经网络中，用卷积网络对数据中的飞机进行检测，显示及保存单元，将识别到的飞机目标进行实时显示并将结果保存进行保存，通过图像采集及预处理单元，对影像进行预处理，可实现复杂背景拍摄的遥感图像中飞机目标的自动检测，通过遥感飞机目标检测单元使用卷积神经网络提取遥感影像的特征，并将深层和浅层特征进行融合，提高遥感影像中飞机目标的检测准确率。

Description

一种基于深度学习的多尺度特征融合目标检测系统
技术领域
本发明涉及计算机视觉技术领域，具体为一种基于深度学习的多尺度特征融合目标检测系统。
背景技术
随着航天技术、遥感技术的不断发展，高分辨的遥感图像包含的数据和信息越来越丰富，而且获取方式也变得方便和多样，使得遥感图像目标检测得到迅速的发展，一直以来，遥感图像用在战略侦查、军事测绘、海洋监测等方面，可以准确检测各类重要目标，不仅节约人力资源，同时也提高有用信息获取效率，飞机作为一种特殊目标，快速自动地从遥感图像中获取飞机的位置、形态以及形状在军事中非常重要。
但是现有技术中，在遥感影像拍摄时候受天气、光照、角度的影响较大，导致遥感影像中飞机目标的检测准确率低的问题，所以急需一种基于深度学习的多尺度特征融合目标检测系统来解决上述问题。
发明内容
本发明提供一种能对在复杂背景下拍摄的遥感影像进行特定目标的检测的基于深度学习的多尺度特征融合目标检测系统，通过卷积神经网络提取遥感影像的特征，可以有效解决上述背景技术中提出在遥感影像拍摄时候受天气、光照、角度的影响较大，导致遥感影像中飞机目标的检测准确率低的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习的多尺度特征融合目标检测系统，包括图像采集及预处理单元、遥感飞机目标检测单元和显示及保存单元；
所述图像采集及预处理单元，与遥感飞机目标检测单元相连，用于采集影像数据，将影像数据转化为单帧图像后进行预处理，预处理后的数据发送给所述遥感飞机目标检测单元；
所述遥感飞机目标检测单元，与图像采集及预处理单元和显示及保存单元相连，接收图像采集及预处理单元发送的数据，将预先训练好的权重数据载入到卷积神经网络中，用卷积网络对数据中的飞机进行检测，检测结果发送至显示及保存单元；
所述显示及保存单元，与遥感飞机目标检测单元相连，将识别到的飞机目标进行实时显示并将结果保存进行保存。
具体的，所述图像采集及预处理单元包括摄像模块和预处理模块；
摄像模块，通过摄像头采集影像，并对摄像头参数进行初始化，将已规范化的影像数据转换为流式数据输出到IO口；
预处理模块，采用opencv工具包来读取IO口的影像流式数据，将影像流式数据的单帧图像进行提取并缩放到遥感飞机目标检测单元所需的大小，作为遥感飞机目标检测单元输入数据。
进一步的，对摄像头参数进行初始化，包括用户预先设置的码流、帧率、分辨率和IP地址。
进一步的，预处理模块，还包括对影像流式数据进行随机旋转操作和对影像流式数据进行HSV空间颜色的转变，其中，在HSV空间中，饱和度、曝光、色调都是随机变化。
具体的，在遥感飞机目标检测单元中，利用k-means聚类算法对遥感影像数据进行维度聚类分析，获取适合遥感影像小目标的锚框比列，同时采用YOLOV2中的darknet19作为特征提取网络，将浅层特征和深层特征进行融合。
进一步的，用卷积网络对数据中的飞机进行检测，获取飞机目标的位置，并并用矩形框进行标注，显示矩形框的中心点坐标和长宽信息。
与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便；
1、本发明中，通过图像采集及预处理单元，对影像进行预处理，可实现复杂背景拍摄的遥感图像中飞机目标的自动检测，通过遥感飞机目标检测单元使用卷积神经网络提取遥感影像的特征，并将深层和浅层特征进行融合，提高遥感影像中飞机目标的检测准确率。
2、本发明中在图像采集以及预处理单元中，对输入的遥感影像进行随机旋转操作，解决遥感影像多方向性问题，并避免了遥感影像拍摄时候受天气、光照、角度的影响。在图像采集以及预处理系统中对遥感影像进行HSV空间颜色的转变，其中，在HSV空间中，饱和度、曝光、色调都是随机变化，符合数据集不同天气下的色彩变化。
3、本发明中，在遥感飞机目标检测单元中，利用k-means聚类算法对遥感影像数据进行维度聚类分析，获取适合遥感影像小目标的锚框比列，同时采用YOLOV2中的darknet19作为特征提取网络，将浅层特征和深层特征进行融合，提高小目标的检测精度，且解决深层特征表达能力强、语义信息丰富，但目标位置信息不足放入问题，同时解决浅层特征能很好地定位目标，但提取的特征多为轮廓特征、颜色特征等表层特征，特征表达能力不足的问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1是本发明基于深度学习的多尺度特征融合目标检测系统框图；
图2是本发明基于深度学习的多尺度特征融合目标检测系统流程图；
图3是本发明图像采集及预处理单元流程图；
图4是本发明遥感飞机目标检测单元流程图；
图5是本发明遥感飞机目标检测单元中的网络模型图；
图6是本发明显示及保存单元流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1-2所示，一种基于深度学习的多尺度特征融合目标检测系统，包括图像采集及预处理单元、遥感飞机目标检测单元和显示及保存单元；
如图3所示，图像采集及预处理单元，与遥感飞机目标检测单元相连，用于采集影像数据，将影像数据转化为单帧图像后进行预处理，预处理后的数据发送给遥感飞机目标检测单元；
其中，图像采集及预处理单元包括摄像模块和预处理模块，摄像模块，通过摄像头采集影像，并对摄像头参数进行初始化，参数包括包括用户预先设置的码流、帧率、分辨率和IP地址，将已规范化的影像数据转换为流式数据输出到IO口，准备交互，为遥感飞机目标检测单元做前期的数据准备；以及
预处理模块，采用opencv工具包来读取IO口的影像流式数据，将影像流式数据的单帧图像进行提取并缩放到遥感飞机目标检测单元所需的大小，作为遥感飞机目标检测单元输入数据。
其中，预处理模块，还包括对影像流式数据进行随机旋转操作，在一定程度上解决遥感影像多方向性问题，避免。遥感影像拍摄时候受天气、光照、角度的影响；对影像流式数据进行HSV空间颜色的转变，其中，在HSV空间中，饱和度、曝光、色调都是随机变化，符合数据集不同天气下的色彩变化。
如图4所示，遥感飞机目标检测单元，与图像采集及预处理单元和显示及保存单元相连，接收图像采集及预处理单元发送的数据，将预先训练好的权重数据载入到卷积神经网络中，用卷积网络对数据中的飞机进行检测，检测结果发送至显示及保存单元；
在遥感飞机目标检测单元中，利用k-means聚类算法对遥感影像数据进行维度聚类分析，获取适合遥感影像小目标的锚框比列，同时采用YOLOV2中的darknet19作为特征提取网络，将浅层特征和深层特征进行融合，提高小目标的检测精度，且解决深层特征表达能力强、语义信息丰富，但目标位置信息不足放入问题，同时解决浅层特征能很好地定位目标，但提取的特征多为轮廓特征、颜色特征等表层特征，特征表达能力不足的问题；以及
用卷积网络对数据中的飞机进行检测，获取飞机目标的位置，并并用矩形框进行标注，显示矩形框的中心点坐标和长宽信息，具体如下：
如图5所示，通过两个检测模块分别对大目标和小目标进行检测，其对应的检测尺度分别为13*13，26*26，在13*13的尺度下对大目标进行检测，在26*26的尺度下对小目标进行检测，输入的遥感图像尺寸是416ⅹ416，经过5次2ⅹ2，步长为2的最大值池化以后，特征图谱的大小为13ⅹ13，并在第18层后加入了多个1*1，3*3的卷积运算，对特征图进行降维，使得检测过程变得高效。
如图6所示，显示及保存单元，与遥感飞机目标检测单元相连，将识别到的飞机目标进行实时显示并将结果保存进行保存，具体为：
创建窗口，为遥感飞机目标检测结果进行实时显示，并将检测结果在本地磁盘进行保存，销毁窗口，等待下次检测创建。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的多尺度特征融合目标检测系统，其特征在于：包括图像采集及预处理单元、遥感飞机目标检测单元和显示及保存单元；
所述图像采集及预处理单元，与遥感飞机目标检测单元相连，用于采集影像数据，将影像数据转化为单帧图像后进行预处理，预处理后的数据发送给所述遥感飞机目标检测单元；
所述遥感飞机目标检测单元，与图像采集及预处理单元和显示及保存单元相连，接收图像采集及预处理单元发送的数据，将预先训练好的权重数据载入到卷积神经网络中，用卷积网络对数据中的飞机进行检测，检测结果发送至显示及保存单元；
所述显示及保存单元，与遥感飞机目标检测单元相连，将识别到的飞机目标进行实时显示并将结果保存进行保存。
2.根据权利要求1所述的一种基于深度学习的多尺度特征融合目标检测系统，其特征在于：所述图像采集及预处理单元包括摄像模块和预处理模块；
摄像模块，通过摄像头采集影像，并对摄像头参数进行初始化，将已规范化的影像数据转换为流式数据输出到IO口；
预处理模块，采用opencv工具包来读取IO口的影像流式数据，将影像流式数据的单帧图像进行提取并缩放到遥感飞机目标检测单元所需的大小，作为遥感飞机目标检测单元输入数据。
3.根据权利要求2所述的一种基于深度学习的多尺度特征融合目标检测系统，其特征在于：对摄像头参数进行初始化，包括用户预先设置的码流、帧率、分辨率和IP地址。
4.根据权利要求2所述的一种基于深度学习的多尺度特征融合目标检测系统，其特征在于：预处理模块，还包括对影像流式数据进行随机旋转操作和对影像流式数据进行HSV空间颜色的转变，其中，在HSV空间中，饱和度、曝光、色调都是随机变化。
5.根据权利要求1所述的一种基于深度学习的多尺度特征融合目标检测系统，其特征在于：在遥感飞机目标检测单元中，利用k-means聚类算法对遥感影像数据进行维度聚类分析，获取适合遥感影像小目标的锚框比列，同时采用YOLOV2中的darknet19作为特征提取网络，将浅层特征和深层特征进行融合。
6.根据权利要求1所述的一种基于深度学习的多尺度特征融合目标检测系统，其特征在于：用卷积网络对数据中的飞机进行检测，获取飞机目标的位置，并并用矩形框进行标注，显示矩形框的中心点坐标和长宽信息。
CN202010739576.5A 2020-07-28 2020-07-28 一种基于深度学习的多尺度特征融合目标检测系统 Pending CN111881831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010739576.5A CN111881831A (zh) 2020-07-28 2020-07-28 一种基于深度学习的多尺度特征融合目标检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010739576.5A CN111881831A (zh) 2020-07-28 2020-07-28 一种基于深度学习的多尺度特征融合目标检测系统

Publications (1)

Publication Number Publication Date
CN111881831A true CN111881831A (zh) 2020-11-03

Family

ID=73201838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010739576.5A Pending CN111881831A (zh) 2020-07-28 2020-07-28 一种基于深度学习的多尺度特征融合目标检测系统

Country Status (1)

Country Link
CN (1) CN111881831A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597920A (zh) * 2020-12-28 2021-04-02 浙江工业大学 基于YOLOv3剪枝网络的实时物体检测系统
CN112657847A (zh) * 2020-12-09 2021-04-16 南京拟态智能技术研究院有限公司 一种基于人工智能的快递分拣装置
CN114627391A (zh) * 2020-12-11 2022-06-14 爱唯秀股份有限公司 一种草检测装置及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183427A (zh) * 2007-12-05 2008-05-21 浙江工业大学 基于计算机视觉的违章停车检测装置
CN108830172A (zh) * 2018-05-24 2018-11-16 天津大学 基于深度残差网络与sv编码的飞机遥感图像检测方法
CN109977924A (zh) * 2019-04-15 2019-07-05 北京麦飞科技有限公司 针对农作物的无人机机上实时图像处理方法及系统
CN110110586A (zh) * 2019-03-18 2019-08-09 北京理工雷科电子信息技术有限公司 基于深度学习的遥感机场飞机检测的方法及装置
CN110399905A (zh) * 2019-07-03 2019-11-01 常州大学 施工场景中安全帽佩戴情况的检测及描述方法
CN110781785A (zh) * 2019-10-18 2020-02-11 上海理工大学 基于Faster RCNN算法改进的交通场景下行人检测方法
CN110796168A (zh) * 2019-09-26 2020-02-14 江苏大学 一种基于改进YOLOv3的车辆检测方法
CN110866472A (zh) * 2019-11-04 2020-03-06 西北工业大学 一种无人机地面运动目标识别与图像增强系统及方法
CN111079586A (zh) * 2019-12-03 2020-04-28 西安电子科技大学 基于深度学习与双目摄像的自动驾驶目标检测系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183427A (zh) * 2007-12-05 2008-05-21 浙江工业大学 基于计算机视觉的违章停车检测装置
CN108830172A (zh) * 2018-05-24 2018-11-16 天津大学 基于深度残差网络与sv编码的飞机遥感图像检测方法
CN110110586A (zh) * 2019-03-18 2019-08-09 北京理工雷科电子信息技术有限公司 基于深度学习的遥感机场飞机检测的方法及装置
CN109977924A (zh) * 2019-04-15 2019-07-05 北京麦飞科技有限公司 针对农作物的无人机机上实时图像处理方法及系统
CN110399905A (zh) * 2019-07-03 2019-11-01 常州大学 施工场景中安全帽佩戴情况的检测及描述方法
CN110796168A (zh) * 2019-09-26 2020-02-14 江苏大学 一种基于改进YOLOv3的车辆检测方法
CN110781785A (zh) * 2019-10-18 2020-02-11 上海理工大学 基于Faster RCNN算法改进的交通场景下行人检测方法
CN110866472A (zh) * 2019-11-04 2020-03-06 西北工业大学 一种无人机地面运动目标识别与图像增强系统及方法
CN111079586A (zh) * 2019-12-03 2020-04-28 西安电子科技大学 基于深度学习与双目摄像的自动驾驶目标检测系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112657847A (zh) * 2020-12-09 2021-04-16 南京拟态智能技术研究院有限公司 一种基于人工智能的快递分拣装置
CN112657847B (zh) * 2020-12-09 2022-04-29 南京拟态智能技术研究院有限公司 一种基于人工智能的快递分拣装置
CN114627391A (zh) * 2020-12-11 2022-06-14 爱唯秀股份有限公司 一种草检测装置及方法
CN112597920A (zh) * 2020-12-28 2021-04-02 浙江工业大学 基于YOLOv3剪枝网络的实时物体检测系统

Similar Documents

Publication Publication Date Title
CN111881831A (zh) 一种基于深度学习的多尺度特征融合目标检测系统
CN107067003B (zh) 感兴趣区域边界的提取方法、装置、设备和计算机存储介质
JP6926335B2 (ja) 深層学習における回転可変物体検出
CN111681273B (zh) 图像分割方法、装置、电子设备及可读存储介质
CN109117838B (zh) 应用于无人船感知系统的目标检测方法及装置
WO2023083280A1 (zh) 一种场景文本识别方法和装置
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN111832578A (zh) 兴趣点信息处理方法、装置、电子设备和存储介质
CN112967341A (zh) 基于实景图像的室内视觉定位方法、系统、设备及存储介质
US20200034664A1 (en) Network Architecture for Generating a Labeled Overhead Image
CN112132205A (zh) 一种基于卷积神经网络的遥感图像分类方法
CN111967490A (zh) 用于地图检测的模型训练方法和地图检测方法
CN111027456A (zh) 基于图像识别的机械水表读数识别方法
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN115359406A (zh) 一种邮局场景人物交互行为识别方法及系统
CN114049356A (zh) 一种结构表观裂缝检测方法、装置及系统
Shi et al. An infrared small target detection method using coordinate attention and feature fusion
CN113284185A (zh) 用于遥感目标检测的旋转目标检测方法
CN113076889A (zh) 集装箱铅封识别方法、装置、电子设备和存储介质
Chandio et al. Convolutional feature fusion for multi-language text detection in natural scene images
CN109934147B (zh) 基于深度神经网络的目标检测方法、系统及装置
CN110852189A (zh) 一种基于深度学习的低复杂度的密集人群分析方法
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN114898221A (zh) 一种杆塔倾斜检测方法、装置、电子设备及介质
Zhu et al. Lunar Impact Crater Detection Based on Yolo V7 Using Muti-source Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination