CN112036404B - 一种海上船只目标检测方法及系统 - Google Patents
一种海上船只目标检测方法及系统 Download PDFInfo
- Publication number
- CN112036404B CN112036404B CN202010894873.7A CN202010894873A CN112036404B CN 112036404 B CN112036404 B CN 112036404B CN 202010894873 A CN202010894873 A CN 202010894873A CN 112036404 B CN112036404 B CN 112036404B
- Authority
- CN
- China
- Prior art keywords
- detected
- group
- fusion
- sub
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 116
- 230000004927 fusion Effects 0.000 claims abstract description 133
- 238000012937 correction Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000010586 diagram Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000005764 inhibitory process Effects 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000001629 suppression Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种海上船只目标检测方法及系统,方法包括:利用卷积神经网络对缩放图像进行特征提取得到三维特征图组;采用FPN算法对三维特征图组进行特征融合得到融合特征图组;根据融合特征图组内各融合特征图的长和宽构建出多个待检测子区域;根据融合特征图组预测所有待检测子区域的类别得分、定位修正值和定位准确值;根据各待检测子区域的类别得分、定位修正值和定位准确值确定各待检测子区域对应的初始船只检测结果;根据各待检测子区域对应的初始船只检测结果进行非极大值抑制处理获得最终船只检测结果,从而提高了船只检测的精度。
Description
技术领域
本发明涉及目标检测技术领域,特别是涉及一种海上船只目标检测方法及系统。
背景技术
我国领海广阔,海洋资源丰富,开展船只检测研究具有重大意义。在军事方面,船只检测可以加强我国海洋防卫,保护我国海洋权益,关系着人们的生存与发展。在民用方面船只检测同样可以用于海洋交通、船只运输、搜救等等,有力地促进了海洋事业的发展。
目标检测技术是计算机视觉领域的三大任务之一,海上船只目标检测旨在识别图片中的船只及其在图片中的位置。传统的海上船只目标检测方法中,阈值分割法是通过对图像进行纹理滤波分析,并进行阈值分割来区分船只与背景,其缺点是无法判断该物体的类别,同普适性较弱,因为场景、明暗的变化会使得之前设定的阈值失效。
近年来,深度学习技术已经在计算机视觉领域的各个方面取得了显著的成果。基于深度学习的船只检测将该任务分解为船只分类(区分船只和背景)和船只定位。更为具体的,通过训练一个卷积神经网络对图片中的每一块区域进行物体识别和物体定位,最后将两者结果结合在一起,得到检测结果。这种已有方法的问题在于,船只检测的定位精度并不高。因为船只分类和船只的定位是分开进行的、互不相关的,在对物体进行分类并不知道该物体定位的准确性,而最后根据分类置信度结合检测结果,可能会将定位更准的结果去除掉。
发明内容
基于此,本发明的目的是提供一种海上船只目标检测方法及系统,以提高海上船只目标检测的准确性。
为实现上述目的,本发明提供了一种海上船只目标检测方法,所述方法包括:
步骤S1:对原始图像进行缩放处理,获得缩放图像;
步骤S2:利用卷积神经网络对所述缩放图像进行特征提取,得到三维特征图组;所述三维特征图组包括三组不同尺度的三维特征图;
步骤S3:采用FPN算法对所述三维特征图组进行特征融合,得到融合特征图组;所述融合特征图组包括五组不同尺度的融合特征图;
步骤S4:根据所述融合特征图组内各融合特征图的长和宽构建出五组不同尺度和不同比率的待检测区域,每组待检测区域包括多个待检测子区域;
步骤S5:使用检测器的detection head,根据所述融合特征图组预测所有所述待检测子区域的类别得分、定位修正值和定位准确值;
步骤S6:根据各所述待检测子区域的类别得分、定位修正值和定位准确值确定各所述待检测子区域对应的初始船只检测结果;初始船只检测结果包括最终定位框和置信度;
步骤S7:根据各所述待检测子区域对应的所述初始船只检测结果进行非极大值抑制处理,获得最终船只检测结果。
可选地,所述对原始图像进行缩放处理,获得缩放图像,具体包括:
步骤S11:获取原始图像;所述原始图像为待检测船只的图片或视频中某一帧图片;
步骤S12:判断所述原始图像的长边与短边的比值是否大于1.667;如果所述原始图像的长边与短边的比值大于1.667,则将长边以固定长宽比的方式放缩至1333;如果所述原始图像的长边与短边的比值小于或等于1.667,则将短边以固定长宽比的方式放缩至800。
可选地,所述利用卷积神经网络对所述缩放图像进行特征提取,得到三维特征图组,具体包括:
将所述缩放图像作为卷积神经网络ResNet-50的输入,进行4个阶段的卷积操作,分别在第二阶段、第三阶段和第四阶段得到三组不同尺度的三维特征图。
可选地,所述采用FPN算法对所述三维特征图组进行特征融合,得到融合特征图组,具体包括:
步骤S31:将第三组三维特征图连续向下采样两次,分别得到第四组融合特征图和第五组融合特征图;
步骤S32:将所述第三组三维特征图作为第三组融合特征图;
步骤S33:将所述第三组融合特征图向上采样后与第二组三维特征图进行融合得到第二组融合特征图;
步骤S34:将所述第二组融合特征图向上采样后与第一组三维特征图进行融合得到第一组融合特征图。
可选地,所述根据各所述待检测子区域的类别得分、定位修正值和定位准确值确定各所述待检测子区域对应的初始船只检测结果,具体包括:
步骤S61:使用各所述待检测子区域的所述定位修正值对各所述待检测子区域进行位置修正,获得各所述待检测子区域对应的最终定位框;
步骤S62:根据各所述待检测子区域的类别得分和定位准确值计算各所述待检测子区域对应的置信度。
可选地,所述根据各所述待检测子区域对应的所述初始船只检测结果进行非极大值抑制处理,获得最终船只检测结果,具体包括:
步骤S71:判断各所述待检测子区域对应的置信度是否小于置信设定值;如果各所述待检测子区域对应的置信度小于置信设定值,则将置信度小于置信设定值的初始船只检测结果去除;如果各所述待检测子区域对应的置信度大于或等于置信设定值,则将剩余的初始船只检测结果放入待定集合中;
步骤S72:将待定集合中置信度最高的初始船只检测结果直接放入存放最终船只检测结果集合中;
步骤S73:计算置信度最高的锚点框与待定集合中每一个锚点框的交并比;
步骤S74:将待定集合中交并比大于交并比设定值的初始船只检测结果舍弃;
步骤S75:判断待定集合是否为空集;如果待定集合为空集,则最终船只检测结果集合为最终船只检测结果;如果待定集合为非空集,则返回步骤“步骤72”。
本发明还提供一种海上船只目标检测系统,所述系统包括:
缩放处理模块,用于对原始图像进行缩放处理,获得缩放图像;
特征提取模块,用于利用卷积神经网络对所述缩放图像进行特征提取,得到三维特征图组;所述三维特征图组包括三组不同尺度的三维特征图;
特征融合模块,用于采用FPN算法对所述三维特征图组进行特征融合,得到融合特征图组;所述融合特征图组包括五组不同尺度的融合特征图;
待检测区域构建模块,用于根据所述融合特征图组内各融合特征图的长和宽构建出五组不同尺度和不同比率的待检测区域,每组待检测区域包括多个待检测子区域;
预测模块,用于使用检测器的detection head,根据所述融合特征图组预测所有所述待检测子区域的类别得分、定位修正值和定位准确值;
初始船只检测结果确定模块,用于根据各所述待检测子区域的类别得分、定位修正值和定位准确值确定各所述待检测子区域对应的初始船只检测结果;初始船只检测结果包括最终定位框和置信度;
非极大值抑制处理模块,用于根据各所述待检测子区域对应的所述初始船只检测结果进行非极大值抑制处理,获得最终船只检测结果。
可选地,所述缩放处理模块,具体包括:
获取单元,用于获取原始图像;所述原始图像为待检测船只的图片或视频中某一帧图片;
第一判断单元,用于判断所述原始图像的长边与短边的比值是否大于1.667;如果所述原始图像的长边与短边的比值大于1.667,则将长边以固定长宽比的方式放缩至1333;如果所述原始图像的长边与短边的比值小于或等于1.667,则将短边以固定长宽比的方式放缩至800。
可选地,所述特征提取模块,具体包括:
将所述缩放图像作为卷积神经网络ResNet-50的输入,进行4个阶段的卷积操作,分别在第二阶段、第三阶段和第四阶段得到三组不同尺度的三维特征图。
可选地,所述特征融合模块,具体包括:
向下采样单元,用于将第三组三维特征图连续向下采样两次,分别得到第四组融合特征图和第五组融合特征图;
赋值单元,用于将所述第三组三维特征图作为第三组融合特征图;
第一融合单元,用于将所述第三组融合特征图向上采样后与第二组三维特征图进行融合得到第二组融合特征图;
第二融合单元,用于将所述第二组融合特征图向上采样后与第一组三维特征图进行融合得到第一组融合特征图。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供了一种海上船只目标检测方法及系统,方法包括:利用卷积神经网络对缩放图像进行特征提取得到三维特征图组;采用FPN算法对三维特征图组进行特征融合得到融合特征图组;根据融合特征图组内各融合特征图的长和宽构建出多个待检测子区域;根据融合特征图组预测所有待检测子区域的类别得分、定位修正值和定位准确值;根据各待检测子区域的类别得分、定位修正值和定位准确值确定各待检测子区域对应的初始船只检测结果;根据各待检测子区域对应的初始船只检测结果进行非极大值抑制处理获得最终船只检测结果,从而提高了船只检测的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例海上船只目标检测方法流程图;
图2为本发明实施例使用的卷积神经网络结构图;
图3为本发明实施例实际测试效果图;
图4为本发明实施例海上船只目标检测系统结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种海上船只目标检测方法及系统,以提高海上船只目标检测的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例海上船只目标检测方法流程图,图2为本发明实施例使用的卷积神经网络结构图,如图1-2所示,本发明提供一种海上船只目标检测方法,所述方法包括:
步骤S1:对原始图像进行缩放处理,获得缩放图像。
步骤S2:利用卷积神经网络对所述缩放图像进行特征提取,得到三维特征图组;所述三维特征图组包括三组不同尺度的三维特征图。
步骤S3:采用FPN算法对所述三维特征图组进行特征融合,得到融合特征图组;所述融合特征图组包括五组不同尺度的融合特征图。
步骤S4:根据所述融合特征图组内各融合特征图的长和宽构建出五组不同尺度和不同比率的待检测区域,每组待检测区域包括多个待检测子区域。
步骤S5:使用检测器的detection head,根据所述融合特征图组预测所有所述待检测子区域的类别得分、定位修正值和定位准确值。
步骤S6:根据各所述待检测子区域的类别得分、定位修正值和定位准确值确定各所述待检测子区域对应的初始船只检测结果;初始船只检测结果包括最终定位框和置信度。
步骤S7:根据各所述待检测子区域对应的所述初始船只检测结果进行非极大值抑制处理,获得最终船只检测结果。
下面对各个步骤进行详细论述:
步骤S1:对原始图像进行缩放处理,获得缩放图像;所述缩放图像的尺度上限为1333×800;具体包括:
步骤S11:获取原始图像;所述原始图像为待检测船只的图片或视频中某一帧图片。
步骤S12:判断所述原始图像的长边与短边的比值是否大于1.667;如果所述原始图像的长边与短边的比值大于1.667,则将长边以固定长宽比的方式放缩至1333;如果所述原始图像的长边与短边的比值小于或等于1.667,则将短边以固定长宽比的方式放缩至800。
步骤S2:利用卷积神经网络对所述缩放图像进行特征提取,得到三维特征图组Z=(z1,z2,z3),所述三维特征图组包括三组不同尺度的三维特征图;具体包括:
将所述缩放图像作为卷积神经网络ResNet-50的输入,进行4个阶段的卷积操作,分别在第二阶段、第三阶段和第四阶段得到三组不同尺度的三维特征图z1,z2,z3,三维特征图z1,z2,z3的宽度分别为w1,w2,w3,高度分别为h1,h2,h3,宽度w1,w2,w3和高度h1,h2,h3是一种等比递减的关系,其公比q为0.5,第一组三维特征图z1的宽度w1为所述原始图像宽的1/8,第一组三维特征图z1的高度h1为所述原始图像长的1/8,第一组三维特征图z1的通道数为256,第二组三维特征图z2的宽度w2为所述原始图像宽的1/16,第二组三维特征图z2的高度h2为所述原始图像长的1/16,第二组三维特征图z2的通道数为512,第三组三维特征图z3的宽度w3为所述原始图像宽的1/32,第三组三维特征图z3的高度h3为所述原始图像长的1/32,第三组三维特征图z3的通道数为1024。
FPN指的是Feature Pyramid Network(特征金字塔网络),本质上是一个卷积神经网络,可以进一步提取更加抽象的特征。再者,特征融合是指将不同抽象程度的特征图进行混合,以获得具有更加全面的信息的特征。更为具体的,对于三维特征图组Z中的三组特征图来说,小尺度的特征图抽象程度更高,具有更深层次的语义信息;而大尺度的特征图抽象程度较低,具有更精确的位置信息。对于这三组三维特征图进行融合实现了特征的互补,进一步提高对船只检测结果的准确性。
步骤S3:采用FPN算法对所述三维特征图组Z=(z1,z2,z3)进行特征融合,得到融合特征图组P=(p1,p2,p3,p4,p5),其中,pi为第i组融合特征图,1≤i≤5。
步骤S3具体包括:
步骤S31:将第三组三维特征图z3连续下采样两次,分别得到第四组融合特征图p4和第五组融合特征图p5,所述第四组融合特征图p4的宽度和长度均为所述原始图像的1/64,所述第五组融合特征图p5的宽度和长度均为所述原始图像的1/128。
步骤S32:将所述第三组三维特征图z3作为第三组融合特征图p3;所述第三组融合特征图p3的宽、长均为所述原始图像的1/32。
步骤S33:将所述第三组融合特征图p3向上采样后与第二组三维特征图z2进行融合得到第二组融合特征图p2,所述第二组融合特征图p2的宽、长均为所述原始图像的1/16。
步骤S34:将所述第二组融合特征图p2向上采样后与第一组三维特征图z1进行融合得到第一组融合特征图p1,所述第一组融合特征图p1的宽、长均为原始图像的1/8。融合特征图组P中的五组融合特征图的通道数均通过卷积操作变为256。
步骤S4:根据融合特征图组内各融合特征图的长H=(h1,h2,h3,h4,h5)和宽W=(w1,w2,w3,w4,w5)构建出五组不同尺度和不同比率的待检测区域,每组待检测区域包括多个待检测子区域;具体包括:
以每一张融合特征图的每一个坐标点为中心,构建9个不同尺度和不同比率的锚点框,获得五组待检测子区域,每组待检测区域包括多个待检测子区域,每个待检测子区域包括9个不同尺度和不同比率的锚点框;待检测子区域的个数与坐标点的个数相等;每个锚点框尺度的计算公式如下:
其中,wanchor和hanchor分别为锚点框的宽度和高度,wbasic和hbasic均为基础尺度,等于4,α为第一尺度系数,为各融合特征图相对于原始图像的放缩比例的倒数,其范围为{8,16,32,64,128};β是第二尺度系数,为范围中的一个;γ是长宽比率,为范围{0.5,1,2}中的一个。遍历β和γ的取值,即可在每一个坐标点处构建出9种锚点框。
步骤S5:使用检测器的detectionhead,根据所述融合特征图组P预测所有所述待检测子区域的类别得分、定位修正值和定位准确值;具体为:
将融合特征图组P中的五组融合特征图p1,p2,p3,p4,p5依次作为detection head的输入,detection head通过卷积操作对每一个所述待检测子区域进行检测,获得各所述待检测子区域对应的类别得分Cpredict、定位修正值Rpredict和定位准确值IoUpredict;所述定位修正值Rpredict为所述待检测子区域与物体的真实边界框的几何位置差值;定位准确值IoUpredict为检测物体的边界框与物体真实边界框的交并比。
步骤S6:根据各所述待检测子区域的类别得分、定位修正值和定位准确值确定各所述待检测子区域对应的初始船只检测结果;初始船只检测结果包括最终定位框和置信度;
步骤S61:使用各所述待检测子区域的所述定位修正值Rpredict对各所述待检测子区域进行位置修正,获得各所述待检测子区域对应的最终定位框。
步骤S62:根据各所述待检测子区域的类别得分和定位准确值计算各所述待检测子区域对应的置信度,具体计算公式为:
其中,Dconfidence为各所述待检测子区域对应的置信度,Cpredict各所述待检测子区域对应的类别得分,IoUpredict为各所述待检测子区域对应的定位准确值。
IoU(Intersection over Union,交并比)是衡量两块待检测子区域在几何位置上的相似性的一个指标,在本发明中用于衡量预测的船只检测框和船只在图片中的真实框之间的相似程度,并以此作为判断定位精确度的指标。此处的IoU是通过detection head预测得到的,而不是通过直接计算。
步骤S7:根据各所述待检测子区域对应的所述初始船只检测结果进行非极大值抑制处理,获得最终船只检测结果,具体包括:
步骤S71:判断各所述待检测子区域对应的置信度是否小于置信设定值;如果各所述待检测子区域对应的置信度小于置信设定值,则将置信度小于置信设定值的初始船只检测结果去除;如果各所述待检测子区域对应的置信度大于或等于置信设定值,则将剩余的初始船只检测结果放入待定集合中;本实施例中置信设定值为0.05。
步骤S72:将待定集合中置信度最高的初始船只检测结果直接放入存放最终船只检测结果集合中;
步骤S73:计算置信度最高的锚点框与待定集合中每一个锚点框的交并比,具体计算公式为:
其中,IoU为交并比,Areaintersection为指两个锚点框的相交区域的面积大小,Areaunion是指两个锚点框总覆盖区域的面积大小。
步骤S74:将待定集合中交并比大于交并比设定值的初始船只检测结果舍弃,剩余的初始船只检测结果继续留在待定集合中。本实施例中交并比设定值为0.45。
步骤S75:判断待定集合是否为空集;如果待定集合为空集,则最终船只检测结果集合为最终船只检测结果,具体如图3所示;如果待定集合为非空集,则返回步骤“步骤72”。
本发明将置信度小于置信设定值的初始船只检测结果去除,剩余的初始船只检测结果放入待定集合中,将置信度最高的锚点框与待定集合中每一个锚点框的交并比来作为检测结果结合的指标,将待定集合中交并比大于交并比设定值的初始船只检测结果舍弃,直至获得最终船只检测结果,进而提高船只检测的准确性。
如图4所示,本发明还提供一种海上船只目标检测系统,所述系统包括:
缩放处理模块1,用于对原始图像进行缩放处理,获得缩放图像。
特征提取模块2,用于利用卷积神经网络对所述缩放图像进行特征提取,得到三维特征图组;所述三维特征图组包括三组不同尺度的三维特征图。
特征融合模块3,用于采用FPN算法对所述三维特征图组进行特征融合,得到融合特征图组;所述融合特征图组包括五组不同尺度的融合特征图。
待检测区域构建模块4,用于根据所述融合特征图组内各融合特征图的长和宽构建出五组不同尺度和不同比率的待检测区域,每组待检测区域包括多个待检测子区域。
预测模块5,用于使用检测器的detection head,根据所述融合特征图组预测所有所述待检测子区域的类别得分、定位修正值和定位准确值。
初始船只检测结果确定模块6,用于根据各所述待检测子区域的类别得分、定位修正值和定位准确值确定各所述待检测子区域对应的初始船只检测结果;初始船只检测结果包括最终定位框和置信度。
非极大值抑制处理模块7,用于根据各所述待检测子区域对应的所述初始船只检测结果进行非极大值抑制处理,获得最终船只检测结果。
作为一种实施方式,本发明所述缩放处理模块1,具体包括:
获取单元,用于获取原始图像;所述原始图像为待检测船只的图片或视频中某一帧图片。
第一判断单元,用于判断所述原始图像的长边与短边的比值是否大于1.667;如果所述原始图像的长边与短边的比值大于1.667,则将长边以固定长宽比的方式放缩至1333;如果所述原始图像的长边与短边的比值小于或等于1.667,则将短边以固定长宽比的方式放缩至800。
作为一种实施方式,本发明所述特征提取模块2,具体包括:
将所述缩放图像作为卷积神经网络ResNet-50的输入,进行4个阶段的卷积操作,分别在第二阶段、第三阶段和第四阶段得到三组不同尺度的三维特征图。
作为一种实施方式,本发明所述特征融合模块3,具体包括:
向下采样单元,用于将第三组三维特征图连续向下采样两次,分别得到第四组融合特征图和第五组融合特征图;
赋值单元,用于将所述第三组三维特征图作为第三组融合特征图。
第一融合单元,用于将所述第三组融合特征图向上采样后与第二组三维特征图进行融合得到第二组融合特征图。
第二融合单元,用于将所述第二组融合特征图向上采样后与第一组三维特征图进行融合得到第一组融合特征图。
作为一种实施方式,本发明所述初始船只检测结果确定模块6,具体包括:
位置修正单元,用于使用各所述待检测子区域的所述定位修正值对各所述待检测子区域进行位置修正,获得各所述待检测子区域对应的最终定位框。
置信度确定单元,用于根据各所述待检测子区域的类别得分和定位准确值计算各所述待检测子区域对应的置信度。
作为一种实施方式,本发明所述非极大值抑制处理模块7,具体包括:
第二判断单元,用于判断各所述待检测子区域对应的置信度是否小于置信设定值;如果各所述待检测子区域对应的置信度小于置信设定值,则将置信度小于置信设定值的初始船只检测结果去除;如果各所述待检测子区域对应的置信度大于或等于置信设定值,则将剩余的初始船只检测结果放入待定集合中。
存入单元,用于将待定集合中置信度最高的初始船只检测结果直接放入存放最终船只检测结果集合中。
交并比计算单元,用于计算置信度最高的锚点框与待定集合中每一个锚点框的交并比。
舍弃单元,用于将待定集合中交并比大于交并比设定值的初始船只检测结果舍弃;
第三判断单元,用于判断待定集合是否为空集;如果待定集合为空集,则最终船只检测结果集合为最终船只检测结果;如果待定集合为非空集,则返回步骤“存入单元”。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种海上船只目标检测方法,其特征在于,所述方法包括:
步骤S1:对原始图像进行缩放处理,获得缩放图像;
步骤S2:利用卷积神经网络对所述缩放图像进行特征提取,得到三维特征图组;所述三维特征图组包括三组不同尺度的三维特征图;
步骤S3:采用FPN算法对所述三维特征图组进行特征融合,得到融合特征图组;所述融合特征图组包括五组不同尺度的融合特征图;
步骤S4:根据所述融合特征图组内各融合特征图的长和宽构建出五组不同尺度和不同比率的待检测区域,每组待检测区域包括多个待检测子区域;具体包括:以每一张融合特征图的每一个坐标点为中心,构建9个不同尺度和不同比率的锚点框,获得五组待检测子区域,每组待检测区域包括多个待检测子区域,每个待检测子区域包括9个不同尺度和不同比率的锚点框;待检测子区域的个数与坐标点的个数相等;每个锚点框尺度的计算公式如下:
其中,wanchor和hanchor分别为锚点框的宽度和高度,wbasic和hbasic均为基础尺度,等于4,α为第一尺度系数,为各融合特征图相对于原始图像的放缩比例的倒数,其范围为{8,16,32,64,128};β是第二尺度系数,为范围中的一个;γ是长宽比率,为范围{0.5,1,2}中的一个,遍历β和γ的取值,即可在每一个坐标点处构建出9种锚点框;
步骤S5:使用检测器的detectionhead,根据所述融合特征图组预测所有所述待检测子区域的类别得分、定位修正值和定位准确值;
步骤S6:根据各所述待检测子区域的类别得分、定位修正值和定位准确值确定各所述待检测子区域对应的初始船只检测结果;初始船只检测结果包括最终定位框和置信度,具体包括:
步骤S61:使用各所述待检测子区域的所述定位修正值对各所述待检测子区域进行位置修正,获得各所述待检测子区域对应的最终定位框;
步骤S62:根据各所述待检测子区域的类别得分和定位准确值计算各所述待检测子区域对应的置信度,具体计算公式为:
其中,Dconfidence为各所述待检测子区域对应的置信度,Cpredict各所述待检测子区域对应的类别得分,IoUpredict为各所述待检测子区域对应的定位准确值;
步骤S7:根据各所述待检测子区域对应的所述初始船只检测结果进行非极大值抑制处理,获得最终船只检测结果。
2.根据权利要求1所述的海上船只目标检测方法,其特征在于,所述对原始图像进行缩放处理,获得缩放图像,具体包括:
步骤S11:获取原始图像;所述原始图像为待检测船只的图片或视频中某一帧图片;
步骤S12:判断所述原始图像的长边与短边的比值是否大于1.667;如果所述原始图像的长边与短边的比值大于1.667,则将长边以固定长宽比的方式放缩至1333;如果所述原始图像的长边与短边的比值小于或等于1.667,则将短边以固定长宽比的方式放缩至800。
3.根据权利要求1所述的海上船只目标检测方法,其特征在于,所述利用卷积神经网络对所述缩放图像进行特征提取,得到三维特征图组,具体包括:
将所述缩放图像作为卷积神经网络ResNet-50的输入,进行4个阶段的卷积操作,分别在第二阶段、第三阶段和第四阶段得到三组不同尺度的三维特征图。
4.根据权利要求1所述的海上船只目标检测方法,其特征在于,所述采用FPN算法对所述三维特征图组进行特征融合,得到融合特征图组,具体包括:
步骤S31:将第三组三维特征图连续向下采样两次,分别得到第四组融合特征图和第五组融合特征图;
步骤S32:将所述第三组三维特征图作为第三组融合特征图;
步骤S33:将所述第三组融合特征图向上采样后与第二组三维特征图进行融合得到第二组融合特征图;
步骤S34:将所述第二组融合特征图向上采样后与第一组三维特征图进行融合得到第一组融合特征图。
5.根据权利要求1所述的海上船只目标检测方法,其特征在于,所述根据各所述待检测子区域对应的所述初始船只检测结果进行非极大值抑制处理,获得最终船只检测结果,具体包括:
步骤S71:判断各所述待检测子区域对应的置信度是否小于置信设定值;如果各所述待检测子区域对应的置信度小于置信设定值,则将置信度小于置信设定值的初始船只检测结果去除;如果各所述待检测子区域对应的置信度大于或等于置信设定值,则将剩余的初始船只检测结果放入待定集合中;
步骤S72:将待定集合中置信度最高的初始船只检测结果直接放入存放最终船只检测结果集合中;
步骤S73:计算置信度最高的锚点框与待定集合中每一个锚点框的交并比;
步骤S74:将待定集合中交并比大于交并比设定值的初始船只检测结果舍弃;
步骤S75:判断待定集合是否为空集;7如果待定集合为空集,则最终船只检测结果集合为最终船只检测结果;如果待定集合为非空集,则返回步骤“步骤72”。
6.一种海上船只目标检测系统,其特征在于,所述系统包括:
缩放处理模块,用于对原始图像进行缩放处理,获得缩放图像;
特征提取模块,用于利用卷积神经网络对所述缩放图像进行特征提取,得到三维特征图组;所述三维特征图组包括三组不同尺度的三维特征图;
特征融合模块,用于采用FPN算法对所述三维特征图组进行特征融合,得到融合特征图组;所述融合特征图组包括五组不同尺度的融合特征图;
待检测区域构建模块,用于根据所述融合特征图组内各融合特征图的长和宽构建出五组不同尺度和不同比率的待检测区域,每组待检测区域包括多个待检测子区域;具体包括:以每一张融合特征图的每一个坐标点为中心,构建9个不同尺度和不同比率的锚点框,获得五组待检测子区域,每组待检测区域包括多个待检测子区域,每个待检测子区域包括9个不同尺度和不同比率的锚点框;待检测子区域的个数与坐标点的个数相等;每个锚点框尺度的计算公式如下:
其中,wanchor和hanchor分别为锚点框的宽度和高度,wbasic和hbasic均为基础尺度,等于4,α为第一尺度系数,为各融合特征图相对于原始图像的放缩比例的倒数,其范围为{8,16,32,64,128};β是第二尺度系数,为范围中的一个;γ是长宽比率,为范围{0.5,1,2}中的一个,遍历β和γ的取值,即可在每一个坐标点处构建出9种锚点框;
预测模块,用于使用检测器的detection head,根据所述融合特征图组预测所有所述待检测子区域的类别得分、定位修正值和定位准确值;
初始船只检测结果确定模块,用于根据各所述待检测子区域的类别得分、定位修正值和定位准确值确定各所述待检测子区域对应的初始船只检测结果;初始船只检测结果包括最终定位框和置信度,具体包括:
步骤S61:使用各所述待检测子区域的所述定位修正值对各所述待检测子区域进行位置修正,获得各所述待检测子区域对应的最终定位框;
步骤S62:根据各所述待检测子区域的类别得分和定位准确值计算各所述待检测子区域对应的置信度,具体计算公式为:
其中,Dconfidence为各所述待检测子区域对应的置信度,Cpredict各所述待检测子区域对应的类别得分,IoUpredict为各所述待检测子区域对应的定位准确值;
非极大值抑制处理模块,用于根据各所述待检测子区域对应的所述初始船只检测结果进行非极大值抑制处理,获得最终船只检测结果。
7.根据权利要求6所述的海上船只目标检测系统,其特征在于,所述缩放处理模块,具体包括:
获取单元,用于获取原始图像;所述原始图像为待检测船只的图片或视频中某一帧图片;
第一判断单元,用于判断所述原始图像的长边与短边的比值是否大于1.667;如果所述原始图像的长边与短边的比值大于1.667,则将长边以固定长宽比的方式放缩至1333;如果所述原始图像的长边与短边的比值小于或等于1.667,则将短边以固定长宽比的方式放缩至800。
8.根据权利要求6所述的海上船只目标检测系统,其特征在于,所述特征提取模块,具体包括:
将所述缩放图像作为卷积神经网络ResNet-50的输入,进行4个阶段的卷积操作,分别在第二阶段、第三阶段和第四阶段得到三组不同尺度的三维特征图。
9.根据权利要求6所述的海上船只目标检测系统,其特征在于,所述特征融合模块,具体包括:
向下采样单元,用于将第三组三维特征图连续向下采样两次,分别得到第四组融合特征图和第五组融合特征图;
赋值单元,用于将所述第三组三维特征图作为第三组融合特征图;
第一融合单元,用于将所述第三组融合特征图向上采样后与第二组三维特征图进行融合得到第二组融合特征图;
第二融合单元,用于将所述第二组融合特征图向上采样后与第一组三维特征图进行融合得到第一组融合特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010894873.7A CN112036404B (zh) | 2020-08-31 | 2020-08-31 | 一种海上船只目标检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010894873.7A CN112036404B (zh) | 2020-08-31 | 2020-08-31 | 一种海上船只目标检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112036404A CN112036404A (zh) | 2020-12-04 |
CN112036404B true CN112036404B (zh) | 2024-01-02 |
Family
ID=73587671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010894873.7A Active CN112036404B (zh) | 2020-08-31 | 2020-08-31 | 一种海上船只目标检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112036404B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2960964A1 (en) * | 2014-09-15 | 2016-03-24 | Temasek Life Sciences Laboratory Limited | Poisson-binomial based image recognition method and system |
CN108520229A (zh) * | 2018-04-04 | 2018-09-11 | 北京旷视科技有限公司 | 图像检测方法、装置、电子设备和计算机可读介质 |
CN108764306A (zh) * | 2018-05-15 | 2018-11-06 | 深圳大学 | 图像分类方法、装置、计算机设备和存储介质 |
CN110070142A (zh) * | 2019-04-29 | 2019-07-30 | 上海大学 | 一种基于yolo神经网络的海上船只目标检测方法 |
CN110796009A (zh) * | 2019-09-29 | 2020-02-14 | 航天恒星科技有限公司 | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 |
WO2020140772A1 (zh) * | 2019-01-02 | 2020-07-09 | 腾讯科技(深圳)有限公司 | 一种人脸检测方法、装置、设备以及存储介质 |
CN111402226A (zh) * | 2020-03-13 | 2020-07-10 | 浙江工业大学 | 一种基于级联卷积神经网络的表面疵点检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9858496B2 (en) * | 2016-01-20 | 2018-01-02 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
-
2020
- 2020-08-31 CN CN202010894873.7A patent/CN112036404B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2960964A1 (en) * | 2014-09-15 | 2016-03-24 | Temasek Life Sciences Laboratory Limited | Poisson-binomial based image recognition method and system |
CN108520229A (zh) * | 2018-04-04 | 2018-09-11 | 北京旷视科技有限公司 | 图像检测方法、装置、电子设备和计算机可读介质 |
CN108764306A (zh) * | 2018-05-15 | 2018-11-06 | 深圳大学 | 图像分类方法、装置、计算机设备和存储介质 |
WO2020140772A1 (zh) * | 2019-01-02 | 2020-07-09 | 腾讯科技(深圳)有限公司 | 一种人脸检测方法、装置、设备以及存储介质 |
CN110070142A (zh) * | 2019-04-29 | 2019-07-30 | 上海大学 | 一种基于yolo神经网络的海上船只目标检测方法 |
CN110796009A (zh) * | 2019-09-29 | 2020-02-14 | 航天恒星科技有限公司 | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 |
CN111402226A (zh) * | 2020-03-13 | 2020-07-10 | 浙江工业大学 | 一种基于级联卷积神经网络的表面疵点检测方法 |
Non-Patent Citations (2)
Title |
---|
基于深度学习的遥感图像舰船目标检测与分类识别;杨阳;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》(第4期);参见正文第26-29, 45页 * |
遥感影像船舶检测的特征金字塔网络建模方法;邓睿哲;陈启浩;陈奇;刘修国;;测绘学报(06);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112036404A (zh) | 2020-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110084292B (zh) | 基于DenseNet和多尺度特征融合的目标检测方法 | |
CN108898047B (zh) | 基于分块遮挡感知的行人检测方法及系统 | |
CN112084869B (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
CN111476159B (zh) | 一种基于双角回归的检测模型训练、检测方法及装置 | |
CN108319949A (zh) | 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法 | |
CN107248159A (zh) | 一种基于双目视觉的金属工件缺陷检测方法 | |
CN111768388A (zh) | 一种基于正样本参考的产品表面缺陷检测方法及系统 | |
CN109117838B (zh) | 应用于无人船感知系统的目标检测方法及装置 | |
CN112613343B (zh) | 一种基于改进YOLOv4的河道废弃物监测方法 | |
CN101770583B (zh) | 一种基于场景全局特征的模板匹配方法 | |
CN112070159A (zh) | 一种多尺度滑窗相似图片检测方法 | |
CN113657409A (zh) | 车辆损失检测方法、装置、电子设备及存储介质 | |
CN110473216A (zh) | 一种图像中目标物的检测方法及装置 | |
CN111738114A (zh) | 基于无锚点精确采样遥感图像车辆目标检测方法 | |
CN111539456B (zh) | 一种目标识别方法及设备 | |
CN112580542A (zh) | 一种基于目标检测的钢筋计数方法 | |
CN114428110A (zh) | 一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统 | |
CN112036404B (zh) | 一种海上船只目标检测方法及系统 | |
CN110728214B (zh) | 一种基于尺度匹配的弱小人物目标检测方法 | |
CN111179278B (zh) | 一种图像检测的方法、装置、设备和存储介质 | |
CN112198170A (zh) | 一种无缝钢管外表面三维检测中识别水滴的检测方法 | |
CN111767919A (zh) | 一种多层双向特征提取与融合的目标检测方法 | |
CN115471782B (zh) | 一种面向无人艇的红外舰船目标检测方法及装置 | |
CN112347904B (zh) | 基于双目深度和图片结构的活体检测方法、装置及介质 | |
CN113610178A (zh) | 一种基于视频监控图像的内河船舶目标检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |