CN110427030A - 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法 - Google Patents
一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法 Download PDFInfo
- Publication number
- CN110427030A CN110427030A CN201910731195.XA CN201910731195A CN110427030A CN 110427030 A CN110427030 A CN 110427030A CN 201910731195 A CN201910731195 A CN 201910731195A CN 110427030 A CN110427030 A CN 110427030A
- Authority
- CN
- China
- Prior art keywords
- unmanned boat
- bracket
- data set
- recycling
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000011084 recovery Methods 0.000 title claims abstract description 7
- 238000004064 recycling Methods 0.000 claims abstract description 112
- 238000012549 training Methods 0.000 claims description 46
- 238000012360 testing method Methods 0.000 claims description 19
- 241000208340 Araliaceae Species 0.000 claims description 8
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 8
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 8
- 235000008434 ginseng Nutrition 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims 1
- 230000002747 voluntary effect Effects 0.000 abstract description 5
- 238000003032 molecular docking Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229960000907 methylthioninium chloride Drugs 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Processing Of Solid Wastes (AREA)
Abstract
本发明属于无人艇自主回收技术领域,具体涉及一种基于Tiny‑YOLOship目标检测算法的无人艇自主对接回收方法,通过托架摄像头获取无人艇图像,无人艇摄像头获取回收托架图像,基于Tiny‑YOLOship目标检测算法,对图像中的无人艇、回收托架的位置进行实时检测,得到无人艇和回收托架在图像中精确的位置信息,结合摄像头内参,准确获取无人艇和回收托架的转向角度,以转向角度为控制信号,有效协助无人艇和回收托架保持对中,并使得无人艇驶入托架,实现对无人艇的自主回收,与传统无人艇自主对接回收方式相比,显著提高了无人艇与回收托架之间的对接精度,提高了无人艇自主对接回收的准确度。
Description
技术领域
本发明属于无人艇自主回收技术领域,具体涉及一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法。
背景技术
无人艇是一种新型的小型智能船舶,可搭载多传感器完成多种任务:海上搜救、水文探测、环境检测、港口巡逻等。无人艇体积小、不易被雷达发现的优势还可以让其执行军事侦察任务。随着不断的发展,无人艇必将具有更加丰富的功能和更加广泛的运用。
无人艇自主对接回收是指无人艇在完成水上任务之后,通过一定方式使得无人艇和回收托架保持相互对中,同时无人艇自行开入回收托架完成二者对接,随后对二者一同起吊实现自主回收。传统方法是通过GPS和惯导实时获取无人艇和托架相对于各自的转向角,根据转向角大小控制油门动作幅度,实现无人艇朝着回收托架前进、回收托架自身旋转并保证开口朝向无人艇的运动。但该方案的缺点在于通过GPS和惯导计算出的转向角度会随着无人艇和托架的不断靠近而误差不断增大,在二者距离小于一定值时转向角度大小波动剧烈,无法作为准确的控制信号对油门进行控制,不利于无人艇的自主对接回收。
发明内容
本发明的目的在于提供一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法,以提高无人艇的自主对接回收准确度。
基于上述目的,本发明采用如下技术方案:一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法,包括以下步骤:
(1)采集无人艇图像得到无人艇数据集,并对无人艇数据集利用标注框进行目标标注,同时,将无人艇数据集按照7:1:2的比例划分为训练集、验证集和测试集;采集回收托架图像得到回收托架数据集,并对回收托架数据集利用标注框进行目标标注,同时,将回收托架数据集按照7:1:2的比例划分为训练集、验证集和测试集。
(2)分别基于无人艇数据集中的训练集和回收托架数据集中的训练集,利用k-means聚类方法,分别生成无人艇数据集的默认框和回收托架数据集的默认框。
(3)结合无人艇数据集的默认框,利用无人艇数据集中的训练集、验证集和测试集对Tiny-YOLOship网络进行训练,得到用于检测无人艇的网络权重参数;结合回收托架数据集的默认框,利用回收托架数据集中的训练集、验证集和测试集对Tiny-YOLOship网络进行训练得到用于检测回收托架的网络权重参数;并将用于检测无人艇的网络权重参数部署至回收托架的工控机中,用于无人艇检测;将用于检测回收托架的网络权重参数部署至无人艇的工控机中,用于回收托架检测。
(4)利用更新权重参数的Tiny-YOLOship网络,对无人艇上的摄像头实时采集的回收托架的图像进行目标检测,对回收托架上的摄像头实时采集的无人艇图像进行目标检测。
(5)结合摄像头内参及检测目标在图像中的坐标位置求取转向角,根据转向角控制油门动作,使得回收托架开口旋转、无人艇向回收托架靠拢,直至完成回收。
进一步地,步骤(2)中分别基于无人艇数据集中的训练集和回收托架数据集中的训练集,以无人艇数据集中的训练集为例,回收托架数据集中的训练集同理处理,利用k-means聚类方法,分别生成无人艇数据集的默认框和回收托架数据集的默认框,具体过程如下,
①.随机给定9个聚类中心点,即(Wi,Hi),i∈{1,2,...,9},其中,(Wi,Hi)是聚类默认框的框宽、框高。
②.计算无人艇数据集中每个标注框与每个聚类中心点的距离,具体计算公式如下,
d=1-IOU[(xj,yj,wj,hj),(xj,yj,Wi,Hi)],j∈{1,2,...,N},i∈{1,2,...,9};
其中,d表示标注框与聚类中心点的距离;(xj,yj,wj,hj)表示无人艇数据集中的标注框的中心点坐标、框宽、框高;N表示无人艇数据集中标注框的总数;(xj,yj,Wi,Hi)表示聚类默认框和标注框在中心点重合的情况下,聚类默认框的中心点坐标、框宽、框高;IOU表示标注框与聚类默认框的交集区域和并集区域的面积比;在计算出标注框与聚类中心点的距离后,将每个标注框分配给与其距离最小的聚类中心,即对应的(Wi,Hi)。
③.无人艇数据集中所有的标注框分配完成后,对于每个簇的聚类中心点进行更新,更新公式如下,
Ni表示第i个簇的标注框的个数;wj和hj分别表示某一簇中第j个标注框的框宽、框高;Wi'和Hi'分别表示更新后的框宽、框高,即第i个簇中所有标注框的框宽的平均值、框高的平均值。
④.重复步骤②、③1000次,直至聚类中心(Wi,Hi)变化极小;最终得到无人艇数据集默认框的大小为(17×17),(20×14),(28×18),(37×27),(52×36),(60×60),(95×50),(127×101),(288×203),将这9中默认框参数作为检测无人艇的Tiny-YOLOship网络中默认框参数;最终得到回收托架数据集默认框的大小为(14×16),(22×22),(46×32),(60×52),(103×86),(175×154),(201×168),(327×283),(400×332),将该9中默认框参数作为检测回收托架的Tiny-YOLOship网络中默认框参数。
进一步地,步骤(3)中以无人艇数据集为例,回收托架数据集同理处理,得到用于检测无人艇的网络权重参数和检测回收托架的网络权重参数,具体过程如下,
A.利用现有的ImageNet数据集、VOC2007、VOC2012、MS COCO检测数据集对Tiny-YOLOship网络进行预训练。
B.利用无人艇数据集中的训练集对Tiny-YOLOship网络进行微调训练,通过验证集调节超参,并经测试集验证,得到适用于检测无人艇的网络权重参数;对回收托架数据集同理处理,得到适用于检测回收托架的网络权重参数。
进一步地,步骤B中对Tiny-YOLOship网络进行微调训练,通过验证集调节超参,并经测试集验证,得到适用于检测无人艇的网络权重参数和检测回收托架的网络权重参数的具体过程如下,
a.将训练集中的图像归一化到512*512大小,并将归一化后的图像输入Tiny-YOLOship的基础网络部分进行特征提取,得到三种不同尺度的特征图,分别为大尺度的64*64特征图、中尺度的32*32特征图、小尺度的16*16特征图。
b.将小尺度的特征图进行上采样后与中尺度的特征图进行特征融合;将中尺度的特征图进行上采样后与大尺度的特征图进行特征融合,得到三种不同尺度的特征图下基于不同的默认框参数得到的初始默认框。
c.每种尺度下的特征图所对应的初始默认框均经过1个3*3卷积和1个1*1卷积得到每种尺度下的特征图对应的预测边界框。
d.选择置信度大于0.5的预测边界框,与真实标定框通过损失代价函数求取损失,并反向传播求取梯度进行梯度更新,通过验证集调节超参,迭代直至损失值降低至0.1以下,经测试集测试满足实际运用的精度需求,从而得到用于检测无人艇的Tiny-YOLOship网络权重参数和检测回收托架的Tiny-YOLOship网络权重参数。
进一步地,步骤(4)利用更新权重参数的Tiny-YOLOship,对无人艇上的摄像头实时采集的回收托架的图像进行目标检测,对回收托架上的摄像头实时采集的无人艇图像进行目标检测,具体过程如下,
I.将无人艇上的摄像头实时采集的回收托架的图像输入用于检测回收托架的Tiny-YOLOship网络进行回收托架目标检测,得到回收托架目标检测预测框;将回收托架上的摄像头实时采集的无人艇的图像输入用于检测无人艇的Tiny-YOLOship网络进行无人艇目标检测,得到无人艇目标检测预测框。
II.通过置信度阈值对上述预测框进行首次过滤,保留置信度阈值大于0.25的预测框。
III.通过IOU阈值为0.5的非极大值抑制,对置信度阈值大于0.25的预测框进行二次过滤,得到最终的目标框,即目标在图像中的位置。
进一步地,步骤(5)中结合摄像头内参及检测目标在图像中的坐标位置求取转向角的计算过程如下,
根据检测出的目标位置求取目标中心在x轴方向上的坐标;通过棋盘格标定法求取摄像头在x方向上的焦距;结合坐标信息和焦距求取转向角,具体公式为
其中,α表示转向角;x表示预测框的左上角位置x方向坐标值;w表示预测框的框宽;W表示摄像头采集的图像的宽度;fx表示摄像头在x方向上的焦距。
与现有技术相比,本发明的有益效果如下:
(1)本发明基于Tiny-YOLOship目标检测算法,对图像中的目标位置进行检测,实时且精确得到无人艇和回收托架在视频图像中的位置信息,使得对无人艇和回收托架的转向角度控制更为精确,通过以转向角度为控制信号,有效协助无人艇和回收托架保持对中,并使得无人艇驶入托架,实现对无人艇的自主回收,与传统无人艇自主对接回收方式相比,显著提高了无人艇与回收托架之间的对接精度,即提高了无人艇自主对接回收的准确度。
(2)本发明采用的无人艇自主对接回收方法有效结合了视觉检测技术,具有实时性强、精度高的优点。
附图说明
图1为本发明的方法流程示意图;
图2为Tiny-YOLOship网络结构图;
图3为无人艇及设于无人艇上的摄像头、工控机等结构示意图;
图4为回收托架及设于回收托架上的摄像头、工控机等结构示意图;
图5为在回收托架视觉下,对无人艇的检测回收过程图;
图6为在无人艇视觉下,对回收托架的检测回收过程图。
具体实施方式
如图1~6所示的一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法,如图1所示,包括以下步骤:
(1)采集无人艇和回收托架图像数据集并将数据集划分为训练集、验证集和测试集,具体过程如下,
通过设置在无人艇上的摄像头对回收托架进行视频采集,设置在回收托架上的摄像头对无人艇进行视频采集,采集在不同场景如东海、黄海、定山湖、南海、美兰湖等下的无人艇视频和回收托架视频,对于视频每隔15帧抽取一张图片作为数据集,并利用标注框对目标进行标注,最终无人艇数据集有2842张,回收托架数据集有3743张。
将无人艇数据集和回收托架数据集标注格式转化为YOLO格式,并按照7:1:2的比例划分训练集、验证集和测试集,最终无人艇数据集中1989张用于训练(即训练集)、284张用于验证(即验证集)、569张用于测试(即测试集),回收托架数据集中2620张用于训练(即训练集),374张用于验证(即验证集),749张用于测试(即测试集)。
(2)分别基于无人艇数据集中的训练集和回收托架数据集中的训练集,利用k-means聚类方法,分别生成9种无人艇数据集的默认框和9种回收托架数据集的默认框,具体过程如下,
①.以无人艇数据集为例,回收托架数据集同理,首先随机给定9个聚类中心点,即(Wi,Hi),i∈{1,2,...,9},其中,(Wi,Hi)是聚类默认框的框宽、框高。
②.计算无人艇数据集中每个标注框与每个聚类中心点的距离,具体计算公式为d=1-IOU[(xj,yj,wj,hj),(xj,yj,Wi,Hi)],j∈{1,2,...,N},i∈{1,2,...,9},其中,d表示标注框与聚类中心点的距离;(xj,yj,wj,hj)表示无人艇数据集中的标注框的中心点坐标、框宽、框高,N表示无人艇数据集中标注框的总数;(xj,yj,Wi,Hi)表示聚类默认框和标注框中心点重合的情况下,聚类默认框的中心点坐标、框宽、框高;IOU表示标注框与聚类默认框的交集区域和并集区域的面积比;在计算出标注框与聚类中心点的距离后,将每个标注框分配给与其距离最小的聚类中心,即对应的(Wi,Hi)。
③.无人艇数据集中所有的标注框分配完毕后,对于每个簇的聚类中心点进行更新,更新公式即其中,Ni表示第i个簇的标注框的个数;wj和hj分别表示某一簇中第j个标注框的框宽、框高;Wi'和H′i分别表示更新后的框宽、框高,即第i个簇中所有标注框的框宽的平均值、框高的平均值。
④.重复步骤②、③步1000次,直至聚类中心(Wi,Hi)变化极小;最终无人艇数据集的默认框的大小为(17×17),(20×14),(28×18),(37×27),(52×36),(60×60),(95×50),(127×101),(288×203),将这9种默认框参数作为检测无人艇的Tiny-YOLOship网络中默认框参数;最终得到回收托架数据集的默认框大小为(14×16),(22×22),(46×32),(60×52),(103×86),(175×154),(201×168),(327×283),(400×332),将这9种默认框参数作为检测回收托架的Tiny-YOLOship网络中默认框参数。
(3)使用轻量级目标检测算法Tiny-YOLOship网络对无人艇、回收托架训练数据集进行训练并部署,其中,Tiny-YOLOship网络结构见图2,具体过程如下,
A.首先使用现有的ImageNet数据集对Tiny-YOLOship的基础网络部分进行预训练,训练网络对于图像分类的特征提取能力;接着基于前一阶段训练基础网络后的网络参数,使用公有的VOC2007、VOC2012、MS COCO检测数据集对Tiny-YOLOship整体再进行预训练(此时使用的默认框参数是(10×13),(16×30),(33×23),(30×61),(62×65),(59×154),(201×168),(327×283),(400×332)),训练出Tiny-YOLOship的目标检测能力。
B.再然后,针对实际作业场景类别,分别使用回收托架数据集和无人艇数据集对Tiny-YOLOship进行微调训练,得到适用于检测回收托架和无人艇的网络权重参数。微调训练过程如下:
a.将训练集中的图像归一化到512*512大小;并将归一化后的图像输入到Tiny-YOLOship的基础网络部分进行特征提取,得到三种不同尺度的特征图,分别是大尺度的64*64特征图、中尺度的32*32特征图、小尺度的16*16特征图。
b.将小尺度的特征图进行上采样后与中尺度的特征图以concat方式进行特征融合;将中尺度的特征图进行上采样后与大尺度特征图以concat方式进行特征融合,以提高特征图的语义性;得到三种不同尺度的特征图下,基于不同的默认框参数得到的初始默认框。以对无人艇数据集的微调训练为例,小尺度16*16特征图产生(95×50),(127×101),(288×203)的默认框,中尺度32*32特征图产生(37×27),(52×36),(60×60)的默认框,大尺度64*64特征图产生(17×17),(20×14),(28×18)的默认框。以回收托架数据集的微调训练为例,小尺度16*16特征图产生(201×168),(327×283),(400×332)的默认框,中尺度32*32特征图产生(60×52),(103×86),(175×154)的默认框,大尺度64*64特征图产生(14×16),(22×22),(46×32)的默认框。
c.通过1个3*3卷积和1个1*1卷积对初始默认框进行位置大小修正,得到预测边界框。
d.选择置信度大于0.5的预测边界框,和真实标定框通过损失函数求取损失,并反向传播求取梯度进行梯度更新,通过验证集调节超参,迭代80000次,直到损失值降低到0.1以下,经测试集测试满足实际运用的精度需求,从而得到用于检测无人艇的Tiny-YOLOship整体网络权重参数和检测回收托架的Tiny-YOLOship整体网络权重参数。
e.最后,将检测无人艇、回收托架的Tiny-YOLOship整体网络权重参数分别部署到回收托架和无人艇的工控机的opencv3.4.2环境中,无人艇上的工控机负责检测回收托架,回收托架上的工控机负责检测无人艇。
(4)利用更新权重参数的Tiny-YOLOship网络,对无人艇、回收托架上的摄像头实时采集的回收托架、无人艇图像进行目标检测,无人艇及无人艇上的摄像头和工控机如图3所示,回收托架及回收托架上的摄像头和工控机如图4所示,具体实施方式如下,
I.将无人艇上的摄像头实时采集的回收托架的图像输入用于检测回收托架的Tiny-YOLOship网络进行回收托架目标检测,得到回收托架目标检测预测框;将回收托架上的摄像头实时采集的无人艇的图像输入用于检测无人艇的Tiny-YOLOship网络进行无人艇目标检测,得到无人艇目标检测预测框。
II.通过置信度阈值对上述预测框进行首次过滤,保留置信度阈值大于0.25的预测框,舍弃其余的预测框。
III.通过IOU阈值为0.5的非极大值抑制,对置信度阈值大于0.25的预测框进行二次过滤,得到最终的目标框,即目标在图像中的位置。
(5)根据目标在图像中的位置求取转向角并控制油门动作,在回收托架上的摄像头的视觉下,对无人艇进行检测回收的过程示意图如图5所示,在无人艇上的摄像头的视觉下,对回收托架进行检测回收的过程示意图如图6所示。具体过程如下,
根据检测出的目标位置求取目标中心在x方向上的坐标;通过棋盘格标定法求取摄像头在x方向上的焦距;结合坐标信息和焦距求取转向角,具体计算公式为
其中,α表示转向角;x表示预测框的左上角位置x方向坐标值;w表示预测框的框宽;W表示摄像头采集的图像的宽度;fx表示摄像头在x方向上的焦距。
以转向角为控制信号控制推进器动作,即使得回收托架旋转,无人艇前进。尽可能保持转向角为0,即保持回收托架和无人艇的相互对中,同时,使回收托架与无人艇相互靠拢,直至完成对无人艇的自主对接回收。
Claims (6)
1.一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法,其特征在于,包括以下步骤:
(1)采集无人艇图像得到无人艇数据集,并对无人艇数据集利用标注框进行目标标注,同时,将无人艇数据集按照7:1:2的比例划分为训练集、验证集和测试集;采集回收托架图像得到回收托架数据集,并对回收托架数据集利用标注框进行目标标注,同时,将回收托架数据集按照7:1:2的比例划分为训练集、验证集和测试集;
(2)分别基于无人艇数据集中的训练集和回收托架数据集中的训练集,利用k-means聚类方法,分别生成无人艇数据集的默认框和回收托架数据集的默认框;
(3)结合无人艇数据集的默认框,利用无人艇数据集中的训练集、验证集和测试集对Tiny-YOLOship网络进行训练,得到用于检测无人艇的网络权重参数;结合回收托架数据集的默认框,利用回收托架数据集中的训练集、验证集和测试集对Tiny-YOLOship网络进行训练得到用于检测回收托架的网络权重参数;并将用于检测无人艇的网络权重参数部署至回收托架的工控机中,用于无人艇检测;将用于检测回收托架的网络权重参数部署至无人艇的工控机中,用于回收托架检测;
(4)利用更新权重参数的Tiny-YOLOship,对无人艇上的摄像头实时采集的回收托架的图像进行目标检测,对回收托架上的摄像头实时采集的无人艇图像进行目标检测;
(5)结合摄像头内参及检测目标在图像中的坐标位置求取转向角,根据转向角控制油门动作,使得回收托架开口旋转、无人艇向回收托架靠拢,直至完成回收。
2.根据权利要求1所述的基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法,其特征在于,所述步骤(2)中分别基于无人艇数据集中的训练集和回收托架数据集中的训练集,以无人艇数据集中的训练集为例,回收托架数据集中的训练集同理处理,利用k-means聚类方法,分别生成无人艇数据集的默认框和回收托架数据集的默认框,具体过程如下,
①.随机给定9个聚类中心点,即(Wi,Hi),i∈{1,2,...,9},其中,(Wi,Hi)是聚类默认框的框宽、框高;
②.计算无人艇数据集中每个标注框与每个聚类中心点的距离,具体计算公式如下,
d=1-IOU[(xj,yj,wj,hj),(xj,yj,Wi,Hi)],j∈{1,2,...,N},i∈{1,2,...,9};
其中,d表示标注框与聚类中心点的距离;(xj,yj,wj,hj)表示无人艇数据集中的标注框的中心点坐标、框宽、框高;N表示无人艇数据集中标注框的总数;(xj,yj,Wi,Hi)表示聚类默认框和标注框在中心点重合的情况下,聚类默认框的中心点坐标、框宽、框高;IOU表示标注框与聚类默认框的交集区域和并集区域的面积比;在计算出标注框与聚类中心点的距离后,将每个标注框分配给与其距离最小的聚类中心,即对应的(Wi,Hi);
③.无人艇数据集中所有的标注框分配完成后,对于每个簇的聚类中心点进行更新,更新公式如下,
Ni表示第i个簇的标注框的个数;wj和hj分别表示某一簇中第j个标注框的框宽、框高;Wi'和H′i分别表示更新后的框宽、框高,即第i个簇中所有标注框的框宽的平均值、框高的平均值;
④.重复步骤②、③1000次,直至聚类中心(Wi,Hi)变化极小;最终得到无人艇数据集默认框的大小为(17×17),(20×14),(28×18),(37×27),(52×36),(60×60),(95×50),(127×101),(288×203),将这9种默认框参数作为检测无人艇的Tiny-YOLOship网络中默认框参数;最终得到回收托架数据集默认框的大小为(14×16),(22×22),(46×32),(60×52),(103×86),(175×154),(201×168),(327×283),(400×332),将该9种默认框参数作为检测回收托架的Tiny-YOLOship网络中默认框参数。
3.根据权利要求2所述的基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法,其特征在于,所述步骤(3)中以无人艇数据集为例,回收托架数据集同理处理,得到用于检测无人艇的网络权重参数和检测回收托架的网络权重参数,具体过程如下,
A.利用现有的ImageNet数据集、VOC2007、VOC2012、MS COCO检测数据集对Tiny-YOLOship网络进行预训练;
B.利用无人艇数据集中的训练集对Tiny-YOLOship网络进行微调训练,通过验证集调节超参,并经测试集验证,得到适用于检测无人艇的网络权重参数;对回收托架数据集同理处理,得到适用于检测回收托架的网络权重参数。
4.根据权利要求3所述的基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法,其特征在于,所述步骤B中对Tiny-YOLOship网络进行微调训练,通过验证集调节超参,并经测试集验证,得到适用于检测无人艇的网络权重参数和检测回收托架的网络权重参数的具体过程如下,
a.将训练集中的图像归一化到512*512大小,并将归一化后的图像输入Tiny-YOLOship的基础网络部分进行特征提取,得到三种不同尺度的特征图,分别为大尺度的64*64特征图、中尺度的32*32特征图、小尺度的16*16特征图;
b.将小尺度的特征图进行上采样后与中尺度的特征图进行特征融合;将中尺度的特征图进行上采样后与大尺度的特征图进行特征融合,得到三种不同尺度的特征图下基于不同的默认框参数得到的初始默认框;
c.每种尺度下的特征图所对应的初始默认框均经过1个3*3卷积和1个1*1卷积得到每种尺度下的特征图对应的预测边界框;
d.选择置信度大于0.5的预测边界框,与真实标定框通过损失代价函数求取损失,并反向传播求取梯度进行梯度更新,通过验证集调节超参,迭代直至损失值降低至0.1以下,经测试集测试满足实际运用的精度需求,从而得到用于检测无人艇的Tiny-YOLOship网络权重参数和检测回收托架的Tiny-YOLOship网络权重参数。
5.根据权利要求4所述的基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法,其特征在于,所述步骤(4)利用更新权重参数的Tiny-YOLOship网络,对无人艇上的摄像头实时采集的回收托架的图像进行目标检测,对回收托架上的摄像头实时采集的无人艇图像进行目标检测,具体过程如下,
I.将无人艇上的摄像头实时采集的回收托架的图像输入用于检测回收托架的Tiny-YOLOship网络进行回收托架目标检测,得到回收托架目标检测预测框;将回收托架上的摄像头实时采集的无人艇的图像输入用于检测无人艇的Tiny-YOLOship网络进行无人艇目标检测,得到无人艇目标检测预测框;
II.通过置信度阈值对上述预测框进行首次过滤,保留置信度阈值大于0.25的预测框;
III.通过IOU阈值为0.5的非极大值抑制,对置信度阈值大于0.25的预测框进行二次过滤,得到最终的目标框,即目标在图像中的位置。
6.根据权利要求5所述的基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法,其特征在于,所述步骤(5)中结合摄像头内参及检测目标在图像中的坐标位置求取转向角的计算过程如下,
根据检测出的目标位置求取目标中心在x轴方向上的坐标;通过棋盘格标定法求取摄像头在x方向上的焦距;结合坐标信息和焦距求取转向角,具体公式为
其中,α表示转向角;x表示预测框的左上角位置x方向坐标值;w表示预测框的框宽;W表示摄像头采集的图像的宽度;fx表示摄像头在x方向上的焦距。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910731195.XA CN110427030B (zh) | 2019-08-08 | 2019-08-08 | 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910731195.XA CN110427030B (zh) | 2019-08-08 | 2019-08-08 | 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110427030A true CN110427030A (zh) | 2019-11-08 |
CN110427030B CN110427030B (zh) | 2020-06-12 |
Family
ID=68413350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910731195.XA Active CN110427030B (zh) | 2019-08-08 | 2019-08-08 | 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110427030B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111062282A (zh) * | 2019-12-05 | 2020-04-24 | 武汉科技大学 | 基于改进yolov3模型的变电站指针式仪表识别方法 |
CN111366959A (zh) * | 2020-03-16 | 2020-07-03 | 华中科技大学 | 一种基于图像的无人艇回收方法及系统 |
CN114727356A (zh) * | 2022-05-16 | 2022-07-08 | 北京邮电大学 | 无人集群组网方法、装置和电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108320510A (zh) * | 2018-04-03 | 2018-07-24 | 深圳市智绘科技有限公司 | 一种基于无人机航拍视频交通信息统计方法及系统 |
CN108471497A (zh) * | 2018-03-02 | 2018-08-31 | 天津市亚安科技有限公司 | 一种基于云台摄像机的船目标实时检测方法 |
CN109165585A (zh) * | 2018-06-15 | 2019-01-08 | 沈阳理工大学 | 一种改进的基于yolo v2的船舶目标检测方法 |
CN109409283A (zh) * | 2018-10-24 | 2019-03-01 | 深圳市锦润防务科技有限公司 | 一种海面舰船跟踪和监控的方法、系统和存储介质 |
CN109872362A (zh) * | 2019-01-18 | 2019-06-11 | 腾讯科技(深圳)有限公司 | 一种目标检测方法及装置 |
CN109928107A (zh) * | 2019-04-08 | 2019-06-25 | 江西理工大学 | 一种自动分类系统 |
CN110070142A (zh) * | 2019-04-29 | 2019-07-30 | 上海大学 | 一种基于yolo神经网络的海上船只目标检测方法 |
-
2019
- 2019-08-08 CN CN201910731195.XA patent/CN110427030B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108471497A (zh) * | 2018-03-02 | 2018-08-31 | 天津市亚安科技有限公司 | 一种基于云台摄像机的船目标实时检测方法 |
CN108320510A (zh) * | 2018-04-03 | 2018-07-24 | 深圳市智绘科技有限公司 | 一种基于无人机航拍视频交通信息统计方法及系统 |
CN109165585A (zh) * | 2018-06-15 | 2019-01-08 | 沈阳理工大学 | 一种改进的基于yolo v2的船舶目标检测方法 |
CN109409283A (zh) * | 2018-10-24 | 2019-03-01 | 深圳市锦润防务科技有限公司 | 一种海面舰船跟踪和监控的方法、系统和存储介质 |
CN109872362A (zh) * | 2019-01-18 | 2019-06-11 | 腾讯科技(深圳)有限公司 | 一种目标检测方法及装置 |
CN109928107A (zh) * | 2019-04-08 | 2019-06-25 | 江西理工大学 | 一种自动分类系统 |
CN110070142A (zh) * | 2019-04-29 | 2019-07-30 | 上海大学 | 一种基于yolo神经网络的海上船只目标检测方法 |
Non-Patent Citations (5)
Title |
---|
MOGENSBLANKE 等: "Assessing deep-learning methods for object detection at sea from lwir images", 《SCIENCEDIRECT》 * |
SHAORONG XIE 等: "Diverse receptive field network with context aggregation for fast object detection", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 * |
丁卫 等: "基于视觉的低空跟踪系统", 《光学精密工程》 * |
赵德安 等: "基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位", 《农业工程学报》 * |
马吉顺 等: "基于YOLO算法的船舶识别定位系统", 《新型工业化》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111062282A (zh) * | 2019-12-05 | 2020-04-24 | 武汉科技大学 | 基于改进yolov3模型的变电站指针式仪表识别方法 |
CN111062282B (zh) * | 2019-12-05 | 2023-09-29 | 武汉科技大学 | 基于改进yolov3模型的变电站指针式仪表识别方法 |
CN111366959A (zh) * | 2020-03-16 | 2020-07-03 | 华中科技大学 | 一种基于图像的无人艇回收方法及系统 |
CN111366959B (zh) * | 2020-03-16 | 2021-11-30 | 华中科技大学 | 一种基于图像的无人艇回收方法及系统 |
CN114727356A (zh) * | 2022-05-16 | 2022-07-08 | 北京邮电大学 | 无人集群组网方法、装置和电子设备 |
CN114727356B (zh) * | 2022-05-16 | 2022-08-26 | 北京邮电大学 | 无人集群组网方法、装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110427030B (zh) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110782481B (zh) | 无人艇智能决策方法及系统 | |
US10936907B2 (en) | Training a deep learning system for maritime applications | |
CN107909082B (zh) | 基于深度学习技术的声呐图像目标识别方法 | |
CN103679674B (zh) | 一种无人飞行器实时图像拼接方法及系统 | |
CN102426019B (zh) | 一种无人机景象匹配辅助导航方法及系统 | |
CN110070142A (zh) | 一种基于yolo神经网络的海上船只目标检测方法 | |
CN110427030A (zh) | 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法 | |
CN109165585A (zh) | 一种改进的基于yolo v2的船舶目标检测方法 | |
CN105184816A (zh) | 基于usv的视觉检测和水面目标追踪系统及其检测追踪方法 | |
CN110472542A (zh) | 一种基于深度学习的红外图像行人检测方法及检测系统 | |
CN107194343B (zh) | 基于位置相关的卷积与Fire模型的红绿灯检测方法 | |
CN109213204A (zh) | 基于数据驱动的auv海底目标搜寻航行系统及方法 | |
Zhang et al. | A object detection and tracking method for security in intelligence of unmanned surface vehicles | |
CN109886114A (zh) | 一种基于聚合变换特征提取策略的舰船目标检测方法 | |
Mseddi et al. | YOLOv5 based visual localization for autonomous vehicles | |
Zhang et al. | Research on unmanned surface vehicles environment perception based on the fusion of vision and lidar | |
CN106372590A (zh) | 一种基于机器视觉的海面船只智能跟踪系统及其方法 | |
CN111968046A (zh) | 一种基于拓扑结构的雷达光电传感器目标关联融合方法 | |
CN110766721B (zh) | 一种基于机载视觉的着舰合作目标检测方法 | |
CN111090283A (zh) | 一种无人艇组合定位定向方法和系统 | |
CN114879657A (zh) | 一种基于随体坐标系的无模型全分布式无人艇协同时变队形控制方法 | |
Song et al. | Research on unmanned vessel surface object detection based on fusion of ssd and faster-rcnn | |
Li et al. | Real-time underwater target detection for AUV using side scan sonar images based on deep learning | |
Shi et al. | Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles | |
Yao et al. | LiDAR based navigable region detection for unmanned surface vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |