CN116012601A - 一种yolo_sr系统、用于扫地机器人的目标检测方法及装置 - Google Patents
一种yolo_sr系统、用于扫地机器人的目标检测方法及装置 Download PDFInfo
- Publication number
- CN116012601A CN116012601A CN202310055827.1A CN202310055827A CN116012601A CN 116012601 A CN116012601 A CN 116012601A CN 202310055827 A CN202310055827 A CN 202310055827A CN 116012601 A CN116012601 A CN 116012601A
- Authority
- CN
- China
- Prior art keywords
- layer
- unit
- cbl
- yolo
- sweeping robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000010408 sweeping Methods 0.000 title claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000004888 barrier function Effects 0.000 claims abstract description 12
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 10
- 101000906746 Chassalia parviflora Circulin-B Proteins 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101710151841 Farnesyl pyrophosphate synthase 1 Proteins 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种YOLO_SR系统、用于扫地机器人的目标检测方法及装置,方法包括:步骤S1:获取扫地机器人实时捕捉的图像;步骤S2:将所述图像输入构建的YOLO_SR系统,通过所述YOLO_SR系统识别出图像中的各类目标障碍,以使扫地机器人规避各类目标障碍。本发明通过对YOLO_SR系统进行改进,不仅提高了扫地机器人的特征提取能力,还能提高多尺度目标物体的检测能力,实验证明本发明将YOLO_SR系统应用于扫地机器人上避障效果较好且通用性较强。
Description
技术领域
本发明涉及目标检测技术领域,尤其是指一种YOLO_SR系统、用于扫地机器人的目标检测方法及装置。
背景技术
目标检测是计算机视觉领域中的基本任务,其不仅要对图像中的物体进行分类,而且需要精确的定位。目标检测在智能安防、无人驾驶、家居生活以及服务机器人等诸多领域有着广泛的应用,随着计算机运算性能的不断提升,基于深度学习的目标检测算法逐渐成为主流。在目标检测性能得到提升的同时,深度神经网络自身的参数规模大、计算复杂度高的缺点也变得愈发明显。为了推动深度学习网络在嵌入式端的部署,轻量化网络得到快速发展,其目的在于减少模型参数量,并保证实时性和检测准确度。目前轻量化网络研究主要分为两个方向:(1)对现有网络模型进行压缩,常用方法主要有参数剪枝、低秩分解、紧性滤波设计以及知识蒸馏等,通过上述方法可以使网络的参数量和计算量减少,同时保持网络的性能不会发生明显下降。(2)另一种是模型设计时采用轻量化思想,在有限的层数中尽量提高网络的特征提取能力,虽然参数量和计算量大幅度减少,但是以牺牲一定的检测精度为前提。因此,对于现有的轻量化网络而言,需要提升精度的同时保证较高的实时性。
目前目标检测应用在扫地机器人得到了市场的认可,扫地机器人能否有效对障碍物进行规避直接影响到清扫效果,因此扫地机器人的目标检测性能至关重要,需要对扫地机器人内置的目标检测网络在轻量化网络的前提下,对高精度和实时性也提出了要求。
现有的轻量化网络如YOLOv4-t i ny(You On ly Look Once,YOLO),以下简要说明轻量化模型的结构与特征提取流程:
YOLOv4-t i ny是一种典型的轻量化网络模型,同时也是YOLOv4的精简版,其参数缩减为YOLOv4的十分之一。相比于YOLOv4网络结构的162层,该网络缩减为38层,在主干网络中使用了三个残差单元,其中激活函数使用了LeakyReLU,合并有效特征层使用了特征金字塔(FPN)结构,并将预测输出层(Yo l oHead)从原先的三个减少为两个。
YOLOv4-t i ny具有多任务、端到端、注意力机制和多尺度的特点,多任务可以理解为同时完成目标的分类与回归,实现参数共享以及避免过拟合;端到端意味着网络模型接受图像信息后自动学习并获取特征,并直接给出分类与回归的预测信息;注意力机制是集中于待检测的目标区域特征,从而快速获取有效特征;多尺度通常是将上采样与下采样的数据相互融合,从而能够检测多尺度大小的目标。在对模型进行训练时可以使用Mosaci数据增强、标签平滑、学习率余弦退火衰减等方法来提升模型的训练速度以及检测精度。
YOLOv4-t i ny模型的结构图如图1所示,在此对YOLOv4-t i ny的特征提取过程进行详细描述,当输入图片大小为416×416×3时,经过步长为2的卷积滤波器(3×3×3×32,其中前两个参数构成3×3,为卷积滤波器的核大小,第三个参数3为通道数数量,并对应输入图片的通道数数量,第四个参数32为卷积滤波器的数量,对应了输出特征的通道数数量)滤波后变为208×208×32,以此类推,再通过步长为2的卷积滤波器(3×3×3×64)滤波后变为104×104×64,在进一步的处理过程中,引入残差单元,并结合池化层获取输出为52×52×128,再经过三次类似的残差单元反复提取特征以后经过步长为2的卷积滤波器得到(13×13×512),结合卷积滤波器(1×1×256×255)最终得到第一个大小为13×13×255的输出层。为了提高对多尺度物体的检测能力,将13×13×512该层进行卷积得到13×13×256,并再次卷积结合上采样得到26×26×128,并与26×26×256融合得到输出26×26×384,通过卷积滤波器(3×3×384×256)得到26×26×256,并再次卷积(1×1×256×255)得到第二个预测输出大小为26×26×255。经过上述步骤,构成了该轻量化网络的特征提取过程。
YOLOv4-t i ny参数量少,虽然检测速度非常高,但是以牺牲精度为代价。首先,该轻量化网络层数较少,无法提取深层的语义信息,而语义信息对目标检测中所涉及的定位及其重要;其次,当输入大小为416×416时,该网络的预测输出层为13×13以及26×26,相比YOLOv4减少了非常重要的一个预测输出层52×52,从而导致对多尺度物体的检测性能下降,尤其是小物体的检测。最后,该网络缺乏对重要特征的筛选能力,无法高效提取与识别目标关联度大的特征。
发明内容
为此,本发明所要解决的技术问题在于克服现有技术中YOLOv4-t i ny模型检测性能低、无法提取深层特征,从而导致扫地机器人对于多尺度物体检测性能下降的问题。
为解决上述技术问题,本发明提供了一种YOLO_SR系统,包括依次连接的图像增强模块、两个第一CBL单元、第一特征提取模块、第一Concat层、第二CBL单元和第二特征提取模块,所述第一特征提取模块和第二特征提取模块连接;所述第二特征提取模块设置有第一输出端和第二输出端,所述第一输出端与两个第三CBL单元连接,所述第二输出端与两个第四CBL单元连接;
所述第一特征提取模块包括依次连接的两个CIRB单元、第一SEIR单元、第五CBL单元和第二SEIR单元,所述第一SEIR单元的输出和第二特征提取模块连接,所述第五CBL单元的输出和第一Concat层连接。
所述CIRB单元包括依次连接的第三SEIR单元、第六CBL单元、第四SEIR单元、第二Concat层、第七CBL单元、第三Concat层和第一POOL层,所述第三SEIR单元的输出与第三Concat层连接,所述第六CBL单元的输出与第二Concat层连接。
所述第一SE IR单元、第二SE IR单元、第三SEIR单元和第四SE IR单元均包括依次连接的第七CBL单元、Dwi se层、第一SE层、第一卷积层、第一BN层、L i near层、第二SE层和相加层,所述第七CBL单元的输入和Li near层的输出连接。
所述第二特征提取模块包括依次连接的第四Concat层、第二POOL层、第八CBL单元、第一ASPP单元和两个第九CBL单元,所述第四Concat层的输入依次连接有第二ASPP单元、第十CBL单元,第二个所述第九CBL单元的输出依次连接有第十一CBL单元、第一上采样层,所述第一上采样层和第十CBL单元的输出分别与第五Concat层连接。
所述第一ASPP单元和第二ASPP单元包括并列设置的第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层和第三POOL层,所述第三POOL层与第二上采样层连接,所述第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层和第二上采样层分别与第六Concat层连接。
所述第一CBL单元至第十一CBL单元均包括依次连接的第二卷积层、第二BN层和激活函数层。
为解决上述技术问题,本发明提供了一种用于扫地机器人的目标检测方法,包括:
步骤S1:获取扫地机器人实时捕捉的图像;
步骤S2:将所述图像输入如上述的YOLO_SR系统,通过所述YOLO_SR系统识别出图像中的各类目标障碍,以使扫地机器人规避各类目标障碍。
为解决上述技术问题,本发明提供了一种用于扫地机器人的目标检测装置,包括:
获取模块:用于获取扫地机器人实时捕捉的图像;
识别模块:用于将所述图像输入YOLO_SR系统,通过所述YOLO_SR系统识别出图像中的各类目标障碍,以使扫地机器人规避各类目标障碍。
为解决上述技术问题,本发明提供了一种扫地机器人,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述用于扫地机器人的目标检测方法的步骤。
为解决上述技术问题,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现上述用于扫地机器人的目标检测方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点:
本发明在YOLO_SR系统(轻量化模型)的输入端、骨干网络以及颈部分别进行改进,通过线上数据增强提高了模型的泛化能力;本发明利用带有注意力机制的逆残差单元(SEI R)提高了骨干网络的特征提取能力,并融合ASPP单元组合不同感受野的语义信息,有效提升模型对多尺度目标、尤其是小目标的检测性能,在保持高实时性的同时获得很高的检测精度;
本发明的YOLO_SR系统应用在扫地机器人上能够获得较好的避障效果,方便扫地机器人进行全方位的清扫。
附图说明
为了使本发明的内容更容易被清楚的理解,下面根据本发明的具体实施例并结合附图,对本发明作进一步详细的说明。
图1是背景技术中YOLOv4-t i ny模型的结构图;
图2是本发明实施例中的方法流程图;
图3是本发明实施例中YOLO_SR系统的结构图;
图4是本发明实施例中基于YOLO_SR系统的目标检测流程图;
图5是本发明实施例中基于YOLO_SR系统的扫地机器人目标检测结果可视化效果图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
实施例一
本发明基于YOLOv4-t i ny提出了一种新的轻量化网络系统,并命名为YOLO_SR(YOLO for Serv ice Robot)系统,具体网络模型如表1所示。
表1YOLO_SR系统网络架构
由表1看出,YOLO_SR系统由38层增加为42层,相比YOLOv4-t i ny仅仅增加了4层,其中改进部分在表中以加粗显示,分别为输入端融合Mosa ic与传统数据增强(基于颜色)的线上数据增强,骨干网络中6个带有注意力机制的逆残差单元(SEIR),2个空洞卷积金字塔池化单元(ASPP单元)以及两个卷积层。
以下详细阐述YOLO_SR系统的改进流程:
首先,基于随机理念提出了一种将传统数据增强(主要基于颜色)与Mosa i c数据增强相结合的方法,并根据数据集的特点引入线上增强方法。采用线上增强数据的方法不仅可以避免数据爆炸性增加,同时可以充分利用Pytorch框架对在线数据增强的支持,并通过GPU进行加速。为了尽可能提高数据集的丰富性,本实施例设置了图像增强模块:引入随机方法进行融合,具体如下:首先设定一个固定的阈值为0.5,并生成一个0到1之间的随机数,当随机数小于0.5时,采用Mosaic增强方法(如将4张图片合成一张图片),当随机数大于0.5时,采用基于颜色的数据增强方法(如对4张图片中的每一张都进行增强处理),包括随机添加高斯噪声、高斯模糊、对比度或者亮度。从整个训练集来看,部分图片采用了Mosa ic数据增强方法,部分图片选择基于颜色类的增强方法,比如加入高斯噪声、高斯模糊以及改变对比度,需要注意的是,当随机数等于0.5时,图片保持不变。当所有训练集完成一次训练时(Epoch),下一轮数据会有所变化,在多轮训练以后模型也不容易过拟合。
其次,将原网络(即YOLOv4-tiny)中的第3层卷积层(CBL)替换为带有注意力机制的逆残差单元(SE IR),考虑到接下来的第5层是3层的输出(第四层为Route层),为了保证在不同的深度获取更多的特征,将第6层的卷积层替换为带有注意力机制的逆残差单元(SEIR),并通过小残差(跳跃层数少,比如表中的Route56)和第5层进行融合。最后,上述特征再经过第8层卷积,并和替换以后的第3层进行融合(大残差,跳跃层数较多,比如表中的Route38)。通过上述两次带有注意力机制的逆残差单元(SEIR)的替换,并结合大小残差对特征进行反复融合,使得主干网络在有限的层数中能够获取更多的特征信息,并更关注有效的特征信息。由于后面两部分结构类似,本实施例采取同样的策略将第11层、第14层、第19层和第22层分别替换为带有注意力机制的逆残差单元(SEIR)。虽然替换方法类似,但是其分别位于主干网络的浅层、中层以及深层,在有限的层数里有效地改善了网络的特征提取能力。
最后,本实施例将ASPP单元加在主干网络之后,具体为表中的24+1以及27+1。具体的ASPP单元由四个空洞卷积(卷积核均为3*3,膨胀率分别为1、6、12、18)和一个自适应池化结构组成。输入特征经过ASPP单元后,经过各分支处理后并融合生成新的特征图,而输出通道为输入通道的5倍。为了保证网络的输入通道和输出通道一致,在ASPP单元后面加入逐点卷积恢复到原通道维数,具体为表1中的24+2以及27+2。由于输入图像在主干网络中已经被卷积和池化多次,主干网络输出的是抽象的语义信息,加入ASPP单元一方面可以增加感受野的范围,提高多尺度物体的检测性能,另一方面可以不降低特征图的尺度,从而可以提取图像边界的细节信息,增强网络获得多尺度上下文的能力。本实施例通过融入ASPP单元有效组合不同感受野的语义信息,从而提高了多尺度物体、尤其是小物体的检测性能。
为了便于理解,本实施例将表1的YOLO_SR系统转换为图3的可视化模型结构图,具体如下:
YOLO_SR系统包括依次连接的图像增强模块、两个第一CBL单元、第一特征提取模块、第一Concat层、第二CBL单元和第二特征提取模块,所述第一特征提取模块和第二特征提取模块连接;所述第二特征提取模块设置有第一输出端和第二输出端,所述第一输出端与两个第三CBL单元连接,所述第二输出端与两个第四CBL单元连接;
所述图像增强模块用于对图像进行增强;所述第一特征提取模块用于增强YOLO_SR系统中骨干网络的特征提取能力;所述第二特征提取模块用于提高多尺度目标物体的检测能力;所述第一CBL单元、第二CBL单元、第三CBL单元和第四CBL单元均用于提取特征、归一化以及非线性化;所述第一Concat层用于融合特征通道数量。
值得一提的是,本实施例中YOLO_SR系统的改进部分主要体现在第一特征提取模块和第二特征提取模块,即将第一特征提取模块中的不同深度的卷积层替换成SEIR单元,以提高骨干网络的特征提取与优化能力;同时在第二特征提取模块中引入两个ASPP单元,以提高多尺度目标物体的检测能力。
进一步地,本实施例的第一特征提取模块包括依次连接的两个CIRB单元、第一SEIR单元、第五CBL单元和第二SEIR单元,所述第一SEIR单元的输出和第二特征提取模块连接,所述第五CBL单元的输出和第一Concat层连接;其中,所述CIRB单元用于通过扩展YOLO_SR系统宽度来提取更多特征,所述第一SEIR单元和第二SEIR单元用于通过扩充通道宽度来提取浅层特征、中层特征和深层特征并筛选出最重要的特征;所述第五CBL单元用于特征提取、归一化以及非线性化。
进一步地,本实施例的CIRB单元包括依次连接的第三SE IR单元、第六CBL单元、第四SE IR单元、第二Concat层、第七CBL单元、第三Concat层和第一POOL层,所述第三SEIR单元的输出与第三Concat层连接,所述第六CBL单元的输出与第二Concat层连接;其中,所述第三SEIR单元和第四SE I R单元用于通过扩充通道宽度提取浅层特征、中层特征和深层特征并筛选出最重要的特征,所述第六CBL单元和第七CBL单元用于特征提取、归一化以及非线性化,所述第二Concat层和第三Concat层用于融合特征通道数量,所述第一POOL层用于降维。
进一步地,本实施例的第一SEIR单元、第二SEIR单元、第三SEIR单元和第四SEIR单元均包括依次连接的第七CBL单元、Dwi se层、第一SE层、第一卷积层、第一BN层、L i near层、第二SE层和相加层,所述第七CBL单元的输入和L i near层的输出连接;其中,所述第七CBL单元用于特征提取、归一化以及非线性化,所述Dwi se层(深度可分离卷积层)用于降低计算量,所述第一SE层(注意力层)和第二SE层(注意力层)用于筛选出最重要的特征,即关注更重要、更有效的特征;所述第一BN层(归一化层)用于避免过拟合,所述Li near层用于降维,保证输入通道和输出通道数一致。
进一步地,本实施例的第二特征提取模块包括依次连接的第四Concat层、第二POOL层、第八CBL单元、第一ASPP单元和两个第九CBL单元,所述第四Concat层的输入依次连接有第二ASPP单元、第十CBL单元,第二个所述第九CBL单元的输出依次连接有第十一CBL单元、第一上采样层,所述第一上采样层和第十CBL单元的输出分别与第五Concat层连接;其中,所述第四Concat层和第五Concat层用于融合特征通道数量,所述第八CBL单元至第十一CBL单元均用于特征提取、归一化以及非线性化,所述第一ASPP单元和第二ASPP单元均用于增大感受野、提高多尺度目标物体的检测能力。
进一步地,本实施例的第一ASPP单元和第二ASPP单元包括并列设置的第一空洞卷积层(膨胀率Rate=1)、第二空洞卷积层(膨胀率Rate=6)、第三空洞卷积层(膨胀率Rate=12)、第四空洞卷积层(膨胀率Rate=18)和第三POOL层,所述第三POOL层与第二上采样层连接,所述第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层和第二上采样层分别与第六Concat层连接;其中,所述第三POOL层用于降维,所述第六Concat层用于融合特征通道数量。
进一步地,本实施例的第一CBL单元至第十一CBL单元均包括依次连接的第二卷积层、第二BN层和激活函数层(Leakyre l u层),其中,所述第二BN层用于避免过拟合,所述激活函数层用于将非线性特征引入到YOLO_SR系统中。
实施例二
参照图2所示,本发明的用于扫地机器人的目标检测方法包括:
步骤S1:获取扫地机器人实时捕捉的图像;
步骤S2:将所述图像输入如实施一所述的YOLO_SR系统,通过所述YOLO_SR系统识别出图像中的各类目标障碍,以使扫地机器人规避各类目标障碍。
以下结合实验对本实施例进行详细分析:
本实施例在实验中的主要参数设置如下:预训练权重设置为空(新的网络架构无法加载预训练权重),并训练400次epoch,块大小设置为16(块指的是每次输入16张图片,然后再进行数据增强),输入图像大小为416×416×3,动量设置为0.9,权重衰减正则系数设置为0.0005,初始学习率设置为0.001。实验所用数据集为自行采集的面向扫地机器人的基准数据集,共计8100张,其中训练集占80%,共计6480张,测试集占20%,共计1620张。
具体地,实施步骤如下:
1、在YOLO_SR系统输入端采用基于随机模型的线上数据增强方法,将精度从68.03%提升至71.66%,模型大小保持不变,速度达到432FPS,请见表2。
2、在第一步的基础上继续增加SEIR单元,精度从71.66%提升至73.25%,模型大小增加2.6M,速度达到306FPS,请见表2。
3、在第一步的基础上增加ASPP单元,精度从71.66%提升至77.34%,模型大小增加2.3M,速度达到326FPS,请见表2。
4、将数据增强、SEIR单元以及ASPP单元三者融合,精度从初始的68.03%提升至81.18%,模型增加4.3M,速度达到243FPS,请见表2。
表2消融实验结果表
为了进一步验证本实施例的有效性,本发明将SEIR单元中的系数进行调节,其中SE层中的系统设置为0.125,膨胀系数从初始的1逐渐增大,直到mAP不再上升或者下降为止,实验结果如表3所示。
表3不同膨胀系数的指标值
factor | Modelsize | mAP/% | FPS |
1 | 28.2M | 81.18 | 243 |
2 | 29.1M | 80.78 | 237 |
3 | 30.0M | 81.90 | 230 |
4 | 31.0M | 82.66 | 185 |
5 | 31.9M | 78.92 | 175 |
随着膨胀系数的增大,模型也依次变大。具体实施步骤:
1、设置系数为1时,模型大小为28.2M,mAP为81.18%,速度达到243FPS;
2、增大系数为2时,模型大小为29.1M,mAP为80.78%,速度达到237FPS;
3、增大系数为3时,模型大小为30.0M,mAP为81.90%,速度达到230FPS;
4、增大系数为4时,模型大小为31.0M,mAP为82.66%,速度达到185FPS;
5、增大系数为5时,模型大小为31.9M,mAP为78.92%,速度达到175FPS。
由此可见,本实施例的YOLO_SR系统可以根据实际需求进行调整,当扫地机器人更注重检测的实时性时,可以采用速度快精度较高的设置;当扫地机器人更注重检测的精度时,可以采用精度高而速度略低的设置,从而实现了速度与精度的最佳平衡。
请参阅图4,本实施例主要应用于室内家居环境下的扫地机器人的避障,流程主要分为四部分:第一部分主要是在室内实际环境下采集数据集,共计6000张图片以及16409个实例,其中包含了14类物体,分别是床、沙发、柜子、凳子、桌子、马桶、垃圾桶、拖鞋、电线、袜子、地毯、书本、粪便以及窗帘。其次,对图片进行数据标定,并将数据集划分为训练集以及测试集,比例分别为84%以及16%,在系统加载训练集之前进行基于随机模型的线上数据增强(即数据集增强)。第二部分主要是采用改进的系统(即YOLO_SR系统)进行训练,主要训练过程包括锚框设定、参数设置、网络初始化以及训练至损失函数收敛。第三部分是对YOLO_SR系统进行测试,通过加载测试图片,并将图片输入到加载好的YOLO_SR系统中,模型用于检测图片,并通过非最大值抑制输出结果,一方面可以得到mAP和每个类别的AP,同时也可以将每张图片的检测结果可视化。第四部分是将目标识别应用于路径规划中,引导扫地机器人进行自主避障,提高路径规划的效率和安全性。具体的图片检测结果详见图5。
实施例三
本实施例提供一种用于扫地机器人的目标检测装置,包括:
获取模块:用于获取扫地机器人实时捕捉的图像;
识别模块:用于将所述图像输入YOLO_SR系统,通过所述YOLO_SR系统识别出图像中的各类目标障碍,以使扫地机器人规避各类目标障碍。
实施例四
本实施例提供一种扫地机器人,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现实施例二所述用于扫地机器人的目标检测方法的步骤。
实施例五
本实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现实施例二所述用于扫地机器人的目标检测方法的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现,例如,面向对象的程序设计语言Java和直译式脚本语言JavaScr ipt等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,上述实施例仅仅是为清楚地说明所作的举例,并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种YOLO_SR系统,其特征在于:包括依次连接的图像增强模块、两个第一CBL单元、第一特征提取模块、第一Concat层、第二CBL单元和第二特征提取模块,所述第一特征提取模块和第二特征提取模块连接;所述第二特征提取模块设置有第一输出端和第二输出端,所述第一输出端与两个第三CBL单元连接,所述第二输出端与两个第四CBL单元连接;
所述第一特征提取模块包括依次连接的两个CIRB单元、第一SEIR单元、第五CBL单元和第二SEIR单元,所述第一SEIR单元的输出和第二特征提取模块连接,所述第五CBL单元的输出和第一Concat层连接。
2.根据权利要求1所述的YOLO_SR系统,其特征在于:所述CIRB单元包括依次连接的第三SEIR单元、第六CBL单元、第四SEIR单元、第二Concat层、第七CBL单元、第三Concat层和第一POOL层,所述第三SEIR单元的输出与第三Concat层连接,所述第六CBL单元的输出与第二Concat层连接。
3.根据权利要求2所述的YOLO_SR系统,其特征在于:所述第一SEIR单元、第二SEIR单元、第三SEIR单元和第四SEIR单元均包括依次连接的第七CBL单元、Dwise层、第一SE层、第一卷积层、第一BN层、Linear层、第二SE层和相加层,所述第七CBL单元的输入和Linear层的输出连接。
4.根据权利要求3所述的YOLO_SR系统,其特征在于:所述第二特征提取模块包括依次连接的第四Concat层、第二POOL层、第八CBL单元、第一ASPP单元和两个第九CBL单元,所述第四Concat层的输入依次连接有第二ASPP单元、第十CBL单元,第二个所述第九CBL单元的输出依次连接有第十一CBL单元、第一上采样层,所述第一上采样层和第十CBL单元的输出分别与第五Concat层连接。
5.根据权利要求4所述的YOLO_SR系统,其特征在于:所述第一ASPP单元和第二ASPP单元包括并列设置的第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层和第三POOL层,所述第三POOL层与第二上采样层连接,所述第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层和第二上采样层分别与第六Concat层连接。
6.根据权利要求5所述的YOLO_SR系统,其特征在于:所述第一CBL单元至第十一CBL单元均包括依次连接的第二卷积层、第二BN层和激活函数层。
7.一种用于扫地机器人的目标检测方法,其特征在于:包括:
步骤S1:获取扫地机器人实时捕捉的图像;
步骤S2:将所述图像输入如权利要求1-6中任一所述的YOLO_SR系统,通过所述YOLO_SR系统识别出图像中的各类目标障碍,以使扫地机器人规避各类目标障碍。
8.一种用于扫地机器人的目标检测装置,其特征在于:包括:
获取模块:用于获取扫地机器人实时捕捉的图像;
识别模块:用于将所述图像输入YOLO_SR系统,通过所述YOLO_SR系统识别出图像中的各类目标障碍,以使扫地机器人规避各类目标障碍。
9.一种扫地机器人,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行所述计算机程序时实现如权利要求7所述用于扫地机器人的目标检测方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时,实现如权利要求7所述用于扫地机器人的目标检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310055827.1A CN116012601A (zh) | 2023-01-16 | 2023-01-16 | 一种yolo_sr系统、用于扫地机器人的目标检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310055827.1A CN116012601A (zh) | 2023-01-16 | 2023-01-16 | 一种yolo_sr系统、用于扫地机器人的目标检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116012601A true CN116012601A (zh) | 2023-04-25 |
Family
ID=86023295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310055827.1A Pending CN116012601A (zh) | 2023-01-16 | 2023-01-16 | 一种yolo_sr系统、用于扫地机器人的目标检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116012601A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116229278A (zh) * | 2023-05-10 | 2023-06-06 | 广东电网有限责任公司珠海供电局 | 一种输电线路防震锤锈蚀缺陷检测方法和系统 |
CN117152419A (zh) * | 2023-10-11 | 2023-12-01 | 中国矿业大学 | 一种矿井架空乘人装置人员违规携带物品的检测方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190147318A1 (en) * | 2017-11-14 | 2019-05-16 | Google Llc | Highly Efficient Convolutional Neural Networks |
CN113837029A (zh) * | 2021-09-06 | 2021-12-24 | 苏州大学 | 物体识别方法、系统、终端设备及存储介质 |
CN115100547A (zh) * | 2022-05-17 | 2022-09-23 | 长春理工大学 | 基于ASPP-YOLOv4多尺度融合的无人机图像目标检测方法 |
CN115205264A (zh) * | 2022-07-21 | 2022-10-18 | 南京工程学院 | 一种基于改进YOLOv4的高分辨率遥感船舶检测方法 |
-
2023
- 2023-01-16 CN CN202310055827.1A patent/CN116012601A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190147318A1 (en) * | 2017-11-14 | 2019-05-16 | Google Llc | Highly Efficient Convolutional Neural Networks |
CN113837029A (zh) * | 2021-09-06 | 2021-12-24 | 苏州大学 | 物体识别方法、系统、终端设备及存储介质 |
CN115100547A (zh) * | 2022-05-17 | 2022-09-23 | 长春理工大学 | 基于ASPP-YOLOv4多尺度融合的无人机图像目标检测方法 |
CN115205264A (zh) * | 2022-07-21 | 2022-10-18 | 南京工程学院 | 一种基于改进YOLOv4的高分辨率遥感船舶检测方法 |
Non-Patent Citations (2)
Title |
---|
JI GE 等: "AZIMUTH-SENSITIVE OBJECT DETECTION IN SAR IMAGES USING IMPROVED YOLO V5 MODEL", 《IGARSS 2022 - 2022 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》, 28 September 2022 (2022-09-28), pages 2171 - 2174 * |
翟娅娅 等: "基于改进YOLOv4网络的水表读数识别方法", 《科学技术与工程》, vol. 22, no. 21, 28 July 2022 (2022-07-28), pages 9207 - 9214 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116229278A (zh) * | 2023-05-10 | 2023-06-06 | 广东电网有限责任公司珠海供电局 | 一种输电线路防震锤锈蚀缺陷检测方法和系统 |
CN116229278B (zh) * | 2023-05-10 | 2023-08-04 | 广东电网有限责任公司珠海供电局 | 一种输电线路防震锤锈蚀缺陷检测方法和系统 |
CN117152419A (zh) * | 2023-10-11 | 2023-12-01 | 中国矿业大学 | 一种矿井架空乘人装置人员违规携带物品的检测方法及系统 |
CN117152419B (zh) * | 2023-10-11 | 2024-03-29 | 中国矿业大学 | 一种矿井架空乘人装置人员违规携带物品的检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111209952B (zh) | 基于改进ssd和迁移学习的水下目标检测方法 | |
CN111931624B (zh) | 基于注意力机制的轻量级多分支行人重识别方法及系统 | |
CN107564025B (zh) | 一种基于深度神经网络的电力设备红外图像语义分割方法 | |
CN116012601A (zh) | 一种yolo_sr系统、用于扫地机器人的目标检测方法及装置 | |
Chen et al. | Semantic segmentation for partially occluded apple trees based on deep learning | |
CN110956126B (zh) | 一种联合超分辨率重建的小目标检测方法 | |
CN104217404A (zh) | 雾霾天视频图像清晰化处理方法及其装置 | |
CN110619638A (zh) | 一种基于卷积块注意模块的多模态融合显著性检测方法 | |
CN106991428A (zh) | 基于自适应池化模型的害虫图像识别方法 | |
EP2851867A2 (en) | Method and apparatus for filtering an image | |
Han et al. | Transferring microscopy image modalities with conditional generative adversarial networks | |
CN112465700B (zh) | 一种基于深度聚类的图像拼接定位装置及方法 | |
CN112529065B (zh) | 一种基于特征对齐和关键点辅助激励的目标检测方法 | |
CN113205507B (zh) | 一种视觉问答方法、系统及服务器 | |
CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
CN113837029A (zh) | 物体识别方法、系统、终端设备及存储介质 | |
CN116188849A (zh) | 一种基于轻量化网络的目标识别方法、系统及扫地机器人 | |
CN115311186A (zh) | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 | |
CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
CN110706253B (zh) | 基于表观特征和深度特征的目标跟踪方法、系统、装置 | |
US20230325982A1 (en) | Methods, systems and computer programs for processing image data for generating a filter | |
Guo et al. | Multi-scale multi-attention network for moiré document image binarization | |
CN111259923A (zh) | 一种基于改进三维r-cnn算法的多目标检测方法 | |
CN110390381A (zh) | 利用卷积神经网络来处理数据序列的装置和方法 | |
CN116091492B (zh) | 一种图像变化像素级检测方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |