CN112183485B - 基于深度学习的交通锥桶检测定位方法、系统及存储介质 - Google Patents

基于深度学习的交通锥桶检测定位方法、系统及存储介质 Download PDF

Info

Publication number
CN112183485B
CN112183485B CN202011204025.5A CN202011204025A CN112183485B CN 112183485 B CN112183485 B CN 112183485B CN 202011204025 A CN202011204025 A CN 202011204025A CN 112183485 B CN112183485 B CN 112183485B
Authority
CN
China
Prior art keywords
detection
traffic cone
boundary frame
color image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011204025.5A
Other languages
English (en)
Other versions
CN112183485A (zh
Inventor
王立勇
王浩东
苏清华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202011204025.5A priority Critical patent/CN112183485B/zh
Publication of CN112183485A publication Critical patent/CN112183485A/zh
Application granted granted Critical
Publication of CN112183485B publication Critical patent/CN112183485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的交通锥桶检测定位方法、系统及存储介质，其包括：在预先获取的彩色图像中对交通锥桶进行检测识别；在预先获取的深度图像中对交通锥桶进行检测识别；将彩色图像的检测识别结果与深度图像的检测识别结果进行匹配，得到最终的交通锥桶的类别和三维空间位置。本发明将改进的YOLOv4算法应用于交通锥桶检测任务中，能够准确、全面和快速的从图像中检测到交通锥桶，并通过匹配彩色图像和深度图像检测结果的方法，同时获取到交通锥桶的类别和三维位置。

Description

基于深度学习的交通锥桶检测定位方法、系统及存储介质
技术领域
本发明涉及一种基于机器视觉的目标检测技术领域，特别是关于一种基于深度学习的交通锥桶检测和定位方法、系统及存储介质。
背景技术
随着电子信息技术和汽车工业的发展，辅助驾驶、自动驾驶技术成为热门的研究方向，而基于机器视觉系统的目标检测技术是辅助驾驶、自动驾驶领域的核心技术之一。目前，对于车辆、行人和交通标志等已有较好的检测效果，但是对于检测道路上的交通锥桶，国内外的相关研究较少。交通锥桶通常放置于发生特殊状况的道路或引导、标识临时道路。在自动驾驶任务中，由于车辆在不断移动，因此对检测速度和检测精度都有一定要求。
在交通锥桶识别领域，过去常常使用基于图像特征的识别方法，如形状特征和颜色特征。HUANG Yong等人提出使用形状匹配的方法检测候选区域是否是交通锥桶。对图像进行预处理，并提取图像的轮廓，与预先设置好的模板进行匹配，以确定目标是否为交通锥桶，实验结果显示可以检测到距离在45m内的交通锥桶。但这种方法受到环境的影响较大，容易将相近形状的物体误检为锥桶。近年来将机器学习技术应用到交通锥桶检测问题上。Lester Kalms等人将Viola-Jones算法应用于交通锥桶检测，通过提取交通锥桶的Haar特征，训练级联分类器，并进行交通锥桶检测。但这种方法鲁棒性较差，对环境光线造成的锥桶亮度和色调的适应性较差。
得益于卷积神经网络在目标检测任务中的高精度和实时性，以及网络优秀的泛化能力，可将其应用于交通锥桶检测。Ankit Dhall等人训练了一个YOLOv2网络用于检测交通锥桶，并使用了一个卷积神经网络提取交通锥桶检测结果上的关键点，并使用关键点和交通锥桶的先验信息进行PnP解算，获取交通锥桶的三维位置，但是该方法算法复杂，实时计算资源消耗量大，应用在嵌入式领域硬件成本高，且可能产生较大误差。
发明内容
针对上述问题，本发明的目的是提供一种基于深度学习的交通锥桶检测和定位方法、系统及存储介质，其能提高交通锥桶检测速度和精度，并降低系统计算资源消耗。
为实现上述目的，本发明采取以下技术方案：一种基于深度学习的交通锥桶检测和定位方法，其包括以下步骤：1)在预先获取的彩色图像中对交通锥桶进行检测识别；2)在预先获取的深度图像中对交通锥桶进行检测识别；3)将彩色图像的检测识别结果与深度图像的检测识别结果进行匹配，得到最终的交通锥桶的类别和三维空间位置。
进一步，采用改进的YOLOv4的彩色图检测网络进行交通锥桶检测识别；采用改进的YOLOv4的深度图检测网络在深度图像中进行交通锥桶检测识别。
进一步，所述检测识别方法包括以下步骤：
1.1)制作交通锥桶的彩色图像数据集或深度图像数据集，并制作数据集中图片文件信息对应的标签文件；
1.2)采用k-means聚类计算锚盒框大小；
1.3)将训练集图片按随机顺序传入改进的YOLOv4网络中，并对图片做增强处理；
1.4)使用测试集对网络进行评估，记录平均精度均值mAP，并保存最高mAP时的网络权重作为最终权重，当训练次数达到预定次数后，训练停止；
1.5)加载最终权重，对测试集进行评估，判断网络是否出现过拟合，当检测结果与测试集中的检测结果相近，则认为训练完成；
1.6)使用训练好的网络和最终权重执行检测识别，输出目标的类别和位置。
进一步，所述步骤1.3)中，对YOLOv4网络的改进包括：
对损失函数中边界框回归部分进行改进，将原有比例系数(2-w*h)更改为(2-w*h*2)；
对损失函数中边界框分类部分进行改进，构造一个新的动态分类值c＝α*cls+(1-α)*loc，用于代替网络直接输出的类别分类值在损失函数中计算分类损失，其中α为常数，loc为当前预测的边界框与真实框的IoU，cls为网络输出的类别分类。
进一步，所述步骤1.3)中，对于彩色图像的增强处理方法为：将图片转换到HSV色彩通道，并根据配置文件中的色调、饱和度和曝光度参数，在H通道增加[-色调值,色调值]中的随机值，对S和V通道分别随机乘或者除以饱和度和曝光度参数值，达到改变图像色调、饱和度和亮度的目的，再将图片从HSV通道转换回RGB通道，最后根据配置文件中的角度参数，将图片随机旋转[-角度,角度]中的某一角度。
进一步，所述步骤1.3)中，对于深度图像的增强处理方法为：根据配置文件的角度参数，将图片随机旋转[-角度,角度]中的某一角度。
进一步，所述步骤3)具体包括以下步骤：
3.1)遍历深度图检测识别结果，对于其中的每个检测边界框，都在彩色图检测结果中寻找该交通锥桶对应的彩色图像检测边界框；
匹配方法为：对每个深度图检测结果边界框即原边界框，建立一个新的边界框，需保持该新的边界框与原边界框的中心点相同，新的边界框的宽和高为原边界框的宽和高的倍数，寻找中心点落在新边界框范围内的彩色图像的检测结果边界框，并取一个中心点与原深度图像中心点距离最近的彩色图检测结果边界框作为匹配成功的边界框；
3.2)对于匹配成功的检测结果，在深度图中求其三维空间位置：对深度图检测结果边界框包围的所有像素，求各像素点在坐标系中的坐标的平均值，作为该交通锥桶在三维空间的坐标位置。
一种基于深度学习的交通锥桶检测和定位系统，其包括：彩色图像处理模块、深度图像处理模块和匹配输出模块；
所述彩色图像处理模块在预先获取的彩色图像中对交通锥桶进行检测识别；
所述深度图像处理模块在预先获取的深度图像中对交通锥桶进行检测识别；
所述匹配输出模块将彩色图像的检测识别结果与深度图像的检测识别结果进行匹配，得到最终的交通锥桶的类别和三维空间位置。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。
一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
本发明由于采取以上技术方案，其具有以下优点：本发明将改进的YOLOv4算法应用于交通锥桶检测任务中，能够准确、全面和快速的从图像中检测到在画面中尺寸普遍较小交通锥桶，并通过匹配彩色图像和深度图像检测结果的方法，同时获取到交通锥桶的类别和三维位置。相比于单独在彩色或深度图像中进行识别的方案，本发明能够同时完成图像中的交通锥桶识别及其位置融合；相比于同时使用摄像头和雷达等传感器进行识别和位置感知的方案，本发明采用方案的成本更低且更加稳定。
附图说明
图1为本发明的交通锥桶检测和定位方法流程示意图。
图2为本发明中用于生成深度图的双目相机模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的第一实施方式中，如图1所示，本实施例提供一种基于深度学习的交通锥桶检测和定位方法，其包括以下步骤：
1)在预先获取的彩色图像中对交通锥桶进行检测识别；
在本实施例中，采用改进的YOLOv4的彩色图检测网络进行交通锥桶检测识别；
具体检测识别方法包括以下步骤：
1.1)制作交通锥桶的彩色图像数据集，并制作数据集中图片文件信息对应的标签文件；
数据集中图片文件为彩色图片，每张图片对应一个标签文件，标签文件包含图片中所有的交通锥桶矩形边界框的像素坐标系坐标(x，y)、高度h和宽度w四个位置信息和类别信息，并按预先设定的比例随机分为训练集、验证集和测试集。
预先设定的比例可以为7:2:1或8:1:1，该比例并不固定，可以根据具体情况进行设定。
类别信息是指锥桶的颜色，红色、蓝色和黄色锥桶。
1.2)采用k-means聚类计算锚盒框大小；
在目标检测算法中，可通过预先设计一些锚盒框，并通过在检测时调整锚盒框的位置和大小完成检测的任务。如果锚盒框的尺寸和目标的尺寸差异较大，则会影响模型的检测效果，YOLOv4网络通过k-means聚类算法，对数据集中的目标边界框的宽和高的值进行聚类，自动生成一组更加适合数据集的锚盒框，可以使网络的检测效果更好，例如对数据集中边界框的宽高进行聚类，生成9对宽和高，则可认为更能“代表”本数据集的数据。将矩形框按尺寸从小到大排列，将其宽、高数值配置为YOLOv4网络配置文件中anchor参数，并将图片分辨率配置为width和height参数。
1.3)开始训练过程，将训练集图片按随机顺序传入改进的YOLOv4网络中，并对图片做增强处理；
由于交通锥桶的尺寸较小，且随着距离的增加，交通锥桶在图像中的尺寸进一步减小，为了使网络对于不同距离的交通锥桶的检测更加鲁棒，本发明在原来的基础上，对损失函数中边界框回归部分进行改进，增加对小尺寸目标的敏感性。
对YOLOv4网络的改进具体包括：
对于边界框的回归损失，由(x,y)、(w,h)两部分组成，将原有比例系数(2-w*h)更改为(2-w*h*2)，可进一步增加对小尺寸目标的敏感性。
为了解决遮挡、目标处于图像边缘等造成无法获取目标全部信息或包含其他种类目标信息的问题，使一些包含丰富语义信息或者位置信息但IoU(Intersection overUnion)较低的边界框能够参与到预测中，本发明在原来的基础上，对损失函数中边界框分类部分进行改进，进一步提升网络分类的精度。
对于边界框分类部分，构造一个新的动态分类值c＝α*cls+(1-α)*loc，用于代替网络直接输出的类别分类值在损失函数中计算分类损失，由于同时融合了预测边界框的定位精确度和分类信息，可进一步提升网络分类的精度。其中α为常数，loc为当前预测的边界框与真实框的IoU，cls为网络输出的类别分类。
增强处理包括在预先设定范围内随机改变图片的色调、饱和度和亮度，以及在预先设定角度内随机旋转图片。具体方法为：将图片转换到HSV色彩通道，并根据配置文件中的色调、饱和度和曝光度参数，在H通道增加[-色调值,色调值]中的随机值，对S和V通道分别随机乘或者除以饱和度和曝光度参数值，达到改变图像色调、饱和度和亮度的目的，再将图片从HSV通道转换回RGB通道，最后根据配置文件中的角度参数，将图片随机旋转[-角度,角度]中的某一角度。其中，色调范围和角度范围中的色调值和角度值均为预先设定的值，优选的，色调范围可以设定为[-0.05,0.05]，饱和度和曝光度参数值可以设置为1.5，角度范围可以设定为[-10°,10°]。
1.4)训练中，每循环预先设定次数的训练集后，使用测试集对网络进行评估，记录平均精度均值mAP(mean average precision)，并保存最高mAP时的网络权重作为最终权重，当训练次数达到预定次数后，训练停止；
1.5)加载最终权重，对测试集进行评估，判断网络是否出现过拟合，当检测结果与测试集中的检测结果相近，则认为训练完成；
1.6)使用训练好的网络和最终权重执行检测识别，输出目标的类别和位置；
2)在预先获取的深度图像中对交通锥桶进行检测识别；
在本实施例中，采用改进的YOLOv4的深度图检测网络在深度图像中进行交通锥桶检测识别，具体方法包括以下步骤：
2.1)制作交通锥桶的深度图像数据集，并制作图片中信息对应的标签文件；
其中，数据集中图片文件为深度图片，采用双目相机系统获取深度图片，双目相机系统建模如图2所示，O-XYZ为世界坐标系，o-x1y1和o-x2y2为左、右图像像素坐标系，P为世界坐标系中一点，PL(xl,yl,zl)和PR(xr,yr,zr)为P点在左、右图像上的投影，经公式(1)、(2)计算后，得到的(X,Y,Z)即为该点P的三维坐标。
式中，f表示相机的焦距；b表示左右相机间基线的长度。
每张深度图片对应一个标签文件，标签文件包含每张图片中的所有交通锥桶的像素坐标系坐标、高度和宽度四个位置信息，并按预先设定的比例随机分为训练集、验证集和测试集。
2.2)采用k-means聚类计算锚盒框大小；
YOLOv4网络通过k-means聚类算法，对深度图像数据集中的目标边界框进行聚类，自动生成一组更加适合数据集的锚盒框，使网络的检测效果更好；将矩形框按尺寸从小到大排列，将其宽、高数值配置为YOLOv4网络配置文件中anchor参数，并将图片分辨率配置为width和height参数。
2.3)开始训练过程，将训练集图片按随机顺序传入改进的YOLOv4网络中，并对图片做增强处理
由于交通锥桶的尺寸较小，且随着距离的增加，交通锥桶在图像中的尺寸进一步减小，为了使网络对于不同距离的交通锥桶的检测更加鲁棒，本发明在原来的基础上，对损失函数中边界框回归部分进行改进，增加对小尺寸目标的敏感性。
YOLOv4网络的改进包括：
对于边界框的回归损失，由(x,y)、(w,h)两部分组成，本发明将原有比例系数(2-w*h)更改为(2-w*h*2)，可进一步增加对小尺寸目标的敏感性。
为了解决遮挡、目标处于图像边缘等造成无法获取目标全部信息或包含其他种类目标信息的问题，使一些包含丰富语义信息或者位置信息但IoU较低的边界框能够参与到预测中，本发明在原来的基础上，对损失函数中边界框分类部分进行改进，进一步提升网络分类的精度。
对于边界框分类部分，构造一个新的动态分类值c＝α*cls+(1-α)*loc，用于计算损失函数中边界框分类损失，进一步提升网络分类的精度。其中α为常数，loc为当前预测的边界框与真实框的IoU，cls为网络输出的类别分类。
增强处理包括在预先设定角度内随机旋转图片。具体方法为根据配置文件的角度参数，将图片随机旋转[-角度,角度]中的某一角度。其中，角度范围中的角度值为预先设定，优选的，角度范围可以设定为[-10°,10°]。
2.4)训练中，每循环预先设定次数的训练集后，使用测试集对网络进行评估，记录mAP，并保存最高mAP时的网络权重作为最终权重，当训练次数达到预定次数后，训练停止；
2.5)加载最终权重，对测试集进行评估，判断网络是否出现过拟合，当检测结果与测试集中的检测结果相近，则认为训练完成；
2.6)使用训练好的网络和最终权重执行检测任务，输出目标的位置；
3)将彩色图像的检测识别结果与深度图像的检测识别结果进行匹配，得到最终的交通锥桶的类别和三维空间位置；
由于彩色图像和深度图像中物体位置并不相同，故需要将彩色图检测网络和深度图检测网络的检测结果进行匹配，具体方法包括以下步骤：
3.1)遍历深度图检测识别结果，对于其中的每个检测边界框，都在彩色图检测结果中寻找该交通锥桶对应的彩色图像检测边界框；
由于彩色图像的信息更加丰富，所以彩色图像的检测结果更加全面，故以深度图检测结果为基础进行匹配。
匹配方法为：对每个深度图检测结果边界框(以下简称为原边界框)，建立一个新的边界框，需保持该新的边界框与原边界框的中心点相同，即中心点不变，新的边界框的宽和高为原边界框的宽和高的倍数，在本实施例中优选为新的边界框的宽为原边界框宽的2倍，高为原边界框高的1.67倍；寻找中心点落在新边界框范围内的彩色图像的检测结果边界框，并取一个中心点与原深度图像中心点距离最近的彩色图检测结果边界框作为匹配成功的边界框。
3.2)对于匹配成功的检测结果，在深度图中求其三维空间位置；
在制作深度图像的过程中，可获取深度图像各像素点对应在三维世界中的坐标距离。对深度图检测结果边界框包围的所有像素，求各像素点在坐标系中的坐标的平均值，作为该交通锥桶在三维空间的坐标位置。
在本发明的第二实施方式中，还提供一种基于深度学习的交通锥桶检测和定位系统，其包括彩色图像处理模块、深度图像处理模块和匹配输出模块；
彩色图像处理模块在预先获取的彩色图像中对交通锥桶进行检测识别；
深度图像处理模块在预先获取的深度图像中对交通锥桶进行检测识别；
匹配输出模块将彩色图像的检测识别结果与深度图像的检测识别结果进行匹配，得到最终的交通锥桶的类别和三维空间位置。
在本发明的第三实施方式中，还提供一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行第一实施方式中的任一方法。
在本发明的第四实施方式中，还提供一种计算设备，其包括一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为一个或多个处理器执行，个或多个程序包括用于执行第一实施方式中的任一方法的指令。
综上，本发明使用改进的YOLOv4算法，训练得到彩色图检测网络，可检测彩色图像得到交通锥桶的类别和图像中的位置，训练得到深度图检测网络，可检测彩色图像得到交通锥桶的类别和三维空间中的位置，最后将两者检测结果进行匹配，得到交通锥桶的类别和三维空间位置。
上述各实施例仅用于说明本发明，各个步骤都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别部件及步骤进行的改进和等同变换，均不应排除在本发明的保护范围之外。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (8)

1.一种基于深度学习的交通锥桶检测和定位方法，其特征在于，包括以下步骤：
1)在预先获取的彩色图像中对交通锥桶进行检测识别；
2)在预先获取的深度图像中对交通锥桶进行检测识别；
3)将彩色图像的检测识别结果与深度图像的检测识别结果进行匹配，得到最终的交通锥桶的类别和三维空间位置；
所述步骤3)具体包括以下步骤：
3.1)遍历深度图检测识别结果，对于其中的每个检测边界框，都在彩色图检测结果中寻找该交通锥桶对应的彩色图像检测边界框；
匹配方法为：对每个深度图检测结果边界框即原边界框，建立一个新的边界框，需保持该新的边界框与原边界框的中心点相同，新的边界框的宽和高为原边界框的宽和高的倍数，寻找中心点落在新边界框范围内的彩色图像的检测结果边界框，并取一个中心点与原深度图像中心点距离最近的彩色图检测结果边界框作为匹配成功的边界框；
3.2)对于匹配成功的检测结果，在深度图中求其三维空间位置：对深度图检测结果边界框包围的所有像素，求各像素点在坐标系中的坐标的平均值，作为该交通锥桶在三维空间的坐标位置。
2.如权利要求1所述交通锥桶检测和定位方法，其特征在于，采用改进的YOLOv4的彩色图检测网络进行交通锥桶检测识别；采用改进的YOLOv4的深度图检测网络在深度图像中进行交通锥桶检测识别；
对YOLOv4网络的改进包括：
对损失函数中边界框回归部分进行改进，将原有比例系数(2-w*h)更改为(2-w*h*2)；
对损失函数中边界框分类部分进行改进，构造一个新的动态分类值c＝α*cls+(1-α)*loc，用于代替网络直接输出的类别分类值在损失函数中计算分类损失，其中α为常数，loc为当前预测的边界框与真实框的IoU，cls为网络输出的类别分类。
3.如权利要求2所述交通锥桶检测和定位方法，其特征在于，所述检测识别方法包括以下步骤：
1.1)制作交通锥桶的彩色图像数据集或深度图像数据集，并制作数据集中图片文件信息对应的标签文件；
1.2)采用k-means聚类计算锚盒框大小；
1.3)将训练集图片按随机顺序传入改进的YOLOv4网络中，并对图片做增强处理；
1.4)使用测试集对网络进行评估，记录平均精度均值mAP，并保存最高mAP时的网络权重作为最终权重，当训练次数达到预定次数后，训练停止；
1.5)加载最终权重，对测试集进行评估，判断网络是否出现过拟合，当检测结果与测试集中的检测结果相近，则认为训练完成；
1.6)使用训练好的网络和最终权重执行检测识别，输出目标的类别和位置。
4.如权利要求3所述交通锥桶检测和定位方法，其特征在于，所述步骤1.3)中，对于彩色图像的增强处理方法为：将图片转换到HSV色彩通道，并根据配置文件中的色调、饱和度和曝光度参数，在H通道增加[-色调值,色调值]中的随机值，对S和V通道分别随机乘或者除以饱和度和曝光度参数值，达到改变图像色调、饱和度和亮度的目的，再将图片从HSV通道转换回RGB通道，最后根据配置文件中的角度参数，将图片随机旋转[-角度,角度]中的某一角度。
5.如权利要求3所述交通锥桶检测和定位方法，其特征在于，所述步骤1.3)中，对于深度图像的增强处理方法为：根据配置文件的角度参数，将图片随机旋转[-角度,角度]中的某一角度。
6.一种基于深度学习的交通锥桶检测和定位系统，其特征在于，包括：彩色图像处理模块、深度图像处理模块和匹配输出模块；
所述彩色图像处理模块在预先获取的彩色图像中对交通锥桶进行检测识别；
所述深度图像处理模块在预先获取的深度图像中对交通锥桶进行检测识别；
所述匹配输出模块将彩色图像的检测识别结果与深度图像的检测识别结果进行匹配，得到最终的交通锥桶的类别和三维空间位置；
所述匹配输出模块中，将彩色图像的检测识别结果与深度图像的检测识别结果进行匹配，具体包括：
3.1)遍历深度图检测识别结果，对于其中的每个检测边界框，都在彩色图检测结果中寻找该交通锥桶对应的彩色图像检测边界框；
匹配方法为：对每个深度图检测结果边界框即原边界框，建立一个新的边界框，需保持该新的边界框与原边界框的中心点相同，新的边界框的宽和高为原边界框的宽和高的倍数，寻找中心点落在新边界框范围内的彩色图像的检测结果边界框，并取一个中心点与原深度图像中心点距离最近的彩色图检测结果边界框作为匹配成功的边界框；
3.2)对于匹配成功的检测结果，在深度图中求其三维空间位置：对深度图检测结果边界框包围的所有像素，求各像素点在坐标系中的坐标的平均值，作为该交通锥桶在三维空间的坐标位置。
7.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1至5所述方法中的任一方法。
8.一种计算设备，其特征在于，包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1至5所述方法中的任一方法的指令。
CN202011204025.5A 2020-11-02 2020-11-02 基于深度学习的交通锥桶检测定位方法、系统及存储介质 Active CN112183485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011204025.5A CN112183485B (zh) 2020-11-02 2020-11-02 基于深度学习的交通锥桶检测定位方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011204025.5A CN112183485B (zh) 2020-11-02 2020-11-02 基于深度学习的交通锥桶检测定位方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN112183485A CN112183485A (zh) 2021-01-05
CN112183485B true CN112183485B (zh) 2024-03-05

Family

ID=73916913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011204025.5A Active CN112183485B (zh) 2020-11-02 2020-11-02 基于深度学习的交通锥桶检测定位方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112183485B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724105B (zh) * 2021-11-29 2024-06-14 山东交通学院 一种基于云边端架构的复杂背景下锥桶识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106826815A (zh) * 2016-12-21 2017-06-13 江苏物联网研究发展中心 基于彩色图像与深度图像的目标物体识别与定位的方法
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
CN109977812A (zh) * 2019-03-12 2019-07-05 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN111126269A (zh) * 2019-12-24 2020-05-08 京东数字科技控股有限公司 三维目标检测方法、装置以及存储介质
AU2020101011A4 (en) * 2019-06-26 2020-07-23 Zhejiang University Method for identifying concrete cracks based on yolov3 deep learning model

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540554B2 (en) * 2018-03-29 2020-01-21 Toyota Jidosha Kabushiki Kaisha Real-time detection of traffic situation
US11494937B2 (en) * 2018-11-16 2022-11-08 Uatc, Llc Multi-task multi-sensor fusion for three-dimensional object detection

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106826815A (zh) * 2016-12-21 2017-06-13 江苏物联网研究发展中心 基于彩色图像与深度图像的目标物体识别与定位的方法
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
CN109977812A (zh) * 2019-03-12 2019-07-05 南京邮电大学 一种基于深度学习的车载视频目标检测方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
AU2020101011A4 (en) * 2019-06-26 2020-07-23 Zhejiang University Method for identifying concrete cracks based on yolov3 deep learning model
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN111126269A (zh) * 2019-12-24 2020-05-08 京东数字科技控股有限公司 三维目标检测方法、装置以及存储介质

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Advanced Driver-Assistance System (ADAS) for Intelligent Transportation Based on the Recognition of Traffic Cones;Wang Liyong 等;《Advances in Civil Engineering》;第2020卷(第04期);1-8 *
Deep surface normal estimation with hierarchical RGB-D fusion;Jin Zeng 等;《Proceedings of the IEEE/CVF conference on computer vision and pattern recognition》;6153-6162 *
Real-time 3D Traffic Cone Detection for Autonomous Driving;Ankit Dhall 等;《2019 IEEE Intelligent Vehicles Symposium (IV)》;494-501 *
Real-time traffic cone detection for autonomous driving based on YOLOv4;Su Qinghua 等;《IET Intelligent Transport Systems》;第16卷(第10期);1380-1390 *
Real-time traffic cone detection for autonomous vehicle;Huang Yong 等;《2015 34th Chinese Control Conference (CCC)》;3718-3722 *
基于YOLOv4网络模型的临时道路识别算法;王浩东 等;《广西大学学报(自然科学版)》;第47卷(第03期);712-722 *
基于颜色和深度信息融合的目标识别方法;吴鑫 等;《农业工程学报》;第29卷(第S1期);96-100 *
改进YOLOv3的车辆实时检测与信息识别技术;顾恭 等;《改进YOLOv3的车辆实时检测与信息识别技术》;第56卷(第22期);173-184 *

Also Published As

Publication number Publication date
CN112183485A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
Wei et al. Multi-vehicle detection algorithm through combining Harr and HOG features
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN107729801B (zh) 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN106709436B (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
Danescu et al. Detection and classification of painted road objects for intersection assistance applications
CN112613378B (zh) 3d目标检测方法、系统、介质及终端
Jang et al. Multiple exposure images based traffic light recognition
US20090110286A1 (en) Detection method
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
CN103544480A (zh) 车辆颜色识别方法
CN111091023A (zh) 一种车辆检测方法、装置及电子设备
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
Yakimov et al. Traffic signs detection and tracking using modified hough transform
CN111860219B (zh) 一种高速占道判断方法、装置及电子设备
Mammeri et al. North-American speed limit sign detection and recognition for smart cars
Liu et al. Vehicle-related distance estimation using customized YOLOv7
CN110188607B (zh) 一种多线程并行计算的交通视频目标检测方法及装置
CN112183485B (zh) 基于深度学习的交通锥桶检测定位方法、系统及存储介质
CN112784675B (zh) 目标检测方法及装置、存储介质、终端
Moizumi et al. Traffic light detection considering color saturation using in-vehicle stereo camera
Wang et al. Traffic lights detection and recognition based on multi-feature fusion
Sarker et al. A fast and robust license plate detection algorithm based on two-stage cascade adaboost
Vinh Real-time traffic sign detection and recognition system based on friendlyARM Tiny4412 board
Ganapathi et al. Design and implementation of an automatic traffic sign recognition system on TI OMAP-L138

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant