CN112613434A - 道路目标检测方法、装置及存储介质 - Google Patents

道路目标检测方法、装置及存储介质 Download PDF

Info

Publication number
CN112613434A
CN112613434A CN202011583087.1A CN202011583087A CN112613434A CN 112613434 A CN112613434 A CN 112613434A CN 202011583087 A CN202011583087 A CN 202011583087A CN 112613434 A CN112613434 A CN 112613434A
Authority
CN
China
Prior art keywords
target
road
image
road image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011583087.1A
Other languages
English (en)
Inventor
朱晓东
刘国清
季思文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Youjia Technology Co ltd
Original Assignee
Nanjing Youjia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Youjia Technology Co ltd filed Critical Nanjing Youjia Technology Co ltd
Priority to CN202011583087.1A priority Critical patent/CN112613434A/zh
Publication of CN112613434A publication Critical patent/CN112613434A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种道路目标检测方法、装置及存储介质，旨在解决现有技术中目标检测的效率较低的技术问题。其包括：通过锚点计算和高斯散射核编码确定道路图像的类别标签，获得道路图像的训练样本集合；利用训练样本集合对预先构建的CNN网络进行训练，获得可以得到目标中心点的训练好的CNN网络模型；通过CNN网络模型得到目标中心点和目标的宽高信息，进而实现目标检测功能。本发明能够在确保目标检测性能的同时减少检测耗时，提高检测效率。

Description

道路目标检测方法、装置及存储介质
技术领域
本发明涉及一种道路目标检测方法、装置及存储介质，属于ADAS技术领域。
背景技术
随着国民的安全意识增强，客户对于驾乘体验舒适度要求的提高，以及欧洲新车安全评鉴协会(NCAP)安全要求的提高，高级驾驶辅助系统(ADAS)产业得以快速发展。ADAS系统并不直接控制车辆，而是向驾驶员提供车辆运行状态以及车辆周围环境等相关信息，提醒驾驶员注意潜在危险，从而提高行车的安全性。ADAS系统通过目标检测、识别与跟踪等处理技术来评估危险性，其中目标检测技术是其基础，也是最重要的一环，检测技术能够通过车载摄像头实时获取的道路信息，快速分析定位出道路上的各种障碍物的类别以及位置信息，以供后续的模块进行精准的危险分析，在危险来临时能够及时提醒驾驶员或者直接对车辆进行合理的干涉。
近些年的目标(车辆、行人、两轮车，三角锥等)检测算法，主要利用深度神经网络技术在图像上滑动复杂排列的可能BBox(即锚点)，然后直接对框进行分类，获得潜在的目标框，由于同一个目标上会有很多个各种尺寸的目标框，所以需要额外的后处理(NMS)来对同一目标的多个目标框进行筛选，以便找到各个目标的准确类别和位置，这种处理方法需要浪费大量时间，目标检测效率较低。
发明内容
为了解决现有技术中目标检测的效率较低的问题，本发明提出了一种道路目标检测方法、装置及存储介质，利用目标中心点来代表目标物体，将目标检测转化成中心点估计，直接获得目标中心点的位置和目标宽高信息，从而省略掉NMS操作，提高目标检测效率。
为解决上述技术问题，本发明采用了如下技术手段：
第一方面，本发明提出了一种基于中心点的道路目标检测方法，包括如下步骤：
获取历史道路图像数据，并进行图像预处理；
基于预处理后的道路图像进行锚点计算和高斯散射核编码，获得道路图像的训练样本集合；
利用训练样本集合对预先构建的CNN网络进行训练，获得训练好的CNN网络模型；
利用训练好的CNN网络模型处理待检测道路图像，获得待检测道路图像的关键点热力图和目标大小回归值；
根据关键点热力图和目标大小回归值获得道路目标检测结果。
结合第一方面，进一步的，所述图像预处理的具体操作如下：
获取历史道路图像数据，所述历史道路图像数据包括多幅历史道路图像和每幅历史道路图像对应的目标类别；
对历史道路图像进行数据标注，确定每一幅历史道路图像的标注框，获得标注图像；
对标注图像进行数据增广处理，获得预处理后的道路图像。
结合第一方面，进一步的，针对任一幅预处理后的道路图像，锚点计算和高斯散射核编码的具体操作如下：
以预处理后的道路图像的左下角为坐标原点，建立图像坐标系；
根据预处理后的道路图像的标注框计算其真实关键点的坐标：
Figure BDA0002865601140000031
其中，P表示真实关键点的坐标，Px为真实关键点的横坐标，Py为真实关键点的纵坐标，(x1,y1)为标注框左上角的像素点的坐标，(x2,y2)为标注框右下角的像素点的坐标；
根据预处理后的道路图像的标注框获取目标感知中心区域；
基于真实关键点的坐标，利用高斯散射核计算目标感知中心区域中的所有像素点的类别标签：
Figure BDA0002865601140000032
其中，
Figure BDA0002865601140000033
表示目标感知中心区域中第i个像素点的类别标签，
Figure BDA0002865601140000034
(xi,yi)为目标感知中心区域中第i个像素点的坐标，δp为目标感知中心区域的尺寸标准差，i＝1,2,…,n，n为目标感知中心区域中的像素点个数。
结合第一方面，进一步的，CNN网络训练的具体操作如下：
(1)获取预先构建的CNN网络，并初始化网络参数；
(2)利用CNN网络对训练样本集合中的每个图像训练样本进行下采样处理，获得对应的下采样图像；
(3)针对每一个下采样图像，根据CNN网络的下采样因子计算下采样图像的关键点坐标和下采样图像的像素点类别标签，其中，下采样图像的关键点坐标的计算公式如下：
Figure BDA0002865601140000041
其中，
Figure BDA0002865601140000042
表示下采样图像的关键点的坐标，P表示图像训练样本中真实关键点的坐标，R为下采样因子；
(4)基于历史道路图像数据中的目标类别、下采样图像的关键点坐标、像素点类别标签，利用CNN网络的损失函数计算网络损失，并通过损失反向传递更新CNN网络的网络参数；
(5)重复步骤(2)～(4)，直到网络损失收敛，获得训练好的CNN网络模型。
结合第一方面，进一步的，所述关键点热力图和目标大小回归值的获取过程如下：
根据待检测道路视频获得待检测道路图像；
利用训练好的CNN网络模型处理待检测道路图像，获得待检测道路图像中每个目标的道路目标特征图，并通过前向传递获得每个目标类别对应的关键点热力图，关键点热力图中包括该目标类别下的所有目标；
根据道路目标特征图的峰值点获得目标大小回归值，即目标的宽度和高度。
结合第一方面，进一步的，所述道路目标检测结果的获取过程如下：
通过最大池化从关键点热力图中解码提取出每个目标的目标中心点坐标，并获得目标类别；
根据目标中心点坐标和对应的目标大小回归值在待检测道路图像上生成目标框；
关联每个目标的目标类别和目标框，输出含有目标类别和目标框的待检测道路图像，作为道路目标检测结果。
第二方面，本发明提出了一种基于中心点的道路目标检测装置，包括：
图像处理模块，一方面用于获取历史道路图像数据，并进行图像预处理，另一方面用于根据待检测道路视频获得待检测道路图像；
图像编码模块，用于对预处理后的道路图像进行锚点计算和高斯散射核编码，获得道路图像的训练样本集合；
模型训练模块，用于根据图像编码模块的训练样本集合对预先构建的CNN网络进行训练，获得训练好的CNN网络模型；
目标检测模块，用于利用训练好的CNN网络模型处理待检测道路图像，获得待检测道路图像的目标关键点的热力图和目标大小回归值，并在待检测道路图像上生成目标框和目标类别，获得道路目标检测结果。
第三方面，本发明提出了一种基于中心点的道路目标检测装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行本发明第一方面所述方法的步骤。
第四方面，本发明提出了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面所述方法的步骤。
采用以上技术手段后可以获得以下优势：
本发明提出了一种道路目标检测方法、装置及存储介质，借鉴语义分割的思想，利用目标中心点来代表目标物体，使用高斯散射核对目标区域进行类别编码，将目标物体的检测问题转化成图像中某个关键点的估计问题。本发明构建并训练可以直接获得目标中心点的CNN网络，在目标检测过程中，通过前向传播获得每个目标类别对应的关键点热力图，再使用最大池化从关键点热力图中直接解码提取出同一个类别的多个目标的目标中心点，结合特征图峰值点位置预测目标的宽高信息，进而直接得到道路图像或视频中的目标类别和目标框。本发明省略了NMS操作，简化了目标检测操作，大大减少了检测后处理模块的耗时，在确保目标检测性能的同时能够有效节约硬件资源并提高检测效率，真正做到了端到端的检测。
附图说明
图1为本发明一种基于中心点的道路目标检测方法的步骤流程图；
图2为本发明实施例中真实关键点的示意图；
图3为本发明实施例中目标感知中心区域的类别标签的高斯分布示意图；
图4为本发明实施例中道路目标检测结果的示意图；
图5为本发明一种基于中心点的道路目标检测装置的结构示意图。
图中，1是图像处理模块，2是图像编码模块，3是模型训练模块，4是目标检测模块。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明：
本发明提出了一种基于中心点的道路目标检测方法，如图1所示，具体包括如下步骤：
步骤1、获取历史道路图像数据，并进行图像预处理；具体操作如下：
步骤101、通过车载摄像设备(如行车记录仪)实时录制并存储车辆周围的道路视频，从车载摄像设备的存储数据中获取历史道路视频数据，再讲历史道路视频数据转化成历史道路图像数据，其中，历史道路图像数据主要包括多幅历史道路图像和每幅历史道路图像对应的目标类别，目标类别可以是汽车、行人、自行车等，历史道路图像对应的目标类别是人工识别或者软件识别的准确检测结果，将作为后续网络训练的标准。
步骤102、对历史道路图像进行数据标注，确定每一幅历史道路图像的标注框，获得绘制了标注框的标注图像。标注图像中标注框的数量与历史道路图像中目标物体的数量一致，一个目标物体对应一个标注框，标注框的大小与目标物体的大小一致，比如每个行人都会有一个行人标注框，每辆汽车都会有一个汽车标注框。
步骤103、对标注图像进行数据增广处理，获得预处理后的道路图像；数据增广处理包括图像裁剪、图像翻转等操作。
步骤2、基于预处理后的道路图像进行锚点计算和高斯散射核编码，获得道路图像的训练样本集合。
针对任一幅预处理后的道路图像，锚点计算和高斯散射核编码的具体操作如下：
步骤201、以预处理后的道路图像的左下角为坐标原点，建立图像坐标系，根据预处理过程中绘制的标注框，获得标注框的坐标。
步骤202、根据预处理后的道路图像的标注框计算其真实关键点的坐标，真实关键点就是目标物体真实的中心点，如图2所示，真实关键点的坐标的计算公式如下：
Figure BDA0002865601140000081
其中，P表示真实关键点的坐标，Px为真实关键点的横坐标，Py为真实关键点的纵坐标，(x1,y1)为标注框左上角的像素点的坐标，(x2,y2)为标注框右下角的像素点的坐标。
步骤203、根据预处理后的道路图像的标注框获取目标感知中心区域，目标感知中心区域是在标注框的基础上进一步缩放的框体，其更贴近目标物体的特征区域，比如汽车，标注框会将整个汽车框出来，但是目标感知中心区域可能只框出车牌区域；在每以幅预处理后的道路图像中，目标感知中心区域的数量与标注框的数量一致，两两对应；目标感知中心区域的计算公式如下：
Figure BDA0002865601140000082
其中，
Figure BDA0002865601140000083
表示目标感知中心区域的左上角坐标，
Figure BDA0002865601140000084
表示目标感知中心区域的右下角坐标，参数a与标注框的大小有关，当标注框的宽度大于100像素时，a＝5，否则a＝3。
步骤204、为了突出目标的中心像素点，本发明将真实关键点的类别标签设置YP为1，然后基于真实关键点的坐标，利用高斯散射核计算目标感知中心区域中的所有像素点的类别标签，具体公式如下：
Figure BDA0002865601140000091
其中，
Figure BDA0002865601140000092
表示目标感知中心区域中第i个像素点的类别标签，
Figure BDA0002865601140000093
(xi,yi)为目标感知中心区域中第i个像素点的坐标，δp为目标感知中心区域的尺寸标准差，δp的值与预处理后的道路图像宽高有关，i＝1,2,…,n，n为目标感知中心区域中的像素点个数。
在本发明实施例中，目标感知中心区域中真实关键点的类别标签最大，真实关键点周围像素点的类别标签慢慢扩散变小，如图3所示。
给预处理后的每一幅道路图像进行类别标签计算，可以得到含有类别标签的道路图像，即训练样本，利用训练样本组成训练样本集合。
步骤3、利用训练样本集合对预先构建的CNN网络进行训练，获得训练好的CNN网络模型，具体操作如下：
(1)获取预先构建的CNN网络，并初始化网络参数，本发明中的CNN网络可以采用DenseNet。
(2)利用CNN网络对训练样本集合中的每个图像训练样本进行下采样处理，获得对应的下采样图像。
(3)在下采样过程中，针对每一个下采样图像，需要根据CNN网络的下采样因子计算下采样图像的关键点坐标和下采样图像的像素点类别标签，其中，下采样图像的关键点坐标的计算公式如下：
Figure BDA0002865601140000094
其中，
Figure BDA0002865601140000101
表示下采样图像的关键点的坐标，R为下采样因子。
下采样图像的像素点类别标签的计算公式如下：
Figure BDA0002865601140000102
其中，
Figure BDA0002865601140000103
表示下采样图像中第j个像素点的类别标签，
Figure BDA0002865601140000104
(xj,yj)为下采样图像中第j个像素点的坐标，W和H分别为道路图像宽、高，c为目标类别，
Figure BDA0002865601140000105
为下采样图像的关键点的坐标，j＝1,2,…,m，m为下采样图像中的像素点个数。
(4)基于历史道路图像数据中的目标类别、下采样图像的关键点坐标、像素点类别标签，利用CNN网络的损失函数计算网络损失，并通过损失反向传递更新CNN网络的网络参数。因为下采样图像中关键点的类别标签大约其他点的类别标签，配合损失函数可以确保关键点周围其它点的损失是经过衰减后的损失，有利于模型训练；损失反向传递时，通过调整关键点与其他点的训练比重，可以在最终输出的特征图中更突出关键点，有利于后续使用最大池化找到关键点的位置。
(5)重复步骤(2)～(4)，直到网络损失收敛，获得训练好的CNN网络模型。
步骤4、利用训练好的CNN网络模型处理待检测道路图像，获得待检测道路图像的关键点热力图和目标大小回归值，具体操作如下
步骤401、根据待检测道路视频获得待检测道路图像，待检测道路视频是车载摄像设备实时拍摄的道路视频。
步骤402、利用训练好的CNN网络模型处理待检测道路图像，一方面可以获得待检测道路图像中每个目标的道路目标特征图(一个目标物体对应一幅特征图)，另一方面可以通过前向传递获得每个目标类别对应的关键点热力图，关键点热力图与目标类别有关，其中包括该目标类别下的所有目标，比如一幅待检测道路图像中存在2辆汽车和1个行人，则CNN网络模型处理该图像后，会获得3幅道路目标特征图，同时得到2幅关键点热力图，一幅是包含2辆汽车的汽车关键点热力图，另一个是包含1个行人的行人关键点热力图。
步骤403、根据道路目标特征图的峰值点获得目标大小回归值，道路目标特征图的峰值点位置已经预测了目标的宽高信息，所以可以直接得到目标的宽度和高度。
步骤5、根据关键点热力图和目标大小回归值获得道路目标检测结果，具体操作如下：
步骤501、通过最大池化从关键点热力图中解码提取出每个目标的目标中心点坐标，并获得目标类别；关键点热力图中可能包括多个目标，解码后将获得每个目标在待检测道路图像中的坐标，此外，从关键点热力图中解码出的目标物体的类别就是关键点热力图对应的目标类别。
步骤502、根据目标中心点坐标和对应的目标大小回归值在待检测道路图像上生成目标框，以目标中心点坐标为中心点，根据目标的宽高信息在待检测道路图像中确定目标框的边界，最终完成目标框绘制。
步骤503、关联每个目标的目标类别和目标框，输出含有目标类别和目标框的待检测道路图像，作为道路目标检测结果，图4是本发明实施例中道路目标检测结果的示意图。
本发明还提出了一种基于中心点的道路目标检测装置，如图5所示，主要包括图像处理模块1、图像编码模块2、模型训练模块3和目标检测模块4，其中，图像处理模块一方面用于获取历史道路图像数据，并进行图像预处理，另一方面用于根据待检测道路视频获得待检测道路图像；图像编码模块主要用于对预处理后的道路图像进行锚点计算和高斯散射核编码，获得道路图像的训练样本集合；模型训练模块主要用于根据图像编码模块的训练样本集合对预先构建的CNN网络进行训练，获得训练好的CNN网络模型；目标检测模块主要用于利用训练好的CNN网络模型处理待检测道路图像，获得待检测道路图像的目标关键点的热力图和目标大小回归值，并在待检测道路图像上生成目标框和目标类别，获得道路目标检测结果。
本发明还提出了一种基于中心点的道路目标检测装置，包括处理器及存储介质；其中，存储介质用于存储指令；处理器用于根据所述指令进行操作以执行本发明道路目标检测方法的步骤。
本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明道路目标检测方法的步骤。
本发明用目标物体的中心点来代表整个目标物体，相比较现有技术中用框代表目标物体的检测方法，本发明将目标物体的检测问题转化成图像中某个关键点的估计问题，由于只涉及一个点，所以检测操作更加简单，并且检测后不需要再进行筛选，能够大大减少检测时间，在确保目标检测性能的同时有效节约了硬件资源，提高了目标检测效率。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于中心点的道路目标检测方法，其特征在于，包括如下步骤：
获取历史道路图像数据，并进行图像预处理；
基于预处理后的道路图像进行锚点计算和高斯散射核编码，获得道路图像的训练样本集合；
利用训练样本集合对预先构建的CNN网络进行训练，获得训练好的CNN网络模型；
利用训练好的CNN网络模型处理待检测道路图像，获得待检测道路图像的关键点热力图和目标大小回归值；
根据关键点热力图和目标大小回归值获得道路目标检测结果。
2.根据权利要求1所述的一种基于中心点的道路目标检测方法，其特征在于，所述图像预处理的具体操作如下：
获取历史道路图像数据，所述历史道路图像数据包括多幅历史道路图像和每幅历史道路图像对应的目标类别；
对历史道路图像进行数据标注，确定每一幅历史道路图像的标注框，获得标注图像；
对标注图像进行数据增广处理，获得预处理后的道路图像。
3.根据权利要求2所述的一种基于中心点的道路目标检测方法，其特征在于，针对任一幅预处理后的道路图像，锚点计算和高斯散射核编码的具体操作如下：
以预处理后的道路图像的左下角为坐标原点，建立图像坐标系；
根据预处理后的道路图像的标注框计算其真实关键点的坐标：
Figure FDA0002865601130000021
其中，P表示真实关键点的坐标，Px为真实关键点的横坐标，Py为真实关键点的纵坐标，(x1,y1)为标注框左上角的像素点的坐标，(x2,y2)为标注框右下角的像素点的坐标；
根据预处理后的道路图像的标注框获取目标感知中心区域；
基于真实关键点的坐标，利用高斯散射核计算目标感知中心区域中的所有像素点的类别标签：
Figure FDA0002865601130000022
其中，
Figure FDA0002865601130000023
表示目标感知中心区域中第i个像素点的类别标签，
Figure FDA0002865601130000024
(xi,yi)为目标感知中心区域中第i个像素点的坐标，δp为目标感知中心区域的尺寸标准差，i＝1,2,…,n，n为目标感知中心区域中的像素点个数。
4.根据权利要求1所述的一种基于中心点的道路目标检测方法，其特征在于，CNN网络训练的具体操作如下：
(1)获取预先构建的CNN网络，并初始化网络参数；
(2)利用CNN网络对训练样本集合中的每个图像训练样本进行下采样处理，获得对应的下采样图像；
(3)针对每一个下采样图像，根据CNN网络的下采样因子计算下采样图像的关键点坐标和下采样图像的像素点类别标签，其中，下采样图像的关键点坐标的计算公式如下：
Figure FDA0002865601130000025
其中，
Figure FDA0002865601130000026
表示下采样图像的关键点的坐标，P表示图像训练样本中真实关键点的坐标，R为下采样因子；
(4)基于历史道路图像数据中的目标类别、下采样图像的关键点坐标、像素点类别标签，利用CNN网络的损失函数计算网络损失，并通过损失反向传递更新CNN网络的网络参数；
(5)重复步骤(2)～(4)，直到网络损失收敛，获得训练好的CNN网络模型。
5.根据权利要求1所述的一种基于中心点的道路目标检测方法，其特征在于，所述关键点热力图和目标大小回归值的获取过程如下：
根据待检测道路视频获得待检测道路图像；
利用训练好的CNN网络模型处理待检测道路图像，获得待检测道路图像中每个目标的道路目标特征图，并通过前向传递获得每个目标类别对应的关键点热力图，关键点热力图中包括该目标类别下的所有目标；
根据道路目标特征图的峰值点获得目标大小回归值，即目标的宽度和高度。
6.根据权利要求1所述的一种基于中心点的道路目标检测方法，其特征在于，所述道路目标检测结果的获取过程如下：
通过最大池化从关键点热力图中解码提取出每个目标的目标中心点坐标，并获得目标类别；
根据目标中心点坐标和对应的目标大小回归值在待检测道路图像上生成目标框；
关联每个目标的目标类别和目标框，输出含有目标类别和目标框的待检测道路图像，作为道路目标检测结果。
7.一种基于中心点的道路目标检测装置，其特征在于，包括：
图像处理模块，一方面用于获取历史道路图像数据，并进行图像预处理，另一方面用于根据待检测道路视频获得待检测道路图像；
图像编码模块，用于对预处理后的道路图像进行锚点计算和高斯散射核编码，获得道路图像的训练样本集合；
模型训练模块，用于根据图像编码模块的训练样本集合对预先构建的CNN网络进行训练，获得训练好的CNN网络模型；
目标检测模块，用于利用训练好的CNN网络模型处理待检测道路图像，获得待检测道路图像的目标关键点的热力图和目标大小回归值，并在待检测道路图像上生成目标框和目标类别，获得道路目标检测结果。
8.一种基于中心点的道路目标检测装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～6任一项所述方法的步骤。
9.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～6任一项所述方法的步骤。
CN202011583087.1A 2020-12-28 2020-12-28 道路目标检测方法、装置及存储介质 Pending CN112613434A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011583087.1A CN112613434A (zh) 2020-12-28 2020-12-28 道路目标检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011583087.1A CN112613434A (zh) 2020-12-28 2020-12-28 道路目标检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN112613434A true CN112613434A (zh) 2021-04-06

Family

ID=75248483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011583087.1A Pending CN112613434A (zh) 2020-12-28 2020-12-28 道路目标检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112613434A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742820A (zh) * 2022-05-11 2022-07-12 西南交通大学 一种基于深度学习的螺栓松动检测方法、系统及存储介质
CN116189132A (zh) * 2023-04-23 2023-05-30 深圳佑驾创新科技有限公司 道路信息的目标检测模型训练方法、目标检测方法及装置
CN117315238A (zh) * 2023-11-29 2023-12-29 福建理工大学 一种车辆目标检测的方法与终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742820A (zh) * 2022-05-11 2022-07-12 西南交通大学 一种基于深度学习的螺栓松动检测方法、系统及存储介质
CN116189132A (zh) * 2023-04-23 2023-05-30 深圳佑驾创新科技有限公司 道路信息的目标检测模型训练方法、目标检测方法及装置
CN116189132B (zh) * 2023-04-23 2023-09-29 深圳佑驾创新科技股份有限公司 道路信息的目标检测模型训练方法、目标检测方法及装置
CN117315238A (zh) * 2023-11-29 2023-12-29 福建理工大学 一种车辆目标检测的方法与终端
CN117315238B (zh) * 2023-11-29 2024-03-15 福建理工大学 一种车辆目标检测的方法与终端

Similar Documents

Publication Publication Date Title
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN112183203B (zh) 一种基于多尺度像素特征融合的实时交通标志检测方法
CN111104903B (zh) 一种深度感知交通场景多目标检测方法和系统
CN112613434A (zh) 道路目标检测方法、装置及存储介质
Ohgushi et al. Road obstacle detection method based on an autoencoder with semantic segmentation
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN104299009A (zh) 基于多特征融合的车牌字符识别方法
CN114418895A (zh) 驾驶辅助方法及装置、车载设备及存储介质
CN116665176B (zh) 一种面向车辆自动驾驶的多任务网络道路目标检测方法
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
CN110956081A (zh) 车辆与交通标线位置关系的识别方法、装置及存储介质
CN115376108A (zh) 一种复杂天气下障碍物检测方法及装置
CN116052090A (zh) 图像质量评估方法、模型训练方法、装置、设备及介质
CN112053407B (zh) 一种交通执法影像中基于ai技术的车道线自动检测方法
CN117726870A (zh) 基于扩散模型的小样本目标检测模型增强学习方法和装置
CN113505640A (zh) 一种基于多尺度特征融合的小尺度行人检测方法
CN117392638A (zh) 一种服务于机器人场景的开放物体类别感知方法及装置
CN111210411B (zh) 图像中灭点的检测方法、检测模型训练方法和电子设备
CN117011819A (zh) 基于特征引导注意力的车道线检测方法、装置及设备
CN116630702A (zh) 一种基于语义分割网络的路面附着系数预测方法
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
CN116071557A (zh) 一种长尾目标检测方法、计算机可读存储介质及驾驶设备
CN115861948A (zh) 车道线检测方法、设备及预警方法、系统、介质
CN114037976A (zh) 一种道路交通标志识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination