CN112130550B - 一种道路图像处理方法、装置、电子设备及存储介质 - Google Patents

一种道路图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112130550B
CN112130550B CN201910549110.6A CN201910549110A CN112130550B CN 112130550 B CN112130550 B CN 112130550B CN 201910549110 A CN201910549110 A CN 201910549110A CN 112130550 B CN112130550 B CN 112130550B
Authority
CN
China
Prior art keywords
road
determining
line
image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910549110.6A
Other languages
English (en)
Other versions
CN112130550A (zh
Inventor
程光亮
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910549110.6A priority Critical patent/CN112130550B/zh
Publication of CN112130550A publication Critical patent/CN112130550A/zh
Application granted granted Critical
Publication of CN112130550B publication Critical patent/CN112130550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明实施例提供了一种道路图像处理方法、装置、电子设备及存储介质,包括:获取道路图像;检测道路图像中的道路线;确定第一道路线与第二道路线之间的偏差,第一道路线为道路图像中标注出的道路线中的任一道路线,第二道路线为检测出的道路线中与第一道路线对应的道路线;根据该偏差生成控制指令,以控制安装道路图像的获取设备的智能驾驶设备。本发明实施例,可以提高调试准确性。

Description

一种道路图像处理方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域,具体涉及一种道路图像处理方法、装置、电子设备及存储介质。
背景技术
自动驾驶又称无人驾驶,是一种通过电脑系统实现无人驾驶的技术。在自动驾驶中,车道线、停止线、边界线等各种道路线的自动检测非常重要,因此,在智能驾驶设备使用之前需要对设备进行调试。
发明内容
本发明实施例提供一种道路图像处理方法、装置、电子设备及存储介质,用于提高调试准确性。
第一方面提供一种道路图像处理方法,包括:
获取道路图像;
检测所述道路图像中的道路线;
确定第一道路线与第二道路线之间的偏差,所述第一道路线为所述道路图像中标注出的道路线中的任一道路线,所述第二道路线为检测出的道路线中与所述第一道路线对应的道路线;
根据所述偏差生成控制指令,以控制安装所述道路图像的获取设备的智能驾驶设备。
作为一种可能的实施方式,所述控制指令包括:显示指令、语音提示指令、报告分析指令、驾驶控制指令中的一种或者多种。
作为一种可能的实施方式,所述检测所述道路图像中的道路线包括:
将所述道路图像输入神经网络,得到预测图像,所述预测图象中的各个点的值表征所述道路图像中与所述预测图象中的各个点对应的点属于道路线的概率;
将所述预测图像中概率大于第一阈值的点确定为道路线的点;
连接确定的点中属于同一道路线的点,得到所述道路图像中的道路线。
作为一种可能的实施方式,所述确定第一道路线与第二道路线之间的偏差包括:
确定所述第一道路线的第一拟合函数;
确定所述第二道路线的第二拟合函数;
根据所述第一拟合函数和所述第二拟合函数确定所述偏差。
作为一种可能的实施方式,所述确定所述第一道路线的第一拟合函数包括:
使用预设类型的函数对所述第一道路线进行拟合,得到所述第一拟合函数;
所述确定所述第二道路线的第二拟合函数包括:
使用所述预设类型的函数对所述第二道路线进行拟合,得到所述第二拟合函数。
作为一种可能的实施方式,所述根据所述第一拟合函数和所述第二拟合函数确定所述偏差包括:
从所述第一拟合函数中确定多个点,得到第一点集合;
从所述第二拟合函数中确定多个点,得到第二点集合,所述第一点集合与所述第二点集合中包括的点数相同;
计算第一点与第二点之间的偏差,得到偏差集合,所述第一点为所述第一点集合中的任一点,所述第二点为所述第二点集合中与所述第一点横坐标相同或纵坐标相同的点;
将所述偏差集合中的最大值、最小值或平均值确定为所述偏差。
作为一种可能的实施方式,所述根据所述偏差生成控制指令包括:
确定检测出的道路线中所述偏差小于第二阈值的道路线的第一数量;
确定所述道路图像中标注出的道路线的第二数量;
根据所述第一数量和所述第二数量,生成控制指令。
作为一种可能的实施方式,所述确定所述第一道路线的第一拟合函数包括:
将所述道路图像中标注出的道路线的区域中的点的坐标映射到目标坐标系下,得到所述道路图像中标注出的道路线的区域中的点在所述目标坐标系下的坐标;
根据所述道路图像中标注出的道路线的区域中的点在所述目标坐标系下的坐标,确定所述第一道路线的第一拟合函数;
所述确定所述第二道路线的第二拟合函数包括:
将所述道路图像中检测出的道路线的区域中的点的坐标映射到目标坐标系下,得到所述道路图像中检测出的道路线的区域中的点在所述目标坐标系下的坐标;
根据所述道路图像中检测出的道路线的区域中的点在所述目标坐标系下的坐标,确定所述第二道路线的第二拟合函数;
其中,所述目标坐标系为世界坐标系或者像素坐标系。
第二方面提供一道路图像处理装置,包括:
获取单元,用于获取道路图像;
检测单元,用于检测所述道路图像中的道路线;
确定单元,用于确定第一道路线与第二道路线之间的偏差,所述第一道路线为所述道路图像中标注出的道路线中的任一道路线,所述第二道路线为检测出的道路线中与所述第一道路线对应的道路线;
生成单元,用于根据所述偏差生成控制指令,以控制安装所述道路图像的获取设备的智能驾驶设备。
作为一种可能的实施方式,所述控制指令包括:显示指令、语音提示指令、报告分析指令、驾驶控制指令中的一种或者多种。
作为一种可能的实施方式,所述检测单元具体用于:
将所述道路图像输入神经网络,得到预测图像,所述预测图象中的各个点的值表征所述道路图像中与所述预测图象中的各个点对应的点属于道路线的概率;
将所述预测图像中概率大于第一阈值的点确定为道路线的点;
连接确定的点中属于同一道路线的点,得到所述道路图像中的道路线。
作为一种可能的实施方式,所述确定单元具体用于:
确定所述第一道路线的第一拟合函数;
确定所述第二道路线的第二拟合函数;
根据所述第一拟合函数和所述第二拟合函数确定所述偏差。
作为一种可能的实施方式,所述确定单元确定所述第一道路线的第一拟合函数包括:
使用预设类型的函数对所述第一道路线进行拟合,得到所述第一拟合函数;
所述确定单元确定所述第二道路线的第二拟合函数包括:
使用所述预设类型的函数对所述第二道路线进行拟合,得到所述第二拟合函数。
作为一种可能的实施方式,所述确定单元根据所述第一拟合函数和所述第二拟合函数确定所述偏差包括:
从所述第一拟合函数中确定多个点,得到第一点集合;
从所述第二拟合函数中确定多个点,得到第二点集合,所述第一点集合与所述第二点集合中包括的点数相同;
计算第一点与第二点之间的偏差,得到偏差集合,所述第一点为所述第一点集合中的任一点,所述第二点为所述第二点集合中与所述第一点横坐标相同或纵坐标相同的点;
将所述偏差集合中的最大值、最小值或平均值确定为所述偏差。
作为一种可能的实施方式,所述生成单元具体用于:
确定检测出的道路线中所述偏差小于第二阈值的道路线的第一数量;
确定所述道路图像中标注出的道路线的第二数量;
根据所述第一数量和所述第二数量,生成控制指令。
作为一种可能的实施方式,所述确定单元确定所述第一道路线的第一拟合函数包括:
将所述道路图像中标注出的道路线的区域中的点的坐标映射到目标坐标系下,得到所述道路图像中标注出的道路线的区域中的点在所述目标坐标系下的坐标;
根据所述道路图像中标注出的道路线的区域中的点在所述目标坐标系下的坐标,确定所述第一道路线的第一拟合函数;
所述确定单元确定所述第二道路线的第二拟合函数包括:
将所述道路图像中检测出的道路线的区域中的点的坐标映射到目标坐标系下,得到所述道路图像中检测出的道路线的区域中的点在所述目标坐标系下的坐标;
根据所述道路图像中检测出的道路线的区域中的点在所述目标坐标系下的坐标,确定所述第二道路线的第二拟合函数;
其中,所述目标坐标系为世界坐标系或者像素坐标系。
第三方面提供了一种电子设备,包括处理器和存储器,所述存储器中存储有一组计算机程序,所述处理器执行所述计算机程序时实现如第一方面或第一方面中任一种可能的实施方式提供的道路图像处理方法。
第四方面提供了一种可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序包括程序代码,所述程序代码当被处理器执行时使所述处理器执行第一方面或第一方面中任一种可能的实施方式提供的道路图像处理方法。
第五方面提供了一种应用程序,该应用程序用于在运行时执行第一方面或第一方面中任一种可能的实施方式提供的道路图像处理方法。
本发明实施例中,检测获取的道路图像中的道路线,确定第一道路线与第二道路线之间的偏差,并根据确定的偏差生成控制指令,以控制安装道路图像的获取设备的智能驾驶设备,其中,第一道路线为道路图像中标注出的道路线中的任一道路线,第二道路线为检测出的道路线中与第一道路线对应的道路线;从而可以实现在已知道路上对智能驾驶设备的调试,以便提高调试准确性。
附图说明
图1是本发明实施例提供的一种道路图像处理方法的流程示意图;
图2是本发明实施例提供的一种检测道路图像中的道路线的示意图;
图3是本发明实施例提供的一种世界坐标系下的标注的道路线和检测的道路线的示意图;
图4是本发明实施例提供的一种像素坐标系下的第一道路线和第二道路线的示意图;
图5是本发明实施例提供的一种道路图像处理装置的结构示意图;
图6是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
本发明实施例提供一种道路图像处理方法、装置、电子设备及存储介质,用于提高调试准确性。以下分别进行详细说明。
请参阅图1,图1是本发明实施例提供的一种道路图像处理方法的流程示意图。如图1所示,该道路图像处理方法可以包括以下步骤。
101、获取道路图像。
在智能驾驶设备进行调试时,可以实时或周期性地获取道路图像。获取的道路图像可以通过智能驾驶设备上的图像拍摄装置实时或周期性地拍摄得到。获取的道路图像包括标注线,标注线是人为标注出的道路线,用于标注出图像中各种与行驶行驶相关的道路线。道路线可以包括车道线、停止线、边界线、道路上的标志等智能驾驶设备在行驶过程中需要使用的信息,道路上的标志可以为转弯标志,也可以为执行之类的标志,还可以为其它在行驶过程中需要使用的标志。道路图像的数量可以为一张,也可以为多张。其中,智能驾驶设备可以包括无人驾驶车辆、机器人、导盲设备以及安装辅助驾驶系统的车辆等需要识别道路状况的设备。
102、检测道路图像中的道路线。
获取到道路图像之后,可以检测道路图像中的道路线。在检测道路图像中的道路线时,可以通过非神经网络的分类方法检测道路图像中的道路线,也可以将道路图像输入神经网络得到预测图像,预测图象中的各个点的值表征道路图像中与预测图象中的各个点对应的点属于道路线的概率,即预测图像为概率图像,第一像素点用于表示第一像素点属于道路线的概率,第一像素点为预测图像中的任一像素点。预测图像与道路图像的大小可以相同,即预测图像与道路图像的像素可以相同。之后可以将预测图像中概率大于第一阈值的点确定为道路线的点,连接确定的点中属于同一道路线的点得到道路图像中的道路线。神经网络可以为深度卷积神经网络。深度卷积神经网络可以为全卷积网络(fullyconvolutional networks,FCN),也可以为残差神经网络(residual neural network,Resnet),还可以为其它深度卷积神经网络,在此不作限定。
请参阅图2,图2是本发明实施例提供的一种检测道路图像中的道路线的示意图。图2中仅以车道线为例进行说明。如图2所示,道路图像为左边图像,预测图像为右边图像,中间为神经网络。可见,道路图像包括三条道路线,预测图像包括三条道路线。图2中的神经网络可以由11层的卷积神经网络加10层Resnet组成,也可以由其他网络组成。
103、确定第一道路线与第二道路线之间的偏差。
检测出道路图像中的道路线之后,确定第一道路线与第二道路线之间的偏差,第一道路线为道路图像中标注出的道路线中的任一道路线,第二道路线为检测出的道路线中与第一道路线对应的道路线。
在一种可能的实施方式中,可以通过确定第一道路线的第一拟合函数,并确定第二道路线的第二拟合函数,最后确定第一拟合函数和第二拟合函数之间的偏差来确定第一道路线与第二道路线之间的偏差。在确定第一道路线的第一拟合函数时,可以将道路图像中标注出的道路线的区域中的点的坐标映射到目标坐标系下得到道路图像中标注出的道路线的区域中的点在目标坐标系下的坐标,之后根据道路图像中标注出的道路线的区域中的点在目标坐标系下的坐标确定第一道路线的第一拟合函数。可以使用预设类型的函数对第一道路线进行拟合得到第一拟合函数。进一步地,可以使用预设类型的函数根据道路图像中标注出的道路线的区域中的点在目标坐标系下的坐标确定第一道路线的第一拟合函数。其中,目标坐标系可以为世界坐标系,也可以为像素坐标系。在目标坐标系为像素坐标系,且图像中的点也为像素坐标系中的点的情况下,可以不需要进行映射。预设类型的函数可以是一次函数,也可以为其它函数,在此不作限定。预设类型的函数可以为多个,不同的道路线可以采用不同的函数,可以根据拟合出的道路线与实际道路线的偏差来确定使用哪个预设类型的函数。
在确定第二道路线的第二拟合函数时,可以将道路图像中检测出的道路线的区域中的点的坐标映射到目标坐标系下得到道路图像中检测出的道路线的区域中的点在目标坐标系下的坐标,之后根据道路图像中检测出的道路线的区域中的点在目标坐标系下的坐标确定第二道路线的第二拟合函数。具体地,在使用神经网络进行道路图像中的道路线的检测时,可以将得到的预测图像中的点的坐标映射到目标坐标系下得到预测图像中的点在目标坐标系下的坐标,根据预测图像中的点在目标坐标系下的坐标确定第二道路线的第二拟合函数。可以使用预设类型的函数对第二道路线进行拟合得到第二拟合函数。进一步地,可以使用预设类型的函数根据预测图像中的点在目标坐标系下的坐标确定第二道路线的第二拟合函数。
在图像中的点为像素坐标系中的点,而目标坐标系为世界坐标系的情况下,可以确定世界坐标系下第一道路线与第二道路线之间的偏差。可以先通过单应性矩阵(Homograph)将道路图像和预测图像分别转换到世界坐标系下,之后分别根据道路图像和预测图像在世界坐标系下的点确定第一道路线和第二道路线,即根据道路图像在世界坐标系下的点确定第一道路线,根据预测图像在世界坐标系下的点确定第二道路线。Homograph为相机平面与地面平面的转化矩阵,需要人为事先测量。世界坐标系的原点可以为车的中心位置,也可以为车的其它位置,还可以为其它位置。请参阅图3,图3是本发明实施例提供的一种世界坐标系下的标注的道路线和检测的道路线的示意图。如图3所示,白色的道路线为标注的道路线,其它道路线为检测的道路线。可见,在世界坐标系中不同车道线之间相互平行。
之后可以根据第一拟合函数和第二拟合函数确定第一道路线与第二道路线之间的偏差。可以从第一拟合函数中确定多个点得到第一点集合,这多个点是道路图像中的道路线上的点,即这多个点是从标注的道路线上选择的,而不是根据第一拟合函数拟合出来的道路图像中的道路线上选择的,这多个点可以是均匀选择的。可以从第二拟合函数中确定多个点得到第二点集合,这多个点是检测的道路线上的点,而不是根据第二拟合函数拟合出来的检测的道路线上选择的,这多个点可以是均匀选择的。第一点集合与第二点集合中包括的点数相同。之后计算第一点与第二点之间的偏差得到偏差集合,第一点为第一点集合中的任一点,第二点为第二点集合中与第一点横坐标相同或纵坐标相同的点,即第一点集合中的所有点的横坐标值可以与第二点集合中对应点的横坐标值相同,或者第一点集合中的所有点的纵坐标值可以与第二点集合中对应点的纵坐标值相同。举例说明,第一点集合与第二点集合包括三个点,第一点集合包括点(1,1.5)、(2,2)和(3,2.5),第二点集合包括点(1,2)(2,3)和(3,4)。之后将偏差集合中的最大值、最小值或平均值确定为第一道路线与第二道路线之间的偏差。在第一点集合中的所有点的横坐标值与第二点集合中对应点的横坐标值相同的情况下,偏差集合中的偏差为纵向偏差,即横坐标值相同的点的纵坐标值的差值;在第一点集合中的所有点的纵坐标值与第二点集合中对应点的纵坐标值相同的情况下,偏差集合中的偏差为横向偏差,即纵坐标值相同的点的横坐标值的差值。在第一点集合包括点(1,1.5)、(2,2)和(3,2.5),第二点集合包括点(1,2)(2,3)和(3,4)的情况下,偏差集合包括0.5、1和1.5,可以将最小值0.5确定为第一道路线与第二道路线之间的偏差,也可以将最大值1.5确定为第一道路线与第二道路线之间的偏差,还可以将平均值1确定为第一道路线与第二道路线之间的偏差。
请参阅图4,图4是本发明实施例提供的一种像素坐标系下的第一道路线和第二道路线的示意图。如图4所示,左边的道路线为标注的道路线,即第一道路线,右边的道路线为检测的道路线,即第二道路线。可见,两条道路线在不同位置的偏差不同。像素坐标系的原点可以在图像的左下角,也可以在图像的右下角,还可以在图像的左上角,还可以在图像的右上角,还可以在图像的中心位置,还可以在图像的其它位置。
104、根据第一道路线与第二道路线之间的偏差生成控制指令,以控制安装道路图像的获取设备的智能驾驶设备。
确定出第一道路线与第二道路线之间的偏差之后,可以根据第一道路线与第二道路线之间的偏差生成控制指令,以控制安装道路图像的获取设备的智能驾驶设备。其中,道路图像的获取设备可以为车道摄像头,或者为机器人或者导盲设备上的摄像头等等。可以确定检测出的道路线中第一道路线与第二道路线之间的偏差小于第二阈值的道路线的第一数量,即检测的道路线中与标注的道路线中偏差较小的道路线的数量,确定道路图像中标注的道路线的第二数量,即需要检测的道路线的总数量,根据第一数量和第二数量生成控制指令。控制指令可以包括显示指令、语音提示指令、报告分析指令、驾驶控制指令中的一种或者多种。例如,在第一数量与第二数量之间的比值小于第三阈值的情况下,表明偏差较大,可以生成驾驶控制指令,以便调整智能驾驶设备的行驶轨迹,也可以生成语音提示指令,以便输出语音信号,从而可以提示驾驶员根据提示调整行走路线,或者还可以生成显示指令或者报告分析指令,也就是将偏差显示出来,或者以分析报告的形式显示出来以备调试人员根据检测的偏差对检测方法进行调整,以改进道路线的检测方法,进而实现更好的智能驾驶控制。
本发明实施例提供的一种道路图像处理方法,通过检测获取的道路图像中的道路线,确定第一道路线与第二道路线之间的偏差,并根据确定的偏差生成控制指令,来控制安装道路图像的获取设备的智能驾驶设备,其中,第一道路线为道路图像中标注出的道路线中的任一道路线,第二道路线为检测出的道路线中与第一道路线对应的道路线;从而可以实现在已知道路上对智能驾驶设备的调试,以便提高调试准确性。
请参阅图5,图5是本发明实施例提供的一种道路图像处理装置的结构示意图。如图5所示,该道路图像处理装置可以包括:
获取单元501,用于获取道路图像;
检测单元502,用于检测道路图像中的道路线;
确定单元503,用于确定第一道路线与第二道路线之间的偏差,第一道路线为道路图像中标注出的道路线中的任一道路线,第二道路线为检测出的道路线中与第一道路线对应的道路线;
生成单元504,用于根据第一道路线与第二道路线之间的偏差生成控制指令,以控制安装道路图像的获取设备的智能驾驶设备。
在一个实施例中,控制指令可以包括:显示指令、语音提示指令、报告分析指令、驾驶控制指令中的一种或者多种。
在一个实施例中,检测单元502具体用于:
将道路图像输入神经网络,得到预测图像,预测图象中的各个点的值表征道路图像中与预测图象中的各个点对应的点属于道路线的概率;
将预测图像中概率大于第一阈值的点确定为道路线的点;
连接确定的点中属于同一道路线的点,得到道路图像中的道路线。
在一个实施例中,确定单元503具体用于:
确定第一道路线的第一拟合函数;
确定第二道路线的第二拟合函数;
根据第一拟合函数和第二拟合函数确定第一道路线与第二道路线之间的偏差。
在一个实施例中,确定单元503确定第一道路线的第一拟合函数包括:
使用预设类型的函数对第一道路线进行拟合,得到第一拟合函数;
确定单元503确定第二道路线的第二拟合函数包括:
使用预设类型的函数对第二道路线进行拟合,得到第二拟合函数。
在一个实施例中,确定单元503根据第一拟合函数和第二拟合函数确定第一道路线与第二道路线之间的偏差包括:
从第一拟合函数中确定多个点,得到第一点集合;
从第二拟合函数中确定多个点,得到第二点集合,第一点集合与第二点集合中包括的点数相同;
计算第一点与第二点之间的偏差,得到偏差集合,第一点为第一点集合中的任一点,第二点为第二点集合中与第一点横坐标相同或纵坐标相同的点;
将偏差集合中的最大值、最小值或平均值确定为第一道路线与第二道路线之间的偏差。
在一个实施例中,生成单元504具体用于:
确定检测出的道路线中第一道路线与第二道路线之间的偏差小于第二阈值的道路线的第一数量;
确定道路图像中标注出的道路线的第二数量;
根据第一数量和第二数量,生成控制指令。
在一个实施例中,确定单元503确定第一道路线的第一拟合函数包括:
将道路图像中标注出的道路线的区域中的点的坐标映射到目标坐标系下,得到道路图像中标注出的道路线的区域中的点在目标坐标系下的坐标;
根据道路图像中标注出的道路线的区域中的点在目标坐标系下的坐标,确定第一道路线的第一拟合函数;
确定单元503确定第二道路线的第二拟合函数包括:
将所述道路图像中检测出的道路线的区域中的点的坐标映射到目标坐标系下,得到所述道路图像中检测出的道路线的区域中的点在所述目标坐标系下的坐标;
根据所述道路图像中检测出的道路线的区域中的点在所述目标坐标系下的坐标,确定所述第二道路线的第二拟合函数;
具体地,如果检测道路图像中的道路线是通过神经网络实现的,那么,确定单元503确定第二道路线的第二拟合函数包括:
将预测图像中的点的坐标映射到目标坐标系下,得到预测图像中的点在目标坐标系下的坐标;
根据预测图像中的点在目标坐标系下的坐标,确定第二道路线的第二拟合函数;
其中,目标坐标系为世界坐标系或者像素坐标系。
本实施例的道路图像处理装置可对应于本申请实施例中方法实施例描述,并且道路图像处理装置中的各个单元的上述和其它操作和/或功能分别为了实现图1中各方法中的相应流程,为了简洁,在此不再赘述。
请参阅图6,图6是本发明实施例提供的一种电子设备的结构示意图。如图6所示,该电子设备可以包括:至少一个处理器601,如CPU,存储器602以及至少一个总线603。存储器602可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。可选地,存储器602还可以是至少一个位于远离前述处理器601的存储装置。其中:
总线603,用于实现这些组件之间的连接通信;
存储器602中存储有一组程序代码,处理器601用于调用存储器602中存储的程序代码执行以下操作:
获取道路图像;
检测道路图像中的道路线;
确定第一道路线与第二道路线之间的偏差,第一道路线为道路图像中标注出的道路线中的任一道路线,第二道路线为检测出的道路线中与第一道路线对应的道路线;
根据第一道路线与第二道路线之间的偏差生成控制指令,以控制安装道路图像的获取设备的智能驾驶设备。
在一个实施例中,控制指令包括:显示指令、语音提示指令、报告分析指令、驾驶控制指令中的一种或者多种。
在一个实施例中,处理器601检测道路图像中的道路线包括:
将道路图像输入神经网络,得到预测图像,预测图象中的各个点的值表征道路图像中与预测图象中的各个点对应的点属于道路线的概率;
将预测图像中概率大于第一阈值的点确定为道路线的点;
连接确定的点中属于同一道路线的点,得到道路图像中的道路线。
在一个实施例中,处理器601确定第一道路线与第二道路线之间的偏差包括:
确定第一道路线的第一拟合函数;
确定第二道路线的第二拟合函数;
根据第一拟合函数和第二拟合函数确定第一道路线与第二道路线之间的偏差。
在一个实施例中,处理器601确定第一道路线的第一拟合函数包括:
使用预设类型的函数对第一道路线进行拟合,得到第一拟合函数;
所述确定所述第二道路线的第二拟合函数包括:
使用预设类型的函数对第二道路线进行拟合,得到第二拟合函数。
在一个实施例中,处理器601根据第一拟合函数和第二拟合函数确定第一道路线与第二道路线之间的偏差包括:
从第一拟合函数中确定多个点,得到第一点集合;
从第二拟合函数中确定多个点,得到第二点集合,第一点集合与第二点集合中包括的点数相同;
计算第一点与第二点之间的偏差,得到偏差集合,第一点为第一点集合中的任一点,第二点为所述第二点集合中与第一点横坐标相同或纵坐标相同的点;
将偏差集合中的最大值、最小值或平均值确定为第一道路线与第二道路线之间的偏差。
在一个实施例中,处理器401根据第一道路线与第二道路线之间的偏差生成控制指令包括:
确定检测出的道路线中第一道路线与第二道路线之间的偏差小于第二阈值的道路线的第一数量;
确定道路图像中标注出的道路线的第二数量;
根据第一数量和第二数量,生成控制指令。
在一个实施例中,处理器601确定第一道路线的第一拟合函数包括:
将道路图像中标注出的道路线的区域中的点的坐标映射到目标坐标系下,得到道路图像中标注出的道路线的区域中的点在目标坐标系下的坐标;
根据道路图像中标注出的道路线的区域中的点在目标坐标系下的坐标,确定第一道路线的第一拟合函数;
处理器601确定第二道路线的第二拟合函数包括:
将所述道路图像中检测出的道路线的区域中的点的坐标映射到目标坐标系下,得到所述道路图像中检测出的道路线的区域中的点在所述目标坐标系下的坐标;
根据所述道路图像中检测出的道路线的区域中的点在所述目标坐标系下的坐标,确定所述第二道路线的第二拟合函数;
具体地,如果检测道路图像中的道路线是通过神经网络实现的,那么,处理器6001确定第二道路线的第二拟合函数包括:
将预测图像中的点的坐标映射到目标坐标系下,得到预测图像中的点在目标坐标系下的坐标;
根据预测图像中的点在目标坐标系下的坐标,确定第二道路线的第二拟合函数;
其中,目标坐标系为世界坐标系或者像素坐标系。
其中,本发明实施例提供的道路图像处理方法可以由该电子设备中的处理器601和存储器602来执行。
其中,本发明实施例提供道路图像处理装置可以由电子设备中的处理器601和存储器602来实现。
上述电子设备还可以用于执行前述方法实施例中执行的各种方法,不再赘述。
在一个实施例中提供了一种存储介质,该存储介质用于存储应用程序,应用程序用于在运行时执行本发明实施例提供的的道路图像处理方法。
在一个实施例中提供了一种应用程序,该应用程序用于在运行时执行本发明实施例提供的的道路图像处理方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、ROM、RAM、磁盘或光盘等。
以上对本发明实施例进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种道路图像处理方法,其特征在于,包括:
获取道路图像;
检测所述道路图像中的道路线;
确定第一道路线与第二道路线之间的偏差,所述第一道路线为所述道路图像中人工标注出的道路线中的任一道路线,所述第二道路线为通过检测所述道路图像中的道路线得到的道路线,且所述第二道路线与所述第一道路线对应的道路线;
根据所述偏差生成控制指令,以控制安装所述道路图像的获取设备的智能驾驶设备,所述根据所述偏差生成控制指令包括:确定检测出的道路线中所述偏差小于第二阈值的道路线的第一数量;确定所述道路图像中标注出的道路线的第二数量;根据所述第一数量和所述第二数量,生成控制指令。
2.根据权利要求1所述的方法,其特征在于,所述控制指令包括:显示指令、语音提示指令、报告分析指令、驾驶控制指令中的一种或者多种。
3.根据权利要求1或2所述的方法,其特征在于,所述检测所述道路图像中的道路线包括:
将所述道路图像输入神经网络,得到预测图像,所述预测图像中的各个点的值表征所述道路图像中与所述预测图像中的各个点对应的点属于道路线的概率;
将所述预测图像中概率大于第一阈值的点确定为道路线的点;
连接确定的点中属于同一道路线的点,得到所述道路图像中的道路线。
4.根据权利要求1或2所述的方法,其特征在于,所述确定第一道路线与第二道路线之间的偏差包括:
确定所述第一道路线的第一拟合函数;
确定所述第二道路线的第二拟合函数;
根据所述第一拟合函数和所述第二拟合函数确定所述偏差。
5.根据权利要求4所述的方法,其特征在于,所述确定所述第一道路线的第一拟合函数包括:
使用预设类型的函数对所述第一道路线进行拟合,得到所述第一拟合函数;
所述确定所述第二道路线的第二拟合函数包括:
使用所述预设类型的函数对所述第二道路线进行拟合,得到所述第二拟合函数。
6.根据权利要求4所述的方法,其特征在于,所述根据所述第一拟合函数和所述第二拟合函数确定所述偏差包括:
从所述第一拟合函数中确定多个点,得到第一点集合;
从所述第二拟合函数中确定多个点,得到第二点集合,所述第一点集合与所述第二点集合中包括的点数相同;
计算第一点与第二点之间的偏差,得到偏差集合,所述第一点为所述第一点集合中的任一点,所述第二点为所述第二点集合中与所述第一点横坐标相同或纵坐标相同的点;
将所述偏差集合中的最大值、最小值或平均值确定为所述偏差。
7.根据权利要求4所述的方法,其特征在于,所述确定所述第一道路线的第一拟合函数包括:
将所述道路图像中标注出的道路线的区域中的点的坐标映射到目标坐标系下,得到所述道路图像中标注出的道路线的区域中的点在所述目标坐标系下的坐标;
根据所述道路图像中标注出的道路线的区域中的点在所述目标坐标系下的坐标,确定所述第一道路线的第一拟合函数;
所述确定所述第二道路线的第二拟合函数包括:
将所述道路图像中检测出的道路线的区域中的点的坐标映射到目标坐标系下,得到所述道路图像中检测出的道路线的区域中的点在所述目标坐标系下的坐标;
根据所述道路图像中检测出的道路线的区域中的点在所述目标坐标系下的坐标,确定所述第二道路线的第二拟合函数;
其中,所述目标坐标系为世界坐标系或者像素坐标系。
8.一种道路图像处理装置,其特征在于,包括:
获取单元,用于获取道路图像;
检测单元,用于检测所述道路图像中的道路线;
确定单元,用于确定第一道路线与第二道路线之间的偏差,所述第一道路线为所述道路图像中人工标注出的道路线中的任一道路线,所述第二道路线为通过检测所述道路图像中的道路线得到的道路线,且所述第二道路线与所述第一道路线对应的道路线;
生成单元,用于根据所述偏差生成控制指令,以控制安装所述道路图像的获取设备的智能驾驶设备,所述生成单元具体用于:确定检测出的道路线中所述偏差小于第二阈值的道路线的第一数量;确定所述道路图像中标注出的道路线的第二数量;根据所述第一数量和所述第二数量,生成控制指令。
9.根据权利要求8所述的装置,其特征在于,所述控制指令包括:显示指令、语音提示指令、报告分析指令、驾驶控制指令中的一种或者多种。
10.根据权利要求8或9所述的装置,其特征在于,所述检测单元具体用于:
将所述道路图像输入神经网络,得到预测图像,所述预测图像中的各个点的值表征所述道路图像中与所述预测图像中的各个点对应的点属于道路线的概率;
将所述预测图像中概率大于第一阈值的点确定为道路线的点;
连接确定的点中属于同一道路线的点,得到所述道路图像中的道路线。
11.根据权利要求8或9所述的装置,其特征在于,所述确定单元具体用于:
确定所述第一道路线的第一拟合函数;
确定所述第二道路线的第二拟合函数;
根据所述第一拟合函数和所述第二拟合函数确定所述偏差。
12.根据权利要求11所述的装置,其特征在于,所述确定单元确定所述第一道路线的第一拟合函数包括:
使用预设类型的函数对所述第一道路线进行拟合,得到所述第一拟合函数;
所述确定单元确定所述第二道路线的第二拟合函数包括:
使用所述预设类型的函数对所述第二道路线进行拟合,得到所述第二拟合函数。
13.根据权利要求11所述的装置,其特征在于,所述确定单元根据所述第一拟合函数和所述第二拟合函数确定所述偏差包括:
从所述第一拟合函数中确定多个点,得到第一点集合;
从所述第二拟合函数中确定多个点,得到第二点集合,所述第一点集合与所述第二点集合中包括的点数相同;
计算第一点与第二点之间的偏差,得到偏差集合,所述第一点为所述第一点集合中的任一点,所述第二点为所述第二点集合中与所述第一点横坐标相同或纵坐标相同的点;
将所述偏差集合中的最大值、最小值或平均值确定为所述偏差。
14.根据权利要求11所述的装置,其特征在于,所述确定单元确定所述第一道路线的第一拟合函数包括:
将所述道路图像中标注出的道路线的区域中的点的坐标映射到目标坐标系下,得到所述道路图像中标注出的道路线的区域中的点在所述目标坐标系下的坐标;
根据所述道路图像中标注出的道路线的区域中的点在所述目标坐标系下的坐标,确定所述第一道路线的第一拟合函数;
所述确定单元确定所述第二道路线的第二拟合函数包括:
将所述道路图像中检测出的道路线的区域中的点的坐标映射到目标坐标系下,得到所述道路图像中检测出的道路线的区域中的点在所述目标坐标系下的坐标;
根据所述道路图像中检测出的道路线的区域中的点在所述目标坐标系下的坐标,确定所述第二道路线的第二拟合函数;
其中,所述目标坐标系为世界坐标系或者像素坐标系。
15.一种电子设备,其特征在于,包括处理器和存储器,所述存储器中存储有一组计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的道路图像处理方法。
16.一种可读存储介质,其特征在于,所述可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的道路图像处理方法。
CN201910549110.6A 2019-06-24 2019-06-24 一种道路图像处理方法、装置、电子设备及存储介质 Active CN112130550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910549110.6A CN112130550B (zh) 2019-06-24 2019-06-24 一种道路图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910549110.6A CN112130550B (zh) 2019-06-24 2019-06-24 一种道路图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112130550A CN112130550A (zh) 2020-12-25
CN112130550B true CN112130550B (zh) 2024-03-12

Family

ID=73849751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910549110.6A Active CN112130550B (zh) 2019-06-24 2019-06-24 一种道路图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112130550B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008645A (zh) * 2014-06-12 2014-08-27 湖南大学 一种适用于城市道路车道线预测及预警方法
CN106164930A (zh) * 2014-04-04 2016-11-23 戴尔菲技术公司 用于车道检测的方法
CN106778593A (zh) * 2016-12-11 2017-05-31 北京联合大学 一种基于多地面标志融合的车道级定位方法
CN107451539A (zh) * 2017-07-13 2017-12-08 华域汽车系统股份有限公司 一种车道偏离预警方法及系统
CN107750364A (zh) * 2015-02-26 2018-03-02 无比视视觉技术有限公司 使用稳定的坐标系的道路垂直轮廓检测
CN108297866A (zh) * 2018-01-03 2018-07-20 西安交通大学 一种车辆的车道保持控制方法
CN109147368A (zh) * 2018-08-22 2019-01-04 北京市商汤科技开发有限公司 基于车道线的智能驾驶控制方法装置与电子设备
CN109543493A (zh) * 2017-09-22 2019-03-29 杭州海康威视数字技术股份有限公司 一种车道线的检测方法、装置及电子设备
CN109785667A (zh) * 2019-03-11 2019-05-21 百度在线网络技术(北京)有限公司 车道偏离识别方法、装置、设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9118816B2 (en) * 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106164930A (zh) * 2014-04-04 2016-11-23 戴尔菲技术公司 用于车道检测的方法
CN104008645A (zh) * 2014-06-12 2014-08-27 湖南大学 一种适用于城市道路车道线预测及预警方法
CN107750364A (zh) * 2015-02-26 2018-03-02 无比视视觉技术有限公司 使用稳定的坐标系的道路垂直轮廓检测
CN106778593A (zh) * 2016-12-11 2017-05-31 北京联合大学 一种基于多地面标志融合的车道级定位方法
CN107451539A (zh) * 2017-07-13 2017-12-08 华域汽车系统股份有限公司 一种车道偏离预警方法及系统
CN109543493A (zh) * 2017-09-22 2019-03-29 杭州海康威视数字技术股份有限公司 一种车道线的检测方法、装置及电子设备
CN108297866A (zh) * 2018-01-03 2018-07-20 西安交通大学 一种车辆的车道保持控制方法
CN109147368A (zh) * 2018-08-22 2019-01-04 北京市商汤科技开发有限公司 基于车道线的智能驾驶控制方法装置与电子设备
CN109785667A (zh) * 2019-03-11 2019-05-21 百度在线网络技术(北京)有限公司 车道偏离识别方法、装置、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Lane departure warning system based on future driving path prediction;Ying che kuo;International Journal of Vehicle Safty;第7卷(第2期);168-188 *
智能汽车车道保持控制方法研究;余小川;中国优秀硕士学位论文全文数据库工程科技Ⅱ辑;10-20 *

Also Published As

Publication number Publication date
CN112130550A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
US20210190513A1 (en) Navigation map updating method and apparatus and robot using the same
CN112102646B (zh) 一种泊车定位中的停车场入口定位方法、装置及车载终端
CN110276293B (zh) 车道线检测方法、装置、电子设备及存储介质
CN110263714B (zh) 车道线检测方法、装置、电子设备及存储介质
CN110163176B (zh) 车道线变化位置识别方法、装置、设备和介质
KR20200128145A (ko) 교통 신호등 검출 및 지능형 주행을 위한 방법 및 디바이스, 차량, 및 전자 디바이스
CN111191611B (zh) 基于深度学习的交通标志标号识别方法
US10783643B1 (en) Segmentation-based damage detection
CN110232368B (zh) 车道线检测方法、装置、电子设备及存储介质
CN112200884B (zh) 一种车道线的生成方法及装置
CN110751040A (zh) 一种三维物体的检测方法和装置、电子设备、存储介质
US20200151865A1 (en) Division line detection device and division line detection method
WO2014067685A1 (en) A method for simplifying defect analysis
EP3961583A3 (en) Method for detecting obstacle, electronic device, roadside device and cloud control platform
CN105389812A (zh) 基于计算机视觉的车载信息终端功能自动测试方法
CN110660225A (zh) 闯红灯行为检测方法、装置和设备
CN111476062A (zh) 车道线检测方法、装置、电子设备及驾驶系统
CN111488762A (zh) 一种车道级定位方法、装置及定位设备
CN111881748B (zh) 一种基于vbai平台建模的车道线视觉识别方法和系统
CN112130550B (zh) 一种道路图像处理方法、装置、电子设备及存储介质
CN113932825A (zh) 机器人导航路径宽度获取系统、方法、机器人及存储介质
CN110817674B (zh) 一种扶梯的缺级检测方法、装置、设备及存储介质
CN111402610B (zh) 一种识别红绿灯亮灯状态的方法、装置、设备及存储介质
CN112215042A (zh) 一种车位限位器识别方法及其系统、计算机设备
CN110880003A (zh) 一种图像匹配方法、装置、存储介质及汽车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant