CN113139493B - 一种无人驾驶道路障碍物识别系统 - Google Patents

一种无人驾驶道路障碍物识别系统 Download PDF

Info

Publication number
CN113139493B
CN113139493B CN202110492117.6A CN202110492117A CN113139493B CN 113139493 B CN113139493 B CN 113139493B CN 202110492117 A CN202110492117 A CN 202110492117A CN 113139493 B CN113139493 B CN 113139493B
Authority
CN
China
Prior art keywords
channel
image
road
lane
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110492117.6A
Other languages
English (en)
Other versions
CN113139493A (zh
Inventor
胡心怡
杨扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Boonray Intelligent Technology Co Ltd
Original Assignee
Shanghai Boonray Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Boonray Intelligent Technology Co Ltd filed Critical Shanghai Boonray Intelligent Technology Co Ltd
Priority to CN202110492117.6A priority Critical patent/CN113139493B/zh
Publication of CN113139493A publication Critical patent/CN113139493A/zh
Application granted granted Critical
Publication of CN113139493B publication Critical patent/CN113139493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种无人驾驶道路障碍物识别系统,属于无人驾驶技术领域,包括:影像采集模块,用于采集无人驾驶车辆行驶过程中的道路影像信息;通道分离模块,电连接所述影像采集模块,并将所述道路影像信息进行色彩通道分离,获得第一、第二和第三通道影像;通道数据存储模块,电连接所述通道分离模块,用于存储所述通道影像数据;障碍物识别模块,电连接所述通道数据存储模块,用于对所述通道影像进行智能分析,得出路况和障碍物识别结果;驾驶模式控制模块,电连接所述障碍物识别模块,用于基于所述路况和障碍物识别结果,获得并输出无人驾驶车辆的驾驶模式信息。本发明可以对不同路况和障碍物进行有效识别,具有控制准确率高、实时性高的优点。

Description

一种无人驾驶道路障碍物识别系统
技术领域
本发明属于无人驾驶技术领域,具体涉及一种无人驾驶道路障碍物识别系统。
背景技术
自无人车诞生以来,对车辆行驶道路上的障碍物的感知作为无人驾驶领域非常重要的研究内容吸引了众多学者和科研机构的目光,但目前仍然是一个难度很大的课题,车辆行驶道路上的障碍物检测是无人驾驶技术领域中的重要组成部分。
近年来,国内外在ITS(智能交通系统)研究领域中,针对车辆行驶路径上的障碍物检测方法,提出了许多算法和实施手段,其中有基于图像的检测方法,该方法主要包括:
(1)基于先验知识的障碍物检测:该方法是通过对图像进行预处理,再与已有的先验知识进行对比,得出结论,故具有精度低,适用面窄的弊端。
(2)基于立体视觉的障碍物检测:该方法包括双目立体视觉与三目立体视觉,由于其需要多台摄像机,成本比较高,而且算法复杂,不易计算。
而且现有无人驾驶技术,针对复杂路况下的障碍物识别精度较低,导致目前的无人驾驶技术在路况不好的情况下的驾驶控制效果较差,现有技术在障碍物识别方面的实时性和识别准确率尚待提高。
发明内容
本发明的主要目的在于提供一种无人驾驶道路障碍物识别系统,将获取的道路图像信息进行色彩通道分离,得到每个色彩空间下的道路图像,基于不同的色彩空间下的道路图像进行车道识别、车道层级划分和车道障碍物识别,有效提高复杂路况下的障碍物识别准确率和实时性能,进而提高对无人驾驶车辆的驾驶控制准确率。
为达到上述目的,本发明公开了一种无人驾驶道路障碍物识别系统,包括:
影像采集模块,包括至少一个实时监控路面情况的车载摄像头,用于采集无人驾驶车辆行驶过程中的彩色道路影像信息;
通道分离模块,电连接所述影像采集模块,并将所述影像采集模块传输来的道路影像信息进行RGB色彩通道分离,获得相互独立第一通道影像、第二通道影像和第三通道影像;其中,所述第一通道影像为红色通道道路影像,第二通道影像为绿色通道道路影像,第三通道影像为蓝色通道道路影像;
通道数据存储模块,电连接所述通道分离模块,用于存储从所述通道分离模块传来的所述第一通道影像、第二通道影像和第三通道影像;
障碍物识别模块,电连接所述通道数据存储模块,用于对所述第一通道影像、第二通道影像和第三通道影像数据进行智能分析,得出路况和障碍物识别结果;
驾驶模式控制模块,电连接所述障碍物识别模块,用于基于所述路况和障碍物识别结果,获得并输出无人驾驶车辆的驾驶模式信息。
进一步地,所述通道分离模块,包括:
影像接收分离单元,用于缓存并拆分来自所述影像采集模块的彩色道路影像信息,获得色彩分离后的道路影像信息;
第一信号重建单元,与所述影像接收分离单元电连接,用于提取所述色彩分离后的道路影像信息并重建第一通道影像;
第二信号重建单元,与所述影像接收分离单元电连接,用于提取所述色彩分离后的道路影像信息并重建第二通道影像;
第三信号重建单元,与所述影像接收分离单元电连接,用于提取所述色彩分离后的道路影像信息并重建第三通道影像;
信号时序对齐单元,分别与所述第一信号重建单元、第二信号重建单元和第三信号重建单元电连接,用于对所述第一通道影像、第二通道影像和第三通道影像进行数据时序对齐。
进一步地,所述通道数据存储模块,包括:
第一通道存储单元,电连接所述信号时序对齐单元,并存储来自所述信号时序对齐单元的所述第一通道影像数据;
第二通道存储单元,电连接所述信号时序对齐单元,并存储来自所述信号时序对齐单元的所述第二通道影像数据;
第三通道存储单元,电连接所述信号时序对齐单元,并存储来自所述信号时序对齐单元的所述第三通道影像数据。
进一步地,所述障碍物识别模块,包括:
车道识别单元,电连接所述第一通道存储单元,用于基于所述第一通道影像数据进行车道识别,输出车道识别结果;
车道层级识别单元,电连接所述第二通道存储单元,用于基于所述第二通道影像数据进行车道层级划分,输出车道层级划分结果;
障碍物识别单元,电连接所述第三通道存储单元,用于基于所述第三通道影像数据进行车道障碍物识别,输出车道障碍物识别结果。
进一步地,所述驾驶模式控制模块,分别与所述车道识别单元、所述车道层级识别单元和所述障碍物识别单元电连接,并与已有的车辆驾驶控制系统和车辆显示系统电连接;所述驾驶模式控制模块,将所述无人驾驶车辆的驾驶模式信息分别输出到所述车辆驾驶控制系统用于控制车辆驾驶,输出到所述车辆显示系统用于显示当前驾驶模式信息。
进一步地,所述影像接收分离单元,对所述道路影像信息进行金字塔下采样处理,得到所述道路影像信息对应的三层样本影像特征,所述三层样本影像特征分别输出到所述第一信号重建单元、第二信号重建单元和第三信号重建单元;在所述第一、第二和第三信号重建单元里对所述样本影像特征进行转换;在所述第一信号重建单元提取并重建第一通道影像;在所述第二信号重建单元提取并重建第二通道影像;在所述第三信号重建单元提取并重建第三通道影像。
进一步地,所述车道识别单元,检测所述第一通道影像的道路边缘点,利用检测到的所述道路边缘点拟合出道路边界模型;根据所述道路边界模型调整红色通道道路影像的特征区域,提取调整后的特征区域中的亮度特征灰度图,检测所述亮度特征灰度图的车道线像素点,利用所述车道线像素点构建车道,完成车道识别,获得所述车道识别结果。
进一步地,所述车道层级识别单元,
分别提取所述第二通道影像的直方图特征、方差曲线特征与旋转及对称不变特征;
将所述第二通道道路影像的直方图特征与方差曲线特征作为层级特征,旋转及对称不变特征作为纹理特征,输入到地形识别分类器,通过所述地形识别分类器得到地形分类结果;
基于所述地形分类结果获得所述车道层级划分结果;
其中,通过以下公式获得所述第二通道道路影像的方差曲线特征P、P'、F和F':
Figure BDA0003052817460000051
Figure BDA0003052817460000052
Figure BDA0003052817460000053
Figure BDA0003052817460000054
其中,P表示所述方差曲线特征的地形样本灰度均值统计分布;hK表示灰度等级K下的地形样本灰度值;rK表示灰度等级K下的地形样本灰度均值;Size表示本地形类型下的样本数量;P′表示方差曲线特征的地形样本灰度平均占有率统计分布;F表示方差曲线特征的灰度方差统计分布;bK表示灰度等级K下的地形样本灰度方差;F′表示归一化后的方差曲线特征的灰度方差;Col表示第二通道道路影像的宽;Row表示第二色通道道路影像的高。
进一步地,所述障碍物识别单元,
以车体为原点,建立固结于所述车体的实际坐标系;
构建所述第三通道道路影像的网格坐标系,将获取的多个网格坐标系数据转换到路面平整时的实际坐标系下;
对规则障碍物及不规则障碍物进行长度、高度和宽度的估计,包括:通过计算机对障碍物上待测点的网格坐标进行识别;对比于无障碍物时影像上相同像素点的网格坐标,利用几何关系得到所述待测点三维坐标的估计值;
基于所述待测点三维坐标的估计值,获得所述车道障碍物识别结果。
进一步地,所述驾驶模式控制模块,使用如下公式得到运行模式数值L:
L=LS+λLC+exp(1+LD)
其中,S为所述车道层级划分结果;LC为所述车道识别结果;LD为所述车道障碍物识别结果;λ为误差调整系数;
基于所述运行模式数值与预设的车辆驾驶模式的对应规则,得到所述无人驾驶车辆的驾驶模式信息。
本发明有益效果如下:
1.本发明在进行道路图像处理前,首先将采集到的道路图像信息进行通道分离,分别得到红色通道道路图像、绿色通道道路图像和蓝色通道道路图像。由于每个通道下的图像的像素特征和图像特征均有差异,因此分别针对各个通道图像进行不同的图像处理,特别是在复杂路况下可以得到更加准确的路况和障碍物识别结果,并基于识别结果进行无人驾驶车辆控制,提高对较差路况的障碍物识别准确率和无人驾驶控制准确率。
2.本发明基于红色通道道路图像进行车道识别,红色通道道路图像滤除了绿色和蓝色像素,其图像轮廓更加清晰,更有利于进行车道识别和构建,获得的车道识别结果较现有技术更加准确。
3.本发明基于绿色通道道路图像进行车道层级划分,绿色通道道路图像滤除了红色和蓝色像素,图像的层次感更加明显,更加有利于进行车道层级的划分,获得的车道层级划分结果现有技术更加准确。
4.本发明基于蓝色通道道路图像进行车道障碍物识别,蓝色通道道路图像滤除了红色和绿色像素,图像中的块状部分更显明显,更有利于进行障碍物的识别,获得的车道障碍物识别结果现有技术更加准确。
5.结合本发明对绿色通道道路图像的层级划分方法和方差曲线特征公式,进一步提升了道路层级划分的准确率。
6.本发明基于所述车道识别结果、车道层级划分结果和车道障碍物识别结果,控制无人驾驶车辆行驶的方法,能较为准确地识别路况和道路中的障碍物,因此能够更佳恰当地选择自动驾驶模式,实现无人驾驶车辆在复杂路况下的控制。
7.本发明采用不同的数据处理单元对三路经过拆分的道路图像数据进行分别的处理和识别,有效地保障了系统对路况和障碍物进行识别的实时性能,使本发明对路况和障碍物的识别更加迅速,无人驾驶更加安全。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。显而易见地,下面描述中的附图仅仅是本发明实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明的实施例提供的无人驾驶道路障碍物识别系统的系统结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。应该理解,这些描述只是示例性的,并非用于限定本发明的范围。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明公开的概念。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
以下结合具体实施方式和附图对本发明的技术方案作进一步详细描述。
实施例1
本发明的一个具体实施例,公开了一种无人驾驶道路障碍物识别系统,包括依次连接的影像采集模块、通道分离模块、通道数据存储模块、障碍物识别模块和驾驶模式控制模块。如图1所示的无人驾驶道路障碍物识别系统的系统结构示意图,具体说明如下。
影像采集模块,包括至少一个实时监控路面情况的车载摄像头,用于采集无人驾驶车辆行驶过程中的道路影像信息,所述道路影像信息包括RGB(红绿蓝)色彩影像信息。
所述车载摄像头可以设置在包括车辆前徽标内、前进气栅上、雾灯位置、驾驶室后视镜上、挡风玻璃上方,或者其它不影响驾驶的位置。
通道分离模块,连接所述影像采集模块,并将所述影像采集模块传输来的道路影像信息进行RGB色彩通道分离,获得相互独立第一通道影像、第二通道影像和第三通道影像。对道路影像信息采用色彩通道分离的方式,可以使每一帧的影像数据量减小至原来的1/3,有效地提高系统的数据处理效率。
其中,所述第一通道影像为红色通道道路影像,第二通道影像为绿色通道道路影像,第三通道影像为蓝色通道道路影像。
较佳地,所述通道分离模块,包括影像接收分离单元、第一信号重建单元、第二信号重建单元、第三信号重建单元和信号时序对齐单元。
其中,所述影像接收分离单元,用于缓存并拆分来自所述影像采集模块的道路影像信息,获得色彩分离后的道路影像信息。
所述第一信号重建单元,与所述影像接收分离单元连接,用于对来自所述影像接收分离单元的所述色彩分离后的道路影像信息提取并重建第一通道影像;
所述第二信号重建单元,与所述影像接收分离单元连接,用于对来自所述影像接收分离单元的所述色彩分离后的道路影像信息提取并重建第二通道影像;
所述第三信号重建单元,与所述影像接收分离单元连接,用于对来自所述影像接收分离单元的所述色彩分离后的道路影像信息提取并重建第三通道影像;
所述信号时序对齐单元,分别与所述第一信号重建单元、第二信号重建单元和第三信号重建单元连接,用于对所述第一通道影像、第二通道影像和第三通道影像进行时序对齐,以保证在后续步骤中进行障碍物识别时获取的各通道影像为同一时刻的各通道影像。
通道数据存储模块,连接所述通道分离模块,用于存储从所述通道分离模块传来的第一通道影像、第二通道影像和第三通道影像。
较佳地,所述通道数据存储模块,包括:第一通道存储单元、第二通道存储单元和第三通道存储单元。
所述第一通道存储单元,连接所述信号时序对齐单元,并将所述信号时序对齐单元传输来的第一通道影像数据进行存储。
所述第二通道存储单元,连接所述信号时序对齐单元,并将所述信号时序对齐单元传输来的第二通道影像数据进行存储。
所述第三通道存储单元,连接所述信号时序对齐单元,并将所述信号时序对齐单元传输来的第三通道影像数据进行存储。
障碍物识别模块,连接所述通道数据存储模块,用于对通道影像数据进行智能分析,得出路况和障碍物识别结果。
具体地,所述障碍物识别模块,包括:车道识别单元、车道层级识别单元和障碍物识别单元。
所述车道识别单元,连接所述第一通道存储单元,用于基于红色通道道路影像进行车道识别,输出车道识别结果。
所述车道层级识别单元,连接所述第二通道存储单元,用于基于绿色通道道路影像进行车道层级划分,输出车道层级划分结果。
所述障碍物识别单元,连接所述第三通道存储单元,用于基于蓝色通道道路影像进行车道障碍物识别,输出车道障碍物识别结果。
驾驶模式控制模块,连接所述障碍物识别模块,用于基于所述路况和障碍物识别结果,获得并输出无人驾驶车辆的驾驶模式信息。
具体地,所述驾驶模式控制模块,分别与所述障碍物识别模块内部的所述车道识别单元、所述车道层级识别单元和所述障碍物识别单元连接,并与已有的车辆驾驶控制系统和车辆显示系统连接。所述驾驶模式控制模块,将所述无人驾驶车辆的驾驶模式信息分别输出到所述车辆驾驶控制系统用于控制车辆驾驶,输出到所述车辆显示系统用于显示当前驾驶模式信息。
实施例2
在上一实施例的基础上,所述通道分离模块将所述道路影像信息进行RGB色彩通道分离,获得相互独立的第一通道影像、第二通道影像和第三通道影像,这个过程的工作流程,包括:由影像接收分离单元对所述道路影像信息进行金字塔下采样处理,得到所述道路影像信息对应的三层样本影像特征,所述三层样本影像特征分别输出到第一信号重建单元、第二信号重建单元和第三信号重建单元;在所述的三个信号重建单元里对所述样本影像特征进行转换,在第一信号重建单元提取并重建第一通道影像;在第二信号重建单元提取并重建第二通道影像;在第三信号重建单元提取并重建第三通道影像。
实施例3
在上一实施例的基础上,所述车道识别单元,基于红色通道道路影像进行车道识别,输出车道识别结果,这个过程的工作流程,包括:
检测所述红色通道道路影像的道路边缘点,利用检测到的所述道路边缘点拟合出道路边界模型;根据所述道路边界模型调整红色通道道路影像的特征区域,提取调整后的特征区域中的亮度特征灰度图,检测所述亮度特征灰度图的车道线像素点,利用所述车道线像素点构建车道,完成车道识别,获得车道识别结果。
实施例4
在上一实施例的基础上,所述车道层级识别单元,基于绿色通道道路影像进行车道层级划分,输出车道层级划分结果,这个过程的工作流程,包括:
分别提取绿色通道道路影像的直方图特征、方差曲线特征与旋转及对称不变特征;将绿色通道道路影像的直方图特征与方差曲线特征作为层级特征,旋转及对称不变特征作为纹理特征,输入到地形识别分类器,通过地形识别分类器得到地形分类结果;基于所述地形分类结果获得车道层级划分结果,完成车道层级划分。
较佳地,采用以下公式对所述绿色通道道路影像进行影像处理,得到绿色通道道路影像的方差曲线特征P、P'、F和F':
Figure BDA0003052817460000121
Figure BDA0003052817460000122
Figure BDA0003052817460000123
Figure BDA0003052817460000124
其中,P表示所述方差曲线特征的地形样本灰度均值统计分布;hK表示灰度等级K下的地形样本灰度值;rK表示灰度等级K下的地形样本灰度均值;Size表示本地形类型下的样本数量;P′表示方差曲线特征的地形样本灰度平均占有率统计分布;F表示方差曲线特征的灰度方差统计分布;bK表示灰度等级K下的地形样本灰度方差;F′表示归一化后的方差曲线特征的灰度方差;Col表示绿色通道道路影像的宽;Row表示绿色通道道路影像的高。
通过上述公式中对绿色通道道路影像进行影像处理,求解得到的方差特性曲线更准确,进一步提升了道路层级的划分的准确率。
实施例5
在上一实施例的基础上,所述障碍物识别单元,基于蓝色通道道路影像进行车道障碍物识别,输出车道障碍物识别结果,这个过程的工作流程,包括:
以车体为原点,建立固结于所述车体的实际坐标系;
构建所述蓝色通道道路影像的网格坐标系,将获取的多个网格坐标系数据转换到路面平整时的实际坐标系下;
对规则障碍物及不规则障碍物进行长度、高度和宽度的估计,包括:通过计算机对障碍物上待测点的网格坐标进行识别;对比于无障碍物时影像上相同像素点的网格坐标,利用几何关系得到所述待测点三维坐标的估计值;
基于所述待测点三维坐标的估计值,获得车道障碍物识别结果。
实施例6
在上一实施例的基础上,所述驾驶模式控制模块,基于所述车道识别结果、车道层级划分结果和车道障碍物识别结果,获得并输出无人驾驶车辆的驾驶模式信息,这个过程的工作流程,包括:
使用如下公式得到运行模式数值L:
L=LS+λLC+exp(1+LD)
其中,LS为车道层级划分结果;LC为车道识别结果;LD为车道障碍物识别结果;λ为误差调整系数,为使计算结果落入设定的范围内,λ的取值视设定的范围而决定。
基于所述运行模式数值与预设的车辆驾驶模式的对应规则,得到当前无人驾驶车辆的驾驶模式信息。
将所述驾驶模式信息分别输出到所述车辆驾驶控制系统用于控制车辆驾驶,输出到所述车辆显示系统用于显示当前驾驶模式信息。
最后应说明的是,以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者工作流程进行再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、工作流程的名称,仅仅是为了区分各个模块或者工作流程,不视为对本发明的不当限定。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、流程步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、工作流程对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (7)

1.一种无人驾驶道路障碍物识别系统,其特征在于,包括:
影像采集模块,包括至少一个实时监控路面情况的车载摄像头,用于采集无人驾驶车辆行驶过程中的彩色道路影像信息;
通道分离模块,电连接所述影像采集模块,并将所述影像采集模块传输来的道路影像信息进行RGB色彩通道分离,获得相互独立第一通道影像、第二通道影像和第三通道影像;其中,所述第一通道影像为红色通道道路影像,第二通道影像为绿色通道道路影像,第三通道影像为蓝色通道道路影像;
通道数据存储模块,电连接所述通道分离模块,用于存储从所述通道分离模块传来的所述第一通道影像、第二通道影像和第三通道影像;
障碍物识别模块,电连接所述通道数据存储模块,用于对所述第一通道影像、第二通道影像和第三通道影像数据进行智能分析,得出路况和障碍物识别结果;
驾驶模式控制模块,电连接所述障碍物识别模块,用于基于所述路况和障碍物识别结果,获得并输出无人驾驶车辆的驾驶模式信息;
所述通道分离模块,包括:
影像接收分离单元,用于缓存并拆分来自所述影像采集模块的彩色道路影像信息,获得色彩分离后的道路影像信息;
第一信号重建单元,与所述影像接收分离单元电连接,用于提取所述色彩分离后的道路影像信息并重建第一通道影像;
第二信号重建单元,与所述影像接收分离单元电连接,用于提取所述色彩分离后的道路影像信息并重建第二通道影像;
第三信号重建单元,与所述影像接收分离单元电连接,用于提取所述色彩分离后的道路影像信息并重建第三通道影像;
信号时序对齐单元,分别与所述第一信号重建单元、第二信号重建单元和第三信号重建单元电连接,用于对所述第一通道影像、第二通道影像和第三通道影像进行数据时序对齐;
所述通道数据存储模块,包括:
第一通道存储单元,电连接所述信号时序对齐单元,并存储来自所述信号时序对齐单元的所述第一通道影像数据;
第二通道存储单元,电连接所述信号时序对齐单元,并存储来自所述信号时序对齐单元的所述第二通道影像数据;
第三通道存储单元,电连接所述信号时序对齐单元,并存储来自所述信号时序对齐单元的所述第三通道影像数据;
所述障碍物识别模块,包括:
车道识别单元,电连接所述第一通道存储单元,用于基于所述第一通道影像数据进行车道识别,输出车道识别结果;
车道层级识别单元,电连接所述第二通道存储单元,用于基于所述第二通道影像数据进行车道层级划分,输出车道层级划分结果;
障碍物识别单元,电连接所述第三通道存储单元,用于基于所述第三通道影像数据进行车道障碍物识别,输出车道障碍物识别结果。
2.根据权利要求1所述的一种无人驾驶道路障碍物识别系统,其特征在于,所述驾驶模式控制模块,分别与所述车道识别单元、所述车道层级识别单元和所述障碍物识别单元电连接,并与已有的车辆驾驶控制系统和车辆显示系统电连接;所述驾驶模式控制模块,将所述无人驾驶车辆的驾驶模式信息分别输出到所述车辆驾驶控制系统用于控制车辆驾驶,输出到所述车辆显示系统用于显示当前驾驶模式信息。
3.根据权利要求2所述的一种无人驾驶道路障碍物识别系统,其特征在于,所述影像接收分离单元,对所述道路影像信息进行金字塔下采样处理,得到所述道路影像信息对应的三层样本影像特征,所述三层样本影像特征分别输出到所述第一信号重建单元、第二信号重建单元和第三信号重建单元;在所述第一、第二和第三信号重建单元里对所述样本影像特征进行转换;在所述第一信号重建单元提取并重建第一通道影像;在所述第二信号重建单元提取并重建第二通道影像;在所述第三信号重建单元提取并重建第三通道影像。
4.根据权利要求3所述的一种无人驾驶道路障碍物识别系统,其特征在于,所述车道识别单元,检测所述第一通道影像的道路边缘点,利用检测到的所述道路边缘点拟合出道路边界模型;根据所述道路边界模型调整红色通道道路影像的特征区域,提取调整后的特征区域中的亮度特征灰度图,检测所述亮度特征灰度图的车道线像素点,利用所述车道线像素点构建车道,完成车道识别,获得所述车道识别结果。
5.根据权利要求4所述的一种无人驾驶道路障碍物识别系统,其特征在于,所述车道层级识别单元,
分别提取所述第二通道影像的直方图特征、方差曲线特征与旋转及对称不变特征;
将第二通道道路影像的直方图特征与方差曲线特征作为层级特征,旋转及对称不变特征作为纹理特征,输入到地形识别分类器,通过所述地形识别分类器得到地形分类结果;
基于所述地形分类结果获得所述车道层级划分结果;
其中,通过以下公式获得所述第二通道道路影像的方差曲线特征P、P'、F和F':
Figure FDA0003403099810000041
Figure FDA0003403099810000042
Figure FDA0003403099810000043
Figure FDA0003403099810000044
其中,P表示所述方差曲线特征的地形样本灰度均值统计分布;hK表示灰度等级K下的地形样本灰度值;rK表示灰度等级K下的地形样本灰度均值;Size表示本地形类型下的样本数量;P′表示方差曲线特征的地形样本灰度平均占有率统计分布;F表示方差曲线特征的灰度方差统计分布;bK表示灰度等级K下的地形样本灰度方差;F′表示归一化后的方差曲线特征的灰度方差;Col表示第二通道道路影像的宽;Row表示第二色通道道路影像的高。
6.根据权利要求5所述的一种无人驾驶道路障碍物识别系统,其特征在于,所述障碍物识别单元,
以车体为原点,建立固结于所述车体的实际坐标系;
构建第三通道道路影像的网格坐标系,将获取的多个网格坐标系数据转换到路面平整时的实际坐标系下;
对规则障碍物及不规则障碍物进行长度、高度和宽度的估计,包括:通过计算机对障碍物上待测点的网格坐标进行识别;对比于无障碍物时影像上相同像素点的网格坐标,利用几何关系得到所述待测点三维坐标的估计值;
基于所述待测点三维坐标的估计值,获得所述车道障碍物识别结果。
7.根据权利要求6所述的一种无人驾驶道路障碍物识别系统,其特征在于,所述驾驶模式控制模块,使用如下公式得到运行模式数值L:
L=LS+λLC+exp(1+LD)
其中,LS为所述车道层级划分结果;LC为所述车道识别结果;LD为所述车道障碍物识别结果;λ为误差调整系数;
基于所述运行模式数值与预设的车辆驾驶模式的对应规则,得到所述无人驾驶车辆的驾驶模式信息。
CN202110492117.6A 2021-05-06 2021-05-06 一种无人驾驶道路障碍物识别系统 Active CN113139493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110492117.6A CN113139493B (zh) 2021-05-06 2021-05-06 一种无人驾驶道路障碍物识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110492117.6A CN113139493B (zh) 2021-05-06 2021-05-06 一种无人驾驶道路障碍物识别系统

Publications (2)

Publication Number Publication Date
CN113139493A CN113139493A (zh) 2021-07-20
CN113139493B true CN113139493B (zh) 2022-01-28

Family

ID=76816624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110492117.6A Active CN113139493B (zh) 2021-05-06 2021-05-06 一种无人驾驶道路障碍物识别系统

Country Status (1)

Country Link
CN (1) CN113139493B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108444390A (zh) * 2018-02-08 2018-08-24 天津大学 一种无人驾驶汽车障碍物识别方法及装置
CN108645409A (zh) * 2018-05-14 2018-10-12 深圳万发创新进出口贸易有限公司 一种基于无人驾驶的行车安全系统
CN110045736A (zh) * 2019-04-12 2019-07-23 淮安信息职业技术学院 一种基于无人机的弯道障碍物避让方法及其系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800091B (zh) * 2012-07-10 2014-09-03 深圳市捷顺科技实业股份有限公司 一种运动目标分割方法、装置和系统
CN105488492B (zh) * 2015-12-25 2019-09-13 北京大学深圳研究生院 一种彩色图像预处理方法、道路识别方法及相关装置
US10139823B2 (en) * 2016-09-13 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method and device for producing vehicle operational data based on deep learning techniques
CN109101861A (zh) * 2017-06-20 2018-12-28 百度在线网络技术(北京)有限公司 障碍物类型识别方法、装置、设备及存储介质
CN110147780B (zh) * 2019-05-28 2021-01-01 山东大学 基于层级地形的实时性野外机器人地形识别方法及系统
CN112613521B (zh) * 2020-12-28 2023-01-20 上海埃林哲软件系统股份有限公司 基于数据转换的多层次数据分析系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108444390A (zh) * 2018-02-08 2018-08-24 天津大学 一种无人驾驶汽车障碍物识别方法及装置
CN108645409A (zh) * 2018-05-14 2018-10-12 深圳万发创新进出口贸易有限公司 一种基于无人驾驶的行车安全系统
CN110045736A (zh) * 2019-04-12 2019-07-23 淮安信息职业技术学院 一种基于无人机的弯道障碍物避让方法及其系统

Also Published As

Publication number Publication date
CN113139493A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN110487562B (zh) 一种用于无人驾驶的车道保持能力检测系统及方法
CN107506711B (zh) 基于卷积神经网络的双目视觉障碍物检测系统及方法
WO2019196130A1 (zh) 面向车载热成像行人检测的分类器训练方法和装置
EP2811423B1 (en) Method and apparatus for detecting target
CN110647850A (zh) 一种基于逆透视原理的车道偏移自动测量方法
US8452053B2 (en) Pixel-based texture-rich clear path detection
US20090295917A1 (en) Pixel-based texture-less clear path detection
CN103617412A (zh) 实时车道线检测方法
CN108052904B (zh) 车道线的获取方法及装置
CN106951898B (zh) 一种车辆候选区域推荐方法及系统、电子设备
CN106250816A (zh) 一种基于双摄像头的车道线识别方法及系统
CN106326822A (zh) 车道线检测的方法及装置
CN104902261A (zh) 用于低清晰度视频流中的路面识别的装置和方法
CN105718916A (zh) 一种基于霍夫变换的车道线检测方法
CN111723778B (zh) 基于MobileNet-SSD的车辆测距系统及方法
CN113200052B (zh) 一种用于无人驾驶的路况智能识别方法
CN111539907A (zh) 用于目标检测的图像处理方法及装置
CN116279592A (zh) 一种用于无人物流车的可行驶区域划分方法
CN110733416B (zh) 一种基于逆透视变换的车道偏离预警方法
CN106803073B (zh) 基于立体视觉目标的辅助驾驶系统及方法
Vajak et al. A rethinking of real-time computer vision-based lane detection
CN116503821B (zh) 基于点云数据和图像识别的道路标识识别方法及系统
CN113139493B (zh) 一种无人驾驶道路障碍物识别系统
CN112465735A (zh) 行人检测方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant