CN110188606A - 基于高光谱成像的车道识别方法、装置及电子设备 - Google Patents

基于高光谱成像的车道识别方法、装置及电子设备 Download PDF

Info

Publication number
CN110188606A
CN110188606A CN201910328985.3A CN201910328985A CN110188606A CN 110188606 A CN110188606 A CN 110188606A CN 201910328985 A CN201910328985 A CN 201910328985A CN 110188606 A CN110188606 A CN 110188606A
Authority
CN
China
Prior art keywords
image
lane
region
band
band image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910328985.3A
Other languages
English (en)
Other versions
CN110188606B (zh
Inventor
何良雨
徐炜文
王星泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hop Edge Technology (shenzhen) Co Ltd
Original Assignee
Hop Edge Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hop Edge Technology (shenzhen) Co Ltd filed Critical Hop Edge Technology (shenzhen) Co Ltd
Priority to CN201910328985.3A priority Critical patent/CN110188606B/zh
Publication of CN110188606A publication Critical patent/CN110188606A/zh
Application granted granted Critical
Publication of CN110188606B publication Critical patent/CN110188606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种基于高光谱成像的车道识别方法、装置及电子设备,包括:获取车道的各波段图像;将所述各波段图像输入经过训练的卷积神经网络模型中,得到分割出车道区域的各波段图像;确定所述车道区域的真伪;将确定为真的所述车道区域进行融合,得到车道分割图像;通过本发明实施例可以获得更加丰富的图片信息,提高车道识别的效率和准确率,使车道识别装置具有普适性,适用于更多场合。

Description

基于高光谱成像的车道识别方法、装置及电子设备
技术领域
本申请涉及车道识别的技术领域,特别涉及一种基于高光谱成像的车道识别方法、装置及电子设备。
背景技术
随着社会经济的发展,无人驾驶汽车引起了越来越多的关注与研究,在无人驾驶汽车系统的开发中,车道识别能帮助系统监督和定位车辆的位置,在车辆导航中起着重要的作用。
目前车道识别技术主要是通过对普通可见光图像进行车道线边缘的识别来实现,但该方法局限性较大,会受到很多外界因素如强光、阴影等的干扰,导致系统识别效率低,准确性差,普适性不高。
发明内容
本申请实施例提供了一种基于高光谱成像的车道识别方法、装置及电子设备,所得到的图像信息更加丰富,可以获得传统成像技术没有办法体现的信息,效率高,具有普适性。
本申请实施例的第一方面提供了一种基于高光谱成像的车道识别方法,所述方法包括:
获取车道的各波段图像;
将所述各波段图像输入经过训练的卷积神经网络模型中,得到分割出车道区域的各波段图像;
确定所述车道区域的真伪;
将确定为真的所述车道区域进行融合,得到车道分割图像。
本申请实施例的第二方面提供了一种基于高光谱成像的车道识别方法,所述方法包括:
获取车道的各波段图像;
将所述各波段图像输入经过训练的卷积神经网络模型中,剔除对比度不高的图像;
融合所述各波段图像中剩余的图像,获得对比度最高的图像;
通过基于边缘的分割方法从所述对比度最高的图像中分割出车道区域,得到车道分割图像。
本申请实施例的第三方面提供了一种基于高光谱成像的车道识别装置,包括:
获取单元,用于获取车道的各波段图像;
分割单元,用于将所述各波段图像输入经过训练的卷积神经网络模型中,得到分割出车道区域的各波段图像;
确定单元,用于确定所述车道区域的真伪;
融合单元,用于将确定为真的所述车道区域进行融合,得到车道分割图像。
本申请实施例的第四方面提供了一种基于高光谱成像的车道识别装置,包括:
获取单元,用于获取车道的各波段图像;
剔除单元,用于将所述各波段图像输入经过训练的卷积神经网络模型中,剔除对比度不高的图像;
融合单元,用于融合所述各波段图像中剩余的图像,获得对比度最高的图像;
分割单元,用于通过基于边缘的分割方法从所述对比度最高的图像中分割出车道区域,得到车道分割图像。
本申请实施例的第五方面提供一种电子设备,包括处理器、存储器、通信接口,以及一个或多个程序,所述程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如本申请实施例第一方面或第二方面所述的方法中的步骤指令。
本申请实施例的第六方面提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器执行,以执行如本申请实施例第一方面或第二方面所任一方法中所描述的部分或全部步骤。
本申请实施例的第七方面提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,具有如下有益效果:
在本申请实施例中,获取车道的各波段图像;将所述各波段图像输入经过训练的卷积神经网络模型中,得到分割出车道区域的各波段图像;确定所述车道区域的真伪;将确定为真的所述车道区域进行融合,得到车道分割图像;可以看出,本申请实施例通过高光谱相机获得更加丰富的图片信息,通过训练好的卷积神经网络提高车道识别的效率和准确率,使车道识别装置具有普适性,可适用于更多场合。
附图说明
图1是本申请实施例提供的一种基于高光谱成像的车道识别方法的流程示意图;
图2是本申请实施例提供的车道区域分割结果概率分布示意图;
图3是本申请实施例提供的一种基于高光谱成像的车道识别方法的流程示意图;
图4为本申请实施例提供的一种基于高光谱成像的车道识别方法的流程示意图;
图5是本申请实施例提供的一种电子设备的结构示意图;
图6为本申请实施例提供了一种基于高光谱成像的车道识别装置的结构示意图;
图7为本申请实施例提供了一种基于高光谱成像的车道识别装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例涉及高光谱成像技术,其原理如下:高光谱成像技术是指在宽的光谱范围内获取观测对象一定数量观测点连续精细光谱辐射信息的一种手段。地球上不同的元素及其化合物都有自己独特的光谱特征,光谱因此被视为辨别物质的“指纹”,是用以识别和分析不同物体特征的一种重要的“身份证”。高光谱成像集观测对象的几何、辐射和光谱信息于一体,把传统上的相机、辐射计和光谱仪的能力集于一身,在合适的空间范围和光谱范围内,以足够的光谱、空间和辐射分辨率,定量地获取观测对象的组成成分和结构信息,所采集的图像信息量丰富,识别度高,数据描述模型多。
高光谱相机用于采集任意光照条件下的车道的高光谱图像,高光谱相机包括准直镜、光栅光谱仪、聚焦透镜和面阵CCD,高光谱相机与普通相机最大的区别在于捕捉图像的面阵CCD不同。光聚焦到面阵CCD上,面阵CCD可捕捉波长范围为200~2500nm的光生成图像,此范围的波长通道数(7~100)大于普通相机采集的通道数(红绿蓝3个通道),其中每一个通道捕捉指定波长的光,本申请实施例中的高光谱相机的光谱捕捉范围为400~1000nm。光栅光谱仪得到一个三维的数据立方体,从每个空间象元都可以提取一条连续的光谱曲线,数据立方体包括用于表示物体的实际空间分布的图像空间维信息x、y和表示每个像素的光谱属性的光谱波段L,光谱波段L中涵盖了物质的光谱信息,因为每种物质的光谱信息都不一样,因此可以利用光谱波段L所包含的特定的光谱信息来判断该像素所代表的特定的物质种类。高光谱相机可安装于车辆、遥感、机器人、无人机、道路监控系统等装置中。
参阅图1,图1为本申请实施例提供的一种基于高光谱成像的车道识别方法的流程示意图,包括:
S101,获取车道的各波段图像。
其中,通过高光谱相机得到高光谱图像,所述高光谱图像由所述各波段图像重叠而成,所述车道为热溶涂料材质,包括人行横道线、左/右转弯导向线、车道分界线、车行道边缘线、导向箭头等。
S102,将所述各波段图像输入经过训练的卷积神经网络模型中,得到分割出车道区域的各波段图像。
S103,确定所述车道区域的真伪。
确定所述车道区域的真伪即确定所述高光谱图像中各像素点所在区域属于车道区域还是非车道区域。
S104,将确定为真的所述车道区域进行融合,得到车道分割图像。
将确定为真的所述车道区域进行融合,即将确定属于车道区域的像素点和属于非车道区域的像素点分别进行融合,得到车道分割图像。
可以看出,在本申请实施例中,通过高光谱相机获取车道的各波段图像;从所述各波段图像中分割出车道区域;确定所述车道区域的真伪;将确定为真的所述车道区域进行融合,得到车道分割图像;可以看出,本申请实施例通过高光谱相机获得更加丰富的图片信息,通过训练好的卷积神经网络进行图像分割和图像融合,提高车道识别的效率和准确率,使车道识别装置具有普适性,可适用于更多场合。
在一个可能的示例中,所述将所述各波段图像输入经过训练的卷积神经网络模型中,得到分割出车道区域的各波段图像包括:将所述各波段图像输入经过训练的卷积神经网络模型中,判定所述各波段图像中各像素点的类别并赋予类别标签,得到分割出车道区域的各波段图像,其中,所述类别标签包括车道区域和非车道区域。
其中,为了确保获取正确的光谱和几何信息,在将所述各波段图像输入经过训练的卷积神经网络模型中后,需要对所述各波段图像进行去噪、配准等预处理。
在一个可能的示例中,所述确定所述车道区域的真伪包括:
根据所述类别标签统计所述各波段图片中各像素点所在区域被归类为车道区域的次数N,N为自然数;
若N大于等于预设阈值,判定所述像素点所在的区域属于车道区域,若N小于预设阈值,判定所述像素点所在的区域不属于车道区域,根据判定结果更新所述类别标签。
其中,因为车道区域由其中各像素点组成,所以确定所述车道区域的真伪等价于确定其中各像素点的类别标签真伪。由于高光谱图像的特性,在某些波段下被遮挡的区域会在其他波段中体现出来,例如可见光在夜间成像能力差,而红外光在夜间可以通过不同物体之间的温差成像,因此各波段图片的车道区域分割结果不尽相同,各波段图片中各像素点被归类为车道区域还是非车道区域的情况也不尽相同。
可参见图2,图2为车道区域分割结果概率分布示意图,可以看到部分像素点被判定为车道的次数为9或者10,表示这些像素点在大多或全部波段下被判定为属于车道区域,还有部分像素点被判定为车道的次数为0或者1,表示这些像素点在大多或全部波段下被判定为属于非车道区域,故此,根据判定结果更新各像素点的类别标签。
在一个可能的示例中,所述卷积神经网络模型是经过迭代训练得到,所述迭代训练包括:
从所述各波段图像中随机选取M张图像输入卷积神经网络中,M为正整数;
通过所述卷积神经网络提取所述M张波段图像的特征;
根据提取的特征将所述M张波段图像划分为车道区域和非车道区域,得到区域划分结果;
根据所述区域划分结果调整所述卷积神经网络的参数。
其中,在本示例中,M为大于等于200的正整数,实际M取值根据具体车道情况而定,所述各波段图像中的各像素点有相应的类别标签,类别标签包括车道区域和非车道区域。各波段图像的特征众多,选取对于车道区域与非车道区域区分性最强的特征,根据选取的特征判断各波段图像中各像素点是否属于车道区域,得到区域划分结果,通过各像素点的类别标签确定区域划分结果是否正确,并据此调整参数,其中,所述特征包括:颜色特征、形状特征、纹理特征。
本申请实施例仅限于区分车道区域与非车道区域两块,可行的,在训练数据丰富的情况下,可以增加标签的数量,并训练卷积神经网络,从而实现一次分割多块区域,例如车道区域,建筑区域,绿荫区域,背景区域等。
其中,所述卷积神经网络可由其他具有相同功能的算法进行替代。
可见,所述卷积神经网络通过大量数据的训练,最终可以得到精确度高,图像处理速度快的所述卷积神经网络模型。
请参阅图3,图3为本申请实施例提供了一种基于高光谱成像的车道识别方法的流程示意图,包括:
S301、获取车道的各波段图像。
S302、将所述各波段图像输入经过训练的卷积神经网络模型中。
S303、判定所述各波段图像中各像素点的类别并赋予类别标签,得到分割出车道区域的各波段图像。
S304、根据所述类别标签统计所述各波段图片中各像素点被归类为车道区域的次数N。
S305、若N大于等于预设阈值,判定所述像素点属于车道区域,若N小于预设阈值,判定所述像素点不属于车道区域,根据判定结果更新所述类别标签。
S306、根据所述类别标签融合车道区域,得到车道分割图像。
在本申请实施例中,通过高光谱相机获取车道的各波段图像;从所述各波段图像中分割出车道区域;确定所述车道区域的真伪;将确定为真的所述车道区域进行融合,得到车道分割图像;可以看出,本申请实施例通过高光谱相机获得更加丰富的图片信息,通过训练好的卷积神经网络提高车道识别的效率和准确率,使车道识别装置具有普适性,可适用于更多场合。
本实施例示出在无人驾驶场景中,通过上述实施例所述的基于高光谱成像的车道识别方法帮助车辆判断自身的位置和前进方向,决定转弯方向和刹车时机的过程。
无人驾驶车辆基于导航设备检测到转向提示信息,开始减速,通过上述实施例中的车道识别方法得到车辆所在道路的车道分割图像,确定当前车道线是否存在转向标识;若当前车道线存在转向标识,则车道线为红绿灯停车线或其他,车道线中断,无人驾驶车辆通过捕捉周围影像反馈控制转向过程;若当前车道线不存在转向标识,则车道线为单向车道弯道或其他,车道线不会中断,无人驾驶车辆持续检测当前车道线,基于车道线的曲率变化动态调整转向角度和速度。
可见,将基于高光谱成像的车道识别装置引入无人驾驶车辆中,可以降低成本,提高控制效率,减少意外事故。
需要说明的是,具体的车道检测和识别的步骤可参见图1,在此不再叙述。
本实施例示出在道路绘制场景中,通过基于高光谱成像的车道识别方法帮助城市道路的绘制。
测绘设备通过无人机等方式采集目标区域的高光谱图像,将高光谱图像分为包含树木的第一部分图像以及未被树木遮挡的第二部分图像,针对第一部分图像,通过基于高光谱成像的车道识别方法还原出被覆盖的道路图像,将被还原的第一部分道路图像与未被树木遮挡的第二部分图像融合处理得到目标区域的完整道路图像。
可见,在传统方法所获得的图像中,车道区域容易被植物等遮挡,因此很难在传统图像中分割出完整的城市道路框架,通过利用高光谱图像和卷积神经网络,能更加成功地分割出城市道路的框架和走向。本申请实施例提出的道路测绘方法也可以被应用到无人机、航拍或遥感中,用于对城市道路的绘制与记录,为未来城市规划提供信息。
需要说明的是,具体的车道检测和识别的步骤可参见图1,在此不再叙述。
本实施例示出在复杂路段的导盲场景中,通过基于高光谱成像的车道识别方法帮助识别和追踪人行道以保证安全且不偏离行走轨道。
针对复杂路段,如人行道有步行人群、自行车、路边摊等各种障碍物时,人行道的车道线容易被遮挡,机器导盲犬通过图像采集装置采集路面信息,得到图像数据,基于图像数据判断当前场景的复杂程度并确定光谱波段数量,启用高光谱相机在相应的光谱波段采集图像,根据基于高光谱成像的车道识别方法识别出人行道位置,从而导航。
可见,将基于高光谱成像的车道识别装置应用于导盲设备中,可以提高复杂路段导航的效率和准确度,辅助用户安全行走。
需要说明的是,具体的车道检测和识别的步骤可参见图1,在此不再叙述。
本实施例示出在道路导航场景中,通过基于高光谱成像的车道识别方法检测并识别车道线,定位出车辆的具体位置,从而解决导航软件无法识别车辆在哪个车道上而误报的问题。
通过基于高光谱成像的车道识别方法得到车辆所在道路的车道分割图像,定位出车辆在第几个车道,根据车道线的颜色及形状判断车道线类型,识别当前车道的直行和转向标识,从而确定行车方式和转向策略,并检测当前导航信息是否与实际车道情况一致;若一致,则继续保持当前导航策略;若不一致,则基于实际车道情况更新导航策略;
可见,将基于高光谱成像的车道识别装置应用于车载导航设备中,可以通过直行和转向标识的检测和识别及时定位出道路变化情况从而辅助驾驶,提高导航了准确度和实时性,避免违章。
需要说明的是,具体的车道检测和识别的步骤可参见图1,在此不再叙述。
参阅图4,图4为本申请实施例提供的一种基于高光谱成像的车道识别方法的流程示意图,包括:
S401、获取车道的各波段图像;
S402、将所述各波段图像输入经过训练的卷积神经网络模型中,剔除对比度不高的图像;
S403、融合所述各波段图像中剩余的图像,获得对比度最高的图像;
S404、通过基于边缘的分割方法从所述对比度最高的图像中分割出车道区域,得到车道分割图像。
其中,在获取车道的各波段图像后,将所述各波段图像输入训练好的卷积神经网络模型,剔除对比度不高,车道区域特点不突出的图像,并融合所述各波段图像中剩余的对比度高,车道区域特点突出的图像,即得到对比度最高的一张图像,在本示例中,选用的分割方法为基于边缘的分割方法,在具体的实施例中,分割方法包括:基于阈值的分割方法、基于区域的分割方法、基于卷积神经网络的分割方法中等。
可以看出,传统方法由于遮挡导致的信息丢失和复杂环境下的噪音,所获的图像中车道与环境的对比度不高,因此车道识别的成功率偏低。本申请实施例采用了先融合再分割的方法,可以获得对比度最高的图像,进而进行图像分割,弥补了传统方法中信息量过少、照明油污沙土等复杂环境导致的大量噪音等问题,大大提高模型的准确率和效率,有效的控制了成本。
在一个可能的示例中,所述融合所述各波段图像中剩余的图像,获得对比度最高的图像包括:
对所述各波段图像进行预处理操作,所述预处理操作包括去噪、配准;
选取合适的图像融合算法融合预处理后的所述波段图像;
根据融合后的所述波段图像评估图像融合结果,得到所述对比度最高的图像。
其中,为了消除所述波段图像中的无关信息,增强相关信息的可检测性,并简化数据,需要对所述波段图像进行预处理,所述预处理包括:数字化、平滑、复原、增强、图像去噪、图像配准。其中,图像配准包括以下步骤:搜索空间、特征提取、搜索策略和相似性度量。搜索空间是待配准的图像坐标之间所有可能的变换关系,特征提取用于从待配准的图像中提取出用于匹配图像的特征,搜索策略用于在搜索空间中寻找最佳的变换模型参数,相似性度量用于衡量搜索空间中不同的参数变换模型的相似程度。
本示例中的图像融合为决策级融合,决策级融合是指对每个影像的特征信息进行分类、识别等处理,形成相应结果后,进行进一步的融合过程,所述图像融合算法包括以下中的任意一种:贝叶斯估计法,神经网络法、模糊聚类法、D-S证据推理法、表决法。其中,神经网络法可以解决融合过程中数据类别先验信息难于获得而造成的困难,在决策层融合算法中,神经网络不仅作为分类器对信息作出决策判断,还作为融合中心,对初始决策进行进一步的联合决策分析。
若评估的图像融合结果不符合要求,则调整参数,重新进行图像融合,并评估融合结果。
可见,图像融合算法在融合的过程中通过不断的调整参数,提高了模型准确性,得到更好的图像融合结果。
请参阅图5,图5为本申请实施例提供的一种电子设备的结构示意图,如图所示,包括处理器、存储器、通信接口,以及一个或多个程序,所述程序被存储在所述存储器中,并且被配置由所述处理器执行。
在一可能的示例中,在电子设备为基于高光谱成像的车道识别装置时,所述程序包括用于执行以下步骤的指令:
获取车道的各波段图像;
将所述各波段图像输入经过训练的卷积神经网络模型中,得到分割出车道区域的各波段图像;
确定所述车道区域的真伪;
将确定为真的所述车道区域进行融合,得到车道分割图像。
在一个可能的示例中,在所述将所述各波段图像输入经过训练的卷积神经网络模型中,得到分割出车道区域的各波段图像方面,所述程序包括用于执行以下步骤的指令:
将所述各波段图像输入经过训练的卷积神经网络模型中,判定所述各波段图像中各像素点的类别并赋予类别标签,得到分割出车道区域的各波段图像,其中,所述类别标签包括车道区域和非车道区域。
在一个可能的示例中,在所述确定所述车道区域的真伪方面,所述程序包括用于执行以下步骤的指令:
根据所述类别标签统计所述各波段图片中各像素点所在区域被归类为车道区域的次数N,N为自然数;
若N大于等于预设阈值,判定所述像素点所在的区域属于车道区域,若N小于预设阈值,判定所述像素点所在的区域不属于车道区域,根据判定结果更新所述类别标签。
在一个可能的示例中,所述卷积神经网络模型是经过迭代训练得到,所述程序包括用于执行以下迭代训练的指令:
从所述各波段图像中随机选取M张图像输入所述卷积神经网络中,M为正整数;
通过所述卷积神经网络提取所述M张波段图像的特征;
根据提取的特征将所述M张波段图像划分为车道区域和非车道区域,得到区域划分结果;
根据所述区域划分结果调整所述卷积神经网络的参数。
在一可能的示例中,在电子设备为基于高光谱成像的车道识别装置时,所述程序还包括用于执行以下步骤的指令:
获取车道的各波段图像;
将所述各波段图像输入经过训练的卷积神经网络模型中,剔除对比度不高的图像;
融合所述各波段图像中剩余的图像,获得对比度最高的图像;
通过基于边缘的分割方法从所述对比度最高的图像中分割出车道区域,得到车道分割图像。
在一个可能的示例中,在所述融合所述各波段图像中剩余的图像,获得对比度最高的图像方面,所述程序还包括用于执行以下步骤的指令:
对所述各波段图像进行预处理操作,所述预处理操作包括去噪、配准;
选取合适的图像融合算法融合预处理后的所述波段图像;
根据融合后的所述波段图像评估图像融合结果,得到所述对比度最高的图像。
上述主要从方法执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,终端为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对终端进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
与上述一致的,请参阅图6,图6为本申请实施例提供了一种基于高光谱成像的车道识别装置600的结构示意图。所述装置包括获取单元601、分割单元602、确定单元603、融合单元604,其中:
获取单元601,用于获取车道的各波段图像;
分割单元602,用于将所述各波段图像输入经过训练的卷积神经网络模型中,得到分割出车道区域的各波段图像;
确定单元603,用于确定所述车道区域的真伪;
融合单元604,用于将确定为真的所述车道区域进行融合,得到车道分割图像。
在一可能的示例中,在将所述各波段图像输入经过训练的卷积神经网络模型中,得到分割出车道区域的各波段图像方面,所述分割单元602具体用于:
将所述各波段图像输入经过训练的卷积神经网络模型中,判定所述各波段图像中各像素点的类别并赋予类别标签,得到分割出车道区域的各波段图像,其中,所述类别标签包括车道区域和非车道区域。
在一可能的示例中,在确定所述车道区域的真伪方面,所述确定单元603具体用于:
根据所述类别标签统计所述各波段图片中各像素点所在区域被归类为车道区域的次数N,N为自然数;
若N大于等于预设阈值,判定所述像素点所在的区域属于车道区域,若N小于预设阈值,判定所述像素点所在的区域不属于车道区域,根据判定结果更新所述类别标签。
在本申请实施例中,通过高光谱相机获取车道的各波段图像;从所述各波段图像中分割出车道区域;确定所述车道区域的真伪;将确定为真的所述车道区域所在的波段图像进行融合,得到车道分割图像;可以看出,本申请实施例通过高光谱相机获得更加丰富的图片信息,通过训练好的卷积神经网络提高车道识别的效率和准确率,使车道识别装置具有普适性,可适用于更多场合。
请参阅图7,图7为本申请实施例提供了一种基于高光谱成像的车道识别装置700的结构示意图。所述装置包括获取单元701、剔除单元702、融合单元703、分割单元704,其中:
获取单元701,用于获取车道的各波段图像;
剔除单元702,用于将所述各波段图像输入经过训练的卷积神经网络模型中,剔除对比度不高的图像;
融合单元703,用于融合所述各波段图像中剩余的图像,获得对比度最高的图像;
分割单元704,用于通过基于边缘的分割方法从所述对比度最高的图像中分割出车道区域,得到车道分割图像。
在一可能的示例中,在融合所述各波段图像中剩余的图像,获得对比度最高的图像方面,所述融合单元703具体用于:
对所述各波段图像进行预处理操作,所述预处理操作包括去噪、配准;
选取合适的图像融合算法融合预处理后的所述波段图像;
根据融合后的所述波段图像评估图像融合结果,得到所述对比度最高的图像。
可以看出,传统方法由于遮挡导致的信息丢失和复杂环境下的噪音,所获的图像中车道与环境的对比度不高,因此车道识别的成功率偏低。本申请实施例采用了先融合再分割的方法,可以获得对比度最高的图像,进而进行图像分割,弥补了传统方法中信息量过少、照明油污沙土等复杂环境导致的大量噪音等问题,大大提高模型的准确率和效率,有效的控制了成本。
本申请实施例还提供一种计算机可读存储介质,存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种基于高光谱成像的车道识别方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种基于高光谱成像的车道识别方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种基于高光谱成像的车道识别方法,其特征在于,所述方法包括:
获取车道的各波段图像;
将所述各波段图像输入经过训练的卷积神经网络模型中,得到分割出车道区域的各波段图像;
确定所述车道区域的真伪;
将确定为真的所述车道区域进行融合,得到车道分割图像。
2.根据权利要求1所述的方法,其特征在于,所述将所述各波段图像输入经过训练的卷积神经网络模型中,得到分割出车道区域的各波段图像包括:
将所述各波段图像输入经过训练的卷积神经网络模型中,判定所述各波段图像中各像素点的类别并赋予类别标签,得到分割出车道区域的各波段图像,其中,所述类别标签包括车道区域和非车道区域。
3.根据权利要求2所述的方法,其特征在于,所述确定所述车道区域的真伪包括:
根据所述类别标签统计所述各波段图片中各像素点所在区域被归类为车道区域的次数N,N为自然数;
若N大于等于预设阈值,判定所述像素点所在的区域属于车道区域,若N小于预设阈值,判定所述像素点所在的区域不属于车道区域,根据判定结果更新所述类别标签。
4.根据权利要求2所述的方法,其特征在于,所述卷积神经网络模型是经过迭代训练得到,所述迭代训练包括:
从所述各波段图像中随机选取M张图像输入卷积神经网络中,M为正整数;
通过所述卷积神经网络提取所述M张波段图像的特征;
根据提取的特征将所述M张波段图像划分为车道区域和非车道区域,得到区域划分结果;
根据所述区域划分结果调整所述卷积神经网络的参数。
5.一种基于高光谱成像的车道识别方法,其特征在于,所述方法包括:
获取车道的各波段图像;
将所述各波段图像输入经过训练的卷积神经网络模型中,剔除对比度不高的图像;
融合所述各波段图像中剩余的图像,获得对比度最高的图像;
通过基于边缘的分割方法从所述对比度最高的图像中分割出车道区域,得到车道分割图像。
6.根据权利要求5所述的方法,其特征在于,所述融合所述各波段图像中剩余的图像,获得对比度最高的图像包括:
对所述各波段图像进行预处理操作,所述预处理操作包括去噪、配准;
选取合适的图像融合算法融合预处理后的所述波段图像;
根据融合后的所述波段图像评估图像融合结果,得到所述对比度最高的图像。
7.根据权利要求6所述的方法,其特征在于,所述图像融合算法包括以下中的任意一种:贝叶斯估计法,神经网络法、模糊聚类法、D-S证据推理法、表决法。
8.一种基于高光谱成像的车道识别装置,其特征在于,包括:
获取单元,用于获取车道的各波段图像;
分割单元,用于将所述各波段图像输入经过训练的卷积神经网络模型中,得到分割出车道区域的各波段图像;
确定单元,用于确定所述车道区域的真伪;
融合单元,用于将确定为真的所述车道区域进行融合,得到车道分割图像。
9.一种基于高光谱成像的车道识别装置,其特征在于,包括:
获取单元,用于获取车道的各波段图像;
剔除单元,用于将所述各波段图像输入经过训练的卷积神经网络模型中,剔除对比度不高的图像;
融合单元,用于融合所述各波段图像中剩余的图像,获得对比度最高的图像;
分割单元,用于通过基于边缘的分割方法从所述对比度最高的图像中分割出车道区域,得到车道分割图像。
10.一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
CN201910328985.3A 2019-04-23 2019-04-23 基于高光谱成像的车道识别方法、装置及电子设备 Active CN110188606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910328985.3A CN110188606B (zh) 2019-04-23 2019-04-23 基于高光谱成像的车道识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910328985.3A CN110188606B (zh) 2019-04-23 2019-04-23 基于高光谱成像的车道识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110188606A true CN110188606A (zh) 2019-08-30
CN110188606B CN110188606B (zh) 2023-06-20

Family

ID=67714996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910328985.3A Active CN110188606B (zh) 2019-04-23 2019-04-23 基于高光谱成像的车道识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110188606B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633800A (zh) * 2019-10-18 2019-12-31 北京邮电大学 基于自动驾驶车辆的车道位置确定方法、设备及存储介质
CN111582280A (zh) * 2020-05-11 2020-08-25 吉林省森祥科技有限公司 一种面向多光谱救援机器人的数据深层融合图像分割方法
CN111814545A (zh) * 2020-06-01 2020-10-23 北京简巨科技有限公司 作物识别方法、装置、电子设备及存储介质
CN112633045A (zh) * 2019-10-09 2021-04-09 华为技术有限公司 一种障碍物检测方法、装置、设备及介质
CN113034587A (zh) * 2019-12-25 2021-06-25 沈阳美行科技有限公司 车辆定位方法、装置、计算机设备和存储介质
CN113489869A (zh) * 2021-07-05 2021-10-08 深圳市威视佰科科技有限公司 基于高光谱相机的衣物物料识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074358A (ja) * 2000-08-31 2002-03-15 Mitsubishi Heavy Ind Ltd 道路抽出画像処理装置および方法
CN103578110A (zh) * 2013-11-12 2014-02-12 河海大学 基于灰度共生矩阵的多波段高分辨率遥感影像分割方法
CN103996031A (zh) * 2014-05-23 2014-08-20 奇瑞汽车股份有限公司 一种自适应阈值分割的车道线检测系统及其方法
CN104915636A (zh) * 2015-04-15 2015-09-16 北京工业大学 基于多级框架显著性特征的遥感影像道路识别方法
CN106558058A (zh) * 2016-11-29 2017-04-05 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
CN107092862A (zh) * 2017-03-16 2017-08-25 浙江零跑科技有限公司 一种基于卷积神经网络的车道边缘检测方法
CN107767383A (zh) * 2017-11-01 2018-03-06 太原理工大学 一种基于超像素的道路图像分割方法
CN107977677A (zh) * 2017-11-27 2018-05-01 深圳市唯特视科技有限公司 一种应用于大规模城区重建中的多标签像素分类方法
WO2018076138A1 (zh) * 2016-10-24 2018-05-03 深圳大学 基于大尺度高分辨率高光谱图像的目标探测方法及装置
CN109271921A (zh) * 2018-09-12 2019-01-25 合刃科技(武汉)有限公司 一种多光谱成像的智能识别方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074358A (ja) * 2000-08-31 2002-03-15 Mitsubishi Heavy Ind Ltd 道路抽出画像処理装置および方法
CN103578110A (zh) * 2013-11-12 2014-02-12 河海大学 基于灰度共生矩阵的多波段高分辨率遥感影像分割方法
CN103996031A (zh) * 2014-05-23 2014-08-20 奇瑞汽车股份有限公司 一种自适应阈值分割的车道线检测系统及其方法
CN104915636A (zh) * 2015-04-15 2015-09-16 北京工业大学 基于多级框架显著性特征的遥感影像道路识别方法
WO2018076138A1 (zh) * 2016-10-24 2018-05-03 深圳大学 基于大尺度高分辨率高光谱图像的目标探测方法及装置
CN106558058A (zh) * 2016-11-29 2017-04-05 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
CN107092862A (zh) * 2017-03-16 2017-08-25 浙江零跑科技有限公司 一种基于卷积神经网络的车道边缘检测方法
CN107767383A (zh) * 2017-11-01 2018-03-06 太原理工大学 一种基于超像素的道路图像分割方法
CN107977677A (zh) * 2017-11-27 2018-05-01 深圳市唯特视科技有限公司 一种应用于大规模城区重建中的多标签像素分类方法
CN109271921A (zh) * 2018-09-12 2019-01-25 合刃科技(武汉)有限公司 一种多光谱成像的智能识别方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633045A (zh) * 2019-10-09 2021-04-09 华为技术有限公司 一种障碍物检测方法、装置、设备及介质
WO2021068573A1 (zh) * 2019-10-09 2021-04-15 华为技术有限公司 一种障碍物检测方法、装置、设备及介质
CN110633800A (zh) * 2019-10-18 2019-12-31 北京邮电大学 基于自动驾驶车辆的车道位置确定方法、设备及存储介质
CN110633800B (zh) * 2019-10-18 2022-08-02 北京邮电大学 基于自动驾驶车辆的车道位置确定方法、设备及存储介质
CN113034587A (zh) * 2019-12-25 2021-06-25 沈阳美行科技有限公司 车辆定位方法、装置、计算机设备和存储介质
CN113034587B (zh) * 2019-12-25 2023-06-16 沈阳美行科技股份有限公司 车辆定位方法、装置、计算机设备和存储介质
CN111582280A (zh) * 2020-05-11 2020-08-25 吉林省森祥科技有限公司 一种面向多光谱救援机器人的数据深层融合图像分割方法
CN111582280B (zh) * 2020-05-11 2023-10-17 吉林省森祥科技有限公司 一种面向多光谱救援机器人的数据深层融合图像分割方法
CN111814545A (zh) * 2020-06-01 2020-10-23 北京简巨科技有限公司 作物识别方法、装置、电子设备及存储介质
CN113489869A (zh) * 2021-07-05 2021-10-08 深圳市威视佰科科技有限公司 基于高光谱相机的衣物物料识别方法

Also Published As

Publication number Publication date
CN110188606B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN110188606A (zh) 基于高光谱成像的车道识别方法、装置及电子设备
US8750567B2 (en) Road structure detection and tracking
CN101950350B (zh) 使用分级方法的畅通路径检测
CN101900562B (zh) 采用基于分割方法的畅通路径检测
CN101929867B (zh) 使用道路模型的畅通路径检测
US7092548B2 (en) Method and apparatus for identifying objects depicted in a videostream
KR100912746B1 (ko) 교통 표지판 탐지를 위한 방법
CN101963509B (zh) 通过地形变化分析来检测畅通路径的方法
Salehi et al. Automatic moving vehicles information extraction from single-pass WorldView-2 imagery
US20100097458A1 (en) Clear path detection using an example-based approach
Loce et al. Computer vision and imaging in intelligent transportation systems
CN101900567A (zh) 基于像素的无纹理畅通路径检测
CN101900566A (zh) 基于像素的纹理丰富畅通路径检测
Wang et al. Road edge detection in all weather and illumination via driving video mining
CN109255279A (zh) 一种交通标志检测识别的方法及系统
Park et al. Real-time signal light detection
CN107909012A (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
Larsen et al. Traffic monitoring using very high resolution satellite imagery
CN107221175A (zh) 一种行人意图检测方法和系统
CN102142090B (zh) 车辆检测方法和系统
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
Wen et al. A rear-vehicle detection system for static images based on monocular vision
Zheng et al. A morphological neural network approach for vehicle detection from high resolution satellite imagery
Wang et al. All weather road edge identification based on driving video mining
Álvarez et al. Perception advances in outdoor vehicle detection for automatic cruise control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant