CN106295607A - 道路识别方法及装置 - Google Patents

道路识别方法及装置 Download PDF

Info

Publication number
CN106295607A
CN106295607A CN201610698435.7A CN201610698435A CN106295607A CN 106295607 A CN106295607 A CN 106295607A CN 201610698435 A CN201610698435 A CN 201610698435A CN 106295607 A CN106295607 A CN 106295607A
Authority
CN
China
Prior art keywords
image information
information
road
pixel
road image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610698435.7A
Other languages
English (en)
Inventor
龙鹏
张康
陈强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201610698435.7A priority Critical patent/CN106295607A/zh
Publication of CN106295607A publication Critical patent/CN106295607A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种道路识别方法及装置,该方法包括:从待训练道路图像信息中提取预定的特征维度的模型训练特征信息;基于模型训练特征信息训练道路识别模型;将待识别道路图像信息输入道路识别模型来得到输出结果,并根据输出结果进行道路识别。本发明的技术方案解决了如何基于轻量级的硬件设备进行道路识别的问题。基于模型训练特征信息训练得到的识别模型更精确,能够达到通过该识别模型得到更为准确的道路识别结果的目的。

Description

道路识别方法及装置
技术领域
本发明涉及终端设备技术领域,具体而言,本发明涉及一种道路识别方法以及一种道路识别装置。
背景技术
目前,技术研发人员正在研究汽车辅助驾驶技术。这种技术能够在用户驾驶汽车时向用户提供必要的信息和/或警告,以避免车辆碰撞、车辆偏离道路等危险情况。在某些情况下,甚至可以通过辅助驾驶技术实现车辆无人驾驶。对于辅助驾驶技术而言,尤为重要的技术问题是如何正确地检测道路路面的可行驶区域。
现有技术中已经提出了很多检测道路路面的可行驶区域的方法。例如,利用道路两侧的车道线来检测可行驶区域的方法,但是这种方法不适用于道路两侧没有车道线的道路。又例如,对道路进行分割并且使用距离和分段的斜率来检测可行驶路面的方法,但是这种方法不适用于道路上的点较为稀疏的稀疏视差图。另外,在现有技术中还存在其他一部分检测道路路面的可行驶区域的方法,但是这些方法都只存在理论上的可能性而实际实现难度较大,例如基于深度学习的单目方案。基于深度学习的单目方案不可避免地要使用到图形处理器,一般地,算法模型越复杂得到的训练数据越好,从而效果越好,但是其运算速度会越慢,由于硬件设备平台的缺乏和成本的限制,使得基于深度学习的单目方案实现的道路路面的可行驶区域的检测产品很难问世。
因此,需要一种能够可靠地且具有可实现性的检测道路路面的可行驶区域的方法和设备。
发明内容
为克服上述技术问题或者至少部分地解决上述技术问题,特提出以下技术方案:
本发明的一个实施例提出了一种道路识别方法,包括:
从待训练道路图像信息中提取预定的特征维度的模型训练特征信息;
基于模型训练特征信息训练道路识别模型;
将待识别道路图像信息输入道路识别模型来得到输出结果,并根据输出结果进行道路识别。
可选地,该方法还包括:
通过视频捕获装置获取原始道路图像信息;
其中,通过以下至少一种方式获取待训练道路图像信息:
对原始道路图像信息进行空间距离计算以生成空间图像信息,并将空间图像信息作为待训练道路图像信息;
对原始道路图像信息进行像素压缩以生成像素压缩图像信息,并将像素压缩图像信息作为待训练道路图像信息。
优选地,对原始道路图像信息进行空间距离计算以生成空间图像信息,包括:
基于视频捕获装置的标定参数对原始道路图像信息进行视差计算来生成视差图信息;
基于视差图信息生成空间图像信息,空间图像信息包括实际物理空间距离。
优选地,从待训练道路图像信息中提取预定的特征维度的模型训练特征信息,包括:
对待训练道路图像信息进行切分操作,获取切分后的分块图像信息;
从各个分块图像信息中提取预定的特征维度的模型训练特征信息。
优选地,特征维度包括针对任一像素的颜色维度、物理空间维度、角度维度中的至少一项。
优选地,基于模型训练特征信息训练道路识别模型,包括:
对模型训练特征信息对应的像素进行分类操作,以确定该像素的归属分类类别;
基于分类得到的像素归属分类类别获取道路识别模型。
可选地,该方法还包括:
基于条件随机场或马尔科夫随机场校正道路识别模型。
本发明的另一实施例提出了一种道路识别装置,包括:
提取模块,用于从待训练道路图像信息中提取预定的特征维度的模型训练特征信息;
训练模块,用于基于模型训练特征信息训练道路识别模型;
识别模块,用于将待识别道路图像信息输入道路识别模型来得到输出结果,并根据输出结果进行道路识别。
可选地,该装置还包括:
获取模块,用于通过视频捕获装置获取原始道路图像信息;
其中,该装置还包括信息计算单元和/或信息压缩单元:
信息计算单元,用于对原始道路图像信息进行空间距离计算以生成空间图像信息,并将空间图像信息作为待训练道路图像信息;
信息压缩单元,用于对原始道路图像信息进行像素压缩以生成像素压缩图像信息,并将像素压缩图像信息作为待训练道路图像信息。
优选地,信息计算单元包括:
视差计算子单元,用于基于视频捕获装置的标定参数对原始道路图像信息进行视差计算来生成视差图信息;
信息生成子单元,用于基于视差图信息生成空间图像信息,空间图像信息包括实际物理空间距离。
优选地,提取模块包括:
信息切分单元,用于对待训练道路图像信息进行切分操作,获取切分后的分块图像信息;
信息提取单元,用于从各个分块图像信息中提取预定的特征维度的模型训练特征信息。
优选地,特征维度包括针对任一像素的颜色维度、物理空间维度、角度维度中的至少一项。
优选地,训练模块包括:
类别确定单元,用于对模型训练特征信息对应的像素进行分类操作,以确定该像素的归属分类类别;
模型获取单元,用于基于分类得到的像素归属分类类别获取道路识别模型。
可选地,该装置还包括:
校正模块,用于基于条件随机场或马尔科夫随机场校正道路识别模型。
本发明的技术方案解决了如何基于轻量级的硬件设备进行道路识别的问题。从待训练道路图像信息中提取预定的特征维度的模型训练特征信息,其中,待训练道路图像信息是对原始道路图像信息进行预定的处理生成的图像信息,原始道路图像信息在经过预定的处理后,变得适合轻量级的硬件设备进行运算处理,从而减小硬件设备成本以及运算开销。另外,预定的特征维度的模型训练特征信息表征了待训练道路图像信息中必不可少的、最基本的、最能反映其本质的特征信息,从而使得基于模型训练特征信息训练得到的识别模型更精确,能够达到通过该识别模型得到更为准确的道路识别结果的目的。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明一个实施例的道路识别方法的流程示意图;
图2为本发明一个优选实施例的道路识别方法的流程示意图;
图3为本发明另一实施例的道路识别装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
图1为本发明一个实施例的道路识别方法的流程示意图。
步骤S110:从待训练道路图像信息中提取预定的特征维度的模型训练特征信息。
其中,待训练道路图像信息可以是视频捕获装置获取到的原始道路图像信息经过预定的处理后生成的图像信息。
优选地,特征维度包括但不限于针对任一像素的颜色维度、物理空间维度、角度维度。其中,特征维度可以表示待训练道路图像信息中必不可少的、最基本的、最能反映其本质的特征信息。
例如,可以将特征维度设置为22维。其中,22个特征维度可以包括9个颜色维度、6个物理空间维度、以及7个角度维度。在本发明实施例中,预定的特征维度的特征信息是基于待训练道路图像信息中的任一像素提取得到的。
优选地,从待训练道路图像信息中提取预定的特征维度的模型训练特征信息的步骤包括步骤S111和步骤S112:步骤S111:对待训练道路图像信息进行切分操作,获取切分后的分块图像信息;步骤S112:从各个分块图像信息中提取预定的特征维度的模型训练特征信息。
首先,对待训练道路图像信息进行切分操作,获取切分后的分块图像信息。
需要说明的是,由于针对完整待训练道路图像信息进行预定的特征维度的模型训练特征信息提取的操作是比较复杂的,且提取过程中的运算量相对较大,因此需要具有较高性能的硬件配合。然而,本发明方案通过将整个待训练道路图像信息进行切分操作,并对切分后的分块图像信息进行特征提取,由于切分后的分块图像信息中的信息量较完整待训练道路图像信息中的信息量要少,因此可大大降低特征提取过程中的运算量。
另外,存在多种对待训练道路图像信息进行切分操作的方法,在本发明实施例中优选采用分割树算法对待训练道路图像信息进行切分操作。其中,分割树算法是用于切分多个维度空间的算法,通过分割树算法可以将待训练道路图像信息按照多个维度空间进行切分。
随后,从各个分块图像信息中提取预定的特征维度的模型训练特征信息。
需要说明的是,待训练道路图像信息的具体获取方法将在下文进行详细描述。
步骤S120:基于模型训练特征信息训练道路识别模型。
优选地,基于模型训练特征信息训练道路识别模型的步骤包括步骤S121和步骤S122:步骤S121:对模型训练特征信息对应的像素进行分类操作,以确定该像素的归属分类类别;步骤S122:基于分类得到的像素归属分类类别获取道路识别模型。
具体地,通过对模型训练特征信息对应的像素进行分类操作可以确定该像素是否属于路面上的像素点,一般地,其归属分类类别为2类,一类可以以0表示,表征该像素点不属于路面上的像素点;另一类可以以1表示,表征该像素点属于路面上的像素点。基于分类得到的像素归属分类类别获取道路识别模型,可以以像素对应的模型训练特征信息为变量、以分类得到的像素归属分类类别为导向结果进行道路识别模型的训练,从而将待识别道路图像信息输入训练好的道路识别模型时,该模型可以根据从待识别道路图像信息中提取到的特征信息确定与待识别道路图像信息对应的像素的归属分类类别。
步骤S130:将待识别道路图像信息输入道路识别模型来得到输出结果,并根据输出结果进行道路识别。
具体地,首先,从待识别道路图像信息提取用于输入道路识别模型的特征信息;随后,将上述特征信息输入道路识别模型;最后,根据道路识别模型输出结果进行道路识别。例如,将待识别道路图像信息中的任一像素对应的特征信息输入道路识别模型中,并得到输出结果,若以0表示该像素点不属于路面上的像素点,以1表示该像素点属于路面上的像素点,则可以根据输出结果的数值判断任一像素点是否属于路面上的像素点,并根据待识别道路图像信息的多个像素点对应的综合输出结果进行道路识别。
可选地,本发明实施例提供的方法还包括步骤S140:基于条件随机场或马尔科夫随机场校正道路识别模型。
其中,条件随机场(CRF,conditional random fields)是一种判别式概率模型,其常用于标注或分析序列信息。马尔科夫随机场表示随机变量序列按时间先后关系依次排开时第N+1时刻的分布特性,该分布特性与N时刻及其以前的随机变量序列的取值无关。具体地,在本发明实施例中优选采用马尔科夫随机场算法,通过该算法除可以对模型训练特征信息对应的像素进行分类操作之外,还可以得到与像素的归属分类类别相应的概率密度,该概率密度表示任一像素点属于路面上的像素点的概率值,基于该值可以实现模型优化,从而得到输出结果更为准确的道路识别模型。需要说明的是,像素的归属分类类别并不是唯一确定的,在实际应用中存在一定的误差,因而基于条件随机场或马尔科夫随机场确定的与像素的归属分类类别相应的概率密度可以优化、校正道路识别模型,使得道路识别模型输出的结果更贴近于实际路面情况。
可选地,本发明方案提供的方法还包括,步骤S150:通过视频捕获装置获取原始道路图像信息。
其中,通过以下至少一种方式获取待训练道路图像信息:
对原始道路图像信息进行空间距离计算以生成空间图像信息,并将空间图像信息作为待训练道路图像信息;
对原始道路图像信息进行像素压缩以生成像素压缩图像信息,并将像素压缩图像信息作为待训练道路图像信息。
其中,对原始道路图像信息进行像素压缩降低了原始道路图像信息中包括的像素信息量,从而在提取已降低像素信息量的待训练道路图像信息的特征信息时,以较小的运算开销获取最终结果。
例如,原始道路图像信息包含480x360个像素点,其中,原始道路图像信息的每一行图像包含480个像素点,共包含360行。但是,在实际情况中,并不需要检测480x360个像素点去进行道路识别,因此,可以将原始道路图像信息转换成像素压缩图像信息,像素压缩图像信息中的一个像素压缩点可以表示原始道路图像信息中预定个数的像素点,如几十个像素点。另外,在本发明实施例中可以不采用填充方格的形式来表示像素压缩图像信息中的像素点,其原因是实际物体边缘一般并非是方正的边缘,若采用填充方格的形式来表示像素压缩图像信息中的像素点则不能体现实际物体边缘情况,从而失去像素点应有的物理意义。进一步地,当根据两个相邻的像素相应的归属分类类别判断其中一个像素点属于路面上的像素点,另一个像素点不属于路面上的像素点时,可以确定上述两个相邻的像素中存在某一物体的边缘。
优选地,如图2所示,对原始道路图像信息进行空间距离计算以生成空间图像信息,具体包括步骤S201和步骤S202:步骤S201:基于视频捕获装置的标定参数对原始道路图像信息进行视差计算来生成视差图信息;步骤S202:基于视差图信息生成空间图像信息,空间图像信息包括实际物理空间距离。
首先,可以在获取原始道路图像信息之前,确定视频捕获装置的安装高度、俯仰角和/或横摆角,并将上述视频捕获装置的安装高度、俯仰角和/或横摆角作为视频捕获装置的标定参数。
其次,基于视频捕获装置的标定参数对原始道路图像信息进行视差计算来生成视差图信息。在本发明优选实施例中采用两个视频捕获装置,其中一个视频捕获装置可以安装在车身左边,另一个视频捕获装置可以安装在车身右边,左、右两边的视频捕获装置相当于人的左、右眼,通过左、右眼观察到的事物是存在差别的,而这种差别构成了人相对于事物的距离感。视差图相当于将左、右眼观察到的两幅图像信息拟合成针对距离的热图,其用于表征距离关系。
随后,基于视差图信息生成空间图像信息,空间图像信息包括实际物理空间距离。具体地,空间图像信息可以是三维点云图像信息,三维点云图像信息中的各个像素点都包含与其相应的三维空间坐标系数,当固定三维点云图像信息的原点为中心点时,建立三维坐标系x、y、z轴,中心点所在的x、y轴坐标系数同时为0,然而z轴坐标系数不一定为0,z轴坐标系数的值表示该像素点与视频捕获装置位置的远近关系。
最后,可以从空间图像信息和\或像素压缩图像信息中提取预定的特征维度的模型训练特征信息。例如,将空间图像信息基于三维坐标系x、y、z轴分别提取与x、y、z轴相应的三类图像信息,随后,分别从与x、y、z轴相应的三类图像信息中提取模型训练特征信息。
本发明的技术方案解决了如何基于轻量级的硬件设备进行道路识别的问题。从待训练道路图像信息中提取预定的特征维度的模型训练特征信息,其中,待训练道路图像信息是对原始道路图像信息进行预定的处理生成的图像信息,原始道路图像信息在经过预定的处理后,变得适合轻量级的硬件设备进行运算处理,从而减小硬件设备成本以及运算开销。另外,预定的特征维度的模型训练特征信息表征了待训练道路图像信息中必不可少的、最基本的、最能反映其本质的特征信息,从而使得基于模型训练特征信息训练得到的识别模型更精确,能够达到通过该识别模型得到更为准确的道路识别结果的目的。
图3为本发明另一实施例的道路识别装置的结构示意图。
提取模块310从待训练道路图像信息中提取预定的特征维度的模型训练特征信息。
其中,待训练道路图像信息可以是视频捕获装置获取到的原始道路图像信息经过预定的处理后生成的图像信息。
优选地,特征维度包括但不限于针对任一像素的颜色维度、物理空间维度、角度维度。其中,特征维度可以表示待训练道路图像信息中必不可少的、最基本的、最能反映其本质的特征信息。
例如,可以将特征维度设置为22维。其中,22个特征维度可以包括9个颜色维度、6个物理空间维度、以及7个角度维度。在本发明实施例中,预定的特征维度的特征信息是基于待训练道路图像信息中的任一像素提取得到的。
优选地,提取模块310包括信息切分单元和信息提取单元:信息切分单元对待训练道路图像信息进行切分操作,获取切分后的分块图像信息;信息提取单元从各个分块图像信息中提取预定的特征维度的模型训练特征信息。
首先,信息切分单元对待训练道路图像信息进行切分操作,获取切分后的分块图像信息。
需要说明的是,由于针对完整待训练道路图像信息进行预定的特征维度的模型训练特征信息提取的操作是比较复杂的,且提取过程中的运算量相对较大,因此需要具有较高性能的硬件配合。然而,本发明方案通过将整个待训练道路图像信息进行切分操作,并对切分后的分块图像信息进行特征提取,由于切分后的分块图像信息中的信息量较完整待训练道路图像信息中的信息量要少,因此可大大降低特征提取过程中的运算量。
另外,存在多种对待训练道路图像信息进行切分操作的方法,在本发明实施例中优选采用分割树算法对待训练道路图像信息进行切分操作。其中,分割树算法是用于切分多个维度空间的算法,通过分割树算法可以将待训练道路图像信息按照多个维度空间进行切分。
随后,信息提取单元从各个分块图像信息中提取预定的特征维度的模型训练特征信息。
需要说明的是,待训练道路图像信息的具体获取装置结构将在下文进行详细描述。
训练模块320基于模型训练特征信息训练道路识别模型。
优选地,训练模块320包括类别确定单元和模型获取单元:类别确定单元对模型训练特征信息对应的像素进行分类操作,以确定该像素的归属分类类别;模型获取单元基于分类得到的像素归属分类类别获取道路识别模型。
具体地,通过对模型训练特征信息对应的像素进行分类操作可以确定该像素是否属于路面上的像素点,一般地,其归属分类类别为2类,一类可以以0表示,表征该像素点不属于路面上的像素点;另一类可以以1表示,表征该像素点属于路面上的像素点。基于分类得到的像素归属分类类别获取道路识别模型,可以以像素对应的模型训练特征信息为变量、以分类得到的像素归属分类类别为导向结果进行道路识别模型的训练,从而将待识别道路图像信息输入训练好的道路识别模型时,该模型可以根据从待识别道路图像信息中提取到的特征信息确定与待识别道路图像信息对应的像素的归属分类类别。
识别模块330将待识别道路图像信息输入道路识别模型来得到输出结果,并根据输出结果进行道路识别。
具体地,首先,识别模块330从待识别道路图像信息提取用于输入道路识别模型的特征信息;随后,将上述特征信息输入道路识别模型;最后,根据道路识别模型输出结果进行道路识别。例如,将待识别道路图像信息中的任一像素对应的特征信息输入道路识别模型中,并得到输出结果,若以0表示该像素点不属于路面上的像素点,以1表示该像素点属于路面上的像素点,则可以根据输出结果的数值判断任一像素点是否属于路面上的像素点,并根据待识别道路图像信息的多个像素点对应的综合输出结果进行道路识别。
可选地,本发明实施例提供的装置还包括:校正模块基于条件随机场或马尔科夫随机场校正道路识别模型。
其中,条件随机场(CRF,conditional random fields)是一种判别式概率模型,其常用于标注或分析序列信息。马尔科夫随机场表示随机变量序列按时间先后关系依次排开时第N+1时刻的分布特性,该分布特性与N时刻及其以前的随机变量序列的取值无关。具体地,在本发明实施例中优选采用马尔科夫随机场算法,通过该算法除可以对模型训练特征信息对应的像素进行分类操作之外,还可以得到与像素的归属分类类别相应的概率密度,该概率密度表示任一像素点属于路面上的像素点的概率值,基于该值可以实现模型优化,从而得到输出结果更为准确的道路识别模型。需要说明的是,像素的归属分类类别并不是唯一确定的,在实际应用中存在一定的误差,因而基于条件随机场或马尔科夫随机场确定的与像素的归属分类类别相应的概率密度可以优化、校正道路识别模型,使得道路识别模型输出的结果更贴近于实际路面情况。
可选地,本发明方案提供的装置还包括:获取模块通过视频捕获装置获取原始道路图像信息。
其中,所述装置还包括信息计算单元和/或信息压缩单元:
信息计算单元对原始道路图像信息进行空间距离计算以生成空间图像信息,并将空间图像信息作为待训练道路图像信息;
信息压缩单元对原始道路图像信息进行像素压缩以生成像素压缩图像信息,并将像素压缩图像信息作为待训练道路图像信息。
其中,信息压缩单元对原始道路图像信息进行像素压缩降低了原始道路图像信息中包括的像素信息量,从而在提取已降低像素信息量的待训练道路图像信息的特征信息时,以较小的运算开销获取最终结果。
例如,原始道路图像信息包含480x360个像素点,其中,原始道路图像信息的每一行图像包含480个像素点,共包含360行。但是,在实际情况中,并不需要检测480x360个像素点去进行道路识别,因此,可以将原始道路图像信息转换成像素压缩图像信息,像素压缩图像信息中的一个像素压缩点可以表示原始道路图像信息中预定个数的像素点,如几十个像素点。另外,在本发明实施例中可以不采用填充方格的形式来表示像素压缩图像信息中的像素点,其原因是实际物体边缘一般并非是方正的边缘,若采用填充方格的形式来表示像素压缩图像信息中的像素点则不能体现实际物体边缘情况,从而失去像素点应有的物理意义。进一步地,当根据两个相邻的像素相应的归属分类类别判断其中一个像素点属于路面上的像素点,另一个像素点不属于路面上的像素点时,可以确定上述两个相邻的像素中存在某一物体的边缘。
优选地,信息计算单元包括视差计算子单元和信息生成子单元:视差计算子单元基于视频捕获装置的标定参数对原始道路图像信息进行视差计算来生成视差图信息;信息生成子单元基于视差图信息生成空间图像信息,空间图像信息包括实际物理空间距离。
首先,可以在获取原始道路图像信息之前,确定视频捕获装置的安装高度、俯仰角和/或横摆角,并将上述视频捕获装置的安装高度、俯仰角和/或横摆角作为视频捕获装置的标定参数。
其次,视差计算子单元基于视频捕获装置的标定参数对原始道路图像信息进行视差计算来生成视差图信息。在本发明优选实施例中采用两个视频捕获装置,其中一个视频捕获装置可以安装在车身左边,另一个视频捕获装置可以安装在车身右边,左、右两边的视频捕获装置相当于人的左、右眼,通过左、右眼观察到的事物是存在差别的,而这种差别构成了人相对于事物的距离感。视差图相当于将左、右眼观察到的两幅图像信息拟合成针对距离的热图,其用于表征距离关系。
随后,信息生成子单元基于视差图信息生成空间图像信息,空间图像信息包括实际物理空间距离。具体地,空间图像信息可以是三维点云图像信息,三维点云图像信息中的各个像素点都包含与其相应的三维空间坐标系数,当固定三维点云图像信息的原点为中心点时,建立三维坐标系x、y、z轴,中心点所在的x、y轴坐标系数同时为0,然而z轴坐标系数不一定为0,z轴坐标系数的值表示该像素点与视频捕获装置位置的远近关系。
最后,可以从空间图像信息和\或像素压缩图像信息中提取预定的特征维度的模型训练特征信息。例如,将空间图像信息基于三维坐标系x、y、z轴分别提取与x、y、z轴相应的三类图像信息,随后,分别从与x、y、z轴相应的三类图像信息中提取模型训练特征信息。
本发明的技术方案解决了如何基于轻量级的硬件设备进行道路识别的问题。从待训练道路图像信息中提取预定的特征维度的模型训练特征信息,其中,待训练道路图像信息是对原始道路图像信息进行预定的处理生成的图像信息,原始道路图像信息在经过预定的处理后,变得适合轻量级的硬件设备进行运算处理,从而减小硬件设备成本以及运算开销。另外,预定的特征维度的模型训练特征信息表征了待训练道路图像信息中必不可少的、最基本的、最能反映其本质的特征信息,从而使得基于模型训练特征信息训练得到的识别模型更精确,能够达到通过该识别模型得到更为准确的道路识别结果的目的。
本技术领域技术人员可以理解,本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造,或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序,这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如,计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中,所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,可读介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解,可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解,可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现,从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解,本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种道路识别方法,其特征在于,包括:
从待训练道路图像信息中提取预定的特征维度的模型训练特征信息;
基于所述模型训练特征信息训练道路识别模型;
将待识别道路图像信息输入所述道路识别模型来得到输出结果,并根据所述输出结果进行道路识别。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过视频捕获装置获取原始道路图像信息;
其中,通过以下至少一种方式获取待训练道路图像信息:
对所述原始道路图像信息进行空间距离计算以生成空间图像信息,并将所述空间图像信息作为待训练道路图像信息;
对所述原始道路图像信息进行像素压缩以生成像素压缩图像信息,并将所述像素压缩图像信息作为待训练道路图像信息。
3.根据权利要求2所述的方法,其特征在于,对所述原始道路图像信息进行空间距离计算以生成空间图像信息,包括:
基于所述视频捕获装置的标定参数对所述原始道路图像信息进行视差计算来生成视差图信息;
基于所述视差图信息生成所述空间图像信息,所述空间图像信息包括实际物理空间距离。
4.根据权利要求1所述的方法,其特征在于,从待训练道路图像信息中提取预定的特征维度的模型训练特征信息,包括:
对待训练道路图像信息进行切分操作,获取切分后的分块图像信息;
从各个分块图像信息中提取预定的特征维度的模型训练特征信息。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述特征维度包括针对任一像素的颜色维度、物理空间维度、角度维度中的至少一项。
6.根据权利要求1所述的方法,其特征在于,基于所述模型训练特征信息训练道路识别模型,包括:
对所述模型训练特征信息对应的像素进行分类操作,以确定该像素的归属分类类别;
基于分类得到的像素归属分类类别获取所述道路识别模型。
7.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
基于条件随机场或马尔科夫随机场校正所述道路识别模型。
8.一种道路识别装置,其特征在于,包括:
提取模块,用于从待训练道路图像信息中提取预定的特征维度的模型训练特征信息;
训练模块,用于基于所述模型训练特征信息训练道路识别模型;
识别模块,用于将待识别道路图像信息输入所述道路识别模型来得到输出结果,并根据所述输出结果进行道路识别。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
获取模块,用于通过视频捕获装置获取原始道路图像信息;
其中,所述装置还包括信息计算单元和/或信息压缩单元:
信息计算单元,用于对所述原始道路图像信息进行空间距离计算以生成空间图像信息,并将所述空间图像信息作为待训练道路图像信息;
信息压缩单元,用于对所述原始道路图像信息进行像素压缩以生成像素压缩图像信息,并将所述像素压缩图像信息作为待训练道路图像信息。
10.根据权利要求9所述的装置,其特征在于,所述信息计算单元包括:
视差计算子单元,用于基于所述视频捕获装置的标定参数对所述原始道路图像信息进行视差计算来生成视差图信息;
信息生成子单元,用于基于所述视差图信息生成所述空间图像信息,所述空间图像信息包括实际物理空间距离。
CN201610698435.7A 2016-08-19 2016-08-19 道路识别方法及装置 Pending CN106295607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610698435.7A CN106295607A (zh) 2016-08-19 2016-08-19 道路识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610698435.7A CN106295607A (zh) 2016-08-19 2016-08-19 道路识别方法及装置

Publications (1)

Publication Number Publication Date
CN106295607A true CN106295607A (zh) 2017-01-04

Family

ID=57661717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610698435.7A Pending CN106295607A (zh) 2016-08-19 2016-08-19 道路识别方法及装置

Country Status (1)

Country Link
CN (1) CN106295607A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808140A (zh) * 2017-11-07 2018-03-16 浙江大学 一种基于图像融合的单目视觉道路识别算法
CN108304852A (zh) * 2017-07-17 2018-07-20 腾讯科技(深圳)有限公司 道路路段类型的确定方法、装置以及存储介质、电子装置
CN108664969A (zh) * 2018-04-28 2018-10-16 西安电子科技大学 基于条件随机场的路标识别方法
CN109670455A (zh) * 2018-12-21 2019-04-23 联创汽车电子有限公司 计算机视觉车道线检测系统及其检测方法
CN109726728A (zh) * 2017-10-31 2019-05-07 高德软件有限公司 一种训练数据生成方法及装置
CN110084107A (zh) * 2019-03-19 2019-08-02 安阳师范学院 一种基于改进mrf的高分辨率遥感影像道路提取方法及装置
CN110555511A (zh) * 2019-07-24 2019-12-10 北京踏歌智行科技有限公司 识别区域的方法、装置、电子设备和计算机可读存储介质
CN111433779A (zh) * 2018-11-09 2020-07-17 北京嘀嘀无限科技发展有限公司 用于识别道路特征的系统和方法
CN112989909A (zh) * 2019-12-17 2021-06-18 通用汽车环球科技运作有限责任公司 用于地图增强的道路属性检测和分类

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1089231A2 (en) * 1999-09-22 2001-04-04 Fuji Jukogyo Kabushiki Kaisha Lane marker recognizing apparatus
CN103177236A (zh) * 2011-12-22 2013-06-26 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
CN105550665A (zh) * 2016-01-15 2016-05-04 北京理工大学 一种基于双目视觉的无人驾驶汽车可通区域检测方法
CN105590087A (zh) * 2015-05-19 2016-05-18 中国人民解放军国防科学技术大学 一种道路识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1089231A2 (en) * 1999-09-22 2001-04-04 Fuji Jukogyo Kabushiki Kaisha Lane marker recognizing apparatus
CN103177236A (zh) * 2011-12-22 2013-06-26 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
CN105590087A (zh) * 2015-05-19 2016-05-18 中国人民解放军国防科学技术大学 一种道路识别方法及装置
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
CN105550665A (zh) * 2016-01-15 2016-05-04 北京理工大学 一种基于双目视觉的无人驾驶汽车可通区域检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄祥林 等: "《图像检索原理与实践》", 30 June 2014 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304852A (zh) * 2017-07-17 2018-07-20 腾讯科技(深圳)有限公司 道路路段类型的确定方法、装置以及存储介质、电子装置
CN109726728A (zh) * 2017-10-31 2019-05-07 高德软件有限公司 一种训练数据生成方法及装置
CN107808140A (zh) * 2017-11-07 2018-03-16 浙江大学 一种基于图像融合的单目视觉道路识别算法
CN107808140B (zh) * 2017-11-07 2020-07-31 浙江大学 一种基于图像融合的单目视觉道路识别算法
CN108664969A (zh) * 2018-04-28 2018-10-16 西安电子科技大学 基于条件随机场的路标识别方法
CN108664969B (zh) * 2018-04-28 2022-04-19 西安电子科技大学 基于条件随机场的路标识别方法
CN111433779A (zh) * 2018-11-09 2020-07-17 北京嘀嘀无限科技发展有限公司 用于识别道路特征的系统和方法
CN109670455A (zh) * 2018-12-21 2019-04-23 联创汽车电子有限公司 计算机视觉车道线检测系统及其检测方法
CN110084107A (zh) * 2019-03-19 2019-08-02 安阳师范学院 一种基于改进mrf的高分辨率遥感影像道路提取方法及装置
CN110555511A (zh) * 2019-07-24 2019-12-10 北京踏歌智行科技有限公司 识别区域的方法、装置、电子设备和计算机可读存储介质
CN112989909A (zh) * 2019-12-17 2021-06-18 通用汽车环球科技运作有限责任公司 用于地图增强的道路属性检测和分类

Similar Documents

Publication Publication Date Title
CN106295607A (zh) 道路识别方法及装置
CN108345822B (zh) 一种点云数据处理方法及装置
WO2022083784A1 (zh) 一种基于车联网的道路检测方法
CN108764187A (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
CN112389440B (zh) 一种基于车路作用机理的越野环境中车辆行驶风险预测方法
CN111611918B (zh) 基于航拍数据和深度学习的交通流数据集采集及构建方法
EP2583217A1 (en) Method for obtaining drivable road area
CN114299464A (zh) 车道定位方法、装置及设备
CN114241464A (zh) 基于深度学习的跨视角影像实时匹配地理定位方法及系统
CN113340312A (zh) 一种ar室内实景导航方法及系统
Hu et al. Automatic extraction of main road centerlines from high resolution satellite imagery using hierarchical grouping
CN110263836B (zh) 一种基于多特征卷积神经网络的不良驾驶状态识别方法
CN114779276A (zh) 一种障碍物检测方法和装置
CN114048536A (zh) 一种基于多任务神经网络的道路结构预测与目标检测方法
CN109657556B (zh) 道路及其周边地物的分类方法及系统
CN110660133B (zh) 电子地图的三维抽稀方法和装置
CN111340001A (zh) 一种基于遥感影像深度学习的交通拥堵识别方法
CN115187959B (zh) 一种基于双目视觉的飞行汽车山地着陆方法及系统
CN112732446B (zh) 一种任务处理方法、装置及存储介质
US11461944B2 (en) Region clipping method and recording medium storing region clipping program
CN114037750A (zh) 一种轨道虚拟应答器的实现方法
CN114119757A (zh) 图像处理方法、装置、设备、介质和计算机程序产品
CN113874681B (zh) 点云地图质量的评估方法和系统
CN112102134A (zh) 事件处理方法、系统、装置、计算机可读存储介质及设备
CN111738267B (zh) 基于线性多步残差学习的视觉感知方法及视觉感知装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170104

RJ01 Rejection of invention patent application after publication