CN111578955A - 为自动驾驶安全导航确定可行驶道路区域的方法和系统 - Google Patents

为自动驾驶安全导航确定可行驶道路区域的方法和系统 Download PDF

Info

Publication number
CN111578955A
CN111578955A CN201910253639.3A CN201910253639A CN111578955A CN 111578955 A CN111578955 A CN 111578955A CN 201910253639 A CN201910253639 A CN 201910253639A CN 111578955 A CN111578955 A CN 111578955A
Authority
CN
China
Prior art keywords
road
trend
intermediate points
autonomous vehicle
course
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910253639.3A
Other languages
English (en)
Inventor
S·K·J·库马尔
A·保罗
M·扎伊德
C·马尔霍特拉
R·N·玛纳帕塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wipro Ltd
Original Assignee
Wipro Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wipro Ltd filed Critical Wipro Ltd
Publication of CN111578955A publication Critical patent/CN111578955A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

本发明公开了为自动驾驶安全导航确定可行驶道路区域的方法和系统。该道路区域确定系统从图像传感器接收该自动驾驶车辆所行驶道路的实时图像。然后，以预先训练的道路分割模型将所述道路的每一实时图像分割为多边形区域和走向线，以获得该道路的多个关联特征。随后，根据均匀分布于走向线上的前后相继的中间点之间测得的倾斜度，将所述实时图像中的道路走向识别为线性走向和非线性走向中的一种。在所述道路区域确定系统根据所述道路走向完成所述中间点在所述走向线上的重新分布后，从重新分布于所述走向线上的所述中间点当中识别成对点，其中，通过以水平线连接所述成对点而为所述自动驾驶车辆确定可行驶道路区域。

Description

为自动驾驶安全导航确定可行驶道路区域的方法和系统
技术领域
本发明总体涉及图像处理和图像分割，尤其但不仅涉及为自动驾驶车辆的安全导航确定可行驶道路区域的方法和系统。
背景技术
近年来，随着汽车工业的快速发展，道路安全已变得十分重要。昼夜照明条件下的道路区域检测对于车辆的安全导航至关重要。通常情况下，在日间照明条件下，利用输入的彩色图像，可较好地实现道路区域的检测。然而，由于夜间照明条件下的检测还取决于全球定位系统(GPS)支持的导航包、光学雷达传感器以及用于各项预测的其他传感器等其他子系统的其他输入，因此变得难以实施。
目前，在现有系统中，自动驾驶车辆通过集成和运用摄像头、光学雷达以及声纳等多种不同子系统进行道沿检测和道路导航。然而，由于各子系统的数据格式不同，将所有子系统集成于一起成为一项巨大的难题。此外，由于每一子系统均相互依存，因此一旦某一子系统发生故障，则整个系统存在无法为自动驾驶车辆提供导航的风险。此外，在夜间照明条件下，从各图像的小的关注区域中识别出道路区域是一项非常艰难的工作。图像中的这些小的关注区域用于提供极为精确的信息，如左侧道沿、右侧道沿、车道信息、道路弯曲角度等道路相关特征。通常，在夜间照明条件下，红外(IR)摄像头图像可用于道路区域的检测。由于红外摄像头将信息存储于单通道(如灰度或单维图像)数据中，因此红外摄像头不具有深度和渐变信息。这些数据使得机器学习技术更加难以学习道路区域特征。因此，红外图像的使用会导致极低的道路区域预测准确度。此外，在道路的红外图像中，当考察某个小的固定关注区域时，由于在连续多帧下的摄像头视场中，道路区域与当前道路之间仅存在非常细微的差异，因此使得各幅图像之间的比例缺少变化。
本背景技术部分公开的信息仅用于促进对本发明一般背景的理解，不应视为承认或以任何形式暗示该信息形成本领域技术人员已知的现有技术。
发明内容
在一种实施方式中，本发明可涉及一种为自动驾驶车辆的安全导航确定可行驶道路区域的方法。该方法包括从与所述自动驾驶车辆相关联的一个或多个图像传感器接收该自动驾驶车辆所行驶道路的实时图像。然后，以预先训练的道路分割模型将所述道路的每一实时图像分割为多边形区域和走向线，以获得该道路的多个关联特征。其中，所述道路分割模型通过机器学习技术，并以标有道路特征、多边形区域以及走向线的多幅训练图像进行训练。该方法还包括根据均匀分布于所述走向线上的前后相继的中间点之间测得的倾斜度，将所述实时图像中的道路走向识别为线性走向和非线性走向当中的一者。此外，该方法还包括根据所述道路走向，完成所述中间点在所述走向线上的重新分布，随后，该方法还包括从重新分布于所述走向线上的所述中间点当中识别成对点。其中，通过以水平线连接所述成对点而为所述自动驾驶车辆确定可行驶道路区域。
在一种实施方式中，可涉及一种为自动驾驶车辆的安全导航确定可行驶道路区域的道路区域确定系统。该道路区域确定系统可包括处理器以及以可通信方式与该处理器连接的存储器，其中，该存储器存有处理器可执行指令，该指令在执行时可使得所述道路区域确定系统从与所述自动驾驶车辆相关联的一个或多个图像传感器接收该自动驾驶车辆所行驶道路的实时图像。该道路区域确定系统然后以预先训练的道路分割模型将所述道路的每一实时图像分割为多边形区域和走向线，以获得该道路的多个关联特征。其中，所述道路分割模型通过机器学习技术，并以标有道路特征、多边形区域以及走向线的多幅训练图像进行训练。此外，所述道路区域确定系统还根据均匀分布于所述走向线上的前后相继的中间点之间测得的倾斜度，将所述实时图像中的道路走向识别为线性走向和非线性走向当中的一者。随后，所述道路区域确定系统根据所述道路走向，完成所述中间点的重新分布。随后，所述道路区域确定系统从重新分布于所述走向线上的所述中间点当中识别成对点。其中，通过以水平线连接所述成对点而为所述自动驾驶车辆确定可行驶道路区域。
以上概略描述仅旨在说明，并不在于构成任何限制。通过参考附图和以下具体描述，上述说明性方面、实施方式和特征之外的其他方面、实施方式和特征将变得容易理解。
附图说明
所附各图并入本发明之内并构成本发明的一部分，用于对例示实施方式进行描述，并与说明书一道阐明所公开的原理。各图中，附图标记最左边的位值表明该附图标记第一次出现时所在的图号，相同标记指代类似构件或部件。以下，对根据本技术方案实施方式的系统和/或方法的一些实施方式进行描述，该描述仅以例示为目的且参考所述附图，其中：
图1所示为根据本发明一些实施方式为自动驾驶车辆的安全导航确定可行驶道路区域的例示环境；
图2A为根据本发明一些实施方式的道路区域确定系统详细框图。
图2B所示为根据本发明一些实施方式对道路分割模型进行训练的一种例示表现形式。
图3A、图3B和图3C所示为根据本发明一些实施方式将道路图像分割为多边形区域和走向线的一种例示表现形式。
图4为根据本发明一些实施方式的道路走向识别方法流程图。
图5A所示为根据本发明一些实施方式分布于走向线上的中间点的一种例示表现形式。
图5B所示为根据本发明一些实施方式以水平线连接走向线上的成对点的一种例示表现形式。
图6为根据本发明一些实施方式为自动驾驶车辆的安全导航确定可行驶道路区域的方法流程图。
图7为用于实施符合本发明的实施方式的例示计算机系统的框图。
本领域技术人员应当理解的是，本文中的任何框图均表示秉承本技术方案原理的说明性系统的概念图。同样地，还应当理解的是，任何的作业图，流程图，状态迁移图以及伪代码等均表示可实质表现于计算机可读介质中且由计算机或处理器(无论该计算机或处理器明确示出与否)执行的各种过程。
附图标记列表
100 环境
101 道路区域确定系统
103 自动驾驶车辆
105 一个或多个图像传感器
107 通信网络
109 I/O接口
111 存储器
113 处理器
200 数据
201 位置数据
203 道路图像
205 道路特征数据
207 训练数据集
208 其他数据
209 模块
211 接收模块
213 道路分割训练模块
215 道路图像分割模块
217 道路走向识别模块
219 管理模块
221 道路区域识别模块
223 其他模块
225 特征提取
227 道路分割训练单元
229 道路分割模型构建器
301 道路整体多边形区域
303 道路左侧多边形区域
305 道路右侧多边形区域
307 左侧走向线
309 右侧走向线
700 计算机系统
701 I/O接口
702 处理器
703 网络接口
704 存储接口
705 存储器
706 用户界面
707 操作系统
708 网页浏览器
709 通信网络
712 输入设备
713 输出设备
714 自动驾驶车辆
具体实施方式
本文中，“例示”一词用于表示“作为示例、实例或例证”。本文中，描述为“例示”的本技术方案任何实施方式或实现方式并不一定理解为比其他实施方式优选或有利的实施方式。
虽然附图中已以例示方式对本发明的具体实施方式进行了展示，并将在下文中对其进行详细描述，但本发明还可具有各种修改和替代形式。应该理解的是，本发明并不旨在局限于所公开的具体形式，相反，本发明意在涵盖落入其精神和范围内的所有修改、等同及替代方案。
“包括”一词或其任何其他变形形式旨在涵盖非排除性的纳入关系。如此，对于包括一系列部件或步骤的体系、装置或方法而言，其并不仅包括已列出的部件或步骤，还可能包括其他未明确列出的部件或步骤，或者包括该体系、装置或方法固有的部件或步骤。换言之，在“包括……”这一表述之后描述的系统或装置中的一个或多个元件，在没有其他限制的情况下，并不排除其他或额外元件在该系统或装置中的存在。
在以下对本发明实施方式的详细描述中，对附图进行参考，所述附图作为本文的一部分，以例示方式示出了可实践本发明的具体实施方式。这些实施方式的描述详细程度足以让本领域技术人员可对本发明进行实践，而且可以理解的是，在不脱离本发明范围的前提下，还可使用其他实施方式，以及做出各种改变。因此，以下描述不应视为具有限制意义。
本发明的实施方式涉及一种为自动驾驶车辆的安全导航确定可行驶道路区域的道路区域确定方法和系统。在一种实施方式中，所述自动驾驶车辆是指无人驾驶车辆。在该自动驾驶车辆行驶过程中的任何时刻，一直从与该自动驾驶车辆相关的一个或多个图像传感器接收该自动驾驶车辆所行驶道路的实时图像。本发明根据道路分割模型，将所述道路的实时图像分割为多边形区域和走向线。在一种实施方式中，通过使用机器学习技术，以多幅训练图像对所述道路分割模型进行训练。根据分割结果，所述实时图像中的道路走向被确定为线性走向和非线性走向。所述道路区域确定系统根据该分割结果和道路走向，确定可行驶道路区域。本发明使得所述自动驾驶车辆具有多种检测可行驶道路区域的故障自动防护机制。
图1所示为根据本发明一些实施方式为自动驾驶车辆的安全导航确定可行驶道路区域的例示环境。
如图1所示，环境100包括经通信网络107连接至自动驾驶车辆103的道路区域确定系统101。在一种实施方式中，自动驾驶车辆103可指无人驾驶车辆。自动驾驶车辆103与图像传感器1051、图像传感器1052、……以及图像传感器105N(统称一个或多个图像传感器105)相关联。该一个或多个图像传感器105可例如包括红外(IR)摄像头、彩色摄像头等。本领域技术人员可理解的是，任何其他可用于自动驾驶车辆103的图像传感器，即使未明确提及，也可用于本发明。道路区域确定系统101可确定可行驶道路区域，并将其提供给自动驾驶车辆103的控制单元(图1中未明示)。在一种实施方式中，道路区域确定系统101可通过通信网络107与其他部件或服务提供商交换数据。通信网络107可包括但不限于直接互连、电子商务网络、点对点(P2P)网络、局域网(LAN)、广域网(WAN)、无线网络(如利用无线应用协议)、互联网、Wi-Fi等。
在一种实施方式中，道路区域确定系统101可包括但不限于膝上型计算机、台式计算机、个人数字助理(PDA)、笔记本电脑、智能电话、平板电脑、服务器、与自动驾驶车辆103的导航单元关联的电子控制器单元(ECU)以及任何其他计算装置。本领域技术人员可理解的是，任何其他装置，即使未明确提及，也可用作本发明的道路区域确定系统101。在一种实施方式中，道路区域确定系统101既可集成于自动驾驶车辆103内，也可用作独立系统。
此外，道路区域确定系统101可包括I/O接口109、存储器111以及处理器113。I/O接口109可设置为从所述与自动驾驶车辆103关联的一个或多个图像传感器105接收道路的实时图像。经该I/O接口109接收的道路实时图像可存储于存储器111内。存储器111可以可通信方式与道路区域确定系统101的处理器113连接。存储器111还可存储处理器指令，该处理器指令可使得处理器113执行用于为自动驾驶车辆103的安全导航确定可行驶道路区域的指令。
当自动驾驶车辆103在道路上行驶时，道路区域确定系统101根据从以可通信方式连接至自动驾驶车辆103的全球定位系统(GPS)单元、光通量测量传感器以及天气预报单元(图1中未明示)中的一种接收的输入，确定自动驾驶车辆103当前位置的照明条件。本领域技术人员可理解的是，任何其他装置，即使未明确提及，也可用于检测照明条件。在一种实施方式中，所述GPS单元、光通量测量传感器以及天气预报单元可设于自动驾驶车辆103内。在一种实施方式中，所述GPS单元用于检测纬经坐标，该纬经坐标可用于定位自动驾驶车辆103的当前位置。
所述光通量测量传感器可用于测量昼夜两种照明条件下的光强。所述天气预报单元用于传输经所述GPS单元确定的当前位置天气预报。所述照明条件可例如确定为日间照明条件、夜间照明条件等。根据当前位置的照明条件，道路区域确定系统101从所述一个或多个图像传感器105接收自动驾驶车辆103所行驶道路的实时图像。换句话说，道路区域确定系统101可根据为自动驾驶车辆103当前位置确定的照明条件，触发所述一个或多个图像传感器105，例如触发用于提供红外图像的所述红外摄像头，以使其在夜间照明条件下提供道路实时图像。类似地，也可触发用于提供彩色图像的所述彩色摄像头，以使其在日间照明条件下提供道路实时图像。道路区域确定系统101可将每幅道路实时图像分割为多边形区域和走向线。在一种实施方式中，所述多边形区域可包括道路整体多边形区域、道路左侧多边形区域以及道路右侧多边形区域。在一种实施方式中，所述走向线可包括分别从道路左侧多边形区域和道路右侧多边形区域识别出的左侧走向线和右侧走向线。
道路区域确定系统101通过以预先训练的道路分割模型分割道路实时图像，获得多个道路关联特征。在一种实施方式中，所述多个道路关联特征包括：基于道路所使用材料的道路类型，如沥青道路、WBM道路、石灰道路等；以及道路颜色。本领域技术人员可理解的是，任何其他道路特征，即使未明确提及，也可用于本发明。在一种实施方式中，利用手动标注道路特征、多边形区域以及走向线的多幅训练图像，并通过机器学习技术，对所述道路分割模型进行训练。本领域技术人员可理解的是，本发明的道路区域确定系统101可使用任何机器学习技术。此外，道路区域确定系统101在所述左侧走向线和右侧走向线上均匀分布中间点。
随后，道路区域确定系统101可根据均匀分布于所述左侧走向线和右侧走向线上的前后相继的中间点之间测得的倾斜度，在所述实时图像中识别出道路走向。该道路走向可识别为线性走向和非线性走向中的一种。当所有前后相继的中间点之间的倾斜度均处于预定义倾斜度范围内时，所述道路走向可以为线性走向。当所有前后相继的中间点之间的倾斜度均超出预定义倾斜度阈值范围时，所述道路走向可以为非线性走向。此外，道路区域确定系统101可根据道路走向的识别结果，完成中间点在走向线上的重新分布。在一种实施方式中，当道路走向被识别为非线性走向时，道路区域确定系统101可通过在道路弯段上设置更多中间点而改变中间点的分布方式。当道路走向被识别为线性走向时，道路区域确定系统101可维持中间点的均匀分布。在此之后，道路区域确定系统101可从重新分布于走向线上的中间点中识别出成对点，并通过以水平线连接该成对点而为自动驾驶车辆103确定可行驶道路区域。在一种实施方式中，通过以水平线连接左侧走向线上的每一中间点与右侧走向线上的相应中间点的方式，识别中间点中的成对点。在一种实施方式中，所述道路区域包括左侧道沿区域、右侧道沿区域以及道路弯曲角度。
图2A为根据本发明一些实施方式的道路区域确定系统详细框图。
道路区域确定系统101可包括数据200和一个或多个模块209，以下将对此进行详细描述。在一种实施方式中，数据200可存储于存储器111内。数据200可例如包括位置数据201、道路图像203、道路特征数据205、训练数据集207以及其他数据208。
位置数据201可包括来自以可通信方式与自动驾驶车辆103连接的所述GPS单元、光通量测量传感器以及天气预报单元的数据。位置数据201可用于确定自动驾驶车辆103当前位置的照明条件。举例而言，来自所述GPS单元的数据可包括经纬坐标，该经纬坐标用于定位自动驾驶车辆103的当前位置。来自所述光通量测量传感器的数据可包括昼夜两种照明条件下测得的光强值。此外，来自所述天气预报单元的数据可包括自动驾驶车辆103当前位置的天气信息。
道路图像203可包括自动驾驶车辆103当前行驶道路的实时图像。其中，可根据基于位置数据201检测到的照明条件，从所述一个或多个图像传感器105接收上述道路的实时图像。举例而言，当所述照明条件识别为日间条件时，可从所述彩色摄像头接收所述道路的实时图像。类似地，当所述照明条件识别为夜间条件时，可从所述红外摄像头接收所述道路的实时图像。
道路特征数据205可包括与所述道路相关联的多个特征。该多个特征可包括道路类型、道路颜色等。本领域技术人员可理解的是，任何其他道路特征，即使未明确提及，也可用于本发明。
训练数据集207可包括上述多幅训练图像以及带标注的多边形区域。在一种实施方式中，所述多边形区域可用于定义所述多个道路关联特征。在一种实施方式中，所述多幅训练图像可包括红外图像和彩色图像。
其他数据208可包括用于执行道路区域确定系统101的各功能的模块209所产生的数据，包括临时数据和临时文件。
在一种实施方式中，道路区域确定系统101的存储器111内的数据200由处于该存储器111内的所述一个或多个模块209处理。在一种实施方式中，该一个或多个模块209可实施为专用单元。本文中，“模块”一词是指提供上述功能的专用集成电路(ASIC)、电子电路、可现场编程门阵列(FPGA)、可编程片上系统(PSoC)、组合逻辑电路和/或其他合适器件。在一些实施方式中，所述一个或多个模块209可以以可通信方式与用于执行道路区域确定系统101的一个或多个功能的处理器113相连接。当配备有本发明中描述的功能后，模块209即构成新的硬件。
在一种实施方式中，所述一个或多个模块209可包括但不限于接收模块211、道路分割训练模块213、道路图像分割模块215、道路走向识别模块217、管理模块219以及道路区域识别模块221。该一个或多个模块209还可包括用于执行道路区域确定系统101的各种其他功能的其他模块223。在一种实施方式中，其他模块223可包括照明条件确定模块和中间点分布模块。所述照明条件确定模块可从所述GPS单元、光通量测量传感器以及天气预报单元接收所述用于确定自动驾驶车辆103当前位置照明条件的数据。所述中间点分布模块可根据预定义中间点个数在所述左侧走向线和右侧走向线上均匀分布中间点。举例而言，所述预定义中间点个数可设置为8个、16个等。
接收模块211可从所述与自动驾驶车辆103关联的一个或多个图像传感器105接收道路实时图像。其中，可根据自动驾驶车辆103当前位置的照明条件，接收所述道路实时图像。此外，接收模块211还可从与自动驾驶车辆103连接的所述GPS单元、光通量测量传感器以及天气预报单元接收数据。接收模块211可向自动驾驶车辆103的控制单元提供可行驶道路区域，以根据这些道路区域触发自动驾驶车辆103内的相应单元。
道路分割训练模块213可根据机器学习技术，以所述多幅训练图像对所述道路分割模型进行训练。在一种实施方式中，可以所述道路特征、多边形区域以及走向线对所述多幅训练图像进行标注。图2B所示为根据本发明一些实施方式对道路分割模型进行训练的一种例示表现形式。如图2B所示，道路分割训练模块213可使用训练数据集207对所述道路分割模型进行训练。如图2B所示，训练数据集207包括所述多幅训练图像和带标签的多边形区域。在一种实施方式中，所述多边形区域可用于定义多个道路关联特征。在一种实施方式中，所述多幅训练图像可包括红外图像和彩色图像。在一种实施方式中，道路分割训练模块213可分别利用道路的红外图像和彩色图像，对所述道路分割模型进行训练。此外，对于每幅道路训练图像，所述带标签的多边形区域均包括：道路整体区域，标示为(Pz)；道路左侧多边形区域，标示为(PL)；以及道路右侧多边形区域，标示为(PR)。左侧走向线标于道路左侧多边形区域并标示为(TL)，右侧走向线标于道路右侧多边形区域并标示为(TR)。如图2B所示，在225处，道路分割训练模块213可从训练图像中提取特征。在一种实施方式中，针对每一标签提取的特征均被发送至道路分割训练器227，以供训练。
道路分割训练器227可包括机器学习方法以及训练技术。例如，采用RESNet的更快RCNN等机器学习模型可用于训练所述道路分割模型。本领域技术人员可理解的是，任何其他机器学习技术，即使未明确提及，也可用于本发明。此外，道路分割训练模块213可包括道路分割模型构建器229，用于根据所述多边形区域标签和所提取的特征构建所述道路分割模型。
道路图像分割模块215可根据所述预先训练的道路分割模型，将从接收模块211接收的道路实时图像分割为上述多边形区域和走向线。随后，如上所述，通过机器学习技术，以标有道路特征、多边形区域以及走向线的多幅训练图像，对所述道路分割模型进行训练。道路图像分割模块215可将所述实时图像内的道路分割为三种多边形区域，即道路整体多边形区域、道路左侧多边形区域以及道路右侧多边形区域。道路图像分割模块215可通过分割所述道路实时图像，获得所述多个道路关联特征。图3A所示为根据本发明一些实施方式将道路图像分割为道路整体多边形区域的一种例示表现形式。如图3A所示，道路图像分割模块215可利用所述预先训练的道路分割模型将图像中的道路整体区域分割为道路整体多边形区域301(Pz)，即图中长点划线着重标出的道路区域。类似地，图3B所示为根据本发明一些实施方式将道路图像分割为道路左侧多边形区域和道路右侧多边形区域的一种例示表现形式。如图3B所示，道路图像分割模块215可将图像中的左侧道沿分割为道路左侧多边形区域303(PL)，以道路左侧长点划线下方的短点划线表示，并将右侧道沿分割为道路右侧多边形区域303(PL)，以道路右侧长点划线下方的短点划线表示。此外，如图3C所示，在对道路实时图像进行多边形区域分割时，道路图像分割模块215还可进行左侧走向线和右侧走向线的分割。图3C所示为根据本发明一些实施方式左侧走向线和右侧走向线的一种例示表现形式。如图3C所示，道路图像分割模块215可对左侧走向线307(TL)进行分割，以道路左侧多边形区域303(PL)内的点划线标出。类似地，道路图像分割模块215可对右侧走向线309(TR)进行分割，以道路右侧多边形区域305(PR)内的点划线标出。
道路走向识别模块217可将道路走向识别为线性走向和非线性走向中的一种。图4为根据本发明一些实施方式的道路走向识别方法流程图。如图4所示，在步骤401中，道路走向识别模块217可将中间点个数设定为预定义个数。该预定义个数例如可以为8个、16个等。在方框403中，道路走向识别模块217可根据所设预定义个数在所述左侧走向线和右侧走向线上均匀分布中间点。图5A所示为根据本发明一些实施方式分布于走向线上的中间点的一种例示表现形式。如图5A所示，8个中间点均匀分布于左侧走向线上，并表示为L1、L2、L3、L4、L5、L6、L7、L8。类似地，8个中间点均匀分布于右侧走向线上，并表示为R1、R2、R3、R4、R5、R6、R7、R8。再次参考图4，在方框405中，道路走向识别模块217可计算各前后相继的中间点之间的倾斜度。在一种实施方式中，可通过将道路实时图像划分为X轴和Y轴并计算各中间点处的角度的方式，计算上述倾斜度。在方框407中，道路走向识别模块217可检验每一倾斜度值是否都处于预定义倾斜度阈值范围。如果每一倾斜度值都处于所述预定义阈值范围内，则该方法进入方框409。否则，如果每一倾斜度值都超出所述阈值范围，则该方法进入方框411。在方框409中，道路走向识别模块217可将道路走向设置为线性走向。在方框411中，道路走向识别模块217可将道路走向设置为非线性走向。
再次参考图2A，管理模块219根据道路走向，完成中间点在走向线上的重新分布。当所述道路走向为非线性走向时，管理模块219可通过在道路弯段上放置更多中间点的方式，改变中间点的分布。当所述道路走向识别为线性走向时，管理模块219可在所述左侧走向线和右侧走向线上保持中间点的均匀分布。
道路区域识别模块221可为自动驾驶车辆103确定可行驶道路区域。道路区域识别模块221可从重新分布于走向线上的中间点识别出成对点。图5B所示为根据本发明一些实施方式分布于走向线上的成对点的一种例示表现形式。如图5B所示，道路区域识别模块221可根据中间点的顺序识别所述左侧走向线和右侧走向线之间的成对点，如L1和R1、L2和R2、……，Ln和Rn。如图5B所示，道路区域识别模块221可将每一对成对点以水平线连接。在一种实施方式中，当将各成对点表示为矢量形式时，可形成自动驾驶车辆103的可行驶道路区域。在一种实施方式中，该道路区域包括左侧道沿区域、右侧道沿区域以及道路弯曲角度。
图6为根据本发明一些实施方式为自动驾驶车辆的安全导航确定可行驶道路区域的方法流程图。
如图6所示，方法600包括为自动驾驶车辆103的安全导航确定可行驶道路区域的一个或多个方框。方法600可在一般的计算机可执行指令背景下描述。一般而言，计算机可执行指令可包括用于执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、过程、模块和功能。
方法600的描述顺序并不旨在被理解为构成限制，而且为了实施该方法，可将该方法的任意数目的部分以任意顺序组合。另外，在不脱离本文所述技术方案的精神和范围的前提下，可将该方法的各个部分分别单独从该方法中删除。此外，该方法可在任何合适的硬件、软件、固件或其组合中实施。
在方框601中，接收模块211从与自动驾驶车辆103相关联的一个或多个图像传感器105接收自动驾驶车辆103所行驶道路的实时图像。
在方框603中，道路图像分割模块215将所述道路的每一实时图像分割为多边形区域和走向线，以利用预先训练的道路分割模型获得多个道路关联特征。在一种实施方式中，道路分割训练模块213通过机器学习技术，以标有道路特征、多边形区域以及走向线的多幅训练图像对所述道路分割模型进行训练。
在方框605中，道路走向识别模块217将所述实时图像中的道路走向识别为线性走向和非线性走向中的一种。其中，根据均匀分布于左侧走向线和右侧走向线上的前后相继的中间点之间测得的倾斜度，识别所述道路走向。
在方框607中，管理模块219根据所述道路走向，对完成所述中间点在走向线上的重新分布。
在方框609中，道路区域识别模块221从重新分布于走向线上的中间点中识别出成对点，以通过以水平线连接各成对点而为所述自动驾驶车辆确定可行驶道路区域。
计算计系统
图7为用于实施符合本发明实施方式的例示计算机系统700的框图。在一种实施方式中，计算机系统700可用于实现道路区域确定系统101。计算机系统700可包括中央处理单元(“CPU”或“处理器”)702。处理器702可包括至少一个为自动驾驶车辆的安全导航确定可行驶道路区域的数据处理器。处理器702可包括集成系统(总线)控制器、存储器管理控制单元、浮点单元、图形处理单元、数字信号处理单元等专用处理单元。
处理器702可配置为通过输入/输出(I/O)接口701与一个或多个I/O设备(未图示)通信。I/O接口701可采用通信协议/方法，例如但不限于，音频、模拟、数字、单声道、RCA、立体声、IEEE-1394、串行总线、通用串行总线(USB)、红外、PS/2、BNC、同轴、组件、复合、数字视觉接口(DVI)、高清多媒体接口(HDMI)、射频天线、S-Video，VGA、IEEE 802.n/b/g/n/x、蓝牙、蜂窝(例如码分多址(CDMA)、高速分组接入(HSPA+)、移动通信全球系统(GSM)、长期演进(LTE)、WiMax等)等。
通过使用I/O接口701，计算机系统700可与一个或多个I/O设备通信。举例而言，输入设备可以为天线、键盘、鼠标、操纵杆、(红外)遥控、摄像头、读卡器、传真机、加密狗、生物计量阅读器、麦克风、触摸屏、触摸板、轨迹球、触控笔、扫描仪、存储设备、收发器、视频设备/视频源等。输出设备可以为打印机、传真机、视频显示器(如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、等离子、等离子显示平板(PDP)、有机发光二极管阵列(OLED)等)、音频扬声器等。
在一些实施方式中，计算机系统700由道路区域确定系统101构成。处理器702可配置为通过网络接口703与通信网络709通信。网络接口703可与通信网络709通信。网络接口703可采用连接协议，包括但不限于，直接连接，以太网(如双绞线10/100/1000Base T)，传输控制协议/网际协议(TCP/IP)，令牌环，IEEE 802.11a/b/g/n/x等。通信网络709可包括，但不限于，直接互连、局域网(LAN)、广域网(WAN)、无线网络(例如使用无线应用协议)、因特网等。通过网络接口703和通信网络709，计算机系统700可与自动驾驶车辆714通信。网络接口703可采用连接协议，包括但不限于，直接连接，以太网(如双绞线10/100/1000Base T)，传输控制协议/网际协议(TCP/IP)，令牌环，IEEE 802.11a/b/g/n/x等。
通信网络709包括但不限于直接互连、电子商务网络、点对点(P2P)网络、局域网(LAN)、广域网(WAN)、无线网络(如利用无线应用协议)、互联网、Wi-Fi等。所述第一网络和第二网络既可以为专用网络，也可以为共享网络，其表示不同类型网络利用各种协议相互通信的一种互联形式，该协议例如为超文本传输协议(HTTP)、传输控制协议/网际协议(TCP/IP)、无线应用协议(WAP)等。此外，所述第一网络和第二网络可包括各种网络装置，包括路由器、网桥、服务器、计算装置、存储装置等。
在一些实施方式中，处理器702可配置为通过存储接口704与存储器705(如图7所示RAM、ROM等)通信。存储接口704可采用串行高级技术连接(SATA)、集成驱动电子设备(IDE)、IEEE1394、通用串行总线(USB)、光纤通道、小型计算机系统接口(SCSI)等连接协议连接至存储器705，该存储设备包括，但不限于，存储驱动器、可移动磁盘驱动器等。所述存储驱动器还可包括磁鼓、磁盘驱动器、磁光驱动器、光盘驱动器、独立磁盘冗余阵列(RAID)、固态存储设备、固态驱动器等。
存储器705可存储一系列程序或数据库组件，包括但不限于，用户界面706，操作系统707等。在一些实施方式中，计算机系统700可存储用户/应用程序数据，如本发明中所述的数据、变量或记录等。此类数据库可实施为容错、关系、可扩展、安全数据库，例如甲骨文(Oracle)或赛贝斯(Sybase)。
操作系统707可促进计算机系统700的资源管理和运行。操作系统例如包括，但不限于，苹果MacintoshR OS X、UnixR、Unix类系统套件(如Berkeley SoftwareDistributiontm TM(BSD)、FreeBSDTM、NetBSDTM、OpenBSDTM等)、Linux DistributionsTM(如Red HatTM、UbuntuTM、KubuntuTM等)、IBMTMOS/2、MicrosoftTMWindowsTM(XPTM，VistaTM/7/8、10等)、APPLERiOSTM、GoogleR AndroidTM、BlackberryR操作系统等。
在一些实施方式中，计算机系统700可执行网页浏览器708存储的程序组件。网页浏览器708可以为超文本浏览应用程序，如
Figure BDA0002013017720000171
Internet ExplorerTM、
Figure BDA0002013017720000172
ChromeTM、
Figure BDA0002013017720000173
FirefoxTM、
Figure BDA0002013017720000174
SafariTM等。其中，可通过HTTPS(安全超文本传输协议)、安全套接字层(SSL)、安全传输层(TLS)等实现安全网页浏览。网页浏览器708可使用AJAXTM、DHTMLTM、AdobeTM FlashTM、JavaScriptTM、JavaTM、应用程序编程接口(API)等工具。在一些实施方式中，计算机系统700可执行邮件服务器存储的程序组件。所述邮件服务器可以为
Figure BDA0002013017720000175
Exchange等因特网邮件服务器。该邮件服务器可使用ASPTM、ActiveXTM、ANSITM C++/C#、
Figure BDA0002013017720000176
.NETTM、CGI ScriptsTM、JavaTM、JavaScriptTM、PERLTM、PHPTM、PythonTM、WebObjectsTM等工具。该邮件服务器还可使用因特网信息访问协议(IMAP)，邮件应用程序编程接口(MAPI)，
Figure BDA0002013017720000177
Exchange，邮局协议(POP)，简单邮件传输协议(SMTP)等通信协议。在一些实施方式中，计算机系统700可执行邮件客户端存储的程序组件。所述邮件客户端可为
Figure BDA0002013017720000178
MailTM、
Figure BDA0002013017720000179
EntourageTM、
Figure BDA00020130177200001710
OutlookTM、
Figure BDA00020130177200001711
ThunderbirdTM等邮件查看程序。
此外，一个或多个计算机可读存储介质可用于实施符合本发明的实施方式。计算机可读存储介质是指可对处理器可读取的信息或数据进行存储的任何类型的物理存储器。因此，计算机可读存储介质可存储由一个或多个处理器执行的指令，包括用于使处理器执行根据本申请实施方式的步骤或阶段的指令。“计算机可读介质”一词应理解为包括有形物件但不包括载波及瞬态信号，即为非临时性介质，例如随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、只读光盘存储器(CD-ROM)、DVD、闪存驱动器、磁盘以及其他任何已知物理存储介质。
本发明的实施方式仅使用摄像头输入和机器学习技术便可确定可行驶道路区域，很少使用或不使用传感器融合，从而消除了多种传感器之间的依赖性。
本发明实施方式通过分割，使得所述自动驾驶车辆具有多种用于检测可行驶道路区域的故障自动防护机制。
本发明用于物体分割的实施方式还可用于不同应用，如机器人视觉、安防、消费者及零售应用。
以上各操作可通过用于产生软件、固件、硬件或其任意组合的标准编程和/或工程技术实施为方法、系统或制造物。此外，以上各操作还可实施为保持于“计算机可读存储介质”中的代码，其中，处理器可从该计算机可读介质中读取所述代码并执行。所述处理器为可处理及执行所述查询的微处理器及处理器中的至少一个。计算机可读存储介质可包括磁存储介质(如硬盘驱动器、软盘、磁带等)，光存储装置(CD-ROM、DVD、光盘等)，易失性及非易失性存储器件(如EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、固件、可编程逻辑等)等介质。此外，非暂时性计算机可读介质包括除临时性计算机可读介质之外的所有计算机可读介质。可实施上述操作的所述代码还可在硬件逻辑(如集成电路芯片、可编程门阵列(PGA)、专用集成电路(ASIC)等)中实施。
除此之外，可实施上述操作的所述代码可在“传输信号”中实现，其中，所述传输信号可在空间或光纤、铜线等传输介质中传播。其内编码了所述代码或逻辑的上述传输信号可进一步包括无线信号，卫星传输，无线电波，红外信号，蓝牙等。此外，其内编码了所述代码或逻辑的上述传输信号可由发送站发送，并可由接收站接收，其中，编码于所述传输信号内的所述代码或逻辑可在所述接收及传输站点或设备处解码并保存于硬件或非暂时性计算机可读介质中。“制造物”包括非暂时性计算机可读介质，硬件逻辑，和/或其内可实现代码的传输信号。其内编码有可实施上述操作的实施方式的所述代码的装置可包括计算机可读介质或硬件逻辑。当然，本领域的技术人员可认识到的是，在不脱离本发明范围的前提下，可对上述配置做出多种修饰，而且所述制造物可包括本领域已知的合适信息承载介质。
除非另有明确说明，“实施方式”，“各实施方式”，“所述实施方式”，“所述各实施方式”，“一种或多种实施方式”，“一些实施方式”以及“一种实施方式”等词均表示“本发明的一种或多种(而非全部)实施方式”。
除非另有明确说明，“包括”，“包含”以及“具有”各词及其变形形式均表示“包括，但不限于”的意思。
除非另有明确说明，对项目的枚举罗列并不意味着其中的任何或所有项目具有相互排他关系。
除非另有明确说明，无复数意义的不定指或定指均表示“一个或多个”的意思。
描述为具有多个相互间有联系的部件的实施方式并不意味着所有此类部件均为必需部件。相反地，其描述的是，还具有多种可选组件用于实现本发明的各种各样的可能实施方式。
本文中，一旦有对单个设备或物件的描述，则可随即明白的是，所述单个设备/物件可由多于一个的所述设备/物件(无论其之间是否均有协作关系)代替。类似地，本文中一旦有对多于一个的设备或物件(无论其之间是否均有协作关系)的描述，则可随即明白的是，所述多于一个的设备或物件可由单个设备/物件代替，或者所示数量的设备或程序可由不同数量的设备/物件代替。此外，某个设备的功能和/或特征可由一个或多个未明确描述为具有此类功能/特征的其他设备代为实现。因此，本发明的其它实施方式无需包括该设备本身。
图6所示各操作展示了以某一顺序发生的特定事件。在替代实施方式中，可按照不同顺序执行其中的某些操作，或者修改或去除其中的某些操作。其次，可在上述逻辑中加入数个步骤的同时，仍使其符合所述实施方式。再次，本文所述的操作既可按顺序逐次发生，也可将当中的某些操作并行处理。再者，操作既可由单个处理单元执行，也可由分布式处理单元执行。
最后，本说明书所选的行文方式主要在于可读性和教示目的，其可并不在于细述或限制本发明技术方案。因此，本发明范围并不意在由此具体实施方式部分限制，而是由基于此部分提出申请的任何权利要求所界定。相应地，本发明实施方式的发明意在于说明而非限制本发明范围，而且本发明范围如所附权利要求所述。
虽然本文公开了各个方面及各种实施方式，但是对于本领域技术人员而言，其他方面及实施方式为容易理解的。本文所公开的各个方面及各种实施方式出于说明而非限制目的，本发明的真正范围及精神如所附权利要求所述。

Claims (13)

1.一种为自动驾驶车辆的安全导航确定可行驶道路区域的方法，其特征在于，所述方法包括：
由一道路区域确定系统，从与所述自动驾驶车辆相关联的一个或多个图像传感器接收所述自动驾驶车辆所行驶道路的实时图像；
由所述道路区域确定系统，以预先训练的一道路分割模型将所述道路的每一实时图像分割为多边形区域和走向线，以获得所述道路的多个关联特征，其中，所述道路分割模型通过机器学习技术，并以标有道路特征、多边形区域以及走向线的多幅训练图像进行训练；
由所述道路区域确定系统，根据均匀分布于所述走向线上的前后相继的中间点之间测得的倾斜度，将所述实时图像中的道路走向识别为线性走向和非线性走向中的一种；
由所述道路区域确定系统，根据所述道路走向，完成所述中间点在所述走向线上的重新分布；以及
由所述道路区域确定系统，从重新分布于所述走向线上的所述中间点中识别出成对点，其中，通过以水平线连接所述成对点而为所述自动驾驶车辆确定所述可行驶道路区域。
2.如权利要求1所述的方法，其特征在于，所述多边形区域包括道路整体多边形区域、道路左侧多边形区域以及道路右侧多边形区域，所述走向线包括位于所述道路左侧多边形区域上的左侧走向线以及位于所述道路右侧多边形区域上的右侧走向线。
3.如权利要求1所述的方法，其特征在于，所述道路的所述多个关联特征包括所述道路的类型和所述道路的颜色。
4.如权利要求1所述的方法，其特征在于，将所述道路走向识别为线性走向和非线性走向中的一种包括：
由所述道路区域确定系统根据一预定义距离，将所述中间点均匀分布于所述道路的左侧走向线和右侧走向线上；
由所述道路区域确定系统，计算前后相继的各中间点之间的倾斜度；以及
当前后相继的各所述中间点之间的所述倾斜度位于一预定义阈值范围之内时，由所述道路区域确定系统将所述道路走向识别为线性走向；当前后相继的各所述中间点之间的所述倾斜度位于所述预定义阈值范围之外时，由所述道路区域确定系统将所述道路走向识别为非线性走向。
5.如权利要求1所述的方法，其特征在于，完成所述中间点在所述走向线上的重新分布包括：当所述道路走向识别为非线性走向时，通过在所述道路的弯段上设置更多的中间点而改变所述中间点的分布。
6.如权利要求1所述的方法，其特征在于，完成所述中间点在所述走向线上的重新分布包括：当所述道路走向识别为线性走向时，保持所述中间点的均匀分布。
7.如权利要求1所述的方法，其特征在于，识别所述中间点中的所述成对点包括：以水平线连接左侧走向线上的每一中间点与右侧走向线上的对应中间点。
8.如权利要求1所述的方法，其特征在于，所述道路区域包括左侧道沿区域、右侧道沿区域和道路弯曲角度。
9.如权利要求1所述的方法，其特征在于，还包括：将所确定的用于安全导航的道路区域发送给所述自动驾驶车辆的控制单元，以根据用于安全导航的所述道路区域触发所述自动驾驶车辆内的相应单元。
10.一种为自动驾驶车辆的安全导航确定可行驶道路区域的道路区域确定系统，其特征在于，包括：
一处理器；以及
一存储器，以可通信方式与所述处理器相连接，其中，所述存储器存有处理器指令，所述处理器指令在执行时使得所述处理器：
从安装于所述自动驾驶车辆上的一个或多个图像传感器接收所述自动驾驶车辆所行驶道路的实时图像；
以预先训练的一道路分割模型将所述道路的每一实时图像分割为多边形区域和走向线，以获得所述道路的多个关联特征，其中，所述道路分割模型通过机器学习技术，并以标有道路特征、多边形区域以及走向线的多幅训练图像进行训练；
根据均匀分布于所述走向线上的前后相继的中间点之间测得的倾斜度，将所述实时图像中的道路走向识别为线性走向和非线性走向中的一种；
根据所述道路走向，完成所述中间点在所述走向线上的重新分布；以及
从重新分布于所述走向线上的所述中间点中识别出成对点，其中，通过以水平线连接所述成对点而为所述自动驾驶车辆确定所述可行驶道路区域。
11.如权利要求10所述的道路区域确定系统，其特征在于，所述处理器通过
根据一预定义距离，将所述中间点均匀分布于所述道路的左侧走向线和右侧走向线上，
计算前后相继的各中间点之间的倾斜度，以及
当前后相继的各所述中间点之间的所述倾斜度位于一预定义阈值范围之内时，由所述道路区域确定系统将所述道路走向识别为线性走向；当前后相继的各所述中间点之间的所述倾斜度位于所述预定义阈值范围之外时，由所述道路区域确定系统将所述道路走向识别为非线性走向。
12.如权利要求10所述的道路区域确定系统，其特征在于，所述处理器通过以水平线连接左侧走向线上的每一中间点与右侧走向线上的对应中间点的方式，从所述中间点中识别出成对点。
13.如权利要求10所述的道路区域确定系统，其特征在于，所述处理器设置为将所确定的用于安全导航的道路区域发送给所述自动驾驶车辆的控制单元，以根据用于安全导航的所述道路区域触发所述自动驾驶车辆内的相应单元。
CN201910253639.3A 2019-02-15 2019-03-30 为自动驾驶安全导航确定可行驶道路区域的方法和系统 Withdrawn CN111578955A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN201941006129 2019-02-15
IN201941006129 2019-02-15

Publications (1)

Publication Number Publication Date
CN111578955A true CN111578955A (zh) 2020-08-25

Family

ID=65995659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910253639.3A Withdrawn CN111578955A (zh) 2019-02-15 2019-03-30 为自动驾驶安全导航确定可行驶道路区域的方法和系统

Country Status (3)

Country Link
US (1) US20200264620A1 (zh)
EP (1) EP3696718A1 (zh)
CN (1) CN111578955A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112660145A (zh) * 2020-12-24 2021-04-16 李敏 一种无人驾驶车辆的控制系统及其控制方法
CN116625317A (zh) * 2023-07-26 2023-08-22 天津达一众诚科技有限公司 一种基于图像处理的陡坡表面坡度检测方法及设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860304B (zh) * 2020-07-17 2024-04-30 北京百度网讯科技有限公司 一种图像标注方法、电子装置、设备及存储介质
CN112037194B (zh) * 2020-08-31 2023-04-07 中冶赛迪信息技术(重庆)有限公司 一种冷床乱钢检测方法、系统、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160167582A1 (en) * 2014-12-16 2016-06-16 Here Global B.V. Learning Lanes From Vehicle Probes
JP2018062244A (ja) * 2016-10-12 2018-04-19 本田技研工業株式会社 車両制御装置
CN108216242A (zh) * 2016-12-14 2018-06-29 现代自动车株式会社 用于控制车辆的狭窄道路行驶的装置和方法
US20180224289A1 (en) * 2017-02-03 2018-08-09 Ushr, Inc. Active driving map for self-driving road vehicle
US20180285659A1 (en) * 2017-03-31 2018-10-04 Here Global B.V. Method, apparatus, and system for a parametric representation of lane lines
CN108985194A (zh) * 2018-06-29 2018-12-11 华南理工大学 一种基于图像语义分割的智能车辆可行驶区域的识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160167582A1 (en) * 2014-12-16 2016-06-16 Here Global B.V. Learning Lanes From Vehicle Probes
JP2018062244A (ja) * 2016-10-12 2018-04-19 本田技研工業株式会社 車両制御装置
CN108216242A (zh) * 2016-12-14 2018-06-29 现代自动车株式会社 用于控制车辆的狭窄道路行驶的装置和方法
US20180224289A1 (en) * 2017-02-03 2018-08-09 Ushr, Inc. Active driving map for self-driving road vehicle
US20180285659A1 (en) * 2017-03-31 2018-10-04 Here Global B.V. Method, apparatus, and system for a parametric representation of lane lines
CN108985194A (zh) * 2018-06-29 2018-12-11 华南理工大学 一种基于图像语义分割的智能车辆可行驶区域的识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YANG XING等: "Dynamic integration and online evaluation of vision-based lane detection algorithms", 《IET INTELLIGENT TRANSPORT SYSTEMS，THE INSTITUTION OF ENGINEERING AND TECHNOLOGY》 *
YU-CHING CHAN等: "Lane Mark and Drivable Area Detection Using a Novel Instance Segmentation Scheme", 《2019 IEEE/SICE INTERNATIONAL SYMPOSIUM ON SYSTEM INTEGRATION (SII)，IEEE》 *
陈军;杜焕强;张长江;: "基于概率霍夫变换的车道检测技术研究", 科技通报 *
高嵩;何佳;戎辉;王文扬;郭蓬;范海瑞;: "一种基于车道线检测的自动驾驶预行驶区域判别方法", 激光杂志 *
鲁曼;蔡自兴;李仪;: "道路区域分割的车道线检测方法", 智能系统学报 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112660145A (zh) * 2020-12-24 2021-04-16 李敏 一种无人驾驶车辆的控制系统及其控制方法
CN116625317A (zh) * 2023-07-26 2023-08-22 天津达一众诚科技有限公司 一种基于图像处理的陡坡表面坡度检测方法及设备
CN116625317B (zh) * 2023-07-26 2023-10-03 天津达一众诚科技有限公司 一种基于图像处理的陡坡表面坡度检测方法及设备

Also Published As

Publication number Publication date
US20200264620A1 (en) 2020-08-20
EP3696718A1 (en) 2020-08-19

Similar Documents

Publication Publication Date Title
US10620638B2 (en) Method, system, and device for guiding autonomous vehicles based on dynamic extraction of road region
US10503171B2 (en) Method and system for determining drivable navigation path for an autonomous vehicle
US10684131B2 (en) Method and system for generating and updating vehicle navigation maps with features of navigation paths
CN111578955A (zh) 为自动驾驶安全导航确定可行驶道路区域的方法和系统
EP3462134A1 (en) Method and system for correcting a pre-generated navigation path for an autonomous vehicle
US20200042800A1 (en) Image acquiring system, terminal, image acquiring method, and image acquiring program
US10793150B2 (en) Method and device for controlling vehicle based on neighboring vehicles
JP2020518785A (ja) 車道の決定方法、装置及び記憶媒体
EP3300949A1 (en) Method and system for automatic control of a headlight of a vehicle
US10585436B2 (en) Method and system for real-time generation of reference navigation path for navigation of vehicle
US10788831B2 (en) Method and device for identifying center of a path for navigation of autonomous vehicles
US20190258260A1 (en) Method for generating a safe navigation path for a vehicle and a system thereof
US11422559B2 (en) Method and system of navigating an autonomous vehicle at an intersection of roads
US10901424B2 (en) Method and system for generating a safe navigation path in real-time for navigating a vehicle
US11598864B2 (en) Method and system for testing LiDAR sensors
US11300960B2 (en) Method and device for navigating an autonomous vehicle
US11127121B2 (en) System and method of generating enhanced video by removing fog for vehicle navigation
US10829117B2 (en) Method and system for correcting velocity of autonomous vehicle to navigate along planned navigation path
US11474203B2 (en) Method and system for determining correctness of Lidar sensor data used for localizing autonomous vehicle
US11498586B2 (en) Method and system for dynamically generating a secure navigation path for navigation of autonomous vehicle
US11403773B2 (en) Method of stitching images captured by a vehicle, and a system thereof
CN109991975B (zh) 生成车辆用安全导航路径的方法、系统和存储介质
US11294042B2 (en) Method and system for detecting presence of partial visual fault in Lidar sensor of vehicle
US11386680B2 (en) System and method of identifying vehicle brand and model
EP4124889A1 (en) A method and a system to detect a junction ahead of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200825

WW01 Invention patent application withdrawn after publication