CN110723072A - 辅助驾驶方法、装置、计算机设备和存储介质 - Google Patents

辅助驾驶方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110723072A
CN110723072A CN201910954668.2A CN201910954668A CN110723072A CN 110723072 A CN110723072 A CN 110723072A CN 201910954668 A CN201910954668 A CN 201910954668A CN 110723072 A CN110723072 A CN 110723072A
Authority
CN
China
Prior art keywords
vehicle
image data
depth
tail lamp
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910954668.2A
Other languages
English (en)
Other versions
CN110723072B (zh
Inventor
贺鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuo Erzhi Lian Wuhan Research Institute Co Ltd
Original Assignee
Zhuo Erzhi Lian Wuhan Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuo Erzhi Lian Wuhan Research Institute Co Ltd filed Critical Zhuo Erzhi Lian Wuhan Research Institute Co Ltd
Priority to CN201910954668.2A priority Critical patent/CN110723072B/zh
Publication of CN110723072A publication Critical patent/CN110723072A/zh
Application granted granted Critical
Publication of CN110723072B publication Critical patent/CN110723072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种辅助驾驶方法、装置、计算机设备和存储介质，其中，方法包括：获取车辆前方的深度图像，提取所述深度图像中的路面图像数据和前方物体图像数据，根据所述路面图像数据进行车道线检测，并根据所述前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测，根据检测结果，获取车况与路况判定数据，执行智能辅助驾驶功能。整个过程中，充分利用深度图像携带距离信息的特性，准确实现车道线检测、前方车辆尾灯状态检测以及障碍物检测，准确判定车况与路况，最终可以准确实现智能辅助驾驶。

Description

辅助驾驶方法、装置、计算机设备和存储介质
技术领域
本申请涉及智能驾驶技术领域，特别是涉及一种辅助驾驶方法、装置、计算机设备和存储介质。
背景技术
随着科学技术的发展，越来越多个的人工智能技术应用到实际生产、生活中，给人们生活带来极大的便利。
以人工智能应用到智能辅助驾驶技术领域为例，目前智能辅助驾驶已经成为一个极度火热的研究领域，在智能辅助驾驶技术的支持下，用户可以轻松且安全实现车辆操控，其驾驶轻松度与安全性可以得到质的提升。目前常见的智能辅助驾驶技术包括但不限于并线辅助、自适应巡航、车道偏离预警、自动紧急制动等。
虽然目前已有如上述的智能辅助驾驶技术，但是这些传统的智能辅助驾驶技术一般是基于二维图像作为数据源(信息源)触发条件的，在二维图像上进行数据分析、数据处理以及驾驶辅助触发控制下，由于初始得到的二维图像中图像信息极其有限，很多时候无法提供准确的辅助驾驶触发操控，严重制约智能辅助驾驶技术的发展与应用。
发明内容
基于此，有必要针对上述技术问题，提供一种准确的辅助驾驶方法、装置、计算机设备和存储介质。
一种辅助驾驶方法，所述方法包括：
获取车辆前方的深度图像；
提取所述深度图像中的路面图像数据和前方物体图像数据；
根据所述路面图像数据进行车道线检测，并根据所述前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测；
根据车道线检测结果、前方车辆尾灯状态检测结果以及障碍物检测结果，获取车况与路况判定数据；
根据车况与路况判定数据，执行智能辅助驾驶功能。
在其中一个实施例中，所述获取车辆前方的深度图像包括：
发送深度图像采集消息至预设的图像采集组件，由所述图像采集组件采集车辆前方的深度图像，所述图像采集组件包括至少2个图像采集模块，至少2个图像采集模块之间存在车辆前方的公共视场，所述深度图像包括像素点一一对应的彩色图像和深度图；
接收所述图像采集组件回传的数据，得到车辆前方的深度图像。
在其中一个实施例中，所述提取所述深度图像中的路面图像数据和前方物体图像数据包括：
将所述深度图像在垂直方向上对半分割为上下两个部分图像数据；
从下部分图像数据中提取路面图像数据，从上部分图像数据中提取前方物体图像数据。
在其中一个实施例中，根据所述路面图像数据进行车道线检测，并根据所述前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测包括：
根据所述路面图像数据中深度图像的梯度信息、颜色信息以及深度特性，获取车道线所在位置以及车辆与车道线之间的距离，得到车道线检测结果；
获取融合深度图像的已训练的基于深度卷积神经网络，所述已训练的基于深度卷积神经网络由不同车辆尾灯状态下的深度图像样本数据训练得到；
将所述前方物体图像数据输入至所述已训练的基于深度卷积神经网络得到前方车辆尾灯状态检测结果；
识别车辆前方存在的物体，剔除车辆前方存在的物体中车道线类别物体和车辆类别的物体，得到障碍物类别的物体；
检测与每个障碍物类别的物体之间距离，得到障碍物检测结果。
在其中一个实施例中，所述获取融合深度图像的已训练的基于深度卷积神经网络包括：
获取车辆不同尾灯状态下的车辆尾灯深度图像的样本数据，车辆尾灯状态包括表征正常行驶的车辆尾灯状态、表征刹车的车辆尾灯状态、表征左转弯的车辆尾灯状态、表征右转弯的车辆尾灯状态以双闪警示的车辆尾灯状态；
采用监督学习算法，通过所述样本数据对初始深度神经网络进行训练，得到融合深度图像的已训练的基于深度卷积神经网络。
在其中一个实施例中，所述根据车道线检测结果、前方车辆尾灯状态检测结果以及障碍物检测结果，获取车况与路况判定数据包括：
根据车道线检测结果判断车辆是否行使在正常车道范围内，得到车况判定因子；
根据前方车辆尾灯状态检测结果识别前方车辆行驶状态与预设安全系数评估规则，得到第一路况判定因子与第一车辆安全系数；
根据障碍物检测结果获取车辆与障碍物之间距离与预设安全系数评估规则，得到第二路况判定因子与第二车辆安全系数；
归集所述车况判定因子、所述第一路况判定因子与第一车辆安全系数以及所述第二路况判定因子与第二车辆安全系数，得到车况与路况判定结果。
在其中一个实施例中，所述根据车况与路况判定数据，执行智能辅助驾驶功能包括：
根据所述车况判定因子，判断是否需要执行车道偏离校正功能；
根据所述第一路况判定因子和/或所述第二路况判定因子，判断是否需要执行主动刹车功能；
当需要执行主动刹车功能时，根据所述第一车辆安全系数和所述第二车辆安全系数中较低值，确定执行主动刹车功能对应的制动幅度，车辆安全系数与车辆安全等级成正相关，所述制动幅度与所述车辆安全系数成负相关。
一种辅助驾驶装置，所述装置包括：
图像获取模块，用于获取车辆前方的深度图像；
提取模块，用于提取所述深度图像中的路面图像数据和前方物体图像数据；
检测模块，用于根据所述路面图像数据进行车道线检测，并根据所述前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测；
判定模块，用于根据车道线检测结果、前方车辆尾灯状态检测结果以及障碍物检测结果，获取车况与路况判定数据；
执行模块，用于根据车况与路况判定数据，执行智能辅助驾驶功能。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。
上述辅助驾驶方法、装置、计算机设备和存储介质，获取车辆前方的深度图像，提取所述深度图像中的路面图像数据和前方物体图像数据，根据所述路面图像数据进行车道线检测，并根据所述前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测，根据检测结果，获取车况与路况判定数据，执行智能辅助驾驶功能。整个过程中，充分利用深度图像携带距离信息的特性，准确实现车道线检测、前方车辆尾灯状态检测以及障碍物检测，准确判定车况与路况，最终可以准确实现智能辅助驾驶。
附图说明
图1为一个实施例中辅助驾驶方法的应用环境图；
图2为一个实施例中辅助驾驶方法的流程示意图；
图3为另一个实施例中辅助驾驶方法的流程示意图；
图4为其中一个实施例中步骤S400的子流程示意图；
图5为一个实施例中辅助驾驶装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的辅助驾驶方法，可以应用于如图1所示的应用环境中。图像采集组件102与控制终端104连接，控制终端104与车辆行车电脑106连接。图像采集组件102设置于车辆，优选的可以设置于车辆的车顶，图像采集组件102采集车辆前方的深度图像，并将采集到的深度图像发送至控制终端104，控制终端104获取车辆前方的深度图像，提取深度图像中的路面图像数据和前方物体图像数据，根据路面图像数据进行车道线检测，并根据前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测，根据车道线检测结果、前方车辆尾灯状态检测结果以及障碍物检测结果，获取车况与路况判定数据，根据车况与路况判定数据，输出智能辅助驾驶控制参数至车辆行车电脑106，实现智能辅助驾驶。其中，图像采集组件102可以包括双目摄像模块、多个摄像头、支持深度图像采集的摄像模组等设备。
在一个实施例中，如图2所示，提供了一种辅助驾驶方法，以该方法应用于图1中的控制终端104为例进行说明，包括以下步骤：
S100：获取车辆前方的深度图像。
深度图像是一个多维度图像，其具体包括传统RGB三通道彩色图像和深度图，即在原有彩色图像携带的颜色信息和梯度信息的基础上还携带有表征距离的深度，简单一点来说，深度图像可以理解为携带有距离信息的图像。车辆前方的深度图像具体可以是由外部图像采集组件采集得到的，图像采集组件设置于车辆四周，优选的可以设置于车辆车顶，采集车辆前方的深度图像，图像采集组件具体可以包括双目摄像模块。
S200：提取深度图像中的路面图像数据和前方物体图像数据。
在深度图像中包括路面图像和路面上物体图像两个部分，其中路面图像中主要携带有路面上车道线图像数据，路面上物体图像主要携带有路面上行驶的车辆(前方车辆)图像数据以及车辆前方障碍物图像数据。进一步来说，在执行智能辅助驾驶决策时，对前方车辆我们关注是其行驶状态，行驶状态包括前方车辆正常行驶、前方车辆右转、前方车辆左转、前方车辆刹车、前方车辆发出警示信号(双闪警示)，而这些行驶状态可以通过前方车辆尾灯感知，因此，在这里，可以具体提取前方车辆尾灯图像数据，以便在后续处理中感知前方车辆行驶状态。
S300：根据路面图像数据进行车道线检测，并根据前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测。
在路面图像数据中携带有车道线的图像信息，根据这些图像信息进行车道线检测，得到车道线检测结果，基于车道线检测结果可以识别出当前车辆是否处于正常车道内行驶，车道线检测包括车道线位置和车辆与车道线位置之间距离检测两个部分。前方车辆尾灯状态表征前方车辆当前行驶状态，包括车辆正常行驶、前方车辆右转、前方车辆左转、前方车辆刹车、前方车辆发出警示信号，具体可以前方物体图像中提取前方车辆尾灯图像块，根据前方车辆尾灯图像块进行车辆尾灯状态检测，检测结果包括行车灯亮起(车辆正常行驶)、行车灯和右转向灯亮起(车辆右转)、行车灯和左转向灯亮起(车辆左转)、行车灯和刹车灯亮起(车辆刹车)以及行车灯和左右刹车灯同时亮起(双闪警示)。障碍物检测是基于车辆检测和车道线检测的，对前方物体图像进行物体检测，识别车辆前方存在的物体，将这些物体中出车辆类别和车道线类别外的物体全部归集为障碍物，并且检测障碍物位置以及故障物与车辆之间的距离。例如当前检测到物体1、物体2、物体3、物体4以及物体5，识别出物体1为行车道左侧车道线、物体2为前方行驶车辆、物体3为行车道右侧测导线、物体4为右前方行驶车辆，物体5为未知物体，则将物体5检测为故障物，检测物体5的位置以及与物体5之间的距离，得到存在故障物、故障物在右前方30度位置，故障物当前距离50米的故障物检测结果。
S400：根据车道线检测结果、前方车辆尾灯状态检测结果以及障碍物检测结果，获取车况与路况判定数据。
根据车道线检测结果可以识别出当前车辆是否有行驶在正常车道内，根据前方车辆尾灯状态检测结果可以识别当前前方车辆的行驶状态，行驶状态包括正常行驶、左转向、右转向、刹车减速以及双闪警示，根据障碍物检测结果可以识别出在当前车道上是否存在障碍物，若存在障碍物是否需要立即进行主动刹车操作，由这些方面的数据组合得到车况与路况判定数据。
S500：根据车况与路况判定数据，执行智能辅助驾驶功能。
根据步骤S400得到的车况与路况判定数据，下一步执行对应智能辅助驾驶功能。例如若车辆当前未行驶在正常车道内，则执行车道偏离校准的辅助驾驶功能，自动控制微调车辆的行驶方向，直到检测到车辆行驶在正常的车道线范围内为止；若检测到前方车辆刹车，则执行主动刹车的辅助驾驶功能，以减低当前车速；若检测到前方存在障碍物，则执行主动避障的辅助驾驶功能，若检测到车辆未行驶在正常车道线内、前方存在障碍物且与障碍物之间距离小于预先安全距离，则执行主动紧急制动的辅助驾驶功能。非必要的，可以根据车况与路况判定数据给当前车辆行车安全系数进行评分，当安全系数越低时，执行智能驾驶功能的幅度越大，例如当前安全系数越低时，在执行主动刹车功能时，主动制动幅度越大，缩短刹车距离。更进一步，在执行智能辅助驾驶功能时，还可以推送语音提示消息，以提示用户当前正在执行的操作，实现良好的人机交互体验。
上述辅助驾驶方法，获取车辆前方的深度图像，提取深度图像中的路面图像数据和前方物体图像数据，根据路面图像数据进行车道线检测，并根据前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测，根据检测结果，获取车况与路况判定数据，执行智能辅助驾驶功能。整个过程中，充分利用深度图像携带距离信息的特性，准确实现车道线检测、前方车辆尾灯状态检测以及障碍物检测，准确判定车况与路况，最终可以准确实现智能辅助驾驶。
在其中一个实施例中，获取车辆前方的深度图像包括：发送深度图像采集消息至预设的图像采集组件，由图像采集组件采集车辆前方的深度图像，图像采集组件包括至少2个图像采集模块，至少2个图像采集模块之间存在车辆前方的公共视场，深度图像包括像素点一一对应的彩色图像和深度图；接收图像采集组件回传的数据，得到车辆前方的深度图像。
图像采集组件包括至少2个图像采集模块，该至少2个图像采集模块之间是存在车辆前方的公共视场，基于2个图像采集模块的位置以及出现在公共视场内物体的位置可以得到该物体与车辆之间的距离。更具体来说，图像采集组件包括双目摄像头模块，通过集线器连接2路摄像头，通过一根USB(Universal Serial Bus，通用串行总线)线传输，可以识别2个独立的视频设备，2路摄像头同时工作，双目摄像头是免驱的，符合标准的免驱协议，方便二次开发，通用性好。广角镜头达到150度以上，拍摄范围大，视野广，便于全面实时监测行驶路面信息。另外，还需提供属性设置(亮度、对比度、饱和度、色调、清晰度、白平衡、曝光、增益)编程接口，用于自动化调整白天和黑夜两种光照强度差别较大的路面情况监测，实现不同复杂情况的兼容性。双目立体视觉是基于视差，由三角法原理进行三维信息的获取，即由两个摄像机的图像平面和北侧被测物体之间构成一个三角形。已知两个摄像机之间的位置关系，便可以获得两摄像机公共视场内物体的三维尺寸及空间物体特征点的三维坐标。深度图是包含与场景对象的表面的距离有关的信息的图像或图像通道。深度图类似于灰度图像，它的每个像素值是传感器距离物体的实际距离。通常RGB图像和深度图是配准的，因而像素点之间具有一对一的对应关系。
在其中一个实施例中，提取深度图像中的路面图像数据和前方物体图像数据包括：将深度图像在垂直方向上对半分割为上下两个部分图像数据；从下部分图像数据中提取路面图像数据，从上部分图像数据中提取前方物体图像数据。
一般来说，深度图像中下半部图像为路面图像、上半部图像为车辆前方物体图像(含背景)。在实际应用中，在设置图像采集组件时，可以合理调整图像采集组件采集角度，以使采集到的深度图像中路面图像和前方物体图像各占一半，以便于后续图像提取。进一步的，还可以设置用于调整图像采集组件的驱动组件，当服务器检测到深度图像中路面图像和前方物体图像占比不符合预设要求(各占50％)时，服务器输出控制指令至驱动组件，驱动组件根据控制指令调整图像采集组件的图像采集角度，从而调整深度图像中路面图像和前方物体图像占比。更具体来说，驱动组件可以包括调节图像采集组件采集角度的步进电机，当深度图像中路面图像和前方物体图像占比高于预设要求时，控制步进电机以第一方式转动，图像采集组件“抬头”采集包含更多前方物体图像的深度图像；当深度图像中路面图像和前方物体图像占比低于预设要求时，控制步进电机以第二方式转动，图像采集组件“低头”采集包含更多路面图像的深度图像，上述的第一方式转动和第二方式转动为相对概念，如第一方式转动可以为正转且第二方式转动为反转，反之亦然。在本实施例中，直接将深度图像在垂直方向上对半分割为上下两个部分的图像数据，从下部分图像数据中提取路面图像数据，从上半部分图像数据中提取前方物体图像数据。
如图3所示，在其中一个实施例中，步骤S300包括：
S310：根据路面图像数据中深度图像的梯度信息、颜色信息以及深度特性，获取车道线所在位置以及车辆与车道线之间的距离，得到车道线检测结果。
S320：获取融合深度图像的已训练的基于深度卷积神经网络，已训练的基于深度卷积神经网络由不同车辆尾灯状态下的深度图像样本数据训练得到。
S330：将前方物体图像数据输入至已训练的基于深度卷积神经网络得到前方车辆尾灯状态检测结果。
S340：识别车辆前方存在的物体，剔除车辆前方存在的物体中车道线类别物体和车辆类别的物体，得到障碍物类别的物体。
S350：检测与每个障碍物类别的物体之间距离，得到障碍物检测结果。
具体来说整个检测过程可以由车道线检测部分、车辆尾灯状态检测部分以及障碍物检测部分3个部分。其中，车道线检测部分利用深度图像(RGB-D)图像的梯度信息、颜色信息和深度特性，获得精确的车道线所在位置和距离信息，其中梯度信息和颜色信息由深度图像中RGB图像携带，深度特征由深度图携带，控制终端可以基于RGB图像提取深度图像中梯度信息和颜色信息，基于深度图提取深度特征，由深度特征可以准确获取车辆与目标车道线之间的距离。车辆尾灯状态检测部分是基于预设已训练的基于深度卷积神经网络实现的，该神经网络由不同车辆尾灯状态下的深度图像样本数据训练得到，将前方图像数据输入至已训练的基于深度卷积神经网络，即可得到前方车辆尾灯状态检测结果。障碍物检测部分是依托于车道线检测和车辆检测的，服务器将车辆正前方出现的物体中除车道线类别物体以及车辆类别物体的所有物体全部归集为障碍，同理基于深度图像中深度特征，可以得到障碍物距离，最终得到障碍物检测结果。
在其中一个实施例中，获取融合深度图像的已训练的基于深度卷积神经网络包括：
获取车辆不同尾灯状态下的车辆尾灯深度图像的样本数据，车辆尾灯状态包括表征正常行驶的车辆尾灯状态、表征刹车的车辆尾灯状态、表征左转弯的车辆尾灯状态、表征右转弯的车辆尾灯状态以双闪警示的车辆尾灯状态；采用监督学习算法，通过样本数据对初始深度神经网络进行训练，得到融合深度图像的已训练的基于深度卷积神经网络。
监督学习是指利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。监督学习是从标记的训练数据来推断一个功能的机器学习任务。训练数据包括一套训练示例。在监督学习中，每个实例都是由一个输入对象(通常为矢量)和一个期望的输出值(也称为监督信号)组成。监督学习算法是分析该训练数据，并产生一个推断的功能，其可以用于映射出新的实例。一个最佳的方案将允许该算法来正确地决定那些看不见的实例的类标签。这就要求学习算法是在一种"合理"的方式从一种从训练数据到看不见的情况下形成。在本实施例中，基于车辆不同尾灯状态下的车辆尾灯深度图像的样本数据采用督学习算法，可以构建出准确的融合深度图像的已训练的基于深度卷积神经网络。
如图4所示，在其中一个实施例中，步骤S400包括：
S420：根据车道线检测结果判断车辆是否行使在正常车道范围内，得到车况判定因子。
S440：根据前方车辆尾灯状态检测结果识别前方车辆行驶状态与预设安全系数评估规则，得到第一路况判定因子与第一车辆安全系数。
S460：根据障碍物检测结果获取车辆与障碍物之间距离与预设安全系数评估规则，得到第二路况判定因子与第二车辆安全系数。
S480：归集车况判定因子、第一路况判定因子与第一车辆安全系数以及第二路况判定因子与第二车辆安全系数，得到车况与路况判定结果。
车况判定因子包括行驶在正常车道范围内和未行驶在正常车道内两种，第一路况判定因子包括前车正常行驶、前车左转向、前车右转向、前车刹车或前车双闪警示前车行车状态以及与前车之间距离(具体是与前车车尾灯之间距离)，第二路况判定因子包括存在障碍物且与障碍物之间距离小于预设安全距离、存在障碍物且与障碍物之间距离大于预设安全距离以及不存在障碍物，预设安全系数评估规则是根据历史经验和需求划分的规则，例如可以车辆安全系数划分为1-10，1为安全等级最低，10为安全等级最高，车辆正常行驶，前方无障碍物时，安全等级为9～10级；车辆正常行驶，前方有障碍物但在安全驾驶距离以上时，或者前方车辆车灯发生状态变化但在安全驾驶距离以上时，安全等级为8～9级；车辆未行驶在正常的道路范围内，前方有障碍物且在安全驾驶距离以下时，或者前方车辆车灯发生状态变化且在安全驾驶距离以下时，安全等级为小于等于7级，并随着距离缩短，安全等级不断降低。
在其中一个实施例中，根据车况与路况判定数据，执行智能辅助驾驶功能包括：
根据车况判定因子，判断是否需要执行车道偏离校正功能；根据第一路况判定因子和/或第二路况判定因子，判断是否需要执行主动刹车功能；当需要执行主动刹车功能时，根据第一车辆安全系数和第二车辆安全系数中较低值，确定执行主动刹车功能对应的制动幅度，车辆安全系数与车辆安全等级成正相关，制动幅度与车辆安全系数成负相关。
根据车况判定因子判断是否需要执行车道偏离校正功能，若车辆未行驶在正常车道范围内时，则执行该车道偏离校正功能，直至车辆回到正常车道范围内行驶。当前方车辆转向、前方车辆刹车、前车双闪警示且与前车之间距离小于预设安全距离阈值时，需要执行主动刹车功能；另外当前方存在障碍物且与前车之间距离小于预设安全距离阈值时，也需要执行主动刹车功能，此时根据车辆安全系数确定执行主动刹车功能对应的制动幅度，当安全系数越低时，制动幅度越大，以快速降低车速，确保车辆安全，当同时存在第一车辆安全系数和第二车辆安全系数时，选取其中较小值作为制动幅度的判断依据。进一步来说，当判断车辆没有行驶在正常的道路范围内时，自动控制微调车辆的行驶方向，直到检测到车辆行驶在正常的车道线范围内为止；当判断前方车辆车灯状态发生变化时，或者检测到障碍物，并且小于了安全驾驶距离，安全系数降低至7，则立即制动车辆，进行减速，同时进行语音提醒和警告；安全系数越低，车辆强制制动的程度越大。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图5所示，本申请还提供一种辅助驾驶装置，装置包括：
图像获取模块100，用于获取车辆前方的深度图像；
提取模块200，用于提取深度图像中的路面图像数据和前方物体图像数据；
检测模块300，用于根据路面图像数据进行车道线检测，并根据前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测；
判定模块400，用于根据车道线检测结果、前方车辆尾灯状态检测结果以及障碍物检测结果，获取车况与路况判定数据；
执行模块500，用于根据车况与路况判定数据，执行智能辅助驾驶功能。
上述辅助驾驶装置，获取车辆前方的深度图像，提取深度图像中的路面图像数据和前方物体图像数据，根据路面图像数据进行车道线检测，并根据前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测，根据检测结果，获取车况与路况判定数据，执行智能辅助驾驶功能。整个过程中，充分利用深度图像携带距离信息的特性，准确实现车道线检测、前方车辆尾灯状态检测以及障碍物检测，准确判定车况与路况，最终可以准确实现智能辅助驾驶。
在其中一个实施例中，图像获取模块100还用于发送深度图像采集消息至预设的图像采集组件，由图像采集组件采集车辆前方的深度图像，图像采集组件包括至少2个图像采集模块，至少2个图像采集模块之间存在车辆前方的公共视场，深度图像包括像素点一一对应的彩色图像和深度图；接收图像采集组件回传的数据，得到车辆前方的深度图像。
在其中一个实施例中，提取模块200还用于将深度图像在垂直方向上对半分割为上下两个部分图像数据；从下部分图像数据中提取路面图像数据，从上部分图像数据中提取前方物体图像数据。
在其中一个实施例中，检测模块300还用于根据路面图像数据中深度图像的梯度信息、颜色信息以及深度特性，获取车道线所在位置以及车辆与车道线之间的距离，得到车道线检测结果；获取融合深度图像的已训练的基于深度卷积神经网络，已训练的基于深度卷积神经网络由不同车辆尾灯状态下的深度图像样本数据训练得到；将前方物体图像数据输入至已训练的基于深度卷积神经网络得到前方车辆尾灯状态检测结果；识别车辆前方存在的物体，剔除车辆前方存在的物体中车道线类别物体和车辆类别的物体，得到障碍物类别的物体；检测与每个障碍物类别的物体之间距离，得到障碍物检测结果。
在其中一个实施例中，检测模块300还用于获取车辆不同尾灯状态下的车辆尾灯深度图像的样本数据，车辆尾灯状态包括表征正常行驶的车辆尾灯状态、表征刹车的车辆尾灯状态、表征左转弯的车辆尾灯状态、表征右转弯的车辆尾灯状态以双闪警示的车辆尾灯状态；采用监督学习算法，通过样本数据对初始深度神经网络进行训练，得到融合深度图像的已训练的基于深度卷积神经网络。
在其中一个实施例中，判定模块400还用于根据车道线检测结果判断车辆是否行使在正常车道范围内，得到车况判定因子；根据前方车辆尾灯状态检测结果识别前方车辆行驶状态与预设安全系数评估规则，得到第一路况判定因子与第一车辆安全系数；根据障碍物检测结果获取车辆与障碍物之间距离与预设安全系数评估规则，得到第二路况判定因子与第二车辆安全系数；归集车况判定因子、第一路况判定因子与第一车辆安全系数以及第二路况判定因子与第二车辆安全系数，得到车况与路况判定结果。
在其中一个实施例中，执行模块500还用于根据车况判定因子，判断是否需要执行车道偏离校正功能；根据第一路况判定因子和/或第二路况判定因子，判断是否需要执行主动刹车功能；当需要执行主动刹车功能时，根据第一车辆安全系数和第二车辆安全系数中较低值，确定执行主动刹车功能对应的制动幅度，车辆安全系数与车辆安全等级成正相关，制动幅度与车辆安全系数成负相关。
关于辅助驾驶装置的具体限定可以参见上文中对于辅助驾驶方法的限定，在此不再赘述。上述辅助驾驶装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储已采集的车辆前方深度图像等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种辅助驾驶方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取车辆前方的深度图像；
提取深度图像中的路面图像数据和前方物体图像数据；
根据路面图像数据进行车道线检测，并根据前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测；
根据车道线检测结果、前方车辆尾灯状态检测结果以及障碍物检测结果，获取车况与路况判定数据；
根据车况与路况判定数据，执行智能辅助驾驶功能。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
发送深度图像采集消息至预设的图像采集组件，由图像采集组件采集车辆前方的深度图像，图像采集组件包括至少2个图像采集模块，至少2个图像采集模块之间存在车辆前方的公共视场，深度图像包括像素点一一对应的彩色图像和深度图；接收图像采集组件回传的数据，得到车辆前方的深度图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将深度图像在垂直方向上对半分割为上下两个部分图像数据；从下部分图像数据中提取路面图像数据，从上部分图像数据中提取前方物体图像数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据路面图像数据中深度图像的梯度信息、颜色信息以及深度特性，获取车道线所在位置以及车辆与车道线之间的距离，得到车道线检测结果；获取融合深度图像的已训练的基于深度卷积神经网络，已训练的基于深度卷积神经网络由不同车辆尾灯状态下的深度图像样本数据训练得到；将前方物体图像数据输入至已训练的基于深度卷积神经网络得到前方车辆尾灯状态检测结果；识别车辆前方存在的物体，剔除车辆前方存在的物体中车道线类别物体和车辆类别的物体，得到障碍物类别的物体；检测与每个障碍物类别的物体之间距离，得到障碍物检测结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取车辆不同尾灯状态下的车辆尾灯深度图像的样本数据，车辆尾灯状态包括表征正常行驶的车辆尾灯状态、表征刹车的车辆尾灯状态、表征左转弯的车辆尾灯状态、表征右转弯的车辆尾灯状态以双闪警示的车辆尾灯状态；采用监督学习算法，通过样本数据对初始深度神经网络进行训练，得到融合深度图像的已训练的基于深度卷积神经网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据车道线检测结果判断车辆是否行使在正常车道范围内，得到车况判定因子；根据前方车辆尾灯状态检测结果识别前方车辆行驶状态与预设安全系数评估规则，得到第一路况判定因子与第一车辆安全系数；根据障碍物检测结果获取车辆与障碍物之间距离与预设安全系数评估规则，得到第二路况判定因子与第二车辆安全系数；归集车况判定因子、第一路况判定因子与第一车辆安全系数以及第二路况判定因子与第二车辆安全系数，得到车况与路况判定结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据车况判定因子，判断是否需要执行车道偏离校正功能；根据第一路况判定因子和/或第二路况判定因子，判断是否需要执行主动刹车功能；当需要执行主动刹车功能时，根据第一车辆安全系数和第二车辆安全系数中较低值，确定执行主动刹车功能对应的制动幅度，车辆安全系数与车辆安全等级成正相关，制动幅度与车辆安全系数成负相关。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取车辆前方的深度图像；
提取深度图像中的路面图像数据和前方物体图像数据；
根据路面图像数据进行车道线检测，并根据前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测；
根据车道线检测结果、前方车辆尾灯状态检测结果以及障碍物检测结果，获取车况与路况判定数据；
根据车况与路况判定数据，执行智能辅助驾驶功能。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
发送深度图像采集消息至预设的图像采集组件，由图像采集组件采集车辆前方的深度图像，图像采集组件包括至少2个图像采集模块，至少2个图像采集模块之间存在车辆前方的公共视场，深度图像包括像素点一一对应的彩色图像和深度图；接收图像采集组件回传的数据，得到车辆前方的深度图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将深度图像在垂直方向上对半分割为上下两个部分图像数据；从下部分图像数据中提取路面图像数据，从上部分图像数据中提取前方物体图像数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据路面图像数据中深度图像的梯度信息、颜色信息以及深度特性，获取车道线所在位置以及车辆与车道线之间的距离，得到车道线检测结果；获取融合深度图像的已训练的基于深度卷积神经网络，已训练的基于深度卷积神经网络由不同车辆尾灯状态下的深度图像样本数据训练得到；将前方物体图像数据输入至已训练的基于深度卷积神经网络得到前方车辆尾灯状态检测结果；识别车辆前方存在的物体，剔除车辆前方存在的物体中车道线类别物体和车辆类别的物体，得到障碍物类别的物体；检测与每个障碍物类别的物体之间距离，得到障碍物检测结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取车辆不同尾灯状态下的车辆尾灯深度图像的样本数据，车辆尾灯状态包括表征正常行驶的车辆尾灯状态、表征刹车的车辆尾灯状态、表征左转弯的车辆尾灯状态、表征右转弯的车辆尾灯状态以双闪警示的车辆尾灯状态；采用监督学习算法，通过样本数据对初始深度神经网络进行训练，得到融合深度图像的已训练的基于深度卷积神经网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据车道线检测结果判断车辆是否行使在正常车道范围内，得到车况判定因子；根据前方车辆尾灯状态检测结果识别前方车辆行驶状态与预设安全系数评估规则，得到第一路况判定因子与第一车辆安全系数；根据障碍物检测结果获取车辆与障碍物之间距离与预设安全系数评估规则，得到第二路况判定因子与第二车辆安全系数；归集车况判定因子、第一路况判定因子与第一车辆安全系数以及第二路况判定因子与第二车辆安全系数，得到车况与路况判定结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据车况判定因子，判断是否需要执行车道偏离校正功能；根据第一路况判定因子和/或第二路况判定因子，判断是否需要执行主动刹车功能；当需要执行主动刹车功能时，根据第一车辆安全系数和第二车辆安全系数中较低值，确定执行主动刹车功能对应的制动幅度，车辆安全系数与车辆安全等级成正相关，制动幅度与车辆安全系数成负相关。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种辅助驾驶方法，所述方法包括：
获取车辆前方的深度图像；
提取所述深度图像中的路面图像数据和前方物体图像数据；
根据所述路面图像数据进行车道线检测，并根据所述前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测；
根据车道线检测结果、前方车辆尾灯状态检测结果以及障碍物检测结果，获取车况与路况判定数据；
根据车况与路况判定数据，执行智能辅助驾驶功能。
2.根据权利要求1所述的方法，其特征在于，所述获取车辆前方的深度图像包括：
发送深度图像采集消息至预设的图像采集组件，由所述图像采集组件采集车辆前方的深度图像，所述图像采集组件包括至少2个图像采集模块，至少2个图像采集模块之间存在车辆前方的公共视场，所述深度图像包括像素点一一对应的彩色图像和深度图；
接收所述图像采集组件回传的数据，得到车辆前方的深度图像。
3.根据权利要求1所述的方法，其特征在于，所述提取所述深度图像中的路面图像数据和前方物体图像数据包括：
将所述深度图像在垂直方向上对半分割为上下两个部分图像数据；
从下部分图像数据中提取路面图像数据，从上部分图像数据中提取前方物体图像数据。
4.根据权利要求1所述的方法，其特征在于，根据所述路面图像数据进行车道线检测，并根据所述前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测包括：
根据所述路面图像数据中深度图像的梯度信息、颜色信息以及深度特性，获取车道线所在位置以及车辆与车道线之间的距离，得到车道线检测结果；
获取融合深度图像的已训练的基于深度卷积神经网络，所述已训练的基于深度卷积神经网络由不同车辆尾灯状态下的深度图像样本数据训练得到；
将所述前方物体图像数据输入至所述已训练的基于深度卷积神经网络得到前方车辆尾灯状态检测结果；
识别车辆前方存在的物体，剔除车辆前方存在的物体中车道线类别物体和车辆类别的物体，得到障碍物类别的物体；
检测与每个障碍物类别的物体之间距离，得到障碍物检测结果。
5.根据权利要求4所述的方法，其特征在于，所述获取融合深度图像的已训练的基于深度卷积神经网络包括：
获取车辆不同尾灯状态下的车辆尾灯深度图像的样本数据，车辆尾灯状态包括表征正常行驶的车辆尾灯状态、表征刹车的车辆尾灯状态、表征左转弯的车辆尾灯状态、表征右转弯的车辆尾灯状态以双闪警示的车辆尾灯状态；
采用监督学习算法，通过所述样本数据对初始深度神经网络进行训练，得到融合深度图像的已训练的基于深度卷积神经网络。
6.根据权利要求1所述的方法，其特征在于，所述根据车道线检测结果、前方车辆尾灯状态检测结果以及障碍物检测结果，获取车况与路况判定数据包括：
根据车道线检测结果判断车辆是否行使在正常车道范围内，得到车况判定因子；
根据前方车辆尾灯状态检测结果识别前方车辆行驶状态与预设安全系数评估规则，得到第一路况判定因子与第一车辆安全系数；
根据障碍物检测结果获取车辆与障碍物之间距离与预设安全系数评估规则，得到第二路况判定因子与第二车辆安全系数；
归集所述车况判定因子、所述第一路况判定因子与第一车辆安全系数以及所述第二路况判定因子与第二车辆安全系数，得到车况与路况判定结果。
7.根据权利要求6所述的方法，其特征在于，所述根据车况与路况判定数据，执行智能辅助驾驶功能包括：
根据所述车况判定因子，判断是否需要执行车道偏离校正功能；
根据所述第一路况判定因子和/或所述第二路况判定因子，判断是否需要执行主动刹车功能；
当需要执行主动刹车功能时，根据所述第一车辆安全系数和所述第二车辆安全系数中较低值，确定执行主动刹车功能对应的制动幅度，车辆安全系数与车辆安全等级成正相关，所述制动幅度与所述车辆安全系数成负相关。
8.一种辅助驾驶装置，其特征在于，所述装置包括：
图像获取模块，用于获取车辆前方的深度图像；
提取模块，用于提取所述深度图像中的路面图像数据和前方物体图像数据；
检测模块，用于根据所述路面图像数据进行车道线检测，并根据所述前方物体图像数据进行前方车辆尾灯状态检测以及障碍物检测；
判定模块，用于根据车道线检测结果、前方车辆尾灯状态检测结果以及障碍物检测结果，获取车况与路况判定数据；
执行模块，用于根据车况与路况判定数据，执行智能辅助驾驶功能。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910954668.2A 2019-10-09 2019-10-09 辅助驾驶方法、装置、计算机设备和存储介质 Active CN110723072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910954668.2A CN110723072B (zh) 2019-10-09 2019-10-09 辅助驾驶方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910954668.2A CN110723072B (zh) 2019-10-09 2019-10-09 辅助驾驶方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110723072A true CN110723072A (zh) 2020-01-24
CN110723072B CN110723072B (zh) 2021-06-01

Family

ID=69220884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910954668.2A Active CN110723072B (zh) 2019-10-09 2019-10-09 辅助驾驶方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110723072B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582201A (zh) * 2020-05-12 2020-08-25 重庆理工大学 一种基于几何注意力感知的车道线检测系统
CN112172761A (zh) * 2020-10-05 2021-01-05 黎云 新能源车辆紧急制动方法及装置
CN113361423A (zh) * 2021-06-11 2021-09-07 上海追势科技有限公司 一种主动悬架调整方法
CN113392680A (zh) * 2020-03-13 2021-09-14 富士通株式会社 道路识别装置及方法、电子设备
CN114248768A (zh) * 2021-12-06 2022-03-29 江铃汽车股份有限公司 一种车辆信息交互方法、装置、存储介质及车辆

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107985195A (zh) * 2017-09-18 2018-05-04 范三伟 一种用于警示驾驶人侧后方来车的方法、装置及系统
KR20180065048A (ko) * 2016-12-06 2018-06-18 (주)엠아이웨어 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치
CN108528431A (zh) * 2017-03-02 2018-09-14 比亚迪股份有限公司 车辆行驶自动控制方法和装置
CN108563977A (zh) * 2017-12-18 2018-09-21 华南理工大学 一种高速公路出入口的行人预警方法及系统
CN108830240A (zh) * 2018-06-22 2018-11-16 广州通达汽车电气股份有限公司 疲劳驾驶状态检测方法、装置、计算机设备和存储介质
CN108860045A (zh) * 2018-06-28 2018-11-23 深圳奥尼电子股份有限公司 驾驶辅助方法、驾驶辅助装置及存储介质
US20190004535A1 (en) * 2017-07-03 2019-01-03 Baidu Usa Llc High resolution 3d point clouds generation based on cnn and crf models
US20190087672A1 (en) * 2017-09-20 2019-03-21 TuSimple System and method for detecting taillight signals of a vehicle
CN109657599A (zh) * 2018-12-13 2019-04-19 深源恒际科技有限公司 距离自适应的车辆外观部件的图片识别方法
US20190188862A1 (en) * 2018-09-28 2019-06-20 Intel Corporation A perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking
CN110126835A (zh) * 2019-04-12 2019-08-16 中国平安财产保险股份有限公司 驾驶行为的干预方法、装置、计算机设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065048A (ko) * 2016-12-06 2018-06-18 (주)엠아이웨어 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치
CN108528431A (zh) * 2017-03-02 2018-09-14 比亚迪股份有限公司 车辆行驶自动控制方法和装置
US20190004535A1 (en) * 2017-07-03 2019-01-03 Baidu Usa Llc High resolution 3d point clouds generation based on cnn and crf models
CN107985195A (zh) * 2017-09-18 2018-05-04 范三伟 一种用于警示驾驶人侧后方来车的方法、装置及系统
US20190087672A1 (en) * 2017-09-20 2019-03-21 TuSimple System and method for detecting taillight signals of a vehicle
CN108563977A (zh) * 2017-12-18 2018-09-21 华南理工大学 一种高速公路出入口的行人预警方法及系统
CN108830240A (zh) * 2018-06-22 2018-11-16 广州通达汽车电气股份有限公司 疲劳驾驶状态检测方法、装置、计算机设备和存储介质
CN108860045A (zh) * 2018-06-28 2018-11-23 深圳奥尼电子股份有限公司 驾驶辅助方法、驾驶辅助装置及存储介质
US20190188862A1 (en) * 2018-09-28 2019-06-20 Intel Corporation A perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking
CN109657599A (zh) * 2018-12-13 2019-04-19 深源恒际科技有限公司 距离自适应的车辆外观部件的图片识别方法
CN110126835A (zh) * 2019-04-12 2019-08-16 中国平安财产保险股份有限公司 驾驶行为的干预方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵小川: "《MATLAB图像处理 程序实现与模块化仿真》", 31 January 2014, 北京航空航天大学出版社 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392680A (zh) * 2020-03-13 2021-09-14 富士通株式会社 道路识别装置及方法、电子设备
CN113392680B (zh) * 2020-03-13 2024-03-05 富士通株式会社 道路识别装置及方法、电子设备
CN111582201A (zh) * 2020-05-12 2020-08-25 重庆理工大学 一种基于几何注意力感知的车道线检测系统
CN111582201B (zh) * 2020-05-12 2022-08-12 重庆理工大学 一种基于几何注意力感知的车道线检测系统
CN112172761A (zh) * 2020-10-05 2021-01-05 黎云 新能源车辆紧急制动方法及装置
CN112172761B (zh) * 2020-10-05 2021-06-11 陕西华兴汽车制动科技有限公司 新能源车辆紧急制动方法及装置
CN113361423A (zh) * 2021-06-11 2021-09-07 上海追势科技有限公司 一种主动悬架调整方法
CN114248768A (zh) * 2021-12-06 2022-03-29 江铃汽车股份有限公司 一种车辆信息交互方法、装置、存储介质及车辆
CN114248768B (zh) * 2021-12-06 2023-09-12 江铃汽车股份有限公司 一种车辆信息交互方法、装置、存储介质及车辆

Also Published As

Publication number Publication date
CN110723072B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN110723072B (zh) 辅助驾驶方法、装置、计算机设备和存储介质
CN109117709B (zh) 用于自动驾驶车辆的碰撞避免系统
CN111695546B (zh) 用于无人车的交通信号灯识别方法和装置
EP3367303B1 (en) Autonomous driving image processing method and apparatus thereof
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
CN110765894B (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN111874006B (zh) 路线规划处理方法和装置
US8699754B2 (en) Clear path detection through road modeling
US8634593B2 (en) Pixel-based texture-less clear path detection
US8452053B2 (en) Pixel-based texture-rich clear path detection
CN109116846B (zh) 一种自动驾驶方法、装置、计算机设备和存储介质
EP3644225A1 (en) Method and apparatus for determining driving information
KR101840974B1 (ko) 자율주행용 차선 식별 시스템
WO2021134357A1 (zh) 感知信息处理方法、装置、计算机设备和存储介质
US11676403B2 (en) Combining visible light camera and thermal camera information
US11157754B2 (en) Road marking determining apparatus for automated driving
KR20200133920A (ko) 인공신경망 기반의 투사정보 인식 장치 및 그 방법
CN113255560A (zh) 基于图像与激光数据的自动驾驶场景下的目标检测系统
CN116010854B (zh) 异常原因的确定方法、装置、电子设备及存储介质
US20210142216A1 (en) Method of training a machine learning system for an object recognition device
CN115082894A (zh) 距离检测方法、车辆远光灯控制方法、设备、介质及车辆
CN109144052B (zh) 用于自动驾驶车辆的导航系统及其方法
US12002353B2 (en) Method and system for providing environmental data
US20240103548A1 (en) Image-Based Method for Simplifying a Vehicle-External Takeover of Control of a Motor Vehicle, Assistance Device, and Motor Vehicle
US20220044554A1 (en) Method and System for Providing Environmental Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant