CN110901638B - 驾驶辅助方法及系统 - Google Patents

驾驶辅助方法及系统 Download PDF

Info

Publication number
CN110901638B
CN110901638B CN201810988399.7A CN201810988399A CN110901638B CN 110901638 B CN110901638 B CN 110901638B CN 201810988399 A CN201810988399 A CN 201810988399A CN 110901638 B CN110901638 B CN 110901638B
Authority
CN
China
Prior art keywords
vehicle
image
information
vehicles
acquisition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810988399.7A
Other languages
English (en)
Other versions
CN110901638A (zh
Inventor
唐晓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Technology Shanghai Co ltd
Original Assignee
Continental Tamic Automotive Systems Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Tamic Automotive Systems Shanghai Co ltd filed Critical Continental Tamic Automotive Systems Shanghai Co ltd
Priority to CN201810988399.7A priority Critical patent/CN110901638B/zh
Publication of CN110901638A publication Critical patent/CN110901638A/zh
Application granted granted Critical
Publication of CN110901638B publication Critical patent/CN110901638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers

Abstract

本发明提供一种驾驶辅助方法及系统。驾驶辅助系统包括：第一获取单元，用于获取本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；第二获取单元，用于获取其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；第三获取单元，用于基于本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，和其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，训练神经网络模型以获得神经网络，神经网络用于输出控制车辆自动驾驶的操作指令。本方案，提高了神经网络对环境感知的准确度，基于该神经网络控制车辆自动驾驶，极大提高了车辆行驶过程中的行驶安全性。

Description

驾驶辅助方法及系统
技术领域
本发明涉及汽车技术领域，更具体地，涉及一种驾驶辅助方法及系统、计算机设备、计算机存储可读存储介质。
背景技术
随着技术的发展，自动驾驶将会成为智能交通的主流趋势。自动驾驶通常分为六个级别L0～L5。L0：人工驾驶，由驾驶者全权驾驶汽车。L1：辅助驾驶，车辆对方向盘和加减速中的一项操作提供驾驶，驾驶者负责其余的驾驶动作。如：车道保持系统和自动制动系统。L2：部分自动驾驶，车辆对方向盘和加减速中的多项操作提供驾驶，驾驶者负责其余的驾驶动作。如：自适应巡航控制。L3：条件自动驾驶，由车辆完成绝大部分驾驶操作，驾驶者需要保持注意力集中以备不时之需。L4：高度自动驾驶，由车辆完成所有驾驶操作，人类驾驶员无需保持注意力，但限定道路和环境条件，如城市中或高速公路上。L5：完全自动驾驶，在任何场景下，由车辆完成所有驾驶操作，驾驶者无需保持注意力。
先进驾驶辅助系统(ADAS，Advanced Driver Assistant System)属于L2，其主要利用安装于车上的摄像头、雷达、激光传感器、超声波传感器等探测光、热、压力等变量，进而在第一时间采集车内外的环境数据，感知采集到的道路、标识、行人车辆等环境数据，基于环境感知的结果进行预判以对车辆进行加速、转向、制动等控制。
对于先进驾驶辅助系统而言，如何能够准确的感知周围的环境，并基于对周围环境感知的结果控制车辆，提高行车安全性，成为目前亟待解决的问题之一。
发明内容
本发明要解决的问题是提供一种驾驶辅助方法及系统，以提高行车安全性。
为解决上述问题，本发明技术方案提供一种驾驶辅助系统，包括:
第一获取单元，用于获取本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
第二获取单元，用于获取其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
第三获取单元，用于基于本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，和其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，训练神经网络模型以获得神经网络，所述神经网络用于输出控制车辆自动驾驶的操作指令。
可选的，车辆周围的环境信息包括：车辆的图像采集单元采集到的图像信息、车辆的传感器检测的物体信息、车辆周围物体的信息，所述第三获取单元包括：
标记单元，用于将与各时刻对应的本车传感器检测的物体信息、本车周围物体的信息，及本车的导航信息标记到与该时刻对应的本车图像采集单元采集的图像信息中，以获得各时刻对应的本车的标记图像；将与各时刻对应的其他车的传感器检测的物体信息、其他车周围物体的信息，及其他车的导航信息标记到与该时刻对应的其他车的图像采集单元采集的图像信息中，以获得各时刻对应的其他车的标记图像；
训练单元，用于以本车行驶过程中，各时刻对应的本车的标记图像和与之对应的驾驶者的操作指令、其他车行驶过程中，各时刻对应的其他车的标记图像和与之对应的驾驶者的操作指令，为训练样本，训练所述神经网络模型以获神经网络。
可选的，所述驾驶辅助系统，还包括：控制单元，所述控制单元基于所述神经网络对无人驾驶时，各时刻对应的本车的标记图像进行处理，以控制本车自动驾驶。
可选的，所述第三获取单元还包括：识别单元，用于识别本车行驶过程中所处的场景，以及其他车行驶过程中，其他车所处的场景；
所述训练单元，还用于以相同场景下，各时刻对应的本车的标记图像和与之对应的驾驶者的操作指令、各时刻对应的其他车的标记图像和与之对应的驾驶者的操作指令为训练样本，训练所述神经网络模型以获得与该场景对应的神经网络。
可选的，所述驾驶辅助系统，还包括判断单元，用于判断无人驾驶时本车行驶过程中所处的场景，所述控制单元还用于基于无人驾驶时本车行驶过程中所处的场景选择与该场景对应的神经网络，基于与该场景对应的神经网络对无人驾驶时，各时刻对应的本车的标记图像进行处理，以控制本车自动驾驶。
可选的，所述标记单元包括：
第四获取单元，用于将与各时刻对应的本车传感器检测的物体信息、本车前方物体的信息及本车的导航信息，标记到与该时刻对应的本车前视图像采集单元采集的图像信息中，以获得与各时刻对应的本车的第一图像；将与各时刻对应的其他车的传感器检测的物体信息、其他车前方物体的信息及其他车的导航信息，标记到与该时刻对应的其他车的前视图像采集单元采集的图像信息中，以获得与各时刻对应的其他车的第一图像；
第五获取单元，用于将与各时刻对应的本车左侧物体的信息，标记到与该时刻对应的本车左后视图像采集单元采集的图像信息中，以获得与各时刻对应的本车的第二图像；用于将与各时刻对应的其他车左侧物体的信息，标记到与该时刻对应的其他车左后视图像采集单元采集的图像信息中，以获得与各时刻对应的其他车的第二图像；
第六获取单元，用于将与各时刻对应的本车右侧物体的信息，标记到与该时刻对应的本车右后视图像采集单元采集的图像信息中，以获得与各时刻对应的本车的第三图像，将与各时刻对应的其他车右侧物体的信息，标记到与该时刻对应的其他车右后视图像采集单元采集的图像信息中，以获得与各时刻对应的其他车的第三图像；
组合单元，用于组合与各时刻对应的本车的第一图像、本车的第二图像及本车的第三图像，以获得各时刻对应的本车的标记图像，组合与各时刻对应的其他车的第一图像、其他车的第二图像及其他车的第三图像以获得各时刻对应的其他车的标记图像。
可选的，所述第四获取单元包括：
第一获取子单元，用于获取本车传感器检测的物体位置信息与本车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；获取其他车的传感器检测的物体位置信息与其他车的前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
第二获取子单元，用于基于所述本车传感器检测的物体位置信息与本车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的本车传感器检测的物体的位置信息映射至与该时刻对应的本车前视图像采集单元采集的图像中，以获得与各时刻对应的本车的第四图像；基于所述其他车的传感器检测的物体位置信息与其他车的前视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的其他车的传感器检测的物体的位置信息映射至与该时刻对应的其他车的前视图像采集单元采集的图像中，以获得与各时刻对应的其他车的第四图像；
第三获取子单元，用于获取本车前方物体的位置信息与本车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；获取其他车前方物体的位置信息与其他车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
第四获取子单元，用于基于所述本车前方物体的位置信息与本车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的本车前方物体的信息映射至与该时刻对应的本车的第四图像，以获得与各时刻对应的本车的第五图像；基于所述其他车前方物体的位置信息与其他车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的其他车前方物体的信息映射至与该时刻对应的其他车的第四图像，以获得与各时刻对应的其他车的第五图像；
第五获取子单元，用于获取与各时刻对应的本车前视图像采集单元采集的图像信息中，本车所在的车道信息；获取与各时刻对应的其他车的前视图像采集单元采集的图像信息中，其他车所在的车道信息；
第六获取子单元，用于基于与各时刻对应的本车的导航信息，将与各时刻对应的导航标识投射至与该时刻对应的本车的第五图像中本车所在的车道，以获得与各时刻对应的本车的第一图像；用于基于与各时刻对应的其他车的导航信息，将与各时刻对应的导航标识投射至与该时刻对应的其他车的第五图像中其他车所在的车道，以获得与各时刻对应的其他车的第一图像。
可选的，所述第五获取单元包括：
第七获取子单元，用于获取本车左侧物体的位置信息与本车左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系；获取其他车左侧物体的位置信息与其他车左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
第八获取子单元，用于基于所述本车左侧物体的位置信息与本车左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的本车左侧物体的信息映射至与该时刻对应的本车左后视图像采集单元采集的图像中，以获得与各时刻对应的本车的第二图像；基于其他车左侧物体的位置信息与其他车左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的其他车左侧物体的信息映射至与该时刻对应的其他车左后视图像采集单元采集的图像中，以获得与各时刻对应的其他车的第二图像。
可选的，所述第六获取单元包括：
第九获取子单元，用于获取本车右侧物体的位置信息与本车右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系；获取其他车右侧物体的位置信息与其他车右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
第十获取子单元，用于基于所述本车右侧物体的位置信息与本车右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的本车右侧物体的信息映射至与该时刻对应的本车右后视图像采集单元采集的图像中，以获得与各时刻对应的本车的第三图像；基于所述其他车右侧物体的位置信息与其他车右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的其他车右侧物体的信息映射至与该时刻对应的其他车右后视图像采集单元采集的图像中，以获得与各时刻对应的其他车的第三图像。
可选的，所述第一获取单元、第二获取单元、第三获取单元设置在本车中。
可选的，所述驾驶辅助系统，还包括：服务器，所述服务器用于与车辆通信，所述第一获取单元、第二获取单元及第三获取单元设置在所述服务器中或者所述第一获取单元设置在本车中，所述第二获取单元设置在其他车中，所述第三获取单元设置在服务器中。
本发明技术方案还提供一种驾驶辅助方法，包括：
获取本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
获取其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
基于本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，和其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，训练神经网络模型，以获得神经网络；
基于所述神经网络对无人驾驶时本车周围的环境信息进行处理，以控制本车自动驾驶。
本发明技术方案还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器用于执行所述计算机程序时实现如下操作：
获取本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
获取其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
基于本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，和其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，训练神经网络模型，以获得神经网络。
本发明技术方案还提供一种计算机存储可读存储介质，包括：计算机可执行指令，当所述计算机可执行指令被运行时执行如下方法：
获取本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
获取其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
基于本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，和其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，训练神经网络模型，以获得神经网络。
与现有技术相比，本发明技术方案具有以下优点：
通过第一获取单元和第二获取单元分别获取本车和其他车在行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，进而以获得的本车周围的环境信息、导航信息和与之对应的驾驶者的操作指令、和其他车周围的环境信息、导航信息和与之对应的驾驶者的操作指令为训练样本，训练神经网络模型以获得神经网络。由于增加了训练样本的多样性及训练样本的数量，因此提高了神经网络对环境感知的准确度，故，基于该神经网络对车辆进行自动控制时，极大的提高了车辆在行驶过程中的行驶安全性。
附图说明
图1是本发明技术方案的驾驶辅助系统的结构框图；
图2是本发明实施例的驾驶辅助系统处于训练模式时的示意图；
图3是本发明实施例的毫米波雷达检测的物体位置信息示意图；
图4是本发明实施例的获取毫米波雷达检测的物体位置信息与前视摄像头采集的图像中该物体的位置信息之间的映射关系的示意图；
图5是本发明实施例的获取车辆前方物体的位置信息与前视摄像头采集的图像中该物体的位置信息之间的映射关系的示意图；
图6是本发明实施例的某一时刻本车的第一图像的示意图；
图7是本发明实施例的获取车辆左侧物体的位置信息与左后视摄像头采集的图像中该物体的位置信息之间的映射关系的示意图；
图8是组合某一时刻本车的第一图像、本车的第二图像、本车的第三图像时的位置关系示意图；
图9是本发明实施例的驾驶辅助系统处于自动驾驶模式时的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。
正如背景技术中所述的，对周围环境的准确感知，利于提高行车的安全性。当前通常通过专车来采集训练数据，即由驾驶者驾驶专用车辆，采集驾驶过程中环境数据和驾驶者的操作指令，然后将采集到的数据保存在存储介质上，对存储的数据进行训练以获得神经网络文件，最后将神经网络文件复制到车辆上，当需要控制车辆自动驾驶时，通过运行该文件以控制车辆行驶。此种模式，采集的训练数据有限，且需要专车和专人进行数据采集，成本高。因此，发明人提出，对行驶过程中的车辆(本车及其他车)的周围环境、导航信息和驾驶者操作指令进行采集，以其作为训练样本训练，提高最终获得的神经网络的精度，进而提高自动驾驶时的行车安全性。另外，发明人还提出，对车辆周围环境的识别，若采用以单一传感器为主的仲裁方案，对车辆周围真实环境的识别度较低，因此，可以将传感器采集到的信息、车辆周围物体的信息及导航信息标记到车辆的图像采集单元采集到的信息中，以提高车辆自动驾驶过程中对周围环境信息识别的准确度，进而提高车辆自动驾驶过程中的行驶安全性。
图1是本发明技术方案的驾驶辅助系统的结构框图。如图1所示，本发明技术方案的驾驶辅助系统包括：第一获取单元10，用于获取本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令。第二获取单元20，用于获取其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令。第三获取单元30，用于基于本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，和其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，训练神经网络模型以获得神经网络，所述神经网络用于输出控制车辆自动驾驶的操作指令。
以下结合驾驶辅助系统处于不同模式时的实施例，对本发明的技术方案进行详细的描述。本实施例中，第一获取单元10、第二获取单元20、第三获取单元30可以均设置在服务器中，所述服务器用于与车辆进行通信。当然，还可以是第一获取单元10设置在本车中，第二获取单元20设置在其他车中，第三获取单元30设置在服务器中。另外，第一获取单元10、第二获取单元20、第三获取单元30也可以均设置在本车内。以下以第一获取单元10、第二获取单元20以及第三获取单元30均设置在服务器中为例，进行相应的说明。
图2是本发明实施例的驾驶辅助系统处于训练模式时的示意图。本实施例中，第一获取单元10获取本车行驶过程中，其周围的环境信息，导航信息，以及本车行驶过程中驾驶者看到导航信息和周围的环境信息时，其所做出的反应，也就是驾驶者的操作指令。
本实施例中，本车行驶过程中，其周围的环境信息可以包括本车的图像采集单元实时采集到的图像信息，如本车的前视摄像头采集到的本车前方物体的信息，本车的左后视摄像头及右后视摄像头采集到的本车周围物体的信息。本车的传感器，如毫米波雷达传感器或超声波传感器采集到的本车前方物体的信息。以及由车载终端(TBOX，TelematicsBOX)实时地发送给第一获取单元10的本车周围物体的信息，如本车周围其他车、建筑物等设施的信息。具体地，本车周围其他车的信息可以包括：其他车的数据，如其他车的长、宽和高。其他车的位置信息。其他车的数据和其他车的位置信息可以通过V2X协议发送给TBOX，其他车的数据来自于V2X数据，其他车的位置信息来自于GPS。另外，本车的导航信息可以通过本车导航系统的地图获得，导航系统可以将导航信息发送至TBOX，由TBOX统一将本车周围物体的信息以及本车的导航信息实时地发送至第一获取单元10。本实施例中，本车的前视摄像头、左后视摄像头、右后视摄像头、毫米波雷达以及TBOX通过对应的以太网通信模块将相应的信息实时地发送至第一获取单元10。
本车行驶过程中，驾驶者在不同时刻面临不同的外界信息时做出的反应，即驾驶者的操作指令对应了电子稳定控制系统(ESC，Electronic Stability Controller)和电动助力转向系统(EPS，Electronic Power Steering)输出的指令，或者说驾驶者驾驶本车行驶时，其驾驶行为(操作指令)就是让本车的EPS和ESC输出控制本车行驶的控制指令，因此驾驶者在不同时刻面临不同的外界信息时的操作指令就对应了EPS和ESC输出的控制指令。如EPS输出的转向角度值等(实现对车辆的横向控制)、ESC输出的加减速度值等(实现对车辆的纵向控制)。本实施例中以EPS和ESC输出的与本车行驶过程中，其周围的环境信息、导航信息对应的控制指令作为驾驶者的操作指令，并由EPS和ESC将相应的控制指令经由CAN总线通信模块实时地发送至第一获取单元10。
同样地，对于第二获取单元20而言，获取其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，与第一获取单元10获取本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令相类似，此处不再详细赘述。继续参见图2所示的，其他车前视摄像头采集的其他车前方的信息、左后视摄像头及右后视摄像头采集到的其他车周围物体的信息、其他车毫米波雷达采集到的其他车前方物体的信息、以及其他车TBOX发送的其周围物体的信息及其他车的导航信息，均通过对应的以太网通信模块将相应的信息实时地发送至第二获取单元20，且以EPS和ESC输出的与其他车行驶过程中，其周围的环境信息、导航信息对应的控制指令作为驾驶者的操作指令，并由EPS和ESC将相应的控制指令经由CAN总线通信模块实时地发送至第二获取单元20。
第三获取单元30，以接收到的第一获取单元10发送的本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，以及接收到的第二获取单元20发送的其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令为训练样本，来训练神经网络模型以获得精度较高的神经网络。该神经网络用于输出控制本车或其他车自动驾驶的操作指令。
本实施例中，所述第三获取单元30包括：标记单元301及训练单元，所述训练单元可以包括卷积神经网络模型302和递归神经网络模型303。
所述标记单元301用于将与各时刻对应的本车传感器检测的物体信息、本车周围物体的信息，及本车的导航信息标记到与该时刻对应的本车图像采集单元采集的图像信息中，以获得各时刻对应的本车的标记图像；将与各时刻对应的其他车的传感器检测的物体信息、其他车周围物体的信息，及其他车的导航信息标记到与该时刻对应的其他车的图像采集单元采集的图像信息中，以获得各时刻对应的其他车的标记图像。本实施例中，不论是对于本车还是其他车而言，就是对在不同时刻不同位置处的摄像头采集到的图像信息，将与该时刻该位置处与该摄像头视野关联的信息标记到该时刻该位置处摄像头采集到的图像信息中。一般而言，车辆的前方、左右后视镜会设置有图像采集单元以采集相应视野范围内的图像，因此标记单元301是分别在前视图像采集单元、左后视及右后视图像采集单元采集到的图像中进行标记。
本实施例中，所述标记单元301包括：第四获取单元、第五获取单元、第六获取单元和组合单元。其中，第四获取单元将通过其他方式获得的车辆前视图像采集单元视野范围内的信息及车辆的导航信息标记到车辆前视图像采集单元采集到的图像信息中。第五获取单元将通过其他方式获得的车辆左后视图像采集单元视野范围内的信息标记到车辆左后视图像采集单元采集到的图像信息中。第六获取单元将通过其他方式获得的车辆右后视图像采集单元视野范围内的信息标记到车辆右后视图像采集单元采集到的图像信息中。
具体地，所述第四获取单元，用于将与各时刻对应的本车传感器检测的物体信息、本车前方物体的信息及本车的导航信息，标记到与该时刻对应的本车前视图像采集单元采集的图像信息中，以获得与各时刻对应的本车的第一图像；将与各时刻对应的其他车的传感器检测的物体信息、其他车前方物体的信息及其他车的导航信息，标记到与该时刻对应的其他车的前视图像采集单元采集的图像信息中，以获得与各时刻对应的其他车的第一图像。本实施例中，前视图像采集单元视野范围内，采集本车前方物体信息的传感器可以为毫米波雷达或超声波传感器，以下以本车传感器为毫米波雷达为例进行说明，即将与各时刻对应的车辆毫米波雷达检测的物体信息、车辆前方物体的信息及车辆的导航信息，标记到与该时刻对应的车辆前视图像采集单元采集的图像信息中，以获得与各时刻对应的车辆的第一图像。所述车辆可以是本车或其他车。另外，以下说明中，是以某一时刻为例来说明如何获得该时刻下的本车的第一图像及其他车的第一图像，对于其他时刻而言，获得其他时刻下本车的第一图像或其他车的第一图像的方式与此相同。
本实施例中，所述第四获取单元可以进一步的包括：第一获取子单元、第二获取子单元、第三获取子单元、第四获取子单元、第二识别单元和第五获取子单元。其中，
第一获取子单元，用于获取本车传感器检测的物体位置信息与本车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；获取其他车的传感器检测的物体位置信息与其他车的前视图像采集单元采集的图像中该物体的位置信息之间的映射关系。本实施例中，不论是本车还是其他车，获取车辆传感器检测的物体位置信息与车辆前视图像采集单元采集的图像中该物体的位置信息之间的映射关系的方式是相同的，因此以下描述中，不再区分本车或其他车。
以前视图像采集单元为前视摄像头为例，具体地，就是获取毫米波雷达检测的物体位置信息与前视摄像头采集的图像中该物体的位置信息之间的映射关系。图3是本发明实施例的毫米波雷达检测的物体位置信息示意图。图3中给出了俯视视角下雷达检测的物体位置信息示意图(Z轴方向位置信息未显示)。如图3所示，对于毫米波雷达而言，其检测范围可被划分为16×256的空间区域，该区域中每一个方格内均有一个能量场数值，该数值为毫米波雷达接收到该方格空间内的能量场数值。如图3中所示的包围了六个方格的矩形框，则代表了毫米波雷达检测到的物体的位置，例如可以是检测到的位于车辆前方面向车辆行驶的某一车辆所在的位置、检测到的建筑物、人的位置等。矩形框(检测到的物体)所在的物理空间位置由毫米波雷达给出。矩形框的四个角的物理空间位置分别为(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z4)，其限定了检测到的物体所在的位置。若不考虑Z轴方向的信息，矩形框的位置可以用图3中的(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)来代表。
图4是本发明实施例的获取毫米波雷达检测的物体位置信息与前视摄像头采集的图像中该物体的位置信息之间映射关系的示意图。如图4所示，本实施例中，以车辆1(本车/其他车)的车牌中心为坐标原点O，在距离其一定位置处放置一长方体，此时长方体在x、y、z方向上的物理坐标可以通过测量的方式获得，也可以通过毫米波雷达获得，如为图4中所标示的(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z4)。通过前视摄像头采集前视图像，以获得该长方体在前视图像中的位置信息
Figure BDA0001780218520000151
长方体的物理空间坐标和其在前视图像中的像素坐标之间符合函数关系，因此可以以(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z4)作为函数的输入，
Figure BDA0001780218520000161
作为函数的输出以获得二者之间的映射关系。另外，本实施例中为了获得二者之间更加准确的映射关系，还可以在图4中所示的车辆1的左前方放置长方体，左下方、右下方放置长方体来获得多组物理空间坐标和对应的像素坐标数据，根据多组采样测试数据来获得二者之间的数学函数映射关系。
通过上述的方式，即可以获得本车毫米波雷达检测的物体位置信息与本车前视摄像头采集的图像中该物体的位置信息之间的映射关系，以及其他车毫米波雷达检测的物体位置信息与其他车前视摄像头采集的图像中该物体的位置信息之间的映射关系。
第二获取子单元，用于基于所述本车传感器检测的物体位置信息与本车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的本车传感器检测的物体的位置信息映射至与该时刻对应的本车前视图像采集单元采集的图像中，以获得与各时刻对应的本车的第四图像；基于所述其他车的传感器检测的物体位置信息与其他车的前视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的其他车的传感器检测的物体的位置信息映射至与该时刻对应的其他车的前视图像采集单元采集的图像中，以获得与各时刻对应的其他车的第四图像。
具体地，就是在获得了本车/其他车毫米波雷达检测的物体位置信息与本车/其他车前视摄像头采集的图像中该物体的位置信息之间的映射关系后，可以通过该映射关系将每一时刻本车毫米波雷达检测的物体的位置信息映射至本车前视摄像头采集的前视图像中以获得与各时刻对应的本车的第四图像，同样地，通过映射关系将每一时刻其他车毫米波雷达检测的物体的位置信息映射至其他车前视摄像头采集的前视图像中以获得与各时刻对应的其他车的第四图像。
第三获取子单元，用于获取本车前方物体的位置信息与本车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；获取其他车前方物体的位置信息与其他车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系。
图5是本发明实施例的获取车辆前方物体的位置信息与前视摄像头采集的图像中该物体的位置信息之间的映射关系的示意图。图5中以俯视的视角显示车辆之间的位置关系。如图5所示，本实施例中，仍以车辆1的车牌中心为坐标原点，在其左前方某一位置处停有车辆2，车辆1的中心位置O1和车辆2的中心位置O2的位置信息可以通过GPS获得，而车辆1的长宽高及车辆2的长宽高则可以通过V2X数据获得(车辆数据和其位置信息均可以由TBOX发送)。车辆1在图5中所示的坐标系下的坐标，可以通过其中心位置O1的坐标和车辆1的长和宽获得，而车辆1和车辆2的相对位置关系可以通过二者中心位置的坐标差获得，因此，可以计算出在图5所示的坐标系中，车辆2靠近车辆1的这面，空间4个点对应的坐标(x5，y5，z5)，(x6，y6，z6)，(x7，y7，z7)(图中未示出)，(x8，y8，z8)(图中未示出)。而前视摄像头采集到的前视图像中(x5，y5，z5)对应的
Figure BDA0001780218520000171
(x6，y6，z6)对应的
Figure BDA0001780218520000172
(x7，y7，z7)对应的
Figure BDA0001780218520000173
(x8，y8，z8)对应的
Figure BDA0001780218520000174
已知，车辆2的物理空间坐标与前视图像中的像素坐标之间符合函数关系，因此可以以(x5，y5，z5)，(x6，y6，z6)，(x7，y7，z7)，(x8，y8，z8)作为函数的输入，
Figure BDA0001780218520000175
作为函数的输出以获得二者之间的映射关系。另外，本实施例中为了获得二者之间更加准确的映射关系，图5中所示的车辆1的右前方可以停放车辆2，以获得车辆2的多组物理空间坐标和对应的像素坐标数据，根据多组数据来获得二者之间的映射关系。也即采用此种方式，获得了本车/其他车前方物体的位置信息与本车/其他车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系。
第四获取子单元，用于基于所述本车前方物体的位置信息与本车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的本车前方物体的信息映射至与该时刻对应的本车的第四图像，以获得与各时刻对应的本车的第五图像；基于所述其他车前方物体的位置信息与其他车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的其他车前方物体的信息映射至与该时刻对应的其他车的第四图像，以获得与各时刻对应的其他车的第五图像。具体地，本实施例中，基于获得的映射关系，可以将与各时刻对应的本车前方物体的位置信息映射至与该时刻对应的本车的第四图像，以获得与各时刻对应的本车的第五图像。将与各时刻对应的其他车前方物体的位置信息映射至与该时刻对应的其他车的第四图像，以获得与各时刻对应的其他车的第五图像。继续参见图5，某一时刻下，映射过程中可只映射靠近车辆1(本车/其他车)的那面，车辆2靠近地面的轮廓线，即将(x7，y7，z7)和(x8，y8，z8)之间的连线映射至该时刻下本车/其他车的第四图像。映射过程中仅映射车辆2的部分轮廓线，既可以清晰的示意出车辆2的位置，也降低了映射过程中的计算量。
第五获取子单元，用于获取与各时刻对应的本车前视图像采集单元采集的图像信息中，本车所在的车道信息；获取与各时刻对应的其他车的前视图像采集单元采集的图像信息中，其他车所在的车道信息。本实施例中，所述车道信息包括：车道线和车道曲率。具体地，可以通过边缘检测、霍夫变换等检测某一时刻本车/其他车前视摄像头采集到的图像中本车/其他车所在的车道线和车道曲率。
第六获取子单元，用于基于与各时刻对应的本车的导航信息，将与各时刻对应的导航标识投射至与该时刻对应的本车的第五图像中本车所在的车道，以获得与各时刻对应的本车的第一图像；用于基于与各时刻对应的其他车的导航信息，将与各时刻对应的导航标识投射至与该时刻对应的其他车的第五图像中其他车所在的车道，以获得与各时刻对应的其他车的第一图像。
具体地，在获取某一时刻本车/其他车的车道线和车道曲率后，基于该时刻下本车/其他车所在的车道线和车道曲率，及本车/其他车的导航信息中高精地图给出的该时刻本车/其他车的导航标识，将该导航标识投射至该时刻下本车/其他车的第五图像中本车/其他车所在的车道(两条车道线的中间位置)，以获得该时刻下本车/其他车的第一图像。
至此通过上述过程将某一时刻车辆(本车/其他车)的毫米波雷达检测到的物体位置信息、车辆(本车/其他车)前方物体的位置信息，以及导航信息标记到了该时刻车辆(本车/其他车)前视摄像头采集到的前视图像中。对各个时刻车辆(本车/其他车)毫米波雷达检测到的物体位置信息、车辆(本车/其他车)前方物体的位置信息，以及导航信息重复上述的标记过程，即将相关信息标记到各时刻对应的车辆(本车/其他和)前视摄像头采集的图像中，即可获得与各时刻对应车辆(本车/其他车)的第一图像。
图6是本发明实施例的某一时刻的第一图像的示意图。图6中示出了车辆1(本车/其他车，图中未示出)的正前方和左前方均有车辆，除了图像中显示的车辆外，正前方车辆上还标记了毫米波雷达检测到的信息(标记于正前方车辆上的两道竖线)，标记了根据车辆1正前方车辆位置信息标记的横线11。左前方车辆上还标记了毫米波雷达检测到的信息(标记于左前方车辆上的一道竖线)，根据车辆1左前方车辆位置信息标记的横线12。此外，正前方车辆上还标记了导航标识(图中所示的箭头)。
通过第四获取单元将以其他方式获得的车辆前视摄像头视野范围内的信息及车辆的导航信息标记到车辆前视摄像头采集到的图像信息中后，接下来通过第五获取单元将以其他方式获得的车辆左后视摄像头视野范围内的信息标记到车辆左后视摄像头采集到的图像信息中，通过第六获取单元将以其他方式获得的车辆右后视摄像头视野范围内的信息标记到车辆右后视摄像头采集到的图像信息中。
第五获取单元，用于将与各时刻对应的本车左侧物体的信息，标记到与该时刻对应的本车左后视图像采集单元采集的图像信息中，以获得与各时刻对应的本车的第二图像；用于将与各时刻对应的其他车左侧物体的信息，标记到与该时刻对应的其他车左后视图像采集单元采集的图像信息中，以获得与各时刻对应的其他车的第二图像。
本实施例中，所述第五获取单元进一步包括：第七获取子单元和第八获取子单元。
所述第七获取子单元，用于获取本车左侧物体的位置信息与本车左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系；获取其他车左侧物体的位置信息与其他车左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系。
同样地，不论是本车还是其他车，获取车辆左侧物体的位置信息与车辆左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系的方式是相同的，因此以下描述中，不再区分本车或其他车，均以车辆进行描述。本实施例中，具体地，先获取车辆左侧物体的位置信息与左后视摄像头采集的图像中该物体的位置信息之间的映射关系。参见图7，图7是本发明实施例的获取车辆左侧物体的位置信息与左后视摄像头采集的图像中该物体的位置信息之间的映射关系的示意图。图7中以俯视的视角显示车辆之间的位置关系。如图7所示，本实施例中，将车辆1的左后视摄像头等效为一个点，以其作为图中所示坐标系的原点O，在车辆1的左后方某一位置处停有车辆2，车辆1的中心位置O1和车辆2的中心位置O2的位置信息可以通过GPS获得，而车辆1的长宽高及车辆2的长宽高则可以通过V2V数据获得。车辆1在图7中所示的坐标系下的坐标，可以通过车辆1的长和宽获得，而车辆1和车辆2的相对位置关系可以通过二者中心位置的坐标差获得，因此，可以计算出在图7所示的坐标系中，离车辆1较近的车辆2的这面，空间4个点对应的坐标(x9，y9，z9)，(x10，y10，z10)，(x11，y11，z11)(图中未示出)，(x12，y12，z12)(图中未示出)。而车辆1的左后视摄像头采集到的左后视图像中(x9，y9，z9)对应的
Figure BDA0001780218520000211
(x10，y10，z10)对应的
Figure BDA0001780218520000212
(x11，y11，z11)对应的
Figure BDA0001780218520000213
(x12，y12，z12)对应的
Figure BDA0001780218520000214
已知，车辆2的物理空间坐标与左后视图像中的像素坐标之间符合函数关系，因此可以以(x9，y9，z9)，(x10，y10，z10)，(x11，y11，z11)，(x12，y12，z12)作为函数的输入
Figure BDA0001780218520000215
作为函数的输出以获得二者之间的映射关系。另外，本实施例中为了获得二者之间更加准确的映射关系，还可以在图7中车辆1左后方的其他位置停放车辆2，以获得车辆2的多组物理空间坐标和对应的像素坐标数据，根据多组采样测试数据来获得二者之间的数学函数映射关系。也即采用此种方式，获得了本车/其他车左侧物体的位置信息与本车/其他车左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系。
第八获取子单元，用于基于所述本车左侧物体的位置信息与本车左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的本车左侧物体的信息映射至与该时刻对应的本车左后视图像采集单元采集的图像中，以获得与各时刻对应的本车的第二图像；基于其他车左侧物体的位置信息与其他车左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的其他车左侧物体的信息映射至与该时刻对应的其他车左后视图像采集单元采集的图像中，以获得与各时刻对应的其他车的第二图像。
在通过第七获取子单元获得了本车/其他车左侧物体的位置信息与本车/其他车左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系后，对于某一个时刻而言，映射过程中可只映射接近车辆1的那面，车辆2靠近地面的轮廓线，即将(x11，y11，z11)和(x12，y12，z12)之间的连线映射至左后视摄像头采集的图像中。将每一个时刻本车/其他车左侧物体的位置信息映射至该时刻本车/其他车左后视摄像头采集的图像中，即可获得与各时刻对应本车/其他车的第二图像。
本实施例中，所述第六获取单元进一步包括：第九获取子单元和第十获取子单元。
所述第九获取子单元，用于获取本车右侧物体的位置信息与本车右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系；获取其他车右侧物体的位置信息与其他车右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系。
同样地，以下描述中不区分本车和其他车。本实施例中获取车辆右侧物体的位置信息与右后视摄像头采集的图像中该物体的位置信息之间的映射关系，与获取车辆左侧物体的位置信息与左后视摄像头采集的图像中该物体的位置信息之间的映射关系相类似，不同的是此处将车辆1的右后视摄像头等效为一个点，以其为坐标系原点，水平向右为X轴的正方向，竖直向上为Y轴的正方向建立坐标系，进而可以获得相应的映射关系。
所述第十获取子单元，用于基于所述本车右侧物体的位置信息与本车右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的本车右侧物体的信息映射至与该时刻对应的本车右后视图像采集单元采集的图像中，以获得与各时刻对应的本车的第三图像；基于所述其他车右侧物体的位置信息与其他车右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的其他车右侧物体的信息映射至与该时刻对应的其他车右后视图像采集单元采集的图像中，以获得与各时刻对应的其他车的第三图像。
本实施例中，在通过第九获取子单元获得了本车/其他车右侧物体的位置信息与本车/其他车右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系后，对于某一个时刻而言，类似地，映射过程中可只将接近车辆1(本车/其他车)的那面，车辆2靠近地面的轮廓线映射至车辆1(本车/其他车)右后视摄像头采集到的图像中。将每一个时刻本车/其他车右侧物体的位置信息映射至该时刻本车/其他车右后视摄像头采集的图像中，即可获得与各时刻对应的本车/其他车的第三图像。
至此，在通过第四获取单元获得了与各时刻对应的本车/其他车的第一图像，通过第五获取单元获得了与各时刻对应的本车/其他车的第二图像，通过第六获取单元获得了与各时刻对应的本车/其他车的第三图像后，通过所述组合单元，组合与各时刻对应的本车的第一图像、本车的第二图像及本车的第三图像，以获得各时刻对应的本车的标记图像，组合与各时刻对应的其他车的第一图像、其他车的第二图像及其他车的第三图像以获得与各时刻对应的其他车的标记图像。
本实施例中可以以实际应用中需输入至神经网络的图像的尺寸，来调整各时刻对应的本车的第一图像、第二图像及第三图像的尺寸，以及各时刻对应的其他车的第一图像、第二图像及第三图像的尺寸(如进行拉伸和缩放)，以使得组合后的各时刻对应的本车的标记图像，及各时刻对应的其他车的标记图像的尺寸满足神经网络的输入需求。以本车为例，图8是组合某一时刻本车的第一图像、本车的第二图像、本车的第三图像时的位置关系示意图，如图8所示，本车的第一图像、本车的第二图像、本车的第三图像的位置符合本车上各摄像头的位置关系，即本车的第一图像位于本车的标记图像的正上方、本车的第二图像位于本车的标记图像的左下方，本车的第三图像位于本车的标记图像的右下方。组合与各时刻对应的其他车的第一图像、其他车的第二图像及其他车的第三图像，与组合与各时刻对应的本车的第一图像、本车的第二图像及本车的第三图像类似，此处不再赘述。
至此通过所述标记单元301将通过不同方式获得的车辆周围的信息融入到了车辆摄像头采集到的图像中，由于没有仅仅以单一传感器采集到的信息为主，因此，可以提高自动驾驶过程中车辆对周围环境的识别度，进而提高了车辆自动驾驶过程中的行驶安全性。
本实施例中，所述第三获取单元还包括训练单元，用于以本车行驶过程中，标记单元301获得的各时刻对应的本车的标记图像和与之对应的驾驶者的操作指令(EPS和ESC输出的控制指令)、其他车行驶过程中，标记单元301获得的各时刻对应的其他车的标记图像和与之对应的驾驶者的操作指令(EPS和ESC输出的控制指令)，为训练样本，训练神经网络模型以获得神经网络。
本实施例中，训练单元可以包括卷积神经网络模型302和递归神经网络模型303，继续参见图2，将标记单元301输出的与各时刻对应的本车的标记图像和本车的电子稳定控制系统输出的控制指令为训练样本，以及标记单元301输出的与各时刻对应的其他车的标记图像和其他车的电子稳定控制系统输出的控制指令为训练样本，训练卷积神经网络模型302，以获得卷积神经网络。将标记单元301输出的与各时刻对应的本车的标记图像和本车的电动助力转向系统输出的控制指令为训练样本，以及标记单元301输出的与各时刻对应的其他车的标记图像和其他车的电动助力转向系统输出的控制指令为训练样本，训练递归神经网络模型302，以获得递归神经网络。在获得了卷积神经网络和递归神经网络后，可以通过所述卷积神经网络和递归神经网络来控制本车/其他车自动驾驶。
实际应用中，在驾驶者驾驶车辆行驶的过程中，均可以对神网络模型进行训练。驾驶者只要通过按下车辆娱乐系统上启动训练模式的按钮，此时车辆的前视摄像头、左后视摄像头、右后视摄像头、毫米雷达波、TBOX、电子稳定控制系统及电动助力转向系统会发送相应的信息至位于服务器端的第一获取单元10和第二获取单元20，若以车辆中的某一辆车为本车，则除本车以外均为其他车。那么第一获取单元10将与本车周围环境相关的信息(即本车前视摄像头、左后视摄像头、右后视摄像头、毫米雷达波、TBOX发送的信息)发送至标记单元301，标记单元301对本车周围环境相关的信息进行处理后，获得与各时刻对应的本车的标记图像。第二获取单元20将与其他车周围环境相关的信息(即其他车前视摄像头、左后视摄像头、右后视摄像头、毫米雷达波、TBOX发送的信息)发送至标记单元301，标记单元301对其他车周围环境相关的信息进行处理后，获得与各时刻对应的其他车的标记图像。以与各时刻对应的本车的标记图像和与之对应的电子稳定控制系统输出的控制命令及各时刻对应的其他车的标记图像和与之对应的电子稳定控制系统输出的控制命令为训练样本，输入至卷积神经网络模型进行训练以获得卷积神经网络，将与各时刻对应的本车的标记图像和与之对应的电动助力转向系统输出的控制命令及与各时刻对应的其他车的标记图像和与之对应的电动助力转向系统输出的控制命令为训练样本，输入至递归神经网络模型进行训练以获得递归神经网络。
本领域技术人员知晓，车辆自动驾驶时，驾驶者是不会操控车辆的，也即不存在驾驶者的操作指令，因此，对于本车/其他车而言，电子稳定控制系统和电动助力转向系统不会输出控制指令至第一获得单元10和第二获取单元20，或者说此时电子稳定控制系统和电动助力转向系统的输出为零。此时，第一获取单元10获得的为本车发送的本车周围的环境信息及导航信息，第二获取单元20获得的为其他车发送的其他车周围的环境信息及导航信息。图9是本发明实施例的驾驶辅助系统处于自动驾驶模式时的示意图。为了控制本车/其他车自动驾驶，本实施例中，所述驾驶辅助系统还包括控制单元304，所述控制单元304基于所述训练单元训练获得的神经网络对无人驾驶时，各时刻对应的本车的标记图像进行处理，以控制本车自动驾驶。或者基于所述训练单元训练获得的神经网络对无人驾驶时，各时刻对应的其他车的标记图像进行处理，以控制其他车自动驾驶。实际应用中，所述控制单元304可以设置在服务器中，也可以设置在本车或者其他车中。
也即需要利用已经训练好的神经网络来对本车/其他车自动驾驶过程中周围的环境和导航信息进行判断，进而输出操作指令给电子稳定控制系统和电子助力转向系统，由电子稳定控制系统和电子助力转向系统输出相应的控制指令来控制车辆自动驾驶。
本实施例中，具体地，在无人驾驶本车时，控制单元304基于已经训练好的卷积神经网络文件和递归神经网络文件对无人驾驶过程中，各时刻对应的本车的标记图像进行处理，以控制本车自动驾驶。同样地，控制单元304可以通过所述卷积神经网络文件和递归神经网络文件对无人驾驶过程中，各时刻对应的其他车的标记图像进行处理，以控制其他车自动驾驶。继续参见图9，当本车/其他车处于自动驾驶时，本车的前视摄像头、左后视摄像头、右后视摄像头、毫米波雷达、以及TBOX通过以太网通信模块实时地发送相应的信息至第一获取单元10，其他车的前视摄像头、左后视摄像头、右后视摄像头、毫米波雷达、以及TBOX通过以太网通信模块实时地发送相应的信息至第二获取单元20，标记单元301对第一获取单元10及第二获取单元20实时发送的信息分别进行处理，以实时地获得与各时刻对应的本车的标记图像和其他车的标记图像。控制单元304基于卷积神经网络302′对实时发送的与各时刻对应本车的标记图像进行处理，实时地输出与各时刻对应的操作命令至电子稳定控制系统，进而通过所述电子稳定控制系统控制本车各时刻的转角值。控制单元304基于递归神经网络303′对实时发送的与各时刻对应的本车的标记图像进行处理，实时地输出与各时刻对应的操作命令至电动助力转向系统，进而通过所述电动助力转向系统控制本车各时刻的加减速度值，也即通过控制本车各时刻的加减速度及转角来控制本车自动驾驶。
同样地，对于其他车而言，控制单元304基于卷积神经网络302′和递归神经网络303′分别对实时发送的与各时刻对应的其他车的标记图像进行处理，以分别实时地输出与各时刻对应的操作命令至电子稳定控制系统和电动助力转向系统，以通过控制其他车各时刻的加减速度值和转角值来控制其他车自动驾驶。
本实施例中，随着训练样本的数量的增加，卷积神经网络和递归神经网络是可以持续更新的，当然在某一期间，可以仅基于一定数量的训练样本来训练卷积神经网络模型和递归神经网络模型以获得卷积神经网络和递归神经网络。根据实际的需求，可以设定更新的周期，当卷积神经网络和递归神经网络更新后，控制单元304所基于的卷积神经网络和递归神经网络也相应的更新。实际应用中，可以通过操作者按下汽车娱乐系统上的更新按钮，以触发控制单元304更新其获得的卷积神经网络和递归神经网络，或者说触发控制单元304用更新后的卷积神经网络文件和递归神经网络文件覆盖当前的卷积神经网络文件和递归神经网络文件。此后，控制单元304基于更新后的卷积神经网络和递归神经网络对与各时刻对应的本车/其他车的标记图像进行相应的处理。
本实施例中，先通过第一获取单元10获取本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令。第二获取单元20获取其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令。然后以第一获取单元10和第二获取单元20获取的数据作为训练样本训练神经网络模型。在本车或者其他车行驶过程中采集训练样本一方面提高了训练样本采集的效率，降低了采集训练样本的成本，另一方面可以在较短的时间大幅度的增加训练样本的多样性及数量，因此大大地提高了神经网络对环境感知的准确度，进而在通过控制单元基于该神经网络控制车辆自动驾驶时，提高了车辆在行驶过程中的行驶安全性。
本实施例中，考虑到自动驾驶过程中，车辆可能行驶于不同的场景，若有针对性的获得不同场景下的神经网络模型，当车辆行驶于该场景时，则可以更好的提高车辆自动驾驶过程中的行驶安全性。因此，本实施例中，所述第三获取单元还可以包括：识别单元(图中未示出)，用于识别本车行驶过程中所处的场景，以及其他车行驶过程中，其他车所处的场景。识别本车/其他车行驶中所处的场景，可以通过与各时刻对应的本车/其他车的标记图像和/或本车/其他车行驶过程中的相关信息进行识别；或者通过本车/其他车的摄像头采集到的图像和/或本车/其他车行驶过程中的相关信息进行识别。具体地，所述场景可以包括所在道路的类型，如：城市道路、高速公路、隧道、乡村道路、山路等。所处时间段，如：上午、中午、下午、黄昏、傍晚、夜晚等。所处天气，如：晴天、雨天、冬天、雷雨、暴雨、雾天、雪天等。对于道路类型而言，可以通过GPS位置信息、地图信息、车辆的速度、车辆的颠簸程度、道路坡度以及车辆的摄像头采集到的图像等进行判断。实际应用中，在有GPS位置信息和地图信息的前提下，以二者的信息为主判断道路的类型。若没有，则可以通过车辆的速度、车辆的颠簸程度、道路坡度以及车辆的摄像头采集到的图像来进行综合判断。而对于车辆所处的时间段，则可以通过当前时间、图像光照等进行判断。实际应用中，在知悉当前时间的前提下，以当前时间为主进行判断，在未知悉当前时间的前提下，以图像光照来判断车辆所处的时间段。对于车辆所处天气，则可以通过在线查询天气信息的方式确定。
在通过识别单元识别本车/其他车行驶过程中所处的场景后，所述训练单元还可以以相同场景下，各时刻对应的本车的标记图像和与之对应的驾驶者的操作指令、各时刻对应的其他车的标记图像和与之对应的驾驶者的操作指令为训练样本，训练所述神经网络模型以获得与该场景对应的神经网络(或者说以获得与该场景匹配的神经网络文件)。
本实施例中，所述驾驶辅助系统还包括：判断单元(图中未示出)，用于判断无人驾驶时本车行驶过程中所处的场景或者无人驾驶时其他车行驶过程中所处的场景。所述判断单元，判断本车/其他车行驶过程中所处场景的方式与识别单元识别本车/其他车行驶过程中所处场景的方式类似，此处不再赘述。
在所述判断单元确定本车/其他车行驶过程中所处的场景后，所述控制单元304还用于基于无人驾驶时本车行驶过程中所处的场景选择与该场景对应的神经网络(与该场景匹配的神经网络文件)，基于与该场景对应的神经网络对无人驾驶时，与各时刻对应的本车的标记图像进行处理，获得控制本车各时刻的加减速度值和转角值，以实现控制本车自动驾驶。
或者控制单元304基于无人驾驶时其他车行驶过程中所处的场景选择与该场景对应的神经网络(与该场景匹配的神经网络文件)，基于与该场景对应的神经网络对无人驾驶时，与各时刻对应的其他车的标记图像进行处理，获得控制其他车各时刻的加减速度值和转角值，以实现控制其他车自动驾驶。
实际应用中，以本车为例，若要控制本车自动驾驶，驾驶者可以通过按下本车娱乐系统上启动执行自动驾驶模式的按钮，此时本车的前视摄像头、左后视摄像头、右后视摄像头、毫米雷达波及TBOX会发送相应的信息至位于服务器端的第一获取单元10，第一获取单元10将相应的信息发送至标记单元301，标记单元301对信息进行处理后，获得与各时刻对应的本车的标记图像，将与各时刻对应的本车的标记图像发送至控制单元304，控制单元304基于与当前场景匹配的卷积神经网络302′和递归神经网络303′对与各时刻对应的本车的标记图像进行处理，输出与各时刻对应的操作命令以使得本车的电子稳定控制系统和电动助力转向系统输出相应的控制命令，进而控制本车自动驾驶。其他车执行自动驾驶模式与本车执行自动驾驶模式相类似，此处不再赘述。
此外，本实施例中，同样地，对于与不同场景对应的神经网络而言，随着该场景下训练样本数量的增加，与该场景对应的卷积神经网络和递归神经网络也将持续的更新，更新的周期可以根据实际的需求而定。当与该场景对应的卷积神经网络和递归神经网络更新后，控制单元304所基于的与该场景对应的卷积神经网络和递归神经网络也相应的更新。实际应用中，
可以通过操作者按下汽车娱乐系统上的更新按钮，以触发控制单元304更新与各场景对应的卷积神经网络和递归神经网络，或者说触发控制单元304用更新后的与各场景匹配的卷积神经网络文件和递归神经网络文件覆盖当前的与各场景匹配的卷积神经网络文件和递归神经网络文件。
本实施例还提供一种驾驶辅助方法，包括：
获取本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
获取其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
基于本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，和其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，训练神经网络模型，以获得神经网络；
基于所述神经网络对无人驾驶时本车周围的环境信息进行处理，以控制本车自动驾驶。
本实施的驾驶辅助方法的实施，参见对本实施例的驾驶辅助系统的描述，此处不再赘述。
本实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器用于执行所述计算机程序时实现如下操作：
获取本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
获取其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
基于本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，和其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，训练神经网络模型，以获得神经网络。
本实施例还提供一种计算机存储可读存储介质，包括：计算机可执行指令，当所述计算机可执行指令被运行时执行如下方法：
获取本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
获取其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
基于本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，和其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，训练神经网络模型，以获得神经网络。
综上所述，本发明实施例提供的驾驶辅助方法及系统、计算机设备、计算机存储可读存储介质，至少具有如下有益效果：
通过第一获取单元和第二获取单元分别获取本车和其他车在行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，进而以获得的本车周围的环境信息、导航信息和与之对应的驾驶者的操作指令、其他车周围的环境信息、导航信息和与之对应的驾驶者的操作指令为训练样本，训练神经网络模型以获得神经网络。由于增加了训练样本的多样性及训练样本的数量，因此提高了神经网络对环境感知的准确度，故，基于该神经网络对车辆进行自动控制时，极大的提高了车辆在行驶过程中的行驶安全性。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (13)

1.一种驾驶辅助系统，其特征在于，包括：
第一获取单元，用于获取本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
第二获取单元，用于获取其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
第三获取单元，用于基于本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，和其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，训练神经网络模型以获得神经网络，所述神经网络用于输出控制车辆自动驾驶的操作指令，
车辆周围的环境信息包括：车辆的图像采集单元采集到的图像信息、车辆的传感器检测的物体信息、由车载终端发送的车辆周围物体的信息，所述第三获取单元包括：
标记单元，用于将与各时刻对应的本车传感器检测的物体信息、由车载终端发送的本车周围物体的信息，及本车的导航信息标记到与该时刻对应的本车图像采集单元采集的图像信息中，以获得各时刻对应的本车的标记图像；将与各时刻对应的其他车的传感器检测的物体信息、由车载终端发送的其他车周围物体的信息，及其他车的导航信息标记到与该时刻对应的其他车的图像采集单元采集的图像信息中，以获得各时刻对应的其他车的标记图像；
训练单元，用于以本车行驶过程中，各时刻对应的本车的标记图像和与之对应的驾驶者的操作指令，及其他车行驶过程中，各时刻对应的其他车的标记图像和与之对应的驾驶者的操作指令为训练样本，训练所述神经网络模型以获神经网络。
2.根据权利要求1所述的系统，其特征在于，还包括：控制单元，所述控制单元基于所述神经网络对无人驾驶时，各时刻对应的本车的标记图像进行处理，以控制本车自动驾驶。
3.根据权利要求1所述的系统，其特征在于，所述第三获取单元还包括：识别单元，用于识别本车行驶过程中所处的场景，以及其他车行驶过程中，其他车所处的场景；
所述训练单元，还用于以相同场景下，各时刻对应的本车的标记图像和与之对应的驾驶者的操作指令、各时刻对应的其他车的标记图像和与之对应的驾驶者的操作指令为训练样本，训练所述神经网络模型以获得与该场景对应的神经网络。
4.根据权利要求3所述的系统，其特征在于，还包括判断单元，用于判断无人驾驶时本车行驶过程中所处的场景，所述控制单元还用于基于无人驾驶时本车行驶过程中所处的场景选择与该场景对应的神经网络，基于与该场景对应的神经网络对无人驾驶时，各时刻对应的本车的标记图像进行处理，以控制本车自动驾驶。
5.根据权利要求1～4任一项所述的系统，其特征在于，所述标记单元包括：
第四获取单元，用于将与各时刻对应的本车传感器检测的物体信息、本车前方物体的信息及本车的导航信息，标记到与该时刻对应的本车前视图像采集单元采集的图像信息中，以获得与各时刻对应的本车的第一图像；将与各时刻对应的其他车的传感器检测的物体信息、其他车前方物体的信息及其他车的导航信息，标记到与该时刻对应的其他车的前视图像采集单元采集的图像信息中，以获得与各时刻对应的其他车的第一图像；
第五获取单元，用于将与各时刻对应的本车左侧物体的信息，标记到与该时刻对应的本车左后视图像采集单元采集的图像信息中，以获得与各时刻对应的本车的第二图像；用于将与各时刻对应的其他车左侧物体的信息，标记到与该时刻对应的其他车左后视图像采集单元采集的图像信息中，以获得与各时刻对应的其他车的第二图像；
第六获取单元，用于将与各时刻对应的本车右侧物体的信息，标记到与该时刻对应的本车右后视图像采集单元采集的图像信息中，以获得与各时刻对应的本车的第三图像，将与各时刻对应的其他车右侧物体的信息，标记到与该时刻对应的其他车右后视图像采集单元采集的图像信息中，以获得与各时刻对应的其他车的第三图像；
组合单元，用于组合与各时刻对应的本车的第一图像、本车的第二图像及本车的第三图像，以获得各时刻对应的本车的标记图像，组合与各时刻对应的其他车的第一图像、其他车的第二图像及其他车的第三图像以获得各时刻对应的其他车的标记图像。
6.根据权利要求5所述的系统，其特征在于，所述第四获取单元包括：
第一获取子单元，用于获取本车传感器检测的物体位置信息与本车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；获取其他车的传感器检测的物体位置信息与其他车的前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
第二获取子单元，用于基于所述本车传感器检测的物体位置信息与本车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的本车传感器检测的物体的位置信息映射至与该时刻对应的本车前视图像采集单元采集的图像中，以获得与各时刻对应的本车的第四图像；基于所述其他车的传感器检测的物体位置信息与其他车的前视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的其他车的传感器检测的物体的位置信息映射至与该时刻对应的其他车的前视图像采集单元采集的图像中，以获得与各时刻对应的其他车的第四图像；
第三获取子单元，用于获取本车前方物体的位置信息与本车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；获取其他车前方物体的位置信息与其他车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
第四获取子单元，用于基于所述本车前方物体的位置信息与本车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的本车前方物体的信息映射至与该时刻对应的本车的第四图像，以获得与各时刻对应的本车的第五图像；基于所述其他车前方物体的位置信息与其他车前视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的其他车前方物体的信息映射至与该时刻对应的其他车的第四图像，以获得与各时刻对应的其他车的第五图像；
第五获取子单元，用于获取与各时刻对应的本车前视图像采集单元采集的图像信息中，本车所在的车道信息；获取与各时刻对应的其他车的前视图像采集单元采集的图像信息中，其他车所在的车道信息；
第六获取子单元，用于基于与各时刻对应的本车的导航信息，将与各时刻对应的导航标识投射至与该时刻对应的本车的第五图像中本车所在的车道，以获得与各时刻对应的本车的第一图像；用于基于与各时刻对应的其他车的导航信息，将与各时刻对应的导航标识投射至与该时刻对应的其他车的第五图像中其他车所在的车道，以获得与各时刻对应的其他车的第一图像。
7.根据权利要求5所述的系统，其特征在于，所述第五获取单元包括：
第七获取子单元，用于获取本车左侧物体的位置信息与本车左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系；获取其他车左侧物体的位置信息与其他车左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
第八获取子单元，用于基于所述本车左侧物体的位置信息与本车左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的本车左侧物体的信息映射至与该时刻对应的本车左后视图像采集单元采集的图像中，以获得与各时刻对应的本车的第二图像；基于其他车左侧物体的位置信息与其他车左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的其他车左侧物体的信息映射至与该时刻对应的其他车左后视图像采集单元采集的图像中，以获得与各时刻对应的其他车的第二图像。
8.根据权利要求5所述的系统，其特征在于，所述第六获取单元包括：
第九获取子单元，用于获取本车右侧物体的位置信息与本车右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系；获取其他车右侧物体的位置信息与其他车右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
第十获取子单元，用于基于所述本车右侧物体的位置信息与本车右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的本车右侧物体的信息映射至与该时刻对应的本车右后视图像采集单元采集的图像中，以获得与各时刻对应的本车的第三图像；基于所述其他车右侧物体的位置信息与其他车右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系，将与各时刻对应的其他车右侧物体的信息映射至与该时刻对应的其他车右后视图像采集单元采集的图像中，以获得与各时刻对应的其他车的第三图像。
9.根据权利要求1所述的系统，其特征在于，所述第一获取单元、第二获取单元、第三获取单元设置在本车中。
10.根据权利要求1所述的系统，其特征在于，还包括：服务器，所述服务器用于与车辆通信，所述第一获取单元、第二获取单元及第三获取单元设置在所述服务器中或者所述第一获取单元设置在本车中，所述第二获取单元设置在其他车中，所述第三获取单元设置在服务器中。
11.一种驾驶辅助方法，其特征在于，包括：
第一获取步骤，获取本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
第二获取步骤，获取其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令；
第三获取步骤，基于本车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，和其他车行驶过程中，其周围的环境信息、导航信息和与之对应的驾驶者的操作指令，训练神经网络模型，以获得神经网络；
控制步骤，基于所述神经网络对无人驾驶时本车周围的环境信息进行处理，以控制本车自动驾驶，
车辆周围的环境信息包括：车辆的图像采集单元采集到的图像信息、车辆的传感器检测的物体信息、由车载终端发送的车辆周围物体的信息，所述第三获取步骤进一步包括如下步骤：
标记步骤，用于将与各时刻对应的本车传感器检测的物体信息、由车载终端发送的本车周围物体的信息，及本车的导航信息标记到与该时刻对应的本车图像采集单元采集的图像信息中，以获得各时刻对应的本车的标记图像；将与各时刻对应的其他车的传感器检测的物体信息、由车载终端发送的其他车周围物体的信息，及其他车的导航信息标记到与该时刻对应的其他车的图像采集单元采集的图像信息中，以获得各时刻对应的其他车的标记图像；
训练步骤，用于以本车行驶过程中，各时刻对应的本车的标记图像和与之对应的驾驶者的操作指令，及其他车行驶过程中，各时刻对应的其他车的标记图像和与之对应的驾驶者的操作指令为训练样本，训练所述神经网络模型以获神经网络。
12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器用于执行所述计算机程序时实现如上述权利要求11所述的驾驶辅助方法。
13.一种计算机存储可读存储介质，其特征在于，包括：计算机可执行指令，当所述计算机可执行指令被运行时执行如上述权利要求11所述的驾驶辅助方法。
CN201810988399.7A 2018-08-28 2018-08-28 驾驶辅助方法及系统 Active CN110901638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810988399.7A CN110901638B (zh) 2018-08-28 2018-08-28 驾驶辅助方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810988399.7A CN110901638B (zh) 2018-08-28 2018-08-28 驾驶辅助方法及系统

Publications (2)

Publication Number Publication Date
CN110901638A CN110901638A (zh) 2020-03-24
CN110901638B true CN110901638B (zh) 2021-05-28

Family

ID=69812177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810988399.7A Active CN110901638B (zh) 2018-08-28 2018-08-28 驾驶辅助方法及系统

Country Status (1)

Country Link
CN (1) CN110901638B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196052A1 (zh) * 2020-03-31 2021-10-07 华为技术有限公司 驾驶数据采集方法及装置
CN113954857B (zh) * 2020-07-15 2023-03-21 广州汽车集团股份有限公司 一种自动驾驶控制方法及其系统、计算机设备、存储介质
CN113299099A (zh) * 2021-05-21 2021-08-24 广州小鹏汽车科技有限公司 一种行车辅助方法和装置
CN113747388B (zh) * 2021-07-31 2023-08-18 重庆长安汽车股份有限公司 一种车辆的应急通信方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106080590A (zh) * 2016-06-12 2016-11-09 百度在线网络技术（北京）有限公司 车辆控制方法和装置以及决策模型的获取方法和装置
CN106485194A (zh) * 2015-08-28 2017-03-08 现代自动车株式会社 目标识别装置、具有目标识别装置的车辆及其控制方法
CN106570899A (zh) * 2015-10-08 2017-04-19 腾讯科技（深圳）有限公司 一种目标物体检测方法及装置
CN107235044A (zh) * 2017-05-31 2017-10-10 北京航空航天大学 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法
CN107531244A (zh) * 2015-04-21 2018-01-02 松下知识产权经营株式会社 信息处理系统、信息处理方法、以及程序
KR20180068511A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107531244A (zh) * 2015-04-21 2018-01-02 松下知识产权经营株式会社 信息处理系统、信息处理方法、以及程序
CN106485194A (zh) * 2015-08-28 2017-03-08 现代自动车株式会社 目标识别装置、具有目标识别装置的车辆及其控制方法
CN106570899A (zh) * 2015-10-08 2017-04-19 腾讯科技（深圳）有限公司 一种目标物体检测方法及装置
CN106080590A (zh) * 2016-06-12 2016-11-09 百度在线网络技术（北京）有限公司 车辆控制方法和装置以及决策模型的获取方法和装置
KR20180068511A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
CN107235044A (zh) * 2017-05-31 2017-10-10 北京航空航天大学 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法

Also Published As

Publication number Publication date
CN110901638A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN108305475B (zh) 一种交通灯识别方法及装置
CN110901638B (zh) 驾驶辅助方法及系统
CN109949594B (zh) 实时的交通灯识别方法
CN109789778A (zh) 自动泊车辅助装置以及包括其的车辆
CN108594244B (zh) 基于立体视觉和激光雷达的障碍物识别迁移学习方法
CN111417993B (zh) 用于提供至少一个对象的位置的方法和设备
CN111323027A (zh) 一种基于激光雷达与环视相机融合制作高精度地图方法及装置
JP2000090393A (ja) 車載型走行路環境認識装置
WO2019213982A1 (zh) 基于最小作用量原理的驾驶人操控行为量化方法及装置
CN108725318B (zh) 汽车安全预警方法、装置及计算机可读存储介质
CN111435538A (zh) 定位方法、定位系统和计算机可读存储介质
CN114842075B (zh) 数据标注方法、装置、存储介质及车辆
KR20210126365A (ko) 차량 주행 영상 기반의 차선 검출 방법, 차선 검출 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN111796287A (zh) 一种自动驾驶汽车道路数据采集分析装置
CN111376902B (zh) 一种自动驾驶的车道保持方法及系统
CN113673403B (zh) 行驶环境检测方法、系统、装置、计算机设备、计算机可读存储介质及汽车
CN110765224A (zh) 电子地图的处理方法、车辆视觉重定位的方法和车载设备
CN115205311B (zh) 图像处理方法、装置、车辆、介质及芯片
CN115871660A (zh) 双模态特征融合的无人驾驶压路机避障方法及系统
US20220266824A1 (en) Road information generation apparatus
US20210357667A1 (en) Methods and Systems for Measuring and Mapping Traffic Signals
CN115273530A (zh) 一种基于协同感知的停车场定位与感知系统
CN115158322A (zh) 地图信息生成装置及本车位置推定装置
EP3460403B1 (en) Method for controlling operation system of a vehicle
CN110908366B (zh) 自动驾驶方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230417

Address after: Building 7, No. 600 Xingxian Road, Jiading District, Shanghai, 201815

Patentee after: Continental Zhixing Technology (Shanghai) Co.,Ltd.

Address before: No. 600, Xingxian Road, industrial zone, Jiading District, Shanghai, 201815

Patentee before: Continental tamic Automotive Systems (Shanghai) Co.,Ltd.