CN111399481A - 一种自动驾驶场景信息收集及远程升级方法及系统 - Google Patents

Abstract

本发明公开了一种自动驾驶场景信息收集及远程升级方法及系统，涉及汽车技术领域，本发明通过在驾驶员发现故障时手动按键发出触发信号或自动驾驶系统上报故障信号时，触发自动驾驶场景信息收集，收集触发信号前后一段时间内现场驾驶场景，对驾驶场景进行分类，进行故障原因分析，并将这些场景上传至云服务器。同时，研发人员通过分析场景，修复自动驾驶系统，通过该装置可实现远程升级自动驾驶系统，以处理上报的故障，从而极大的提升用户体验，降低售后服务成本。

Description

一种自动驾驶场景信息收集及远程升级方法及系统

技术领域

本发明涉及汽车技术领域，具体涉及一种自动驾驶场景信息收集及远程升级方法及系统。

背景技术

自动驾驶车辆安全行驶的关键是准确及时的识别车辆周边的驾驶环境，也就是驾驶场景。中国的道路交通建设状况不仅层次不齐，而且非常有地域特色，目前，很多企业希望建设专用的场景测试试验场，进行自动驾驶测试，但是，真实情况是驾驶场景不计其数，事故发生原因多种多样，天气因素也有相当重要的影响，测试场难以穷举场景建立所有测试场景。

事故发生现场的驾驶场景难以复现，而如果没有现场驾驶场景，自动驾驶事故的原因分析将非常困难。

自动驾驶系统报出的故障，或者是驾驶员发现的故障，这些故障虽然没有导致发生事故，但是存在潜在的事故隐患。为消除安全隐患，这些故障需上报服务器进行售后处理。这些故障处理也必需要综合考虑当时的驾驶场景，分析故障原因；否则分析不全面、甚至无法分析。并且采用到达现场处理故障的方式成本高，效率低。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种自动驾驶场景信息收集及远程升级方法及系统，节省装配空间，降低整个系统的复杂度，节约整车制造成本。

为达到以上目的，本发明采取的技术方案是：一种自动驾驶场景信息收集及远程升级方法，包括以下步骤：

自动驾驶过程中，本地中央处理器接收到故障触发信号时，收集触发信号前后一段时间内的驾驶场景信息，对驾驶场景进行分类并进行故障原因分析，输出感知融合模型输入信号、感知融合模型输出信号、故障诊断日志和分类后的场景视频数据，通过无线光通信发送到云服务器；

研发人员从云服务器获取所述驾驶场景信息，进行故障原因确认，上传修复的自动驾驶系统至云服务器；

云服务器将转发至本地中央处理器，本地中央处理器根据修复的自动驾驶系统，执行自动驾驶系统升级。

在上述技术方案的基础上，所述故障触发信号包括事故发生时自动驾驶系统上报的触发信号，以及驾驶员手动按钮发送的触发信号。

在上述技术方案的基础上，所述驾驶场景信息包括环境感知传感器信号、事故现场场景视频、事故发生的GPS位置、车辆OBD信号、感知融合模型输出信号，以及规划控制信号。

在上述技术方案的基础上，述环境感知传感器信号包括道路交通参与者对象的信号、交通标识对象的信号和车道对象等对象的信号。

在上述技术方案的基础上，收集触发信号前后一段时间内的驾驶场景信息，对驾驶场景进行分类并进行故障原因分析，输出感知融合模型输入信号、感知融合模型输出信号、故障诊断日志和分类后的场景视频数据，具体包括以下步骤：

对收集到的触发信号前后一段时间内的驾驶场景信息，进行时间和空间同步；

对同步后的环境感知传感器信号进行处理，输出感知融合模型输入信号；

根据感知融合模型输入信号、感知融合模型输出信号、规划控制信号和车辆OBD信号，进行故障原因分析，输出诊断日志；

接收环境感知传感器信号、场景记录摄像头记录的现场场景视频和车辆OBD信号，采用深度学习分类方法处理，输出分类后的场景视频数据；

将感知融合模型输入信号、感知融合模型输出信号、故障诊断日志和分类后的场景视频数据，通过无线光通信发送到云服务器。

本发明还提供一种自动驾驶场景信息收集及远程升级系统，包括本地中央处理器、云服务器、场景视频拍照摄像头、驾驶员打点按钮和自动驾驶系统：

所述本地中央处理器用于：自动驾驶过程中，接收到故障触发信号时，收集触发信号前后一段时间内的驾驶场景信息，对驾驶场景进行分类并进行故障原因分析，输出感知融合模型输入信号、感知融合模型输出信号、故障诊断日志和分类后的场景视频数据，通过无线光通信发送到云服务器；根据云服务器转发的修复的自动驾驶系统，执行自动驾驶系统升级。

所述云服务器用于：供研发人员从云服务器上获取本地中央处理器上传的驾驶场景信息，接收研发人员上传的修复的自动驾驶系统，将修复的自动驾驶系统转发至本地中央处理器；

场景视频拍照摄像头用于：录制事故现场场景视频，并上传至本地中央处理器；

驾驶员打点按钮用于：供驾驶员手动按动按钮，发出打点触发信号至本地中央处理器；

自动驾驶系统用于：自动驾驶途中发生事故或存在潜在的事故隐患时，上报触发信号至本地中央处理器。

在上述技术方案的基础上，所述故障触发信号包括事故发生时自动驾驶系统上报的触发信号，以及驾驶员手动按钮发送的触发信号。

在上述技术方案的基础上，所述驾驶场景信息包括环境感知传感器信号、事故现场场景视频、事故发生的GPS位置、车辆OBD信号、感知融合模型输出信号，以及规划控制信号。

在上述技术方案的基础上，所述环境感知传感器信号包括道路交通参与者对象的信号、交通标识对象的信号和车道对象等对象的信号。

在上述技术方案的基础上，所述本地中央处理器包括ECU同步模块、ECU数据处理模块、ECU故障诊断模块、ECU深度学习模块、ECU存储模块和ECU升级模块；

所述ECU同步模块用于：对收集到的触发信号前后一段时间内的驾驶场景信息，进行时间和空间同步；

所述ECU数据处理模块用于：对同步后的环境感知传感器信号进行处理，输出感知融合模型输入信号；

所述ECU故障诊断模块用于：根据感知融合模型输入信号、感知融合模型输出信号、规划控制信号和车辆OBD信号，进行故障原因分析，输出诊断日志，上传到云服务器；

所述ECU深度学习模块用于：接收环境感知传感器信号、场景记录摄像头记录的现场场景视频和车辆OBD信号，采用深度学习分类方法处理，输出分类后的场景视频数据，上传到云服务器；

所述ECU存储模块用于：本地存储所述感知融合模型输入信号、感知融合模型输出信号、故障诊断日志和分类后的场景视频数据；

所述ECU升级模块用于：根据云服务器转发的修复的自动驾驶系统，执行自动驾驶系统升级。

本发明提供的技术方案带来的有益效果包括：

本发明通过在驾驶员发现故障时手动按键发出触发信号或自动驾驶系统上报故障信号时，触发自动驾驶场景信息收集，收集触发信号前后一段时间内现场驾驶场景，对驾驶场景进行分类，进行故障原因分析，并将这些场景上传至云服务器。同时，研发人员通过分析场景，修复自动驾驶系统，通过该装置可实现远程升级自动驾驶系统，以处理上报的故障，从而极大的提升用户体验，降低售后服务成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的应用于自动驾驶车辆场景收集的流程示意图；

图2是本发明实施例的应用于自动驾驶车辆的远程升级的流程示意图；

图3是本发明实施例的一种自动驾驶场景信息收集及远程升级系统的结构示意图。

具体实施方式

以下结合附图对本发明的实施例作进一步详细说明。

参见图1所示，本发明实施例提供一种自动驾驶场景信息收集及远程升级方法，包括以下步骤：

自动驾驶过程中，本地中央处理器接收到故障触发信号时，收集触发信号前后一段时间内的驾驶场景信息，对驾驶场景进行分类并进行故障原因分析，输出感知融合模型输入信号、感知融合模型输出信号、故障诊断日志和分类后的场景视频数据，通过无线光通信发送到云服务器；

研发人员从云服务器获取所述驾驶场景信息，进行故障原因确认，上传修复的自动驾驶系统至云服务器；

云服务器将转发至本地中央处理器，本地中央处理器根据修复的自动驾驶系统，执行自动驾驶系统升级。

本发明实施例通过在驾驶员发现故障时手动按键发出触发信号或自动驾驶系统上报故障信号时，触发自动驾驶场景信息收集，收集触发信号前后一段时间内现场驾驶场景，对驾驶场景进行分类，进行故障原因分析，并将这些场景上传至云服务器。研发人员通过分析场景，修复自动驾驶系统，通过该装置可实现远程升级自动驾驶系统，以处理上报的故障，从而极大的提升用户体验，降低售后服务成本。

作为优选的实施方式，所述故障触发信号包括事故发生时自动驾驶系统上报的触发信号，以及驾驶员手动按钮发送的触发信号。

作为优选的实施方式，所述驾驶场景信息包括环境感知传感器信号、事故现场场景视频、事故发生的GPS位置、车辆OBD信号、感知融合模型输出信号，以及规划控制信号。

作为优选的实施方式，所述环境感知传感器信号包括道路交通参与者对象的信号、交通标识对象的信号和车道对象等对象的信号。

参见图1所示，本发明实施例的应用于自动驾驶车辆场景收集的流程示意图。自动驾驶过程中，出现故障甚至事故，发出故障触发信号，本地中央处理器ECU接收到故障触发信号后，按照图1所示的处理流程，进行如下处理：

S001、收到事故发生时自动驾驶系统上报的触发信号或驾驶员手动按钮发送的触发信号；

S002、ECU接收当前所有场景的输入信号；

S003、ECU同步模块对输入数据进行时间和空间同步。输出同步后的数据，供下述模块使用；

S004、ECU的处理模块接收ECU同步模块输出的环境感知传感器经过周期打包整理，结构转换等处理，输出感知融合模型输入信号；

S005、ECU故障诊断分析模块根据感知融合模型输入信号，感知融合模型输出信号，规划控制信号，车辆OBD信号，综合进行故障原因分析，输出诊断日志；

S006、ECU的深度学习场景分类模块接收环境感知传感器，以及场景记录摄像头记录的现场场景视频，车辆OBD信号，使用深度学习分类方法，经过处理，输出分类的场景，上传到云服务器，行成自动驾驶场景集；

上述自动驾驶场景集用于三个方面：

(1)用于本次驾驶故障原因分析；

(2)用于后期新的自动驾驶车辆产品研发的传感器选型，传感器布置提供经验，改善传感器布置，或者选择合适的传感器；

(3)用于新产品的场景测试。

S007、ECU各个模块经过上述处理，输出感知融合模型输入信号、感知融合模型输出信号、故障诊断日志、分类后的事故场景视频数据，通过无线光通信发送到云服务器。

S008、ECU同时在本地存储感知融合模型输入信号、感知融合模型输出信号、故障诊断日志、分类后的事故场景视频数据，以备网络通信异常情况下，也能为事故分析提供，确保完整性能。

研发人员通过云服务器获取，进行事故原因再次分析确认，并修复自动驾驶系统。研发人员通过云服务器，以及ECU的自动驾驶系统升级模块远程升级该批次所有车辆，升级流程如图2所示：

S101、研发人员上传修复的自动驾驶系统；

S102、云服务器转发自动驾驶系统至ECU；

S103、ECU向驾驶人员发送自动驾驶系统升级请求；

S104、获取驾驶员回复是否同意，若是，进入步骤S105；若否，进入步骤S106；

S105、ECU执行自动驾驶系统升级；

S106、放弃升级。

参见图3所示，本发明实施例还提供一种自动驾驶场景信息收集及远程升级系统，包括本地中央处理器、云服务器、场景视频拍照摄像头、驾驶员打点按钮和自动驾驶系统：

所述本地中央处理器用于：自动驾驶过程中，接收到故障触发信号时，收集触发信号前后一段时间内的驾驶场景信息，对驾驶场景进行分类并进行故障原因分析，输出感知融合模型输入信号、感知融合模型输出信号、故障诊断日志和分类后的场景视频数据，通过无线光通信发送到云服务器；根据云服务器转发的修复的自动驾驶系统，执行自动驾驶系统升级。

所述云服务器用于：供研发人员从云服务器上获取本地中央处理器上传的驾驶场景信息，接收研发人员上传的修复的自动驾驶系统，将修复的自动驾驶系统转发至本地中央处理器；

场景视频拍照摄像头用于：录制事故现场场景视频，并上传至本地中央处理器；

驾驶员打点按钮用于：供驾驶员手动按动按钮，发出打点触发信号至本地中央处理器；

自动驾驶系统用于：自动驾驶途中发生事故或存在潜在的事故隐患时，上报触发信号至本地中央处理器。

作为优选的实施方式，所述故障触发信号包括事故发生时自动驾驶系统上报的触发信号，以及驾驶员手动按钮发送的触发信号。

作为优选的实施方式，所述驾驶场景信息包括环境感知传感器信号、事故现场场景视频、事故发生的GPS位置、车辆OBD信号、感知融合模型输出信号，以及规划控制信号。

作为优选的实施方式，所述环境感知传感器信号包括道路交通参与者对象的信号、交通标识对象的信号和车道对象等对象的信号。

参见图3所示，该装置的中央控制器ECU包括如下模块：ECU同步模块，ECU处理模块，ECU故障诊断模块，ECU深度学习场景分类模块，ECU存储模块和ECU升级模块。

所述ECU同步模块用于：对收集到的触发信号前后一段时间内的驾驶场景信息，进行时间和空间同步；

所述ECU数据处理模块用于：对同步后的环境感知传感器信号进行处理，输出感知融合模型输入信号；

所述ECU故障诊断模块用于：根据感知融合模型输入信号、感知融合模型输出信号、规划控制信号和车辆OBD信号，进行故障原因分析，输出诊断日志，上传到云服务器；

所述ECU深度学习模块用于：接收环境感知传感器信号、场景记录摄像头记录的现场场景视频和车辆OBD信号，采用深度学习分类方法处理，输出分类后的场景视频数据，上传到云服务器；

所述ECU存储模块用于：本地存储所述感知融合模型输入信号、感知融合模型输出信号、故障诊断日志和分类后的场景视频数据；

所述ECU升级模块用于：根据云服务器转发的修复的自动驾驶系统，执行自动驾驶系统升级。

参见图3所示，该系统还包括云服务器。本地中央处理器ECU通过无线光通信方式，将故障日志、感知融合模型输入输出、规划控制、场景视频以及OBD信号上传给云服务器。

参见图3所示，其示出了本发明实施例应用于自动驾驶车辆故障场景自动收集系统所获取的各种信号，具体包括：故障触发信号、环境感知传感器信号、事故现场场景视频、事故发生的GPS位置、车辆OBD、感知融合模型输出信号，以及规划控制信号。

上述提到的故障触发信号包含三种，第一种是自动驾驶途中发生事故，发出触发信号给ECU；第二种是自动驾驶系统自动上报的故障，这些故障虽然没有导致发生事故，但是存在潜在的事故隐患，也需要上报服务器进行售后处理，消除潜在事故隐患；第三种是驾驶员发现故障或危险，手动按动按钮，发出打点触发信号；

上述提到的环境感知传感器信号，包括自动驾驶车辆安装的用于自动驾驶环境识别的传感器的所有信号。具体的包含但不限于，道路交通参与者对象的信号，交通标识对象的信号，车道对象等对象的信号。

上述提到的环境感知传感器信号，用于识别车辆驾驶环境及道路交通参与者对象、交通标识对象和车道对象等对象等，并将识别到的这些对象的信号输出给中央处理器ECU。

上述提到的事故现场场景视频，是场景记录摄像头拍下的故障发生前后一段时间的现场的视频。

上述提到的故障发生的GPS位置，是输出故障发生时刻的位置信息。

上述提到的车辆OBD信号，是输出故障发生前后一段时间内车辆本身的姿态信息，包括横摆角速度，车辆速度等。

上述提到的感知融合模型输出信号，是自动驾驶系统提供的故障发生前后一段时间内，现有自动驾驶系统的感知融合模型处理输出的感知信号。

上述提到的规划控制信号，是自动驾驶系统提供的故障发生前后一段时间内，现有自动驾驶系统的规划控制模块输出的规划控制信号。

本发明实施例的方法和系统所带来的显著经济效果是，在一定程度上防止同类事故再次发生，大大减少售后服务成本，提升用户体验。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种自动驾驶场景信息收集及远程升级方法，其特征在于，包括以下步骤：

自动驾驶过程中，本地中央处理器接收到故障触发信号时，收集触发信号前后一段时间内的驾驶场景信息，对驾驶场景进行分类并进行故障原因分析，输出感知融合模型输入信号、感知融合模型输出信号、故障诊断日志和分类后的场景视频数据，通过无线光通信发送到云服务器；

研发人员从云服务器获取所述驾驶场景信息，进行故障原因确认，上传修复的自动驾驶系统至云服务器；

云服务器将转发至本地中央处理器，本地中央处理器根据修复的自动驾驶系统，执行自动驾驶系统升级。

2.如权利要求1所述的自动驾驶场景信息收集及远程升级方法，其特征在于，所述故障触发信号包括事故发生时自动驾驶系统上报的触发信号，以及驾驶员手动按钮发送的触发信号。

3.如权利要求1所述的自动驾驶场景信息收集及远程升级方法，其特征在于，所述驾驶场景信息包括环境感知传感器信号、事故现场场景视频、事故发生的GPS位置、车辆OBD信号、感知融合模型输出信号，以及规划控制信号。

4.如权利要求3所述的自动驾驶场景信息收集及远程升级方法，其特征在于，所述环境感知传感器信号包括道路交通参与者对象的信号、交通标识对象的信号和车道对象等对象的信号。

5.如权利要求1所述的自动驾驶场景信息收集及远程升级方法，其特征在于，收集触发信号前后一段时间内的驾驶场景信息，对驾驶场景进行分类并进行故障原因分析，输出感知融合模型输入信号、感知融合模型输出信号、故障诊断日志和分类后的场景视频数据，具体包括以下步骤：

对收集到的触发信号前后一段时间内的驾驶场景信息，进行时间和空间同步；

对同步后的环境感知传感器信号进行处理，输出感知融合模型输入信号；

根据感知融合模型输入信号、感知融合模型输出信号、规划控制信号和车辆OBD信号，进行故障原因分析，输出诊断日志；

接收环境感知传感器信号、场景记录摄像头记录的现场场景视频和车辆OBD信号，采用深度学习分类方法处理，输出分类后的场景视频数据；

将感知融合模型输入信号、感知融合模型输出信号、故障诊断日志和分类后的场景视频数据，通过无线光通信发送到云服务器。

6.一种自动驾驶场景信息收集及远程升级系统，其特征在于，包括本地中央处理器、云服务器、场景视频拍照摄像头、驾驶员打点按钮和自动驾驶系统：

所述本地中央处理器用于：自动驾驶过程中，接收到故障触发信号时，收集触发信号前后一段时间内的驾驶场景信息，对驾驶场景进行分类并进行故障原因分析，输出感知融合模型输入信号、感知融合模型输出信号、故障诊断日志和分类后的场景视频数据，通过无线光通信发送到云服务器；根据云服务器转发的修复的自动驾驶系统，执行自动驾驶系统升级。

所述云服务器用于：供研发人员从云服务器上获取本地中央处理器上传的驾驶场景信息，接收研发人员上传的修复的自动驾驶系统，将修复的自动驾驶系统转发至本地中央处理器；

场景视频拍照摄像头用于：录制事故现场场景视频，并上传至本地中央处理器；

驾驶员打点按钮用于：供驾驶员手动按动按钮，发出打点触发信号至本地中央处理器；

自动驾驶系统用于：自动驾驶途中发生事故或存在潜在的事故隐患时，上报触发信号至本地中央处理器。

7.如权利要求6所述的自动驾驶场景信息收集及远程升级系统，其特征在于，所述故障触发信号包括事故发生时自动驾驶系统上报的触发信号，以及驾驶员手动按钮发送的触发信号。

8.如权利要求6所述的自动驾驶场景信息收集及远程升级系统，其特征在于，所述驾驶场景信息包括环境感知传感器信号、事故现场场景视频、事故发生的GPS位置、车辆OBD信号、感知融合模型输出信号，以及规划控制信号。

9.如权利要求8所述的自动驾驶场景信息收集及远程升级系统，其特征在于，所述环境感知传感器信号包括道路交通参与者对象的信号、交通标识对象的信号和车道对象等对象的信号。

10.如权利要求6所述的自动驾驶场景信息收集及远程升级系统，其特征在于，所述本地中央处理器包括ECU同步模块、ECU数据处理模块、ECU故障诊断模块、ECU深度学习模块、ECU存储模块和ECU升级模块；

所述ECU同步模块用于：对收集到的触发信号前后一段时间内的驾驶场景信息，进行时间和空间同步；

所述ECU数据处理模块用于：对同步后的环境感知传感器信号进行处理，输出感知融合模型输入信号；

所述ECU故障诊断模块用于：根据感知融合模型输入信号、感知融合模型输出信号、规划控制信号和车辆OBD信号，进行故障原因分析，输出诊断日志，上传到云服务器；

所述ECU深度学习模块用于：接收环境感知传感器信号、场景记录摄像头记录的现场场景视频和车辆OBD信号，采用深度学习分类方法处理，输出分类后的场景视频数据，上传到云服务器；

所述ECU存储模块用于：本地存储所述感知融合模型输入信号、感知融合模型输出信号、故障诊断日志和分类后的场景视频数据；

所述ECU升级模块用于：根据云服务器转发的修复的自动驾驶系统，执行自动驾驶系统升级。

Images