CN113067762A - 一种用于自动驾驶的车内数据记录及记录数据的提取方法 - Google Patents
一种用于自动驾驶的车内数据记录及记录数据的提取方法 Download PDFInfo
- Publication number
- CN113067762A CN113067762A CN202110311538.4A CN202110311538A CN113067762A CN 113067762 A CN113067762 A CN 113067762A CN 202110311538 A CN202110311538 A CN 202110311538A CN 113067762 A CN113067762 A CN 113067762A
- Authority
- CN
- China
- Prior art keywords
- data
- vehicle
- format
- data recording
- mounted controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013075 data extraction Methods 0.000 title description 4
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 18
- 101710154918 Trigger factor Proteins 0.000 claims abstract description 3
- 230000004044 response Effects 0.000 claims abstract description 3
- 239000000872 buffer Substances 0.000 claims description 7
- 230000003139 buffering effect Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 5
- 229910002056 binary alloy Inorganic materials 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L2012/40208—Bus networks characterized by the use of a particular bus standard
- H04L2012/40215—Controller Area Network CAN
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L2012/40267—Bus for use in transportation systems
- H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种用于自动驾驶的车内数据记录及记录数据的提取方法,包括步骤一,车载控制器二通过CAN/CANFD的通信方式将数据传输给车载控制器一的中间层,中间层将数据通过IPC的通信方式传输给数据记录进程;车载控制器一内需要记录的数据也通过IPC的通信方式传输到数据记录进程;其中,车载控制器一和车载控制器二的数据均封装成CAN/CANFD数据的格式,且增加帧时间戳timestamp;步骤二,将数据记录进程接收到的数据缓存于缓存区;步骤三,响应于超过数据缓存时间阈值或者触发因素,将缓存区的数据以二进制的形式成块地写入硬件存储设备中。本发明采用统一的方法与格式存储,可对齐、通用地对记录的数据进行分析,同时cpu负载低,不会影响正常的自动驾驶运行。
Description
技术领域
本发明属于计算机技术领域,具体涉及车内数据记录及记录数据的提取方法。
背景技术
随着汽车智能化、网联化的发展,无人驾驶汽车研究的深入,自动驾驶技术层级不断提升,越来越多具备L2及L2以上的自动驾驶或驾驶辅助功能的车辆上市或即将上市;然而,在自动驾驶技术尚未成熟的当下,复杂的交通环境与现规划的驾驶场景的矛盾,使用自动驾驶功能信心不足,且当前的自动驾驶相关的行车数据得不到积累,反过来减慢了自动驾驶技术的发展进度,若驾驶相关关键数据得到记录,有助于工程师更方便有效地进行数据分析、问题定位、算法优化及自动驾驶功能的完善;同时,若搭载了自动驾驶功能的车辆发生了事故,不可追溯车辆事发时的指令执行动态及驾驶员的操作情况,则无法还原事发场景,准确判断事故责任是在于驾驶员错误操作还是自动驾驶系统故障以定位事故的主要责任方。
当前并没有主流的针对车内自动驾驶领域的数据记录方案,各方数据均各自存储,没有统一的方法与格式,易导致各方的数据在分析时不对齐、不通用,并造成较高的CPU负载,严重可能会影响正常的自动驾驶运行。
发明内容
本发明的目的是提供一种用于自动驾驶的车内数据记录及记录数据的提取方法,解决的技术问题:传统的数据记录方案皆是各方数据各自存储,没有统一的方法与格式,易导致各方的数据在分析时不对齐、不通用,并且造成较高的CPU负载,当CPU负载严重时,自动驾驶不能正常运行。
为了解决上述技术问题,本发明采用了如下技术方案:一种用于自动驾驶的车内数据记录方法,包括:
步骤一,车载控制器二通过CAN/CANFD的通信方式将数据传输给车载控制器一的中间层,所述中间层将所述数据通过IPC的通信方式传输给数据记录进程;
所述车载控制器一内需要记录的数据也通过所述IPC的通信方式传输到所述数据记录进程;
其中,
所述车载控制器一和车载控制器二的数据均封装成CAN/CANFD数据的格式,且增加帧时间戳timestamp;
步骤二,将所述数据记录进程接收到的数据缓存于缓存区;
步骤三,响应于超过数据缓存时间阈值或者触发因素,将所述缓存区的数据以二进制的形式成块地写入硬件存储设备中。
优选地,将所述缓存区的数据以文件的格式保存于所述硬件存储设备中,所述文件以时间命名。
优选地,所述硬件存储设备为emmc/flash类硬件存储设备。
优选地,所述数据记录进程设在所述控制器一中。
优选地,所述数据记录进程设在独立的芯片中。
一种用于自动驾驶的车内记录数据的提取方法,将存储在硬件存储设备中的二进制形式的数据转换为asc格式数据:提取第一帧数据时间,转换为指定格式时间,获得asc格式的文件头;提取数据部分:按asc数据格式依次提取;
通过can软件工具分析asc格式数据。
通过采用上述技术方案,本发明可达到的有益技术效果陈述如下:本发明是基于当前的通信架构做的改进;当前的通信架构:车内控制器之间的数据传递主要通过CAN/CANFD进行传输,控制器内部的模块之间的通信主要通过通信方式实现;在本发明中,车载控制器一接收来自车载控制器二的CAN/CANFD数据,车载控制器一的inter layer(中间层)接收后,通过IPC传输到数据记录进程(adr),车载控制器一内部的模块的需要记录的数据通过IPC传送给数据记录进程,在内部的模块的数据传递给数据记录进程的过程中,需先将数据封装成CAN/CANFD数据的格式,同时增加帧时间戳;另外在车载控制器一开设一个缓存区,将数据记录进程接收到的数据缓存起来,并将缓存区的数据以二进制的形式,成块地写入flash/emmc;本发明二进制成块写入,写入速率增加,CPU占用率低,不会影响自动驾驶运行。
附图说明
图1为车载控制器内部数据传输架构;
图2为基于车载控制器内部数据传输架构提出的改进过后的数据记录方案;
图3为数据记录流程(包括数据提取);
图4为数据记录样例。
具体实施方式
下面结合附图对本发明作进一步说明。
目前,搭载自动驾驶车型的车内数据主要可分为以下几类,见下表:
如图1所示,目前常见的车内控制器之间的数据传递主要通过CAN/CANFD进行传输,控制器内部的模块(包括应用层、中间层)之间的通信,则主要通过进程间通信方式(IPC)实现。为了实现数据的统一记录,如图2所示,提出了一种新的数据记录方案,其中,假设数据记录进程在车载控制器一(该进程也可在单独一个芯片中)中,adr即数据记录进程,全称automobie data recoder。车载控制器一的inter layer接收来自车载控制器二的CAN/CANFD数据,接收完成后,通过IPC(interprocess communication)传输到adr,对于车载控制器一内部模块需要记录的数据,也通过IPC传递给adr,adr将数据转换为特定格式的内容,存到emmc/flash类硬件存储设备中。
由于车载控制器一内的模块的需要记录的数据无固定格式,而来自于外部的CAN/CANFD数据具备基本的CANid+CANdata的格式,结构如下:
Struct can_data
{
Can_Id_Type_Def canid;
Data_Len_Def dlc;
Can_Data_Type_Def candata[n];
};
若是CAN数据,n取8,若是CANFD数据,n取64。
为了解决数据格式不统一会导致解析方法多样化,不利数据被快速分析处理的问题,adr与inter layer之间的通信(IPC3)数据格式,做以下要求:
Typedef struct Adr_Data_Form
{
Time_t timestamp;
Can_Id_Type_Def canid;
Data_Len_Def dlc;
Can_Data_Type_Def candata[n];
};
对module1,module2的重要数据,也封装成CAN/CANFD的格式,同时,为保证数据的时间可追溯性,增加帧时间戳timestamp,以便数据存入flash之后后续解读时转换为常见asc格式数据用。
确定好通信方式后,还需要解决数据的存储格式统一的问题。目前主流的CAN数据存储格式为asc,但asc格式需要格式化字符输出到文件中,会导致写入emmc介质的速率较慢,且CPU占用率高,因此以二进制的形式保留原数据,待后续要用到数据的时候,通过上位机将二进制转换为asc格式即可。
以车内43个CANFD总线信号与19个内部信号ID为例,如图2所示,43个CANFD总线信号来自车载控制器二,通过数据记录进程adr所在的车载控制器一的应用层,传输给adr。车载控制器一的内部信号,封装成19个CANFD报文,转发给adr。Adr接收到这62个id的数据后,先在车载控制器一种开辟缓存区,将数据缓存起来,避免直接写入flash导致flash跨书存满后不断地擦写,最终影响到flash寿命。
当数据缓存一定时间或有某个因素触发后,将缓存区数据以二进制的形式,成块地写入flash;保存为文件的格式,文件的命名以时间命名,以便使用时快速定位数据的时间范围,二进制格式与Adr_Data_Form保持一致,以该格式二进制数据块往emmc写入数据,根据实测,写入速率及存储空间占用如下表所示
从上表可知,写入的速率增加,存储空间占用节省了一倍多。
该二进制格式的数据要转换成asc格式数据时,先提取第一帧数据时间,转换为指定格式时间,获得asc格式的文件头,asc文件头格式如下表所示:
然后将数据部分,按asc数据格式依次提取即可,asc数据格式如下表:
二进制数据转换为asc文件格式之后,即可用can软件工具对数据进行分析。图4为asc文件实例。
如图3所示,数据记录进程(adr)启动,接收数据,然后关键数据过滤,将需要记录的数据过滤出来,然后进行数据缓存,在控制器内或者单独的芯片中开辟一个较大的缓存区,将数据存起来,避免直接写入flash,当数据缓存一定时间或有某个因素触发后(数据事件性存储),将缓存区数据以二进制的形式成块地写入flash,下面进行数据读出及格式转换,该二进制格式书要转换成asc格式数据时,首先提取第一帧数据时间,转换为指定格式时间,获得asc格式的文件头,然后提取数据部分,按asc数据格式依次提取即可,二进制数据转换为asc文件格式之后,即可使用通用的can软件工具对数据进行分析。
Claims (6)
1.一种用于自动驾驶的车内数据记录方法,其特征在于,包括:
步骤一,车载控制器二通过CAN/CANFD的通信方式将数据传输给车载控制器一的中间层,所述中间层将所述数据通过IPC的通信方式传输给数据记录进程;
所述车载控制器一内需要记录的数据也通过所述IPC的通信方式传输到所述数据记录进程;
其中,
所述车载控制器一和车载控制器二的数据均封装成CAN/CANFD数据的格式,且增加帧时间戳timestamp;
步骤二,将所述数据记录进程接收到的数据缓存于缓存区;
步骤三,响应于超过数据缓存时间阈值或者触发因素,将所述缓存区的数据以二进制的形式成块地写入硬件存储设备中。
2.根据权利要求1所述的自动驾驶的车内数据记录方法,其特征在于,将所述缓存区的数据以文件的格式保存于所述硬件存储设备中,所述文件以时间命名。
3.根据权利要求1所述的自动驾驶的车内数据记录方法,其特征在于,所述硬件存储设备为emmc/flash类硬件存储设备。
4.根据权利要求1所述的自动驾驶的车内数据记录方法,其特征在于,所述数据记录进程设在所述控制器一中。
5.根据权利要求1所述的自动驾驶的车内数据记录方法,其特征在于,所述数据记录进程设在独立的芯片中。
6.一种用于自动驾驶的车内记录数据的提取方法,其特征在于,
将存储在硬件存储设备中的二进制形式的数据转换为asc格式数据:提取第一帧数据时间,转换为指定格式时间,获得asc格式的文件头;提取数据部分:按asc数据格式依次提取;
通过can软件工具分析asc格式数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110311538.4A CN113067762A (zh) | 2021-03-24 | 2021-03-24 | 一种用于自动驾驶的车内数据记录及记录数据的提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110311538.4A CN113067762A (zh) | 2021-03-24 | 2021-03-24 | 一种用于自动驾驶的车内数据记录及记录数据的提取方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113067762A true CN113067762A (zh) | 2021-07-02 |
Family
ID=76561573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110311538.4A Pending CN113067762A (zh) | 2021-03-24 | 2021-03-24 | 一种用于自动驾驶的车内数据记录及记录数据的提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113067762A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1661349A (zh) * | 2004-02-27 | 2005-08-31 | 富士重工业株式会社 | 数据记录装置及数据记录方法 |
JP2007281648A (ja) * | 2006-04-04 | 2007-10-25 | Nissan Motor Co Ltd | 車載データレコーダおよびデータ記録方法 |
CN201210306Y (zh) * | 2007-12-25 | 2009-03-18 | 上海英卡汽车技术有限公司 | 具备数据记录功能的电动车液晶仪表 |
CN102354277A (zh) * | 2011-09-20 | 2012-02-15 | 中国民生银行股份有限公司 | 数据存储方法和装置 |
CN102568054A (zh) * | 2010-11-10 | 2012-07-11 | 富士通天株式会社 | 信息记录装置 |
CN103325155A (zh) * | 2013-03-28 | 2013-09-25 | 朱银娟 | 基于can总线的高效数据记录方法 |
CN103679850A (zh) * | 2013-12-18 | 2014-03-26 | 北京航天测控技术有限公司 | 一种总线记录仪 |
CN204010058U (zh) * | 2014-06-17 | 2014-12-10 | 比亚迪股份有限公司 | 车辆数据记录仪、车辆数据记录系统以及具有其的汽车 |
CN109947371A (zh) * | 2019-03-27 | 2019-06-28 | 北京经纬恒润科技有限公司 | 数据记录方法、装置、存储器及t-box |
CN111145387A (zh) * | 2019-12-26 | 2020-05-12 | 高田汽车电子(上海)有限公司 | 一种用于车辆碰撞数据记录和提取的装置及方法 |
CN112327799A (zh) * | 2020-10-26 | 2021-02-05 | 中车唐山机车车辆有限公司 | 列车网络控制器及系统 |
-
2021
- 2021-03-24 CN CN202110311538.4A patent/CN113067762A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1661349A (zh) * | 2004-02-27 | 2005-08-31 | 富士重工业株式会社 | 数据记录装置及数据记录方法 |
JP2007281648A (ja) * | 2006-04-04 | 2007-10-25 | Nissan Motor Co Ltd | 車載データレコーダおよびデータ記録方法 |
CN201210306Y (zh) * | 2007-12-25 | 2009-03-18 | 上海英卡汽车技术有限公司 | 具备数据记录功能的电动车液晶仪表 |
CN102568054A (zh) * | 2010-11-10 | 2012-07-11 | 富士通天株式会社 | 信息记录装置 |
CN102354277A (zh) * | 2011-09-20 | 2012-02-15 | 中国民生银行股份有限公司 | 数据存储方法和装置 |
CN103325155A (zh) * | 2013-03-28 | 2013-09-25 | 朱银娟 | 基于can总线的高效数据记录方法 |
CN103679850A (zh) * | 2013-12-18 | 2014-03-26 | 北京航天测控技术有限公司 | 一种总线记录仪 |
CN204010058U (zh) * | 2014-06-17 | 2014-12-10 | 比亚迪股份有限公司 | 车辆数据记录仪、车辆数据记录系统以及具有其的汽车 |
CN109947371A (zh) * | 2019-03-27 | 2019-06-28 | 北京经纬恒润科技有限公司 | 数据记录方法、装置、存储器及t-box |
CN111145387A (zh) * | 2019-12-26 | 2020-05-12 | 高田汽车电子(上海)有限公司 | 一种用于车辆碰撞数据记录和提取的装置及方法 |
CN112327799A (zh) * | 2020-10-26 | 2021-02-05 | 中车唐山机车车辆有限公司 | 列车网络控制器及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7685392B2 (en) | Providing indeterminate read data latency in a memory system | |
CN103219030B (zh) | 一种车载视频与总线数据同步采集及回放的方法 | |
CN113176771B (zh) | 车辆域控制器运行状态监控方法 | |
CN202486860U (zh) | 汽车行驶状态及环境影像记录装置 | |
CN113377815B (zh) | 一种面向实时数据库的写快照断点续传的方法 | |
CN105872428A (zh) | 视频数据保护方法及装置 | |
CN101604461A (zh) | 一种基于视频采集及处理技术的车辆行驶安全数据记录系统 | |
CN113485881A (zh) | 一种临时限速服务器的测试方法、装置、电子设备及介质 | |
CN1831938B (zh) | 应用于铁道机车的语音录音方法及装置 | |
CN201910080U (zh) | 一种铁路列车动态数据采集系统 | |
CN113067762A (zh) | 一种用于自动驾驶的车内数据记录及记录数据的提取方法 | |
CN113037750B (zh) | 一种车辆检测数据增强训练方法、系统、车辆及存储介质 | |
CN2867449Y (zh) | 应用于铁道机车的语音录音装置 | |
CN1889082A (zh) | 一种车辆行驶记录仪管理数据的方法 | |
CN103810769A (zh) | 基于hdlc的数据记录仪和记录方法 | |
CN203177980U (zh) | 一种车辆制动鼓温度监测装置 | |
CN112346969B (zh) | 一种基于数据采集平台的aeb开发验证系统及方法 | |
CN112631809B (zh) | 一种基于fpga的周期消息接收缓存方法 | |
JP2008131797A (ja) | 鉄道車両用運転操作記録装置 | |
CN115145241A (zh) | 一种基于soa服务的车端can节点的远程诊断方法及存储介质 | |
CN113282040A (zh) | 减少整车网关转发丢帧的方法及装置 | |
CN113359841A (zh) | 无人机异构载荷设备统一驱动模型 | |
KR100977314B1 (ko) | 네트워크 데이터 관리 장치 및 관리 방법 | |
CN101568120A (zh) | Gprs盲区补偿的方法 | |
CN112000000A (zh) | 智能驾驶汽车中央多重冗余控制网关 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210702 |
|
RJ01 | Rejection of invention patent application after publication |