CN109816811B

CN109816811B - 一种自然驾驶数据采集装置

Info

Publication number: CN109816811B
Application number: CN201811286259.1A
Authority: CN
Inventors: 陈群; 李巍; 卢朝洪; 董小飞; 于峰
Original assignee: Hangzhou Yodosmart Automobile Technology Co ltd
Current assignee: Hangzhou Yodosmart Automobile Technology Co ltd
Priority date: 2018-10-31
Filing date: 2018-10-31
Publication date: 2021-03-30
Anticipated expiration: 2038-10-31
Also published as: CN109816811A

Abstract

本发明涉及智能网联场景数据采集领域，尤其涉及一种自然驾驶数据采集装置，包括：使用智能摄像头和车载智能终端，来实现车外场景视频数据，本车的速度、加速度、航向、行驶路径定位数据、采集的时间、CAN信号数据的采集；同时实现对目标车的速度、相对距离、碰撞时间，以及环境数据的采集；使用智能筛选终端来筛选、提取数据采集设备所产生的数据，结合采集计划和样本筛选策略获取危险工况、事故情况等有代表性工况的数据，进行打包上传到云端，通过服务器实现样本数据的存储；使用自然驾驶采集软件实现采集计划、筛选策略的控制，以及样本数据的管理、统计分析、真值标注展示、数据共享等。

Description

一种自然驾驶数据采集装置

技术领域

本发明属于智能网联汽车评测中，场景数据采集的技术领域，具体涉及一种自然驾驶数据采集装置。

背景技术

在当前，行业内缺乏真实的、边界数据来支撑对智能产品的客观评价测试，严重影响智能产品相关标准的建立，以及用户对产品的接受程度；同时智能网联技术的研发，也面临着缺乏以庞大的数据为支撑，尤其是缺乏边界数据的输入，不利于产品性能的提高。

发明内容

本发明的目的在于提供一种自然驾驶数据采集装置，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种自然驾驶数据采集装置,其特征在于，包括：场景数据采集设备、车载数据采集设备、车载智能筛选设备、云服务器、自然驾驶场景采集系统，其中：

所述场景数据采集设备，包括智能摄像头，所述智能摄像头完成输出场景的视频数据流、对场景目标的探测数据；

所述车载数据采集设备，包括车载智能终端；

所述车载智能筛选设备，包括车载智能筛选终端，实现数据的融合和筛选，实现智能摄像头和车载智能终端数据的接入，并根据采集计划和筛选策略，对这两个设备的数据进行同步、打包，筛选出危险工况情况或事故情况的数据，形成样本数据；

所述云服务器用来存储车载智能筛选设备上传的样本数据；

所述自然驾驶场景采集系统，通过与云服务器建立通讯下载样本数据，并以视频、曲线、图表、地图中任一形式，对采集的数据进行查看、回放、分析，实现数据的标注和可视化分析，对数据实现统计。

作为本发明的一种优选技术方案，所述样本数据包括跟车数据、超车数据；变道数据、危险碰撞数据，

算法具体步骤如下：

步骤一、数据重组，将智能摄像头输出的目标车速度、两车相对距离、碰撞时间、车道线位置，车载智能终端输出的车辆的速度、加速度、航向角、行驶路径定位数据、采集的时间、CAN信号数据，根据时间戳进行组合重组，形成DataPart{FileName,Time,Speed,AheadSpeed,AheadDistance,THW,TTC,LeftTurnSigna,RightTurnSigna,BrakeSigna,LeftDis,RightDis,Accelerometer.X,Accelerometer.Y,Accelerometer.Z,Gyroscope.X,Gyroscope.Y,Gyroscope.Z,DriveAngle,GpsLongitude,GpsLatitude}的数据排布序列，以及视频序列，为后续的算法分析提供数据来源；

步骤二、跟车算法分析，结合本车与左右车道线的距离LeftDis、RightDis，车时距THW、本车行驶的航向角DriveAngle参数进行判断，判定车辆在本车道内跟车行驶，具体如下：

若满足以上条件，则表示处理跟车状态；

步骤三、超车算法分析，结合角加速度Gyroscope.z,前方车辆检测算法进行分析处理；在检测到前方车辆时，对前方车辆进行跟踪记录；变道起点记录，通过对角加速度累计

当angel＞α(α可以设置)，若成立则记录Gyroscope.z₀为变道起点；变道结束点记录，再通过对角加速度的累计

当angel＜-α(α可以设置)，若成立则记录Gyroscope.z_n为变道结束点；记录相应的记录信息；

步骤四、变道算法分析Lane_Change(LeftDis,RightDis,Angle)，若检测到车道线信息时，直接利用LeftDis和RightDis的值进行判别，LeftDis<0，表示向左偏离；RightDis<0，表示向右偏离；若没检测到车道线信息时，结合车载智能终端中蛇螺仪数据，根据行驶方向上的角加速度Gyroscope.z、Speed变化来计算偏离距离，

当L_x＞sdi(dis可以设置)时，表示变道并记录视频信息；

步骤五、目标车插入算法分析，通过视频图像分析，提取出前方车辆的位置坐标carPixel(w_i,h_i)，结合路面坐标与图像坐标的变换矩阵，获取相对于路面的坐标，形成运动轨迹序列carRoad(x_i,y_i)；同时通过车道线提取算法提供出车偏线的位置坐标Left_LanePixel(w_i,h_i)和Right_LanePixel(w_i,h_i)及对应的路面坐标Left_LaneRoad(x_i,y_i)和Right_LaneRoad(x_i,y_i)；判断方式如下：

记录i点所对应的时刻为车辆切入点，并以此记录视频信息；

步骤六、碰撞危险算法分析：通过TTC和加速度a来实现区分；碰撞剧烈程度可分为以下3个等级：a＝[3.6,5.3)m/s2，或者TTC＝[1.5,2.7]s为轻度状态；a＝[5.3,7.0)m/s2，或者TTC＝[0.66,1.5)s为中度状态；a>＝7.0m/s2，或者TTC<＝0.4s为紧急状态，其中每个状态所对应的加速度a和TTC的值可以进行设置调整。

作为本发明的一种优选技术方案，所述场景目标的探测数据包括目标车的速度、两车相对距离、碰撞时间、车道线位置,所述车载智能终端完成对车辆的速度、加速度、航向角、行驶路径定位数据、采集的时间、CAN信号数据的采集。

作为本发明的一种优选技术方案，还可进行远程控制操作，包括发布采集计划，远程更新所述智能筛选端上的筛选策略。

根据上述的一种自然驾驶数据采集装置，所述云服务器与开放的网络接口无线连接，实现样本数据的共享。

作为本发明的一种优选技术方案，还可以根据实际需求，扩展激光雷达、毫米波雷达、超声波雷达、V2X模块的接入，所述车载智能筛选终端还能支持雷达传感器、V2X模块、高精度地图的接入，可形成数据类型的扩展。

作为本发明的一种优选技术方案，所述自然驾驶场景采集系统包含了PC端软件和移动端软件，用于场外调试测试和室内管理、统计、分析；

作为本发明的一种优选技术方案，所述云服务器按照树状结构对样本数据进行分类存储，根据样本类型、各采集设备的原始数据包、时间戳、场景真值数据标注包、场景说明序列进行存储。

作为本发明的一种优选技术方案，所述自然驾驶场景采集系统对数据实现统计，可以按采集车辆形式，也可以按照样本类型、天气、路段形式进行统计，如：采集的总里程数、覆盖范围、采集的时间段分布。

与现有技术相比，本发明的效益在于：一、通过自然驾驶的方式，来达到对实际危险工况、事故情况等有代表性工况的数据采集；二、采集的数据，包含了本车辆的数据、以及本车辆与环境之间的真实数据，有效的解决样本数据缺乏真值参考的情况；三、通过对采集的数据进行统计分析，可提炼出测试用例，用于客观评价智能网联的相关产品；四、采集的数据能用于智能网联相关的产品，包含智能驾驶、无人驾驶的研发数据输入；五、采集的数据类型，可随着行业技术的发展和需求，可进行数据类型的扩展。

附图说明

图1是本发明的自然驾驶场景采集框图；

图2是本发明的自然驾驶场景采集流程图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供一种自然驾驶数据采集装置,包括：场景数据采集设备、车载数据采集设备、车载智能筛选设备、云服务器、自然驾驶场景采集系统，其中：

场景数据采集设备，包括智能摄像头，智能摄像头完成输出场景的视频数据流、对场景目标的探测数据；

车载数据采集设备，包括车载智能终端；

车载智能筛选设备，包括车载智能筛选终端，实现数据的融合和筛选，实现智能摄像头和车载智能终端数据的接入，并根据采集计划和筛选策略，对这两个设备的数据进行同步、打包，筛选出危险工况情况或事故情况的数据，形成样本数据；

云服务器用来存储车载智能筛选设备上传的样本数据；

自然驾驶场景采集系统，通过与云服务器建立通讯下载样本数据，并以视频、图表、地图中任一形式，对采集的数据进行查看、回放、分析，实现数据的标注和可视化分析，对数据实现统计。其中，图表可为曲线图。

样本数据包括跟车数据、超车数据、变道数据、危险碰撞数据。

工作原理：步骤1-设备安装：

1.将智能摄像头设备安装在车辆前挡风玻璃上，对于小轿车安装在前挡风玻璃的上方内后视镜的后方，对于大客车或大货车安装在前挡风玻璃的下方，以保证安装的高度在[1.0,2.5]米之间，允许在前挡风玻璃中间偏离[-0.2,0.2]米。

2.将车载智能终端和智能筛选终端安装在车内，小轿车安装在后备箱处，对于大客车或大货车，安装在司机驾驶座下方，并用支架固定；

3.设备布线，将智能摄像头和车载智能的数据输出，分别与智能筛选终端的视频接口、RS232接口对接；所有设备接入车辆ACC，作为设备的供电输入。

步骤2-系统工作：

1.设备在车辆打火启动后，设备自动运行。在接收到数据后，通过时间戳来同步智能摄像头和车载智能终端的数据，对视频图像进行编码压缩存储。同时，根据采集任务，自动提取有效数据、并将打包好的数据自动上传到服务器；

2.数据样本的筛选，包括了对跟车、超车、变道、目标车插入、危险碰撞工况的筛选。提取的场景工况，可应用于LDW/LKA/FCW/AEB/ACC功能的评价。算法具体步骤如下：

3.数据重组，将智能摄像头输出的目标车速度、两车相对距离、碰撞时间、车道线位置，车载智能终端输出的车辆的速度、加速度、航向角、行驶路径定位数据、采集的时间、CAN信号数据，根据时间戳进行组合重组，形成DataPart{FileName,Time,Speed,AheadSpeed,AheadDistance,THW,TTC,LeftTurnSigna,RightTurnSigna,BrakeSigna,LeftDis,RightDis,Accelerometer.X,Accelerometer.Y,Accelerometer.Z,Gyroscope.X,Gyroscope.Y,Gyroscope.Z,DriveAngle,GpsLongitude,GpsLatitude}的数据排布序列，以及视频序列，为后续的算法分析提供数据来源；其中，FileName为文件名称，Time为时间戳，Speed为速度，AheadSpeed为前车速度，AheadDistance为与前车距离，THW为车头时距，TTC为碰撞时间，LeftTurnSigna为左转信号，RightTurnSigna为右转信号，BrakeSigna为刹车信号，LeftDis为本车与左车道线距离，RightDis为本车与右车道线距离，Accelerometer.X为X方向加速度，Accelerometer.Y为Y方向加速度，Accelerometer.Z为Z方向加速度，Gyroscope.X为X方向角加速度，Gyroscope.Y为Y方向角加速度，Gyroscope.Z为Z方向角加速度，DriveAngle为本车行驶的航向角，GpsLongitude为Gps经度，GpsLatitude为Gps纬度；

4.跟车算法分析，结合本车与左右车道线的距离LeftDis、RightDis，车时距THW、本车行驶的航向角DriveAngle参数进行判断，判定车辆在本车道内跟车行驶，具体如下：

若满足以上条件，则表示处理跟车状态；

5.超车算法分析，结合角加速度yroscope.Z，前方车辆检测算法进行分析处理。在检测到前方车辆时，对前方车辆进行跟踪记录；变道起点记录，通过对角加速度累计

当angel＜-α(α可以设置)，若成立则记录Gyroscope.Z_n为变道结束点；记录相应的记录信息。

6.变道算法分析Lane_Change(LeftDis,RightDis,Angle)，若检测到车道线信息时，直接利用LeftDis和RightDis的值进行判别，LeftDis<0，表示向左偏离；RightDis<0，表示向右偏离；若没检测到车道线信息时，结合车载智能终端中蛇螺仪数据，根据行驶方向上的角加速度Gyroscope.z、Speed变化来计算偏离距离，

当L_x＞dis(dis可以设置)时，其中，dis为设置距离值，表示变道并记录视频信息。

7.目标车插入算法分析，通过视频图像分析，提取出前方车辆的位置坐标carPixel(w_i,h_i)，结合路面坐标与图像坐标的变换矩阵，获取相对于路面的坐标，形成运动轨迹序列carRoad(x_i,y_i)；同时通过车道线提取算法提供出车偏线的位置坐标Left_LanePixel(w_i,h_i)和Right_LanePixel(w_i,h_i)及对应的路面坐标Left_LaneRoad(x_i,y_i)和Right_LaneRoad(x_i,y_i)。判断方式如下：

记录i点所对应的时刻为车辆切入点，并以此记录视频信息。

8.碰撞危险算法分析：通过TTC和加速度a来实现区分。碰撞剧烈程度可分为以下3个等级：a＝[3.6,5.3)m/s2，或者TTC＝[1.5,2.7]s为轻度状态；a＝[5.3,7.0)m/s2，或者TTC＝[0.66,1.5)s为中度状态；a>＝7.0m/s2，或者TTC<＝0.4s为紧急状态，其中每个状态所对应的加速度a和TTC的值可以进行设置调整。

自然驾驶场景采集系统软件，通过与服务器建立通讯下载样本数据，并以视频、曲线、图表、地图形式，对数据进行查看、回放、分析所采集的数据，实现数据的标注和可视化分析；对数据实现统计，可以按采集车辆形式，也可以按照样本类型、天气、路段形式进行统计，如采集的总里程数、覆盖范围、采集的时间段分布；可进行远程控制操作，包括发布采集计划，远程更新智能筛选端上的筛选策略。对采集到的样本数据进行归纳，提取出能适用于智能网联测试的用例，服务于客观评测；另外，通过开放的网络接口，实现样本数据的共享，服务于研发。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种自然驾驶数据采集装置，其特征在于，包括：场景数据采集设备、车载数据采集设备、车载智能筛选设备、云服务器、自然驾驶场景采集系统，其中：

所述车载数据采集设备，包括车载智能终端；

所述云服务器用来存储车载智能筛选设备上传的样本数据；

所述自然驾驶场景采集系统，通过与云服务器建立通讯下载样本数据，并以视频、图表、地图中任一形式，对采集的数据进行查看、回放、分析，实现数据的标注和可视化分析，对数据实现统计；

其中，所述样本数据包括跟车数据、超车数据、变道数据、危险碰撞数据，

样本数据的算法具体步骤如下：

步骤一、数据重组，将智能摄像头输出的目标车速度、两车相对距离、碰撞时间、车道线位置，车载智能终端输出的车辆的速度、加速度、航向角、行驶路径定位数据、采集的时间、CAN信号数据，根据时间戳进行组合重组，形成DataPart{FileName,Time,Speed,AheadSpeed,AheadDistance,THW,TTC,LeftTurnSigna,RightTurnSigna,BrakeSigna,LeftDis,RightDis,Accelerometer.X,Accelerometer.Y,Accelerometer.Z,Gyroscope.X,Gyroscope.Y,Gyroscope.Z,DriveAngle,GpsLongitude,GpsLatitude}的数据排布序列，以及视频序列，为后续的算法分析提供数据来源，其中，AheadSpeed为前车速度，AheadDistance为与前车距离，TTC为碰撞时间；

若满足以上条件，则表示处理跟车状态；

步骤三、超车算法分析，结合角加速度Gyroscope.Z,前方车辆检测算法进行分析处理，在检测到前方车辆时，对前方车辆进行跟踪记录；变道起点记录，通过对角加速度累计

当angel＞α，其中，α为设置角度值，若成立则记录Gyroscope.Z₀为变道起点；变道结束点记录，再通过对角加速度的累计

当angel＜-α，若成立则记录Gyroscope.Z_n为变道结束点，记录相应的记录信息；

当L_x＞dis时，其中，dis为设置距离值，表示变道并记录视频信息；

记录i点所对应的时刻为车辆切入点，并以此记录视频信息；

步骤六、碰撞危险算法分析：通过TTC和加速度a来实现区分；碰撞剧烈程度可分为以下3个等级：a＝[3.6,5.3)m/s2，或者TTC＝[1.5,2.7]s为轻度状态；a＝[5.3,7.0)m/s2，或者TTC＝[0.66,1.5)s为中度状态；a>＝7.0m/s2，或者TTC<＝0.4s为紧急状态。

2.根据权利要求1所述的一种自然驾驶数据采集装置，其特征在于：所述场景目标的探测数据包括目标车的速度、两车相对距离、碰撞时间、车道线位置,所述车载智能终端完成对车辆的速度、加速度、航向角、行驶路径定位数据、采集的时间、CAN信号数据的采集。

3.根据权利要求1所述的一种自然驾驶数据采集装置，其特征在于，所述自然驾驶场景采集系统还进行远程控制操作，包括发布采集计划，远程更新所述智能筛选端上的筛选策略。

4.根据权利要求1所述的一种自然驾驶数据采集装置，其特征在于：所述云服务器与开放的网络接口无线连接，实现样本数据的共享。

5.根据权利要求1所述的一种自然驾驶数据采集装置，其特征在于，所述自然驾驶场景采集系统根据实际需求，扩展激光雷达、毫米波雷达、超声波雷达、V2X模块的接入，所述车载智能筛选终端支持雷达传感器、V2X模块、高精度地图的接入，可形成数据类型的扩展。

6.根据权利要求1所述的一种自然驾驶数据采集装置，其特征在于：所述自然驾驶场景采集系统包含了PC端软件和移动端软件，用于场外调试测试和室内管理、统计、分析。

7.根据权利要求1所述的一种自然驾驶数据采集装置，其特征在于：所述云服务器按照树状结构对样本数据进行分类存储，根据样本类型、各采集设备的原始数据包、时间戳、场景真值数据标注包、场景说明序列进行存储。

8.根据权利要求1所述的一种自然驾驶数据采集装置，其特征在于：所述自然驾驶场景采集系统对数据实现统计，包括按采集车辆形式进行统计，或者按照样本类型、天气、路段形式进行统计。