CN105711597A - 前方局部行驶环境感知系统及方法 - Google Patents

前方局部行驶环境感知系统及方法 Download PDF

Info

Publication number
CN105711597A
CN105711597A CN201610104851.XA CN201610104851A CN105711597A CN 105711597 A CN105711597 A CN 105711597A CN 201610104851 A CN201610104851 A CN 201610104851A CN 105711597 A CN105711597 A CN 105711597A
Authority
CN
China
Prior art keywords
data
car
information
laser radar
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610104851.XA
Other languages
English (en)
Other versions
CN105711597B (zh
Inventor
梁军
高翔
马世典
张飞云
陈小波
陈龙
周卫琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weichai Yangzhou Special Vehicle Co Ltd
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201610104851.XA priority Critical patent/CN105711597B/zh
Publication of CN105711597A publication Critical patent/CN105711597A/zh
Application granted granted Critical
Publication of CN105711597B publication Critical patent/CN105711597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种前方局部行驶环境感知系统及方法，包括前端数据采集系统、后台服务器数据处理系统，前端数据采集系统包括车载摄像头、激光雷达以及车辆内部感知设备。摄像头用来感知行车前方的行人、车道线；激光雷达用于感知、提取前方车辆等障碍物信息；车辆内部感知设备用来获取车辆本身运行状态参数。通过定义MyProtocolCarData、MyProtocolCameraData和MyProtocolUrgData三个数据传输类型，统一数据格式编码，将摄像头信息数据、激光雷达信息数据和车内部信息数据发送至后台服务器进行解码，将三种传感器数据融合成一帧完整的局部交通环境信息保存于数据存储系统，并提供前方局部行驶环境数据的分析和可视化功能。对前方局部行驶环境实时、高效的感知，降低追尾事故、提高行车安全。

Description

前方局部行驶环境感知系统及方法
技术领域
本发明涉及行车环境感知技术领域，尤其是一种前方局部行驶环境感知系统及方法。
背景技术
当前借助自动控制、人工智能、计算机视觉等技术，智能车实现信息采集、数据处理、数据融合，实现自主超车、避障、识别交通标志、车道线以及自主泊车等功能。对前方局部行驶环境实时、高效的感知，是实现安全驾驶辅助系统的重要组成部分，是降低追尾事故、提高行车安全的根本保障。武汉大学与奇瑞合作开发的无人驾驶车“smartV”，该车上搭载了电子罗盘、激光扫描仪以及摄像头等多种传感设备，并自主改造了油门、刹车、方向盘和档位，最后利用车载计算机完成车辆控制与数据汇总，可以实现跟车、直行、转弯、识别交通指示牌、自动泊车等功能。法国INRIA研制的Cycab无人驾驶汽车，可以根据规划的路线自动驾驶，激光雷达实现了智能避障，双目摄像头保证了车辆按照路标行驶，同时每一辆无人驾驶车都能通过车-车无线通信实现信息共享。但是这些智能车不仅成本极其昂贵，而且不同传感器信息在时间和空间上存在差异。
本专利提出一种融合摄像头、激光雷达以及车辆内部感知设备来共同实现对前方局部行驶环境感知的系统及方法。选用激光雷达、摄像头以及无线通讯等多种传感器采集局部交通数据，引入多传感器融合技术，避免单一传感器的信息盲区，提高了多源信息处理结果的质量，有利于对事物的判断和决策。在融合算法的实现过程中，将零散的多源碎片信息整合成为一帧紧密关联的信息数据，并产生可视化的数据实时显示。
发明内容
针对现有技术中存在不足，本发明通过简易的摄像头、激光雷达以及车辆内部感知设备，来共同实现对前方局部行驶环境感知，起到降低成本、维护简单、可视化实时显示。
本发明是通过以下技术手段实现上述技术目的的。
前方局部行驶环境感知系统，其特征在于，包括前端数据采集系统(Front-endDataAcquisitionSystem，FEDAS)、后台服务器数据处理系统(BackgroundServiceDataProcessingSystem，BSDPS)，前端数据采集系统包括车载摄像头、激光雷达、车辆内部感知设备、编码器和数据发送模块，后台服务器数据处理系统包括数据接收模块、数据存储系统、解码器、融合器和显示器；所述摄像头内集成有图像处理模块，主要用来采集行车前方的行人、车道线视频，并对每一帧图像数据进行行人检测处理；激光雷达主要用于扫描行车正前方200米范围内的障碍物信息、并对获得的连续多帧数据进行目标信息提取；车辆内部感知设备主要用来获取当前状态信息和自身属性信息；编码器用于定义车载摄像头、激光雷达、车辆内部感知设备采集的数据的MyProtocolCarData、MyProtocolCameraData和MyProtocolUrgData三个数据传输类型，并对三种数据进行统一编码格式编码；所述数据发送模块、数据接收模块用于前端数据采集系统与后台服务器数据处理系统之间的数据传输；所述数据存储系统用于数据存储，所述解码器用于对后台服务器数据处理系统接收的数据进行解码；所述融合器用于将解码后的数据进行融合形成一帧完整的局部交通环境信息；所述显示器用于局部交通环境信息的显示。
前方局部行驶环境感知方法，其特征在于，包括以下步骤：
(1)前端数据采集系统采集数据：车载摄像头实时采集行车前方的行人、车道线的视频信息，并对每一帧图像数据进行行人检测处理；激光雷达实时扫描行车正前方200米范围内的障碍物信息，并对获得的连续多帧数据进行目标信息提取，包括计算目标障碍物的速度矢量、移动方向、物体宽度以及距离；车辆内部感知设备实时获取当前状态信息和自身属性信息；
(2)统一编码，定义传输协议：对车载摄像头、激光雷达、车辆内部感知设备采集的数据定义MyProtocolCarData、MyProtocolCameraData和MyProtocolUrgData三个数据传输类型，统一数据格式编码；
(3)将数据通过前端数据采集系统的数据发送模块以及后台服务器数据处理系统的数据接收模块实时传输至后台服务器数据处理系统，并存储于数据存储系统中；
(4)后台服务器数据处理系统实时接收来自不同车辆的数据，并统一来自各个车载摄像头、激光雷达、车辆内部感知设备的数据包的时间信息，修正与时间相关的距离信息；
(5)完成激光雷达的检测目标与摄像头识别目标的融合，将完全融合的一帧基于时间戳的局部交通信息发送至显示器进行显示，并发送至数据存储系统中保存。
进一步地，所述步骤(1)中，车载摄像头采用V4L2方式和内存映射方式(MMAP)采集视频数据，根据V4L2接口采集视频数据的步骤，将视频采集过程分为七个函数实现：
open_device()：通过阻塞的方式打开设备；
init_device()：初始化设备，包括设置数据帧格式、申请视频数据缓冲区和完成内核空间到应用程序空间的映射；
start_capturing()：申请的帧缓冲全部放入视频采集输入队列并启动视频采集；
mainloop()：实现循环采集视频数据；
stop_capturing()：停止视频采集；
uninit_device()：释放申请的视频缓冲区；
close_device()：关闭视频设备文件；
车载摄像头中行人识别算法采用伪码描述的行人检测方法，具体如下：
Matsrc＝imread(CAPTURE_FILE)；
HOGDescriptorhog；//特征检测器
hog.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector())；//默认参数设置
vector<Rect>found；//矩形框数组
hog.detectMultiScale(src,found,0,Size(8,8),Size(32,32),1.05,2)；//图像多尺度检测
HOGDescriptor类型变量hog用以保存提取的HOG特征向量，然后调用该描述子setSVMDetector方法，对以HOG特征为基础的SVM分类模型的系数赋值，这里的参数为HOGDescriptor::getDefaultPeopleDetector()时表示采用系统默认的参数；最后调用函数hog.detectMultiScale(src,found,0,Size(8,8),Size(32,32),1.05,2)对src图像变量进行多尺度检测，found变量保存检测到目标区域的列表；参数3为程序计算出的行人目标的阈值，也就是检测到的特征到SVM分类超平面的距离，一般设置为0；参数4为滑动窗口每次移动的距离，该参数数值越大行人检测的精度越大，将其设置为最小值，但必须是块移动的整数倍；参数5为图像扩充的大小；参数6为比例系数一般设置为1.05，即滑动窗口每次增加的比例；参数7为组阈值，即校正系数，为0时表示不起调节作用。
进一步地，所述步骤(1)中，激光雷达采用GDGS-Command的方式获取扫描数据，扫描的方向为逆时针，扫描的范围是以正前方为基准的左120°与右120°的扇面，扫描角度为240°，数据帧包含0～768个测量点的距离长度，获取300～486之间的186个测量点的距离数据；
激光雷达对获得的连续多帧数据进行目标信息提取方法如下：
首先对场景中存在的障碍物进行判断，把扫描得到的距离信息，采用区域分割的方法将前方局部场景分割成不同的区域，如果连续两个扫描点的距离信息小于事先设定好的阈值，就认为这两个扫描点属于同一个区域，反之，数据帧就视为从这个地方开始不再连续，判断场景中障碍物；阈值计算公式如式(1)，
其中threshold为计算出的阈值，单位m，MAXDIS为雷达可测量的最大精确距离，可达到为4000m；
定义了一个结构体Object，用来保存被检测出的物体的各类信息：
structObject
{
floatFirstAng；//逆时针方向第一个点的角度，相对于右侧0度
floatLastAng；//最后一个点的角度
floatShortestAng；//垂直距离最近的那个点的角度
intFirstdis；//第一个点与本车的直线距离
intLastdis；//最后点与本车的直线距离
intShortestdis；//垂直距离最近的点与本车的直线距离
intFirstxu；//第一个点在数组中的序列
intLastxu；//最后一个点在数组中的序列
intShortestxu；//最近点在数组中的序列
doubleShortest_dis；//与自车最近的点的垂直距离
doublewidth；//物体的宽度
doublespeed；//相对于自车的速度，初始为0
doublespeed_；//横向的速度
intObject_points_count；//点的总数
}
利用三角函数和距离公式计算出障碍物的宽度、方位以及速度信息，物体宽度的计算公式为：
障碍物的速度矢量通过比较连续两帧数据的信息来计算，设在pre_stamp时间捕获一帧数据D1，在last_stamp时间捕获第二帧数据D2，若D1和D2中存在一对障碍物object1和object2的宽度数据分别为width1和width2，若满足：
则object1和object2为同一物体，然后利用该物体的位移变化计算出相对自车的纵向速度speed以及横向速度speed_：
进一步地，所述步骤(2)中，三个数据包类型MyProtocolCarData类、MyProtocolCameraData类、MyProtocolUrgData类分别对应车内部信息数据、摄像头信息数据、激光雷达信息数据，三个数据包类型继承了一个共同父类MyProtocol类，MyProtocol类包含了客户端数据包的基本信息，
MyProtocol类：
type：数据包的类型，1代表车辆内部信息，2代表视频信息，3代表激光雷达数据；
mark：发送该数据的车号；
timestamp：发送时间戳；
length：数据包字节长度；
MyProtocolCarData类：
speed：自车的当前速度；
MyProtocolCameraData类：
camera_data：通过行人检测算法检测出的目标的动态数组；
image：一帧图像数据；
CameraData类：
x：目标的横向像素坐标；
w：目标的像素宽度；
y：目标的纵向像素坐标；
h：目标的像素高度；
MyProtocolUrgData类：
urg_data：通过激光雷达目标检测算法检测出的目标的动态数组；
UrgData类：
left_offset：目标的最后一个序列号；
right_offset：目标的第一个序列号；
width：目标的宽度信息；
x_speed：目标的横向速度矢量；
y_speed：目标的纵向速度矢量；
distance：目标距离自车当前的最短距离。
进一步地，所述步骤(4)的具体步骤为：
设收发时延为Δt，纠正后的目标距离信息为distance’，则distance’可以表示为：
其中FirstAng变量描述了目标的方位信息，通过目标偏移量left_offset和right_offset计算；
对FirstAng变量进行纠正，设纠正后的目标方位信息为FirstAng’：
对纠正后的角度信息进行判断，FirstAng≥90°，则FirstAng’≥90°；FirstAng<90°，则FirstAng’<90°。
进一步地，所述步骤(5)中数据融合的具体步骤为：
完成对激光雷达和车载摄像头到车辆坐标系的转化，推导出激光雷达和摄像头坐标系之间的转换关系，
将特定标定板摆放在载体正前方，利用激光雷达采集一次数据，首先确定激光雷达坐标系Curg与车辆坐标系Ccar的转换关系，设激光雷达坐标下有一点Purg＝(xurg,yurg,zurg)T，在车辆坐标系中有对应坐标Pcar＝(xcar,ycar,zcar)T，两者之间的转换关系满足下式：
pcar＝Rurg→car*Purg+Turg→car(10)
其中，Turg→car表示激光雷达的安装位置在车体坐标系中的坐标，通过测量获取；Rurg→car是Curg相对于Ccar的旋转矩阵，依次由绕x轴旋转的俯仰角α和绕z轴旋转的偏转角构成，该矩阵可表示为：
将棋盘格标定板垂直放置在载体正前方的地面，将特定标定板摆放在，利用摄像头采集图像，设摄像头坐标下一点Pcam＝(xcam,ycam,zcam)T，在车辆坐标系中有对应坐标Pcar＝(xcar,ycar,zcar)T，两者之间的转换关系满足下式：
Pcar＝Rcam→car*Pcam+Tcam→car(12)
其中，Tcam→car表示摄像头的安装位置在车体坐标系中的坐标，通过测量获取；Rurg→car是Curg相对于Ccar的旋转矩阵，由旋转矩阵Rpla→car和Rpla→cam组成，Rpla→car表示棋盘格坐标系到车辆坐标系的旋转矩阵，Rpla→cam表示棋盘格坐标系到摄像头坐标系的旋转矩阵；
根据激光雷达到车辆坐标系的转换参数[Rurg→car，Turg→car]和摄像头到车辆坐标系的转换参数[Rurg→car，Turg→car]对两个传感器进行联合标定，获取摄像机和激光雷达坐标系的转换参数；由式(12)推导出式(13)：
把式(10)和式(11)代入式(13)，推导出激光雷达到摄像头坐标系的转换关系：
得到激光雷达到摄像头坐标系的转换参数Rurg→cam和Turg→cam：
通过式(14)可以将摄像头识别出的行人目标的坐标投影到激光雷达的坐标系中，从而在激光雷达的检测目标集合中找到对应目标，实现摄像头数据与激光雷达数据的融合。
本发明中，前端数据采集系统(FEDAS)的采集设备主要是车载摄像头、激光雷达以及车辆内部感知设备组成。车载摄像头主要用来感知行车前方的行人、车道线；激光雷达主要用于感知、提取前方车辆等障碍物信息；车辆内部感知设备主要用来获取车辆本身运行状态参数。通过定义MyProtocolCarData、MyProtocolCameraData和MyProtocolUrgData三个数据传输类型，统一数据格式编码，将车载摄像头信息数据、激光雷达信息数据和车内部信息数据发送至后台服务器数据处理系统(BSDPS)。由BSDPS对接收到的数据进行解码，将三种传感器数据融合成一帧完整的局部交通环境信息保存于数据存储系统(Data-storageSystem，DSS)，并提供前方局部行驶环境数据的分析和可视化功能。
本发明结合多传感器多样性的优点，实现了对智能车交通环境信息的实时采集，将零散的多源碎片信息整合成为一帧紧密关联的信息数据，并产生可视化的数据实时显示，为进一步实现智能车行驶决策提供了支持。
通过采用接收时间戳作为数据帧的时间戳，在进行多传感器数据融合之前统一多种传感器的时间信息，纠正高传输速率下的信息收发时延，实现数据显示的实时性。
附图说明
图1是本发明的系统结构示意图。
图2是本发明的基于V4L2视频采集的工作流程。
图3是本发明的通信协议类图。
图4是本发明的通信协议格式。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
本发明主要是通过结合多传感器多样性的优点，采用接收时间戳作为数据帧的时间戳，在进行多传感器数据融合之前统一多种传感器的时间信息，实现了对智能车交通环境信息的实时采集，将零散的多源碎片信息整合成为一帧紧密关联的信息数据，并通过纠正高传输速率下的信息收发时延，产生可视化的数据实时显示，达到数据显示的实时性要求。
如图1，本发明所述的前方局部行驶环境感知系统，包括前端数据采集系统(FEDAS)、后台服务器数据处理系统(BSDPS)。前端数据采集系统包括车载摄像头、激光雷达、车辆内部感知设备、编码器和数据发送模块，后台服务器数据处理系统包括数据接收模块、数据存储系统、解码器、融合器和显示器。
所述摄像头主要用来感知行车前方的行人、车道线。所述摄像头内集成有图像处理模块，主要用来采集行车前方的行人、车道线视频，并对每一帧图像数据进行行人检测处理。激光雷达主要用于感知、提取前方车辆等障碍物信息；激光雷达用于扫描行车正前方200米范围内的障碍物信息、并对获得的连续多帧数据进行目标信息提取。车辆内部感知设备主要用来获取当前状态信息和自身属性信息；编码器用于定义车载摄像头、激光雷达、车辆内部感知设备采集的数据的MyProtocolCarData、MyProtocolCameraData和MyProtocolUrgData三个数据传输类型，并对三种数据进行统一编码格式编码；所述数据发送模块、数据接收模块用于前端数据采集系统与后台服务器数据处理系统之间的数据传输；所述数据存储系统用于数据存储，所述解码器用于对后台服务器数据处理系统接收的数据进行解码；所述融合器用于将解码后的数据进行融合形成一帧完整的局部交通环境信息；所述显示器用于局部交通环境信息的显示。
编码器将三个数据统一数据格式编码，将摄像头信息数据、激光雷达信息数据和车内部信息数据发送至后台服务器数据处理系统(BSDPS)。由BSDPS对接收到的数据进行解码，将三种传感器数据融合成一帧完整的局部交通环境信息保存于数据存储系统，并提供前方局部行驶环境数据的分析和可视化功能。
在工作过程如下：
1.前端数据采集系统采集数据：车载摄像头不断捕获行车正前方的视频信息，并对每一帧图像数据进行行人等检测处理，最后将处理完的数据发往后台服务器。雷达模块利用激光雷达不断扫描行车正前方200米范围内的障碍物信息，并对获得的连续多帧数据进行目标信息提取，包括计算目标障碍物的速度矢量、移动方向、物体宽度以及距离等信息，最后将处理完的数据发往后台服务器。车辆内部信息模块通过智能车内部的信息采集接口，周期性地向智能车内部控制器发送请求，控制器返回车辆当前的状态信息，最后将车辆的当前状态信息和自身属性信息发往后台服务器。
(1)车载摄像头集成的视频模块与行人识别算法
本发明采用V4L2方式和内存映射方式(MMAP)采集视频数据。根据V4L2接口采集视频数据的步骤，将视频采集过程分为七个函数实现，具体实现和调用的V4L2接口如图2所示。这些函数的功能定义如下：
open_device()：通过阻塞的方式打开设备。
init_device()：初始化设备，包括设置数据帧格式、申请视频数据缓冲区和完成内核空间到应用程序空间的映射。
start_capturing()：申请的帧缓冲全部放入视频采集输入队列并启动视频采集。
mainloop()：实现循环采集视频数据。
stop_capturing()：停止视频采集。
uninit_device()：释放申请的视频缓冲区。
close_device()：关闭视频设备文件。
方向梯度直方图(HistogramofOrientedGradient,HOG)特征是一种在图像处理中用来进行物体检测的特征描述子。通过计算和统计图像局部区域的梯度方向直方图构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。该方法的优点在于首先，由于HOG是在图像的局部方格单元上操作，所以它，这两种形变只会出现在更大的空间领域上。
针对行人大体上保持直立的姿势，以及一些细微的肢体动作可以被忽略而不影响检测效果的特点和要求，本专利设计了如下伪码描述的行人检测。该方法不仅能够对图像几何的形变和光学的形变都能保持很好的不变性，还能较好的适应在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下的行人检测。
Matsrc＝imread(CAPTURE_FILE)；
HOGDescriptorhog；//特征检测器
hog.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector())；//默认参数设置
vector<Rect>found；//矩形框数组
hog.detectMultiScale(src,found,0,Size(8,8),Size(32,32),1.05,2)；//图像多尺度检测
HOGDescriptor类型变量hog用以保存提取的HOG特征向量，然后调用该描述子setSVMDetector方法对HOG特征进行分类的SVM模型的系数赋值，这里的参数为HOGDescriptor::getDefaultPeopleDetector()时表示采用系统默认的参数，这些参数是用很多图片训练而来的。最后调用函数hog.detectMultiScale(src,found,0,Size(8,8),Size(32,32),1.05,2)对src图像变量进行多尺度检测，found变量保存检测到目标区域的列表。参数3为程序内部计算为行人目标的阈值，也就是检测到的特征到SVM分类超平面的距离，一般设置为0；参数4为滑动窗口每次移动的距离，该参数数值越大行人检测的精度越大，由于本系统的实验环境是在非复杂背景下实现行人检测，可以将其设置为最小值，但它必须是块移动的整数倍；参数5为图像扩充的大小；参数6为比例系数一般设置为1.05，即滑动窗口每次增加的比例；参数7为组阈值，即校正系数，当一个目标被多个窗口检测出来时，该参数此时就起了调节作用，为0时表示不起调节作用。
(2)激光雷达模块与障碍物信息提取算法
本发明采用的激光雷达为HOKUYOAUTOMATIC公司的URG-04LX二维激光扫描测距仪。激光雷达通过USB-to-Serial转接线与系统相连，使用SCIP2.0协议传输数据，为了增加数据帧时间间隔的可控性，采用GDGS-Command的方式获取扫描数据。扫描的方向为逆时针，扫描的范围是以正前方为基准的左120°与右120°的扇面，扫描角度为240°。数据帧包含0～768个测量点的距离长度，由于摄像头的广角为60°,激光雷达的实际探测范围只需覆盖其正前方60°的扇面即可，即获取300～486之间的186个测量点的距离数据。获取了雷达的基本距离信息后，系统将对雷达数据进行进一步处理，包括障碍物判断、计算障碍物的宽度信息、速度信息以及运动方向等。首先需要对一个场景中存在的障碍物进行判断，把扫描得到的距离信息，采用区域分割的方法处理，首先将其分割成不同的区域，如果连续两个扫描点的距离信息小于事先设定好的一个阈值，就认为这两个扫描点属于同一个区域。反之，数据帧就视为从这个地方开始不再连续，这样就可以实现在场景中判断障碍物的目的。阈值计算公式如下，其中threshold为计算出的阈值，单位m。MAXDIS为雷达可测量的最大精确距离，可达到为4000m。
如下定义了一个结构体Object，用来保存被检测出的物体的各类信息。
structObject
{
floatFirstAng；//逆时针方向第一个点的角度，相对于右侧0度
floatLastAng；//最后一个点的角度
floatShortestAng；//垂直距离最近的那个点的角度
intFirstdis；//第一个点与本车的直线距离
intLastdis；//最后点与本车的直线距离
intShortestdis；//垂直距离最近的点与本车的直线距离
intFirstxu；//第一个点在数组中的序列
intLastxu；//最后一个点在数组中的序列
intShortestxu；//最近点在数组中的序列
doubleShortest_dis；//与自车最近的点的垂直距离
doublewidth；//物体的宽度
doublespeed；//相对于自车的速度，初始为0
doublespeed_；//横向的速度
intObject_points_count；//点的总数
}
利用三角函数和距离公式计算出障碍物的宽度、方位以及速度信息。物体宽度的计算公式为：
障碍物的速度矢量需要通过比较连续两帧数据的信息来计算，设在pre_stamp时间捕获一帧数据D1，在last_stamp时间捕获第二帧数据D2。若D1和D2中存在一对障碍物object1和object2的宽度数据分别为width1和width2，若满足：
则object1和object2为同一物体。然后利用该物体的位移变化计算出相对自车的纵向速度speed以及横向速度speed_：
(3)车辆内部信息模块
智能车的光电编码器可以计算自车当前速度的信息。首先测出智能车程序中中断时间内的累加脉冲量，然后通过计算单位时间内的编码输出脉冲来计算自车的速度。在程序中，中断时间被设置为0.01s，则可设x为这0.01s的雷达脉冲量。令智能车轮胎齿轮和光电编码器齿轮的传动比为a，轮胎的周长为c，采用的光电编码器为b脉冲/秒，于是速度v为：
传动比a定值0.3421，b为100，轮胎周长c为0.157m，因此可以将智能车的速度公式简化为：
v＝0.0537*x(7)
2.统一编码，定义传输协议：根据传输数据的类型定义三个数据包类型：MyProtocolCarData类、MyProtocolCameraData类和MyProtocolUrgData类，分别对应车内部信息数据、摄像头信息数据、激光雷达信息数据，如图3所示，它们继承了一个共同父类MyProtocol类，MyProtocol类包含了客户端数据包的基本信息，MyProtocolCarData包长度设计为24个字节，含type(4个字节)、mark(4个字节)、timestamp(8个字节)、length(4个字节)、speed(4个字节)共5个特征；MyProtocolCameraData包长度设计为20+n+m，n为camera_data字节数，当k+1>0时，n＝32+k*32，当k+1＝0时，n＝0，m为image字节数；MyProtocolUrgData包长度设计为20+n’，n’为urg_data字节数，当k’+1>0时，n’＝40+k’*40，当k’+1＝0时，n’＝0。如图4所示。
MyProtocol类：
type：数据包的类型，1代表车辆内部信息，2代表视频信息，3代表激光雷达数据。
mark：发送该数据的车号。
timestamp：发送时间戳。
length：数据包字节长度。
MyProtocolCarData类：
speed：自车的当前速度。
MyProtocolCameraData类：
camera_data：通过行人检测算法检测出的目标的动态数组。
image：一帧图像数据。
CameraData类：
x：目标的横向像素坐标。
w：目标的像素宽度。
y：目标的纵向像素坐标。
h：目标的像素高度。
MyProtocolUrgData类：
urg_data：通过激光雷达目标检测算法检测出的目标的动态数组。
UrgData类：
left_offset：目标的最后一个序列号。
right_offset：目标的第一个序列号。
width：目标的宽度信息。
x_speed：目标的横向速度矢量。
y_speed：目标的纵向速度矢量。
distance：目标距离自车当前的最短距离。
3.将数据通过前端数据采集系统的数据发送模块以及后台服务器数据处理系统的数据接收模块实时传输至后台服务器数据处理系统，并存储于数据存储系统中。
4.后台服务器数据处理
后台服务器数据处理系统实时接收来自不同车辆的数据，并统一来自不同传感器的数据包的时间信息，修正与时间相关的距离信息。其次，完成激光雷达的检测目标与摄像头识别目标的融合。然后将完全融合的一帧基于时间戳的局部交通信息显示并同时保存在数据库。
(1)时间统一与数据纠正
在进行多传感器数据融合之前，系统需要统一多种传感器的时间信息。为了实现数据显示的实时性，本专利采用接收时间戳作为数据帧的时间戳，但会产生收发时延。在保证实验环境无线网络稳定的前提条件下，传输速率具有极高的效率，一般情况收发时延可以控制在0.1s内，因此只需要纠正激光雷达获取的目标位置信息。设收发时延为Δt，纠正后的目标距离信息为distance’，则distance’可以表示为：
其中FirstAng变量描述了目标的方位信息，可以通过目标偏移量left_offset和right_offset计算。位移的改变也会影响目标的方位信息，因此也需要对FirstAng变量进行纠正，设纠正后的目标方位信息为FirstAng’：
因为反正切函数会得到两个结果，所以还需要对纠正后的角度信息进行判断，FirstAng≥90°，则FirstAng’≥90°；FirstAng<90°，则FirstAng’<90°
(2)激光雷达数据与摄像头数据融合
为了融合激光雷达获取的目标信息与摄像头获取的视觉信息，需要完成对这两种传感器到车辆坐标系的转化，推导出激光雷达和摄像头坐标系之间的转换关系。本专利采用了一种摄像机和单线激光雷达联合标定的新方法，只需要将特定标定板摆放在载体正前方，利用激光雷达和摄像机采集一次数据就可实现摄像头、激光雷达和车体构成的整个系统的标定。
首先需要确定激光雷达坐标系Curg与车辆坐标系Ccar的转换关系，设激光雷达坐标下有一点Purg＝(xurg,yurg,zurg)T，在车辆坐标系中有对应坐标Pcar＝(xcar,ycar,zcar)T，两者之间的转换关系满足下式：
pcar＝Rurg→car*Purg+Turg→car(10)
其中，Turg→car表示激光雷达的安装位置在车体坐标系中的坐标，可以通过简单的测量获取。Rurg→car是Curg相对于Ccar的旋转矩阵，依次由绕x轴旋转的俯仰角α和绕z轴旋转的偏转角构成，该矩阵可表示为：
通常在摄像头定标的过程中，棋盘格标定板水平放置在地面上，来确定摄像头坐标系Ccam与车辆坐标系Ccar的转换关系，但这样会增大标定误差。本专利选择了一种改进的棋盘格摆放方式，将棋盘格标定板垂直放置在地面，减小了定位误差。设摄像头坐标下一点Pcam＝(xcam,ycam,zcam)T，在车辆坐标系中有对应坐标Pcar＝(xcar,ycar,zcar)T，两者之间的转换关系满足下式：
Pcar＝Rcam→car*Pcam+Tcam→car(12)
其中，Tcam→car表示摄像头的安装位置在车体坐标系中的坐标，可以通过简单的测量获取。Rurg→car是Curg相对于Ccar的旋转矩阵，它由旋转矩阵Rpla→car和Rpla→cam组成，Rpla→car表示棋盘格坐标系到车辆坐标系的旋转矩阵，Rpla→cam表示棋盘格坐标系到摄像头坐标系的旋转矩阵。根据激光雷达到车辆坐标系的转换参数[Rurg→car，Turg→car]和摄像头到车辆坐标系的转换参数[Rurg→car，Turg→car]可以对两个传感器进行联合标定，获取摄像机和激光雷达坐标系的转换参数。由式(12)可以推导出式(13)：
把式(10)和式(11)代入式(13)，可以推导出激光雷达到摄像头坐标系的转换关系：
得到激光雷达到摄像头坐标系的转换参数Rurg→cam和Turg→cam：
通过式(14)可以将摄像头识别出的行人目标的坐标投影到激光雷达的坐标系中，从而在激光雷达的检测目标集合中找到对应目标，实现摄像头数据与激光雷达数据的融合。
5.将完全融合的一帧基于时间戳的局部交通信息发送至显示器进行显示，并发送至数据存储系统中保存。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (7)

1.前方局部行驶环境感知系统，其特征在于，包括前端数据采集系统(Front-endDataAcquisitionSystem，FEDAS)、后台服务器数据处理系统(BackgroundServiceDataProcessingSystem，BSDPS)，前端数据采集系统包括车载摄像头、激光雷达、车辆内部感知设备、编码器和数据发送模块，后台服务器数据处理系统包括数据接收模块、数据存储系统、解码器、融合器和显示器；所述摄像头内集成有图像处理模块，主要用来采集行车前方的行人、车道线视频，并对每一帧图像数据进行行人检测处理；激光雷达主要用于扫描行车正前方200米范围内的障碍物信息、并对获得的连续多帧数据进行目标信息提取；车辆内部感知设备主要用来获取当前状态信息和自身属性信息；编码器用于定义车载摄像头、激光雷达、车辆内部感知设备采集的数据的MyProtocolCarData、MyProtocolCameraData和MyProtocolUrgData三个数据传输类型，并对三种数据进行统一编码格式编码；所述数据发送模块、数据接收模块用于前端数据采集系统与后台服务器数据处理系统之间的数据传输；所述数据存储系统用于数据存储，所述解码器用于对后台服务器数据处理系统接收的数据进行解码；所述融合器用于将解码后的数据进行融合形成一帧完整的局部交通环境信息；所述显示器用于局部交通环境信息的显示。
2.前方局部行驶环境感知方法，其特征在于，包括以下步骤：
(1)前端数据采集系统采集数据：车载摄像头实时采集行车前方的行人、车道线的视频信息，并对每一帧图像数据进行行人检测处理；激光雷达实时扫描行车正前方200米范围内的障碍物信息，并对获得的连续多帧数据进行目标信息提取，包括计算目标障碍物的速度矢量、移动方向、物体宽度以及距离；车辆内部感知设备实时获取当前状态信息和自身属性信息；
(2)统一编码，定义传输协议：根据传输数据的类型，分别定义车载摄像头、激光雷达、车辆内部感知设备采集的数据为MyProtocolCarData、MyProtocolCameraData和MyProtocolUrgData三个数据传输类型，统一数据格式编码；
(3)将数据通过前端数据采集系统的数据发送模块以及后台服务器数据处理系统的数据接收模块实时传输至后台服务器数据处理系统，并存储于数据存储系统中；
(4)后台服务器数据处理系统实时接收来自不同车辆的数据，并统一来自各个车载摄像头、激光雷达、车辆内部感知设备的数据包的时间信息，修正与时间相关的距离信息；
(5)完成激光雷达的检测目标与摄像头识别目标的融合，将完全融合的一帧基于时间戳的局部交通信息发送至显示器进行显示，并发送至数据存储系统中保存。
3.根据权利要求2所述的前方局部行驶环境感知方法，其特征在于，所述步骤(1)中，车载摄像头采用V4L2方式和内存映射方式(MMAP)采集视频数据，根据V4L2接口采集视频数据的步骤，将视频采集过程分为七个函数实现：
open_device()：通过阻塞的方式打开设备；
init_device()：初始化设备，包括设置数据帧格式、申请视频数据缓冲区和完成内核空间到应用程序空间的映射；
start_capturing()：申请的帧缓冲全部放入视频采集输入队列并启动视频采集；
mainloop()：实现循环采集视频数据；
stop_capturing()：停止视频采集；
uninit_device()：释放申请的视频缓冲区；
close_device()：关闭视频设备文件；
车载摄像头中行人识别算法采用伪码描述的行人检测方法，具体如下：
Matsrc＝imread(CAPTURE_FILE)；
HOGDescriptorhog；//特征检测器
hog.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector())；//默认参数设置
vector<Rect>found；//矩形框数组
hog.detectMultiScale(src,found,0,Size(8,8),Size(32,32),1.05,2)；//图像多尺度检测
HOGDescriptor类型变量hog用以保存提取的HOG特征向量，然后调用该描述子setSVMDetector方法，对以HOG特征为基础的SVM分类模型的系数赋值，这里的参数为HOGDescriptor::getDefaultPeopleDetector()时表示采用系统默认的参数；最后调用函数hog.detectMultiScale(src,found,0,Size(8,8),Size(32,32),1.05,2)对src图像变量进行多尺度检测，found变量保存检测到目标区域的列表；参数3为程序计算出的行人目标的阈值，也就是检测到的特征到SVM分类超平面的距离，一般设置为0；参数4为滑动窗口每次移动的距离，该参数数值越大行人检测的精度越大，将其设置为最小值，但必须是块移动的整数倍；参数5为图像扩充的大小；参数6为比例系数一般设置为1.05，即滑动窗口每次增加的比例；参数7为组阈值，即校正系数，为0时表示不起调节作用。
4.根据权利要求2所述的前方局部行驶环境感知方法，其特征在于，所述步骤(1)中，激光雷达采用GDGS-Command的方式获取扫描数据，扫描的方向为逆时针，扫描的范围是以正前方为基准的左120°与右120°的扇面，扫描角度为240°，数据帧包含0～768个测量点的距离长度，获取300～486之间的186个测量点的距离数据；
激光雷达对获得的连续多帧数据进行目标信息提取方法如下：
首先对场景中存在的障碍物进行判断，把扫描得到的距离信息，采用区域分割的方法将前方局部场景分割成不同的区域，如果连续两个扫描点的距离信息小于事先设定好的阈值，就认为这两个扫描点属于同一个区域，反之，数据帧就视为从这个地方开始不再连续，判断场景中障碍物；阈值计算公式如式(1)，
其中threshold为计算出的阈值，单位m，MAXDIS为雷达可测量的最大精确距离，可达到为4000m；
定义了一个结构体Object，用来保存被检测出的物体的各类信息：
structObject
{
floatFirstAng；//逆时针方向第一个点的角度，相对于右侧0度
floatLastAng；//最后一个点的角度
floatShortestAng；//垂直距离最近的那个点的角度
intFirstdis；//第一个点与本车的直线距离
intLastdis；//最后点与本车的直线距离
intShortestdis；//垂直距离最近的点与本车的直线距离
intFirstxu；//第一个点在数组中的序列
intLastxu；//最后一个点在数组中的序列
intShortestxu；//最近点在数组中的序列
doubleShortest_dis；//与自车最近的点的垂直距离
doublewidth；//物体的宽度
doublespeed；//相对于自车的速度，初始为0
doublespeed_；//横向的速度
intObject_points_count；//点的总数
}
利用三角函数和距离公式计算出障碍物的宽度、方位以及速度信息，物体宽度的计算公式为：
障碍物的速度矢量通过比较连续两帧数据的信息来计算，设在pre_stamp时间捕获一帧数据D1，在last_stamp时间捕获第二帧数据D2，若D1和D2中存在一对障碍物object1和object2的宽度数据分别为width1和width2，若满足：
则object1和object2为同一物体，然后利用该物体的位移变化计算出相对自车的纵向速度speed以及横向速度speed_：
5.根据权利要求2所述的前方局部行驶环境感知方法，其特征在于，所述步骤(2)中，三个数据包类型MyProtocolCarData类、MyProtocolCameraData类、MyProtocolUrgData类分别对应车内部信息数据、摄像头信息数据、激光雷达信息数据，三个数据包类型继承了一个共同父类MyProtocol类，MyProtocol类包含了客户端数据包的基本信息，
MyProtocol类：
type：数据包的类型，1代表车辆内部信息，2代表视频信息，3代表激光雷达数据；
mark：发送该数据的车号；
timestamp：发送时间戳；
length：数据包字节长度；
MyProtocolCarData类：
speed：自车的当前速度；
MyProtocolCameraData类：
camera_data：通过行人检测算法检测出的目标的动态数组；
image：一帧图像数据；
CameraData类：
x：目标的横向像素坐标；
w：目标的像素宽度；
y：目标的纵向像素坐标；
h：目标的像素高度；
MyProtocolUrgData类：
urg_data：通过激光雷达目标检测算法检测出的目标的动态数组；
UrgData类：
left_offset：目标的最后一个序列号；
right_offset：目标的第一个序列号；
width：目标的宽度信息；
x_speed：目标的横向速度矢量；
y_speed：目标的纵向速度矢量；
distance：目标距离自车当前的最短距离。
6.根据权利要求2所述的前方局部行驶环境感知方法，其特征在于，所述步骤(4)的具体步骤为：
设收发时延为Δt，纠正后的目标距离信息为distance’，则distance’可以表示为：
其中FirstAng变量描述了目标的方位信息，通过目标偏移量left_offset和right_offset计算；
对FirstAng变量进行纠正，设纠正后的目标方位信息为FirstAng’：
对纠正后的角度信息进行判断，FirstAng≥90°，则FirstAng’≥90°；FirstAng<90°，则FirstAng’<90°。
7.根据权利要求2所述的前方局部行驶环境感知方法，其特征在于，所述步骤(5)中数据融合的具体步骤为：
完成对激光雷达和车载摄像头到车辆坐标系的转化，推导出激光雷达和摄像头坐标系之间的转换关系，
将特定标定板摆放在载体正前方，利用激光雷达采集一次数据，首先确定激光雷达坐标系Curg与车辆坐标系Ccar的转换关系，设激光雷达坐标下有一点Purg＝(xurg,yurg,zurg)T，在车辆坐标系中有对应坐标Pcar＝(xcar,ycar,zcar)T，两者之间的转换关系满足下式：
pcar＝Rurg→car*Purg+Turg→car(10)
其中，Turg→car表示激光雷达的安装位置在车体坐标系中的坐标，通过测量获取；Rurg→car是Curg相对于Ccar的旋转矩阵，依次由绕x轴旋转的俯仰角α和绕z轴旋转的偏转角构成，该矩阵可表示为：
将棋盘格标定板垂直放置在载体正前方的地面，将特定标定板摆放在，利用摄像头采集图像，设摄像头坐标下一点Pcam＝(xcam,ycam,zcam)T，在车辆坐标系中有对应坐标Pcar＝(xcar,ycar,zcar)T，两者之间的转换关系满足下式：
Pcar＝Rcam→car*Pcam+Tcam→car(12)
其中，Tcam→car表示摄像头的安装位置在车体坐标系中的坐标，通过测量获取；Rurg→car是Curg相对于Ccar的旋转矩阵，由旋转矩阵Rpla→car和Rpla→cam组成，Rpla→car表示棋盘格坐标系到车辆坐标系的旋转矩阵，Rpla→cam表示棋盘格坐标系到摄像头坐标系的旋转矩阵；
根据激光雷达到车辆坐标系的转换参数[Rurg→car，Turg→car]和摄像头到车辆坐标系的转换参数[Rurg→car，Turg→car]对两个传感器进行联合标定，获取摄像机和激光雷达坐标系的转换参数；由式(12)推导出式(13)：
把式(10)和式(11)代入式(13)，推导出激光雷达到摄像头坐标系的转换关系：
得到激光雷达到摄像头坐标系的转换参数Rurg→cam和Turg→cam：
通过式(14)可以将摄像头识别出的行人目标的坐标投影到激光雷达的坐标系中，从而在激光雷达的检测目标集合中找到对应目标，实现摄像头数据与激光雷达数据的融合。
CN201610104851.XA 2016-02-25 2016-02-25 前方局部行驶环境感知系统及方法 Active CN105711597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610104851.XA CN105711597B (zh) 2016-02-25 2016-02-25 前方局部行驶环境感知系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610104851.XA CN105711597B (zh) 2016-02-25 2016-02-25 前方局部行驶环境感知系统及方法

Publications (2)

Publication Number Publication Date
CN105711597A true CN105711597A (zh) 2016-06-29
CN105711597B CN105711597B (zh) 2018-06-26

Family

ID=56157134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610104851.XA Active CN105711597B (zh) 2016-02-25 2016-02-25 前方局部行驶环境感知系统及方法

Country Status (1)

Country Link
CN (1) CN105711597B (zh)

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488191A (zh) * 2016-10-27 2017-03-08 山东省科学院自动化研究所 电动汽车远程安全监控方法
CN106896826A (zh) * 2017-02-27 2017-06-27 张斌 运动场景数字合成系统和方法
CN107463171A (zh) * 2017-06-13 2017-12-12 纵目科技（上海）股份有限公司 无人驾驶车辆的远程控制方法、系统、服务平台、车载终端
CN107650908A (zh) * 2017-10-18 2018-02-02 长沙冰眼电子科技有限公司 无人车环境感知系统
CN107819974A (zh) * 2016-09-13 2018-03-20 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置
CN108322636A (zh) * 2017-12-29 2018-07-24 吉林大学 一种基于机器视觉的车速估计器、车辆及估计方法
CN108519605A (zh) * 2018-04-09 2018-09-11 重庆邮电大学 基于激光雷达和摄像机的路沿检测方法
CN108725446A (zh) * 2017-04-19 2018-11-02 通用汽车环球科技运作有限责任公司 用于自主车辆的俯仰角补偿
CN108986450A (zh) * 2018-07-25 2018-12-11 北京万集科技股份有限公司 车辆环境感知方法、终端及系统
CN109040095A (zh) * 2018-08-21 2018-12-18 北京睦合达信息技术股份有限公司 一种数据发送方法及adas设备
CN109145805A (zh) * 2018-08-15 2019-01-04 深圳市豪恩汽车电子装备股份有限公司 车载环境下的移动目标检测方法及系统
CN109143241A (zh) * 2018-07-26 2019-01-04 清华大学苏州汽车研究院（吴江） 雷达数据和图像数据的融合方法及系统
CN109427212A (zh) * 2017-08-25 2019-03-05 财团法人资讯工业策进会 车辆行驶检测方法及车辆行驶检测系统
CN109615870A (zh) * 2018-12-29 2019-04-12 南京慧尔视智能科技有限公司 一种基于毫米波雷达和视频的交通检测系统
CN109635870A (zh) * 2018-12-11 2019-04-16 百度在线网络技术（北京）有限公司 数据处理方法和装置
CN109739232A (zh) * 2018-12-29 2019-05-10 百度在线网络技术（北京）有限公司 障碍物追踪方法、装置、车载终端及存储介质
CN109765571A (zh) * 2018-12-27 2019-05-17 合肥工业大学 一种车辆障碍物检测系统及方法
CN109803867A (zh) * 2016-10-11 2019-05-24 三星电子株式会社 用于将视线确保图像提供给车辆的方法及用于其的电子设备和计算机可读记录介质
CN110009765A (zh) * 2019-04-15 2019-07-12 合肥工业大学 一种自动驾驶车辆场景数据系统及场景格式转化方法
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN110210280A (zh) * 2019-03-01 2019-09-06 北京纵目安驰智能科技有限公司 一种超视距感知方法、系统、终端和存储介质
CN110377025A (zh) * 2018-04-12 2019-10-25 百度（美国）有限责任公司 用于自动驾驶车辆的传感器聚合框架
CN110807238A (zh) * 2019-08-26 2020-02-18 腾讯科技（深圳）有限公司 一种仿真模型校准方法及相关设备
CN110969178A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 自动驾驶车辆的数据融合系统、方法及自动驾驶系统
CN111328409A (zh) * 2018-02-20 2020-06-23 宝马股份公司 用于自动地创建行驶的视频的系统和方法
CN111460885A (zh) * 2020-02-21 2020-07-28 中国电子技术标准化研究院 一种基于汽车计算平台的信息监测方法
CN111477010A (zh) * 2020-04-08 2020-07-31 图达通智能科技(苏州)有限公司 一种用于路口全息感知的装置及其控制方法
CN111736486A (zh) * 2020-05-01 2020-10-02 东风汽车集团有限公司 一种面向l2智能驾驶控制器的传感器仿真建模方法及装置
CN111833631A (zh) * 2020-06-24 2020-10-27 武汉理工大学 基于车路协同的目标数据处理方法、系统和存储介质
CN111860551A (zh) * 2019-04-27 2020-10-30 北京初速度科技有限公司 一种多传感器数据融合方法及装置、车载终端
CN112181581A (zh) * 2020-10-29 2021-01-05 安徽江淮汽车集团股份有限公司 汽车仪表的环境显示方法、装置、设备及存储介质
CN112363501A (zh) * 2020-10-30 2021-02-12 广东杜尼智能机器人工程技术研究中心有限公司 无人驾驶扫地车的避障方法、装置、系统及存储介质
CN112572430A (zh) * 2020-12-14 2021-03-30 深兰人工智能(深圳)有限公司 碰撞风险确定方法和装置
CN112590719A (zh) * 2020-12-24 2021-04-02 青海慧洗智能科技有限公司 汽车车窗开闭状态检测装置和方法
CN112805200A (zh) * 2018-10-11 2021-05-14 宝马股份公司 交通场景的快照图像
CN112926514A (zh) * 2021-03-26 2021-06-08 哈尔滨工业大学（威海） 一种多目标检测及跟踪方法、系统、存储介质及应用
CN113094564A (zh) * 2020-01-09 2021-07-09 浙江吉利汽车研究院有限公司 一种数据处理方法和装置
CN113085877A (zh) * 2019-12-23 2021-07-09 深圳市大富科技股份有限公司 位置关系的检测方法及车辆的辅助驾驶系统
CN113124897A (zh) * 2019-12-31 2021-07-16 大唐高鸿数据网络技术股份有限公司 一种传感器性能检测方法、装置及终端
CN113221638A (zh) * 2021-03-31 2021-08-06 重庆长安汽车股份有限公司 一种车辆目标感知方法及系统
CN113325826A (zh) * 2021-06-08 2021-08-31 矿冶科技集团有限公司 一种井下车辆控制方法、装置、电子设备及存储介质
CN113454692A (zh) * 2019-02-19 2021-09-28 Sk电信有限公司 驾驶信息提供方法以及车辆地图提供服务器和方法
CN114760330A (zh) * 2020-12-28 2022-07-15 华为技术有限公司 用于车联网的数据传输方法、装置、存储介质和系统
CN115311850A (zh) * 2022-07-15 2022-11-08 重庆长安汽车股份有限公司 一种基于众包模式的抛洒物识别与预警方法及系统
CN115904294A (zh) * 2023-01-09 2023-04-04 山东矩阵软件工程股份有限公司 一种环境可视化方法、系统、存储介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070043491A1 (en) * 2005-08-18 2007-02-22 Christian Goerick Driver assistance system
CN101893443A (zh) * 2010-07-08 2010-11-24 上海交通大学 道路数字正射影像地图的制作系统
CN102713989A (zh) * 2010-03-17 2012-10-03 本田技研工业株式会社 车辆周围监测装置
CN104769915A (zh) * 2012-10-26 2015-07-08 大陆-特韦斯贸易合伙股份公司及两合公司 用于合并环境传感器数据与通信数据的方法和系统以及该系统的应用
CN105015545A (zh) * 2015-07-03 2015-11-04 内蒙古麦酷智能车技术有限公司 一种无人驾驶汽车的自主变道决策系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070043491A1 (en) * 2005-08-18 2007-02-22 Christian Goerick Driver assistance system
CN102713989A (zh) * 2010-03-17 2012-10-03 本田技研工业株式会社 车辆周围监测装置
CN101893443A (zh) * 2010-07-08 2010-11-24 上海交通大学 道路数字正射影像地图的制作系统
CN104769915A (zh) * 2012-10-26 2015-07-08 大陆-特韦斯贸易合伙股份公司及两合公司 用于合并环境传感器数据与通信数据的方法和系统以及该系统的应用
CN105015545A (zh) * 2015-07-03 2015-11-04 内蒙古麦酷智能车技术有限公司 一种无人驾驶汽车的自主变道决策系统

Cited By (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107819974A (zh) * 2016-09-13 2018-03-20 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置
US10649089B2 (en) 2016-09-13 2020-05-12 Beijing Baidu Netcom Science And Technology Co., Ltd. Data acquisition method and apparatus for driverless vehicle
CN107819974B (zh) * 2016-09-13 2019-01-22 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置
CN109803867A (zh) * 2016-10-11 2019-05-24 三星电子株式会社 用于将视线确保图像提供给车辆的方法及用于其的电子设备和计算机可读记录介质
CN109803867B (zh) * 2016-10-11 2022-07-05 三星电子株式会社 用于将视线确保图像提供给车辆的方法、电子设备和车辆
CN106488191A (zh) * 2016-10-27 2017-03-08 山东省科学院自动化研究所 电动汽车远程安全监控方法
CN106896826A (zh) * 2017-02-27 2017-06-27 张斌 运动场景数字合成系统和方法
CN106896826B (zh) * 2017-02-27 2020-04-28 张斌 运动场景数字合成系统和方法
CN108725446A (zh) * 2017-04-19 2018-11-02 通用汽车环球科技运作有限责任公司 用于自主车辆的俯仰角补偿
CN108725446B (zh) * 2017-04-19 2021-08-10 通用汽车环球科技运作有限责任公司 用于自主车辆的俯仰角补偿
CN107463171A (zh) * 2017-06-13 2017-12-12 纵目科技（上海）股份有限公司 无人驾驶车辆的远程控制方法、系统、服务平台、车载终端
CN109427212A (zh) * 2017-08-25 2019-03-05 财团法人资讯工业策进会 车辆行驶检测方法及车辆行驶检测系统
CN107650908A (zh) * 2017-10-18 2018-02-02 长沙冰眼电子科技有限公司 无人车环境感知系统
CN107650908B (zh) * 2017-10-18 2023-07-14 长沙冰眼电子科技有限公司 无人车环境感知系统
CN108322636A (zh) * 2017-12-29 2018-07-24 吉林大学 一种基于机器视觉的车速估计器、车辆及估计方法
CN111328409A (zh) * 2018-02-20 2020-06-23 宝马股份公司 用于自动地创建行驶的视频的系统和方法
CN108519605B (zh) * 2018-04-09 2021-09-07 重庆邮电大学 基于激光雷达和摄像机的路沿检测方法
CN108519605A (zh) * 2018-04-09 2018-09-11 重庆邮电大学 基于激光雷达和摄像机的路沿检测方法
CN110377025B (zh) * 2018-04-12 2024-04-05 百度（美国）有限责任公司 用于自动驾驶车辆的传感器聚合框架
CN110377025A (zh) * 2018-04-12 2019-10-25 百度（美国）有限责任公司 用于自动驾驶车辆的传感器聚合框架
CN108986450B (zh) * 2018-07-25 2024-01-16 北京万集科技股份有限公司 车辆环境感知方法、终端及系统
CN108986450A (zh) * 2018-07-25 2018-12-11 北京万集科技股份有限公司 车辆环境感知方法、终端及系统
CN109143241A (zh) * 2018-07-26 2019-01-04 清华大学苏州汽车研究院（吴江） 雷达数据和图像数据的融合方法及系统
CN109145805A (zh) * 2018-08-15 2019-01-04 深圳市豪恩汽车电子装备股份有限公司 车载环境下的移动目标检测方法及系统
CN109040095A (zh) * 2018-08-21 2018-12-18 北京睦合达信息技术股份有限公司 一种数据发送方法及adas设备
CN110969178A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 自动驾驶车辆的数据融合系统、方法及自动驾驶系统
CN110969178B (zh) * 2018-09-30 2023-09-12 毫末智行科技有限公司 自动驾驶车辆的数据融合系统、方法及自动驾驶系统
CN112805200A (zh) * 2018-10-11 2021-05-14 宝马股份公司 交通场景的快照图像
CN109635870A (zh) * 2018-12-11 2019-04-16 百度在线网络技术（北京）有限公司 数据处理方法和装置
CN109765571A (zh) * 2018-12-27 2019-05-17 合肥工业大学 一种车辆障碍物检测系统及方法
CN109765571B (zh) * 2018-12-27 2021-07-23 合肥工业大学 一种车辆障碍物检测系统及方法
CN109739232B (zh) * 2018-12-29 2022-06-07 百度在线网络技术（北京）有限公司 障碍物追踪方法、装置、车载终端及存储介质
CN109739232A (zh) * 2018-12-29 2019-05-10 百度在线网络技术（北京）有限公司 障碍物追踪方法、装置、车载终端及存储介质
CN109615870A (zh) * 2018-12-29 2019-04-12 南京慧尔视智能科技有限公司 一种基于毫米波雷达和视频的交通检测系统
CN113454692A (zh) * 2019-02-19 2021-09-28 Sk电信有限公司 驾驶信息提供方法以及车辆地图提供服务器和方法
CN113454692B (zh) * 2019-02-19 2024-04-16 Sk电信有限公司 驾驶信息提供方法以及车辆地图提供服务器和方法
CN110210280B (zh) * 2019-03-01 2024-04-19 北京纵目安驰智能科技有限公司 一种超视距感知方法、系统、终端和存储介质
CN110210280A (zh) * 2019-03-01 2019-09-06 北京纵目安驰智能科技有限公司 一种超视距感知方法、系统、终端和存储介质
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN110009765A (zh) * 2019-04-15 2019-07-12 合肥工业大学 一种自动驾驶车辆场景数据系统及场景格式转化方法
CN110009765B (zh) * 2019-04-15 2021-05-07 合肥工业大学 一种自动驾驶车辆场景数据系统的场景格式转化方法
CN111860551B (zh) * 2019-04-27 2024-02-06 北京魔门塔科技有限公司 一种多传感器数据融合方法及装置、车载终端
CN111860551A (zh) * 2019-04-27 2020-10-30 北京初速度科技有限公司 一种多传感器数据融合方法及装置、车载终端
CN110807238A (zh) * 2019-08-26 2020-02-18 腾讯科技（深圳）有限公司 一种仿真模型校准方法及相关设备
CN113085877A (zh) * 2019-12-23 2021-07-09 深圳市大富科技股份有限公司 位置关系的检测方法及车辆的辅助驾驶系统
CN113085877B (zh) * 2019-12-23 2022-10-25 大富科技(安徽)股份有限公司 位置关系的检测方法及车辆的辅助驾驶系统
CN113124897A (zh) * 2019-12-31 2021-07-16 大唐高鸿数据网络技术股份有限公司 一种传感器性能检测方法、装置及终端
CN113124897B (zh) * 2019-12-31 2024-04-09 中信科智联科技有限公司 一种传感器性能检测方法、装置及终端
CN113094564A (zh) * 2020-01-09 2021-07-09 浙江吉利汽车研究院有限公司 一种数据处理方法和装置
CN111460885A (zh) * 2020-02-21 2020-07-28 中国电子技术标准化研究院 一种基于汽车计算平台的信息监测方法
CN111477010A (zh) * 2020-04-08 2020-07-31 图达通智能科技(苏州)有限公司 一种用于路口全息感知的装置及其控制方法
CN111736486A (zh) * 2020-05-01 2020-10-02 东风汽车集团有限公司 一种面向l2智能驾驶控制器的传感器仿真建模方法及装置
CN111833631B (zh) * 2020-06-24 2021-10-26 武汉理工大学 基于车路协同的目标数据处理方法、系统和存储介质
CN111833631A (zh) * 2020-06-24 2020-10-27 武汉理工大学 基于车路协同的目标数据处理方法、系统和存储介质
CN112181581A (zh) * 2020-10-29 2021-01-05 安徽江淮汽车集团股份有限公司 汽车仪表的环境显示方法、装置、设备及存储介质
CN112181581B (zh) * 2020-10-29 2022-03-29 安徽江淮汽车集团股份有限公司 汽车仪表的环境显示方法、装置、设备及存储介质
CN112363501A (zh) * 2020-10-30 2021-02-12 广东杜尼智能机器人工程技术研究中心有限公司 无人驾驶扫地车的避障方法、装置、系统及存储介质
CN112572430A (zh) * 2020-12-14 2021-03-30 深兰人工智能(深圳)有限公司 碰撞风险确定方法和装置
CN112590719A (zh) * 2020-12-24 2021-04-02 青海慧洗智能科技有限公司 汽车车窗开闭状态检测装置和方法
CN114760330A (zh) * 2020-12-28 2022-07-15 华为技术有限公司 用于车联网的数据传输方法、装置、存储介质和系统
CN114760330B (zh) * 2020-12-28 2024-04-12 华为技术有限公司 用于车联网的数据传输方法、装置、存储介质和系统
CN112926514A (zh) * 2021-03-26 2021-06-08 哈尔滨工业大学（威海） 一种多目标检测及跟踪方法、系统、存储介质及应用
CN113221638A (zh) * 2021-03-31 2021-08-06 重庆长安汽车股份有限公司 一种车辆目标感知方法及系统
CN113221638B (zh) * 2021-03-31 2023-05-26 重庆长安汽车股份有限公司 一种车辆目标感知方法及系统
CN113325826A (zh) * 2021-06-08 2021-08-31 矿冶科技集团有限公司 一种井下车辆控制方法、装置、电子设备及存储介质
CN115311850A (zh) * 2022-07-15 2022-11-08 重庆长安汽车股份有限公司 一种基于众包模式的抛洒物识别与预警方法及系统
CN115904294A (zh) * 2023-01-09 2023-04-04 山东矩阵软件工程股份有限公司 一种环境可视化方法、系统、存储介质和电子设备

Also Published As

Publication number Publication date
CN105711597B (zh) 2018-06-26

Similar Documents

Publication Publication Date Title
CN105711597A (zh) 前方局部行驶环境感知系统及方法
CN108960183B (zh) 一种基于多传感器融合的弯道目标识别系统及方法
EP3418943B1 (en) Object detecting apparatus, object detecting method, and computer-readable medium
US10860870B2 (en) Object detecting apparatus, object detecting method, and computer program product
CN107031623B (zh) 一种基于车载盲区相机的道路预警方法
CN110745140B (zh) 一种基于连续图像约束位姿估计的车辆换道预警方法
CN112149550B (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN110705458B (zh) 边界检测方法及装置
WO2021259344A1 (zh) 车辆检测方法、装置、车辆和存储介质
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN108227707B (zh) 基于激光雷达和端到端深度学习方法的自动驾驶方法
CN106845547A (zh) 一种基于摄像头的智能汽车定位与道路标识识别系统及方法
US20220375208A1 (en) Annotation cross-labeling for autonomous control systems
CN105512623A (zh) 基于多传感器雾天行车视觉增强与能见度预警系统及方法
WO2003001473A1 (en) Vision-based collision threat detection system_
CN111461048B (zh) 基于视觉的停车场可行驶区域检测与局部地图构建方法
CN111986128A (zh) 偏心图像融合
US20220169263A1 (en) Systems and methods for predicting a vehicle trajectory
CN111369541A (zh) 一种智能汽车恶劣天气条件下车辆检测方法
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
Jiang et al. Target detection algorithm based on MMW radar and camera fusion
CN114399748A (zh) 一种基于视觉车道检测的农机实时路径校正方法
CN111323027A (zh) 一种基于激光雷达与环视相机融合制作高精度地图方法及装置
CN114715168A (zh) 一种道路标线缺失环境下的车辆偏航预警方法和系统
US11938968B2 (en) Trajectory design for image data acquisition for object detection/recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210325

Address after: 225000 No.8 Weichai Avenue, Hanjiang Automobile Industrial Park, Yangzhou City, Jiangsu Province

Patentee after: Weichai (Yangzhou) Special Vehicle Co.,Ltd.

Address before: Zhenjiang City, Jiangsu Province, 212013 Jingkou District Road No. 301

Patentee before: JIANGSU University