CN110816527A - 一种车载夜视安全方法和系统 - Google Patents
一种车载夜视安全方法和系统 Download PDFInfo
- Publication number
- CN110816527A CN110816527A CN201911184308.5A CN201911184308A CN110816527A CN 110816527 A CN110816527 A CN 110816527A CN 201911184308 A CN201911184308 A CN 201911184308A CN 110816527 A CN110816527 A CN 110816527A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- vehicle
- speed
- distance
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004297 night vision Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 12
- 206010039203 Road traffic accident Diseases 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000003897 fog Substances 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T7/00—Brake-action initiating means
- B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
- B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明揭示了一种车载夜视安全方法,其特征在于,包括以下步骤:1)通过雷达信号采集汽车前方障碍物速度信号和距离信号的雷达采集步骤;2)根据前方障碍物速度信号和本车速度获取障碍物相对速度的相对速度计算步骤;3)通过摄像采集汽车前方影像信号的摄像头采集步骤;4)将摄像采集和雷达信号采集建立在同一坐标系下的同坐标系步骤;5)将汽车前方影像信号进行显示的显示步骤;6)根据相对速度和距离信号判断是否存在碰撞风险的判断步骤;7)将存在碰撞风险的障碍物在显示中标记的标记步骤。本系统工作安全、可靠、稳定,并具有实用性强,成本低,开发周期短的特点,适用于任何可搭载基于红外摄像头和毫米波雷达的车辆。
Description
技术领域
本发明涉及智能车控制技术领域,具体涉及一种车载夜视安全系统技术方案。
背景技术
夜晚驱车赶路是一种常见工况,在远光灯为驾驶员照亮车前的有限距离内,景物尚依稀可辨。但是在前面的黑暗中时刻潜伏着危险,特别是在下大雨、下雪、下雾的恶劣气候环境,或者在尘土飞扬、能见度较低的夜间行驶,是造成交通事故频发的主要原因。夜间车辆和行人检测技术已经成为智能车辆安全辅助驾驶系统的重要组成部分,用于准确的识别夜间前方车辆、行人、摩托车等,为驾驶员及时提供前方路况信息,可靠地视觉和听觉预警,降低夜间交通事故的发生。
随着科技的发展,汽车照明技术也在不断进步。车灯增加了照射距离,修正了照射误差,但是夜间行车的风险仍然大大高于白天。这种情况下,车载夜视系统被广泛应用于多种车型,也降低了夜间行驶事故的发生概率。
车载夜视系统是利用车载传感器——单目视角红外摄像头采集前方视野的图像信号,用较强的红外光源照射目标,目标反射回来的红外线来得到物体的成像。这种夜视系统可以有效的识别机动车辆、行人、自行车和摩托车等,通过数据处理系统将识别的信息通过LVDS链路传输给音响主机显示,并在主机界面醒目标识标注目标物体。
虽然目前市场上夜视系统做的识别率较高,根据碰撞时间TTC(time tocollision)也可以很好的彰显报警策略。但是考虑到夜间行车的复杂工况,有时虽然报警及时,但是由于驾驶员的不当操作,或者摄像头检测的距离不准确,也会发生交通事故。
发明内容
本发明为了最大化的降低夜间行车的事故率,在稳定可靠检测到目标后,驾驶员未能及时操作车辆的情况下,实现一种实时监测目标的速度、距离和角度,危险工况时让本车主动建压减速甚至自动刹停的车载夜视安全方法和系统。
为了实现上述目的,本发明采用的技术方案为:一种车载夜视安全方法,其特征在于,包括以下步骤:
1)通过雷达信号采集汽车前方障碍物速度信号和距离信号的雷达采集步骤;
2)根据前方障碍物速度信号和本车速度获取障碍物相对速度的相对速度计算步骤;
3)通过摄像采集汽车前方影像信号的摄像头采集步骤;
4)将摄像采集和雷达信号采集建立在同一坐标系下的同坐标系步骤;
5)将汽车前方影像信号进行显示的显示步骤;
6)根据相对速度和距离信号判断是否存在碰撞风险的判断步骤;
7)将存在碰撞风险的障碍物在显示中标记的标记步骤。
8)当存在碰撞风险的障碍物时进行声音报警的报警步骤。
9)判断达到触发主动安全策略条件的判断步骤;
10)当达到触发主动安全策略条件执行主动制动的执行步骤。
所述5)显示步骤中,还包括判断影像中障碍物类别的判断步骤,障碍物类别包括:行人、机动车、非机动车。
所述5)显示步骤中,还包括标记行人、机动车、非机动车的预报警步骤。
所述4)同坐标系步骤包括以下步骤:
将世界坐标系中的点(XW,YW,ZW)转换为汽车前方影像坐标系(u,v),转换公式如下所示:
式中,(XW,YW,ZW,1)T是点的世界坐标,与其对应的摄像机齐次坐标是(XC,YC,ZC,1)T;
dx和dy分别表示每个像素在横轴和纵轴的物理单位下的大小;
f表示摄像头的焦距;
s表示摄像头成像平面坐标轴相互不正交引出的倾斜因子;
R代表旋转矩阵;
阵列x*x的单位矩阵;
t表示平移向量;
I是元素为1的对角矩阵;
O是(0,0,0)T;
雷达信号获取的前方障碍物信息是在极坐标下的二维信息,将障碍物P的极坐标下的二维信息转换到直角坐标系中,雷达坐标系的X0O0Z0平面与世界坐标系的XOZ平面平行,两平面之间的距离为Y0,通过雷达可以得到前方车辆中心点投影到雷达扫射平面内的点P相对于雷达的距离R和角度α,确定P点在世界坐标系下的坐标,转换关系如下:
从而将摄像采集和雷达信号采集建立在同一坐标系下。
所述6)判断步骤包括:
当前方障碍物为行人,且达到以下任一条件则判断为存在碰撞风险:
当前车速为10km/h~40km/h,与障碍物距离小于30m;
当前车速为40km/h~60km/h,与障碍物距离小于40m;
当前车速为60km/h~80km/h,与障碍物距离小于50m;
当前车速为>80km/h,与障碍物距离小于90m;
当前方障碍物为机动车、非机动车,且此时本车速度>前车速度,若达到以下任一条件则判断为存在碰撞风险:
当前车速为10km/h~40km/h,与障碍物距离小于40m;
当前车速为40km/h~60km/h,与障碍物距离小于50m;
当前车速为60km/h~80km/h,与障碍物距离小于60m;
当前车速为>80km/h,与障碍物距离小于90m。
一种车载夜视安全系统,其特征在于,包括以下部件:
1)通过雷达信号采集汽车前方障碍物速度信号和距离信号的毫米波雷达;
2)根据前方障碍物速度信号和本车速度获取障碍物相对速度的相对速度计算模块;
3)通过摄像采集汽车前方影像信号的红外摄像头;
4)将摄像采集和雷达信号采集建立在同一坐标系下的同坐标系模块;
5)将汽车前方影像信号进行显示的车载显示器;
6)根据相对速度和距离信号判断是否存在碰撞风险的判断模块;
7)将存在碰撞风险的障碍物在显示中标记的标记模块。
8)当存在碰撞风险的障碍物时进行声音报警的声音报警器;
9)判断达到触发主动安全策略条件的判断模块;
10)当达到触发主动安全策略条件执行主动制动的AEB。
本发明具有如下优点:
1)该方案对整车系统,尺寸和结构不需要进行改变,只是在软件构架上增加策略定义,融合了摄像头信号和毫米波雷达信号,增强夜视目标检测的能力,成本低、实用性强;
2)该方案适用于任何含有夜视红外摄像头和前置毫米波雷达的智能辅助驾驶车辆,无需整车匹配开发过程;
3)原自动辅助驾驶系统的硬件方案不变,只是融合数据处理,不会带来电磁干扰问题,对外界的辐射强度也不会增加,传输数据准确可靠。
附图说明
下面对本发明说明书中每幅附图表达的内容作简要说明:
图1为红外摄像头和毫米波雷达检测目标图示意图;
图2为夜视系统前方障碍物检测和安全策略流程图。
具体实施方式
下面对照附图,通过对实施例的描述,本发明的具体实施方式如所涉及的各构件的形状、构造、各部分之间的相互位置及连接关系、各部分的作用及工作原理、制造工艺及操作使用方法等,作进一步详细的说明,以帮助本领域技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
针对红外摄像头检测到目标而驾驶员操作不当造成交通事故的工况,或者红外摄像头检测到目前的速度和距离误差较大,造成驾驶员虽然及时操作却因为误差问题错过了刹车阈值时间,而造成了交通事故的工况,提出了一种基于红外摄像头和毫米波雷达融合的安全策略。这种方法实用性强,成本低,开发周期短,适用于任何可搭载基于红外摄像头和毫米波雷达的车辆。
如图1所示为红外摄像头和毫米波雷达检测目标图。在夜晚的行车环境下,人眼很难获取前方道路信息,红外摄像头可以高效可靠的感知前方路况信息,即使在下大雨、大雾、沙尘或者其他恶劣的气候环境中,红外摄像头依然可以有效地识别前方道路的目标信息,并通过主机显示出来。并且通过红外摄像头可以具有防眩功能,在前车尾灯或者来车发出远近光灯造成眩晕的情况下,该功能可以有效的防眩。红外夜视系统是目前应用主要方向,在市场中占主要地位。
智能驾驶车辆的主动安全首要条件是具有高精度检测障碍物信息的传感器,目前绝大多数车型应用的都是使用毫米波雷达。毫米波雷达对目标多项参数进行检测,根据毫米波雷达的固有属性,通过回波毫米波雷达可以检测本车与目标障碍物的距离R、角度α以及目标障碍物的速度v。通过制定相应的安全策略,将命令发送给整车制动执行器ESP,ESP根据要求进行制动预报警、制动预填空制动液和刹车制动,实现的功能是AEB(AutomaticEmergency Braking自动紧急制动)。为了提高雷达测试数据的可靠性,使用了远距离摄像头协同毫米波雷达共同采集目标信息,融合处理两种传感器的数据后发送给ESP进行主动安全制动。夜晚行车普通的摄像头不能很好的感知前方路况信息,所以这时需要使用红外摄像头,通过热红外原理感知目标的热红外辐射能力而成像。
毫米波雷达可以进行远距离和中距离的交互测量,毫米波雷达远距离测量范围是1~175m,近距离测量范围是1~60m,1m范围以内是毫米波雷达的盲区,雷达不能很好的检测到障碍物的相关信息。为了避免夜晚行车过程中与前方车辆发生追尾或者碰撞前方行人、摩托车、自动车等,在有效目标选择过程中,最关注的是与本车位于同一车道范围的前方车辆或者行人。假设本车行驶速度为v0,目标速度为v1,相对车速△v=v1-v0,当△v<0时,就可能会发生追尾的危险。因此把雷达近距离测量目标1~60m,且相对速度△v<0的车辆、行人、自行车、摩托车作为初选目标。其次在本车道两边车道或者人行道的目标作为次选目标,在主机界面上可以将目标物体显示,并以颜色方框标注。
如图2所示为夜视系统前方障碍物检测和安全策略示意图。毫米波雷达通过发波和回波检测到目标(前方车辆、行人、自行车或者摩托车等)的距离、角度和速度,然后形成雷达目标。红外摄像头采集图像信息,并通过红外成像原理检测到视觉目标。目标融合处理得到感兴趣区域ROI(region of interest),即存在前碰撞风险的区域。在感兴趣区域内,采用基于机器视觉的图像信息验证车辆,这不仅可以减少外界环境的干扰导致检测的不准确性,还可以通过缩小检测范围,提高计算效率、减少计算量。毫米波雷达和机器视觉融合的方法可以有效的识别前方目标物体信息,对于不同形状、功能、特征的车辆尾灯,行人、小型车辆都具有很好的识别效果。
雷达和机器视觉是不同坐标系的传感器,因此要实现雷达和机器视觉的空间融合,必须建立两种传感器所在坐标系的转换模型,即雷达坐标和图像像素坐标系之间密切的联系。按照右手螺旋原则建立融合坐标系,由下列公式(1)和(2)确定坐标系之间的空间位置关系。
将世界坐标系中的点(XW,YW,ZW)转换为图像坐标系(u,v),转换公式如下所示:
式中,(XW,YW,ZW,1)T是点的世界坐标,与其对应的摄像机齐次坐标是(XC,YC,ZC,1)T;dx和dy分别表示每个像素在横轴和纵轴的物理单位下的大小;f表示摄像头的焦距;s表示摄像头成像平面坐标轴相互不正交引出的倾斜因子;R代表旋转矩阵,阵列x*x的单位矩阵(一般是3um*3um);t表示平移向量;I是元素为1的对角矩阵;O是(0,0,0)T。
毫米波雷达获取的前方障碍物信息是在极坐标下的二维信息,将障碍物P的极坐标下的二维信息转换到直角坐标系中,雷达坐标系的X0O0Z0平面与世界坐标系的XOZ平面平行,两平面之间的距离为Y0,通过雷达可以得到前方车辆中心点投影到雷达扫射平面内的点P相对于雷达的距离R和角度α,确定P点在世界坐标系下的坐标,转换关系如下:
由雷达获得前方车辆形心点的输入,综合以上建立雷达坐标系和图像像素坐标系的相对关系,即可获得前方车辆在像素的投影,给予车辆的常用外形(宽高比)投影到像素平面上,建立可以根据距离变化的动态感兴趣区域ROI,缩小在图像上的搜索时间,减少计算量。
融合处理数据提取特征值之后,判断是否为兴趣目标,如果不是兴趣目标,则返回初始端重新进行雷达检测和视觉检测。如果是兴趣目标,则进入相应的报警策略和主动安全策略。
行人碰撞预警:当行人处于前方车辆检测区域时,前方一定区域范围内都用黄色方框标记,这里区域暂定为90m。此时车辆速度>行人速度;
(1)车速v0=10km/h~40km/h,行人在30m范围内,红色方框标记行人,且主机示意危险警告界面,同时蜂鸣器鸣叫5声,频率1Hz;
(2)车速v0=40km/h~60km/h,行人在40m范围内,红色方框标记行人,且主机示意危险警告界面,同时蜂鸣器鸣叫4声,频率1Hz;
(3)车速v0=60km/h~80km/h,行人在50m范围内,红色方框标记行人,且主机示意危险警告界面,同时蜂鸣器鸣叫3声,频率1Hz;
(4)车速>80km/h,行人距离超过60m,红色方框标记行人,且主机示意危险警告界面,同时蜂鸣器鸣叫3声,频率1Hz。
车辆碰撞预警:当机动车、自动车、摩托车等处于前方车辆检测区域时,前方一定区域范围内都用黄色方框标记,这里区域暂定为90m。此时本车速度>前车速度;
(1)本车车速v0=10km/h~40km/h,前车在40m范围内,红色方框标记前车,且主机示意危险警告界面,同时蜂鸣器鸣叫5声,频率1Hz;
(2)本车车速v0=40km/h~60km/h,前车在50m范围内,红色方框标记前车,且主机示意危险警告界面,同时蜂鸣器鸣叫4声,频率1Hz;
(3)本车车速v0=60km/h~80km/h,前车在60m范围内,红色方框标记前车,且主机示意危险警告界面,同时蜂鸣器鸣叫3声,频率1Hz;
(4)本车车速>80km/h,前车距离超过70m,红色方框标记前车,且主机示意危险警告界面,同时蜂鸣器鸣叫3声,频率1Hz。
报警策略应用的是在距离本车相对一定距离的目标给予视觉和听觉的报警感知。在近距离的情况下,驾驶员如果仍然没有刹车,此时就会有发生碰撞的危险。因此在未达到危险碰撞距离之前,主动安全策略就要启动。
主动安全策略可以参考AEB(Autonomous Emergency Braking)自动刹车辅助系统的安全策略。AEB也会有预碰撞报警信息,夜视系统报警策略可以和AEB报警策略做融合处理,主要参数是碰撞时间TTC(time to collision),假设本车车速是v0,目标速度是v1,本车和目标的距离是S,则
AEB策略目前已经是比较成熟的保护策略,即发现感兴趣目标时,夜视主动安全系统经历预碰撞报警-碰撞制动辅助-紧急制动,因AEB主动安全已经成熟,而且广泛应用,所以本文不再赘述。
综上所述,红外摄像头和毫米波雷达信号融合的车载夜视系统,可以通过理论和实践试验进行论证。理论证明可以应用证据理论dempster-shafter,试验是采集夜间行车的视频数据,统计前车、行人、自行车、摩托车等识别的数据,和主观判断相比较。主动安全是基于毫米波雷达的AEB功能进行论证。通过建立明确的报警策略和主动安全策略,可以有效的减少夜晚交通事故的发生,优化交通环境,提高交通安全,让出生命通道。
上面结合附图对本发明进行了示例性描述,显然本发明具体实现并不受上述方式的限制,只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进,或未经改进将本发明的构思和技术方案直接应用于其它场合的,均在本发明的保护范围之内。
Claims (9)
1.一种车载夜视安全方法,其特征在于,包括以下步骤:
1)通过雷达信号采集汽车前方障碍物速度信号和距离信号的雷达采集步骤;
2)根据前方障碍物速度信号和本车速度获取障碍物相对速度的相对速度计算步骤;
3)通过摄像采集汽车前方影像信号的摄像头采集步骤;
4)将摄像采集和雷达信号采集建立在同一坐标系下的同坐标系步骤;
5)将汽车前方影像信号进行显示的显示步骤;
6)根据相对速度和距离信号判断是否存在碰撞风险的判断步骤;
7)将存在碰撞风险的障碍物在显示中标记的标记步骤。
2.根据权利要求1所述的车载夜视安全方法,其特征在于,还包括:8)当存在碰撞风险的障碍物时进行声音报警的报警步骤。
3.根据权利要求2所述的车载夜视安全方法,其特征在于,包括以下步骤,还包括:
9)判断达到触发主动安全策略条件的判断步骤;
10)当达到触发主动安全策略条件执行主动制动的执行步骤。
4.根据权利要求1、2或3所述的车载夜视安全方法,其特征在于,所述5)显示步骤中,还包括判断影像中障碍物类别的判断步骤,障碍物类别包括:行人、机动车、非机动车。
5.根据权利要求4所述的车载夜视安全方法,其特征在于:所述5)显示步骤中,还包括标记行人、机动车、非机动车的预报警步骤。
6.根据权利要求1或5所述的车载夜视安全方法,其特征在于:所述4)同坐标系步骤包括以下步骤:
将世界坐标系中的点(XW,YW,ZW)转换为汽车前方影像坐标系(u,v),转换公式如下所示:
式中,(XW,YW,ZW,1)T是点的世界坐标,与其对应的摄像机齐次坐标是(XC,YC,ZC,1)T;
dx和dy分别表示每个像素在横轴和纵轴的物理单位下的大小;
f表示摄像头的焦距;
s表示摄像头成像平面坐标轴相互不正交引出的倾斜因子;
R代表旋转矩阵;
阵列x*x的单位矩阵;
t表示平移向量;
I是元素为1的对角矩阵;
O是(0,0,0)T;
雷达信号获取的前方障碍物信息是在极坐标下的二维信息,将障碍物P的极坐标下的二维信息转换到直角坐标系中,雷达坐标系的X0O0Z0平面与世界坐标系的XOZ平面平行,两平面之间的距离为Y0,通过雷达可以得到前方车辆中心点投影到雷达扫射平面内的点P相对于雷达的距离R和角度α,确定P点在世界坐标系下的坐标,转换关系如下:
从而将摄像采集和雷达信号采集建立在同一坐标系下。
7.根据权利要求6所述的车载夜视安全方法,其特征在于:所述6)判断步骤包括:
当前方障碍物为行人,且达到以下任一条件则判断为存在碰撞风险:
当前车速为10km/h~40km/h,与障碍物距离小于30m;
当前车速为40km/h~60km/h,与障碍物距离小于40m;
当前车速为60km/h~80km/h,与障碍物距离小于50m;
当前车速为>80km/h,与障碍物距离小于90m;
当前方障碍物为机动车、非机动车,且此时本车速度>前车速度,若达到以下任一条件则判断为存在碰撞风险:
当前车速为10km/h~40km/h,与障碍物距离小于40m;
当前车速为40km/h~60km/h,与障碍物距离小于50m;
当前车速为60km/h~80km/h,与障碍物距离小于60m;
当前车速为>80km/h,与障碍物距离小于90m。
8.一种车载夜视安全系统,其特征在于,包括以下部件:
1)通过雷达信号采集汽车前方障碍物速度信号和距离信号的毫米波雷达;
2)根据前方障碍物速度信号和本车速度获取障碍物相对速度的相对速度计算模块;
3)通过摄像采集汽车前方影像信号的红外摄像头;
4)将摄像采集和雷达信号采集建立在同一坐标系下的同坐标系模块;
5)将汽车前方影像信号进行显示的车载显示器;
6)根据相对速度和距离信号判断是否存在碰撞风险的判断模块;
7)将存在碰撞风险的障碍物在显示中标记的标记模块。
9.根据权利要求8所述车载夜视安全系统,其特征在于,还包括:
8)当存在碰撞风险的障碍物时进行声音报警的声音报警器;
9)判断达到触发主动安全策略条件的判断模块;
10)当达到触发主动安全策略条件执行主动制动的AEB。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911184308.5A CN110816527A (zh) | 2019-11-27 | 2019-11-27 | 一种车载夜视安全方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911184308.5A CN110816527A (zh) | 2019-11-27 | 2019-11-27 | 一种车载夜视安全方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110816527A true CN110816527A (zh) | 2020-02-21 |
Family
ID=69541763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911184308.5A Pending CN110816527A (zh) | 2019-11-27 | 2019-11-27 | 一种车载夜视安全方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110816527A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112158181A (zh) * | 2020-09-29 | 2021-01-01 | 奇瑞汽车股份有限公司 | 车辆制动的方法和装置 |
CN112277938A (zh) * | 2020-10-16 | 2021-01-29 | 北京三快在线科技有限公司 | 车辆控制方法、装置、存储介质、主动安全系统及车辆 |
CN112606804A (zh) * | 2020-12-08 | 2021-04-06 | 东风汽车集团有限公司 | 一种车辆主动制动的控制方法及控制系统 |
CN113581080A (zh) * | 2021-08-18 | 2021-11-02 | 苏州双福智能科技有限公司 | 一种新能源汽车用倒车盲区辅助显示装置 |
CN113936101A (zh) * | 2021-10-18 | 2022-01-14 | 北京茵沃汽车科技有限公司 | 在3d全景图的接缝区域内还原消失物体的方法、装置 |
CN115273552A (zh) * | 2022-09-19 | 2022-11-01 | 南通立信自动化有限公司 | 一种汽车仪表的hmi控制系统 |
CN115964446A (zh) * | 2022-12-18 | 2023-04-14 | 北京工业大学 | 一种基于移动端的雷达数据交互处理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005173663A (ja) * | 2003-12-05 | 2005-06-30 | Fuji Heavy Ind Ltd | 車両の走行制御装置 |
CN102542843A (zh) * | 2010-12-07 | 2012-07-04 | 比亚迪股份有限公司 | 防止车辆碰撞的预警方法及装置 |
CN104637059A (zh) * | 2015-02-09 | 2015-05-20 | 吉林大学 | 基于毫米波雷达和机器视觉的夜间前方车辆检测方法 |
CN105015411A (zh) * | 2015-07-03 | 2015-11-04 | 河南工业技术研究院 | 一种基于视频融合的汽车微波雷达防撞预警方法及系统 |
CN109747530A (zh) * | 2017-11-02 | 2019-05-14 | 郭宇铮 | 一种双摄像头和毫米波融合汽车感知系统 |
-
2019
- 2019-11-27 CN CN201911184308.5A patent/CN110816527A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005173663A (ja) * | 2003-12-05 | 2005-06-30 | Fuji Heavy Ind Ltd | 車両の走行制御装置 |
CN102542843A (zh) * | 2010-12-07 | 2012-07-04 | 比亚迪股份有限公司 | 防止车辆碰撞的预警方法及装置 |
CN104637059A (zh) * | 2015-02-09 | 2015-05-20 | 吉林大学 | 基于毫米波雷达和机器视觉的夜间前方车辆检测方法 |
CN105015411A (zh) * | 2015-07-03 | 2015-11-04 | 河南工业技术研究院 | 一种基于视频融合的汽车微波雷达防撞预警方法及系统 |
CN109747530A (zh) * | 2017-11-02 | 2019-05-14 | 郭宇铮 | 一种双摄像头和毫米波融合汽车感知系统 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112158181A (zh) * | 2020-09-29 | 2021-01-01 | 奇瑞汽车股份有限公司 | 车辆制动的方法和装置 |
CN112277938A (zh) * | 2020-10-16 | 2021-01-29 | 北京三快在线科技有限公司 | 车辆控制方法、装置、存储介质、主动安全系统及车辆 |
WO2022078124A1 (zh) * | 2020-10-16 | 2022-04-21 | 北京三快在线科技有限公司 | 车辆控制方法、装置、存储介质、主动安全系统及车辆 |
CN112606804A (zh) * | 2020-12-08 | 2021-04-06 | 东风汽车集团有限公司 | 一种车辆主动制动的控制方法及控制系统 |
CN112606804B (zh) * | 2020-12-08 | 2022-03-29 | 东风汽车集团有限公司 | 一种车辆主动制动的控制方法及控制系统 |
CN113581080A (zh) * | 2021-08-18 | 2021-11-02 | 苏州双福智能科技有限公司 | 一种新能源汽车用倒车盲区辅助显示装置 |
CN113936101A (zh) * | 2021-10-18 | 2022-01-14 | 北京茵沃汽车科技有限公司 | 在3d全景图的接缝区域内还原消失物体的方法、装置 |
CN115273552A (zh) * | 2022-09-19 | 2022-11-01 | 南通立信自动化有限公司 | 一种汽车仪表的hmi控制系统 |
CN115964446A (zh) * | 2022-12-18 | 2023-04-14 | 北京工业大学 | 一种基于移动端的雷达数据交互处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110816527A (zh) | 一种车载夜视安全方法和系统 | |
CN110077399B (zh) | 一种基于道路标线、车轮检测融合的车辆防碰撞方法 | |
CN110065494B (zh) | 一种基于车轮检测的车辆防碰撞方法 | |
CN106485233B (zh) | 可行驶区域检测方法、装置和电子设备 | |
Gandhi et al. | Pedestrian protection systems: Issues, survey, and challenges | |
CN102556071B (zh) | 全挡风玻璃平视显示器上的车辆威胁识别 | |
KR101891460B1 (ko) | 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치 | |
CN113998034A (zh) | 骑乘者辅助系统和方法 | |
CN110045736B (zh) | 一种基于无人机的弯道障碍物避让方法 | |
CN102685516A (zh) | 立体视觉主动安全辅助驾驶方法 | |
CN106845332B (zh) | 利用轮胎旁溅的基于视觉的潮湿路面状况检测 | |
CN106324618B (zh) | 实现基于激光雷达检测车道线系统的方法 | |
JP4415856B2 (ja) | 周囲感知システムによって路上車両の前方周囲を検出するための方法 | |
CN202071799U (zh) | 智能化汽车安全警示装置 | |
JP2006184276A (ja) | 視覚検知による全天候障害物衝突防止装置とその方法 | |
CN111413983A (zh) | 一种无人驾驶车辆的环境感知方法及控制端 | |
CN107229906A (zh) | 一种基于可变部件模型算法的汽车超车预警方法 | |
CN108528337B (zh) | 一种基于视频投影的内轮差智能预警系统及预警方法 | |
CN105711501A (zh) | 一种基于汽车环视相机的盲区中车辆监测方法及系统 | |
CN108021899A (zh) | 基于双目相机的车载智能前车防撞预警方法 | |
CN114537374A (zh) | 一种基于可行驶区域的车辆前方防碰撞系统 | |
CN115876198A (zh) | 基于数据融合的目标检测及预警方法、设备、系统和介质 | |
Jung et al. | Isrss: Integrated side/rear safety system | |
CN113884090A (zh) | 智能平台车环境感知系统及其数据融合方法 | |
CN114084129A (zh) | 一种基于融合的车辆自动驾驶控制方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200221 |