CN115923648B - 一种基于信息融合的夜间行驶车辆检测方法及处理终端 - Google Patents

一种基于信息融合的夜间行驶车辆检测方法及处理终端 Download PDF

Info

Publication number
CN115923648B
CN115923648B CN202211412879.1A CN202211412879A CN115923648B CN 115923648 B CN115923648 B CN 115923648B CN 202211412879 A CN202211412879 A CN 202211412879A CN 115923648 B CN115923648 B CN 115923648B
Authority
CN
China
Prior art keywords
high beam
millimeter wave
wave radar
information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211412879.1A
Other languages
English (en)
Other versions
CN115923648A (zh
Inventor
陈映谦
石智伟
罗浩文
黄澍
邹俊辉
何中杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202211412879.1A priority Critical patent/CN115923648B/zh
Publication of CN115923648A publication Critical patent/CN115923648A/zh
Application granted granted Critical
Publication of CN115923648B publication Critical patent/CN115923648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于信息融合的夜间行驶车辆检测方法及处理终端,该方法包括:基于雷达信息和/或视觉信息求解远光屏蔽角;设定智能远光系统的光源在Oa处,光源的前向照射方向为Za,垂直Za向右为Xa,即智能远光系统的照射面为XaOaZa面;定义αmin~αmax范围为远光屏蔽角,当远光在αmin~αmax范围之外照射时,避免本车对目标车辆照成眩目,即αmin~αmax范围涵盖的区域确定了非远光照射区域,αmin和αmax通过下式可求得;本发明提出一种基于信息融合的夜间行驶车辆检测方法及处理终端,旨在帮助智能远光系统避免对前方车辆进行远光直射,防止造成其它车辆眩目从而确保夜间行驶安全。

Description

一种基于信息融合的夜间行驶车辆检测方法及处理终端
技术领域
本发明属于目标检测领域,涉及一种基于信息融合的夜间行驶车辆检测方法及处理终端。
背景技术
随着我国汽车保有量的提高以及交通压力日益严峻,夜间行车安全成为社会广泛关注和研究的重点。对夜间行驶车辆进行有效检测,通过传感器获取全面的前车信息,从而实现汽车碰撞提前预警和智能远光照射,是保障夜间行驶安全的基本前提。但是不同传感器具有各自的性能特点,利用单一类型传感器无法完全满足对环境感知的需求。目前,基于信息融合的车辆检测方案一般先通过毫米波雷达进行车辆检测,从而产生感兴趣区域,再由基于视觉的车辆检测算法对感兴趣区域进行进一步检测。这一检测流程容易因毫米波雷达的错误检测而导致目标漏检,同时,在感兴趣区域上进行视觉检测,使得视觉检测方法缺乏全局的视野,从而丢失部分上下文信息,容易造成目标误检。因此,通过单一传感器分别进行初步的车辆检测,再将检测结果于决策层进行融合将更能发挥传感器优势互补的作用,是鲁棒性更高的选择。另外,目前大多数基于信息融合的车辆检测算法都旨在为ADAS系统提供位置、速度和类别信息,但是在夜间车辆行驶的过程中,智能安全的远光灯照射也是夜间车辆安全行驶的重要保障。
发明内容
本发明的目的在于克服现有技术的缺点和不足,提出一种基于信息融合的夜间行驶车辆检测方法及处理终端,旨在帮助智能远光系统避免对前方车辆进行远光直射,防止造成其它车辆眩目从而确保夜间行驶安全。
为此,本发明的公开了一种基于信息融合的夜间行驶车辆检测方法,所述方法包括:基于雷达信息和/或视觉信息求解远光屏蔽角;
设定智能远光系统的光源在Oa处,光源的前向照射方向为Za,垂直Za向右为Xa,即智能远光系统的照射面为XaOaZa面;
定义αmin~αmax范围为远光屏蔽角,当远光在αmin~αmax范围之外照射时,避免本车对目标车辆照成眩目,即αmin~αmax范围涵盖的区域确定了非远光照射区域,αmin和αmax通过下式可求得;
优选地,所述基于雷达信息和/或视觉信息求解远光屏蔽角,包括:
滤波后的毫米波雷达点投影到像素坐标系;
当毫米波雷达点包含在视觉检测所得的目标框内,则将利用视觉检测的边框信息求取远光屏蔽角;
仅有毫米波雷达点,则基于基于雷达信息来求解远光屏蔽角;
视觉检测所得的目标框不包含毫米波雷达点,基于相机目标未与毫米波雷达目标匹配程度来设置求解远光屏蔽角的方法。
优选地,所述当毫米波雷达点包含在视觉检测所得的目标框内,则将利用视觉检测的边框信息求取远光屏蔽角,包括:
毫米波雷达点包含在视觉检测所得的目标框内;
利用视觉检测的边框信息求取远光屏蔽角,采用视觉检测的类别信息;当视觉探测所得目标框内包含多个毫米波雷达点时,将距离最近的点与视觉检测结果进行匹配,采用该毫米波雷达点的位置和速度信息,框内的其它雷达点则舍弃;
输出远光屏蔽角和类别信息、相对位置和相对速度。
优选地,所述仅有毫米波雷达点,则基于基于雷达信息来求解远光屏蔽角,包括:
仅有毫米波雷达点;
视觉部分的检测存在漏检现象,将雷达点的类别默认设定为car.forward,求采用基于毫米雷达来求解远光屏蔽角;
由于一个目标可能存在多个毫米波雷达点,应将车辆范围在毫米波雷达坐标系上进行y方向的合并,选取距离最近的用于合并的毫米波雷达点作为检测目标,采用其位置和速度信息;
输出远光屏蔽角、默认类别car.forward、相对位置和相对速度。
优选地,所述视觉检测所得的目标框不包含毫米波雷达点,基于相机目标未与毫米波雷达目标匹配程度来设置求解远光屏蔽角的方法,包括:
视觉检测所得的目标框不包含毫米波雷达点,
当相机目标未与毫米波雷达目标匹配且score≤65%时,将其作为误检目标,不予输出;当时score>65%且目标的行驶状态属性不为stop时,基于视觉信息求取远光屏蔽角;
输出远光屏蔽角和类别信息。
优选地,所述基于雷达信息求解远光屏蔽角,包括:
当系统拥有基于毫米波雷达检测的目标信息时,雷达点的位置处在毫米波雷达坐标系XrYrZr-Or中的XrOrYr平面上,假设具体位置为(xr,yr,0),进行毫米波雷达坐标系到智能远光系统坐标系的转换,通过以下公式,可得智能远光系统坐标系上相应的位置:
通过毫米波雷达信息求取远光屏蔽角时,首先以探测的毫米波雷达点(xr,yr)为目标物体中心,以汽车对角边d为直径,确定物体在Xr轴上的范围为再转换到智能远光系统坐标系下,可得范围(xa1,za1)~(xa2,za2),最后结合由毫米波雷达探测的z值,通过公式/>便可获得远光屏蔽角αmin~αmax
优选地,所述视觉信息求解远光屏蔽角,包括:当系统拥有基于视觉信息检测的目标时,可以获得目标车辆在像素坐标系下的宽度范围(u1,v1)~(u2,v2),利用智能远光系统坐标结合公式/>便可获得远光屏蔽角αmin~αmax
本发明的第二个目的可以通过采取如下技术方案达到:
一种处理终端,包括处理器以及用于存储处理器可执行程序的存储器,所述处理器执行存储器存储的程序时,所述处理终端执行时,实现上述的一种基于信息融合的夜间行驶车辆检测方法。
本发明通过基于雷达信息和/或视觉信息求解远光屏蔽角;
设定智能远光系统的光源在Oa处,光源的前向照射方向为Za,垂直Za向右为Xa,即智能远光系统的照射面为XaOaZa面;
定义αmin~αmax范围为远光屏蔽角,当远光在αmin~αmax范围之外照射时,避免本车对目标车辆照成眩目,即αmin~αmax范围涵盖的区域确定了非远光照射区域,αmin和αmax通过下式可求得;将毫米波雷达与视觉相机的时空融合,实现数据在时空上的统一,通过目标匹配算法将获取的毫米波雷达检测结果和视觉检测结果进行关联,获取车辆的远光屏蔽角;帮助智能远光系统避免对前方车辆进行远光直射,防止造成其它车辆眩目从而确保夜间行驶安全。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,标示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种基于信息融合的夜间行驶车辆检测方法的流程图;
图2为本发明一种基于信息融合的夜间行驶车辆检测方法的远光屏蔽角求解示意图;
图3为本发明一种基于信息融合的夜间行驶车辆检测方法的信息融合示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一种该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提供一种基于信息融合的夜间行驶车辆检测方法,参考图1-2,设定智能远光系统的光源在Oa处,光源的前向照射方向为Za,垂直Za向右为Xa,即智能远光系统的照射面为XaOaZa面。定义αmin~αmax范围为远光屏蔽角,当远光在αmin~αmax范围之外照射时,可以避免本车对目标车辆照成眩目,即αmin~αmax范围涵盖的区域确定了非远光照射区域,αmin和αmax通过下式可求得。
同时,分别设计了基于毫米雷达和视觉信息的远光屏蔽角求解方法。
基于毫米雷达的远光屏蔽角求解方法
当系统拥有基于毫米波雷达检测的目标信息时,雷达点的位置处在毫米波雷达坐标系XrYrZr-Or中的XrOrYr平面上,假设具体位置为(xr,yr,0),首先进行毫米波雷达坐标系到智能远光系统坐标系的转换,通过以下公式,可得智能远光系统坐标系上相应的位置:
通过毫米波雷达信息求取远光屏蔽角时,首先以探测的毫米波雷达点(xr,yr)为目标物体中心,以汽车对角边d为直径,确定物体在Xr轴上的范围为再转换到智能远光系统坐标系下,可得范围(xa1,za1)~(xa2,za2),最后结合由毫米波雷达探测的z值,通过公式(1-1)便可获得远光屏蔽角αmin~αmax
(2)基于视觉信息的远光屏蔽角求解方法
当系统拥有基于视觉信息检测的目标时,可以获得目标车辆在像素坐标系下的宽度范围(u1,v1)~(u2,v2),利用智能远光系统坐标结合公式(1-1)便可获得远光屏蔽角αmin~αmax
在信息融合方面,设计了目标匹配算法,关联不同传感器的检测结果,输出综合的目标信息。
本发明通过基于雷达信息和/或视觉信息求解远光屏蔽角;
设定智能远光系统的光源在Oa处,光源的前向照射方向为Za,垂直Za向右为Xa,即智能远光系统的照射面为XaOaZa面;
定义αmin~αmax范围为远光屏蔽角,当远光在αmin~αmax范围之外照射时,避免本车对目标车辆照成眩目,即αmin~αmax范围涵盖的区域确定了非远光照射区域,αmin和αmax通过下式可求得;将毫米波雷达与视觉相机的时空融合,实现数据在时空上的统一,通过目标匹配算法将获取的毫米波雷达检测结果和视觉检测结果进行关联,获取车辆的远光屏蔽角;帮助智能远光系统避免对前方车辆进行远光直射,防止造成其它车辆眩目从而确保夜间行驶安全
如图3所示,将滤波后的毫米波雷达点投影到像素坐标系,毫米波雷达点和视觉检测所得的目标在像素坐标系下主要呈现出三种情况:(a)毫米波雷达点包含在视觉检测所得的目标框内;(b)仅有毫米波雷达点;(c)视觉检测所得的目标框不包含毫米波雷达点。
其中矩形框代表目标检测所得的目标框,黑色原点为投影到像素坐标系的雷达点。
然后,针对不同的情况制定相应的目标匹配算法:
(a)毫米波雷达点包含在视觉检测所得的目标框内:这种情况下,可认为两种方法的检测结果一致,利用视觉检测的边框信息求取远光屏蔽角,采用视觉检测的类别信息;当视觉探测所得目标框内包含多个毫米波雷达点时,将距离最近的点与视觉检测结果进行匹配,采用该毫米波雷达点的位置和速度信息,框内的其它雷达点则舍弃。最终输出远光屏蔽角和类别信息、相对位置和相对速度。
(b)仅有毫米波雷达点:这种情况下,可认为视觉部分的检测存在漏检现象,将雷达点的类别默认设定为car.forward,求采用基于毫米雷达来求解远光屏蔽角。由于一个目标可能存在多个毫米波雷达点,应将车辆范围在毫米波雷达坐标系上进行y方向的合并,选取距离最近的用于合并的毫米波雷达点作为检测目标,采用其位置和速度信息。最终输出远光屏蔽角、默认类别car.forward、相对位置和相对速度。
(c)视觉检测所得的目标框不包含毫米波雷达点:当相机目标未与毫米波雷达目标匹配且score≤65%时,将其作为误检目标,不予输出;反之,当时score>65%且目标的行驶状态属性不为stop时,基于视觉信息求取远光屏蔽角。最终输出远光屏蔽角和类别信息。
本发明分别设计了基于毫米波雷达和视觉信息的远光屏蔽角求解方法。
在设计了基于单传感器的远光屏蔽角求解方法的基础上,设计了目标匹配算法,对源于不同传感器的车辆检测结果进行关联,从而实现基于信息融合的远光屏蔽角求解,为车辆检测结果赋予更加全面的信息。
基于信息融合的夜间行驶车辆检测方法在全面检测车辆行驶状态的同时,还能减少基于单传感器而产生的漏检和误检现象。
实施例2
本实施例提供了一种处理终端,包括处理器以及用于存储处理器可执行程序的存储器,处理器执行存储器存储的程序时,处理终端实现上述实施例1的一种基于信息融合的夜间行驶车辆检测方法。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种基于信息融合的夜间行驶车辆检测方法,其特征在于,所述方法包括:
基于雷达信息和/或视觉信息求解远光屏蔽角;
设定智能远光系统的光源在Oa处,光源的前向照射方向为Za,垂直于所述前向照射方向Za的向右照射方向为Xa,所述前向照射方向Za、所述向右照射方向为Xa和所述光源Oa组成智能远光系统的照射面XaOaZa面;
定义αmin~αmax范围为远光屏蔽角,当远光在αmin~αmax范围之外照射时,避免本车对目标车辆照成眩目,即αmin~αmax范围涵盖的区域确定了非远光照射区域,αmin和αmax通过下式可求得;
基于雷达信息求解远光屏蔽角,包括:
当系统拥有基于毫米波雷达检测的目标信息时,雷达点的位置处在毫米波雷达坐标系XrYrZr-Or中的XrOrYr平面上,假设具体位置为(xr,yr,0),进行毫米波雷达坐标系到智能远光系统坐标系的转换,通过以下公式,可得智能远光系统坐标系上相应的位置:
通过毫米波雷达信息求取远光屏蔽角时,首先以探测的毫米波雷达点(xr,yr)为目标物体中心,以汽车对角边d为直径,确定物体在Xr轴上的范围为再转换到智能远光系统坐标系下,可得范围(xa1,za1)~(xa2,za2),最后结合由毫米波雷达探测的z值,通过公式/>便可获得远光屏蔽角αmin~αmax
所述视觉信息求解远光屏蔽角,包括:当系统拥有基于视觉信息检测的目标时,可以获得目标车辆在像素坐标系下的宽度范围(u1,v1)~(u2,v2),利用智能远光系统坐标结合公式/>便可获得远光屏蔽角αmin~αmax
所述基于雷达信息和/或视觉信息求解远光屏蔽角,包括:将滤波后的毫米波雷达点投影到像素坐标系;
当毫米波雷达点包含在视觉检测所得的目标框内,则将利用视觉检测的边框信息求取远光屏蔽角:
毫米波雷达点包含在视觉检测所得的目标框内时,利用视觉检测的边框信息求取远光屏蔽角,采用视觉检测的类别信息;当视觉探测所得目标框内包含多个毫米波雷达点时,将距离最近的点与视觉检测结果进行匹配,采用该毫米波雷达点的位置和速度信息,框内的其它雷达点则舍弃;
输出远光屏蔽角和类别信息、相对位置和相对速度;
仅有毫米波雷达点,则基于雷达信息来求解远光屏蔽角:
仅有毫米波雷达点时,视觉部分的检测存在漏检现象,将雷达点的类别默认设定为car.forward,求采用基于毫米雷达来求解远光屏蔽角;
由于一个目标可能存在多个毫米波雷达点,应将车辆范围在毫米波雷达坐标系上进行y方向的合并,选取距离最近的用于合并的毫米波雷达点作为检测目标,采用其位置和速度信息;
输出远光屏蔽角、默认类别car.forward、相对位置和相对速度;
视觉检测所得的目标框不包含毫米波雷达点,基于相机目标未与毫米波雷达目标匹配程度来设置求解远光屏蔽角的方法:
视觉检测所得的目标框不包含毫米波雷达点,当相机目标未与毫米波雷达目标匹配且score≤65%时,将其作为误检目标,不予输出;当时score>65%且目标的行驶状态属性不为stop时,基于视觉信息求取远光屏蔽角;
输出远光屏蔽角和类别信息。
2.一种处理终端,其特征在于,包括处理器以及用于存储处理器可执行程序的存储器,所述处理器执行存储器存储的程序时,所述处理终端执行如权利要求1中所述的方法。
CN202211412879.1A 2022-11-11 2022-11-11 一种基于信息融合的夜间行驶车辆检测方法及处理终端 Active CN115923648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211412879.1A CN115923648B (zh) 2022-11-11 2022-11-11 一种基于信息融合的夜间行驶车辆检测方法及处理终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211412879.1A CN115923648B (zh) 2022-11-11 2022-11-11 一种基于信息融合的夜间行驶车辆检测方法及处理终端

Publications (2)

Publication Number Publication Date
CN115923648A CN115923648A (zh) 2023-04-07
CN115923648B true CN115923648B (zh) 2024-03-26

Family

ID=86651468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211412879.1A Active CN115923648B (zh) 2022-11-11 2022-11-11 一种基于信息融合的夜间行驶车辆检测方法及处理终端

Country Status (1)

Country Link
CN (1) CN115923648B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH380240A (it) * 1958-11-10 1964-07-31 Allioni Carlo Dott Proiettore per autoveicolo adattato per ottenere un effetto anabbagliante
CN114445733A (zh) * 2021-12-22 2022-05-06 武汉理工大学 一种基于机器视觉、雷达和WiFi的夜间道路信息感知系统及信息融合方法
CN114660590A (zh) * 2022-03-25 2022-06-24 南京鼐云信息技术有限责任公司 一种基于毫米波雷达和视觉传感器的车辆检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH380240A (it) * 1958-11-10 1964-07-31 Allioni Carlo Dott Proiettore per autoveicolo adattato per ottenere un effetto anabbagliante
CN114445733A (zh) * 2021-12-22 2022-05-06 武汉理工大学 一种基于机器视觉、雷达和WiFi的夜间道路信息感知系统及信息融合方法
CN114660590A (zh) * 2022-03-25 2022-06-24 南京鼐云信息技术有限责任公司 一种基于毫米波雷达和视觉传感器的车辆检测方法

Also Published As

Publication number Publication date
CN115923648A (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
JP7088135B2 (ja) 信号表示推定システム
JP5600332B2 (ja) 運転支援装置
JP5906224B2 (ja) 車外環境認識装置
JP5855272B2 (ja) ブレーキ状況を認識する方法および装置
JP6132412B2 (ja) 車外環境認識装置
JP6085522B2 (ja) 画像処理装置
JP6227898B2 (ja) 画像処理装置
JP6034923B1 (ja) 車外環境認識装置
WO2020196513A1 (ja) 物体検出装置
JP6236039B2 (ja) 車外環境認識装置
JP2005350010A (ja) ステレオ式車外監視装置
JP2008304344A (ja) 物標検出装置
TW201526638A (zh) 車用障礙物偵測顯示系統
JP5955291B2 (ja) フィルタリング装置および環境認識システム
CN115923648B (zh) 一种基于信息融合的夜间行驶车辆检测方法及处理终端
JP5919110B2 (ja) 入射光解析装置、防眩制御装置および入射光解析方法
JP2003267125A (ja) 前照灯照射範囲制御方法及び前照灯装置
KR20110132920A (ko) 차량의 전방 광원 인식 방법
JP6174960B2 (ja) 車外環境認識装置
JP2009048566A (ja) 車両検出装置
JP4151571B2 (ja) 車載用障害物検出装置
JP7084223B2 (ja) 画像処理装置および車両用灯具
JP3532896B2 (ja) スミア検出方法及びこのスミア検出方法を用いた画像処理装置
JP5859897B2 (ja) 車載カメラ装置
CN110979161A (zh) 车灯的控制方法、系统及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant