CN109859235A - 一种夜间移动车灯跟踪检测系统、方法及设备 - Google Patents

Abstract

本发明公开了一种夜间移动车灯跟踪检测系统、方法及设备，为了解决夜间无法准确捕捉车灯目标的问题，提出了一种激光与视觉相结合的跟踪检测系统。本发明采用移动车灯、激光检测单元、图像检测单元、数据通信单元、控制处理单元及稳压电源单元，将激光脉冲和视觉图像参数进行融合，实现夜间场景车灯目标采集、捕捉、跟踪及精确定位；本发明充分利用激光不受夜间限制，能够准确地对目标进行测量，结合视觉图像能够识别大范围内多车灯目标优点，进行两种检测方法优势互补；本发明通过识别移动车灯位置来确定移动车辆位置，能够为会车时车灯切换控制乃至于降低夜间交通事故提供支持。

Description

一种夜间移动车灯跟踪检测系统、方法及设备

技术领域

本发明专利涉及一种夜间移动车灯跟踪检测系统、方法及设备，特别是采用激光和图像的方法来对夜间移动车灯目标进行识别。

背景技术

随着人们对驾驶的安全性和舒适性提出了越来越高的要求，研究新的照明技术来提高驾驶辅助安全具有重要的理论意义和实际应用价值。光线作为人类夜间接收的信息，灯光技术已经在路面辅助驾驶、车间辅助生产、家居辅助生活、以及广告精准推广等方面获得长足的应用，而对于灯光照明往往存在有用光线和有害光线。随着人类对灯光照明的舒适性提出了越来越高的要求，同时灯光照明技术的应用范围不断扩展，对其灯光检测变得越来越重要。因此，优质的灯光照明技术会给人类生产生活增加舒适性和安全保障，需要对夜间移动车灯目标进行实时跟踪检测。

机器视觉检测作为重要的信息感知手段，主要处理被图像传感器单帧或多帧采集后生成的数字图像，将待检测图像经过滤波处理、锐化处理、增强图像对比度处理等预处理后，对图像进行分割、变换、特征提取与匹配，最后进行分类检测辨识，对人眼在生理极限和快速性等方面是一个补充，能够在生产生活过程中对目标工件进行快速准确的检出。目前，常规的视觉图像传感对目标进行检测，具有检测距离远、检测范围大、工作效率高等优点，但是为了获得与灯光目标之间的距离参数，需要对摄像机进行标定校准和坐标匹配，同时受到视距图像传感在夜间基础照明差、恶劣雨雪天气、逆光以及路牌反射等影响；而常规的激光传感利用有限宽度的波束在空间传播发射，能够在视觉图像不擅长的夜间识别目标物，但是由于夜间下各种移动车灯目标以及其邻居移动障碍物目标，不能有效判别移动车灯和移动障碍物，同时由于激光单向性使得检测范围较窄，不能识别移动车灯目标的几何结构；采用激光传感与视觉传感相结合，能够在拓展目标检测维数的同时增强检测性能。

综上所述，针对夜间黑暗道路、城市复杂环境存在车灯难以识别的难点，存在夜间图像对比度低且车灯移动性使得形状会发生变化，同时存在其他光源乃至于外部反光对待检测移动车灯的干扰。为了最大限度保障夜间人类生活的舒适性，不会给目标行人造成光线干扰，需要对移动车灯目标进行实时跟踪的需求，可以采用激光传感结合视觉传感形成优势互补的检测系统。

目前使用传统的传感方法包含无线、视觉、激光、红外等，作为最基本的传感方式来对很多对象进行实时检测，本申请不是保护一种新的传感器或者传感原理，而是基于现有的传感检测原理进行研究。

发明内容

技术问题：本发明的目的是克服已有技术中的不足之处，提出一种夜间移动车灯跟踪检测系统、方法及设备，解决在夜间照明不足环境下对移动车灯目标无法检测，而无法实现对移动车灯目标的跟踪问题。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种夜间移动车灯跟踪检测系统，包括激光检测单元、图像检测单元、数据通信单元、控制处理单元和稳压电源单元；

移动车灯的光信号，作为被检测对象由激光检测单元和图像检测单元进行感知；

激光检测单元安装在移动车辆上，经过移动车灯的反射后接收移动车灯的脉冲信号，检测移动车辆与移动车灯距离；

图像检测单元实时感知移动车灯的多帧图像信息，通过对移动车灯的图像特性提取、分割以及识别，检测移动车辆与移动车灯距离；

数据通信单元用于将激光检测单元和图像检测单元获取的传感信息进行传输；

控制处理单元处理从数据通信单元上传输来的移动车灯距离对夜间移动车灯进行激光和图像检测协同感知，建立移动车辆和移动车灯距离关系，在车灯运动估计补偿下建立移动车灯在夜间感知视野中的映射模型，实现基于激光和图像检测的移动车灯位置参量解算；

所述稳压电源单元为跟踪检测系统提供电源。

激光检测单元经过移动车灯的反射后接收移动车灯的脉冲信号，检测移动车辆与移动车灯距离，具体包括以下步骤：

激光检测单元包括发射器，对发射器发出的信号进行分割并被移动车灯反射后，得到基于移动车辆与移动车灯之间反射信号的行程时长t_o，基于d_o＝ct_o/2计算移动车辆与移动车灯距离d_o，c为光速。

图像检测单元检测移动车辆与移动车灯距离，具体包括以下步骤：

图像检测单元通过摄像头实时感知移动车灯的每帧图像信息，对获取的每帧图像进行灰度处理，采用二值化和膨胀腐蚀开运算法对图像中为孤立点的噪声和超过距离限定值的车灯(遥远车灯)进行消除，基于移动车灯的车灯图像参数进行中心矩计算，得到移动车灯的像素坐标和其中p_i(x_i,y_i)为第i个像素点的图像灰度值，x_o和y_o为移动车灯像素坐标，(x_i,y_i)为第i个像素的空间坐标，s为车灯图像中像素点个数；

移动车灯为成对出现，结合形态学匹配选择符合距离要求的目标车灯，对视频图像中的移动车灯目标进行识别。

对车灯运动估计补偿下建立移动车灯在夜间感知视野中的映射模型为[x_o,y_o,1]＝R_a[x_w,y_w,z_w,1]，其中x_w，y_w和z_w为移动车灯坐标，R_a为变换矩阵。

一种夜间移动车灯跟踪检测方法，包括以下步骤：

步骤一：发射激光信号，激光信号被移动车灯反射，分割后得到横纵向分割的反射光，基于移动车辆与移动车灯之间反射信号的行程，得到基于移动车辆与移动车灯之间反射信号的行程时长t_o，计算移动车辆与移动车灯几何距离d_o；几何距离d_o计算公式为d_o＝ct_o/2；

步骤二：实时感知移动车灯的每帧图像信息，对获取的每帧图像进行灰度处理，采用二值化和膨胀腐蚀开运算法对图像中为孤立点的噪声和超过距离限定值的车灯(遥远车灯)进行消除，基于移动车灯的车灯图像参数进行中心矩计算，得到移动车灯的像素坐标和其中p_i(x_i,y_i)为第i个像素点的图像灰度值，x_o和y_o为移动车灯像素坐标，(x_i,y_i)为第i个像素的空间坐标，s为车灯图像中像素点个数；移动车灯为成对出现，结合形态学匹配选择符合距离要求的目标车灯，对视频图像中的移动车灯目标进行识别；

匹配是车灯总是成对出现的，如果检测到单个的光斑，就不认为是车灯；

步骤三：对夜间移动车灯进行激光和图像检测协同感知，采集并记录激光和图像检测的移动车灯距离和坐标，确定激光和图像检测下移动车辆和移动车灯距离关系，基于标定的不同坐标系下激光和图像数据进行坐标变换，在车灯运动估计补偿下融合激光和图像检测参数建立移动车灯在夜间感知视野中的映射模型，实现基于激光和图像检测的移动车灯位置参量解算。

一种计算设备，包括：一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行一种夜间移动车灯跟踪检测方法的指令。

一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行一种夜间移动车灯跟踪检测方法。

本发明的有益效果包括：本申请公开了一种夜间移动车灯跟踪检测系统、方法及设备，构建了用于夜间车灯跟踪的激光传感和视觉传感相结合的传感网络，通过激光信号和图像信号对移动车灯位置进行检测，实现夜间移动车灯的实时跟踪。在夜间，采用激光检测单元反射信号的时间差和反射角度得到移动车灯的距离参数，采用图像检测单元的视频图像得到移动车灯的距离参数，通过激光传感和视觉传感协同感知，使得移动车灯在基础照明差、存在逆光干扰等环境下能够被实时跟踪。本发明将激光和视觉组合感知用于移动车灯目标的定位，满足了夜间移动车灯的跟踪，克服了单一传感方法在目标实时跟踪效果上的缺陷，具有在夜间下检测范围大同时精度高的优点，在夜间移动车灯检测领域中具有极大的现实意义和应用价值。

附图说明

下面结合附图和实施例对本发明进一步说明；

图1为本发明的移动车灯跟踪检测系统结构示意图；

图2为本发明的移动车灯跟踪检测流程示意图；

图3为本发明的移动车灯图像检测原理示意图；

图4为本发明的移动车灯激光与图像联合检测结构图。

具体实施方式

下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

为了使本发明的技术手段、创作特征、工作流程、使用方法达成目的与功效，且为了使该评价方法易于明白了解，下面结合具体实施例，进一步阐述本发明。

如图1所示，一种夜间移动车灯跟踪检测系统，包括激光检测单元2、图像检测单元3、数据通信单元4、控制处理单元5和稳压电源单元6；

移动车灯1的光信号，作为被检测对象由激光检测单元2和图像检测单元3进行感知；

激光检测单元2安装在移动车辆上，经过移动车灯的反射后接收移动车灯的脉冲信号，检测移动车辆与移动车灯1距离；

图像检测单元3实时感知移动车灯1的多帧图像信息，通过对移动车灯1的图像特性提取、分割以及识别，检测移动车辆与移动车灯1距离；

数据通信单元4用于将激光检测单元2和图像检测单元3获取的传感信息进行传输；

控制处理单元5处理从数据通信单元4上传输来的移动车灯1距离对夜间移动车灯1进行激光和图像检测协同感知，建立移动车辆和移动车灯1距离关系，在车灯运动估计补偿下建立移动车灯1在夜间感知视野中的映射模型[x_o,y_o,1]＝R_a[x_w,y_w,z_w,1]，其中(x_o，y_o)为移动车灯1的像素坐标，(x_w，y_w，z_w)为移动车灯1的空间位置坐标，R_a为变换矩阵，实现基于激光和图像检测的移动车灯1位置参量解算；

所述稳压电源单元6为跟踪检测系统提供电源。

激光检测单元2经过移动车灯的反射后接收移动车灯的脉冲信号，检测移动车辆与移动车灯1距离，具体包括以下步骤：

激光检测单元2包括发射器，对发射器发出的信号进行分割并被移动车灯1反射后，得到基于移动车辆与移动车灯1之间反射信号的行程时长t_o，基于d_o＝ct_o/2计算移动车辆与移动车灯1距离d_o，c为光速。

图像检测单元3检测移动车辆与移动车灯1距离，具体包括以下步骤：

图像检测单元3通过摄像头实时感知移动车灯1的每帧图像信息，对获取的每帧图像进行灰度处理，采用二值化和膨胀腐蚀开运算法对图像中为孤立点的噪声和超过距离限定值的车灯(遥远车灯)进行消除，基于移动车灯1的车灯图像参数进行中心矩计算，得到移动车灯1的像素坐标和其中p_i(x_i,y_i)为第i个像素点的图像灰度值，x_o和y_o为移动车灯(1)像素坐标，(x_i,y_i)为第i个像素的空间坐标，s为车灯图像中像素点个数。

移动车灯1为成对出现，结合形态学匹配选择符合距离要求的目标车灯，对视频图像中的移动车灯1目标进行识别。

如图2和图3所示，一种夜间移动车灯跟踪检测方法，包括以下步骤：

步骤一：发射激光信号，激光信号被移动车灯1反射，分割后得到横纵向分割的反射光，基于移动车辆与移动车灯之间反射信号的行程，得到基于移动车辆与移动车灯1之间反射信号的行程时长t_o，计算移动车辆与移动车灯1几何距离d_o；几何距离d_o计算公式为d_o＝ct_o/2；

步骤二：实时感知移动车灯1的每帧图像信息，对获取的每帧图像进行灰度处理，采用二值化和膨胀腐蚀开运算法对图像中为孤立点的噪声和超过距离限定值的车灯(遥远车灯)进行消除，基于移动车灯1的车灯图像参数进行中心矩计算，得到移动车灯1的像素坐标和其中p_i(x_i,y_i)为第i个像素点的图像灰度值，x_o和y_o为移动车灯1像素坐标，(x_i,y_i)为第i个像素的空间坐标，s为车灯图像中像素点个数；移动车灯1为成对出现，结合形态学匹配选择符合距离要求的目标车灯，对视频图像中的移动车灯1目标进行识别；

匹配是车灯总是成对出现的，如果检测到单个的光斑，就不认为是车灯；

步骤三：对夜间移动车灯1进行激光和图像检测协同感知，采集并记录激光和图像检测的移动车灯1距离和坐标，确定激光和图像检测下移动车辆和移动车灯1距离关系，基于标定的不同坐标系下激光和图像数据进行坐标变换，在车灯运动估计补偿下融合激光和图像检测参数建立移动车灯1在夜间感知视野中的映射模型，实现基于激光和图像检测的移动车灯1位置参量解算。

一种计算设备，包括：一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行一种夜间移动车灯跟踪检测方法的指令。

一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行一种夜间移动车灯跟踪检测方法。

如图4所示，本申请移动车灯跟踪检测系统将激光信号和视觉图像传感两种方法相集成，在移动车辆机身安装用于移动车灯检测组合系统，分别进行移动车灯的粗定位和精定位，从而充分利用两种传感器各自的优点进行优势互补。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间，以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的评价方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

本领域内的技术人员可以对本发明进行改动或变型的设计但不脱离本发明的思想和范围。因此，如果本发明的这些修改和变型属于本发明权利要求及其等同的技术范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种夜间移动车灯跟踪检测系统，其特征在于：包括激光检测单元(2)、图像检测单元(3)、数据通信单元(4)、控制处理单元(5)和稳压电源单元(6)；

移动车灯(1)的光信号，作为被检测对象由激光检测单元(2)和图像检测单元(3)进行感知；

激光检测单元(2)安装在移动车辆上，经过移动车灯的反射后接收移动车灯的脉冲信号，检测移动车辆与移动车灯(1)距离；

图像检测单元(3)实时感知移动车灯(1)的多帧图像信息，通过对移动车灯(1)的图像特性提取、分割以及识别，检测移动车辆与移动车灯(1)距离；

数据通信单元(4)用于将激光检测单元(2)和图像检测单元(3)获取的传感信息进行传输；

控制处理单元(5)处理从数据通信单元(4)上传输来的移动车灯(1)距离对夜间移动车灯(1)进行激光和图像检测协同感知，建立移动车辆和移动车灯(1)距离关系，在车灯运动估计补偿下建立移动车灯(1)在夜间感知视野中的映射模型，实现基于激光和图像检测的移动车灯(1)位置参量解算；

所述稳压电源单元(6)为跟踪检测系统提供电源。

2.根据权利要求1所述的一种夜间移动车灯跟踪检测系统，其特征在于：

激光检测单元(2)经过移动车灯的反射后接收移动车灯的脉冲信号，检测移动车辆与移动车灯(1)距离，具体包括以下步骤：

激光检测单元(2)包括发射器，对发射器发出的信号进行分割并被移动车灯(1)反射后，得到基于移动车辆与移动车灯(1)之间反射信号的行程时长t_o，基于d_o＝ct_o/2计算移动车辆与移动车灯(1)距离d_o，c为光速。

3.根据权利要求1所述的一种夜间移动车灯跟踪检测系统，其特征在于：

图像检测单元(3)检测移动车辆与移动车灯(1)距离，具体包括以下步骤：

图像检测单元(3)通过摄像头实时感知移动车灯(1)的每帧图像信息，对获取的每帧图像进行灰度处理，采用二值化和膨胀腐蚀开运算法对图像中为孤立点的噪声和超过距离限定值的车灯(遥远车灯)进行消除，基于移动车灯(1)的车灯图像参数进行中心矩计算，得到移动车灯(1)的像素坐标和其中p_i(x_i,y_i)为第i个像素点的图像灰度值，x_o和y_o为移动车灯(1)像素坐标，(x_i,y_i)为第i个像素的空间坐标，s为车灯图像中像素点个数；

移动车灯(1)为成对出现，结合形态学匹配选择符合距离要求的目标车灯，对视频图像中的移动车灯(1)目标进行识别。

4.根据权利要求1所述的一种夜间移动车灯跟踪检测系统，其特征在于：

对车灯运动估计补偿下建立移动车灯(1)在夜间感知视野中的映射模型为[x_o,y_o,1]＝R_a[x_w,y_w,z_w,1]，其中x_w，y_w和z_w为移动车灯(1)坐标，R_a为变换矩阵。

5.一种夜间移动车灯跟踪检测方法，其特征在于，包括以下步骤：

步骤一：发射激光信号，激光信号被移动车灯(1)反射，分割后得到横纵向分割的反射光，基于移动车辆与移动车灯之间反射信号的行程，得到基于移动车辆与移动车灯(1)之间反射信号的行程时长t_o，计算移动车辆与移动车灯(1)几何距离d_o；几何距离d_o计算公式为d_o＝ct_o/2；

步骤二：实时感知移动车灯(1)的每帧图像信息，对获取的每帧图像进行灰度处理，采用二值化和膨胀腐蚀开运算法对图像中为孤立点的噪声和超过距离限定值的车灯(遥远车灯)进行消除，基于移动车灯(1)的车灯图像参数进行中心矩计算，得到移动车灯(1)的像素坐标和其中p_i(x_i,y_i)为第i个像素点的图像灰度值，x_o和y_o为移动车灯(1)像素坐标，(x_i,y_i)为第i个像素的空间坐标，s为车灯图像中像素点个数；移动车灯(1)为成对出现，结合形态学匹配选择符合距离要求的目标车灯，对视频图像中的移动车灯(1)目标进行识别；

匹配是车灯总是成对出现的，如果检测到单个的光斑，就不认为是车灯；

步骤三：对夜间移动车灯(1)进行激光和图像检测协同感知，采集并记录激光和图像检测的移动车灯(1)距离和坐标，确定激光和图像检测下移动车辆和移动车灯(1)距离关系，基于标定的不同坐标系下激光和图像数据进行坐标变换，在车灯运动估计补偿下融合激光和图像检测参数建立移动车灯(1)在夜间感知视野中的映射模型，实现基于激光和图像检测的移动车灯(1)位置参量解算。

6.一种计算设备，其特征在于，包括：

一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求5所述的方法中的任一方法的指令。

7.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求5所述的方法中的任一方法。