CN105740835B - 夜视环境下基于车载相机的前方车辆检测方法 - Google Patents

夜视环境下基于车载相机的前方车辆检测方法 Download PDF

Info

Publication number
CN105740835B
CN105740835B CN201610081179.7A CN201610081179A CN105740835B CN 105740835 B CN105740835 B CN 105740835B CN 201610081179 A CN201610081179 A CN 201610081179A CN 105740835 B CN105740835 B CN 105740835B
Authority
CN
China
Prior art keywords
car light
taillight
related coefficient
headlight
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610081179.7A
Other languages
English (en)
Other versions
CN105740835A (zh
Inventor
阳树洪
唐新来
李春贵
夏冬雪
王智文
黄镇谨
欧阳浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi super macro science and Technology Co.,Ltd.
Original Assignee
Guangxi University of Science and Technology
Lushan College of Guangxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University of Science and Technology, Lushan College of Guangxi University of Science and Technology filed Critical Guangxi University of Science and Technology
Priority to CN201610081179.7A priority Critical patent/CN105740835B/zh
Publication of CN105740835A publication Critical patent/CN105740835A/zh
Application granted granted Critical
Publication of CN105740835B publication Critical patent/CN105740835B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

一种夜视环境下基于车载相机的前方车辆检测方法，涉及一种对前方车辆进行检测的方法，它首先对车灯进行检测与跟踪的车载相机进行曝光控制和偏振光消除，然后分别利用结合canny边缘检测的区域生长法和基于马氏距离的彩色图像阈值分割方法进行前灯和尾灯分割；此基础上，进行车灯配对，采用初步过滤和投影扭曲补偿提高相关系数的计算精度；最后采用基于卡尔曼滤波和状态机转换对目标进行跟踪确认。本发明具有可减少复杂背景干扰、降低潮湿路边的反光强度、可对尾灯进行检测、保持头灯外观形状、可提高相关系数计算精度、计算求解过程简单、可加快检测速度和保持车辆检测准确性的特点，能够在夜视环境下实现对前方车的准确检测和稳定跟踪。

Description

夜视环境下基于车载相机的前方车辆检测方法
技术领域
本发明涉及一种对前方车辆进行检测的方法，特别是一种夜视环境下基于车载相机的前方车辆检测方法。
背景技术
道路上的其它车辆是驾驶员驾驶过程中必须关注的信息。自动检测其它车辆位置的辅助驾驶系统有广泛的用途，如：碰撞告警、盲区监控、自动巡航等。车载可见光相机是一种广泛用于实现此类功能的廉价传感装置。但在夜间，可见光视频中的视觉信息非常有限。许多譬如道路标志、车道线、水平线之类背景信息和车身结构，车辆颜色等目标信息几乎完全不可用。黑暗的夜间环境下，最为显著的车辆信息是车辆的前灯和尾灯。虽然车灯的外观各有不同，但他们都必须遵循行业规范进行设计，视频图像处理系统可以利用这些遵循规范设计的前后灯特征进行夜间车辆检测。但在夜间用基于车灯的检测方法进行车辆检测时，容易受到发射光、路灯干扰，同时，由于相机的自动曝光机制，导致夜间的车辆前灯成像出现巨大光斑、尾灯因为饱和而失去其色彩特征，这些都是夜视环境下基于车灯进行车辆检测的困难所在。
中国专利(公开号：103440771A)“模糊隶属度和反馈修正在夜间交通视频车辆检测的应用”公开了一种夜间复杂车辆检测的方法。利用频域的同态滤波和时域的方位模糊技术对车灯进行提取，再利用成功配对车灯的统计信息对车灯进行配对，最后对车辆加以追踪，并引入车辆追踪反馈修正机制，实现夜间车辆的检测与追踪。但该专利方法公开是车辆检测仅仅基于车辆前灯，没有对尾灯进行检测，且其在车灯配对过程中没有考虑因为超车、转弯等造成的投影扭曲现象。该专利提供的方法比较适合固定相机应用场合。
论文“基于尾灯跟踪的夜间车辆检测”(通信技术，2012,45(10):58-60)中给出一种基于尾灯跟踪的夜间车辆检测方法，该技术公开了对尾灯进行检测的技术，即是先通过HSV颜色模型对尾灯的颜色信息进行分割，辨认出车辆位置，再通过区域边界锁定车灯边缘信息对车辆进行跟踪。但该文方法没有对车灯的对称相关信息进行计算，简单认为在同一个水平横轴上的一对车灯即属于同一辆目标车辆，同时，正如论文结尾部分所指出，该文方法容易受到道路两旁有颜色的路牌或广告牌干扰，另外，路面雨水也会影响该文方法的检测效果。
发明内容
本发明要解决的技术问题是：提供一种夜视环境下基于车载相机的前方车辆检测方法，以实现在夜视环境下对前方车辆的准确检测。
解决上述技术问题的技术方案是：一种夜视环境下基于车载相机的前方车辆检测方法，该方法是首先对车灯进行检测与跟踪的车载相机进行曝光控制和偏振光消除，然后分别利用结合canny边缘检测的区域生长法和基于马氏距离的彩色图像阈值分割方法进行前灯和尾灯分割；此基础上，进行车灯配对，采用初步过滤和投影扭曲补偿提高相关系数的计算精度；最后采用基于卡尔曼滤波和状态机转换对目标进行跟踪确认。
本发明的进一步技术方案是：该方法包括以下步骤：
S1.相机设置：
设置车载相机低曝光参数，加置偏光镜；
S2.样本收集与统计分析：
采集不同气候条件、灯光条件的前灯和尾灯数据各500～1000对，先对采集的车灯图像进行中值滤波，然后对前灯的亮度、尾灯RGB颜色向量、车灯对的圆形度比和中心连线角度、车灯对的相关系数进行统计分析，分别求出其均值和方差；
S3.读入视频帧，并分割车灯：
读入视频帧，并用基于canny边缘检测的区域生长法分割前灯，用基于马氏距离的彩色图像阈值分割方法分割尾灯；
S4.进行车灯配对：
在车灯配对过程中，采用初步过滤和投影扭曲补偿提高相关系数的计算精度；
S5.车灯双重跟踪：
对判定为车灯对目标的车辆进行基于状态机转换和卡尔曼滤波的双重跟踪确认；
S6.输出结果：
输出检测到的车灯对目标及其运动轨迹。
本发明的再进一步技术方案是：在步骤S1中，所述的设置车载相机低曝光参数，加置偏光镜的方法如下：
设置车载相机增益为ISO＝100，EV＝100，曝光值为10，并在车载相机镜头前加置偏光镜。
本发明的再进一步技术方案是：所述的步骤S2的具体方法如下：
S21.采集不同气候条件、灯光条件的前灯和尾灯数据各500～1000对，先对采集的车灯图像进行中值滤波；
S22.对前灯的亮度进行统计分析，并求出其均值和方差；
取N个前灯像素，N≥80000，令第i个像素的亮度为Gi,则均值与方差分别为
其中σ2分别代表前灯亮度的均值与方差；
S23.对尾灯RGB颜色向量的统计分析，并求出其均值和方差：
取N个尾灯像素，N≥80000，令每个像素的R、G、B三个分量值为随机变量，则每个像素(R，G，B)分量构成一个随机向量，计算所有N个向量的平均向量和协方差矩阵，
其中，为平均向量，C为协方差矩阵，由协方差矩阵的性质可知，其对角线元素(C11,C22,C33)即分别为(R，G，B)三个分量的方差，因此其标准差分别为：
S24.计算车灯对的圆形度比的均差和方差：
先计算车灯对的圆形度比，该圆形度比的计算公式为：
其中，APJ、APk分别代表第J个车灯，第K个车灯的圆形度，车灯圆形度的计算方法为：
其中，AP为车灯的圆形度，一个车灯连通区域的面积A用该连通区域的像素数总和来表示，周长P用连通区域的边界上的像素数来表示；
然后分别计算采集到的500～1000对前灯、尾灯的圆形度比的均值μα和方差σα，
S25.计算车灯对的中心连线角度的均差和方差：
先计算车灯对的中心连线角度，该中心连线角度的计算方式为：
其中，(xj,yj)、(xk,yk)分别为第J个车灯，第K个车灯中心点坐标；
然后分别计算采集到的500～1000对前灯、尾灯的中心连线角度的均值μθ和方差σθ；
S26.计算车灯对的相关系数的均差和方差：
先计算车灯对的相关系数，该车灯对的相关系数的计算方法是，取某对车灯中的一个为模板，将另一个车灯进行水平翻转，该两个车灯的相应位置的像素亮度构成向量T和I，计算这两个向量的相关系数ρ，
计算其对应像素亮度的相关系数如下：
其中，Cov(T,I)为向量T与I之间的协方差，D(T)和D(I)分别代表向量T和I的方差；
对于头灯，计算其像素亮度的相关系数，并进一步计算头灯像素亮度相关系数的方差和均值；对于尾灯，分别计算其样本数据库中(R,G,B)三个分量的相关系数的平均值并构成平均相关系数向量和三个分量的相关系数的协方差矩阵F。
本发明的更进一步技术方案是：在步骤S3中，所述的读入视频帧，并用基于canny边缘检测的区域生长法分割前灯，用基于马氏距离的彩色图像阈值分割方法分割尾灯的方法如下：
S31.读入视频帧，先进行中值滤波处理；
S32.用基于canny边缘检测的区域生长法分割前灯：
以拍摄该帧图像的最大亮度的80～95％作为种子点，进行区域生长，区域生长的准则是与种子点亮度差小于50的且与已生长区域8连通；将canny算法检测到的边缘作为区域生长的停止准则，Canny算法中低阈值选择为图像最大亮度的4％，高阈值选择为图像最高亮度的10％；
S33.用基于马氏距离的彩色图像阈值分割方法分割尾灯：
计算每个像素与样本像素库中的平均向量的马氏距离，其计算方法如下：
其中，代表输入像素(R,G,B)分量组成的向量，即取阈值Th,若则判断该像素为尾灯像素；
S34.对头灯和尾灯的分割图像进行形态学闭操作以消除噪声和连接阈值过程分开的相邻区域；
S35.屏蔽采集图像的上1/3部分，应对街灯的干扰问题。
本发明的更进一步技术方案是：在步骤S4中，所述的进行车灯配对的具体方法如下：
S41.车灯初步过滤：
对分割出的前灯和尾灯用圆形度比和中心连线角度进行初步过滤；
S42.投影扭曲补偿：
对通过初步过滤的车灯对进行投影扭曲补偿；
S43.计算车灯对的相关系数：
计算车灯对的相关系数，判定车灯对是否为车灯对目标。
本发明的更进一步技术方案是：在步骤S41中，所述的对分割出的前灯和尾灯用圆形度比和中心连线角度进行初步过滤的方法如下：
S411.计算分割出的车灯之间的圆形度比，若车灯i和车灯j的圆形度比大于μα-σα，则由车灯i和车灯j组成的车灯对通过圆形度比测试；
S412.计算分割出的车灯之间的中心连线角度，若两个车灯中心连线角度小于μθ+σθ，则由该两个车灯组成的车灯对通过中心连线角度测试；同时通过圆形度比测试和中心连线角度测试的车灯对作为候选车灯对，若一个车灯可以与多个车灯组合成车灯对通过初选，则选圆形度比最接近1，中心连线角度最接近0的一对作为候选的车灯对。
本发明的更进一步技术方案是：在步骤S42中，所述的对通过初步过滤的车灯对进行投影扭曲补偿的方法如下：
S421.将要进行投影扭曲补偿计算的外接车灯包围框视为底边垂直于图像底边的梯形，先求出外接梯形的两条垂直于所截取图像底边的边；
S422.做出两个分别连接两个车灯最高位置像素点和最低像素的连线；
S423.以梯形的左下顶点作为坐标原点，建立坐标系，从坐标原点出发，从下左至上，从左至右，分别令其坐标为(x0,y0),(x1,y1),(x2,y2),(x3,y3)；
S424.计算梯形的如下六个坐标差量：
Δx1＝x1-x2＝0，Δx2＝x3-x2＝-x2，Δx3＝(x0-x1)-(x3-x2)＝0，
Δy1＝y1-y2＝-y2，Δy2＝y3-y2，Δy3＝(y0-y1)-(y2-y3)＝y0+y3-y2；
S425.计算从梯形转换为标准单位正方形的转换矩阵Ax和单位正方形转换为矩形转换的转换矩阵Au，并由Ax和Au得到将投影变形后的梯形映射到其外接矩形的转换矩形Rec，
其中，a13＝(y0+y3-y2)/y2’
其中，△ymax＝max(y2-y1,y3-y0)’
Rec＝Ax×Au。
本发明的更进一步技术方案是：在步骤S43中，所述的计算车灯对的相关系数的方法如下：
S431.对于头灯，计算经投影扭曲补偿后的车灯对的相关系数ρ，若其相关系数大于μp-2σp，则该对头灯通过相关系数测试，μp和σp分别代表ρ的均值与标准方差；
S432.对于尾灯，先分别计算(R，G，B)三个分量的相关系数(ρR，ρG，ρB)，并构成相关系数向量然后计算该向量与样本库平均向量的马氏距离若该距离小于则认为该尾灯对通过相关系数测试，其中(F11,F22,F33)为步骤S26计算所得的相关系数的协方差矩阵F的对角线元素。
本发明的更进一步技术方案是：在步骤S5中，所述的对判定为车灯对目标的车辆进行基于状态机转换和卡尔曼滤波的双重跟踪确认的方法如下：
S51.对检测到的车灯进行状态机转换检测：
对检测到的车灯设立状态机，定义两个状态：稳定目标，标记为stable；临时目标，标记为temp；规定三个阈值：Tst、Tts和Ttl，其中，Tst代表若一个稳定目标连续Tst帧丢失，则将其状态转换为临时目标；Tts代表若一个临时目标连续Tts帧被检测到，则将其状态转换为稳定目标；Ctl代表若一个临时目标连续Ctl帧没有检测到，将其从系统的目标库中删除不再进行跟踪；将所有新检测到目标设置为临时目标，并设置两个计数器Cts和Ctl，分别记录临时目标被连续检测到和连续丢失的帧数，分别记录其被连续检测到和连续丢失的帧数，Tts大于等于Tts则将其该目标的状态转换为“stable”；若Ctl大于等于Ctl则将该目标删除，不再跟踪；对所有稳定目标设置一个计算器Cst，记录其连续未被检测到的帧数，若Cst达到Tst帧，则将其状态转换为“temp”；
S52.初始化卡尔曼跟踪的各种参数；
S53.读入图像帧；
S54.利用卡尔曼滤波算法对所有目标进行检测：
利用卡尔曼滤波算法对所有目标进行位置预测，从预测位置的邻域开始，检测上一帧出现过的车灯对，对于上一帧状态为“temp”的目标，若本轮继续检测到，且其Cts达到Tts则将其状态设置为“stable”，否则保持为“temp”；若本轮没有被检测到，且其Ctl达到Ttl则将该目标删除，否则同样保持为“temp”；对于上一帧状态为“stable”的目标，若本轮继续检测到，则将其状态保持为“stable”；若本帧未被检测到，且其若Cst计算器达到Tst，则将其状态转换为“temp”，否则保持为“stable”；
S55.输出所有稳定目标；
S56.检测本图像帧出现的新目标；
S57.更新所有目标的卡尔曼跟踪参数；
S58.判断所有图像帧是否读取完毕，如果是，则结束；否则重复步骤S53。
由于采用上述技术方案，本发明之夜视环境下基于车载相机的前方车辆检测方法与现有技术相比，具有以下有益效果：
1.可减少复杂背景干扰，降低潮湿路边的反光强度：
本发明通过对车灯进行检测与跟踪的车载相机进行曝光控制，可减少复杂背景干扰，利用加置的偏光镜降低潮湿路边的反光强度。
2.可对尾灯进行检测：
现有技术在对前方车辆进行检测时，一些没有检测尾灯，一些检测尾灯采用HSV空间中基于某一分量的阈值分割，没有充分利用颜色特征的空间信息。而本发明采用基于(R,G,B)颜色向量的马氏距离进行尾灯分割，充分利用了尾灯的颜色空间特征，从而可对尾灯进行准确有效的检测。
3.可排除尾灯、街灯、装饰灯等的干扰，保持头灯外观形状：
现有技术在对前方车辆进行检测时，在头灯分割过程中，一般采用阈值分割，在阈值分割过程中，较高的阈值容易导致车灯成像中亮度稍低的像素被排除，从而导致分割结果不能保持头灯外观形状。较低的阈值又会将亮度稍低的尾灯、街灯、装饰灯误分割为头灯。而本发明采用区域生长和边缘检测相结合的方法，一方面较高种子选择阈值排除了尾灯、街灯、装饰灯的干扰，另一方面又能将头灯成像中亮度稍低像素通过连通域进行增长，从而保持头灯外观形状。
4.可提高相关系数计算精度：
现有技术一般假定目标车辆车灯所在平面和检测车的相机平面是平行的，从而不考虑投影扭曲，而这种假设在城市道路存在较多转弯和超车的情形下是不成立的。在超车或转弯的情形下，目标车辆车灯所在平面和检测车的相机平面不再平行，从而产生了投影扭曲。为了更精确地计算车灯对之间的相关系数，本发明采用由粗到细的两步法进行车灯配对判定。即先用圆形度比和中心连线角度进行初级筛选，然后对通过初级筛选的车灯对进行投影扭曲补偿，再对补偿后的车灯对计算相关系数。因此，本发明可提高相关系数计算精度。
5.计算求解过程简单：
在进行投影扭曲补偿计算的过程中，本申请的发明人发现，在以车辆前进方向为Y轴正方向，以车身从左到右的车宽方向为X轴正方向，垂直路面向上为Z轴方向的三维世界坐标中，目标车辆车灯包围矩形框与检测车相机平面的投影变形主要是在目标车辆转弯或超车时，目标车辆车灯包围框框绕Z轴旋转造成的，城市平整路面的前提下，绕X轴和Y轴旋转的角度非常小，同时由于车灯外接包围的高度远小于其长度，因此，矩形包围盒垂直于XY平面的直线在相机平面上的投影仍然是垂直于XY平面的，即，其外接包围盒是一个底边垂直于所拍摄图像的梯形。本发明利用这个性质，可以对投影矩阵求解过程进行了极大简化。
6.可加快检测速度和保持车辆检测的准确性：
本发明采用状态机和卡尔曼滤波双重跟踪的机制，一方面利用卡尔曼滤波算法的预测功能，加快检测速度，另一方面通过多帧确认的状态转换机制保持了车辆检测的准确性，消除静止的路灯、广告牌对检测结果的影响。
因此，基于上述1-6点有益效果，本发明能够在夜视环境下实现对前方车辆的准确检测和稳定跟踪。
下面，结合附图和实施例对本发明之夜视环境下基于车载相机的前方车辆检测方法的技术特征作进一步的说明。
附图说明
图1：本发明的总体流程图，
图2-1～图2-3：本发明步骤S42所述的投影扭曲补偿计算示意图：
图2-1：先求出外接梯形的两条垂直于所截取图像底边的边的示意图，
图2-2：做出两个分别连接两个车灯最高位置像素点和最低像素的连线的示意图，
图2-3：以梯形的左下顶点作为坐标原点，建立坐标系的示意图；
图3：本发明步骤S5所述的车灯双重跟踪流程图。
具体实施例
实施例一：
一种夜视环境下基于车载相机的前方车辆检测方法，该方法是首先对车灯进行检测与跟踪的车载相机进行曝光控制和偏振光消除，然后分别利用结合canny边缘检测(JohnCanny于1986年开发出的多级边缘检测算法)的区域生长法和基于马氏距离的彩色图像阈值分割方法进行前灯和尾灯分割；此基础上，进行车灯配对，在车灯配对过程中，采用初步过滤和投影扭曲补偿提高相关系数的计算精度；最后采用基于卡尔曼滤波和状态机转换对目标进行跟踪确认。该方法包括以下步骤：
S1.相机设置：
设置车载相机低曝光参数，加置偏光镜；
S2.样本收集与统计分析：
采集不同气候条件、灯光条件的前灯和尾灯数据各500～1000对，先对采集的车灯图像进行中值滤波，然后对前灯的亮度、尾灯RGB颜色向量、车灯对的圆形度比和中心连线角度、车灯对的相关系数进行统计分析，分别求出其均值和方差；
S3.读入视频帧，并分割车灯：
读入视频帧，并用基于canny边缘检测的区域生长法分割前灯，用基于马氏距离的彩色图像阈值分割方法分割尾灯；
S4.进行车灯配对：
在车灯配对过程中，采用初步过滤和投影扭曲补偿提高相关系数的计算精度；
S5.车灯双重跟踪：
对判定为车灯对目标的车辆进行基于状态机转换和卡尔曼滤波的双重跟踪确认；
S6.输出结果：
输出检测到的车灯对目标及其运动轨迹。
在步骤S1中，所述的设置车载相机低曝光参数，加置偏光镜的方法如下：
设置车载相机增益为ISO＝100，EV＝100，曝光值为10，并在车载相机镜头前加置偏光镜。
所述的步骤S2的具体方法如下：
S21.采集不同气候条件、灯光条件的前灯和尾灯数据各500～1000对，先对采集的车灯图像进行中值滤波；
S22.对前灯的亮度进行统计分析，并求出其均值和方差；
取N个前灯像素，N≥80000，令第i个像素的亮度为Gi,则均值与方差分别为
其中σ2分别代表前灯亮度的均值与方差；
S23.对尾灯RGB颜色向量的统计分析，并求出其均值和方差：
取N个尾灯像素，N≥80000，令每个像素的R、G、B三个分量值为随机变量，则每个像素(R，G，B)分量构成一个随机向量，计算所有N个向量的平均向量和协方差矩阵，
其中，为平均向量，C为协方差矩阵，由协方差矩阵的性质可知，其对角线元素(C11,C22,C33)即分别为(R，G，B)三个分量的方差，因此其标准差分别为：
S24.计算车灯对的圆形度比的均差和方差：
先计算车灯对的圆形度比，该圆形度比的计算公式为：
其中，ΔPJ、APk分别代表第J个车灯，第K个车灯的圆形度，车灯圆形度的计算方法为：
其中，AP为车灯的圆形度，一个车灯连通区域的面积A用该连通区域的像素数总和来表示，周长P用连通区域的边界上的像素数来表示；
然后分别计算采集到的500～1000对前灯、尾灯的圆形度比的均值μα和方差σα，
S25.计算车灯对的中心连线角度的均差和方差：
先计算车灯对的中心连线角度，该中心连线角度的计算方式为：
其中，(xj,yj)、(xk,yk)分别为第J个车灯，第K个车灯中心点坐标；
然后分别计算采集到的500～1000对前灯、尾灯的中心连线角度的均值μθ和方差σθ；
S26.计算车灯对的相关系数的均差和方差：
先计算车灯对的相关系数，该车灯对的相关系数的计算方法是，取某对车灯中的一个为模板，将另一个车灯进行水平翻转，该两个车灯的相应位置的像素亮度构成向量T和I，计算这两个向量的相关系数ρ，
计算其对应像素亮度的相关系数如下：
其中，Cov(T，I)为向量T与I之间的协方差，D(T)和D(I)分别代表向量T和I的方差；
对于头灯，计算其像素亮度的相关系数，并进一步计算头灯像素亮度相关系数的方差和均值；对于尾灯，分别计算其样本数据库中(R，G，B)三个分量的相关系数的平均值并构成平均相关系数向量和三个分量的相关系数的协方差矩阵F。
在步骤S3中，所述的读入视频帧，并用基于canny边缘检测的区域生长法分割前灯，用基于马氏距离的彩色图像阈值分割方法分割尾灯的方法如下：
S31.读入视频帧，先进行中值滤波处理；
S32.用基于canny边缘检测的区域生长法分割前灯：
以拍摄该帧图像的最大亮度的80～95％作为种子点，进行区域生长，区域生长的准则是与种子点亮度差小于50的且与已生长区域8连通；将canny算法检测到的边缘作为区域生长的停止准则，Canny算法中低阈值选择为图像最大亮度的4％，高阈值选择为图像最高亮度的10％；
S33.用基于马氏距离的彩色图像阈值分割方法分割尾灯：
计算每个像素与样本像素库中的平均向量的马氏距离，其计算方法如下：
其中，代表输入像素(R,G,B)分量组成的向量，即取阈值Th,若则判断该像素为尾灯像素；
S34.对头灯和尾灯的分割图像进行形态学闭操作以消除噪声和连接阈值过程分开的相邻区域；
S35.屏蔽采集图像的上1/3部分，应对街灯的干扰问题。
在步骤S4中，所述的进行车灯配对的具体方法如下：
S41.车灯初步过滤：
对分割出的前灯和尾灯用圆形度比和中心连线角度进行初步过滤；
S42.投影扭曲补偿：
对通过初步过滤的车灯对进行投影扭曲补偿；
S43.计算车灯对的相关系数：
计算车灯对的相关系数，判定车灯对是否为车灯对目标。
其中：在步骤S41中，所述的对分割出的前灯和尾灯用圆形度比和中心连线角度进行初步过滤的方法如下：
S411.计算分割出的车灯之间的圆形度比，若车灯i和车灯j的圆形度比大于μα-σα，则由车灯i和车灯j组成的车灯对通过圆形度比测试；
S412.计算分割出的车灯之间的中心连线角度，若两个车灯中心连线角度小于μθ+σθ，则由该两个车灯组成的车灯对通过中心连线角度测试；同时通过圆形度比测试和中心连线角度测试的车灯对作为候选车灯对，若一个车灯可以与多个车灯组合成车灯对通过初选，则选圆形度比最接近1，中心连线角度最接近0的一对作为候选的车灯对。
在步骤S42中，所述的对通过初步过滤的车灯对进行投影扭曲补偿的方法如下：
S421.将要进行投影扭曲补偿计算的外接车灯包围框视为底边垂直于图像底边的梯形，先求出外接梯形的两条垂直于所截取图像底边的边；
S422.做出两个分别连接两个车灯最高位置像素点和最低像素的连线；
S423.以梯形的左下顶点作为坐标原点，建立坐标系，从坐标原点出发，从下左至上，从左至右，分别令其坐标为(x0,y0),(x1,y1),(x2,y2),(x3,y3)；
S424.计算梯形的如下六个坐标差量：
△x1＝x1-x2＝0，△x2＝x3-x2＝-x2，△x3＝(x0-x1)-(x3-x2)＝0，
△y1＝y1-y2＝-y2，△y2＝y3-y2，△y3＝(y0-y1)-(y2-y3)＝y0+y3-y2；
S425.计算从梯形转换为标准单位正方形的转换矩阵Ax和单位正方形转换为矩形转换的转换矩阵Au，并由Ax和Au得到将投影变形后的梯形映射到其外接矩形的转换矩形Rec，
其中，a13＝(y0+y3-y2)/y2，
其中，△ymax＝max(y2-y1,y3-y0)，
Rec＝Ax×Au。
在步骤S43中，所述的计算车灯对的相关系数的方法如下：
S431.对于头灯，计算经投影扭曲补偿后的车灯对的相关系数ρ，若其相关系数大于μρ-2σρ，则该对头灯通过相关系数测试，μρ和σρ分别代表ρ的均值与标准方差；
S432.对于尾灯，先分别计算(R，G，B)三个分量的相关系数(ρR，ρG，ρB)，并构成相关系数向量然后计算该向量与样本库平均向量的马氏距离若该距离小于则认为该尾灯对通过相关系数测试，其中(F11,F22,F33)为步骤S26计算所得的相关系数的协方差矩阵F的对角线元素。
在上述步骤S5中，所述的对判定为车灯对目标的车辆进行基于状态机转换和卡尔曼滤波的双重跟踪确认的方法如下：
S51.对检测到的车灯进行状态机转换检测：
对检测到的车灯设立状态机，定义两个状态：稳定目标，标记为stable；临时目标，标记为temp；规定三个阈值：Tst、Tts和Ctl，其中，Tst代表若一个稳定目标连续Tst帧丢失，则将其状态转换为临时目标；Tts代表若一个临时目标连续Tts帧被检测到，则将其状态转换为稳定目标；Ttl代表若一个临时目标连续Ttl帧没有检测到，将其从系统的目标库中删除不再进行跟踪；将所有新检测到目标设置为临时目标，并设置两个计数器Cts和Ctl，分别记录临时目标被连续检测到和连续丢失的帧数，分别记录其被连续检测到和连续丢失的帧数，Cts大于等于Tts则将其该目标的状态转换为“stable”；若Ctl大于等于Ctl则将该目标删除，不再跟踪；对所有稳定目标设置一个计算器Cst，记录其连续未被检测到的帧数，若Cst达到Tst帧，则将其状态转换为“temp”；
S52.初始化卡尔曼跟踪的各种参数；
S53.读入图像帧；
S54.利用卡尔曼滤波算法对所有目标进行检测：
利用卡尔曼滤波算法对所有目标进行位置预测，从预测位置的邻域开始，检测上一帧出现过的车灯对，对于上一帧状态为“temp”的目标，若本轮继续检测到，且其Cts达到Tts则将其状态设置为“stable”，否则保持为“temp”；若本轮没有被检测到，且其Ctl达到Ttl则将该目标删除，否则同样保持为“temp”；对于上一帧状态为“stable”的目标，若本轮继续检测到，则将其状态保持为“stable”；若本帧未被检测到，且其若Cst计算器达到Tst，则将其状态转换为“temp”，否则保持为“stable”；
S55.输出所有稳定目标；
S56.检测本图像帧出现的新目标；
S57.更新所有目标的卡尔曼跟踪参数；
S58.判断所有图像帧是否读取完毕，如果是，则结束；否则重复步骤S53。
作为上述实施例一的一种变换，所述的车载相机也可以是车载摄像机或其它视频采集系统。

Claims (9)

1.一种夜视环境下基于车载相机的前方车辆检测方法，其特征在于：该方法是首先对车灯进行检测与跟踪的车载相机进行曝光控制和偏振光消除，然后分别利用结合canny边缘检测的区域生长法和基于马氏距离的彩色图像阈值分割方法进行前灯和尾灯分割；此基础上，进行车灯配对，采用初步过滤和投影扭曲补偿提高相关系数的计算精度；最后采用基于卡尔曼滤波和状态机转换对目标进行跟踪确认；该方法包括以下步骤：
S1.相机设置：
设置车载相机低曝光参数，加置偏光镜；
S2.样本收集与统计分析：
采集不同气候条件、灯光条件的前灯和尾灯数据各500～1000对，先对采集的车灯图像进行中值滤波，然后对前灯的亮度、尾灯RGB颜色向量、车灯对的圆形度比和中心连线角度、车灯对的相关系数进行统计分析，分别求出其均值和方差；
S3.读入视频帧，并分割车灯：
读入视频帧，并用基于canny边缘检测的区域生长法分割前灯，用基于马氏距离的彩色图像阈值分割方法分割尾灯；
S4.进行车灯配对：
在车灯配对过程中，采用初步过滤和投影扭曲补偿提高相关系数的计算精度；
S5.车灯双重跟踪：
对判定为车灯对目标的车辆进行基于状态机转换和卡尔曼滤波的双重跟踪确认；
S6.输出结果：
输出检测到的车灯对目标及其运动轨迹。
2.根据权利要求1所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：在步骤S1中，所述的设置车载相机低曝光参数，加置偏光镜的方法如下：
设置车载相机增益为ISO＝100，EV＝100，曝光值为10，并在车载相机镜头前加置偏光镜。
3.根据权利要求1所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：所述的步骤S2的具体方法如下：
S21.采集不同气候条件、灯光条件的前灯和尾灯数据各500～1000对，先对采集的车灯图像进行中值滤波；
S22.对前灯的亮度进行统计分析，并求出其均值和方差；
取N个前灯像素，N≥80000，令第i个像素的亮度为Gi,则均值与方差分别为
其中σ2分别代表前灯亮度的均值与方差；
S23.对尾灯RGB颜色向量的统计分析，并求出其均值和方差：
取N个尾灯像素，N≥80000，令每个像素的R、G、B三个分量值为随机变量，则每个像素(R，G，B)分量构成一个随机向量，计算所有N个向量的平均向量和协方差矩阵，
其中，为平均向量，C为协方差矩阵，由协方差矩阵的性质可知，其对角线元素(C11,C22,C33)即分别为(R，G，B)三个分量的方差，因此其标准差分别为：
S24.计算车灯对的圆形度比的均差和方差：
先计算车灯对的圆形度比，该圆形度比的计算公式为：
其中，APJ、APk分别代表第J个车灯，第K个车灯的圆形度，车灯圆形度的计算方法为：
其中，AP为车灯的圆形度，一个车灯连通区域的面积A用该连通区域的像素数总和来表示，周长P用连通区域的边界上的像素数来表示；
然后分别计算采集到的500～1000对前灯、尾灯的圆形度比的均值μα和方差σα，
S25.计算车灯对的中心连线角度的均差和方差：
先计算车灯对的中心连线角度，该中心连线角度的计算方式为：
其中，(xj,yj)、(xk,yk)分别为第J个车灯，第K个车灯中心点坐标；
然后分别计算采集到的500～1000对前灯、尾灯的中心连线角度的均值μθ和方差σθ；
S26.计算车灯对的相关系数的均差和方差：
先计算车灯对的相关系数，该车灯对的相关系数的计算方法是，取某对车灯中的一个为模板，将另一个车灯进行水平翻转，该两个车灯的相应位置的像素亮度构成向量T和I，计算这两个向量的相关系数ρ，
计算其对应像素亮度的相关系数如下：
其中，Cov(T,I)为向量T与I之间的协方差，D(T)和D(I)分别代表向量T和I的方差；
对于前灯，计算其像素亮度的相关系数，并进一步计算前灯像素亮度相关系数的方差和均值；对于尾灯，分别计算其样本数据库中(R,G,B)三个分量的相关系数的平均值并构成平均相关系数向量和三个分量的相关系数的协方差矩阵F。
4.根据权利要求3所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：在步骤S3中，所述的读入视频帧，并用基于canny边缘检测的区域生长法分割前灯，用基于马氏距离的彩色图像阈值分割方法分割尾灯的方法如下：
S31.读入视频帧，先进行中值滤波处理；
S32.用基于canny边缘检测的区域生长法分割前灯：
以拍摄该帧图像的最大亮度的80～95％作为种子点，进行区域生长，区域生长的准则是与种子点亮度差小于50的且与已生长区域8连通；将canny算法检测到的边缘作为区域生长的停止准则，canny算法中低阈值选择为图像最大亮度的4％，高阈值选择为图像最高亮度的10％；
S33.用基于马氏距离的彩色图像阈值分割方法分割尾灯：
计算每个像素与样本像素库中的平均向量的马氏距离，其计算方法如下：
其中，代表输入像素(R,G,B)分量组成的向量，即取阈值Th,若则判断该像素为尾灯像素；
S34.对前灯和尾灯的分割图像进行形态学闭操作以消除噪声和连接阈值过程分开的相邻区域；
S35.屏蔽采集图像的上1/3部分，应对街灯的干扰问题。
5.根据权利要求3所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：在步骤S4中，所述的进行车灯配对的具体方法如下：
S41.车灯初步过滤：
对分割出的前灯和尾灯用圆形度比和中心连线角度进行初步过滤；
S42.投影扭曲补偿：
对通过初步过滤的车灯对进行投影扭曲补偿；
S43.计算车灯对的相关系数：
计算车灯对的相关系数，判定车灯对是否为车灯对目标。
6.根据权利要求5所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：在步骤S41中，所述的对分割出的前灯和尾灯用圆形度比和中心连线角度进行初步过滤的方法如下：
S411.计算分割出的车灯之间的圆形度比，若车灯i和车灯j的圆形度比大于μα-σα，则由车灯i和车灯j组成的车灯对通过圆形度比测试；
S412.计算分割出的车灯之间的中心连线角度，若两个车灯中心连线角度小于μθ+σθ，则由该两个车灯组成的车灯对通过中心连线角度测试；同时通过圆形度比测试和中心连线角度测试的车灯对作为候选车灯对，若一个车灯可以与多个车灯组合成车灯对通过初选，则选圆形度比最接近1，中心连线角度最接近0的一对作为候选的车灯对。
7.根据权利要求6所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：在步骤S42中，所述的对通过初步过滤的车灯对进行投影扭曲补偿的方法如下：
S421.将要进行投影扭曲补偿计算的外接车灯包围框视为底边垂直于图像底边的梯形，先求出外接梯形的两条垂直于所截取图像底边的边；
S422.做出两个分别连接两个车灯最高位置像素点和最低像素的连线；
S423.以梯形的左下顶点作为坐标原点，建立坐标系，从坐标原点出发，从下左至上，从左至右，分别令其坐标为(x0,y0),(x1,y1),(x2,y2),(x3,y3)；
S424.计算梯形的如下六个坐标差量：
△x1＝x1-x2＝0，△x2＝x3-x2＝-x2，△x3＝(x0-x1)-(x3-x2)＝0，
△y1＝y1-y2＝-y2，△y2＝y3-y2，△y3＝(y0-y1)-(y2-y3)＝y0+y3-y2；
S425.计算从梯形转换为标准单位正方形的转换矩阵Ax和单位正方形转换为矩形转换的转换矩阵Au，并由Ax和Au得到将投影变形后的梯形映射到其外接矩形的转换矩形Rec，
其中，a13＝(y0+y3-y2)/y2，
其中，△ymax＝max(y2-y1,y3-y0)，
Rec＝Ax×Au。
8.根据权利要求5所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：在步骤S43中，所述的计算车灯对的相关系数的方法如下：
S431.对于前灯，计算经投影扭曲补偿后的车灯对的相关系数ρ，若其相关系数大于μρ-2σρ，则该对前灯通过相关系数测试，μρ和σρ分别代表ρ的均值与标准方差；
S432.对于尾灯，先分别计算(R,G,B)三个分量的相关系数(ρR,ρG,ρB)，并构成相关系数向量然后计算该向量与样本库平均向量的马氏距离若该距离小于则认为该尾灯对通过相关系数测试，其中(F11,F22,F33)为步骤S26计算所得的相关系数的协方差矩阵F的对角线元素。
9.根据权利要求1至8任一权利要求所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：在步骤S5中，所述的对判定为车灯对目标的车辆进行基于状态机转换和卡尔曼滤波的双重跟踪确认的方法如下：
S51.对检测到的车灯进行状态机转换检测：
对检测到的车灯设立状态机，定义两个状态：稳定目标，标记为stable；临时目标，标记为temp；规定三个阈值：Tst、Tts和Ttl，其中，Tst代表若一个稳定目标连续Tst帧丢失，则将其状态转换为临时目标；Tts代表若一个临时目标连续Tts帧被检测到，则将其状态转换为稳定目标；Ttl代表若一个临时目标连续Ttl帧没有检测到，将其从系统的目标库中删除不再进行跟踪；将所有新检测到目标设置为临时目标，并设置两个计数器Cts和Ctl，分别记录临时目标被连续检测到和连续丢失的帧数，分别记录其被连续检测到和连续丢失的帧数，Cts大于等于Tts则将其该目标的状态转换为“stable”；若Ctl大于等于Ttl则将该目标删除，不再跟踪；对所有稳定目标设置一个计算器Cst，记录其连续未被检测到的帧数，若Cst达到Tst帧，则将其状态转换为“temp”；
S52.初始化卡尔曼跟踪的各种参数；
S53.读入图像帧；
S54.利用卡尔曼滤波算法对所有目标进行检测：
利用卡尔曼滤波算法对所有目标进行位置预测，从预测位置的邻域开始，检测上一帧出现过的车灯对，对于上一帧状态为“temp”的目标，若本轮继续检测到，且其Cts达到Tts则将其状态设置为“stable”，否则保持为“temp”；若本轮没有被检测到，且其Ctl达到Ttl则将该目标删除，否则同样保持为“temp”；对于上一帧状态为“stable”的目标，若本轮继续检测到，则将其状态保持为“stable”；若本帧未被检测到，且其若Cst计算器达到Tst，则将其状态转换为“temp”，否则保持为“stable”；
S55.输出所有稳定目标；
S56.检测本图像帧出现的新目标；
S57.更新所有目标的卡尔曼跟踪参数；
S58.判断所有图像帧是否读取完毕，如果是，则结束；否则重复步骤S53。
CN201610081179.7A 2016-02-05 2016-02-05 夜视环境下基于车载相机的前方车辆检测方法 Expired - Fee Related CN105740835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610081179.7A CN105740835B (zh) 2016-02-05 2016-02-05 夜视环境下基于车载相机的前方车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610081179.7A CN105740835B (zh) 2016-02-05 2016-02-05 夜视环境下基于车载相机的前方车辆检测方法

Publications (2)

Publication Number Publication Date
CN105740835A CN105740835A (zh) 2016-07-06
CN105740835B true CN105740835B (zh) 2018-11-02

Family

ID=56241877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610081179.7A Expired - Fee Related CN105740835B (zh) 2016-02-05 2016-02-05 夜视环境下基于车载相机的前方车辆检测方法

Country Status (1)

Country Link
CN (1) CN105740835B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934808B (zh) * 2017-02-15 2020-05-15 江苏文光车辆附件有限公司 一种视觉感知下汽车前灯尾灯识别跟踪方法
CN107316002A (zh) * 2017-06-02 2017-11-03 武汉理工大学 一种基于主动学习的夜间前方车辆识别方法
WO2019007536A1 (en) * 2017-07-07 2019-01-10 Toyota Motor Europe METHOD FOR IDENTIFYING LOCKING CAUSE IN IMAGE SEQUENCE, COMPUTER PROGRAM FOR IMPLEMENTING SAID METHOD, COMPUTER-READABLE RECORDING MEDIUM CONTAINING SUCH COMPUTER PROGRAM, DRIVING ASSISTANCE SYSTEM FOR EXECUTING SAME PROCESS
TWI700017B (zh) * 2018-10-17 2020-07-21 財團法人車輛研究測試中心 車輛偵測方法、基於光強度動態之夜間車輛偵測方法及其系統
CN109766923A (zh) * 2018-12-20 2019-05-17 昆明理工大学 一种基于图像边缘检测的避雷器动作辨识方法
CN113922270B (zh) * 2021-09-03 2023-03-14 东莞市简从科技有限公司 巡线车控制方法、巡线车、巡线车控制装置及存储介质
CN114529545B (zh) * 2022-04-22 2022-07-12 天津理工大学 一种基于无人机的道路缺陷自动检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567705A (zh) * 2010-12-23 2012-07-11 北京邮电大学 一种检测和跟踪夜间行驶车辆的方法
CN103208185A (zh) * 2013-03-19 2013-07-17 东南大学 一种基于车灯识别的夜间车辆检测方法及系统
CN104376551A (zh) * 2014-08-25 2015-02-25 浙江工业大学 一种融合区域生长和边缘检测的彩色图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567705A (zh) * 2010-12-23 2012-07-11 北京邮电大学 一种检测和跟踪夜间行驶车辆的方法
CN103208185A (zh) * 2013-03-19 2013-07-17 东南大学 一种基于车灯识别的夜间车辆检测方法及系统
CN104376551A (zh) * 2014-08-25 2015-02-25 浙江工业大学 一种融合区域生长和边缘检测的彩色图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于单目视觉的夜间前方车辆检测方法;郭君斌 等;《汽车工程》;20141231;第36卷(第5期);第573-579页 *
基于马氏距离的小麦彩色图像无监督分割研究;时雷 等;《河南农业大学学报》;20141231;第48卷(第6期);第780-784页 *
复杂环境下的夜间视频车辆检测;吴海涛 等;《计算机应用研究》;20071231;第24卷(第12期);第386-389页 *

Also Published As

Publication number Publication date
CN105740835A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN105740835B (zh) 夜视环境下基于车载相机的前方车辆检测方法
US20210264176A1 (en) Hazard detection from a camera in a scene with moving shadows
CN104866823B (zh) 一种基于单目视觉的车辆检测与跟踪方法
Javed et al. Tracking and object classification for automated surveillance
Jazayeri et al. Vehicle detection and tracking in car video based on motion model
O'malley et al. Vision-based detection and tracking of vehicles to the rear with perspective correction in low-light conditions
US8948450B2 (en) Method and system for automatic object detection and subsequent object tracking in accordance with the object shape
US8457360B2 (en) Detection of vehicles in an image
US8019157B2 (en) Method of vehicle segmentation and counting for nighttime video frames
CN103050008B (zh) 夜间复杂交通视频中车辆检测方法
CN105005766A (zh) 一种车身颜色识别方法
CN106778540B (zh) 停车检测准确的基于双层背景的停车事件检测方法
CN102842037A (zh) 一种基于多特征融合的车辆阴影消除方法
CN107403451B (zh) 自适应二值特征单目视觉里程计方法及计算机、机器人
Lian et al. A novel method on moving-objects detection based on background subtraction and three frames differencing
Huerta et al. Exploiting multiple cues in motion segmentation based on background subtraction
CN103577832B (zh) 一种基于时空上下文的人流量统计方法
CN113077494A (zh) 一种基于车辆轨迹的路面障碍物智能识别设备
Moizumi et al. Traffic light detection considering color saturation using in-vehicle stereo camera
CN105740834B (zh) 夜视环境下对前方车辆的高精度检测方法
Xiang et al. Research on target detection method based on HSV fusion Gaussian mixture model
Michael et al. Fast change detection for camera-based surveillance systems
Alefs et al. Accurate speed measurement from vehicle trajectories using adaboost detection and robust template tracking
Marinas et al. Detection and tracking of traffic signs using a recursive Bayesian decision framework
Ma et al. Pedestrian detection using a single-monochrome camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200819

Address after: 545616 No. 262, No. 3, A plant, No. 19, No. 19, early Yang Road, Liu Dong New District, Liuzhou, the Guangxi Zhuang Autonomous Region

Patentee after: Guangxi super macro science and Technology Co.,Ltd.

Address before: 545006 No. 268 East Ring Road, the Guangxi Zhuang Autonomous Region, Liuzhou

Co-patentee before: LUSHAN College OF GUANGXI UNIVERSITY OF SCIENCE AND TECHNOLOGY

Patentee before: GUANGXI University OF SCIENCE AND TECHNOLOGY

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181102

Termination date: 20210205