CN107273816A - 基于车载前视单目相机的交通限速标识检测识别方法 - Google Patents

基于车载前视单目相机的交通限速标识检测识别方法 Download PDF

Info

Publication number
CN107273816A
CN107273816A CN201710378039.0A CN201710378039A CN107273816A CN 107273816 A CN107273816 A CN 107273816A CN 201710378039 A CN201710378039 A CN 201710378039A CN 107273816 A CN107273816 A CN 107273816A
Authority
CN
China
Prior art keywords
speed limit
target
sample
weak classifier
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710378039.0A
Other languages
English (en)
Other versions
CN107273816B (zh
Inventor
高山
缪其恒
苏巍
孙焱标
王江明
许炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang huaruijie Technology Co.,Ltd.
Original Assignee
Zhejiang Zero Run Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zero Run Technology Co Ltd filed Critical Zhejiang Zero Run Technology Co Ltd
Priority to CN201710378039.0A priority Critical patent/CN107273816B/zh
Publication of CN107273816A publication Critical patent/CN107273816A/zh
Application granted granted Critical
Publication of CN107273816B publication Critical patent/CN107273816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于车载前视单目相机的交通限速标识检测识别方法：训练构建级联弱分类器，在图像感兴趣区域范围内，提取道路限速标识特征算子，使用级联弱分类器检测道路限速标识；对确定为有交通标志的图像区域，使用超小型的卷积神经网络进行分类，采用离线训练限速标识分类算法；利用检测评价指标以及目标识别结果逐帧锁定目标位置；利用限速标志牌在视野中的消失位置，判断检测到的限速标识是否为当前道路限速标识，如果是当前道路限速标识，则发出限速提示信号。本发明能对道路限速标识进行有效的检测、识别，并进行道路限速提示和报警，检测准确性高，有效避免错检和漏检，处理速度快，占用硬件资源少，有利于车辆的正常、安全行驶。

Description

基于车载前视单目相机的交通限速标识检测识别方法
技术领域
本发明涉及车辆控制领域，尤其涉及一种基于车载前视单目相机的交通限速标识检测识别方法。
背景技术
限速提示与预警是ADAS系统(基于视频传感器的行车安全辅助系统)的重要组成功能之一。民间有俗语“十次事故九次快”，可见超速是交通事故的主要隐患。及时有效地向驾驶员通报道路限速情况，避免驾驶员错看漏看限速标识，能够有效降低由于车速过快造成的交通事故发生概率，同时也不至于行驶过慢而阻碍交通，提高道路通行效率。
目前已有的限速超速提醒系统大多基于地图信息及GPS位置信息，在道路工况较差、地图数据过时的情况下会出现限速提示滞后甚至错误的现象。中国专利文献CN103020623A公开了一种“交通标志检测方法和交通标志检测设备”，使用HSV色域依靠标志牌标准颜色寻找标志候选连通域，在标志牌轻微破损情况下，并非绝对标准，环境顺逆光的工况下容易发生漏检误检现象。中国专利文献CN103413124A公开了“一种圆形交通标志检测方法”，利用圆形匹配的方法检测交通标志牌，在行驶视野里，标志牌极易出现形变，包括尺度和形状的形变，会引发漏检。中国专利文献CN104657734A公开了“一种道路交通标志检测方法及装置”，利用边沿信息检测交通标志，在城市道路视野背景复杂的场景下，容易发生误检现象，对误检目标分类会造成系统进行大量无用计算，影响系统的实时性。
发明内容
本发明为了解决上述技术问题，提供一种基于车载前视单目相机的交通限速标识检测识别方法，其能就道路限速标识的真实情况进行有效的检测、识别，并告知驾驶员道路限速信息，进行提示和报警，限速检测准确性高，处理速度快，有效提高限速提示及告警的实时性和准确性，有效避免错检和漏检，确保驾驶员能更好地对车辆进行操控，有利于车辆的正常、安全行驶。
本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明基于车载前视单目相机的交通限速标识检测识别方法，包括如下步骤：
①在线道路限速标识检测：训练构建级联弱分类器，在图像感兴趣区域范围内，提取道路限速标识特征算子，使用级联弱分类器检测道路限速标识；
②道路限速标识分类：对确定为有交通标志的图像区域，使用超小型的卷积神经网络进行分类，采用离线训练限速标识分类算法；
③道路限速标识跟踪：利用检测评价指标以及目标识别结果逐帧锁定目标位置；
④发出限速提示信号：利用限速标志牌在视野中的消失位置，判断检测到的限速标识是否为当前道路的限速标识，如果是当前道路的限速标识，则发出限速提示信号。
本发明利用车载前视单目相机检测当前车辆前方视野得到限速标识(包括限速标识、限低速标识和解除限速标识)，并进行识别，利用分类器级联的目标检测方法确认相机视角图像感兴趣区域内的道路限速标识位置，检测评价指标，逐帧锁定目标，通过深度神经网络进一步确认该道路限速标识的种类，最终通过目标在视野里的消失位置，判断是否为当前行驶道路限速标识，如果是则上报相应的道路限速提示。本发明能就道路限速标识的真实情况进行有效的检测、识别，并告知驾驶员道路限速信息，进行提示和报警，限速检测准确性高，处理速度快，有效提高限速提示及告警的实时性和准确性，有效避免错检和漏检，确保驾驶员能更好地对车辆进行操控，有利于车辆的正常、安全行驶。
作为优选，所述的步骤①中训练构建级联弱分类器的训练方法包括如下步骤：
1)预计算所有正负样本的HAAR特征v；
2)初始化正负样本权重，使正负样本权重之和分别为0.5；
3)遍历样本寻找最优分类特征θ，计算错误率e；
4)根据错误率e计算弱分类器权重w，该弱分类器为基于预先配置的准确率计算弱分类器跳出阈值tx；
5)根据弱分类器分类样本的情况，更新样本权重，其中分类正确的样本权重减小，分类错误的样本权重增加，并归一化权重；
6)判断当前训练完成的弱分类器级联后的样本分类情况，如果分类错误率小于预先配置的错误率，则转到步骤7)，否则返回步骤3)继续训练；
7)根据级联弱分类器的分类情况，计算正样本打分W1、W2…Wn，并从小到大排序，选取通过率为配置准确率的打分Wx，作为级联弱分类器的正样本阈值T；最终弱分类器为F＝f1(x)+f2(x)+…fn(x)，其中F＞T的样本分类为正样本，每计算一个弱分类器小于弱分类器跳出阈值tx的样本分类为负样本。
本技术方案确保道路限速标识检测更快速、更准确。
作为优选，所述的步骤②中的离线训练限速标识分类算法为：采用卷积神经网络结构分类，使用的训练样本为灰度样本，收集等比例的各类交通标识；
训练过程前向传播采用平方误差代价函数
其中共c类N个样本，表示第n个样本对应的标签的第k维，表示第n个样本对应的第k维网络输出；
反向传播采用反向递推法对softmax损失求最优解来优化网络权重参数，直至设定的循环迭代次数完成，softmax损失计算公式为：
采用的卷积神经网络结构，由卷积层、稀疏层和池化层依次相连的一组连接另一组依次相连的卷积层、稀疏层和池化层再连接一层全连接层随后接基于损失函数的softmax全连接层。收集等比例的各类交通标识，包括不限于限速、解除限速、限低速和非限速等等。样本较少的种类采用灰度变换、旋转、适当扩边和适当裁边等方式扩充。本技术方案能更快速地进行道路限速标识分类。
作为优选，所述的步骤③为：对于空系统，直接新增维护目标，编码ID；对于非空系统，首先计算目标交集占并集的比例IOU，对于IOU大于设定阈值且识别结果一致认为是同一目标，目标存活计时器计时增加，识别可信度增加；对于IOU小于设定阈值，且识别结果一致的目标，计算其欧式距离，欧式距离大于设置阈值，同样认为是同一目标，统计相应信息；当该目标IOU小于设定阈值，识别结果与存活目标不一致，欧式距离大于设置阈值时，增加新维护样本并编码ID；当某ID标识识别置信度较大，则仅检测该目标并利用IOU逐帧定位，直至目标消失。对限速标识进行目标维护和多帧识别。
作为优选，所述的基于车载前视单目相机的交通限速标识检测识别方法包括限速标识检测识别方法：使用sobel算子计算图像感兴趣区域内的边沿分布图，在图像感兴趣区域中进行多尺度滑窗检测，统计窗口映射在边沿分布图中的图像区域，如果边沿较少，则该窗口不进行类别判断，滑动至下一窗口，如果边沿较多，则根据步骤①中级联弱分类器算法判定是否为限速标识，采用步骤③中所描述的跟踪策略判断是否为新检测目标，对新检测目标进行CNN卷积神经网络分类，确定目标所属种类及打分，去除不是限速标识的目标。
作为优选，所述的步骤④为：根据限速标志牌在视野中的消失区域和消失前的标识尺寸，区分该标识是位于天空还是道路的左侧或右侧；如果目标从画面中间靠上部分消失，则判定标识为当前道路限速标识；如果目标从画面左侧或右侧消失，则将又属于位于天空的目标判定为非当前道路限速标识，将又属于位于非天空的目标判断为当前道路限速标识；最后将确认为当前道路限速标识的信息编码为CAN总线消息，上报车机，限速信息显示在汽车仪表上，并且通过声音、指示灯或震动形式发出限速报警信号。
限速标识在车载前视单目相机所捕获画面中出现的情况主要分为三种：置于横杆上位于天空，和置于立杆上位于道路的左侧或者右侧。当某ID目标消失于图像某区域时，首先根据消失区域和消失前的标识尺寸，区分该标识是位于天空还是地面，再进行后续判断。
本发明中所有阈值均可配置。
本发明的有益效果是：能就道路限速标识的真实情况进行有效的检测、识别，并告知驾驶员道路限速信息，进行提示和报警，限速检测准确性高，处理速度快，所占用硬件资源少，有效提高限速提示及告警的实时性和准确性，有效避免错检和漏检，确保驾驶员能更好地对车辆进行操控，有利于车辆的正常、安全行驶。
附图说明
图1是本发明的一种算法流程总图。
图2是本发明中车载前视单目相机检测道路限速标识时图像感兴趣区域的一种示意图。
图3是本发明中级联弱分类器的一种结构示意图。
图4是本发明中卷积神经网络的一种结构示意图。
图中1.道路，2.固定ROI，3.可变ROI。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：本实施例的基于车载前视单目相机的交通限速标识检测识别方法，如图1所示为总流程图，车载前视单目相机的视频信号为本系统输入，道路限速信息为本系统输出，最终显示在汽车仪表上。限速标识检测及提示功能可通过汽车仪表界面选择开启或关闭。具体方法包括如下步骤：
①检测ROI图像感兴趣区域：使用的限速标识检测ROI如图2所示，为车载前视单目相机所拍摄到的图像，车辆行驶在道路1上，在车载前视单目相机的ROI图像感兴趣区域范围内，利用②中训练好的检测分类器，其中固定ROI2为系统固有ROI，可变ROI3为当目标靠近固定ROI边界时触发计算，固定ROI大小可配置，可变ROI基于检测目标尺寸外扩，外扩尺寸可配置，安装系统时可根据不同的相机参数进行调整。
②在线道路限速标识检测：训练构建级联弱分类器，本实施例的级联弱分类器结构如图3所示，在图像感兴趣区域范围内，提取道路限速标识特征算子，使用级联弱分类器检测道路限速标识；
训练构建级联弱分类器的训练方法包括如下步骤：
1)预计算所有正负样本的HAAR特征v；
2)初始化正负样本权重，使正负样本权重之和分别为0.5；
3)遍历样本寻找最优分类特征θ，计算错误率e；
4)根据错误率e计算弱分类器权重w，该弱分类器为基于预先配置的准确率(本实施例采用的准确率为99.5％)计算弱分类器跳出阈值tx：
5)根据弱分类器分类样本的情况，更新样本权重，其中分类正确的样本权重减小，分类错误的样本权重增加，并归一化权重；
6)判断当前训练完成的弱分类器级联后的样本分类情况，如果分类错误率小于预先配置的错误率(本实施例采用的错误率为0.5％)，则转到步骤7)，否则返回步骤3)继续训练；
7)根据级联弱分类器的分类情况，计算正样本打分W1、W2…Wn，并从小到大排序，选取通过率为配置准确率(99.5％)的打分Wx，作为级联弱分类器的正样本阈值T；最终弱分类器为F＝f1(x)+f2(x)+…fn(x)，其中F＞T的样本分类为正样本，每计算一个弱分类器小于弱分类器跳出阈值tx的样本分类为负样本。
最终本实施例获取各类限速标识5000张，采用灰度变化、旋转等方法扩充至15000张。选用负样本20000张，经过难例挖掘等策略扩充至45000张，以提升分类器的检测效果。
③道路限速标识分类：对确定为有交通标志的图像区域，使用超小型的卷积神经网络进行分类，采用离线训练限速标识分类算法；
离线训练限速标识分类算法为：道路限速标识分类算法，采用如图4所示的卷积神经网络结构，由卷积层、稀疏层和池化层依次相连的一组连接另一组依次相连的卷积层、稀疏层和池化层再连接一层全连接层随后接基于损失函数的softmax全连接层分类。该分类算法使用的训练样本为灰度样本，收集等比例的各类交通标识(包括不限于：限速、解除限速、限低速和非限速)；
训练过程前向传播采用平方误差代价函数
其中共c类N个样本，表示第n个样本对应的标签的第k维，表示第n个样本对应的第k维网络输出；
反向传播采用反向递推(BP)法对softmax损失求最优解来优化网络权重参数，直至设定的循环迭代次数完成，softmax损失计算公式为：
④限速标识检测识别：使用sobel算子计算图像感兴趣区域内的边沿分布图，在图像感兴趣区域中进行多尺度滑窗检测，统计窗口映射在边沿分布图中的图像区域，如果边沿较少，则该窗口不进行类别判断，滑动至下一窗口，如果边沿较多，则根据步骤②中级联弱分类器算法判定是否为限速标识，采用步骤⑤中所描述的跟踪策略判断是否为新检测目标，对新检测目标进行CNN卷积神经网络分类，确定目标所属种类及打分，去除不是限速标识的目标。
⑤道路限速标识跟踪，限速标识目标维护和多帧识别：利用检测评价指标以及目标识别结果逐帧锁定目标位置；
对于空系统，直接新增维护目标，编码ID；
对于非空系统，首先计算目标交集占并集的比例IOU，对于IOU大于设定阈值(本实施例默认设置0.5)且识别结果一致认为是同一目标，目标存活计时器计时增加，识别可信度增加；对于IOU小于设定阈值，且识别结果一致的目标，计算其欧式距离，欧式距离大于设置阈值(本实施例默认设置200像素)，同样认为是同一目标，统计相应信息；当该目标IOU小于设定阈值，识别结果与存活目标不一致，欧式距离大于设置阈值时，增加新维护样本并编码ID；
当某ID标识识别置信度较大，则仅检测该目标并利用IOU逐帧定位，直至目标消失。
⑥发出限速提示信号：根据限速标志牌在视野中的消失区域和消失前的标识尺寸，区分该标识是位于天空还是地面；
如果目标从画面中间靠上部分消失，则判定标识为当前道路限速标识；
如果目标从画面左侧或右侧消失，则将又属于位于天空的目标判定为非当前道路限速标识，将又属于位于非天空的目标判断为当前道路限速标识；
最后将确认为当前道路限速标识的信息编码为CAN总线消息，上报车机，限速信息显示在汽车仪表上，并且通过声音、指示灯或震动形式发出限速报警信号。
当然，限速标识检测还可通过使用LBP、HOG、ACF或ICF等特征训练级联弱分类器进行检测，边沿信息除Soble算子外，还有一阶梯度差、二阶Laplace算子等边沿检测算法。限速标识分类可通过SVM、最近邻等机器学习方法实现。固定ROI与专用ROI的尺度可以灵活多变。
本发明通过级联弱分类器可以更快更准确地在多尺度下进行限速标识检测，基于深度学习卷积神经网络设计的超小型分类网络相对于其他结果的网络在不影响准确率的前提下减少了硬件资源的占用，限速信息提示策略区分了固定ROI和灵活的专用ROI，减少了系统的硬件资源占用，结合前视相机的视野，避免因车辆运动姿态造成的错误提示。本发明能就道路限速标识的真实情况进行有效的检测、识别，并告知驾驶员道路限速信息，进行提示和报警，限速检测准确性高，处理速度快，所占用硬件资源少，有效提高限速提示及告警的实时性和准确性，有效避免错检和漏检，确保驾驶员能更好地对车辆进行操控，有利于车辆的正常、安全行驶。

Claims (6)

1.一种基于车载前视单目相机的交通限速标识检测识别方法，其特征在于包括如下步骤：
①在线道路限速标识检测：训练构建级联弱分类器，在图像感兴趣区域范围内，提取道路限速标识特征算子，使用级联弱分类器检测道路限速标识；
②道路限速标识分类：对确定为有交通标志的图像区域，使用超小型的卷积神经网络进行分类，采用离线训练限速标识分类算法；
③道路限速标识跟踪：利用检测评价指标以及目标识别结果逐帧锁定目标位置；
④发出限速提示信号：利用限速标志牌在视野中的消失位置，判断检测到的限速标识是否为当前道路的限速标识，如果是当前道路的限速标识，则发出限速提示信号。
2.根据权利要求1所述的基于车载前视单目相机的交通限速标识检测识别方法，其特征在于所述的步骤①中训练构建级联弱分类器的训练方法包括如下步骤：
1)预计算所有正负样本的HAAR特征v；
2)初始化正负样本权重，使正负样本权重之和分别为0.5；
3)遍历样本寻找最优分类特征θ，计算错误率e；
4)根据错误率e计算弱分类器权重w，该弱分类器为基于预先配置的准确率计算弱分类器跳出阈值tx；
5)根据弱分类器分类样本的情况，更新样本权重，其中分类正确的样本权重减小，分类错误的样本权重增加，并归一化权重；
6)判断当前训练完成的弱分类器级联后的样本分类情况，如果分类错误率小于预先配置的错误率，则转到步骤7)，否则返回步骤3)继续训练；
7)根据级联弱分类器的分类情况，计算正样本打分W1、W2…Wn，并从小到大排序，选取通过率为配置准确率的打分Wx，作为级联弱分类器的正样本阈值T；最终弱分类器为F＝f1(x)+f2(x)+…fn(x)，其中F＞T的样本分类为正样本，每计算一个弱分类器小于弱分类器跳出阈值tx的样本分类为负样本。
3.根据权利要求1所述的基于车载前视单目相机的交通限速标识检测识别方法，其特征在于所述的步骤②中的离线训练限速标识分类算法为：采用卷积神经网络结构分类，使用的训练样本为灰度样本，收集等比例的各类交通标识；
训练过程前向传播采用平方误差代价函数
<mrow> <msup> <mi>E</mi> <mi>n</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>c</mi> </munderover> <msup> <mrow> <mo>(</mo> <msubsup> <mi>t</mi> <mi>k</mi> <mi>n</mi> </msubsup> <mo>-</mo> <msubsup> <mi>y</mi> <mi>k</mi> <mi>n</mi> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
其中共c类N个样本，表示第n个样本对应的标签的第k维，表示第n个样本对应的第k维网络输出；
反向传播采用反向递推法对softmax损失求最优解来优化网络权重参数，直至设定的循环迭代次数完成，softmax损失计算公式为：
<mrow> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <msup> <mi>e</mi> <msub> <mi>z</mi> <mi>j</mi> </msub> </msup> <mrow> <msup> <mi>&amp;Sigma;e</mi> <msub> <mi>z</mi> <mi>j</mi> </msub> </msup> </mrow> </mfrac> <mo>.</mo> </mrow>
4.根据权利要求1所述的基于车载前视单目相机的交通限速标识检测识别方法，其特征在于所述的步骤③为：对于空系统，直接新增维护目标，编码ID；对于非空系统，首先计算目标交集占并集的比例IOU，对于IOU大于设定阈值且识别结果一致认为是同一目标，目标存活计时器计时增加，识别可信度增加；对于IOU小于设定阈值，且识别结果一致的目标，计算其欧式距离，欧式距离大于设置阈值，同样认为是同一目标，统计相应信息；当该目标IOU小于设定阈值，识别结果与存活目标不一致，欧式距离大于设置阈值时，增加新维护样本并编码ID；当某ID标识识别置信度较大，则仅检测该目标并利用IOU逐帧定位，直至目标消失。
5.根据权利要求2或4所述的基于车载前视单目相机的交通限速标识检测识别方法，其特征在于包括限速标识检测识别方法：使用sobel算子计算图像感兴趣区域内的边沿分布图，在图像感兴趣区域中进行多尺度滑窗检测，统计窗口映射在边沿分布图中的图像区域，如果边沿较少，则该窗口不进行类别判断，滑动至下一窗口，如果边沿较多，则根据步骤①中级联弱分类器算法判定是否为限速标识，采用步骤③中所描述的跟踪策略判断是否为新检测目标，对新检测目标进行CNN卷积神经网络分类，确定目标所属种类及打分，去除不是限速标识的目标。
6.根据权利要求1或4所述的基于车载前视单目相机的交通限速标识检测识别方法，其特征在于所述的步骤④为：根据限速标志牌在视野中的消失区域和消失前的标识尺寸，区分该标识是位于天空还是道路的左侧或右侧；如果目标从画面中间靠上部分消失，则判定标识为当前道路限速标识；如果目标从画面左侧或右侧消失，则将又属于位于天空的目标判定为非当前道路限速标识，将又属于位于非天空的目标判断为当前道路限速标识；最后将确认为当前道路限速标识的信息编码为CAN总线消息，上报车机，限速信息显示在汽车仪表上，并且通过声音、指示灯或震动形式发出限速报警信号。
CN201710378039.0A 2017-05-24 2017-05-24 基于车载前视单目相机的交通限速标识检测识别方法 Active CN107273816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710378039.0A CN107273816B (zh) 2017-05-24 2017-05-24 基于车载前视单目相机的交通限速标识检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710378039.0A CN107273816B (zh) 2017-05-24 2017-05-24 基于车载前视单目相机的交通限速标识检测识别方法

Publications (2)

Publication Number Publication Date
CN107273816A true CN107273816A (zh) 2017-10-20
CN107273816B CN107273816B (zh) 2019-11-05

Family

ID=60064216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710378039.0A Active CN107273816B (zh) 2017-05-24 2017-05-24 基于车载前视单目相机的交通限速标识检测识别方法

Country Status (1)

Country Link
CN (1) CN107273816B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108495287A (zh) * 2018-02-13 2018-09-04 大唐高鸿信息通信研究院（义乌）有限公司 适用于车载短距离通信网自动驾驶的目标识别和学习方法
CN108509900A (zh) * 2018-03-29 2018-09-07 深圳前向启创数码技术有限公司 交通标志检测和识别方法、系统及存储介质
CN109697397A (zh) * 2017-10-24 2019-04-30 高德软件有限公司 一种目标检测方法及装置
CN110135307A (zh) * 2019-04-30 2019-08-16 北京邮电大学 基于注意力机制的交通标志检测方法和装置
CN110969843A (zh) * 2019-10-12 2020-04-07 江铃汽车股份有限公司 一种具抑制策略的交通标志识别报警方法
CN113393011A (zh) * 2020-03-13 2021-09-14 百度在线网络技术（北京）有限公司 预测限速信息的方法、装置、计算机设备和介质
CN113870561A (zh) * 2021-09-30 2021-12-31 珠海研果科技有限公司 一种分布式车辆超速检测系统及方法
CN113963329A (zh) * 2021-10-11 2022-01-21 浙江大学 一种基于双阶段卷积神经网络的数字类交通标志检测识别方法
CN114038223A (zh) * 2021-10-28 2022-02-11 东风商用车有限公司 一种道路限速信息的车辆众包获取方法及系统
CN115394077A (zh) * 2022-08-18 2022-11-25 中国第一汽车股份有限公司 限速信息确定方法、装置及非易失性存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314772A (zh) * 2010-07-01 2012-01-11 北京中星微电子有限公司 一种车辆超速检测方法和装置及车辆超速报警系统
CN106156748A (zh) * 2016-07-22 2016-11-23 浙江零跑科技有限公司 基于车载双目相机的交通场景参与者识别方法
CN106256606A (zh) * 2016-08-09 2016-12-28 浙江零跑科技有限公司 一种基于车载双目相机的车道偏离预警方法
US20170010117A1 (en) * 2015-07-10 2017-01-12 Hyundai Motor Company Vehicle and method of controlling the same
DE102016117659A1 (de) * 2015-09-25 2017-03-30 Toyota Jidosha Kabushiki Kaisha Fahrunterstützungseinrichtung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314772A (zh) * 2010-07-01 2012-01-11 北京中星微电子有限公司 一种车辆超速检测方法和装置及车辆超速报警系统
US20170010117A1 (en) * 2015-07-10 2017-01-12 Hyundai Motor Company Vehicle and method of controlling the same
DE102016117659A1 (de) * 2015-09-25 2017-03-30 Toyota Jidosha Kabushiki Kaisha Fahrunterstützungseinrichtung
CN106156748A (zh) * 2016-07-22 2016-11-23 浙江零跑科技有限公司 基于车载双目相机的交通场景参与者识别方法
CN106256606A (zh) * 2016-08-09 2016-12-28 浙江零跑科技有限公司 一种基于车载双目相机的车道偏离预警方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697397A (zh) * 2017-10-24 2019-04-30 高德软件有限公司 一种目标检测方法及装置
CN109697397B (zh) * 2017-10-24 2021-07-30 阿里巴巴（中国）有限公司 一种目标检测方法及装置
CN108495287B (zh) * 2018-02-13 2020-12-01 大唐高鸿信息通信(义乌)有限公司 适用于车载短距离通信网自动驾驶的目标识别和学习方法
CN108495287A (zh) * 2018-02-13 2018-09-04 大唐高鸿信息通信研究院（义乌）有限公司 适用于车载短距离通信网自动驾驶的目标识别和学习方法
CN108509900A (zh) * 2018-03-29 2018-09-07 深圳前向启创数码技术有限公司 交通标志检测和识别方法、系统及存储介质
CN110135307A (zh) * 2019-04-30 2019-08-16 北京邮电大学 基于注意力机制的交通标志检测方法和装置
CN110969843A (zh) * 2019-10-12 2020-04-07 江铃汽车股份有限公司 一种具抑制策略的交通标志识别报警方法
CN113393011A (zh) * 2020-03-13 2021-09-14 百度在线网络技术（北京）有限公司 预测限速信息的方法、装置、计算机设备和介质
CN113393011B (zh) * 2020-03-13 2024-05-10 百度在线网络技术（北京）有限公司 预测限速信息的方法、装置、计算机设备和介质
CN113870561A (zh) * 2021-09-30 2021-12-31 珠海研果科技有限公司 一种分布式车辆超速检测系统及方法
CN113963329A (zh) * 2021-10-11 2022-01-21 浙江大学 一种基于双阶段卷积神经网络的数字类交通标志检测识别方法
CN114038223A (zh) * 2021-10-28 2022-02-11 东风商用车有限公司 一种道路限速信息的车辆众包获取方法及系统
CN114038223B (zh) * 2021-10-28 2023-01-03 东风商用车有限公司 一种道路限速信息的车辆众包获取方法及系统
CN115394077A (zh) * 2022-08-18 2022-11-25 中国第一汽车股份有限公司 限速信息确定方法、装置及非易失性存储介质
CN115394077B (zh) * 2022-08-18 2023-10-27 中国第一汽车股份有限公司 限速信息确定方法、装置及非易失性存储介质

Also Published As

Publication number Publication date
CN107273816B (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN107273816B (zh) 基于车载前视单目相机的交通限速标识检测识别方法
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
CN105512623B (zh) 基于多传感器雾天行车视觉增强与能见度预警系统及方法
CN103366190B (zh) 一种识别交通标志的方法
CN105844257A (zh) 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
CN108226917B (zh) 基于雷达的高精密突发情况检测系统
EP1930863A2 (en) Detecting and recognizing traffic signs
CN105809121A (zh) 多特征协同的交通标志检测与识别方法
CN107133568B (zh) 一种基于车载前视相机的限速提示及超速告警方法
CN101303803A (zh) 一种车牌识别的方法和系统
JP2021530048A (ja) 多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体
CN103530600A (zh) 复杂光照下的车牌识别方法及系统
CN111626170B (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN112381870B (zh) 一种基于双目视觉的船舶识别与航速测量系统及方法
CN109948552B (zh) 一种复杂交通环境中的车道线检测的方法
CN103903018A (zh) 一种复杂场景中对车牌进行定位的方法和系统
CN104851288B (zh) 一种交通灯定位方法
CN104573811A (zh) 一种红外图像和彩色图像融合的人流量统计方法
CN107909012A (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
CN108458746A (zh) 一种基于多类型传感器自适应融合方法
CN110188606A (zh) 基于高光谱成像的车道识别方法、装置及电子设备
CN108960083A (zh) 基于多传感器信息融合的自动驾驶目标分类方法及系统
CN102975659A (zh) 基于远红外图像的汽车夜间行驶预警系统及方法
CN109685083A (zh) 驾驶员开车违规使用手机的多尺度检测方法
CN106407904A (zh) 一种确定刘海区域的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200914

Address after: Room 301, building 3, No. 2930, South Ring Road, Puyan street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Dahua Automobile Technology Co.,Ltd.

Address before: 310051, Hangzhou, Zhejiang, Binjiang District, 6 street, 451 building, building

Patentee before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: 310000 Room 301, building 3, no.2930, South Ring Road, Puyan street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang huaruijie Technology Co.,Ltd.

Address before: 310000 Room 301, building 3, no.2930, South Ring Road, Puyan street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: Zhejiang Dahua Automobile Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder