CN109101924B - 一种基于机器学习的路面交通标志识别方法 - Google Patents

一种基于机器学习的路面交通标志识别方法 Download PDF

Info

Publication number
CN109101924B
CN109101924B CN201810923215.9A CN201810923215A CN109101924B CN 109101924 B CN109101924 B CN 109101924B CN 201810923215 A CN201810923215 A CN 201810923215A CN 109101924 B CN109101924 B CN 109101924B
Authority
CN
China
Prior art keywords
image
camera
detected
sample
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810923215.9A
Other languages
English (en)
Other versions
CN109101924A (zh
Inventor
肖进胜
戴媛
易本顺
李必军
包振宇
雷俊锋
朱力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201810923215.9A priority Critical patent/CN109101924B/zh
Publication of CN109101924A publication Critical patent/CN109101924A/zh
Application granted granted Critical
Publication of CN109101924B publication Critical patent/CN109101924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于机器学习的路面交通标志识别方法。将相机拍摄的图像进行预处理,并转化为灰度图像;将灰度图像的中心点设置为灭点,通过逆透视变换法将灰度图像转化为俯视图;将俯视图进行去背景处理,进行二值化得到二值图像,计算二值图像的最小外包围框,根据待检测标志的几何尺寸特征,筛选得到感兴趣区域;通过样本图像构建训练集以及测试集,通过人工标注将样本图像进行分类,提取每个样本图像的HOG特征作为特征向量,用来训练最终SVM分类器;将待检测图像处理得到感兴趣区域的图像作为待检测样本图像,提取待检测样本图像HOG特征,通过最终SVM分类器根据待检测样本图像HOG特征对待检测样本图像进行分类。本发明可以实现快速高效的检测。

Description

一种基于机器学习的路面交通标志识别方法
技术领域
本发明涉及机器学习方法和路面交通标志检测领域,特别涉及一种基于机器学习的路面交通标志识别方法。
背景技术
随着汽车产业的升级和车载设备的智能化,路面交通标志检测系统作为汽车智能化系统中的一个分支,近些年也得到了长足的发展。目前,路面交通标志的识别主要有激光雷达、车载摄像机两种解决方案。众所周知,激光雷达在三维运动物体的检测,而相机在光学识别上效率更高。另一方面,相机在成本上更有优势,在传统的机械结构上也有更少的依赖。所以,用车载摄像机采集图像的方式来实现的路面交通标志的检测成本更低,在产品推广上更具有现实意义。
查阅相关文献,可以发现目前路面交通标志识别算法根据原理可以分为四类:基于模版的方法、基于车道线的方法、基于传统机器学习的方法和基于深度学习的方法。基于车道线的方法利用路面交通标志出现在车道线之间的特点的先验知识来检测目标,其运算速度虽然快,但过于依赖车道线的检测结果,且抗干扰能力较差。基于模版的方法通过预先设置的标志模版在待检测图像中进行匹配,从而寻找目标,其无需训练易于扩展,但对于复杂交通环境下的各种干扰缺乏鲁棒性。基于传统机器学习和基于深度学习的方法主要通过采集样本训练模型,来检测目标标志,其中基于深度学习的方法检测效果最佳,但此类方法计算量大,在目标平台上难以快速运行。基于传统机器学习的方法在目标平台上虽然计算量大,但通过算法改进和优化后可以满足系统要求,并且保证识别效果。故本文基于传统机器学习的方法进行设计和优化。
发明内容
针对现有技术的缺点,本发明提出一种基于机器学习的路面交通标志识别方法,本方法可以有效应对实际交通环境下的光照不均、车辆干扰、标志旋转问题,实现快速高效的检测和识别。
为实现上述目的,本发明采用以下技术方案:
步骤1:将相机拍摄的图像进行去噪、平滑预处理,并将预处理后图像转化为灰度图像;
步骤2:将灰度图像的中心点设置为灭点,根据相机内参以及相机外参通过逆透视变换法将灰度图像转化为俯视图;
步骤3:将俯视图进行去背景处理,再将去背景处理后图像进行二值化得到二值图像,计算二值图像的最小外包围框,根据待检测标志的几何尺寸特征,筛选得到感兴趣区域;
步骤4:通过样本图像构建训练集以及测试集,通过人工标注将样本图像进行分类,提取每个样本图像的HOG特征作为特征向量,用来训练最终SVM分类器;
步骤5:将待检测图像根据步骤1至步骤3处理得到感兴趣区域的图像作为待检测样本图像,根据步骤4提取待检测样本图像HOG特征,通过最终SVM分类器根据待检测样本图像HOG特征对待检测样本图像进行分类;
作为优选,步骤1中所述相机拍摄的图像宽度为U,相机拍摄的图像高度为V;
步骤1中所述相机拍摄的图像进行去噪、平滑预处理为对相机拍摄的图像进行中值滤波;
步骤1中所述灰度图像转化过程为:
将预处理后图像的RGB三个通道中的最低值作为当前像素点的像素值:
f(i,j)=min(R(i,j),G(i,j),B(i,j))
其中,f(i,j)表示灰度图像中第i行第j列像素点的像素值,R(i,j)表示预处理后图像中第i行第j列R通道像素点的像素值,G(i,j)表示预处理后图像中第i行第j列G通道像素点的像素值,B(i,j)表示预处理后图像中第i行第j列B通道像素点的像素值,i∈[0,U-1],j∈[0,V-1];
作为优选,步骤2中所述灭点为步骤1中所述灰度图像f的中心点为
Figure BDA0001764757740000021
将中心点设置为灰度图像的灭点,灰度图像宽度为U,灰度图像高度为V;
步骤2中所述相机内参为相机分辨率m*n,视场角为2α*2β,相机的视场角度、成像分辨率可以根据摄像头具体型号得到;
步骤2中所述相机外参为相机在世界坐标系中的位置为(l,d,h),l=0,d为相机与车头之间的距离,h为相机高度,在车辆正前方水平安装摄像头,相机偏航角为γ=0,相机俯仰角为θ=0,相机与车头之间的距离d以及相机高度h可以通过实际测量得到;
步骤2中所述逆透视变换法为:
结合相机内参以及相机外参可以得到透视变换后俯视图F上任意一个点坐标(x,y,0),与灰度图像坐标系上的点(u,v)的对应关系:
Figure BDA0001764757740000031
其中,m为第一相机分辨率,n为第二相机分辨率,α为第一相机的视场角度参数,β为第二相机的视场角度参数,γ=0为相机偏航角,θ=0为相机俯仰角,h为相机高度,d为相机与车头之间的距离;
作为优选,步骤3中所述俯视图去背景处理为采用顶帽变换法:
俯视图像F的顶帽变换为F减去其开操作:
Figure BDA0001764757740000033
其中,b表示一个结构元素,
Figure BDA0001764757740000034
表示开运算;
通过顶帽变换法得到去背景处理后图像I;
步骤3中所述去背景处理后图像I进行二值化为局部中值阈值法:
对于每个去背景后图像内的像素点I(x,y),若I(x,y)的灰度值大于(M+T),则认为I(x,y)为标志元素,否则为道路背景;其中,T为阈值,M为以I(x,y)为中心点,与I(x,y)处在同一行,宽度为a范围内的所有像素,选取的像素坐标范围为
Figure BDA0001764757740000032
的灰度值平均值;
步骤3对二值图像进行膨胀处理,进一步对膨胀后二值图像提取最小外包围框:
使用Canny算法提取二值图像内所有轮廓区域,轮廓的数量为Nk,并得到每个轮廓区域的面积Sareakk∈[1,Nk];
通过包围盒算法计算各个轮廓的最小外包围框,并记录各个最小外包围框的长度Hkk∈[1,Nk],各个最小外包围框的宽度Wkk∈[1,Nk],各个最小外包围框的倾斜角σkk∈[1,Nk],以及各个最小外包围框的面积Srectkk∈[1,Nk];
步骤3中所述根据待检测标志的几何尺寸特征,筛选得到感兴趣区域为:
将最小外包围框进行几何尺寸特征进行筛选,对于轮廓区域k,若其对应的最小外包围框k满足:
H1≤Hk≤H2
W1≤Wk≤W2
σ1≤σk≤σ2
S1<Srectk/Sareak<S2
且最小外包围框与膨胀后二值图像不连通,则轮廓区域k构成感兴趣区域;
否则认为轮廓区域k为非地面交通标志区域;
作为优选,步骤4中所述样本图像为挑选M张包含各类交通标志的图像作为样本图像,经步骤1、步骤2以及步骤3处理后,在每个样本图像中得到感兴趣区域;
根据M张样本图像中得到感兴趣区域,人工对M张样本图像进行标注,标注为(N+1)种类别,其中N类为待识别的N种路面交通标志,1类为包含其他干扰在内的负样本;
步骤4中所述M张样本HOG特征提取为:
将人工标注后M张样本图像归一化为固定m*m大小的样本图像,计算归一化后样本图像内每个像素的梯度得到归一化后样本图像的梯度直方图;
用大小为n*n、滑动步长为d的窗口将其划分为
Figure BDA0001764757740000041
个块;
将每个块划分为h个单元,每个单元提取r个区间的梯度特征,一个块内所有单元的特征描述子串联起来便得到该块的HOG特征描述子;
将图像内的所有块的HOG特征描述子串联起来就可以得到该图像的HOG特征描述子,即HOG特征向量;
通过PCA降维方法化简HOG特征向量:
M个样本图像数据,每一个样本图像由
Figure BDA0001764757740000051
维特征向量组成,将原始数据按列组成M行
Figure BDA0001764757740000052
列矩阵X:
Figure BDA0001764757740000053
将X的每一行进行零均值化,即每一行减去这一行的均值,并得到协方差矩阵
Figure BDA0001764757740000054
计算
Figure BDA0001764757740000055
的特征值:
Figure BDA0001764757740000056
其中λ1≥λ2≥λp>0
其中,det为求特征值运算符,λ代表每个维度上的方差,E为单位矩阵,取协方差矩阵特征值最大的前p个主成份,将特征向量按对应特征值大小组成矩阵P,Y=PX即为降维到p维后的数据;
每张样本图像得到一个p维的HOG特征值;
步骤4中所述训练最终SVM分类器为:
将提取p维的HOG特征后M张样本图像随机划分为k组图像,每组图像中都包含这(N+1)种类别样本,挑选其中一组图像作为k训练法测试集,剩下的k-1组图像为k训练法训练集用来训练分类器模型,通过一对一训练法,得到能够将(N+1)类样本区分的第l个分类器SVMl,并将k训练法测试集输入到第l个分类器SVMl进行分类,并将k训练法测试集分类结果与实际结果进行对比得到分类准确率εl,l∈[1,k];
在ε12,…,εk中挑选分类准确率最高的分类器为最终SVM分类器;
作为优选,步骤5中所述通过最终SVM分类器根据待检测样本图像HOG特征对待检测样本图像进行分类为:将待检测样本图像提取HOG特征后输入到最终SVM分类器中,根据待检测样本图像HOG特征判断待检测样本图像通过最终SVM分类器的分类结果判断所述交通标类别;
判别上一帧待检测样本图像与该帧待检测样本图像是否包含同一路标:
若上一帧待检测样本图像与该帧待检测样本图像不包含同一路标,则不输出该帧待检测样本图像内的交通标类别,否则输出。
附图说明
图1:本发明的方法流程示意图;
图2:本发明SVM分类器训练方法流程图;
图3:本发明图像实施例中的交通标志识别效果图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
下面结合图1至图3介绍本发明的实施方式,具体包括以下步骤:
步骤1:将相机拍摄的图像进行去噪、平滑预处理,并将预处理后图像转化为灰度图像;
步骤1中所述相机拍摄的图像宽度为U,相机拍摄的图像高度为V,U=720,V=640;
步骤1中所述相机拍摄的图像进行去噪、平滑预处理为对相机拍摄的图像进行中值滤波;
步骤1中所述灰度图像转化过程为:
将预处理后图像的RGB三个通道中的最低值作为当前像素点的像素值:
f(i,j)=min(R(i,j),G(i,j),B(i,j))
其中,f(i,j)表示灰度图像中第i行第j列像素点的像素值,R(i,j)表示预处理后图像中第i行第j列R通道像素点的像素值,G(i,j)表示预处理后图像中第i行第j列G通道像素点的像素值,B(i,j)表示预处理后图像中第i行第j列B通道像素点的像素值,i∈[0,U-1],j∈[0,V-1];
步骤2:将灰度图像的中心点设置为灭点,根据相机内参以及相机外参通过逆透视变换法将灰度图像转化为俯视图;
步骤2中所述灭点为步骤1中所述灰度图像f的中心点为
Figure BDA0001764757740000061
将中心点设置为灰度图像的灭点,灰度图像宽度为U,灰度图像高度为V;
步骤2中所述相机内参为相机分辨率m*n,视场角为2α*2β,相机的视场角度、成像分辨率可以根据摄像头具体型号得到;
步骤2中所述相机外参为相机在世界坐标系中的位置为(l,d,h),l=0,d为相机与车头之间的距离,h为相机高度,在车辆正前方水平安装摄像头,相机偏航角为γ=0,相机俯仰角为θ=0,相机与车头之间的距离d以及相机高度h可以通过实际测量得到,d=2m,h=1.5m;
步骤2中所述逆透视变换法为:
结合相机内参以及相机外参可以得到透视变换后俯视图F上任意一个点坐标(x,y,0),与灰度图像坐标系上的点(u,v)的对应关系:
Figure BDA0001764757740000071
其中,m为第一相机分辨率,n为第二相机分辨率,α为第一相机的视场角度参数,β为第二相机的视场角度参数,γ=0为相机偏航角,θ=0为相机俯仰角,h为相机高度,d为相机与车头之间的距离;
步骤3:将俯视图进行去背景处理,再将去背景处理后图像进行二值化得到二值图像,计算二值图像的最小外包围框,根据待检测标志的几何尺寸特征,筛选得到感兴趣区域;
步骤3中所述俯视图去背景处理为采用顶帽变换法:
俯视图像F的顶帽变换为F减去其开操作:
Figure BDA0001764757740000072
其中,b表示一个结构元素,
Figure BDA0001764757740000073
表示开运算;
通过顶帽变换法得到去背景处理后图像I;
步骤3中所述去背景处理后图像I进行二值化为局部中值阈值法:
对于每个去背景后图像内的像素点I(x,y),若I(x,y)的灰度值大于(M+T),则认为I(x,y)为标志元素,否则为道路背景;其中,T为阈值,M为以I(x,y)为中心点,与I(x,y)处在同一行,宽度为a范围内的所有像素,选取的像素坐标范围为
Figure BDA0001764757740000081
的灰度值平均值;
步骤3对二值图像进行膨胀处理,进一步对膨胀后二值图像提取最小外包围框:
使用Canny算法提取二值图像内所有轮廓区域,轮廓的数量为Nk,并得到每个轮廓区域的面积Sareakk∈[1,Nk];
通过包围盒算法计算各个轮廓的最小外包围框,并记录各个最小外包围框的长度Hkk∈[1,Nk],各个最小外包围框的宽度Wkk∈[1,Nk],各个最小外包围框的倾斜角σkk∈[1,Nk],以及各个最小外包围框的面积Srectkk∈[1,Nk];
步骤3中所述根据待检测标志的几何尺寸特征,筛选得到感兴趣区域为:
将最小外包围框进行几何尺寸特征进行筛选,对于轮廓区域k,若其对应的最小外包围框k满足:
H1≤Hk≤H2
W1≤Wk≤W2
σ1≤σk≤σ2
S1<Srectk/Sareak<S2
且最小外包围框与膨胀后二值图像不连通,则轮廓区域k构成感兴趣区域;
否则认为轮廓区域k为非地面交通标志区域;
步骤4:通过样本图像构建训练集以及测试集,通过人工标注将样本图像进行分类,提取每个样本图像的HOG特征作为特征向量,用来训练最终SVM分类器;
步骤4中所述样本图像为挑选M张包含各类交通标志的图像作为样本图像,经步骤1、步骤2以及步骤3处理后,在每个样本图像中得到感兴趣区域;
根据M张样本图像中得到感兴趣区域,人工对M张样本图像进行标注,标注为(N+1)种类别,其中N类为待识别的N种路面交通标志,1类为包含其他干扰在内的负样本;
步骤4中所述M张样本HOG特征提取为:
将人工标注后M张样本图像归一化为固定m*m大小的样本图像,m=32,计算归一化后样本图像内每个像素的梯度得到归一化后样本图像的梯度直方图;
用大小为n*n、滑动步长为d的窗口将其划分为
Figure BDA0001764757740000091
个块,n=16,d=8;
将每个块划分为h个单元,每个单元提取r个区间的梯度特征,一个块内所有单元的特征描述子串联起来便得到该块的HOG特征描述子,h=4,r=9;
将图像内的所有块的HOG特征描述子串联起来就可以得到该图像的HOG特征描述子,即HOG特征向量;
通过PCA降维方法化简HOG特征向量:
M个样本图像数据,每一个样本图像由
Figure BDA0001764757740000092
维特征向量组成,将原始数据按列组成M行
Figure BDA0001764757740000093
列矩阵X:
Figure BDA0001764757740000094
将X的每一行进行零均值化,即每一行减去这一行的均值,并得到协方差矩阵
Figure BDA0001764757740000095
计算
Figure BDA0001764757740000096
的特征值:
Figure BDA0001764757740000097
其中λ1≥λ2≥λp>0
其中,det为求特征值运算符,λ代表每个维度上的方差,E为单位矩阵,取协方差矩阵特征值最大的前p=150个主成份,将特征向量按对应特征值大小组成矩阵P,Y=PX即为降维到p=150维后的数据;
每张样本图像得到一个p=150维的HOG特征值;
步骤4中所述训练最终SVM分类器为:
将提取p维的HOG特征后M张样本图像随机划分为k组图像,每组图像中都包含这(N+1)种类别样本,挑选其中一组图像作为k训练法测试集,剩下的k-1组图像为k训练法训练集用来训练分类器模型,通过一对一训练法,得到能够将(N+1)类样本区分的第l个分类器SVMl,并将k训练法测试集输入到第l个分类器SVMl进行分类,并将k训练法测试集分类结果与实际结果进行对比得到分类准确率εl,l∈[1,k];
在ε12,…,εk中挑选分类准确率最高的分类器为最终SVM分类器;
步骤5:将待检测图像根据步骤1至步骤3处理得到感兴趣区域的图像作为待检测样本图像,根据步骤4提取待检测样本图像HOG特征,通过最终SVM分类器根据待检测样本图像HOG特征对待检测样本图像进行分类;
步骤5中所述通过最终SVM分类器根据待检测样本图像HOG特征对待检测样本图像进行分类为:将待检测样本图像提取HOG特征后输入到最终SVM分类器中,根据待检测样本图像HOG特征判断待检测样本图像通过最终SVM分类器的分类结果判断所述交通标类别;
判别上一帧待检测样本图像与该帧待检测样本图像是否包含同一路标:
若上一帧待检测样本图像与该帧待检测样本图像不包含同一路标,则不输出该帧待检测样本图像内的交通标类别,否则输出。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于机器学习的路面交通标志识别方法,其特征在于,包括以下步骤:
步骤1:将相机拍摄的图像进行去噪、平滑预处理,并将预处理后图像转化为灰度图像;
步骤2:将灰度图像的中心点设置为灭点,根据相机内参以及相机外参通过逆透视变换法将灰度图像转化为俯视图;
步骤2中所述灭点为步骤1中所述灰度图像f的中心点为
Figure FDA0002979573430000011
将中心点设置为灰度图像的灭点,灰度图像宽度为U,灰度图像高度为V;
步骤2中所述相机内参为相机分辨率m*n,视场角为2α*2β,相机的视场角度、成像分辨率可以根据摄像头具体型号得到;
步骤2中所述相机外参为相机在世界坐标系中的位置为(l,d,h),l=0,d为相机与车头之间的距离,h为相机高度,在车辆正前方水平安装摄像头,相机偏航角为γ=0,相机俯仰角为θ=0,相机与车头之间的距离d以及相机高度h可以通过实际测量得到;
步骤2中所述逆透视变换法为:
结合相机内参以及相机外参可以得到透视变换后俯视图F上任意一个点坐标(x,y,0),与灰度图像坐标系上的点(u,v)的对应关系:
Figure FDA0002979573430000012
其中,m为第一相机分辨率,n为第二相机分辨率,α为第一相机的视场角度参数,β为第二相机的视场角度参数,γ=0为相机偏航角,θ=0为相机俯仰角,h为相机高度,d为相机与车头之间的距离;
步骤3:将俯视图进行去背景处理,再将去背景处理后图像进行二值化得到二值图像,计算二值图像的最小外包围框,根据待检测标志的几何尺寸特征,筛选得到感兴趣区域;
步骤4:通过样本图像构建训练集以及测试集,通过人工标注将样本图像进行分类,提取每个样本图像的HOG特征作为特征向量,用来训练最终SVM分类器;
步骤5:将待检测图像根据步骤1至步骤3处理得到感兴趣区域的图像作为待检测样本图像,根据步骤4提取待检测样本图像HOG特征,通过最终SVM分类器根据待检测样本图像HOG特征对待检测样本图像进行分类。
2.根据权利要求1所述的基于机器学习的路面交通标志识别方法,其特征在于:步骤1中所述相机拍摄的图像宽度为U,相机拍摄的图像高度为V;
步骤1中所述相机拍摄的图像进行去噪、平滑预处理为对相机拍摄的图像进行中值滤波;
步骤1中所述灰度图像转化过程为:
将预处理后图像的RGB三个通道中的最低值作为当前像素点的像素值:
f(i,j)=min(R(i,j),G(i,j),B(i,j))
其中,f(i,j)表示灰度图像中第i行第j列像素点的像素值,R(i,j)表示预处理后图像中第i行第j列R通道像素点的像素值,G(i,j)表示预处理后图像中第i行第j列G通道像素点的像素值,B(i,j)表示预处理后图像中第i行第j列B通道像素点的像素值,i∈[0,U-1],j∈[0,V-1]。
3.根据权利要求1所述的基于机器学习的路面交通标志识别方法,其特征在于:步骤3中所述俯视图去背景处理为采用顶帽变换法:
俯视图像F的顶帽变换为F减去其开操作:
Figure FDA0002979573430000021
其中,b表示一个结构元素,
Figure FDA0002979573430000023
表示开运算;
通过顶帽变换法得到去背景处理后图像I;
步骤3中所述去背景处理后图像I进行二值化为局部中值阈值法:
对于每个去背景后图像内的像素点I(x,y),若I(x,y)的灰度值大于(M+T),则认为I(x,y)为标志元素,否则为道路背景;其中,T为阈值,M为以I(x,y)为中心点,与I(x,y)处在同一行,宽度为a范围内的所有像素,选取的像素坐标范围为
Figure FDA0002979573430000022
的灰度值平均值;
步骤3对二值图像进行膨胀处理,进一步对膨胀后二值图像提取最小外包围框:
使用Canny算法提取二值图像内所有轮廓区域,轮廓的数量为Nk,并得到每个轮廓区域的面积Sareak, k∈[1,Nk];
通过包围盒算法计算各个轮廓的最小外包围框,并记录各个最小外包围框的长度Hk, k∈[1,Nk],各个最小外包围框的宽度Wk, k∈[1,Nk],各个最小外包围框的倾斜角σk, k∈[1,Nk],以及各个最小外包围框的面积Srectk, k∈[1,Nk];
步骤3中所述根据待检测标志的几何尺寸特征,筛选得到感兴趣区域为:
将最小外包围框进行几何尺寸特征进行筛选,对于轮廓区域k,若其对应的最小外包围框k满足:
H1≤Hk≤H2
W1≤Wk≤W2
σ1≤σk≤σ2
S1<Srectk/Sareak<S2
且最小外包围框与膨胀后二值图像不连通,则轮廓区域k构成感兴趣区域;
否则认为轮廓区域k为非地面交通标志区域。
4.根据权利要求1所述的基于机器学习的路面交通标志识别方法,其特征在于:步骤4中所述样本图像为挑选M张包含各类交通标志的图像作为样本图像,经步骤1、步骤2以及步骤3处理后,在每个样本图像中得到感兴趣区域;
根据M张样本图像中得到感兴趣区域,人工对M张样本图像进行标注,标注为(N+1)种类别,其中N类为待识别的N种路面交通标志,1类为包含其他干扰在内的负样本;
步骤4中所述M张样本HOG特征提取为:
将人工标注后M张样本图像归一化为固定m*m大小的样本图像,计算归一化后样本图像内每个像素的梯度得到归一化后样本图像的梯度直方图;
用大小为n*n、滑动步长为d的窗口将其划分为
Figure FDA0002979573430000031
个块;
将每个块划分为h个单元,每个单元提取r个区间的梯度特征,一个块内所有单元的特征描述子串联起来便得到该块的HOG特征描述子;
将图像内的所有块的HOG特征描述子串联起来就可以得到该图像的HOG特征描述子,即HOG特征向量;
通过PCA降维方法化简HOG特征向量:
M个样本图像数据,每一个样本图像由
Figure FDA0002979573430000041
维特征向量组成,将原始数据按列组成M行
Figure FDA0002979573430000042
列矩阵X:
Figure FDA0002979573430000043
将X的每一行进行零均值化,即每一行减去这一行的均值,并得到协方差矩阵
Figure FDA0002979573430000044
计算
Figure FDA0002979573430000045
的特征值:
Figure FDA0002979573430000046
其中λ1≥λ2≥λp>0
其中,det为求特征值运算符,λ代表每个维度上的方差,E为单位矩阵,取协方差矩阵特征值最大的前p个主成份,将特征向量按对应特征值大小组成矩阵P,Y=PX即为降维到p维后的数据;
每张样本图像得到一个p维的HOG特征值;
步骤4中所述训练最终SVM分类器为:
将提取p维的HOG特征后M张样本图像随机划分为k组图像,每组图像中都包含这(N+1)种类别样本,挑选其中一组图像作为k训练法测试集,剩下的k-1组图像为k训练法训练集用来训练分类器模型,通过一对一训练法,得到能够将(N+1)类样本区分的第l个分类器SVMl,并将k训练法测试集输入到第l个分类器SVMl进行分类,并将k训练法测试集分类结果与实际结果进行对比得到分类准确率εl,l∈[1,k];
在ε1,ε2,...,εk中挑选分类准确率最高的分类器为最终SVM分类器。
5.根据权利要求1所述的基于机器学习的路面交通标志识别方法,其特征在于:步骤5中所述通过最终SVM分类器根据待检测样本图像HOG特征对待检测样本图像进行分类为:将待检测样本图像提取HOG特征后输入到最终SVM 分类器中,根据待检测样本图像HOG特征判断待检测样本图像通过最终SVM分类器的分类结果判断所述交通标类别;
判别上一帧待检测样本图像与该帧待检测样本图像是否包含同一路标:
若上一帧待检测样本图像与该帧待检测样本图像不包含同一路标,则不输出该帧待检测样本图像内的交通标类别,否则输出。
CN201810923215.9A 2018-08-14 2018-08-14 一种基于机器学习的路面交通标志识别方法 Active CN109101924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810923215.9A CN109101924B (zh) 2018-08-14 2018-08-14 一种基于机器学习的路面交通标志识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810923215.9A CN109101924B (zh) 2018-08-14 2018-08-14 一种基于机器学习的路面交通标志识别方法

Publications (2)

Publication Number Publication Date
CN109101924A CN109101924A (zh) 2018-12-28
CN109101924B true CN109101924B (zh) 2021-05-04

Family

ID=64849601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810923215.9A Active CN109101924B (zh) 2018-08-14 2018-08-14 一种基于机器学习的路面交通标志识别方法

Country Status (1)

Country Link
CN (1) CN109101924B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444749B (zh) * 2019-01-17 2023-09-01 杭州海康威视数字技术股份有限公司 路面导向标志的识别方法、装置及存储介质
CN109815953A (zh) * 2019-01-30 2019-05-28 电子科技大学 一种基于车辆年检标的车辆识别匹配系统
CN109858502A (zh) * 2019-03-07 2019-06-07 无锡众创未来科技应用有限公司 一种基于图像目标特征描述的方法
CN110349118A (zh) * 2019-03-28 2019-10-18 云南农业大学 基于计算机视觉技术的天麻品质检测方法
CN110334261A (zh) * 2019-05-31 2019-10-15 平安科技(深圳)有限公司 车辆信息展示方法、装置、设备及存储介质
CN110287904B (zh) * 2019-06-27 2021-07-16 武汉中海庭数据技术有限公司 一种基于众包数据的车道线提取方法、装置及存储介质
CN110360973B (zh) * 2019-08-28 2021-02-05 合肥工业大学 一种面向微型工件测量的自动引导方法
CN110751085B (zh) * 2019-10-17 2023-06-16 南京航空航天大学 一种小鼠行为识别方法
CN110751643A (zh) * 2019-10-21 2020-02-04 睿视智觉(厦门)科技有限公司 一种水质异常检测方法、装置及设备
US11335100B2 (en) 2019-12-27 2022-05-17 Industrial Technology Research Institute Traffic light recognition system and method thereof
CN111667498B (zh) * 2020-05-14 2023-07-18 武汉大学 一种面向光学卫星视频的运动舰船目标自动检测方法
CN112052723A (zh) * 2020-07-23 2020-12-08 深圳市玩瞳科技有限公司 识字卡片、基于图像识别的桌面场景的str方法及装置
CN112614045B (zh) * 2020-12-16 2022-05-31 上海交通大学 农机前方作业环境视觉感知透视效应的消除方法和系统
CN113283301B (zh) * 2021-04-27 2024-05-17 江苏大学 一种基于机器学习的单层二硫化钼样品光学表征方法、模型及其用途
CN114626462B (zh) * 2022-03-16 2023-03-24 小米汽车科技有限公司 路面标识识别方法、装置、设备及存储介质
CN116071725B (zh) * 2023-03-06 2023-08-08 四川蜀道新能源科技发展有限公司 一种路面标线识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542260A (zh) * 2011-12-30 2012-07-04 中南大学 一种面向无人驾驶车的道路交通标志识别方法
CN103942546A (zh) * 2014-05-08 2014-07-23 奇瑞汽车股份有限公司 一种城市环境中导向交通标线识别系统及方法
CN107491756A (zh) * 2017-08-17 2017-12-19 武汉大学 基于交通标牌与地面标志的车道转向信息识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130051681A (ko) * 2011-11-10 2013-05-21 한국전자통신연구원 노면 표식물 인식 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542260A (zh) * 2011-12-30 2012-07-04 中南大学 一种面向无人驾驶车的道路交通标志识别方法
CN103942546A (zh) * 2014-05-08 2014-07-23 奇瑞汽车股份有限公司 一种城市环境中导向交通标线识别系统及方法
CN107491756A (zh) * 2017-08-17 2017-12-19 武汉大学 基于交通标牌与地面标志的车道转向信息识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Road mark recognition using HOG-SVM and correlation;Ouerhani Y 等;《Optics and Photonics for Information Processing XI. International Society for Optics and Photonics》;20170824;第103950Q页 *

Also Published As

Publication number Publication date
CN109101924A (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
CN109101924B (zh) 一种基于机器学习的路面交通标志识别方法
CN108830188B (zh) 基于深度学习的车辆检测方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN106651872B (zh) 基于Prewitt算子的路面裂缝识别方法及系统
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN106650731B (zh) 一种鲁棒的车牌、车标识别方法
CN110866430B (zh) 一种车牌识别方法及装置
CN110399884B (zh) 一种特征融合自适应锚框模型车辆检测方法
CN107729812B (zh) 一种适用于监控场景中的车辆颜色识别的方法
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
Zhang et al. Study on traffic sign recognition by optimized Lenet-5 algorithm
CN106610969A (zh) 基于多模态信息的视频内容审查系统及方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN102663411A (zh) 一种目标人体识别方法
CN104200228A (zh) 一种安全带识别方法与系统
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN115797813B (zh) 基于航拍图像的水环境污染检测方法
Yang et al. An efficient method for vehicle model identification via logo recognition
CN110705553B (zh) 一种适用于车辆远景图像的划痕检测方法
CN110516666B (zh) 基于mser和isodata相结合的车牌定位方法
CN107679467B (zh) 一种基于hsv和sdalf的行人重识别算法实现方法
Vinoharan et al. A wheel-based side-view car detection using snake algorithm
CN108985294B (zh) 一种轮胎模具图片的定位方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant