CN106611161A - 一种交通标志包围盒的优化方法 - Google Patents

一种交通标志包围盒的优化方法 Download PDF

Info

Publication number
CN106611161A
CN106611161A CN201611170043.XA CN201611170043A CN106611161A CN 106611161 A CN106611161 A CN 106611161A CN 201611170043 A CN201611170043 A CN 201611170043A CN 106611161 A CN106611161 A CN 106611161A
Authority
CN
China
Prior art keywords
shape
bounding box
pixel
factor
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611170043.XA
Other languages
English (en)
Other versions
CN106611161B (zh
Inventor
胡事民
朱哲
卢嘉铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201611170043.XA priority Critical patent/CN106611161B/zh
Publication of CN106611161A publication Critical patent/CN106611161A/zh
Application granted granted Critical
Publication of CN106611161B publication Critical patent/CN106611161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Abstract

本发明提供一种交通标志的包围盒的优化方法，包括：S1、对原始的包围盒中的每个像素进行初始的标记，获得交通标志的初始的形状；S2、基于所述初始的形状以及交通标志的标准形状，获得初始的形变参数；S3、基于所述初始的形状和形变参数优化能量函数，获得更优的形状和形变参数；以及S4、基于所述更优的形状和形变参数，对所述能量函数进行多次迭代运算，获得优化的包围盒。本发明获得的交通标志包围盒更精确，交通标志识别准确率相比现有技术更高。

Description

一种交通标志包围盒的优化方法
技术领域
本发明涉及计算机视觉领域，更具体地，涉及一种交通标志包围盒的优化方法。
背景技术
现代交通高度发达，道路状况越来越复杂，交通安全等问题也愈加重要。智能交通系统可以有效地缓解交通拥堵，减少交通事故。
交通标志是显示交通法规及道路信息的图形符号，用以管理交通、指示行车方向以保证道路畅通与行车安全。在智能交通系统中，交通标志识别是一个非常重要的部分。交通标志识别技术可以对驾驶员进行提示或者警告，从而达到缓解交通拥堵，减少交通事故的目的。
在交通标志识别中，相对于大尺寸的道路图像，交通标志尺寸较小，难以进行直接的识别。通常需要在较大尺寸的道路图像中对交通标志进行检测，获得交通标志的包围盒，对该包围盒中的内容进行识别。在目前的一些交通标志检测方法(如级联分类器)中，得到的交通标志包围盒通常不够精确，造成对交通标志识别的准确率降低
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的交通标志包围盒的优化方法。
根据本发明的一个方面，提供一种交通标志的包围盒的优化方法，包括：
S1、对原始的包围盒中的每个像素进行初始的标记，获得交通标志的初始的形状；
S2、基于所述初始的形状以及交通标志的标准形状，获得初始的形变参数；
S3、基于所述初始的形状和形变参数优化能量函数，获得更优的形状和形变参数；以及
S4、基于所述更优的形状和形变参数，对所述能量函数进行多次迭代运算，获得优化的包围盒。
本申请提出一种通过对包围盒中的像素进行分类，获得初始的形状，再基于初始的形状获得形变参数，基于形状和形变参数不断优化能量函数，最终获得优化的包围盒，本发明获得的交通标志包围盒更精确，交通标志识别准确率相比现有技术更高。
附图说明
图1为根据本发明实施例的交通标志包围盒的优化方法的流程图；
图2为根据本发明实施例的优化方法与其他优化方法的对比效果图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
为了克服现有交通标志检测(例如级联分类器)中，交通标志包围盒精度不高，识别的交通标志识准确度低的问题，本发明提供了通过对包围盒中的像素进行分类，获得初始的形状，再基于初始的形状获得形变参数，基于形状和形变参数不断优化能量函数，最终获得优化的包围盒。
图1示出了本发明中交通标志包围盒的优化方法的流程图，如图所示，本方法包括：
S1、对原始的包围盒中的每个像素进行初始的标记，获得交通标志的初始的形状；
S2、基于所述初始的形状以及交通标志的标准形状，获得初始的形变参数；
S3、基于所述初始的形状和形变参数优化能量函数，获得更优的形状和形变参数；以及
S4、基于所述更优的形状和形变参数，对所述能量函数进行多次迭代运算，获得优化的包围盒。
本申请提出一种通过对包围盒中的像素进行分类，获得初始的形状，再基于初始的形状获得形变参数，基于形状和形变参数不断优化能量函数，最终获得优化的包围盒，本发明获得的交通标志包围盒更精确，交通标志识别准确率相比现有技术更高
在一个实施例中，所述步骤S1包括：
S1.1、基于原始的包围盒的尺寸，重新从街景图或者包含该交通标志的图片中采集该交通标志的包围盒，重新采集的包围盒的尺寸为原始的包围盒的尺寸的两倍；以及
S1.2、基于图割算法对所述重新采集的包围盒进行初始的标记，即对包围盒的每个像素分为交通标志像素或背景像素；
S1.3、将所有交通标志像素组合成的形状记为初始的形状。
现有方法采集的原始包围盒的尺寸通常较小，带来了交通标志识别不清楚的问题，而本发明在原始包围盒尺寸的基础上扩大两倍，能够捕获到完整的交通标志图。
在一个实施例中，所述步骤S2包括：
S2.1、分别计算所述初始的形状与交通标志的标准形状的形状上下文描述因子。交通标志的标准形状分为三种：方形、圆形和三角形。形状上下文描述因子是通过形状上下文算法(shape contex算法)获得的。
S2.2、匹配两个所述形状上下文描述因子，获得所述初始形状与交通标志的标准形状间的对应关系。
S2.3、对所述对应关系基于RANSAC算法获得初始的形变参数。形状参数的作用是：通过初始形状对应的初始形变参数，可以将初始形状近似地变换到标准形状。
在一个实施例中所述步骤S3包括：
S3.1、基于所有像素获得的颜色因子、形状因子以及平滑因子，创建以形状和形变参数为变量的能量函数。
其中，所述能量函数的表达式为：
Edata(L,H)＝Ecolor(L)+λshapeEshape(L,H)；
L为本次迭代输入的形状；H为本次迭代输入的形变参数；E(L,H)为以L和H为变量获得的能量函数值；P为包围盒中所有像素的集合，N为P的轮廓像素集合，对于P中的像素p，Lp为像素p的标记值，Lp∈(0,1)，0代表该像素为背景像素，1代表该像素为交通标志像素；为数据因子；Ecolor表示颜色因子；Eshape表示形状因子；Esmooth表示平滑因子；λshape表示形状因子权重；λsmooth表示平滑因子权重。
S3.2、固定初始的形变参数，计算使所述能量函数取最小值的形状，作为下一次迭代的形状；以及
S3.3、固定初始的形状，计算使所述能量函数取最小值的形变参数，作为下一次迭代的形变参数；
在一个实施例中，所述步骤S3.1中颜色因子的获得方法为：
对每个像素分别训练一个高斯混合模型，获得各高斯混合模型的权重、均值以及协方差；
计算每个像素对应于自身训练的高斯混合模型中各成员的概率；
采集每个像素的RGB值；
基于所述高斯混合模型的权重、均值、协方差、概率以及RGB值，获得每个像素的颜色因子；以及
基于每个像素的颜色因子获得当前迭代输入的形状的颜色因子。
所述颜色因子的表达式为：
其中，Ecolor(L)为以L为自变量的颜色因子；Dcolor(Lp,kp,Ip,θ)为像素p的颜色因子；P为包围盒中所有像素的集合；像素p属于P；Lp表示对像素p的标记值，为0或1，0代表该像素为背景像素，1代表该像素为交通标志像素；θ代表高斯混合模型，K表示高斯混合模型的成员个数，kp表示像素p对应于高斯混合模型中的成员k得到的概率大小，Ip表示像素p的RGB值。式中的分别表示高斯混合模型中的权重，均值和协方差。
在一个实施例中，所述步骤S3.1中形状因子的获取方法为：
基于形变参数，将标准形状通过单应性形变矩阵形变为近似于形状的近似形状，单应性形变矩阵是一种数学上的一般方法，可以将一个形状变换成另一个形状，通过变换，形状与近似形状的每个像素都相互对应。
将形状和近似形状中交通标志像素作为数字1，将背景像素作为数字0，分别获得所述形状的二值图像a和近似形状的二值图像b；
对所述两个二值图像，计算每个对应位置的像素的形状因子；以及
将所有像素的形状因子相加，获得当前迭代输入的形状的形状因子。
形状因子通过如下公式定义：
Eshape(L,H)＝Dshape(L,HΨ)
式中，Eshape为形状因子，L表示本次迭代中输入的标记，H表示本次迭代中输入的形变参数，P为包围盒中所有像素的集合，像素p属于P，Lp表示对像素p的标记值，为0或1，0代表该像素为背景像素，1代表该像素为交通标志像素。ψ表示步骤S2中预先定义的交通标志的标准形状，是一个二值图像。Hψ表示了通过形变参数H，将标准形状形变为接近L的形状的函数。对于某个形状ψa，ψp a表示形状ψa中点p在二值图像中的取值，为0或1。
在一个实施例中，所述步骤S3.1中平滑因子的获得方法为：
采集位于当前迭代输入的形状的轮廓的像素，作为轮廓像素；
相邻两个轮廓像素的RGB值；
基于所述两个轮廓像素的RGB值差，获得两个像素因子间的平滑因子；以及
基于所有两两轮廓像素间的平滑因子以及平滑因子权重，获得当前迭代输入的形状的平滑因子。
平滑因子的表达式为：
Esmooth(Lp,Lq)＝|Lp-Lq|exp(-β(Ip-Iq)2)
式中，Esmooth为需要的平滑因子，L表示本次迭代中输入的标记，P为包围盒中所有像素的集合，像素p属于P，Lp表示对像素p的标记，Iq表示像素p的RGB值。β为设定的常量，(Ip-Iq)表示像素p和像素q的RGB值差，采用欧几里得距离计算。
在一个实施例中，所述形状因子权值随迭代过程逐渐增大。由于在初始过程中，标志牌形状较为不准确，早初始的几步中需要减少在能量函数中的权重值。在迭代过程中，由于形状逐渐较为准确，形状因子在能量函数中的权值不断增加。形状因子权值通过以下公式确定
该式中，代表第i步迭代中的形状因子权值，w＝0.5,r＝4。
在一个实施例中，所述步骤S4中迭代运算的次数的最大值为5。
图2示出了采用本发明和其他方法获得的交通标志包围盒，图中的方框表示包围盒，其中左侧为采用本发明获得的结果，中间为采用级联分类器获得的结果，右侧为采用人工标注法获得的结果，从图2中可以清晰地发现，采用本发明和人工标注法获得的包围盒准确地将交通标志纳入其中，而采用级联分类器获得的包围盒与交通标志之间均存在偏移，本发明的准确率大大高于采用级联分类器的准确率，与人工标注法不分伯仲，但效率上远远领先于人工标注法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种交通标志的包围盒的优化方法，其特征在于，包括：
S1、对原始的包围盒中的每个像素进行初始的标记，获得交通标志的初始的形状；
S2、基于所述初始的形状以及交通标志的标准形状，获得初始的形变参数；
S3、基于所述初始的形状和形变参数优化能量函数，获得更优的形状和形变参数；以及
S4、基于所述更优的形状和形变参数，对所述能量函数进行多次迭代运算，获得优化的包围盒。
2.如权利要求1所述的交通标志包围盒的优化方法，其特征在于，所述步骤S1包括：
S1.1、基于原始的包围盒的尺寸，重新采集该交通标志的包围盒，重新采集的包围盒的尺寸为原始的包围盒的尺寸的两倍；以及
S1.2、基于图割算法对所述重新采集的包围盒进行初始的标记，即对包围盒的每个像素分为交通标志像素或背景像素；
S1.3、将所有交通标志像素组合成的形状记为初始的形状。
3.如权利要求2所述的交通标志包围盒的优化方法，其特征在于，所述步骤S2包括：
S2.1、分别计算所述初始的形状与交通标志的标准形状的形状上下文描述因子；
S2.2、匹配两个所述形状上下文描述因子，获得所述初始形状与交通标志的标准形状间的对应关系；以及
S2.3、对所述对应关系基于RANSAC算法获得初始的形变参数。
4.如权利要求2所述的交通标志包围盒的优化方法，其特征在于，所述步骤S3包括：
S3.1、基于所有像素获得的颜色因子、形状因子以及平滑因子，创建以形状和形变参数为变量的能量函数；
S3.2、固定初始的形变参数，计算使所述能量函数取最小值的形状，作为下一次迭代的形状；以及
S3.3、固定初始的形状，计算使所述能量函数取最小值的形变参数，作为下一次迭代的形变参数。
5.如权利要求4所述的交通标志包围盒的优化方法，其特征在于，所述步骤S3.1中颜色因子的获得方法为：
对每个像素分别训练一个高斯混合模型，获得各高斯混合模型的权重、均值以及协方差；
计算每个像素对应于自身训练的高斯混合模型中各成员的概率；
采集每个像素的RGB值；
基于所述高斯混合模型的权重、均值、协方差、概率以及RGB值，获得每个像素的颜色因子；以及
基于每个像素的颜色因子获得当前迭代输入的形状的颜色因子。
6.如权利要求4所述的交通标志包围盒的优化方法，其特征在于，所述步骤S3.1中形状因子的获得方法为：
基于形变参数，将标准形状通过单应性形变矩阵形变为近似于形状的近似形状；
将形状和近似形状中的交通标志像素作为1，将背景像素作为0，分别获得所述形状及近似形状的二值图像；
对所述两个二值图像，计算对应位置的每个像素的形状因子；以及
将所有像素的形状因子相加，获得当前迭代输入的形状的形状因子。
7.如权利要求4所述的交通标志包围盒的优化方法，其特征在于，所述步骤S3.1中平滑因子的获得方法为：
采集位于当前迭代输入的形状的轮廓的像素，作为轮廓像素；
获得相邻两个轮廓像素的RGB值；
基于所述两个轮廓像素的RGB值差，获得两个像素因子间的平滑因子；以及
基于所有两两轮廓像素间的平滑因子以及平滑因子权重，获得当前迭代输入的形状的平滑因子。
8.如权利要求6所述的交通标志包围盒的优化方法，其特征在于，所述形状因子权值随迭代过程逐渐增大。
9.如权利要求1所述的交通标志包围盒的优化方法，其特征在于，所述步骤S4中迭代运算的次数的最大值为5。
CN201611170043.XA 2016-12-16 2016-12-16 一种交通标志包围盒的优化方法 Active CN106611161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611170043.XA CN106611161B (zh) 2016-12-16 2016-12-16 一种交通标志包围盒的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611170043.XA CN106611161B (zh) 2016-12-16 2016-12-16 一种交通标志包围盒的优化方法

Publications (2)

Publication Number Publication Date
CN106611161A true CN106611161A (zh) 2017-05-03
CN106611161B CN106611161B (zh) 2019-06-18

Family

ID=58635997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611170043.XA Active CN106611161B (zh) 2016-12-16 2016-12-16 一种交通标志包围盒的优化方法

Country Status (1)

Country Link
CN (1) CN106611161B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2028605A1 (de) * 2007-08-20 2009-02-25 Delphi Technologies, Inc. Detektionsverfahren für symmetrische Muster
US7831098B2 (en) * 2006-11-07 2010-11-09 Recognition Robotics System and method for visual searching of objects using lines
CN102542260A (zh) * 2011-12-30 2012-07-04 中南大学 一种面向无人驾驶车的道路交通标志识别方法
CN103544484A (zh) * 2013-10-30 2014-01-29 广东工业大学 一种基于surf的交通标志识别方法及系统
CN104616021A (zh) * 2014-12-24 2015-05-13 深圳市腾讯计算机系统有限公司 交通标志图像处理方法及装置
CN105760886A (zh) * 2016-02-23 2016-07-13 北京联合大学 一种基于目标识别与显著性检测的图像场景多对象分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831098B2 (en) * 2006-11-07 2010-11-09 Recognition Robotics System and method for visual searching of objects using lines
EP2028605A1 (de) * 2007-08-20 2009-02-25 Delphi Technologies, Inc. Detektionsverfahren für symmetrische Muster
CN102542260A (zh) * 2011-12-30 2012-07-04 中南大学 一种面向无人驾驶车的道路交通标志识别方法
CN103544484A (zh) * 2013-10-30 2014-01-29 广东工业大学 一种基于surf的交通标志识别方法及系统
CN104616021A (zh) * 2014-12-24 2015-05-13 深圳市腾讯计算机系统有限公司 交通标志图像处理方法及装置
CN105760886A (zh) * 2016-02-23 2016-07-13 北京联合大学 一种基于目标识别与显著性检测的图像场景多对象分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CLAUS BAHLMANN 等: "A System for Traffic Sign Detection，Tracking，and Recognition Using Color，Shape，and Motion Information", 《IEEE PROCEEDINGS.INTELLIGENT VEHICLES SYMPOSIUM》 *
SEBASTIAN HOUBEN 等: "Detection of traffic signs in real-world images：The German traffic sign detection benchmark", 《THE 2013 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS（IJCNN）》 *

Also Published As

Publication number Publication date
CN106611161B (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
CN102708370B (zh) 一种多视角图像前景目标提取方法及装置
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN102509091B (zh) 一种飞机尾号识别方法
CN107679531A (zh) 基于深度学习的车牌识别方法、装置、设备及存储介质
US10445602B2 (en) Apparatus and method for recognizing traffic signs
CN104751142A (zh) 一种基于笔划特征的自然场景文本检测算法
CN104200228B (zh) 一种安全带识别方法与系统
CN104778453A (zh) 一种基于红外行人亮度统计特征的夜间行人检测方法
CN114724120B (zh) 基于雷视语义分割自适应融合的车辆目标检测方法及系统
CN108334881A (zh) 一种基于深度学习的车牌识别方法
CN103530590A (zh) Dpm二维码识别系统
CN104021375A (zh) 一种基于机器学习的车型识别方法
CN105224937A (zh) 基于人体部件位置约束的细粒度语义色彩行人重识别方法
CN106503748A (zh) 一种基于s‑sift特征和svm训练器的车型识别算法
CN105989334A (zh) 基于单目视觉的道路检测方法
CN103544489A (zh) 一种车标定位装置及方法
CN113095152A (zh) 一种基于回归的车道线检测方法及系统
CN113408584A (zh) Rgb-d多模态特征融合3d目标检测方法
CN111860509A (zh) 一种由粗到精的两阶段非约束车牌区域精准提取方法
Gu et al. Embedded and real-time vehicle detection system for challenging on-road scenes
KR101921071B1 (ko) 다중 프레임에서의 센서 융합을 통한 3차원 객체의 포즈 추정 방법 및 이를 구비한 장치
CN106650814A (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
CN106909881A (zh) 基于无人机遥感影像提取玉米育种基地垄数的方法及系统
CN107330436B (zh) 一种基于尺度判据的全景图像sift优化方法
CN109993695A (zh) 一种不规则图形标注的图像碎片拼接方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant