CN104331708B - 一种人行横道线自动检测分析方法及系统 - Google Patents

一种人行横道线自动检测分析方法及系统 Download PDF

Info

Publication number
CN104331708B
CN104331708B CN201410618083.0A CN201410618083A CN104331708B CN 104331708 B CN104331708 B CN 104331708B CN 201410618083 A CN201410618083 A CN 201410618083A CN 104331708 B CN104331708 B CN 104331708B
Authority
CN
China
Prior art keywords
image
zebra crossing
crossing
recognition result
test group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410618083.0A
Other languages
English (en)
Other versions
CN104331708A (zh
Inventor
张永军
李谦
卢洪树
刘欣怡
谭凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201410618083.0A priority Critical patent/CN104331708B/zh
Publication of CN104331708A publication Critical patent/CN104331708A/zh
Application granted granted Critical
Publication of CN104331708B publication Critical patent/CN104331708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

一种人行横道线自动检测分析方法及系统,包括输入街景的影像,将影像分为训练组和测试组,利用训练组训练用于检测人行横道线的分类器;例如分类器对测试组影像进行人行横道线的检测识别,通过后期处理排除错误检测;利用分类器对训练组影像进行人行横道线的检测识别,并通过后期处理排除错误检测;根据步骤4所得各测试组影像的识别结果和步骤5所得各训练组影像的识别结果分别统计检测结果,包括对任一张测试组影像或训练组影像,依照横坐标值的不同,对每一个识别结果矩形包含的像素进行累加,得到横坐标值相应像素被识别为人行横道的次数,绘制直方图并提取特征,训练用于污损程度分析的神经网络模型进行人行横道线污损程度分析。

Description

一种人行横道线自动检测分析方法及系统
技术领域
本发明属于测绘科学与技术领域,涉及一种人行横道线自动检测分析的方法及系统。
背景技术
随着我国城镇化进程的发展,城市中人口密度、交通基础设施大量增加。由于缺乏对交通基础设施的自动监管手段,使得交通基础设施维修维护不及时,从而带来了交通安全隐患。人行横道线作为交通基础设施之一,具有保障人民生命财产安全、维护交通秩序顺畅的重要意义。人行横道线的污损将对交通安全以及人民生命财产安全带来严重的威胁。所以需要一种成本低廉、高效、自动的人行横道线的检测与污损程度分析的方法,来对城市中大量的人行横道线的状态进行监管。
对于人行横道线的自动检测,现有的研究主要集中在从近景影像中检测出单条人行横道区域。例如Sichelschmidt等的研究是从车辆的视角进行人行横道的识别,而Mohammad,张莹和曹玉珍的文章均是以行人的视角识别或量测人行横道的长度,目的在于为辅助盲人过马路提供帮助。Ma,Stephen和Mohammad所著的另外两篇文章中,也描述了从行人视角的影像上进行单条人行横道线的识别方法。但这些研究的主要目的仅仅是提取人行横道线的轮廓,而非在近景序列影像中快速准确的自动检测出横道线。而纵观国内外对人行横道线状态的监管方法,现有的研究中尚无对人行横道线的污损状态进行自动分析的有效技术方案。
发明内容
本发明能够快速的从影像上自动检测出人行横道线区域,并对其污损程度进行分析,解决因缺少高效的自动检测数量庞大的人行横道线的方法,导致的未能及时发现污损、掉漆的人行横道线并进行维护,从而给人民的生命财产带来威胁的问题。
为达到上述目的,本发明采用如下的技术方案:
一种人行横道线自动检测分析方法,包括如下步骤:
步骤1,输入街景的影像;
步骤2,将影像分为训练组和测试组,利用训练组的数据制作正负样本,训练用于检测人行横道线的分类器;
步骤3,利用步骤2训练出的分类器对测试组影像进行人行横道线的检测识别;
步骤4,通过后期处理排除步骤3所得结果的错误检测,得到人行横道线识别结果;
步骤5,利用步骤2训练得到的分类器对训练组影像进行人行横道线的检测识别,并通过后期处理排除所得结果的错误检测,得到人行横道线识别结果;
步骤6,根据步骤4所得各测试组影像的识别结果和步骤5所得各训练组影像的识别结果分别统计检测结果,包括对任一张测试组影像或训练组影像,依照横坐标值的不同,对每一个识别结果矩形包含的像素进行累加,得到横坐标值相应像素被识别为人行横道的次数;
步骤7,为每张测试组影像和训练组影像分别绘制直方图,包括对任一张测试组影像或训练组影像,根据步骤6所得统计结果绘制成直方图,直方图的横轴表示影像的横坐标值,直方图的纵轴表示像素被识别为人行横道的次数;
步骤8,从各测试组影像和训练组影像的直方图中提取特征;
步骤9,利用步骤8从所有训练组影像的直方图中分别提取的特征,训练用于污损程度分析的神经网络模型;
步骤10,根据步骤8从各测试组影像分别提取的特征,利用步骤9中所得神经网络模型对测试组的影像进行人行横道线污损程度分析,得到分析结果。
而且,步骤3和步骤5利用步骤2训练出的分类器进行人行横道线的检测识别时,对分类器输出的识别结果矩形按照位置信息进行聚类,剔除离散的识别结果矩形。
而且,步骤4和步骤5的后期处理中,包括依据人行横道线的宽度计算影像上人行横道线长度的理论范围,如果识别结果的长度超出该范围,则认为是错误识别进行剔除。
本发明还相应提供一种人行横道线自动检测分析系统,包括如下模块:
输入模块,用于输入街景的影像;
分类器模块,用于将影像分为训练组和测试组,利用训练组的数据制作正负样本,训练用于检测人行横道线的分类器;
测试初始识别模块,用于利用分类器模块训练出的分类器对测试组影像进行人行横道线的检测识别;
测试后期处理模块,用于通过后期处理排除测试初始识别模块所得结果的错误检测,得到人行横道线识别结果;
训练识别模块,用于利用分类器模块训练得到的分类器对训练组影像进行人行横道线的检测识别,并通过后期处理排除所得结果的错误检测,得到人行横道线识别结果;
统计模块,用于根据测试后期处理模块所得各测试组影像的识别结果和训练识别模块所得各训练组影像的识别结果分别统计检测结果,包括对任一张测试组影像或训练组影像,依照横坐标值的不同,对每一个识别结果矩形包含的像素进行累加,得到横坐标值相应像素被识别为人行横道的次数;
直方图生成模块,用于为每张测试组影像和训练组影像分别绘制直方图,包括对任一张测试组影像或训练组影像,根据统计模块所得统计结果绘制成直方图,直方图的横轴表示影像的横坐标值,直方图的纵轴表示像素被识别为人行横道的次数;
特征提取模块,用于从各测试组影像和训练组影像的直方图中提取特征;
神经网络模型模块,用于利用特征提取模块从所有训练组影像的直方图中分别提取的特征,训练用于污损程度分析的神经网络模型;
分析模块,用于根据特征提取模块从各测试组影像分别提取的特征,利用神经网络模型模块中所得神经网络模型对测试组的影像进行人行横道线污损程度分析,得到分析结果。
本发明能够自动从序列影像中检测出人行横道区域,并分析该人行横道是否掉漆、污损,并做出相应提示,为道路交通管理部门定期监测大范围内数量庞大的人行横道线的损耗程度提供了手段,有助于发现人行横道这类交通基础设施是否因年久失修而存在掉漆、污损的问题;有利于提示相关部门对污损的设施进行及时的维护、保养,从而减少道路交通安全隐患,为人民的生命财产安全提供保障。本发明主要应用于地理国情监测,智慧城市的构建,智能交通管理系统,交通基础设施数字化与管理等领域,为人行横道线检测,污损程度分析和数字化入库管理提供了手段,为建立人行横道线数据库,开展地理国情监测,构建智能交通系统和智慧城市提供基础技术支持,具有成本低廉、检测阶段无需人工干预、自动化程度高、检测正确率高的优点。本发明受到多项基金的支持,为重点科研项目:1.四川省地理国情监测工程技术研究中心资助项目,项目批准号GC201514;2.中央高校基本科研业务费专项资金资助项目,项目编号2014213020201。本发明具有重大实用价值。
附图说明
图1为本发明实施例的总流程图;
图2为本发明实施例的摄影方向与街道走向一致的示意图;
图3为本发明实施例的特征直方图;
图4为本发明实施例的基于积分图的像素特征计算方法示意图;
图5为本发明实施例人行横道线在影像上的宽度和位置所应该存在的关系示意图。
具体实施方式
本发明是基于人工智能和神经网络模型的分类技术提出的一种自动检测人行横道并进行污损程度分析的方法,全球卫星定位系统GPS(Global Positioning System)的协助下,同时可以获取人行横道线的位置信息,有着减少道路交通安全隐患,协助保障人民生命财产安全的实用价值。本发明技术方案可采用软件技术实现自动流程运行。下面结合附图和实施例对本发明技术方案进一步详细说明。
参考图1,本发明实施例包含人行横道自动检测和人行横道污损程度分析两部分,分别包括步骤1~4和步骤5~10,分别如图1的第一部分和第二部分,具体步骤如下:
步骤1.输入街景影像,影像来源可以是移动摄影测量车采集的序列街景影像,交通监控视频影像或者车载行车记录仪影像等摄影方向与街道走向一致的影像,如图2所示。
建议采用移动摄影测量车采集的带有位置信息的序列街景影像,移动摄影测量车上一般带有GPS天线、激光扫描仪、全景相机、CCD相机、红外摄像机、可见光摄像机。
步骤2.将影像分为训练组和测试组,利用训练组的数据制作正负样本,训练用于检测人行横道线的分类器。
实施例从采集的数据中抽取部分作为训练分类器用的训练组数据。为了保证对算法评估时的公正性,这组数据只用作训练用,不参加算法的评估。从训练组的数据中,截取包含人行横道线范围的截图作为正样本,不包含人行横道线的截图作为负样本。为了保证训练器的鲁棒性,建议正样本数量大于一千张,而负样本数量需要远大于正样本数量。从正样本中提取边缘特征,将这些特征和负样本一起输入分类器,并设置训练结束条件,例如正确率大于99.9%时结束训练。流程可设计为,从当前制作的正负样本中抽取部分正负样本,训练初始的人行横道线检测分类器,然后判断正确率是否达标,若否则返回样本库中抽取新的正负样本进行训练,直到正确率达标后进入步骤3利用训练成熟的人行横道线检测分类器对测试组影像进行检测。
具体实施时,可参考现有分类器技术,根据人行横道线具有的明显边缘特征,利用Haar-like,LBP这一类的特征模板描述人行横道正负样本,将描述值作为输入参数输入到分类器中进行迭代训练。训练好的分类器可以直接用于人行横道线的检测。
步骤3.利用步骤2训练出的分类器对测试组影像进行人行横道线的检测识别。
利用步骤2得到的分类器就可以达到对同一数据源获取的所有数据上的人行横道线自动检测的目的了。具体实施时,可采用OpenCV的库实现初步自动检测,OpenCV函数能够实现利用载入的分类器,从影像中计算出目标的位置。本步骤先将目标影像和分类器同时输入,基于OpenCV函数对影像进行识别,并得到初始识别结果。初始结果是成百上千的矩形识别框,它们不能直接描绘出人行横道线的完整区域。因为每一个矩形框都圈出了影像上可能是人行横道线的一部分,而不是其整体,所以每一个矩形都无法单独描述人行横道线的完整区域。为了描述出人行横道完整的区域,需要利用聚类算法将初始结果整合。基于初始识别结果,接下来利用矩形框的位置信息,对矩形框进行聚类,同时将离散矩形剔除,保留剩下的识别结果矩形,从而描述人行横道线所在区域。聚类算法可采用现有技术,根据矩形间隔上限和类内个数下限这两个阈值进行分类即可。
步骤4.利用后期处理的方法排除步骤3所得结果的错误检测,精化检测成果,得到人行横道线识别结果。
由于实际场景千变万化,所以有时还需要后期处理来剔除错误识别,后期处理的方法可在具体实施时根据情况选择设定,一般可包括:利用近大远小的方法排除错误检测;计算识别区域人行横道白线的条数,根据阈值判断该识别区域是否是人行横道区域等,例如聚类后的某个类中矩形数目少于10,则判断该类并非人行横道线区域。本步骤得到从测试组影像中识别的大量人行横道线检测区域,可以作为人行横道线检测结果输出。
本发明设计了利用近大远小的方法排除错误检测的方式,依据人行横道线的宽度是固定不变的,相机的姿态以及物体在视野中存在近大远小的透视现象这三部分知识,可以得出人行横道线在影像上的宽度和位置所应该存在的关系的公式。
步骤5.利用步骤2训练得到的分类器对训练组影像进行人行横道线的检测识别,并运用步骤4的方法进行后期处理,得到人行横道线识别结果。与测试组类似,本步骤得到从训练组影像中识别的大量人行横道线检测区域。
步骤6.根据步骤4所得各测试组影像的识别结果和步骤5所得各训练组影像的识别结果分别统计检测结果:对任一张测试组影像或训练组影像,依照横坐标值的不同,对每一个识别结果矩形包含的像素进行累加,设某个矩形中横坐标为a处的有A个像素,则横坐标为a处像素在该矩形被识别为人行横道的数目为A,累计所有矩形的数目,统计出横坐标为a(a∈(0,W),W为影像宽度)处像素被识别为人行横道的总数。例如某影像横坐标为900的那一列,被两个矩形识别出了,一个矩形高度是8,另一个矩形高度是10,那么说明x=900的这组像素,被识别为人行横道的总数为8+10=18。
步骤7.为每张测试组影像和训练组影像分别绘制直方图:对任一张测试组影像或训练组影像,根据步骤6所得统计结果绘制成直方图,直方图的横轴表示影像的横坐标值,直方图的纵轴表示像素被识别为人行横道的次数。
实施例根据步骤6所得结果,绘制成图3所示的直方图。直方图的横轴表示影像的横坐标值,直方图的纵轴表示像素被识别为人行横道的次数。
步骤8.从直方图中提取特征。对任一张测试组影像或训练组影像,根据步骤6所得直方图进行特征提取,提取的特征一般可包括像素个数之和(每一个横坐标被识别为人行横道的总数之和,即直方图的每一个纵列的值之和),波峰波谷的位置、值,有效数据宽度,有效面积和空白面积的比值等,作为训练神经网络模型的样本,可得到该影像的特征文件。具体实施时,本领域技术人员可自行设定需提取的特征类型。
例如一个影像宽度为1600,计算出x相同的每一列像素被矩形包含的次数后,就可以绘制直方图。这里假设用Num_x(x等于1-1600)代表横坐标为x时的包含次数。那么有效数据宽度是指Num_x不等于0的值,例如1600个数中,300个的Num_x为0,那么有效数据宽度是1300。有效面积是指1×Num_x的和。乘以1是因为绘制直方图的时候,每一列的宽度是1,高度是Num_x。面积就是1×Num_x的和。空白面积是影像宽度×Num_x_Max-有效面积的值。即以直方图最高点为y,影像宽度为x的矩形减去有效面积的值。
步骤9.利用步骤8从所有训练组影像的直方图中分别提取的特征,训练用于污损程度分析的神经网络模型。
可采用支持向量机SVM(Support Vector Machine),分类树,径向基网络,BP神经网络,小波神经网络,反馈神经网络等神经网络模型。本领域技术人员可执行根据数据的特点,选择适合的神经网络模型和相应核函数,将步骤8得到的样本输入模型中,训练得到能够用于进行无损检测的模型。
步骤10.根据步骤8从各测试组影像的直方图分别提取的特征,利用步骤9中训练好的模型对测试组的影像进行人行横道线污损程度分析,可对每条输入的人行横道线的状态进行划分。状态可包括以下三类:严重污损急需维护、污损需维护和状态良好无需维护。具体实现可参见现有技术文献,例如http://www.csie.ntu.edu.tw/~cjlin/libsvm/
运用步骤9所得模型,可以进行神经网络预测,对同一数据源任意影像都可视为测试组影像,对其中的人行横道区域进行污损程度分析。方法是:首先依照步骤3运用步骤2得到的人行横道线分类器对影像进行识别,然后依照步骤4的方法进行后期处理。得到所有人行横道线识别区域的位置和大小信息。再依照步骤6对这些信息进行统计,依照步骤7绘制出直方图。然后依照步骤8提取直方图的特征,最后将直方图特征输入到步骤9得到的神经网络模型中,即可得到系统对该影像上人行横道线是否污损的判断结果。
本方法基于神经网络,人工智能自动目标识别原理和摄影测量、计算机视觉丰富的理论知识,结合跨学科科学技术,将模式识别、计算机视觉与摄影测量的理论运用到人行横道线自动检测和污损程度分析方法中。
为便于实施参考起见,本发明提供了实施例的进一步具体实现说明如下:
实施例步骤2涉及的训练分类器对测试组的输入影像进行人行横道线检测的算法原理如下:
以Haar-like特征为例,这是一种边缘特征,该特征具有多种模板。利用能够缩放、平移的Haar-like特征模板来描述样本,将特征描述值作为输入值进行即可训练得到分类器。选择最佳的描述样本的几种特征模板并确定其组合方式,就是分类器的训练过程。在特征模板的选择上,使用了Paul Viola等提出的七种基本特征模板,以及Rainer Lienhart等提出的六种旋转特征模板,共13种。特征值将根据模板在样本上所在的位置、尺度、长度和样本灰度进行计算。任意设定模板的样式,位置,尺度和长度,均可采用特征值计算公式如下:
feature(x)=w0·Area(r0)-w1·Area(r1)
其中,feature(x)为第x种模板相应的特征值,x的取值为1,2,…,13,Area(r0)表示原始样本影像上被模板全部覆盖的区域r0的像素值之和,Area(r1)表示被模板中黑色部分覆盖的区域r1的像素值之和。w0和w1是权值,用来补偿特征模板的黑色矩形和全部区域的面积大小的差异。
由于计算特征值的运算量主要集中在计算区域像素值之和上,所以为了提高特征 值计算效率,利用了Paul Violade的团队根据面积区域图(Summed-area tables)提出的利 用积分图加速计算特征值的算法。样本的积分图的思想简单可以描述为:积分图ii上(x,y) 处的像素值等于原图i的(x,y)处像素自身和左边及上方全部像素值之和。公式表达如下所 示。
ii(x,y)=Σx′≤x,y′≤yi(x′,y′)
其中ii(x,y)是积分图上(x,y)像素的值。而i(x,y)是原始影像上(x,y)的像素值,i(x′,y′)是原始影像上(x,y)的左边及上方任一像素。
积分图的运用方法如图4所示:
图4中a1,a2,a3,a4代表原始样本图上相邻的四块区域,像素A(x1,y1),B(x2,y2),C(x3,y3),D(x4,y4)分别是a1,a2,a3,a4区域右下角的像素在对应积分图上的位置。为了计算原始样本图上a4区域的所有像素值之和,只需利用积分图上A,B,C,D四个点像素做加减法即可。公式如下:
∴Area(a4)=Value(A)+Value(D)-Value(B)-Value(C)
其中Area(x)是指原始样本图上区域x的像素之和,Value(x)是指积分图上像素x的值。
通过公式得知,有了积分图的帮助,计算原始样本图像上模板覆盖范围区域的像 素值之和,只需通过计算积分图四个角的像素值的加减法。该方法大大提高了特征值计算 速度。分类器的训练其实是自身权值的不断调整过程,通过不断迭代调整权值,最终可以得 到多个训练好的弱分类器,而为了获得精度高的强分类器,将弱分类器组成Cascade结构的 新分类器。可参见有关文献:Viola,P.and M.Jones(2001)."Rapid object detection using a boosted cascade of simple features."Proceedings of2001IEEE Computer Society Conference on Computer Vision and Pattern Recognition 1:511-518.; Lienhart,R.and J.Maydt(2002)."An extended set of haar-like features for rapid object detection."Proceedings of2002International Conference on Image Processing,1:900-903;Crow,F.C.(1984)."Summed area tables for texture mapping."Computer Graphic 18(3):207-212.
实施例中后期处理中,可依据人行横道线的宽度是固定不变的,相机的姿态以及物体在视野中存在近大远小的透视现象这三部分知识来推算出人行横道线在影像上的宽度和位置所应该存在的关系,相应公式及推导过程如下:
如图5所示,线段KJ是人行横道线条纹的宽度,线段MN是条纹长度,线段K’J’是线段KJ在像平面上的投影,线段M’N’是线段MN在像平面上的投影,O为投影中心,OO’垂直于像平面,OL、MP垂直于地面,P是直线ON上一点。假设像平面与地面垂直,那么OM’是三角形OK’J’的高,OM是三角形OKJ的高,根据三角形相似定理,三角形K’J’O相似于三角形KJO。三角形M’OO’相似于三角形OML,可得到公式:
合并以上两个公式,可以得到以下公式:
又根据摄影定理,OO’的长度是相机的焦距f,KJ为人行横道线条纹宽度。根据道路交通标志标线设计规范,人行横道线宽度为固定值40cm或45cm,线间隔一般为60cm,最大不应超过80cm。人行横道宽度3m-8m,以1m为一级加宽。在次干路上宽度通常为4m-6m,在支路上为3m。根据以上规范,可知KJ的宽度近似值,假设为WC,其在影像上的投影长度WP即K’J’的宽度可量测。所以线段ML的长度可表示为:
又因为三角形M’N’O相似于三角形MPO,且OO’是三角形M’N’O的高,ML是三角形MPO的高,可得以下公式:
根据三角形PMN相似于三角形OLN可知:
因为人行横道线的实际长度LC即线段MN的长度已知,线段OL是摄影中心到地面的距离H亦可通过测量得到,那么将以上公式合并可以计算出人行横道线的长度MN在影像上的投影M’N’的理论长度:
在识别出人行横道线后,可以根据该公式计算影像上人行横道线长度的理论范围。如果识别结果的长度超出该范围,则认为是错误识别将其剔除。
实施例步骤10涉及的基于神经网络的污损程度分析原理的核心是寻找泛化误差界:
真实风险包括两部分:经验风险和置信风险。其中经验风险是指分类器在给定样本上的误差;而置信风险是指大多数情况下可以信任分类器对未知文本的分类结果,该部分由于无法精确计算,所以需要给出一个估计的区间,使得误差能够计算上界,这就是泛化误差界。其公式为:
n是学习机器的VC(Vapnik-Chervonenkis Dimension)维数,其反映了函数集的学习能力,n越大则学习机器越复杂。h是样本数,w是样本函数,R(w)是真实风险,Remp(w)是经验风险,是置信风险。
利用神经网络学习的目的就是为了寻求经验风险与置信风险的和的最小值,即结构风险最小。由于置信风险和样本数量、维数相关,样本数量越大,维数越小,置信风险越低。所以在准备训练数据的时候本领域技术人员可自行根据需要设置,例如依据具体数据源以及摄影方式、影像质量考虑维数和样本数量的平衡。
本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明技术领域的技术人员可以对所描述的具体实施例做各种各样的修改补充或者采用类似的方式替代,但并不会偏离本发明精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种人行横道线自动检测分析方法,其特征在于,包括如下步骤:
步骤1,输入街景的影像,所述街景的影像是摄影方向与街道走向一致的影像,包括采用移动摄影测量车采集的带有位置信息的序列街景影像;
步骤2,将影像分为训练组和测试组,利用训练组的数据制作正负样本,训练用于检测人行横道线的分类器;
步骤3,利用步骤2训练出的分类器对测试组影像进行人行横道线的检测识别,包括根据分类器得到初始识别结果,初始识别结果包括若干矩形框,利用矩形框的位置信息,对矩形框进行聚类,同时将离散的矩形框剔除,保留剩下的矩形框,作为识别结果,从而描述人行横道线所在区域;
步骤4,通过后期处理排除步骤3所得结果的错误检测,得到人行横道线识别结果,后期处理时利用近大远小的方法排除错误检测的方式,包括依据人行横道线的宽度是固定不变的,相机的姿态以及物体在视野中存在近大远小的透视现象,得出人行横道线在影像上的宽度和位置所应该存在的关系的公式,然后依据人行横道线的宽度计算影像上人行横道线长度的理论范围,如果识别结果的长度超出该范围,则认为是错误识别进行剔除;
步骤5,利用步骤2训练得到的分类器对训练组影像进行人行横道线的检测识别,包括利用矩形框的位置信息,对矩形框进行聚类,同时将离散矩形剔除,保留剩下的识别结果矩形,从而描述人行横道线所在区域;并通过后期处理排除所得结果的错误检测,得到人行横道线识别结果,后期处理时利用近大远小的方法排除错误检测的方式,包括依据人行横道线的宽度是固定不变的,相机的姿态以及物体在视野中存在近大远小的透视现象,得出人行横道线在影像上的宽度和位置所应该存在的关系的公式,然后依据人行横道线的宽度计算影像上人行横道线长度的理论范围,如果识别结果的长度超出该范围,则认为是错误识别进行剔除;
步骤6,根据步骤4所得各测试组影像的识别结果和步骤5所得各训练组影像的识别结果分别统计检测结果,包括对任一张测试组影像或训练组影像,依照横坐标值的不同,对每一个识别结果矩形包含的像素进行累加,得到横坐标值相应像素被识别为人行横道的次数;
步骤7,为每张测试组影像和训练组影像分别绘制直方图,包括对任一张测试组影像或训练组影像,根据步骤6所得统计结果绘制成直方图,直方图的横轴表示影像的横坐标值,直方图的纵轴表示像素被识别为人行横道的次数;
步骤8,从各测试组影像和训练组影像的直方图中提取特征;
步骤9,利用步骤8从所有训练组影像的直方图中分别提取的特征,训练用于污损程度分析的神经网络模型;
步骤10,根据步骤8从各测试组影像分别提取的特征,利用步骤9中所得神经网络模型对测试组的影像进行人行横道线污损程度分析,得到分析结果。
2.根据权利要求1所述人行横道线自动检测分析方法,其特征在于:步骤3和步骤5利用步骤2训练出的分类器进行人行横道线的检测识别时,根据矩形间隔上限和类内个数下限这两个阈值进行分类。
3.根据权利要求1所述人行横道线自动检测分析方法,其特征在于:步骤4和步骤5的后期处理中,包括提取人行横道线在影像上的宽度和位置所应该存在的关系的公式如下,
设线段KJ是人行横道线条纹的宽度,根据道路交通标志标线设计规范,KJ的宽度近似值假设为WC,线段K’J’是线段KJ在像平面上的投影,通过测量得到,记为WP;相机的焦距为f;人行横道线的长度MN记为LC,摄影中心到地面的距离H通过测量得到,计算出人行横道线的长度MN在影像上的投影M’N’的理论长度如下,
<mrow> <msup> <mi>M</mi> <mo>&amp;prime;</mo> </msup> <msup> <mi>N</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <msub> <mi>W</mi> <mi>P</mi> </msub> <msub> <mi>W</mi> <mi>C</mi> </msub> </mfrac> <mo>&amp;CenterDot;</mo> <mfrac> <mrow> <msub> <mi>L</mi> <mrow> <mi>C</mi> <mo>&amp;CenterDot;</mo> </mrow> </msub> <mi>H</mi> </mrow> <mrow> <mi>f</mi> <mo>&amp;CenterDot;</mo> <mfrac> <msub> <mi>W</mi> <mi>C</mi> </msub> <msub> <mi>W</mi> <mi>P</mi> </msub> </mfrac> <mo>+</mo> <msub> <mi>L</mi> <mi>C</mi> </msub> </mrow> </mfrac> </mrow>
在识别出人行横道线后,根据该公式计算影像上人行横道线长度的理论范围;
依据人行横道线的宽度计算影像上人行横道线长度的理论范围,如果识别结果的长度超出该范围,则认为是错误识别进行剔除。
4.一种人行横道线自动检测分析系统,其特征在于,包括如下模块:
输入模块,用于输入街景的影像,所述街景的影像是摄影方向与街道走向一致的影像,包括采用移动摄影测量车采集的带有位置信息的序列街景影像;
分类器模块,用于将影像分为训练组和测试组,利用训练组的数据制作正负样本,训练用于检测人行横道线的分类器;
测试初始识别模块,用于利用分类器模块训练出的分类器对测试组影像进行人行横道线的检测识别,包括根据分类器得到初始识别结果,初始识别结果包括若干矩形框,利用矩形框的位置信息,对矩形框进行聚类,同时将离散的矩形框剔除,保留剩下的矩形框,作为识别结果,从而描述人行横道线所在区域;
测试后期处理模块,用于通过后期处理排除测试初始识别模块所得结果的错误检测,得到人行横道线识别结果,后期处理时利用近大远小的方法排除错误检测的方式,包括依据人行横道线的宽度是固定不变的,相机的姿态以及物体在视野中存在近大远小的透视现象,得出人行横道线在影像上的宽度和位置所应该存在的关系的公式,然后依据人行横道线的宽度计算影像上人行横道线长度的理论范围,如果识别结果的长度超出该范围,则认为是错误识别进行剔除;
训练识别模块,用于利用分类器模块训练得到的分类器对训练组影像进行人行横道线的检测识别,包括利用矩形框的位置信息,对矩形框进行聚类,同时将离散矩形剔除,保留剩下的识别结果矩形,从而描述人行横道线所在区域;并通过后期处理排除所得结果的错误检测,得到人行横道线识别结果,后期处理时利用近大远小的方法排除错误检测的方式,包括依据人行横道线的宽度是固定不变的,相机的姿态以及物体在视野中存在近大远小的透视现象,得出人行横道线在影像上的宽度和位置所应该存在的关系的公式,然后依据人行横道线的宽度计算影像上人行横道线长度的理论范围,如果识别结果的长度超出该范围,则认为是错误识别进行剔除;
统计模块,用于根据测试后期处理模块所得各测试组影像的识别结果和训练识别模块所得各训练组影像的识别结果分别统计检测结果,包括对任一张测试组影像或训练组影像,依照横坐标值的不同,对每一个识别结果矩形包含的像素进行累加,得到横坐标值相应像素被识别为人行横道的次数;
直方图生成模块,用于为每张测试组影像和训练组影像分别绘制直方图,包括对任一张测试组影像或训练组影像,根据统计模块所得统计结果绘制成直方图,直方图的横轴表示影像的横坐标值,直方图的纵轴表示像素被识别为人行横道的次数;
特征提取模块,用于从各测试组影像和训练组影像的直方图中提取特征;
神经网络模型模块,用于利用特征提取模块从所有训练组影像的直方图中分别提取的特征,训练用于污损程度分析的神经网络模型;
分析模块,用于根据特征提取模块从各测试组影像分别提取的特征,利用神经网络模型模块中所得神经网络模型对测试组的影像进行人行横道线污损程度分析,得到分析结果。
CN201410618083.0A 2014-11-05 2014-11-05 一种人行横道线自动检测分析方法及系统 Active CN104331708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410618083.0A CN104331708B (zh) 2014-11-05 2014-11-05 一种人行横道线自动检测分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410618083.0A CN104331708B (zh) 2014-11-05 2014-11-05 一种人行横道线自动检测分析方法及系统

Publications (2)

Publication Number Publication Date
CN104331708A CN104331708A (zh) 2015-02-04
CN104331708B true CN104331708B (zh) 2017-11-10

Family

ID=52406429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410618083.0A Active CN104331708B (zh) 2014-11-05 2014-11-05 一种人行横道线自动检测分析方法及系统

Country Status (1)

Country Link
CN (1) CN104331708B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809433B (zh) * 2015-04-21 2017-12-15 电子科技大学 一种基于最大稳定区域和随机采样的斑马线检测方法
CN108447305B (zh) * 2018-04-21 2020-09-04 上海交通大学 一种礼让行人预警方法及预警系统
CN108764150A (zh) * 2018-05-29 2018-11-06 杭州视氪科技有限公司 一种用于斑马线型人行横道检测的盲人辅助眼镜
CN112464737B (zh) * 2020-11-04 2022-02-22 浙江预策科技有限公司 道路标线的检测与识别方法、电子装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853399A (zh) * 2010-05-11 2010-10-06 北京航空航天大学 利用计算机视觉技术进行盲道和人行横道实时检测的方法
CN102663344A (zh) * 2012-03-04 2012-09-12 南京理工大学常熟研究院有限公司 基于图像分割的破损道路检测装置
CN102782725A (zh) * 2010-03-15 2012-11-14 爱信精机株式会社 人行横道检测装置、人行横道检测方法及程序
CN103488975A (zh) * 2013-09-17 2014-01-01 北京联合大学 一种基于智能驾驶的斑马线实时检测的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782725A (zh) * 2010-03-15 2012-11-14 爱信精机株式会社 人行横道检测装置、人行横道检测方法及程序
CN101853399A (zh) * 2010-05-11 2010-10-06 北京航空航天大学 利用计算机视觉技术进行盲道和人行横道实时检测的方法
CN102663344A (zh) * 2012-03-04 2012-09-12 南京理工大学常熟研究院有限公司 基于图像分割的破损道路检测装置
CN103488975A (zh) * 2013-09-17 2014-01-01 北京联合大学 一种基于智能驾驶的斑马线实时检测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图像系统在路面破损检测中的应用研究;陆健;《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》;20070415;C034-36 *

Also Published As

Publication number Publication date
CN104331708A (zh) 2015-02-04

Similar Documents

Publication Publication Date Title
Arya et al. Transfer learning-based road damage detection for multiple countries
Changzhen et al. A traffic sign detection algorithm based on deep convolutional neural network
CN103902976B (zh) 一种基于红外图像的行人检测方法
CN110188807A (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN106127204A (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN105260749B (zh) 基于方向梯度二值模式和软级联svm的实时目标检测方法
Ma et al. A real-time crack detection algorithm for pavement based on CNN with multiple feature layers
CN103390164A (zh) 基于深度图像的对象检测方法及其实现装置
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN104766046A (zh) 一种利用交通标识颜色及形状特征进行检测与识别算法
CN102855500A (zh) 一种基于Haar和HoG特征的前车检测方法
CN104978567A (zh) 基于场景分类的车辆检测方法
CN104331708B (zh) 一种人行横道线自动检测分析方法及系统
Li et al. Method for detecting road pavement damage based on deep learning
CN106934374A (zh) 一种雾霾场景中交通标识牌的识别方法及系统
CN104881661A (zh) 基于结构相似度的车辆检测方法
Zheng et al. A review of remote sensing image object detection algorithms based on deep learning
CN107808524A (zh) 一种基于无人机的道路交叉口车辆检测方法
CN103065163A (zh) 一种基于静态图片的快速目标检测识别系统及方法
Fan et al. Pavement cracks coupled with shadows: A new shadow-crack dataset and a shadow-removal-oriented crack detection approach
CN106529391B (zh) 一种鲁棒的限速交通标志检测与识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant