CN106909916B - 一种基于手机平台快速检测与识别人行道斑马线的方法 - Google Patents

Abstract

本发明公开了一种基于手机平台快速检测与识别人行道斑马线的方法，包括以下步骤：步骤1，在校正后的图像中选取初始ROI区域，得到ROI四边形区域；步骤2，旋转ROI四边形区域；步骤3，模板匹配：制作斑马线模板，将ROI四边形区域与模板进行匹配；步骤4，斑马线路面的判定。本发明通过手机摄像头实时采集步行方向上前方路面的图像信息，通过对校正后的手机拍摄道路图像进行实时处理，确定出道路特征集中的ROI区域，并进行高效的道路特征图像识别，从而及时发现险情，发出警示，避免事故发生。

Description

一种基于手机平台快速检测与识别人行道斑马线的方法

技术领域

本发明属于计算机图像数据处理领域，尤其涉及一种基于手机平台快速检测与识别人行道斑马线的方法。

背景技术

随着现代社会经济与科技的飞速发展，手机已经成为人们生活中不可或缺的随身设备。然而近年来，由于低头玩手机而不注意道路交通状况，从而造成生命危险的案例屡见不鲜。然而现在还没有一款针对这种情况的手机应用软件产生，使得人们在不注意道路安全情况的时候得到提醒。

发明内容

本发明公开了一种基于手机平台快速检测与识别人行道斑马线的方法，包括以下步骤：

步骤1，对手机实时拍摄的图像进行校正，在校正后的图像中选取初始ROI区域，得到ROI四边形区域；

步骤2，旋转ROI四边形区域；

步骤3，模板匹配：制作斑马线模板，将ROI四边形区域与模板进行匹配；

步骤4，斑马线路面的判定。

本发明步骤1包括如下步骤：

步骤1-1，选取初始ROI区域的底边；

步骤1-2，选取初始ROI区域的顶边；

步骤1-3，选取初始ROI区域的左右两边。

本发明步骤1-1包括：

步骤1-1-1，使用现有的基于控制点的校正方法对手机实时拍摄的图像进行几何失真校正，且校正方法会自动提供用于校正的四对控制点的坐标以便ROI四边形区域的获取；

步骤1-1-2，建立图像坐标系和计算手机拍摄角度的坐标系：图像坐标系是以图像左上角为坐标系原点，以竖直向下方向为Y轴，以水平向右方向为X轴；计算手机拍摄角度的坐标系是以手机机身左下角为坐标系原点，以机身长边(向上方向)为Y轴，短边(向右方向)为X轴；

步骤1-1-3，计算手机使用者的步频a、步幅b、步行速度c和经过响应时间t后的步行距离d：

a＝e/m，

b＝n/e，

c＝a*b，

d＝c*t，

其中e表示步数，n表示一段时间m(一般为1分钟到30分钟)的步行距离，t表示响应时间；这四个数值通过手机内置软件自动获得；

步骤1-1-4，确定响应时间：响应时间等于手机实时处理所需要的时间加上使用者的生理反应时间(一般为0.1s)；

步骤1-1-5，根据响应时间得到步行距离，舍弃掉图像中对应这一段距离的部分，从而确定初始ROI区域的底边。

本发明步骤1-2包括：

根据如下公式确定初始ROI区域的顶边g：

g＝j-k，

其中，j表示初始ROI区域的底边所在的行值，即步骤1-1-2所述图像坐标系中的Y轴坐标，k表示黑白黑特征的像素数。因为不同的拍摄角度，斑马线在图片中所显示的一个特征周期的像素值不同，但是“黑白黑”特征的像素数肯定是大于同一图片中“白黑白”特征的像素数，为防选取初始ROI区域时去除太多有效信息，可以将本发明具体实施方式表三中“黑白黑”特征的像素数作为被减数，从而得到ROI区域的顶边在图像坐标系中的Y轴坐标。

本发明步骤1-3包括：

步骤1-3-1，根据步骤1-1-2中所述的图像坐标系，假设从原图像中选取的四个校正点分别为P1、P2、P3、P4，它们的坐标分别为(X_P1，Y_P1)，(X_P2，Y_P2)，(X_P3，Y_P3)，(X_P4，Y_P4)，P1是左上角的点，P2是右上角的点，P3是左下角的点，P4是右下角的点，记左侧边P1P3与竖直方向上的夹角为∠1，右侧边P2P4与竖直方向上的夹角为∠2，上侧边P1P2与竖直方向上的夹角为∠3，根据这三个角度以及之前已经确定的顶边位置和底边位置，来确定ROI区域的左边和右边的位置，根据如下公式计算∠1，∠2和∠3的度数：

步骤1-3-2，校正后的图像为一个矩形，其中的有效信息集中在一个不规则四边形里，以初始ROI区域的底边MN与不规则四边形的两个交点为标准，左侧交点K的X轴坐标和右侧交点L的X轴坐标即是初始ROI区域左右边的位置，设校正后的图像的高度为Height，宽度为Weight，初始ROI区域的顶边为AB，底边为MN，OM是初始ROI区域的底边位置，根据如下公式计算MK和LN：

LN＝tan∠2*OM，

求得初始ROI区域的左边所对应的直线为MK，右边所对应的直线为ML，ML＝Weight-LN。(由于之前选取初始ROI区域的底边时，已足够将不规则四边形底下的无效信息截去，所以此处计算初始ROI区域的左右边，将直接以初始ROI区域的底边MN与不规则四边形的两个交点为标准，左侧交点K的X轴坐标和右侧交点L的X轴坐标即是初始ROI区域左右边的位置。

对于左侧交点的X轴坐标，利用∠3和矩形顶边的三角函数关系，可以求得矩形左边的无效信息位置，然后用初始ROI区域的底边减去无效信息就可以得到∠1所在的三角形的一条直角边，而这个三角形的另一条直角边的长度MK就是左侧交点的X轴坐标。

对于右侧交点的X轴坐标，利用初始ROI区域的底边位置OM和∠2根据三角函数求得右侧交点到矩形右边的距离LN，而右侧交点的X轴坐标就是矩形列数减去所求距离的结果。)

本发明步骤2包括：利用Hough变换进行直线检测，两条相邻直线的检测需要相隔至少50个像素，直线检测后，得到平行条数最多的线段以及它们与水平方向的夹角，判定平行条数是否大于3，如果是，根据线段数与水平方向的夹角来旋转ROI四边形区域，直至此角度为0度，否则直接判定为非斑马线路面。

本发明步骤3包括：制作斑马线模板，模板中黑白条的宽度比为3：2，模板的高度为135个像素，根据手机拍摄角度调整模板大小，进行匹配，将ROI四边形区域更新为与模板同宽，高度不变的区域。(由于不同拍摄角度下，校正后的图像中一个斑马线特征周期所占有的像素数不同，而持机高度越高，手机与Y轴的拍摄角度越大，一个斑马线特征周期所占的像素数就越少。本发明中的模板是结合持机高度为128cm，手机与Y轴角度为45度的情况所得，“白黑白”特征的模板高度为175个像素，“黑白黑”特征的模板高度为200个像素。

对于同一个拍摄角度，不同的持机高度对校正后的图片中斑马线特征周期所占的像素数影响不大，所以不需要调整模板大小。

而对于不同的拍摄角度，经过实验，手机与Y轴的夹角为37.5度时，模板大小放大为原来的1.5倍时匹配度较好；而手机与Y轴的夹角为30度时，模板放大为原来的2倍时匹配度较好。在此，对于手机与Y轴的夹角小于45度而大于30度的情况，每减少1.5度模板增大0.1倍。)

本发明步骤4包括：

步骤4-1，运用OpenCV中已有的函数计算ROI四边形区域的灰度直方图；

计算灰度直方图的函数可以从OpenCV的官方文档中得到(具体可参看http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/tutorials/imgproc/histograms/histogram_calculation/histogram_calculation.html)

步骤4-2，利用已有函数对灰度直方图进行分析，得到灰度直方图中的峰值数，如果峰值数等于2，执行步骤4-3，否则判定为非斑马线路面；

步骤4-3，将ROI区域二值化，选取一列分别计算黑白区域的平均像素数，得到黑白区域的高度之比，如果黑白区域的高度之比在[1.5，2.5]之间，判定为斑马线路面，否则判定为非斑马线路面。

本发明中，手机与Y轴的角度大于30度而小于45度。并且手机摄像头一直在后台处于打开状态。

有益效果：

本发明是手机低头族道路安全项目的一部分，旨在帮助手机低头族避免步行中因忽视道路安全而带来的风险。本发明通过对校正后的手机拍摄道路图像进行实时处理，确定出道路特征集中的ROI区域，并进行高效的道路特征图像识别。从而及时发现险情，发出警示，避免事故发生。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为本发明流程图。

图2为世界坐标系下手机的x轴和y轴示意图。

图3a为手机与Y轴夹角30度示意图。

图3b为手机与Y轴夹角37.5度示意图。

图3c为手机与Y轴夹角45度示意图。

图4为不规则四边形示意图。

图5为初始ROI区域四条边的确定方式示意图。

图6为初始ROI四边形区域底边的选取流程图。

图7为校正点示意图。

图8a为校正前示意图。

图8b为校正后示意图。

图9为ROI四边形区域的截取示意图。

图10a为校正图片。

图10b是图11a中的ROI区域旋转后的结果。

图11a和图11b是斑马线模板。

图12为斑马线判定流程图。

图13a～图13d为斑马线判定结果示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

鉴于现有技术的不足，一种能够基于智能手机实现步行安全防护功能的方法显得尤为迫切。这样一个方法的核心便是要通过手机摄像头实时采集步行方向上前方路面的图像信息，然后利用后台的识别算法进行路面特征的识别，进而发现隐患及时发出报警提示，避免悲剧的发生。本发明公开了一种基于手机平台快速检测与识别人行斑马线的方法，其中主要包括初始ROI区域(region of interest，感兴趣区域)的选取、图片旋转、模板匹配以及人行斑马线道路的判定。其整体流程图如图1所示。

初始ROI区域的选取可以用于圈定步行者的前进方向和区域、大幅度压缩图像处理识别的范围；图片旋转是为模板匹配做准备；模板匹配后的结果可以进一步缩小图像处理识别的范围，达到准确定位的目的。这样可以最大限度地提高手机的运行速度，实现实时人行道路的识别。

初始ROI区域的选取：

本文中涉及到的手机坐标轴如图2所示。以手机机身左下角为坐标系原点，以机身长边为y轴，短边为x轴，

手机拍摄图像时，由于拍摄角度的变化会导致道路图像出现几何失真。对失真图像进行几何失真校正后，图像中的有效信息会集中在一个不规则的四边形里，并且拍摄角度不同，四边形的形状也会有所不同。

图3a、图3b、图3c中的三幅图像是在手机高度和手机与X轴夹角相同的情况下，变换手机与Y轴的夹角拍摄所得。图3a为手机与Y轴夹角30度示意图，机器高度128cm，X轴角度+5度。图3b为手机与Y轴夹角37.5度示意图。图3c为手机与Y轴夹角45度示意图。可见三种情况下，几何失真校正后的有效信息集中在不同的四边形里。并且四边形左右边的位置主要受到手机与Y轴夹角的影响，四边形顶边和底边的位置主要受到手机与X轴角度的影响。

如图5所示，描述了初始ROI区域四条边的确定方式。初始ROI四边形区域是从前道程序采集并已校正的灰度图像中进行截取，ROI四边形的参数依据系统首次登录时或其后在线下载的手机使用者的步频参数、经过实验后所确定的与使用者身高相关的步幅以及其生理应急反应时间、程序的处理时间来确定ROI四边形区域的底边；由于在不同拍摄角度下的校正图片中，可以用来进行判别的道路特征周期在图片中所占有的像素高度会有所不同，所以可以通过前期实验确定不同Y轴夹角下的道路特征像素数，从而确定ROI四边形的顶边；最后根据图像校正时所选取的四个矫正点来确定ROI的左右边来得到有效信息较多的初始ROI四边形区域。

初始ROI四边形区域的选取用于圈定步行者的前进方向和区域、大幅度压缩图像处理识别的范围，去除校正后的灰度图像中其他无关部分信息的干扰，同时突显出在不同拍摄角度下的图像特征，方便之后的处理。

初始ROI区域底边的选取：

初始ROI区域底边的选取流程图如图6所示，本文中的实验均在手机与Y轴的角度大于30度而小于45度的情况下进行。因为在实际生活中，人步行时持机的Y轴角度一般会大于30度，而当手机与Y轴的夹角大于45度时，则认为此步行者的视线可以注意到前方道路状况。

在此种设定条件下，可以依据步行者的步频参数和经过实验后所确定的与持机高度相关的步幅，以及步行者的生理反应时间、程序的处理时间来确定ROI四边形区域的底边。

表1中的数据记录了测试者的身高和其习惯的持机高度，之后让测试者步行50步，记录他们的步行距离和步行时间(在此假设测试者碰到情况时的反应时间加上程序的处理时间为0.5s)，从而得出初始ROI区域的底边在图像中对应的位置。

表1步行50步的相关数据

表1中的相关数据可由以下公式1至4得到：

步频＝步数/时间公式1

步幅＝距离/步数公式2

步行速度＝步频*步幅公式3

步行距离＝步行速度*时间公式4

上述数据将和其他有关数据整理完善后存储在系统网络服务器中，用户在启动这项服务时会自动在线下载到手机上，从而为后续的处理提供支持。

表2机器高度(128cm)和X轴角度(+5度)固定，实际0.5m处在图片中的部分对应数据

表2中的数据是在假设0.5s后的距离为0.5m的情况下，对应图三中的三种情况。根据表2中数据的计算方式，可以确定不同拍摄高度和不同Y轴角度下的初始ROI四边形区域的底边。

初始ROI区域顶边的选取：

手机与Y轴的夹角直接影响到图片中所能显现出来的斑马线的周期数。夹角越小，拍摄到的周期数越少，而夹角越大，拍摄到的周期数则越多。

表3中的数据对应的是图3a～图3c中的三种情况，记录的是每幅图像中一个斑马线特征周期所占有的像素数。这里所涉及的一个斑马线特征周期如图11所示，一个斑马线特征周期可以是“白黑白”，也可以是“黑白黑”。

表3机器高度(128cm)和X轴角度(+5度)固定，同一实际位置的相关信息

根据这种方式，可以通过实验确定不同拍摄高度和不同Y轴角度下的一个斑马线特征周期的像素数。

由于一幅图片的起始坐标位于图片的左上角，竖直方向指示图片的高度，水平方向指示图片的宽度，所以ROI区域的底边位于高度较大的位置，而ROI区域的顶边位于高度较小的位置，所以可以根据以下公式5可以获得图片中初始ROI四边形区域的顶边：

ROI四边形区域的顶边＝ROI四边形区域的底边-一个斑马线特征周期公式5

初始ROI区域两边的选取：

前端校正图片是根据手机与X轴和Y轴的夹角在手机用户启动软件时自动下载的一组校正数据。所以校正后图像的有效信息集中在一个不规则四边形内，如图7所示。此处利用图像校正时所选取的四个正点——根据左边两个校正点来计算不规则四边形的左边与竖直方向的夹角，根据右边两个校正点来计算不规则四边形的右边与竖直方向的夹角，从而确定初始ROI区域的左右边。

图8a中的四个点P1、P2、P3和P4指示的是校正时所用的四个点，根据公式6-8：

可以求得∠1，∠2和∠3的度数，它们在校正后的图片中所对应的角如图8b所示。

校正后的图片的高度和宽度是可以确定的，假设为Height和Weight。假设ROI四边形区域的顶边和底边如图8b中的直线AB和直线MN所示，由于ROI四边形区域的左右边是在确定顶边和底边之后选取，所以在此处OM可以看成是已知的，根据公式9-10：

LN＝tan∠2*OM 公式10

可以求得ROI四边形区域的左边所对应的直线为x＝MK，而右边所对应的直线为x＝ML＝Weight-LN。

初始ROI区域的选取结果

根据1、2、3中所述的方式，对图3a进行初始ROI四边形区域的截取，得到如图9所示的区域，由于前端进行校正时会有插值等处理，所以得到的初始ROI四边形区域并未完全剔除掉无效信息，但在此处对之后的处理没有影响。

图片旋转：

所述图片旋转主要是利用Hough变换进行直线检测。

Hough变换检测直线时，在此设定两条相邻直线的检测需要相隔至少50个像素。因为持机高度越高，手机与Y轴的夹角越大，两条相邻的有效平行线段之间所隔得像素数越少。而且在较为极端的情况下——持机高度为128cm(相当于身高为2m行人的持机高度)，手机与Y轴的夹角为45度，两条平行的有效线段至少相隔50个像素点。

直线检测后，得到平行条数最多的线段以及它们与水平方向的夹角，并且在此可以根据条数判别图像中是否包含与斑马线类似的具有多条平行线的特征，如果没有这样的特征，就判定图像中不是斑马线路面。在此设定检测到的条数至少需要为3，这样满足手机与Y轴的夹角大于30度而小于45度的情况。

根据线段数与水平方向的夹角来旋转ROI四边形区域，直至此角度为0度，为下面的模板匹配做好准备。图10b是将图10a中的ROI区域旋转后的结果。

模板匹配：

模板匹配是利用制作好的斑马线模板来选取出此ROI四边形区域中与模板最为相似的部分。

在制作模板时，根据《JTG D82-2009公路交通标志和标线设置规范》中9.2.2之相关规定，黑白条的宽度比最小为3：2，但最大不超过2：1。在此以最小宽度比制作模板，模板的高度为135个像素，这个像素高度是在偏高的持机高度(128cm)和手机与Y轴夹角为45度的校正图片中所得的最小模板高度，之后可以根据拍摄角度调整模板大小，进行匹配，最终更新ROI区域为与模板同宽，与原ROI区域同高的部分。

斑马线路面的判定：

斑马线路面的判定采用的是基于灰度值的判定方法，其判定过程如图12所示。选取这种方式是因为占用内存少且处理速度快，适用于手机平台处理的特点。

在进行斑马线判定中，涉及到灰度直方图的峰值个数的计算，以及将灰度图二值化后计算一个斑马线周期内黑白的高度之比，从而判定图片中是否有斑马线。由于校正时存在误差，在此设定黑白的高度之比位于[1.5,2.5]之间。

因为判定斑马线之前ROI区域的选取已经较为精确，所以运用简单的判断足以判定图像是否为斑马线路面。

图13a～图13d是相关图片的判定结果，图13a中，黑白的高度之比为3，判定不是斑马线路面。图13b中，黑白的高度之比为1.63158，判定为斑马线路面，图13c中，黑白的高度之比为7，判定不是斑马线路面。

本发明提供了一种基于手机平台快速检测与识别人行道斑马线的方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种基于手机平台快速检测与识别人行道斑马线的方法，其特征在于，包括以下步骤：

步骤1，对手机实时拍摄的图像进行校正，在校正后的图像中选取初始ROI区域，得到ROI四边形区域；

步骤2，旋转ROI四边形区域；

步骤3，模板匹配：制作斑马线模板，将ROI四边形区域与模板进行匹配；

步骤4，斑马线路面的判定；

步骤1包括如下步骤：

步骤1-1，选取初始ROI区域的底边；

步骤1-2，选取初始ROI区域的顶边；

步骤1-3，选取初始ROI区域的左右两边；

步骤1-1包括：

步骤1-1-1，使用现有的基于控制点的校正方法对手机实时拍摄的图像进行几何失真校正，且校正方法会自动提供用于校正的四对控制点的坐标以便ROI四边形区域的获取；

步骤1-1-2，建立图像坐标系和计算手机拍摄角度的坐标系：图像坐标系是以图像左上角为坐标系原点，以竖直向下方向为Y轴，以水平向右方向为X轴；计算手机拍摄角度的坐标系是以手机机身左下角为坐标系原点，以机身长边为Y轴，短边为X轴；

步骤1-1-3，计算手机使用者的步频a、步幅b、步行速度c和经过响应时间t后的步行距离d：

a＝e/m，

b＝n/e，

c＝a*b，

d＝c*t，

其中e表示步数，n表示一段时间m的步行距离，t表示响应时间；

步骤1-1-4，确定响应时间：响应时间等于手机实时处理所需要的时间加上使用者的生理反应时间；

步骤1-1-5，根据响应时间得到步行距离，舍弃掉图像中对应这一段距离的部分，从而确定初始ROI区域的底边。

2.根据权利要求1所述的方法，其特征在于，步骤I-2包括：

根据如下公式确定初始ROI区域的顶边g：

g＝j-k，

其中，j表示初始ROI区域的底边所在的行值，即步骤1-1-2所述图像坐标系中的Y轴坐标，k表示黑白黑特征的像素数。

3.根据权利要求2所述的方法，其特征在于，步骤1-3包括：

步骤1-3-1，根据步骤1-1-2中所述的图像坐标系，假设从原图像中选取的四个校正点分别为P1、P2、P3、P4，它们的坐标分别为(X_P1，Y_P1)，(X_P2，Y_P2)，(X_P3，Y_P3)，(X_P4，Y_P4)，P1是左上角的点，P2是右上角的点，P3是左下角的点，P4是右下角的点，记左侧边P1P3与竖直方向上的夹角为∠1，右侧边P2P4与竖直方向上的夹角为∠2，上侧边P1P2与竖直方向上的夹角为∠3，根据如下公式计算∠1，∠2和∠3的度数：

步骤1-3-2，校正后的图像为一个矩形，其中的有效信息集中在一个不规则四边形里，以初始ROI区域的底边MN与不规则四边形的两个交点为标准，左侧交点K的X轴坐标和右侧交点L的x轴坐标即是初始ROI区域左右边的位置，设校正后的图像的高度为Height，宽度为Weight，初始ROI区域的顶边为AB，底边为MN，OM是初始ROI区域的底边位置，根据如下公式计算MK和LN：

LN＝tan∠2*OM，

求得初始ROI区域的左边所对应的直线为MK，右边所对应的直线为ML，ML＝Weight-LN。

4.根据权利要求3所述的方法，其特征在于，步骤2包括：利用Hough变换进行直线检测，两条相邻直线的检测需要相隔至少50个像素，直线检测后，得到平行条数最多的线段以及它们与水平方向的夹角，判定这些线段的平行条数是否大于3，如果是，根据这些线段与水平方向的夹角来旋转ROI四边形区域，直至此角度为0度，否则直接判定为非斑马线路面。

5.根据权利要求4所述的方法，其特征在于，步骤3包括：制作斑马线模板，模板中黑白条的宽度比为3∶2，根据手机拍摄角度调整模板大小，进行匹配，将ROI四边形区域更新为与模板同宽，高度不变的区域。

6.根据权利要求5所述的方法，其特征在于，步骤4包括：

步骤4-1，计算ROI四边形区域的灰度直方图；

步骤4-2，得到灰度直方图后，对其中的峰值数进行计算，如果峰值数等于2，执行步骤4-3，否则判定为非斑马线路面；

步骤4-3，将ROI区域二值化，选取一列分别计算黑白区域的平均像素数，得到黑白区域的高度之比，如果黑白区域的高度之比在[1.5，2.5]之间，判定为斑马线路面，否则判定为非斑马线路面。

7.根据权利要求6所述的方法，其特征在于，本发明中，手机与Y轴的角度大于30度且小于45度。

Images