CN109977772A - 一种基于车载行车记录仪视频的斑马线礼让行为检测方法 - Google Patents

一种基于车载行车记录仪视频的斑马线礼让行为检测方法 Download PDF

Info

Publication number
CN109977772A
CN109977772A CN201910135176.0A CN201910135176A CN109977772A CN 109977772 A CN109977772 A CN 109977772A CN 201910135176 A CN201910135176 A CN 201910135176A CN 109977772 A CN109977772 A CN 109977772A
Authority
CN
China
Prior art keywords
image
vehicle
zebra stripes
region
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910135176.0A
Other languages
English (en)
Other versions
CN109977772B (zh
Inventor
宋建新
曹晓磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910135176.0A priority Critical patent/CN109977772B/zh
Publication of CN109977772A publication Critical patent/CN109977772A/zh
Application granted granted Critical
Publication of CN109977772B publication Critical patent/CN109977772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于车载行车记录仪视频的斑马线礼让行为检测方法,步骤如下:步骤(1):在视频图像的车辆前进方向设置梯形斑马线检测区域F;步骤(2):检测车辆是否前行;步骤(3):如车辆不在前行,则回到步骤(2),否则执行步骤(4);步骤(4):检测区域F内是否有斑马线;步骤(5):如区域F内没有斑马线,则回到步骤2,否则执行步骤(6);步骤(6):检测斑马线上是否有人;步骤(7):如斑马线上没有人,则回到步骤(2),否则执行步骤(8);步骤(8):检测车辆是否停止;步骤(9):如车辆停止,则判为礼让行人,否则判为未礼让行人。本发明具有能够基于车载视频有效检测斑马线礼让行为的优点。

Description

一种基于车载行车记录仪视频的斑马线礼让行为检测方法
技术领域
本发明涉及礼让行为检测技术领域,具体涉及一种基于车载行车记录仪视频的斑马线礼让行为检测方法。
背景技术
斑马线礼让行为检测,是检测视频中车辆路过斑马线时,是否有不停车不礼让行人的违章驾驶行为。现今主要被用于各种交通路口的视频监控技术中,目前的斑马线礼让行为监控主要依靠安装不同角度的高清摄像头,从不同方位对固定道路上固定斑马线区域进行拍摄,辅以精准的红外线测速技术和车牌识别技术,可以准确的识别通过固定路段的车辆是否有不礼让斑马线的驾驶行为。该种检测方法过于依赖硬件的建设,对于需要设置监控的路段,需要事前进行高清摄像头布放,系统走线设计,特定监控区域锁定等大量繁琐的操作,从而每年需要投入大量的人力物力到监控设备的维护安装中去。同时,人们往往在违章两周甚至数月后才被提醒曾经在何处何时有违章行为,信息的严重滞后使得很多本可以避免的交通事故依然发生。
汽车行驶记录仪,俗称汽车黑匣子,是对车辆行驶速度、时间、里程以及有关车辆行驶的其他状态信息进行记录、存储并可通过接口实现数据输出的数字式电子记录装置。行车记录仪安装方便,成本低廉,目前已经普遍被人们采用并成为车辆上路的必备装置之一。然而目前行车记录仪的作用仅仅在于采集视频图像,由于回放行车记录视频需要消耗大量的时间与精力,人们往往在已经发生交通事故以后才会回头查询行车记录仪器视频中存在的违章行为,很多时候交通事故已经对受害者造成了难以挽回的人身伤害,因此针对目前行车记录仪普及率持续上升的特点,亟需发明一种能够基于车载行车记录仪视频有效地检测驾驶人员的斑马线礼让行为的斑马线礼让行为检测方法。
发明内容
本发明的目的是提供一种能够基于车载行车记录仪视频有效地检测驾驶人员的斑马线礼让行为的斑马线礼让行为检测方法。
为实现上述目的,本发明提供如下技术方案:一种基于车载行车记录仪视频的斑马线礼让行为检测方法,包括以下步骤:
步骤(1):在视频图像的车辆前进方向设置梯形斑马线检测区域F;
步骤(2):检测车辆是否前行;
步骤(3):如果车辆不在前行,则回到步骤(2);如果车辆前行,则执行步骤(4);
步骤(4):检测区域F内是否有斑马线;
步骤(5):如果区域F内没有斑马线,则回到步骤2;如果区域F内有斑马线,则执行步骤(6);
步骤(6):检测斑马线上是否有人;
步骤(7):如果斑马线上没有人,则回到步骤(2);如果斑马线上有人,则执行步骤(8);
步骤(8):检测车辆是否停止;
步骤(9):如果车辆停止,则判为礼让行人;如果车辆未停止,则判为未礼让行人。
进一步地,前述的一种基于车载行车记录仪视频的斑马线礼让行为检测方法,其中:在步骤(1)中,在视频图像的车辆前进方向设置梯形斑马线检测区域F的具体方法如下:
读取当前图像帧,以汽车在图中车头部分的横向切线为底边,前进方向(向上)为高,以车头中线为中线,取一下底边L1,高为H,上底为L2的梯形区域为斑马线检测区域F。
进一步地,前述的一种基于车载行车记录仪视频的斑马线礼让行为检测方法,其中:在步骤(2)与步骤(8)中,判别车辆处于前行状态还是处于停止状态,具体包括以下步骤:
步骤(21):建立车辆运动状态检测矩形区域Z并进行图像预处理;
其中,建立车辆运动状态检测矩形区域Z的具体方法如下:读入当前帧图像,在图中左上方,设置一宽为W,长为L的矩形区域作为车辆运动状态的检测区域Z;Z区域左上角像素行列为(a=0,b=0),右下角像素的行列为(a=W,b=L),a,b为区域Z中的行列编号;
其中,图像预处理的具体步骤如下:
步骤(211):将区域Z中的图像转换成灰度图像;
步骤(212):对区域Z中的图像进行高斯降噪;
步骤(213):对Z中的图像进行CANNY边缘提取,得到二值化的边缘信息图像Bn(a,b),其中n表示为当前帧号;
步骤(22):将当前帧图像的Z区域位置在前一帧图像的对应位置上水平和垂直方向上移动(i,j),得到前一帧图像的车辆运动状态的检测区域Z’,再按步骤(211)~步骤(213)对区域Z’进行图像处理,得到区域Z’的二值化的边缘信息图像Bn-1(a,b);
步骤(23):计算前后两帧图像区域Z和Z’的边缘图像的误差函数
设i,j的取值范围为0,1,2,3,4,5,(dx,dy)是使取得最小值的(i,j),即
步骤(24):计算最小像素位移差dn
步骤(25):设置阈值p,当dn>p时,则判别车辆处于前行状态,否则,判别车辆处于停止状态。
进一步地,前述的一种基于车载行车记录仪视频的斑马线礼让行为检测方法,其中:在步骤(4)中,检测区域F内是否有斑马线,具体包括以下步骤:
步骤(41):读取当前帧图像,提取F区域内的图像,并进行如下操作:
步骤(411):将F区域中的图像转换成灰度图像;
步骤(412):对F区域进行高斯降噪处理;
步骤(413):对F区域进行CANNY边缘提取,得到边缘图像Fn,n为帧号;
步骤(42):提取图像Fn内纵坐标为h1,h2,h3,h4,h5,h6,h7,h8,h9,h10的所有像素颜色信息为白色的点,记为像素差异点;
步骤(43):对所有的像素差异点做HOUGH近似直线统计,具体步骤如下:
步骤(431):将Fn分割成连续的5×5方格块组成的图像;
步骤(432):像素差异点坐标修正,将每一个像素差异点的计算坐标修正为该点所在方格块的方格中心点坐标;
步骤(433):对修正后的像素差异点进行HOUGH直线统计;
步骤(434):非竖直线段过滤,略去所得直线中斜率的绝对值|k|<阈值а的直线;
步骤(435):统计剩下直线的数目s,以及每条直线占用δm个像素差异点,m表示为第m条直线;
步骤(44):判断区域F内是否存在斑马线,具体步骤如下:
步骤(441):删除s条直线中δm<阈值ζ的直线,得到s’条直线;
步骤(442):若s’>=阈值g,则判定当前区域F内有斑马线;否则,判定当前区域F内无斑马线。
进一步地,前述的一种基于车载行车记录仪视频的斑马线礼让行为检测方法,其中:在步骤(6)中,检测斑马线上是否有人,具体步骤如下:
步骤(61):在斑马线附近区域建立行人检测梯形区域T,具体方法如下:
读取当前帧图像,以汽车在图中车头部分的横向切线为底边,前进方向(向上)为高,以车头中线为中线,取一下底边L3,高为H2,上底为L4的梯形区域为行人检测区域T;
步骤(62):以128×320为窗口在图像T中扫描遍历,采用先横后竖进行扫描,窗口移动步长为8像素;
步骤(63):每一次窗口移动后,计算窗口中图像的方向梯度特征向量ν;
步骤(64):通过卷积神经网络CNN,对OpenCV公开的人员样本库中的每一个人员正样本以及人员负样本进行方向梯度特征训练学习,生成一套非监督的CNN内部各神经元参数{ω};输入待检测方向梯度特征向量ν,计算CNN神经网络中,输入ν在各神经元参数配置{ω}下的输出结果,如果结果为正,则判断该扫描窗口中有行人;否则,判断该扫描窗口中没有行人;
步骤(65):扫描遍历完图像区域T,任何一个扫描窗口判断为有行人,则判断斑马线上或其附近有行人;否则,继续进行步骤(66);
步骤(66):改变扫描窗口大小为64×128,在图像T中再次遍历扫描,窗口移动步长为8像素;
步骤(67):执行步骤(63)~步骤(64);
步骤(68):扫描遍历完图像区域T,任何一个扫描窗口判断为有行人,则判断斑马线上或其附近有行人;否则,则判断斑马线上及附近没有行人。
通过上述技术方案的实施,本发明的有益效果是:本发明的识别方法精准,在车辆前行过程中,当车辆接近斑马线时,检测斑马线上是否有行人,如有行人并停车,则判为礼让行人,否则判为未礼让行人,该判断方式判断效率高,能够基于车载行车记录仪视频有效地检测驾驶人员的斑马线礼让行为,提高了交通安全性。
附图说明
图1为本发明所述的一种基于车载行车记录仪视频的斑马线礼让行为检测方法的流程示意图。
图2为本发明涉及几个感兴区域Z,F,T的位置简图。
图3为本发明车辆运行状态识别流程图。
图4为Z区域图像边缘提取后的二值图像。
图5为本发明斑马线识别流程图。
图6为Fn图像边缘提取后的二值图像。
图7为本发明中Fn方块划分及像素差异点中心坐标修正位置说明示意图。
图8为本发明中HOUGH近似直线统计流程示意图。
图9为本发明中行人识别流程图。
具体实施方式
下面将结合附图对发明的技术方案进行详细的说明,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种基于车载行车记录仪视频的斑马线礼让行为检测方法,在车辆前行过程中,当车辆接近斑马线时,检测斑马线上是否有行人,如有行人并停车,则判为礼让行人,否则判为未礼让行人,如图1所示,具体包括以下步骤:
步骤(1):在视频图像的车辆前进方向设置梯形斑马线检测区域F,如图2所示,具体方法如下:
读取当前图像帧,以汽车在图中车头部分的横向切线为底边,前进方向(向上)为高,以车头中线为中线,取一下底边L1,高为H,上底为L2的梯形区域为斑马线检测区域F;
步骤(2):检测车辆是否前行,如图3所示,具体包括以下步骤:
步骤(21):建立车辆运动状态检测矩形区域Z并进行图像预处理;
其中,建立车辆运动状态检测矩形区域Z的具体方法如下:读入当前帧图像,在图中左上方,设置一宽为W,长为L的矩形区域作为车辆运动状态的检测区域Z;Z区域左上角像素行列为(a=0,b=0),右下角像素的行列为(a=W,b=L),a,b为区域Z中的行列编号;
其中,图像预处理的具体步骤如下:
步骤(211):将区域Z中的图像转换成灰度图像;
步骤(212):对区域Z中的图像进行高斯降噪;
步骤(213):对Z中的图像进行CANNY边缘提取,得到二值化的边缘信息图像Bn(a,b),其中n表示为当前帧号;
步骤(22):将当前帧图像的Z区域位置在前一帧图像的对应位置上水平和垂直方向上移动(i,j),得到前一帧图像的车辆运动状态的检测区域Z’,再按步骤(211)~步骤(213)对区域Z’进行图像处理,得到区域Z’的二值化的边缘信息图像Bn-1(a,b);
步骤(23):计算前后两帧图像区域Z和Z’的边缘图像的误差函数
设i,j的取值范围为0,1,2,3,4,5,(dx,dy)是使取得最小值的(i,j),即
步骤(24):计算最小像素位移差dn
步骤(25):设置阈值p,当dn>p时,则判别车辆处于前行状态,否则,判别车辆处于停止状态。
在车辆运行时,dn值在3到7之间,车辆停止时,dn值在0到1之间,故本发明中p取2,可以准确地判定区分车辆运行静止状态;
步骤(3):如果车辆不在前行,则回到步骤(2);如果车辆前行,则执行步骤(4);
步骤(4):检测区域F内是否有斑马线,如图5所示,具体包括以下步骤:
步骤(41):读取当前帧图像,提取F区域内的图像,并进行如下操作:
步骤(411):将F区域中的图像转换成灰度图像;
步骤(412):对F区域进行高斯降噪处理;
步骤(413):对F区域进行CANNY边缘提取,得到边缘图像Fn,如图6所示,其中n为帧号;
步骤(42):提取图像Fn内纵坐标为h1,h2,h3,h4,h5,h6,h7,h8,h9,h10的所有像素颜色信息为白色的点,记为像素差异点;
步骤(43):对所有的像素差异点做HOUGH近似直线统计,本发明为消除图像中产生的大量干扰线段,以及防止同一行车线由于模糊,反光等因素形成多条直线影响实验结果,对输入图像Fn中的像素差异点做HOUGH近似直线统计的方法,首先如图7所示,将Fn分割成连续的5×5方格块,将每一个像素差异点的计算坐标修正该点所在方格块的方格中心点坐标,然后根据坐标差异点修正后的坐标进行HOUGH直线统计,最后过滤掉统计结果中非竖直方向的直线;由此生成的结果直线取值为有限的间断值,有利的克服了图像中各种干扰线段带来的负面干扰同时消除了线段聚堆现象;如图8所示,HOUGH近似直线统计具体步骤如下:
步骤(431):将Fn分割成连续的5×5方格块组成的图像;
步骤(432):像素差异点坐标修正,将每一个像素差异点的计算坐标修正为该点所在方格块的方格中心点坐标;
步骤(433):对修正后的像素差异点进行HOUGH直线统计;
步骤(434):非竖直线段过滤,略去所得直线中斜率的绝对值|k|<阈值а的直线,阈值a的设置是为了略去图像中横向的干扰线段,阈值a取值为5.67;
步骤(435):统计剩下直线的数目s,以及每条直线占用δm个像素差异点,m表示为第m条直线;
步骤(44):判断区域F内是否存在斑马线,具体步骤如下:
步骤(441):删除s条直线中δm<阈值ζ的直线,得到s’道直线,在本发明中,阈值ζ=6;
步骤(442):若s’>=阈值g=8,则判定当前区域F内有斑马线;否则,判定当前区域F内无斑马线;
步骤(5):如果区域F内没有斑马线,则回到步骤2;如果区域F内有斑马线,则执行步骤(6);
步骤(6):检测斑马线上是否有人,本发明中步骤(6)涉及的水平梯度特征值,水平梯度特征向量采用传统HOG特征值的计算方法,即每一窗口下的图像提取出其中的3780维HOG特征向量,训练学习采用的行人样本库分为正负样本库,正样本即样本中75%区域为一个行人的样本图片,负样本为各种不含行人的背景图片,该样本为OpenCV软件公开自带的一个人员样本库;通过CNN网络对上述样本训练学习,生成一套{ω},进而通过{ω}和输入ν判别输入窗内是否含有行人;由于所用的样本库中行人占比为75%左右,当滑动窗口过大,图像中人过小,占窗口体积远远小于75%时,无法正常识别窗口中行人;而图像中过小的人意味着该人距离车辆较远,不在车前0-2米以内,所以本发明采用调整窗口大小的算法,针对距离车辆1米内的行人以及车辆前5米左右的行人进行不同窗口不同优先级的识别模式,经过实际检测,本发明涉及到的行人识别具有距离针对性,识别率高,识别准确;如图9所示,所述检测斑马线上是否有人的具体步骤如下:
步骤(61):在斑马线附近区域建立行人检测梯形区域T,具体方法如下:
读取当前帧图像,以汽车在图中车头部分的横向切线为底边,前进方向(向上)为高,以车头中线为中线,取一下底边L3,高为H2,上底为L4的梯形区域为行人检测区域T;
区域T是区域F外扩M个像素后的外扩梯形,在视频图像中,行人和斑马线不可能严格的重合在一起,行人一般仅有腿部处于斑马线上,所以在检测行人时,需要将行人检测区域T在F的基础上扩大,防止出现行人只有半个身体处于斑马线上导致无法识别的情况,同时,为保证检测到的行人是斑马线上的行人,需要限制外扩像素M的大小,使得检测到的行人窗口中心处于区域F内,否则检测到的行人不在斑马线上,影响程序结果;经过实际测试,采用M=20,识别效果达到要求;
步骤(62):以128×320为窗口在图像T中扫描遍历,采用先横后竖进行扫描,窗口移动步长为8像素;
步骤(63):每一次窗口移动后,计算窗口中图像的方向梯度特征向量ν;
步骤(64):通过卷积神经网络CNN,对OpenCV公开的人员样本库中的每一个人员正样本以及人员负样本进行方向梯度特征训练学习,生成一套非监督的CNN内部各神经元参数{ω};输入待检测方向梯度特征向量ν,计算CNN神经网络中,输入ν在各神经元参数配置{ω}下的输出结果,如果结果为正,则判断该扫描窗口中有行人;否则,判断该扫描窗口中没有行人;
步骤(65):扫描遍历完图像区域T,任何一个扫描窗口判断为有行人,则判断斑马线上或其附近有行人;否则,继续进行步骤(66);
步骤(66):改变扫描窗口大小为64×128,在图像T中再次遍历扫描,窗口移动步长为8像素;
步骤(67):执行步骤(63)~步骤(64);
步骤(68):扫描遍历完图像区域T,任何一个扫描窗口判断为有行人,则判断斑马线上或其附近有行人;否则,则判断斑马线上及附近没有行人;
步骤(7):如果斑马线上没有人,则回到步骤(2);如果斑马线上有人,则执行步骤(8);
步骤(8):检测车辆是否停止,具体包括以下步骤:
步骤(21):建立车辆运动状态检测矩形区域Z并进行图像预处理;
其中,建立车辆运动状态检测矩形区域Z的具体方法如下:读入当前帧图像,在图中左上方,设置一宽为W,长为L的矩形区域作为车辆运动状态的检测区域Z;Z区域左上角像素行列为(a=0,b=0),右下角像素的行列为(a=W,b=L),a,b为区域Z中的行列编号;
其中,图像预处理的具体步骤如下:
步骤(211):将区域Z中的图像转换成灰度图像;
步骤(212):对区域Z中的图像进行高斯降噪;
步骤(213):对Z中的图像进行CANNY边缘提取,得到二值化的边缘信息图像Bn(a,b),其中n表示为当前帧号;
步骤(22):将当前帧图像的Z区域位置在前一帧图像的对应位置上水平和垂直方向上移动(i,j),得到前一帧图像的车辆运动状态的检测区域Z’,再按步骤(211)~步骤(213)对区域Z’进行图像处理,得到区域Z’的二值化的边缘信息图像Bn-1(a,b);
步骤(23):计算前后两帧图像区域Z和Z’的边缘图像的误差函数
设i,j的取值范围为0,1,2,3,4,5,(dx,dy)是使取得最小值的(i,j),即
步骤(24):计算最小像素位移差dn
步骤(25):设置阈值p,当dn>p时,则判别车辆处于前行状态,否则,判别车辆处于停止状态;
步骤(9):如果车辆停止,则判为礼让行人;如果车辆未停止,则判为未礼让行人。
本发明的优点是:本发明的识别方法精准,在车辆前行过程中,当车辆接近斑马线时,检测斑马线上是否有行人,如有行人并停车,则判为礼让行人,否则判为未礼让行人,该判断方式判断效率高,能够基于车载行车记录仪视频有效地检测驾驶人员的斑马线礼让行为,提高了交通安全性。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于车载行车记录仪视频的斑马线礼让行为检测方法,其特征在于:包括以下步骤:
步骤(1):在视频图像的车辆前进方向设置梯形斑马线检测区域F;
步骤(2):检测车辆是否前行;
步骤(3):如果车辆不在前行,则回到步骤(2);如果车辆前行,则执行步骤(4);
步骤(4):检测区域F内是否有斑马线;
步骤(5):如果区域F内没有斑马线,则回到步骤2;如果区域F内有斑马线,则执行步骤(6);
步骤(6):检测斑马线上是否有人;
步骤(7):如果斑马线上没有人,则回到步骤(2);如果斑马线上有人,则执行步骤(8);
步骤(8):检测车辆是否停止;
步骤(9):如果车辆停止,则判为礼让行人;如果车辆未停止,则判为未礼让行人。
2.根据权利要求1所述的一种基于车载行车记录仪视频的斑马线礼让行为检测方法,其特征在于:在步骤(1)中,在视频图像的车辆前进方向设置梯形斑马线检测区域F的具体方法如下:
读取当前图像帧,以汽车在图中车头部分的横向切线为底边,前进方向(向上)为高,以车头中线为中线,取一下底边L1,高为H,上底为L2的梯形区域为斑马线检测区域F。
3.根据权利要求1所述的一种基于车载行车记录仪视频的斑马线礼让行为检测方法,其特征在于:在步骤(2)与步骤(8)中,判别车辆处于前行状态还是处于停止状态,具体包括以下步骤:
步骤(21):建立车辆运动状态检测矩形区域Z并进行图像预处理;
其中,建立车辆运动状态检测矩形区域Z的具体方法如下:读入当前帧图像,在图中左上方,设置一宽为W,长为L的矩形区域作为车辆运动状态的检测区域Z;Z区域左上角像素行列为(a=0,b=0),右下角像素的行列为(a=W,b=L),a,b为区域Z中的行列编号;
其中,图像预处理的具体步骤如下:
步骤(211):将区域Z中的图像转换成灰度图像;
步骤(212):对区域Z中的图像进行高斯降噪;
步骤(213):对Z中的图像进行CANNY边缘提取,得到二值化的边缘信息图像Bn(a,b),其中n表示为当前帧号;
步骤(22):将当前帧图像的Z区域位置在前一帧图像的对应位置上水平和垂直方向上移动(i,j),得到前一帧图像的车辆运动状态的检测区域Z’,再按步骤(211)~步骤(213)对区域Z’进行图像处理,得到区域Z’的二值化的边缘信息图像Bn-1(a,b);
步骤(23):计算前后两帧图像区域Z和Z’的边缘图像的误差函数
设i,j的取值范围为0,1,2,3,4,5,(dx,dy)是使取得最小值的(i,j),即
步骤(24):计算最小像素位移差dn
步骤(25):设置阈值p,当dn>p时,则判别车辆处于前行状态,否则,判别车辆处于停止状态。
4.根据权利要求1所述的一种基于车载行车记录仪视频的斑马线礼让行为检测方法,其特征在于:在步骤(4)中,检测区域F内是否有斑马线,具体包括以下步骤:
步骤(41):读取当前帧图像,提取F区域内的图像,并进行如下操作:
步骤(411):将F区域中的图像转换成灰度图像;
步骤(412):对F区域进行高斯降噪处理;
步骤(413):对F区域进行CANNY边缘提取,得到边缘图像Fn,n为帧号;
步骤(42):提取图像Fn内纵坐标为h1,h2,h3,h4,h5,h6,h7,h8,h9,h10的所有像素颜色信息为白色的点,记为像素差异点;
步骤(43):对所有的像素差异点做HOUGH近似直线统计,具体步骤如下:
步骤(431):将Fn分割成连续的5×5方格块组成的图像;
步骤(432):像素差异点坐标修正,将每一个像素差异点的计算坐标修正为该点所在方格块的方格中心点坐标;
步骤(433):对修正后的像素差异点进行HOUGH直线统计;
步骤(434):非竖直线段过滤,略去所得直线中斜率的绝对值|k|<阈值а的直线;
步骤(435):统计剩下直线的数目s,以及每条直线占用δm个像素差异点,m表示为第m条直线;
步骤(44):判断区域F内是否存在斑马线,具体步骤如下:
步骤(441):删除s条直线中δm<阈值ζ的直线,得到s’条直线;
步骤(442):若s’>=阈值g,则判定当前区域F内有斑马线;否则,判定当前区域F内无斑马线。
5.根据权利要求1所述的一种基于车载行车记录仪视频的斑马线礼让行为检测方法,其特征在于:在步骤(6)中,检测斑马线上是否有人,具体步骤如下:
步骤(61):在斑马线附近区域建立行人检测梯形区域T,具体方法如下:
读取当前帧图像,以汽车在图中车头部分的横向切线为底边,前进方向(向上)为高,以车头中线为中线,取一下底边L3,高为H2,上底为L4的梯形区域为行人检测区域T;
步骤(62):以128×320为窗口在图像T中扫描遍历,采用先横后竖进行扫描,窗口移动步长为8像素;
步骤(63):每一次窗口移动后,计算窗口中图像的方向梯度特征向量ν;
步骤(64):通过卷积神经网络CNN,对OpenCV公开的人员样本库中的每一个人员正样本以及人员负样本进行方向梯度特征训练学习,生成一套非监督的CNN内部各神经元参数{ω};输入待检测方向梯度特征向量ν,计算CNN神经网络中,输入ν在各神经元参数配置{ω}下的输出结果,如果结果为正,则判断该扫描窗口中有行人;否则,判断该扫描窗口中没有行人;
步骤(65):扫描遍历完图像区域T,任何一个扫描窗口判断为有行人,则判断斑马线上或其附近有行人;否则,继续进行步骤(66);
步骤(66):改变扫描窗口大小为64×128,在图像T中再次遍历扫描,窗口移动步长为8像素;
步骤(67):执行步骤(63)~步骤(64);
步骤(68):扫描遍历完图像区域T,任何一个扫描窗口判断为有行人,则判断斑马线上或其附近有行人;否则,则判断斑马线上及附近没有行人。
CN201910135176.0A 2019-02-21 2019-02-21 一种基于车载行车记录仪视频的斑马线礼让行为检测方法 Active CN109977772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910135176.0A CN109977772B (zh) 2019-02-21 2019-02-21 一种基于车载行车记录仪视频的斑马线礼让行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910135176.0A CN109977772B (zh) 2019-02-21 2019-02-21 一种基于车载行车记录仪视频的斑马线礼让行为检测方法

Publications (2)

Publication Number Publication Date
CN109977772A true CN109977772A (zh) 2019-07-05
CN109977772B CN109977772B (zh) 2022-08-23

Family

ID=67077317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910135176.0A Active CN109977772B (zh) 2019-02-21 2019-02-21 一种基于车载行车记录仪视频的斑马线礼让行为检测方法

Country Status (1)

Country Link
CN (1) CN109977772B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445669A (zh) * 2020-03-12 2020-07-24 杭州律橙电子科技有限公司 一种公交车的安全监测系统
CN112116816A (zh) * 2020-08-11 2020-12-22 浙江登凯建设有限公司 斑马线礼让行人监管方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114652A (ja) * 2011-12-01 2013-06-10 Yazaki Energy System Corp 横断歩道検出装置
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测系统
CN108417045A (zh) * 2018-04-24 2018-08-17 佛山市澄澜点寸科技有限公司 一种礼让行人抓拍处理系统及其方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114652A (ja) * 2011-12-01 2013-06-10 Yazaki Energy System Corp 横断歩道検出装置
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测系统
CN108417045A (zh) * 2018-04-24 2018-08-17 佛山市澄澜点寸科技有限公司 一种礼让行人抓拍处理系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周为钢等: "基于视频分析的机动车斑马线前未礼让违法行为检测系统", 《中国人民公安大学学报(自然科学版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445669A (zh) * 2020-03-12 2020-07-24 杭州律橙电子科技有限公司 一种公交车的安全监测系统
CN112116816A (zh) * 2020-08-11 2020-12-22 浙江登凯建设有限公司 斑马线礼让行人监管方法、系统及存储介质

Also Published As

Publication number Publication date
CN109977772B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN103778786B (zh) 一种基于显著车辆部件模型的交通违章检测方法
CN104021378B (zh) 基于时空关联与先验知识的交通信号灯实时识别方法
CN104933409B (zh) 一种基于全景图像点线特征的车位识别方法
CN100452110C (zh) 一种车辆视频识别测速方法
CN103714363B (zh) 一种机动车尾气烟度视频识别系统
CN104408932B (zh) 一种基于视频监控的酒驾车辆检测系统
CN105336169B (zh) 一种基于视频判断交通拥堵的方法和系统
CN102999749B (zh) 基于人脸检测的安全带违章事件智能检测方法
CN103730015B (zh) 交叉路口车流量检测方法及装置
CN106652465A (zh) 一种道路异常驾驶行为的识别方法及系统
CN103914688A (zh) 一种城市道路障碍物识别系统
CN109637151A (zh) 一种高速公路应急车道违章行驶的识别方法
CN111597905B (zh) 一种基于视频技术的公路隧道停车检测方法
CN102722704A (zh) 一种融合视频动态跟踪的车牌识别方法和系统
CN105260713A (zh) 一种车道线检测方法和装置
CN104050450A (zh) 一种基于视频的车牌识别方法
CN105005771A (zh) 一种基于光流点轨迹统计的车道线实线的检测方法
CN103605967A (zh) 一种基于图像识别的地铁防逃票系统及其工作方法
CN107845264A (zh) 一种基于视频监控的交通量采集系统及方法
CN104966049A (zh) 基于图像的货车检测方法
CN105702048A (zh) 基于行车记录仪的高速公路前车违法占道识别系统及方法
CN104573627A (zh) 基于二值图像的车道线保留与检测算法
CN105513349A (zh) 基于双视角学习的山区高速公路车辆事件检测方法
CN105574502A (zh) 一种自助发卡机违章行为自动检测方法
CN109948552A (zh) 一种复杂交通环境中的车道线检测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant