CN105740783B - 基于姿态检测与衣帽特征的交警检测方法和系统 - Google Patents

基于姿态检测与衣帽特征的交警检测方法和系统 Download PDF

Info

Publication number
CN105740783B
CN105740783B CN201610048787.8A CN201610048787A CN105740783B CN 105740783 B CN105740783 B CN 105740783B CN 201610048787 A CN201610048787 A CN 201610048787A CN 105740783 B CN105740783 B CN 105740783B
Authority
CN
China
Prior art keywords
pedestrian
traffic police
characteristic image
feature
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610048787.8A
Other languages
English (en)
Other versions
CN105740783A (zh
Inventor
田雨农
吴子章
周秀田
于维双
陆振波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Roiland Technology Co Ltd
Original Assignee
Dalian Roiland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Roiland Technology Co Ltd filed Critical Dalian Roiland Technology Co Ltd
Priority to CN201610048787.8A priority Critical patent/CN105740783B/zh
Publication of CN105740783A publication Critical patent/CN105740783A/zh
Application granted granted Critical
Publication of CN105740783B publication Critical patent/CN105740783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

本发明涉及基于姿态检测与衣帽特征的交警检测方法和系统,方法包括:通过车载视觉传感器实时采集原始图像;对原始图像利用行人hog特征提取算法获取特征图像XR;将特征图像XR中的行人区域通过预设的交警位姿模板进行模板匹配;将行人区域坐标进行模糊匹配,得到交警相似度;当相似度大于阈值时,则发送交警姿态标识至信息解读模块;将交警姿态标识对应的交通指挥信息提示驾驶者。系统包括:车载视觉采集模块、行人检测模块、行人姿态检测模块、衣帽特征模糊检测模块、信息解读模块。本发明能准确、快速的检测出交警及其姿态,对主动驾驶具有重要指导意义。

Description

基于姿态检测与衣帽特征的交警检测方法和系统
技术领域
本发明属于主动驾驶领域,具体说是基于姿态检测与衣帽特征的交警检测方法和系统。
背景技术
近年来汽车主动驾驶技术发展得如火如荼,各汽车厂商与科技公司纷纷推出自己的主动驾驶试验概念车。这些实验概念车通过行人检测、车辆检测、交通信号灯检测、GPS定位与地图查找、路径规划等技术来指导其进行自主驾驶,甚至无人驾驶。这些实验车可以在一些比较常见的路况情形下,几乎完全脱离人为操作进行汽车的控制与驾驶。但是在有些特殊的交通场景下,是由交警来指挥车辆行为的。而目前的主动驾驶车辆还没有主动对交警进行积极的应对措施。
鉴于此,本发明提出一种基于交警衣帽特征与姿态检测相结合的交警检测方法。通过该技术,可以使主动驾驶在检测出行人的时候,进一步检测其是否是交警,如果是交警则进行告警,提醒主动驾驶切换回人为驾驶模式、以及对交警姿态进行解读等。
发明内容
针对现有技术中存在的上述不足之处,本发明要解决的技术问题是提供一种检测交警并解读交警指挥动作的方法和系统。
本发明为实现上述目的所采用的技术方案是:基于姿态检测与衣帽特征的交警检测方法,包括以下步骤:
车载视觉采集模块:通过车载视觉传感器实时采集原始图像;
行人检测模块:对原始图像利用行人hog特征提取算法获取特征图像XR;当特征图像XR中有行人时,则在特征图像XR中标记行人并传送行人坐标至行人姿态检测模块;
行人姿态检测模块:将特征图像XR中的行人区域通过预设的交警位姿模板进行模板匹配;当姿态相似度大于阈值时,认为匹配成功,并将行人区域坐标传至衣帽特征模糊检测模块;
衣帽特征模糊检测模块:将行人区域坐标进行模糊匹配,得到交警相似度;当相似度大于阈值时,则发送交警姿态标识至信息解读模块;
信息解读模块:将交警姿态标识对应的交通指挥信息提示驾驶者。
所述对原始图像利用行人hog特征提取算法获取特征图像XR;当特征图像XR中有行人时,则在特征图像XR中标记行人并传送行人坐标至行人姿态检测模块包括以下步骤:
1)将原始图像进行hog特征提取得到特征图像XR,具体为:
hog特征为高宽相等的像素块,像素块中平均分割成四个单元像素块,hog特征的步长为像素块的高;
对原始图像的YUV的每个通道进行hog特征提取,将每个通道得到的特征根据权重进行加权计算得到特征图像XR
2)通过行人分类器对特征图像XR进行检测,并将检测到的行人坐标发送至行人姿态检测模块。
所述通过行人分类器对特征图像XR进行检测,并将检测到的行人坐标发送至行人姿态检测模块包括以下步骤:
其中,x表示输入的测试样本,代表特征图像XR中的一个hog特征,ht(x)表示第t个弱分类器,αt为权重,fk(x)表示行人分类器的一个强分类器,βk为阈值,T为弱分类器个数;行人分类器为若干强分类器的集合{fk(x)},k=1......N;N为强分类器个数;
若{fk(x)}为1,则该测试样本是行人,在特征图像XR中标记行人并传送行人坐标至行人姿态检测模块;否则该测试样本不是行人。
所述姿态相似度为
其中,X与Y分别表示测试样本与交警位姿模板图像的hog特征,p表示距离的阶数,n表示特征的维度,dist(X,Y)表示测试样本与交警位姿模板图像的相似程度;xi、yi分别表示测试样本第i个维度的hog特征、交警位姿模板图像第i个维度的hog特征。
所述模糊匹配包括以下步骤:
其中,X表示测试样本,即行人区域坐标内的hog特征,Y表示设定的衣帽图像的hog特征,p表示相似度的阶数,n表示hog特征的维度,dist(X,Y)表示测试样本与设定的衣帽图像hog特征之间的相似度,xi、yi分别表示测试样本第i个维度的hog特征、标准衣帽图像第i个维度的hog特征。
基于姿态检测与衣帽特征的交警检测系统,包括:
车载视觉采集模块:用于通过车载视觉传感器实时采集原始图像;
行人检测模块:用于对原始图像利用行人hog特征提取算法获取特征图像XR;当特征图像XR中有行人时,则在特征图像XR中标记行人并传送行人坐标至行人姿态检测模块;
行人姿态检测模块:将特征图像XR中的行人区域通过预设的交警位姿模板进行模板匹配;当姿态相似度大于阈值时,认为匹配成功,并将行人区域坐标传至衣帽特征模糊检测模块;
衣帽特征模糊检测模块:将行人区域坐标进行模糊匹配,得到交警相似度;当相似度大于阈值时,则发送交警姿态标识至信息解读模块;
信息解读模块:将交警姿态标识对应的交通指挥信息提示驾驶者。
所述行人检测模块:
1)将原始图像进行hog特征提取得到特征图像XR,具体为:
hog特征为高宽相等的像素块,像素块中平均分割成四个单元像素块,hog特征的步长为像素块的高;
对原始图像的YUV的每个通道进行hog特征提取,将每个通道得到的特征根据权重进行加权计算得到特征图像XR
2)通过行人分类器对特征图像XR进行检测,并将检测到的行人坐标发送至行人姿态检测模块。
所述行人分类器为:
其中,x表示输入的测试样本,代表特征图像XR中的一个hog特征,ht(x)表示第t个弱分类器,αt为权重,fk(x)表示行人分类器的一个强分类器,βk为阈值,T为弱分类器个数;行人分类器为若干强分类器的集合{fk(x)},k=1......N;N为强分类器个数;
若{fk(x)}为1,则该测试样本是行人。
所述行人姿态检测模块中的姿态相似度为
其中,X与Y分别表示测试样本与交警位姿模板图像的hog特征,p表示距离的阶数,n表示特征的维度,dist(X,Y)表示测试样本与交警位姿模板图像的相似程度;xi、yi分别表示测试样本第i个维度的hog特征、交警位姿模板图像第i个维度的hog特征。
所述衣帽特征模糊检测模块中的模糊匹配:
其中,X表示测试样本,即行人区域坐标内的hog特征,Y表示设定的衣帽图像的hog特征,p表示相似度的阶数,n表示hog特征的维度,dist(X,Y)表示测试样本与设定的衣帽图像hog特征之间的相似度,xi、yi分别表示测试样本第i个维度的hog特征、标准衣帽图像第i个维度的hog特征。
本发明具有以下优点及有益效果:
1.本发明可以在车载视觉传感器的帮助下,对前方视野范围内的交警进行检测并给驾驶者以提示,提醒主动驾驶切换回人为驾驶模式并注意交警指挥动作。
2.本发明根据交警的警帽、交警荧光服等多重特征联合增加了交警检测与识别的准确率并利用并行处理技术提高了检测效率。
3.本发明在检测出行人时,利用多通道加权的hog特征进行特征提取,兼顾了不同通道信息的同时提高了hog特征提取的效率。
4.本发明在检测出行人后,一方面对行人的姿态进行检测并对具有交警动作的行人进行模糊衣帽特征匹配,另一方面之间进行精确衣帽检测然后进行姿态匹配,这样两方面并行处理,互相印证,不但提高了检测的准确性还兼顾了效率。
5.本发明根据不同的身体部分区域进行有针对性的衣帽特征检测,利用不同身体区域的并行化检测手段提高了特征联合检测的效率。
附图说明
图1为本发明的系统结构图一;
图2为本发明的系统结构图二;
图3为本发明方法中的交警检测识别流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
基于姿态检测与衣帽特征的交警检测方法,包括以下步骤:
S1:车载视觉传感器实时采集原始图像,执行步骤S2;
S2:对原始图像利用改进的行人hog特征提取算法获取特征图像XR,利用行人分类器判断特征图像XR中是否有行人,若有行人则在特征图像XR中标记行人,同时执行步骤S3、S4、S7,若没有则进行下一帧检测;
S3:对特征图像XR中的行人区域利用归一化模板匹配的方法,先将行人区域的hog特征图归一化到固定尺寸,然后与该尺寸标准行人头部样本与躯干样本的hog特征图进行模板匹配,匹配上的部分即是头部区域与躯干区域;通过上述模块分割得到头部区域和躯干区域;
在头部区域的上1/2区域利用警帽分类器判断出是否有警帽,若有则在特征图像XR中标记行人、警帽,并根据警帽的可信度进行权重打分(与警帽权重相比分别占60%与40%的权重),即警帽的可信度*60%;若没有警帽则进行下一帧检测。
S4:对特征图像XR中的行人区域利用归一化模板匹配的方法,先将行人区域的hog特征图归一化到固定尺寸,然后与该尺寸标准行人头部样本与躯干样本的hog特征图进行模板匹配,匹配上的部分即是头部区域与躯干区域;通过上述模块分割得到头部区域和躯干区域;
在躯干区域利用荧光服分类器判断是否有荧光服,若有则在特征图像XR中标记行人、荧光服,并根据荧光服的可信度进行权重打分(与警帽权重相比分别占40%与60%的权重),即荧光服的可信度*40%;若没有荧光服则进行下一帧检测;
S5:判断步骤S3、S4中在特征图像XR上标记的上述两个行人坐标是否相同,若相同则表明原始图像中存在同一个行人同时戴警帽、穿荧光服,即为交警,并且提示给驾驶者注意交警,继续执行步骤S6;若不同则进行下一帧检测;
S6:对特征图像XR与交警位姿同样利用归一化模板匹配的方法,先将交警位姿的hog特征图归一化到固定尺寸,然后与该尺寸标准交警位姿hog特征图进行模板匹配,当姿态相似度达到90%以上可以认为匹配,若匹配则提示给驾驶者相应的交警位姿解读信号;否则进行下一帧检测;
S7:对特征图像XR与交警位姿利用交警位姿模板进行匹配,若匹配,则继续进行衣帽特征相似度计算,并根据设定的相似度阈值判断原始图像中的行人是否为交警,并提示给驾驶者注意交警,继续执行步骤S8;否则进行下一帧检测;
S8:将S7中与匹配的交警位姿相对应的交警位姿解读信号提示给驾驶者;
所述行人分类器、警帽分类器、荧光服分类器均为离线训练得到,具体如下:
通过视频采集传感器采集行人样本图像,对行人样本图像利用改进的行人hog特征提取算法进行计算,获取行人hog特征图像;在获取的hog特征图像上分别进行警帽、荧光服和行人的adboost训练学习,分别获取警帽、荧光服、行人的分类器;
其中,x表示输入的测试样本,即特征图像XR中的行人区域的hog特征,(警帽分类器时,测试样本为警帽区域的hog特征;荧光服分类器时,测试样本为荧光服区域的hog特征),ht(x)表示第t个弱分类器,αt为权重,fk(x)表示行人(警帽、荧光服)分类器的一个强分类器,T为弱分类器个数;βk表示所有弱分类器加权求和后需要满足的阈值,当整体权重之和大于βk时,则认为满足该强分类器。行人分类器为若干强分类器的集合{fk(x)},k=1......N;N为强分类器个数;
警帽分类器、荧光服分类器与上述行人分类器类似,分别为:
{pk(x)},k=1......N(N为正整数)
{qk(x)},k=1......N(N为正整数)
具体的模块结构信息如图2所示,主要包括如下模块:
车载视觉采集模块。通过车载视觉传感器实时采集原始图像;
行人检测模块。用于对原始图像利用行人hog特征提取算法获取特征图像XR;若特征图像XR中有行人,则在特征图像XR中标记行人并传送行人坐标至躯干检测模块;
躯干检测模块。用于对特征图像XR中的行人区域进行模块分割,得到头部区域坐标和躯干区域坐标,并发送至衣帽检测模块和荧光马甲检测模块;
衣帽检测模块。用于在头部区域中检测是否有警帽;若有,则将警帽判断标识发送至联合判断模块;
荧光马甲检测模块。用于在躯干区域中检测是否有荧光马甲;若有,则将判断标识发送至联合判断模块;
联合判断模块。用于将警帽判断标识和判断标识进行加权求和得到可信度,并通过与阈值比较,得到交警的检测结果。
交警姿态检测模块。用于在检测出交警后,判断其姿态。将特征图像XR中的行人区域通过预设的交警位姿模板进行模板匹配;当姿态相似度大于阈值时,认为匹配成功,并将交警位姿标识发送至信息解读模块。
行人姿态检测模块。与交警姿态检测模块的方法相同。用于在检测出行人后,判断其姿态是否是交警指挥姿态。
衣帽特征模糊检测模块。将行人区域坐标进行模糊匹配,得到交警检测结果,即交警位姿标识并发送至信息解读模块,用于提示驾驶员。
信息解读模块。用于在判断出交警并检测出其姿态信息后,对其姿态进行交通指挥层面的信息解读,并给驾驶者发送提示信息。具体为:判断交警姿态检测模块和衣帽特征模糊检测模块分别发送的交警位姿标识,若一致,则提醒驾驶员;否则,将两个交警位姿标识的可信度进行加权判断,选可信度高的交警位姿标识为结果,将该结果所对应的交通指挥信息提示驾驶员。
其中,车载视觉采集模块、行人检测模块、躯干检测模块、衣帽检测模块、联合判断模块、交警姿态检测模块为主线检测,当该主线独自进行检测时,信息解读模块可以直接将交警姿态检测模块发送的交警位姿标识所对应的交通指挥信息提示给驾驶员。
其中,行人姿态检测模块和衣帽特征模糊检测模块为辅助检测,当该辅线独自进行检测时,信息解读模块可以直接将衣帽特征模糊检测模块发送的交警位姿标识所对应的交通指挥信息提示给驾驶员。如图1所示。
改进的行人hog特征提取算法具体为:
设计hog特征块高宽比为1:1,16*16像素块,块中平均分割而成的四个单元像素块,大小为8*8;计算样本hog特征的步长为8个像素;
将YUV三个通道中,对每个通道根据hog特征提取算法进行加权联合计算得到改进的hog特征;其中Y通道、U通道、V通道分别占20%、60%、20%。
对于每个通道中先求出梯度方向的变化及微分:
▽Ix=I(x+1,y)-I(x,y),▽Iy=I(x,y)-I(x,y+1);
其中,I(x,y)表示坐标x,y的像素值。
然后分别在x方向与y方向对上述结果进行积分进而构成积分图:
为像素点I(p,q)的梯度变化直方图的积分图。其中,p,q分别为像素点I(p,q)的横坐标与纵坐标。
于是再计算每一个图像块(不论重合与否)的内部的梯度变化之和时,就可以直接使用如下公式直接查表计算:
RecSUM(r)=SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)
这里r表示图像块,h与w分别表示图像块的高与宽,RecSUM(r)表示图像块内的梯度变化之和。
交警位姿根据交警手势动作分为8种,相对应的交警位姿解读信号为停止信号、直行信号、左转弯信号、左转弯待转信号、右转弯信号、变道缓行信号、减速慢行信号、示意车辆靠边停车信号。
衣帽特征相似度计算具体为:
这里相似性度量采用切比雪夫距离(Chebyshev Distance):X与Y分别表示测试样本与标准衣帽图像(或 交警位姿模板等其他各种模板)的hog特征,p表示距离的阶数,n表示特征的维度,dist(X, Y)表示测试样本与标准衣帽图像的相似程度。xi、yi分别表示测试样本第i个维度的hog特 征、标准衣帽图像第i个维度的hog特征。
如图3所示,基于姿态检测与衣帽特征的交警检测方法包括以下:
本发明在基于行人检测技术基础上,通过对交警警帽与荧光服进行大样本建模统计学习其特征。同时,由于交警在指挥交通的时候往往有着特殊的手势,故此本发明在检测到行人的时候,也对其姿态进行检测,当检测到其两腿并拢且有如下(停止信号、直行信号、左转弯信号、左转弯待转信号、右转弯信号、变道缓行信号、减速慢行信号、示意车辆靠边停车信号)几种手势姿态的时候,可以认为其很有可能是交警。
首先,需要对进入传感器检测范围内的行人进行检测,本发明中使用改进的hog特征对行人进行特征描述并进行检测。所述HOG特征块模块为高宽比(H:W)为1:1,16*16像素大小的块,块中平均分割而成的四个单元像素大小为8*8,计算样本HOG特征时所用步长为8个像素。这里将YUV三个通道中,每个通道计算得到的hog特征进行加权联合,得到改进的hog特征,这里Y通道、U通道、V通道分别占20%、60%、20%,这样既考虑了各个通道中特征的不同又降低了多通道联合特征的维数,进而提高了hog特征训练与检测的效率。
对于每个通道中先求出梯度方向的变化及微分:
▽Ix=I(x+1,y)-I(x,y),▽Iy=I(x,y)-I(x,y+1);
然后分别在x方向与y方向对上述结果进行积分进而构成积分图:
为像素点I(p,q)的梯度变化直方图的积分图。
于是再计算每一个图像块(不论重合与否)的内部的梯度变化之和时,就可以直接使用如下公式直接查表计算:
RecSUM(r)=SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)
这里r表示图像块,h与w分别表示图像块的高与宽,RecSUM(r)表示图像块内的梯度变化之和。这样直接查表计算省去了大量的计算时间。
于是在行人检测确定是行人之后,分别对其衣帽特征进行识别,同时对其姿态特征进行匹配。如果衣帽特征符合且姿态特征也符合的时候,就可以认为是交警。当系统识别出前方出现交警后,就需要给驾驶者提示,注意前方有交警;同时启动检测交警姿态,并对其姿态信息进行解读(分别代表停止信号、直行信号、左转弯信号、左转弯待转信号、右转弯信号、变道缓行信号、减速慢行信号、示意车辆靠边停车信号)。
由于交警的帽子都是白色的,而民警的帽子是黑色的,故此可以依据颜色信息来区分是交警还是民警。
首先,由服务器端离线学习海量行人样本中的行人特征,海量行人样本中交警样本的衣帽特征(注意包括白色黑边的警帽、交警荧光服等)。
然后由车载视觉传感器使用离线学习的行人分类器检测视觉传感器检测范围内的行人样本。如果没有检测到行人,那么直接结束流程;如果检测到行人,需要判断行人的头部区域与躯干区域,利用归一化模板匹配的方法,先将行人区域的hog特征图归一化到固定尺寸,然后与该尺寸标准行人头部样本与躯干样本的hog特征图进行模板匹配,匹配上的部分即是头部区域与躯干区域。这样就可以对检测到的行人进行衣帽特征检测。
对行人衣帽特征检测,是基于上一步中分离出来的行人的头部、躯干及四肢图像区域,并在指定的图像区域内并行地分别检测交警警帽、荧光服信息。
这里主要使用交警警帽(白色黑边)与荧光服作为主要判别依据。因为戴警帽的也可能是民警(民警是黑色帽子),故此采用交警警帽与荧光服来进行交警的衣帽检测。注意,在头部检测警帽信息时,需要在头部区域上下平均分成一半的上部1/2区域内进行检测。若有则在特征图像XR中标记行人、警帽,并根据警帽的可信度进行权重打分(与警帽权重相比分别占60%与40%的权重),即警帽的可信度*60%;若没有警帽则进行下一帧检测。
前面进行模块分割得到头部区域和躯干区域;在躯干区域利用荧光服分类器判断是否有荧光服,若有则在特征图像XR中标记行人、荧光服,并根据荧光服的可信度进行权重打分(与警帽权重相比分别占40%与60%的权重),即荧光服的可信度*40%;若没有荧光服则进行下一帧检测。其中,可信度通过大量实验统计数据设定。
当检测到行人既有交警警帽又有荧光服的时候,计算总体的可信度(警帽的可信度*a+荧光服的可信度*b),a、b为权重,a为60%,b为40%,当总体的可信度>阈值80%的时候,就可以认定为是交警。此时,需要给驾驶者发送提示信息,帮助驾驶者采取相应的措施。同时对交警的姿态动作进行检测,然后看能否与交警指示交通时采用的姿态动作相匹配。如果匹配,那么将解读其动作信息,并提示驾驶者;如果不匹配,结束流程。
在检测到行人后,另外一条线程开始对行人的动作姿态进行检测与匹配,这一处理流程与前面的衣帽特征检测是并行处理的。
行人姿态检测模块,同样利用归一化模板匹配的方法,先将交警位姿的hog特征图归一化到固定尺寸,然后与该尺寸标标准交警位姿hog特征图进行模板匹配,当姿态相似度达到阈值90%以上可以认为匹配)进行匹配,若匹配则提示给驾驶者相应的交警位姿解读信号;否则进行下一帧检测;
衣帽特征模糊检测模块,如果检测到的姿态动作与交警指挥交通时使用的标准姿态动作相匹配,那么再对该行人的衣帽特征与交警的衣帽特征进行模糊匹配,如果匹配程度超过阈值80%,则认为使用交警动作的行人就是交警;否则,不认为是交警。
其中模糊匹配采用切比雪夫距离:X 与Y分别表示测试样本与标准衣帽图像的hog特征,p表示距离的阶数,n表示特征的维度, dist(X,Y)表示测试样本与标准衣帽图像的相似程度。xi、yi分别表示测试样本第i个维度的 hog特征、标准衣帽图像第i个维度的hog特征。
这里利用使用交警动作手势标志作为其判别的主要依据,与前面利用衣帽特征进行精确检测是互补的。因为直接利用行人的动作姿态进行检测再进行衣帽模糊匹配,其效率要比前面提到的利用衣帽特征精确检测高,但是精度要低一些。因此,两条检测线并行将行人姿态检测的高效率与衣帽精确检测的准确性相结合。
当该线程判断出该行人是交警后,同样会给驾驶者提示遇到了交警。并且,将之前识别出的标注指挥动作进行信息解读,解读出的交通指令信息发送给驾驶者,提示其执行相应的交通动作。

Claims (6)

1.基于姿态检测与衣帽特征的交警检测方法,其特征在于,包括以下步骤:
车载视觉采集模块通过车载视觉传感器实时采集原始图像;
行人检测模块对原始图像利用行人hog特征提取算法获取特征图像XR;当特征图像XR中有行人时,则在特征图像XR中标记行人并传送行人坐标至行人姿态检测模块;
行人姿态检测模块将特征图像XR中的行人区域通过预设的交警位姿模板进行模板匹配;当姿态相似度大于阈值时,认为匹配成功,并将行人区域坐标传至衣帽特征模糊检测模块;
衣帽特征模糊检测模块将行人区域坐标进行模糊匹配,得到交警相似度;当相似度大于阈值时,则发送交警姿态标识至信息解读模块;
信息解读模块将交警姿态标识对应的交通指挥信息提示驾驶者。
2.根据权利要求1所述的基于姿态检测与衣帽特征的交警检测方法,其特征在于所述对原始图像利用行人hog特征提取算法获取特征图像XR;当特征图像XR中有行人时,则在特征图像XR中标记行人并传送行人坐标至行人姿态检测模块包括以下步骤:
1)将原始图像进行hog特征提取得到特征图像XR,具体为:
hog特征为高宽相等的像素块,像素块中平均分割成四个单元像素块,hog特征的步长为像素块的高;
对原始图像的YUV的每个通道进行hog特征提取,将每个通道得到的特征根据权重进行加权计算得到特征图像XR;
2)通过行人分类器对特征图像XR进行检测,并将检测到的行人坐标发送至行人姿态检测模块。
3.根据权利要求2所述的基于姿态检测与衣帽特征的交警检测方法,其特征在于所述通过行人分类器对特征图像XR进行检测,并将检测到的行人坐标发送至行人姿态检测模块包括以下步骤:
其中,x表示输入的测试样本,代表特征图像XR中的一个hog特征,ht(x)表示第t个弱分类器,αt为权重,fk(x)表示行人分类器的一个强分类器,βk为阈值,T为弱分类器个数;行人分类器为若干强分类器的集合{fk(x)},k=1......N;N为强分类器个数;
若{fk(x)}为1,则该测试样本是行人,在特征图像XR中标记行人并传送行人坐标至行人姿态检测模块;否则该测试样本不是行人。
4.基于姿态检测与衣帽特征的交警检测系统,其特征在于,包括:
车载视觉采集模块:用于通过车载视觉传感器实时采集原始图像;
行人检测模块:用于对原始图像利用行人hog特征提取算法获取特征图像XR;当特征图像XR中有行人时,则在特征图像XR中标记行人并传送行人坐标至行人姿态检测模块;
行人姿态检测模块:将特征图像XR中的行人区域通过预设的交警位姿模板进行模板匹配;当姿态相似度大于阈值时,认为匹配成功,并将行人区域坐标传至衣帽特征模糊检测模块;
衣帽特征模糊检测模块:将行人区域坐标进行模糊匹配,得到交警相似度;当相似度大于阈值时,则发送交警姿态标识至信息解读模块;
信息解读模块:将交警姿态标识对应的交通指挥信息提示驾驶者。
5.根据权利要求4所述的基于姿态检测与衣帽特征的交警检测系统,其特征在于所述行人检测模块:
1)将原始图像进行hog特征提取得到特征图像XR,具体为:
hog特征为高宽相等的像素块,像素块中平均分割成四个单元像素块,hog特征的步长为像素块的高;
对原始图像的YUV的每个通道进行hog特征提取,将每个通道得到的特征根据权重进行加权计算得到特征图像XR;
2)通过行人分类器对特征图像XR进行检测,并将检测到的行人坐标发送至行人姿态检测模块。
6.根据权利要求4所述的基于姿态检测与衣帽特征的交警检测系统,其特征在于所述行人分类器为:
其中,x表示输入的测试样本,代表特征图像XR中的一个hog特征,ht(x)表示第t个弱分类器,αt为权重,fk(x)表示行人分类器的一个强分类器,βk为阈值,T为弱分类器个数;行人分类器为若干强分类器的集合{fk(x)},k=1......N;N为强分类器个数;
若{fk(x)}为1,则该测试样本是行人。
CN201610048787.8A 2016-01-25 2016-01-25 基于姿态检测与衣帽特征的交警检测方法和系统 Active CN105740783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610048787.8A CN105740783B (zh) 2016-01-25 2016-01-25 基于姿态检测与衣帽特征的交警检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610048787.8A CN105740783B (zh) 2016-01-25 2016-01-25 基于姿态检测与衣帽特征的交警检测方法和系统

Publications (2)

Publication Number Publication Date
CN105740783A CN105740783A (zh) 2016-07-06
CN105740783B true CN105740783B (zh) 2019-02-12

Family

ID=56247616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610048787.8A Active CN105740783B (zh) 2016-01-25 2016-01-25 基于姿态检测与衣帽特征的交警检测方法和系统

Country Status (1)

Country Link
CN (1) CN105740783B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019116099A1 (en) * 2017-12-13 2019-06-20 Humanising Autonomy Limited Systems and methods for predicting pedestrian intent
CN111028516A (zh) * 2019-12-09 2020-04-17 上海擎感智能科技有限公司 交警执勤信息传输方法、系统、介质及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7804440B1 (en) * 2007-01-05 2010-09-28 Escort Inc. Radar detector with position and velocity sensitive functions
CN105260712A (zh) * 2015-10-03 2016-01-20 上海大学 一种车辆前方行人检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120268306A1 (en) * 2009-02-20 2012-10-25 Escort Inc. Wireless Connectivity in a Radar Detector

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7804440B1 (en) * 2007-01-05 2010-09-28 Escort Inc. Radar detector with position and velocity sensitive functions
CN105260712A (zh) * 2015-10-03 2016-01-20 上海大学 一种车辆前方行人检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种新的交警手势识别方法;王玄;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140915;I138-1075第1-63页

Also Published As

Publication number Publication date
CN105740783A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
Possatti et al. Traffic light recognition using deep learning and prior maps for autonomous cars
Keller et al. The benefits of dense stereo for pedestrian detection
CN103714660B (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN105260712B (zh) 一种车辆前方行人检测方法及系统
CN105678316B (zh) 基于多信息融合的主动驾驶方法
CN102765365B (zh) 基于机器视觉的行人检测方法及行人防撞预警系统
Seo et al. Recognition of highway workzones for reliable autonomous driving
CN103942546B (zh) 一种城市环境中导向交通标线识别系统及方法
CN107909010A (zh) 一种道路障碍物检测方法与装置
CN105718908B (zh) 一种基于衣帽特征与姿态检测的交警检测方法和系统
CN109334563A (zh) 一种基于道路前方行人和骑行者的防碰撞预警方法
CN109460704A (zh) 一种基于深度学习的疲劳检测方法、系统和计算机设备
CN102855500A (zh) 一种基于Haar和HoG特征的前车检测方法
Tan et al. Bidirectional posture-appearance interaction network for driver behavior recognition
CN106934380A (zh) 一种基于HOG和MeanShift算法的室内行人检测和跟踪方法
CN102768726A (zh) 一种预防行人碰撞的行人检测方法
CN109063686A (zh) 一种汽车驾驶员疲劳检测方法及系统
Sivaraman et al. Improved vision-based lane tracker performance using vehicle localization
CN105718904A (zh) 基于组合特征与车载摄像头的盲人检测与识别方法与系统
CN105740783B (zh) 基于姿态检测与衣帽特征的交警检测方法和系统
CN105740776B (zh) 基于衣帽特征与姿态检测的交警检测方法和系统
KR20160081190A (ko) 카메라를 이용한 보행자 인식 방법 및 그 기록 매체
Yamauchi et al. Person detection method based on color layout in real world robot challenge 2013
CN105654045B (zh) 应用在主动驾驶技术中识别交通管制人员的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant