CN105718905A - 基于行人特征与车载摄像头的盲人检测与识别方法与系统 - Google Patents

基于行人特征与车载摄像头的盲人检测与识别方法与系统 Download PDF

Info

Publication number
CN105718905A
CN105718905A CN201610048213.0A CN201610048213A CN105718905A CN 105718905 A CN105718905 A CN 105718905A CN 201610048213 A CN201610048213 A CN 201610048213A CN 105718905 A CN105718905 A CN 105718905A
Authority
CN
China
Prior art keywords
pedestrian
image
blind
hog characteristic
sum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610048213.0A
Other languages
English (en)
Inventor
田雨农
吴子章
周秀田
于维双
陆振波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Roiland Technology Co Ltd
Original Assignee
Dalian Roiland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Roiland Technology Co Ltd filed Critical Dalian Roiland Technology Co Ltd
Priority to CN201610048213.0A priority Critical patent/CN105718905A/zh
Publication of CN105718905A publication Critical patent/CN105718905A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Health & Medical Sciences (AREA)

Abstract

本发明属于主动驾驶领域，具体说是一种基于行人特征与车载摄像头的盲人检测与识别方法与系统。本发明在车载视觉传感器的帮助下，对前方视野范围内的在视觉行人检测的基础上，对检测出的行人进行盲杖、导盲犬、盲镜等特征进行检测，进而识别出盲人，帮助提醒驾驶者特殊注意。根据盲人与导盲犬的姿态信息判断其动作趋势，并提醒驾驶者以更好地保护双方安全。本发明利用离线训练的行人、盲杖、导盲犬、盲镜多个分类器联合，并行对目标进行具有几何关系的查找与检测，提高了检测的效率与准确性。

Description

基于行人特征与车载摄像头的盲人检测与识别方法与系统
技术领域
本发明属于主动驾驶领域，具体说是一种基于行人特征与车载摄像头的盲人检测与识别方法与系统。
背景技术
近年来随着汽车辅助驾驶项目的快速发展，基于车载摄像头的行人检测技术获得了长足的发展，并不断应用到汽车主动安全与主动驾驶项目中。目前，各个研发机构只是检测出行人并且进行相关的告警，以提醒驾驶者需要注意前方有行人需要注意。针对行人类型的检测与识别，虽然对驾驶者也有很大的参考价值，但是由于技术等方面问题，还没有相关比较公开的研究资料。
鉴于此，本发明提出一种基于组合特征的基于车载摄像头的盲人检测与识别方法，通过该技术可以帮助驾驶者在遇到盲人等特殊群体的时候，能够及时避让或做出特殊处理。
发明内容
针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种基于行人特征与车载摄像头的盲人检测与识别方法与系统。
本发明为实现上述目的所采用的技术方案是：一种基于行人特征与车载摄像头的盲人检测与识别方法，包括以下步骤：
车载视觉传感器实时采集车辆周围的原始图像；
根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，若没有则进行下一帧检测；
在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，若没有则进行下一帧检测；
将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，若没有则进行下一帧检测；
对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定该行人为盲人；若没有则进行下一帧检测；
所述行人分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取行人hog特征图像；
在行人hog特征图像上进行行人的训练学习，获取行人的统计特征，即{fk(x)}，k＝1，……，N，N为正整数，其中， f k ( x ) = 1 Σ t = 1 T α t h t ( x ) > = β k 0 e l s e , x表示输入的行人hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权αt后即为αtht(x)，加权求和后则构成了强分类器，fk(x)表示行人分类器的一个强分类器，βk表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk时，则认为满足该强分类器。
所述行人hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，16*16像素块，块中平均分割而成的四个单元像素块，大小为8*8；计算样本hog特征的步长为8个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到行人hog特征图像。
所述导盲犬分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取导盲犬hog特征图像；
在导盲犬hog特征图像上进行导盲犬的训练学习，获取导盲犬的统计特征，即{pk(x)}，k＝1，……，N，N为正整数，其中， f k ( x ) = 1 Σ t = 1 T α t ′ h t ( x ) > = β k ′ 0 e l s e , x表示输入的导盲犬hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权αt′后即为αt′ht(x)，加权求和后则构成了强分类器，pk(x)表示导盲犬分类器的一个强分类器，βk′表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk′时，则认为满足该强分类器。
所述导盲犬hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，8*8像素块，块中平均分割而成的四个单元像素块，大小为4*4；计算样本hog特征的步长为4个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到导盲犬hog特征图像。
所述盲杖分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲杖hog特征图像；
在盲杖hog特征图像上进行盲杖的训练学习，获取盲杖的统计特征，即{qk(x)}，k＝1，……，N，N为正整数，其中， q k ( x ) = 1 Σ t = 1 T α t ′ ′ h t ( x ) > = β k ′ ′ 0 e l s e , x表示输入的盲杖hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″后即为αt″ht(x)，加权求和后则构成了强分类器，qk(x)表示盲杖分类器的一个强分类器，βk″表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk″时，则认为满足该强分类器。
所述盲杖hog特征图像通过以下步骤获得：
设计hog特征块高宽比为2:1，8*4像素块，块中平均分割而成的两个单元像素块，大小为4*4；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲杖hog特征图像。
所述盲镜分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲镜hog特征图像；
在盲镜hog特征图像上进行盲镜的训练学习，获取盲镜的统计特征，即{rk(x)}，k＝1，……，N，N为正整数，其中， r k ( x ) = { 1 Σ t = 1 T α t ′ ′ ′ h t ( x ) > = β k ′ ′ ′ 0 e l s e , x表示输入的盲镜hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权αt″′后即为αt″′ht(x)，加权求和后则构成了强分类器，rk(x)表示盲镜分类器的一个强分类器，βk″′表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk″′时，则认为满足该强分类器。
所述盲镜hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，4*4像素块，块中平均分割而成的四个单元像素块，大小为2*2；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲镜hog特征图像。
如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的姿态。
还包括：如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的运动信息。
一种基于行人特征与车载摄像头的盲人检测与识别系统，包括：
车载视觉传感器采集模块，用于实时采集车辆周围的原始图像，并输出给行人检测模块；
行人检测模块，用于根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，输出给盲杖检测模块和导盲犬检测模块，若没有则进行下一帧检测；
盲杖检测模块，用于在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，输出给盲镜检测模块，若没有则进行下一帧检测；
导盲犬检测模块，用于将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，输出给盲镜检测模块，若没有则进行下一帧检测；
盲镜检测模块，用于在盲杖检测模块和导盲犬检测模块均有输出的情况下，对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定原始图像中存在盲人并输出；若没有则进行下一帧检测。
还包括：
导盲犬姿态检测模块，连接盲镜检测模块和导盲犬检测模块，用于在盲镜检测模块的输出为盲人的情况下，检测导盲犬的姿态信息；和/或，
行人姿态检测模块，连接盲镜检测模块和行人检测模块，用于在盲镜检测模块的输出为盲人的情况下，检测行人的姿态信息。
还包括：
运动信息检测模块，用于根据导盲犬姿态检测模块和/或行人姿态检测模块输出的连续帧的导盲犬姿态信息和行人姿态信息，得到行人和/或导盲犬运动信息。
本发明具有以下优点及有益效果：
1.本发明可以在车载视觉传感器的帮助下，对前方视野范围内的在视觉行人检测的基础上，对检测出的行人进行盲杖、导盲犬、盲镜等组合特征进行检测，进而识别出盲人，帮助提醒驾驶者特殊注意。
2.本发明根据盲人与导盲犬的姿态信息判断其动作趋势，并提醒驾驶者以更好地保护双方安全。
3.本发明利用离线训练的行人、盲杖、导盲犬、盲镜多个分类器联合，并行对目标进行具有几何关系的查找与检测，提高了检测的效率与准确性。
附图说明
图1为本发明方法中离线的组合模型训练过程图；
图2为本发明方法中在线实时盲人检测流程图；
图3为本发明系统结构框图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
本发明在车载摄像头获取视觉信息基础上，利用组合特征对行人中的盲人进行检测。本发明主要分为两部分：训练部分与检测部分。
(1)训练部分。
如图1所示，本发明方法中离线的组合模型训练过程图。
其中，行人分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取行人hog特征图像；
在行人hog特征图像上进行行人的训练学习，获取行人的统计特征，即{fk(x)}，k＝1，……，N，N为正整数，其中， f k ( x ) = 1 Σ t = 1 T α t h t ( x ) > = β k 0 e l s e , x表示输入的行人hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权αt后即为αtht(x)，加权求和后则构成了强分类器，fk(x)表示行人分类器的一个强分类器，βk表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk时，则认为满足该强分类器。
所述行人hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，16*16像素块，块中平均分割而成的四个单元像素块，大小为8*8；计算样本hog特征的步长为8个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到行人hog特征图像。
其中，导盲犬分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取导盲犬hog特征图像；
在导盲犬hog特征图像上进行导盲犬的训练学习，获取导盲犬的统计特征，即{pk(x)}，k＝1，……，N，N为正整数，其中， f k ( x ) = 1 Σ t = 1 T α t ′ h t ( x ) > = β k ′ 0 e l s e , x表示输入的导盲犬hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权αt′后即为αt′ht(x)，加权求和后则构成了强分类器，pk(x)表示导盲犬分类器的一个强分类器，βk′表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk′时，则认为满足该强分类器。
所述导盲犬hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，8*8像素块，块中平均分割而成的四个单元像素块，大小为4*4；计算样本hog特征的步长为4个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到导盲犬hog特征图像。
其中，盲杖分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲杖hog特征图像；
在盲杖hog特征图像上进行盲杖的训练学习，获取盲杖的统计特征，即{qk(x)}，k＝1，……，N，N为正整数，其中， q k ( x ) = 1 Σ t = 1 T α t ′ ′ h t ( x ) > = β k ′ ′ 0 e l s e , x表示输入的盲杖hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″后即为αt″ht(x)，加权求和后则构成了强分类器，qk(x)表示盲杖分类器的一个强分类器，βk″表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk″时，则认为满足该强分类器。
所述盲杖hog特征图像通过以下步骤获得：
设计hog特征块高宽比为2:1，8*4像素块，块中平均分割而成的两个单元像素块，大小为4*4；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲杖hog特征图像。
其中，盲镜分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲镜hog特征图像；
在盲镜hog特征图像上进行盲镜的训练学习，获取盲镜的统计特征，即{rk(x)}，k＝1，……，N，N为正整数，其中， r k ( x ) = { 1 Σ t = 1 T α t ′ ′ ′ h t ( x ) > = β k ′ ′ ′ 0 e l s e , x表示输入的盲镜hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权αt″′后即为αt″′ht(x)，加权求和后则构成了强分类器，rk(x)表示盲镜分类器的一个强分类器，βk″′表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk″′时，则认为满足该强分类器。
所述盲镜hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，4*4像素块，块中平均分割而成的四个单元像素块，大小为2*2；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲镜hog特征图像。
所述将原始图像或行人hog特征图像映射到三维世界坐标系下通过透视变换完成。
为了实时地进行行人检测，需要离线对海量的行人样本进行训练；同时，为了实时地进行导盲犬检测，本发明离线训练了海量的导盲犬走路等姿态下的样本；并且，针对不同姿态下盲人拄着的盲杖与不同角度下佩戴的盲镜也进行了海量样本的训练。
这样，我们得到了能够检测行人的模型、能够检测导盲犬的模型、能够检测不同姿态下盲人盲杖的模型与能够检测不同角度下的盲镜检测模型。利用该组合模型，我们可以检测出图像中是否具有行人、导盲犬、盲镜、盲杖等信息，如果在一定邻域内同时存在标记的4个坐标，那么就可以认为是检测出了盲人。
(2)检测部分。
在线实时盲人检测流程图如图2所示。
在得到了组合模型后，在车载摄像头获取的图像中对行人进行检测。首先检测行人的处理线程，如果不是行人，则滑动检测窗口，对下一个位置进行检测；如果是行人，那么就对行人附件的地面物体进行检测，这里主要是并行地检测导盲犬与盲杖。通过投影变换将二维图像坐标系下的目标映射到三维世界坐标系下，查找其与地面接触点的Z轴坐标；同时，利用检测到的行人整体高度(行人头部Z轴坐标与地面Z轴坐标之差)来进一步限定导盲犬检测范围，这里假定导盲犬的身高不会超过行人的身高。利用地面Z轴坐标与导盲犬身高Z轴坐标来限定导盲犬的Z轴范围，利用反投影变换，将上述Z轴坐标限制范围映射回图像坐标系，进而缩小导盲犬滑动窗口的检测范围。
如果有导盲犬与盲杖，那么再从行人的头部区域中检测盲镜。如果检测到盲镜那么就认为该行人就是盲人；否则，不认为是盲人。如果没有导盲犬或盲杖，那么也不认为是盲人。
由于，有地面作为参考标准，因此本发明只检测地面以上且与地面有几何交集的图像区域，这样可以省去很多检测空间。
如图3所示，为本发明的系统结构框图。包括：车载视觉传感器采集模块，用于实时采集车辆周围的原始图像，并输出给行人检测模块；行人检测模块，用于根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，输出给盲杖检测模块和导盲犬检测模块，若没有则进行下一帧检测；盲杖检测模块，用于在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，输出给盲镜检测模块，若没有则进行下一帧检测；导盲犬检测模块，用于将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，输出给盲镜检测模块，若没有则进行下一帧检测；盲镜检测模块，用于在盲杖检测模块和导盲犬检测模块均有输出的情况下，对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定原始图像中存在盲人并输出；若没有则进行下一帧检测。
还包括：导盲犬姿态检测模块，连接盲镜检测模块和导盲犬检测模块，用于在盲镜检测模块的输出为盲人的情况下，检测导盲犬的姿态信息；和/或，行人姿态检测模块，连接盲镜检测模块和行人检测模块，用于在盲镜检测模块的输出为盲人的情况下，检测行人的姿态信息。
还包括：运动信息检测模块，用于根据导盲犬姿态检测模块和/或行人姿态检测模块输出的连续帧的导盲犬姿态信息和行人姿态信息，得到行人和/或导盲犬运动信息。

Claims (10)

1.一种基于行人特征与车载摄像头的盲人检测与识别方法，其特征在于，包括以下步骤：
车载视觉传感器实时采集车辆周围的原始图像；
根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，若没有则进行下一帧检测；
在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，若没有则进行下一帧检测；
将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，若没有则进行下一帧检测；
对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定该行人为盲人；若没有则进行下一帧检测。
2.根据权利要求1所述的基于行人特征与车载摄像头的盲人检测与识别方法，其特征在于，所述行人分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取行人hog特征图像；
在行人hog特征图像上进行行人的训练学习，获取行人的统计特征，即{fk(x)}，k＝1，……，N，N为正整数，其中，x表示输入的行人hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权αt后即为αtht(x)，加权求和后则构成了强分类器，fk(x)表示行人分类器的一个强分类器，βk表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk时，则认为满足该强分类器；
所述行人hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，16*16像素块，块中平均分割而成的四个单元像素块，大小为8*8；计算样本hog特征的步长为8个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到行人hog特征图像。
3.根据权利要求1所述的基于行人特征与车载摄像头的盲人检测与识别方法，其特征在于，所述导盲犬分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取导盲犬hog特征图像；
在导盲犬hog特征图像上进行导盲犬的训练学习，获取导盲犬的统计特征，即{pk(x)}，k＝1，……，N，N为正整数，其中，x表示输入的导盲犬hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α′t后即为α′tht(x)，加权求和后则构成了强分类器，pk(x)表示导盲犬分类器的一个强分类器，β′k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β′k时，则认为满足该强分类器；
所述导盲犬hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，8*8像素块，块中平均分割而成的四个单元像素块，大小为4*4；计算样本hog特征的步长为4个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到导盲犬hog特征图像。
4.根据权利要求1所述的基于行人特征与车载摄像头的盲人检测与识别方法，其特征在于，所述盲杖分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲杖hog特征图像；
在盲杖hog特征图像上进行盲杖的训练学习，获取盲杖的统计特征，即{qk(x)}，k＝1，……，N，N为正整数，其中，x表示输入的盲杖hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″后即为α″tht(x)，加权求和后则构成了强分类器，qk(x)表示盲杖分类器的一个强分类器，β″k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″k时，则认为满足该强分类器；
所述盲杖hog特征图像通过以下步骤获得：
设计hog特征块高宽比为2:1，8*4像素块，块中平均分割而成的两个单元像素块，大小为4*4；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲杖hog特征图像。
5.根据权利要求1所述的基于行人特征与车载摄像头的盲人检测与识别方法，其特征在于，所述盲镜分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲镜hog特征图像；
在盲镜hog特征图像上进行盲镜的训练学习，获取盲镜的统计特征，即{rk(x)}，k＝1，……，N，N为正整数，其中，x表示输入的盲镜hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″′t后即为α″′tht(x)，加权求和后则构成了强分类器，rk(x)表示盲镜分类器的一个强分类器，β″′k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″′k时，则认为满足该强分类器；
所述盲镜hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，4*4像素块，块中平均分割而成的四个单元像素块，大小为2*2；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲镜hog特征图像。
6.根据权利要求1所述的基于行人特征与车载摄像头的盲人检测与识别方法，其特征在于，还包括：如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的姿态。
7.根据权利要求1所述的基于行人特征与车载摄像头的盲人检测与识别方法，其特征在于，还包括：如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的运动信息。
8.一种基于行人特征与车载摄像头的盲人检测与识别系统，其特征在于，包括：
车载视觉传感器采集模块，用于实时采集车辆周围的原始图像，并输出给行人检测模块；
行人检测模块，用于根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，输出给盲杖检测模块和导盲犬检测模块，若没有则进行下一帧检测；
盲杖检测模块，用于在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，输出给盲镜检测模块，若没有则进行下一帧检测；
导盲犬检测模块，用于将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，输出给盲镜检测模块，若没有则进行下一帧检测；
盲镜检测模块，用于在盲杖检测模块和导盲犬检测模块均有输出的情况下，对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定原始图像中存在盲人并输出；若没有则进行下一帧检测。
9.根据权利要求8所述的基于行人特征与车载摄像头的盲人检测与识别系统，其特征在于，还包括：
导盲犬姿态检测模块，连接盲镜检测模块和导盲犬检测模块，用于在盲镜检测模块的输出为盲人的情况下，检测导盲犬的姿态信息；和/或，
行人姿态检测模块，连接盲镜检测模块和行人检测模块，用于在盲镜检测模块的输出为盲人的情况下，检测行人的姿态信息。
10.根据权利要求9所述的基于行人特征与车载摄像头的盲人检测与识别系统，其特征在于，还包括：
运动信息检测模块，用于根据导盲犬姿态检测模块和/或行人姿态检测模块输出的连续帧的导盲犬姿态信息和行人姿态信息，得到行人和/或导盲犬运动信息。
CN201610048213.0A 2016-01-25 2016-01-25 基于行人特征与车载摄像头的盲人检测与识别方法与系统 Pending CN105718905A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610048213.0A CN105718905A (zh) 2016-01-25 2016-01-25 基于行人特征与车载摄像头的盲人检测与识别方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610048213.0A CN105718905A (zh) 2016-01-25 2016-01-25 基于行人特征与车载摄像头的盲人检测与识别方法与系统

Publications (1)

Publication Number Publication Date
CN105718905A true CN105718905A (zh) 2016-06-29

Family

ID=56154902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610048213.0A Pending CN105718905A (zh) 2016-01-25 2016-01-25 基于行人特征与车载摄像头的盲人检测与识别方法与系统

Country Status (1)

Country Link
CN (1) CN105718905A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271469A (zh) * 2008-05-10 2008-09-24 深圳先进技术研究院 一种基于三维模型库下二维图像的识别和物体的重建方法
CN103155015A (zh) * 2010-09-08 2013-06-12 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
CN103430214A (zh) * 2011-03-28 2013-12-04 日本电气株式会社 人员跟踪设备、人员跟踪方法以及存储人员跟踪程序的非瞬态计算机可读介质
CN103473571A (zh) * 2013-09-12 2013-12-25 天津大学 一种人体检测方法
US20140152821A1 (en) * 2012-11-30 2014-06-05 Li-Chen Fu Pedestrian detection systems and methods
CN103858156A (zh) * 2011-10-18 2014-06-11 本田技研工业株式会社 车辆周围监测装置
CN104091178A (zh) * 2014-07-01 2014-10-08 四川长虹电器股份有限公司 基于hog特征人体感知分类器的训练方法
CN105260712A (zh) * 2015-10-03 2016-01-20 上海大学 一种车辆前方行人检测方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271469A (zh) * 2008-05-10 2008-09-24 深圳先进技术研究院 一种基于三维模型库下二维图像的识别和物体的重建方法
CN103155015A (zh) * 2010-09-08 2013-06-12 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
CN103430214A (zh) * 2011-03-28 2013-12-04 日本电气株式会社 人员跟踪设备、人员跟踪方法以及存储人员跟踪程序的非瞬态计算机可读介质
CN103858156A (zh) * 2011-10-18 2014-06-11 本田技研工业株式会社 车辆周围监测装置
US20140152821A1 (en) * 2012-11-30 2014-06-05 Li-Chen Fu Pedestrian detection systems and methods
CN103473571A (zh) * 2013-09-12 2013-12-25 天津大学 一种人体检测方法
CN104091178A (zh) * 2014-07-01 2014-10-08 四川长虹电器股份有限公司 基于hog特征人体感知分类器的训练方法
CN105260712A (zh) * 2015-10-03 2016-01-20 上海大学 一种车辆前方行人检测方法及系统

Similar Documents

Publication Publication Date Title
Sivaraman et al. A review of recent developments in vision-based vehicle detection
Bajracharya et al. A fast stereo-based system for detecting and tracking pedestrians from a moving vehicle
CN105260712B (zh) 一种车辆前方行人检测方法及系统
Saleh et al. Cyclist detection in lidar scans using faster r-cnn and synthetic depth images
Llorca et al. Stereo regions-of-interest selection for pedestrian protection: A survey
Cui et al. Vehicle localisation using a single camera
CN106682603B (zh) 一种基于多源信息融合的实时驾驶员疲劳预警系统
CN109460709A (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
Yang et al. A RGB-D based real-time multiple object detection and ranging system for autonomous driving
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN103034843B (zh) 一种基于单目视觉的夜间车辆检测方法
Haque et al. A computer vision based lane detection approach
CN105718904A (zh) 基于组合特征与车载摄像头的盲人检测与识别方法与系统
US20180208201A1 (en) System and method for a full lane change aid system with augmented reality technology
Fang et al. 3d bounding box estimation for autonomous vehicles by cascaded geometric constraints and depurated 2d detections using 3d results
CN106934380A (zh) 一种基于HOG和MeanShift算法的室内行人检测和跟踪方法
CN103426179A (zh) 一种基于均值偏移多特征融合的目标跟踪方法及装置
Li et al. Judgment and optimization of video image recognition in obstacle detection in intelligent vehicle
Zhang et al. Road marking segmentation based on siamese attention module and maximum stable external region
Singh et al. Obstacle detection techniques in outdoor environment: process, study and analysis
CN101320477A (zh) 一种人体跟踪方法及其设备
Zielke et al. CARTRACK: computer vision-based car following.
Nie et al. Monocular vision based perception system for nighttime driving
CN107591026B (zh) 一种行人检测及预警的方法
CN108830248A (zh) 一种行人局部特征大数据混合提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160629