CN105718907A - 基于导盲犬特征与车载摄像头的盲人检测识别方法与系统 - Google Patents

基于导盲犬特征与车载摄像头的盲人检测识别方法与系统 Download PDF

Info

Publication number
CN105718907A
CN105718907A CN201610048747.3A CN201610048747A CN105718907A CN 105718907 A CN105718907 A CN 105718907A CN 201610048747 A CN201610048747 A CN 201610048747A CN 105718907 A CN105718907 A CN 105718907A
Authority
CN
China
Prior art keywords
seeing
eye dog
image
blind
dog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610048747.3A
Other languages
English (en)
Inventor
田雨农
吴子章
周秀田
于维双
陆振波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Roiland Technology Co Ltd
Original Assignee
Dalian Roiland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Roiland Technology Co Ltd filed Critical Dalian Roiland Technology Co Ltd
Priority to CN201610048747.3A priority Critical patent/CN105718907A/zh
Publication of CN105718907A publication Critical patent/CN105718907A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于主动驾驶领域，具体说是一种基于导盲犬特征与车载摄像头的盲人检测识别方法与系统。本发明在车载视觉传感器的帮助下，对前方视野范围内的在导盲犬检测的基础上，对检测出的导盲犬进行狗链识别，根据狗链找到行人，进而通过盲杖和盲镜判断该行人是否为盲人。根据盲人与导盲犬的姿态信息判断其动作趋势，并提醒驾驶者以更好地保护双方安全。本发明利用离线训练的行人、盲杖、导盲犬、盲镜多个分类器联合，并行对目标进行具有几何关系的查找与检测，提高了检测的效率与准确性。

Description

基于导盲犬特征与车载摄像头的盲人检测识别方法与系统
技术领域
本发明属于主动驾驶领域，具体说是一种基于导盲犬特征与车载摄像头的盲人检测识别方法与系统。
背景技术
近年来随着汽车辅助驾驶项目的快速发展，基于车载摄像头的行人检测技术获得了长足的发展，并不断应用到汽车主动安全与主动驾驶项目中。目前，各个研发机构只是检测出行人并且进行相关的告警，以提醒驾驶者需要注意前方有行人需要注意。针对行人类型的检测与识别，虽然对驾驶者也有很大的参考价值，但是由于技术等方面问题，还没有相关比较公开的研究资料。
鉴于此，本发明提出一种基于组合特征的基于车载摄像头的盲人检测与识别方法，通过该技术可以帮助驾驶者在遇到盲人等特殊群体的时候，能够及时避让或做出特殊处理。
发明内容
针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种基于导盲犬特征与车载摄像头的盲人检测识别方法与系统。
本发明为实现上述目的所采用的技术方案是：一种基于导盲犬特征与车载摄像头的盲人检测识别方法，包括以下步骤：
车载视觉传感器实时采集车辆周围的原始图像；
根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，若没有则进行下一帧检测；
对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，利用狗链标记连通区域的末端，在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，若没有则进行下一帧检测；若没有狗链则进行下一帧检测；
若狗链的另一端有行人，则依次利用盲杖分类器、盲镜分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖、盲镜，若同时有则在导盲犬hog特征图像中标记盲杖、盲镜，并判定原始图像中存在盲人；若没有则进行下一帧检测。
所述行人分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取行人hog特征图像；
在行人hog特征图像上进行行人的训练学习，获取行人的统计特征，即{fk(x)}，k＝1，……，N，N为正整数，其中， f k ( x ) = 1 Σ t = 1 T α t h t ( x ) > = β k 0 e l s e x表示输入的行人hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权αt后即为αtht(x)，加权求和后则构成了强分类器，fk(x)表示行人分类器的一个强分类器，βk表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk时，则认为满足该强分类器。
所述行人hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，16*16像素块，块中平均分割而成的四个单元像素块，大小为8*8；计算样本hog特征的步长为8个像素；
在YUV每个通道中，求出像素值的梯度方向的微分： 其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到行人hog特征图像。
所述导盲犬分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取导盲犬hog特征图像；
在导盲犬hog特征图像上进行导盲犬的训练学习，获取导盲犬的统计特征，即{pk(x)}，k＝1，……，N，N为正整数，其中，x表示输入的导盲犬hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α′t后即为α′tht(x)，加权求和后则构成了强分类器，pk(x)表示导盲犬分类器的一个强分类器，β′k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β′k时，则认为满足该强分类器。
所述导盲犬hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，8*8像素块，块中平均分割而成的四个单元像素块，大小为4*4；计算样本hog特征的步长为4个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到导盲犬hog特征图像。
所述盲杖分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲杖hog特征图像；
在盲杖hog特征图像上进行盲杖的训练学习，获取盲杖的统计特征，即{qk(x)}，k＝1，……，N，N为正整数，其中，x表示输入的盲杖hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″后即为α″tht(x)，加权求和后则构成了强分类器，qk(x)表示盲杖分类器的一个强分类器，β″k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″k时，则认为满足该强分类器。
所述盲杖hog特征图像通过以下步骤获得：
设计hog特征块高宽比为2:1，8*4像素块，块中平均分割而成的两个单元像素块，大小为4*4；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分： ▿ I x = I ( x + 1 , y ) - I ( x , y ) , ▿ I y = I ( x , y ) - I ( x , y + 1 ) ; 其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲杖hog特征图像。
所述盲镜分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲镜hog特征图像；
在盲镜hog特征图像上进行盲镜的训练学习，获取盲镜的统计特征，即{rk(x)}，k＝1，……，N，N为正整数，其中，x表示输入的盲镜hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″′t后即为α″′tht(x)，加权求和后则构成了强分类器，rk(x)表示盲镜分类器的一个强分类器，β″′k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″′k时，则认为满足该强分类器。
所述盲镜hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，4*4像素块，块中平均分割而成的四个单元像素块，大小为2*2；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分： ▿ I x = I ( x + 1 , y ) - I ( x , y ) , ▿ I y = I ( x , y ) - I ( x , y + 1 ) ; 其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲镜hog特征图像。
还包括：如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的姿态。
还包括：如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的运动信息。
一种基于导盲犬特征与车载摄像头的盲人检测识别系统，包括：
车载视觉传感器采集模块，用于实时采集车辆周围的原始图像，并输出给导盲犬检测模块；
导盲犬检测模块，用于根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，输出给狗链检测模块，若没有则进行下一帧检测；
狗链检测模块，用于对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，标记狗链并输出给末端查找模块，若没有狗链则进行下一帧检测；
末端查找模块，用于利用狗链标记连通区域的末端，输出给行人检测模块；
行人检测模块，用于在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，输出给盲镜检测模块和盲杖检测模块，若没有则进行下一帧检测；
盲镜检测模块，用于利用盲镜分类器在导盲犬hog特征图像中判断该行人头部区域是否有盲镜，若有则在导盲犬hog特征图像中标记盲镜，并输出给综合判定模块；若没有则进行下一帧检测；
盲杖检测模块，用于利用盲杖分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖，若有则在导盲犬hog特征图像中标记盲杖，并输出给综合判定模块；若没有则进行下一帧检测；
综合判定模块，用于在盲镜检测模块和盲杖检测模块均有输出的情况下，判定原始图像是是否存在盲人并输出。
还包括：
导盲犬姿态检测模块，连接第二综合判定模块和第一导盲犬检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测导盲犬的姿态信息；和/或，
行人姿态检测模块，连接第二综合判定模块和第一行人检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测行人的姿态信息。
还包括：
运动信息检测模块，用于根据导盲犬姿态检测模块和/或行人姿态检测模块输出的连续帧的导盲犬姿态信息和行人姿态信息，得到行人和/或导盲犬运动信息。
本发明具有以下优点及有益效果：
1.本发明可以在车载视觉传感器的帮助下，对前方视野范围内的在视觉行人检测的基础上，对检测出的行人进行盲杖、导盲犬、盲镜等组合特征进行检测，进而识别出盲人，帮助提醒驾驶者特殊注意。
2.本发明根据盲人与导盲犬的姿态信息判断其动作趋势，并提醒驾驶者以更好地保护双方安全。
3.本发明利用离线训练的行人、盲杖、导盲犬、盲镜多个分类器联合，并行对目标进行具有几何关系的查找与检测，提高了检测的效率与准确性。
附图说明
图1为本发明方法中离线的组合模型训练过程图；
图2为本发明方法中在线实时盲人检测流程图；
图3为本发明系统结构框图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
本发明在车载摄像头获取视觉信息基础上，利用组合特征对行人中的盲人进行检测。本发明主要分为两部分：训练部分与检测部分。
(1)训练部分。
如图1所示，本发明方法中离线的组合模型训练过程图。
其中，行人分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取行人hog特征图像；
在行人hog特征图像上进行行人的训练学习，获取行人的统计特征，即{fk(x)}，k＝1，……，N，N为正整数，其中，x表示输入的行人hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权αt后即为αtht(x)，加权求和后则构成了强分类器，fk(x)表示行人分类器的一个强分类器，βk表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk时，则认为满足该强分类器。
所述行人hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，16*16像素块，块中平均分割而成的四个单元像素块，大小为8*8；计算样本hog特征的步长为8个像素；
在YUV每个通道中，求出像素值的梯度方向的微分： ▿ I x = I ( x + 1 , y ) - I ( x , y ) , ▿ I y = I ( x , y ) - I ( x , y + 1 ) ; 其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到行人hog特征图像。
其中，导盲犬分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取导盲犬hog特征图像；
在导盲犬hog特征图像上进行导盲犬的训练学习，获取导盲犬的统计特征，即{pk(x)}，k＝1，……，N，N为正整数，其中， f k ( x ) = 1 Σ t = 1 T α t ′ h t ( x ) > = β k ′ 0 e l s e , x表示输入的导盲犬hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α′t后即为α′tht(x)，加权求和后则构成了强分类器，pk(x)表示导盲犬分类器的一个强分类器，β′k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β′k时，则认为满足该强分类器。
所述导盲犬hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，8*8像素块，块中平均分割而成的四个单元像素块，大小为4*4；计算样本hog特征的步长为4个像素；
在YUV每个通道中，求出像素值的梯度方向的微分： ▿ I x = I ( x + 1 , y ) - I ( x , y ) , ▿ I y = I ( x , y ) - I ( x , y + 1 ) ; 其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到导盲犬hog特征图像。
其中，盲杖分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲杖hog特征图像；
在盲杖hog特征图像上进行盲杖的训练学习，获取盲杖的统计特征，即{qk(x)}，k＝1，……，N，N为正整数，其中， q k ( x ) = { 1 Σ t = 1 T α t ′ ′ h t ( x ) > = β k ′ ′ 0 e l s e , x表示输入的盲杖hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″后即为α″tht(x)，加权求和后则构成了强分类器，qk(x)表示盲杖分类器的一个强分类器，β″k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″k时，则认为满足该强分类器。
所述盲杖hog特征图像通过以下步骤获得：
设计hog特征块高宽比为2:1，8*4像素块，块中平均分割而成的两个单元像素块，大小为4*4；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分： ▿ I x = I ( x + 1 , y ) - I ( x , y ) , ▿ I y = I ( x , y ) - I ( x , y + 1 ) ; 其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲杖hog特征图像。
其中，盲镜分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲镜hog特征图像；
在盲镜hog特征图像上进行盲镜的训练学习，获取盲镜的统计特征，即{rk(x)}，k＝1，……，N，N为正整数，其中， r k ( x ) = 1 Σ t = 1 T α t ′ ′ ′ h t ( x ) > = β k ′ ′ ′ 0 e l s e , x表示输入的盲镜hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″′t后即为α″′tht(x)，加权求和后则构成了强分类器，rk(x)表示盲镜分类器的一个强分类器，β″′k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″′k时，则认为满足该强分类器。
所述盲镜hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，4*4像素块，块中平均分割而成的四个单元像素块，大小为2*2；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲镜hog特征图像。
为了实时地进行行人检测，需要离线对海量的行人样本进行训练；同时，为了实时地进行导盲犬检测，本发明离线训练了海量的导盲犬走路等姿态下的样本；并且，针对不同姿态下盲人拄着的盲杖与不同角度下佩戴的盲镜也进行了海量样本的训练。
这样，我们得到了能够检测行人的模型、能够检测导盲犬的模型、能够检测不同姿态下盲人盲杖的模型与能够检测不同角度下的盲镜检测模型。利用该组合模型，我们可以检测出图像中是否具有行人、导盲犬、盲镜、盲杖等信息，如果在一定邻域内同时存在标记的4个坐标，那么就可以认为是检测出了盲人。
(2)检测部分。
在线实时盲人检测流程图如图2所示。
在得到了组合模型后，在车载摄像头获取的图像中对导盲犬进行检测。由于，有地面作为参考标准，因此本发明只检测地面以上且与地面有几何交集的图像区域，这样可以省去很多检测空间。
对于导盲犬的检测，需要分不同姿态的情况，比如行进中的导盲犬、坐立时的导盲犬及躺着的导盲犬。以上情况的导盲犬都要进行识别，因为导盲犬的姿态可以预示盲人的行进与否的状态(当导盲犬躺着的时候，盲人应该是不会行进的；导盲犬行进时，盲人一般也是在行进；导盲犬坐立或站立时，盲人一般也都是停止的状态)。
当检测到导盲犬的时候，对其身上的狗链进行检测。导盲犬颈部区域进行二值化找出像素比例相对较小的区域进行标记连通，如果得到结果与颈部区域宽度相近，则可以认为导盲犬颈部区域是否有狗链。如果检测不到狗链，那么可以认为该狗不是导盲犬；如果有狗链，则利用狗链标记连通区域的末端进行行人检测，来判断狗链另一端的行人是否有盲杖与盲镜，若有就认为是盲人，反之不是盲人。
当判定为盲人的时候，同时对导盲犬的姿态与盲人的姿态都进行检测匹配，根据姿态信息确定盲人是行走还是站立。这样将带有动作趋势的盲人信息提示给驾驶者，将对其更加有提示意义。
如图3所示，为本发明的系统结构框图。包括：车载视觉传感器采集模块，用于实时采集车辆周围的原始图像，并输出给导盲犬检测模块；导盲犬检测模块，用于根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，输出给狗链检测模块，若没有则进行下一帧检测；狗链检测模块，用于对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，标记狗链并输出给末端查找模块，若没有狗链则进行下一帧检测；末端查找模块，用于利用狗链标记连通区域的末端，输出给行人检测模块；行人检测模块，用于在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，输出给盲镜检测模块和盲杖检测模块，若没有则进行下一帧检测；盲镜检测模块，用于利用盲镜分类器在导盲犬hog特征图像中判断该行人头部区域是否有盲镜，若有则在导盲犬hog特征图像中标记盲镜，并输出给综合判定模块；若没有则进行下一帧检测；盲杖检测模块，用于利用盲杖分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖，若有则在导盲犬hog特征图像中标记盲杖，并输出给综合判定模块；若没有则进行下一帧检测；综合判定模块，用于在盲镜检测模块和盲杖检测模块均有输出的情况下，判定原始图像是是否存在盲人并输出。
还包括：导盲犬姿态检测模块，连接第二综合判定模块和第一导盲犬检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测导盲犬的姿态信息；和/或，行人姿态检测模块，连接第二综合判定模块和第一行人检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测行人的姿态信息。
还包括：运动信息检测模块，用于根据导盲犬姿态检测模块和/或行人姿态检测模块输出的连续帧的导盲犬姿态信息和行人姿态信息，得到行人和/或导盲犬运动信息。

Claims (10)

1.一种基于导盲犬特征与车载摄像头的盲人检测识别方法，其特征在于，包括以下步骤：
车载视觉传感器实时采集车辆周围的原始图像；
根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，若没有则进行下一帧检测；
对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，利用狗链标记连通区域的末端，在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，若没有则进行下一帧检测；若没有狗链则进行下一帧检测；
若狗链的另一端有行人，则依次利用盲杖分类器、盲镜分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖、盲镜，若同时有则在导盲犬hog特征图像中标记盲杖、盲镜，并判定原始图像中存在盲人；若没有则进行下一帧检测。
2.根据权利要求1所述的基于导盲犬特征与车载摄像头的盲人检测识别方法，其特征在于，所述行人分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取行人hog特征图像；
在行人hog特征图像上进行行人的训练学习，获取行人的统计特征，即{fk(x)}，k＝1，……，N，N为正整数，其中， f k ( x ) = 1 Σ t = 1 T α t h t ( x ) > = β k 0 e l s e , x表示输入的行人hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权αt后即为αtht(x)，加权求和后则构成了强分类器，fk(x)表示行人分类器的一个强分类器，βk表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk时，则认为满足该强分类器；
所述行人hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，16*16像素块，块中平均分割而成的四个单元像素块，大小为8*8；计算样本hog特征的步长为8个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y)，▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到行人hog特征图像。
3.根据权利要求1所述的基于导盲犬特征与车载摄像头的盲人检测识别方法，其特征在于，所述导盲犬分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取导盲犬hog特征图像；
在导盲犬hog特征图像上进行导盲犬的训练学习，获取导盲犬的统计特征，即{pk(x)}，k＝1，……，N，N为正整数，其中， f k ( x ) = 1 Σ t = 1 T α t ′ h t ( x ) > = β k ′ 0 e l s e , x表示输入的导盲犬hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α′t后即为α′tht(x)，加权求和后则构成了强分类器，pk(x)表示导盲犬分类器的一个强分类器，β′k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β′k时，则认为满足该强分类器；
所述导盲犬hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，8*8像素块，块中平均分割而成的四个单元像素块，大小为4*4；计算样本hog特征的步长为4个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到导盲犬hog特征图像。
4.根据权利要求1所述的基于导盲犬特征与车载摄像头的盲人检测识别方法，其特征在于，所述盲杖分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲杖hog特征图像；
在盲杖hog特征图像上进行盲杖的训练学习，获取盲杖的统计特征，即{qk(x)}，k＝1，……，N，N为正整数，其中， q k ( x ) = 1 Σ t = 1 T α t ′ ′ h t ( x ) > = β k ′ ′ 0 e l s e , x表示输入的盲杖hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″后即为α″tht(x)，加权求和后则构成了强分类器，qk(x)表示盲杖分类器的一个强分类器，β″k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″k时，则认为满足该强分类器；
所述盲杖hog特征图像通过以下步骤获得：
设计hog特征块高宽比为2:1，8*4像素块，块中平均分割而成的两个单元像素块，大小为4*4；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲杖hog特征图像。
5.根据权利要求1所述的基于导盲犬特征与车载摄像头的盲人检测识别方法，其特征在于，所述盲镜分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲镜hog特征图像；
在盲镜hog特征图像上进行盲镜的训练学习，获取盲镜的统计特征，即{rk(x)}，k＝1，……，N，N为正整数，其中， r k ( x ) = 1 Σ t = 1 T α t ′ ′ ′ h t ( x ) > = β k ′ ′ ′ 0 e l s e , x表示输入的盲镜hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″′t后即为α″′tht(x)，加权求和后则构成了强分类器，rk(x)表示盲镜分类器的一个强分类器，β″′k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″′k时，则认为满足该强分类器；
所述盲镜hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，4*4像素块，块中平均分割而成的四个单元像素块，大小为2*2；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲镜hog特征图像。
6.根据权利要求1所述的基于导盲犬特征与车载摄像头的盲人检测识别方法，其特征在于，还包括：如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的姿态。
7.根据权利要求1所述的基于导盲犬特征与车载摄像头的盲人检测识别方法，其特征在于，还包括：如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的运动信息。
8.一种基于导盲犬特征与车载摄像头的盲人检测识别系统，其特征在于，包括：
车载视觉传感器采集模块，用于实时采集车辆周围的原始图像，并输出给导盲犬检测模块；
导盲犬检测模块，用于根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，输出给狗链检测模块，若没有则进行下一帧检测；
狗链检测模块，用于对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，标记狗链并输出给末端查找模块，若没有狗链则进行下一帧检测；
末端查找模块，用于利用狗链标记连通区域的末端，输出给行人检测模块；
行人检测模块，用于在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，输出给盲镜检测模块和盲杖检测模块，若没有则进行下一帧检测；
盲镜检测模块，用于利用盲镜分类器在导盲犬hog特征图像中判断该行人头部区域是否有盲镜，若有则在导盲犬hog特征图像中标记盲镜，并输出给综合判定模块；若没有则进行下一帧检测；
盲杖检测模块，用于利用盲杖分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖，若有则在导盲犬hog特征图像中标记盲杖，并输出给综合判定模块；若没有则进行下一帧检测；
综合判定模块，用于在盲镜检测模块和盲杖检测模块均有输出的情况下，判定原始图像是是否存在盲人并输出。
9.根据权利要求8所述的基于导盲犬特征与车载摄像头的盲人检测识别系统，其特征在于，还包括：
导盲犬姿态检测模块，连接第二综合判定模块和第一导盲犬检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测导盲犬的姿态信息；和/或，
行人姿态检测模块，连接第二综合判定模块和第一行人检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测行人的姿态信息。
10.根据权利要求9所述的基于导盲犬特征与车载摄像头的盲人检测识别系统，其特征在于，还包括：
运动信息检测模块，用于根据导盲犬姿态检测模块和/或行人姿态检测模块输出的连续帧的导盲犬姿态信息和行人姿态信息，得到行人和/或导盲犬运动信息。
CN201610048747.3A 2016-01-25 2016-01-25 基于导盲犬特征与车载摄像头的盲人检测识别方法与系统 Pending CN105718907A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610048747.3A CN105718907A (zh) 2016-01-25 2016-01-25 基于导盲犬特征与车载摄像头的盲人检测识别方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610048747.3A CN105718907A (zh) 2016-01-25 2016-01-25 基于导盲犬特征与车载摄像头的盲人检测识别方法与系统

Publications (1)

Publication Number Publication Date
CN105718907A true CN105718907A (zh) 2016-06-29

Family

ID=56153954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610048747.3A Pending CN105718907A (zh) 2016-01-25 2016-01-25 基于导盲犬特征与车载摄像头的盲人检测识别方法与系统

Country Status (1)

Country Link
CN (1) CN105718907A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113428176A (zh) * 2021-06-25 2021-09-24 阿波罗智联(北京)科技有限公司 无人车驾驶策略的调整方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103155015A (zh) * 2010-09-08 2013-06-12 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
CN103430214A (zh) * 2011-03-28 2013-12-04 日本电气株式会社 人员跟踪设备、人员跟踪方法以及存储人员跟踪程序的非瞬态计算机可读介质
CN103473571A (zh) * 2013-09-12 2013-12-25 天津大学 一种人体检测方法
US20140152821A1 (en) * 2012-11-30 2014-06-05 Li-Chen Fu Pedestrian detection systems and methods
CN103858156A (zh) * 2011-10-18 2014-06-11 本田技研工业株式会社 车辆周围监测装置
CN104091178A (zh) * 2014-07-01 2014-10-08 四川长虹电器股份有限公司 基于hog特征人体感知分类器的训练方法
CN105260712A (zh) * 2015-10-03 2016-01-20 上海大学 一种车辆前方行人检测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103155015A (zh) * 2010-09-08 2013-06-12 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
CN103430214A (zh) * 2011-03-28 2013-12-04 日本电气株式会社 人员跟踪设备、人员跟踪方法以及存储人员跟踪程序的非瞬态计算机可读介质
CN103858156A (zh) * 2011-10-18 2014-06-11 本田技研工业株式会社 车辆周围监测装置
US20140152821A1 (en) * 2012-11-30 2014-06-05 Li-Chen Fu Pedestrian detection systems and methods
CN103473571A (zh) * 2013-09-12 2013-12-25 天津大学 一种人体检测方法
CN104091178A (zh) * 2014-07-01 2014-10-08 四川长虹电器股份有限公司 基于hog特征人体感知分类器的训练方法
CN105260712A (zh) * 2015-10-03 2016-01-20 上海大学 一种车辆前方行人检测方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113428176A (zh) * 2021-06-25 2021-09-24 阿波罗智联(北京)科技有限公司 无人车驾驶策略的调整方法、装置、设备和存储介质
JP2022113841A (ja) * 2021-06-25 2022-08-04 阿波▲羅▼智▲聯▼（北京）科技有限公司 無人車両運転ポリシーの調整方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム
JP7356542B2 (ja) 2021-06-25 2023-10-04 阿波▲羅▼智▲聯▼（北京）科技有限公司 無人車両運転ポリシーの調整方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム
CN113428176B (zh) * 2021-06-25 2023-11-14 阿波罗智联(北京)科技有限公司 无人车驾驶策略的调整方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN109460699B (zh) 一种基于深度学习的驾驶员安全带佩戴识别方法
CN105718904A (zh) 基于组合特征与车载摄像头的盲人检测与识别方法与系统
Li et al. A unified framework for concurrent pedestrian and cyclist detection
CN107025432B (zh) 一种高效的车道线检测跟踪方法及系统
CN101950355B (zh) 基于数字视频的驾驶员疲劳状态检测方法
US9213892B2 (en) Real-time bicyclist detection with synthetic training data
CN110751051B (zh) 一种基于机器视觉的异常驾驶行为检测方法
CN106156725A (zh) 一种基于车辆前方的行人及骑车人的识别预警系统的工作方法
CN103034843B (zh) 一种基于单目视觉的夜间车辆检测方法
CN104013414A (zh) 一种基于移动智能手机的驾驶员疲劳检测系统
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN102289660A (zh) 一种基于手部姿态跟踪的违规驾驶行为检测方法
Xu et al. Real-time obstacle detection over rails using deep convolutional neural network
CN102768726B (zh) 一种预防行人碰撞的行人检测方法
US20180208201A1 (en) System and method for a full lane change aid system with augmented reality technology
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
Santos et al. Car recognition based on back lights and rear view features
CN105787456A (zh) 一种夜间远红外图像中的行人检测方法
CN105718908A (zh) 一种基于衣帽特征与姿态检测的交警检测方法和系统
CN104966064A (zh) 基于视觉的前方行人测距方法
CN105718907A (zh) 基于导盲犬特征与车载摄像头的盲人检测识别方法与系统
CN107122756A (zh) 一种完全非结构道路边缘检测方法
Jakob et al. Camera-based on-road detections for the visually impaired
CN106339666A (zh) 一种人体目标的夜间监控方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160629

RJ01 Rejection of invention patent application after publication