CN105718904A - 基于组合特征与车载摄像头的盲人检测与识别方法与系统 - Google Patents

Abstract

本发明属于主动驾驶领域，具体说是一种基于组合特征与车载摄像头的盲人检测与识别方法与系统。本发明在车载视觉传感器的帮助下，对前方视野范围内的在视觉行人检测的基础上，对检测出的行人进行盲杖、导盲犬、盲镜等组合特征进行检测，进而识别出盲人，帮助提醒驾驶者特殊注意。根据盲人与导盲犬的姿态信息判断其动作趋势，并提醒驾驶者以更好地保护双方安全。本发明利用离线训练的行人、盲杖、导盲犬、盲镜多个分类器联合，并行对目标进行具有几何关系的查找与检测，提高了检测的效率与准确性。

Description

基于组合特征与车载摄像头的盲人检测与识别方法与系统

技术领域

本发明属于主动驾驶领域，具体说是一种基于组合特征与车载摄像头的盲人检测与识别方法与系统。

背景技术

近年来随着汽车辅助驾驶项目的快速发展，基于车载摄像头的行人检测技术获得了长足的发展，并不断应用到汽车主动安全与主动驾驶项目中。目前，各个研发机构只是检测出行人并且进行相关的告警，以提醒驾驶者需要注意前方有行人需要注意。针对行人类型的检测与识别，虽然对驾驶者也有很大的参考价值，但是由于技术等方面问题，还没有相关比较公开的研究资料。

鉴于此，本发明提出一种基于组合特征的基于车载摄像头的盲人检测与识别方法，通过该技术可以帮助驾驶者在遇到盲人等特殊群体的时候，能够及时避让或做出特殊处理。

发明内容

针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种基于组合特征与车载摄像头的盲人检测与识别方法与系统。

本发明为实现上述目的所采用的技术方案是：一种基于组合特征与车载摄像头的盲人检测与识别方法，包括以下步骤：

S1：车载视觉传感器实时采集车辆周围的原始图像，同时并行执行步骤S2、S3；

S2：根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，若没有则进行下一帧检测；

在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，若没有则进行下一帧检测；

将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，若没有则进行下一帧检测；

对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定该行人为盲人；若没有则进行下一帧检测；

S3：根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，若没有则进行下一帧检测；

对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，利用狗链标记连通区域的末端，在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，若没有则进行下一帧检测；若没有狗链则进行下一帧检测；

若狗链的另一端有行人，则依次利用盲杖分类器、盲镜分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖、盲镜，若同时有则在导盲犬hog特征图像中标记盲杖、盲镜，并判定原始图像中存在盲人；若没有则进行下一帧检测；

S4：根据S2的检测结果和S3的检测结果进行加权求和，当加权求和的结果大于预设阈值时，判定原始图像中存在盲人。

所述行人分类器通过离线训练得到，具体包括：

通过视频采集传感器采集样本图像；

通过样本图像获取行人hog特征图像；

在行人hog特征图像上进行行人的训练学习，获取行人的统计特征，即{f_k(x)}，k＝1，……，N，N为正整数，其中， $f_k\left(x\right)=\left\{\begin{array}{cc}1& \underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t{h}_t\left(x\right)>={\mathrm{\β}}_k\\ 0& else\end{array}\right.,$ x表示输入的行人hog特征图像，h_t(x)表示第t个弱分类器，其计算结果加权α_t后即为α_th_t(x)，加权求和后则构成了强分类器，f_k(x)表示行人分类器的一个强分类器，β_k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β_k时，则认为满足该强分类器。

所述行人hog特征图像通过以下步骤获得：

设计hog特征块高宽比为1:1，16*16像素块，块中平均分割而成的四个单元像素块，大小为8*8；计算样本hog特征的步长为8个像素；

在YUV每个通道中，求出像素值的梯度方向的微分：▽I_x＝I(x+1,y)-I(x,y),▽I_y＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；

分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；

查表计算每一个图像块的内部的像素值的梯度变化之和：

RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)

-SUM(x+w-1,y-1)

其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；

在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到行人hog特征图像。

所述导盲犬分类器通过离线训练得到，具体包括：

通过视频采集传感器采集样本图像；

通过样本图像获取导盲犬hog特征图像；

在导盲犬hog特征图像上进行导盲犬的训练学习，获取导盲犬的统计特征，即{p_k(x)}，k＝1，……，N，N为正整数，其中， $f_k\left(x\right)=\left\{\begin{array}{cc}1& \underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t^{\′}{h}_t\left(x\right)>={\mathrm{\β}}_k^{\′}\\ 0& else\end{array}\right.,$ x表示输入的导盲犬hog特征图像，h_t(x)表示第t个弱分类器，其计算结果加权α′_t后即为α′_th_t(x)，加权求和后则构成了强分类器，p_k(x)表示导盲犬分类器的一个强分类器，β′_k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β′_k时，则认为满足该强分类器。

所述导盲犬hog特征图像通过以下步骤获得：

设计hog特征块高宽比为1:1，8*8像素块，块中平均分割而成的四个单元像素块，大小为4*4；计算样本hog特征的步长为4个像素；

在YUV每个通道中，求出像素值的梯度方向的微分：▽I_x＝I(x+1,y)-I(x,y),▽I_y＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；

分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；

查表计算每一个图像块的内部的像素值的梯度变化之和：

RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)

-SUM(x+w-1,y-1)

其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；

在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到导盲犬hog特征图像。

所述盲杖分类器通过离线训练得到，具体包括：

通过视频采集传感器采集样本图像；

通过样本图像获取盲杖hog特征图像；

在盲杖hog特征图像上进行盲杖的训练学习，获取盲杖的统计特征，即{q_k(x)}，k＝1，……，N，N为正整数，其中， $q_k\left(x\right)=\{\begin{array}{cc}1& \underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t^{\′\′}{h}_t\left(x\right)>={\mathrm{\β}}_k^{\′\′}\\ 0& else\end{array},$ x表示输入的盲杖hog特征图像，h_t(x)表示第t个弱分类器，其计算结果加权α″后即为α″_th_t(x)，加权求和后则构成了强分类器，q_k(x)表示盲杖分类器的一个强分类器，β″_k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″_k时，则认为满足该强分类器。

所述盲杖hog特征图像通过以下步骤获得：

设计hog特征块高宽比为2:1，8*4像素块，块中平均分割而成的两个单元像素块，大小为4*4；计算样本hog特征的步长为2个像素；

在YUV每个通道中，求出像素值的梯度方向的微分：▽I_x＝I(x+1,y)-I(x,y),▽I_y＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；

分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；

查表计算每一个图像块的内部的像素值的梯度变化之和：

RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)

-SUM(x+w-1,y-1)

其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；

在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲杖hog特征图像。

所述盲镜分类器通过离线训练得到，具体包括：

通过视频采集传感器采集样本图像；

通过样本图像获取盲镜hog特征图像；

在盲镜hog特征图像上进行盲镜的训练学习，获取盲镜的统计特征，即{r_k(x)}，k＝1，……，N，N为正整数，其中，x表示输入的盲镜hog特征图像，h_t(x)表示第t个弱分类器，其计算结果加权α″′_t后即为α″′_th_t(x)，加权求和后则构成了强分类器，r_k(x)表示盲镜分类器的一个强分类器，β″′_k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″′_k时，则认为满足该强分类器。

所述盲镜hog特征图像通过以下步骤获得：

设计hog特征块高宽比为1:1，4*4像素块，块中平均分割而成的四个单元像素块，大小为2*2；计算样本hog特征的步长为2个像素；

在YUV每个通道中，求出像素值的梯度方向的微分：▽I_x＝I(x+1,y)-I(x,y),▽I_y＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；

分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；

查表计算每一个图像块的内部的像素值的梯度变化之和：

RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)

-SUM(x+w-1,y-1)

其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；

在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲镜hog特征图像。

如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的姿态。

还包括：如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的运动信息。

一种基于组合特征与车载摄像头的盲人检测与识别系统，包括：

车载视觉传感器采集模块，用于实时采集车辆周围的原始图像，并输出给第一行人检测模块和第一导盲犬检测模块；

第一行人检测模块，用于根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，输出给第一盲杖检测模块和第二导盲犬检测模块，若没有则进行下一帧检测；

第一盲杖检测模块，用于在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，输出给第一盲镜检测模块，若没有则进行下一帧检测；

第二导盲犬检测模块，用于将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，输出给第一盲镜检测模块，若没有则进行下一帧检测；

第一盲镜检测模块，用于在第一盲杖检测模块和第二导盲犬检测模块均有输出的情况下，对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定该行人为盲人，输出给第二综合判定模块；若没有则进行下一帧检测；

第一导盲犬检测模块，用于根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，输出给狗链检测模块，若没有则进行下一帧检测；

狗链检测模块，用于对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，标记狗链并输出给末端查找模块，若没有狗链则进行下一帧检测；

末端查找模块，用于利用狗链标记连通区域的末端，输出给第二行人检测模块；

第二行人检测模块，用于在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，输出给第二盲镜检测模块和第二盲杖检测模块，若没有则进行下一帧检测；

第二盲镜检测模块，用于利用盲镜分类器在导盲犬hog特征图像中判断该行人头部区域是否有盲镜，若有则在导盲犬hog特征图像中标记盲镜，并输出给第一综合判定模块；若没有则进行下一帧检测；

第二盲杖检测模块，用于利用盲杖分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖，若有则在导盲犬hog特征图像中标记盲杖，并输出给第一综合判定模块；若没有则进行下一帧检测；

第一综合判定模块，用于在第二盲镜检测模块和第二盲杖检测模块均有输出的情况下，判定该行人为盲人，输出给第二综合判定模块；若没有则进行下一帧检测；

第二综合判定模块，用于根据第一盲镜检测模块和第一综合判定模块的输出，进行加权求和，进而判定原始图像是是否存在盲人并输出。

还包括：

导盲犬姿态检测模块，连接第二综合判定模块和第一导盲犬检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测导盲犬的姿态信息；和/或，

行人姿态检测模块，连接第二综合判定模块和第一行人检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测行人的姿态信息。

还包括：

运动信息检测模块，用于根据导盲犬姿态检测模块和/或行人姿态检测模块输出的连续帧的导盲犬姿态信息和行人姿态信息，得到行人和/或导盲犬运动信息。

本发明具有以下优点及有益效果：

1.本发明可以在车载视觉传感器的帮助下，对前方视野范围内的在视觉行人检测的基础上，对检测出的行人进行盲杖、导盲犬、盲镜等组合特征进行检测，进而识别出盲人，帮助提醒驾驶者特殊注意。

2.本发明根据盲人与导盲犬的姿态信息判断其动作趋势，并提醒驾驶者以更好地保护双方安全。

3.本发明利用离线训练的行人、盲杖、导盲犬、盲镜多个分类器联合，并行对目标进行具有几何关系的查找与检测，提高了检测的效率与准确性。

附图说明

图1为本发明方法中离线的组合模型训练过程图；

图2为本发明方法中在线实时盲人检测流程图；

图3为本发明系统结构框图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明在车载摄像头获取视觉信息基础上，利用组合特征对行人中的盲人进行检测。本发明主要分为两部分：训练部分与检测部分。

(1)训练部分。

如图1所示，本发明方法中离线的组合模型训练过程图。

其中，行人分类器通过离线训练得到，具体包括：

通过视频采集传感器采集样本图像；

通过样本图像获取行人hog特征图像；

在行人hog特征图像上进行行人的训练学习，获取行人的统计特征，即{f_k(x)}，k＝1，……，N，N为正整数，其中， $f_k\left(x\right)=\left\{\begin{array}{cc}1& \underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t{h}_t\left(x\right)>={\mathrm{\β}}_k\\ 0& else\end{array}\right.,$ x表示输入的行人hog特征图像，h_t(x)表示第t个弱分类器，其计算结果加权α_t后即为α_th_t(x)，加权求和后则构成了强分类器，f_k(x)表示行人分类器的一个强分类器，β_k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β_k时，则认为满足该强分类器。

所述行人hog特征图像通过以下步骤获得：

设计hog特征块高宽比为1:1，16*16像素块，块中平均分割而成的四个单元像素块，大小为8*8；计算样本hog特征的步长为8个像素；

在YUV每个通道中，求出像素值的梯度方向的微分：▽I_x＝I(x+1,y)-I(x,y),▽I_y＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；

分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；

查表计算每一个图像块的内部的像素值的梯度变化之和：

RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)

-SUM(x+w-1,y-1)

其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；

在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到行人hog特征图像。

其中，导盲犬分类器通过离线训练得到，具体包括：

通过视频采集传感器采集样本图像；

通过样本图像获取导盲犬hog特征图像；

在导盲犬hog特征图像上进行导盲犬的训练学习，获取导盲犬的统计特征，即{p_k(x)}，k＝1，……，N，N为正整数，其中， $f_k\left(x\right)=\left\{\begin{array}{cc}1& \underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t^{\′}{h}_t\left(x\right)>={\mathrm{\β}}_k^{\′}\\ 0& else\end{array}\right.$ x表示输入的导盲犬hog特征图像，h_t(x)表示第t个弱分类器，其计算结果加权α′_t后即为α′_th_t(x)，加权求和后则构成了强分类器，p_k(x)表示导盲犬分类器的一个强分类器，β′_k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β′_k时，则认为满足该强分类器。

所述导盲犬hog特征图像通过以下步骤获得：

设计hog特征块高宽比为1:1，8*8像素块，块中平均分割而成的四个单元像素块，大小为4*4；计算样本hog特征的步长为4个像素；

在YUV每个通道中，求出像素值的梯度方向的微分：▽I_x＝I(x+1,y)-I(x,y),▽I_y＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；

分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；

查表计算每一个图像块的内部的像素值的梯度变化之和：

RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)

-SUM(x+w-1,y-1)

其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；

在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到导盲犬hog特征图像。

其中，盲杖分类器通过离线训练得到，具体包括：

通过视频采集传感器采集样本图像；

通过样本图像获取盲杖hog特征图像；

在盲杖hog特征图像上进行盲杖的训练学习，获取盲杖的统计特征，即{q_k(x)}，k＝1，……，N，N为正整数，其中， $q_k\left(x\right)=\left\{\begin{array}{cc}1& \underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t^{\′\′}{h}_t\left(x\right)>={\mathrm{\β}}_k^{\′\′}\\ 0& else\end{array}\right.,$ x表示输入的盲杖hog特征图像，h_t(x)表示第t个弱分类器，其计算结果加权α″后即为α″_th_t(x)，加权求和后则构成了强分类器，q_k(x)表示盲杖分类器的一个强分类器，β_k″表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″_k时，则认为满足该强分类器。

所述盲杖hog特征图像通过以下步骤获得：

设计hog特征块高宽比为2:1，8*4像素块，块中平均分割而成的两个单元像素块，大小为4*4；计算样本hog特征的步长为2个像素；

在YUV每个通道中，求出像素值的梯度方向的微分：▽I_x＝I(x+1,y)-I(x,y),▽I_y＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；

分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；

查表计算每一个图像块的内部的像素值的梯度变化之和：

RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)

-SUM(x+w-1,y-1)

其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；

在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲杖hog特征图像。

其中，盲镜分类器通过离线训练得到，具体包括：

通过视频采集传感器采集样本图像；

通过样本图像获取盲镜hog特征图像；

在盲镜hog特征图像上进行盲镜的训练学习，获取盲镜的统计特征，即{r_k(x)}，k＝1，……，N，N为正整数，其中， $r_k\left(x\right)=\left\{\begin{array}{cc}1& \underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t^{\′\′\′}{h}_t\left(x\right)>={\mathrm{\β}}_k^{\′\′\′}\\ 0& else\end{array}\right.,$ x表示输入的盲镜hog特征图像，h_t(x)表示第t个弱分类器，其计算结果加权α″′_t后即为α″′_th_t(x)，加权求和后则构成了强分类器，r_k(x)表示盲镜分类器的一个强分类器，β″′_k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″′_k时，则认为满足该强分类器。

所述盲镜hog特征图像通过以下步骤获得：

设计hog特征块高宽比为1:1，4*4像素块，块中平均分割而成的四个单元像素块，大小为2*2；计算样本hog特征的步长为2个像素；

在YUV每个通道中，求出像素值的梯度方向的微分：▽I_x＝I(x+1,y)-I(x,y),▽I_y＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；

分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；

查表计算每一个图像块的内部的像素值的梯度变化之和：

RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)

-SUM(x+w-1,y-1)

其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；

在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲镜hog特征图像。

所述将原始图像或行人hog特征图像映射到三维世界坐标系下通过透视变换完成。

为了实时地进行行人检测，需要离线对海量的行人样本进行训练；同时，为了实时地进行导盲犬检测，本发明离线训练了海量的导盲犬走路等姿态下的样本；并且，针对不同姿态下盲人拄着的盲杖与不同角度下佩戴的盲镜也进行了海量样本的训练。

这样，我们得到了能够检测行人的模型、能够检测导盲犬的模型、能够检测不同姿态下盲人盲杖的模型与能够检测不同角度下的盲镜检测模型。利用该组合模型，我们可以检测出图像中是否具有行人、导盲犬、盲镜、盲杖等信息，如果在一定邻域内同时存在标记的4个坐标，那么就可以认为是检测出了盲人。

(2)检测部分。

在线实时盲人检测流程图如图2所示。

在得到了组合模型后，在车载摄像头获取的图像中对行人与导盲犬分别进行并行检测。

首先，一方面检测行人的处理线程，如果不是行人，则滑动检测窗口，对下一个位置进行检测；如果是行人，那么就对行人附件的地面物体进行检测，这里主要是并行地检测导盲犬与盲杖。通过投影变换将二维图像坐标系下的目标映射到三维世界坐标系下，查找其与地面接触点的Z轴坐标；同时，利用检测到的行人整体高度(行人头部Z轴坐标与地面Z轴坐标之差)来进一步限定导盲犬检测范围，这里假定导盲犬的身高不会超过行人的身高。利用地面Z轴坐标与导盲犬身高Z轴坐标来限定导盲犬的Z轴范围，利用反投影变换，将上述Z轴坐标限制范围映射回图像坐标系，进而缩小导盲犬滑动窗口的检测范围。

如果有导盲犬与盲杖，那么再从行人的头部区域中检测盲镜。如果检测到盲镜那么就认为该行人就是盲人；否则，不认为是盲人。如果没有导盲犬或盲杖，那么也不认为是盲人。

由于，有地面作为参考标准，因此本发明只检测地面以上且与地面有几何交集的图像区域，这样可以省去很多检测空间。

另一方面，通过车载视觉传感器对导盲犬进行检测。

对于导盲犬的检测，需要分不同姿态的情况，比如行进中的导盲犬、坐立时的导盲犬及躺着的导盲犬。以上情况的导盲犬都要进行识别，因为导盲犬的姿态可以预示盲人的行进与否的状态(当导盲犬躺着的时候，盲人应该是不会行进的；导盲犬行进时，盲人一般也是在行进；导盲犬坐立或站立时，盲人一般也都是停止的状态)。

当检测到导盲犬的时候，对其身上的狗链进行检测。导盲犬颈部区域进行二值化找出像素比例相对较小的区域进行标记连通，如果得到结果与颈部区域宽度相近，则可以认为导盲犬颈部区域是否有狗链。如果检测不到狗链，那么可以认为该狗不是导盲犬；如果有狗链，则利用狗链标记连通区域的末端进行行人检测，来判断狗链另一端的行人是否有盲杖与盲镜，若有就认为是盲人，反之不是盲人。

当判定为盲人的时候，同时对导盲犬的姿态与盲人的姿态都进行检测匹配，根据姿态信息确定盲人是行走还是站立。这样将带有动作趋势的盲人信息提示给驾驶者，将对其更加有提示意义。

如图3所示，为本发明的系统结构框图。包括：车载视觉传感器采集模块，用于实时采集车辆周围的原始图像，并输出给第一行人检测模块和第一导盲犬检测模块；第一行人检测模块，用于根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，输出给第一盲杖检测模块和第二导盲犬检测模块，若没有则进行下一帧检测；第一盲杖检测模块，用于在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，输出给第一盲镜检测模块，若没有则进行下一帧检测；第二导盲犬检测模块，用于将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，输出给第一盲镜检测模块，若没有则进行下一帧检测；第一盲镜检测模块，用于在第一盲杖检测模块和第二导盲犬检测模块均有输出的情况下，对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定该行人为盲人，输出给第二综合判定模块；若没有则进行下一帧检测；第一导盲犬检测模块，用于根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，输出给狗链检测模块，若没有则进行下一帧检测；狗链检测模块，用于对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，标记狗链并输出给末端查找模块，若没有狗链则进行下一帧检测；末端查找模块，用于利用狗链标记连通区域的末端，输出给第二行人检测模块；第二行人检测模块，用于在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，输出给第二盲镜检测模块和第二盲杖检测模块，若没有则进行下一帧检测；第二盲镜检测模块，用于利用盲镜分类器在导盲犬hog特征图像中判断该行人头部区域是否有盲镜，若有则在导盲犬hog特征图像中标记盲镜，并输出给第一综合判定模块；若没有则进行下一帧检测；第二盲杖检测模块，用于利用盲杖分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖，若有则在导盲犬hog特征图像中标记盲杖，并输出给第一综合判定模块；若没有则进行下一帧检测；第一综合判定模块，用于在第二盲镜检测模块和第二盲杖检测模块均有输出的情况下，判定该行人为盲人，输出给第二综合判定模块；若没有则进行下一帧检测；第二综合判定模块，用于根据第一盲镜检测模块和第一综合判定模块的输出，进行加权求和，进而判定原始图像是是否存在盲人并输出。

还包括：导盲犬姿态检测模块，连接第二综合判定模块和第一导盲犬检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测导盲犬的姿态信息；行人姿态检测模块，连接第二综合判定模块和第一行人检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测行人的姿态信息。

还包括：运动信息检测模块，用于根据导盲犬姿态检测模块和行人姿态检测模块输出的连续帧的导盲犬姿态信息和行人姿态信息，得到行人和导盲犬运动信息。

Claims (10)

1.一种基于组合特征与车载摄像头的盲人检测与识别方法，其特征在于，包括以下步骤：

S1：车载视觉传感器实时采集车辆周围的原始图像，同时并行执行步骤S2、S3；

S2：根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，若没有则进行下一帧检测；

在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，若没有则进行下一帧检测；

将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，若没有则进行下一帧检测；

对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定该行人为盲人；若没有则进行下一帧检测；

S3：根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，若没有则进行下一帧检测；

对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，利用狗链标记连通区域的末端，在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，若没有则进行下一帧检测；若没有狗链则进行下一帧检测；

若狗链的另一端有行人，则依次利用盲杖分类器、盲镜分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖、盲镜，若同时有则在导盲犬hog特征图像中标记盲杖、盲镜，并判定原始图像中存在盲人；若没有则进行下一帧检测；

S4：根据S2的检测结果和S3的检测结果进行加权求和，当加权求和的结果大于预设阈值时，判定原始图像中存在盲人。

2.根据权利要求1所述的基于组合特征与车载摄像头的盲人检测与识别方法，其特征在于，所述行人分类器通过离线训练得到，具体包括：

通过视频采集传感器采集样本图像；

通过样本图像获取行人hog特征图像；

在行人hog特征图像上进行行人的训练学习，获取行人的统计特征，即{f_k(x)}，k＝1，……，N，N为正整数，其中， $f_k\left(x\right)=\left\{\begin{array}{cc}1& \underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t{h}_t\left(x\right)>={\mathrm{\β}}_k\\ 0& else\end{array}\right.,$ x表示输入的行人hog特征图像，h_t(x)表示第t个弱分类器，其计算结果加权α_t后即为α_th_t(x)，加权求和后则构成了强分类器，f_k(x)表示行人分类器的一个强分类器，β_k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β_k时，则认为满足该强分类器；

所述行人hog特征图像通过以下步骤获得：

设计hog特征块高宽比为1:1，16*16像素块，块中平均分割而成的四个单元像素块，大小为8*8；计算样本hog特征的步长为8个像素；

在YUV每个通道中，求出像素值的梯度方向的微分： 其中，I(x,y)表示坐标x,y的像素值；

分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；

查表计算每一个图像块的内部的像素值的梯度变化之和：

RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)

其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；

在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到行人hog特征图像。

3.根据权利要求1所述的基于组合特征与车载摄像头的盲人检测与识别方法，其特征在于，所述导盲犬分类器通过离线训练得到，具体包括：

通过视频采集传感器采集样本图像；

通过样本图像获取导盲犬hog特征图像；

在导盲犬hog特征图像上进行导盲犬的训练学习，获取导盲犬的统计特征，即{p_k(x)}，k＝1，……，N，N为正整数，其中， $f_k\left(x\right)=\left\{\begin{array}{cc}1& \underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t^{\′}{h}_t\left(x\right)>={\mathrm{\β}}_k^{\′}\\ 0& else\end{array}\right.,$ x表示输入的导盲犬hog特征图像，h_t(x)表示第t个弱分类器，其计算结果加权α′_t后即为α′_th_t(x)，加权求和后则构成了强分类器，p_k(x)表示导盲犬分类器的一个强分类器，β′_k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β′_k时，则认为满足该强分类器；

所述导盲犬hog特征图像通过以下步骤获得：

设计hog特征块高宽比为1:1，8*8像素块，块中平均分割而成的四个单元像素块，大小为4*4；计算样本hog特征的步长为4个像素；

在YUV每个通道中，求出像素值的梯度方向的微分： $\▿I_x=I(x+1,y)-I(x,y),\▿I_y=I(x,y)-I(x,y+1);$ 其中，I(x,y)表示坐标x,y的像素值；

分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；

查表计算每一个图像块的内部的像素值的梯度变化之和：

RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)

其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；

在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到导盲犬hog特征图像。

4.根据权利要求1所述的基于组合特征与车载摄像头的盲人检测与识别方法，其特征在于，所述盲杖分类器通过离线训练得到，具体包括：

通过视频采集传感器采集样本图像；

通过样本图像获取盲杖hog特征图像；

在盲杖hog特征图像上进行盲杖的训练学习，获取盲杖的统计特征，即{q_k(x)}，k＝1，……，N，N为正整数，其中， $q_k\left(x\right)=\left\{\begin{array}{cc}1& \underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t^{\′\′}{h}_t\left(x\right)>={\mathrm{\β}}_k^{\′\′}\\ 0& else\end{array}\right.,$ x表示输入的盲杖hog特征图像，h_t(x)表示第t个弱分类器，其计算结果加权α″后即为α″_th_t(x)，加权求和后则构成了强分类器，q_k(x)表示盲杖分类器的一个强分类器，β″_k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″_k时，则认为满足该强分类器；

所述盲杖hog特征图像通过以下步骤获得：

设计hog特征块高宽比为2:1，8*4像素块，块中平均分割而成的两个单元像素块，大小为4*4；计算样本hog特征的步长为2个像素；

在YUV每个通道中，求出像素值的梯度方向的微分： $\▿I_x=I(x+1,y)-I(x,y),\▿I_y=I(x,y)-I(x,y+1);$ 其中，I(x,y)表示坐标x,y的像素值；

分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；

查表计算每一个图像块的内部的像素值的梯度变化之和：

RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)

其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；

在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲杖hog特征图像。

5.根据权利要求1所述的基于组合特征与车载摄像头的盲人检测与识别方法，其特征在于，所述盲镜分类器通过离线训练得到，具体包括：

通过视频采集传感器采集样本图像；

通过样本图像获取盲镜hog特征图像；

在盲镜hog特征图像上进行盲镜的训练学习，获取盲镜的统计特征，即{r_k(x)}，k＝1，……，N，N为正整数，其中， $r_k\left(x\right)=\left\{\begin{array}{cc}1& \underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t^{\′\′\′}{h}_t\left(x\right)>={\mathrm{\β}}_k^{\′\′\′}\\ 0& else\end{array}\right.,$ x表示输入的盲镜hog特征图像，h_t(x)表示第t个弱分类器，其计算结果加权α″′_t后即为α″′_th_t(x)，加权求和后则构成了强分类器，r_k(x)表示盲镜分类器的一个强分类器，β″′_k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″′_k时，则认为满足该强分类器；

所述盲镜hog特征图像通过以下步骤获得：

设计hog特征块高宽比为1:1，4*4像素块，块中平均分割而成的四个单元像素块，大小为2*2；计算样本hog特征的步长为2个像素；

在YUV每个通道中，求出像素值的梯度方向的微分： $\▿I_x=I(x+1,y)-I(x,y),\▿I_y=I(x,y)-I(x,y+1);$ 其中，I(x,y)表示坐标x,y的像素值；

分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；

查表计算每一个图像块的内部的像素值的梯度变化之和：

RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)

其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；

在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲镜hog特征图像。

6.根据权利要求1所述的基于组合特征与车载摄像头的盲人检测与识别方法，其特征在于，还包括：如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的姿态。

7.根据权利要求1所述的基于组合特征与车载摄像头的盲人检测与识别方法，其特征在于，还包括：如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的运动信息。

8.一种基于组合特征与车载摄像头的盲人检测与识别系统，其特征在于，包括：

车载视觉传感器采集模块，用于实时采集车辆周围的原始图像，并输出给第一行人检测模块和第一导盲犬检测模块；

第一行人检测模块，用于根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，输出给第一盲杖检测模块和第二导盲犬检测模块，若没有则进行下一帧检测；

第一盲杖检测模块，用于在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，输出给第一盲镜检测模块，若没有则进行下一帧检测；

第二导盲犬检测模块，用于将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，输出给第一盲镜检测模块，若没有则进行下一帧检测；

第一盲镜检测模块，用于在第一盲杖检测模块和第二导盲犬检测模块均有输出的情况下，对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定该行人为盲人，输出给第二综合判定模块；若没有则进行下一帧检测；

第一导盲犬检测模块，用于根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，输出给狗链检测模块，若没有则进行下一帧检测；

狗链检测模块，用于对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，标记狗链并输出给末端查找模块，若没有狗链则进行下一帧检测；

末端查找模块，用于利用狗链标记连通区域的末端，输出给第二行人检测模块；

第二行人检测模块，用于在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，输出给第二盲镜检测模块和第二盲杖检测模块，若没有则进行下一帧检测；

第二盲镜检测模块，用于利用盲镜分类器在导盲犬hog特征图像中判断该行人头部区域是否有盲镜，若有则在导盲犬hog特征图像中标记盲镜，并输出给第一综合判定模块；若没有则进行下一帧检测；

第二盲杖检测模块，用于利用盲杖分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖，若有则在导盲犬hog特征图像中标记盲杖，并输出给第一综合判定模块；若没有则进行下一帧检测；

第一综合判定模块，用于在第二盲镜检测模块和第二盲杖检测模块均有输出的情况下，判定该行人为盲人，输出给第二综合判定模块；若没有则进行下一帧检测；

第二综合判定模块，用于根据第一盲镜检测模块和第一综合判定模块的输出，进行加权求和，进而判定原始图像是是否存在盲人并输出。

9.根据权利要求8所述的基于组合特征与车载摄像头的盲人检测与识别系统，其特征在于，还包括：

导盲犬姿态检测模块，连接第二综合判定模块和第一导盲犬检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测导盲犬的姿态信息；和/或，

行人姿态检测模块，连接第二综合判定模块和第一行人检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测行人的姿态信息。

10.根据权利要求9所述的基于组合特征与车载摄像头的盲人检测与识别系统，其特征在于，还包括：

运动信息检测模块，用于根据导盲犬姿态检测模块和/或行人姿态检测模块输出的连续帧的导盲犬姿态信息和行人姿态信息，得到行人和/或导盲犬运动信息。