CN108960029A - 一种行人分心行为检测方法 - Google Patents

一种行人分心行为检测方法 Download PDF

Info

Publication number
CN108960029A
CN108960029A CN201810247186.9A CN201810247186A CN108960029A CN 108960029 A CN108960029 A CN 108960029A CN 201810247186 A CN201810247186 A CN 201810247186A CN 108960029 A CN108960029 A CN 108960029A
Authority
CN
China
Prior art keywords
pedestrian
image
eigenmatrix
sensitive part
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810247186.9A
Other languages
English (en)
Inventor
李浥东
董雅茹
董海荣
郎丛妍
王涛
金�一
宁滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN201810247186.9A priority Critical patent/CN108960029A/zh
Publication of CN108960029A publication Critical patent/CN108960029A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种行人分心行为检测方法。该方法包括:采用梯度和纹理特征集成方法对行人图像进行行人检测处理,获取所述行人图像中的行人位置信息;根据所述行人的位置区域采用选择性搜素的方法对所述行人图像进行区域分割和合并处理,检测出行人敏感部位图像,对所述行人敏感部位图像进行特征提取,得到所述行人图像的敏感特征矩阵;利用行人图像数据集中所有行人图像的敏感部位特征矩阵训练Adaboost分类器,将待检测的行人图像输入训练好的Adaboost分类器,所述Adaboost分类器输出所待检测的行人图像的检测结果。本发明的方法可以准确及时地对行人行为进行分析,判断该行人是否为使用手机的危险行人并及时反馈给行人、司机以及交管部门,起到安全警示作用。

Description

一种行人分心行为检测方法
技术领域
本发明涉及交通安全管理技术领域,尤其涉及一种行人分心行为检测方法。
背景技术
近年来,随着信息时代的发展和手机的广泛使用,不分场合、随时随地玩手机的低头族越来越多。通过大量统计分析表明行人过街时使用手机会造成道路通行能力低、影响出行时间、引发交通事故等问题。2016年美国有6000名行人在交通事故中丧生,所以美国新发规定行人过马路看手机要罚款。其实在我们国内现状也不容乐观。中国青年报社社会调查中调查结果显示,有72.2%受访者表示过马路时有玩手机的经历。根据以上数据,我们发现低头族引发的交通事故日益增多,引起社会各界的重视。
目前人体动作识别领域相对成熟,常用的动作识别方法包括基于模板的方法、基于概率统计的方法以及基于语义的方法。人体行为识别可以用于检测连续、交互动作,在很多领域也有着广泛的应用前景,例如在医疗系统中检测病人的跌倒碰撞行为、在公众场合判断暴乱盗窃等危险事件、检测酒后驾驶的不法行为以及地质灾害后检测生存者的应用前景。但是现阶段行人检测研究方向大致分为两部分,一部分是传统行为的正常走、侧走、爬行、上坡或者下坡等基本人体姿势的研究,而另一部分则是基于轨迹的行人徘徊、行人越界、行人跌倒等异常行为的检测方法,这类研究主要针对老人、儿童等特殊群体。
目前,现有技术中没有一种针对行人使用手机这类分心行为进行检测的方法。
发明内容
本发明的实施例提供了一种行人分心行为检测方法,以实现有效地对行人使用手机这类分心行为进行检测。
为了实现上述目的,本发明采取了如下技术方案。
一种行人分心行为检测方法,包括:
采用梯度和纹理特征集成方法对行人图像进行行人检测处理,获取所述行人图像中的行人位置信息;
根据所述行人的位置区域采用选择性搜素的方法对所述行人图像进行区域分割和合并处理,检测出行人敏感部位图像,对所述行人敏感部位图像进行特征提取,得到所述行人图像的敏感特征矩阵;
利用行人图像数据集中所有行人图像的敏感部位特征矩阵训练Adaboost分类器,将待检测的行人图像输入训练好的Adaboost分类器,所述Adaboost分类器输出所待检测的行人图像的检测结果。
进一步地,所述的采用梯度和纹理特征集成方法对行人图像进行行人检测处理之前,还包括:
通过摄像设备采集公共交通区域中的行人图像,将所有行人图像存储在行人图像数据集中,所述行人图像包括行人为正常过马路图片和行为为分心行人图片。
进一步地,所述的采用梯度和纹理特征集成方法对行人图像进行行人检测处理,获取所述行人图像中的行人位置信息,包括:
从所述行人图像数据集中选择一幅行人图像,从所述行人图像中提取HOG特征,并保存图像的HOG特征矩阵;从所述行人图像中提取LBP特征,并保存图像的LBP特征矩阵,组合所述HOG特征矩阵和LBP特征矩阵得到HOG-LBP特征矩阵;
采用K-SVD算法从HOG-LBP特征矩阵中提取出稀疏表示的特征,用PCA算法对所述HOG-LBP特征矩阵进行降维,得到低维的PCA特征;
将所述PCA特征和K-SVD稀疏表示的特征同时作用于所述HOG-LBP特征矩阵,得到了新的特征矩阵,采用SVM分类器对新的特征矩阵进行分类,分类结果用行人矩形框表示,并返回一个1*4维矩阵,4维分别为行人矩形框的横、纵坐标以及行人矩形框的长和宽四个数据,从而获得所述行人图像中的行人的位置区域。
进一步地,所述的根据所述行人的位置区域采用选择性搜素的方法对所述行人图像进行区域分割和合并处理,检测出行人敏感部位图像,包括:
2.0、将包含所述行人的位置区域的图像区域上的每一个像素用节点表示,每个节点代表一个区域,两个节点间由一条无向边连接,每个无向边都有一个权重,用以衡量其连接的两个节点之间的不相似度,有序遍历所有的无向边,判断该无向边连接的两个区域之间的域间间距是否大于任意一个区域的区域内间距,如果是,则将所述两个区域分割成多个初始化小区域;否则,不对所述两个区域进行分割;
2.1、将所有初始化小区域组成的初始区域记为R={r1,…,rm},遍历初始区域R中的所有相邻区域;
2.2、计算各相邻区域的相似度,把所有相邻区域的相似度保存在集合S中并表示为S(ri,rj),在计算各相邻区域的相似度时,采用颜色、纹理、大小及吻合相似度的加权平均值作为两个区域的相似性S{ri,ri},计算公式如下:S(ri,rj)=a1Scolor(ri,rj)+a2Stexture(ri,rj)+a3Ssize(ri,rj)+a4Sfill(ri,rj)
其中,Scolor为颜色相似度,Stexture为纹理相似度,Ssize为尺寸相似度,Sfill为交叠相似度;
2.3、从集合S中找到最大相似度max(S)对应的相邻区域{ri,rj},若最大相似度max(S)小于某一设定相似度阈值,就将这个相邻区域{ri,rj}进行合并,即rt=ri∪rj,同时从集合S中除去与ri、rj有关的相似度;
2.4、计算rt与其相邻区域的相似度S(rt,r*);
2.5、将rt保存到集合R中,计算公式为:R=R∪rt
2.6、判断集合S是否为空,集合S不为空,则返回执行步骤2.3;集合S为空,则所有合并后的初始化小区域组成行人敏感部位图像。
进一步地,所述的对所述行人敏感部位图像进行特征提取,得到所述行人图像的敏感特征矩阵,包括:
提取所述行人的敏感部位图像的Haar_Like特征,组成Haar_Like特征矩阵;
提取所述行人的敏感部位图像的VGG16特征,组成VGG16特征矩阵;
将所述Haar_Like特征矩阵和VGG16特征矩阵进行合并,得到所述行人图像的敏感部位特征矩阵。
进一步地,所述的利用行人图像数据集中所有行人图像的敏感部位特征矩阵训练Adaboost分类器,将待检测的行人图像输入训练好的Adaboost分类器,所述Adaboost分类器输出所待检测的行人图像的检测结果,包括:
将所述行人图像数据集中每张行人图像的敏感部位特征矩阵导入,将导入的所有敏感部位特征矩阵分为训练集和测试集,对敏感部位特征矩阵中的特征值进行归一化处理,用训练集中的敏感部位特征矩阵训练Adaboost分类器,用测试集中的敏感部位特征矩阵对分类器进行测试并得到检测结果;
将待检测的行人图像输入训练好的Adaboost分类器,该Adaboost分类器输出所述待检测的行人图像的检测结果,该检测结果包括所述待检测的行人图像是正常行人图像或者分心危险行人图像的概率值。
由上述本发明的实施例提供的技术方案可以看出,本发明实施例针对低头使用手机的危险行人,基于VGG网络采用微调后的深度学习的模型提出了一种面向行人安全的行人分心行为检测方法,可以准确及时地对行人行为进行分析,判断该行人是否为使用手机的危险行人并及时反馈给行人、司机以及交管部门,起到安全警示作用,从而减少道路交通的安全隐患。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种行人分心行为检测方法的实现流程图;
图2为本发明实施例提供的一种选择性搜索方法获取敏感部位示例图;
图3为本发明实施例提供的一种VGG16特征的模型示意图;
图4为本发明实施例提供的一种边缘特征模板的示意图;
图5为本发明实例的方法的实验结果图,其中从上到下依次为VGG16+Haar-Like特征矩阵、VGG16特征矩阵、Haar_Like特征矩阵、Gist特征矩阵、HOG特征矩阵、LBP特征矩阵、VGG16+LBP特征矩阵训练Adaboost分类器的分类结果实验图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个实施例并不构成对本发明实施例的限定。
本发明实施例针对低头族引发交通事故日益增多的问题,收集了关于行人使用手机分心行为数据集,提出了一种行人分心行为检测方法,用以检测危险行人,从而减少道路交通安全隐患。
在图像分类领域,VGG卷积神经网络使用较小的卷积核和较深的网络结构,从而能够有效提取图像的显著性特征,特别是其中16层深的VGG16网络表现出很高的分类能力和很强的可移植性。
基于VGG网络,本发明实施例提供的一种行人分心行为检测方法的处理流程如图1所示,包括如下的处理步骤:
步骤S110、基于梯度和纹理特征集成的方法对行人图像进行行人检测处理,获取行人的位置区域。
通过摄像设备采集公共交通区域中的行人图像,将所有行人图像存储在行人图像数据集中。在本发明实施例中,该行人图像数据集有原始图片共计5090张,其中有1670张图片来自网络图片,剩余3420张图片是从各大高校、商场等人口密集的十字路口拍摄的,无限定拍摄条件。5090张图片中1588张行人为正常过马路图片,剩余3502张行为为分心行人图片。
从上述行人图像数据集中选择一幅行人图像,采用基于梯度和纹理特征集成对上述行人图像进行行人检测,以获取行人的位置区域,该行人的位置区域包括行人矩形框的横、纵坐标以及矩形框的长和宽四个数据。
从上述行人图像中提取HOG(Histogram of Oriented Gradient,方向梯度直方图)特征,并保存图像的HOG特征矩阵。从上述行人图像中提取LBP(Local Binary Pattern,局部二值模式)特征,并保存图像的LBP特征矩阵,组合以上HOG特征矩阵和LBP特征矩阵得到新的HOG-LBP特征矩阵。
HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征,由于HOG是在图像的局部方格单元上操作,所以它对图像几何的和光学的形变都能保持很好的不变性。LBP特征是一种用来描述图像局部特征的算子,LBP特征具有灰度不变性和旋转不变性等显著优点。
由于HOG特征和LBP特征集成的HOG-LBP特征矩阵的维数过大,造成学习困难。本发明实施例采用K-SVD算法从HOG-LBP特征矩阵中提取出稀疏表示的特征,该稀疏表示的特征对数据进行样本的稀疏表示。利用所有稀疏表示的特征组成稀疏矩阵。
K-SVD算法将上述HOG-LBP特征矩阵转换为合适的稀疏表现形式的稀疏矩阵,使学习任务得以简化,模型复杂度得以降低,K-SVD算法的计算公式如下:
其中,X=(x1,x2,...,xm)∈Rd×m,X为给定数据集;
bi表示HOG-LBP特征矩阵B的第i列,αi表示稀疏矩阵A的第i行,||.||F是矩阵的Frobenius范数。
K-SVD是一种经典的字典训练算法,依据误差最小原则,对误差项进行SVD分解,选择使误差最小的分解项作为更新的字典原子和对应的原子系数,经过不断的迭代从而得到优化的解。
接着用PCA(principal components analysis,主成分分析技术)算法对HOG-LBP特征矩阵进行降维,得到低维的PCA特征,通过将高维特征映射到低维特征,增大样本的采样密度的同时起到一定的去噪作用。
最后,将PCA特征和K-SVD稀疏表示的特征同时作用于HOG-LBP特征矩阵,得到了新的特征矩阵,采用SVM分类器对新的特征矩阵进行分类,分类结果用行人矩形框表示,并返回一个1*4维矩阵,4维分别为行人矩形框的横、纵坐标以及行人矩形框的长和宽四个数据,从而获得上述行人图像中的行人的位置区域。
步骤S120、根据行人的位置区域基于区域之间的域间间距对行人图像进行分割,得到一些初始化小区域。
本发明实施例基于区域之间的域间间距对行人图像进行初始化分割,得到一些初始化小区域。
在初始化分割步骤中,将包含上述行人的位置区域的图像区域上的每一个像素用节点表示,每个节点代表一个区域,两个节点间由一条无向边连接,每个无向边都有一个权重,用以衡量其连接的两个节点之间的不相似度。有序遍历所有的无向边,判断该无向边连接的两个区域之间的域间间距是否大于任意一个区域的区域内间距,如果是,就认为这两个区域之间存在明显的界限,则将所述两个区域分割成多个初始化小区域;否则,不对所述两个区域进行分割。
上述区域间间距定义为所有分属于两个区域且有边连接的点中,权重最小的那对边的权值;区域内间距定义为区域对应最小生成树中权重最大的边的权重值。
步骤S130、采用多种相似性计算策略对初始化小区域进行合并,检测出行人的敏感部位信息。
图2为本发明实施例提供的一种选择性搜索方法获取敏感部位示例图,接着采用多种相似性计算的策略组合对相邻的初始化小区域进行合并,得到行人的敏感部位。在本发明实施例中,行人的敏感部位包括行人的胳膊和头部组合部位。
获取行人的敏感部位的具体处理过程包括:
2.1、将所有初始化小区域组成的初始区域记为R={r1,…,rm},遍历初始区域R中的所有相邻区域;
2.2、计算各相邻区域的相似度,把所有相邻区域的相似度保存在集合S中并表示为S(ri,rj)。在计算各相邻区域的相似度时,采用颜色、纹理、大小及吻合相似度的加权平均值作为两个区域的相似性S{ri,ri},计算公式如下:S(ri,rj)=a1Scolor(ri,rj)+a2Stexture(ri,rj)+a3Ssize(ri,rj)+a4Sfill(ri,rj)
其中,Scolor为颜色相似度,Stextire为纹理相似度,Ssize为尺寸相似度,Sfill为交叠相似度。
2.3、从集合S中找到最大相似度max(S)对应的相邻区域{ri,rj},若最大相似度max(S)小于某一设定相似度阈值,则将这个相邻区域{ri,rj}进行合并,即rt=ri∪rj,同时从集合S中除去与ri、rj有关的相似度;
2.4、计算rt与其相邻区域的相似度S(rt,r*);
2.5、将rt保存到集合R中,计算公式为:R=R∪rt
2.6、判断集合S是否为空,集合S不为空,则返回执行步骤2.3;集合S为空,则所有合并后的初始化小区域组成行人敏感部位图像。
步骤S140、对行人的敏感部位图像采用VGG16和Haar-Like特征相结合的特征提取方法得到敏感部位图像的敏感部位特征矩阵。
本发明实施例采用VGG16特征和Haar-Like特征相结合的特征提取方法得到敏感部位特征矩阵。VGG16特征和AlexNet特征一样,总共分为8个部分:5个卷积组、2层全连接图像特征和1层全连接分类特征。图3为本发明实施例提供的一种VGG16特征的模型示意图,VGG16特征的模型构建是在tensorFlow平台上实现的,主要由4个python文件构成,其中finetune.py为工程主体,调用不同模块完成finetune过程;model.py定义并返回一个VGG16模型;network.py详细定义了网络的不同层的属性;dateset.py用于数据的读入训练集和测试集路径文件。最终VGG16特征矩阵以二进制形式保存在.npz文件中。
Haar-Like特征反应图像的灰度变化情况,下载Haar-Like特征提取模型并在matlab平台进行微调后得到Haar_like特征矩阵。将VGG16特征矩阵和Haar_like特征矩阵简进行合并后,得到敏感部位特征矩阵。
上述提取敏感部位特征矩阵的具体处理过程包括:
3.1、提取上述行人的敏感部位图像的Haar_Like特征,组成Haar_Like特征矩形。
下载Haar_Like特征提取代码及其相关文档;
Haar-Like特征值反映了图像的灰度变化情况。常用的Haar-Like特征主要分为边缘特征、线性特征、中心特征和对角线特征,这三类特征组合成特征模板,特征模板内有白色和黑色两种矩形,并定义该模板的特征值为黑色矩形像素和减去白色矩形像素和。此处,本发明使用的为边缘特征,模板如图4所示。
矩形特征值是矩形模板类型、矩形位置和矩形大小三个因素的函数,故任何一个因素的变化,都会使得很小的检测窗口中含有非常多的矩形特征。积分图技术可以很快速地计算Haar-Like特征。
计算白色矩形灰度值的和减去黑色矩形灰度值的和,为了提高计算速度,采用积分图的计算方式在相同时间里计算尺度大小不同的矩形特征值,对于图像内一个点A(i,j),其积分图ii(i,j)计算公式如下:
其中,ii(i,j)是位置A(i,j)左上角所有的像素和。
3.2、提取上述行人的敏感部位图像的VGG16特征,组成VGG16特征矩阵。
在linux系统下搭建TensorFlow平台;
构建网络,构建network.py和model.py两个文件,其中model.py定义并返回一个VGG16模型,主要包括卷积层conv、归一化层pool以及全连接层fc的设置,而每一层的实现在networl.py中详细定义;
数据读取,初始化函数读取train_list以及test_list,将所有的图像路径及其标签保存在内存中以.txt文件保存;
Finetune训练,定义训练样本及测试样本的路径以及各项参数。此处学习步长设置为0.001,总迭代次数为6000,每个batch的大小为10,分组的类别为2,drop-out初始比率为0.5。损失函数选择的是交叉熵均值,优化方式设置为梯度下降方式。
3.3、特征合并操作,将上述Haar_Like特征和VGG16特征进行合并,可以在matlab中采用矩阵合并的操作将Haar_Like特征矩阵和VGG16特征矩阵进行合并,组成为一个敏感部位特征矩阵。
步骤S150、将所有图像的敏感部位特征矩阵分为训练集和测试集,用训练集训练Adaboost分类器,用测试集测试Adaboost分类器。将待检测的行人图像输入训练好的Adaboost分类器,Adaboost分类器输出上述待检测的行人图像的检测结果。
将上述行人图像数据集中每张图像的敏感部位特征矩阵导入,为每张图像加上相应的类标签。将导入的敏感部位特征矩阵分为训练集和测试集,对敏感部位特征矩阵中的特征值进行归一化处理,用训练集中的敏感部位特征矩阵训练Adaboost分类器,用测试集中的敏感部位特征矩阵对分类器进行测试并得到检测结果,分类的信息更加准确,说明该分类器具有更强的分类能力。图5为本发明实例的方法的实验结果图,其中从上到下依次为VGG16+Haar-Like特征矩阵、VGG16特征矩阵、Haar_Like特征矩阵、Gist特征矩阵、HOG特征矩阵、LBP特征矩阵、VGG16+LBP特征矩阵训练Adaboost分类器的分类结果实验图。
Adaboost分类器是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器。
之后,将待检测的行人图像输入训练好的Adaboost分类器,Adaboost分类器输出上述待检测的行人图像的检测结果,该检测结果包括所述待检测的行人图像是正常行人图像或者分心危险行人图像的概率值。该分心危险行人图像包括行人正在低头看手机等场景。
综上所述,本发明实施例针对低头使用手机的危险行人,基于VGG网络采用微调后的深度学习的模型提出了一种面向行人安全的行人分心行为检测方法,可以准确及时地对行人行为进行分析,判断该行人是否为使用手机的危险行人并及时反馈给行人、司机以及交管部门,起到安全警示作用,从而减少道路交通的安全隐患。
本发明实施例选择特征矩阵集成的方法构建模型,提高模型的分类的准确性。采用Adaboost分类器,对数据有良好的扩展性,能解决数据处理的速度问题同时防止过拟合情况发生,对行人分心行为预测有较好的应用前景。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种行人分心行为检测方法,其特征在于,包括:
采用梯度和纹理特征集成方法对行人图像进行行人检测处理,获取所述行人图像中的行人位置信息;
根据所述行人的位置区域采用选择性搜素的方法对所述行人图像进行区域分割和合并处理,检测出行人敏感部位图像,对所述行人敏感部位图像进行特征提取,得到所述行人图像的敏感特征矩阵;
利用行人图像数据集中所有行人图像的敏感部位特征矩阵训练Adaboost分类器,将待检测的行人图像输入训练好的Adaboost分类器,所述Adaboost分类器输出所待检测的行人图像的检测结果。
2.根据权利要求1所述的方法,其特征在于,所述的采用梯度和纹理特征集成方法对行人图像进行行人检测处理之前,还包括:
通过摄像设备采集公共交通区域中的行人图像,将所有行人图像存储在行人图像数据集中,所述行人图像包括行人为正常过马路图片和行为为分心行人图片。
3.根据权利要求2所述的方法,其特征在于,所述的采用梯度和纹理特征集成方法对行人图像进行行人检测处理,获取所述行人图像中的行人位置信息,包括:
从所述行人图像数据集中选择一幅行人图像,从所述行人图像中提取HOG特征,并保存图像的HOG特征矩阵;从所述行人图像中提取LBP特征,并保存图像的LBP特征矩阵,组合所述HOG特征矩阵和LBP特征矩阵得到HOG-LBP特征矩阵;
采用K-SVD算法从HOG-LBP特征矩阵中提取出稀疏表示的特征,用PCA算法对所述HOG-LBP特征矩阵进行降维,得到低维的PCA特征;
将所述PCA特征和K-SVD稀疏表示的特征同时作用于所述HOG-LBP特征矩阵,得到了新的特征矩阵,采用SVM分类器对新的特征矩阵进行分类,分类结果用行人矩形框表示,并返回一个1*4维矩阵,4维分别为行人矩形框的横、纵坐标以及行人矩形框的长和宽四个数据,从而获得所述行人图像中的行人的位置区域。
4.根据权利要求3所述的方法,其特征在于,所述的根据所述行人的位置区域采用选择性搜素的方法对所述行人图像进行区域分割和合并处理,检测出行人敏感部位图像,包括:
2.0、将包含所述行人的位置区域的图像区域上的每一个像素用节点表示,每个节点代表一个区域,两个节点间由一条无向边连接,每个无向边都有一个权重,用以衡量其连接的两个节点之间的不相似度,有序遍历所有的无向边,判断该无向边连接的两个区域之间的域间间距是否大于任意一个区域的区域内间距,如果是,则将所述两个区域分割成多个初始化小区域;否则,不对所述两个区域进行分割;
2.1、将所有初始化小区域组成的初始区域记为R={r1,…,rm},遍历初始区域R中的所有相邻区域;
2.2、计算各相邻区域的相似度,把所有相邻区域的相似度保存在集合S中并表示为S(ri,rj),在计算各相邻区域的相似度时,采用颜色、纹理、大小及吻合相似度的加权平均值作为两个区域的相似性S{ri,ri},计算公式如下:S(ri,rj)=a1Scolor(ri,rj)+a2Stexture(ri,rj)+a3Ssize(ri,rj)+a4Sfill(ri,rj)
其中,Scolor为颜色相似度,Stexture为纹理相似度,Ssize为尺寸相似度,Sfill为交叠相似度;
2.3、从集合S中找到最大相似度max(S)对应的相邻区域{ri,rj},若最大相似度max(S)小于某一设定相似度阈值,就将这个相邻区域{ri,rj}进行合并,即rt=ri∪rj,同时从集合S中除去与ri、rj有关的相似度;
2.4、计算rt与其相邻区域的相似度S(rt,r*);
2.5、将rt保存到集合R中,计算公式为:R=R∪rt
2.6、判断集合S是否为空,集合S不为空,则返回执行步骤2.3;集合S为空,则所有合并后的初始化小区域组成行人敏感部位图像。
5.根据权利要求4所述的方法,其特征在于,所述的对所述行人敏感部位图像进行特征提取,得到所述行人图像的敏感特征矩阵,包括:
提取所述行人的敏感部位图像的Haar_Like特征,组成Haar_Like特征矩阵;
提取所述行人的敏感部位图像的VGG16特征,组成VGG16特征矩阵;
将所述Haar_Like特征矩阵和VGG16特征矩阵进行合并,得到所述行人图像的敏感部位特征矩阵。
6.根据权利要求5所述的方法,其特征在于,所述的利用行人图像数据集中所有行人图像的敏感部位特征矩阵训练Adaboost分类器,将待检测的行人图像输入训练好的Adaboost分类器,所述Adaboost分类器输出所待检测的行人图像的检测结果,包括:
将所述行人图像数据集中每张行人图像的敏感部位特征矩阵导入,将导入的所有敏感部位特征矩阵分为训练集和测试集,对敏感部位特征矩阵中的特征值进行归一化处理,用训练集中的敏感部位特征矩阵训练Adaboost分类器,用测试集中的敏感部位特征矩阵对分类器进行测试并得到检测结果;
将待检测的行人图像输入训练好的Adaboost分类器,该Adaboost分类器输出所述待检测的行人图像的检测结果,该检测结果包括所述待检测的行人图像是正常行人图像或者分心危险行人图像的概率值。
CN201810247186.9A 2018-03-23 2018-03-23 一种行人分心行为检测方法 Pending CN108960029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810247186.9A CN108960029A (zh) 2018-03-23 2018-03-23 一种行人分心行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810247186.9A CN108960029A (zh) 2018-03-23 2018-03-23 一种行人分心行为检测方法

Publications (1)

Publication Number Publication Date
CN108960029A true CN108960029A (zh) 2018-12-07

Family

ID=64495653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810247186.9A Pending CN108960029A (zh) 2018-03-23 2018-03-23 一种行人分心行为检测方法

Country Status (1)

Country Link
CN (1) CN108960029A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135338A (zh) * 2019-05-10 2019-08-16 南京林业大学 一种针对低头族行人的安全警示系统及安全警示方法
CN111626186A (zh) * 2020-05-25 2020-09-04 宁波大学 一种司机分心检测方法
CN115188188A (zh) * 2022-07-08 2022-10-14 重庆交通大学 等待时间手机分心条件下行人过街风险评估方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778464A (zh) * 2015-05-04 2015-07-15 中国科学院重庆绿色智能技术研究院 一种基于深度卷积神经网络的服装定位检测方法
CN104933893A (zh) * 2013-08-02 2015-09-23 本田技研工业株式会社 用于车辆与行人通信的系统和方法
CN104952070A (zh) * 2015-06-05 2015-09-30 中北大学 一种类矩形引导的玉米田遥感图像分割方法
CN105447503A (zh) * 2015-11-05 2016-03-30 长春工业大学 基于稀疏表示lbp和hog融合的行人检测方法
CN105512638A (zh) * 2015-12-24 2016-04-20 黄江 一种基于融合特征的人脸检测与对齐方法
CN205281786U (zh) * 2015-12-29 2016-06-01 北京旷视科技有限公司 报警系统
CN106408932A (zh) * 2016-10-09 2017-02-15 南京大学 一种基于移动终端的“分心步行”预警系统
CN106682641A (zh) * 2017-01-05 2017-05-17 北京细推科技有限公司 基于fhog‑lbph特征的图像行人识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933893A (zh) * 2013-08-02 2015-09-23 本田技研工业株式会社 用于车辆与行人通信的系统和方法
CN104778464A (zh) * 2015-05-04 2015-07-15 中国科学院重庆绿色智能技术研究院 一种基于深度卷积神经网络的服装定位检测方法
CN104952070A (zh) * 2015-06-05 2015-09-30 中北大学 一种类矩形引导的玉米田遥感图像分割方法
CN105447503A (zh) * 2015-11-05 2016-03-30 长春工业大学 基于稀疏表示lbp和hog融合的行人检测方法
CN105512638A (zh) * 2015-12-24 2016-04-20 黄江 一种基于融合特征的人脸检测与对齐方法
CN205281786U (zh) * 2015-12-29 2016-06-01 北京旷视科技有限公司 报警系统
CN106408932A (zh) * 2016-10-09 2017-02-15 南京大学 一种基于移动终端的“分心步行”预警系统
CN106682641A (zh) * 2017-01-05 2017-05-17 北京细推科技有限公司 基于fhog‑lbph特征的图像行人识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHANGTING HE 等: "A class participation enrollment system based on face recognition", 《2017 2ND INTERNATIONAL CONFERENCE ON IMAGE, VISION AND COMPUTING (ICIVC)》 *
PHILIP: "Speeding Up HOG and LBP Features for Pedestrian Detection by Multiresolution Techniques", 《 ADVANCES IN VISUAL COMPUTING》 *
YARU DONG 等: "Unconscious Behavior Detection for Pedestrian Safety Based on Gesture Features", 《2017 18TH INTERNATIONAL CONFERENCE ON PARALLEL AND DISTRIBUTED COMPUTING, APPLICATIONS AND TECHNOLOGIES》 *
YU WANG 等: "A Fast Feature Fusion Algorithm in Image Classification for Cyber Physical Systems", 《IEEE ACCESS》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135338A (zh) * 2019-05-10 2019-08-16 南京林业大学 一种针对低头族行人的安全警示系统及安全警示方法
CN111626186A (zh) * 2020-05-25 2020-09-04 宁波大学 一种司机分心检测方法
CN115188188A (zh) * 2022-07-08 2022-10-14 重庆交通大学 等待时间手机分心条件下行人过街风险评估方法
CN115188188B (zh) * 2022-07-08 2023-09-05 重庆交通大学 等待时间手机分心条件下行人过街风险评估方法

Similar Documents

Publication Publication Date Title
Shaheen et al. Impact of automatic feature extraction in deep learning architecture
Wang et al. Deeply-learned feature for age estimation
CN106023065B (zh) 一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法
Opelt et al. Learning an alphabet of shape and appearance for multi-class object detection
Laptev Improving object detection with boosted histograms
US11600067B2 (en) Action recognition with high-order interaction through spatial-temporal object tracking
AlDahoul et al. Real‐Time Human Detection for Aerial Captured Video Sequences via Deep Models
CN108304788A (zh) 基于深度神经网络的人脸识别方法
Ramanan et al. Using temporal coherence to build models of animals
KR20200000824A (ko) 중심 분산 손실 함수를 활용한 딥 러닝 모델 기반의 얼굴 표정 인식 방법
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
KR101687217B1 (ko) 인터벌 타입-2 rbf 신경회로망 기반 ct 기법을 이용한 강인한 얼굴 인식 패턴 분류 방법 및 이를 실행하기 위한 시스템
Nguyen et al. Hybrid deep learning-Gaussian process network for pedestrian lane detection in unstructured scenes
CN108960029A (zh) 一种行人分心行为检测方法
Kowsher et al. Detecting third umpire decisions & automated scoring system of cricket
Li et al. Learning cascaded shared-boost classifiers for part-based object detection
Suzuki et al. Skeleton-based explainable human activity recognition for child gross-motor assessment
CN108960005A (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统
Bansal et al. Mid-level elements for object detection
Santosh et al. Recent Trends in Image Processing and Pattern Recognition: Third International Conference, RTIP2R 2020, Aurangabad, India, January 3–4, 2020, Revised Selected Papers, Part I
Sayın et al. Proposal of New Dataset for Child Face Expression Recognition and Comparison of Deep Learning Models on The Proposed Dataset
Rasche Computer Vision
Belver et al. Comparative study of human age estimation based on hand-crafted and deep face features
Moayedi et al. Human action recognition: Learning sparse basis units from trajectory subspace
Barbu et al. Data Driven Markov Chain Monte Carlo

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181207