CN106407926A - 一种行人检测方法及装置 - Google Patents

一种行人检测方法及装置 Download PDF

Info

Publication number
CN106407926A
CN106407926A CN201610814791.0A CN201610814791A CN106407926A CN 106407926 A CN106407926 A CN 106407926A CN 201610814791 A CN201610814791 A CN 201610814791A CN 106407926 A CN106407926 A CN 106407926A
Authority
CN
China
Prior art keywords
image
pedestrian
subregion
queue
described object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610814791.0A
Other languages
English (en)
Other versions
CN106407926B (zh
Inventor
邹博
刘玉洁
唐闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN201610814791.0A priority Critical patent/CN106407926B/zh
Publication of CN106407926A publication Critical patent/CN106407926A/zh
Application granted granted Critical
Publication of CN106407926B publication Critical patent/CN106407926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Abstract

本发明实施例公开了一种行人检测方法及装置,提高行人检测的准确率。其中,所述方法包括:获取被监控区域的视频图像,并对视频图像进行划分,得到若干个图像子区域;利用支持向量机对图像子区域进行归类,得到图像子区域中的对象是否为行人的归类结果;若所述图像子区域中对象的归类结果为行人,则根据所述图像子区域与之前所述支持向量机输出的图像子区域的重合度,判断所述对象是否首次出现,若是,则利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式;若所述对象的行为模式为预设行为模式,则将所述对象识别为行人,实现对所述视频图像中行人的检测。

Description

一种行人检测方法及装置
技术领域
本发明涉及图像处理领域,尤其涉及一种行人检测方法及装置。
背景技术
视频监控系统是安全防范系统的重要组成部分,目前已广泛应用到各个领域中。视频监控设备一般包括视频采集设备和图像处理设备。其中,视频采集设备用于采集视频,例如摄像头等,图像处理设备用于对采集得到的视频图像进行处理。在一些应用场景中,所述视频监控系统用于对行人进行检测。例如,高速路是一般是不允许行人出现的,若所述视频监控系统检测到被监控区域出现行人,则应当提示交通管理员进行处理。
目前常用的行人检测方法主要包括如下步骤:首先利用训练样本构建支持向量机(Support Vector Machine,简称SVM),所述支持向量机是一种机器学习的分类器,所述训练样本包括行人图像样本和非行人图像样本,通过对所述训练样本的特征进行学习,所述支持向量机将所述训练样本分为上述两个类别。然后,将所述视频采集设备采集到的视频图像进行划分,得到若干个图像子区域,并将所述图像子区域输入到支持向量机中,以将所述视频图像中的行人检测出来。
然而,当视频图像的画面比较复杂的情况下,有些图像子区域中本来没有行人,经过所述支持向量机检测,被误检为有行人,导致行人检测的准确率较低。
发明内容
为了解决现有技术中存在的技术问题,本发明提供一种行人检测方法及装置,提高行人检测的准确率。
本发明实施例提供了一种行人检测方法,所述方法包括:
获取被监控区域的视频图像,并对所述视频图像进行划分,得到若干个图像子区域;
利用支持向量机对所述图像子区域进行归类,得到所述图像子区域中的对象是否为行人的归类结果;所述支持向量机是采用训练样本进行训练得到的分类器,所述训练样本包括行人样本和非行人样本;
若所述图像子区域中对象的归类结果为行人,则根据所述图像子区域与之前所述支持向量机输出的图像子区域的重合度,判断所述对象是否首次出现,若是,则利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式;
若所述对象的行为模式为预设行为模式,则将所述对象识别为行人,实现对所述视频图像中行人的检测。
优选的,所述利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式包括:
判断所述对象是否满足第一条件和/或第二条件,若是,则将图像子区域中所述对象的行为模式识别为预设行为模式;若否,则将所述对象的行为模式识别为非预设行为模式;
其中,所述第一条件为:所述对象的移动速度在第一预设范围内,所述对象的移动速度根据所述对象对应的连续多个图像子区域分别在各自对应的视频图像中的位置,以及所述连续多个图像子区域对应的时间段得到;
所述第二条件为:所述对象的运动轨迹为曲线,所述对象的运动轨迹根据与所述对象对应的连续多个图像子区域分别在各自对应的视频图像中的位置得到。
优选的,所述根据所述图像子区域与之前的归类结果为行人的图像子区域的重合度,判断所述对象是否首次出现包括:
确定每个已建队列中与所述图像子区域在时间上最近的第一预设数量的待比较图像子区域,其中,所述已建队列的第一个图像子区域对应的对象为首次出现的行人,同一个已建队列对应相同的对象,不同的已建队列对应不同的对象;
判断所述图像子区域与各个所述待比较图像子区域的重合度是否均小于或等于预设重合度。
优选的,若所述对象首次出现,则所述方法还包括:
建立一个新队列,并将所述图像子区域列于所述新队列的首位。
优选的,若所述对象非首次出现,和/或,若所述图像子区域中对象的归类结果为非行人,则所述方法还包括:
确定与所述图像子区域的重合度最高的所述待比较图像子区域,所述重合度最高的所述待比较图像子区域对应的已建队列称为目标队列;
将所述图像子区域按照时间顺序加入到所述目标队列中。
优选的,所述方法还包括:
按照所述归类结果对所述图像子区域建立标签;
在将所述图像子区域按照时间顺序加入到所述目标队列中后,所述方法还包括:
判断所述目标队列中,与所述图像子区域临近的第二预设数量的图像子区域的标签是否均为非行人,若是,则删除所述目标队列。
优选的,若所述目标队列中,与所述图像子区域临近的第二预设数量的图像子区域的标签不均为非行人,则所述方法还包括:
判断所述目标序列中包括的图像子区域的数量是否大于或等于第一阈值,若是,则执行利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式的步骤;
所述利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式包括:
利用所述目标队列中标签为行人的图像子区域对所述对象进行跟踪,得到所述对象的行为模式。
优选的,若所述目标序列中包括的图像子区域的数量大于或等于第一阈值,则所述方法还包括:
判断所述目标序列中标签为行人的图像子区域的数量是否大于或等于第二阈值,若是,则执行利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式的步骤。
优选的,所述对所述视频图像进行划分,得到若干个图像子区域包括:
将所述视频图像划分为前景区域和背景区域,所述前景区域为运动对象在所述视频图像中的区域,所述背景区域为静止对象在所述视频图像中的区域;
所述利用支持向量机对所述图像子区域进行归类,得到所述图像子区域中的对象是否为行人的归类结果包括:
利用所述支持向量机对所述前景区域进行归类,得到所述前景区域中的运动对象是否为行人的归类结果。
优选的,所述方法包括:
判断所述前景区域的形状特征是否满足预设条件,若是,则执行所述利用支持向量机对所述前景区域进行归类的步骤。
优选的,所述前景区域为矩形,所述判断所述前景区域的形状特征是否满足预设条件包括:
判断所述前景区域的长度与宽度的比值是否在第一预设范围内。
优选的,所述判断所述前景区域的形状特征是否满足预设条件还包括:
判断所述前景区域的宽度是否在第二预设范围内。
优选的,所述方法还包括:
预先利用所述训练样本训练所述支持向量机,以使所述支持向量机将所述前景区域中的运动对象归类为行人或非行人。
优选的,所述预先利用所述训练样本训练所述支持向量机包括:
提取每个训练样本分别对应的梯度方向直方图特征向量,每个所述梯度方向直方图特征向量均包括相同数量维度的特征值;
计算每个维度对应的各个梯度方向直方图特征向量中的特征值的方差;
确定方差最大的前N个维度,所述N为大于1且小于所述梯度方向直方图特征向量中维度总个数的整数;
利用所述方差最大的前N个维度分别对应的各个训练样本的特征值对所述支持向量机进行训练。
优选的,所述利用支持向量机对所述前景区域进行归类包括:
提取所述前景区域的梯度方向直方图特征向量,所述前景区域的梯度方向直方图特征向量包括的维度数量与所述训练样本的梯度方向直方图特征向量包括的维度数量相同;
从所述前景区域的梯度方向直方图特征向量中,筛选出与所述方差最大的前N个维度对应的特征值;
利用训练完成的所述支持向量机以及筛选得到的特征值对所述前景区域进行归类。
优选的,所述非行人样本包括其他非行人样本以及如下两种样本的至少其中之一:护栏样本和汽车样本。
本发明实施例还提供了一种行人检测装置,所述装置包括:图像划分单元、归类单元、第一判断单元、跟踪单元和行人识别单元;
其中,所述图像划分单元,用于获取被监控区域的视频图像,并对所述视频图像进行划分,得到若干个图像子区域;
所述归类单元,用于利用支持向量机对所述图像子区域进行归类,得到所述图像子区域中的对象是否为行人的归类结果;所述支持向量机是采用训练样本进行训练得到的分类器,所述训练样本包括行人样本和非行人样本;
所述第一判断单元,用于若所述图像子区域中对象的归类结果为行人,则根据所述图像子区域与之前所述支持向量机输出的图像子区域的重合度,判断所述对象是否首次出现,若是,则激活所述跟踪单元;
所述跟踪单元,用于利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式;
所述行人识别单元,用于若所述对象的行为模式为预设行为模式,则将所述对象识别为行人,实现对所述视频图像中行人的检测。
优选的,所述跟踪单元包括:第二判断单元、第一模式识别单元和第二模式识别单元;
所述第二判断单元,用于判断所述对象是否满足第一条件和/或第二条件,若是,则激活所述第一模式识别单元;若否,则激活所述第二模式识别单元;
所述第一模式识别单元,用于将图像子区域中所述对象的行为模式识别为预设行为模式;
所述第二模式识别单元,用于将所述对象的行为模式识别为非预设行为模式;
其中,所述第一条件为:所述对象的移动速度在第一预设范围内,所述对象的移动速度根据所述对象对应的连续多个图像子区域分别在各自对应的视频图像中的位置,以及所述连续多个图像子区域对应的时间段得到;
所述第二条件为:所述对象的运动轨迹为曲线,所述对象的运动轨迹根据与所述对象对应的连续多个图像子区域分别在各自对应的视频图像中的位置得到。
优选的,所述第一判断单元包括:子区域确定单元和第一判断子单元;
所述子区域确定单元,用于确定每个已建队列中与所述图像子区域在时间上最近的第一预设数量的待比较图像子区域,其中,所述已建队列的第一个图像子区域对应的对象为首次出现的行人,同一个已建队列对应相同的对象,不同的已建队列对应不同的对象;
所述第一判断子单元,用于判断所述图像子区域与各个所述待比较图像子区域的重合度是否均小于或等于预设重合度。
优选的,当所述第一判断单元判断出所述对象首次出现,则所述装置还包括:
新队列建立单元,用于建立一个新队列,并将所述图像子区域列于所述新队列的首位。
优选的,当所述第一判断单元判断出所述对象非首次出现,则所述装置还包括:
队列加入单元,用于确定与所述图像子区域的重合度最高的所述待比较图像子区域,所述重合度最高的所述待比较图像子区域对应的已建队列称为目标队列,并将所述图像子区域按照时间顺序加入到所述目标队列中。
优选的,所述装置还包括:标签建立单元、第三判断单元和删除单元;
其中,所述标签建立单元,用于按照所述归类结果对所述图像子区域建立标签;
所述第三判断单元,用于判断所述目标队列中,与所述图像子区域临近的第二预设数量的图像子区域的标签是否均为非行人,若是,则激活所述删除单元;
所述删除单元,用于删除所述目标队列。
优选的,当所述第三判断单元判断出所述目标队列中,与所述图像子区域临近的第二预设数量的图像子区域的标签不均为非行人,则所述装置还包括:
第四判断单元,用于判断所述目标序列中包括的图像子区域的数量是否大于或等于第一阈值,若是,则激活所述跟踪单元;
所述跟踪单元,具体用于利用所述目标队列中标签为行人的图像子区域对所述对象进行跟踪,得到所述对象的行为模式。
优选的,若第四判断单元判断出所述目标序列中包括的图像子区域的数量大于或等于第一阈值,则所述装置还包括:
第五判断单元,用于判断所述目标序列中标签为行人的图像子区域的数量是否大于或等于第二阈值,若是,则激活所述跟踪单元。
优选的,所述图像划分单元具体包括:图像获取单元和图像划分子单元;
所述图像获取单元,用于获取被监控区域的视频图像;
所述图像划分子单元,用于将所述视频图像划分为前景区域和背景区域,所述前景区域为运动对象在所述视频图像中的区域,所述背景区域为静止对象在所述视频图像中的区域;
所述归类单元,具体用于:
利用所述支持向量机对所述前景区域进行归类,得到所述前景区域中的运动对象是否为行人的归类结果。
优选的,所述装置还包括:
第六判断单元,用于判断所述前景区域的形状特征是否满足预设条件,若是,则激活所述归类单元。
优选的,所述前景区域为矩形,所述第六判断单元,具体用于:
判断所述前景区域的长度与宽度的比值是否在第一预设范围内。
优选的,所述第六判断单元,还具体用于:
判断所述前景区域的宽度是否在第二预设范围内。
优选的,所述装置还包括:
预先训练单元,用于预先利用所述训练样本训练所述支持向量机,以使所述支持向量机将所述前景区域中的运动对象归类为行人或非行人。
优选的,所述预先训练单元包括:第一向量提取单元、计算单元、维度确定单元和训练子单元;
其中,所述第一向量提取单元,用于提取每个训练样本分别对应的梯度方向直方图特征向量,每个所述梯度方向直方图特征向量均包括相同数量维度的特征值;
所述计算单元,用于计算每个维度对应的各个梯度方向直方图特征向量中的特征值的方差;
所述维度确定单元,用于确定方差最大的前N个维度,所述N为大于1且小于所述梯度方向直方图特征向量中维度总个数的整数;
所述训练子单元,用于利用所述方差最大的前N个维度分别对应的各个训练样本的特征值对所述支持向量机进行训练。
优选的,所述归类单元包括:
第二向量提取单元、筛选单元和归类子单元;
所述第二向量提取单元,用于提取所述前景区域的梯度方向直方图特征向量,所述前景区域的梯度方向直方图特征向量包括的维度数量与所述训练样本的梯度方向直方图特征向量包括的维度数量相同;
所述筛选单元,用于从所述前景区域的梯度方向直方图特征向量中,筛选出与所述方差最大的前N个维度对应的特征值;
所述归类子单元,用于利用训练完成的所述支持向量机以及筛选得到的特征值对所述前景区域进行归类。
本发明在获取被监控区域的视频图像,并对所述视频图像进行划分,得到若干个图像子区域,然后利用支持向量机对所述图像子区域进行归类,得到所述图像子区域中的对象是否为行人的归类结果后,若所述图像子区域中对象的归类结果为行人,则根据所述图像子区域与之前所述支持向量机输出的图像子区域的重合度,判断所述对象是否首次出现,若是,则利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式,若所述对象的行为模式为预设行为模式,则将所述对象识别为行人,实现对所述视频图像中行人的检测。相对于现有技术仅依靠支持向量机对行人进行检测的方案,本发明有效提高了行人检测的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的一种行人检测方法的流程图;
图2为本发明实施例二提供的一种行人检测方法的流程图;
图3为本发明实施例二中利用监控设备对高速公路进行监控得到的视频图像的其中一个示意图;
图4为本发明实施例二中利用监控设备对高速公路进行监控得到的视频图像的另外一个示意图;
图5为本发明实施例二中利用背景差分方法对图4进行检测得到的运动对象示意图;
图6为本发明实施例四中支持向量机的分类算法的原理示意图;
图7a为本发明实施例四中胞元划分示意图;
图7b为本发明实施例四中块组合示意图;
图8为本发明实施例四提供的一种行人检测方法的流程图;
图9为本发明实施例五提供的一种行人检测装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
参见图1,该图为本发明实施例一提供的一种行人检测方法的流程图。
本实施例提供的行人检测方法包括如下步骤:
步骤S101:获取被监控区域的视频图像,并对所述视频图像进行划分,得到若干个图像子区域。
本发明不对所述视频图像的划分方法进行限定,可以是按照预设大小进行划分,也可以按照具体应用场景的需求进行划分。通过对所述视频图像进行划分,得到若干个图像子区域。
本发明可以将所述若干个图像子区域均输入至所述支持向量机中一一进行归类,还可以从所述若干个图像子区域中选取一些与行人相关的图像子区域输入到支持向量机中进行归类,其余与行人不相关的图像子区域不参与归类,以便减少支持向量机的运算量,提高行人检测的效率。关于如何从所述视频图像中选取与行人相关的图像子区域将在下面的实施例中描述,此处不再赘述。
步骤S102:利用支持向量机对所述图像子区域进行归类,得到所述图像子区域中的对象是否为行人的归类结果。
所述支持向量机是采用训练样本进行训练得到的分类器,所述训练样本包括行人样本和非行人样本。在将所述图像子区域输入到经过训练的所述支持向量机后,能够得到所述图像子区域中的对象是否为行人的归类结果。
关于所述支持向量机的工作原理将在下面的实施例进行详细阐述,此处也不再赘述。
步骤S103:若所述图像子区域中对象的归类结果为行人,则根据所述图像子区域与之前所述支持向量机输出的图像子区域重合度,判断所述对象是否首次出现,若是,则执行步骤S104。
步骤S104:利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式。
步骤S105:若所述对象的行为模式为预设行为模式,则将所述对象识别为行人,实现对所述视频图像中行人的检测。
在本实施例中,所述支持向量机对所述图像子区域中对象的归类结果为行人,该归类结果有可能是错误的,即误将一些非行人归类为行人。为了鉴别这种错误,本实施例在得到所述支持向量机对图像子区域中对象的归类结果为行人后,获取所述图像子区域,并根据所述图像子区域与之前的归类结果为行人的图像子区域的重合度,判断所述图像子区域中的对象是否首次出现,所述首次出现是指所述对象第一次出现在被监控区域内。具体的判断过程可以是判断所述图像子区域与之前的归类结果为行人的图像子区域的重合度是否均小于预设重合度,若是,则认为所述图像子区域中的对象首次出现。如果是首次出现,则利用与所述对象对应的连续多个图像子区域,对所述对象进行跟踪,以便得到所述对象的行为模式。其中,所述与所述对象对应的连续多个图像子区域是指满足重合度条件的连续多个图像子区域,所述连续多个图像子区域的任意两个相邻的图像子区域的重合度均大于或等于预设重合度。
因为行人有其特有的行为模式,因此,如果所述对象的行为模式符合预设行为模式,则认为该对象为行人;如果不符合,则认为该对象不为行人。比如,一般情况下,行人的移动速度是在一定的范围内的,移动速度过快或过慢的对象为行人的可能性较小,因此可以通过判断所述对象的移动速度是否在第一预设范围(例如[0,20km/h])内,来判断该对象是否为行人。所述对象的移动速度可以通过与该对象对应的连续多个图像子区域分别在各自视频图像中的位置得到。具体的,可以获取与该对象对应的任意两个图像子区域中心点的位置坐标之间的位移,以及这两个图像子区域对应的时间段,得到该对象在视频图像中的移动速度。
若监控的应用场景为高速公路,则所述第一预设范围应当大于零,且小于某个阈值。因为通常在高速公路上,行人不太可能静止很久。当根据连续较多帧得到的运动对象的移动速度等于零时,认为该运动对象不是行人,而可能是遗落在路上的某个东西。
此外,行人的轨迹一般为曲线,轨迹为直线的对象是行人的可能性较小。因此可以通过判断所述对象的轨迹是否为曲线来判断该对象是否为行人。所述对象的轨迹可以通过与该对象对应的连续多个图像子区域的位置来确定,具体的,可以获取与该对象对应的连续多个图像子区域中心点的坐标,并计算相邻中心点之间的连线的斜率是否均相同,如果不是,则认为该对象的轨迹为曲线;如果是,则认为该对象的轨迹为直线。或者,将所述中心点连接在一起,得到一条线,然后判断改线的曲率是否在某个预设区间内,如果是,则认为该线为直线;如果否,则认为该线为曲线。
通过关于移动速度的第一条件和关于轨迹的第二条件这两个条件中的至少其中一个条件,可以将一部分对象被支持向量机归类为行人,但其实为非行人的图像子区域剔除掉,以提高行人的检测效率。
实施例二
参见图2,该图为本发明实施例二提供的一种行人检测方法的流程图。
本实施例提供的行人检测方法包括如下步骤:
步骤S201:获取被监控区域的视频图像,并对所述视频图像进行划分,得到若干个图像子区域。
步骤S202:利用支持向量机对所述图像子区域进行归类,得到所述图像子区域中的对象是否为行人的归类结果,并按照所述归类结果对所述图像子区域建立标签。
在本实施例中,当所述支持向量机输出所述图像子区域对象的归类结果时,按照归类结果对所述图像子区域建立标签,便于后续对所述图像子区域归类结果的查看。当然,建立标签并不构成对本发明的限定,本领域技术人员还可以使用其他技术手段。
步骤S203:根据所述图像子区域与之前的归类为行人的图像子区域的重合度,判断所述对象是否首次出现,若是,则执行步骤S204;若否,则执行步骤S205。
关于如何判断对象是否首次出现,在本实施例中,可以通过如下方式:当所述支持向量机输出第一个其对象被归类为行人的图像子区域后,为该图像子区域建立一个新队列,以便对该对象进行跟踪。而所述支持向量机后续输出的图像子区域,在判断是否首次出现时,则确定每个已建队列中与所述图像子区域在时间上最近的第一预设数量的待比较图像子区域,其中,同一个已建队列对应相同的对象,不同的已建队列对应不同的对象。所述第一预设数量可以是一个,也可以是多个,本发明不做具体限定。然后,判断所述图像子区域与各个所述待比较图像子区域的重合度是否均小于或等于预设重合度,若是,则认为该图像子区域的对象为首次出现;若否,则认为该图像子区域的对象为非首次出现。
例如,假设已建序列有三个,分别为序列A、序列B和序列C,所述序列A对应对象A,所述序列B对应对象B,所述对象C对应对象C。每个已建序列的第一个图像子区域的对象均被支持向量机归类为行人。当所述支持向量机输出新的图像子区域X时,确定这三个序列中最后一个图像子区域(即所述第一预设数量为一个),因为图像子区域是按照时间先后顺序进行的排序,因此各序列最后一个图像子区域和所述图像子区域X在时间上是最近的。假设所述序列A包括图像子区域A1、A2、A3、A4和A5;所述序列B包括图像子区域B1、B2、B3、B4;所述序列C包括图像子区域C1和C2。接下来,分别计算图像子区域X与图像子区域A5、B4以及C2的重合度M1、M2和M3,并判断所述重合度M1、M2和M3是否均小于预设重合度M0,若是,则认为所述图像子区域X中的对象首次出现,若否,则认为所述图像子区域X中的对象非首次出现。
此外,为了计算所述重合度,需要首先获取所述图像子区域以及所述待比较图像子区域在各自对应的视频图像中的位置。以所述图像子区域为矩形为例,假设所述图像子区域以及待比较图像子区域各自对应的视频图像的坐标系相同,那么可以分别获取所述图像子区域各顶点的坐标,以及所述待比较图像子区域的各顶点的坐标,然后计算所述图像子区域与所述待比较图像子区域的重合面积,并将重合面积与所述图像子区域的面积的百分比作为所述重合度。
步骤S204:若所述图像子区域的标签为行人,则建立一个新队列,并将所述图像子区域列于所述新队列的首位;若所述图像子区域的标签为非行人,则删除所述图像子区域。
在本实施例中,当所述图像子区域的对象是首次出现,且所述图像子区域的标签为行人,则建立一个新队列,并将所述图像子区域列于所述新队列的首位,后续加入该队列的图像子区域按照加入的时间进行排序,以便于对所述对象进行跟踪。当所述图像子区域的对象是首次出现,且所述图像子区域的标签为非行人,则直接删除。
步骤S205:确定与所述图像子区域的重合度最高的所述待比较图像子区域,所述重合度最高的所述待比较图像子区域对应的已建队列称为目标队列,并将所述图像子区域按照时间顺序加入到所述目标队列中,然后执行步骤S206。
以上述例子为例,假设所述重合度M1、M2和M3中至少有一个大于所述预设重合度M0,即所述图像子区域X中的对象非首次出现,则可以将所述图像子区域X加入到与其重合度最高的图像子区域对应的已建队列中。比如,假设所述重合度M1的值最大,那么就将所述图像子区域X加入到目标队列A中。
需要注意的是,在本实施例中,当所述图像子区域的对象非首次出现,且满足重合度的条件时,不论该图像子区域的对象是否为行人,都可以加入到对应的目标队列中,这是为了在某些应用场景下实现对对象更好的跟踪。例如,假设在t1时刻,高速公路上有行人出现,该行人被监控设备监控,得到包含该行人的图像子区域S1,且该图像子区域S1中的对象被支持向量机归类为行人。但是在随后的t2时刻,该行人旁边路过一辆汽车,导致在视频图像中,该行人与该汽车发生重叠,那么在对视频图像进行划分的过程中,很可能将该行人和该汽车划分在一个图像子区域S2中,且所述图像子区域S2被支持向量机归类为非行人。然后在下一个时刻t3,该行人与汽车在视频图像中不发生重叠,得到的图像子区域S3中的对象被支持向量机识别为行人。如果不将所述图像子区域S2加入到与该行人对应的队列(即所述图像子区域S1加入的队列)中,那么所述图像子区域S3很可能因为与所述图像子区域S1的重合度小于预设重合度,而造成该行人被识别为首次出现,所以就会出现同一个对象对应两个甚至更多个队列的现象,这样在后续根据队列提取该对象对应的视频图像时,就会提取出多个视频片段,而不是一个完整的片段。
步骤S206:判断所述图像子区域的标签是否为行人,若否,则执行步骤S207;若是,则执行步骤S208。
步骤S207:判断所述目标队列中,与所述图像子区域临近的第二预设数量的图像子区域的标签是否均为非行人,若是,则删除所述目标队列;若否,则执行步骤S208。
步骤S208:判断所述目标队列中的图像子区域的个数是否大于或等于第一阈值,若是,则执行步骤S209。
步骤S209:判断所述目标序列中标签为行人的图像子区域的数量是否大于或等于第二阈值,若是,则执行步骤S210。
步骤S210:利用所述目标队列中标签为行人的图像子区域对所述对象进行跟踪,得到所述对象的行为模式。
步骤S211:若所述对象的行为模式为预设行为模式,则将所述对象识别为行人,实现对所述视频图像中行人的检测。
当所述图像子区域为非首次出现时,将所述图像子区域加入到对应的目标队列中。这两区分两种情况,第一种是所述图像子区域的标签为非行人,第二种是所述图像子区域的标签为行人。对于前一种情况,则判断所述目标队列中,与所述图像子区域临近的第二预设数量的图像子区域的标签是否均为非行人,也就是说,当所述目标队列中出现连续多个(第二预设数量加1个)标签为非行人的图像子区域,就表示该目标队列对应的对象离开被监控区域,而非与其他对象重叠,因此将所述目标队列删除,以使留下来的队列始终代表时间较近的对象,减少重合度计算的工作量。
对于后一种情况,则判断所述目标队列中图像子区域的个数是否大于或等于第一阈值,也就是判断所述目标队列中的图像子区域是否足够多,如果太少,不足以得到所述目标队列对应的对象的行为模式,则继续等待其他图像子区域的加入。如果总数足够了,则判断所述目标序列中标签为行人的图像子区域的数量是否大于或等于第二阈值,也就是判断标签为行人的图像子区域的数量是否足够多,如果不足,则继续等待其他图像子区域的加入;如果足够,则利用所述目标队列中标签为行人的图像子区域对所述对象进行跟踪,得到所述对象的行为模式。如果所述行为模式为预设行为模式,则将所述对象识别为行人,而且,还可以将所述目标队列对应的视频图像进行保存,以便于工作人员的查看。
当然,本实施例的上述步骤并不构成对本发明的限定,本领域技术人员可以根据实际需求自行设计。例如在实际应用中,还可以不执行所述步骤S208,直接执行步骤S209,即无需判断所述目标队列中图像子区域的总量,直接判断标签为行人的图像子区域的数量即可。
此外,当所述图像子区域的对象非首次出现,且其标签为非行人时,为了在某些应用场景下实现对对象进行更好的跟踪,可以对所述图像子区域进行一些处理,然后重新输入到支持向量机中进行归类。以上述例子为例,获取与所述图像子区域S2对应的视频图像,然后在以所述图像子区域S2为中心划定的一个区域内,按照一定间隔选取若干个与图像子区域S1的形状和大小相同的图像子区域,将这些若干个图像子区域输入到支持向量机进行归类,只要这些若干个图像子区域中其中有一个图像子区域的对象被识别为行人,就可以将该图像子区域代替所述图像子区域S2加入到所述图像子区域S1的队列中。
实施例三
本实施例详细介绍如何从所述视频图像中选取与行人相关的图像子区域,具体的,可以通过现有技术中提供的方法进行选取,例如背景差分方法,该方法适用于监控设备相对于地面为静止状态(比如所述监控设备安装在高速路监控立杆、室内墙上等等)的应用场景。所述背景差分方法的基本操作方法是:首先选取一幅或几幅视频图像建立背景模型,然后把实时采集的视频图像与背景模型进行差分运算,得到运动对象,所述运动对象为相对于地面为运动状态的对象。
举个例子,参见图3,该图为监控设备对高速公路进行监控得到的视频图像的其中一个示意图,其中,公路、地面、护栏、指示牌等属于静止对象,即相对于地面为静止状态的对象。由于在所述图3中没有运动对象,因此可以基于图3建立背景模型。参见图4,该图为监控对象对高速公路进行监控得到的视频图像的另一个示意图,除了所述静止对象,该图还包括运动对象,即汽车和行人。假设所述图4为实时采集的视频图像,那么通过将该视频图像与基于图3得到的背景模型进行差分运算,得到图5中包括两辆汽车和一个行人的运动对象。
由于运动对象通常为不规则形状,因此为了便于计算,需要根据运动对象的位置划定前景区域,即运动对象在所述视频图像中的区域。每个被识别出来的运动对象都可以分别设置一个最小外接矩形,这个最小外接矩形就表示包含所述运动对象的前景区域。当然,所述前景区域的形状和大小并不构成对本发明的限定,从形状来说,所述前景区域还可以是圆形、椭圆等规则形状,也可以是不规则形状;从大小来说,所述前景区域可以不是最小的外接框,还可以是大于所述最小外接框的一个框。除所述前景区域的其他区域均为背景区域。
也就是说,通过利用背景差分方法将所述视频图像划分为前景区域和背景区域,然后仅将可能包含运动对象的所述前景区域输入至所述支持向量机进行归类,减少了支持向量机的运算量,提高了行人检测效率。
若所述前景区域为运动对象的最小外接矩形,那么所述前景区域的形状在一定程度上能够反映运动对象的特征。对于行人而言,其最小外接矩形的形状特征通常为纵向长条状,也就是说,前景区域的长边的长度大于宽边的长度。以图5为例,所述前景区域的宽边为与水平方向平行的边,表征行人的宽度;所述前景区域的长边为与水平方向垂直方向的边,表征行人的高度。基于该形状特点,可以在将所述前景区域输入至所述支持向量机之前,判断所述前景区域的形状特征是否满足预设条件,若是,则认为所述前景区域中的运动对象可能为行人,那么就将该前景区域输入至所述支持向量机;若否,则认为所述前景区域中的运动对象不为行人,那么就不将该前景区域输入至所述支持向量机,以进一步减少支持向量机的运算量。
所述预设条件可以是所述前景区域的长度大于宽度,也可以是所述前景区域的长度与宽度的比值在第一预设范围内,所述第一预设范围可以存在上限和/或下限,例如所述前景区域的长度与宽度的比值大于或等于1.5,且小于或等于5。
为了进一步将满足所述长宽比在第一预设范围内的运动对象为非行人的前景区域剔除,在满足上述条件的基础上,所述预设条件还可以包括所述前景区域的宽度在第二预设范围内,所述第二预设范围也可以存在上限和/或下限,例如所述前景区域的宽度大于或等于20个像素。
此外,还可以通过其他算法从视频图像中选取与行人相关的图像子区域,本发明不做具体限定。例如金字塔搜索方法,该方法将所述视频图像划分为M*N(M和N均为大于或等于1的整数)的图像子区域,然后提取特征以识别每个图像子区域中是否存在行人,若是,则将所述图像子区域输入到所述支持向量机中进行归类。
实施例四
本实施例首先简单介绍一下利用支持向量机对所述前景区域进行归类的基本原理,然后介绍如何提高支持向量机的运算效率。
支持向量机的工作原理如下:
为直观表述,以二维空间为例,参见图6,若要将圆点和三角形区分开,只需要在其中间画一条直线即可,所述支持向量机的分类算法就是找到这样一条直线,而我们将这样的特征称为线性可分的特征。在二维空间里,每个点对应一个二维的特征向量。相应地,若有100维特征向量,则需要在100维的空间里计算这样一条“直线”,实现对行人的分类。但在现实情况中,特征向量往往不是线性可分的,即不存在这样一条“直线”可以把所有样本完美分开。理论上,在低维空间里线性不可分的向量,可以将其映射到高维空间里实现线性可分。高斯核函数(也叫做径向基函数,英文为Radial Basis Function,简称RBF)就是这样一种映射函数,可以将有限维空间里的特征向量投射到无限维空间里,来实现对行人的分类。
由于所述支持向量机是采用训练样本进行训练得到的分类器,因此在使用支持向量机之前,需要预先利用训练样本构建支持向量机。在本实施例中,所述训练样本包括行人样本和非行人样本。训练所述支持向量机的目的在于使得在输入实时采集的视频图像的前景区域后,能够将所述前景区域中的运动对象归类为行人或非行人。若在一些应用场景下,例如高速公路上,由于环境较复杂,因此会产生较多的非行人训练样本,其数量远大于行人训练样本的数量。这样会导致上文中提到的分类“直线”向行人方向偏移,也就是说,会把一部分行人样本归类为非行人样本。为了提高所述支持向量机对行人样本的识别率,可以将所述非行人样本进行细分,再细分出至少一类,即所述非行人样本包括其他非行人样本以及至少一类细分样本,例如护栏样本、汽车样本等。
下面介绍所述支持向量机具体的训练过程:
首先输入训练样本,然后从所述训练样本中提取每个训练样本分别对应的梯度方向直方图(Histograms of Oriented Gradient,简称HOG)特征向量(以下简称HOG特征向量)。所述HOG特征向量是一种局域描述符,通过对视频图像局部区域的边缘或梯度的分布进行提取,可以很好的表征局部区域内目标对象的边缘或梯度结构,进而表征目标对象的形状。
所述HOG特征向量中包含若干个特征值,所述特征值表示某个块(Block)中落在某个梯度方向(bin)区间的胞元的数量。
所述块包括至少一个细胞单元(Cell,以下简称胞元),所述块的数量通常根据实际需求自行设计。为了能较好的表达行人的特征,通常会设计由不同数量和形状的胞元进行组合的块。例如,参见图7a,在该图中,将图像划分为3*6的胞元,从图中可以直观的看出,每个胞元都涵盖了行人的一部分生理特征,如:头,肩,臂,手,腿,脚等。所述块的组合如图7b所示,由该图可以看出,所述块可以由1*1(共18个)、1*2(共15个)、2*2(共10个)、3*2(共5个)、3*3(共2个)、3*6(共1个)的胞元组合而成,一共有51个块,每个块都代表不同的取样区域。
所述梯度方向的范围通常为0度到180度,假设以10度为一个区间,即按每10度进行数据的归一化,那么得到的梯度方向数量为180/10=18个。
在计算所述特征值时,首先以胞元为单位计算其梯度方向,所述梯度方向可以通过如下公式计算:其中,所述α为胞元的梯度方向,所述t1为该胞元最邻近的右边的胞元的梯度值,所述t2为该胞元最邻近的左边的胞元的梯度值,所述t3为该胞元最邻近的下边的胞元的梯度值,所述t4为该胞元最邻近的上边的胞元的梯度值。
在计算得到该胞元的梯度方向后,将其进行归一化,即将该梯度方向归为某个梯度方向区间。统计块中的每个胞元落在各个梯度方向区间的个数,即得到该块对应的18维的特征值。
举个例子,假设某块包括四个胞元,分别为胞元A、胞元B、胞元C以及胞元D。其中,所述胞元A的梯度方向为45,所述胞元B的梯度方向为50所述胞元C的梯度方向为60度,所述胞元D的梯度方向为120度。若按照归一化幅度为10度,那么40度和45度均落入40度—50度的区间内,60度落入50度—60度的区间内,120度落入110度—120度的区间内。那么将各个区间对应的梯度方向数量按顺序排列,就可以得到该块对应的18维的特征值:000021000001000000,其中第5个特征值表示落在梯度方向为40度—50度的区间内的胞元数目为两个,第6个特征值表示落在梯度方向为50度—60度的区间的胞元数目为1,第12个特征值表示落在梯度方向为110度—120度的区间的胞元数目为1,其余特征值表示落在其他梯度方向区间的胞元数量为0。
所述HOG特征向量中特征值的维度由梯度方向的数量和块的数量决定,具体为二者之间的乘积。以上述例子为例,所述HOG特征向量中特征值的维度为51*18=918个。
因为每个训练样本都有对应的HOG特征向量,每个所述HOG特征向量均包括相同数量维度的特征值,所以若将各个HOG特征向量的所有维度的特征值均参与到支持向量机的分类计算中,显然非常耗时。
为了解决这个问题,本实施例提供了一种行人检测方法,以提高支持向量机的运算效率。参见图8,所述方法包括如下步骤:
步骤S301:预先利用所述训练样本训练所述支持向量机。
所述步骤S301具体包括步骤S3011至步骤S3014:
步骤S3011:提取每个训练样本分别对应的梯度方向直方图特征向量,每个所述梯度方向直方图特征向量均包括相同数量维度的特征值。
步骤S3012:计算每个维度对应的各个梯度方向直方图特征向量中的特征值的方差。
在实际应用中,在得到各个训练样本分别对应的HOG特征向量后,可以对所述HOG特征向量中各个维度进行编号。例如,假设每个HOG特征向量都有918维,那么就从1开始编号,一直到第918号。每个HOG特征向量中相同维度编号表示的维度含义均相同。假设训练样本的数量为1000 个,那么每个维度对应的特征值的数量均为1000个。
步骤S3013:确定方差最大的前N个维度,所述N为大于1且小于所述梯度方向直方图特征向量中维度总个数的整数。
在编号之后,可以按照编号顺序依次计算每个维度对应的各个HOG特征向量中特征值的方差。方差越大,代表该维度的特征值越具有代表性。根据这个原理,我们可以采用方差最大的前N个维度对应的特征值来代表所述训练样本的前景区域中的运动对象,所述N为经验值,在实际应用中可以通过实验获得。
步骤S3014:利用所述方差最大的前N个维度分别对应的各个训练样本的特征值对所述支持向量机进行训练。
本实施例通过利用方差最大的前N个维度分别对应的各个训练样本的特征值对所述支持向量机进行训练,在尽量保证检测准确率的基础上有效降低了所述支持向量机的计算量,提高了行人的检测效率。
步骤S302:获取被监控区域的视频图像,并对所述视频图像进行划分,得到若干个图像子区域。
由于本实施例是利用所述HOG特征向量中的部分特征值对所述支持向量机进行训练,因此当获取到实时的图像子区域后,也要相应的从所述图像子区域中提取与参与到训练的部分维度对应的特征值进行分类计算。具体参见如下步骤:
步骤S303:提取所述图像子区域的梯度方向直方图特征向量,所述图像子区域的梯度方向直方图特征向量包括的维度数量与所述训练样本的梯度方向直方图特征向量包括的维度数量相同。
假设参与训练的HOG特征向量维度数量有100个,那么从所述图像子区域中提取的HOG特征向量的维度数量也为100个。
步骤S304:从所述图像子区域的梯度方向直方图特征向量中,筛选出与所述方差最大的前N个维度对应的特征值。
若在参与训练时,对每个维度进行了编号,且记录了参与训练的维度的编号,那么在本步骤中,也按照相同的编号规则对所述图像子区域HOG特征向量的各个维度进行编号,然后从所述图像子区域的HOG特征向量中筛选出与参与训练维度编号相同的维度对应的特征值,即所述方差最大的前N个维度对应的特征值,以便利用训练完成的支持向量机对筛选出来的特征值对所述图像子区域进行归类。
例如,所述HOG特征向量各个维度的编号为1—100,所述N为5,所述方差最大的前5个维度的编号分别为第4、10、38、66、79号。那么在得到所述图像子区域的HOG特征向量后,按照相同的编号规则对所述HOG特征向量的100维度进行编号,然后提取编号分别为第4、10、38、66、79号对应的特征值,利用这5个特征值对所述图像子区域进行归类。
步骤S305:利用训练完成的所述支持向量机以及筛选得到的特征值对所述图像子区域进行归类。
相对于现有技术中将HOG特征向量中所有维度对应的特征值均参与到支持向量机的分类计算中的技术方案,本实施例通过选择所述图像子区域中方差最大的前N个维度,即最能代表行人的前N个维度对应的特征值参与分类计算,在尽量保证检测准确度的基础上,减少了分类计算的数据量,提高了行人检测效率。
步骤S306:若所述图像子区域中对象的归类结果为行人,则根据所述图像子区域与之前所述支持向量机输出的图像子区域的重合度,判断所述对象是否首次出现,若是,则执行步骤S307。
步骤S307:利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式。
步骤S308:若所述对象的行为模式为预设行为模式,则将所述对象识别为行人,实现对所述视频图像中行人的检测。
所述步骤S306至所述步骤S308与实施例一中的步骤S103至步骤S105相同,此处不再赘述。
基于以上实施例提供的一种行人检测方法,本发明实施例还提供了一种行人检测装置,下面结合附图来详细说明其工作原理。
实施例四
参见图9,该图为本发明实施例四提供的一种行人检测装置的结构框图。
本实施例提供的行人检测装置包括:图像划分单元101、归类单元102、第一判断单元103、跟踪单元104和行人识别单元105;
其中,所述图像划分单元101,用于获取被监控区域的视频图像,并对所述视频图像进行划分,得到若干个图像子区域;
所述归类单元102,用于利用支持向量机对所述图像子区域进行归类,得到所述图像子区域中的对象是否为行人的归类结果;所述支持向量机是采用训练样本进行训练得到的分类器,所述训练样本包括行人样本和非行人样本;
所述第一判断单元103,用于若所述图像子区域中对象的归类结果为行人,则根据所述图像子区域与之前所述支持向量机输出的图像子区域的重合度,判断所述对象是否首次出现,若是,则激活所述跟踪单元;
所述跟踪单元104,用于利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式;
所述行人识别单元105,用于若所述对象的行为模式为预设行为模式,则将所述对象识别为行人,实现对所述视频图像中行人的检测。
在本实施例中,所述支持向量机对所述图像子区域中对象的归类结果为行人,该归类结果有可能是错误的,即误将一些非行人归类为行人。为了鉴别这种错误,本实施例在得到所述支持向量机对图像子区域中对象的归类结果为行人后,获取所述图像子区域,并根据所述图像子区域与之前的归类结果为行人的图像子区域的重合度,判断所述图像子区域中的对象是否首次出现,所述首次出现是指所述对象第一次出现在被监控区域内。具体的判断过程可以是判断所述图像子区域与之前的归类结果为行人的图像子区域的重合度是否均小于预设重合度,若是,则认为所述图像子区域中的对象首次出现。如果是首次出现,则利用与所述对象对应的连续多个图像子区域,对所述对象进行跟踪,以便得到所述对象的行为模式。其中,所述与所述对象对应的连续多个图像子区域是指满足重合度条件的连续多个图像子区域,所述连续多个图像子区域的任意两个相邻的图像子区域的重合度均大于或等于预设重合度。
可选的,所述跟踪单元104包括:第二判断单元、第一模式识别单元和第二模式识别单元;
所述第二判断单元,用于判断所述对象是否满足第一条件和/或第二条件,若是,则激活所述第一模式识别单元;若否,则激活所述第二模式识别单元;
所述第一模式识别单元,用于将图像子区域中所述对象的行为模式识别为预设行为模式;
所述第二模式识别单元,用于将所述对象的行为模式识别为非预设行为模式;
其中,所述第一条件为:所述对象的移动速度在第一预设范围内,所述对象的移动速度根据所述对象对应的连续多个图像子区域分别在各自对应的视频图像中的位置,以及所述连续多个图像子区域对应的时间段得到;
所述第二条件为:所述对象的运动轨迹为曲线,所述对象的运动轨迹根据与所述对象对应的连续多个图像子区域分别在各自对应的视频图像中的位置得到。
可选的,所述第一判断单元103包括:子区域确定单元和第一判断子单元;
所述子区域确定单元,用于确定每个已建队列中与所述图像子区域在时间上最近的第一预设数量的待比较图像子区域,其中,所述已建队列的第一个图像子区域对应的对象为首次出现的行人,同一个已建队列对应相同的对象,不同的已建队列对应不同的对象;
所述第一判断子单元,用于判断所述图像子区域与各个所述待比较图像子区域的重合度是否均小于或等于预设重合度。
可选的,当所述第一判断单元判断出所述对象首次出现,则所述装置还包括:
新队列建立单元,用于建立一个新队列,并将所述图像子区域列于所述新队列的首位。
可选的,当所述第一判断单元103判断出所述对象非首次出现,则所述装置还包括:
队列加入单元,用于确定与所述图像子区域的重合度最高的所述待比较图像子区域,所述重合度最高的所述待比较图像子区域对应的已建队列称为目标队列,并将所述图像子区域按照时间顺序加入到所述目标队列中。
可选的,所述装置还包括:标签建立单元、第三判断单元和删除单元;
其中,所述标签建立单元,用于按照所述归类结果对所述图像子区域建立标签;
所述第三判断单元,用于判断所述目标队列中,与所述图像子区域临近的第二预设数量的图像子区域的标签是否均为非行人,若是,则激活所述删除单元;
所述删除单元,用于删除所述目标队列。
可选的,当所述第三判断单元判断出所述目标队列中,与所述图像子区域临近的第二预设数量的图像子区域的标签不均为非行人,则所述装置还包括:
第四判断单元,用于判断所述目标序列中包括的图像子区域的数量是否大于或等于第一阈值,若是,则激活所述跟踪单元;
所述跟踪单元,具体用于利用所述目标队列中标签为行人的图像子区域对所述对象进行跟踪,得到所述对象的行为模式。
可选的,若第四判断单元判断出所述目标序列中包括的图像子区域的数量大于或等于第一阈值,则所述装置还包括:
第五判断单元,用于判断所述目标序列中标签为行人的图像子区域的数量是否大于或等于第二阈值,若是,则激活所述跟踪单元。
实施例五
基于所述实施例四,在本实施例提供的行人检测装置中:所述图像划分单元具体包括:图像获取单元和图像划分子单元;
所述图像获取单元,用于获取被监控区域的视频图像;
所述图像划分子单元,用于将所述视频图像划分为前景区域和背景区域,所述前景区域为运动对象在所述视频图像中的区域,所述背景区域为静止对象在所述视频图像中的区域;
所述归类单元,具体用于:
利用所述支持向量机对所述前景区域进行归类,得到所述前景区域中的运动对象是否为行人的归类结果。
可选的,所述装置还包括:
第六判断单元,用于判断所述前景区域的形状特征是否满足预设条件,若是,则激活所述归类单元。
可选的,所述前景区域为矩形,所述第六判断单元,具体用于:
判断所述前景区域的长度与宽度的比值是否在第一预设范围内。
可选的,所述第六判断单元,还具体用于:
判断所述前景区域的宽度是否在第二预设范围内。
可选的,所述装置还包括:
预先训练单元,用于预先利用所述训练样本训练所述支持向量机,以使所述支持向量机将所述前景区域中的运动对象归类为行人或非行人。
可选的,所述预先训练单元包括:第一向量提取单元、计算单元、维度确定单元和训练子单元;
其中,所述第一向量提取单元,用于提取每个训练样本分别对应的梯度方向直方图特征向量,每个所述梯度方向直方图特征向量均包括相同数量维度的特征值;
所述计算单元,用于计算每个维度对应的各个梯度方向直方图特征向量中的特征值的方差;
所述维度确定单元,用于确定方差最大的前N个维度,所述N为大于1且小于所述梯度方向直方图特征向量中维度总个数的整数;
所述训练子单元,用于利用所述方差最大的前N个维度分别对应的各个训练样本的特征值对所述支持向量机进行训练。
可选的,所述归类单元包括:
第二向量提取单元、筛选单元和归类子单元;
所述第二向量提取单元,用于提取所述前景区域的梯度方向直方图特征向量,所述前景区域的梯度方向直方图特征向量包括的维度数量与所述训练样本的梯度方向直方图特征向量包括的维度数量相同;
所述筛选单元,用于从所述前景区域的梯度方向直方图特征向量中,筛选出与所述方差最大的前N个维度对应的特征值;
所述归类子单元,用于利用训练完成的所述支持向量机以及筛选得到的特征值对所述前景区域进行归类。
当介绍本发明的各种实施例的元件时,冠词“一”、“一个”、“这个”和“所述”都意图表示有一个或多个元件。词语“包括”、“包含”和“具有”都是包括性的并意味着除了列出的元件之外,还可以有其它元件。
需要说明的是,本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccess Memory,RAM)等。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于实施例四和实施例五而言,由于其基本相似于实施例一至三,所以描述得比较简单,相关之处参见实施例一至三的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外,还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本发明的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种行人检测方法,其特征在于,所述方法包括:
获取被监控区域的视频图像,并对所述视频图像进行划分,得到若干个图像子区域;
利用支持向量机对所述图像子区域进行归类,得到所述图像子区域中的对象是否为行人的归类结果;所述支持向量机是采用训练样本进行训练得到的分类器,所述训练样本包括行人样本和非行人样本;
若所述图像子区域中对象的归类结果为行人,则根据所述图像子区域与之前所述支持向量机输出的图像子区域的重合度,判断所述对象是否首次出现,若是,则利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式;
若所述对象的行为模式为预设行为模式,则将所述对象识别为行人,实现对所述视频图像中行人的检测。
2.根据权利要求1所述的方法,其特征在于,所述利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式包括:
判断所述对象是否满足第一条件和/或第二条件,若是,则将图像子区域中所述对象的行为模式识别为预设行为模式;若否,则将所述对象的行为模式识别为非预设行为模式;
其中,所述第一条件为:所述对象的移动速度在第一预设范围内,所述对象的移动速度根据所述对象对应的连续多个图像子区域分别在各自对应的视频图像中的位置,以及所述连续多个图像子区域对应的时间段得到;
所述第二条件为:所述对象的运动轨迹为曲线,所述对象的运动轨迹根据与所述对象对应的连续多个图像子区域分别在各自对应的视频图像中的位置得到。
3.根据权利要求2所述的方法,其特征在于,所述根据所述图像子区域与之前的归类结果为行人的图像子区域的重合度,判断所述对象是否首次出现包括:
确定每个已建队列中与所述图像子区域在时间上最近的第一预设数量的待比较图像子区域,其中,所述已建队列的第一个图像子区域对应的对象为首次出现的行人,同一个已建队列对应相同的对象,不同的已建队列对应不同的对象;
判断所述图像子区域与各个所述待比较图像子区域的重合度是否均小于或等于预设重合度。
4.根据权利要求3所述的方法,其特征在于,若所述对象首次出现,则所述方法还包括:
建立一个新队列,并将所述图像子区域列于所述新队列的首位。
5.根据权利要求3所述的方法,其特征在于,若所述对象非首次出现,和/或,若所述图像子区域中对象的归类结果为非行人,则所述方法还包括:
确定与所述图像子区域的重合度最高的所述待比较图像子区域,所述重合度最高的所述待比较图像子区域对应的已建队列称为目标队列;
将所述图像子区域按照时间顺序加入到所述目标队列中。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
按照所述归类结果对所述图像子区域建立标签;
在将所述图像子区域按照时间顺序加入到所述目标队列中后,所述方法还包括:
判断所述目标队列中,与所述图像子区域临近的第二预设数量的图像子区域的标签是否均为非行人,若是,则删除所述目标队列。
7.根据权利要求6所述的方法,其特征在于,若所述目标队列中,与所述图像子区域临近的第二预设数量的图像子区域的标签不均为非行人,则所述方法还包括:
判断所述目标序列中包括的图像子区域的数量是否大于或等于第一阈值,若是,则执行利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式的步骤;
所述利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式包括:
利用所述目标队列中标签为行人的图像子区域对所述对象进行跟踪,得到所述对象的行为模式。
8.根据权利要求7所述的方法,其特征在于,若所述目标序列中包括的图像子区域的数量大于或等于第一阈值,则所述方法还包括:
判断所述目标序列中标签为行人的图像子区域的数量是否大于或等于第二阈值,若是,则执行利用与所述对象对应的连续多个图像子区域对所述对象进行跟踪,得到所述对象的行为模式的步骤。
9.根据权利要求1所述的方法,其特征在于,所述对所述视频图像进行划分,得到若干个图像子区域包括:
将所述视频图像划分为前景区域和背景区域,所述前景区域为运动对象在所述视频图像中的区域,所述背景区域为静止对象在所述视频图像中的区域;
所述利用支持向量机对所述图像子区域进行归类,得到所述图像子区域中的对象是否为行人的归类结果包括:
利用所述支持向量机对所述前景区域进行归类,得到所述前景区域中的运动对象是否为行人的归类结果。
10.根据权利要求9所述的方法,其特征在于,所述方法包括:
判断所述前景区域的形状特征是否满足预设条件,若是,则执行所述利用支持向量机对所述前景区域进行归类的步骤。
CN201610814791.0A 2016-09-09 2016-09-09 一种行人检测方法及装置 Active CN106407926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610814791.0A CN106407926B (zh) 2016-09-09 2016-09-09 一种行人检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610814791.0A CN106407926B (zh) 2016-09-09 2016-09-09 一种行人检测方法及装置

Publications (2)

Publication Number Publication Date
CN106407926A true CN106407926A (zh) 2017-02-15
CN106407926B CN106407926B (zh) 2019-09-20

Family

ID=57999280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610814791.0A Active CN106407926B (zh) 2016-09-09 2016-09-09 一种行人检测方法及装置

Country Status (1)

Country Link
CN (1) CN106407926B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416295A (zh) * 2018-03-08 2018-08-17 天津师范大学 一种基于局部嵌入深度特征的行人再识别方法
CN110656599A (zh) * 2019-10-22 2020-01-07 苏州商信宝信息科技有限公司 一种基于数据处理的行人护送设备及其工作方法
CN112954268A (zh) * 2019-12-10 2021-06-11 晶睿通讯股份有限公司 队列分析方法与图像监控设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198332A (zh) * 2012-12-14 2013-07-10 华南理工大学 一种实时鲁棒的远红外车载行人检测方法
CN103324932A (zh) * 2013-06-07 2013-09-25 东软集团股份有限公司 基于视频的车辆检测跟踪方法和系统
CN103324955A (zh) * 2013-06-14 2013-09-25 浙江智尔信息技术有限公司 一种基于视频处理的行人检测方法
CN103425967A (zh) * 2013-07-21 2013-12-04 浙江大学 一种基于行人检测和跟踪的人流监控方法
CN105184229A (zh) * 2015-08-14 2015-12-23 南京邮电大学 一种动态场景下基于在线学习的实时行人检测方法
CN105809206A (zh) * 2014-12-30 2016-07-27 江苏慧眼数据科技股份有限公司 一种行人跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198332A (zh) * 2012-12-14 2013-07-10 华南理工大学 一种实时鲁棒的远红外车载行人检测方法
CN103324932A (zh) * 2013-06-07 2013-09-25 东软集团股份有限公司 基于视频的车辆检测跟踪方法和系统
CN103324955A (zh) * 2013-06-14 2013-09-25 浙江智尔信息技术有限公司 一种基于视频处理的行人检测方法
CN103425967A (zh) * 2013-07-21 2013-12-04 浙江大学 一种基于行人检测和跟踪的人流监控方法
CN105809206A (zh) * 2014-12-30 2016-07-27 江苏慧眼数据科技股份有限公司 一种行人跟踪方法
CN105184229A (zh) * 2015-08-14 2015-12-23 南京邮电大学 一种动态场景下基于在线学习的实时行人检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾晶: "基于计算机视觉的智能交通监控系统的研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416295A (zh) * 2018-03-08 2018-08-17 天津师范大学 一种基于局部嵌入深度特征的行人再识别方法
CN110656599A (zh) * 2019-10-22 2020-01-07 苏州商信宝信息科技有限公司 一种基于数据处理的行人护送设备及其工作方法
CN110656599B (zh) * 2019-10-22 2021-08-27 苏州商信宝信息科技有限公司 一种基于数据处理的行人护送设备及其工作方法
CN112954268A (zh) * 2019-12-10 2021-06-11 晶睿通讯股份有限公司 队列分析方法与图像监控设备
CN112954268B (zh) * 2019-12-10 2023-07-18 晶睿通讯股份有限公司 队列分析方法与图像监控设备

Also Published As

Publication number Publication date
CN106407926B (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
Ai et al. Automatic pixel-level pavement crack detection using information of multi-scale neighborhoods
Jahedsaravani et al. An image segmentation algorithm for measurement of flotation froth bubble size distributions
CN104268528B (zh) 一种人群聚集区域检测方法和装置
CN108960266A (zh) 图像目标检测方法及装置
CN107688784A (zh) 一种基于深层特征和浅层特征融合的字符识别方法及存储介质
CN103942560B (zh) 一种智能交通监控系统中的高分辨率视频车辆检测方法
CN103366179B (zh) 畅通路径检测中的俯视图分类
CN104866841B (zh) 一种人体目标奔跑行为检测方法
CN111626170B (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN105512618B (zh) 视频跟踪方法
Yu et al. Scene text localization using edge analysis and feature pool
CN104978567A (zh) 基于场景分类的车辆检测方法
CN110852179B (zh) 基于视频监控平台的可疑人员入侵的检测方法
CN103902966A (zh) 基于序列时空立方体特征的视频交互事件分析方法及装置
CN102087790A (zh) 一种低空对地车辆检测与运动分析的方法和系统
CN106407926A (zh) 一种行人检测方法及装置
Liu et al. An efficient method for high-speed railway dropper fault detection based on depthwise separable convolution
CN105243356A (zh) 一种建立行人检测模型的方法及装置及行人检测方法
Masita et al. Pedestrian detection using R-CNN object detector
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
Xia et al. Vision-based traffic accident detection using matrix approximation
CN114529880A (zh) 一种城市轨道异物侵限检测方法、装置、系统及存储介质
Abedin et al. Traffic sign recognition using hybrid features descriptor and artificial neural network classifier
Kuchi et al. A machine learning approach to detecting cracks in levees and floodwalls
CN110674887A (zh) 一种基于视频分类的端到端道路拥堵检测算法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant