CN109215052A - 基于运动分割的快速人体搜索方法及系统 - Google Patents
基于运动分割的快速人体搜索方法及系统 Download PDFInfo
- Publication number
- CN109215052A CN109215052A CN201710535660.3A CN201710535660A CN109215052A CN 109215052 A CN109215052 A CN 109215052A CN 201710535660 A CN201710535660 A CN 201710535660A CN 109215052 A CN109215052 A CN 109215052A
- Authority
- CN
- China
- Prior art keywords
- human body
- motion segmentation
- algorithm
- face
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉跟踪技术领域,具体公开一种基于运动分割的快速人体搜索方法,包括以下步骤:步骤S1,采用光流算法进行运动分割,确定人体候选区域框,并将候选区域框向上延伸一段距离;步骤S2,在所述候选区域框内进行小区域的人脸检测算法,判断是否存在人脸。同时,本发明还公开一种基于运动分割的快速人体搜索系统。本发明具有大幅度减少分类器执行的区域、提升分类器分类精度的有益效果。
Description
技术领域
本发明涉及计算机视觉技术领域,特别涉及一种基于运动分割的快速人体搜索方法及系统。
背景技术
当前,对于场景中人体搜索的方法主要是直接使用人脸或人体检测来实现。采用这两类方法直接对场景中的人脸或人体进行分类识别。但主要的问题在于两点:
(1)由于直接使用分类器进行人脸或人体检测导致计算复杂度较高,而我们所使用的计算板卡资源有限,导致算法执行时间过长。
(2)由于任何分类器都一定存在误分类的情况,且环境越复杂越容易出现误识别问题,导致实际使用过程中经常出现误报的现象。
因此,亟需一种快速人体搜索系统来解决计算速度慢、容易出现误识别的问题。
发明内容
本发明旨在克服现有基于运动分割的快速人体搜索系统计算速度慢、容易出现误识别的技术缺陷,提供一种快速的基于运动分割的快速人体搜索方法及系统。
为实现上述目的,本发明采用以下技术方案:
本发明提供一种基于运动分割的快速人体搜索方法,包括以下步骤:
步骤S1,采用光流算法进行运动分割,确定人体候选区域框,并将候选区域框向上延伸一段距离;
步骤S2,在所述候选区域框内进行小区域的人脸检测算法,判断是否存在人脸。
一些实施例中,所述步骤S1中,采用LK光流算法进行运动分割。
一些实施例中,所述步骤S2中,人脸检测算法的结构采用经典的级联Adaboost算法。
一些实施例中,步骤S2中,所述步骤S2中,采用不对称Adaboost来作为级上的强分类器,损失函数为:
其中,yi是第i个样本的真实类别标签,C(xi)是分类器预测的类别标签,漏报率是误报率的k倍。
一些实施例中,所述步骤S2中,采用Fisher判别作为弱分类器。
相应地,本发明还提供一种基于运动分割的快速人体搜索系统,包括以下模块:
运动分割模块,采用光流算法进行运动分割,确定人体候选区域框,并将候选区域框向上延伸一段距离;
人脸搜索模块,用于对小区域进行特征提取,提取出用于表述区域的特征向量。
一些实施例中,所述运动分割模块采用LK光流算法进行运动分割。
一些实施例中,所述人脸搜索模块采用经典的级联Adaboost算法进行人脸搜索。
一些实施例中,所述人脸搜索模块采用不对称Adaboost算法来作为级上的强分类器,损失函数为:
其中,yi是第i个样本的真实类别标签,C(xi)是分类器预测的类别标签,漏报率是误报率的k倍。
一些实施例中,所述人脸搜索模块采用Fisher判别作为弱分类器。
本发明的有益效果在于:本发明的基于运动分割的快速人体搜索方法利用了运动分割技术,对可能是人体的区域进行预分割,大幅度减少分类器执行的区域,同时对级联分类器的弱分类器进行了改进,提升了分类器的分类精度。
附图说明
图1是本发明基于运动分割的快速人体搜索方法的流程图;
图2是经典的级联Adaboost算法示意图;
图3是Haar特征算法示意图;
图4是本发明为利用光流法对运动的前景人体进行分割的示意图;
图5为当场景中没有人运动时到出现一个运动的人体时,光流跟踪的关键点的变化情况;
图6为本发明基于运动分割的快速人体搜索方法的实验结果。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明的基于运动分割的快速人体搜索方法利用运动分割技术,对可能是人体的区域进行预分割,大幅度减少分类器执行的区域,同时对级联分类器的弱分类器进行了改进,提升了分类器的分类精度。本发明的方案主要分为两个部分:运动分割与人脸检测。
请参阅图1,为本发明基于运动分割的快速人体搜索方法的流程图。通过以下步骤实现:
执行步骤S1,采用光流算法进行运动分割,确定人体候选区域框,并将候选区域框向上延伸一段距离。优选地,延伸距离为候选区域框高度的0.2倍。
运动分割部分采用光流算法,此算法被经常用来进行目标运动状态的分析。本专利采用LK光流算法进行运动目标的分割。LK光流算法基于以下三个假设:
亮度恒定性假设:假设前后连续的两帧图像中相同的像素点,其灰度值保持恒定不变,其公式如下所示:
f(x,t)≡I(x(t),t)=I(x(t+dt),t+dt)
其中,f(x,t)是图像中坐标为x的像素点在t时刻的灰度值。
时间一致性假设:假设图像采集的频率很高,相邻帧之间的时间很短,那么同一个像素点在下一帧中的位置应该就在上一帧的位置附近。其对应的公式如下所示:
Ixu+Iyv+Iz=0
空间一致性假设:假设一个像素点周围很小邻域内的其他点也都具有与当前点相同的运动,则可用此假设构造出如下系统,并利用最小二乘法进行求解。
利用光流法可对场景中运动的物体进行分割,图4为利用光流法对运动的前景人体进行分割的示意图。其中候选区域框为全部光流点的所在区域范围,同时按照一定的比例将候选区域框向上延伸一定距离,以避免漏掉人脸的区域。图5为当场景中没有人运动时到出现一个运动的人体时,光流跟踪的关键点的变化情况。
执行步骤S2,在所述候选区域框内进行小区域的人脸检测算法,判断是否存在人脸。人脸检测算法的结构采用经典的级联Adaboost算法来实现,其结构图如2所示。
请参阅图3,Haar特征算法示意图。本发明的特征提取采用了经典的Haar特征来实现,并利用了积分图像的特性进行了加速计算,其计算公式为:
为了提升分类器的分类精度,本发明采用不对称Adaboost来作为某个级上的强分类器,对于一般的Adaboost分类器其公式如下,
对于不对称Adaboost分类器,对损失函数进行改造,使用下面的损失函数:
其中,yi是第i个样本的真实类别标签,C(xi)是分类器预测的类别标签,漏报率是误报率的k倍。
同时在弱分类器上,本发明采用了Fisher判别分析作为弱分类器,在识别精度上比原始的弱分类器有所提高。Fisher线性分析是一种传统的数据降维方法,它将多维的数据降到一维的数据空间中,因此Fisher线性分析的目标是最大化下面的公式:
其中,SB是类间的散布矩阵,SW是类内的散布矩阵。
因此,本发明得到训练一个非对称的Adaboost算法的流程如下所示:
1:{假设是正负样本.}
2:{S是特征选择方法.}
3:{输出是一个FP率为0.5}
4:使用S选择T个弱分类器h=(h1,h2,…,hT)
5:对每个训练样本,构建一个特征向量h(z)=(h1(z),h2(z),…,hT(z)).
6:评估均值和方差:
7:基于Fisher判别分析可得:
8:输出分类器:
图5为利用本发明提出的方法和系统进行实际场景分类的结果。本发明的方法可广泛用于野外自主移动平台上,通过在移动平台上搭建向下倾斜的摄像头,利用计算板卡采集图像,可进行实时的数据处理,获得移动平台前方路面的分类信息,从而引导移动平台在可行区域内自主移动。与此同时,本专利方法也可用于城市内的场景分类,利用超像素进行分割,后续进行模式识别时需使用其他的特征,并结合语义信息来实现场景的语音分割与分类。
相应地,本发明还提供一种基于运动分割的快速人体搜索系统,采用上述基于运动分割的快速人体搜索方法。具体包括以下模块:运动分割模块,采用光流算法进行运动分割,确定人体候选区域框,并将候选区域框向上延伸一段距离;
人脸搜索模块,用于对小区域进行特征提取,提取出用于表述区域的特征向量。
所述运动分割模块采用LK光流算法进行运动分割。
人脸搜索模块采用经典的级联Adaboost算法进行人脸搜索;采用不对称Adaboost算法来作为级上的强分类器,损失函数为:
其中,yi是第i个样本的真实类别标签,C(xi)是分类器预测的类别标签,漏报率是误报率的k倍。
同时,采用Fisher判别作为弱分类器。
请参阅图6,为本发明基于运动分割的快速人体搜索方法的实验结果。同时,本发明提出的算法可有效的使用在安防监控领域与机器人领域。由于安防监控领域是利用固定安装的摄像头进行人体的搜索与跟踪,因此首先利用光流算法进行前景分割是非常实用与合理的,然后再使用人脸检测算法进一步的确认当前运动的前景区域是否存在人脸。与此同时,作为机器人行业也可利用此发明,可在机器人上较低配置的板卡上运行,在机器人不进行运动时,作为固定点的监控使用,或当机器人运动时,利用光流算法或机器人本身的传感器对机器人本身的运动进行估计,然后再提取出真正运动的前景。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
以上对本发明所提供的基于运动分割的快速人体搜索方法及系统进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于运动分割的快速人体搜索方法,其特征在于,包括以下步骤:
步骤S1,采用光流算法进行运动分割,确定人体候选区域框,并将候选区域框向上延伸一段距离;
步骤S2,在所述候选区域框内进行小区域的人脸检测算法,判断是否存在人脸。
2.如权利要求1所述的基于运动分割的快速人体搜索方法,其特征在于,所述步骤S1中,采用LK光流算法进行运动分割。
3.如权利要求1所述的基于运动分割的快速人体搜索方法,其特征在于,所述步骤S2中,人脸检测算法的结构采用经典的级联Adaboost算法。
4.如权利要求3所述的基于运动分割的快速人体搜索方法,其特征在于,所述步骤S2中,采用不对称Adaboost来作为级上的强分类器,损失函数为:
其中,yi是第i个样本的真实类别标签,C(xi)是分类器预测的类别标签,漏报率是误报率的k倍。
5.如权利要求3所述的基于运动分割的快速人体搜索方法,其特征在于,所述步骤S2中,采用Fisher判别作为弱分类器。
6.一种基于运动分割的快速人体搜索系统,其特征在于,包括以下模块:
运动分割模块,采用光流算法进行运动分割,确定人体候选区域框,并将候选区域框向上延伸一段距离;
人脸搜索模块,用于对小区域进行特征提取,提取出用于表述区域的特征向量。
7.如权利要求6所述的基于运动分割的快速人体搜索系统,其特征在于,所述运动分割模块采用LK光流算法进行运动分割。
8.如权利要求6所述的基于运动分割的快速人体搜索系统,其特征在于,所述人脸搜索模块采用经典的级联Adaboost算法进行人脸搜索。
9.如权利要求8所述的基于运动分割的快速人体搜索系统,其特征在于,所述人脸搜索模块采用不对称Adaboost算法来作为级上的强分类器,损失函数为:
其中,yi是第i个样本的真实类别标签,C(xi)是分类器预测的类别标签,漏报率是误报率的k倍。
10.如权利要求8所述的基于运动分割的快速人体搜索系统,其特征在于,所述人脸搜索模块采用Fisher判别作为弱分类器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710535660.3A CN109215052A (zh) | 2017-06-29 | 2017-06-29 | 基于运动分割的快速人体搜索方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710535660.3A CN109215052A (zh) | 2017-06-29 | 2017-06-29 | 基于运动分割的快速人体搜索方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109215052A true CN109215052A (zh) | 2019-01-15 |
Family
ID=64991849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710535660.3A Pending CN109215052A (zh) | 2017-06-29 | 2017-06-29 | 基于运动分割的快速人体搜索方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109215052A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101551852A (zh) * | 2008-04-01 | 2009-10-07 | 索尼(中国)有限公司 | 训练系统、训练方法和检测方法 |
CN201699871U (zh) * | 2010-01-29 | 2011-01-05 | 联动天下科技(大连)有限公司 | 互动投影装置 |
CN102609686A (zh) * | 2012-01-19 | 2012-07-25 | 宁波大学 | 一种行人检测方法 |
CN102831411A (zh) * | 2012-09-07 | 2012-12-19 | 云南晟邺科技有限公司 | 一种快速人脸检测方法 |
CN103324950A (zh) * | 2012-03-22 | 2013-09-25 | 中国科学院计算技术研究所 | 基于在线学习的人体重现检测方法及其系统 |
CN104125396A (zh) * | 2014-06-24 | 2014-10-29 | 小米科技有限责任公司 | 图像拍摄方法和装置 |
CN104504366A (zh) * | 2014-11-24 | 2015-04-08 | 上海闻泰电子科技有限公司 | 基于光流特征的笑脸识别系统及方法 |
-
2017
- 2017-06-29 CN CN201710535660.3A patent/CN109215052A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101551852A (zh) * | 2008-04-01 | 2009-10-07 | 索尼(中国)有限公司 | 训练系统、训练方法和检测方法 |
CN201699871U (zh) * | 2010-01-29 | 2011-01-05 | 联动天下科技(大连)有限公司 | 互动投影装置 |
CN102609686A (zh) * | 2012-01-19 | 2012-07-25 | 宁波大学 | 一种行人检测方法 |
CN103324950A (zh) * | 2012-03-22 | 2013-09-25 | 中国科学院计算技术研究所 | 基于在线学习的人体重现检测方法及其系统 |
CN102831411A (zh) * | 2012-09-07 | 2012-12-19 | 云南晟邺科技有限公司 | 一种快速人脸检测方法 |
CN104125396A (zh) * | 2014-06-24 | 2014-10-29 | 小米科技有限责任公司 | 图像拍摄方法和装置 |
CN104504366A (zh) * | 2014-11-24 | 2015-04-08 | 上海闻泰电子科技有限公司 | 基于光流特征的笑脸识别系统及方法 |
Non-Patent Citations (2)
Title |
---|
杨方波: "基于深度图像的人体运动检测及其步态分析研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
王先基: "基于统计学习的自动人脸识别算法研究", 《中国优秀博士学位论文全文数据库信息科技辑》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wei et al. | Enhanced object detection with deep convolutional neural networks for advanced driving assistance | |
Jana et al. | YOLO based Detection and Classification of Objects in video records | |
US9846821B2 (en) | Fast object detection method based on deformable part model (DPM) | |
CN110414559B (zh) | 智能零售柜商品目标检测统一框架的构建方法及商品识别方法 | |
CN111460968B (zh) | 基于视频的无人机识别与跟踪方法及装置 | |
Chen et al. | Object-level motion detection from moving cameras | |
Nguyen et al. | Yolo based real-time human detection for smart video surveillance at the edge | |
Dupont et al. | Crowd-11: A dataset for fine grained crowd behaviour analysis | |
Naik et al. | Deep-violence: individual person violent activity detection in video | |
CN110751232A (zh) | 一种中文复杂场景文本检测与识别方法 | |
Nguyen et al. | Real-time vehicle detection using an effective region proposal-based depth and 3-channel pattern | |
CN113326773A (zh) | 识别模型训练方法、识别方法、装置、设备及存储介质 | |
Shah et al. | Detection of different types of blood cells: A comparative analysis | |
CN113052136B (zh) | 一种基于改进Faster RCNN的行人检测方法 | |
Dahirou et al. | Motion Detection and Object Detection: Yolo (You Only Look Once) | |
CN112347967B (zh) | 一种复杂场景下融合运动信息的行人检测方法 | |
CN107918759A (zh) | 室内物体的自动分割识别方法、电子设备及存储介质 | |
Hasan et al. | Comparative analysis of vehicle detection in urban traffic environment using Haar cascaded classifiers and blob statistics | |
Madani et al. | Isolated dynamic Persian sign language recognition based on camshift algorithm and radon transform | |
Saeidi et al. | Pedestrian detection using an extended fast RCNN based on a secure margin in RoI feature maps | |
CN109215052A (zh) | 基于运动分割的快速人体搜索方法及系统 | |
AU2021102692A4 (en) | A multidirectional feature fusion network-based system for efficient object detection | |
KR20160107590A (ko) | 객체 인식방법 및 이를 이용한 객체 인식장치 | |
CN115393892A (zh) | 一种基于改进双候选框交叉替换策略和损失函数的拥挤场景行人检测方法 | |
CN110488279B (zh) | 一种基于雷达的行人与树木区分方法与装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190115 |
|
RJ01 | Rejection of invention patent application after publication |