CN101551852A - 训练系统、训练方法和检测方法 - Google Patents

训练系统、训练方法和检测方法 Download PDF

Info

Publication number
CN101551852A
CN101551852A CN 200810089137 CN200810089137A CN101551852A CN 101551852 A CN101551852 A CN 101551852A CN 200810089137 CN200810089137 CN 200810089137 CN 200810089137 A CN200810089137 A CN 200810089137A CN 101551852 A CN101551852 A CN 101551852A
Authority
CN
China
Prior art keywords
training
human body
feature
picture
asked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200810089137
Other languages
English (en)
Other versions
CN101551852B (zh
Inventor
吴伟国
孟龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony China Ltd
Original Assignee
Sony China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony China Ltd filed Critical Sony China Ltd
Priority to CN 200810089137 priority Critical patent/CN101551852B/zh
Publication of CN101551852A publication Critical patent/CN101551852A/zh
Application granted granted Critical
Publication of CN101551852B publication Critical patent/CN101551852B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了训练系统、训练方法和检测方法,该训练系统用于通过训练获得区分人体和背景的分类器,包括:采集单元,采集人体图片和背景图片作为训练图片集;特征求取单元,对训练图片集中的人体图片和背景图片求取多种特征;训练单元,对求取的多种特征进行训练获得分类器,其中,特征求取单元在分类器的形成中对从人体图片的头肩部区域的单位面积上求取比头肩部以外区域的单位面积上更多的特征,或者训练单元对从体图片的头肩部区域求取的特征比头肩部以外区域求取的特征赋予更高的权重。该检测方法利用训练系统和训练方法所获得的分类器来检测输入的图像或视频中是否存在人体,并给出人体的存在位置。根据本发明,可以提高人体检测的正确率。

Description

训练系统、训练方法和检测方法
技术领域
本发明涉及一种训练系统、训练方法和检测方法。
背景技术
在视频或者图像中检测人体有两类方法,第一类是采用静态图像特征建立区分人体与背景的分类器,用该分类器来在图像中检测人体,对于视频则对每一帧视为一幅图像进行检测。第二类是结合静态特征与视频的帧间相关性,运动、声音等信息来检测视频中的人体。其中,静态图像的方法是进行检测的基础。
目前,采用矩形特征来检测静态图像中的人体,用boost的方法自动挑选采用的特征,但矩形特征对人体检测的正确率不是很高。对于视频中的行人,因为人的运动具有独特的特征,从帧间差分图和变形的差分图中可以提取关于运动的方向幅度的特征,与静态特征一起进行训练从而得到分类器,但这不能用于镜头运动的情况。此外,现有技术中也这样的提案,将静态图像的矩形特征进行推广,加入倾斜45度的多边形等特征,但这些类Harr的特征和矩形特征一样,不具有对人体的针对性。
此外,在现有技术中,采用方向性梯度直方图的特征检测图像中的行人,对人体各个位置都取同样的特征,采用SVM(支持向量机)进行训练。由于直方图具有统计的意义,能够适应人体在小范围和角度内的变化,但姿态变化较大时检测率仍有待提高。此外,也有通过对视频的光流场取方向性直方图特征来获取行人的运动特征,结合静态的方向性梯度直方图来检测的技术方案。此外,还有这样的提案,分级建立人体的多种轮廓模板,采用chamfer distance匹配的方法来检测行人。如果要考虑到人体的多种姿态,需要建立大量模板,匹配时背景中会产生很多虚景。此外,对人体的各部位进行检测,然后按照是否符合人体结构模型来获得最终结果。优点在于对人体部分被遮挡时的适应性,但由于加入了部位检测这个中间过程,增加了算法的不确定性。此外,现有技术中也公开有将帧间相关性、运动等视频的特殊信息和图像特征进行结合的方案,例如采用对帧差图进行分割的方法,寻找可能为人体的区域,但这种方法只能用于镜头静止的情况,而且人体必须是运动的。再例如采用去除背景的办法直接得到人体图像,采用多帧视频图像来得到背景,在去掉背景后的视频图像上进行目标跟踪和识别,但这种方法只能用于摄像镜头静止的情况。还例如提出有利用多种信息联合进行人体检测的系统,如果有帧间运动或者声音时,采用运动、声音信息来寻找人体的候选区域,对候选区域进行分级式人脸检测,然后对检测到的目标进行跟踪,视频中人体的检测率与静态图像算法高度相关。
由此可见,即使是视频,图像中的特征提取仍然是人体检测的基础,由于人体的姿态服装的多种多样,很难提取统一的颜色或者结构纹理信息,使得检测率很难提高。
基于以上所述,现有技术中也提出有利用人体的头肩部这一具有代表性的区域进行检测,从而提高人体检测的正确率,例如,在专利文献1中,公开了一种利用人的头部上半部分的轮廓作为开放曲线模型进行人体检测的对象检测方法。在专利文献2和专利文献3中利用了人的头部的上半部分的轮廓和人的双肩的轮廓作为开放曲线模型对人体进行检测的物体检测装置,此外,在专利文献4中,公开了一种利用人的头部和肩部的几何形状以及人的对称性进行检测的检测装置,但上述技术方案虽然意识到了头部的重要性,但只考虑了头肩部的简单的形状特征。对于复杂背景下的图像中的人体,头肩部未必具有明显的轮廓线,而且由于人体姿态的多样性,参数曲线很难得到通用的模型。
专利文献1:US 2005/0105770
专利文献2:日本特开2005-149144
专利文献3:日本特开2005-149145
专利文献4:日本特开2006-338379
发明内容
鉴于以上技术问题,本发明提出了一种训练系统、训练方法及检测方法,其求取人体图片和背景图片中的各种图像特征,并在构建分类器中通过在人体的头肩部区域求取单位面积上比所述头肩部以外区域的单位面积上更多的特征或者对从人体图片的头肩部区域求取的特征比头肩部以外的区域求取的特征赋予更高的权重来达到赋予头肩部更高权重的目的;使用通过训练系统和训练方法获得的分类器对图片进行人体检测,能够提高人体检测的正确率。
为实现上述目的,根据本发明的第一方面的训练系统,用于通过训练获得区分人体和背景的分类器,包括:采集单元,采集人体图片和背景图片作为训练图片集;特征求取单元,对训练图片集中的人体图片和背景图片求取多种特征;以及训练单元,对求取的多种特征进行训练获得分类器,其中,所述特征求取单元在所述分类器的形成中对从所述人体图片的头肩部区域的单位面积上求取比头肩部以外区域的单位面积上更多的特征,或者所述训练单元对从所述人体图片的所述头肩部区域求取的特征比所述头肩部以外区域求取的特征赋予更高的权重。
人体头肩部以外区域包括四肢,躯干等其他人体部位区域以及头肩部区域以外的背景区域。
在上述的训练系统中,还包括重新训练单元,对经过求取、训练被误认为人体图片的背景图片重新进行求取、训练。
在上述的训练系统中,采集单元对训练图片集中的人体图片和背景图片取多边形,特征求取单元对多边形中的图片求取特征。其中多边形可以是矩形。
在上述的训练系统中,特征求取单元对多边形中的人体图片和背景图片求取以下特征:统计特征,包括亮度、梯度、高阶梯度、颜色、边缘的均值、方差、协方差中的至少一种;响应值,亮度、梯度、高阶梯度、颜色、边缘对滤波器的响应值;分布情况,将多边形分成多个小区域,亮度、梯度、高阶梯度、颜色、边缘在多个小区域的各个小区域上的分布情况;以及各方向的梯度、高阶梯度的分布情况;联合分布情况,梯度、高阶梯度在各个小区域、各方向上的联合分布情况;小区域之间组合后的特征的线性或非线性组合情况;以及特征组合后的特征组合情况。
在上述的训练系统中,训练单元从特征求取单元所求取出的多种特征中选取能够有效区分人体图片和背景图片的一个或多个特征作为有效特征集,其中,对从所述头肩部区域求取的特征赋予更高权重的方法包括:在将所述头肩部区域划分成多个小区域求取所述小区域之间的特征组合时取互相重叠的小区域所述头肩部区域的所述小区域的重叠度大于划分所述头肩部以外区域而成的小区域的重叠度,或者所述划分所述头肩部以外区域而成的小区域完全不重叠,或者区域间留有间隔;通过SVM方法训练得到分类器、或者通过Boosting方法训练有效特征集中的特征或特征组合对应的弱分类器,分配各弱分类器权重,组合成最终的分类器。其中,由于人体的姿态多种多样,分类器可以为一个或多个。
根据本发明第二方面的训练方法,用于通过训练获得区分人体和背景的分类器,包括以下步骤:采集步骤,采集人体图片和背景图片作为训练图片集;特征求取步骤,对训练图片集中的人体图片和背景图片求取多种特征;以及训练步骤,对求取的多种特征进行训练获得分类器,在所述特征求取步骤中,在所述分类器的形成中对从所述人体图片的头肩部区域的单位面积上求取比头肩部以外区域的单位面积上更多的特征,或者在所述训练步骤中对从所述人体图片的所述头肩部区域求取的特征比所述头肩部以外区域求取的特征赋予更高的权重。
所述人体头肩部区域以外的区域包括四肢、躯干以及背景区域。
在上述的训练方法中,还包括重新训练步骤,对经过求取、训练被误认为人体图片的背景图片重新进行求取、训练过程。
在上述的训练方法中,在特征求取步骤中,对训练图片集中的人体图片和背景图片取多边形,对多边形中的图片求取特征。其中,多边形可以为矩形。
在上述的训练方法中,在特征求取步骤中,对多边形中的人体图片和背景图片求取以下特征:统计特征,包括亮度、梯度、高阶梯度、颜色、边缘的均值、方差、协方差中的至少一种;响应值,亮度、梯度、高阶梯度、颜色、边缘对滤波器的响应值;分布情况,将多边形分成多个小区域,亮度、梯度、高阶梯度、颜色、边缘在多个小区域的各个小区域上的分布情况;以及各方向的梯度、高阶梯度的分布情况;联合分布情况,梯度、高阶梯度在各个小区域、各方向上的联合分布情况;小区域之间组合后的特征的线性或非线性组合情况;以及特征组合后的特征组合情况。
在上述的训练方法中,训练步骤包括以下过程:从特征求取步骤所求取出的多种特征中选取能够有效区分人体图片和背景图片的一个或多个特征作为有效特征集,其中,对从所述头肩部区域求取的特征赋予更高权重的方法包括:在将所述头肩部区域划分成多个小区域求取所述小区域之间的特征组合时取互相重叠的小区域所述头肩部区域的所述小区域的重叠度大于划分所述头肩部以外区域而成的小区域的重叠度,或者所述划分所述头肩部以外区域而成的小区域完全不重叠,或者区域间留有间隔;通过SVM方法训练得到分类器、或者通过Boosting方法训练有效特征集中的特征或特征组合对应的弱分类器,分配各弱分类器权重,组合成最终的分类器。其中分类器可以为一个或多个。
根据本发明第三方面的检测方法,用于在图像或视频中进行人体检测,利用上面任一项所述的训练系统或任一项所述的训练方法所获得的分类器来检测输入的图像或视频中是否存在人体,并给出人体的存在位置。
在上述的检测方法中,如果待检测内容为静态图像,则在静态图像的任意位置检测一定尺寸范围内的人体是否存在,当在上述范围内存在人体时,如果上述位置存在上述尺寸的人体图像大于第一阈值,则记录人体所在的位置尺寸及求取位置尺寸人体图像存在的概率,从而得到该图像中人体存在位置尺寸的概率分布;根据人体存在位置的概率分布进行后处理求取最终的检测结果、即人体的存在与否以及在静态图像中的位置;如果待检测内容为视频,则将每一帧视频视为一幅静态图像进行检测。
在上述的检测方法中,上述概率的求取方法包括:对上述位置上述尺寸的图像求取训练时采用的各种图像特征得到上述位置上述尺寸的图像的特征集;采用上述分类器来计算上述特征集为从人体图像获得的特征集的概率,也就是上述位置上述尺寸的图像为人体图像的概率。
在上述的检测方法中,当判断检测为人体图像的概率大于上述第一阈值的相近位置和尺寸的图像代表同一个人体时,在上述后处理中合并相近的位置和尺寸得到最终结果;
在上述的检测方法中,上述合并的方法包括:取相近位置和尺寸的按照概率的加权平均值来求取合并后的位置和尺寸,合并后的概率为相近位置和尺寸的概率的加权平均值,合并后的概率大于第二阈值的合并结果作为最终结果;在概率分布图上求取概率的极大值,极大值大于第三阈值的位置作为最终结果。
在上述的检测方法中,当待检测内容为视频时,在静态图像检测的基础上参考各帧视频的相关性进行联合检测。
根据本发明,由于在分类器的构建中较其他区域赋予了人体头肩部的区域所求取出的特征更高的权重,利用了本发明的训练系统和训练方法所获得的分类器进行人体检测时,能够提高人体检测的正确率,能够更准确地进行人体识别。本发明可以应用于监控、人工智能、计算机视觉等领域中的人体识别。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明的第一实施例的训练系统100的框图;
图2是本发明的第二实施例的训练系统200的框图;
图3为本发明第三实施例的训练方法的流程图;
图4为本发明第四实施例的训练方法的流程图;
图5(a)是在人体图片中定义一个包含头肩部的多边形,求取此多边形中图像的特征,即在人体图片中头肩部出现的位置取多边形,计算该多边形中各种特征,对于训练图片集中的背景图片;图5(b)是在相应的位置取同样尺寸大小的多边形,求取此多边形中图像的特征的背景图片;图5(c)和图5(d)表示训练集图片的任意区域中的图像特征,在其他区域也提取如上种种特征和特征组合的背景图片;图5(e)和图5(f)分别为在训练图片集中定义的人体头肩部区域的多边形的矩形示例;
图6(a)示出了HoG特征(基于梯度方向分布的特征)一个实施例的示意图;图6(b)示出了一个块被划分为36维特征向量的情况;图6(c)是一个单元内9个区间分别进行统计的HoG特征统计图;
图7为采用人的头肩部区域的特征在视频或者图像中人体检测的系统的检测模块流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
图1为本发明的第一实施利的训练系统100的框图,如图1所示,训练系统100包括:采集单元102,采集足够的人体图片和背景图片作为训练图片集,训练系统的输入是训练图片集;特征求取单元104,对训练图片集中的人体图片和背景图片求取多种特征;以及训练单元106,对求取的多种特征进行训练获得分类器,由于人体有各种各样的姿势,所以所获得的分类器一般是若干个、即一个或多个。训练系统的输出是分类器。
此外,图2为本发明的第二实施利的训练系统200的框图,如图2所示,训练系统200还包括:重新训练单元208,对经过求取、训练被误认为人体图片的背景图片重新进行求取、训练。这种重新求取、训练的过程一般要经历两三次。
在上述的训练系统100和200中,采集单元102或202对训练图片集中的人体图片和背景图片取多边形,特征求取单元对多边形中的图片求取特征。在以下描述的实施例中以多边形是矩形为例进行说明。
图3为本发明第三实施例的训练方法的流程图。如图3所示,包括以下步骤:步骤S302,采集人体图片和背景图片作为训练图片集;步骤S304,对训练图片集中的人体图片和背景图片求取多种特征;步骤S306,对求取的多种特征进行训练获得分类器。由于人体有各种各样的姿势,所以所获得的分类器一般是若干个、即一个或多个。训练系统的输出是分类器。
在步骤S306中,在提取到的各种特征中选取最能区分人体与背景的若干特征作为有效特征集。训练有效特征集中特征或特征组合对应的弱分类器,采用现有技术中的SVM方法合理分配各弱分类器权重,组合成最终的分类器,其中头肩部多边形中提取的特征对应的弱分类器可以赋予更高的权重,或者通过Boosting方法训练有效特征集中的特征或特征组合对应的弱分类器,分配各弱分类器权重,组合成最终的分类器。
此外,图4为本发明第四实施例的训练方法的流程图。如图4所示,还包括步骤S408,对经过求取、训练被误认为人体图片的背景图片重新进行求取、训练过程。一般经过两三个循环可以正确区分人体图片和背景图片。
在上述实施例中,由于人体中头肩部具有独特的结构而且相对稳定,从该区域提取的特征有助于提高人体检测的正确率,在特征求取步骤中通过在人体的头肩部区域求取单位面积上比所述头肩部以外的区域单位面积上更多的特征。在分类器的形成中对从人体图片的头肩部区域求取的特征比头肩部以外的区域求取的特征赋予更高的权重。
图5(a)至图5(f)是在训练图片集中定义的人体头肩部区域的多边形的一个矩形示例。人体检测的重点区域为头肩部,为了获得人的头肩部特征,如图5(a)所示,在人体图片中定义一个包含头肩部的多边形,求取此多边形中图像的特征,即在人体图片中头肩部出现的位置取多边形,计算该多边形中各种特征,对于训练图片集中的背景图片,如图5(b)所示,在相应的位置取同样尺寸大小的多边形,求取此多边形中图像的特征。对背景图片也计算相应位置的相同特征。该多边形中的特征可以为如下几种:
a)亮度,梯度及其方向,高阶梯度,颜色,边缘等的均值,方差,协方差等统计特征;
图像的亮度为I(x,y)
RGB三种颜色的分量为R(x,y),G(x,y),B(x,y)
水平方向梯度为Ix(x,y)=d(I(x,y))/dx=I(x+1,y)-I(x-1,y)
二阶水平方向梯度为Ixx(x,y)=d(Ix(x,y))/dx=Ix(x+1,y)-Ix(x-1,y)
垂直方向梯度为Iy(x,y)=d(I(x,y))/dy=I(x,y+1)-I(x,y-1)
二阶垂直方向梯度为Iyy(x,y)=d(Iy(x,y))/dy=Iy(x,y+1)-Iy(x,y-1)
垂直方向梯度为Iy(x,y)=d(I(x,y))/dy=I(x,y+1)-I(x,y-1)
二阶垂直方向梯度为Iyy(x,y)=d(Iy(x,y))/dy=Iy(x,y+1)-Iy(x,y-1)
梯度为 Grad ( x , y ) = I x 2 + I y 2
二阶梯度为 Grad 2 ( x , y ) = I xx 2 + I yy 2
梯度方向为θ(x,y)=argtg(|Iy/Ix|)
此外,也可以每个像素的三个颜色分量分别计算对x,y的微分值,其最大的值作为该像素的梯度。
b)亮度,梯度,高阶梯度,颜色,边缘等对各种滤波器和变换方法的响应值,比如对I(x,y)进行DCT变换得到的结果。
c)将多边形分成若干小区域,亮度,梯度,高阶梯度,颜色,边缘等在这些小区域的分布情况,可以用直方图来表示。
d)各方向的梯度,高阶梯度等的分布情况;梯度,高阶梯度在各区域,各方向的联合分布情况,具体可以参见现有技术中的HoG特征。
e)某几个小区域的特征的线性或非线性组合。
f)上述特征中若干个特征的组合。
在其他区域也提取如上种种特征和特征组合。对于特征组合的特征值进行归一化。
图5(c)和图5(d)表示训练集图片的任意区域中的图像特征,在其他区域也提取如上种种特征和特征组合。对于特征组合的特征值进行归一化。
图5(e)和图5(f)表示人体头肩部区域以外的区域的示例。
图6(a)示出了HoG特征(基于梯度方向分布的特征)一个实施例的示意图。如图6(a)所示,人体图像的尺寸为64×128像素,将其划分成可重叠的若干个块,由于人体头肩部的重要性,在头肩部区域取的块互相重叠而且数目较多。因而取自头肩部区域单位面积上的特征较头肩部以外区域单位面积上的特征更多。每个块又划分成4个单元,每个单元里都有若干个像素,每个像素都有梯度值和梯度方向值,每个像素的梯度方向为0°~360°,由于对称方向为统一梯度,也就是说将每个单元以20°为单位进行划分,每个单元有9bins(区间),这样每个块有36维特征向量,然后将这个向量进行归一化。图6(b)示出了一个块被划分为36维特征向量的情况,图6(c)是一个单元内9个区间分别进行统计的HoG特征统计图。
其中梯度和梯度方向的计算公式为:
G(x,y)=sqrt((Image(x+1,y)-Image(x-1,y))2+(Image(x,y+1)-Image(x,y-1))2)
Figure A20081008913700211
块的36维特征归一化方法为:
v ← v / | | v | | 2 + ϵ 2 ε:a very small value invoid divide 0
v←v/(‖v‖+ε)ε:a very small value invoid divide 0
图7是本发明第五实施例检测方法的流程图。如图7所示,包括以下步骤:
步骤S702,输入待检测的图像或者视频中的某一帧图像,获得图像中任意位置任意尺寸的搜索窗口中的图像。
步骤S704,改变搜索窗口的尺寸时,窗口中图像的尺寸随之变化,或者只移动搜索窗口的位置,窗口尺寸保持标准尺寸,而对原始图像改变各种不同尺寸后的图像也进行搜索。这样得到的搜索窗口中的图像尺寸固定,但是内容来源于原图像素的插值。
步骤S706,计算搜索窗口中图像的与训练时计算的同样的各种特征。如果搜索窗口的尺寸发生变化,对于不同尺寸的图像计算相同的特征,可以将窗口中的图像尺寸缩放到标准尺寸后进行计算。或者直接改变特征的尺寸进行计算。如果是将原始图像改变各种不同尺寸进行搜索,搜索窗口中的图像为标准尺寸,可直接进行特征计算。
步骤S708,通过分类器来确认每个搜索窗口有人体的存在的概率。得到所有搜索窗口图像为人体的概率pi(i=0......n,n为搜索窗口的总个数)。将pi>threshold_1的各个窗口的位置尺寸(xi,yi,ri)及该概率记录下来。
步骤S710,由记录下来的pi>T1的各个窗口的位置尺寸进行后处理得到人体在原图中的最终存在位置。
检测概率大于第一阈值T1的相近位置和尺寸的图像可能代表同一个人体,因此后处理可以合并相近的位置和尺寸得到最终结果。
一种简单的合并方法是将记录中第一个窗口位置尺寸(x0,y0,r0)当作初始结果(x_mode0,y_mode0,r_mode0),寻找下一个窗口位置尺寸与其差别在|xi-x_mode0|<difx*r0,|yi-y_mode0|<difh*r0,|log(ri)-log(r_mode0)|<difr范围之内的记录。由这两个记录按照检测概率进行融合更新结果,即: ( x _ mode 0 , y _ mode 0 , r _ mode 0 ) = ( x 0 * p 0 + xi * pi p 0 + pi , y 0 * p 0 + yi * pi p 0 + pi , r 0 * p 0 + ri * pi p 0 + pi ) .
按照上述方法融合所有与第一个窗口位置尺寸相近的窗口得到第一个结果。在剩下的记录里面按照类似的方法融合,得到所有可能的结果。
由被融合的窗口的pi的组合来得到该合并后的位置为人体的概率Pj,Pj>T2的时候认为该位置为人体。
输出结果为所有Pj>T2(T2为第二阈值)的位置,即在原图中检测到的人体位置。
以上所述仅为本发明的一个实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改,等同替换,改进等,均应包含在本发明的保护范围之内。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (22)

1.一种训练系统,用于通过训练获得区分人体和背景的分类器,其特征在于,包括:
采集单元,采集人体图片和背景图片作为训练图片集;
特征求取单元,对所述训练图片集中的所述人体图片和所述背景图片求取多种特征;以及
训练单元,对求取的所述多种特征进行训练获得所述分类器,
其中,所述特征求取单元在所述分类器的形成中对从所述人体图片的头肩部区域的单位面积上求取比头肩部以外区域的单位面积上更多的特征,或者所述训练单元对从所述人体图片的所述头肩部区域求取的特征比所述头肩部以外区域求取的特征赋予更高的权重。
2.根据权利要求1所述的训练系统,其特征在于:
所述人体头肩部以外区域包括四肢、躯干以及背景区域。
3.根据权利要求1所述的训练系统,其特征在于,还包括:
重新训练单元,对经过求取、训练被误认为所述人体图片的所述背景图片重新进行求取、训练。
4.根据权利要求1所述的训练系统,其特征在于:
所述特征求取单元对所述训练图片集中的所述人体图片和所述背景图片取多边形,并对所述多边形中的图片求取所述特征。
5.根据权利要求4所述的训练系统,其特征在于:
所述特征求取单元对所述多边形中的所述人体图片和所述背景图片求取以下特征:
统计特征,包括亮度、梯度、高阶梯度、颜色、边缘的均值、方差、协方差中的至少一种;
响应值,所述亮度、所述梯度、所述高阶梯度、所述颜色、所述边缘对滤波器的响应值;
分布情况,将所述多边形分成多个小区域,所述亮度、所述梯度、所述高阶梯度、所述颜色、所述边缘在所述多个小区域的各个小区域上的分布情况,以及各方向的所述梯度、所述高阶梯度的分布情况;
联合分布情况,所述梯度、所述高阶梯度在所述各个小区域、各方向上的联合分布情况;
所述小区域之间组合后的特征的线性或非线性组合情况;以及
所述特征组合后的特征组合情况。
6.根据权利要求1至5中任一项所述的训练系统,其特征在于:
所述训练单元从所述特征求取单元所求取出的所述多种特征中选取能够有效区分所述人体图片和所述背景图片的一个或多个特征作为有效特征集,其中,对从所述头肩部区域求取的特征赋予更高权重的方法包括:在将所述头肩部区域划分成多个小区域求取所述小区域之间的特征组合时取互相重叠的小区域所述头肩部区域的所述小区域的重叠度大于划分所述头肩部以外区域而成的小区域的重叠度,或者所述划分所述头肩部以外区域而成的小区域完全不重叠,或者区域间留有间隔;
通过SVM方法训练得到所述分类器、或者通过Boosting方法训练所述有效特征集中的所述特征或特征组合对应的弱分类器,分配各弱分类器权重,组合成最终的分类器。
7.根据权利要求5所述的训练系统,其特征在于:
所述多边形为矩形。
8.根据权利要求6所述的训练系统,其特征在于:
所述分类器为一个或多个。
9.一种训练方法,用于通过训练获得区分人体和背景的分类器,其特征在于,包括以下步骤:
采集步骤,采集人体图片和背景图片作为训练图片集;
特征求取步骤,对所述训练图片集中的所述人体图片和所述背景图片求取多种特征;以及
训练步骤,对求取的所述多种特征进行训练获得所述分类器,
在所述特征求取步骤中,在所述分类器的形成中对从所述人体图片的头肩部区域的单位面积上求取比头肩部以外区域的单位面积上更多的特征,或者在所述训练步骤中对从所述人体图片的所述头肩部区域求取的特征比所述头肩部以外区域求取的特征赋予更高的权重。
10.根据权利要求9所述的训练方法,其特征在于:
所述人体头肩部区域以外的区域包括四肢、躯干以及背景区域。
11.根据权利要求9所述的训练方法,其特征在于,还包括:
重新训练步骤,对经过求取、训练被误认为所述人体图片的所述背景图片重新进行求取、训练过程。
12.根据权利要求9所述的训练方法,其特征在于:
在所述特征求取步骤中,对所述训练图片集中的所述人体图片和所述背景图片取多边形,并对所述多边形中的图片求取所述特征。
13.根据权利要求12所述的训练方法,其特征在于:
在所述特征求取步骤中,对所述多边形中的所述人体图片和所述背景图片求取以下特征:
统计特征,包括亮度、梯度、高阶梯度、颜色、边缘的均值、方差、协方差中的至少一种;
响应值,所述亮度、所述梯度、所述高阶梯度、所述颜色、所述边缘对滤波器的响应值;
分布情况,将所述多边形分成多个小区域,所述亮度、所述梯度、所述高阶梯度、所述颜色、所述边缘在所述多个小区域的各个小区域上的分布情况;以及各方向的所述梯度、所述高阶梯度的分布情况;
联合分布情况,所述梯度、所述高阶梯度在所述各个小区域、各方向上的联合分布情况;
所述小区域之间组合后的特征的线性或非线性组合情况;以及
所述特征组合后的特征组合情况。
14.根据权利要求8至13中任一项所述的训练方法,其特征在于:
所述训练步骤包括以下过程:
从所述特征求取步骤所求取出的所述多种特征中选取能够有效区分所述人体图片和所述背景图片的一个或多个特征作为有效特征集;,其中,对从所述头肩部区域求取的特征赋予更高权重的方法包括:在将所述头肩部区域划分成多个小区域求取所述小区域之间的特征组合时取互相重叠的小区域所述头肩部区域的所述小区域的重叠度大于划分所述头肩部以外区域而成的小区域的重叠度,或者所述划分所述头肩部以外区域而成的小区域完全不重叠,或者区域间留有间隔;
通过SVM方法训练得到所述分类器、或者通过Boosting方法训练所述有效特征集中的所述特征或特征组合对应的弱分类器,分配各弱分类器权重,组合成最终的分类器。
15.根据权利要求13所述的训练方法,其特征在于:
所述多边形为矩形。
16.根据权利要求14所述的训练方法,其特征在于:
所述分类器为一个或多个。
17.一种检测方法,用于在图像或视频中进行人体检测,其特征在于:
利用权利要求1至8中任一项所述的训练系统或权利要求9至16中任一项训练方法所获得的分类器来检测输入的图像或视频中是否存在人体,并给出人体的存在位置。
18.根据权利要求17所述的检测方法,其特征在于,
如果待检测内容为静态图像,则在所述静态图像的任意位置检测一定尺寸范围内的人体是否存在,当在所述范围内存在人体时,如果所述位置存在所述尺寸的人体图像大于第一阈值,则记录所述人体所在的位置尺寸及求取所述位置所述尺寸人体图像存在的概率,从而得到该图像中人体存在位置尺寸的概率分布;根据人体存在位置的概率分布进行后处理求取最终的检测结果、即人体的存在与否以及在所述静态图像中的位置;
如果所述待检测内容为视频,则将每一帧视频视为一幅静态图像进行检测。
19.根据权利要求18所述的检测方法,其特征在于:
所述概率的求取方法包括:
对所述位置所述尺寸的图像求取训练时采用的各种图像特征得到所述位置所述尺寸的图像的特征集;
采用所述分类器来计算所述特征集为从人体图像获得的特征集的概率,也就是所述位置所述尺寸的图像为人体图像的概率。
20.根据权利要求18所述的检测方法,其特征在于:
当判断检测为人体图像的概率大于所述第一阈值的相近位置和尺寸的图像代表同一个人体时,在所述后处理中合并相近的位置和尺寸得到最终结果。
21.根据权利要求20所述的检测方法,其特征在于:
所述合并的方法包括:
取相近位置和尺寸的按照概率的加权平均值来求取合并后的位置和尺寸,合并后的概率为所述相近位置和尺寸的概率的加权平均值,合并后的概率大于第二阈值的合并结果作为最终结果;
在概率分布图上求取概率的极大值,极大值大于第三阈值的位置作为所述最终结果。
22.根据权利要求18所述的检测方法,其特征在于:
当所述待检测内容为视频时,在所述静态图像检测的基础上参考各帧所述视频的相关性进行联合检测。
CN 200810089137 2008-04-01 2008-04-01 训练系统、训练方法和检测方法 Expired - Fee Related CN101551852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200810089137 CN101551852B (zh) 2008-04-01 2008-04-01 训练系统、训练方法和检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200810089137 CN101551852B (zh) 2008-04-01 2008-04-01 训练系统、训练方法和检测方法

Publications (2)

Publication Number Publication Date
CN101551852A true CN101551852A (zh) 2009-10-07
CN101551852B CN101551852B (zh) 2013-01-16

Family

ID=41156092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200810089137 Expired - Fee Related CN101551852B (zh) 2008-04-01 2008-04-01 训练系统、训练方法和检测方法

Country Status (1)

Country Link
CN (1) CN101551852B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567998A (zh) * 2012-01-06 2012-07-11 西安理工大学 基于双模板匹配和边缘细化的头肩序列图像分割方法
CN102682304A (zh) * 2012-03-26 2012-09-19 北京博康智能信息技术有限公司 一种融合多特征的行人检测方法及装置
CN103632146A (zh) * 2013-12-05 2014-03-12 南京理工大学 一种基于头肩距的人体检测方法
CN104102895A (zh) * 2013-04-12 2014-10-15 北京三星通信技术研究有限公司 用于检测被拍摄用户的身体部位的设备和方法
CN105574488A (zh) * 2015-12-07 2016-05-11 北京航空航天大学 一种基于低空航拍红外图像的行人检测方法
CN105760831A (zh) * 2015-12-07 2016-07-13 北京航空航天大学 一种基于低空航拍红外视频的行人跟踪方法
CN106127173A (zh) * 2016-06-30 2016-11-16 北京小白世纪网络科技有限公司 一种基于深度学习的人体属性识别方法
CN106357275A (zh) * 2016-08-30 2017-01-25 国网冀北电力有限公司信息通信分公司 一种哈夫曼压缩方法及装置
CN109215052A (zh) * 2017-06-29 2019-01-15 沈阳新松机器人自动化股份有限公司 基于运动分割的快速人体搜索方法及系统
CN110135456A (zh) * 2019-04-08 2019-08-16 图麟信息科技(上海)有限公司 一种目标检测模型的训练方法及装置
CN112163121A (zh) * 2020-11-03 2021-01-01 南京邦峰智能科技有限公司 一种基于大数据的视频内容信息智能分析处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1266642C (zh) * 2003-10-09 2006-07-26 重庆大学 基于多类别的人脸分类识别方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567998A (zh) * 2012-01-06 2012-07-11 西安理工大学 基于双模板匹配和边缘细化的头肩序列图像分割方法
CN102682304A (zh) * 2012-03-26 2012-09-19 北京博康智能信息技术有限公司 一种融合多特征的行人检测方法及装置
CN104102895A (zh) * 2013-04-12 2014-10-15 北京三星通信技术研究有限公司 用于检测被拍摄用户的身体部位的设备和方法
CN104102895B (zh) * 2013-04-12 2019-10-25 北京三星通信技术研究有限公司 用于检测被拍摄用户的身体部位的设备和方法
CN103632146B (zh) * 2013-12-05 2017-01-04 南京理工大学 一种基于头肩距的人体检测方法
CN103632146A (zh) * 2013-12-05 2014-03-12 南京理工大学 一种基于头肩距的人体检测方法
CN105760831B (zh) * 2015-12-07 2019-07-05 北京航空航天大学 一种基于低空航拍红外视频的行人跟踪方法
CN105574488B (zh) * 2015-12-07 2019-03-22 北京航空航天大学 一种基于低空航拍红外图像的行人检测方法
CN105760831A (zh) * 2015-12-07 2016-07-13 北京航空航天大学 一种基于低空航拍红外视频的行人跟踪方法
CN105574488A (zh) * 2015-12-07 2016-05-11 北京航空航天大学 一种基于低空航拍红外图像的行人检测方法
CN106127173A (zh) * 2016-06-30 2016-11-16 北京小白世纪网络科技有限公司 一种基于深度学习的人体属性识别方法
CN106127173B (zh) * 2016-06-30 2019-05-07 北京小白世纪网络科技有限公司 一种基于深度学习的人体属性识别方法
CN106357275A (zh) * 2016-08-30 2017-01-25 国网冀北电力有限公司信息通信分公司 一种哈夫曼压缩方法及装置
CN106357275B (zh) * 2016-08-30 2019-12-17 国网冀北电力有限公司信息通信分公司 一种哈夫曼压缩方法及装置
CN109215052A (zh) * 2017-06-29 2019-01-15 沈阳新松机器人自动化股份有限公司 基于运动分割的快速人体搜索方法及系统
CN110135456A (zh) * 2019-04-08 2019-08-16 图麟信息科技(上海)有限公司 一种目标检测模型的训练方法及装置
CN112163121A (zh) * 2020-11-03 2021-01-01 南京邦峰智能科技有限公司 一种基于大数据的视频内容信息智能分析处理方法
CN112163121B (zh) * 2020-11-03 2021-03-23 万得信息技术股份有限公司 一种基于大数据的视频内容信息智能分析处理方法

Also Published As

Publication number Publication date
CN101551852B (zh) 2013-01-16

Similar Documents

Publication Publication Date Title
CN101551852B (zh) 训练系统、训练方法和检测方法
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN101282461B (zh) 图像处理方法
CN104143079B (zh) 人脸属性识别的方法和系统
US8792722B2 (en) Hand gesture detection
CN104239867B (zh) 车牌定位方法及系统
CN108764065A (zh) 一种行人重识别特征融合辅助学习的方法
CN103136516B (zh) 可见光与近红外信息融合的人脸识别方法及系统
CN110728209A (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN107230267B (zh) 基于人脸识别算法的幼儿园智能签到方法
US20120027263A1 (en) Hand gesture detection
CN103714181B (zh) 一种层级化的特定人物检索方法
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
CN102495998B (zh) 基于视觉选择性注意计算模型的静态目标检测方法
CN102004899A (zh) 一种人脸认证系统及方法
CN101655910A (zh) 训练系统、训练方法及检测方法
CN102496001A (zh) 一种视频监控目标自动检测的方法和系统
CN106682641A (zh) 基于fhog‑lbph特征的图像行人识别方法
CN103020606A (zh) 一种基于时空上下文信息的行人检测方法
CN103390151B (zh) 人脸检测方法及装置
CN105354856A (zh) 一种基于mser与orb相结合的人体匹配与定位方法及系统
CN104268520A (zh) 一种基于深度运动轨迹的人体动作识别方法
CN103955682A (zh) 基于surf兴趣点的行为识别方法及装置
CN105528584A (zh) 一种正脸图像的检测方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130116

Termination date: 20160401