CN101211411A - 一种人体检测的方法和装置 - Google Patents
一种人体检测的方法和装置 Download PDFInfo
- Publication number
- CN101211411A CN101211411A CNA2007103039111A CN200710303911A CN101211411A CN 101211411 A CN101211411 A CN 101211411A CN A2007103039111 A CNA2007103039111 A CN A2007103039111A CN 200710303911 A CN200710303911 A CN 200710303911A CN 101211411 A CN101211411 A CN 101211411A
- Authority
- CN
- China
- Prior art keywords
- edge
- image
- yardstick
- pixel
- rectangle frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000001514 detection method Methods 0.000 title claims description 110
- 238000004364 calculation method Methods 0.000 claims description 38
- 238000010606 normalization Methods 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 abstract description 9
- 238000012360 testing method Methods 0.000 abstract description 4
- 238000012795 verification Methods 0.000 abstract 3
- 238000012549 training Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012797 qualification Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种人体检测的方法,包括:计算检测图像的边缘强度和离散化边缘方向;根据所述边缘强度和离散化边缘方向,计算预设的检测框内图像的边缘方向直方图;利用层次型自适应增强算法分类器对所述边缘方向直方图进行验证,得到所述检测框内的人体位置。本发明还同时公开了一种人体检测的装置,包括:边缘计算模块,计算检测图像的边缘强度和离散化边缘方向;直方图计算模块,根据所述边缘强度和离散化边缘方向,计算预设的检测框内图像的边缘方向直方图;验证模块,利用层次型自适应增强算法分类器对所述边缘方向直方图进行验证,得到所述检测框内的人体位置。本发明的人体检测的方法和装置,兼备良好的检测效果和较快的检测速度。
Description
技术领域
本发明涉及模式识别技术,具体涉及一种人体检测的方法和装置。
背景技术
随着计算机技术的迅速发展,计算机处理能力得到了大幅度的提升,出现了模式识别、运动检测等许多新兴的技术手段,其中,人体检测作为模式识别技术的一种,在越来越多的领域得到了广泛的应用。
人体检测,是指从静态或视频图像中获取一定区域中存在的人体数目、位置和大小。人体检测技术在智能视频监控、智能交通管理、视频分析和图片检索等各领域有着重要的实用价值。人体检测技术主要分为两类,包括:
一、启发式规则方法
该方法根据人体的外在形状和颜色等特点,设定一定的规则来获取人体区域。这类方法由于其固有的内在缺陷造成适应性较差,当外部的光照条件、使用场合的背景等因素发生变化时,会严重影响检测的精度,因此此类方法应用场景比较局限。
二、分类器训练方法
该方法采集在各种不同的光照条件、背景环境和各种姿态条件下的人体样本,采用模式识别领域普遍使用的分类器训练的方法进行训练,得到人体区域的模型,再利用该模型对未知的图像或视频进行判定。由于该方法相对第一类方法具有更好的检测效果,从而得到了广泛使用。
近年来,自适应增强算法(Adaboost)作为模式识别领域的一种重要的分类器设计方法取得了包括人脸检测等在内的大量成功应用,该方法实现简单且检测速度较快。曾有方案提出将成功用于人脸检测领域的基于微结构特征和Adaboost的方法用于人体检测,虽然所述方案的检测速度较快,但是检测效果却不够理想,无法满足实用的要求。
此外,支持向量机(SVM)是另一种广泛使用的分类器,该分类器相对Adaboost具有更佳的泛化能力,同样有人尝试采用基于SVM分类器的人体检测算法,也获得了很好的检测效果,但是由于该方法未采用层次性结构,同时还存在着检测速度极慢的致命问题,从而使该方案无法应用于实时运行的系统中,因此大大限制了该方案的应用场景。
由上可见,现有技术无法兼顾人体检测的速度和精度,因而无法兼顾检测速度和检测精度。
发明内容
本发明实施例提供一种人体检测的方法和装置,能够同时提供良好的检测效果和较快的检测速度。
为达到上述目的,本发明的技术方案具体是这样实现的:
一种人体检测的方法,该方法包括:
计算检测图像的边缘强度和离散化边缘方向;
根据所述边缘强度和离散化边缘方向,计算预设的检测框内图像的边缘方向直方图;
利用层次型自适应增强算法Adaboost分类器对所述边缘方向直方图进行验证,得到所述检测框内的人体位置。
所述计算检测图像的边缘强度和离散化边缘方向之前进一步包括:
设定对于检测图像进行检测的尺度,分别获取各尺度下的图像;
所述计算检测图像的边缘强度和离散化边缘方向为:
对每个尺度的图像,执行所述计算检测图像的边缘强度和离散化边缘方向。
所述设定对于检测图像进行检测的尺度,分别获取各尺度下的图像的方法为:
设定检测图像的放缩尺度,根据设定的尺度的个数将输入图像的长度和宽度按照所述的放缩尺度分别进行指定次数的放缩,得到对应的各尺度下的图像;
或设定检测图像的放缩尺度,利用输入图像进行迭代放缩,依次得到各尺度下的图像。
对每个尺度的图像,执行所述计算检测图像的边缘强度和离散化边缘方向之后进一步包括:
在水平和垂直方向遍历该尺度的图像,得到所有候选检测框的位置。
所述计算检测图像的边缘强度和离散化边缘方向的方法为:
计算当前尺度下的检测图像中各像素点的水平、垂直边缘,对所述水平、垂直边缘进行离散化,得到各像素点的边缘强度和离散化边缘方向。
所述计算当前尺度下的检测图像中各像素点的水平、垂直边缘的方法为:
采用sobel或prewitt算子的水平、垂直方向的检测模板计算图像中各像素点的水平、垂直边缘,所述模板中的各元素为表示该元素所代表的像素点的向量,所述向量为m维颜色空间中的颜色向量,m为自然数。
对所述水平、垂直边缘进行离散化,得到各像素点的边缘强度和离散化边缘方向的方法为:
将180度的范围等分为N个区间,N为自然数;
令i=0,计算各像素点的水平边缘与垂直边缘之商,当像素点的水平边缘与垂直边缘之商大于 时,将i增加1,所述cot为余切函数;
当所述像素点的水平边缘与垂直边缘之商小于等于 时,则该像素点的离散化边缘方向的值即为此时i的值。
所述检测框为矩形框,所述在水平和垂直方向遍历该尺度的图像上所有候选检测框的位置的方法为:
设置矩形框的宽度和高度范围以及不同矩形框之间边沿的间距。
所述计算检测框内图像的边缘方向直方图的方法为:
分别计算矩形框四个顶点各自左上方区域内的所有离散化边缘方向为n的像素的边缘强度之和;
所述矩形框右下角顶点的边缘强度之和减去该矩形框左下角顶点的边缘强度之和以及右上角顶点的边缘强度之和,再加上该矩形框左上角顶点的边缘强度之和,即为该矩形框所包含区域的边缘方向直方图的第n个值,遍历n所有的取值,得到检测框内图像的边缘方向直方图。
所述分别计算矩形框四个顶点各自左上方区域内的所有离散化边缘方向为n的像素的边缘强度之和的方法为:
设定rs(x,y,n)表示第y行中从第0列到第x列为止的所有离散化边缘方向为n的像素的边缘强度之和,II(x,y,n)表示图像中第x列、第y行的像素点左上方的矩形区域内的所有离散化边缘方向为n的像素的边缘强度之和;
对图像中的各行按照从上到下的顺序分别计算各行的边缘方向积分图像,设定rs初始值为0,II(-1,y,n)=0,II(x,-1,n)=0,x从0到图像宽度减1,y从0到图像高度减1,每一行按照从左至右的顺序进行计算:
若点(x,y)的离散化边缘方向为n,则令rs=rs+EI(x,y),所述EI(x,y)为该点的边缘强度;否则,保持rs不变;则该点的边缘方向积分图像值II(x,y,n)等于点(x,y-1)对应的边缘方向积分图像值II(x,y-1,n)与rs之和;
计算完第y行的边缘方向积分图像后继续计算第y+1行的边缘方向积分图像,直到对图像的所有行处理完毕,得到所述尺度下的图像的各边缘方向的直方图。
所述利用层次型Adaboost分类器对所述边缘方向直方图进行验证的方法为:
根据所述边缘方向直方图验证当前尺度下的各矩形框是否是人体框,将验证为人体框的矩形框加入人体队列,拒绝没有通过验证的矩形框。
所述设定对于检测图像进行检测的尺度,分别获取各尺度下的图像之后,所述利用层次型Adaboost分类器对所述边缘方向直方图进行验证之前进一步包括:
计算各尺度下的检测图像的运动像素标志掩模。
所述计算各尺度下的检测图像的运动像素标志掩模的方法为:
若图像采集设备静止时,将当前图像与背景图像作差,得到所述运动像素标志掩模;若图像采集设备发生运动,任取不同的两帧作差,得到所述运动像素标志掩模。
所述计算各尺度下的检测图像的运动像素标志掩模之后,所述利用层次型Adaboost分类器对所述边缘方向直方图进行验证之前进一步包括:
计算当前尺度下的各矩形框包含区域的归一化运动能量;
当判断所述矩形框包含区域的归一化运动能量的值大于预先设定的阈值时,执行所述利用层次型Adaboost分类器对所述边缘方向直方图进行验证;否则,直接拒绝该矩形框,不执行所述验证,计算当前尺度下的其他矩形框包含区域的归一化运动能量。
所述计算当前尺度下的各矩形框包含区域的归一化运动能量的方法为:
计算所述矩形框包含区域内所有运动像素标志掩模不为0的像素点的数目的和得到该区域的运动能量,所述运动能量与该矩形框面积的比值为归一化运动能量。
一种人体检测的装置,该装置包括:边缘计算模块、直方图计算模块和验证模块;
所述边缘计算模块,计算检测图像的边缘强度和离散化边缘方向;
所述直方图计算模块,根据所述边缘强度和离散化边缘方向,计算预设的检测框内图像的边缘方向直方图;
所述验证模块,利用层次型自适应增强算法Adaboost分类器对所述边缘方向直方图进行验证,得到所述检测框内的人体位置。
该装置进一步包括:尺度放缩模块和检测框选择模块;
所述尺度放缩模块,设定对于检测图像进行检测的尺度,分别获取各尺度下的图像,将所述各尺度下的图像提供给所述边缘计算模块;
所述检测框选择模块,在水平和垂直方向遍历当前尺度的检测图像,得到所有候选检测框的位置。
所述尺度放缩模块,设定检测图像的放缩尺度,根据设定的尺度的个数将输入图像的长度和宽度按照所述的放缩尺度分别进行指定次数的放缩,得到对应的各尺度下的图像并提供给所述检测框选择模块;或设定检测图像的放缩尺度,利用输入图像进行迭代放缩,依次得到各尺度下的图像。
所述边缘计算模块,采用sobel或prewitt算子的水平、垂直方向的检测模板计算图像中各像素点的水平、垂直边缘,所述模板中的各元素为表示该元素所代表的像素点的向量,所述向量为m维颜色空间中的颜色向量,m为自然数;
将180度的范围等分为N个区间,N为自然数;
令i=0,计算各像素点的水平边缘与垂直边缘之商,当像素点的水平边缘与垂直边缘之商大于 时,将i增加1,所述cot为余切函数;
当所述像素点的水平边缘与垂直边缘之商小于等于 时,则该像素点的离散化边缘方向的值即为此时i的值。
所述直方图计算模块,设定检测框为矩形框,设置矩形框的宽度和高度范围以及不同矩形框之间边沿的间距;
分别计算矩形框四个顶点各自左上方区域内的所有离散化边缘方向为n的像素的边缘强度之和;
设定rs(x,y,n)表示第y行中从第0列到第x列为止的所有离散化边缘方向为n的像素的边缘强度之和,II(x,y,n)表示图像中第x列、第y行的像素点左上方的矩形区域内的所有离散化边缘方向为n的像素的边缘强度之和;
对矩形框各顶点左上方区域中的各行按照从上到下的顺序分别计算各行的边缘方向积分图像,设定rs初始值为0,II(-1,y,n)=0,II(x,-1,n)=0,x从0到图像宽度减1,y从0到图像高度减1,每一行按照从左至右的顺序进行计算:
若点(x,y)的离散化边缘方向为n,则令rs=rs+EI(x,y),所述EI(x,y)为该点的边缘强度;否则,保持rs不变;则该点的边缘方向积分图像值II(x,y,n)等于点(x,y-1)对应的边缘方向积分图像值II(x,y-1,n)与rs之和;
计算完第y行的边缘方向积分图像后继续计算第y+1行的边缘方向积分图像,直到对所述矩形框各顶点左上方区域中的所有行处理完毕,得到所述矩形框各顶点左上方区域的各边缘方向的直方图;
利用所述矩形框右下角顶点的边缘强度之和减去该矩形框左下角顶点的边缘强度之和以及右上角顶点的边缘强度之和,再加上该矩形框左上角顶点的边缘强度之和,得到该矩形框所包含区域的边缘方向直方图的第n个值,遍历n所有的取值,得到检测框内图像的边缘方向直方图。
所述验证模块,根据所述边缘方向直方图验证当前尺度下的各矩形框是否是人体框,将验证为人体框的矩形框加入人体队列,拒绝没有通过验证的矩形框。
该装置还进一步包括运动像素标志掩模计算模块和运动能量判断模块;
所述运动像素标志掩模计算模块,若图像采集设备静止时,将当前图像与背景图像作差,得到所述运动像素标志掩模;若图像采集设备发生运动,任取不同的两帧作差,得到所述运动像素标志掩模;
所述运动能量判断模块,计算所述矩形框包含区域内所有运动像素标志掩模不为0的像素点的数目的和得到该区域的运动能量,所述运动能量与该矩形框面积的比值为归一化运动能量;当判断所述矩形框包含区域的归一化运动能量的值大于预先设定的阈值时,执行所述利用层次型Adaboost分类器对所述边缘方向直方图进行验证;否则,直接拒绝该矩形框,不执行所述验证,计算当前尺度下的其他矩形框包含区域的归一化运动能量。
由上述的技术方案可见,本发明实施例的这种人体检测的方法和装置,采用边缘强度和离散化边缘方向得到检测区域的边缘方向直方图,减少了边缘的计算量,提高了处理速度,同时采用层次型自适应增强算法分类器对所述检测区域的边缘方向直方图进行验证,保证了良好的检测效果,因此兼备了良好的检测效果和较快的检测速度。
附图说明
图1为本发明实施例中人体检测的方法的流程示意图。
图2为本发明实施例中计算边缘方向直方图的流程示意图。
图3为本发明实施例中6个方向的无符号离散化边缘方向的示意图。
图4为本发明实施例中层次型Adaboost分类器组成结构示意图。
图5为本发明实施例中采用边缘方向积分图像计算矩形区域的边缘方向直方图的示意图。
图6为本发明实施例中一种人体检测的具体实施方式的流程示意图。
图7为本发明实施例中采用积分图像计算运动能量和归一化运动能量的示意图。
图8为本发明实施例中人体检测的装置的组成结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对本发明进一步详细说明。
本发明实施例提供一种人体检测的方法,通过训练层次型Adaboost和基于边缘方向直方图(Histogram of oriented Gradient,HOG)特征相结合的人体分类器进行人体检测,流程图如图1所示,其中包括:
步骤101:计算检测图像的边缘强度和离散化边缘方向;
步骤102:根据所述边缘强度和离散化边缘方向,计算预设的检测框内图像的边缘方向直方图;
步骤103:利用层次型自适应增强算法Adaboost分类器对所述边缘方向直方图进行验证,得到所述检测框内的人体位置。
下面,首先介绍HOG特征的计算方法,图2示出了HOG特征的算法流程,其中包括:
步骤201:计算区域范围内的图像中各个像素点的水平、垂直边缘。
图像中的人体轮廓和背景交界处具有强烈的边缘,现有的人体检测算法已经证明,人体轮廓和背景交界处的边缘是进行人体检测的重要信息;而直接采用像素点上的边缘信息作为检测框,则会由于人体边缘不规则而难以完全将检测框与人体边缘对齐,因而使得检测效果不好。因此本发明实施例中采用矩形窗口作为检测区域。此外,边缘不仅具有强度,而且还具有一定的方向,因此首先要分别求取图像上各个像素点的水平边缘和垂直边缘。
像素点边缘的求取方法有很多种,常用的如sobel或prewitt算子,例如:
左侧的矩阵S1为sobel水平方向的检测模板,右侧的矩阵S2为sobel垂直方向的检测模板,其中S1中每个点代表一个像素点的量化值,该矩阵用于计算中心处元素A(即第2行第2列的元素)的水平边缘,用EH(A)表示,EH(A)=[1-(-1)]+2×[2-(-2)]+[1-(-1)]=12,即,将水平方向上同行的第三列元素减去第一列元素,得到的差值再乘以该行的范数,分别按照该方法求出三行的值,再求和得到A点的水平边缘;垂直边缘的计算方法与水平边缘类似,只是此时是采用竖直方向上同列的第三行元素减去第一行元素,将差值乘以该列的范数,然后再将三列分别得到的值做和得到该点的垂直边缘。Prewitt算子的计算方法与sobel类似,区别在于prewitt算法在求得各行/列的差值后,不再乘以该行/列的范数。
以上所述的sobel和prewitt算子的计算模板,是对灰度图像(即黑白图像)中像素点求边缘的模板,本发明实施例对上述方法进行了推广,提供一种在彩色图像中计算边缘的算法,假定当前像素点坐标为(x,y),且该像素点的所有颜色通道值对应一个向量CV(x,y),则(x,y)和(x’,y’)两个像素颜色差为两个像素对应颜色向量的差值的范数,即NORM(CV(x,y)-CV(x′,y′))。范数可以取但不限于1范数,2范数或无穷范数。
彩色图像的Sobel水平边缘计算方法如下:
NORM(CV(x+1,y-1)-CV(x-1,y-1))+NORM(CV(x+1,y+1)-CV(x-1,y+1))+2*NORM(CV(x+1,y)-CV(x-1,y));
彩色图像的Sobel垂直边缘计算方法如下:
NORM(CV(x-1,y+1)-CV(x-1,y-1))+NORM(CV(x+1,y+1)-CV(x+1,y-1))+2*NORM(CV(x,y+1)-CV(x,y-1));
彩色图像的Prewitt水平边缘计算方法如下:
NORM(CV(x+1,y-1)-CV(x-1,y-1))+NORM(CV(x+1,y+1)-CV(x-1,y+1))+NORM(CV(x+1,y)-CV(x-1,y));
彩色图像的Prewitt垂直边缘计算方法如下:
NORM(CV(x-1,y+1)-CV(x-1,y-1))+NORM(CV(x+1,y+1)-CV(x+1,y-1))+NORM(CV(x,y+1)-CV(x,y-1));
由于彩色图像的任意一个像素点是由多个颜色通道对应的分量组成的,因此可以将每个像素点表示为一个m维的颜色向量,m为自然数,每一个维度代表一种颜色,维度的模则表示该像素点处此种颜色的深浅程度,而后利用sobel或prewitt算子的方法计算彩色图像的水平和垂直边缘,与灰度图像的计算方法相比,区别在于此时求得的不再是两个像素点灰度的代数差,而是两个m维向量的矢量差,将差值求和时也不再是代数和,而是多个矢量的矢量和,每个矢量差的范数可以取但不限于1范数、2范数,或者无穷范数,其他则与上述灰度图像的边缘计算方法相同,故不再详述。
步骤202:对得到的各像素点的水平边缘和垂直边缘进行离散化,求得各像素点的边缘强度和离散化的边缘方向。
根据计算得到的各像素点的水平边缘EH和垂直边缘EV,进一步计算各像素点的边缘方向(用ED表示)和边缘强度(用EI表示)。边缘方向通常有两种定义方式:
一种是无符号的边缘方向,即边缘方向的范围是0~180度,此时相差180度的边缘方向为同一个方向。
另一种是有符号的边缘方向,边缘方向的范围是0~360度,此时相差180度的方向为不同方向。
本发明实施例中采用无符号的边缘方向的定义方式,对无符号的边缘方向进行离散化,即将180度的范围等分为N个区间(N为自然数),图3示出了N=6的情况,此时,边缘方向属于同一个区间范围内的像素点,它们离散化的边缘方向(用NED表示)的值相同。
边缘强度的计算方式有多种,例如 或EI=|EH|+|EV|,由图3可知,像素点的无符号边缘方向 则该像素点的离散化边缘方向 且i=0,1…N-1},所述arccot函数为余切函数的反函数。如果采用上述定义先计算ED,再由ED计算NED的值,由于存在开方及三角运算,计算速度较慢,可以采用下述方法快速计算得出各像素点的NED值:
第一步:如果EH为0,则设定此时NED为0;否则,进行第二步;
第四步:i增加1,如果此时i<N-1,则回到第三步,否则终止流程。
得到的i的值即为该像素点NED的值。显然,由于上述过程中只需要进行简单的代数运算和余切函数的计算,因此计算速度大大快于采用根据NED的定义进行计算的方法。
通过上述方法,遍历图像中所有的像素点,可以得到各像素点的边缘强度和离散化的边缘方向。
步骤203:根据区域内各像素点的边缘强度和离散化的边缘方向,计算该区域的边缘方向直方图HOG,所述的HOG定义为:该区域内所有离散化边缘方向取值为i的像素点的边缘强度的累积和,用公式表示为:
其中,P(x,y)表示区域内第x行、y列的像素点(即坐标为(x,y)的像素点)。
假设上述图像范围宽度为W,高度为H,图像区域内包含的任意矩形区域称为子矩形,所述的子矩形所包含的区域可以互相重叠。同时,为了减少运算量,提高训练速度,可以限定子矩形的宽度和高度范围,以及各个子矩形之间边沿的间距。当采用上述图像对Adaboost分类器进行训练时,对于每个子矩形范围内的图像,都存在一个方向梯度直方图Hist,根据上文所述的Hist的计算方法,可知该Hist是一个N维向量,其中包含N个元素,每个元素为一个离散化边缘方向上的边缘强度的累积和。设训练共选定R个子矩形,则这R个子矩形共包含N*R个Hist元素。
采用Adaboost分类器进行人体检测时,需要构造候选弱特征集,本发明实施例中采用上述N*R个Hist元素作为候选弱特征,每个弱特征均对应一个弱分类器,在Adaboost训练过程中,会自动从所有候选弱特征中选择一个并构造弱分类器作为当前的弱分类器,该弱分类器对应一个限定的矩形区域,并且对应一个限定的离散化边缘方向,具体的选择过程可以参见文献1(P.Viola and M.Jones.Robust real time object detection.IEEE ICCVWorkshop on Statistical and Computational Theories of Vision,Vancouver,Canada,July 13,2001)中AdaBoost训练算法。
本发明实施例为了提高人体检测的速度,采用层次型Adaboost,其组成结构如图4所示,每层分类器(称作强分类器)是由多个弱分类器组成。由弱特征构造弱分类器的方法很多,比如,可以采用文献1中提出的弱分类器构造方法。也可以采用文献2(Bo WU,Haizhou AI,Chang HUANG,ShihongLAO,Fast Rotation Invariant Multi-View Face Detection Based on RealAdaboost,In Proc.the 6th IEEE Conf.on Automatic Face and GestureRecognition(FG 2004),Seoul,Korea,May 17-19,2004.)中提出的查找表弱分类器构造方法构造弱分类器。
由于文献2中的方法具有更佳效果,此处以该基于查找表的弱分类器构造方法构造弱分类器,该分类器将该弱特征取值空间均分为BN份(BN为正整数,较佳的BN为32或64),采用长度为BN的查找表表示该弱分类器的输出,每个子区间(即等分的每份)对应的查找表中的值通过正反样本训练得到,当样本落在该子区间内时,该弱分类器输出为该值,具体训练方法详见文献2。对本发明中的弱特征而言,每个弱分类器由一个矩形区域,限定的离散化边缘方向,弱特征最小值,弱特征步长,和查找表构成。其中,矩形区域和限定的离散化边缘方向限定了弱特征为上述N*R个Hist元素中的某一个,而弱特征最小值,弱特征步长用来确定输入样本的该弱特征值落在查找表的哪个区间,从而确定弱分类器的输出,并进而得到强分类器的输出。一种获取最小值和步长的方式为,统计训练正反样本该弱特征值的最大值Fmax和最小值Fmin,弱特征最小值为该最小值Fmin,步长Fstep为 假定训练得到的查找表为LUT,查找表第i个区间上取值为LUT(i)。则弱分类器为LUT(j),其中j为该弱特征值所在查找表区间,一种获得j的方式为 其中,f为该矩形在该离散化边缘方向上对应的弱特征值,min()为取最小值运算,FLOOR()为向下取整运算,如FLOOR(1.9)=1,FLOOR(2.2)=2。需要说明的是,计算所述弱特征对应的序号j还可以采用其它方式,此处不一一进行列举,因此,上述计算序号j的公式仅为举例,并非用于限定。
但是,在训练和人体检测的实际应用时,直接按照前文所述的Hist的计算公式计算每一个矩形区域中的各Hist元素,计算量很大,无法达到实时人体检测的要求,因此本发明实施例中提出一种采用积分图像快速计算边缘方向直方图HOG的方法:
假定图像区域中像素的宽度为W列,高为H行,边缘方向被离散化为N个方向,则分别计算N个方向的边缘方向积分图像,假定第n个方向的边缘方向积分图像在(x,y)点的值为II(x,y,n),第n个方向的边缘方向积分图像在点(x,y)处的值定义为其左上角的矩形区域内的所有离散化边缘方向为n的像素的边缘强度的和,即:
假定当前处理的是第n个离散化边缘方向,采用rs(x,y,n)表示第y行中,到当前像素(x,y)为止(包括当前像素)的所有边缘方向为n的像素的边缘强度之和,即则显然:若点(x,y)的NED(x,y)=n,则rs(x,y,n)=rs(x-1,y,n)+EI(x,y);否则,rs(x,y,n)=rs(x-1,y,n),即II(x,y,n)=II(x,y-1,n)。
对取值为n的边缘方向,进行如下处理:
对y=0,1,2…H-1及x=0,1,2…W-1,设定II(-1,y,n)=0,II(x,-1,n)=0;x从0到图像宽度减1,y从0到图像高度减1,
对图像所有行,依y=0,1,2…H-1的顺序进行如下处理:
设定rs=0,表示当前行中边缘方向为n的所有像素边缘强度和的初始值为0;
对第y行中的所有像素依顺序x=0,1,2…W-1进行如下处理:
如果点(x,y)的NED(x,y)=n,则令rs=rs+EI(x,y);
否则,保持rs不变;
计算II(x,y,n)=II(x,y-1,n)+rs;
计算完第y行的边缘方向积分图像后接着计算第y+1行的边缘方向积分图像,直到对图像的所有行处理完毕后,完成边缘方向积分图像的计算。
由上述方法可见,由于本发明实施例在计算积分图像时,按照从上到下,从左到右的顺序递推计算,因此该方法只需要保存rs的值,从而大大地节省内存,对于一些内存要求较高的应用,比如芯片设计,采用本发明实施例提供的方法更具优势。用上述边缘方向积分图像可以快速求取矩形区域内边缘方向为n的边缘方向直方图(即HOG)。假定矩形区域D(left,top,right,bottom)中,边缘方向为n的边缘方向直方图为Hist(n,D),如图5所示,可以根据公式Hist(n,D)=II(n,4)-II(n,3)-II(n,2)+II(n,1)计算出区域D的边缘方向直方图,其中A、B、C、D分别表示一个矩形区域,点1、2、3、4则分别为所述区域A、B、C、D的右下角顶点,公式中的II(n,1),II(n,2),II(n,3)和II(n,4)分别表示边缘方向为n的边缘方向积分图像在点1,点2,点3,点4处的值。
需要说明的是,上述方法计算出HOG特征并构造的层次型Adaboost分类器,由于训练样本的图像宽度为W,高度为H,因此对该分类器训练得到的人体检测器只能检测出一个尺度的人体,而为了检测到不同大小的人体,本发明实施例采用求取金字塔型图像结构的方式进行检测:假定原始输入图像宽度为IW,高度为IH,按照一定的放缩尺度RS得到M个不同尺度的金字塔型图像,大小为(ROUND(IW*RSm),ROUND(IH*RSm)),其中ROUND为四舍五入运算,m从0到M-1,对输入图像进行放缩时,可以每次以原始输入图像为基础,将所述图像放缩指定次数得到所述各尺寸下的图像;也可以对输入图像采用迭代放缩的方法得到所述各尺寸下的图像。
例如:原始输入图像的尺寸为32×64(即宽度为32像素,高度64像素),放缩尺度RS=2,M=4,则放缩后可以得到32×64、64×128、128×256、256×512共4种尺度的图像。
对所有M个尺度的图像,分别进行如下处理:
先计算第m个尺度的离散化边缘方向和边缘强度,并计算边缘方向积分图像;
设定各个矩形框之间边沿的间距,在水平和垂直方向对所有候选矩形位置进行检测,计算各矩形的边缘方向直方图,判断当前矩形是否能通过人体检测器,如果通过,则将该矩形添加到人体检测队列中,否则,拒绝该矩形区域。处理完所有当前尺度的矩形后,继续处理下一个尺度。
处理完所有尺度的图像后,进行后处理过程,合并交叠矩形框后得到最终的人体位置。
例如,本发明实施例提供的一种可能的检测流程如图6所示,其中包括:
步骤601:设定对于输入图像进行人体检测的尺度,获取各尺度下的图像。
步骤602:计算各尺度下的图像的边缘强度和离散化边缘方向,并计算所述尺度下的图像的边缘方向直方图;
步骤603:在水平和垂直方向遍历该尺度的图像上所有候选矩形框的位置,分别求每个矩形框区域的HOG。
步骤604:验证各矩形框是否是人体框,如果是,将该人体框加入人体队列并执行步骤605,否则返回步骤603继续选择下一个候选矩形框的位置。
步骤605:处理完当前尺度的图像中所有的矩形框后,判断是否处理完设定的所有尺度,如果不是,返回步骤602,继续下一个尺度的图像的处理,如果是,则执行步骤606。
步骤606:对待检测图像进行后处理,合并人体队列中交叠的矩形框,得到人体检测的结果。
需要说明的是,上述步骤中计算边缘和HOG的方法采用图2所示的流程,此处不再赘述。
由上述可见,本发明实施例提供的人体检测的方法,采用了Adaboost和HOG结合的人体分类器,从而同时获得了良好的检测效果和较高的检测速度。
虽然上述人体检测的方法已经满足了进行实时人体检测的要求,但是,在对视频图像的人体检测中,通过引入运动信息可以进一步加快检测速度,同时有助于排除背景中存在的干扰,降低误检率从而进一步提高检测效果。
具体可以分为两种情况:
一、摄像头静止的情况
当视频采集的摄像头静止,图像中人体发生移动时,将视频中的当前图像与背景图像作差,得到运动像素标志掩模。
二、摄像头运动的情况
当摄像头本身发生运动时,采用计算帧间差的方式获取运动像素标志掩模,所述计算帧间差时可以采用任意不同的两帧作差。
假定当前图像中点(x,y)处的运动像素标志掩模为MI(x,y),如果像素发生变化则MI(x,y)为非零数,如果该像素没有发生变化,则MI(x,y)为零。
定义矩形区域D(left,top,right,bottom)的运动能量为该区域内所有发生变化的像素数目,归一化运动能量为该区域内发生变化的像素数目与该矩形区域面积之比。可以采用积分图像的方式快速计算运动能量和归一化运动能量。先计算全图的运动标志积分图像,具体步骤如下:
按照从上到下遍历图像各行、每一行从左到右遍历各列的顺序,遍历所述图像中的所有像素点,得到的所述图像中运动像素标志掩模不为0的像素点的数目即为所述运动标志积分图像。
如图7所示,根据运动标志积分图像的定义,运动能量定义为一定矩形区域内发生变化的像素点的数目的总和,运动能量可以根据如下公式:ME(D)=IMI(4)-IMI(2)-IMI(3)+IMI(1)计算。其中A、B、C、D分别表示一个矩形区域,点1、2、3、4则分别为所述区域A、B、C、D的右下角顶点,公式中的IMI(1),IMI(2),IMI(3)和IMI(4)分别表示运动标志积分图像在点1,点2,点3,点4处的值。
为矩形框设定阈值,只有当矩形框的归一化运动能量大于阈值的时候,才对该矩形框进行是否为人体框的验证。
因此,较佳地,上述人体检测的方法中,所述步骤601与602之间相应地可以进一步包括:
步骤601a:计算图像中的运动像素标志掩模,执行步骤508。
步骤601b:根据所述运动像素标志掩模计算积分图像,继续执行步骤602。
所述步骤603与604之间相应地进一步包括:
步骤603a:根据当前选定的矩形框,计算该矩形框的运动能量和归一化运动能量,当所述归一化运动能量的值大于预先设定的阈值时,继续执行步骤604,否则返回步骤603,继续选择下一个候选矩形框的位置。
需要说明的是,上述步骤601a、601b的位置并非只能在步骤601和步骤602之间,计算图像中的运动像素标志掩模及根据所述运动像素标志掩模计算积分图像的步骤,只需要在进行归一化运动能量判断之前进行即可。
由上述可见,本发明的较佳实施例还可以进一步提高人体检测算法的检测效果。
本发明实施例提供的一种人体检测的装置,组成结构如图8所示,该装置包括:边缘计算模块801、直方图计算模块802和验证模块803;
所述边缘计算模块801,计算检测图像的边缘强度和离散化边缘方向;
所述直方图计算模块802,根据所述边缘强度和离散化边缘方向,计算检测框内图像的边缘方向直方图;
所述验证模块803,利用层次型自适应增强算法Adaboost分类器对所述边缘方向直方图进行验证,得到所述检测框内的人体位置。
为了检测各种尺度的图像中的人体框,该装置进一步包括:尺度放缩模块804和检测框选择模块805;
所述尺度放缩模块804,设定对于检测图像进行检测的尺度和对检测图像的放缩尺度,根据设定的尺度的个数将输入图像的长度和宽度按照所述的放缩尺度分别进行指定次数的放缩,得到对应的各尺度下的图像并提供给所述检测框选择模块;或设定检测图像的放缩尺度,利用输入图像进行迭代放缩,依次得到各尺度下的图像,并将获得的各尺度下的图像提供给所述边缘计算模块801和检测框选择模块805。
所述检测框选择模块805,在水平和垂直方向遍历当前尺度的检测图像,得到所有候选检测框的位置。
其中,所述边缘计算模块801,采用sobel或prewitt算子的水平、垂直方向的检测模板计算图像中各像素点的水平、垂直边缘,所述模板中的各元素为表示该元素所代表的像素点的向量,所述向量为m维颜色空间中的颜色向量,m为自然数;
将180度的范围等分为N个区间,N为自然数;
令i=0,计算各像素点的水平边缘与垂直边缘之商,当像素点的水平边缘与垂直边缘之商大于 时,将i增加1,所述cot为余切函数;
当所述像素点的水平边缘与垂直边缘之商小于等于 时,则该像素点的离散化边缘方向的值即为此时i的值。
所述直方图计算模块802,首先设定检测框的形状为矩形框,设置矩形框的宽度和高度范围以及不同矩形框之间边沿的间距;
然后分别计算矩形框四个顶点各自左上方区域内的所有离散化边缘方向为n的像素的边缘强度之和;其中,计算每一个顶点左上方区域内的所有离散化边缘方向为n的像素的边缘强度之和的算法为:
设定rs(x,y,n)表示第y行中从第0列到第x列为止的所有离散化边缘方向为n的像素的边缘强度之和,II(x,y,n)表示图像中第x列、第y行的像素点左上方的矩形区域内的所有离散化边缘方向为n的像素的边缘强度之和;
对矩形框各顶点左上方区域中的各行按照从上到下的顺序分别计算各行的边缘方向积分图像,设定rs初始值为0,II(-1,y,n)=0,II(x,-1,n)=0,x从0到图像宽度减1,y从0到图像高度减1,每一行按照从左至右的顺序进行计算:
若点(x,y)的离散化边缘方向为n,则令rs=rs+EI(x,y),所述EI(x,y)为该点的边缘强度;否则,保持rs不变;则该点的边缘方向积分图像值II(x,y,n)等于点(x,y-1)对应的边缘方向积分图像值II(x,y-1,n)与rs之和;
计算完第y行的边缘方向积分图像后继续计算第y+1行的边缘方向积分图像,直到对所述矩形框各顶点左上方区域中的所有行处理完毕,得到所述矩形框各顶点左上方区域的各边缘方向为n的像素的边缘强度之和。
根据上述算法得到四个顶点左上方区域的各边缘方向为n的像素的边缘强度之和,再利用所述矩形框右下角顶点的边缘强度之和,减去该矩形框左下角顶点的边缘强度之和,再减去右上角顶点的边缘强度之和,最后加上该矩形框左上角顶点的边缘强度之和,得到该矩形框所包含区域的边缘方向直方图的第n个值,遍历n所有的取值,得到检测框内图像的边缘方向直方图。
所述验证模块803,根据所述边缘方向直方图验证当前尺度下的各矩形框是否是人体框,将验证为人体框的矩形框加入人体队列,拒绝没有通过验证的矩形框。
该装置还进一步包括:运动像素标志掩模计算模块806和运动能量判断模块807,对图像中的运动信息进行判断和处理;
所述运动像素标志掩模计算模块806,当图像采集设备静止时,将当前图像与背景图像作差,得到所述运动像素标志掩模;而当图像采集设备发生运动时,可以任取不同的两帧作差,得到所述运动像素标志掩模;
所述运动能量判断模块807,计算所述矩形框包含区域内所有运动像素标志掩模不为0的像素点的数目的和得到该区域的运动能量,所述运动能量与该矩形框面积的比值为归一化运动能量;当判断所述矩形框包含区域的归一化运动能量的值大于预先设定的阈值时,执行所述利用层次型Adaboost分类器对所述边缘方向直方图进行验证;否则,直接拒绝该矩形框,不执行所述验证,计算当前尺度下的其他矩形框包含区域的归一化运动能量。
因此,容易理解,以上所述仅为本发明的较佳实施例,并非用于限定本发明的精神和保护范围,任何熟悉本领域的技术人员所做出的等同变化或替换,都应视为涵盖在本发明的保护范围之内。
Claims (22)
1.一种人体检测的方法,其特征在于,该方法包括:
计算检测图像的边缘强度和离散化边缘方向;
根据所述边缘强度和离散化边缘方向,计算预设的检测框内图像的边缘方向直方图;
利用层次型自适应增强算法Adaboost分类器对所述边缘方向直方图进行验证,得到所述检测框内的人体位置。
2.根据权利要求1所述的方法,其特征在于,所述计算检测图像的边缘强度和离散化边缘方向之前进一步包括:
设定对于检测图像进行检测的尺度,分别获取各尺度下的图像;
所述计算检测图像的边缘强度和离散化边缘方向为:
对每个尺度的图像,执行所述计算检测图像的边缘强度和离散化边缘方向。
3.根据权利要求2所述的方法,其特征在于,所述设定对于检测图像进行检测的尺度,分别获取各尺度下的图像的方法为:
设定检测图像的放缩尺度,根据设定的尺度的个数将输入图像的长度和宽度按照所述的放缩尺度分别进行指定次数的放缩,得到对应的各尺度下的图像;
或设定检测图像的放缩尺度,利用输入图像进行迭代放缩,依次得到各尺度下的图像。
4.根据权利要求2或3所述的方法,其特征在于,对每个尺度的图像,执行所述计算检测图像的边缘强度和离散化边缘方向之后进一步包括:
在水平和垂直方向遍历该尺度的图像,得到所有候选检测框的位置。
5.根据权利要求2所述的方法,其特征在于,所述计算检测图像的边缘强度和离散化边缘方向的方法为:
计算当前尺度下的检测图像中各像素点的水平、垂直边缘,对所述水平、垂直边缘进行离散化,得到各像素点的边缘强度和离散化边缘方向。
6.根据权利要求5所述的方法,其特征在于,所述计算当前尺度下的检测图像中各像素点的水平、垂直边缘的方法为:
采用sobel或prewitt算子的水平、垂直方向的检测模板计算图像中各像素点的水平、垂直边缘,所述模板中的各元素为表示该元素所代表的像素点的向量,所述向量为m维颜色空间中的颜色向量,m为自然数。
7.根据权利要求5所述的方法,其特征在于,对所述水平、垂直边缘进行离散化,得到各像素点的边缘强度和离散化边缘方向的方法为:
将180度的范围等分为N个区间,N为自然数;
令i=0,计算各像素点的水平边缘与垂直边缘之商,当像素点的水平边缘与垂直边缘之商大于 时,将i增加1,所述cot为余切函数;
当所述像素点的水平边缘与垂直边缘之商小于等于 时,则该像素点的离散化边缘方向的值即为此时i的值。
8.根据权利要求3所述的方法,其特征在于,所述检测框为矩形框,所述在水平和垂直方向遍历该尺度的图像上所有候选检测框的位置的方法为:
设置矩形框的宽度和高度范围以及不同矩形框之间边沿的间距。
9.根据权利要求8所述的方法,其特征在于,所述计算检测框内图像的边缘方向直方图的方法为:
分别计算矩形框四个顶点各自左上方区域内的所有离散化边缘方向为n的像素的边缘强度之和;
所述矩形框右下角顶点的边缘强度之和减去该矩形框左下角顶点的边缘强度之和以及右上角顶点的边缘强度之和,再加上该矩形框左上角顶点的边缘强度之和,即为该矩形框所包含区域的边缘方向直方图的第n个值,遍历n所有的取值,得到检测框内图像的边缘方向直方图。
10.根据权利要求9所述的方法,其特征在于,所述分别计算矩形框四个顶点各自左上方区域内的所有离散化边缘方向为n的像素的边缘强度之和的方法为:
设定rs(x,y,n)表示第y行中从第0列到第x列为止的所有离散化边缘方向为n的像素的边缘强度之和,II(x,y,n)表示图像中第x列、第y行的像素点左上方的矩形区域内的所有离散化边缘方向为n的像素的边缘强度之和;
对图像中的各行按照从上到下的顺序分别计算各行的边缘方向积分图像,设定rs初始值为0,II(-1,y,n)=0,II(x,-1,n)=0,x从0到图像宽度减1,y从0到图像高度减1,每一行按照从左至右的顺序进行计算:
若点(x,y)的离散化边缘方向为n,则令rs=rs+EI(x,y),所述EI(x,y)为该点的边缘强度;否则,保持rs不变;则该点的边缘方向积分图像值II(x,y,n)等于点(x,y-1)对应的边缘方向积分图像值II(x,y-1,n)与rs之和;
计算完第y行的边缘方向积分图像后继续计算第y+1行的边缘方向积分图像,直到对图像的所有行处理完毕,得到所述尺度下的图像的各边缘方向的直方图。
11.根据权利要求9所述的方法,其特征在于,所述利用层次型Adaboost分类器对所述边缘方向直方图进行验证的方法为:
根据所述边缘方向直方图验证当前尺度下的各矩形框是否是人体框,将验证为人体框的矩形框加入人体队列,拒绝没有通过验证的矩形框。
12.根据权利要求2所述的方法,其特征在于,所述设定对于检测图像进行检测的尺度,分别获取各尺度下的图像之后,所述利用层次型Adaboost分类器对所述边缘方向直方图进行验证之前进一步包括:
计算各尺度下的检测图像的运动像素标志掩模。
13.根据权利要求12所述的方法,其特征在于,所述计算各尺度下的检测图像的运动像素标志掩模的方法为:
若图像采集设备静止时,将当前图像与背景图像作差,得到所述运动像素标志掩模;若图像采集设备发生运动,任取不同的两帧作差,得到所述运动像素标志掩模。
14.根据权利要求12或13所述的方法,其特征在于,所述计算各尺度下的检测图像的运动像素标志掩模之后,所述利用层次型Adaboost分类器对所述边缘方向直方图进行验证之前进一步包括:
计算当前尺度下的各矩形框包含区域的归一化运动能量;
当判断所述矩形框包含区域的归一化运动能量的值大于预先设定的阈值时,执行所述利用层次型Adaboost分类器对所述边缘方向直方图进行验证;否则,直接拒绝该矩形框,不执行所述验证,计算当前尺度下的其他矩形框包含区域的归一化运动能量。
15.根据权利要求14所述的方法,其特征在于,所述计算当前尺度下的各矩形框包含区域的归一化运动能量的方法为:
计算所述矩形框包含区域内所有运动像素标志掩模不为0的像素点的数目的和得到该区域的运动能量,所述运动能量与该矩形框面积的比值为归一化运动能量。
16.一种人体检测的装置,其特征在于,该装置包括:边缘计算模块、直方图计算模块和验证模块;
所述边缘计算模块,计算检测图像的边缘强度和离散化边缘方向;
所述直方图计算模块,根据所述边缘强度和离散化边缘方向,计算预设的检测框内图像的边缘方向直方图;
所述验证模块,利用层次型自适应增强算法Adaboost分类器对所述边缘方向直方图进行验证,得到所述检测框内的人体位置。
17.根据权利要求16所述的装置,其特征在于,该装置进一步包括:尺度放缩模块和检测框选择模块;
所述尺度放缩模块,设定对于检测图像进行检测的尺度,分别获取各尺度下的图像,将所述各尺度下的图像提供给所述边缘计算模块;
所述检测框选择模块,在水平和垂直方向遍历当前尺度的检测图像,得到所有候选检测框的位置。
18.根据权利要求17所述的装置,其特征在于,所述尺度放缩模块,设定检测图像的放缩尺度,根据设定的尺度的个数将输入图像的长度和宽度按照所述的放缩尺度分别进行指定次数的放缩,得到对应的各尺度下的图像并提供给所述检测框选择模块;或设定检测图像的放缩尺度,利用输入图像进行迭代放缩,依次得到各尺度下的图像。
19.根据权利要求17所述的装置,其特征在于,所述边缘计算模块,
采用sobel或prewitt算子的水平、垂直方向的检测模板计算图像中各像素点的水平、垂直边缘,所述模板中的各元素为表示该元素所代表的像素点的向量,所述向量为m维颜色空间中的颜色向量,m为自然数;
将180度的范围等分为N个区间,N为自然数;
令i=0,计算各像素点的水平边缘与垂直边缘之商,当像素点的水平边缘与垂直边缘之商大于 时,将i增加1,所述cot为余切函数;
当所述像素点的水平边缘与垂直边缘之商小于等于 时,则该像素点的离散化边缘方向的值即为此时i的值。
20.根据权利要求17所述的装置,其特征在于,所述直方图计算模块,设定检测框为矩形框,设置矩形框的宽度和高度范围以及不同矩形框之间边沿的间距;
分别计算矩形框四个顶点各自左上方区域内的所有离散化边缘方向为n的像素的边缘强度之和;
设定rs(x,y,n)表示第y行中从第0列到第x列为止的所有离散化边缘方向为n的像素的边缘强度之和,II(x,y,n)表示图像中第x列、第y行的像素点左上方的矩形区域内的所有离散化边缘方向为n的像素的边缘强度之和;
对矩形框各顶点左上方区域中的各行按照从上到下的顺序分别计算各行的边缘方向积分图像,设定rs初始值为0,II(-1,y,n)=0,II(x,-1,n)=0,x从0到图像宽度减1,y从0到图像高度减1,每一行按照从左至右的顺序进行计算:
若点(x,y)的离散化边缘方向为n,则令rs=rs+EI(x,y),所述EI(x,y)为该点的边缘强度;否则,保持rs不变;则该点的边缘方向积分图像值II(x,y,n)等于点(x,y-1)对应的边缘方向积分图像值II(x,y-1,n)与rs之和;
计算完第y行的边缘方向积分图像后继续计算第y+1行的边缘方向积分图像,直到对所述矩形框各顶点左上方区域中的所有行处理完毕,得到所述矩形框各顶点左上方区域的各边缘方向的直方图;
利用所述矩形框右下角顶点的边缘强度之和减去该矩形框左下角顶点的边缘强度之和以及右上角顶点的边缘强度之和,再加上该矩形框左上角顶点的边缘强度之和,得到该矩形框所包含区域的边缘方向直方图的第n个值,遍历n所有的取值,得到检测框内图像的边缘方向直方图。
21.根据权利要求17所述的装置,其特征在于,所述验证模块,
根据所述边缘方向直方图验证当前尺度下的各矩形框是否是人体框,将验证为人体框的矩形框加入人体队列,拒绝没有通过验证的矩形框。
22.根据权利要求17所述的装置,其特征在于,该装置还进一步包括运动像素标志掩模计算模块和运动能量判断模块;
所述运动像素标志掩模计算模块,若图像采集设备静止时,将当前图像与背景图像作差,得到所述运动像素标志掩模;若图像采集设备发生运动,任取不同的两帧作差,得到所述运动像素标志掩模;
所述运动能量判断模块,计算所述矩形框包含区域内所有运动像素标志掩模不为0的像素点的数目的和得到该区域的运动能量,所述运动能量与该矩形框面积的比值为归一化运动能量;当判断所述矩形框包含区域的归一化运动能量的值大于预先设定的阈值时,执行所述利用层次型Adaboost分类器对所述边缘方向直方图进行验证;否则,直接拒绝该矩形框,不执行所述验证,计算当前尺度下的其他矩形框包含区域的归一化运动能量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007103039111A CN101211411B (zh) | 2007-12-21 | 2007-12-21 | 一种人体检测的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007103039111A CN101211411B (zh) | 2007-12-21 | 2007-12-21 | 一种人体检测的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101211411A true CN101211411A (zh) | 2008-07-02 |
CN101211411B CN101211411B (zh) | 2010-06-16 |
Family
ID=39611426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007103039111A Active CN101211411B (zh) | 2007-12-21 | 2007-12-21 | 一种人体检测的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101211411B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102005044A (zh) * | 2010-11-10 | 2011-04-06 | 新太科技股份有限公司 | 一种基于边缘方向直方图原理检测单频干扰的方法 |
CN101520839B (zh) * | 2009-03-30 | 2011-07-20 | 西安电子科技大学 | 基于第二代条带波变换的人体检测方法 |
CN101650776B (zh) * | 2008-08-12 | 2013-03-20 | 财团法人工业技术研究院 | 追踪人物肢体位置的方法与系统 |
CN103096117A (zh) * | 2011-10-28 | 2013-05-08 | 浙江大华技术股份有限公司 | 视频噪声检测方法及装置 |
CN101577812B (zh) * | 2009-03-06 | 2014-07-30 | 北京中星微电子有限公司 | 一种岗位监测的方法和系统 |
WO2014131252A1 (zh) * | 2013-02-28 | 2014-09-04 | 杭州海康威视数字技术股份有限公司 | 人体目标锁定跟踪装置和方法 |
CN104077589A (zh) * | 2013-03-29 | 2014-10-01 | 南京壹进制信息技术有限公司 | 一组新的图像边缘特征 |
CN104160703A (zh) * | 2012-01-26 | 2014-11-19 | 苹果公司 | 经对象检测所通知的编码 |
CN104346802A (zh) * | 2013-08-05 | 2015-02-11 | 浙江大华技术股份有限公司 | 一种人员离岗监控方法及设备 |
CN104364821A (zh) * | 2012-05-31 | 2015-02-18 | 株式会社电装 | 人检测装置 |
CN106022295A (zh) * | 2016-05-31 | 2016-10-12 | 北京奇艺世纪科技有限公司 | 一种数据位置的确定方法及装置 |
CN104364821B (zh) * | 2012-05-31 | 2016-11-30 | 株式会社电装 | 人检测装置 |
CN107105193A (zh) * | 2016-02-23 | 2017-08-29 | 芋头科技(杭州)有限公司 | 基于人体信息的机器人监控系统 |
CN108804992A (zh) * | 2017-05-08 | 2018-11-13 | 电子科技大学 | 一种基于深度学习的人群统计方法 |
CN110414461A (zh) * | 2019-08-02 | 2019-11-05 | 湖南德雅坤创科技有限公司 | 一种人体目标检测方法、装置和计算机可读存储介质 |
CN112163554A (zh) * | 2020-10-15 | 2021-01-01 | 北京达佳互联信息技术有限公司 | 获取视频中的标记掩模的方法和装置 |
CN113239900A (zh) * | 2021-06-17 | 2021-08-10 | 云从科技集团股份有限公司 | 人体位置的检测方法、装置及计算机可读存储介质 |
CN113727176A (zh) * | 2021-08-30 | 2021-11-30 | 杭州国芯科技股份有限公司 | 一种视频运动字幕检测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6301370B1 (en) * | 1998-04-13 | 2001-10-09 | Eyematic Interfaces, Inc. | Face recognition from video images |
US6826300B2 (en) * | 2001-05-31 | 2004-11-30 | George Mason University | Feature based classification |
CN1885317A (zh) * | 2006-07-06 | 2006-12-27 | 上海交通大学 | 基于形态学和信息熵的自适应边缘检测方法 |
CN100470587C (zh) * | 2007-01-26 | 2009-03-18 | 清华大学 | 一种医学图像中腹部器官分割方法 |
CN100542303C (zh) * | 2007-03-20 | 2009-09-16 | 宁波大学 | 一种多视点视频颜色校正方法 |
-
2007
- 2007-12-21 CN CN2007103039111A patent/CN101211411B/zh active Active
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101650776B (zh) * | 2008-08-12 | 2013-03-20 | 财团法人工业技术研究院 | 追踪人物肢体位置的方法与系统 |
CN101577812B (zh) * | 2009-03-06 | 2014-07-30 | 北京中星微电子有限公司 | 一种岗位监测的方法和系统 |
CN101520839B (zh) * | 2009-03-30 | 2011-07-20 | 西安电子科技大学 | 基于第二代条带波变换的人体检测方法 |
CN102005044A (zh) * | 2010-11-10 | 2011-04-06 | 新太科技股份有限公司 | 一种基于边缘方向直方图原理检测单频干扰的方法 |
CN103096117B (zh) * | 2011-10-28 | 2015-07-29 | 浙江大华技术股份有限公司 | 视频噪声检测方法及装置 |
CN103096117A (zh) * | 2011-10-28 | 2013-05-08 | 浙江大华技术股份有限公司 | 视频噪声检测方法及装置 |
CN104160703A (zh) * | 2012-01-26 | 2014-11-19 | 苹果公司 | 经对象检测所通知的编码 |
CN104364821B (zh) * | 2012-05-31 | 2016-11-30 | 株式会社电装 | 人检测装置 |
CN104364821A (zh) * | 2012-05-31 | 2015-02-18 | 株式会社电装 | 人检测装置 |
WO2014131252A1 (zh) * | 2013-02-28 | 2014-09-04 | 杭州海康威视数字技术股份有限公司 | 人体目标锁定跟踪装置和方法 |
CN104077589A (zh) * | 2013-03-29 | 2014-10-01 | 南京壹进制信息技术有限公司 | 一组新的图像边缘特征 |
CN104346802A (zh) * | 2013-08-05 | 2015-02-11 | 浙江大华技术股份有限公司 | 一种人员离岗监控方法及设备 |
CN104346802B (zh) * | 2013-08-05 | 2018-02-16 | 浙江大华技术股份有限公司 | 一种人员离岗监控方法及设备 |
CN107105193A (zh) * | 2016-02-23 | 2017-08-29 | 芋头科技(杭州)有限公司 | 基于人体信息的机器人监控系统 |
CN107105193B (zh) * | 2016-02-23 | 2020-03-20 | 芋头科技(杭州)有限公司 | 基于人体信息的机器人监控系统 |
CN106022295B (zh) * | 2016-05-31 | 2019-04-12 | 北京奇艺世纪科技有限公司 | 一种数据位置的确定方法及装置 |
CN106022295A (zh) * | 2016-05-31 | 2016-10-12 | 北京奇艺世纪科技有限公司 | 一种数据位置的确定方法及装置 |
CN108804992B (zh) * | 2017-05-08 | 2022-08-26 | 电子科技大学 | 一种基于深度学习的人群统计方法 |
CN108804992A (zh) * | 2017-05-08 | 2018-11-13 | 电子科技大学 | 一种基于深度学习的人群统计方法 |
CN110414461A (zh) * | 2019-08-02 | 2019-11-05 | 湖南德雅坤创科技有限公司 | 一种人体目标检测方法、装置和计算机可读存储介质 |
CN112163554B (zh) * | 2020-10-15 | 2021-08-17 | 北京达佳互联信息技术有限公司 | 获取视频中的标记掩模的方法和装置 |
CN112163554A (zh) * | 2020-10-15 | 2021-01-01 | 北京达佳互联信息技术有限公司 | 获取视频中的标记掩模的方法和装置 |
CN113239900A (zh) * | 2021-06-17 | 2021-08-10 | 云从科技集团股份有限公司 | 人体位置的检测方法、装置及计算机可读存储介质 |
CN113239900B (zh) * | 2021-06-17 | 2024-06-07 | 云从科技集团股份有限公司 | 人体位置的检测方法、装置及计算机可读存储介质 |
CN113727176A (zh) * | 2021-08-30 | 2021-11-30 | 杭州国芯科技股份有限公司 | 一种视频运动字幕检测方法 |
CN113727176B (zh) * | 2021-08-30 | 2023-05-16 | 杭州国芯科技股份有限公司 | 一种视频运动字幕检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101211411B (zh) | 2010-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101211411B (zh) | 一种人体检测的方法和装置 | |
US7221779B2 (en) | Object measuring apparatus, object measuring method, and program product | |
Keller et al. | A new benchmark for stereo-based pedestrian detection | |
CN103679168B (zh) | 文字区域检测方法及装置 | |
US20180018503A1 (en) | Method, terminal, and storage medium for tracking facial critical area | |
CN101339609B (zh) | 图像处理装置和图像处理方法 | |
CN101178770B (zh) | 一种图像检测方法及装置 | |
US20090226047A1 (en) | Apparatus and Method of Processing Image and Human Face Detection System using the smae | |
CN100561505C (zh) | 一种图像检测方法及装置 | |
CN105447529A (zh) | 一种服饰检测及其属性值识别的方法和系统 | |
Negri et al. | An oriented-contour point based voting algorithm for vehicle type classification | |
CN101406390A (zh) | 检测人体部位和人的方法和设备以及对象检测方法和设备 | |
CN100561501C (zh) | 一种图像检测方法及装置 | |
CN102855500A (zh) | 一种基于Haar和HoG特征的前车检测方法 | |
CN103530640B (zh) | 基于AdaBoost与SVM的无牌车辆检测方法 | |
CN106940791B (zh) | 一种基于低维方向梯度直方图的行人检测方法 | |
CN102947863A (zh) | 移动物体检测装置 | |
CN111091023A (zh) | 一种车辆检测方法、装置及电子设备 | |
US20170351925A1 (en) | Analysis method of lane stripe images, image analysis device, and non-transitory computer readable medium thereof | |
CN105740751A (zh) | 一种目标检测与识别的方法和系统 | |
CN112001219A (zh) | 一种多角度多人脸识别考勤方法及系统 | |
CN104268595A (zh) | 通用物件检测方法及系统 | |
JP5691834B2 (ja) | 画像識別装置及びプログラム | |
Zhou et al. | Hybridization of appearance and symmetry for vehicle-logo localization | |
CN111881732B (zh) | 一种基于svm的人脸质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20180409 Address after: 100191 Xueyuan Road, Haidian District, Haidian District, Beijing, No. 607, No. six Patentee after: Beijing Vimicro AI Chip Technology Co Ltd Address before: 100083, Haidian District, Xueyuan Road, Beijing No. 35, Nanjing Ning building, 15 Floor Patentee before: Beijing Vimicro Corporation |