CN105678231A - 一种基于稀疏编码和神经网络的行人图片检测方法 - Google Patents

一种基于稀疏编码和神经网络的行人图片检测方法 Download PDF

Info

Publication number
CN105678231A
CN105678231A CN201511020817.6A CN201511020817A CN105678231A CN 105678231 A CN105678231 A CN 105678231A CN 201511020817 A CN201511020817 A CN 201511020817A CN 105678231 A CN105678231 A CN 105678231A
Authority
CN
China
Prior art keywords
window
image
neural network
pedestrian
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511020817.6A
Other languages
English (en)
Inventor
舒泓新
蔡晓东
陈昀
王爱华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHINACCS INFORMATION INDUSTRY Co Ltd
Original Assignee
CHINACCS INFORMATION INDUSTRY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHINACCS INFORMATION INDUSTRY Co Ltd filed Critical CHINACCS INFORMATION INDUSTRY Co Ltd
Priority to CN201511020817.6A priority Critical patent/CN105678231A/zh
Publication of CN105678231A publication Critical patent/CN105678231A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion

Abstract

本发明公开了一种基于稀疏编码和神经网络的行人图片检测方法,具体为:先预处理样本数据集中的样本并提取聚合通道特征;构建BP-AdaBoost强分类器模型并训练;对视频帧进行预处理,并进行不同尺度的缩放得到图片金字塔;利用快速图像特征金字塔计算方法结合滑动窗口检测法,对窗口图像进行计算得出聚合通道特征,并利用训练好的强分类器进行分类;当窗口图像的检测结果为正样本,则输出检测窗口,将所有检测窗口进行融合得到准确的定位窗口。本发明的有益效果是:本发明的检测方法在训练样本很大时仍能够具有计算速度快、精确度高的优势。

Description

一种基于稀疏编码和神经网络的行人图片检测方法
技术领域
本发明涉及图片检索方法,特别涉及一种基于稀疏编码和神经网络的行人图片检测方法。
背景技术
随着科技的进步,计算机等智能设备在人们的日常生活中应用越来越广泛,计算机在处理重复的,数据密集的任务时,比人类更有效,更准确。自然地人们希望计算机能够像人类一样处理一些更智能的问题。在计算机新的应用领域中计算机视觉是一个重要的部分,由计算机代替或辅助人类完成对目标的检测与跟踪是计算机视觉最核心也是最广泛的应用,从日常生活中用到的指纹或人脸解锁,到汽车的自动驾驶,机器人控制等都与计算机视觉技术息息相关。人类是社会生活的主体,对行人的识别理所当然的也是计算机视觉应用中最重要的任务之一。但由于人体姿态多变,外形不固定且随着衣着的变化表现的颜色特征也不同,目前仍然是一个极富挑战的课题,但因其广泛的应用前景,虽然行人检测任务面临着众多困难,仍然吸引了大量研究者的目光。
基于计算机视觉的行人检测主要任务就是计算机判断输入的图片(或视频帧)是否包含行人,如果包含行人就给出行人的位置信息。在对输入图像处理的过程中要用到计算机视觉与数字图像处理的知识,对目标模型的判定与分类则需要用到机器学习模式识别的相关知识,是一个多学科相结合的复杂的研究课题。行人检测具有广泛的应用前景,在智能汽车辅助驾驶系统、智能视频监控系统、机器人智能控制系统等方面都有很高的应用价值,同时行人检测也是人体行为分析应用中的第一步。近年来在航拍图像、受害者营救等新兴领域也得到应用。目前的检测方法多是基于HOG+SVM行人分类方法,但当图片场景有较大变化时不能够保证鲁棒性,无法适用于多个场景(即背景固定的图,可移植性不好),而且SVM分类器对于样本线性可分的情况效果较好,但是对于样本线性不可分的情况就不够理想,而且SVM对于大规模的训练样本无法实施(如今是大数据时代,数据可以达到数以万计),而且传统支持向量机算法只给出了二类分类的算法,而在行人检测的实际应用中,一般要解决多类的分类问题(比如性别、大人、小孩等等)。
发明内容
针对在样本数目很大时行人检测流行的Adboost+SVM模型难以实施训练的问题,本发明提供了一种适用于样本数量大、检测速度快和准确率高的基于稀疏编码和神经网络的行人图片检索方法。
为了实现上述发明目的,本发明提供了一种基于稀疏编码和神经网络的行人图片检测方法,其中,所述图片检测方法具体为:
步骤S101:首先对样本数据集中的正样本和负样本做图像预处理,然后再提取聚合通道特征;
步骤S102:构建BP-AdaBoost强分类器模型,并利用步骤S101得到的聚合通道特征对BP-AdaBoost强分类器进行训练;
步骤S103:获取待检测视频帧,并对视频帧进行图像预处理,并根据缩放因子进行不同尺度的缩放得到图片金字塔,所述图片金字塔是由视频帧的原图像和若干缩放图像组成的层图像集;
步骤S104:利用快速图像特征金字塔计算方法结合滑动窗口检测法,对层图像集每一层图像所处的窗口图像进行计算得出聚合通道特征,并利用训练好的BP-AdaBoost强分类器进行分类识别;
步骤S105:当窗口图像的检测结果为正样本,则BP-AdaBoost强分类器输出检测窗口,将所有层图像对应的检测窗口进行融合得到准确的定位窗口;当窗口图像的检测结果为负样本,则无输出。
其中,所述步骤S101中,所述样本数据集为INRIA训练样本集和INRIA训练样本集的对称变换样本集。
所述步骤S101和所述步骤S103中,所述图像预处理包括尺寸归一化处理和图像降噪处理;所述降噪预处理采用的滤波器为小波滤波器,平滑半径与检测精度的关系,r=1时检测效果最佳。小波滤波器能通过大多数频率分量,但将某些范围的频率分量衰减到极低水平,有着较好的可调性,小波滤波可以较快的给出结果,提高整体检测速度。
所述步骤S101和所述步骤S103中,所述聚合通道特征包括三种通道特征:3个HSV颜色空间、6个量化的梯度方向直方图和1个梯度强度特征。使用HSV颜色空间变换方法,HSV相比LUV颜色空间变换计算量小,避免LUV中求立方根问题,加快了ACF特征提取速度,变换速度相对传统方法提高了一个数量级。
所述HSV颜色空间由视频帧的RGB颜色空间转换得到,具体为:
设RGB颜色空间中红、绿和蓝颜色的坐标均为(r,g,b),r、g、b的值是在0到1之间的实数,设max等价于r、g和b中的最大者,设min等于r、g和b中值中的最小者,设HSV空间坐标值为(h,s,v),其中h∈[0°,360°)为色调,s∈[0,1]为颜色,v∈[0,1]为饱和度,计算公式为:
s = 0 , i f m a x = 0 m a x - m i n m a x = 1 - m i n m a x , o t h e r w i s e
v=max
统计中采用了固定h和s,统计v特征,比如,划分h为16份,s为4份,v为4份,那么我们最终会得到一个256维的特征向量,具体的维数可以相应的调整;
所述梯度强度的计算公式为:
m ( x , y ) = ( I ( x + 1 , y ) - I ( x - 1 , y ) 2 + I ( x , y + 1 ) - I ( x , y - 1 ) ) 2
所述梯度方向直方图的计算公式为:
θ(x,y)=arctan((I(x,y+1)-I(x,y-1))/(I(x+1,y)-I(x-1,y)))。
所述步骤S102中,构建BP-AdaBoost强分类器具体为:
步骤S601:从样本数据集中随机选择m组训练数据(x1,y1)(x2,y2)…(xm,ym),其中xi为训练样本数据,yi∈{1,-1}为样本期望分类结果,其中i=1,2,…,m;初始化训练数据的分布权值Di(i)=1/m,i=1,2,…,m,根据样本输入和输出的维数确定BP神经网络的网络结构,即输入层和输出层节点的个数;并初始化BP神经网络的其他参数值包括权值、学习效率、隐含层节点个数和决策阈值;
步骤S602:训练第t(t=1,2,…,m)个弱分类器时,用训练样本集训练BP神经网络,并得到预测训练数据的网络输出,得到弱分类器序列g(t)的预测误差和ei,其计算公式为:
e i = Σ i D i ( i ) , i = 1 , 2 , ... , m ( g ( t ) ≠ y ) ;
其中,g(t)为网络的实际输出,y为样本期望分类结果;
步骤S603:根据计算出的预测误差和ei,计算弱分类器的权重ai,计算公式为:
a i = 1 2 I n ( 1 - e i e i ) ;
步骤S604:根据权重计算结果,调整下一次训练时样本的权重,调整公式如下:
D i + 1 ( i ) = D i ( i ) B i * exp [ - a i y i g i ( x i ) ] ;
其中i=1,2,…,m,Bi为归一化算子;
步骤S605:t次迭代后,得到t组弱分类器函数f(gi,ai),并由这些弱分类器函数共同构成了最终的BP-AdaBoost强分类器:
所述步骤S103中,所述图片金字塔通过如下方式得到:
使用缩放因子s=2-k/8,将视频帧的原图像进行缩放得到19层的精密采样金字塔,所述精密采样金字塔为由视频帧的原图像和18张缩放图像组成的层图像集,其中最小缩放图像与滑动窗口检测法采用的窗口大小相同。
所述步骤S104中,所述快速图像特征金字塔计算方法具体为:
先计算出缩放因子为1、1/2、1/4的层图像的特征层,依据计算好的层图像的特征层估算其左右层图像的特征层,特征估算公式为:
Cs≈R(Cs',s/s')(s/s')-λΩ
其中,Cs为待估算的特征层,其缩放因子为s,s'为事先己经计算好的层中与s距离最近的层的缩放因子,其中R(Cs',s/s')表示将Cs的尺寸缩放为原来的s/s'倍;λΩ是取决于具体特征的常系数,事先通过训练样本估计。
所述步骤S105中,融合具体为:
步骤S901、标记BP-AdaBoost强分类器输出的检测窗口并进行转换,得到与视频帧原图像对应的位置窗口,其中检测窗口和位置窗口由四个元素组成:左上角坐标、窗口高度、窗口宽度和分类算法计算得到的置信分数;
步骤S902、采用非极大值抑制算法将位置窗口进行融合,具体为:
假设两个检测窗口分别为bb1和bb2,二者重合率a0计算公式如下:
a 0 = a r e a ( b b 1 ∩ b b 2 ) a r e a ( min ( b b 1 , b b 2 ) )
当重合率a0<θ时,两个检测窗口不做任何处理,其中θ=0.5;
当重合率a0>θ时,则再计算两个检测窗口的重合面积阈值,假设抑制窗口为BBu,其检测分数为sd、高度为hu,被抑制窗口为BBd,其检测分数为sd、高度为hd,则抑制窗口BBu与被抑制窗口BBd的重合面积阈值为:
thr o = 0.65 s d / s u &GreaterEqual; &alpha; min ( 0.65 , 0.65 &times; ( h d / &lambda;h u ) 2 ) s d / s u < &alpha;
当重合面积阈值结果为0.65时,不采用动态阈值抑制,其中α=0.7;
当重合面积阈值小于0.65时,采用动态阈值抑制;
最终得到准确的定位窗口。
其中,所述步骤S901中,标记检测窗口进行并进行转换具体为:
假设B是H点在层图像中的坐标,B'是H点视频帧原图像中的坐标,坐标A为检测窗口左上角的坐标,计算公式如下:
B'=B-pad
A=B'+(modelDsPad-modelDs)/2=B+(modelDsPad-modelDs)/2-pad
其中,modelDsPad是检测窗口对行人的扩展,modelDs为行人尺寸,pad是计算特征时对输入图像的扩展;将检测窗口左上角坐标A除以缩放因子,得到检测窗口左上角在视频帧原图像中对应的坐标;
窗口高度和窗口宽度除以缩放因子得到转换后的窗口高度和窗口宽度;
置信分数不变,其中置信分数为检测窗口对应特征向量距离BP-adaboost决策平面的距离。
本发明的有益效果是:本发明的检测方法在训练样本很大时仍能够具有计算速度快、精确度高的优势;其中图像预处理时,采用小波滤波器,并使用HSV颜色空间变换方法,提高了ACF特征提取速度,而且对传统非极大值抑制方法进行改进,提高了定位窗口的准确性。
附图说明
附图1为本发明实施例的检测方法的流程图。
具体实施方式
本发明实施例提供了一种基于稀疏编码和神经网络的行人图片检测方法,如图1所示,具体为:
步骤S101:首先对样本数据集中的正样本和负样本做图像预处理,然后再提取聚合通道特征;样本数据集为INRIA训练样本集和INRIA训练样本集的对称变换样本集,INRIA训练样本集是目前使用最多的静态行人数据库,有着较高的清晰度,能够训练出更精确的分类器,其中,正样本的图像中含有行人,负样本的图像中不含行人;
步骤S102:构建BP-AdaBoost强分类器模型,并利用步骤S101得到的聚合通道特征对BP-AdaBoost强分类器进行训练;
步骤S103:获取待检测视频帧,并对视频帧进行图像预处理,并根据缩放因子进行不同尺度的缩放得到图片金字塔,所述图片金字塔是由视频帧的原图像和若干缩放图像组成的层图像集;
步骤S104:利用快速图像特征金字塔计算方法结合滑动窗口检测法,对层图像集每一层图像所处的窗口图像进行计算得出聚合通道特征,并利用训练好的BP-AdaBoost强分类器进行分类识别;
步骤S105:当窗口图像的检测结果为正样本,则BP-AdaBoost强分类器输出检测窗口,将所有层图像对应的检测窗口进行融合得到准确的定位窗口;当窗口图像的检测结果为负样本,则无输出。
其中图像预处理包括尺寸归一化处理和图像降噪处理;图像降噪处理采用的滤波器为小波滤波器,平滑半径与检测精度的关系,r=1时检测效果最佳。小波滤波器能通过大多数频率分量,但将某些范围的频率分量衰减到极低水平,有着较好的可调性,小波滤波可以较快的给出结果,提高整体检测速度。
聚合通道特征包括三种通道特征:3个HSV颜色空间、6个量化的梯度方向直方图和1个梯度强度特征。使用HSV颜色空间变换方法,HSV相比LUV颜色空间变换计算量小,避免LUV中求立方根问题,加快了ACF特征提取速度,变换速度相对传统方法提高了一个数量级。
HSV颜色空间由视频帧的RGB颜色空间转换得到,具体为:
设RGB颜色空间中红、绿和蓝颜色的坐标均为(r,g,b),r、g、b的值是在0到1之间的实数,设max等价于r、g和b中的最大者,设min等于r、g和b中值中的最小者,设HSV空间坐标值为(h,s,v),其中h∈[0°,360°)为色调,s∈[0,1]为颜色,v∈[0,1]为饱和度,计算公式为:
s = 0 , i f m a x = 0 m a x - m i n m a x = 1 - m i n m a x , o t h e r w i s e
v=max
统计中采用了固定h和s,统计v特征,比如,划分h为16份,s为4份,v为4份,那么我们最终会得到一个256维的特征向量,具体的维数可以相应的调整;
从RGB颜色空间转换到HSV颜色空间可使用查表法,可以预先建立从量化的RGB空间到量化的HSV空间之间的查找表(look-uptable),从而加快直方图的计算过程;
梯度强度的计算公式为:
m ( x , y ) = ( I ( x + 1 , y ) - I ( x - 1 , y ) 2 + I ( x , y + 1 ) - I ( x , y - 1 ) ) 2
梯度方向直方图的计算公式为:
θ(x,y)=arctan((I(x,y+1)-I(x,y-1))/(I(x+1,y)-I(x-1,y)))。
分类器的设计步骤包括采用基于AdaBoost和BP-ANN组合分类算法被称为是BP-AdaBoost模型,即指把BP神经网络作为弱分类器,采用AdaBoost算法反复训练BP神经网络,最后得到由若干个BP神经网络加权形成的强分类器。在样本数目很大时目前行人检测流行的Adboost+SVM模型难以实施训练,SVM是借助二次规划来求解支持向量,而求解二次规划将涉及m阶矩阵的计算(m为样本的个数),当m数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间;传统支持向量机算法只给出了二类分类的算法,而在行人检测的实际应用中,一般要解决多类的分类问题。BP-Adboost模型则克服了SVM中的这些缺点并且如果训练样本选取合适其收敛速度是可以接受的。构建BP-AdaBoost强分类器具体为:
步骤S601:从样本数据集中随机选择m组训练数据(x1,y1)(x2,y2)…(xm,ym),其中xi为训练样本数据,yi∈{1,-1}为样本期望分类结果,其中i=1,2,…,m;初始化训练数据的分布权值Di(i)=1/m,i=1,2,…,m,根据样本输入和输出的维数确定BP神经网络的网络结构,即输入层和输出层节点的个数;并初始化BP神经网络的其他参数值包括权值、学习效率、隐含层节点个数和决策阈值;
步骤S602:训练第t(t=1,2,…,m)个弱分类器时,用训练样本集训练BP神经网络,并得到预测训练数据的网络输出,得到弱分类器序列g(t)的预测误差和ei,其计算公式为:
e i = &Sigma; i D i ( i ) , i = 1 , 2 , ... , m ( g ( t ) &NotEqual; y ) ;
其中,g(t)为网络的实际输出,y为样本期望分类结果;
步骤S603:根据计算出的预测误差和ei,计算弱分类器的权重ai,计算公式为:
a i = 1 2 I n ( 1 - e i e i ) ;
步骤S604:根据权重计算结果,调整下一次训练时样本的权重,调整公式如下:
D i + 1 ( i ) = D i ( i ) B i * exp &lsqb; - a i y i g i ( x i ) &rsqb; ;
其中i=1,2,…,m,Bi为归一化算子;
步骤S605:t次迭代后,得到t组弱分类器函数f(gi,ai),并由这些弱分类器函数共同构成了最终的BP-AdaBoost强分类器:
所述步骤S103中,所述图片金字塔通过如下方式得到:
使用缩放因子s=2-k/8,将视频帧的原图像进行缩放得到19层的精密采样金字塔,精密采样金字塔为由视频帧的原图像和18张缩放图像组成的层图像集,其中最小缩放图像与滑动窗口检测法采用的窗口大小相同。
步骤S104中,快速图像特征金字塔计算方法具体为:
先计算出缩放因子为1、1/2、1/4的层图像的特征层,依据计算好的层图像的特征层估算其左右层图像的特征层,特征估算公式为:
Cs≈R(Cs',s/s')(s/s')-λΩ
其中,Cs为待估算的特征层,其缩放因子为s,s'为事先己经计算好的层中与s距离最近的层的缩放因子,其中R(Cs',s/s')表示将Cs的尺寸缩放为原来的s/s'倍;λΩ是取决于具体特征的常系数,事先通过训练样本估计。
传统非极大值抑制过程中,容易抑制尺度相近的位置窗口,而难以抑制尺度差异较大的窗口,因为真实的行人窗口周围容易残留很多误检窗口,这些窗口的尺度和检测分数往往比真实的行人小很多,虽然存在较大的重合面积,但未达到阈值,从而产生误检。当采用一种尺度融合的非极大值抑制算法,被抑制窗口的尺度小于抑制窗口时,应该进行更严格的抑制。
本发明步骤S105中,融合具体为:
步骤S901、标记BP-AdaBoost强分类器输出的检测窗口并进行转换,得到与视频帧原图像对应的位置窗口,其中检测窗口和位置窗口由四个元素组成:左上角坐标、窗口高度、窗口宽度和分类算法计算得到的置信分数;
步骤S902、采用非极大值抑制算法将位置窗口进行融合,具体为:
假设两个位置窗口分别为bb1和bb2,二者重合率a0计算公式如下:
a 0 = a r e a ( b b 1 &cap; b b 2 ) a r e a ( min ( b b 1 , b b 2 ) )
当重合率a0<θ时,两个位置窗口不做任何处理,其中θ=0.5;
当重合率a0>θ时,则再计算两个位置窗口的重合面积阈值,假设抑制窗口(较大窗口)为BBu,其检测分数为sd、高度为hu,被抑制窗口(较小窗口)为BBd,其检测分数为sd、高度为hd,则抑制窗口BBu与被抑制窗口BBd的重合面积阈值为:
thr o = 0.65 s d / s u &GreaterEqual; &alpha; min ( 0.65 , 0.65 &times; ( h d / &lambda;h u ) 2 ) s d / s u < &alpha;
当重合面积阈值结果为0.65时,不采用动态阈值抑制,其中α=0.7;
当重合面积阈值小于0.65时,采用动态阈值抑制;
最终得到准确的定位窗口。
其中,所述步骤S901中,标记检测窗口进行并进行转换具体为:
假设B是H点在层图像中的坐标,B'是H点视频帧原图像中的坐标,坐标A为检测窗口左上角的坐标,计算公式如下:
B'=B-pad
A=B'+(modelDsPad-modelDs)/2=B+(modelDsPad-modelDs)/2-pad
其中,modelDsPad是检测窗口对行人的扩展,modelDs为行人尺寸,pad是计算特征时对输入图像的扩展;将检测窗口左上角坐标A除以缩放因子,得到检测窗口左上角在视频帧原图像中对应的坐标;
窗口高度和窗口宽度除以缩放因子得到转换后的窗口高度和窗口宽度;
置信分数不变,其中置信分数为检测窗口对应特征向量距离BP-adaboost决策平面的距离。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于稀疏编码和神经网络的行人图片检测方法,其特征在于,所述图片检测方法具体为:
步骤S101:首先对样本数据集中的正样本和负样本做图像预处理,然后再提取聚合通道特征;
步骤S102:构建BP-AdaBoost强分类器模型,并利用步骤S101得到的聚合通道特征对BP-AdaBoost强分类器进行训练;
步骤S103:获取待检测视频帧,并对视频帧进行图像预处理,并根据缩放因子进行不同尺度的缩放得到图片金字塔,所述图片金字塔是由视频帧的原图像和若干缩放图像组成的层图像集;
步骤S104:利用快速图像特征金字塔计算方法结合滑动窗口检测法,对层图像集每一层层图像所处的窗口图像进行计算得出聚合通道特征,并利用训练好的BP-AdaBoost强分类器进行分类识别;
步骤S105:当窗口图像的检测结果为正样本,则BP-AdaBoost强分类器输出检测窗口,将所有层图像对应的检测窗口进行融合得到准确的定位窗口;当窗口图像的检测结果为负样本,则无输出。
2.根据权利要求1所述的基于稀疏编码和神经网络的行人图片检测方法,其特征在于,所述步骤S101中,所述样本数据集包括INRIA训练样本集和INRIA训练样本集的对称变换样本集。
3.根据权利要求1所述的基于稀疏编码和神经网络的行人图片检测方法,其特征在于,所述步骤S101和所述步骤S103中,所述图像预处理包括尺寸归一化处理和图像降噪处理;所述图像降噪处理采用的滤波器为小波滤波器。
4.根据权利要求1所述的基于稀疏编码和神经网络的行人图片检测方法,其特征在于,所述步骤S101和所述步骤S103中,所述聚合通道特征包括三种通道特征:HSV颜色空间、梯度方向直方图和梯度强度特征。
5.根据权利要求4所述的基于稀疏编码和神经网络的行人图片检测方法,其特征在于,所述HSV颜色空间由视频帧的RGB颜色空间转换得到,具体为:
设RGB颜色空间中红、绿和蓝颜色的坐标均为(r,g,b),r、g、b的值是在0到1之间的实数,设max等价于r、g和b中的最大者,设min等于r、g和b中值中的最小者,设HSV空间坐标值为(h,s,v),其中h∈[0°,360°)为色调,s∈[0,1]为颜色,v∈[0,1]为饱和度,计算公式为:
s = 0 , i f m a x = 0 m a x - m i n m a x = 1 - m i n m a x , o t h e r w i s e
v=max;
所述梯度强度的计算公式为:
m ( x , y ) = ( I ( x + 1 , y ) - I ( x - 1 , y ) 2 + I ( x , y + 1 ) - I ( x , y - 1 ) ) 2
所述梯度方向直方图的计算公式为:
θ(x,y)=arctan((I(x,y+1)-I(x,y-1))/(I(x+1,y)-I(x-1,y)))。
6.根据权利要求1所述的基于稀疏编码和神经网络的行人图片检测方法,其特征在于,所述步骤S102中,构建BP-AdaBoost强分类器具体为:
步骤S601:从样本数据集中随机选择m组训练数据(x1,y1)(x2,y2)…(xm,ym),其中xi为训练样本数据,yi∈{1,-1}为样本期望分类结果,其中i=1,2,…,m;初始化训练数据的分布权值Di(i)=1/m,i=1,2,…,m,根据样本输入和输出的维数确定BP神经网络的网络结构,即输入层和输出层节点的个数;并初始化BP神经网络的其他参数值包括权值、学习效率、隐含层节点个数和决策阈值;
步骤S602:训练第t(t=1,2,…,m)个弱分类器时,用训练样本集训练BP神经网络,并得到预测训练数据的网络输出,得到弱分类器序列g(t)的预测误差和ei,其计算公式为:
e i = &Sigma; i D i ( i ) , i = 1 , 2 , ... , m ( g ( t ) &NotEqual; y ) ;
其中,g(t)为网络的实际输出,y为样本期望分类结果;
步骤S603:根据计算出的预测误差和ei,计算弱分类器的权重ai,计算公式为:
a i = 1 2 I n ( 1 - e i e i ) ;
步骤S604:根据权重计算结果,调整下一次训练时样本的权重,调整公式如下:
D i + 1 ( i ) = D i ( i ) B i * exp &lsqb; - a i y i g i ( x i ) &rsqb; ;
其中i=1,2,…,m,Bi为归一化算子;
步骤S605:t次迭代后,得到t组弱分类器函数f(gi,ai),并由这些弱分类器函数共同构成了最终的BP-AdaBoost强分类器:
7.根据权利要求1所述的基于稀疏编码和神经网络的行人图片检测方法,其特征在于,所述步骤S103中,所述图片金字塔通过如下方式得到:
使用缩放因子s=2-k/8,将视频帧的原图像进行缩放得到19层的精密采样金字塔,所述精密采样金字塔为由视频帧的原图像和18张缩放图像组成的层图像集,其中最小缩放图像与滑动窗口检测法采用的窗口大小相同。
8.根据权利要求1所述的基于稀疏编码和神经网络的行人图片检测方法,其特征在于,所述步骤S104中,所述快速图像特征金字塔计算方法具体为:
先计算出缩放因子为1、1/2、1/4的层图像的特征层,依据计算好的层图像的特征层估算其左右层图像的特征层,特征估算公式为:
Cs≈R(Cs',s/s')(s/s')-λΩ
其中,Cs为待估算的特征层,其缩放因子为s,s'为事先己经计算好的层中与s距离最近的层的缩放因子,其中R(Cs',s/s')表示将Cs的尺寸缩放为原来的s/s'倍;λΩ取决于具体特征的常系数,通过训练样本估计得出。
9.根据权利要求1所述的基于稀疏编码和神经网络的行人图片检测方法,其特征在于,所述步骤S105中,融合具体为:
步骤S901、标记BP-AdaBoost强分类器输出的检测窗口并进行转换,得到与视频帧原图像对应的位置窗口,其中检测窗口和位置窗口由四个元素组成:左上角坐标、窗口高度、窗口宽度和分类算法计算得到的置信分数;
步骤S902、采用非极大值抑制算法将位置窗口进行融合,具体为:
假设两个位置窗口分别为bb1和bb2,二者重合率a0计算公式如下:
a 0 = a r e a ( b b 1 &cap; b b 2 ) a r e a ( min ( b b 1 , b b 2 ) )
当重合率a0<θ时,两个位置窗口不做任何处理,其中θ=0.5;
当重合率a0>θ时,则再计算两个位置窗口的重合面积阈值,假设抑制窗口为BBu,其检测分数为sd、高度为hu,被抑制窗口为BBd,其检测分数为sd、高度为hd,则抑制窗口BBu与被抑制窗口BBd的重合面积阈值为:
thr o = 0.65 s d / s u &GreaterEqual; &alpha; min ( 0.65 , 0.65 &times; ( h d / &lambda;h u ) 2 ) s d / s u < &alpha;
当重合面积阈值结果为0.65时,不采用动态阈值抑制,其中α=0.7;
当重合面积阈值小于0.65时,采用动态阈值抑制;
最终得到准确的定位窗口。
10.根据权利要求9所述的基于稀疏编码和神经网络的行人图片检测方法,其特征在于,所述步骤S901中,标记检测窗口进行并进行转换具体为:
假设B是H点在层图像中的坐标,B'是H点视频帧原图像中的坐标,坐标A为检测窗口左上角的坐标,计算公式如下:
B'=B-pad
A=B'+(modelDsPad-modelDs)/2=B+(modelDsPad-modelDs)/2-pad
其中,modelDsPad是检测窗口对行人的扩展,modelDs为行人尺寸,pad是计算特征时对输入图像的扩展;将检测窗口左上角坐标A除以缩放因子,得到检测窗口左上角在视频帧原图像中对应的坐标;
窗口高度和窗口宽度除以缩放因子得到转换后的窗口高度和窗口宽度;
置信分数不变。
CN201511020817.6A 2015-12-30 2015-12-30 一种基于稀疏编码和神经网络的行人图片检测方法 Pending CN105678231A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511020817.6A CN105678231A (zh) 2015-12-30 2015-12-30 一种基于稀疏编码和神经网络的行人图片检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511020817.6A CN105678231A (zh) 2015-12-30 2015-12-30 一种基于稀疏编码和神经网络的行人图片检测方法

Publications (1)

Publication Number Publication Date
CN105678231A true CN105678231A (zh) 2016-06-15

Family

ID=56298139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511020817.6A Pending CN105678231A (zh) 2015-12-30 2015-12-30 一种基于稀疏编码和神经网络的行人图片检测方法

Country Status (1)

Country Link
CN (1) CN105678231A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407894A (zh) * 2016-08-29 2017-02-15 上海交通大学 一种改进基于ldcf的行人检测方法
CN106485226A (zh) * 2016-10-14 2017-03-08 杭州派尼澳电子科技有限公司 一种基于神经网络的视频行人检测方法
CN106529448A (zh) * 2016-10-27 2017-03-22 四川长虹电器股份有限公司 利用聚合通道特征进行多视角人脸检测的方法
CN106529522A (zh) * 2016-11-07 2017-03-22 湖南源信光电科技有限公司 一种基于积分通道特征的车牌定位方法
CN106650647A (zh) * 2016-12-09 2017-05-10 开易(深圳)科技有限公司 基于传统算法和深度学习算法级联的车辆检测方法及系统
CN106960183A (zh) * 2017-03-04 2017-07-18 浙江大学 一种基于梯度提升决策树的图像行人检测算法
CN107103299A (zh) * 2017-04-21 2017-08-29 天津大学 一种监控视频中的人数统计方法
CN107194418A (zh) * 2017-05-10 2017-09-22 中国科学院合肥物质科学研究院 一种基于对抗特征学习的水稻蚜虫检测方法
CN108009554A (zh) * 2017-12-01 2018-05-08 国信优易数据有限公司 一种图像处理方法以及装置
CN108038409A (zh) * 2017-10-27 2018-05-15 江西高创保安服务技术有限公司 一种行人检测方法
CN108073933A (zh) * 2016-11-08 2018-05-25 杭州海康威视数字技术股份有限公司 一种目标检测方法及装置
CN108122003A (zh) * 2017-12-19 2018-06-05 西北工业大学 一种基于深度神经网络的弱小目标识别方法
CN108416250A (zh) * 2017-02-10 2018-08-17 浙江宇视科技有限公司 人数统计方法及装置
CN108764164A (zh) * 2018-05-30 2018-11-06 华中科技大学 一种基于可变形卷积网络的人脸检测方法及系统
CN109190499A (zh) * 2018-08-09 2019-01-11 百度在线网络技术(北京)有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN109190456A (zh) * 2018-07-19 2019-01-11 中国人民解放军战略支援部队信息工程大学 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法
CN109697439A (zh) * 2017-10-24 2019-04-30 北京京东尚科信息技术有限公司 汉字定位方法及装置、存储介质和电子设备
CN109815868A (zh) * 2019-01-15 2019-05-28 腾讯科技(深圳)有限公司 一种图像目标检测方法、装置及存储介质
CN110309792A (zh) * 2019-07-04 2019-10-08 电子科技大学 基于部件模板的室内人物检测方法
CN113642736A (zh) * 2021-07-29 2021-11-12 中国科学院计算技术研究所 基于冷热分离的梯度聚合方法与系统
CN115578553A (zh) * 2022-11-22 2023-01-06 河南知微生物工程有限公司 一种基于时序图像序列的甲醛的快速检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239854A (zh) * 2014-08-30 2014-12-24 电子科技大学 一种基于区域稀疏积分通道的行人特征提取和表示方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239854A (zh) * 2014-08-30 2014-12-24 电子科技大学 一种基于区域稀疏积分通道的行人特征提取和表示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘艳丽: "基于神经网络的运动目标检测与跟踪算法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
陈金辉: "静态图像行人检测算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407894A (zh) * 2016-08-29 2017-02-15 上海交通大学 一种改进基于ldcf的行人检测方法
CN106485226A (zh) * 2016-10-14 2017-03-08 杭州派尼澳电子科技有限公司 一种基于神经网络的视频行人检测方法
CN106529448A (zh) * 2016-10-27 2017-03-22 四川长虹电器股份有限公司 利用聚合通道特征进行多视角人脸检测的方法
CN106529522A (zh) * 2016-11-07 2017-03-22 湖南源信光电科技有限公司 一种基于积分通道特征的车牌定位方法
CN108073933B (zh) * 2016-11-08 2021-05-25 杭州海康威视数字技术股份有限公司 一种目标检测方法及装置
CN108073933A (zh) * 2016-11-08 2018-05-25 杭州海康威视数字技术股份有限公司 一种目标检测方法及装置
CN106650647A (zh) * 2016-12-09 2017-05-10 开易(深圳)科技有限公司 基于传统算法和深度学习算法级联的车辆检测方法及系统
CN108416250A (zh) * 2017-02-10 2018-08-17 浙江宇视科技有限公司 人数统计方法及装置
CN108416250B (zh) * 2017-02-10 2021-06-22 浙江宇视科技有限公司 人数统计方法及装置
CN106960183A (zh) * 2017-03-04 2017-07-18 浙江大学 一种基于梯度提升决策树的图像行人检测算法
CN107103299A (zh) * 2017-04-21 2017-08-29 天津大学 一种监控视频中的人数统计方法
CN107103299B (zh) * 2017-04-21 2020-03-06 天津大学 一种监控视频中的人数统计方法
CN107194418A (zh) * 2017-05-10 2017-09-22 中国科学院合肥物质科学研究院 一种基于对抗特征学习的水稻蚜虫检测方法
CN107194418B (zh) * 2017-05-10 2021-09-28 中国科学院合肥物质科学研究院 一种基于对抗特征学习的水稻蚜虫检测方法
CN109697439A (zh) * 2017-10-24 2019-04-30 北京京东尚科信息技术有限公司 汉字定位方法及装置、存储介质和电子设备
CN108038409B (zh) * 2017-10-27 2021-12-28 江西高创保安服务技术有限公司 一种行人检测方法
CN108038409A (zh) * 2017-10-27 2018-05-15 江西高创保安服务技术有限公司 一种行人检测方法
CN108009554A (zh) * 2017-12-01 2018-05-08 国信优易数据有限公司 一种图像处理方法以及装置
CN108122003A (zh) * 2017-12-19 2018-06-05 西北工业大学 一种基于深度神经网络的弱小目标识别方法
CN108764164A (zh) * 2018-05-30 2018-11-06 华中科技大学 一种基于可变形卷积网络的人脸检测方法及系统
CN109190456A (zh) * 2018-07-19 2019-01-11 中国人民解放军战略支援部队信息工程大学 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法
CN109190499A (zh) * 2018-08-09 2019-01-11 百度在线网络技术(北京)有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN109815868A (zh) * 2019-01-15 2019-05-28 腾讯科技(深圳)有限公司 一种图像目标检测方法、装置及存储介质
CN109815868B (zh) * 2019-01-15 2022-02-01 腾讯科技(深圳)有限公司 一种图像目标检测方法、装置及存储介质
CN110309792A (zh) * 2019-07-04 2019-10-08 电子科技大学 基于部件模板的室内人物检测方法
CN110309792B (zh) * 2019-07-04 2022-07-01 电子科技大学 基于部件模板的室内人物检测方法
CN113642736A (zh) * 2021-07-29 2021-11-12 中国科学院计算技术研究所 基于冷热分离的梯度聚合方法与系统
CN113642736B (zh) * 2021-07-29 2023-09-12 中国科学院计算技术研究所 基于冷热分离的梯度聚合方法与系统
CN115578553A (zh) * 2022-11-22 2023-01-06 河南知微生物工程有限公司 一种基于时序图像序列的甲醛的快速检测方法

Similar Documents

Publication Publication Date Title
CN105678231A (zh) 一种基于稀疏编码和神经网络的行人图片检测方法
CN106446930B (zh) 基于深层卷积神经网络的机器人工作场景识别方法
CN103514456B (zh) 基于压缩感知多核学习的图像分类方法及其装置
CN109902590A (zh) 深度多视图特征距离学习的行人重识别方法
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN107103326A (zh) 基于超像素聚类的协同显著性检测方法
CN105046197A (zh) 基于聚类的多模板行人检测方法
CN103996195A (zh) 一种图像显著性检测方法
CN105205449A (zh) 基于深度学习的手语识别方法
CN104240256A (zh) 一种基于层次化稀疏建模的图像显著性检测方法
CN109034035A (zh) 基于显著性检测和特征融合的行人重识别方法
CN101799875B (zh) 一种目标检测方法
CN104376334B (zh) 一种多尺度特征融合的行人比对方法
CN103617609B (zh) 基于图论的k-means非线性流形聚类与代表点选取方法
CN108776777A (zh) 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法
CN108846404A (zh) 一种基于相关约束图排序的图像显著性检测方法及装置
CN111881716A (zh) 一种基于多视角生成对抗网络的行人重识别方法
CN110516533A (zh) 一种基于深度度量的行人再辨识方法
CN104598889A (zh) 人体行为识别的方法和装置
CN105956570A (zh) 基于唇部特征和深度学习的笑脸识别方法
CN110348492A (zh) 一种基于上下文信息及多特征融合的相关滤波目标跟踪方法
CN107194314A (zh) 融合模糊2dpca和模糊2dlda的人脸识别方法
CN108573241A (zh) 一种基于融合特征的视频行为识别方法
CN103714340A (zh) 基于图像分块的自适应特征提取方法
CN107832753A (zh) 一种基于四值权重与多重分类的人脸特征提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160615

RJ01 Rejection of invention patent application after publication