CN107622258A - 一种结合静态底层特征和运动信息的快速行人检测方法 - Google Patents
一种结合静态底层特征和运动信息的快速行人检测方法 Download PDFInfo
- Publication number
- CN107622258A CN107622258A CN201710958030.7A CN201710958030A CN107622258A CN 107622258 A CN107622258 A CN 107622258A CN 201710958030 A CN201710958030 A CN 201710958030A CN 107622258 A CN107622258 A CN 107622258A
- Authority
- CN
- China
- Prior art keywords
- mrow
- pedestrian
- image
- mfrac
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合静态底层特征和运动信息的快速行人检测方法，针对待检测的视频序列中的单一图像帧，采用多尺度滑动窗口法提取其中指定大小的检测窗口，并采用快速金字塔特征计算方法计算每个检测窗口内图像的静态底层特征，静态底层特征包括方向梯度、梯度幅值和颜色通道，基于各个检测窗口内图像的静态底层特征对各个检测窗口进行行人与非行人预分类；利用行人特有的移动速度特征，通过检测窗口像素差均值法，去除预分类中误检为行人的检测窗口，最终检测为行人的检测窗口在图像中的位置即该图像帧中的行人的位置。本发明能在降低误检率的同时提高检测的准确性。
Description
技术领域
本发明属于一种在智能视频监控中基于行人静态底层特征并结合行人运动特征的行人检测方法。
背景技术
行人检测和跟踪技术是机器视觉研究中的一个重要内容，已在涉及人们生活的多个领域发挥作用。依托先进的行人检测技术，监控视频在智能存储、智能检索、行为分析等方面取得了较大突破，从而大幅度降低监控系统建设成本，并节约大量的安保人力资源。实时行人检测使安防监控系统能及时提醒安保人员注意监控区域出现的可疑人员、并帮助安保人员快速定位、跟踪犯罪嫌疑人员。智能视频监控系统还可通过分析室内行走人员在监控区域的出现规律、异常动作及时对被看护的老人和小孩预警。此外行人检测技术对公共场所的拥堵人群行为分析也发挥着极其重要的作用。
近几年，围绕提高检测正确率和检测速度两个目标，行人检测技术取得了重大进步。根据图像或视频序列中行人目标特有的时空特征，行人检测可划分为三大类。第一类是基于静态图像或单帧图像进行行人特征抽取的检测方法。这类方法又包含静态底层特征抽取和静态高层特征抽取两个子类。Sakrapee等基于空域池抽取多尺度分块协方差和LBP两类静态特征，并采用结构化的集成学习方法进行行人检测。图像空域池特征具有平移不变性，并对噪声具有良好的鲁棒性，适合于稀疏编码的通用图像分类。该行人检测方法在Caltech数据库上将平均误检率将低至21％，检测速率为0.12帧每秒(fps)。Wan[8]等利用分层卷积神经网络将特征提取、形变处理、遮挡处理和分类这四个通常被分别处理的关键步骤融合在一个整体的深度学习框架内，先进行整体特征提取，后进行行人部件检测和部件特征映射，该方法在Caltech数据库上平均误检率为29％。但通过多层卷积运算提取高层行人检测特征存在耗时长、占用内存资源大的缺点，难以实现行人实时检测。Cao等根据行人躯干部分表观的一致性和轮廓的左右对称性，手工定制底层行人检测特征。在Caltech数据库上，针对高度超过100像素的近似正面行人图像的误检率降低至17％，检测速率为1.15fps。第二类行人检测方法基于视频序列，通过相邻帧或连续多帧图像提取行人运动特征，达到行人检测目的。Liang等通过背景减除，采用轮廓投影和卡尔曼滤波获取运动目标，再提取运动目标的梯度幅值和方向梯度直方图，同时实现行人、汽车、摩托车和自行车四类物体分类。Walk等采用改进的光流直方图法，利用行人运动信息、并结合梯度、颜色自对称性等表观特征，极大地提高行人检测准确率。第三类行人检测方法是融合静态特征和运动特征的方法。Zhang等组合多种静态底层特征提取方法和光流运动特征提取方法，形成一个含80个特征滤波器的滤波器组，并将滤波器组与多层决策树相结合，构建统一的行人检测框架。
上述行人检测算法在降低误检率或提高行人检测速度方面都取得良好表现，但鲜有算法在两个方面同时改进。基于静态特征的行人检测算法应用于与训练场景不相符合的特定场景时，正确检测率快速下降，误检率快速上升。误检的主要原因是静态图像中灰度特征分布和轮廓形状类似直立行人的物体被检测为行人。基于运动特征进行行人检测时，若采用背景减除进行运动目标检测，由于背景减除法对亮度变化和无序场景很敏感，并且当行人着装颜色与背景颜色近似，背景减除法会造成大量的误分割,即一个行人运动区域被割裂成不联通的几个区域，从而导致行人误检和漏检；若采用光流特征，由于光流法采用迭代方法计算光流场，耗时长，难实现实时行人检测，且光流法对噪声、光照敏感，不适用低质量图像下的行人检测。
因此，有必要设计一种能同时降低误检率或提高行人检测速度的行人检测算法。
发明内容
本发明所解决的问题是，针对现有的不足，提供一种结合静态底层特征和运动信息的快速行人检测方法(RBPVD)，能在提高检测准确性的同时提高检测速度。
本发明所提供的技术方案为：
一种结合静态底层特征和运动信息的快速行人检测方法，包括以下步骤：
步骤1、针对待检测的视频序列中的单一图像帧，采用多尺度滑动窗口法提取其中指定大小的检测窗口，并采用快速金字塔特征计算方法计算每个检测窗口内图像的静态底层特征，静态底层特征包括方向梯度、梯度幅值和颜色通道，基于各个检测窗口内图像的静态底层特征对各个检测窗口进行行人与非行人预分类；
步骤2、利用行人特有的移动速度特征，通过检测窗口像素差均值法，去除预分类中误检为行人的检测窗口，最终检测为行人的检测窗口在图像中的位置即该图像帧中的行人的位置。
进一步地，图像的静态底层特征的计算方法为：
1)图像的梯度幅值特征由图像上各个像素点处的梯度幅值构成；图像上像素点(i,j)处的梯度幅值M(i,j)2的计算公式为：
其中，I是图像上像素点(i,j)处的像素值；
2)图像的方向梯度特征由图像上各个像素点处的梯度方向值构成；图像上像素点(i,j)处的梯度方向值D(i,j)的计算公式为：
3)图像的颜色通道特征值为图像上LUV或RGB三个颜色通道内的像素值。
进一步地，所述步骤1中对检测窗口进行行人与非行人预分类，具体包括以下步骤：
步骤1.1、获取与检测窗口大小相同的训练样本图像，包括行人和非行人图像；
步骤1.2、提取训练样本图像的静态底层特征；
步骤1.3、采用AdaBoost算法，基于训练样本图像提取出的静态底层特征训练多个弱分类器，并将多个弱分类器加权组成一个强分类器；每个弱分类器的判断阈值经样本训练而成；
步骤1.4、将检测窗口内图像的静态底层特征输入步骤1.3得到的强分类器，得到检测窗口被分类为行人的置信度，根据置信度阈值对检测窗口进行行人与非行人预分类。
进一步地，采用非最大值抑制(NMS)方法，对步骤1.4中预分类为行人的检测窗口进行一次筛选，针对经多尺度分析后同一图像帧中同一行人对应的多个检测窗口()，只保留置信度最高的检测窗口，去除其它检测窗口(即选取邻域里置信度最高的检测窗口，并且抑制那些置信度较低的窗口。)。
所述步骤依据步骤1的筛选结果，在静态特征筛选的基础上进行第二次筛选。
进一步地，所述步骤2包括以下步骤：
步骤2.1、获取训练样本图像(视频序列)，包括误检为行人的背景图像以及含真实行人的前景图像；
步骤2.2、采用帧差法计算各个训练样本图像的像素差矩阵，并计算各个矩阵中所有元素绝对值的均值；
其中，Ib表示误检为行人的背景图像的像素差矩阵集合，简称为误检差集，Ip表示前景中含真实行人的前景图像的像素差矩阵集合，简称为真实差集；k＝1,2,…,K，l＝1,2,…,L，K和L分别为背景图像和前景图像的个数；表示误检差集Ib中第k个背景图像的像素差矩阵中第u行第v列的元素，m和n分别为矩阵的行数和列数；表示矩阵中所有元素绝对值的均值；表示真实差集Ip中第l个前景图像的像素差矩阵中第u行第v列的元素，s和t分别为矩阵的行数和列数；表示矩阵中所有元素绝对值的均值；
步骤2.3、计算和的均值μb和μp；
步骤2.4、计算和的标准差σb和σp；
步骤2.4、用正态分布曲线近似两类像素差矩阵元素绝对值均值的概率分布，计算两个正态分布相邻侧交点的横坐标x；
步骤2.5、将x作为第二次筛选的阈值，排除在步骤1中的误检为行人的检测窗口；针对第一次筛选留下的每一个预分类行人的检测窗口，采用帧差法计算检测窗口内图像的像素差矩阵，并计算像素差矩阵中所有元素绝对值的均值A；若A大于x，则该检测窗口为真实的行人窗口，否则，则检测窗口为误检为行人的检测窗口；真实行人窗口在当前图像帧中的位置即该图像帧中行人的位置。
进一步地，所述步骤1中，按设定的缩放尺度对图像帧逐层缩小，直到最顶层图像的宽或高小于指定滑动窗口的宽或高，由得到的不同尺寸层的图像构建特征金字塔；然后以指定大小的滑动窗口和滑动步长在每个尺寸层上进行滑动，得到检测窗口；采用快速特征金字塔计算方法，提取各个检测窗口内图像的静态底层特征，即将特征金字塔划分为多个主层，每个主层包括多个次层；在每个主层，计算一个次层图像的特征，将其作为基准特征；该主层中其它尺度层图像的特征由临近的基准特征近似计算得到。采用快速特征金字塔计算方法相对于逐层计算图像特征的方法，提高了检测速度。
进一步地，所述步骤1中，将0～180度划分为9个区间(每个区间含20度)；计算得到当前图像帧中各个像素点处的梯度方向后，将它们按照9个方向进行梯度方向值统计，从而形成梯度直方图，作为图像的方向梯度特征。
进一步地，所述步骤1中，滑动窗口的大小为32×64，即宽为32像素，高为64像素。
进一步地，所述步骤1.3中，弱分类器的个数为1024个。
进一步地，所述步骤2.2和步骤2.5中，采用帧差法计算图像的像素差矩阵时，进行帧差计算的图像帧之间的序号差值范围1≤R≤5。
有益效果：
本发明针对背景复杂的监控视频序列帧，通过快速计算特征金字塔实时提取行人静态底层特征，实现行人检测的实时性，在非GPU计算模式下，检测一帧640×480图像耗时0.092秒；由对应静态特征弱分类器级联成强分类器；通过检测窗口像素差均值法提取行人运动特征，去除背景中误检为行人的物体，降低误检率，在静态检测的基础上提高行人检测精度，检测准确率达到91。实验表明：基于图像统计规律的检测窗口像素差均值判断法在保证实时检测的前提下，通过降低错误正例数，有效提高行人检测准确率。本发明综合考虑视频监控系统中的实际情况，在提高检全率的同时降低误检率，切实提高监控系统的自动化、智能化，为安保人员调阅监控录像节约大量时间，并提高司法机关根据视频录像追踪违法犯罪嫌疑人员的速度。
本发明通过机器学习，充分利用直立行人特有的静态特征和行走的运动速度特征，针对摄像头固定、中低分辨率和背景复杂且场景多变的监控视频序列，能有效将行人与图像背景中类似行人的静态物体和运动物体区分开来，良好地解决了前景和背景中类似行人的物体被误检行人问题，在提高行人检测准确率的同时提高检测速度，从而改善视频监控系统的智能应用性能。
附图说明
图1：本发明的流程图；
图2：当前先进的两种行人检测算法与本发明的检测结果对比。图2(a)是三种方法对背景不同的监控视频进行行人检测的结果，其中第一列是三种背景原图，第二、三、四列分别是FPDW、MutiFtr+Motion和本发明方法检测的结果；图2(b)是三种方法对近距离行人检测结果的对比。
具体实施方式
以下结合附图和具体实施方式对本发明进行进一步具体说明。
以下具体实施仅用于说明本发明，不构成对本发明保护范围的限制，任何不脱离本发明实质、在本发明思路下的技术方案均在本发明的保护范围之内。
一、利用发明内容部分公开的技术方案自动检测监控视频中的行人；
如图1所示，本发明公开了一种结合静态底层特征和运动信息的快速行人检测方法。针对摄像头固定的安防监控视频，本发明采用快速特征金字塔计算方法提取直立行人的静态特征。特征金字塔由24个尺度层组成，其中包含3个主层，每一主层由8个次层组成。通过直接计算少数尺度层的特征并近似计算相邻尺度层特征的方法达到行人检测的实时性；在静态行人检测的基础上，充分利用行人独有的移动速度，通过矩形块像素差均值法，提取行人速度特征，最终实现检测速度与检测准确度的良好统一。
二、验证本发明的有效性
(1)检测准确率对比
如图2(a)所示，从左至右，第1列为背景不同的监控视频原图像，第2、3、4列为分别为FPDW、MultiFtr+Motion、RBPVD三种方法针对原图像的检测结果。从图中可以得知，RBPVD方法通过结合行人运动特征，进一步去除对背景中类似行人物体的误判，从而提高行人检测的准确率。
实验根据行人的高度和宽度等限制条件分两种情况对FPDW、MultiFtr+Motion、RBPVD三种方法的行人检测性能进行了对比测试。第一种情况是对监控视频中的近距离行人进行检测(near pedestrian)，检测数据如表一。在这种情况中，行人高度大于70像素，宽度大于30像素，且行人图像无遮挡，肉眼可以清晰的辨认行人轮廓。近距离行人的检测效果如图2(b)所示。本发明提供的RBPVD算法的平均误检率较之于FPDW、MultiFtr+Motion，分别降低了了8％和4％；FPDW算法的误检率值远大于RBPVD和MultiFtr+Motion的值，其原因是后两种算法考虑了行人的运动特性，避免背景中静止不动物体被误检为行人。
表一 三种算法在CSUPD数据库上针对近距离行人的检测结果对比
第二种情况是对监控视频中的中距离行人进行检测(midium pedestrian)，检测数据如表二。在这种情况中，行人高度大于50像素，宽度大于20像素，且行人图像无遮挡，肉眼可以辨认行人轮廓。从表二可知，相对近距离行人检测，三种方法对中距离行人检测的误检率都提高了。其原因是中距离行人较之近距离行人，行人前景轮廓相对模糊，方向梯度值小，因而实际检测出的真实行人少。虽然针对中距离行人检测，三种方法的误检率都提高了，但RBPVD的误检率仍然是最低的。
表二 三种算法在CSUPD数据库上针对中距离行人的检测结果对比
(2)检测速度对比
FPDW、MultiFtr+Motion、RBPVD三种行人检测方法在CSUPD检测集上的检测速度如表三所示。在分类模型已经训练完成、且视频序列的每个帧已转换成图像的前提下，FPDW检测速度最快，RBPVD检测时长略有增加，但两种算法的检测速度都高于10fps(10帧/秒)，完全满足实时行人检测要求(实时行人检测时，每秒抽样检测1至3帧)；MultiFtr+Motion由于采用耗时较长的光流检测法，行人检测速度则低于1fps。
表三 三种算法在CSUPD数据库上对行人的检测速度对比
| 算法名称 | FPDW | MultiFtr+Motion | RBPVD |
| 检测集图片总数(nImg) | 3960 | 3960 | 3960 |
| 总耗时(s) | 348 | 2091 | 364 |
| 每张图像平均耗时(s) | 0.088 | 1.128 | 0.092 |
Claims (10)
1.一种结合静态底层特征和运动信息的快速行人检测方法，其特征在于，包括以下步骤：
步骤1、针对待检测的视频序列中的单一图像帧，采用多尺度滑动窗口法提取其中指定大小的检测窗口，并采用快速金字塔特征计算方法计算每个检测窗口内图像的静态底层特征，静态底层特征包括方向梯度、梯度幅值和颜色通道，基于各个检测窗口内图像的静态底层特征对各个检测窗口进行行人与非行人预分类；
步骤2、利用行人特有的移动速度特征，通过检测窗口像素差均值法，去除预分类中误检为行人的检测窗口，最终检测为行人的检测窗口在图像中的位置即该图像帧中的行人的位置。
2.根据权利要求1所述的结合静态底层特征和运动信息的快速行人检测方法，其特征在于，
1)图像的梯度幅值特征由图像上各个像素点处的梯度幅值构成；图像上像素点(i,j)处的梯度幅值M(i,j)2的计算公式为：
<mrow>
<mi>M</mi>
<msup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>I</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<msup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>I</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<msup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>I</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>I</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<msup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>=</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
其中，I是图像上像素点(i,j)处的像素值；
2)图像的方向梯度特征由图像上各个像素点处的梯度方向值构成；图像上像素点(i,j)处的梯度方向值D(i,j)的计算公式为：
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>arctan</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>I</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mo>(</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mo>)</mo>
<mo>/</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>I</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mo>(</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
3)图像的颜色通道特征值为图像上LUV或RGB三个颜色通道内的像素值。
3.根据权利要求1所述的结合静态底层特征和运动信息的快速行人检测方法，其特征在于，所述步骤1中对检测窗口进行行人与非行人预分类，具体包括以下步骤：
步骤1.1、获取与检测窗口大小相同的训练样本图像，包括行人和非行人图像；
步骤1.2、提取训练样本图像的静态底层特征；
步骤1.3、采用AdaBoost算法，基于训练样本图像提取出的静态底层特征训练多个弱分类器，并将多个弱分类器加权组成一个强分类器；每个弱分类器的判断阈值经样本训练而成；
步骤1.4、将检测窗口内图像的静态底层特征输入步骤1.3得到的强分类器，得到检测窗口被分类为行人的置信度，根据置信度阈值对检测窗口进行行人与非行人预分类。
4.根据权利要求1所述的结合静态底层特征和运动信息的快速行人检测方法，其特征在于，采用非最大值抑制方法，对步骤1.4中预分类为行人的检测窗口进行一次筛选，针对经多尺度分析后同一图像帧中同一行人对应的多个检测窗口，只保留置信度最高的检测窗口，去除其它检测窗口。
所述步骤依据步骤1的筛选结果，在静态特征筛选的基础上进行第二次筛选。
5.根据权利要求1所述的结合静态底层特征和运动信息的快速行人检测方法，其特征在于，所述步骤2包括以下步骤：
步骤2.1、获取训练样本图像，包括误检为行人的背景图像以及含真实行人的前景图像；
步骤2.2、采用帧差法计算各个训练样本图像的像素差矩阵，并计算各个矩阵中所有元素绝对值的均值；
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>A</mi>
<mi>b</mi>
<mi>k</mi>
</msubsup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</mfrac>
<mstyle>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mi>v</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</munderover>
</mstyle>
<mo>|</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>b</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
</mrow>
<mi>k</mi>
</msubsup>
<mo>|</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>A</mi>
<mi>p</mi>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>s</mi>
<mo>&times;</mo>
<mi>t</mi>
</mrow>
</mfrac>
<mstyle>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mi>v</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</munderover>
</mstyle>
<mo>|</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
</mrow>
<mi>l</mi>
</msubsup>
<mo>|</mo>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，Ib表示误检为行人的背景图像的像素差矩阵集合，简称为误检差集，Ip表示前景中含真实行人的前景图像的像素差矩阵集合，简称为真实差集；k＝1,2,…,K，l＝1,2,…,L，K和L分别为背景图像和前景图像的个数；表示误检差集Ib中第k个背景图像的像素差矩阵中第u行第v列的元素，m和n分别为矩阵的行数和列数；表示矩阵中所有元素绝对值的均值；表示真实差集Ip中第l个前景图像的像素差矩阵中第u行第v列的元素，s和t分别为矩阵的行数和列数；表示矩阵中所有元素绝对值的均值；
步骤2.3、计算和的均值μb和μp；
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<msub>
<mi>&mu;</mi>
<mi>b</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>K</mi>
</mfrac>
<mstyle>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>K</mi>
</munderover>
</mstyle>
<msubsup>
<mi>A</mi>
<mi>b</mi>
<mi>k</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&mu;</mi>
<mi>p</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>L</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>l</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>L</mi>
</munderover>
<msubsup>
<mi>A</mi>
<mi>p</mi>
<mi>l</mi>
</msubsup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
步骤2.4、计算和的标准差σb和σp；
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<msub>
<mi>&sigma;</mi>
<mi>b</mi>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mi>K</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>K</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>A</mi>
<mi>b</mi>
<mi>k</mi>
</msubsup>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>b</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&sigma;</mi>
<mi>p</mi>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mi>L</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>l</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>L</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>A</mi>
<mi>p</mi>
<mi>l</mi>
</msubsup>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>p</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
步骤2.4、用正态分布曲线近似两类像素差矩阵元素绝对值均值的概率分布，计算两个正态分布相邻侧交点的横坐标x；
<mrow>
<mfrac>
<mn>1</mn>
<mrow>
<msqrt>
<mrow>
<mn>2</mn>
<mi>&pi;</mi>
</mrow>
</msqrt>
<msub>
<mi>&sigma;</mi>
<mi>b</mi>
</msub>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>b</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&sigma;</mi>
<mi>b</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
</mrow>
</msup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msqrt>
<mrow>
<mn>2</mn>
<mi>&pi;</mi>
</mrow>
</msqrt>
<msub>
<mi>&sigma;</mi>
<mi>p</mi>
</msub>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>p</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&sigma;</mi>
<mi>p</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
</mrow>
</msup>
</mrow>
步骤2.5、将x作为第二次筛选的阈值，排除在步骤1中的误检为行人的检测窗口；针对第一次筛选留下的每一个预分类行人的检测窗口，采用帧差法计算检测窗口内图像的像素差矩阵，并计算像素差矩阵中所有元素绝对值的均值A；若A大于x，则该检测窗口为真实的行人窗口，否则，则检测窗口为误检为行人的检测窗口；真实行人窗口在当前图像帧中的位置即该图像帧中行人的位置。
6.根据权利要求1所述的结合静态底层特征和运动信息的快速行人检测方法，其特征在于，所述步骤1中，按设定的缩放尺度对图像帧逐层缩小，直到最顶层图像的宽或高小于指定滑动窗口的宽或高，由得到的不同尺寸层的图像构建特征金字塔；然后以指定大小的滑动窗口和滑动步长在每个尺寸层上进行滑动，得到检测窗口；采用快速特征金字塔计算方法，提取各个检测窗口内图像的静态底层特征，即将特征金字塔划分为多个主层，每个主层包括多个次层；在每个主层，计算一个次层图像的特征，将其作为基准特征；该主层中其它尺度层图像的特征由临近的基准特征近似计算得到。
7.根据权利要求1所述的结合静态底层特征和运动信息的快速行人检测方法，其特征在于，所述步骤1中，将0～180度划分为9个区间；计算得到当前图像帧中各个像素点处的梯度方向后，将它们按照9个方向进行梯度方向值统计，从而形成梯度直方图，作为图像的方向梯度特征。
8.根据权利要求1所述的结合静态底层特征和运动信息的快速行人检测方法，其特征在于，所述步骤1中，滑动窗口的大小为32×64，即宽为32像素，高为64像素。
9.根据权利要求1所述的结合静态底层特征和运动信息的快速行人检测方法，其特征在于，所述步骤1.3中，弱分类器的个数为1024个。
10.根据权利要求1所述的结合静态底层特征和运动信息的快速行人检测方法，其特征在于，所述步骤2.2和步骤2.5中，采用帧差法计算图像的像素差矩阵时，进行帧差计算的图像帧之间的序号差值范围1≤R≤5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710958030.7A CN107622258B (zh) | 2017-10-16 | 2017-10-16 | 一种结合静态底层特征和运动信息的快速行人检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710958030.7A CN107622258B (zh) | 2017-10-16 | 2017-10-16 | 一种结合静态底层特征和运动信息的快速行人检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107622258A true CN107622258A (zh) | 2018-01-23 |
| CN107622258B CN107622258B (zh) | 2020-10-30 |
Family
ID=61092443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710958030.7A Active CN107622258B (zh) | 2017-10-16 | 2017-10-16 | 一种结合静态底层特征和运动信息的快速行人检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107622258B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846344A (zh) * | 2018-06-05 | 2018-11-20 | 中南大学 | 一种融合深度学习的行人姿势多特征智能辨识方法 |
| CN111310565A (zh) * | 2020-01-15 | 2020-06-19 | 同济大学 | 一种融合图像静态特征和长短时运动特征的行人检测方法 |
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| CN115512173A (zh) | 2018-10-11 | 2022-12-23 | 特斯拉公司 | 用于使用增广数据训练机器模型的系统和方法 |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101887524A (zh) * | 2010-07-06 | 2010-11-17 | 湖南创合制造有限公司 | 基于视频监控的行人检测方法 |
| CN102609686A (zh) * | 2012-01-19 | 2012-07-25 | 宁波大学 | 一种行人检测方法 |
| JP2012247225A (ja) * | 2011-05-25 | 2012-12-13 | Seiko Epson Corp | 検出装置及び検出方法 |
| CN103886308A (zh) * | 2014-04-15 | 2014-06-25 | 中南大学 | 一种使用聚合通道特征和软级联分类器的行人检测方法 |
| KR101427032B1 (ko) * | 2013-01-28 | 2014-08-05 | 주식회사 만도 | 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법 |
| CN103177248B (zh) * | 2013-04-16 | 2016-03-23 | 浙江大学 | 一种基于视觉的快速行人检测方法 |
| CN106845374A (zh) * | 2017-01-06 | 2017-06-13 | 清华大学 | 基于深度学习的行人检测方法及检测装置 |
| WO2017101036A1 (en) * | 2015-12-16 | 2017-06-22 | Intel Corporation | Fully convolutional pyramid networks for pedestrian detection |
-
2017
- 2017-10-16 CN CN201710958030.7A patent/CN107622258B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101887524A (zh) * | 2010-07-06 | 2010-11-17 | 湖南创合制造有限公司 | 基于视频监控的行人检测方法 |
| JP2012247225A (ja) * | 2011-05-25 | 2012-12-13 | Seiko Epson Corp | 検出装置及び検出方法 |
| CN102609686A (zh) * | 2012-01-19 | 2012-07-25 | 宁波大学 | 一种行人检测方法 |
| KR101427032B1 (ko) * | 2013-01-28 | 2014-08-05 | 주식회사 만도 | 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법 |
| CN103177248B (zh) * | 2013-04-16 | 2016-03-23 | 浙江大学 | 一种基于视觉的快速行人检测方法 |
| CN103886308A (zh) * | 2014-04-15 | 2014-06-25 | 中南大学 | 一种使用聚合通道特征和软级联分类器的行人检测方法 |
| WO2017101036A1 (en) * | 2015-12-16 | 2017-06-22 | Intel Corporation | Fully convolutional pyramid networks for pedestrian detection |
| CN106845374A (zh) * | 2017-01-06 | 2017-06-13 | 清华大学 | 基于深度学习的行人检测方法及检测装置 |
Non-Patent Citations (3)
| Title |
|---|
| TAO XU, HONG LIU, YUELIANG QIAN AND ZHE WANG: "A Fast and Robust Pedestrian Detection Framework Based on Static and Dynamic Information", 《2012 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》 * |
| 徐东彬，葛涛，肖创柏，黄磊: "融合运动和统计特征的静态目标检测", 《北京工业大学学报》 * |
| 李庆武，仇春春，俞 楷，周亮基: "基于多尺度聚合通道特征的实时行人检测", 《电子测量与仪器学报》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US12020476B2 (en) | 2017-03-23 | 2024-06-25 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US12086097B2 (en) | 2017-07-24 | 2024-09-10 | Tesla, Inc. | Vector computational unit |
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| CN108846344B (zh) * | 2018-06-05 | 2022-05-17 | 中南大学 | 一种融合深度学习的行人姿势多特征智能辨识方法 |
| CN108846344A (zh) * | 2018-06-05 | 2018-11-20 | 中南大学 | 一种融合深度学习的行人姿势多特征智能辨识方法 |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US12079723B2 (en) | 2018-07-26 | 2024-09-03 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11983630B2 (en) | 2018-09-03 | 2024-05-14 | Tesla, Inc. | Neural networks for embedded devices |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11908171B2 (en) | 2018-12-04 | 2024-02-20 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| CN111310565A (zh) * | 2020-01-15 | 2020-06-19 | 同济大学 | 一种融合图像静态特征和长短时运动特征的行人检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107622258B (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107622258A (zh) | 一种结合静态底层特征和运动信息的快速行人检测方法 | |
| CN110135269B (zh) | 一种基于混合颜色模型与神经网络的火灾图像检测方法 | |
| CN106910203B (zh) | 一种视频监测中运动目标的快速检测方法 | |
| CN106203274B (zh) | 一种视频监控中行人实时检测系统及方法 | |
| CN104166861B (zh) | 一种行人检测方法 | |
| CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
| CN108288033B (zh) | 一种基于随机蕨融合多特征的安全帽检测方法 | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN104778453B (zh) | 一种基于红外行人亮度统计特征的夜间行人检测方法 | |
| CN110378179B (zh) | 基于红外热成像的地铁逃票行为检测方法及系统 | |
| CN108549864A (zh) | 面向车载热成像行人检测的感兴趣区域过滤方法和装置 | |
| CN104268528B (zh) | 一种人群聚集区域检测方法和装置 | |
| CN102214309B (zh) | 一种基于头肩模型的特定人体识别方法 | |
| CN106204640A (zh) | 一种运动目标检测系统及方法 | |
| CN102982313B (zh) | 烟雾检测的方法 | |
| CN104915655A (zh) | 一种多路监控视频的管理方法与设备 | |
| CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
| Patil et al. | Fggan: A cascaded unpaired learning for background estimation and foreground segmentation | |
| CN103530638B (zh) | 多摄像头下的行人匹配方法 | |
| CN113536972B (zh) | 一种基于目标域伪标签的自监督跨域人群计数方法 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN106127812A (zh) | 一种基于视频监控的客运站非出入口区域的客流统计方法 | |
| CN104504395A (zh) | 基于神经网络实现人车分类的方法和系统 | |
| CN113095263B (zh) | 遮挡下行人重识别模型训练方法、装置及遮挡下行人重识别方法、装置 | |
| CN107944403A (zh) | 一种图像中的行人属性检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |