CN104615986A - 利用多检测器对场景变化的视频图像进行行人检测的方法 - Google Patents

Abstract

提供一种利用多检测器对场景变化的视频图像进行行人检测的方法，包括：(A)针对多个不同场景，分别获取每个场景的场景背景模型，并分别训练出每个场景的行人检测器；(B)建立关于场景背景模型和行人检测器的对应关系集；(C)获取场景变化的视频图像，将所述视频图像划分为多个视频片段；(D)针对所述多个视频片段中的每个视频片段，获取所述每个视频片段的片段背景模型，使用基于所述每个视频片段的片段背景模型确定的行人检测器来检测所述每个视频片段中的行人。根据所述方法，能够有效地提高场景变化时的行人识别率，并降低了人工成本。

Description

利用多检测器对场景变化的视频图像进行行人检测的方法

技术领域

本发明总体来说涉及计算机视觉和模式识别技术领域。更具体地讲，涉及一种利用多检测器对场景变化的视频图像进行行人检测的方法。

背景技术

行人检测是智能视频监控领域比较重要的一个研究方向，它是一种基于机器学习的计算机视觉技术，用于通过分析视频场景中的行人、交通工具等其他运动物体来完成如人数统计、行人跟踪等任务。

行人兼具刚性和柔性物体的特征，外观易受穿着、尺度、遮挡、姿态和视角等影响，这就使得行人检测成为智能视频监控领域的研究难点和热点。行人检测主要分为两个环节，首先进行特征提取，然后进行分类与定位。其中，特征提取的方法主要有三类：(1)底层特征提取方法，是一种单一特征，可利用积分图快速计算，例如，HOG(方向梯度直方图)等；(2)基于学习的特征，是一种从大量样本中选择判别能力较强的特征，例如，自适应轮廓特征等；(3)混合特征，是一种从不同侧面刻画图像特征的方法，例如，CoHOG(共生梯度方向直方图特征)等。此外，分类与定位方法主要有滑动窗口、SVM(支持向量机)、Adaboost(级联分类器)等。目前比较成熟的行人检测方法是HOG+SVM(即：方向梯度直方图特征结合支持向量机)。

现有的行人检测方案大都针对固定场景进行行人检测。如果使用一般场景下训练好的行人检测器来对一个特定场景下的视频图像进行行人检测时，会因为场景的不匹配，而造成检测过程中行人识别率下降的问题，这是由于新旧场景的样本集分布特性不同，基于旧场景样本集训练得到的行人检测器不能完全识别新场景的本征特征。如果场景是实时变化的，更会出现行人检测准确率急剧下降的现象。

通常，为了解决上述问题，可针对特定场景重新训练行人检测器，但是，为了重新训练行人检测器而提取样本需要花费大量的人工成本(例如，需要逐帧的手工裁切出行人样本)。此外，为了解决上述问题，还可采用迁移学习的方法自动训练变化场景中的特定场景下的行人检测器，这样可以免去人工成本。此外，还可通过将行人检测器赋予不同的权值来提高行人检测器的行人识别率。但是，这些方案依然只能解决固定场景的行人检测问题，不能解决在场景变化下行人检测器的行人识别率低的问题。如果场景是实时变化的，还是会出现行人检测器检测行人准确率急剧下降的问题。而且，训练检测器是一个串行的过程，训练在前，检测在后，目前还没有训练和检测同时进行的方案。

综上所述，现有的在场景实时变化下的行人检测方法不能满足提高行人识别率和降低人工成本的需求。

发明内容

本发明的示例性实施例在于提供一种利用多检测器对场景变化的视频图像进行行人检测的方法，以克服现有技术中在场景实时变化时行人识别率不理想的问题。

本发明提供一种利用多检测器对场景变化的视频图像进行行人检测的方法，包括：(A)针对多个不同场景，分别获取每个场景的场景背景模型，并分别训练出每个场景的行人检测器；(B)建立关于场景背景模型和行人检测器的对应关系集，其中，所述对应关系集包括多个对应关系条目，每个对应关系条目对应于一个场景并包括所述一个场景的场景背景模型和行人检测器；(C)获取场景变化的视频图像，将所述视频图像划分为多个视频片段；(D)针对所述多个视频片段中的每个视频片段，获取所述每个视频片段的片段背景模型，使用基于所述每个视频片段的片段背景模型确定的行人检测器来检测所述每个视频片段中的行人，其中，针对所述多个视频片段中的首个视频片段，在所述对应关系集中搜索与首个视频片段的片段背景模型最为接近的场景背景模型，并将与搜索到的场景背景模型包括在同一对应关系条目中的行人检测器确定为用于检测首个视频片段中的行人的行人检测器；针对所述多个视频片段中位于首个视频片段之后的每个后续视频片段，基于所述每个后续视频片段的片段背景模型与前一个视频片段的片段背景模型之间的相似度来确定用于检测所述每个后续视频片段中的行人的行人检测器。

可选地，所述每个后续视频片段的片段背景模型与前一个视频片段的片段背景模型之间的相似度被表示为所述每个后续视频片段的片段背景模型的灰度直方图与所述前一个视频片段的片段背景模型的灰度直方图之间的相似度。

可选地，在所述相似度高于或等于预定阈值的情况下，将所述前一个视频片段的行人检测器确定为用于检测所述每个后续视频片段中的行人的行人检测器；在所述相似度低于所述预定阈值的情况下，在所述对应关系集中搜索与所述每个视频片段的片段背景模型最为接近的场景背景模型，并将与搜索到的场景背景模型包括在同一对应关系条目中的行人检测器确定为用于检测所述每个视频片段中的行人的行人检测器。

可选地，步骤(A)包括：针对多个不同场景，利用运动下的背景建模算法分别获取每个场景的场景背景模型，并利用场景自适应方法分别训练出每个场景的行人检测器。

可选地，所述运动下的背景建模算法为码本背景建模算法或高斯混合模型背景建模算法。

可选地，所述场景自适应方法为迁移学习方法或深度学习方法。

可选地，在步骤(D)中，通过以下的等式来确定所述每个后续视频片段的片段背景模型的灰度直方图与所述前一个视频片段的片段背景模型的灰度直方图之间的相似度：

$\mathrm{Sim}(G,S)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(1-\frac{|g_i-s_i|}{\mathrm{Max}(g_i,s_i)}),$

其中，Sim(G，S)表示所述每个后续视频片段的片段背景模型的灰度直方图G与所述前一个视频片段的片段背景模型的灰度直方图S之间的相似度，N表示标准片段背景模型的灰度直方图的灰度空间样点数，g_i表示灰度直方图G中第i个样点的灰度值，s_i表示灰度直方图S中第i个样点的灰度值，Max(g_i,s_i)表示g_i和s_i中的较大值。

可选地，所述每个场景的行人检测器为基于所述每个场景的场景背景模型的方向梯度直方图特征训练得到的支持向量机。

可选地，步骤(A)包括：针对多个不同场景，分别获取每个场景的一个场景背景模型，并分别训练出每个场景的至少一个行人检测器。

在根据本发明示例性实施例的利用多检测器对场景变化的视频图像进行行人检测的方法中，能够有效地提高场景变化时的行人识别率，并降低了人工成本。

附图说明

图1示出根据本发明示例性实施例的利用多检测器对场景变化的视频图像进行行人检测的方法的流程图；

图2示出根据本发明示例性实施例的基于每个视频片段的片段背景模型确定行人检测器的步骤的流程图。

具体实施方式

现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

图1示出根据本发明示例性实施例的利用多检测器对场景变化的视频图像进行行人检测的方法的流程图。这里，作为示例，所述方法可由相关的视频监控设备来实现，也可完全通过计算机程序来实现。

如图1所示，在步骤S100，针对多个不同场景，分别获取每个场景的场景背景模型，并分别训练出每个场景的行人检测器。

具体说来，可预先获取不同场景下监控设备所拍摄的视频图像，这里，针对每个场景，可利用固定监控设备(例如，固定摄像头等)来拍摄视频图像，或者，可将移动监控设备(例如，车载监控摄像头等)固定在某一位置来拍摄视频图像。可根据实际情况确定针对多少个场景来拍摄视频图像，并针对拍摄的多个不同场景，分别获取每个场景的背景模型，并分别训练出每个场景的行人检测器。作为示例，可拍摄标清的视频图像，为了进一步降低光照的影响，可选取早、中、傍晚三个时间段的视频。

作为示例，在步骤S100，可利用运动下的背景建模算法分别获取每个场景的场景背景模型。所述运动下的背景建模算法可以为码本背景建模算法或高斯混合模型背景建模算法。其中，所述码本背景建模算法可以很好地处理静止背景下有运动目标的背景建模问题。这里，以利用码本背景建模算法为例来详细描述如何获取每个场景的场景背景模型。具体说来，每个场景的视频图像均由多个视频帧组成，可基于所述每个场景的多个视频帧中的全部或部分视频帧来产生最初的码本，基于最初的码本中各个码字的“最长未出现时间”参数进行时域滤波处理，通过该处理可滤除最初的码本中可能代表前景图像的码字。接下来，可再将经时域滤波处理后的码本进行空域滤波来将错误删除的代表较少出现的背景图像的码字恢复到所述经时域滤波处理后的码本中，并利用经空域滤波后的码本来获取场景背景模型。

此外，在步骤S100，还分别训练出每个场景的行人检测器。作为示例，针对每个场景，可训练出至少一个行人检测器，例如，可针对某个场景训练出早、中和晚三个时间段下的行人检测器。在这种情况下，所述场景可对应于一个场景背景模型和三个行人检测器。

作为示例，针对多个不同场景，可利用场景自适应方法分别训练出每个场景的行人检测器。所述场景自适应方法可以为迁移学习方法或深度学习方法。其中，所述每个场景的行人检测器可以为基于所述每个场景的背景模型的方向梯度直方图特征训练得到的支持向量机。这里，以迁移学习方法为例来详细描述如何训练出每个场景的行人检测器。具体说来，可提取每个场景的视频图像中的早、中和晚三个时间段的视频帧，并分别从所述三个时间段的视频帧中选取预定数量的训练帧和测试帧来分别训练该场景下的行人检测器。以场景A为例，从场景A的早、中和晚三个时间段的视频图像(每段约90分钟)中各取前45分钟视频图像的200帧(实验结果表明600帧已经可以训练好检测器)用于训练检测器，再从所述早、中和晚三个时间段的剩余45分钟的视频图像中各提取100帧用于测试行人检测器。这里，与该场景A相应的行人检测器为Θ，数据集为INRIA(INRIA Person Dataset：法国国家信息与自动化研究所行人数据库)，源样本集为D^s。由于源样本集D^s并不完全适用于场景A的行人检测器Θ，因此，需要对源样本集D^s进行更新，可采用迁移学习的方法去除错误样本，留下正确样本，从而获取合格的行人检测器Θ。譬如说，可结合上下文线索(例如，位置信息、尺寸信息、路径信息和运动信息等)排除错误样本来获取新样本集，利用新的样本集来训练行人检测器。

具体说来，在利用位置信息排除错误样本时，可采用层次聚类的方法获取位置信息，然后利用检测窗口聚类的方法来排除错误样本。例如，在一个训练帧的某一位置实际是棵树，但行人检测器Θ检测该位置为行人，经过对该位置的检测窗口聚类发现该位置在连续多帧都没有变动，则作为错误样本排除。

此外，作为另一示例，在利用尺寸信息排除错误样本时，可建立包含行人的检测窗口尺寸的直方图，通过统计尺寸的分布来排除错误样本。

此外，作为另一示例，在利用路径信息来排除错误样本时，可采用无监督学习的方式，利用级联贝叶斯模型学习到行人路径的空间分布作为路径信息来排除错误样本。例如，如果在被划分为车道的路径中检测出行人，则可作为错误样本排除。

此外，作为另一示例，在利用运动信息来排除错误样本时，可通过获取当前帧中运动像素的分布来排除错误样本。例如，判断训练帧的同一像素点的灰度值在间隔预定视频帧数是否发生了改变，如果发生了改变，则可作为错误样本进行排除。具体说来，可用如下的等式1来确定错误样本：

M＝0.5(I_t-I_t-r|+|I_t-I_t+r|)  等式1

其中，I_t表示第t视频帧中检测窗口的灰度值分布，I_t-r表示第t-r视频帧中检测窗口的灰度值分布，I_t+r表示第t+r视频帧中检测窗口的灰度值分布，M表示第t视频帧中检测窗口的灰度值变化。具体说来，如果M等于0说明无运动像素；如果M不等于0说明第t视频帧中含有运动像素，即可将所述运动像素作为错误样本排除。

接下来，可将获取的新样本集加入到源样本集D^s中，利用更新后的D^s来训练行人检测器Θ。直到对该训练帧进行检测不再产生新的样本集。利用上述方法训练完上述600个训练帧，获得训练好的行人检测器Θ。此时，可利用上述步骤获取的300个测试帧对所述训练好的行人检测器Θ进行测试，这里，可采用FPPI＝1(每一帧中最多有一个检测窗口检测错误)的衡量标准。例如，如果100帧中满足标准的视频帧数比例达到90％，则判定该行人检测器Θ是合格的，否则增加训练样本集继续训练检测器Θ，直到满足标准的视频帧数比例达到90％以上。

在步骤S200，建立关于场景背景模型和行人检测器的对应关系集，其中，所述对应关系集包括多个对应关系条目，每个对应关系条目对应于一个场景并包括所述一个场景的场景背景模型和行人检测器。这里，作为示例，可通过定义数据结构的方式建立关于场景背景模型和行人检测器之间的对应关系，其中，所述数据结构可包括两个属性(即，场景背景模型属性和行人检测器属性)。

在建立了场景背景模型和行人检测器的对应关系集的情况下，在步骤S300，获取场景变化的视频图像，将所述视频图像划分为多个视频片段。这里，所述场景变化的视频图像可以是通过移动监控设备(例如，无人机航拍和车载监控摄像头等)拍摄所获取的视频图像。作为示例，拍摄的视频图像达到标清分辨率即可，应注意，所述视频图像的摄像范围应落入之前用于训练行人检测器的场景集合之内。

这里，每个被划分的视频片段可包括预定数量的视频帧。根据经验，为了减小计算量，每个视频片段可包含900个视频帧。

在步骤S400，针对所述多个视频片段中的每个视频片段，获取所述每个视频片段的片段背景模型，使用基于所述每个视频片段的片段背景模型确定的行人检测器来检测所述每个视频片段中的行人，其中，针对所述多个视频片段中的首个视频片段，在所述对应关系集中搜索与首个视频片段的片段背景模型最为接近的场景背景模型，并将与搜索到的场景背景模型包括在同一对应关系条目中的行人检测器确定为用于检测首个视频片段中的行人的行人检测器；针对所述多个视频片段中位于首个视频片段之后的每个后续视频片段，基于所述每个后续视频片段的片段背景模型与前一个视频片段的片段背景模型之间的相似度来确定用于检测所述每个后续视频片段中的行人的行人检测器。

下面将结合图2来详细描述根据本发明示例性实施例的基于每个视频片段的片段背景模型确定行人检测器的步骤。

如图2所示，在步骤S401，从划分后的视频片段中获取一个视频片段，这里，如上所述，获取的视频片段可包括900个视频帧。

在步骤S402，判断获取的视频片段是否为所述多个视频片段中的首个视频片段。

在获取的视频片段为首个视频片段时，在步骤S403，获取所述首个视频片段的片段背景模型。这里，为了提高运算效率，可利用所述900个视频帧中的前30个视频帧来获取所述首个视频片段的片段背景模型。作为示例，可按照获取场景背景模型的相同方式来获取片段背景模型。

在步骤S404，在步骤S200建立的对应关系集中搜索与所述首个视频片段的片段背景模型最为接近的场景背景模型。这里，可基于任何适当的属性来比较片段背景模型与对应关系集中的场景背景模型，进而搜索最为接近的场景背景模型。

在步骤S405，将与搜索到的场景背景模型包括在同一对应关系条目中的行人检测器确定为用于检测首个视频片段中的行人的行人检测器，并使用确定的行人检测器来进行行人检测，然后返回执行步骤S401，重新获取下一个视频片段。

另一方面，在步骤S402判断所获取的视频片段并非首个视频片段，而是所述多个视频片段中位于首个视频片段之后的后续视频片段时，在步骤S406，可利用组成所述后续视频片段的900个视频帧中的前30个视频帧来获取所述后续视频片段的片段背景模型。这里，作为示例，可按照获取场景背景模型的相同方式来获取片段背景模型。

在步骤S407，确定所述后续视频片段的片段背景模型与前一个视频片段的片段背景模型之间的相似度是否小于用来衡量相似标准的预定阈值。

这里，作为示例，针对每个后续视频片段，所述每个后续视频片段的片段背景模型与前一个视频片段的片段背景模型之间的相似度可以被表示为所述每个后续视频片段的片段背景模型的灰度直方图与所述前一个视频片段的片段背景模型的灰度直方图之间的相似度。

具体说来，可通过以下的等式2来确定后续视频片段的片段背景模型的灰度直方图与前一个视频片段的片段背景模型的灰度直方图之间的相似度：

$\mathrm{Sim}(G,S)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(1-\frac{|g_i-s_i|}{\mathrm{Max}(g_i,s_i)}),$ 等式2

其中，Sim(G，S)表示后续视频片段的片段背景模型的灰度直方图G与前一个视频片段的片段背景模型的灰度直方图S之间的相似度，N表示标准片段背景模型的灰度直方图的灰度空间样点数，g_i表示灰度直方图G中第i个样点的灰度值，s_i表示灰度直方图S中第i个样点的灰度值，Max(g_i,s_i)表示g_i和s_i中的较大值。

在所述相似度高于或等于预定阈值的情况下，在步骤S408，将前一个视频片段的行人检测器确定为用于检测所述后续视频片段中的行人的行人检测器，并使用确定的行人检测器来进行行人检测，然后返回执行步骤S410。

另一方面，在所述相似度低于所述预定阈值的情况下，在步骤S409，在所述对应关系集中搜索与所述后续视频片段的片段背景模型最为接近的场景背景模型。

在步骤S410，将与搜索到的场景背景模型包括在同一对应关系条目中的行人检测器确定为用于检测所述后续视频片段中的行人的行人检测器，并使用确定的行人检测器来进行行人检测，然后返回执行步骤S401，重新获取下一个视频片段。

此外，应注意，在针对视频图像的最后一个视频片段执行了行人检测之后，结束上述步骤。

在根据本发明示例性实施例的利用多检测器对场景变化的视频图像进行行人检测的方法中，能够有效地提高场景变化时的行人识别率，并降低了人工成本。

虽然已表示和描述了本发明的一些示例性实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改。

Claims (9)

1.一种利用多检测器对场景变化的视频图像进行行人检测的方法，包括：

(A)针对多个不同场景，分别获取每个场景的场景背景模型，并分别训练出每个场景的行人检测器；

(B)建立关于场景背景模型和行人检测器的对应关系集，其中，所述对应关系集包括多个对应关系条目，每个对应关系条目对应于一个场景并包括所述一个场景的场景背景模型和行人检测器；

(C)获取场景变化的视频图像，将所述视频图像划分为多个视频片段；

(D)针对所述多个视频片段中的每个视频片段，获取所述每个视频片段的片段背景模型，使用基于所述每个视频片段的片段背景模型确定的行人检测器来检测所述每个视频片段中的行人，

其中，针对所述多个视频片段中的首个视频片段，在所述对应关系集中搜索与首个视频片段的片段背景模型最为接近的场景背景模型，并将与搜索到的场景背景模型包括在同一对应关系条目中的行人检测器确定为用于检测首个视频片段中的行人的行人检测器；针对所述多个视频片段中位于首个视频片段之后的每个后续视频片段，基于所述每个后续视频片段的片段背景模型与前一个视频片段的片段背景模型之间的相似度来确定用于检测所述每个后续视频片段中的行人的行人检测器。

2.如权利要求1所述的方法，其中，所述每个后续视频片段的片段背景模型与前一个视频片段的片段背景模型之间的相似度被表示为所述每个后续视频片段的片段背景模型的灰度直方图与所述前一个视频片段的片段背景模型的灰度直方图之间的相似度。

3.如权利要求1所述的方法，其中，在所述相似度高于或等于预定阈值的情况下，将所述前一个视频片段的行人检测器确定为用于检测所述每个后续视频片段中的行人的行人检测器；在所述相似度低于所述预定阈值的情况下，在所述对应关系集中搜索与所述每个视频片段的片段背景模型最为接近的场景背景模型，并将与搜索到的场景背景模型包括在同一对应关系条目中的行人检测器确定为用于检测所述每个视频片段中的行人的行人检测器。

4.如权利要求1所述的方法，其中，步骤(A)包括：针对多个不同场景，利用运动下的背景建模算法分别获取每个场景的场景背景模型，并利用场景自适应方法分别训练出每个场景的行人检测器。

5.如权利要求4所述的方法，其中，所述运动下的背景建模算法为码本背景建模算法或高斯混合模型背景建模算法。

6.如权利要求4所述的方法，其中，所述场景自适应方法为迁移学习方法或深度学习方法。

7.如权利要求2所述的方法，其中，在步骤(D)中，通过以下的等式来确定所述每个后续视频片段的片段背景模型的灰度直方图与所述前一个视频片段的片段背景模型的灰度直方图之间的相似度：

$\mathrm{Sim}(G,S)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(1-\frac{|g_i-s_i|}{\mathrm{Max}(g_i,s_i)}),$

其中，Sim(G，S)表示所述每个后续视频片段的片段背景模型的灰度直方图G与所述前一个视频片段的片段背景模型的灰度直方图S之间的相似度，N表示标准片段背景模型的灰度直方图的灰度空间样点数，g_i表示灰度直方图G中第i个样点的灰度值，s_i表示灰度直方图S中第i个样点的灰度值，Max(g_i,s_i)表示g_i和s_i中的较大值。

8.如权利要求1所述的方法，其中，所述每个场景的行人检测器为基于所述每个场景的场景背景模型的方向梯度直方图特征训练得到的支持向量机。

9.如权利要求1所述的方法，其中，步骤(A)包括：针对多个不同场景，分别获取每个场景的一个场景背景模型，并分别训练出每个场景的至少一个行人检测器。