CN112257797A - 行人头部图像分类器的样本图像生成方法及相应训练方法 - Google Patents

Abstract

本申请提供了一种用于训练行人头部图像分类器的样本图像生成方法、系统和可读介质，以及一种行人头部图像分类器的训练方法、系统和可读介质。该用于训练行人头部图像分类器的样本图像生成方法包括：获取由摄像头拍摄的人群图像；提取人群图像的行人头部区域，并得到每个行人头部区域的高度和区域坐标；得到人群图像的全部行人头部区域的平均高度；获取行人素材图像；对行人素材图像进行缩放；随机生成行人素材图像的行人素材坐标；以及将行人素材图像基于行人素材坐标叠加到人群图像上以获得样本图像。该方法通过将缩放后的行人素材图像随机合成到人群图像中来生成样本图像，能够简单快捷地使用较少素材大量生成样本图像来满足分类器的训练需求。

Description

行人头部图像分类器的样本图像生成方法及相应训练方法

技术领域

本申请主要涉及图像处理领域，尤其涉及一种用于训练行人头部图像分类器的样本图像生成方法、系统和计算机可读介质，以及一种行人头部图像分类器的训练方法、系统和计算机可读介质。

背景技术

随着视频监控技术的发展，视频监控被越来越多地应用到日常场景中。视频监控数据的一大重要应用领域是智能视频监控。通过智能视频监控能够在人群密集场所对人群数量或密度进行自动监控、分析、汇报和预警，极大地减少了视频监控所需的人力成本。

但若想实现较佳效果的智能视频监控，需要针对每个应用场景所使用的每个摄像头分别配置相应的人群密度估计模型，人群密度估计模型可以包括行人头部图像分类器。而训练行人头部图像分类器需要大量的场景样本图像才能取得较佳的训练效果，需要耗费大量的人力物力。因此，如何使用较少的样本图像素材得到大量的用于训练行人头部图像分类器的样本图像和如何使用这些样本图像对行人头部图像分类器进行训练是本领域人员亟需解决的问题。

发明内容

本申请要解决的技术问题是提供一种用于训练行人头部图像分类器的样本图像生成方法、系统和计算机可读介质，以及一种行人头部图像分类器的训练方法、系统和计算机可读介质，能够使用较少的样本图像素材简单快捷地得到大量的用于训练行人头部图像分类器的样本图像和使用这些样本图像对行人头部图像分类器进行训练。

为解决上述技术问题，本申请提供了一种用于训练行人头部图像分类器的样本图像生成方法，包括：获取由摄像头拍摄的人群图像；提取所述人群图像的行人头部区域，并得到每个行人头部区域的高度和区域坐标；得到所述人群图像的全部行人头部区域的平均高度；获取行人素材图像；对所述行人素材图像进行缩放，以使所述行人素材图像的头部区域高度的数值范围落在所述平均高度的0.5倍-1.5倍内；随机生成所述行人素材图像的行人素材坐标；以及将所述行人素材图像基于所述行人素材坐标叠加到所述人群图像上，以获得用于训练行人头部图像分类器的样本图像，其中所述样本图像的标注数据为所述行人素材坐标。

在本申请的一实施例中，所述得到所述人群图像的全部行人头部区域的平均高度包括：在透视畸变映射表中根据每个行人头部区域的区域坐标确定每个行人头部区域的第一畸变系数，其中所述透视畸变映射表与所述摄像头的拍摄角度和拍摄位置相关；根据每个行人头部区域的高度和每个行人头部区域的第一畸变系数得到每个行人头部区域去畸变的高度；当所述人群图像具有多个行人头部区域时，计算所述人群图像的全部行人头部区域去畸变的高度的平均值作为所述人群图像的全部行人头部区域的平均高度；以及当所述人群图像只具有一个行人头部区域时，将所述人群图像的所述行人头部区域去畸变的高度作为所述人群图像的全部行人头部区域的平均高度。

在本申请的一实施例中，所述方法还包括：在透视畸变映射表中根据所述行人素材坐标确定第二畸变系数；以及根据所述第二畸变系数对所述行人素材图像进行缩放。

在本申请的一实施例中，所述提取所述人群图像的行人头部区域采用基于方向梯度直方图-支持向量机算法的预设头部区域提取模型或基于可变形组件模型的预设头部区域提取模型。

为解决上述技术问题，本申请还提供了一种行人头部图像分类器的训练方法，包括：利用如前所述的用于训练行人头部图像分类器的样本图像生成方法生成用于训练行人头部图像分类器的样本图像，其中所述样本图像的标注数据为行人素材坐标；对所述样本图像进行特征提取得到所述样本图像的特征；对所述样本图像随机提取多个图像块，并根据所述样本图像的特征得到各个图像块的特征；将所述多个图像块中包含所述行人素材坐标的图像块作为正样本图像块，将所述多个图像块中不包含所述行人素材坐标的图像块作为负样本图像块，并基于所述正样本图像块和所述负样本图像块生成样本图像块集；根据所述样本图像的标注数据计算各个正样本图像块的行人头部参数；将所述样本图像块集、所述多个图像块的特征和所述正样本图像块的行人头部参数作为行人头部图像分类器的输入进行训练，并得到训练好的行人头部图像分类器。

在本申请的一实施例中，所述对所述样本图像进行特征提取得到所述样本图像的特征是使用以下的一种或多种预设特征提取模型进行：基于局部二值模式算法的预设特征提取模型、基于高斯梯度幅值算法的预设特征提取模型以及基于高斯拉普拉斯算子算法的预设特征提取模型。

在本申请的一实施例中，所述图像块的特征是所述图像块在所述样本图像中对应区域所对应的特征。

在本申请的一实施例中，所述行人头部参数包括所述正样本图像块中的行人头部数量。

在本申请的一实施例中，所述行人头部参数包括所述正样本图像块中的行人头部分布向量。

在本申请的一实施例中，所述行人头部图像分类器为基于随机森林算法的行人头部图像分类器。

为解决上述技术问题，本申请还提供了一种用于训练行人头部图像分类器的样本图像生成装置，包括：第一获取模块，用于获取由摄像头拍摄的人群图像；头部提取模块，用于提取所述人群图像的行人头部区域，并得到每个行人头部区域的高度和区域坐标；平均高度模块，用于得到所述人群图像的全部行人头部区域的平均高度；第二获取模块，用于获取行人素材图像；缩放模块，用于对所述行人素材图像进行缩放，以使所述行人素材图像的头部区域高度的数值范围落在所述平均高度的0.5倍-1.5倍内；坐标生成模块，用于随机生成所述行人素材图像的行人素材坐标；以及图像叠加模块，用于将所述行人素材图像基于所述行人素材坐标叠加到所述人群图像上，以获得用于训练行人头部图像分类器的样本图像，其中所述样本图像的标注数据为所述行人素材坐标。

为解决上述技术问题，本申请还提供了一种行人头部图像分类器的训练装置，包括：如前所述的用于训练行人头部图像分类器的样本图像生成装置；特征提取模块，用于对所述样本图像进行特征提取得到所述样本图像的特征；图像块提取模块，用于对所述样本图像随机提取多个图像块，并根据所述样本图像的特征得到各个图像块的特征；样本集模块，用于将所述多个图像块中包含所述行人素材坐标的图像块作为正样本图像块，将所述多个图像块中不包含所述行人素材坐标的图像块作为负样本图像块，并基于所述正样本图像块和所述负样本图像块生成样本图像块集；计算模块，用于根据所述样本图像的标注数据计算各个正样本图像块的行人头部参数；以及训练模块，用于将所述样本图像块集、所述多个图像块的特征和所述正样本图像块的行人头部参数作为行人头部图像分类器的输入进行训练，并得到训练好的行人头部图像分类器。

为解决上述技术问题，本申请还提供了一种用于训练行人头部图像分类器的样本图像生成系统，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如上项所述的训练行人头部图像分类器的样本图像生成方法。

为解决上述技术问题，本申请还提供了一种行人头部图像分类器的训练系统，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如上所述的行人头部图像分类器的训练方法。

为解决上述技术问题，本申请还提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的训练行人头部图像分类器的样本图像生成方法或行人头部图像分类器的训练方法。

与现有技术相比，本申请的用于训练行人头部图像分类器的样本图像生成方法通过将经缩放处理的行人素材图像随机合成到人群图像中来生成用于训练行人头部图像分类器的样本图像，能够简单快捷地使用较少的样本图像素材大量生成样本图像来满足行人头部图像分类器的训练需求，并且生成的样本人群图像更接近真实的人群图像，训练出来的行人头部图像分类器具有更高的分类准确率。

本申请的行人头部图像分类器的训练方法通过利用用于训练行人头部图像分类器的样本图像生成方法生成的样本图像来训练行人头部图像分类器，能够用较低的成本和较少的原始图像素材训练出具有更高的分类准确率的行人头部图像分类器。

附图说明

包括附图是为提供对本申请进一步的理解，它们被收录并构成本申请的一部分，附图示出了本申请的实施例，并与本说明书一起起到解释本申请原理的作用。附图中：

图1是根据本申请一实施例示出的用于训练行人头部图像分类器的样本图像生成方法的流程示意图；

图2是根据本申请一实施例示出的步骤103的实现方法的流程示意图；

图3是根据本申请一实施例示出的行人头部图像分类器的训练方法的流程示意图；

图4是根据本申请一实施例示出的用于训练行人头部图像分类器的样本图像生成装置的示意框图；

图5是根据本申请一实施例示出的行人头部图像分类器的训练装置的示意框图；

图6是根据本申请一实施例示出的用于训练行人头部图像分类器的样本图像生成系统的系统框图；

图7是根据本申请一实施例示出的行人头部图像分类器的训练系统的系统框图。

具体实施方式

为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

本申请提供了一种用于训练行人头部图像分类器的样本图像生成方法。图1是根据实施例示出的用于训练行人头部图像分类器的样本图像生成方法的流程示意图。如图1所示，本实施例的用于训练行人头部图像分类器的样本图像生成方法，包括以下步骤：

步骤101，获取由摄像头拍摄的人群图像；

步骤102，提取人群图像的行人头部区域，并得到每个行人头部区域的高度和区域坐标；

步骤103，得到人群图像的全部行人头部区域的平均高度；

步骤104，获取行人素材图像；

步骤105，对行人素材图像进行缩放，以使行人素材图像的头部区域高度的数值范围落在平均高度的0.5倍-1.5倍内；

步骤106，随机生成行人素材图像的行人素材坐标；以及

步骤107，将行人素材图像基于行人素材坐标叠加到人群图像上，以获得用于训练行人头部图像分类器的样本图像，其中样本图像的标注数据为行人素材坐标。

下面对上述步骤101-107进行详细说明，步骤101-107可以由用于训练行人头部图像分类器的样本图像生成系统来执行：

在步骤101中，系统获取由摄像头拍摄的人群图像，人群图像中有一个或多个行人。

在步骤102中，系统提取人群图像中一个或多个行人的头部区域，并得到每个行人头部区域的高度和区域坐标。行人头部区域的高度是指该行人头部区域在高度上的尺寸。行人头部区域的区域坐标可以是行人头部区域的中心点的坐标。

在本申请的一实施例中，步骤102的提取人群图像的行人头部区域可以采用基于方向梯度直方图-支持向量机算法(HOG-SVM)的预设头部区域提取模型或基于可变形组件模型(Deformable Parts Model,DPM)的预设头部区域提取模型。

在步骤103中，系统得到人群图像的全部行人头部区域的平均高度。当人群图像中只有一个行人头部区域时，该行人头部区域的高度即为人群图像的全部行人头部区域的平均高度。当图像具有多个行人头部区域时，系统计算人群图像的全部行人头部区域的高度的平均值作为人群图像的全部行人头部区域的平均高度。

在本申请的一实施例中，如图2所示，步骤103可以包括以下步骤201-204：

步骤201，系统在透视畸变映射表中根据每个行人头部区域的区域坐标确定每个行人头部区域的第一畸变系数，其中透视畸变映射表与摄像头的拍摄角度和拍摄位置相关；

步骤202，系统根据每个行人头部区域的高度和每个行人头部区域的第一畸变系数得到每个行人头部区域去畸变的高度；

步骤203，当人群图像具有多个行人头部区域时，系统计算人群图像的全部行人头部区域去畸变的高度的平均值作为人群图像的全部行人头部区域的平均高度；以及

步骤204，当人群图像只具有一个行人头部区域时，系统将人群图像的行人头部区域去畸变的高度作为人群图像的全部行人头部区域的平均高度。

在步骤201-202中，透视畸变映射表是预先设置的，可以由用户通过摄像头进行离线标定得到。透视畸变映射表与摄像头的拍摄角度和拍摄位置相关，也就是说，透视畸变映射表是由相同参数的摄像头在相同拍摄角度和相同拍摄位置测量所得到的。当摄像头参数、拍摄角度或拍摄位置有变化时，测量得到的透视畸变映射表也会变化。用户通过测量同一目标在人群图像中不同位置的尺寸来计算畸变系数，然后将各个位置的畸变系数汇集，得到一张具有与人群图像相同宽和高的透视畸变映射表。在测量图像中某个目标物的高度或宽度时，只需用目标物在图像中的实际像素尺寸乘以该目标物的中心坐标所对应的畸变系数，所得到的的乘积即为目标物在去透视畸变之后的高度或宽度。具体到本实施例中，系统可以将行人头部区域的高度除以该行人头部区域对应的第一畸变系数，所得到的商即为行人头部区域去畸变的高度。

综上所述，步骤201-204通过使用透视畸变映射表和第一畸变系数对行人头部区域的高度进行去畸变处理，能够去除畸变对行人头部区域的平均高度的干扰，从而得到更精确的行人头部区域的平均高度。

在步骤104中，系统获取行人素材图像。行人素材图像是指与行人轮廓具有相同大小的图像，行人素材图像只包含行人本身，不包含背景或其它物品。系统可以从预先准备好的行人素材图像库中获取行人素材图像。

在步骤105中，系统对行人素材图像进行缩放，以使行人素材图像的头部区域高度的数值范围落在平均高度的0.5倍-1.5倍内。优选地，系统对行人素材图像进行缩放，以使行人素材图像的头部区域高度与平均高度相等。通过对行人素材图像进行缩放，使行人素材图像的头部区域高度与人群图像的全部行人头部区域的平均高度接近或相等，使得最后生成的样本人群图像中的行人素材图像的头部区域高度更接近真实的人群图像，用于训练行人头部图像分类器时能够取得更好的训练效果。

在步骤106中，系统随机生成行人素材图像的行人素材坐标。行人素材坐标可以是行人素材图像的中心点的坐标，也可以是行人素材图像的头部区域的中心点的坐标。

在步骤107中，系统将行人素材图像按照行人素材坐标叠加到人群图像的相应位置上，叠加得到的图像就是用于训练行人头部图像分类器的样本图像。该用于训练行人头部图像分类器的样本图像的标注数据为行人素材坐标。在训练行人头部图像分类器时，可以将样本图像和样本图像的标注数据作为行人头部图像分类器的输入。

在本申请的一实施例中，方法还可以包括以下步骤108-109，步骤108可以在步骤106和步骤107之间执行：

步骤108，系统在透视畸变映射表中根据行人素材坐标确定第二畸变系数；以及

步骤109，系统根据第二畸变系数对行人素材图像进行缩放。

在步骤108中，系统根据行人素材坐标在透视畸变映射表中确定第二畸变系数。因为是基于相同参数的摄像头在相同拍摄角度和相同拍摄位置的，所以本步骤中的透视畸变映射表与前述步骤201中的透视畸变映射表为同一个透视畸变映射表，确定第二畸变系数的具体方式可相应地参考步骤201-202的描述，在此不再重复说明。

通过步骤108和109，系统能够根据第二畸变系数对行人素材图像进行缩放，使得行人素材图像能够根据其坐标进行相应地畸变，更接近真实人群图像中的行人，从而使得生成的样本人群图像中的行人素材图像更接近真实的人群图像，用于训练行人头部图像分类器时能够取得更好的训练效果。

综上所述，本实施例的用于训练行人头部图像分类器的样本图像生成方法通过将经缩放处理的行人素材图像随机合成到人群图像中来生成用于训练行人头部图像分类器的样本图像，能够简单、快捷和更低成本地大量生成样本图像来满足行人头部图像分类器的训练需求，并且生成的样本人群图像更接近真实的人群图像，训练出来的行人头部图像分类器具有更高的分类准确率。

本申请提供了一种行人头部图像分类器的训练方法。图3是根据实施例示出的行人头部图像分类器的训练方法的流程示意图。如图3所示，本实施例的行人头部图像分类器的训练方法包括以下步骤：

步骤301，利用如前述实施例的用于训练行人头部图像分类器的样本图像生成方法生成用于训练行人头部图像分类器的样本图像，其中样本图像的标注数据为行人素材坐标；

步骤302，对样本图像进行特征提取得到样本图像的特征；

步骤303，对样本图像随机提取多个图像块，并根据样本图像的特征得到各个图像块的特征；

步骤304，将多个图像块中包含行人素材坐标的图像块作为正样本图像块，将多个图像块中不包含行人素材坐标的图像块作为负样本图像块，并基于正样本图像块和负样本图像块生成样本图像块集；

步骤305，根据样本图像的标注数据计算各个正样本图像块的行人头部参数；以及

步骤306，将样本图像块集、多个图像块的特征和正样本图像块的行人头部参数作为行人头部图像分类器的输入进行训练，并得到训练好的行人头部图像分类器。

下面对上述步骤301-306进行详细说明，步骤301-306可以由行人头部图像分类器的训练系统来执行：

在步骤301中，系统利用用于训练行人头部图像分类器的样本图像生成方法生成样本图像，其中该样本图像生成方法的具体步骤描述可以参考前述实施例的用于训练行人头部图像分类器的样本图像生成方法，在此不再重复描述。

在步骤302中，系统对样本图像进行特征提取得到该样本图像的特征。在本申请的一实施例中，步骤302的对样本图像进行特征提取得到样本图像的特征可以使用以下的一种或多种预设特征提取模型进行：基于局部二值模式(Local Binary Pattern，LBP)算法的预设特征提取模型、基于高斯梯度幅值算法的预设特征提取模型以及基于高斯拉普拉斯算子(Laplacain of Gaussian,LoG)算法的预设特征提取模型。也就是说，LBP、LOG和高斯梯度幅值算法可以组合起来同时在一个预设特征提取模型中使用。在步骤303中，系统对样本图像随机提取多个图像块，并根据样本图像的特征得到各个图像块的特征。在一个示例中，多个图像块的尺寸为相同尺寸。在一个示例中，图像块的尺寸可以为根据实际场景拍摄的行人头部像素尺寸的3-4倍，更能适应不同的场景。在本申请的一实施例中，系统根据样本图像的特征得到的各个图像块的特征可以是各个图像块在样本图像中对应的区域所对应的特征。在一个示例中，各个图像块的特征可以是各个图像块在样本图像的对应位置的相同尺寸子图像的像素灰度值按照行排列组成的数组。

在步骤304中，系统将多个图像块中包含行人素材坐标的图像块作为正样本图像块，将多个图像块中不包含行人素材坐标的图像块作为负样本图像块，并得到包含正样本图像块和负样本图像块的样本图像块集。

在步骤305中，系统根据样本图像的标注数据计算各个正样本图像块的行人头部参数。当一个正样本图像块中包含多个行人素材坐标时，系统会根据每个行人素材坐标计算相应的行人头部参数。因为负样本图像块不包含行人素材坐标，所以负样本图像块没有行人头部参数。在本申请的一实施例中，正样本图像块的行人头部参数可以包括正样本图像块中的行人头部数量，可用于人数统计。在本申请的另一实施例中，正样本图像块的行人头部参数可以包括正样本图像块中的行人头部分布向量。行人头部分布向量是指行人头部在正样本图像块中的分布向量，通过行人头部分布向量能够确定正样本图像块中的行人头部数量以及各个行人头部在正样本图像块中的位置，可用于人数统计或生成人群热力图。

在步骤306中，系统将样本图像块集、多个图像块的特征和正样本图像块的行人头部参数作为行人头部图像分类器的输入进行训练，并得到训练好的行人头部图像分类器。在本申请的一实施例中，行人头部图像分类器可以为基于随机森林算法的行人头部图像分类器。进一步地，在进行人群密度估计时，在使用训练好的行人头部图像分类器对人群图像的各个图像块来估计图像块的行人头部参数，然后汇总人群图像的所有图像块的行人头部参数得到完整人群图像的行人数量估计结果。在一个示例中，当图像块的行人头部参数包含行人头部分布向量时，系统可以根据图像块的行人头部分布向量来估计图像块的人群密度图，然后汇总人群图像的所有图像块的人群密度图得到完整人群图像的人群密度图，最后将人群图像的人群密度图映射到RGB颜色空间生成热力图，可以对人群密度图积分得到人群图像的人数。

综上所述，本实施例的行人头部图像分类器的训练方法通过利用用于训练行人头部图像分类器的样本图像生成方法生成的样本图像来训练行人头部图像分类器，能够用较低的成本和较少的原始图像素材训练出具有更高的分类准确率的行人头部图像分类器。

本申请提供了一种用于训练行人头部图像分类器的样本图像生成装置。图4是根据本实施例示出的用于训练行人头部图像分类器的样本图像生成装置的示意框图。如图4所示，用于训练行人头部图像分类器的样本图像生成装置400包括第一获取模块401、头部提取模块402、平均高度模块403、第二获取模块404、缩放模块405、坐标生成模块406以及图像叠加模块407。

第一获取模块401用于获取由摄像头拍摄的人群图像。

头部提取模块402用于提取人群图像的行人头部区域，并得到每个行人头部区域的高度和区域坐标。

平均高度模块403用于得到人群图像的全部行人头部区域的平均高度。

第二获取模块404用于获取行人素材图像。

缩放模块405用于对行人素材图像进行缩放，以使行人素材图像的头部区域高度的数值范围落在平均高度的0.5倍-1.5倍内。

坐标生成模块406用于随机生成行人素材图像的行人素材坐标。

图像叠加模块407用于将行人素材图像基于行人素材坐标叠加到人群图像上，以获得用于训练行人头部图像分类器的样本图像，其中样本图像的标注数据为行人素材坐标。

上述模块401-407所执行的操作可相应地参考前述图1实施例中对步骤101-107的说明，在此不再展开描述。

本申请提供了一种行人头部图像分类器的训练装置。图5是根据本实施例示出的行人头部图像分类器的训练装置的示意框图。如图5所示，一种行人头部图像分类器的训练装置500包括样本图像生成装置501、特征提取模块502、图像块提取模块503、样本集模块504、计算模块505以及训练模块506。

样本图像生成装置501可以是前述图4实施例中的用于训练行人头部图像分类器的样本图像生成装置400。样本图像生成装置501所执行的操作可相应地参考前述图4实施例中对样本图像生成装置400的说明，在此不再展开描述。

特征提取模块502用于对样本图像进行特征提取得到样本图像的特征。

图像块提取模块503用于对样本图像随机提取多个图像块，并根据样本图像的特征得到各个图像块的特征。

样本集模块504用于将多个图像块中包含行人素材坐标的图像块作为正样本图像块，将多个图像块中不包含行人素材坐标的图像块作为负样本图像块，并基于正样本图像块和负样本图像块生成样本图像块集。

计算模块505用于根据样本图像的标注数据计算各个正样本图像块的行人头部参数。

训练模块506用于将样本图像块集、多个图像块的特征和正样本图像块的行人头部参数作为行人头部图像分类器的输入进行训练，并得到训练好的行人头部图像分类器。

上述模块502-506所执行的操作可相应地参考前述图3实施例中对步骤302-306的说明，在此不再展开描述。

本申请还提供了一种用于训练行人头部图像分类器的样本图像生成系统，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如上项所述的训练行人头部图像分类器的样本图像生成方法。

图6是根据本申请一实施例示出的用于训练行人头部图像分类器的样本图像生成系统的系统框图。用于训练行人头部图像分类器的样本图像生成系统600可包括内部通信总线601、处理器(Processor)602、只读存储器(ROM)603、随机存取存储器(RAM)604、以及通信端口605。当应用在个人计算机上时，用于训练行人头部图像分类器的样本图像生成系统600还可以包括硬盘607。内部通信总线601可以实现用于训练行人头部图像分类器的样本图像生成系统600组件间的数据通信。处理器602可以进行判断和发出提示。在一些实施例中，处理器602可以由一个或多个处理器组成。通信端口605可以实现用于训练行人头部图像分类器的样本图像生成系统600与外部的数据通信。在一些实施例中，用于训练行人头部图像分类器的样本图像生成系统600可以通过通信端口605从网络发送和接受信息及数据。用于训练行人头部图像分类器的样本图像生成系统600还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘607，只读存储器(ROM)603和随机存取存储器(RAM)604，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器602所执行的可能的程序指令。处理器执行这些指令以实现方法的主要部分。处理器处理的结果通过通信端口传给用户设备，在用户界面上显示。

上述的用于训练行人头部图像分类器的样本图像生成方法可以实施为计算机程序，保存在硬盘607中，并可记载到处理器602中执行，以实施本申请中的任一种用于训练行人头部图像分类器的样本图像生成方法。

本申请还提供了一种行人头部图像分类器的训练系统，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如上所述的行人头部图像分类器的训练方法。

图7是根据本申请一实施例示出的行人头部图像分类器的训练系统的系统框图。行人头部图像分类器的训练系统700可包括内部通信总线701、处理器(Processor)702、只读存储器(ROM)703、随机存取存储器(RAM)704、以及通信端口705。当应用在个人计算机上时，行人头部图像分类器的训练系统700还可以包括硬盘707。内部通信总线701可以实现行人头部图像分类器的训练系统700组件间的数据通信。处理器702可以进行判断和发出提示。在一些实施例中，处理器702可以由一个或多个处理器组成。通信端口705可以实现行人头部图像分类器的训练系统700与外部的数据通信。在一些实施例中，行人头部图像分类器的训练系统700可以通过通信端口705从网络发送和接受信息及数据。行人头部图像分类器的训练系统700还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘707，只读存储器(ROM)703和随机存取存储器(RAM)704，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器702所执行的可能的程序指令。处理器执行这些指令以实现方法的主要部分。处理器处理的结果通过通信端口传给用户设备，在用户界面上显示。

上述的行人头部图像分类器的训练方法可以实施为计算机程序，保存在硬盘707中，并可记载到处理器702中执行，以实施本申请中的任一种行人头部图像分类器的训练方法。

本申请还提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的训练行人头部图像分类器的样本图像生成方法或行人头部图像分类器的训练方法。

训练行人头部图像分类器的样本图像生成方法或行人头部图像分类器的训练方法实施为计算机程序时，也可以存储在计算机可读存储介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(EPROM)、卡、棒、键驱动)。此外，本文描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。

应该理解，上文所描述的实施例仅是示意。本文描述的实施例可在硬件、软件、固件、中间件、微码或者其任意组合中实现。对于硬件实现，处理单元可以在一个或者多个特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和/或设计为执行本文所述功能的其它电子单元或者其结合内实现。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述申请披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示例性实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘CD、数字多功能盘DVD……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个申请实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

虽然本申请已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本申请，在没有脱离本申请精神的情况下还可作出各种等效的变化或替换，因此，只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (15)

1.一种用于训练行人头部图像分类器的样本图像生成方法，包括：

获取由摄像头拍摄的人群图像；

提取所述人群图像的行人头部区域，并得到每个行人头部区域的高度和区域坐标；

得到所述人群图像的全部行人头部区域的平均高度；

获取行人素材图像；

对所述行人素材图像进行缩放，以使所述行人素材图像的头部区域高度的数值范围落在所述平均高度的0.5倍-1.5倍内；

随机生成所述行人素材图像的行人素材坐标；以及

将所述行人素材图像基于所述行人素材坐标叠加到所述人群图像上，以获得用于训练行人头部图像分类器的样本图像，其中所述样本图像的标注数据为所述行人素材坐标。

2.如权利要求1所述的方法，其特征在于，所述得到所述人群图像的全部行人头部区域的平均高度包括：

在透视畸变映射表中根据每个行人头部区域的区域坐标确定每个行人头部区域的第一畸变系数，其中所述透视畸变映射表与所述摄像头的拍摄角度和拍摄位置相关；

根据每个行人头部区域的高度和每个行人头部区域的第一畸变系数得到每个行人头部区域去畸变的高度；

当所述人群图像具有多个行人头部区域时，计算所述人群图像的全部行人头部区域去畸变的高度的平均值作为所述人群图像的全部行人头部区域的平均高度；以及

当所述人群图像只具有一个行人头部区域时，将所述人群图像的所述行人头部区域去畸变的高度作为所述人群图像的全部行人头部区域的平均高度。

3.如权利要求1所述的方法，其特征在于，还包括：

在透视畸变映射表中根据所述行人素材坐标确定第二畸变系数；以及

根据所述第二畸变系数对所述行人素材图像进行缩放。

4.如权利要求1所述的方法，其特征在于，所述提取所述人群图像的行人头部区域采用基于方向梯度直方图-支持向量机算法的预设头部区域提取模型或基于可变形组件模型的预设头部区域提取模型。

5.一种行人头部图像分类器的训练方法，包括：

利用如权利要求1-4任一项所述的用于训练行人头部图像分类器的样本图像生成方法生成用于训练行人头部图像分类器的样本图像，其中所述样本图像的标注数据为行人素材坐标；

对所述样本图像进行特征提取得到所述样本图像的特征；

对所述样本图像随机提取多个图像块，并根据所述样本图像的特征得到各个图像块的特征；

将所述多个图像块中包含所述行人素材坐标的图像块作为正样本图像块，将所述多个图像块中不包含所述行人素材坐标的图像块作为负样本图像块，并基于所述正样本图像块和所述负样本图像块生成样本图像块集；

根据所述样本图像的标注数据计算各个正样本图像块的行人头部参数；以及

将所述样本图像块集、所述多个图像块的特征和所述正样本图像块的行人头部参数作为行人头部图像分类器的输入进行训练，并得到训练好的行人头部图像分类器。

6.如权利要求5所述的方法，其特征在于，所述对所述样本图像进行特征提取得到所述样本图像的特征是使用以下的一种或多种预设特征提取模型进行：基于局部二值模式算法的预设特征提取模型、基于高斯梯度幅值算法的预设特征提取模型以及基于高斯拉普拉斯算子算法的预设特征提取模型。

7.如权利要求5所述的方法，其特征在于，所述图像块的特征是所述图像块在所述样本图像中对应区域所对应的特征。

8.如权利要求5所述的方法，其特征在于，所述行人头部参数包括所述正样本图像块中的行人头部数量。

9.如权利要求5所述的方法，其特征在于，所述行人头部参数包括所述正样本图像块中的行人头部分布向量。

10.如权利要求5或9所述的方法，其特征在于，所述行人头部图像分类器为基于随机森林算法的行人头部图像分类器。

11.一种用于训练行人头部图像分类器的样本图像生成装置，包括：

第一获取模块，用于获取由摄像头拍摄的人群图像；

头部提取模块，用于提取所述人群图像的行人头部区域，并得到每个行人头部区域的高度和区域坐标；

平均高度模块，用于得到所述人群图像的全部行人头部区域的平均高度；

第二获取模块，用于获取行人素材图像；

缩放模块，用于对所述行人素材图像进行缩放，以使所述行人素材图像的头部区域高度的数值范围落在所述平均高度的0.5倍-1.5倍内；

坐标生成模块，用于随机生成所述行人素材图像的行人素材坐标；以及

图像叠加模块，用于将所述行人素材图像基于所述行人素材坐标叠加到所述人群图像上，以获得用于训练行人头部图像分类器的样本图像，其中所述样本图像的标注数据为所述行人素材坐标。

12.一种行人头部图像分类器的训练装置，包括：

如权利要求11所述的用于训练行人头部图像分类器的样本图像生成装置；

特征提取模块，用于对所述样本图像进行特征提取得到所述样本图像的特征；

图像块提取模块，用于对所述样本图像随机提取多个图像块，并根据所述样本图像的特征得到各个图像块的特征；

样本集模块，用于将所述多个图像块中包含所述行人素材坐标的图像块作为正样本图像块，将所述多个图像块中不包含所述行人素材坐标的图像块作为负样本图像块，并基于所述正样本图像块和所述负样本图像块生成样本图像块集；

计算模块，用于根据所述样本图像的标注数据计算各个正样本图像块的行人头部参数；以及

训练模块，用于将所述样本图像块集、所述多个图像块的特征和所述正样本图像块的行人头部参数作为行人头部图像分类器的输入进行训练，并得到训练好的行人头部图像分类器。

13.一种用于训练行人头部图像分类器的样本图像生成系统，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如权利要求1-4任一项所述的方法。

14.一种行人头部图像分类器的训练系统，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如权利要求5-10任一项所述的方法。

15.一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如权利要求1-10任一项所述的方法。

Images