CN110598672A - 一种基于单台摄像机的多区域人数统计方法 - Google Patents

Abstract

本发明创造提供了一种基于单台摄像机的多区域人数统计方法，包括：S1、通过摄像机采集图像，并对图像进行预处理；S2、将预处理后的图像分别送入检测网络和回归网络；S3、对摄像机画面进行区域划分，对各个目标的位置进行区域判断。本发明创造在真实的使用场景中，通过将检测结果与回归结果进行校验和判断，实时、准确、合理的输出单画面内多区域的实时人数，在满足整体画面人数进行监控的同时支持指定多个不同的特定区域，节省了统计和监控的时间成本和人力成本，避免了频繁统计实时人数带来的麻烦，降低不必要的损失和意外发生的可能性。

Description

一种基于单台摄像机的多区域人数统计方法

技术领域

本发明创造属于视频监控领域，尤其是涉及一种基于单台摄像机的多区域人数统计方法。

背景技术

随着社会的发展进步，越来越多的场景会有人群聚集的情况出现，然而人群聚集时出现的人群高密度场景带有诸多的安全隐患。例如：广场、外滩的集会，节日的庆祝活动等极易出现踩踏等安全隐患。因此，及时的监控场所内人群的拥挤程度，反应各个不同区域内人群数量的变动趋势，给予及时的人工干预就变得尤为重要。除此之外，对于排队，饭店就餐等场景也存在人数统计的需求。现有的区域人数统计的方案在单台摄像机下无法获知某个区域的具体人数，只能反映整体区域的总人数，该种统计方案主要有两种：

第一种是基于回归的算法思路，通过对图像内人群位置的回归，以密度热图的形式输出回归结果，得到场景内的一个拥挤指数。它的缺点无法获知单个目标的具体位置，只能反映当前整体的一种拥挤状态，导致其结果的可靠性和说服力有限。

第二种是基于目标检测算法的思路，通过提取人体某一特征，统计画面内人数，检测结果该特征的位置即为目标位置以及检测出的目标数。该方案的缺点是在人物相互遮挡、特征被覆盖等情况下性能较低，这一缺点导致算法的使用范围受限。

发明内容

有鉴于此，本发明创造旨在克服上述现有技术中存在的缺陷，提出一种基于单台摄像机的多区域人数统计方法。

为达到上述目的，本发明创造的技术方案是这样实现的：

一种基于单台摄像机的多区域人数统计方法，包括：

S1、通过摄像机采集图像，并对图像进行预处理；

S2、将预处理后的图像分别送入检测网络和回归网络；

S3、对摄像机画面进行区域划分，对各个目标的位置进行区域判断，统计不同区域内目标的个数和当前画面内的总人数；

S4、在不同区域内，对检测网络和回归网络两种检测结果进行校验；

S5、对检测结果进行整合输出。

进一步的，所述步骤S2中检测网络处理方法如下：将预处理后的图像送入检测网络，通过对送检图像进行特征提取，输出检测出的目标个数，记为iDetNum，同时输出每个目标在图像内的位置坐标。

进一步的，所述步骤S2中回归网络处理方法如下：

S201、将预处理后的图像送入密度回归网络；

S202、以卷积操作对图像进行初次特征提取，同时降低图像的分辨率；

S203、将图像分别送入不同卷积核大小的两列并行的网络中进行多次卷积、池化；

S204、对两列网络输出的特征图进行融合，并输出密度图；

S205、以密度图的形式输出图像内人的位置回归结果。

进一步的，所述步骤S3中对摄像机画面进行区域划分的方法如下：

S301、提供用户指定划分和相机自动划分两种划分模式；

S302、当采用用户指定划分模式时，用户可通过鼠标在图像中画出指定区域并设置报警上线；

S303、当采用相机自动划分模式时，根据默认值对画面进行4个长方形区域划分，相机每隔30分钟进行一次目标位置坐标聚类，即kmeans聚类，通过获取目标位置坐标的最大最小值重新设定长方形区域，计算区域更新前后的面积比调整相应区域的报警上限。

进一步的，所述步骤S3中区域判断的方法如下：

S310、确定目标中心点坐标，分别过每个目标中心点做垂直线；

S320、计算垂直线与多边形区域各边的交点，判断交点在目标中心点两侧的奇偶分布情况；

S330、如果交点个数为奇数，则目标中心点在区域内，区域内计数加一，画面内总人数加一；

S340、如果交点个数为偶数，则目标中心点在区域外，画面内总人数加一；

进一步的，所述步骤S4中检测结构校验方法如下：

S401、判断密度图在检测结果所输出的各个目标框内的积分值；

S402、将各个积分值与设定的阈值进行比较；

S403、如果积分值大于等于该阈值，认为检测结果与回归结果一致，否则认为结果不一致；

S404、记录结果不一致情况出现的次数，记为iDiffNum。

进一步的，所述步骤S5的具体方法如下：

S501、对回归网络输出的密度图进行积分运算，返回积分值，该积分值即为回归网络对区域内人群数量的回归结果，记为

其中，n为密度图内的像素总数，x_i为第i个像素位置的回归值；

S502、对回归网络的结果和校验结果按一定的权重比例求和记为iTempSum，

iTempSum＝α*iDensityNum+(1-α)iDiffNum。

其中，α为可控参数，是场景内人群的遮挡率，需根据不同场景进行调整，计算方法为对密度图求局部最大值，之后根据最大值分布，做拥挤和稀疏的二分类，拥挤的得分即为α的值；

S503、判断iTempSum的值与阶跃式阈值的大小，该阈值通过检测结果iDetNum设定，决定最后结果iResultNum的输出：

其中β为经验值，由多时间段内检测结果的最大值与检测结果的最小值相除的结果求平均得出。

相对于现有技术，本发明创造具有以下优势：

本发明创造克服了单独使用检测方案带来的弊端，如遮挡等情况下人数统计的不准确，同时也避免了回归方案的部分缺点，如在密度回归不准确时回归人数不准的情况。通过单台摄像机实现对画面内多区域实现实时计数，支持个性化的多区域设置和自动区域设置，不仅可以为一些商业活动倾向性提供数据支撑，为节日活动等人群聚集的治安防治提供预警信息，在降低成本的同时实现多区域的实时计数，为小区域的人数骤增和意外情况的发生提供监控帮助。

本发明创造在真实的使用场景中，通过将检测结果与回归结果进行校验和判断，实时、准确、合理的输出单画面内多区域的实时人数，在满足整体画面人数进行监控的同时支持指定多个不同的特定区域，节省了统计和监控的时间成本和人力成本，避免了频繁统计实时人数带来的麻烦，降低不必要的损失和意外发生的可能性。

附图说明

构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：

图1为本发明创造实施例所述的基于单台摄像机的多区域人数统计方法的工作流程图；

图2为本发明创造实施例所述的对各个目标的位置进行区域判断方法的工作流程图

图3为本发明创造实施例所述的在室内安装摄像机时的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。

在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。

下面将参考附图并结合实施例来详细说明本发明创造。

一种基于单台摄像机的多区域人数统计方法，如图1至图3所示，通过将目标的检测和目标位置的回归两种方法相结合，并对输出结果进行校验处理，可以得到相对准确的区域内的人数统计结果，准确率在90％以上。

首先，通过摄像机采集图像，对图像进行预处理，主要包括图像的缩放，颜色空间转换等，将预处理后的图像分别送入检测网络和回归网络。检测网络的设计以RCNN为基础，通过卷积网络和RPN(区域候选网络)实现(这个是现有技术)对送检图像进行特征提取，并获得目标所在图像内的位置以及目标个数。密度回归网络首先通过卷积提取特征并降低图像的分辨率(卷积中通过设置不同大小的卷积核和步长就可以达到提取特征并降低分辨率的目的)，之后通过不同大小的卷积核提取目标信息，对人群的分布进行回归，通过权重值融合不同尺度的特征来适应目标的多尺度变化，最后较准确的回归出区域内人群的分布结果，通过积分统计人数。

具体步骤如下：

1、输入需要送检的图像到检测网络，通过对送检图像进行特征提取，输出检测出的目标个数，记为iDetNum,输出每个目标在图像内的位置坐标。

2、输入需要送检的图像到密度回归网络(回归网络：首先以卷积操作对图像进行初次特征提取，同时降低分辨率；接着将图像分别送入不同卷积核大小的两列并行的网络进行多次卷积、池化，之后对两列网络的输出特征图进行融合并输出，即密度图)，网络以密度图的形式输出图像内人的位置的回归结果。

3、对摄像机画面进行区域划分的方式有两种可供选择：用户指定和相机自动划分，两种方式可以通过客户端进行选择(或重置)。用户指定方式可以按照用户意愿通过鼠标画出指定区域并设置报警上限，可以满足不同场景的个性化需求；相机自动划分首先会根据默认值对画面进行4个长方形区域划分，用户只需设定报警上限，相机每隔30分钟进行一次目标位置坐标聚类(kmeans聚类)，通过获取目标位置坐标的最大最小值重新设定长方形区域，计算区域更新前后的面积比调整相应区域的报警上限。

4、对各个目标的位置进行区域判断，首先，区域要求为凸多边形，分别过每个目标中心位置的坐标点做垂直线，分别计算与多边形区域各边的交点，如果点的两侧交点个数为奇数则在区域内，为偶数则在区域外，对每个目标点进行各个区域的判断，统计不同区域内目标的个数和当前画面内的总人数。

5、在不同区域内，对两种检测结果进行校验。判断密度图在检测结果所输出的各个目标框内的积分值，将各个积分值与设定的阈值(该阈值为经验值，经多次试验验证)进行比较，如果积分值大于等于该阈值，认为检测结果与回归结果一致，否则认为结果不一致，记录结果不一致情况出现的次数，记为iDiffNum。

6、对结果进行整合输出，首先对回归网络输出的密度图进行积分运算，返回积分值，该积分值即为回归网络对区域内人群数量的回归结果，记为其中，n为密度图内的像素总数，x_i为第i个像素位置的回归值；

对回归网络的结果和校验结果按一定的权重比例求和记为iTempSum，

iTempSum＝α*iDensityNum+(1-α)iDiffNum。

其中，α为可控参数，是场景内人群的遮挡率，需根据不同场景进行调整，计算方法为对密度图求局部最大值，之后根据最大值分布，做拥挤和稀疏的二分类，拥挤的得分即为α的值；

最后，判断iTempSum的值与阶跃式阈值的大小，该阈值通过检测结果iDetNum设定，决定最后结果iResultNum的输出：

其中β为经验值，由多次测试实验获得，具体的，由多时间段内检测结果的最大值与检测结果的最小值相除的结果求平均得出。

在一个可选的实施例中，本发明创造适合用于指定区域内的人数统计，可将摄像头安置于室外或室内场景，对需要的区域进行监控，下面以室内场景为例说明，摄像头安装于距离地面2.5～3.5米的墙面上或屋顶上，倾斜拍摄目标区域，如图3所示，通过摄像机采集室内区域图像，对图像进行缩放，颜色空间转换等预处理，将预处理后的图像分别送入检测网络和回归网络。

输入需要送检的图像到检测网络，通过检测网络对送检图像进行特征提取，输出检测出的目标个数。

输入需要送检的图像到密度回归网络，网络以密度图的形式输出图像内人的位置的回归结果信息，通过对密度图进行积分运算，获取人数统计结果。

对各个目标的位置进行区域判断，首先，区域要求为凸多边形，分别过每个目标中心位置的坐标点做垂直线，分别计算与多边形区域各边的交点，如果点的两侧交点个数为奇数则在区域内，为偶数则在区域外，对每个目标点进行各个区域的判断，统计不同区域内目标的个数和当前画面内的总人数。

在不同区域内，对两种检测结果进行校验。判断密度图在检测结果所输出的各个目标框内的积分值，将各个积分值与设定的阈值(该阈值为经验值，经多次试验验证)进行比较，如果积分值大于等于该阈值，认为检测结果与回归结果一致，否则认为结果不一致，记录结果不一致情况出现的次数。

对结果进行整合输出，首先对回归网络输出的密度图进行积分运算，返回积分值，该积分值即为回归网络对区域内人群数量的回归结果；对回归网络的结果和校验结果按一定的权重比例求和，通过对场景的判断调整权重参数，判断结果并输出。

使用实例：统计某餐厅中午就餐时间指定区域内的就餐人数，在不遮挡干扰较少的情况下效果较佳。本发明创造在实际场景中的人数统计准确率可达到90％。

结合近期的研究进展，本方法现在支持对画面进行区域分割，区域最多支持8个，区域设置方式分两种，用户可通过ie界面进入客户端通过鼠标手动设置多个指定区域，也可以选择自动区域划分，相机内部会在默认值的基础上更新边界区域和报警阈值。屏幕上可实时显示不同区域内的人数以及画面内的总人数，弥补区域人数统计时整体画面人数较少但部分区域人数聚集的空白，对室外区域的打架斗殴和多人欺凌事件起到预警作用。

本发明创造克服了单独使用检测方案带来的弊端，如遮挡等情况下人数统计的不准确，同时也避免了回归方案的部分缺点，如在密度回归不准确时回归人数不准的情况。通过单台摄像机实现对画面内多区域实现实时计数，支持个性化的多区域设置和自动区域设置，不仅可以为一些商业活动倾向性提供数据支撑，为节日活动等人群聚集的治安防治提供预警信息，在降低成本的同时实现多区域的实时计数，为小区域的人数骤增和意外情况的发生提供监控帮助。

本发明创造在真实的使用场景中，通过将检测结果与回归结果进行校验和判断，实时、准确、合理的输出单画面内多区域的实时人数，在满足整体画面人数进行监控的同时支持指定多个不同的特定区域，节省了统计和监控的时间成本和人力成本，避免了频繁统计实时人数带来的麻烦，降低不必要的损失和意外发生的可能性。

以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。

Claims (7)

1.一种基于单台摄像机的多区域人数统计方法，其特征在于，包括：

S1、通过摄像机采集图像，并对图像进行预处理；

S2、将预处理后的图像分别送入检测网络和回归网络；

S3、对摄像机画面进行区域划分，对各个目标的位置进行区域判断，统计不同区域内目标的个数和当前画面内的总人数；

S4、在不同区域内，对检测网络和回归网络两种检测结果进行校验；

S5、对检测结果进行整合输出。

2.根据权利要求1所述的一种基于单台摄像机的多区域人数统计方法，其特征在于，所述步骤S2中检测网络处理方法如下：将预处理后的图像送入检测网络，通过对送检图像进行特征提取，输出检测出的目标个数，记为iDetNum，同时输出每个目标在图像内的位置坐标。

3.根据权利要求1所述的一种基于单台摄像机的多区域人数统计方法，其特征在于，所述步骤S2中回归网络处理方法如下：

S201、将预处理后的图像送入密度回归网络；

S202、以卷积操作对图像进行初次特征提取，同时降低图像的分辨率；

S203、将图像分别送入不同卷积核大小的两列并行的网络中进行多次卷积、池化；

S204、对两列网络输出的特征图进行融合，并输出密度图；

S205、以密度图的形式输出图像内人的位置回归结果。

4.根据权利要求1所述的一种基于单台摄像机的多区域人数统计方法，其特征在于，所述步骤S3中对摄像机画面进行区域划分的方法如下：

S301、提供用户指定划分和相机自动划分两种划分模式；

S302、当采用用户指定划分模式时，用户可通过鼠标在图像中画出指定区域并设置报警上线；

S303、当采用相机自动划分模式时，根据默认值对画面进行4个长方形区域划分，相机每隔30分钟进行一次目标位置坐标聚类，即kmeans聚类，通过获取目标位置坐标的最大最小值重新设定长方形区域，计算区域更新前后的面积比调整相应区域的报警上限。

5.根据权利要求1所述的一种基于单台摄像机的多区域人数统计方法，其特征在于，所述步骤S3中区域判断的方法如下：

S310、确定目标中心点坐标，分别过每个目标中心点做垂直线；

S320、计算垂直线与多边形区域各边的交点，判断交点在目标中心点两侧的奇偶分布情况；

S330、如果交点个数为奇数，则目标中心点在区域内，区域内计数加一，画面内总人数加一；

S340、如果交点个数为偶数，则目标中心点在区域外，画面内总人数加一。

6.根据权利要求1所述的一种基于单台摄像机的多区域人数统计方法，其特征在于，所述步骤S4中检测结构校验方法如下：

S401、判断密度图在检测结果所输出的各个目标框内的积分值；

S402、将各个积分值与设定的阈值进行比较；

S403、如果积分值大于等于该阈值，认为检测结果与回归结果一致，否则认为结果不一致；

S404、记录结果不一致情况出现的次数，记为iDiffNum。

7.根据权利要求1所述的一种基于单台摄像机的多区域人数统计方法，其特征在于，所述步骤S5的具体方法如下：

S501、对回归网络输出的密度图进行积分运算，返回积分值，该积分值即为回归网络对区域内人群数量的回归结果，记为

其中，n为密度图内的像素总数，x_i为第i个像素位置的回归值；

S502、对回归网络的结果和校验结果按一定的权重比例求和记为iTempSum，

iTempSum＝α*iDensityNum+(1-α)iDiffNum。

其中，α为可控参数，是场景内人群的遮挡率，需根据不同场景进行调整，计算方法为对密度图求局部最大值，之后根据最大值分布，做拥挤和稀疏的二分类，拥挤的得分即为α的值；

S503、判断iTempSum的值与阶跃式阈值的大小，该阈值通过检测结果iDetNum设定，决定最后结果iResultNum的输出：

其中β为经验值，由多时间段内检测结果的最大值与检测结果的最小值相除的结果求平均得出。