CN113192048A - 一种多模态融合的人数识别统计方法 - Google Patents

Abstract

本发明提供了一种多模态融合的人数识别统计方法，属于图像识别技术领域，用于解决人数漏识别技术问题。包括以下步骤：摄像头定时扫描获得关键图像帧并传送到服务器；服务器接收到摄像头上传的关键图像帧，对关键图像帧进行处理，获得第一图像帧，标记第一图像帧中人头目标框与人形目标框；记录所有人头目标框，计算人形目标框与人头目标框的重叠面积；计算重叠面积与相应目标框面积的比值；根据比值过滤重复目标框，得到第二图像帧；对步骤105所述的第二图像帧进行计算并输出结果。本发明同时进行人头和人形扫描，然后对重复目标进行过滤，提高了统计结果的准确性。

Description

一种多模态融合的人数识别统计方法

技术领域

本发明属于图像识别领域，涉及多模态融合技术，具体是一种多模态融合的人数识别统计方法。

背景技术

在生活中的很多场景，如渡船、景区等公共区域，往往都存在密集的人流，此类场景往往需要统计人流量信息，以帮助管理人员监管和决策，有利于增强对景区等公共区域的管理。传统的做法往往是利用人力通过监控或者在现场作一个粗略的估计。

随着智能技术的迅猛发展，机器视觉领域特别是在目标识别算法方面的技术愈加成熟，一种人数统计方式是通过在摄像头中安装自带的人流识别算法进行人员识别和统计，但是其统计范围较小，在人流密集或活动范围较大的场景使用时，识别精度较低，效果不明显。

另外一种方式是通过摄像头回传图片到服务器进行识别，目前市面上提供的人流识别算法有两种，一种是对图片中的人形进行识别然后统计，这种算法最大的缺点是在人流密集的情况下，人群较为拥挤，个体识别不明显，有些身高比较矮小的个体则易被遮挡不被识别出来，从而导致人流统计不准确；另外一种是对个体的头部—肩部进行数据采集和统计，这种算法比识别人形的算法精度更高，解决了拥挤场景中被采集个体只露出头部的情况，缺点是易漏识别个体头部，被障碍物挡及当个体戴上帽子时无法识别。

发明内容

为了解决上述方案存在的问题，本发明提供了一种多模态融合的人数识别统计方法，用于解决人数漏识别技术问题。

本发明的目的可以通过以下技术方案实现：

一种多模态融合的人数识别统计方法，包括以下步骤：

步骤101：摄像头定时扫描获得关键图像帧并传送到服务器；

步骤102：服务器接收到关键图像帧之后，对关键图像帧进行处理，获得第一图像帧，标记第一图像帧中人头目标框与人形目标框；

步骤103：记录所有人头目标框，计算步骤102中所述人形目标框与人头目标框的重叠面积；

步骤104：计算所述重叠面积与相应目标框面积的比值；

步骤105：根据比值过滤重复目标框，得到第二图像帧；

步骤106：对步骤105所述的第二图像帧进行计算并输出结果。

进一步地，步骤102中对关键图像帧进行处理包括对关键图像帧进行高斯滤波处理后获得第一图像帧，所述对第一图像帧标记人头目标框与人形目标框的方式为目标检测算法。

进一步地，步骤103中计算所述重叠面积的过程具体为：

a)使用位置扫描算法对人头目标框与人形目标框处理；

b)标记目标框位置信息{x，y，w，h}；

其中x,y代表目标框的中心点坐标，w代表目标框的宽，h代表目标框的高；

c)根据面积计算公式计算出重叠面积。

进一步地，步骤104中所述相应目标框可以为包括重叠部分的人头目标框，所述比值计算方式为：

area_head＝w＊h；

Rate＝area_overlap/area_head；

其中area_head代表人头目标框的面积，area_overlap代表重叠部分面积，Rate代表比值；

计算所述人头目标框周围所有重叠的人形目标框的比值。

进一步地，步骤104中所述相应目标框可以为包括重叠部分的人形目标框，所述比值的计算方式为：

area_body＝w＊h；

Rate＝area_overlap/area_body；

其中area_body代表人形目标框的面积，area_overlap代表重叠部分面积，Rate代表比值；

计算所述人形目标框与周围所有重叠的人头目标框的比值。

进一步地，当相应目标框为人头目标框时，步骤105所述过滤重复目标框的方式为融合算法，具体为：

步骤A1：设定判断的阈值

步骤A2：利用比较选择算法对比值与阈值进行对比选择；

步骤A3：当比值大于阈值，则将此人形目标框过滤；

步骤A4：保留剩余人形目标框并记录。

进一步地，当相应目标框为人性目标框时，步骤105中所述过滤重复目标框的方式为融合算法，具体为：

步骤B1：设定判断的阈值；

步骤B2：利用比较选择算法对比值与阈值进行对比选择；

步骤B3：当比值大于阈值，则将此人形目标框过滤；

步骤B4：如果所有的比值均小于阈值，保留人形目标框并记录。

进一步地，步骤106所述对第二图像帧进行计算并输出结果的计算方式为求和算法。

与现有技术相比，本发明的有益效果是：

(1)更强的场景适应能力

对获取的图片中利用目标检测算法同时检测人形和人头，两种常规方法结合使用对于常见的人流稀疏的场景具有良好的统计效果，对于人流密集及拥挤的复杂场景也具有良好的实用性和适用性；

(2)更高的识别精度

同时结合了人形和人头的检测结果，对比于传统只检测其中一种目标的算法，不容易漏检错检，优先保留人头检测的检测结果，通过融合算法计算出未被人头检测识别出的目标，从而使检测识别精度大大提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法步骤示意图；

图2为本发明实施例1流程图；

图3为本发明实施例2流程图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种多模态融合的人数识别统计方法，包括以下步骤：

步骤101：摄像头定时扫描获得关键图像帧并传送到服务器；

步骤102：服务器接收到关键图像帧之后，对关键图像帧进行处理，获得第一图像帧，标记第一图像帧中人头目标框与人形目标框；

步骤103：记录所有人头目标框，计算步骤102中所述人形目标框与人头目标框的重叠面积；

步骤104：计算所述重叠面积与相应目标框面积的比值；

步骤105：根据比值过滤重复目标框，得到第二图像帧；

步骤106：对步骤105所述的第二图像帧进行计算并输出结果。

本发明首先从摄像头中定时扫描获得关键图像帧，其设定的时间间隔为0.1-2秒，并利用无线传输或者数据线传输到服务器的接收端，所述的关键图像帧可以是视频截图或者摄像头拍摄的全景图片，服务器内部的处理器首先对接收到的关键图像帧进行高斯滤波处理得到第一图像帧。

高斯滤波(高斯平滑)：用一个用户指定的模板(或称卷积、掩膜)去扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

然后对第一图像帧进行人形和人头扫描所采用的是目标检测算法，本发明对所述的目标检测算法没有特殊要求，采用本领域技术人员所常见的目标检测算法即可。

使用位置扫描算法将人形目标框与人头目标框的位置信息标记为{x，y，w，h}，其中x,y代表目标框的中心点坐标，w代表目标框的宽，h代表目标框的高。本发明对所述位置扫描算法没有特殊要求，采用本领域技术人员所常见的位置扫描算法即可。

因为在常规人数识别统计中，人头检测相对于人形检测更加精确，尤其适用于人流密集的场所，所以本发明中对于人头目标框优先保留并记录，而人形框目标框则作为补充统计，为防止将同一人的人形目标框和人头目标框重复统计，设定判定的方法。

本发明所采用的方法原理为，当人群较为拥挤时其人群中人形目标框与人头目标框相互重叠。而同一人的人头目标框与人形目标框之间的距离是最接近的，其人形目标框与人头目标框的重叠面积最大，为判定人形目标框与人头目标框是否为同一人，可以设定一个阈值，计算重叠面积与相应目标框面积的比值，这个相应目标框可以是人形目标框或人头目标框。当比值大于阈值时，判断此人形目标框与人头目标框表示的为同一人，可以将此人形目标框过滤。如果比值小于阈值时，则说明人形目标框与人头目标框标记的不是同一个人，可以保留此人形目标框。

本发明过滤人形目标框的方式采用融合算法，具体为：

1、当相应目标框为人形目标框时

步骤A1：设定判断的阈值；

步骤A2：利用比较选择算法对比率与阈值进行对比选择；

步骤A3：如果比值大于阈值，判断为人形目标框与其中一个人头目标框表示的是同一人，则将此人形目标框过滤；

步骤A4：保留剩余人形目标框并记录。

2、当相应目标框为人头目标框为时

步骤B1：设定判断的阈值；

步骤B2：利用比较选择算法对比率与阈值进行对比选择；

步骤B3：当比值大于阈值时，判断为人形目标框与其中一个人头目标框表示的是同一人，则将此人形目标框过滤；

步骤B4：如果所有的比值均小于阈值，说明所计算的人形目标框没有与图中所识别的人头目标框表示同一人，则保留人形目标框并记录。对于周围没有人头目标框重叠的人形目标框，其重叠面积记为零，其比值也为零，不影响与阈值比较所判断的结果。

然后获得第二图像帧，利用求和算法对记录的人形目标框与人头目标框进行统计，得出结果。

为了进一步说明本发明，下面通过以下实施例进行详细说明。

实施例1：

如图2所示，一种多模态融合的人数识别统计方法，包括以下步骤：

S1、在所需监控场景安装扫描摄像头，摄像头定时扫描获得关键图像帧并传送到服务器；

S2、服务器接收到摄像头上传的关键图像帧，对所述关键图像帧进行高斯滤波处理，获得第一图像帧，然后利用目标检测算法对第一图像帧中的扫描目标进行人头和人形检测，标记出人头目标框与人形目标框；

S3、使用位置扫描算法标记出人头目标框与人形目标框的目标框位置信息{x，y，w，h}，其中x,y为目标框的中心点坐标，w为目标框的宽，h为目标框的高，针对特定的扫描目标，记录所有人头目标框，如果其附近有人形目标框则对所有人形目标框进行重叠部分面积运算，然后计算所述重叠面积与人头目标框面积的比值；

S4、计算人头目标框面积与周围所有重叠的人形目标框的比值，公式如下：

dist_x＝max(x1-w1/2,x2-w2/2)-min(x1+w1/2,x2+w2/2)

在y方向上两个框的相交部分长度：

dist_y＝max(y1-h1/2,y2-h2/2)-min(y1+h1/2,y2+h2/2)

得出相交部分的面积为：

area_overlap＝dist_x*dist_y

area_head＝w*h

Rate＝area_overlap/area_head

其中dist_x代表x方向上两个框的相交部分长度，dist_y代表y方向上两个框的相交部分长度，area_head代表人头目标框的面积，area_overlap代表重叠部分面积，Rate代表比值；

S5、使用融合算法对目标框进行过滤，具体方式为，设定一个阈值，利用比较选择算法对比值与阈值进行对比选择，如果比值大于阈值，判断为人形目标框与人头目标框表示的是同一人，则将人形目标框过滤，保留人头目标框并记录，如果比值小于阈值，说明所计算的人形目标框与人头目标框标记的不是同一人，所述人形目标筐与人头目标框均保留并且记录，对于其他只检测到人形目标框的，保留并记录，得到第二图像帧；

S6、利用求和算法对第二图像帧中所有标记的目标筐进行统计，输出结果，本次人数统计结束。

实施例2：

如图3所示，一种多模态融合的人数识别统计方法，包括以下步骤：

S11、在所需监控场景安装扫描摄像头，摄像头定时扫描获得关键图像帧并传送到服务器；

S12、服务器接收到摄像头上传的关键图像帧，对所述关键图像帧进行高斯滤波处理，获得第一图像帧，然后利用目标检测算法对第一图像帧中的扫描目标进行人头和人形检测，标记出人头目标框与人形目标框；

S13、使用位置扫描算法标记出人头目标框与人形目标框的目标位置信息{x，y，w，h}，其中x,y为目标框的中心点坐标，w为目标框的宽，h为目标框的高，针对特定的扫描目标，记录所有人头目标框，对所有人形目标框进行扫描，然后计算所有与之重叠的人头目标框的重叠部分面积、所述重叠面积与人形目标框面积的比值；

S14、计算人形目标框面积及与周围所有重叠的人头目标框的比值，公式如下：

dist_x＝max(x1-w1/2,x2-w2/2)-min(x1+w1/2,x2+w2/2)

在y方向上两个框的相交部分长度：

dist_y＝max(y1-h1/2,y2-h2/2)-min(y1+h1/2,y2+h2/2)

得出相交部分的面积为：

area_overlap＝dist_x*dist_y

area_body＝w＊h

Rate＝area_overlap/area_body

其中dist_x代表x方向上两个框的相交部分长度，dist_y代表y方向上两个框的相交部分长度，其中area_body代表人形目标框的面积，area_overlap代表重叠部分面积，Rate代表比值；

如果人形目标框附近没有人头目标框与之重叠，则重叠面积等于零，于是比值也等于零；

S15、设定一个阈值，利用比较选择算法对比值与阈值进行对比判断，如果比值大于阈值，判断为人形目标框与其中一个人头目标框表示的是同一人，则将此人形目标框过滤，如果所有的比值均小于阈值，说明所计算的人形目标框没有与图中所记录的人头目标框表示同一人，则保留人形目标框并记录，得到第二图像帧；

S16、利用求和算法对第二图像帧中所有标记的目标框进行统计，输出结果，本次人数统计结束。

上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。

本发明对求和算法没有特殊要求，采用本领域技术人员所常见的求和算法即可。

本发明的工作原理：对获取到的图片同时进行人头和人形检测并标记位置信息，并利用融合算法排除重复计数的目标框，从而获得图片中准确的统计人数。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (7)

1.一种多模态融合的人数识别统计方法，其特征在于，包括以下步骤：

步骤101：摄像头定时扫描获得关键图像帧并传送到服务器；

步骤102：服务器接收到关键图像帧之后，对关键图像帧进行处理，获得第一图像帧，标记第一图像帧中人头目标框与人形目标框；

步骤103：记录所有人头目标框，计算步骤102中所述人形目标框与人头目标框的重叠面积；

步骤104：计算所述重叠面积与相应目标框面积的比值；

步骤105：根据比值过滤重复目标框，得到第二图像帧；

步骤106：对步骤105所述的第二图像帧进行计算并输出结果。

2.根据权利要求1所述的一种多模态融合的人数识别统计方法，其特征在于，步骤102中对关键图像帧进行处理包括对关键图像帧进行高斯滤波处理后获得第一图像帧，对第一图像帧标记人头目标框与人形目标框的方式为目标检测算法。

3.根据权利要求1所述的一种多模态融合的人数识别统计方法，其特征在于，步骤103中计算所述重叠面积的过程具体为：

a)使用位置扫描算法对人头目标框与人形目标框处理；

b)标记目标框位置信息{x，y，w，h}；

其中x,y代表目标框的中心点坐标，w代表目标框的宽，h代表目标框的高；

c)根据面积计算公式计算出重叠面积。

4.根据权利要求1所述的一种多模态融合的人数识别统计方法，其特征在于，步骤104中所述相应目标框为包括重叠部分的人头目标框，比值的计算方式为：

area_head＝w＊h；

Rate＝area_overlap/area_head；

其中area_head代表人头目标框的面积，area_overlap代表重叠部分面积，Rate代表比值；

计算人头目标框周围的所有重叠的人形目标框的比值。

5.根据权利要求1所述的一种多模态融合的人数识别统计方法，其特征在于，步骤104中所述相应目标框为包括重叠部分的人形目标框，所述比值的计算方式为：

area_body＝w＊h；

Rate＝area_overlap/area_body；

其中area_body代表人形目标框的面积，area_overlap代表重叠部分面积，Rate代表比值；

计算人形目标框与周围所有重叠的人头目标框的比值。

6.根据权利要求1所述的一种多模态融合的人数识别统计方法，其特征在于，步骤105所述过滤重复目标框的方式为融合算法，具体为：

步骤A1：设定判断的阈值；

步骤A2：利用比较选择算法对比值与阈值进行对比选择；

步骤A3：当比值大于阈值，则将此人形目标框过滤；

步骤A4：保留剩余人形目标框并记录。

7.根据权利要求1所述的一种多模态融合的人数识别统计方法，其特征在于，步骤105中所述过滤重复目标框的方式为融合算法，具体为：

步骤B1：设定判断的阈值；

步骤B2：利用比较选择算法对比值与阈值进行对比选择；

步骤B3：当比值大于阈值，则将此人形目标框过滤；

步骤B4：如果所有的比值均小于阈值，保留人形目标框并记录。

Images