CN112418182A - 红外影厅图像人数统计方法 - Google Patents

Abstract

本申请公开了一种红外影厅图像人数统计方法，包括：对红外影厅图像进行预处理；针对预处理后的图像，提取前景图像；根据随机采样的数据进行拟合，根据拟合结果进行校正，计算前景面积；建立所述前景面积与人数的线性回归关系，计算人数。本申请的方法，将多个影厅的原图与其前景图像进行端到端训练，实现不同影厅图像的前景提取，再结合改进透视效应校正方法，提取前景面积并建立其与人数的回归关系，得到最终人数统计结果，本申请实施例提供的方法提取效果好，分类准确率、召回率及前景准确率较高，假正率和假负率较低，无论是在人群稀疏还是密集场景，均能够得到较好的前景提取效果，增强了算法对不同场景、不同光线的鲁棒性。

Description

红外影厅图像人数统计方法

技术领域

本申请涉及图像处理技术领域，具体涉及一种红外影厅图像人数统计方法。

背景技术

人数统计是智能监控领域一个重要的研究分支，在电影院场景下，这一技术的应用可以帮助实时统计电影票房，有效防止“偷票房”、“幽灵场”等现象的发生。目前主流的人数统计方法主要分为基于检测的方法和基于回归的方法两大类。基于检测的方法通过检测人体整体或局部的特征直接检测到人体，进而统计人数。基于回归的方法首先提取人群的整体特征，然后根据提取的特征建立其与人数之间的映射关系，利用回归算法获得图像中的人数。无论哪一种方法，其中一步很重要的工作就是前景提取。前景提取的好坏直接关系到后续人体检测、特征提取、回归等的效果。人数统计技术主要分为两部分：前景提取、人群计数。目前，常用的静态场景的前景提取方法主要包括三种：帧间差分法、光流法和背景减除法，其中背景减除法是最为通用的方法。而背景减除法中较为常用的方法有混合高斯模型、ViBe算法、核密度估计算法等。人群计数技术主要是建立人群整体特征与人数之间的映射关系，利用回归算法可获得图像中的人数。现有的前景提取方法大多数仅仅针对固定场景下的运动人群，因此常采用背景差分法、混合高斯模型(Gaussian Mixture Model，GMM)、ViBe算法等进行人群分割。但传统的背景建模方法无法克服人群分割中的所有问题，且可移植性差，只能处理某一固定场景的图像。

考虑到研究场景为使用中的影厅，在此场景下进行人数统计主要有以下难点：

1)由于观影时需要关闭灯光，所以采用红外摄像头进行拍摄。由于红外图像的成像原理以及红外成像系统自身的原因，红外图像与可见光图像相比，大多有图像对比度低、图像较模糊、信噪比低等缺点。

2)影院背景复杂度较高，且由于光线、温度等因素的影响，传统前景提取方法无法很好地应用在这一场景中。

3)在实际中由于影厅面积较大，拍摄时透视效应严重，后排人体成像与前排差距较大。

面对以上问题，传统的前景提取方法无法有效地进行解决，需要针对性的提出新的解决方法。

发明内容

本申请的目的是提供一种红外影厅图像人数统计方法。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本申请实施例的一个方面，提供一种红外影厅图像人数统计方法，包括：

对红外影厅图像进行预处理；

针对预处理后的图像，提取前景图像；

根据随机采样的数据进行拟合，根据拟合结果进行校正，计算前景面积；

建立所述前景面积与人数的线性回归关系，计算人数。

进一步地，所述针对预处理后的图像，提取前景图像，包括：

采用U-net网络作为基本架构，U-net网络为一个U形结构，U形结构左侧为编码部分，是重复卷积-卷积-最大池化的过程，用于获取图像的高层抽象信息；U形结构右侧为解码部分，通过上采样操作还原分辨率信息，同时与上层提取的特征图进行连接操作。

进一步地，所述U-net网络各层均采用ReLU非线性函数作为激活函数。

进一步地，采用对数损失函数定义所述U-net网络的模型误差，损失函数公式为

其中，n为像素总数，y_i为第i个像素点真实类别，s_i为第i个样本点经过模型预测结果，i为正整数。

进一步地，所述根据随机采样的数据进行拟合，根据拟合结果进行校正，计算前景面积，包括：

随机选取多个点记录其纵坐标以及该点所在的座椅尺寸，画出其散点图，根据散点图显示的规律分别进行拟合，得到拟合系数α，β；

改进后对位于坐标(x，y)的点，其高度计算公式如下：

其中h为校正后高度，H为图像高度；

校正透视效应后，修改后前景面积计算公式如下：

为投影系数，表示纵坐标为i时的单个前景像素点投影后对应的高度；

根据修改后前景面积计算公式计算前景面积。

根据本申请实施例的另一个方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述的红外影厅图像人数统计方法。

根据本申请实施例的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述的红外影厅图像人数统计方法。

本申请实施例的其中一个方面提供的技术方案可以包括以下有益效果：

本申请实施例提供的红外影厅图像人数统计方法，将多个影厅的原图与其前景图像进行端到端训练，实现不同影厅图像的前景提取，再结合改进透视效应校正方法，提取前景面积并建立其与人数的回归关系，得到最终人数统计结果。与现有技术相比，本申请实施例提供的方法，提取效果好，分类准确率、召回率及前景准确率较高，假正率和假负率较低，无论是在人群稀疏还是密集场景，均能够得到较好的前景提取效果，增强了算法对不同场景、不同光线的鲁棒性，扩大了算法的应用范围。

本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请的一个实施例提供的红外影厅图像人数统计方法流程图；

图2为本申请的一个实施例中的IDU-net网络架构图；

图3为本申请的一个实施例中的座椅成像的高随纵坐标变化散点图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本申请做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

如图1所示，本申请的一个实施例提供了一种红外影厅图像人数统计方法，主要包含以下步骤：

1)图像预处理，主要包括对原始红外影厅图像进行预处理和制作标签图像。

2)前景提取，利用IDU-net网络进行端到端训练，提取前景图像。常用前景提取方法包括ViBe算法、高斯混合模型等。

3)透视效应校正，首先根据随机采样的数据进行拟合，明确纵坐标对成像大小的影响，再根据拟合结果进行校正，计算前景面积。

4)线性回归，建立前景面积与人数的线性回归关系，计算人数统计结果。

IDU-Net：改进的U-net前景提取方法

为了实现观影人数统计，首先需要将人群与背景分割开，因此第一步重点工作是前景提取。本申请实施例采用U-net网络作为基本架构，如图2所示，U-net网络为一个U形结构，左侧为encoder(编码)部分，是重复卷积-卷积-最大池化的过程，用于获取图像的高层抽象信息；右侧为decoder(解码)部分，通过上采样操作还原分辨率信息，同时与上层提取的feature map(特征图)进行concatenate(连接)操作。IDU-Net即改进的U-net。

但原U-net网络存在两个问题：(1)架构较大，训练时需耗费大量计算资源与时间；(2)原网络把输入图像下采样到非常小的特征图会使场景的空间结构不那么清晰，失去部分位置信息，不仅限制了分类的准确率，还影响前景提取的边缘分割效果。针对以上两个问题，本申请实施例对原网络进行改进。首先为了提高训练速度，本申请实施例采用Inception网络中的策略：将n×n的卷积核尺寸分解为1×n和n×1两个卷积。在进行卷积操作时，原网络采用3×3的卷积核，为了减少参数，提高训练速度，参考Inception网络中的卷积方式，采用1×3与3×1的卷积方式替代原有卷积，这种方法在成本上比单个3×3的卷积核降低33％。这种方法有效地减少了训练过程中的参数量，且减少了训练时长。其次，为了尽可能保留原图像的位置信息，提高分类准确率，本申请实施例将扩张卷积方法应用到U-net网络中。扩张卷积的好处就是既能保持原有网络的感受野，同时又不会损失图像空间的分辨率。这种方法使得网络在对图像进行下采样时能保留前景的边缘信息及位置信息，同时提高了将模型迁移到其他场景的性能。

U-net网络各层均采用ReLU非线性函数作为激活函数。由于本问题本质是一个二分类问题，因此采用对数损失函数定义模型误差，损失函数公式如公式1所示。

其中，n为像素总数，y_i为第i个像素点真实类别(1或0)，s_i为第i个样本点经过模型预测结果，i为正整数。

改进透视效应校正及回归模型

由于透视效应的作用，高度相同物体的成像大小与其和摄像机镜头的距离成反比。因此，只有透视校正后的前景区域面积才能更为准确地反映场景中的实际人数。由于影厅图像四周存在许多背景区域，而在进行前景提取时这部分区域容易被误判为前景，如果直接对这部分区域进行透视效应校正，会影响后续人数统计效果。针对此问题，对透视效应校正方法进行改进，标记图像中的背景与前景区域，对两部分区域分别进行处理，使其更适用于影厅场景。

首先，为了明确纵坐标对成像尺寸是如何影响的以及其影响程度，随机选取50个点记录其纵坐标以及该点所在的座椅尺寸，画出其散点图，如图3所示，然后根据散点图显示的规律分别进行拟合，得到拟合系数α，β。

改进后对位于坐标(x，y)的点，其高度计算公式如下：

其中h为校正后高度，H为图像高度，foreground即前景。

传统的前景面积S计算公式如下：

校正透视效应后，原有的前景面积计算公式需相应的进行修改。修改后前景面积计算公式如下：

为投影系数，表示纵坐标为i时的单个前景像素点投影后对应的高度。

根据提取的前景面积，建立归一化前景与人数之间的回归模型。由于在影厅场景下，人群之间遮挡问题较小，前景面积与人群基本呈线性关系，因此使用线性回归模型。

在影厅场景下，本申请实施例的方法所取得的有益效果如下：

(1)提出了一种IDU-net的前景提取方法，有效的解决了因影厅背景复杂导致的前景提取效果不好问题，提高了前景提取的准确性，为后续人数统计工作奠定了良好的技术基础。

(2)提出了一种改进透视效应校正方法，结合线性回归方法实现影厅人群计数。

(3)提出的方法在前景提取及人数统计上均取得了很高的准确率。

利用红外摄像头捕获观影时图像进行人数统计是目前实时统计电影票房的有效手段，而前景提取的效果直接影响人数统计的准确性。本申请实施例所提供的方法，针对传统前景提取方法泛化能力差的问题，提出一种改进U-Net(IDU-net)前景提取方法，将多个影厅的原图与其前景图像进行端到端训练，实现不同影厅图像的前景提取，再结合改进透视效应校正方法，提取前景面积并建立其与人数的回归关系，得到最终人数统计结果。与现有技术相比，本申请实施例提供的方法，提取效果好，分类准确率、召回率及前景准确率较高，假正率和假负率较低，无论是在人群稀疏还是密集场景，均能够得到较好的前景提取效果，增强了算法对不同场景、不同光线的鲁棒性，扩大了算法的应用范围。

本申请的另一实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述的红外影厅图像人数统计方法。

本申请的另一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述的红外影厅图像人数统计方法。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本实施例中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述实施例仅表达了本申请的实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (7)

1.一种红外影厅图像人数统计方法，其特征在于，包括：

对红外影厅图像进行预处理；

针对预处理后的图像，提取前景图像；

根据随机采样的数据进行拟合，根据拟合结果进行校正，计算前景面积；

建立所述前景面积与人数的线性回归关系，计算人数。

2.根据权利要求1所述的方法，其特征在于，所述针对预处理后的图像，提取前景图像，包括：

采用U-net网络作为基本架构，U-net网络为一个U形结构，U形结构左侧为编码部分，是重复卷积-卷积-最大池化的过程，用于获取图像的高层抽象信息；U形结构右侧为解码部分，通过上采样操作还原分辨率信息，同时与上层提取的特征图进行连接操作。

3.根据权利要求2所述的方法，其特征在于，所述U-net网络各层均采用ReLU非线性函数作为激活函数。

4.根据权利要求2所述的方法，其特征在于，采用对数损失函数定义所述U-net网络的模型误差，损失函数公式为

其中，n为像素总数，y_i为第i个像素点真实类别，s_i为第i个样本点经过模型预测结果，i为正整数。

5.根据权利要求1所述的方法，其特征在于，所述根据随机采样的数据进行拟合，根据拟合结果进行校正，计算前景面积，包括：

随机选取多个点记录其纵坐标以及该点所在的座椅尺寸，画出其散点图，根据散点图显示的规律分别进行拟合，得到拟合系数α，β；

改进后对位于坐标(x，y)的点，其高度计算公式如下：

其中h为校正后高度，H为图像高度；

校正透视效应后，修改后前景面积计算公式如下：

为投影系数，表示纵坐标为i时的单个前景像素点投影后对应的高度；

根据修改后前景面积计算公式计算前景面积。

6.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5中任一所述的红外影厅图像人数统计方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如权利要求1-5中任一所述的红外影厅图像人数统计方法。

Images