发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的,本发明的技术方案是这样实现的:
一方面,本发明提供了一种票房人数核验方法,包括:
获取影厅红外热感图像;
将所述影厅红外热感图像进行四点标定,确定影厅各个座位在所述影厅红外热感图像中位置;
将所述位置确定后的影厅红外热感图像进行图像预处理;
将图像预处理后的红外热感图像,进行滑窗检测,输出滑窗检测结果。
根据所述滑窗检测结果,进行上座人数统计。
优选地,所述将所述影厅红外热感图像进行四点标定,确定影厅各个座位在所述影厅红外热感图像中位置步骤具体包括:
获取影厅各个座位的三维坐标位置;
将所述影厅各个座位的三维坐标位置转化为影厅各个座位在所述影厅红外热感图像中坐标位置。
优选地,所述将所述位置确定后的影厅红外热感图像进行图像预处理的步骤,包括:
获取预设置的亮度变化曲线;
将所述位置确定后的影厅红外热感图像按照所述亮度变化曲线进行调整;
将所述亮度变化曲线调整后的红外热感图像进行伽马校正处理。优选地,
优选地,所述将图像预处理后的红外热感图像,进行滑窗检测,输出滑窗检测结果步骤,包括:
预设滑窗滑动步长;所述滑窗滑动步长为红外热感图像中一个座位的宽度;
根据确定影厅各个座位在所述影厅红外热感图像中位置,获取各排滑窗大小;所述滑窗大小包括:滑窗的宽度和高度;所述滑窗的宽度为至少两个红外热感图像中的座位宽度;高度为一个红外热感图像中的座位高度。
按照所述滑窗滑动步长,移动所述滑窗,获取滑窗内图像;
将所述滑窗内图像送到卷积神经网络分类器,进行分类识别,确定所述滑窗内人数;
存储所述滑窗内的人数;将所述存储所述滑窗内的人数作为滑窗检测结果输出。
优选地,所述根据所述滑窗检测结果,进行上座人数统计;
将所述滑窗确定的人数进行叠加求和,获取滑窗确定的总人数;
根据所述滑窗确定的总人数,确定所述影厅的上座人数。
另一方面,本发明提供了一种票房人数核验装置,包括:
图像单元,用于获取影厅红外热感图像;
标定单元,用于将所述影厅红外热感图像进行四点标定,确定影厅各个座位在所述影厅红外热感图像中位置;
预处理单元,用于将所述位置确定后的影厅红外热感图像进行图像预处理;
滑窗检测单元,用于将图像预处理后的红外热感图像,进行滑窗检测,输出滑窗检测结果。
人数统计单元,用于根据所述滑窗检测结果,进行上座人数统计。
再一方面,本发明提供了一种票房人数核验系统,包括:如上所述票房人数核验装置。
本发明通过获取影厅红外热感图像;将所述影厅红外热感图像进行四点标定,确定影厅各个座位在所述影厅红外热感图像中位置;将所述位置确定后的影厅红外热感图像进行图像预处理;将图像预处理后的红外热感图像,进行滑窗检测,输出滑窗检测结果;根据所述滑窗检测结果,进行上座人数统计。本发明通过采用滑窗检测进行上座人数统计提高了影厅上座人数的统计精度以及鲁棒性。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
如图1为所示为本发明实施例提供的一种票房人数核验;该方法包括:
101:获取影厅红外热感图像;所述红外热感图像不同与可见光图像,可以避免影厅光线时亮时暗、观众衣服颜色与背景相近的干扰。
102:将所述影厅红外热感图像进行四点标定,确定影厅各个座位在所述影厅红外热感图像中位置;该步骤具体实现为:获取影厅各个座位的三维坐标位置;所述三维坐标位置可以直接输入,或者,系统根据实际中座位间距相同,座位长宽固定的先验知识,例如:设定影厅中第一排第一个座位最左端为坐标原点;则输入影厅第一排座位的总长度,以及一个座位的长度,宽度和影厅座位的总排数四个参数,即可获取到影厅各个座位的三维坐标位置。
将所述影厅各个座位的三维坐标位置转化为影厅各个座位在所述影厅红外热感图像中坐标位置。
103:将所述位置确定后的影厅红外热感图像进行图像预处理;该步骤具体包括:获取预设置的亮度变化曲线;
将所述位置确定后的影厅红外热感图像按照所述亮度变化曲线进行调整;
将所述亮度变化曲线调整后的红外热感图像进行伽马校正处理。
104:将图像预处理后的红外热感图像,进行滑窗检测,输出滑窗检测结果;该步骤具体包括:预设滑窗滑动步长;所述滑窗滑动步长为红外热感图像中一个座位的宽度;
根据确定影厅各个座位在所述影厅红外热感图像中位置,获取各排滑窗大小;所述滑窗大小包括:滑窗的宽度和高度;所述滑窗的宽度为至少两个红外热感图像中的座位宽度;高度为一个红外热感图像中的座位高度;
按照所述滑窗滑动步长,移动所述滑窗,获取滑窗内图像;
将所述滑窗内图像送到卷积神经网络分类器,进行分类识别,确定所述滑窗内人数;
存储所述滑窗内的人数;
将所述存储所述滑窗内的人数作为滑窗检测结果输出。
105:根据所述滑窗检测结果,进行上座人数统计。该步骤,具体包括:
将所述滑窗确定的人数进行叠加求和,获取滑窗确定的总人数;
根据所述滑窗确定的总人数,确定所述影厅的上座人数。该步骤的所述影厅的上座人数为所述滑窗确定的总人数除以滑窗设定的红外热感图像中的座位个数;例如:所述滑窗的宽度为两个红外热感图像中的座位宽度,则所述影厅的上座人数为所述滑窗确定的总人数除以2。
本发明通过获取影厅红外热感图像;将所述影厅红外热感图像进行四点标定,确定影厅各个座位在所述影厅红外热感图像中位置;将所述位置确定后的影厅红外热感图像进行图像预处理;将图像预处理后的红外热感图像,进行滑窗检测,输出滑窗检测结果;根据所述滑窗检测结果,进行上座人数统计。本发明通过采用滑窗检测进行上座人数统计提高了影厅上座人数的统计精度以及鲁棒性。
基于以上实施例,以下通过具体实施例对本发明各个步骤进行详细说明;具体如下:
本发明技术方案采用标定来确定每排座位的位置和尺寸,通过图像预处理后,再进行滑窗检测。
本发明技术方案采用的是四点标定,采用本发明技术方案的四点标定可以降低施工人员安装以及施工难度,大大降低了人力成本。所述四点标定充分利用影厅中各个座位和相机之间的实际位置不变动、实际中座位间距相同,各个座位的宽度和高度相同,通过标定求出透视矩阵参数如图4所示,快速找到影厅每排座位的位置和尺寸,节省了标定时间,提高标定精度。
从红外相机获得场景图像即影厅红外热感图像,属于透视投影。透视投影类似于人对客观世界的观察方式,它的特点是距离红外相机近的物体比较大,而距离远的物体相对比较小。首先建立透视坐标系,z轴是摄像机镜头轴线方向,x轴是相对相机水平向右方向,y轴是相对相机水平向上方向。如图4所示,真实世界中一个点A的坐标为(x,y,z),通过相机镜头投影到A’,其坐标为(x’,y’,z’),A点投影到z轴的(0,0,d)这个点。
可以获得透视矩阵,f为所述红外相机焦距;
如图5所示。针对影院场景,建立世界坐标系。世界坐标系的z轴为座位指向屏幕的方向,与z轴垂直且在相机上的平面P,以第一排座位中点沿z轴方向对平面P做垂线,交平面P于O,我们以O点作为世界坐标系原点。y轴为垂直地面向上的方向,x轴为从屏幕向座位方向看的向左的方向。相机高度为H,相机在x轴方向偏离原点O的距离为W,并以x轴向下旋转角度为θ。
则从世界坐标系到感光器件坐标的变换如下:
感光器件坐标(X’,Y’)再到图像坐标(xpic,ypic)变换(其中,图像以左上角为原点,x坐标方向为水平向右,y坐标方向为水平向下;感光器件以中心为原点,x坐标方向为水平向右,y坐标方向为垂直向上)为:
其中,w和h为感光器件宽和高;wpic,hpic为图像宽和高。
上面的两个公式(2)(3)建立了真实世界坐标和图像坐标之间的关系,变换矩阵的未知参数有W、H、θ。影厅可以提供第一排到屏幕的距离(与到相机距离接近),排与排座位的间隔,通过变换矩阵可以获得影厅每排的座位在图像上的位置。下面求取变换矩阵参数,将公式(2)整理得:
Z'=f(4)
本文用四点标定法求H、W和角度theata参数。首先,影厅的座位的左上、右上、左下、右下四个点标出来。
如图6所示,由于前两排和从第三排到最后一排明显不是一个区域,所以需要对每个区域标四个点,共八个点。
四个点的真实世界坐标和图像坐标都能够获得。这样可以利用公式(7)求得W:
由于H和theata的取值范围是知道的(theta范围在30度到60度,H范围在0m到30m之间)。角度以度为步长,高度以0.1m为步长,穷举所有情况(共9000种组合)获得使公式(6)两边的值尽量相等的角度theta和高度H的组合。写成公式形式为:
通过反复试验,证明上述穷举法求解可以满足工程精度。
通过(7)和(8)两个公式可以求得坐标变换矩阵参数,再通过影厅方提供的每排座位的高度差和间隔,可以获得每排座位两端的真实世界坐标(X,Y,Z),进而算出每排两端的图像坐标(xpic,ypic),如图7所示,绿线即为计算出的每排座位在图像上的位置和尺度。
后面的检测器就是在每排的滑窗,又由于实际座位宽度和高度已知可以通过透视变换,得到在图像中检测器在每排座位的滑窗大小。
所述图像预处理后面所用的分类器需要对人的表观模型进行学习,目标的表观特征(如亮度、纹理、形状等)与背景和其他物体区别越大,对于模式分类越是有利。所以需要对图像进行预处理以拉开目标和背景特征在特征空间中的距离是必要的。
影厅场景主要分为背景墙、座位、观众。预处理后的效果使得观众轮廓和细节的亮度、变得更强更清晰,背景和座位变得更暗。采用图像增强,即采用亮度变换曲线和伽马校正结合的预处理方法。由图8可知,通过亮度折线函数曲线,可以让较暗的部分变得更暗更亮的部分变得更亮,灰度变换可使观众和座位背景的亮度拉得更开。
伽马校正是以指数曲线检测出图像信号中深色部分和浅色部分,并使两者比例增大,实现图像增强的常用算法。本文伽马gamma取0.7。
实验发现,预处理后误检明显降低,预处理前后精度对比如下表所示:
|
召回率 |
误检率 |
无预处理 |
97.1% |
4% |
进行预处理 |
98.5% |
1% |
卷积神经网络(CNN)是深度学习网络的一种,通过组合低层特征形成更加抽象的高层属性类别或特征。在图像检测和分类许多方面卷积神经网络比之前的其他分类器精度高出许多。由于影厅观众的真实情况比较复杂,人的姿态各异、人有高有矮、有探出半个身子或者相互依靠等复杂情况。而且图像分析对实时性要求并不高,所以我们采用了可以获得高精度的卷积神经网络作为检测器。
为了克服观众和观众相互依靠导致识别容易出错的问题,本文采用的滑动窗口是以宽度为两个红外热感图像中座位的宽度且步长为一个红外热感图像的座位宽度在图像上滑动检测策略。实验证明本文的滑窗策略精度好于传统直观上的窗口为座位宽度的策略。如图10所示,为本发明技术方案中滑窗移动过程。此滑窗可以一排一排的从左往右滑动,进行滑动检测,也可以通过各个排滑窗同时进行滑动检测。
所示滑动窗口涵盖的人不会超过2个,而且有探出半个身子在座位外面的情况。所以卷积神经网络的5种标签:0、0.5、1、1.5、2(单位:人)。如图11所示为本发明技术方案中完整的卷积神经网络的结构示意图。
所述卷积神经网络参数如下:
该网络的激活函数为ReLu;
采用BP算法求取梯度;
mini-batch数量为256,进行带冲量的随机梯度下降,冲量系数为0.9;
用L2范数作为权重衰减项,系数为0.0005。
学习速率初始为0.01,每次代价函数收敛到变动很小时再缩小10倍。
网络初始参数用均值为0,0.01为方差的正态分布随机数进行初始化,偏置b都初始化为0。
对训练样本也采用了翻转、平移、增强、模糊、加入噪声的方式扩大训练集。
经过本发明技术方案中的滑窗检测的指标对比,如下表所示:
滑窗策略 |
召回率 |
误检率 |
滑动窗口为1个座位 |
93.2% |
2% |
滑动窗口为2个座位 |
98.5% |
1% |
经过本发明技术方案中的四点标定、图像预处理、滑窗检测后的整个票房人数核验系统的误检率为1%的情况下,召回率达到98.5%。
需要说明的是,以上所述滑窗的宽度还可以为三个红外热感图像中的座位宽度;这样,所示滑动窗口涵盖的人不会超过3个,而且有探出半个身子在座位外面的情况。所以卷积神经网络的5种标签:0、0.5、1、1.5、2、2.5、3(单位:人)。
基于以上实施例,如图2所示,为本发明实施例提供的一种票房人数核验装置结构示意图;该装置包括:
图像单元201,用于获取影厅红外热感图像;
标定单元202,用于将所述影厅红外热感图像进行四点标定,确定影厅各个座位在所述影厅红外热感图像中位置;
预处理单元203,用于将所述位置确定后的影厅红外热感图像进行图像预处理;
滑窗检测单元204,用于将图像预处理后的红外热感图像,进行滑窗检测,输出滑窗检测结果;
人数统计单元205,用于根据所述滑窗检测结果,进行上座人数统计。
需要说明的是,所述标定单元具体用于获取影厅各个座位的三维坐标位置;将所述影厅各个座位的三维坐标位置转化为影厅各个座位在所述影厅红外热感图像中坐标位置。
还需要说明的是,所述预处理单元,具体用于获取预设置的亮度变化曲线;将所述位置确定后的影厅红外热感图像按照所述亮度变化曲线进行调整;将所述亮度变化曲线调整后的红外热感图像进行伽马校正处理。
还需要说明的是,所述滑窗检测单元,还用于预设滑窗滑动步长;所述滑窗滑动步长为红外热感图像中一个座位的宽度;根据确定影厅各个座位在所述影厅红外热感图像中位置,获取各排滑窗大小;所述滑窗大小包括:滑窗的宽度和高度;所述滑窗的宽度为至少两个红外热感图像中的座位宽度;高度为一个红外热感图像中的座位高度;按照所述滑窗滑动步长,移动所述滑窗,获取滑窗内图像;将所述滑窗内图像送到卷积神经网络分类器,进行分类识别,确定所述滑窗内人数;存储所述滑窗内的人数;将所述存储所述滑窗内的人数作为滑窗检测结果输出。
还需要说明的是,所述人数统计单元,还用于将所述滑窗确定的人数进行叠加求和,获取滑窗确定的总人数;根据所述滑窗确定的总人数,确定所述影厅的上座人数。
如图3所示,为本发明实施例提供的一种票房人数核验系统结构示意图;该系统包括:红外热感图像采集装置301和如上所述票房人数核验装置302;
所述红外热感图像采集装置,用于采集影厅红外热感图像,并将所述影厅红外热感图像发送到所述数据处理装置;
所述票房人数核验装置,用于根据所述影厅红外热感图像,进行影厅上座人数统计。
本发明技术方案采用的是红外热感图像进行分析。在影厅观众观影期间,亮度昏暗使观众的表观特征无法区分,观众的衣着也有深有浅,而且随着电影播放时亮时暗造成像素值变化较大,这些现象都会对图像分析造成干扰。影厅场景中发出明显热量的只有人,所以使用红外热感图像采集装置,即热感相机可以避免之前所述的干扰同时让人的成像亮度明显大于背景,方便图像分析。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。