CN109583411B - 基于tof摄像头的游客类别在线审核方法 - Google Patents

Abstract

本发明提供一种基于TOF摄像头的游客类别在线审核方法，包括：利用TOF摄像头获取游客购票和用票的深度视频，得到最终的运动物体视频；确定运动物体中心；追踪运动视频中运动物体的轨迹；对运动物体的轨迹进行特征提取，根据提取的特征筛选出游客头部轨迹并保存；将保存的轨迹根据提取的游客头部可能性特征筛选出每条轨迹的可靠性较强片段进行特征整合，计算游客的平均头部图像特征。本发明主要涉及两种技术，一种技术是对游客身高进行测量，通过测量的游客身高进行游客类别审核；另一种技术是人头识别，根据人头识别的结果判断是否在游客用票审核阶段人工进行游客类别审核。

Description

基于TOF摄像头的游客类别在线审核方法

技术领域

本发明涉及图像处理和模式识别技术领域，具体而言，尤其涉及一种基于TOF摄像头的游客类别在线审核方法。

背景技术

目前身高测量的方法大致分为两类，一类是通过测距传感器进行身高测量，另一类是通过深度摄像头进行身高测量。通过测距传感器进行身高测量的方法是当摄像头观测到人的全身影像时，使用测距传感器获取人到摄像头的距离，再根据其他参数计算出身高。通过深度摄像头进行身高测量的方法是利用深度摄像头的特性进行身高测量。首先，将深度摄像头放置在屋顶等顶端进行自上而下地拍摄，获取人的深度图像。然后根据预先设定好的人体特征参数判断出深度图像的人体目标，确定人体目标的上下端点和对应的深度值。最后，根据深度摄像头的特性和校准过程，将上下端点的深度值转化为高度值，两者相减获得人的身高。

目前已有的身高测量方法存在的缺陷：

1、通过测距传感器进行身高测量时，易受到用摄像头观测的用户非全身影像进行测距的影响，导致测量的身高不稳定。

2、通过深度摄像头进行身高测量时是针对一张图片提取身高信息，具有偶然性，易受到噪声影响。

目前已有人脸识别方法存在的缺陷：

1、人脸识别所使用的人脸图像是彩色图像或者灰度图像，受到光照的影响较大。在光照不足或者过度曝光的情况下，均不能有效提取人脸特征并完成人脸识别。

2、若使用人脸识别的方法完成本发明，则需要2个摄像头相互配合，一个摄像头确认用户是否为全身影像，另一个摄像头进行人脸识别，成本较大。

按照技术分类，深度摄像头分为结构光摄像头，双目摄像头和TOF摄像头。与深度摄像头的其它两种类型相比，TOF摄像头体积小巧，能够快速计算深度信息，不受到物体表面灰度和特征影响，在夜晚也能正常工作，计算精度不随距离改变而变化，基本能稳定在厘米级，因而本发明选择使用TOF摄像头完成身高测量与人头识别，实现游客类别在线审核。

发明内容

根据上述提出的技术问题，而提供一种基于TOF摄像头的游客类别在线审核方法。本发明方法主要对利用TOF摄像头拍摄的视频进行处理，在对游客运动轨迹追踪的过程中完成对游客平均头部图像特征的提取，可以对单个游客完成特征提取，也可以同时对多个游客完成特征提取，再根据游客的平均头部图像特征完成身高测量和人头识别，将其与游乐园、博物馆和动物园等场所相结合，实现了对游客类别的多次在线审核。本发明选择使用TOF摄像头完成功能，仅用一个TOF摄像头就能实现游客身高测量和游客识别，使用设备少，成本小，效率高。

本发明采用的技术手段如下：

一种基于TOF摄像头的游客类别在线审核方法，包括：

步骤S1：利用TOF摄像头获取游客购票的深度视频和游客用票的深度视频；

步骤S2：将所述获取的游客购票和游客用票的深度视频进行前景背景分离，从而得到最终的运动物体视频；

步骤S3：采用形态学方法对步骤S2中所述运动物体视频的每帧图像进行处理，凸显运动物体，再对处理后的每帧图像进行区域标记，从而确定运动物体中心；

步骤S4：使用卡尔曼滤波器对运动物体的中心轨迹进行追踪，使用匈牙利匹配算法将新检测出来的区域中心进行分配，从而实现对运动视频中运动物体的轨迹追踪；

步骤S5：对运动物体的轨迹进行特征提取，根据提取的特征筛选出游客头部轨迹并保存；将保存的轨迹根据提取的游客头部可能性特征筛选出每条轨迹的可靠性较强片段进行连接；计算出游客的平均头部图像特征，再将连接后的每条轨迹平均分成4个部分，计算每个部分游客的平均头部图像特征，将游客这5部分的平均头部图像特征作为整合后的特征；

步骤S6：游客购票审核，将购票游客的深度视频经步骤S2-S5计算出的平均头部图像特征中的总平均深度值转换为游客到摄像头的距离值，再根据摄像头到地面的距离，两者相减计算出游客的身高，将购票游客的身高和门票类型进行匹配，若匹配成功则发出审核成功的信号，允许游客进入，并将该购票游客的平均头部图像特征保存到数据库中；若不匹配则发出审核失败的通知，并对管理者进行提醒；

步骤S7：游客用票审核，将用票游客的深度视频经步骤S2-S5计算出的平均头部图像特征与数据库中保存的购票游客的平均头部图像特征进行相似度计算，以最大相似度对应的购票游客作为人头识别的结果，若最大相似度大于设定的阈值，则完成游客识别，不用对用票游客进行人工审核；若最大相似度小于设定的阈值，则发出自动审核失败的通知，提醒管理者对该游客进行人工审核。

进一步地，所述游客的平均头部图像特征包括：平均人头图像深度值、平均人头图像面积值、平均人头图像以及平均人头图像的投影特征和HOG特征。

进一步地，步骤S2中将所述深度视频进行前景背景分离，从而得到最终的运动物体视频的过程包括以下步骤：

步骤S21：将所述深度视频的前n帧图像进行平均作为固定背景Ground，再将深度视频每帧图像与固定背景Ground相减，得到运动物体视频A。其中，参数n根据实际情况确定；

步骤S22：使用混合高斯模型将所述深度视频进行处理，得到运动物体视频B；

步骤S23：将所述运动物体视频A和运动物体视频B以设定好的一定比例进行加权融合，得到最终的运动物体视频。

进一步地，所述步骤S5中对运动物体的轨迹进行特征提取的过程包括：

步骤S51：对每条运动物体的轨迹提取轨迹追踪时长、轨迹可见性(追踪轨迹中实际观测到的轨迹长度占整条轨迹长度的比例)、游客头部深度值、游客头部面积值、游客头部图像、游客头部最小外接矩形以及游客头部可能性(候选区域是人头区域的可能性，根据人的头部是类圆形的特点，采用圆度进行判断。设候选区域的周长为L，面积为S，则圆度为C＝4π×S/L²。圆度C越接近于1，候选区域越接近于圆形，是游客头部的可能性越大)等特征；

步骤S52：根据轨迹追踪时长和轨迹可见性去除干扰轨迹，根据游客头部可能性特征筛选出游客头部轨迹，最终将深度视频中追踪到的稳定性强的游客头部轨迹及其特征进行存储，用于人头识别。

较现有技术相比，本发明具有以下优点：

1、本发明通过对TOF摄像机采集的视频中单个或多个人的运动轨迹进行跟踪，提取身高、头部特征等信息进行身高测量和身份识别，可应用于游乐园、博物馆和动物园等场所，实现游客类别的多次在线审核。当未通过审核时，会发出审核失败通知，提醒管理者进行人工审核。目前还没有使用TOF摄像头将身高测量和人头识别相结合实现游客类别在线审核的方法和系统。

2、对视频进行处理，在追踪游客轨迹的同时提取深度特征，根据平均深度值进行身高测量，可以有效减少游客行为的影响，避免测距传感器对非全身影像用户进行测距的影响，避免深度摄像头使用单张图片进行测距具有偶然性的缺点，精准测量游客身高，实现游客类别的在线审核。

3、在追踪游客轨迹的同时，提取了游客的头部特征，将游客的头部特征与数据库中的特征进行匹配，实现人头识别，根据人头识别的结果决定是否对游客进行人工审核。目前还没有利用TOF摄像头获取游客的头部特征从而完成游客识别的方法。

4、人脸识别的效果会受到光线的影响，光照不足或者过度曝光，均会极大影响人脸识别的效果。而本发明采用TOF摄像头进行游客识别，能够快速计算深度信息，不受到光线、物体表面灰度以及特征的影响，即使在夜晚黑暗的场景下也能正常工作，提取特征，完成游客类别的在线审核，稳定性强。使用一个TOF摄像头就既能实现对游客身高的测量，又能根据提取的游客头部特征完成人头识别，使用设备少，成本小，效率高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

游乐园、博物馆和动物园等场所会根据游客身高进行售票和审核。若游客身高低于1.2m，可以免票；若游客身高处于1.2m～1.4m之间，则需购买儿童票；若游客身高高于1.4m，则需购买成人票。本发明将身高测量和人头识别与游乐园、博物馆和动物园等场所相结合，实现了基于身高测量和人头识别的对游客身高和门票类型是否匹配的多次在线审核。游客类别在线审核方法分为两个阶段，第一个阶段是游客购票审核，第二个阶段是游客用票审核。

游客购票审核是指游客在购买门票时，本发明会使用TOF摄像头获取游客的身高信息和头部信息，根据游客的身高信息和购买的门票类型进行审核。若审核成功，则将游客的身高信息和头部信息等相关特征录入到数据库中，便于游客用票审核；若审核不成功，则发出审核失败通知，提醒管理者进行人工审核。

游客用票审核是指游客在使用门票时，根据人头识别的结果决定是否对游客进行人工审核。若在数据库中存在某位游客的平均人头图像特征与待审核游客的平均人头图像特征之间的相似度最大且超过设定的阈值，则不用对待审核游客进行人工审核。若待审核游客特征与数据库中游客特征之间的最大相似度小于设定的阈值，则发出自动审核失败通知，提醒管理者进行人工审核。

本发明主要涉及两种技术，一种技术是对游客身高进行测量，通过测量的游客身高进行游客类别审核；另一种技术是人头识别，根据人头识别的结果判断是否在游客用票审核阶段再次进行游客类别审核。

实施例

如图1所示，本发明提供了一种基于TOF摄像头的游客类别在线审核方法，包括：

步骤S1：利用TOF摄像头获取游客购票的深度视频和游客用票的深度视频；

步骤S2：将所述获取的游客购票和游客用票的深度视频进行前景背景分离，从而得到最终的运动物体视频；

步骤S21：将所述深度视频的前n帧图像进行平均作为固定背景Ground，再将深度视频每帧图像与固定背景Ground相减，得到运动物体视频A。其中，参数n根据实际情况确定；

步骤S22：使用混合高斯模型将所述深度视频进行处理，得到运动物体视频B；

步骤S23：将所述运动物体视频A和运动物体视频B以设定好的一定比例进行加权融合，得到最终的运动物体视频。

步骤S3：采用形态学方法对所述步骤S2中所述运动物体视频的每帧图像进行处理，凸显运动物体，再对处理后的每帧图像进行区域标记，从而确定运动物体中心；

步骤S4：使用卡尔曼滤波器对运动物体轨迹进行追踪，使用匈牙利匹配算法将新检测出来的区域中心进行分配。计算新检测出来的区域中心与已有轨迹的最后一个位置之间的距离，将其作为损失值矩阵。根据实际情况事先设定一个最大代价。在损失值之和小于最大代价的所有方案中，寻找出区域中心与已有轨迹之间的最大分配方案作为最终分配方案。若存在最大分配数相同的多个方案，则选择最小损失值之和对应的分配方案作为最终分配方案。根据最终分配方案，使新检测的区域中心成为已有轨迹的最新位置。若某个新检测出来的区域中心没有对应的已有轨迹，则将该区域中心认为是新轨迹的起点。据此，实现对运动视频中运动物体的轨迹追踪；

步骤S5：对运动物体的轨迹进行特征提取，根据提取的特征筛选出游客头部轨迹并保存；将保存的轨迹根据提取的游客头部可能性特征筛选出每条轨迹的可靠性较强片段进行连接，计算出游客的平均头部图像特征，再将连接后的每条轨迹平均分成4个部分，计算每个部分游客的平均头部图像特征，将游客这5部分的平均头部图像特征作为整合后的特征；游客的平均头部图像特征包括：平均人头图像深度值、平均人头图像面积值、平均人头图像以及平均人头图像的投影特征和HOG特征；

步骤S51：对每条运动物体的轨迹提取轨迹追踪时长、轨迹可见性、游客头部深度值、游客头部面积值、游客头部图像、游客头部最小外接矩形以及游客头部可能性等特征；

步骤S52：根据轨迹追踪时长和轨迹可见性去除干扰轨迹，根据游客头部可能性特征筛选出游客头部轨迹，最终将深度视频中追踪到的稳定性强的游客头部轨迹用于人头识别。

步骤S6：游客购票审核，将购票游客的深度视频经步骤S2-S5计算出的平均头部图像特征中的总平均深度值转换为游客到摄像头的距离值，再根据摄像头到地面的距离，两者相减计算出游客的身高，将购票游客的身高和门票类型进行匹配，若匹配成功则发出审核成功的信号，允许游客进入，并将该购票游客的平均头部图像特征保存到数据库中；若不匹配则发出审核失败的通知，并对管理者进行提醒；

步骤S7：游客用票审核，将用票游客的深度视频经步骤S2～S5计算出的平均头部图像特征与数据库中保存的购票游客的平均头部图像特征进行相似度计算：

以一名用票游客A的平均头部图像特征和数据库中一名购票游客B的平均头部图像特征为例，说明计算相似度的方法。两名游客的平均头部图像特征均含有5个平均人头图像深度值、5个平均人头图像面积值、5幅平均游人头图像、5个投影特征和5个HOG特征，按照对应顺序，将平均头部图像特征进行如下计算：

①平均人头图像深度值相似度计算

设用票游客A的平均人头图像深度值为depthA_n(n＝1,2,3,4,5)，设购票游客B的平均人头图像深度值为depthB_n(n＝1,2,3,4,5)，则平均人头图像深度值相似度为：

S₁处于0～1之间，越接近于1，表示两名游客的平均人头图像深度值越接近。其中，

表示投影特征depthA_n(n＝1,2,3,4,5)的均值，

表示投影特征depthB_n(n＝1,2,3,4,5)的均值。

②平均人头图像面积值相似度计算

设用票游客A的平均人头图像面积值为areaA_n(n＝1,2,3,4,5)，设购票游客B的平均人头图像面积值为areaB_n(n＝1,2,3,4,5)，则平均人头图像面积值相似度为：

S₂处于0～1之间，越接近于1，表示两名游客的平均人头图像面积值越接近。其中，

表示投影特征areaA_n(n＝1,2,3,4,5)的均值，

表示投影特征areaB_n(n＝1,2,3,4,5)的均值。

③平均人头图像相似度计算

设用票游客A的平均人头图像为I_n(n＝1,2,3,4,5)，I_w(w＝1,…,MN)是平均人头图像I_n按行展开的像素值，设购票游客B的平均人头图像为J_n(n＝1,2,3,4,5)，J_w(w＝1,…,MN)是平均人头图像J_n按行展开的像素值，则平均人头图像相似度为：

S₃处于0～1之间，越接近于1，表示两名游客的平均人头图像的差异越小。其中，

表示投影特征I_w(n＝1,2,3,4,5)的均值，

表示投影特征J_w(n＝1,2,3,4,5)的均值。

④投影特征相似度计算

设用票游客A的平均人头图像I_n的投影特征为PA_u(u＝1,…,U)，购票游客B的的平均人头图像J_n的投影特征为PB_u(u＝1,…,U)，则投影特征相似度为：

S₄处于0～1之间，越接近于1，表示两名游客平均人头图像的投影特征越接近。其中，

表示投影特征PA_u(u＝1,…,U)的均值，

表示投影特征PB_u(u＝1,…,U)的均值。

⑤HOG特征相似度计算

设用票游客A的平均人头图像I_n的HOG特征为QA_v(v＝1,…,V)，购票游客B的平均人头图像J_n的投影特征为QB_v(v＝1,…,V)，则HOG特征相似度为：

S₅处于0～1之间，越接近于1，表示两名游客的平均人头图像的HOG特征越接近。其中，

表示HOG特征QA_v(v＝1,…,V)的均值，

表示HOG特征QB_v(v＝1,…,V)的均值。

⑥两名游客间的相似度计算

将上述的相似度按照公式进行加权，最终得到两名游客之间的相似度为：

S处于0～1之间，越接近于1，表示两名游客越相似。其中，参数k₆₁、k₆₂、k₆₃、k₆₄和k₆₅通过实验测试确定。

将用票游客的平均头部图像特征与数据库中保存的购票游客的平均头部图像特征进行上述的相似度计算，以最大相似度对应的购票游客作为人头识别的结果。若最大相似度大于设定的阈值，则完成游客识别，不用对用票游客进行人工审核；若最大相似度小于设定的阈值，则发出自动审核失败的通知，提醒管理者对该游客进行人工审核。

最后应说明的是：上述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于TOF摄像头的游客类别在线审核方法，其特征在于，包括：

步骤S1：利用TOF摄像头获取游客购票的深度视频和游客用票的深度视频；

步骤S2：将所述获取的游客购票和游客用票的深度视频进行前景背景分离，从而得到最终的运动物体视频；

步骤S3：采用形态学方法对步骤S2中所述运动物体视频的每帧图像进行处理，凸显运动物体，再对处理后的每帧图像进行区域标记，从而确定运动物体中心；

步骤S4：使用卡尔曼滤波器对运动物体的中心轨迹进行追踪，使用匈牙利匹配算法将新检测出来的区域中心进行分配，从而实现对运动视频中运动物体的轨迹追踪；

步骤S5：对运动物体的轨迹进行特征提取，根据提取的特征筛选出游客头部轨迹并保存；将保存的轨迹根据提取的游客头部可能性特征筛选出每条轨迹的可靠性较强片段进行连接；计算出游客的平均头部图像特征，再将连接后的每条轨迹平均分成4个部分，计算每个部分游客的平均头部图像特征，将游客这5部分的平均头部图像特征作为整合后的特征；

步骤S6：游客购票审核，将购票游客的深度视频经步骤S2-S5计算出的平均头部图像特征中的总平均深度值转换为游客到摄像头的距离值，再根据摄像头到地面的距离，两者相减计算出游客的身高，将购票游客的身高和门票类型进行匹配，若匹配成功则发出审核成功的信号，允许游客进入，并将该购票游客的平均头部图像特征保存到数据库中；若不匹配则发出审核失败的通知，并对管理者进行提醒；

步骤S7：游客用票审核，将用票游客的深度视频经步骤S2-S5计算出的平均头部图像特征与数据库中保存的购票游客的平均头部图像特征进行相似度计算，以最大相似度对应的购票游客作为人头识别的结果，若最大相似度大于设定的阈值，则完成游客识别，不用对用票游客进行人工审核；若最大相似度小于设定的阈值，则发出自动审核失败的通知，提醒管理者对该游客进行人工审核。

2.根据权利要求1所述的一种基于TOF摄像头的游客类别在线审核方法，其特征在于，所述游客的平均头部图像特征包括：平均人头图像深度值、平均人头图像面积值、平均人头图像以及平均人头图像的投影特征和HOG特征。

3.根据权利要求1所述的一种基于TOF摄像头的游客类别在线审核方法，其特征在于，步骤S2中将所述深度视频进行前景背景分离，从而得到最终的运动物体视频的过程包括以下步骤：

步骤S21：将所述深度视频的前n帧图像进行平均作为固定背景Ground，再将深度视频每帧图像与固定背景Ground相减，得到运动物体视频A；其中，参数n根据实际情况确定；

步骤S22：使用混合高斯模型将所述深度视频进行处理，得到运动物体视频B；

步骤S23：将所述运动物体视频A和运动物体视频B以设定好的一定比例进行加权融合，得到最终的运动物体视频。

4.根据权利要求1所述的一种基于TOF摄像头的游客类别在线审核方法，其特征在于，所述步骤S5中对运动物体的轨迹进行特征提取的过程包括：

步骤S51：对每条运动物体的轨迹提取轨迹追踪时长、轨迹可见性、游客头部深度值、游客头部面积值、游客头部图像、游客头部最小外接矩形以及游客头部可能性特征；

步骤S52：根据轨迹追踪时长和轨迹可见性去除干扰轨迹，根据游客头部可能性特征筛选出游客头部轨迹，最终将深度视频中追踪到的稳定性强的游客头部轨迹及其特征进行存储，用于人头识别。

Images