CN109583411A - 基于tof摄像头的游客类别在线审核方法 - Google Patents

基于tof摄像头的游客类别在线审核方法 Download PDF

Info

Publication number
CN109583411A
CN109583411A CN201811499588.4A CN201811499588A CN109583411A CN 109583411 A CN109583411 A CN 109583411A CN 201811499588 A CN201811499588 A CN 201811499588A CN 109583411 A CN109583411 A CN 109583411A
Authority
CN
China
Prior art keywords
tourist
head
track
image
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811499588.4A
Other languages
English (en)
Other versions
CN109583411B (zh
Inventor
王新年
刘春华
齐国清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN201811499588.4A priority Critical patent/CN109583411B/zh
Publication of CN109583411A publication Critical patent/CN109583411A/zh
Application granted granted Critical
Publication of CN109583411B publication Critical patent/CN109583411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
    • G07B11/00—Apparatus for validating or cancelling issued tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于TOF摄像头的游客类别在线审核方法，包括：利用TOF摄像头获取游客购票和用票的深度视频，得到最终的运动物体视频；确定运动物体中心；追踪运动视频中运动物体的轨迹；对运动物体的轨迹进行特征提取，根据提取的特征筛选出游客头部轨迹并保存；将保存的轨迹根据提取的游客头部可能性特征筛选出每条轨迹的可靠性较强片段进行特征整合，计算游客的平均头部图像特征。本发明主要涉及两种技术，一种技术是对游客身高进行测量，通过测量的游客身高进行游客类别审核；另一种技术是人头识别，根据人头识别的结果判断是否在游客用票审核阶段人工进行游客类别审核。

Description

基于TOF摄像头的游客类别在线审核方法
技术领域
本发明涉及图像处理和模式识别技术领域，具体而言，尤其涉及一种基于TOF摄像头的游客类别在线审核方法。
背景技术
目前身高测量的方法大致分为两类，一类是通过测距传感器进行身高测量，另一类是通过深度摄像头进行身高测量。通过测距传感器进行身高测量的方法是当摄像头观测到人的全身影像时，使用测距传感器获取人到摄像头的距离，再根据其他参数计算出身高。通过深度摄像头进行身高测量的方法是利用深度摄像头的特性进行身高测量。首先，将深度摄像头放置在屋顶等顶端进行自上而下地拍摄，获取人的深度图像。然后根据预先设定好的人体特征参数判断出深度图像的人体目标，确定人体目标的上下端点和对应的深度值。最后，根据深度摄像头的特性和校准过程，将上下端点的深度值转化为高度值，两者相减获得人的身高。
目前已有的身高测量方法存在的缺陷：
1、通过测距传感器进行身高测量时，易受到用摄像头观测的用户非全身影像进行测距的影响，导致测量的身高不稳定。
2、通过深度摄像头进行身高测量时是针对一张图片提取身高信息，具有偶然性，易受到噪声影响。
目前已有人脸识别方法存在的缺陷：
1、人脸识别所使用的人脸图像是彩色图像或者灰度图像，受到光照的影响较大。在光照不足或者过度曝光的情况下，均不能有效提取人脸特征并完成人脸识别。
2、若使用人脸识别的方法完成本发明，则需要2个摄像头相互配合，一个摄像头确认用户是否为全身影像，另一个摄像头进行人脸识别，成本较大。
按照技术分类，深度摄像头分为结构光摄像头，双目摄像头和TOF摄像头。与深度摄像头的其它两种类型相比，TOF摄像头体积小巧，能够快速计算深度信息，不受到物体表面灰度和特征影响，在夜晚也能正常工作，计算精度不随距离改变而变化，基本能稳定在厘米级，因而本发明选择使用TOF摄像头完成身高测量与人头识别，实现游客类别在线审核。
发明内容
根据上述提出的技术问题，而提供一种基于TOF摄像头的游客类别在线审核方法。本发明方法主要对利用TOF摄像头拍摄的视频进行处理，在对游客运动轨迹追踪的过程中完成对游客平均头部图像特征的提取，可以对单个游客完成特征提取，也可以同时对多个游客完成特征提取，再根据游客的平均头部图像特征完成身高测量和人头识别，将其与游乐园、博物馆和动物园等场所相结合，实现了对游客类别的多次在线审核。本发明选择使用TOF摄像头完成功能，仅用一个TOF摄像头就能实现游客身高测量和游客识别，使用设备少，成本小，效率高。
本发明采用的技术手段如下：
一种基于TOF摄像头的游客类别在线审核方法，包括：
步骤S1：利用TOF摄像头获取游客购票的深度视频和游客用票的深度视频；
步骤S2：将所述获取的游客购票和游客用票的深度视频进行前景背景分离，从而得到最终的运动物体视频；
步骤S3：采用形态学方法对步骤S2中所述运动物体视频的每帧图像进行处理，凸显运动物体，再对处理后的每帧图像进行区域标记，从而确定运动物体中心；
步骤S4：使用卡尔曼滤波器对运动物体的中心轨迹进行追踪，使用匈牙利匹配算法将新检测出来的区域中心进行分配，从而实现对运动视频中运动物体的轨迹追踪；
步骤S5：对运动物体的轨迹进行特征提取，根据提取的特征筛选出游客头部轨迹并保存；将保存的轨迹根据提取的游客头部可能性特征筛选出每条轨迹的可靠性较强片段进行连接；计算出游客的平均头部图像特征，再将连接后的每条轨迹平均分成4个部分，计算每个部分游客的平均头部图像特征，将游客这5部分的平均头部图像特征作为整合后的特征；
步骤S6：游客购票审核，将购票游客的深度视频经步骤S2-S5计算出的平均头部图像特征中的总平均深度值转换为游客到摄像头的距离值，再根据摄像头到地面的距离，两者相减计算出游客的身高，将购票游客的身高和门票类型进行匹配，若匹配成功则发出审核成功的信号，允许游客进入，并将该购票游客的平均头部图像特征保存到数据库中；若不匹配则发出审核失败的通知，并对管理者进行提醒；
步骤S7：游客用票审核，将用票游客的深度视频经步骤S2-S5计算出的平均头部图像特征与数据库中保存的购票游客的平均头部图像特征进行相似度计算，以最大相似度对应的购票游客作为人头识别的结果，若最大相似度大于设定的阈值，则完成游客识别，不用对用票游客进行人工审核；若最大相似度小于设定的阈值，则发出自动审核失败的通知，提醒管理者对该游客进行人工审核。
进一步地，所述游客的平均头部图像特征包括：平均人头图像深度值、平均人头图像面积值、平均人头图像以及平均人头图像的投影特征和HOG特征。
进一步地，步骤S2中将所述深度视频进行前景背景分离，从而得到最终的运动物体视频的过程包括以下步骤：
步骤S21：将所述深度视频的前n帧图像进行平均作为固定背景Ground，再将深度视频每帧图像与固定背景Ground相减，得到运动物体视频A。其中，参数n根据实际情况确定；
步骤S22：使用混合高斯模型将所述深度视频进行处理，得到运动物体视频B；
步骤S23：将所述运动物体视频A和运动物体视频B以设定好的一定比例进行加权融合，得到最终的运动物体视频。
进一步地，所述步骤S5中对运动物体的轨迹进行特征提取的过程包括：
步骤S51：对每条运动物体的轨迹提取轨迹追踪时长、轨迹可见性(追踪轨迹中实际观测到的轨迹长度占整条轨迹长度的比例)、游客头部深度值、游客头部面积值、游客头部图像、游客头部最小外接矩形以及游客头部可能性(候选区域是人头区域的可能性，根据人的头部是类圆形的特点，采用圆度进行判断。设候选区域的周长为L，面积为S，则圆度为C＝4π×S/L2。圆度C越接近于1，候选区域越接近于圆形，是游客头部的可能性越大)等特征；
步骤S52：根据轨迹追踪时长和轨迹可见性去除干扰轨迹，根据游客头部可能性特征筛选出游客头部轨迹，最终将深度视频中追踪到的稳定性强的游客头部轨迹及其特征进行存储，用于人头识别。
较现有技术相比，本发明具有以下优点：
1、本发明通过对TOF摄像机采集的视频中单个或多个人的运动轨迹进行跟踪，提取身高、头部特征等信息进行身高测量和身份识别，可应用于游乐园、博物馆和动物园等场所，实现游客类别的多次在线审核。当未通过审核时，会发出审核失败通知，提醒管理者进行人工审核。目前还没有使用TOF摄像头将身高测量和人头识别相结合实现游客类别在线审核的方法和系统。
2、对视频进行处理，在追踪游客轨迹的同时提取深度特征，根据平均深度值进行身高测量，可以有效减少游客行为的影响，避免测距传感器对非全身影像用户进行测距的影响，避免深度摄像头使用单张图片进行测距具有偶然性的缺点，精准测量游客身高，实现游客类别的在线审核。
3、在追踪游客轨迹的同时，提取了游客的头部特征，将游客的头部特征与数据库中的特征进行匹配，实现人头识别，根据人头识别的结果决定是否对游客进行人工审核。目前还没有利用TOF摄像头获取游客的头部特征从而完成游客识别的方法。
4、人脸识别的效果会受到光线的影响，光照不足或者过度曝光，均会极大影响人脸识别的效果。而本发明采用TOF摄像头进行游客识别，能够快速计算深度信息，不受到光线、物体表面灰度以及特征的影响，即使在夜晚黑暗的场景下也能正常工作，提取特征，完成游客类别的在线审核，稳定性强。使用一个TOF摄像头就既能实现对游客身高的测量，又能根据提取的游客头部特征完成人头识别，使用设备少，成本小，效率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
游乐园、博物馆和动物园等场所会根据游客身高进行售票和审核。若游客身高低于1.2m，可以免票；若游客身高处于1.2m～1.4m之间，则需购买儿童票；若游客身高高于1.4m，则需购买成人票。本发明将身高测量和人头识别与游乐园、博物馆和动物园等场所相结合，实现了基于身高测量和人头识别的对游客身高和门票类型是否匹配的多次在线审核。游客类别在线审核方法分为两个阶段，第一个阶段是游客购票审核，第二个阶段是游客用票审核。
游客购票审核是指游客在购买门票时，本发明会使用TOF摄像头获取游客的身高信息和头部信息，根据游客的身高信息和购买的门票类型进行审核。若审核成功，则将游客的身高信息和头部信息等相关特征录入到数据库中，便于游客用票审核；若审核不成功，则发出审核失败通知，提醒管理者进行人工审核。
游客用票审核是指游客在使用门票时，根据人头识别的结果决定是否对游客进行人工审核。若在数据库中存在某位游客的平均人头图像特征与待审核游客的平均人头图像特征之间的相似度最大且超过设定的阈值，则不用对待审核游客进行人工审核。若待审核游客特征与数据库中游客特征之间的最大相似度小于设定的阈值，则发出自动审核失败通知，提醒管理者进行人工审核。
本发明主要涉及两种技术，一种技术是对游客身高进行测量，通过测量的游客身高进行游客类别审核；另一种技术是人头识别，根据人头识别的结果判断是否在游客用票审核阶段再次进行游客类别审核。
实施例
如图1所示，本发明提供了一种基于TOF摄像头的游客类别在线审核方法，包括：
步骤S1：利用TOF摄像头获取游客购票的深度视频和游客用票的深度视频；
步骤S2：将所述获取的游客购票和游客用票的深度视频进行前景背景分离，从而得到最终的运动物体视频；
步骤S21：将所述深度视频的前n帧图像进行平均作为固定背景Ground，再将深度视频每帧图像与固定背景Ground相减，得到运动物体视频A。其中，参数n根据实际情况确定；
步骤S22：使用混合高斯模型将所述深度视频进行处理，得到运动物体视频B；
步骤S23：将所述运动物体视频A和运动物体视频B以设定好的一定比例进行加权融合，得到最终的运动物体视频。
步骤S3：采用形态学方法对所述步骤S2中所述运动物体视频的每帧图像进行处理，凸显运动物体，再对处理后的每帧图像进行区域标记，从而确定运动物体中心；
步骤S4：使用卡尔曼滤波器对运动物体轨迹进行追踪，使用匈牙利匹配算法将新检测出来的区域中心进行分配。计算新检测出来的区域中心与已有轨迹的最后一个位置之间的距离，将其作为损失值矩阵。根据实际情况事先设定一个最大代价。在损失值之和小于最大代价的所有方案中，寻找出区域中心与已有轨迹之间的最大分配方案作为最终分配方案。若存在最大分配数相同的多个方案，则选择最小损失值之和对应的分配方案作为最终分配方案。根据最终分配方案，使新检测的区域中心成为已有轨迹的最新位置。若某个新检测出来的区域中心没有对应的已有轨迹，则将该区域中心认为是新轨迹的起点。据此，实现对运动视频中运动物体的轨迹追踪；
步骤S5：对运动物体的轨迹进行特征提取，根据提取的特征筛选出游客头部轨迹并保存；将保存的轨迹根据提取的游客头部可能性特征筛选出每条轨迹的可靠性较强片段进行连接，计算出游客的平均头部图像特征，再将连接后的每条轨迹平均分成4个部分，计算每个部分游客的平均头部图像特征，将游客这5部分的平均头部图像特征作为整合后的特征；游客的平均头部图像特征包括：平均人头图像深度值、平均人头图像面积值、平均人头图像以及平均人头图像的投影特征和HOG特征；
步骤S51：对每条运动物体的轨迹提取轨迹追踪时长、轨迹可见性、游客头部深度值、游客头部面积值、游客头部图像、游客头部最小外接矩形以及游客头部可能性等特征；
步骤S52：根据轨迹追踪时长和轨迹可见性去除干扰轨迹，根据游客头部可能性特征筛选出游客头部轨迹，最终将深度视频中追踪到的稳定性强的游客头部轨迹用于人头识别。
步骤S6：游客购票审核，将购票游客的深度视频经步骤S2-S5计算出的平均头部图像特征中的总平均深度值转换为游客到摄像头的距离值，再根据摄像头到地面的距离，两者相减计算出游客的身高，将购票游客的身高和门票类型进行匹配，若匹配成功则发出审核成功的信号，允许游客进入，并将该购票游客的平均头部图像特征保存到数据库中；若不匹配则发出审核失败的通知，并对管理者进行提醒；
步骤S7：游客用票审核，将用票游客的深度视频经步骤S2～S5计算出的平均头部图像特征与数据库中保存的购票游客的平均头部图像特征进行相似度计算：
以一名用票游客A的平均头部图像特征和数据库中一名购票游客B的平均头部图像特征为例，说明计算相似度的方法。两名游客的平均头部图像特征均含有5个平均人头图像深度值、5个平均人头图像面积值、5幅平均游人头图像、5个投影特征和5个HOG特征，按照对应顺序，将平均头部图像特征进行如下计算：
①平均人头图像深度值相似度计算
设用票游客A的平均人头图像深度值为depthAn(n＝1,2,3,4,5)，设购票游客B的平均人头图像深度值为depthBn(n＝1,2,3,4,5)，则平均人头图像深度值相似度为：
S1处于0～1之间，越接近于1，表示两名游客的平均人头图像深度值越接近。其中，表示投影特征depthAn(n＝1,2,3,4,5)的均值，表示投影特征depthBn(n＝1,2,3,4,5)的均值。
②平均人头图像面积值相似度计算
设用票游客A的平均人头图像面积值为areaAn(n＝1,2,3,4,5)，设购票游客B的平均人头图像面积值为areaBn(n＝1,2,3,4,5)，则平均人头图像面积值相似度为：
S2处于0～1之间，越接近于1，表示两名游客的平均人头图像面积值越接近。其中，表示投影特征areaAn(n＝1,2,3,4,5)的均值，表示投影特征areaBn(n＝1,2,3,4,5)的均值。
③平均人头图像相似度计算
设用票游客A的平均人头图像为In(n＝1,2,3,4,5)，Iw(w＝1,…,MN)是平均人头图像In按行展开的像素值，设购票游客B的平均人头图像为Jn(n＝1,2,3,4,5)，Jw(w＝1,…,MN)是平均人头图像Jn按行展开的像素值，则平均人头图像相似度为：
S3处于0～1之间，越接近于1，表示两名游客的平均人头图像的差异越小。其中，表示投影特征Iw(n＝1,2,3,4,5)的均值，表示投影特征Jw(n＝1,2,3,4,5)的均值。
④投影特征相似度计算
设用票游客A的平均人头图像In的投影特征为PAu(u＝1,…,U)，购票游客B的的平均人头图像Jn的投影特征为PBu(u＝1,…,U)，则投影特征相似度为：
S4处于0～1之间，越接近于1，表示两名游客平均人头图像的投影特征越接近。其中，表示投影特征PAu(u＝1,…,U)的均值，表示投影特征PBu(u＝1,…,U)的均值。
⑤HOG特征相似度计算
设用票游客A的平均人头图像In的HOG特征为QAv(v＝1,…,V)，购票游客B的平均人头图像Jn的投影特征为QBv(v＝1,…,V)，则HOG特征相似度为：
S5处于0～1之间，越接近于1，表示两名游客的平均人头图像的HOG特征越接近。其中，表示HOG特征QAv(v＝1,…,V)的均值，表示HOG特征QBv(v＝1,…,V)的均值。
⑥两名游客间的相似度计算
将上述的相似度按照公式进行加权，最终得到两名游客之间的相似度为：
S处于0～1之间，越接近于1，表示两名游客越相似。其中，参数k61、k62、k63、k64和k65通过实验测试确定。
将用票游客的平均头部图像特征与数据库中保存的购票游客的平均头部图像特征进行上述的相似度计算，以最大相似度对应的购票游客作为人头识别的结果。若最大相似度大于设定的阈值，则完成游客识别，不用对用票游客进行人工审核；若最大相似度小于设定的阈值，则发出自动审核失败的通知，提醒管理者对该游客进行人工审核。
最后应说明的是：上述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于TOF摄像头的游客类别在线审核方法，其特征在于，包括：
步骤S1：利用TOF摄像头获取游客购票的深度视频和游客用票的深度视频；
步骤S2：将所述获取的游客购票和游客用票的深度视频进行前景背景分离，从而得到最终的运动物体视频；
步骤S3：采用形态学方法对步骤S2中所述运动物体视频的每帧图像进行处理，凸显运动物体，再对处理后的每帧图像进行区域标记，从而确定运动物体中心；
步骤S4：使用卡尔曼滤波器对运动物体的中心轨迹进行追踪，使用匈牙利匹配算法将新检测出来的区域中心进行分配，从而实现对运动视频中运动物体的轨迹追踪；
步骤S5：对运动物体的轨迹进行特征提取，根据提取的特征筛选出游客头部轨迹并保存；将保存的轨迹根据提取的游客头部可能性特征筛选出每条轨迹的可靠性较强片段进行连接；计算出游客的平均头部图像特征，再将连接后的每条轨迹平均分成4个部分，计算每个部分游客的平均头部图像特征，将游客这5部分的平均头部图像特征作为整合后的特征；
步骤S6：游客购票审核，将购票游客的深度视频经步骤S2-S5计算出的平均头部图像特征中的总平均深度值转换为游客到摄像头的距离值，再根据摄像头到地面的距离，两者相减计算出游客的身高，将购票游客的身高和门票类型进行匹配，若匹配成功则发出审核成功的信号，允许游客进入，并将该购票游客的平均头部图像特征保存到数据库中；若不匹配则发出审核失败的通知，并对管理者进行提醒；
步骤S7：游客用票审核，将用票游客的深度视频经步骤S2-S5计算出的平均头部图像特征与数据库中保存的购票游客的平均头部图像特征进行相似度计算，以最大相似度对应的购票游客作为人头识别的结果，若最大相似度大于设定的阈值，则完成游客识别，不用对用票游客进行人工审核；若最大相似度小于设定的阈值，则发出自动审核失败的通知，提醒管理者对该游客进行人工审核。
2.根据权利要求1所述的一种基于TOF摄像头的游客类别在线审核方法，其特征在于，所述游客的平均头部图像特征包括：平均人头图像深度值、平均人头图像面积值、平均人头图像以及平均人头图像的投影特征和HOG特征。
3.根据权利要求1所述的一种基于TOF摄像头的游客类别在线审核方法，其特征在于，步骤S2中将所述深度视频进行前景背景分离，从而得到最终的运动物体视频的过程包括以下步骤：
步骤S21：将所述深度视频的前n帧图像进行平均作为固定背景Ground，再将深度视频每帧图像与固定背景Ground相减，得到运动物体视频A。其中，参数n根据实际情况确定；
步骤S22：使用混合高斯模型将所述深度视频进行处理，得到运动物体视频B；
步骤S23：将所述运动物体视频A和运动物体视频B以设定好的一定比例进行加权融合，得到最终的运动物体视频。
4.根据权利要求1所述的一种基于TOF摄像头的游客类别在线审核方法，其特征在于，所述步骤S5中对运动物体的轨迹进行特征提取的过程包括：
步骤S51：对每条运动物体的轨迹提取轨迹追踪时长、轨迹可见性、游客头部深度值、游客头部面积值、游客头部图像、游客头部最小外接矩形以及游客头部可能性特征；
步骤S52：根据轨迹追踪时长和轨迹可见性去除干扰轨迹，根据游客头部可能性特征筛选出游客头部轨迹，最终将深度视频中追踪到的稳定性强的游客头部轨迹及其特征进行存储，用于人头识别。
CN201811499588.4A 2018-12-09 2018-12-09 基于tof摄像头的游客类别在线审核方法 Active CN109583411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811499588.4A CN109583411B (zh) 2018-12-09 2018-12-09 基于tof摄像头的游客类别在线审核方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811499588.4A CN109583411B (zh) 2018-12-09 2018-12-09 基于tof摄像头的游客类别在线审核方法

Publications (2)

Publication Number Publication Date
CN109583411A true CN109583411A (zh) 2019-04-05
CN109583411B CN109583411B (zh) 2022-10-21

Family

ID=65927903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811499588.4A Active CN109583411B (zh) 2018-12-09 2018-12-09 基于tof摄像头的游客类别在线审核方法

Country Status (1)

Country Link
CN (1) CN109583411B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268506A (zh) * 2014-09-15 2015-01-07 郑州天迈科技股份有限公司 基于深度图像的客流计数检测方法
CN106127137A (zh) * 2016-06-21 2016-11-16 长安大学 一种基于3d轨迹分析的目标检测识别算法
WO2018107679A1 (zh) * 2016-12-12 2018-06-21 华为技术有限公司 一种动态三维图像获取的方法和设备
WO2018121127A1 (zh) * 2016-12-30 2018-07-05 苏州万店掌网络科技有限公司 一种基于视频分析技术的跟踪统计人流量的系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268506A (zh) * 2014-09-15 2015-01-07 郑州天迈科技股份有限公司 基于深度图像的客流计数检测方法
CN106127137A (zh) * 2016-06-21 2016-11-16 长安大学 一种基于3d轨迹分析的目标检测识别算法
WO2018107679A1 (zh) * 2016-12-12 2018-06-21 华为技术有限公司 一种动态三维图像获取的方法和设备
WO2018121127A1 (zh) * 2016-12-30 2018-07-05 苏州万店掌网络科技有限公司 一种基于视频分析技术的跟踪统计人流量的系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄杰贤等: "人头区域的提取与人员跟踪的实现", 《电脑与电信》 *

Also Published As

Publication number Publication date
CN109583411B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN109076198B (zh) 基于视频的对象跟踪遮挡检测系统、方法和设备
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN105745687B (zh) 情景感知移动目标检测
JP4970195B2 (ja) 人物追跡システム、人物追跡装置および人物追跡プログラム
CN105518709B (zh) 用于识别人脸的方法、系统和计算机程序产品
CN107018323B (zh) 控制方法、控制装置和电子装置
Albiol Colomer et al. Who is who at different cameras: people re-identification using depth cameras
CN109271937A (zh) 基于图像处理的运动场地标志物识别方法及系统
CN106446779A (zh) 身份识别方法和装置
CN106886216A (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
KR20160132731A (ko) 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법
US11657650B2 (en) Techniques for automatically identifying secondary objects in a stereo-optical counting system
Badrinarayanan et al. Probabilistic color and adaptive multi-feature tracking with dynamically switched priority between cues
CN109684919B (zh) 一种基于机器视觉的羽毛球发球违例判别方法
CN107016348A (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
CN105763814B (zh) 夜景拍摄的方法及装置
CN110263662A (zh) 一种基于分级的人体轮廓关键点和关键部位识别方法
CN103456123B (zh) 一种基于流动和扩散特征的视频烟气探测方法
CN108710841A (zh) 一种基于MEMs红外阵列传感器的人脸活体检测装置及方法
Oliver et al. 3D descriptor for people re-identification
CN107194954B (zh) 多视角视频的球员追踪方法和装置
CN112613568A (zh) 基于可见光及红外多光谱图像序列的目标识别方法和装置
Kurilkin et al. A comparison of methods to detect people flow using video processing
CN109583411A (zh) 基于tof摄像头的游客类别在线审核方法
CN102148919A (zh) 一种球类检测的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant