CN111046817A - 一种人员计数方法及相关设备 - Google Patents

一种人员计数方法及相关设备 Download PDF

Info

Publication number
CN111046817A
CN111046817A CN201911310471.1A CN201911310471A CN111046817A CN 111046817 A CN111046817 A CN 111046817A CN 201911310471 A CN201911310471 A CN 201911310471A CN 111046817 A CN111046817 A CN 111046817A
Authority
CN
China
Prior art keywords
face image
determining
image area
sense organs
position relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911310471.1A
Other languages
English (en)
Inventor
唐健
王志元
陶昆
石伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jieshun Science and Technology Industry Co Ltd
Original Assignee
Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jieshun Science and Technology Industry Co Ltd filed Critical Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority to CN201911310471.1A priority Critical patent/CN111046817A/zh
Publication of CN111046817A publication Critical patent/CN111046817A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Abstract

本申请实施例公开了一种人员计数方法。本申请实施例方法包括：获取包含人员的多帧视频图像，多帧视频图像由图像采集装置采集得到；确定每帧视频图像中的人员的人脸图像区域；确定人脸图像区域的五官位置关系；在多个人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域；其中预设五官位置关系为，脸部正面与图像采集装置的图像采集方向之间的角度在预设角度范围的情况下采集到的五官位置关系；使用预先训练好的神经网络模型，将目标人脸图像区域与已存储的人脸图像区域进行比较，以判断所述目标人脸图像区域中的人员与已存储的人脸图像区域中的人员是否不同；若不同，则存储目标人脸图像区域，并对人员数值加一。

Description

一种人员计数方法及相关设备
技术领域
本申请实施例涉及图像处理领域，尤其涉及一种人员计数方法及相关设备
背景技术
随着社会的发展和智能城市的需要，越来越多的设施需要使用人员计数技术。人员计数技术应用于不同设施中，可以使设施的安全把控人员对人流量、实时人员数量等数据有更好的把控能力。人流量、实时人员数量是评价火车站、机场等人员密集设施人防安全程度的重要指标之一，掌握具体设施内容纳的人数，对保证设施内人员安全具有重要意义。人员计数是一项具有重大安全意义的重要工作。
发明内容
本申请实施例第一方面提供了一种人员计数方法，包括：
获取包含人员的多帧视频图像，所述多帧视频图像由图像采集装置采集得到；
确定每帧所述视频图像中的人员的人脸图像区域；
确定所述人脸图像区域的五官位置关系；
在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域；其中所述预设五官位置关系为，脸部正面与所述图像采集装置的图像采集方向之间的角度在预设角度范围的情况下采集到的五官位置关系；
使用预先训练好的神经网络模型，将所述目标人脸图像区域与已存储的人脸图像区域进行比较，以判断所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员是否不同；
若不同，则存储所述目标人脸图像区域，并对人员数值加一。
根据本申请实施例第一方面，可选地，所述在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域，包括：
使用基于深度学习的跟踪算法对所述多张人脸图像区域进行处理，得到属于同一运动轨迹的人脸图像区域组，所述人脸图像区域组包括的人脸图像区域为同一人员在同一运动轨迹下不同时刻被采集到的人脸图像区域；
在所述人脸图像区域组中，确定五官位置关系最接近特定五官位置关系的目标人脸图像区域，所述特定五官位置关系为脸部正面与所述图像采集装置的图像采集方向之间的角度在0度的情况下采集到的五官位置关系。
根据本申请实施例第一方面，可选地，所述确定每帧所述视频图像中的人员的人脸图像区域包括：
使用人脸识别神经网络模型确定每帧所述视频图像中的人员的人脸图像区域。
根据本申请实施例第一方面，可选地，所述确定所述人脸图像区域的五官位置关系，包括：
使用人脸识别神经网络模型确定所述多张人脸图像区域的五官位置关系。
根据本申请实施例第一方面，可选地，在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域之前，所述方法还包括：
使用人脸识别神经网络模型对所述人脸图像区域打分；
获取得分大于阈值的人脸图像区域；
所述在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域，包括：
在所述得分大于阈值的人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域。
根据本申请实施例第一方面，可选地，所述神经网络模型由随机梯度下降方法训练获得。
根据本申请实施例第一方面，可选地，所述使用预先训练好的神经网络模型，将所述目标人脸图像区域与已存储的人脸图像区域进行比较，以判断所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员是否不同，包括：
使用预先训练好的神经网络模型，将所述目标人脸图像区域与每张已存储的人脸图像区域进行比较，得到相似度结果；
判断所述相似度结果中是否存在大于预设值的相似度结果；
若不存在所述大于预设值的相似度结果，则所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员不同；
若存在所述大于预设值的相似度结果，则所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员相同。
本申请实施例第二方面提供了一种人员计数设备，包括：
视频图像获取单元，用于获取包含人员的多帧视频图像，所述多帧视频图像由图像采集装置采集得到；
人脸图像确定单元，用于确定每帧所述视频图像中的人员的人脸图像区域；
五官位置确定单元，用于确定所述人脸图像区域的五官位置关系；
目标图像确定单元，用于在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域；其中所述预设五官位置关系为，脸部正面与所述图像采集装置的图像采集方向之间的角度在预设角度范围的情况下采集到的五官位置关系；
比较单元，用于使用预先训练好的神经网络模型，将所述目标人脸图像区域与已存储的人脸图像区域进行比较，以判断所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员是否不同，若不同，则触发存储单元；
存储单元，用于存储所述目标人脸图像区域，并对人员数值加一。
根据本申请实施例第二方面，可选地，
所述目标人脸图像确定单元，用于在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域，其中所述预设五官位置关系为，脸部正面与所述图像采集装置的图像采集方向之间的角度在预设角度范围的情况下采集到的五官位置关系时，具体用于：
使用基于深度学习的跟踪算法对所述多张人脸图像区域进行处理，得到属于同一运动轨迹的人脸图像区域组，所述人脸图像区域组包括的人脸图像区域为同一人员在同一运动轨迹下不同时刻被采集到的人脸图像区域；
在所述人脸图像区域组中，确定五官位置关系最接近特定五官位置关系的目标人脸图像区域，所述特定五官位置关系为脸部正面与所述图像采集装置的图像采集方向之间的角度在0度的情况下采集到的五官位置关系。
根据本申请实施例第二方面，可选地，所述人脸确定单元，用于确定每帧所述视频图像中的人员的人脸图像区域时，具体用于：
使用人脸识别神经网络模型确定每帧所述视频图像中的人员的人脸图像区域。
根据本申请实施例第二方面，可选地，所述五官确定单元，用于确定所述人脸图像区域的五官位置关系时，具体用于：
使用人脸识别神经网络模型确定所述多张人脸图像区域的五官位置关系。
根据本申请实施例第二方面，可选地，所述人员计数设备还包括：
评分单元,用于使用人脸识别神经网络模型对所述人脸图像区域打分；
获取得分大于阈值的人脸图像区域；
所述目标人脸图像确定单元，用于在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域时，具体用于：
在所述得分大于阈值的人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域。
根据本申请实施例第二方面，可选地，所述神经网络模型由随机梯度下降方法训练获得。
根据本申请实施例第二方面，可选地，所述比较单元，用于使用预先训练好的神经网络模型，将所述目标人脸图像区域与已存储的人脸图像区域进行比较，以判断所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员是否不同，若不同，则触发存储单元时，具体用于：
使用预先训练好的神经网络模型，将所述目标人脸图像区域与每张已存储的人脸图像区域进行比较，得到相似度结果；
判断所述相似度结果中是否存在大于预设值的相似度结果；
若不存在所述大于预设值的相似度结果，则所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员不同，触发存储单元；
若存在所述大于预设值的相似度结果，则所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员相同。
本申请实施例第三方面提供了一种人员计数设备，包括：
中央处理器，存储器，输入输出接口，有线或无线网络接口以及电源；
所述存储器为短暂存储存储器或持久存储存储器；
所述中央处理器配置为与所述存储器通信，在所述人员计数设备上执行所述存储器中的指令操作以执行本申请实施例第一方面中任意一项所述的方法。
本申请实施例第四方面提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如本申请实施例第一方面中任意一项所述的方法。
本申请实施例第五方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如本申请实施例第一方面中任意一项所述的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：通过图像采集器提供的图像数据对人员进行识别并计数，对图像中多次出现的人员不进行计数，可以获得图像数据中所包括的人员数量。
附图说明
图1为本申请人员计数方法实施例的一个流程示意图；
图2为本申请人员计数方法实施例的另一个流程示意图；
图3为本申请人员计数设备实施例的一个结构示意图；
图4为本申请人员计数设备实施例的另一个结构示意图；
图5为本申请人员计数设备实施例的另一个结构示意图。
具体实施方式
本申请实施例提供了一种人员计数方法，主要用于火车站，机场等人员密集场所，可统计当前有多少人员，以实现保障场所安全等目的。
人脸识别系统的研究始于20世纪60年代，80年代后随着计算机技术和光学成像技术的发展得到提高，而真正进入初级的应用阶段则在90年后期，并且以美国、德国和日本的技术实现为主；“人脸识别系统”集成了人工智能、机器识别、机器学习、模型理论、专家系统、视频图像处理等多种专业技术，同时需结合中间值处理的理论与实现，是生物特征识别的最新应用，其核心技术的实现，展现了弱人工智能向强人工智能的转化。随着社会的发展，越来越多依托于人脸识别的技术成果或产品开始进入人们的生活当中。
随着社会的发展和智能城市的需要，越来越多的设施需要使用人员计数技术。人员计数技术应用于不同设施中，可以使设施的安全把控人员对人流量、实时人员数量等数据有更好的把控能力。人流量、实时人员数量是评价火车站、机场等人员密集设施人防安全程度的重要指标之一，掌握具体设施内容纳的人数，对保证设施内人员安全具有重要意义。人员计数是一项具有重大安全意义的重要工作。依托于人脸识别技术，人员计数技术可以更好的服务于社会。
请参阅图1，本申请人员计数方法的一个实施例包括：步骤101-步骤105。
101、获取包含人员的多帧视频图像。
获取包含人员的多帧视频图像，所述多帧视频图像由图像采集装置采集得到。获取需要进行计数的场景中，图像采集设备所采集到的视频图像。图像中应含有需被计数的人员，多帧视频图像可以是被连续不断的采集获得，也可以是被某种条件触发获取到的视频图像，在具体实施过程中，此处不做限定。
102、确定每帧视频图像中的人员的人脸图像区域。
确定每帧所述视频图像中的人员的人脸图像区域。对每帧视频图像进行处理，确认每帧视频图像中人脸图像区域的位置，并读取人脸图像区域的信息，得到人脸图像区域的信息后，计数即可得到当前帧中人员数量。但在不同帧存在人员被多次计数的风险，因此需对人脸图像区域所包含的信息进行处理，并判断该人员是否已被计数。
103、确定所述人脸图像区域的五官位置关系。
确定所述人脸图像区域的五官位置关系，对已确认的人脸图像区域进行处理，得到其五官的位置关系，具体而言，可以得到左眼与右眼的距离关系，左嘴角与右嘴角的距离关系，或其他点之间的距离关系乃至位置之间的向量差，具体实施过程中，此处不做限定。
104、在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域。
在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域；其中所述预设五官位置关系为，脸部正面与所述图像采集装置的图像采集方向之间的角度在预设角度范围的情况下采集到的五官位置关系；根据五官位置关系确定脸部正面与图像采集装置的图像采集方向之间的角度，人脸中五官的位置关系大都遵循某些规律，在图像中，这种规律仍能被采用并有较高的可信度，例如左眼与右眼的距离大小与左嘴角与右嘴角的距离大小之间的比例，鼻子的位置与其他五官之间的位置关系等规律。不同角度的人脸，在视频中所展现的位置关系也不尽相同，在处理过程中，可使用五官之间的位置关系不同确认人员脸部正面与所述图像采集装置的图像采集方向之间的角度。
105、将目标人脸图像区域与已存储的人脸图像区域进行比较，判断人员是否不同。
使用预先训练好的神经网络模型，将所述目标人脸图像区域与已存储的人脸图像区域进行比较，以判断所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员是否不同。预先训练好的神经网络模型具有人脸图像对比功能，可将挑选出的目标人脸图像区域于已存储的人脸图像区域进行比较，并根据二者之间的特征等关系，判断两张人脸图像区域所包含的人员是否为同一人员，并对已存储的图像分别于需对比对象进行比较，得出对比结果，对于对比结果为目标人脸图像区域与已存储的人脸图像区域中的人员相同的情况则不进行其他操作。对于对比结果为目标人脸图像区域与已存储的人脸图像区域中的人员不同的情况则触发步骤106、存储所述目标人脸图像区域，并对人员数值加一。
可以理解的是，在比较过程中也可能存在不存在已存储的人脸图像区域的情况，即本方法应用于一个循环进行的场景，对第一次获取到的目标人脸图像区域进行判断时，因不存在已存储的人脸图像区域，而不存在比较的对象，在这种情况下，视为人员不同，触发步骤106、存储所述目标人脸图像区域，并对人员数值加一。
106、存储所述目标人脸图像区域，并对人员数值加一。
若目标人脸图像区域与已存储的人脸图像区域中的人员不同，则存储所述目标人脸图像区域，并对人员数值加一。对比结果为已存储的人脸图像区域与目标人脸图像区域不同，则说明该目标人脸图像区域所包含的人员未在技术过程中所处理的视频图像中出现过，则执行存储和计数加一的过程，存储后的人脸图像区域在下次比较过程中视为已存储的人脸图像区域，可以参与对比，增加了对比过程的准确性。
从以上技术方案可以看出，本申请实施例具有以下优点：通过图像采集器提供的图像数据对人员进行识别并计数，对图像中多次出现的人员不进行计数，可以获得图像数据中所包括的人员数量。
请参阅图2，本申请人员计数方法的一个实施例包括：步骤201-步骤210。
201、获取包含人员的多帧视频图像。
获取包含人员的多帧视频图像，所述多帧视频图像由图像采集装置采集得到。获取过程与上述图1对应实施例中步骤101类似，具体此处不再赘述。
202、使用人脸识别神经网络模型确定每帧所述视频图像中的人员的人脸图像区域。
使用人脸识别神经网络模型确定每帧所述视频图像中的人员的人脸图像区域。人脸检测模型通过训练获得，能达到确定每帧所述视频图像中的人员的人脸图像区域。在实际应用过程中，也可以使用人头为特征获取图像训练集并对视频图像中的人头进行检测，以便对人员的运动轨迹进行判断，更好的对图像进行处理。
203、使用人脸识别神经网络模型确定所述多张人脸图像区域的五官位置关系。
使用人脸识别神经网络模型确定所述多张人脸图像区域的五官位置关系。神经网络模型往往在识别过程中，对人脸区域的判断依据是其是否含有类似人脸五官的特征部分，因此对人脸图像区域的五官位置关系提取过程可以很容易的在人脸识别神经网络模型中进行。
204、使用人脸识别神经网络模型对所述人脸图像区域打分。
使用人脸识别神经网络模型对所述人脸图像区域打分。人脸识别神经网络模型在对人脸进行识别的过程中对每张识别到的人脸可赋予一个分数值，以代表识别到的人脸图像的优劣程度，得分低的人脸图像区域可能属于人脸识别神经网络模型的误判，将包含的图像区域中没有人脸的情况误识别为人脸图像区域，打分越高，则说明该图像区域是人脸图像区域的可能性越高。该打分过程可以使用人脸识别神经网络模型中的模块实现。
205、获取得分大于阈值的人脸图像区域。
获取得分大于阈值的人脸图像区域。判断每张人脸图像区域的得分与预设阈值的关系，若得分大于阈值则说明该人脸图像区域有进行判断并计数的价值，应当参与下一过程的处理，并进行进一步的判断。
206、使用基于深度学习的跟踪算法对所述多张人脸图像区域进行处理，得到属于同一运动轨迹的人脸图像区域组。
使用基于深度学习的跟踪算法对所述多张人脸图像区域进行处理，得到属于同一运动轨迹的人脸图像区域组。使用基于深度学习的跟踪算法(deep-sort)算法对多张人脸图像区域进行处理，得到属于同一运动轨迹的人脸图像区域，跟踪算法的处理过程一般根据需处理的图像区域在整张视频帧上的位置进行判断，并根据其位置变化趋势确定属于同一运动轨迹的人脸图像区域组。值得注意的是，此处提出的运动轨迹指的是对于图像采集设备而言，对于一次运动多次出现在视频帧中的人物图像，应将其按多次运动轨迹进行处理。
207、在所述人脸图像区域组中，确定五官位置关系最接近特定五官位置关系的目标人脸图像区域。
在所述人脸图像区域组中，确定五官位置关系最接近特定五官位置关系的目标人脸图像区域，所述特定五官位置关系为脸部正面与所述图像采集装置的图像采集方向之间的角度在0度的情况下采集到的五官位置关系。在每个运动轨迹人脸图像区域组确定脸部与图像采集设备角度最小的图像区域，即确定人员正面对图像采集装置时所采集到的图像。
在判断人员是否正面对图像采集装置的过程中可以先计算该人脸图像区域所包含人脸的瞳距，进而计算两眼的中心点和两嘴角的中心点之间的距离，判断瞳距和前述距离之间是否符合特定关系，最终得出该人脸的角度信息。也可以使用两眼中心点和两嘴角中心点的信息预测该人脸的鼻子位置，使用预测得到的鼻子位置与实际采集到的鼻子位置进行比较，得出最终结论。在实际实施过程中也可两者同时实施，具体此处不做限定。
208、使用预先训练好的神经网络模型，将所述目标人脸图像区域与每张已存储的人脸图像区域进行比较，得到相似度结果。
使用预先训练好的神经网络模型，将所述目标人脸图像区域与每张已存储的人脸图像区域进行比较，得到相似度结果。相似度结果即代表该目标人脸图像区域与已存储的人脸图像区域所包含的人员为同一人员的概率，对目标人脸图像区域和每张已存储的人脸图像区域分别进行比较，并得出对应的相似度结果。
本步骤所使用的神经网络模型采用卷积神经网络框架(caffe，ConvolutionalArchitecture for Fast Feature Embedding)，训练时所采用的数据集为多种摄像机采集的数据集，并且对数据集进行数据增强处理，每个类别有多张不同场景图像。使用的损失函数为改进之后的softmax损失函数，使用随机梯度下降算法(SGD，Stochastic gradientdescent)对模型参数进行迭代更新，直到模型收敛得到训练好的神经网络模型。经过此方法训练得到的神经网络模型在比较过程中效果更好，对比得到的结果更准确。
209、判断所述相似度结果中是否存在大于预设值的相似度结果。
判断所述相似度结果中是否存在大于预设值的相似度结果。预设值的大小可以依据具体情况设置，对于采集到的图像较为模糊，判定条件较为宽松的情况预设值可以选择较低的值。对于判定要求严格的情况预设值可选择为较高值。对于一张目标人脸图像区域需对其与每张已存储的人脸图像区域进行比较得到的相似度结果进行判断，若存在大于预设值的相似度结果，则认定该人物已经被计数触发步骤210、存储所述目标人脸图像区域，并对人员数值加一。
210、存储所述目标人脸图像区域，并对人员数值加一。
若不存在大于预设值的相似度结果，则认定该人物应当进行计数，存储所述目标人脸图像区域，并对人员数值加一。存储目标人脸图像区域后，该人脸区域即视为已存储的人脸图像区域，可以参与下次对人脸区域是否进行计数的判定，本方法可以在监控等场景下使用，人员数值随着对目标人脸图像区域的处理而不断累积，即可得到实时的人员数值。
请参阅图3，本申请实施例中人员计数设备的一个实施例包括：
视频图像获取单元301，用于获取包含人员的多帧视频图像，所述多帧视频图像由图像采集装置采集得到。
人脸图像确定单元302，用于确定每帧所述视频图像中的人员的人脸图像区域。
五官位置确定单元303，用于确定所述人脸图像区域的五官位置关系。
目标图像确定单元304，用于在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域；其中所述预设五官位置关系为，脸部正面与所述图像采集装置的图像采集方向之间的角度在预设角度范围的情况下采集到的五官位置关系。
比较单元305，用于使用预先训练好的神经网络模型，将所述目标人脸图像区域与已存储的人脸图像区域进行比较，以判断所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员是否不同，若不同，则触发存储单元。
存储单元306，用于存储所述目标人脸图像区域，并对人员数值加一。
本实施例中，人员计数设备中各单元所执行的流程与前述图1所对应的实施例中描述的方法流程类似，此处不再赘述。
请参阅图4，本申请实施例中人员计数设备的一个实施例包括：
视频图像获取单元401，用于获取包含人员的多帧视频图像，所述多帧视频图像由图像采集装置采集得到。
人脸图像确定单元402，使用人脸识别神经网络模型确定每帧所述视频图像中的人员的人脸图像区域。
五官位置确定单元403，使用人脸识别神经网络模型确定所述多张人脸图像区域的五官位置关系。
评分单元404,用于使用人脸识别神经网络模型对所述人脸图像区域打分，获取得分大于阈值的人脸图像区域。
目标图像确定单元405，使用基于深度学习的跟踪算法对得分大于阈值的人脸图像区域进行处理，得到属于同一运动轨迹的人脸图像区域组，所述人脸图像区域组包括的人脸图像区域为同一人员在同一运动轨迹下不同时刻被采集到的人脸图像区域。
在所述人脸图像区域组中，确定五官位置关系最接近特定五官位置关系的目标人脸图像区域，所述特定五官位置关系为脸部正面与所述图像采集装置的图像采集方向之间的角度在0度的情况下采集到的五官位置关系。
比较单元406，使用预先训练好的神经网络模型，将所述目标人脸图像区域与每张已存储的人脸图像区域进行比较，得到相似度结果。
判断所述相似度结果中是否存在大于预设值的相似度结果。
若不存在所述大于预设值的相似度结果，则所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员不同，触发存储单元。
若存在所述大于预设值的相似度结果，则所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员相同。
存储单元407，用于存储所述目标人脸图像区域，并对人员数值加一。
本实施例中，人员计数设备中各单元所执行的流程与前述图2所对应的实施例中描述的方法流程类似，此处不再赘述。
图5是本申请实施例提供的一种人员计数设备的结构示意图，该服务器500可以包括一个或一个以上中央处理器(central processing units，CPU)501和存储器505，该存储器505中存储有一个或一个以上的应用程序或数据。
本实施例中，中央处理器501中的具体功能模块划分可以与前述图3中所描述的视频图像获取单元、人脸图像确定单元、五官位置确定单元、目标图像确定单元、比较单元和存储单元等单元的功能模块划分方式类似，此处不再赘述。
其中，存储器505可以是易失性存储或持久存储。存储在存储器505的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器501可以设置为与存储器505通信，在服务器500上执行存储器505中的一系列指令操作。
服务器500还可以包括一个或一个以上电源502，一个或一个以上有线或无线网络接口503，一个或一个以上输入输出接口504，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
该中央处理器501可以执行前述图1或图2所示实施例中人员计数方法所执行的操作，具体此处不再赘述。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质用于储存为上述地理信息系统所用的计算机软件指令，其包括用于执行为人员计数方法所设计的程序。
该人员计数方法可以如前述图1或图2中所描述的人员计数方法。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，该计算机软件指令可通过处理器进行加载来实现上述图1图2中任意一项的人员技术方法的流程。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (17)

1.一种人员计数方法，其特征在于，包括：
获取包含人员的多帧视频图像，所述多帧视频图像由图像采集装置采集得到；
确定每帧所述视频图像中的人员的人脸图像区域；
确定所述人脸图像区域的五官位置关系；
在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域；其中所述预设五官位置关系为，脸部正面与所述图像采集装置的图像采集方向之间的角度在预设角度范围的情况下采集到的五官位置关系；
使用预先训练好的神经网络模型，将所述目标人脸图像区域与已存储的人脸图像区域进行比较，以判断所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员是否不同；
若不同，则存储所述目标人脸图像区域，并对人员数值加一。
2.根据权利要求1所述的人员计数方法，其特征在于，所述在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域，包括：
使用基于深度学习的跟踪算法对所述多张人脸图像区域进行处理，得到属于同一运动轨迹的人脸图像区域组，所述人脸图像区域组包括的人脸图像区域为同一人员在同一运动轨迹下不同时刻被采集到的人脸图像区域；
在所述人脸图像区域组中，确定五官位置关系最接近特定五官位置关系的目标人脸图像区域，所述特定五官位置关系为脸部正面与所述图像采集装置的图像采集方向之间的角度在0度的情况下采集到的五官位置关系。
3.根据权利要求1所述的人员计数方法，其特征在于，所述确定每帧所述视频图像中的人员的人脸图像区域包括：
使用人脸识别神经网络模型确定每帧所述视频图像中的人员的人脸图像区域。
4.根据权利要求1所述的人员计数方法，其特征在于，所述确定所述人脸图像区域的五官位置关系，包括：
使用人脸识别神经网络模型确定所述多张人脸图像区域的五官位置关系。
5.根据权利要求1所述的人员计数方法，其特征在于，在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域之前，所述方法还包括：
使用人脸识别神经网络模型对所述人脸图像区域打分；
获取得分大于阈值的人脸图像区域；
所述在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域，包括：
在所述得分大于阈值的人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域。
6.根据权利要求1所述的人员计数方法，其特征在于，所述神经网络模型由随机梯度下降方法训练获得。
7.根据权利要求1所述的人员计数方法，其特征在于，所述使用预先训练好的神经网络模型，将所述目标人脸图像区域与已存储的人脸图像区域进行比较，以判断所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员是否不同，包括：
使用预先训练好的神经网络模型，将所述目标人脸图像区域与每张已存储的人脸图像区域进行比较，得到相似度结果；
判断所述相似度结果中是否存在大于预设值的相似度结果；
若不存在所述大于预设值的相似度结果，则所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员不同；
若存在所述大于预设值的相似度结果，则所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员相同。
8.一种人员计数设备，其特征在于，包括：
视频图像获取单元，用于获取包含人员的多帧视频图像，所述多帧视频图像由图像采集装置采集得到；
人脸图像确定单元，用于确定每帧所述视频图像中的人员的人脸图像区域；
五官位置确定单元，用于确定所述人脸图像区域的五官位置关系；
目标图像确定单元，用于在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域；其中所述预设五官位置关系为，脸部正面与所述图像采集装置的图像采集方向之间的角度在预设角度范围的情况下采集到的五官位置关系；
比较单元，用于使用预先训练好的神经网络模型，将所述目标人脸图像区域与已存储的人脸图像区域进行比较，以判断所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员是否不同，若不同，则触发存储单元；
存储单元，用于存储所述目标人脸图像区域，并对人员数值加一。
9.根据权利要求8所述的人员计数设备，其特征在于，所述目标图像确定单元，用于在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域，其中所述预设五官位置关系为，脸部正面与所述图像采集装置的图像采集方向之间的角度在预设角度范围的情况下采集到的五官位置关系时，具体用于：
使用基于深度学习的跟踪算法对所述多张人脸图像区域进行处理，得到属于同一运动轨迹的人脸图像区域组，所述人脸图像区域组包括的人脸图像区域为同一人员在同一运动轨迹下不同时刻被采集到的人脸图像区域；
在所述人脸图像区域组中，确定五官位置关系最接近特定五官位置关系的目标人脸图像区域，所述特定五官位置关系为脸部正面与所述图像采集装置的图像采集方向之间的角度在0度的情况下采集到的五官位置关系。
10.根据权利要求8所述的人员计数设备，其特征在于，所述人脸图像确定单元，用于确定每帧所述视频图像中的人员的人脸图像区域时，具体用于：
使用人脸识别神经网络模型确定每帧所述视频图像中的人员的人脸图像区域。
11.根据权利要求8所述的人员计数设备，其特征在于，所述五官位置确定单元，用于确定所述人脸图像区域的五官位置关系时，具体用于：
使用人脸识别神经网络模型确定所述多张人脸图像区域的五官位置关系。
12.根据权利要求8所述的人员计数设备，其特征在于，所述人员计数设备还包括：
评分单元,用于使用人脸识别神经网络模型对所述人脸图像区域打分；
获取得分大于阈值的人脸图像区域；
所述目标图像确定单元，用于在多个所述人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域时，具体用于：
在所述得分大于阈值的人脸图像区域中，确定五官位置关系为预设五官位置关系的目标人脸图像区域。
13.根据权利要求8所述的人员计数设备，其特征在于，所述神经网络模型由随机梯度下降方法训练获得。
14.根据权利要求8所述的人员计数设备，其特征在于，所述比较单元，用于使用预先训练好的神经网络模型，将所述目标人脸图像区域与已存储的人脸图像区域进行比较，以判断所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员是否不同，若不同，则触发存储单元时，具体用于：
使用预先训练好的神经网络模型，将所述目标人脸图像区域与每张已存储的人脸图像区域进行比较，得到相似度结果；
判断所述相似度结果中是否存在大于预设值的相似度结果；
若不存在所述大于预设值的相似度结果，则所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员不同，触发存储单元；
若存在所述大于预设值的相似度结果，则所述目标人脸图像区域中的人员与所述已存储的人脸图像区域中的人员相同。
15.一种人员计数设备，其特征在于，包括：
中央处理器，存储器，输入输出接口，有线或无线网络接口以及电源；
所述存储器为短暂存储存储器或持久存储存储器；
所述中央处理器配置为与所述存储器通信，在所述人员计数设备上执行所述存储器中的指令操作以执行权利要求1至7中任意一项所述的方法。
16.一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至7中任意一项所述的方法。
17.一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如权利要求1至7中任意一项所述的方法。
CN201911310471.1A 2019-12-18 2019-12-18 一种人员计数方法及相关设备 Pending CN111046817A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911310471.1A CN111046817A (zh) 2019-12-18 2019-12-18 一种人员计数方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911310471.1A CN111046817A (zh) 2019-12-18 2019-12-18 一种人员计数方法及相关设备

Publications (1)

Publication Number Publication Date
CN111046817A true CN111046817A (zh) 2020-04-21

Family

ID=70237681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911310471.1A Pending CN111046817A (zh) 2019-12-18 2019-12-18 一种人员计数方法及相关设备

Country Status (1)

Country Link
CN (1) CN111046817A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560745A (zh) * 2020-12-23 2021-03-26 南方电网电力科技股份有限公司 一种电力作业现场人员甄别方法及相关装置
CN113554764A (zh) * 2020-04-26 2021-10-26 杭州海康威视数字技术股份有限公司 基于人脸的验票方法、装置及设备
CN113762181A (zh) * 2021-09-13 2021-12-07 联想(北京)有限公司 一种图像处理方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512617A (zh) * 2015-11-26 2016-04-20 广州华多网络科技有限公司 图像筛选方法及装置
CN107679613A (zh) * 2017-09-30 2018-02-09 同观科技（深圳）有限公司 一种人员信息的统计方法、装置、终端设备和存储介质
CN107992786A (zh) * 2016-10-27 2018-05-04 中国科学院沈阳自动化研究所 一种基于人脸的公共场所人流量统计方法和系统
CN108513110A (zh) * 2018-07-05 2018-09-07 郑永春 人脸识别监控摄像头
CN109766754A (zh) * 2018-12-04 2019-05-17 平安科技（深圳）有限公司 人脸五官聚类方法、装置、计算机设备及存储介质
CN109800691A (zh) * 2019-01-07 2019-05-24 深圳英飞拓科技股份有限公司 基于人脸识别技术的人口统计方法及系统
CN110135274A (zh) * 2019-04-19 2019-08-16 佛山科学技术学院 一种基于人脸识别的人流量统计方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512617A (zh) * 2015-11-26 2016-04-20 广州华多网络科技有限公司 图像筛选方法及装置
CN107992786A (zh) * 2016-10-27 2018-05-04 中国科学院沈阳自动化研究所 一种基于人脸的公共场所人流量统计方法和系统
CN107679613A (zh) * 2017-09-30 2018-02-09 同观科技（深圳）有限公司 一种人员信息的统计方法、装置、终端设备和存储介质
CN108513110A (zh) * 2018-07-05 2018-09-07 郑永春 人脸识别监控摄像头
CN109766754A (zh) * 2018-12-04 2019-05-17 平安科技（深圳）有限公司 人脸五官聚类方法、装置、计算机设备及存储介质
CN109800691A (zh) * 2019-01-07 2019-05-24 深圳英飞拓科技股份有限公司 基于人脸识别技术的人口统计方法及系统
CN110135274A (zh) * 2019-04-19 2019-08-16 佛山科学技术学院 一种基于人脸识别的人流量统计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHEN BIN.ETC: "\"Design of Power Intelligent Safety Supervision System Based on Deep Learning\"" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554764A (zh) * 2020-04-26 2021-10-26 杭州海康威视数字技术股份有限公司 基于人脸的验票方法、装置及设备
CN112560745A (zh) * 2020-12-23 2021-03-26 南方电网电力科技股份有限公司 一种电力作业现场人员甄别方法及相关装置
CN113762181A (zh) * 2021-09-13 2021-12-07 联想(北京)有限公司 一种图像处理方法及电子设备

Similar Documents

Publication Publication Date Title
CN109819208B (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
Adhikari et al. Activity recognition for indoor fall detection using convolutional neural network
CN110458101B (zh) 基于视频与设备结合的服刑人员体征监测方法及设备
CN111046817A (zh) 一种人员计数方法及相关设备
CN106997629A (zh) 门禁控制方法、装置及系统
CN106682578B (zh) 基于眨眼检测的弱光人脸识别方法
EP3716212A1 (en) Image coding method, action recognition method, and computer device
CN111062303A (zh) 图像处理方法、系统及计算机存储介质
CN113191699A (zh) 一种配电施工现场安全监管方法
CN109784199A (zh) 同行分析方法及相关产品
CN109389040B (zh) 一种作业现场人员安全着装的检查方法及装置
CN111597910A (zh) 一种人脸识别方法、装置、终端设备及介质
Rangesh et al. Hidden hands: Tracking hands with an occlusion aware tracker
CN110175553B (zh) 基于步态识别与人脸识别建立特征库的方法及装置
CN115482485A (zh) 视频处理方法、装置、计算机设备及可读存储介质
CN112733677B (zh) 一种人流量统计系统及方法
CN113673308A (zh) 对象识别方法、装置和电子系统
CN108197593B (zh) 基于三点定位方法的多尺寸人脸表情识别方法及装置
CN112149517A (zh) 一种人脸考勤方法、系统、计算机设备及存储介质
CN110929583A (zh) 一种高检测精度人脸识别方法
CN115546825A (zh) 一种安检规范性自动监测方法
CN114445898B (zh) 人脸活体检测方法、装置、设备、存储介质及程序产品
CN115273150A (zh) 基于人体姿态估计的安全帽佩戴的新型识别方法及系统
CN115170998A (zh) 人体行为动作识别方法、装置、计算机设备和存储介质
CN113920575A (zh) 一种人脸表情识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination