CN114677607A - 基于人脸识别的实时行人统计方法以及装置 - Google Patents

基于人脸识别的实时行人统计方法以及装置 Download PDF

Info

Publication number
CN114677607A
CN114677607A CN202011455757.1A CN202011455757A CN114677607A CN 114677607 A CN114677607 A CN 114677607A CN 202011455757 A CN202011455757 A CN 202011455757A CN 114677607 A CN114677607 A CN 114677607A
Authority
CN
China
Prior art keywords
face
pedestrian
real
detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011455757.1A
Other languages
English (en)
Inventor
王薇钧
郭锦斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Futaihua Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Futaihua Industry Shenzhen Co Ltd
Priority to CN202011455757.1A priority Critical patent/CN114677607A/zh
Priority to US17/537,987 priority patent/US20220189193A1/en
Publication of CN114677607A publication Critical patent/CN114677607A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于人脸识别的实时行人统计方法以及装置，所述方法包括：获取由多个图像构成的待检测视频；提取待检测视频中具有行人的图像作为检测图像；利用第一检测模型对检测图像进行行人识别并得到行人检测框；根据行人检测框执行人脸识别操作并提取人脸检测框；利用第二检测模型对人脸检测框内的人脸图像进行去重操作；在数据库中不存在相同的人脸图像时对人脸图像进行编号并基于指定算法对人脸图像的轨迹进行追踪；在轨迹经过指定区域时，将人脸图像作为目标对象并统计目标对象的数量。

Description

基于人脸识别的实时行人统计方法以及装置
技术领域
本发明涉及一种基于人脸识别的实时行人统计方法以及装置。
背景技术
随着科技的发展，人脸识别技术被广泛的应用在不同领域，例如，在公司内作为通勤刷卡，在通讯领域作为移动设备的解锁密码等。基于人脸识别技术，可对图像内的人流量进行统计。在人群密集程度较大的图像中，可能会有身体重叠的问题存在，进而会造成识别到的行人数量漏检或将同一人多次统计的错检情况，进而降低人流量统计的准确性。
发明内容
本发明的主要目的是提供一种基于人脸识别的实时行人统计方法以及装置，旨在解决现有技术中的对密集程度较大的图像进行人脸识别存在的漏检或误检的问题。
一种基于人脸识别的实时行人统计方法，所述实时行人统计方法包括：
获取待检测视频；
提取所述待检测视频中具有行人的图像作为检测图像；
利用第一检测模型对所述检测图像进行行人识别并得到行人检测框；
根据所述行人检测框执行人脸识别操作并提取人脸检测框；
利用第二检测模型对所述人脸检测框内的人脸图像进行去重操作；
判断数据库中是否存在相同所述人脸图像；
在所述数据库中不存在相同所述人脸图像时，对所述人脸图像进行编号并基于指定算法对所述人脸图像的轨迹进行追踪；
判断所述轨迹是否经过指定区域；
在所述轨迹经过指定区域时，将所述人脸图像作为目标对象并统计所述目标对象的数量。
优选地，所述第一检测模型为基于YoloV3算法实现的深度学习人体检测模型。
优选地，所述人脸识别操作为基于计算机视觉库实现。
优选地，所述第二检测模型为超分辨率测试序列模型。
优选地，所述指定算法为KCF高速跟踪算法。
优选地，所述实时行人统计方法还包括：
利用第三检测模型检测所述人脸检测框内的特征参数。
优选地，所述利用第三检测模型检测所述人脸检测框的特征参数的步骤包括：
提取所述人脸检测框内的人脸特征点；
根据所述人脸特征点对所述人脸检测框内的所述人脸图像进行角度校正；
判断所述人脸检测框的面积是否大于预定面积；
在所述人脸检测框的面积大于所述预定面积时，基于第一函数获取人脸模糊度；
判断所述人脸模糊度是否大于模糊度阈值；
在所述人脸模糊度大于所述模糊度阈值时，利用所述第三检测模型检测所述人脸检测框内的人脸图像的年龄和性别。
优选地，所述第一函数为拉普拉斯算子函数。
优选地，所述第三检测模型为超分辨率测试序列模型。
此外，为了实现上述目的，本发明还提出一种基于人脸识别的实时行人统计装置，所述实时行人统计装置包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如下步骤：
获取待检测视频；
提取所述待检测视频中具有行人的图像作为检测图像；
利用第一检测模型对所述检测图像进行行人识别并得到行人检测框；
根据所述行人检测框执行人脸识别操作并提取人脸检测框；
利用第二检测模型对所述人脸检测框内的人脸图像进行去重操作；
判断数据库中是否存在相同的所述人脸图像；
在所述数据库中不存在相同的所述人脸图像时，对所述人脸图像进行编号并基于指定算法对所述人脸图像的轨迹进行追踪；
判断所述轨迹是否经过指定区域；
在所述轨迹经过指定区域时，将所述人脸图像作为目标对象并统计所述目标对象的数量。
上述基于人脸识别的实时行人统计方法以及装置，通过对提取到的人脸检测框进行去除重复操作，可减少行人重叠或部分重叠时的误判，进而提高行人统计的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实时行人统计装置的功能模块图。
图2为图1中所述实时行人统计系统的功能模块图。
图3为本发明的基于人脸识别的实时行人统计方法的流程示意图。
图4为图3中步骤S19的细化流程示意图。
主要元件符号说明
实时行人统计装置 100
存储器 102
处理器 103
通信总线 104
图像采集设备 106
实时行人统计系统 1
操作系统 2
获取模块 10
提取模块 20
检测模块 30
判断模块 40
追踪模块 50
统计模块 60
步骤 S10～S19
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
下面结合附图对本发明实时行人统计装置以及实时行人统计方法的具体实施方式进行说明。
请参照图1，本发明提供一种实时行人统计装置100。所述实时行人统计装置100包括存储器102、处理器103、通信总线104以及至少一个图像采集设备106。所述实时行人统计装置100可与服务器之间可通过预设协议进行通讯。优选地，所述预设协议包括，但不限于以下任意一种：HTTP协议(Hyper Text Transfer Protocol，超文本传输协议)、HTTPS协议(Hyper Text Transfer Protocol over Secure Socket Layer，以安全为目标的HTTP协议)等。所述服务器可以是单一的服务器，也可以为由几个功能服务器共同组成的服务器群。在本发明的至少一个实施例中，所述实时行人统计装置100可以为是任意具有网络连接功能的终端，例如，所述终端设备可以为个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet ProtocolTelevision,IPTV)、智能式穿戴式设备、导航装置等等的可移动设备，或者台式电脑、数字TV等等固定设备。
所述实时行人统计装置100根据获取待检测视频并从中提取具有行人的图像作为检测图像。所述实时行人统计装置100进一步地利用第一检测模型对所述检测图像进行行人识别并得到行人检测框并对所述行人检测框进行人脸识别获得人脸检测框。所述实时行人统计装置100进一步地利用第二检测模型对所述人脸检测框内的人脸图像进行去重操作并在所述人脸图像对应的轨迹未被记录时基于指定算法对所述人脸图像的轨迹进行追踪。所述实时行人统计装置100进一步地在所述轨迹经过指定区域时将所述人脸图像作为目标对象并统计所述目标对象的数量并输出。
所述存储器102用于存储程序代码。所述存储器102可以是集成电路中没有实物形式的具有存储功能的电路，如内存条、TF卡(Trans-flash Card)、智能媒体卡(smart mediacard)、安全数字卡(secure digital card)、快闪存储器卡(flash card)等储存设备。所述存储器102可通过所述通信总线104与所述处理器103进行数据通信。所述存储器102中可以包括操作系统2以及实时行人统计系统1。所述存储器102内还可以存储有数据库。所述数据库中用于存储多个编码互不相同的人脸图像。其中所述编码可以为第一检测模型输出的行人特征向量。
所述操作系统2是管理和控制实时行人统计装置硬件和软件资源的程序，支持实时行人统计系统以及其它软件和/或程序的运行。
所述处理器103可以包括一个或者多个微处理器、数字处理器。所述处理器103可调用所述存储器102中存储的程序代码以执行相关的功能。例如，图2中所述的各个模块10-60是存储在所述存储器102中的程序代码，并由所述处理器103所执行，以实现一种基于所述高精地图3的实时行人统计方法。所述处理器103又称中央处理器(CPU，CentralProcessing Unit)，是一块超大规模的集成电路，是运算核心(Core)和控制核心(ControlUnit)。
所述通信总线104与所述存储器102与所述处理器103进行数据通信。
所述图像采集设备106用于拍摄图像。在本发明的至少一个实施例中，所述图像采集设备106可设置于所述实时行人统计装置100内，还可以与所述实时行人统计装置100分离设置，例如设置于路灯下方的监控摄像头，广告牌上的监控摄像头，或者广场标志物上的监控摄像头等，但并不局限于此。所述图像采集设备106还可在所述处理器103的控制下转动，以实现调整拍摄角度。
请一并参阅图2，其为所述实时行人统计系统1的功能模块示意图。所述实时行人统计系统1包括：
获取模块10，用于获取待检测视频。
在本发明的至少一个实施方式中，所述待检测视频可由所述图像采集设备106采集得到，也可以从服务器内获取得到。所述待检测视频由多帧图像构成。
提取模块20，用于提取所述待检测视频中具有行人的图像作为检测图像。
检测模块30，用于利用第一检测模型对所述检测图像进行行人识别并得到行人检测框。
在本发明的至少一个实施方式中，所述第一检测模型为深度学习人体检测模型，其基于YoloV3算法实现。
所述提取模块20进一步地根据所述行人检测框执行人脸识别操作并提取人脸检测框。
在本发明的至少一个实施方式中，所述人脸识别操作为基于计算机视觉库(OpenCV)实现。
所述检测模块30进一步地利用第二检测模型对所述人脸检测框内的人脸图像进行去重操作。
在本发明的至少一个实施方式中，所述第二检测模型为卷积神经网络模型，例如，超分辨率测试序列(Visual GeometryGroup，VGG)模型。其中，所述第二检测模型VGG具有16层权重层，其中包括13个卷积层，3个全连接层以及5个池化层。所述权重层为具有权重系数。
判断模块40，用于判断数据库中是否存在相同的所述人脸图像。
在本发明的至少一个实施方式中，可通过所述第一检测模型输出行人特征向量，以所述行人特征向量作为编号在所述数据库内进行查找。
追踪模块50，用于在所述数据库中不存在相同的所述人脸图像时对所述人脸图像进行编号并基于指定算法对所述人脸图像的轨迹进行追踪。
在本发明的至少一个实施方式中，所述指定算法为KCF(Kernelized CorrelationFilters)高速跟踪算法。
所述判断模块40进一步地所述轨迹是否经过指定区域。
统计模块60，用于在在所述轨迹经过所述指定区域时将所述人脸图像作为目标对象并统计所述目标对象的数量。
所述检测模块30进一步地利用第三检测模型检测所述人脸检测框内的人脸特征参数。
所述检测模块30进一步地提取所述人脸检测框内的人脸特征点，根据所述人脸特征点对所述人脸检测框内的所述人脸图像进行角度校正，并判断所述人脸检测框的面积是否大于预定面积。在所述人脸检测框的面积大于所述预定面积时，所述检测模块30进一步地基于第一函数获取人脸模糊度并判断所述人脸模糊度是否大于模糊度阈值。在所述人脸模糊度大于所述模糊度阈值时，所述检测模块30进一步地利用所述第三检测模型检测所述人脸检测框内的人脸图像的年龄和性别。
在本发明的至少一个实施方式中，所述人脸特征点为利用Dlib库进行五点Landmarks。所述第一函数为拉普拉斯(Laplacian)算子函数。所述第三检测模型为VGG网络模型。
上述所述实时行人统计装置100，通过对提取到的人脸检测框进行去除重复操作，可减少行人重叠或部分重叠时的误判，进而提高行人统计的准确性。同时，通过轨迹追踪以及脸部分析实现人脸性格和年龄的统计，可实现对行人的年龄和性别的精确分析。
请参阅图3，其为实时行人统计方法的流程图。所述实时行人统计方法应用于具有所述自动闪避系统1的所述实时行人统计装置100中。所述实时行人统计装置100还可以包括图1或图2更多或更少的其他硬件或者软件，或者不同的部件设置方式。所述实时行人统计装置100可提供一可视化界面。所述可视化界面用于向用户提供人机交互接口，用户可以在通过手机或电脑等电子设备连接到所述实时行人统计装置100。
所述实时行人统计装置100基于所述处理器103执行存储在所述存储器102上的获取模块10、提取模块20、检测模块30、判断模块40、追踪模块50以及统计模块60，并且与图像采集设备106可通信地接合来执行所述实时行人统计方法。
S10、所述获取模块10获取待检测视频。
在本发明的至少一个实施方式中，所述待检测视频可由所述图像采集设备106采集得到，也可以从服务器内获取得到。所述待检测视频由多帧图像构成。
S11、所述提取模块20提取所述待检测视频中具有行人的图像作为检测图像。
S12、所述检测模块30利用第一检测模型对所述检测图像进行行人识别并得到行人检测框。
在本发明的至少一个实施方式中，所述第一检测模型为深度学习人体检测模型，其基于YoloV3算法实现。
S13、所述提取模块20根据所述行人检测框执行人脸识别操作并提取人脸检测框。
在本发明的至少一个实施方式中，所述人脸识别操作为基于计算机视觉库(OpenCV)实现。
S14、所述检测模块30利用第二检测模型对所述人脸检测框内的人脸图像进行去重操作。
在本发明的至少一个实施方式中，所述第二检测模型为卷积神经网络模型，例如，超分辨率测试序列(Visual GeometryGroup，VGG)模型。其中，所述第二检测模型具有16层权重层，其中包括13个卷积层，3个全连接层以及5个池化层。所述权重层为具有权重系数。
S15、所述判断模块40判断数据库中是否存在相同的所述人脸图像。
在本发明的至少一个实施方式中，可通过所述第一检测模型输出行人特征向量，以所述行人特征向量作为编号在所述数据库内进行查找。
在所述数据库中存在相同的所述人脸图像时，流程结束。
S16、所述追踪模块50在所述数据库中不存在相同的所述人脸图像时对所述人脸图像进行编号并基于指定算法对所述人脸图像的轨迹进行追踪。
S17、所述判断模块40判断所述轨迹是否经过指定区域。
在所述轨迹未经过所述指定区域时，流程结束。
S18、所述统计模块60在所述轨迹经过所述指定区域时将所述人脸图像作为目标对象并统计所述目标对象的数量。
S19、所述检测模块30利用第三检测模型检测所述人脸图像的特征参数。
请一并参阅图4，在本发明的至少一个实施方式中，所述检测模块30利用第三检测模型检测所述人脸图像的特征参数的步骤进一步包括：
S191、所述检测模块30提取所述人脸检测框内的人脸特征点；
S192、所述检测模块30根据所述人脸特征点对所述人脸检测框内的所述人脸图像进行角度校正；
S193、所述检测模块30判断所述人脸检测框的面积是否大于预定面积；
S194、所述检测模块30在所述人脸检测框的面积大于所述预定面积时基于第一函数获取人脸模糊度；
S195、所述检测模块30判断所述人脸模糊度是否大于模糊度阈值；
S196、所述检测模块30在所述人脸模糊度大于所述模糊度阈值时利用所述第三检测模型检测所述人脸图像的年龄和性别。
在所述人脸检测框的面积小于等于所述预定面积或所述人脸模糊度小于等于所述模糊度阈值时，返回步骤S11。
在本发明的至少一个实施方式中，所述人脸特征点为利用Dlib库进行五点Landmarks。所述第一函数为拉普拉斯(Laplacian)算子函数。所述第三检测模型为VGG网络模型。
上述实时行人统计方法，通过对提取到的人脸检测框进行去除重复操作，可减少行人重叠或部分重叠时的误判，进而提高行人统计的准确性。同时，通过轨迹追踪以及脸部分析实现人脸性格和年龄的统计，可实现对行人的年龄和性别的精确分析。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明的各个实施例中的各功能模块可以集成在一个处理器中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于人脸识别的实时行人统计方法，所述实时行人统计方法包括：
获取待检测视频；
提取所述待检测视频中具有行人的图像作为检测图像；
利用第一检测模型对所述检测图像进行行人识别并得到行人检测框；
根据所述行人检测框执行人脸识别操作并提取人脸检测框；
利用第二检测模型对所述人脸检测框内的人脸图像进行去重操作；
判断数据库中是否存在相同的所述人脸图像；
在所述数据库中不存在相同的所述人脸图像时，对所述人脸图像进行编号并基于指定算法对所述人脸图像的轨迹进行追踪；
判断所述轨迹是否经过指定区域；
在所述轨迹经过所述指定区域时，将所述人脸图像作为目标对象并统计所述目标对象的数量。
2.如权利要求1所述的实时行人统计方法，其特征在于，所述第一检测模型为基于YoloV3算法实现的深度学习人体检测模型。
3.如权利要求1所述的实时行人统计方法，其特征在于，所述人脸识别操作为基于计算机视觉库实现。
4.如权利要求1所述的实时行人统计方法，其特征在于，所述第二检测模型为超分辨率测试序列模型。
5.如权利要求1所述的实时行人统计方法，其特征在于，所述指定算法为KCF高速跟踪算法。
6.如权利要求1所述的实时行人统计方法，其特征在于，所述实时行人统计方法还包括：
利用第三检测模型检测所述人脸检测框内的人脸特征参数。
7.如权利要求6所述的实时行人统计方法，其特征在于，所述利用第三检测模型检测所述人脸检测框内的人脸特征参数的步骤包括：
提取所述人脸检测框内的人脸特征点；
根据所述人脸特征点对所述人脸检测框内的所述人脸图像进行角度校正；
判断所述人脸检测框的面积是否大于预定面积；
在所述人脸检测框的面积大于所述预定面积时，基于第一函数获取人脸模糊度；
判断所述人脸模糊度是否大于模糊度阈值；
在所述人脸模糊度大于所述模糊度阈值时，利用所述第三检测模型检测所述人脸检测框内的人脸图像的年龄和人脸性别。
8.如权利要求7所述的实时行人统计方法，其特征在于，所述第一函数为拉普拉斯算子函数。
9.如权利要求6所述的实时行人统计方法，其特征在于，所述第三检测模型为VGG网络模型。
10.一种基于人脸识别的实时行人统计装置，其特征在于，所述行人统计装置包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至9中任意一项所述的实时行人统计方法。
CN202011455757.1A 2020-12-10 2020-12-10 基于人脸识别的实时行人统计方法以及装置 Pending CN114677607A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011455757.1A CN114677607A (zh) 2020-12-10 2020-12-10 基于人脸识别的实时行人统计方法以及装置
US17/537,987 US20220189193A1 (en) 2020-12-10 2021-11-30 Method for real-time counting of pedestrians for statistical purposes coupled with facial recognition function and apparatus applying method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011455757.1A CN114677607A (zh) 2020-12-10 2020-12-10 基于人脸识别的实时行人统计方法以及装置

Publications (1)

Publication Number Publication Date
CN114677607A true CN114677607A (zh) 2022-06-28

Family

ID=81942839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011455757.1A Pending CN114677607A (zh) 2020-12-10 2020-12-10 基于人脸识别的实时行人统计方法以及装置

Country Status (2)

Country Link
US (1) US20220189193A1 (zh)
CN (1) CN114677607A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230297621A1 (en) * 2017-10-19 2023-09-21 Capital One Services, Llc Identifying merchant data associated with multiple data structures
KR102114223B1 (ko) * 2019-12-10 2020-05-22 셀렉트스타 주식회사 딥러닝 기반 유사 이미지를 필터링하는 방법 및 그를 이용한 장치
US11443553B1 (en) * 2022-02-22 2022-09-13 Clearview Ai, Inc. Scalable training data preparation pipeline and efficient distributed trainer for deep neural networks in facial recognition

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007103834A1 (en) * 2006-03-03 2007-09-13 Honeywell International, Inc. Indexing and database search system
US9092675B2 (en) * 2012-03-29 2015-07-28 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US9940506B2 (en) * 2013-11-25 2018-04-10 Ehsan FAZL ERSI System and method for face recognition
WO2021057504A1 (en) * 2019-09-29 2021-04-01 Zhejiang Dahua Technology Co., Ltd. Systems and methods for traffic monitoring
CN114565952A (zh) * 2020-11-27 2022-05-31 京东方科技集团股份有限公司 行人轨迹生成方法、装置、设备和存储介质

Also Published As

Publication number Publication date
US20220189193A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
US11074436B1 (en) Method and apparatus for face recognition
CN110232369B (zh) 一种人脸识别方法和电子设备
CN114677607A (zh) 基于人脸识别的实时行人统计方法以及装置
CN110135246A (zh) 一种人体动作的识别方法及设备
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
WO2019033572A1 (zh) 人脸遮挡检测方法、装置及存储介质
CN109871780B (zh) 一种人脸质量判决方法、系统及人脸识别方法、系统
CN108108711B (zh) 人脸布控方法、电子设备及存储介质
CN110610127B (zh) 人脸识别方法、装置、存储介质及电子设备
CN110866466A (zh) 一种人脸识别方法、装置、存储介质和服务器
CN112364827A (zh) 人脸识别方法、装置、计算机设备和存储介质
CN111597910A (zh) 一种人脸识别方法、装置、终端设备及介质
CN110991231A (zh) 活体检测方法、装置、服务器和人脸识别设备
CN109902550A (zh) 行人属性的识别方法和装置
CN112529939A (zh) 一种目标轨迹匹配方法、装置、机器可读介质及设备
CN113657903A (zh) 一种刷脸支付方法、装置、电子设备和存储介质
CN105844204B (zh) 人体行为识别方法和装置
CN114783061A (zh) 一种吸烟行为检测方法、装置、设备和介质
CN113011544A (zh) 基于二维码的人脸生物信息识别方法、系统、终端、介质
CN111091089B (zh) 一种人脸图像处理方法、装置、电子设备及存储介质
CN111476132A (zh) 视频场景识别方法、装置及电子设备、存储介质
CN113689585B (zh) 一种无感考勤打卡方法、系统及相关设备
CN112101479B (zh) 一种发型识别方法及装置
TWI764425B (zh) 基於人臉識別的即時行人統計方法以及裝置
CN113902030A (zh) 行为的识别方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination