CN109508586B - 一种客流统计方法、装置及设备 - Google Patents

一种客流统计方法、装置及设备 Download PDF

Info

Publication number
CN109508586B
CN109508586B CN201710833820.2A CN201710833820A CN109508586B CN 109508586 B CN109508586 B CN 109508586B CN 201710833820 A CN201710833820 A CN 201710833820A CN 109508586 B CN109508586 B CN 109508586B
Authority
CN
China
Prior art keywords
face
preset
video data
passenger flow
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710833820.2A
Other languages
English (en)
Other versions
CN109508586A (zh
Inventor
冯仁光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201710833820.2A priority Critical patent/CN109508586B/zh
Priority to US16/647,210 priority patent/US11200406B2/en
Priority to PCT/CN2018/105721 priority patent/WO2019052536A1/zh
Priority to EP18856017.1A priority patent/EP3683717A4/en
Publication of CN109508586A publication Critical patent/CN109508586A/zh
Application granted granted Critical
Publication of CN109508586B publication Critical patent/CN109508586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种客流统计方法、装置及设备,方法包括:获取待统计视频数据,识别视频数据中的人脸区域,将识别出的人脸区域与预设人脸信息进行匹配,该预设人脸信息可以为与客流量无关人员(比如,工作人员等)的人脸信息;确定未匹配成功的人脸区域数量,得到的便是去除掉无关人员的客流量;可见,应用本方案,去除了无关人员的干扰,提高了客流统计的准确性。

Description

一种客流统计方法、装置及设备
技术领域
本发明涉及图像处理技术领域,特别是涉及一种客流统计方法、装置及设备。
背景技术
在一些场景中,比如,商场入口、超市门前等位置处,通常需要对客流进行统计。客流统计方案一般包括:在场景中设置采集设备,对采集设备采集到的图像进行分析,判断该图像中是否有人进入门店、以及有多少人进入门店;将预设时间段内,比如一天中进入门店的人员数量加和,便得到了一天中的客流量。
但是在上述方案中,与客流量无关人员(比如,工作人员等)的进出会对客流统计的数据造成干扰,降低客流统计的准确性。
发明内容
本发明实施例的目的在于提供一种客流统计方法、装置及设备,以提高客流统计的准确性。
为达到上述目的,本发明实施例提供了一种客流统计方法,应用于电子设备,方法包括:
获取待统计视频数据;
识别所述视频数据中的人脸区域;
将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为所述视频数据中的客流量。
可选的,在所述识别所述视频数据中的人脸区域之后,还可以包括:
确定识别出的人脸区域数量,作为第一数量;
所述确定未匹配成功的人脸区域数量,作为所述视频数据中的客流量,可以包括:
确定匹配成功的人脸区域数量,作为第二数量;
计算所述第一数量与所述第二数量的差,作为所述视频数据中的客流量。
可选的,所述将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为所述视频数据中的客流量,可以包括:
针对识别出的每张人脸区域,将该张人脸区域与预设人脸信息进行匹配,若未匹配成功,将计数器中记录的数值加1;
在将所述每张人脸区域均与所述预设人脸信息匹配完成后,读取所述计数器中记录的数值,作为所述视频数据中的客流量。
可选的,所述获取待统计视频数据,包括:接收指定采集设备发送的待统计视频数据;
或者,所述电子设备为采集设备;所述获取待统计视频数据,可以包括:
判断采集到的视频数据中是否存在人员,如果是,将采集到的视频数据确定为待统计视频数据;
或者,所述电子设备为采集设备;所述获取待统计视频数据,可以包括:
在接收到报警信息后,进行视频采集,得到待统计视频数据,所述报警信息为报警设备检测到有人员进入预设场景区域后发送的。
可选的,所述指定采集设备设置于一客流统计场景中,所述指定采集设备的高度范围为:高于所述场景地面2-4米,所述指定采集设备的俯角范围为: 20-45度;
或者,在所述电子设备为采集设备的情况下:
所述电子设备设置于一客流统计场景中,所述电子设备的高度范围为:高于所述场景地面2-4米,所述电子设备的俯角范围为:20-45度。
可选的,所述识别所述视频数据中的人脸区域,可以包括:
将所述视频数据中的人员确定为追踪目标进行追踪;
识别每个追踪目标的一个人脸区域。
可选的,采用如下步骤获取所述预设人脸信息:
针对每个预设人员,获取该人员的一张或多张人脸图像;
根据所述一张或多张人脸图像,构建该人员的人脸模型;其中,所有预设人员的人脸模型组成预设人脸信息;
所述将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为所述视频数据中的客流量,可以包括:
针对识别出的每个人脸区域,将该人脸区域与每个预设人员的人脸模型进行匹配;
当存在与该人脸区域相匹配的人脸模型时,将该人脸区域确定为匹配成功的人脸区域;
统计未匹配成功的人脸区域数量,作为所述视频数据中的客流量。
为达到上述目的,本发明实施例还提供了一种客流统计装置,应用于电子设备,装置包括:
第一获取模块,用于获取待统计视频数据;
识别模块,用于识别所述视频数据中的人脸区域;
匹配模块,用于将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为所述视频数据中的客流量。
可选的,所述装置还可以包括:
第一确定模块,用于确定识别出的人脸区域数量,作为第一数量;
所述匹配模块,具体可以用于:
将识别出的人脸区域与预设人脸信息进行匹配;
确定匹配成功的人脸区域数量,作为第二数量;
计算所述第一数量与所述第二数量的差,作为所述视频数据中的客流量。
可选的,所述匹配模块,具体用于:
针对识别出的每张人脸区域,将该张人脸区域与预设人脸信息进行匹配,若未匹配成功,将计数器中记录的数值加1;
在将所述每张人脸区域均与所述预设人脸信息匹配完成后,读取所述计数器中记录的数值,作为所述视频数据中的客流量。
可选的,所述第一获取模块,具体可以用于:接收指定采集设备发送的待统计视频数据;
或者,所述电子设备为采集设备;所述第一获取模块,具体可以用于:
判断采集到的视频数据中是否存在人员,如果是,将采集到的视频数据确定为待统计视频数据;
或者,所述电子设备为采集设备;所述第一获取模块,具体可以用于:
在接收到报警信息后,进行视频采集,得到待统计视频数据,所述报警信息为报警设备检测到有人员进入预设场景区域后发送的。
可选的,所述指定采集设备设置于一客流统计场景中,所述指定采集设备的高度范围为:高于所述场景地面2-4米,所述指定采集设备的俯角范围为: 20-45度;
或者,在所述电子设备为采集设备的情况下:
所述电子设备设置于一客流统计场景中,所述电子设备的高度范围为:高于所述场景地面2-4米,所述电子设备的俯角范围为:20-45度。
可选的,所述识别模块,具体可以用于:
将所述视频数据中的人员确定为追踪目标进行追踪;
识别每个追踪目标的一个人脸区域。
可选的,所述装置还可以包括:
第二获取模块,用于针对每个预设人员,获取该人员的一张或多张人脸图像;
构建模块,用于根据所述一张或多张人脸图像,构建该人员的人脸模型;其中,所有预设人员的人脸模型组成预设人脸信息;
所述匹配模块,具体用于:
针对识别出的每个人脸区域,将该人脸区域与每个预设人员的人脸模型进行匹配;
当存在与该人脸区域相匹配的人脸模型时,将该人脸区域确定为匹配成功的人脸区域;
统计未匹配成功的人脸区域数量,作为所述视频数据中的客流量。
为达到上述目的,本发明实施例还提供了一种电子设备,包括处理器和存储器;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一种客流统计方法。
为达到上述目的,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种客流统计方法。
为达到上述目的,本发明实施例还提供了一种客流统计系统,包括:采集设备及统计设备;
所述采集设备,用于采集待统计视频数据,并将所述待统计视频数据发送至所述统计设备;
所述统计设备,用于接收所述待统计视频数据;识别所述视频数据中的人脸区域;将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为所述视频数据中的客流量。
可选的,所述采集设备设置于一客流统计场景中,所述采集设备的高度范围为:高于所述场景地面2-4米,所述采集设备的俯角范围为:20-45度。
该统计设备可以执行上述任一种客流统计方法。
应用本发明所示实施例,识别视频数据中的人脸区域,将识别出的人脸区域与预设人脸信息进行匹配,该预设人脸信息可以为与客流量无关人员(比如,工作人员等)的人脸信息;确定未匹配成功的人脸区域数量,得到的便是去除掉无关人员的客流量;可见,应用本方案,去除了无关人员的干扰,提高了客流统计的准确性。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的客流统计方法的第一种流程示意图;
图2为本发明实施例提供的一种采集设备安装示意图;
图3为本发明实施例提供的客流统计方法的第二种流程示意图;
图4为本发明实施例提供的一种客流统计装置的结构示意图;
图5为本发明实施例提供的一种电子设备的结构示意图;
图6为本发明实施例提供的一种客流统计系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决上述技术问题,本发明实施例提供了一种客流统计方法、装置及设备,该方法及装置应用于电子设备,该电子设备可以为采集设备,例如,具有智能识别功能的摄像头等,也可以为与采集设备通信连接的各种设备,比如服务器等,具体不做限定。
下面首先对本发明实施例提供的一种客流统计方法进行详细说明。
图1为本发明实施例提供的客流统计方法的第一种流程示意图,包括:
S101:获取待统计视频数据。
S102:识别该视频数据中的人脸区域。
S103:将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为该视频数据中的客流量。
应用本发明图1所示实施例,识别视频数据中的人脸区域,将识别出的人脸区域与预设人脸信息进行匹配,该预设人脸信息可以为与客流量无关人员 (比如,工作人员等)的人脸信息;确定未匹配成功的人脸区域数量,得到的便是去除掉无关人员的客流量;可见,应用本方案,去除了无关人员的干扰,提高了客流统计的准确性。
下面对图1所示实施进行详细说明:
S101:获取待统计视频数据。
如果执行本方案的电子设备(以下简称本电子设备)与采集设备通信连接, S101可以包括:接收指定采集设备发送的待统计视频数据。
指定采集设备是指需要进行客流统计的场景中设置的采集设备。指定采集设备可以实时将采集到的视频数据发送给本电子设备,本电子设备实时进行客流统计。或者,指定采集设备也可以非实时地将采集到的视频数据发送给本电子设备,比如,指定采集设备可以在接收到客流统计指令后,将统计时间段的历史视频数据发送给本电子设备。
统计时间段为客流统计所针对的时间段,该时间段可以根据实际情况进行设定:比如,可以为一天,一周,一个月等;或者,也可以以一天中的预设时间段作为统计时间段,比如,一天中的早九点到晚九点;或者,也可以以一周、一个月中每天的预设时间段作为统计时间段;或者,也可以以每周的周一至周五中,每天早九点到晚九点作为统计时间段……具体不做限定。
在本实施例中,采集设备在采集到视频数据后,可以判断该视频数据中是否存在人员,如果存在,将该视频数据作为待统计视频数据发送给本电子设备。或者,采集设备也可以与报警设备相连接,报警设备在检测到有人员进入预设场景区域后向采集设备发送报警信息,采集设备在接收到该报警信息后进行视频采集,并将采集到的视频数据作为待统计视频数据发送给本电子设备。
该报警设备可以为红外感应设备,举例来说,假设在商场入口处安装采集设备以及红外感应设备,该红外感应设备在检测到有人员进入商场入口区域 (预设场景区域)时,向采集设备发送报警信息,该采集设备对准商场入口区域采集视频数据。
如上所述,该指定采集设备设置于客流统计场景中,作为一种实施方式,该采集设备的高度范围为:高于场景地面2-4米,该采集设备的俯角范围为: 20-45度。具体可以如图2所示,较佳的,采集设备的高度可以为3米(h=3米),俯角α可以为30度。需要说明的是,这里所说的“场景地面”并不一定指地面,比如,如果该场景位于二楼,则该“场景地面”为二楼地板面,如果该场景为地下停车场,则该“场景地面”为该停车场地板面。
如果本电子设备为采集设备,或者说,本电子设备具有视频采集功能,作为一种实施方式,S101可以包括:判断采集到的视频数据中是否存在人员,如果是,将采集到的视频数据确定为待统计视频数据。
作为另一种实施方式,本电子设备可以与报警设备相连接,报警设备在检测到有人员进入预设场景区域后向本电子设备发送报警信息,本电子设备在接收到该报警信息后进行视频采集,并将采集到的视频数据作为待统计视频数据。
如果本电子设备为采集设备,本电子设备设置于客流统计场景中,作为一种实施方式,本电子设备的高度范围为:高于场景地面2-4米,本电子设备的俯角范围为:20-45度。具体可以如图2所示,例如本电子设备的高度可以为3 米(h=3米),俯角α可以为30度。又例如,本电子设备的高度可以为2米或者4 米或者1.8米或者1.7米等等,具体高度可以根据场景(可安装位置、室内场景等等)改变,俯角α可以根据场景以及电子设备的位置等因素综合确定,例如,俯角α可以为20度、25度、21.3度、45度、45.3度等等,在此不作限定。需要说明的是,这里所说的“场景地面”并不一定指地面,比如,如果该场景位于二楼,则该“场景地面”为二楼地板面,如果该场景为地下停车场,则该“场景地面”为该停车场地板面。采集设备可以但不限于是摄像头,例如,球机、带有云台的摄像头等等。
S102:识别该视频数据中的人脸区域。
作为一种实施方式,可以针对该视频数据中的每张图像进行人脸识别,识别每张图像中的人脸区域。
作为另一种实施方式,可以将该视频数据中的人员确定为追踪目标进行追踪;识别每个追踪目标的一个人脸区域。
在本实施方式中,可以利用目标追踪算法在相邻帧图像间进行目标追踪,如果同一人员存在于连续多帧图像中,则这连续多帧图像中的该人员为一个追踪目标。对于同一追踪目标来说,仅识别该追踪目标的一个人脸区域。
S103:将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为该视频数据中的客流量。
作为一种实施方式,在S102后,可以包括:
确定识别出的人脸区域数量,作为第一数量;
这种实施方式中,S103可以包括:
确定匹配成功的人脸区域数量,作为第二数量;
计算所述第一数量与所述第二数量的差,作为该视频数据中的客流量。
这种实施方式在图3所示实施例部分进行详细介绍。
作为另一种实施方式,S103可以包括:
针对识别出的每张人脸区域,将该张人脸区域与预设人脸信息进行匹配,若未匹配成功,将计数器中记录的数值加1;
在将所述每张人脸区域均与所述预设人脸信息匹配完成后,读取所述计数器中记录的数值,作为所述视频数据中的客流量。
在这种实施方式中,可以设置一个计数器,该计数器的初始记录的数值为 0。依次将识别出的每张人脸区域与预设人脸信息进行匹配,每当匹配不成功,将计数器中记录的数值加1,直至全部人脸区域都完成匹配后,读取计数器中记录的数值,也就是未匹配成功的人脸数量,也就是该视频数据中的客流量。
在本发明实施例中,可以预先获取人脸信息,作为一种实施方式,可以采用如下步骤获取所述预设人脸信息:
针对每个预设人员,获取该人员的一张或多张人脸图像;
根据所述一张或多张人脸图像,构建该人员的人脸模型;其中,所有预设人员的人脸模型组成预设人脸信息。
预设人员即为与客流量无关人员,比如工作人员等;针对每个预设人员,可以获取该人员的一张或多张人脸图像,基于这一张或多张人脸图像,构建该人员的人脸模型。
举例来说,针对工作人员A,可以获取其不同拍摄角度的图像,比如正面图像、左侧脸图像、右侧脸图像,或者,平视图像、俯视图像、仰视图像等,具体拍摄角度不做限定。根据所获取的图像,构建工作人员A的人脸模型。
或者,也可以仅获取工作人员A的一张图像,比如正面图像,根据这一张图像构建工作人员A的人脸模型。
这种实施方式中,S103可以包括:
针对识别出的每个人脸区域,将该人脸区域与每个预设人员的人脸模型进行匹配;
当存在与该人脸区域相匹配的人脸模型时,将该人脸区域确定为匹配成功的人脸区域;
统计未匹配成功的人脸区域数量,作为所述视频数据中的客流量。
或者,作为另一种实施方式,可以获取每个预设人员的人脸图像组,每个人脸图像组中包含一个预设人员的一张或多张人脸图像,预设人脸信息包括所有预设人员的人脸图像组,这种实施方式中,S103可以包括:
针对识别出的每个人脸区域,将该人脸区域与每个预设人员的人脸图像组进行匹配;
当存在与该人脸区域相匹配的人脸图像组时,将该人脸区域确定为匹配成功的人脸区域;
统计未匹配成功的人脸区域数量,作为所述视频数据中的客流量。
这种实施方式中,如果人脸区域与人脸图像组中任一张人脸图像相匹配,则可以判定该人脸区域与该人脸图像组相匹配。
应用这种实施方式,将人脸区域与人脸图像进行匹配,不需要建立人脸模型,简化了操作。
图3为本发明实施例提供的客流统计方法的第二种流程示意图,包括:
S301:获取待统计视频数据。
S302:识别该视频数据中的人脸区域。
S303:确定识别出的人脸区域数量,作为第一数量。
S304:将识别出的人脸区域与预设人脸信息进行匹配。
S305:确定匹配成功的人脸区域数量,作为第二数量。
S306:计算该第一数量与该第二数量的差,作为该视频数据中的客流量。
统计第一数量有多种方式,比如:
第一种方式,可以针对该视频数据中的每张图像进行人脸识别,将识别出的人脸区域的总数量作为第一数量。
举个简单的例子,假设待统计视频数据中包含4张图像,第一张图像中识别出2个人脸区域,第二张图像中识别出3个人脸区域,第三张图像中识别出2 个人脸区域,第四张图像中识别出1个人脸区域,则第一数量=2+3+2+1=8。
第二种方式,可以将该视频数据中的人员确定为追踪目标进行追踪;识别每个追踪目标的一个人脸区域,并将所述视频数据中的追踪目标的数量确定为识别出的人脸区域数量,也就是第一数量。
本实施方式中,可以利用目标追踪算法在相邻帧图像间进行目标追踪,如果同一人员存在于连续多帧图像中,则这连续多帧图像中的该人员为一个追踪目标。
举例来说,如果有非预设人员一直站在采集设备的采集范围中,采集设备采集的待统计视频数据的连续多帧图像中一直包含该人员的人脸区域,如果利用第一种方式统计第一数量,会反复对该人员进行计数,对客流量统计造成干扰。
而第二种方式中,对视频数据中的人员确定为追踪目标进行追踪,将追踪目标的数量确定为第一数量,因此,对于同一追踪目标,仅进行一次计数,计数更准确。
另一方面,如果有同一人员多次进出客流统计场景,该人员存在于不连续的多帧图像中,应用第二种方式,会对该人员多次计数。比如,统计时间段为一天,人员A分别在该天的上午和下午进出客流统计场景各一次,则在第二种方式中,该人员会被作为两个追踪目标,也就是对该人员计数两次。可见第二种方式统计的第一数量更合理。
在上述统计第一数量的第二种方式中,将追踪目标的数量作为第一数量,而且对于每个追踪目标,仅识别其一个人脸区域,这样,对于每个追踪目标, S304中仅将该追踪目标的一个人脸区域与预设人脸信息进行匹配,这样,得到的第二数量也是合理的。
举个简单的例子,假设存在A、B、C、D四个预设人员,构建人员A的人脸模型A1,构建人员B的人脸模型B1,构建人员C的人脸模型C1,构建人员D 的人脸模型D1。
假设在待统计视频数据中确定出3个追踪目标,则第一数量为3。针对每个追踪目标识别一个人脸区域,共识别出3个人脸区域:X、Y、Z;将X分别与 A1、B1、C1、D1四个模型进行匹配,将Y分别与A1、B1、C1、D1四个模型进行匹配,将Z分别与A1、B1、C1、D1四个模型进行匹配;假设仅有Y与C1匹配成功,则匹配成功的人脸区域数量为1,第二数量为1;则该视频数据的客流量为3-1=2。
应用本发明图3所示实施例,识别视频数据中的人脸区域,并确定识别出的人脸区域数量,作为第一数量;将识别出的人脸区域与预设人脸信息进行匹配,该预设人脸信息可以为与客流量无关人员(比如,工作人员等)的人脸信息;确定匹配成功的人脸区域数量,作为第二数量,也就是该图像中无关人员的数量;将第一数量与第二数量作差,得到的便是去除掉无关人员的客流量;可见,应用本方案,去除了无关人员的干扰,提高了客流统计的准确性。
与上述方法实施例相对应,本发明实施例还提供了一种客流统计装置。
图4为本发明实施例提供的一种客流统计装置的结构示意图,应用于电子设备,该装置包括:
第一获取模块401,用于获取待统计视频数据;
识别模块402,用于识别所述视频数据中的人脸区域;
匹配模块403,用于将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为所述视频数据中的客流量。
作为一种实施方式,所述装置还可以包括:
第一确定模块(图中未示出),用于确定识别出的人脸区域数量,作为第一数量;
匹配模块403,具体可以用于:
将识别出的人脸区域与预设人脸信息进行匹配;
确定匹配成功的人脸区域数量,作为第二数量;
计算所述第一数量与所述第二数量的差,作为所述视频数据中的客流量。
作为一种实施方式,匹配模块403,具体可以用于:
针对识别出的每张人脸区域,将该张人脸区域与预设人脸信息进行匹配,若未匹配成功,将计数器中记录的数值加1;
在将所述每张人脸区域均与所述预设人脸信息匹配完成后,读取所述计数器中记录的数值,作为所述视频数据中的客流量。
作为一种实施方式,第一获取模块401,具体可以用于:接收指定采集设备发送的待统计视频数据;
或者,所述电子设备为采集设备;第一获取模块401,具体可以用于:
判断采集到的视频数据中是否存在人员,如果是,将采集到的视频数据确定为待统计视频数据;
或者,所述电子设备为采集设备;第一获取模块401,具体可以用于:
在接收到报警信息后,进行视频采集,得到待统计视频数据,所述报警信息为报警设备检测到有人员进入预设场景区域后发送的。
作为一种实施方式,所述指定采集设备设置于一客流统计场景中,所述指定采集设备的高度范围为:高于所述场景地面2-4米,所述指定采集设备的俯角范围为:20-45度;
或者,在所述电子设备为采集设备的情况下:
所述电子设备设置于一客流统计场景中,所述电子设备的高度范围为:高于所述场景地面2-4米,所述电子设备的俯角范围为:20-45度。
可选地,该电子设备的高度也可以为1.8米、2米、2.2米、4米、4.5米等等,该电子设备的高度和俯角可以根据场景、可安装位置等因素综合确定,例如,俯角α可以为20度、25度、21.3度、45度、45.3度等等,在此不作限定。
作为一种实施方式,识别模块402,具体可以用于:
将所述视频数据中的人员确定为追踪目标进行追踪;
识别每个追踪目标的一个人脸区域。
作为一种实施方式,所述装置还可以包括:第二获取模块和构建模块(图中未示出),其中,
第二获取模块,用于针对每个预设人员,获取该人员的一张或多张人脸图像;
构建模块,用于根据所述一张或多张人脸图像,构建该人员的人脸模型;其中,所有预设人员的人脸模型组成预设人脸信息;
匹配模块403,具体可以用于:
针对识别出的每个人脸区域,将该人脸区域与每个预设人员的人脸模型进行匹配;
当存在与该人脸区域相匹配的人脸模型时,将该人脸区域确定为匹配成功的人脸区域;
统计未匹配成功的人脸区域数量,作为所述视频数据中的客流量。
应用本发明图4所示实施例,识别视频数据中的人脸区域,将识别出的人脸区域与预设人脸信息进行匹配,该预设人脸信息可以为与客流量无关人员 (比如,工作人员等)的人脸信息;确定未匹配成功的人脸区域数量,得到的便是去除掉无关人员的客流量;可见,应用本方案,去除了无关人员的干扰,提高了客流统计的准确性。
本发明实施例还提供了一种电子设备,如图5所示,包括处理器501和存储器502,
存储器502,用于存放计算机程序;
处理器501,用于执行存储器502上所存放的程序时,实现上述任一种客流统计方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器 (DigitalSignal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种客流统计方法。
本发明实施例还提供了一种客流统计系统,如图6所示,包括:采集设备及统计设备;
所述采集设备,用于采集待统计视频数据,并将所述待统计视频数据发送至所述统计设备;
所述统计设备,用于接收所述待统计视频数据;识别所述视频数据中的人脸区域;将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为所述视频数据中的客流量。
作为一种实施方式,所述采集设备设置于一客流统计场景中,所述采集设备的高度范围为:高于所述场景地面2-4米,所述采集设备的俯角范围为:20-45 度。
所述统计设备可以执行上述任一种客流统计方法。
应用本发明所示实施例,识别视频数据中的人脸区域,将识别出的人脸区域与预设人脸信息进行匹配,该预设人脸信息可以为与客流量无关人员(比如,工作人员等)的人脸信息;确定未匹配成功的人脸区域数量,得到的便是去除掉无关人员的客流量;可见,应用本方案,去除了无关人员的干扰,提高了客流统计的准确性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于图4所示的客流统计装置实施例、图5所示的电子设备实施例、上述计算机可读存储介质实施例、图6所示的客流统计系统实施例而言,由于其基本相似于图1、3所示的客流统计方法实施例,所以描述的比较简单,相关之处参见图1、3所示的客流统计方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (9)

1.一种客流统计方法,其特征在于,应用于电子设备,包括:
获取采集设备发送的待统计视频数据或作为采集设备获取待统计视频数据,其中所述采集设备与报警设备相连接,所述报警设备在检测到有人员进入预设场景区域后向所述采集设备发送报警信息,所述采集设备在接收到所述报警信息后进行视频采集,得到所述待统计视频数据;
将所述视频数据中的人员确定为追踪目标进行追踪;
对于同一追踪目标,当其存在于连续多帧图像时,仅识别所述追踪目标的一个人脸区域;将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为所述视频数据中的客流量,其中,所述预设人脸信息是与客流量无关的预设人员的人脸信息;
其中,所述将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为所述视频数据中的客流量,包括:
针对识别出的每个人脸区域,将所述人脸区域与所述预设人脸信息进行匹配,若未匹配成功,将计数器中记录的数值加1;
在将所述每个人脸区域均与所述预设人脸信息匹配完成后,读取所述计数器中记录的数值,作为所述视频数据中的客流量。
2.根据权利要求1所述的方法,其特征在于,所述采集设备设置于一客流统计场景中,所述采集设备的高度范围为:高于所述场景地面2-4米,所述采集设备的俯角范围为:20-45度;
或者,在所述电子设备为采集设备的情况下:
所述电子设备设置于一客流统计场景中,所述电子设备的高度范围为:高于所述场景地面2-4米,所述电子设备的俯角范围为:20-45度。
3.根据权利要求1所述的方法,其特征在于,采用如下步骤获取所述预设人脸信息:
针对每个预设人员,获取该人员的一张或多张人脸图像;
根据所述一张或多张人脸图像,构建该人员的人脸模型;其中,所有预设人员的人脸模型组成预设人脸信息;
所述将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为所述视频数据中的客流量,包括:
针对识别出的每个人脸区域,将该人脸区域与每个预设人员的人脸模型进行匹配;
当存在与该人脸区域相匹配的人脸模型时,将该人脸区域确定为匹配成功的人脸区域;
统计未匹配成功的人脸区域数量,作为所述视频数据中的客流量。
4.一种客流统计装置,其特征在于,应用于电子设备,所述装置包括第一获取模块、识别模块和匹配模块;
所述第一获取模块用于获取采集设备发送的待统计视频数据,其中所述采集设备与报警设备相连接,所述报警设备在检测到有人员进入预设场景区域后向所述采集设备发送报警信息,所述采集设备在接收到所述报警信息后进行视频采集,得到所述待统计视频数据;
所述识别模块用于将所述视频数据中的人员确定为追踪目标进行追踪;对于同一追踪目标,当其存在于连续多帧图像时,仅识别所述追踪目标的一个人脸区域;所述匹配模块用于将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为所述视频数据中的客流量,其中,所述预设人脸信息是与客流量无关的预设人员的人脸信息;
所述匹配模块,还用于:
针对识别出的每个人脸区域,将其与所述预设人脸信息进行匹配,若未匹配成功,将计数器中记录的数值加1;
在将所述每个人脸区域均与所述预设人脸信息匹配完成后,读取所述计数器中记录的数值,作为所述视频数据中的客流量。
5.根据权利要求4所述的装置,其特征在于,所述采集设备设置于一客流统计场景中,所述采集设备的高度范围为:高于所述场景地面2-4米,所述采集设备的俯角范围为:20-45度;
或者,在所述电子设备为采集设备的情况下:
所述电子设备设置于一客流统计场景中,所述电子设备的高度范围为:高于所述场景地面2-4米,所述电子设备的俯角范围为:20-45度。
6.根据权利要求4所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于针对每个预设人员,获取该人员的一张或多张人脸图像;
构建模块,用于根据所述一张或多张人脸图像,构建该人员的人脸模型;其中,所有预设人员的人脸模型组成预设人脸信息;
所述匹配模块,具体用于:
针对识别出的每个人脸区域,将该人脸区域与每个预设人员的人脸模型进行匹配;
当存在与该人脸区域相匹配的人脸模型时,将该人脸区域确定为匹配成功的人脸区域;
统计未匹配成功的人脸区域数量,作为所述视频数据中的客流量。
7.一种电子设备,其特征在于,包括处理器和存储器;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-3任一所述的方法步骤。
8.一种客流统计系统,其特征在于,包括:采集设备、报警设备及统计设备;
所述采集设备,用于采集待统计视频数据,并将所述待统计视频数据发送至所述统计设备,其中所述采集设备与所述报警设备相连接,所述报警设备在检测到有人员进入预设场景区域后向所述采集设备发送报警信息,所述采集设备在接收到所述报警信息后进行视频采集,得到所述待统计视频数据;
所述统计设备,用于接收所述待统计视频数据;将所述视频数据中的人员确定为追踪目标进行追踪;对于同一追踪目标,当其存在于连续多帧图像时,仅识别所述追踪目标的一个人脸区域;将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为所述视频数据中的客流量,其中,所述预设人脸信息是与客流量无关的预设人员的人脸信息;
其中,所述将识别出的人脸区域与预设人脸信息进行匹配,确定未匹配成功的人脸区域数量,作为所述视频数据中的客流量,包括:
针对识别出的每个人脸区域,将所述人脸区域与所述预设人脸信息进行匹配,若未匹配成功,将计数器中记录的数值加1;
在将所述每个人脸区域均与所述预设人脸信息匹配完成后,读取所述计数器中记录的数值,作为所述视频数据中的客流量。
9.根据权利要求8所述的系统,其特征在于,所述采集设备设置于一客流统计场景中,所述采集设备的高度范围为:高于所述场景地面2-4米,所述采集设备的俯角范围为:20-45度。
CN201710833820.2A 2017-09-15 2017-09-15 一种客流统计方法、装置及设备 Active CN109508586B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710833820.2A CN109508586B (zh) 2017-09-15 2017-09-15 一种客流统计方法、装置及设备
US16/647,210 US11200406B2 (en) 2017-09-15 2018-09-14 Customer flow statistical method, apparatus and device
PCT/CN2018/105721 WO2019052536A1 (zh) 2017-09-15 2018-09-14 一种客流统计方法、装置及设备
EP18856017.1A EP3683717A4 (en) 2017-09-15 2018-09-14 METHOD, APPARATUS AND DEVICE FOR COUNTING PASSENGER FLOWS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710833820.2A CN109508586B (zh) 2017-09-15 2017-09-15 一种客流统计方法、装置及设备

Publications (2)

Publication Number Publication Date
CN109508586A CN109508586A (zh) 2019-03-22
CN109508586B true CN109508586B (zh) 2021-10-29

Family

ID=65723210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710833820.2A Active CN109508586B (zh) 2017-09-15 2017-09-15 一种客流统计方法、装置及设备

Country Status (4)

Country Link
US (1) US11200406B2 (zh)
EP (1) EP3683717A4 (zh)
CN (1) CN109508586B (zh)
WO (1) WO2019052536A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717885A (zh) * 2019-09-02 2020-01-21 平安科技(深圳)有限公司 顾客数量的统计方法及装置、电子设备及可读存储介质
CN110659588A (zh) * 2019-09-02 2020-01-07 平安科技(深圳)有限公司 一种客流量统计方法、装置及计算机可读存储介质
CN112183380B (zh) * 2020-09-29 2021-08-10 新疆爱华盈通信息技术有限公司 基于人脸识别的客流量分析方法和系统、电子设备
CN112528818B (zh) * 2020-12-03 2024-02-27 杭州海康威视系统技术有限公司 数据统计方法、装置、电子设备及机器可读存储介质
CN114572784B (zh) * 2022-01-27 2024-04-05 北京声智科技有限公司 一种电梯乘客人数检测方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
CN101877058A (zh) * 2010-02-10 2010-11-03 杭州海康威视软件有限公司 人流量统计的方法及系统
CN103839308A (zh) * 2012-11-26 2014-06-04 中兴通讯股份有限公司 人数获取方法、装置及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2402536B (en) * 2003-06-05 2008-04-02 Canon Kk Image processing
US7881505B2 (en) * 2006-09-29 2011-02-01 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
JP2008262435A (ja) 2007-04-13 2008-10-30 Hitachi Ltd 顔認証、及び顧客状況情報を利用した営業支援システム
JP4585580B2 (ja) * 2008-04-24 2010-11-24 東芝テック株式会社 人物動線追跡システム
CN201699888U (zh) * 2010-06-24 2011-01-05 柯名会 人脸识别监控装置
CN103065379B (zh) * 2012-10-25 2015-11-04 北京腾逸科技发展有限公司 智能化视频客流分析方法及系统
CN103793682B (zh) * 2012-10-31 2018-03-30 中国科学院微电子研究所 基于人脸检测与识别技术的人员计数方法及系统和装置
US9245276B2 (en) * 2012-12-12 2016-01-26 Verint Systems Ltd. Time-in-store estimation using facial recognition
CN106295788B (zh) * 2015-05-12 2019-01-08 杭州海康威视数字技术股份有限公司 客流量的统计方法及装置
CN106296879B (zh) * 2015-05-21 2018-07-17 杭州海康威视数字技术股份有限公司 基于无线探测的人流量获取的方法、装置和系统
CN105574497A (zh) * 2015-12-15 2016-05-11 重庆凯泽科技有限公司 基于人脸检测的商场人数统计系统及统计方法
US10346688B2 (en) * 2016-01-12 2019-07-09 Hitachi Kokusai Electric Inc. Congestion-state-monitoring system
CN106778615B (zh) * 2016-12-16 2019-10-18 中新智擎科技有限公司 一种识别用户身份的方法、装置和物业服务机器人
JP6145210B1 (ja) * 2016-12-26 2017-06-07 株式会社スバルカーベル 乗客管理装置、及び乗客管理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
CN101877058A (zh) * 2010-02-10 2010-11-03 杭州海康威视软件有限公司 人流量统计的方法及系统
CN103839308A (zh) * 2012-11-26 2014-06-04 中兴通讯股份有限公司 人数获取方法、装置及系统

Also Published As

Publication number Publication date
EP3683717A4 (en) 2020-11-11
US11200406B2 (en) 2021-12-14
CN109508586A (zh) 2019-03-22
WO2019052536A1 (zh) 2019-03-21
EP3683717A1 (en) 2020-07-22
US20210158024A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
CN109508586B (zh) 一种客流统计方法、装置及设备
US10915131B2 (en) System and method for managing energy
CN108629791B (zh) 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置
JP6854881B2 (ja) 顔画像照合システムおよび顔画像検索システム
US20150294482A1 (en) System And Process For Detecting, Tracking And Counting Human Objects Of Interest
CN111784857A (zh) 一种停车位管理方法、装置以及计算机存储介质
US20190107394A1 (en) Tracking movement of physical objects through a confined space
CN110222640A (zh) 监控场所中嫌疑人的识别方法、装置、方法和存储介质
CN110874583A (zh) 一种客流统计的方法、装置、存储介质及电子设备
CN110717358B (zh) 访客人数统计方法、装置、电子设备及存储介质
EP3355282B1 (en) System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
CN107920223B (zh) 一种对象行为检测方法及装置
CN102200578B (zh) 数据关联设备和方法
JP4805330B2 (ja) 購買分析システム
CN110880205B (zh) 一种停车收费方法及装置
CN110264497B (zh) 跟踪时长的确定方法及装置、存储介质、电子装置
CN110717357A (zh) 预警方法、装置、电子设备及存储介质
JP6516702B2 (ja) 人数集計システム、人数集計方法、及び人数集計結果の閲覧方法
CN109977796A (zh) 尾随通行检测方法及装置
CN111127096B (zh) 基于头肩和人脸识别的商品区域客流优化统计方法与系统
CN109960995B (zh) 一种运动数据确定系统、方法及装置
CN110956644B (zh) 一种运动轨迹确定方法及系统
KR20130104018A (ko) 영상분석을 이용한 출입 계수시스템 및 그 방법
CN114220140B (zh) 基于图像识别的市场客流量统计方法及装置
CN114820692B (zh) 跟踪目标的状态分析方法、装置、存储介质和终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant