CN111241938A - 基于图像校验的人脸识别方法、装置和计算机设备 - Google Patents

基于图像校验的人脸识别方法、装置和计算机设备 Download PDF

Info

Publication number
CN111241938A
CN111241938A CN201911407854.0A CN201911407854A CN111241938A CN 111241938 A CN111241938 A CN 111241938A CN 201911407854 A CN201911407854 A CN 201911407854A CN 111241938 A CN111241938 A CN 111241938A
Authority
CN
China
Prior art keywords
image
sample
recognized
face
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911407854.0A
Other languages
English (en)
Inventor
葛长斌
傅东生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miracle Intelligent Network Co ltd
Original Assignee
Miracle Intelligent Network Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Miracle Intelligent Network Co ltd filed Critical Miracle Intelligent Network Co ltd
Priority to CN201911407854.0A priority Critical patent/CN111241938A/zh
Publication of CN111241938A publication Critical patent/CN111241938A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7328Query by example, e.g. a complete video frame or video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于图像校验的人脸识别方法、装置和计算机设备。所述方法包括:获取视频数据,在所述视频数据中提取多帧样本图像;根据所述样本图像确定基准图像;根据所述基准图像对所述视频数据中的待检测图像进行校验;当所述待检测图像与所述基准图像之间的图像相似度小于图像阈值时,对所述待检测图像进行人脸目标检测,得到待识别人脸目标图像;将所述待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果;在所述图像匹配结果中确定满足预设条件的图像匹配结果,作为所述待识别人脸目标图像对应的图像识别结果。采用本方法能够在预先部署的布控库中缺少人脸目标图像的情况下,进行人脸识别。

Description

基于图像校验的人脸识别方法、装置和计算机设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种基于图像校验的人脸识别方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展,人脸识别技术的应用也越来越广泛。人脸识别是指在获取的图片、视频等图像中,自动检测和跟踪人脸目标,得到待识别人脸目标图像,进而对待识别人脸目标图像进行识别。传统方式中,人脸识别只能在预先部署的布控库中对待识别人脸目标图像进行识别。
然而,在很多人脸识别的应用场景中,需要确定人脸目标是否出现过。预先部署的布控库中并不存在待识别人脸目标图像对应的人脸图像,导致无法进行人脸识别。例如,在海关业务中,为了了解通关的旅客是否出现过,需要对通关的旅客进行人脸识别。而预先部署的布控库中可能并不存在该通关的旅客的人脸图像,导致无法进行人脸识别,从而无法识别通关的旅客是否出现过。因此,如何在预先部署的布控库中缺少人脸目标图像的情况下,进行人脸识别成为目前需要解决的一个技术问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够在预先部署的布控中缺少人脸目标图像的情况下,进行人脸识别的基于图像校验的人脸识别方法、装置、计算机设备和存储介质。
一种基于图像校验的人脸识别方法,所述方法包括:
获取视频数据,在所述视频数据中提取多帧样本图像;
根据所述样本图像确定基准图像;
根据所述基准图像对所述视频数据中的待检测图像进行校验;
当所述待检测图像与所述基准图像之间的图像相似度小于图像阈值时,对所述待检测图像进行人脸目标检测,得到待识别人脸目标图像;
将所述待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果;
在所述图像匹配结果中确定满足预设条件的图像匹配结果,作为所述待识别人脸目标图像对应的图像识别结果。
在其中一个实施例中,所述将所述待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果包括:
调用第一接口,通过所述第一接口将所述待识别人脸目标图像发送至检索引擎;
通过所述检索引擎在历史抓拍图像库中对所述待识别人脸目标图像进行匹配,得到图像匹配结果。
在其中一个实施例中,所述通过所述检索引擎在历史抓拍图像库中对所述待识别人脸目标图像进行匹配,得到图像匹配结果包括:
通过所述检索引擎对待识别人脸目标图像进行特征提取,得到特征向量;
通过所述检索引擎在历史抓拍图像库中检索与所述特征向量对应的多个相似特征向量;
通过所述检索引擎根据所述检索到的多个相似特征向量在所述历史抓拍图像库匹配对应的历史抓拍图像,生成图片匹配结果。
在其中一个实施例中,所述根据所述样本图像确定基准图像包括:
对所述样本图像进行预处理;
获取处理后的样本图像中多个像素点所对应的灰度值;
根据所述灰度值确定所述样本图像所对应的特征信息;
将所述样本图像对应的特征信息进行比对,得到所述样本图像之间的样本相似度;
当所述样本相似度大于样本阈值时,确定所述样本图像作为基准图像。
在其中一个实施例中,所述根据所述基准图像对所述视频数据中的待检测图像进行校验包括:
根据预设采样率从所述视频数据中提取所述样本图像之后的图像作为待检测图像;
将所述待检测图像与所述基准图像进行比对,得到图像相似度;
当所述图像相似度大于或等于所述图像阈值时,重复所述根据预设采样率从所述视频数据中提取所述样本图像之后的图像作为待检测图像的步骤。
在其中一个实施例中,所述方法还包括:
调用第二接口,通过所述第二接口统计所述图像识别结果的数量;
当统计得到的图像识别结果的数量大于预设阈值时,根据所述图像识别结果生成提示消息。
一种基于图像校验的人脸识别装置,所述装置包括:
通信模块,用于获取视频数据,在所述视频数据中提取多帧样本图像;
第一确定模块,用于根据所述样本图像确定基准图像;
校验模块,用于根据所述基准图像对所述视频数据中的待检测图像进行校验;
检测模块,用于当所述待检测图像与所述基准图像之间的图像相似度小于图像阈值时,对所述待检测图像进行人脸目标检测,得到待识别人脸目标图像;
匹配模块,用于将所述待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果;
第二确定模块,用于在所述图像匹配结果中确定满足预设条件的图像匹配结果,作为所述待识别人脸目标图像对应的人脸目标图像识别结果。
在其中一个实施例中,所述匹配模块还用于调用第一接口,通过所述第一接口将所述待识别人脸目标图像发送至检索引擎;通过所述检索引擎在历史抓拍图像库中对所述待识别人脸目标图像进行匹配,得到图像匹配结果。
一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
上述基于图像校验的人脸识别方法、装置、计算机设备和存储介质,通过在获取的视频数据中提取多帧样本图像,根据样本图像确定基准图像,从而根据基准图像对视频数据中的待检测图像进行校验。当待检测图像与基准图像之间的图像相似度小于图像阈值时,对待检测图像进行人脸目标检测,得到待识别人脸目标图像。实现对待检测图像进行筛选,从而避免重复对视频数据中图像相似度较大的待检测图像进行人脸目标检测,有效的节省了图像检测所消耗的资源。将待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果,进而在图像匹配结果中确定满足预设条件的图像匹配结果,作为待识别人脸目标图像对应的图像识别结果。无需在预先部署的布控库中识别与待识别人脸目标图像对应的人脸图像,可以直接在历史抓拍图像库中进行图像匹配,从而对该待识别人脸目标图像进行识别,得到图像识别结果,从而确定该待识别人脸目标图像中的人脸目标在当前时刻之前是否出现过。
附图说明
图1为一个实施例中基于图像校验的人脸识别方法的应用环境图;
图2为一个实施例中基于图像校验的人脸识别方法的流程示意图;
图3为一个实施例中将待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果步骤的流程示意图;
图4为一个实施例中基于图像校验的人脸识别装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的基于图像校验的人脸识别方法,可以应用于如图1所示的应用环境中。其中,可以包括至少一个监测设备102和服务器104。例如,监测设备可以是摄像机。监测设备102与服务器104通过网络进行通信。监测设备102将采集到的视频数据发送至服务器104,服务器104在视频数据中提取多帧样本图像。服务器104根据样本图像确定基准图像。服务器104根据基准图像对视频数据中的待检测图像进行校验。当待检测图像与基准图像之间的图像相似度小于图像阈值时,服务器104对待检测图像进行人脸目标检测,得到待识别人脸目标图像。服务器104将待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果。服务器104在图像匹配结果中确定满足预设条件的图像匹配结果,作为待识别人脸目标图像对应的人脸目标图像识别结果。其中,监测设备102可以但不限于是各种视频采集设备和图像采集设备。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种基于图像校验的人脸识别方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取视频数据,在视频数据中提取多帧样本图像。
在人脸识别过程中,可以通过摄像机实时采集视频数据,视频数据可以通过视频流的形式进行传输。服务器中预先配置有视频数据接口,服务器通过调用视频数据接口,获取摄像机采集到的视频数据。其中,视频数据可以通过多种传输协议进行传输。例如,视频数据的传输协议可以包括但不限于RTSP(Real Time Streaming Protocol,实时流传输协议)以及RTMP(Real Time Messaging Protocol,实时消息传输协议)等。
视频数据是指连续的图像序列,视频数据可以包括连续多帧在时间上存在先后顺序的图像数据。帧是视频数据中的最小视觉单元,视频数据中的每一帧可以对应一个图像数据。服务器对视频数据进行解析,得到视频数据中的多帧图像数据。服务器可以根据图像数据的先后顺序在视频数据中提取当前多帧数据。服务器将提取的当前多帧图像数据标记为样本图像。服务器提取样本图像的数量可以是根据实际需求预先设置的。
步骤204,根据样本图像确定基准图像。
服务器可以根据提取出的多帧样本图像,对多帧样本图像对应时间段内的图像内容是否相似进行判断,进而根据判断结果在多帧样本图像中确定基准图像。具体的,服务器可以将提取到的多帧样本图像进行相互比对,得到多个样本图像之间的样本相似度。服务器可以根据实际需求通过多种组合方式中的一种将多帧样本图像进行相互比对。例如,服务器可以根据样本图像在时间上的先后顺序对多帧样本图像进行排序,得到样本图像序列,服务器可以根据样本图像序列将相邻的两个样本图像进行相互比对,得到多个样本相似度。服务器还可以从多帧样本图像中确定一帧样本图像,将其他的多帧样本图像分别与确定出的一帧样本图像进行比对,得到多个样本相似度。其中,服务器确定的一帧样本图像可以是多帧样本图像中的第一帧样本图像。
样本图像之间的样本相似度可以用于表示两个样本图像所对应图像内容的相似程度。当样本图像之间的样本相似度较大时,表示对应样本图像的图像内容相似程度较高,在样本图像所对应的时间段内真实场景的变化较小,不需要多次重复对相似程度较高的图像数据进行识别。例如,在商场监控视频中,一段时间内所监控的特定位置区域未出现任何行人,对应的图像数据相似程度较高。当样本图像之间的样本相似度较小时,表示对应样本图像的图像内容相似程度较低,在样本图像所对应的时间段内真实场景的变化较大,需要快速对变化的图像数据进行识别,以此在快速、准确的进行图像识别时避免不必要的资源消耗,例如服务器的运算资源等,节省图像识别所消耗的资源成本。
当样本相似度大于样本阈值时,服务器可以确定样本图像作为基准图像。例如,样本阈值可以设置为95%。具体的,服务器可以提取多帧样本图像,多帧样本图像相互比对之后可以得到多个样本相似度。服务器可以将多个样本相似度分别与样本阈值进行比对。当多个样本相似度中的任意一个样本相似度均大于样本阈值时,表示多帧样本图像之间的相似程度较高,多帧样本图像所对应的图像内容未发生较大变化,服务器可以将该样本图像记作基准图像。基准图像可以用于对待检测图像进行比较,判断待检测图像所对应的图像内容是否发生较大变化,以此对待检测图像进行筛选。
步骤206,根据基准图像对视频数据中的待检测图像进行校验。
当服务器确定基准图像之后,服务器可以根据基准图像对视频数据中的待检测图像进行校验,从而对视频数据中的待检测图像进行过滤处理。其中,待检测图像可以是服务器从视频数据中提取的位于样本图像之后的图像数据。可以理解的,服务器可以按照图像数据在时间上的先后顺序,从视频数据中依次提取图像数据。服务器可以根据提取时间将提取到的图像数据分别记作样本图像或待检测图像。例如,服务器在获取到视频数据,需要确定基准图像以对图像数据进行校验时,可以将提取的图像数据记作样本图像,从而根据多帧样本图像确定基准图像。服务器在确定基准图像之后,可以将后续提取到的图像数据记作待检测图像,根据基准图像对待检测图像进行校验。
具体的,服务器可以从视频数据中依次提取样本图像之后的图像数据作为待检测图像,服务器可以将待检测图像逐一与基准图像进行比对,以对待检测图像进行校验。当待检测图像与基准图像校验成功时,重复将下一帧待检测图像与基准图像进行校验,直到待检测图像与基准图像校验失败。服务器将待检测图像与基准图像进行比对,可以得到待检测图像与基准图像之间的图像相似度。
服务器可以将图像相似度与图像阈值进行比对。在其中一个实施例中,图像阈值可以与样本阈值相同。当图像相似度大于或等于图像阈值时,服务器可以确定待检测图像与基准图像比对成功。当图像相似度小于图像阈值时,服务器可以确定待检测图像与基准图像比对失败。
步骤208,当待检测图像与基准图像之间的图像相似度小于图像阈值时,对待检测图像进行人脸目标检测,得到待识别人脸目标图像。
当待检测图像与基准图像之间的图像相似度小于图像阈值时,表示待检测图像所对应的图像内容与基准图像相比,发生了较为明显的变化,待检测图像不属于与基准图像相似的图像数据,服务器可以确定待检测图像与基准图像校验失败。当待检测图像与基准图像之间的图像相似度大于或者等于图像阈值时,确定待检测图像与基准图像校验成功。
服务器可以对校验失败的待检测图像进行人脸目标检测,实现了对视频数据中的图像数据进行过滤,从而得到待识别人脸目标图像。服务器可以调用训练后的人脸检测模型,通过人脸检测模型对筛选出的待检测图像进行人脸目标检测,得到所述待检测图像对应的人脸目标区域。服务器将检测到人脸目标区域的图像作为待识别人脸目标图像。
步骤210,将待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果。
步骤212,在图像匹配结果中确定满足预设条件的图像匹配结果,作为待识别人脸目标图像对应的人脸目标图像识别结果。
服务器在得到待识别人脸目标图像后,可以将待识别人脸目标图像发送至检索引擎,通过检索引擎根据待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果。例如,检索引擎可以是Milvus。历史抓拍图像库中存储有一段时间内所监控的特定位置区域检测到的人脸图像的图像信息。图像匹配结果中可以包括匹配到的图像标识以及待识别人脸目标图像与匹配到的每个图像之间的相似度、匹配到的图像的匹配时间、匹配到的图像对应的摄像头标识、匹配到的图像的统一资源定位符(Uniform Resource Locator,简称URL)。
当图像匹配结果存在匹配得到的图像时,服务器可以在多个图像匹配结果中确定满足预设条件的图像匹配结果,实现将不满足预设条件的图像匹配结果进行过滤。预设条件可以是待识别人脸目标图像与匹配到的每个图像之间的相似度大于预设阈值。例如,预设阈值可以是75%。服务器进而将满足预设条件的图像匹配结果作为待识别人脸目标图像对应的图像识别结果。
在本实施例中,服务器在获取的视频数据中提取多帧样本图像,根据样本图像确定基准图像,从而根据基准图像对视频数据中的待检测图像进行校验。当待检测图像与基准图像之间的图像相似度小于图像阈值时,服务器对待检测图像进行人脸目标检测,得到待识别人脸目标图像。实现对待检测图像进行筛选,从而避免重复对视频数据中图像相似度较大的待检测图像进行人脸目标检测,有效的节省了图像检测所消耗的资源。服务器将待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果,进而在图像匹配结果中确定满足预设条件的图像匹配结果,作为待识别人脸目标图像对应的图像识别结果。无需在预先部署的布控库中识别与待识别人脸目标图像对应的人脸图像,可以直接在历史抓拍图像库中进行图像匹配,从而对该待识别人脸目标图像进行识别,得到图像识别结果,从而确定该待识别人脸目标图像中的人脸目标在当前时刻之前是否出现过。
在其中一个实施例中,服务器还可以对待识别人脸目标图像进行解析,得到图像解析信息。图像解析信息可以包括待识别人脸目标图像的图像标识、待识别人脸目标图像的匹配时间、待识别人脸目标图像对应的摄像机标识等。服务器将图像解析信息以及待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果。无论图像匹配结果中是否存在匹配到的图像,服务器均会将图像解析信息以及待识别人脸目标图像存储至历史抓拍图像库中,以便后续进行图像检索。
在一个实施例中,如图3所示,将待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果的步骤包括:
步骤302,调用第一接口,通过第一接口将待识别人脸目标图像发送至检索引擎。
步骤304,通过检索引擎在历史抓拍图像库中对待识别人脸目标图像进行匹配,得到图像匹配结果。
服务器中预先部署有检索引擎。例如,检索引擎可以是Milvus。检索引擎中预先配置有第一接口。第一接口用于接收待识别人脸目标图像。服务器调用第一接口,通过第一接口接收待识别人脸目标图像,从而实现将待识别人脸图像发送至检索引擎。检索引擎中还可以预先部署有历史抓拍图像库。检索引擎进而根据获取到的待识别人脸目标图像在历史抓拍图像库中进行检索匹配,从而得到图像匹配结果。服务器可以预先设置检索引擎输出图像匹配结果的数量以及图像匹配结果的排列顺序。例如,可以设置检索引擎数据输出10个图像匹配结果。设置图像匹配结果按照相似度由大到小的顺序进行排列。
在本实施例中,服务器通过调用第一接口,将待识别人脸目标图像发送至检索引擎,从而通过检索引擎在历史抓拍图像库中对待识别人脸目标图像进行匹配,得到图像匹配结果。由于检索引擎是预先部署的,且可以直接对非结构化的待识别人脸目标图像进行检索匹配,能够有效提高图像匹配效率,实现实时检索匹配。
在一个实施例中,通过检索引擎在历史抓拍图像库中对待识别人脸目标图像进行匹配,得到图像匹配结果包括:通过检索引擎对待识别人脸目标图像进行特征提取,得到特征向量;通过检索引擎检索与特征向量对应的多个相似特征向量;通过检索引擎根据检索到的多个相似特征向量在历史抓拍图像库匹配对应的历史抓拍图像,生成图片匹配结果。
服务器中预先部署有检索引擎。检索引擎中预先部署有历史抓拍图像库,历史抓拍图像库中存储有一段时间内所监控的特定位置区域检测到的人脸图像的图像信息。图像信息可以包括历史抓拍图片的特征向量。检索引擎进而可以通过计算特征向量之间的相似度来对待识别人脸目标图像进行匹配。服务器将待识别人脸目标图像发送至检索引擎之后,可以通过检索引擎提取待识别人脸目标图像的特征向量。在提取到特征向量之后,通过检索引擎在历史抓拍图像库检索与该特征向量对应的多个相似特征向量。特征向量与历史抓拍图像可以是一一对应的。进而服务器通过检索引擎根据多个相似特征向量在历史抓拍图像库匹配对应的历史抓拍图像,生成图片匹配结果。
图像匹配结果中可以包括匹配到的图像标识以及待识别人脸目标图像与匹配到的每个图像之间的相似度、匹配到的图像的匹配时间、匹配到的图像对应的摄像头标识、匹配到的图像的统一资源定位符(Uniform Resource Locator,简称URL)。服务器可以预先设置检索引擎输出图像匹配结果的数量以及图像匹配结果的排列顺序。例如,可以设置检索引擎数据输出10个图像匹配结果。设置图像匹配结果按照相似度由大到小的顺序进行排列。
在本实施例中,服务器通过检索引擎对待识别人脸目标图像进行特征提取,得到特征向量,并在历史抓拍图像库中检索与特征向量对应的多个相似特征向量,进而根据检索到的多个相似特征向量在历史抓拍图像库匹配对应的历史抓拍图像,生成图片匹配结果。由于检索引擎能够同时对海量的非结构化的待识别人脸目标图像进行特征提取,进而根据提取的海量特征向量进行图像匹配,有效提高了图像匹配效率。
在一个实施例中,根据样本图像确定基准图像包括:对样本图像进行预处理;获取处理后的样本图像中多个像素点所对应的灰度值;根据灰度值确定样本图像所对应的特征信息;将样本图像对应的特征信息进行比对,得到样本图像之间的样本相似度;当样本相似度大于样本阈值时,确定样本图像作为基准图像。
服务器可以将样本图像进行比对,得到多个样本相似度,进而根据样本相似度确定基准图像。具体的,服务器可以通过相似度函数对两个样本图像进行处理,计算出两帧样本图像之间的样本相似度。例如,服务器具体可以采用差异哈希算法(Different hashalgorithm,简称DHA)、均值哈希算法(Average hash algorithm,简称AHA)、感知哈希算法(Perceptual hash algorithm,简称PHA)以及SIFT(Scale-invariant featuretransform,尺度不变特征变换)算法等。服务器可以对需要进行比对的两帧样本图像进行预处理,预处理包括多种处理方式中的至少一种。例如,预处理具体可以包括但不限于缩放处理以及灰度化处理。服务器可以对提取出的样本图像进行缩放处理,将样本图像缩放成预设尺寸大小的图像数据。其中,样本图像所缩放的尺寸大小可以是根据实际需求预先设置的。例如,根据实际需求的不同,服务器可以将样本图像缩小成32个像素或者72个像素等尺寸大小的图像数据,从而避免样本图像因为尺寸不同或者比例不同所造成的差异。
服务器可以将缩放后的样本图像进行灰度化处理,将样本图像转换为灰度图,从而减少样本图像的计算量。服务器可以获取处理后的样本图像中每个像素点所对应的灰度值,在进行灰度化处理后的样本图像中,每个像素点三个颜色通道的值是相等的。服务器可以根据每个像素点所对应的灰度值,确定样本图像所对应的特征信息。具体的,样本图像中的多个像素点是矩形排列的,服务器可以依次遍历每一行像素点所对应的灰度值。服务器可以根据像素点的排列顺序,将每一行中相邻像素点所对应的灰度值进行比对,判断前一个像素点的灰度值是否大于或等于后一个像素点的灰度值。服务器可以通过“0”和“1”对比对结果进行标记。当前一个像素点的灰度值大于或等于后一个像素点的灰度值时,服务器可以将比对结果记作“1”。当前一个像素点的灰度值小于后一个像素点的灰度值时,服务器可以将比对结果记作“0”。服务器对每一行的像素点进行遍历后,得到包括“0”和“1”的哈希值,服务器可以将样本图像的哈希值记作样本图像对应的特征信息。
服务器可以将两帧样本图像所对应的特征信息进行比对,得到样本图像之间的样本相似度。服务器具体可以逐一比对两帧样本图像各自对应的哈希值知否相同。例如,服务器可以根据样本图像对应的哈希值计算样本图像之间的汉明距离。汉明距离可以用于表示两个相同长度的字符串对应位不同的数量。服务器根据样本图像之间的汉明距离确定两帧样本图像之间的样本相似度。当样本相似度大于样本阈值时,表示多帧样本图像之间的相似程度较高,多帧样本图像所对应的图像内容未发生较大变化,服务器可以将该样本图像记作基准图像。
在本实施例中,服务器可以对样本图像进行预处理,根据处理后的样本图像中像素点对应的灰度值确定样本图像所对应的特征信息。从而服务器将样本图像对应的特征信息进行比对,得到样本图像之间的样本相似度。服务器可以根据样本相似度确定提取出的多帧样本图像是否相似,若相似则将该相似的图像数据进行过滤,避免重复对视频数据中图像相似度较大的图像数据进行人脸目标检测,减少了不必要的图像检测,有效的节省了图像检测所消耗的资源。
在一个实施例中,根据基准图像对视频数据中的待检测图像进行校验包括:根据预设采样率从视频数据中提取样本图像之后的图像作为待检测图像;将待检测图像与基准图像进行比对,得到图像相似度;当图像相似度大于或等于图像阈值时,重复根据预设采样率从视频数据中提取样本图像之后的图像作为待检测图像的步骤。
服务器在确定基准图像之后,可以根据预设采样率从视频数据中顺序提取样本图像之后的图像数据作为待检测图像。其中,预设采样率为用户根据实际需求预先设置的提取图像数据的频率。服务器提取待检测图像的采样率可以与提取样本图像的采样率相同。在其中一个实施例中,服务器提取图像数据的采样率可以与视频数据所对应的帧率相一致。
服务器可以依次将提取的待检测图像与基准图像进行比对,得到待检测图像与基准图像之间的图像相似度。其中,服务器比对待检测图像与基准图像的方式可以与上述实施例中服务器对样本图像进行比对的方式相同,故在此不再赘述。服务器可以将待检测图像与基准图像之间的图像相似度与图像阈值进行比对,判断待检测图像是否与基准图像相似。当图像相似度大于或等于图像阈值时,确定图像校验成功,表示待检测图像与基准图像相似,则没必要对相似的图像数据进行重复检测,对该相似的图像数据进行过滤。服务器从而重复从视频数据中顺序提取下一帧待检测图像与基准图像进行比对。在其中一个实施例中,当图像相似度小于图像阈值时,确定图像校验失败,表示待检测图像与基准图像不相似,待检测图像中可能出现活动的目标对象,服务器有必要对不同的待检测图像进行人脸目标检测。服务器可以对校验失败的待检测图像进行人脸目标检测,并清除基准图像,重新从视频数据中提取样本图像。
在本实施例中,在确定基准图像之后,服务器可以将视频数据中样本图像之后的图像数据记作待检测图像,通过将待检测图像与基准图像进行比对,对待检测图像进行相似度校验。当图像相似度大于或等于图像阈值时,表示待检测图像与基准图像相似,则没必要对相似的图像数据进行重复检测。服务器可以对该相似的图像数据进行过滤,进而重复提取下一帧待检测图像与基准图像进行比对,避免了服务器对相似的图像数据进行没有必要的重复检测,有效的节省了服务器的运算资源、电力消耗等资源成本,实现资源地有效利用,进一步提高了图像检测的效率,从而提高了人脸识别的效率。
在一个实施例中,上述方法还包括:调用第二接口,通过第二接口统计图像识别结果的数量;当统计得到的图像识别结果的数量大于预设阈值时,根据图像识别结果生成提示消息。
服务器预先配置有第二接口,第二接口用于对图像识别结果的数量进行统计。服务器在得到待识别人脸目标图像对应的图像识别结果之后,可以调用第二接口,通过第二接口对图像识别结果的数量进行统计。图像识别结果中可以包括该待识别人脸目标图像中人脸目标对应的多张图像。图像识别结果的数量用于表示该待识别人脸目标图像中人脸目标出现的次数。服务器将统计得到的图像识别结果的数量与预设阈值进行对比。例如,预设阈值可以是一次。当服务器统计得到的图像识别结果的数量大于预设阈值时,表示该待识别人脸目标图像中人脸目标出现的次数较多。服务器进而根据图像识别结果生成提示消息,将提示消息发送至监测设备。
在本实施例中,服务器通过调用第二接口,通过第二接口统计图像识别结果的数量,当统计得到的图像识别结果的数量大于预设阈值时,根据图像识别结果生成提示消息。从而有利于实现统计人脸识别场景中对人脸目标的出现次数,并生成相应的提示消息,以便满足不同人脸识别场景下的的业务需求。
应该理解的是,虽然图2至3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2至3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种基于图像校验的人脸识别装置,包括:通信模块402、第一确定模块404、校验模块406、检测模块408、匹配模块410和第二确定模块412,其中:
通信模块402,用于获取视频数据,在视频数据中提取多帧样本图像。
第一确定模块404,用于根据样本图像确定基准图像。
校验模块406,用于根据基准图像对视频数据中的待检测图像进行校验。
检测模块408,用于当待检测图像与基准图像之间的图像相似度小于图像阈值时,对待检测图像进行人脸目标检测,得到待识别人脸目标图像。
匹配模块410,用于将待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果。
第二确定模块412,用于在图像匹配结果中确定满足预设条件的图像匹配结果,作为待识别人脸目标图像对应的人脸目标图像识别结果。
在一个实施例中,匹配模块410还用于调用第一接口,通过第一接口将待识别人脸目标图像发送至检索引擎;通过检索引擎在历史抓拍图像库中对待识别人脸目标图像进行匹配,得到图像匹配结果。
在一个实施例中,匹配模块410还用于通过检索引擎对待识别人脸目标图像进行特征提取,得到特征向量;通过检索引擎在历史抓拍图像库中检索与特征向量对应的多个相似特征向量;通过检索引擎根据检索到的多个相似特征向量在历史抓拍图像库匹配对应的历史抓拍图像,生成图片匹配结果。
在一个实施例中,第一确定模块404还用于对样本图像进行预处理;获取处理后的样本图像中多个像素点所对应的灰度值;根据灰度值确定样本图像所对应的特征信息;将样本图像对应的特征信息进行比对,得到样本图像之间的样本相似度;当样本相似度大于样本阈值时,确定样本图像作为基准图像。
在一个实施例中,校验模块408还用于根据预设采样率从视频数据中提取样本图像之后的图像作为待检测图像;将待检测图像与基准图像进行比对,得到图像相似度;当图像相似度大于或等于图像阈值时,重复根据预设采样率从视频数据中提取样本图像之后的图像作为待检测图像的步骤。
在一个实施例中,上述装置还包括:统计模块,用于调用第二接口,通过第二接口统计图像识别结果的数量;当统计得到的图像识别结果的数量大于预设阈值时,根据图像识别结果生成提示消息。
关于基于图像校验的人脸识别装置的具体限定可以参见上文中对于基于图像校验的人脸识别方法的限定,在此不再赘述。上述基于图像校验的人脸识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待识别人脸目标图像。该计算机设备的网络接口用于与外部的监测设备通过网络连接通信。该计算机程序被处理器执行时以实现一种基于图像校验的人脸识别方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现上述各个实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各个实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于图像校验的人脸识别方法,所述方法包括:
获取视频数据,在所述视频数据中提取多帧样本图像;
根据所述样本图像确定基准图像;
根据所述基准图像对所述视频数据中的待检测图像进行校验;
当所述待检测图像与所述基准图像之间的图像相似度小于图像阈值时,对所述待检测图像进行人脸目标检测,得到待识别人脸目标图像;
将所述待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果;
在所述图像匹配结果中确定满足预设条件的图像匹配结果,作为所述待识别人脸目标图像对应的图像识别结果。
2.根据权利要求1所述的方法,其特征在于,所述将所述待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果包括:
调用第一接口,通过所述第一接口将所述待识别人脸目标图像发送至检索引擎;
通过所述检索引擎在历史抓拍图像库中对所述待识别人脸目标图像进行匹配,得到图像匹配结果。
3.根据权利要求2所述的方法,其特征在于,所述通过所述检索引擎在历史抓拍图像库中对所述待识别人脸目标图像进行匹配,得到图像匹配结果包括:
通过所述检索引擎对待识别人脸目标图像进行特征提取,得到特征向量;
通过所述检索引擎在历史抓拍图像库中检索与所述特征向量对应的多个相似特征向量;
通过所述检索引擎根据所述检索到的多个相似特征向量在所述历史抓拍图像库匹配对应的历史抓拍图像,生成图片匹配结果。
4.根据权利要求1所述的方法,其特征在于,所述根据所述样本图像确定基准图像包括:
对所述样本图像进行预处理;
获取处理后的样本图像中多个像素点所对应的灰度值;
根据所述灰度值确定所述样本图像所对应的特征信息;
将所述样本图像对应的特征信息进行比对,得到所述样本图像之间的样本相似度;
当所述样本相似度大于样本阈值时,确定所述样本图像作为基准图像。
5.根据权利要求1所述的方法,其特征在于,所述根据所述基准图像对所述视频数据中的待检测图像进行校验包括:
根据预设采样率从所述视频数据中提取所述样本图像之后的图像作为待检测图像;
将所述待检测图像与所述基准图像进行比对,得到图像相似度;
当所述图像相似度大于或等于所述图像阈值时,重复所述根据预设采样率从所述视频数据中提取所述样本图像之后的图像作为待检测图像的步骤。
6.根据权利要求1至5任意一项所述的方法,其特征在于,所述方法还包括:
调用第二接口,通过所述第二接口统计所述图像识别结果的数量;
当统计得到的图像识别结果的数量大于预设阈值时,根据所述图像识别结果生成提示消息。
7.一种基于图像校验的人脸识别装置,其特征在于,所述装置包括:
通信模块,用于获取视频数据,在所述视频数据中提取多帧样本图像;
第一确定模块,用于根据所述样本图像确定基准图像;
校验模块,用于根据所述基准图像对所述视频数据中的待检测图像进行校验;
检测模块,用于当所述待检测图像与所述基准图像之间的图像相似度小于图像阈值时,对所述待检测图像进行人脸目标检测,得到待识别人脸目标图像;
匹配模块,用于将所述待识别人脸目标图像在历史抓拍图像库中进行匹配,得到图像匹配结果;
第二确定模块,用于在所述图像匹配结果中确定满足预设条件的图像匹配结果,作为所述待识别人脸目标图像对应的人脸目标图像识别结果。
8.根据权利要求7所述的装置,其特征在于,所述匹配模块还用于调用第一接口,通过所述第一接口将所述待识别人脸目标图像发送至检索引擎;通过所述检索引擎在历史抓拍图像库中对所述待识别人脸目标图像进行匹配,得到图像匹配结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
CN201911407854.0A 2019-12-31 2019-12-31 基于图像校验的人脸识别方法、装置和计算机设备 Pending CN111241938A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911407854.0A CN111241938A (zh) 2019-12-31 2019-12-31 基于图像校验的人脸识别方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911407854.0A CN111241938A (zh) 2019-12-31 2019-12-31 基于图像校验的人脸识别方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN111241938A true CN111241938A (zh) 2020-06-05

Family

ID=70879499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911407854.0A Pending CN111241938A (zh) 2019-12-31 2019-12-31 基于图像校验的人脸识别方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN111241938A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111675059A (zh) * 2020-06-11 2020-09-18 深圳威富智慧家居科技有限公司 基于人脸识别的电梯控制方法、装置和计算机设备
CN112199998A (zh) * 2020-09-09 2021-01-08 浙江大华技术股份有限公司 一种人脸识别方法、装置、设备及介质
CN112307239A (zh) * 2020-10-29 2021-02-02 泰康保险集团股份有限公司 一种图像检索方法、装置、介质和设备
CN112667843A (zh) * 2021-01-18 2021-04-16 马瑞利汽车电子(广州)有限公司 一种图像输出校验方法
CN112818960A (zh) * 2021-03-25 2021-05-18 平安科技(深圳)有限公司 基于人脸识别的等待时长处理方法、装置、设备及介质
CN113191202A (zh) * 2021-04-07 2021-07-30 烟台艾睿光电科技有限公司 一种图像处理方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009482A (zh) * 2017-11-25 2018-05-08 宁波亿拍客网络科技有限公司 一种提高人脸识别效率方法
CN108259816A (zh) * 2016-12-28 2018-07-06 比亚迪股份有限公司 用于车辆监控视频的采集方法和装置
CN110598548A (zh) * 2019-08-07 2019-12-20 万翼科技有限公司 常住人员识别方法、装置、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259816A (zh) * 2016-12-28 2018-07-06 比亚迪股份有限公司 用于车辆监控视频的采集方法和装置
CN108009482A (zh) * 2017-11-25 2018-05-08 宁波亿拍客网络科技有限公司 一种提高人脸识别效率方法
CN110598548A (zh) * 2019-08-07 2019-12-20 万翼科技有限公司 常住人员识别方法、装置、计算机设备和存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111675059A (zh) * 2020-06-11 2020-09-18 深圳威富智慧家居科技有限公司 基于人脸识别的电梯控制方法、装置和计算机设备
CN112199998A (zh) * 2020-09-09 2021-01-08 浙江大华技术股份有限公司 一种人脸识别方法、装置、设备及介质
CN112199998B (zh) * 2020-09-09 2023-06-20 浙江大华技术股份有限公司 一种人脸识别方法、装置、设备及介质
CN112307239A (zh) * 2020-10-29 2021-02-02 泰康保险集团股份有限公司 一种图像检索方法、装置、介质和设备
CN112307239B (zh) * 2020-10-29 2024-02-02 泰康保险集团股份有限公司 一种图像检索方法、装置、介质和设备
CN112667843A (zh) * 2021-01-18 2021-04-16 马瑞利汽车电子(广州)有限公司 一种图像输出校验方法
CN112818960A (zh) * 2021-03-25 2021-05-18 平安科技(深圳)有限公司 基于人脸识别的等待时长处理方法、装置、设备及介质
CN112818960B (zh) * 2021-03-25 2023-09-05 平安科技(深圳)有限公司 基于人脸识别的等待时长处理方法、装置、设备及介质
CN113191202A (zh) * 2021-04-07 2021-07-30 烟台艾睿光电科技有限公司 一种图像处理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN111241938A (zh) 基于图像校验的人脸识别方法、装置和计算机设备
CN110490078B (zh) 监控视频处理方法、装置、计算机设备和存储介质
CN110490076B (zh) 活体检测方法、装置、计算机设备和存储介质
CN111222423B (zh) 基于作业区域的目标识别方法、装置、计算机设备
US10867166B2 (en) Image processing apparatus, image processing system, and image processing method
CN109241985B (zh) 一种图像识别方法及装置
CN110620905A (zh) 视频监控方法、装置、计算机设备和存储介质
EP3321844A1 (en) Action recognition in a video sequence
CN109426785B (zh) 一种人体目标身份识别方法及装置
US11132538B2 (en) Image processing apparatus, image processing system, and image processing method
CN110930434B (zh) 目标对象跟随方法、装置、存储介质和计算机设备
CN111260869B (zh) 监控视频中视频帧的提取方法、装置和计算机设备
CN111126208B (zh) 行人归档方法、装置、计算机设备及存储介质
CN109195011B (zh) 一种视频处理方法、装置、设备及存储介质
CN113139403A (zh) 违规行为识别方法、装置、计算机设备和存储介质
CN111242128A (zh) 目标检测方法、装置、计算机可读存储介质和计算机设备
CN111675059A (zh) 基于人脸识别的电梯控制方法、装置和计算机设备
CN111144241B (zh) 基于图像校验的目标识别方法、装置和计算机设备
CN112052702A (zh) 一种识别二维码的方法和装置
CN109996063B (zh) 视频图像花屏检测方法、装置、计算机设备和存储介质
CN114139016A (zh) 一种智慧小区的数据处理方法及系统
Tahboub et al. Accuracy prediction for pedestrian detection
CN114764895A (zh) 异常行为检测装置和方法
CN110163183B (zh) 目标检测算法的评估方法、装置、计算机设备和存储介质
CN113421241B (zh) 异常事件上报方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination