CN111460940A - 一种陌生人落脚点研判方法与系统 - Google Patents

一种陌生人落脚点研判方法与系统 Download PDF

Info

Publication number
CN111460940A
CN111460940A CN202010204313.4A CN202010204313A CN111460940A CN 111460940 A CN111460940 A CN 111460940A CN 202010204313 A CN202010204313 A CN 202010204313A CN 111460940 A CN111460940 A CN 111460940A
Authority
CN
China
Prior art keywords
frequency
stranger
strangers
elevator
snapshot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010204313.4A
Other languages
English (en)
Other versions
CN111460940B (zh
Inventor
王军
何志军
陆辉
黄力行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETHIK Group Ltd
Original Assignee
CETHIK Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETHIK Group Ltd filed Critical CETHIK Group Ltd
Priority to CN202010204313.4A priority Critical patent/CN111460940B/zh
Publication of CN111460940A publication Critical patent/CN111460940A/zh
Application granted granted Critical
Publication of CN111460940B publication Critical patent/CN111460940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/16Real estate
    • G06Q50/163Property management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Abstract

本发明公开了一种陌生人落脚点研判方法与系统,方法包括获取抓拍数据;根据人脸抓拍图像进行特征比对,得到身份比对结果;采用预先配置的高频陌生人识别规则,对身份比对结果进行处理,筛选出高频次出现的高频陌生人及其活动规律;获取电梯控制系统的实时数据和电梯监控系统的视频流数据;根据实时数据中的电梯开门时间从视频流数据中提取视频帧,将提取的视频帧与所有筛选出的高频陌生人进行比对,将电梯运行信息关联至比对相似度最高的高频陌生人,并获取该高频陌生人的活动规律,生成完整的落脚点信息。本发明既能保证流动人口落脚点数据准确鲜活,又能释放警力,提升社区民警的工作效能,提升社区的治安防控和社会服务能力。

Description

一种陌生人落脚点研判方法与系统
技术领域
本申请属于社区安防管控技术领域,具体涉及一种陌生人落脚点研判方法与系统。
背景技术
随着物联网、大数据、人工智能等技术的快速发展,智慧社区的建设得到了不断的完善和加强。
智慧社区的发展离不开安防这一建设切入点,社区安防管控又分为了三大阶段,分别为采集型、感知型、智慧型。采集型是以设施设备、链路、信息采集为基础,通过出入口控制、楼宇安防、社区网格化管理、周界防护等安防基础技术手段,实现各类社区服务的实时记录、事后翻查追溯、后置查询优化。感知型是充分利用第一阶段的采集基础,更新智能前端采集设备和用户交互手段,使得被动采集转变为主动感知,构建起来一个社区信息主动感知网络,这个网络基础以互联网、物联网、视频链路、传感器传输、社区服务等建设为主,信息化发展不断加强,各类大数据应用和社区服务型应用逐步加深,用户体验逐步能够满足社区多方的建设需求。智慧型是依托社区的智能硬件设备、管理机制、大数据分析和智能预警进行整合,建立监控、预警、分析、处置的全方位响应机制,实现快速联动,打造高度一体化的社区警务治理平台。
对于社区安防管控而言,其本质是对社区流动人口的管控,随着流动人口规模不断扩大,社区内的陌生人数量越来越多,基层社会管理难度越来越大。基层民警工作任务繁重、警力资源短缺,原有定期上门摸查的工作模式,造成流动人口在部分辖区内底数不清、情况不明。如何从大量的陌生人中识别出潜在未登记的流动人口,并分析研判落脚点已成为迫在眉睫的难题。
发明内容
本申请的目的在于提供一种陌生人落脚点研判方法与系统,既能保证流动人口落脚点数据准确鲜活,又能释放警力,提升社区民警的工作效能,提升社区的治安防控和社会服务能力。
为实现上述目的,本申请所采取的技术方案为:
一种陌生人落脚点研判方法,所述陌生人落脚点研判方法,包括:
获取抓拍数据,所述抓拍数据包括人脸抓拍图像、抓拍地址、抓拍时间;
根据所述人脸抓拍图像进行特征比对,得到身份比对结果;
采用预先配置的高频陌生人识别规则,对所述身份比对结果进行处理,筛选出高频次出现的高频陌生人及其活动规律;
获取电梯控制系统的实时数据和电梯监控系统的视频流数据,所述实时数据包括电梯运行信息,电梯运行信息包括电梯开门楼层和对应的电梯开门时间;
根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧,将提取的视频帧与所有筛选出的高频陌生人进行比对,将电梯运行信息关联至比对相似度最高的高频陌生人,并获取该高频陌生人的活动规律,生成完整的落脚点信息。
作为优选,所述采用预先配置的高频陌生人识别规则,对所述身份比对结果进行处理,筛选出高频次出现的高频陌生人及其活动规律,包括:
获取所述身份比对结果,所述身份比对结果包括人员相似度;
若身份比对结果中的人员相似度在a%~b%区间内,则视为名单库人员不进行落脚点研判;否则当前人员视为陌生人并读取预先配置的高频陌生人识别规则,以获取的该陌生人的人脸抓拍图像为标准进行搜索,得到该陌生人近N天内的所有抓拍数据;
根据搜索到的抓拍数据,判断是否符合高频陌生人识别规则,若不符合则保存该陌生人当前的抓拍数据;若符合则进一步判断该陌生人是否为已处理陌生人,若是已处理陌生人则保存该陌生人当前的抓拍数据;若不是已处理陌生人则标记该陌生人为高频次出现的高频陌生人,并根据搜索到的抓拍数据计算分析该高频陌生人的出现天数、常出现楼栋、常出现时间段、出现频次,作为该陌生人的活动规律。
作为优选,所述高频陌生人识别规则包括:近N天内出现天数超过n天且与人脸抓拍图像的人员相似度超过a%;
所述已处理陌生人包括:已被标记为高频陌生人的陌生人,标记为已核查的高频陌生人,标记为忽略的高频陌生人。
作为优选,所述根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧,将提取的视频帧与所有筛选出的高频陌生人进行比对,将电梯运行信息关联至比对相似度最高的高频陌生人,并获取该高频陌生人的活动规律,生成完整的落脚点信息,包括:
对得到的高频陌生人及其活动规律进行预处理,更新预先构建的高频陌生人库;
根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧;
将提取的视频帧与高频陌生人库中的高频陌生人进行比对,取人员相似度最高的比对结果,将对比结果中的高频陌生人与电梯运行信息进行关联;
获取关联了电梯运行信息后的高频陌生人的活动规律,生成完整的落脚点信息,所述落脚点信息包括人脸抓拍图像、常出现楼栋、常出现楼层、常出现时间段、出现总频次以及最近一次的抓拍时间。
作为优选,所述对得到的高频陌生人及其活动规律进行预处理,更新预先构建的高频陌生人库,包括:
获取高频陌生人的人脸抓拍图像;
根据人脸抓拍图像判断图像是否模糊或图像中人脸是否严重遮挡,若图像模糊或图像中人脸严重遮挡,则在高频次陌生人库对该高频陌生人添加忽略标记,即不作为最终的核查目标;否则不添加忽略标记,并根据人脸抓拍图像识别是否为具有明显身份特征且未登记的人员,若是则进行身份标记并添加至名单库中;否则将该高频陌生人及其活动规律添加至预先构建的高频陌生人库中。
本申请还提供一种陌生人落脚点研判系统,所述陌生人落脚点研判系统包括人脸接入模块、人脸分析识别模块、陌生人研判模块、电梯数据获取模块、落脚点分析模块,其中:
人脸接入模块,用于获取抓拍数据,所述抓拍数据包括人脸抓拍图像、抓拍地址、抓拍时间;
人脸分析识别模块,用于根据所述人脸抓拍图像进行特征比对,得到身份比对结果;
陌生人研判模块,用于采用预先配置的高频陌生人识别规则,对所述身份比对结果进行处理,筛选出高频次出现的高频陌生人及其活动规律;
电梯数据获取模块,用于获取电梯控制系统的实时数据和电梯监控系统的视频流数据,所述实时数据包括电梯运行信息,电梯运行信息包括电梯开门楼层和对应的电梯开门时间;
落脚点分析模块,用于根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧,将提取的视频帧与所有筛选出的高频陌生人进行比对,将电梯运行信息关联至比对相似度最高的高频陌生人,并获取该高频陌生人的活动规律,生成完整的落脚点信息。
作为优选,所述陌生人研判模块采用预先配置的高频陌生人识别规则,对所述身份比对结果进行处理,筛选出高频次出现的高频陌生人及其活动规律,执行如下操作:
获取所述身份比对结果,所述身份比对结果包括人员相似度;
若身份比对结果中的人员相似度在a%~b%区间内,则视为名单库人员不进行落脚点研判;否则当前人员视为陌生人并读取预先配置的高频陌生人识别规则,以获取的该陌生人的人脸抓拍图像为标准进行搜索,得到该陌生人近N天内的所有抓拍数据;
根据搜索到的抓拍数据,判断是否符合高频陌生人识别规则,若不符合则保存该陌生人当前的抓拍数据;若符合则进一步判断该陌生人是否为已处理陌生人,若是已处理陌生人则保存该陌生人当前的抓拍数据;若不是已处理陌生人则标记该陌生人为高频次出现的高频陌生人,并根据搜索到的抓拍数据计算分析该高频陌生人的出现天数、常出现楼栋、常出现时间段、出现频次,作为该陌生人的活动规律。
作为优选,所述高频陌生人识别规则包括:近N天内出现天数超过n天且与人脸抓拍图像的人员相似度超过a%;
所述已处理陌生人包括:已被标记为高频陌生人的陌生人,标记为已核查的高频陌生人,标记为忽略的高频陌生人。
作为优选,所述落脚点分析模块根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧,将提取的视频帧与所有筛选出的高频陌生人进行比对,将电梯运行信息关联至比对相似度最高的高频陌生人,并获取该高频陌生人的活动规律,生成完整的落脚点信息,执行如下操作:
对得到的高频陌生人及其活动规律进行预处理,更新预先构建的高频陌生人库;
根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧;
将提取的视频帧与高频陌生人库中的高频陌生人进行比对,取人员相似度最高的比对结果,将对比结果中的高频陌生人与电梯运行信息进行关联;
获取关联了电梯运行信息后的高频陌生人的活动规律,生成完整的落脚点信息,所述落脚点信息包括人脸抓拍图像、常出现楼栋、常出现楼层、常出现时间段、出现总频次以及最近一次的抓拍时间。
作为优选,所述落脚点分析模块对得到的高频陌生人及其活动规律进行预处理,更新预先构建的高频陌生人库,执行如下操作:
获取高频陌生人的人脸抓拍图像;
根据人脸抓拍图像判断图像是否模糊或图像中人脸是否严重遮挡,若图像模糊或图像中人脸严重遮挡,则在高频次陌生人库对该高频陌生人添加忽略标记,即不作为最终的核查目标;否则不添加忽略标记,并根据人脸抓拍图像识别是否为具有明显身份特征且未登记的人员,若是则进行身份标记并添加至名单库中;否则将该高频陌生人及其活动规律添加至预先构建的高频陌生人库中。
与现有技术相比,本申请提供的陌生人落脚点研判方法与系统具有以下有益效果:
1)本申请可以根据各个社区居住人口的实际情况自定义配置高频陌生人识别规则,从大量的陌生人中,精准分析出潜在的未登记的流动人口,减轻了社区民警的工作量。
2)本申请的名单库与社区的人口库、访客库实时对接,保证底库人员数据的准确性和鲜活性。
3)本申请与电梯控制系统以及电梯监控系统实时对接,保证进入电梯的高频陌生人人脸和疑似居住楼层能自动关联,保证流动人口落脚点数据准确鲜活。
4)通过大量数据的积累和计算,可以分析出陌生人活动规律及其落脚点信息,落脚点可以精确到楼层,民警可以知道何时、何地上门核实身份信息,大大提高了工作效率,并且通过不断的循环累积,社区内陌生人会逐渐减少。
5)本申请最终得到高频次陌生人常出现地址以及时间,解决了社区民警该何时、何地上门核查陌生人身份信息的问题,辅助公安部门提高社区治安防控和社会服务能力。
附图说明
图1为本申请的陌生人落脚点研判方法的流程图;
图2为本申请中特征比对的一种实施例流程图;
图3为本申请陌生人研判的一种实施例流程图;
图4为本申请落脚点信息生成的一种实施例流程图;
图5为本申请的陌生人落脚点研判系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是在于限制本申请。
其中一个实施例中,提供一种陌生人落脚点研判方法,该方法从大量的陌生人中识别出潜在未登记的流动人口,并分析其落脚点,解决了社区民警何时、何地上门核查陌生人身份信息的问题,帮助公安部门提高社区治安防控和社会服务能力。
如图1所示,本实施例中的陌生人落脚点研判方法可针对小区、公司、园区等具有一定范围以及管理制度的区域进行,本实施例以居住小区为例进行说明,陌生人落脚点研判方法包括以下步骤:
步骤1、获取抓拍数据,抓拍数据包括人脸抓拍图像、抓拍地址、抓拍时间。
抓拍动作由人脸图像采集设备完成,例如摄像机。并且在小区内安装有多个人脸图像采集设备,例如人脸图像采集设备安装在小区各个楼栋的出入口,进出楼栋的所有人员都会被高清网络摄像机抓拍记录。人脸图像采集设备可以输出最优的人脸抓拍图像、抓拍时间、抓拍地址、人脸区域和设备编号等抓拍数据,作为基础的数据来源。其中抓拍地址对应于楼栋号,以便于定位陌生人常出现的楼栋。
步骤2、根据所述人脸抓拍图像进行特征比对,得到身份比对结果。
为了便于数据管理,本实施例中设有名单库,管理并动态维护小区人口库、访客库、黑名单库等名单库和人员信息,并对名单库人脸进行建模和存储特征值,得到名单库中人员对应的特征值库,同时接收实时的人脸抓拍图像,自动对人脸抓拍图像进行人脸检测、提取特征值,与各名单库进行特征值比对,识别人员身份信息。并且除名单库以外还管理并维护高频陌生人库,用于存储在名单库以外的高频次出现的陌生人的相关信息。
如图2所示,在一实施例中进行特征比对包括如下步骤:
步骤2.1、获取人脸抓拍图像的图像地址。
步骤2.2、根据图像地址将抓拍到的人脸抓拍图像缓存到抓拍队列。
步骤2.3、按先进先出的顺序从抓拍队列中取出待处理的人脸抓拍图像。
步骤2.4、自动检索人脸抓拍图像中的人脸,分析建模提取特征值。
步骤2.5、特征值比对,动态维护小区人口的特征值库,将提取的特征值与特征值库进行比对,识别最佳的身份比对结果。
步骤2.6、推送身份比对结果待用。
名单库中的人员支持实时更新,即始终保持具有最佳的特征值库,以便于提高人员身份识别的准确性。
步骤3、采用预先配置的高频陌生人识别规则,对所述身份比对结果进行处理,筛选出高频次出现的高频陌生人及其活动规律。
如图3所示,陌生人研判包括以下步骤:
步骤3.1、获取身份比对结果,所述身份比对结果包括人员相似度。身份比对结果缓存在结果队列中,在陌生人研判时依次取身份比对结果进行研判。
步骤3.2、若身份比对结果中识别出的人员相似度在a%~b%区间内,则视为名单库人员不进行落脚点研判,即该人员具有已识别的人员身份,返回步骤3.1从结果队列中取下一个身份对比结果进行研判;否则执行步骤3.3。
步骤3.3、当前人员视为陌生人并读取预先配置的高频陌生人识别规则,以获取的该陌生人的人脸抓拍图像为标准进行搜索,得到该陌生人近N天内的所有抓拍数据。
步骤3.4、根据搜索到的抓拍数据,判断是否符合高频陌生人识别规则,若不符合则保存该陌生人当前的抓拍数据,并返回步骤3.1从结果队列中取下一个身份对比结果进行研判;否则执行步骤3.5。
步骤3.5、判断该陌生人是否为已处理陌生人,若是已处理陌生人则保存该陌生人当前的抓拍数据,并返回步骤3.1从结果队列中取下一个身份对比结果进行研判;若不是已处理陌生人则执行步骤3.6。
其中,已处理陌生人包括:已被标记为高频陌生人的陌生人,标记为已核查的高频陌生人(即该陌生人的身份已由公安部门核查),标记为忽略的高频陌生人。判断是否为已处理陌生人可避免重复标记。
步骤3.6、标记该陌生人为高频次出现的高频陌生人,并根据搜索到的抓拍数据计算分析该高频陌生人的出现天数、常出现楼栋、常出现时间段、出现频次,作为该陌生人的活动规律。
小区内的陌生人数量过于庞大,各个小区居住的人员类别差异较大,为了分析出潜在的流动人口,可以根据每个小区人口分布的实际情况和运行效果动态的配置高频陌生人识别规则,根据预先配置的规则,计算分析符合规则的陌生人活动规律。一般设置高频陌生人识别规则包括:近N天内出现天数超过n天且与人脸抓拍图像的人员相似度超过a%。
在一实施例中,高频陌生人的识别规则包括以下参数:检索时间段、检索时间段内出现的天数阈值、人脸抓拍图像的人员相似度阈值。比如检索时间段设置为近十天,检索时间段内出现的天数阈值设置为八天,人脸抓拍图像的人员相似度阈值设置为80%至100%区间,则具体高频陌生人识别规则为:近十天内出现天数超过八天且与人脸抓拍图像的人员相似度超过80%。
在判断是否符合高频陌生人识别规则时,由于以获取的该陌生人的人脸抓拍图像为标准进行搜索,则根据搜索到的抓拍数据,首先筛选出搜索中人员相似度超过80%的抓拍数据,然后根据筛选出的抓拍数据对应的时间判断该陌生人是否在近十天内出现天数超过八天,若是则符合高频陌生人识别规则;否则不符合。
由于小区中的累计陌生人数量是在不断增长的,其中有一部分陌生人虽然在某一楼栋内出现过,但并非居住在该楼栋内,通过设置阈值,可以筛选大量的无效数据,减少社区民警排查的工作量。同时,近十天内出现天数超过阈值的陌生人,有相当大的可能性是居住在该楼栋且未登记的陌生人,是社区管控的关注对象,大大提高了系统对陌生人研判的精确度。
通过配置高频陌生人识别规则,分析出了潜在的流动人口及其活动规律信息,但是落脚点仅精确到了楼栋,因此,需要进一步精确楼层信息,以有效降低排查工作量。
步骤4、获取电梯控制系统的实时数据和电梯监控系统的视频流数据,所述实时数据包括电梯运行信息,电梯运行信息包括电梯开门楼层和对应的电梯开门时间。
电梯运行信息可以反映每一乘客在楼栋内的运动轨迹,因此本申请获取电梯相关数据,以便于将陌生人落脚点精确至楼层。
其中电梯控制系统与电梯监控系统为电梯的常规系统,本实施例重点在于实时数据和视频流数据的使用,因此这里不对电梯控制系统与电梯监控系统进行详述。
为了保证本实施例的研判方法适用于各小区,对于无电梯的小区而言,可在各楼栋的各层楼梯口安装摄像机,从而关联人员与楼层信息。还可以进一步采用电梯监控与楼梯口监控相结合的方式,以保证数据的完整性。
步骤5、根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧,将提取的视频帧与所有筛选出的高频陌生人进行比对,将电梯运行信息关联至比对相似度最高的高频陌生人,并获取该高频陌生人的活动规律,生成完整的落脚点信息。
为了明确陌生人在楼栋内的具体落脚点,本申请根据电梯所到楼层的人员进出锁定高频陌生人最终的所到楼层。
由于电梯运行期间,可能会停留多个楼层,因此需要对视频流数据进行预处理,筛选出有效的视频帧数据,即从多次电梯开门楼层中筛选某乘客居住的疑似楼层。在一实施例中,提供了两种筛选方法:第一种为调整监控的角度,只记录进入电梯的视频监控,保证进入的乘客为当前楼层的乘客,获取该乘客所有的进入电梯时所在楼层,除去一层以及底下楼层的数据,筛选出进入电梯次数最多的楼层作为该乘客的疑似居住楼层,保存该乘客在该楼层的视频帧;第二种为不要求监控特殊角度安装,统计乘客从各楼层出入电梯的次数,除去一层以及底下楼层的数据,筛选出进入电梯次数最多的楼层作为该乘客的疑似居住楼层,保存该乘客在该楼层的视频帧。
在一实施例中,如图4所示,提供的落脚点信息生成步骤如下:
步骤5.1、对步骤3.6得到的高频陌生人及其活动规律进行预处理,更新预先构建的高频陌生人库。预处理可降低图片或特殊人员的信息干扰,降低身份识别结果的错误率,本实施例提供的一种预处理方法为:
步骤5.1.1、获取高频陌生人的人脸抓拍图像。
步骤5.1.2、根据人脸抓拍图像判断图像是否模糊或图像中人脸是否严重遮挡,若图像模糊或图像中人脸严重遮挡,则在高频次陌生人库对该高频陌生人添加忽略标记,即不作为最终的核查目标;否则不添加忽略标记并执行步骤5.1.3。
图像模糊或图像中人脸严重遮挡时,会影响后续陌生人与电梯运行信息关联的准确性。严重遮挡的判断标准可根据识别能力进行调整,例如设置人脸遮挡超过60%作为严重遮挡。并且上述预处理工作可通过人工筛选或者通过训练神经网络实现自动筛选。
步骤5.1.3、根据人脸抓拍图像识别是否为具有明显身份特征且未登记的人员,若是则进行身份标记并添加至名单库的访客库中;否则将该高频陌生人及其活动规律添加至预先构建的高频陌生人库中,更新高频陌生人库。
其中具有明显身份特征且未登记的人员,比如社区的外卖员、快递员、保洁、安保、红袖标等人员,该类人员虽然符合高频陌生人识别规则,但并非潜在的社区流动人口,该人员从高频次陌生人库中剔除,并添加至访客库中。
步骤5.2、根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧。
步骤5.3、将提取的视频帧与高频陌生人库中的高频陌生人进行比对,取人员相似度最高的比对结果,将对比结果中的高频陌生人与电梯运行信息进行关联。
步骤5.4、获取关联了电梯运行信息后的高频陌生人的活动规律,生成完整的落脚点信息,所述落脚点信息包括人脸抓拍图像、常出现楼栋、常出现楼层、常出现时间段、出现总频次以及最近一次的抓拍时间。
本申请的陌生人落脚点研判方法,不仅可定位陌生人常出现的小区或楼栋,还可明确至楼层,相对于现有技术而言识别精度更高,因此民警不再需要摸查整栋楼,也不需要知道什么时间去摸查,只需要收到预警信息后,根据生成的楼栋、楼层、时间、抓拍照去核查,大大缩小了摸查范围,也避免了居住人员不在家的问题,大大提高了工作效率。
如图5所示,在另一实施例中,还提供一种陌生人落脚点研判系统,本实施例的陌生人落脚点研判系统包括人脸接入模块、人脸分析识别模块、陌生人研判模块、电梯数据获取模块、落脚点分析模块,其中:
人脸接入模块,用于获取抓拍数据,所述抓拍数据包括人脸抓拍图像、抓拍地址、抓拍时间,并对抓拍数据(包括图片、音频、视频文件)进行编码、分发与存储;
人脸分析识别模块,用于根据所述人脸抓拍图像进行特征比对,得到身份比对结果;
陌生人研判模块,用于采用预先配置的高频陌生人识别规则,对所述身份比对结果进行处理,筛选出高频次出现的高频陌生人及其活动规律;
电梯数据获取模块,用于获取电梯控制系统的实时数据和电梯监控系统的视频流数据,所述实时数据包括电梯运行信息,电梯运行信息包括电梯开门楼层和对应的电梯开门时间;
落脚点分析模块,用于根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧,将提取的视频帧与所有筛选出的高频陌生人进行比对,将电梯运行信息关联至比对相似度最高的高频陌生人,并获取该高频陌生人的活动规律,生成完整的落脚点信息。
本实施例中的人脸接入模块与人脸图像采集模块对接,由人脸图像采集模块对运动中的人脸进行检测、跟踪、抓拍、评分、筛选,得到最优的人脸抓拍图像,输出抓拍数据至人脸接入模块。
具体的,所述陌生人研判模块采用预先配置的高频陌生人识别规则,对所述身份比对结果进行处理,筛选出高频次出现的高频陌生人及其活动规律,执行如下操作:
获取所述身份比对结果,所述身份比对结果包括人员相似度;
若身份比对结果中的人员相似度在a%~b%区间内,则视为名单库人员不进行落脚点研判;否则当前人员视为陌生人并读取预先配置的高频陌生人识别规则,以获取的该陌生人的人脸抓拍图像为标准进行搜索,得到该陌生人近N天内的所有抓拍数据;
根据搜索到的抓拍数据,判断是否符合高频陌生人识别规则,若不符合则保存该陌生人当前的抓拍数据;若符合则进一步判断该陌生人是否为已处理陌生人,若是已处理陌生人则保存该陌生人当前的抓拍数据;若不是已处理陌生人则标记该陌生人为高频次出现的高频陌生人,并根据搜索到的抓拍数据计算分析该高频陌生人的出现天数、常出现楼栋、常出现时间段、出现频次,作为该陌生人的活动规律。
具体的,所述高频陌生人识别规则包括:近N天内出现天数超过n天且与人脸抓拍图像的人员相似度超过a%;
所述已处理陌生人包括:已被标记为高频陌生人的陌生人,标记为已核查的高频陌生人,标记为忽略的高频陌生人。
具体的,所述落脚点分析模块根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧,将提取的视频帧与所有筛选出的高频陌生人进行比对,将电梯运行信息关联至比对相似度最高的高频陌生人,并获取该高频陌生人的活动规律,生成完整的落脚点信息,执行如下操作:
对得到的高频陌生人及其活动规律进行预处理,更新预先构建的高频陌生人库;
根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧;
将提取的视频帧与高频陌生人库中的高频陌生人进行比对,取人员相似度最高的比对结果,将对比结果中的高频陌生人与电梯运行信息进行关联;
获取关联了电梯运行信息后的高频陌生人的活动规律,生成完整的落脚点信息,所述落脚点信息包括人脸抓拍图像、常出现楼栋、常出现楼层、常出现时间段、出现总频次以及最近一次的抓拍时间。
具体的,所述落脚点分析模块对得到的高频陌生人及其活动规律进行预处理,更新预先构建的高频陌生人库,执行如下操作:
获取高频陌生人的人脸抓拍图像;
根据人脸抓拍图像判断图像是否模糊或图像中人脸是否严重遮挡,若图像模糊或图像中人脸严重遮挡,则在高频次陌生人库对该高频陌生人添加忽略标记,即不作为最终的核查目标;否则不添加忽略标记,并根据人脸抓拍图像识别是否为具有明显身份特征且未登记的人员,若是则进行身份标记并添加至名单库中;否则将该高频陌生人及其活动规律添加至预先构建的高频陌生人库中。
关于陌生人落脚点研判系统的进一步限定,可参数上述对于陌生人落脚点研判方法的限定,这里不再进行赘述。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种陌生人落脚点研判方法,其特征在于,所述陌生人落脚点研判方法,包括:
获取抓拍数据,所述抓拍数据包括人脸抓拍图像、抓拍地址、抓拍时间;
根据所述人脸抓拍图像进行特征比对,得到身份比对结果;
采用预先配置的高频陌生人识别规则,对所述身份比对结果进行处理,筛选出高频次出现的高频陌生人及其活动规律;
获取电梯控制系统的实时数据和电梯监控系统的视频流数据,所述实时数据包括电梯运行信息,电梯运行信息包括电梯开门楼层和对应的电梯开门时间;
根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧,将提取的视频帧与所有筛选出的高频陌生人进行比对,将电梯运行信息关联至比对相似度最高的高频陌生人,并获取该高频陌生人的活动规律,生成完整的落脚点信息。
2.如权利要求1所述的陌生人落脚点研判方法,其特征在于,所述采用预先配置的高频陌生人识别规则,对所述身份比对结果进行处理,筛选出高频次出现的高频陌生人及其活动规律,包括:
获取所述身份比对结果,所述身份比对结果包括人员相似度;
若身份比对结果中的人员相似度在a%~b%区间内,则视为名单库人员不进行落脚点研判;否则当前人员视为陌生人并读取预先配置的高频陌生人识别规则,以获取的该陌生人的人脸抓拍图像为标准进行搜索,得到该陌生人近N天内的所有抓拍数据;
根据搜索到的抓拍数据,判断是否符合高频陌生人识别规则,若不符合则保存该陌生人当前的抓拍数据;若符合则进一步判断该陌生人是否为已处理陌生人,若是已处理陌生人则保存该陌生人当前的抓拍数据;若不是已处理陌生人则标记该陌生人为高频次出现的高频陌生人,并根据搜索到的抓拍数据计算分析该高频陌生人的出现天数、常出现楼栋、常出现时间段、出现频次,作为该陌生人的活动规律。
3.如权利要求2所述的陌生人落脚点研判方法,其特征在于,所述高频陌生人识别规则包括:近N天内出现天数超过n天且与人脸抓拍图像的人员相似度超过a%;
所述已处理陌生人包括:已被标记为高频陌生人的陌生人,标记为已核查的高频陌生人,标记为忽略的高频陌生人。
4.如权利要求2所述的陌生人落脚点研判方法,其特征在于,所述根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧,将提取的视频帧与所有筛选出的高频陌生人进行比对,将电梯运行信息关联至比对相似度最高的高频陌生人,并获取该高频陌生人的活动规律,生成完整的落脚点信息,包括:
对得到的高频陌生人及其活动规律进行预处理,更新预先构建的高频陌生人库;
根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧;
将提取的视频帧与高频陌生人库中的高频陌生人进行比对,取人员相似度最高的比对结果,将对比结果中的高频陌生人与电梯运行信息进行关联;
获取关联了电梯运行信息后的高频陌生人的活动规律,生成完整的落脚点信息,所述落脚点信息包括人脸抓拍图像、常出现楼栋、常出现楼层、常出现时间段、出现总频次以及最近一次的抓拍时间。
5.如权利要求4所述的陌生人落脚点研判方法,其特征在于,所述对得到的高频陌生人及其活动规律进行预处理,更新预先构建的高频陌生人库,包括:
获取高频陌生人的人脸抓拍图像;
根据人脸抓拍图像判断图像是否模糊或图像中人脸是否严重遮挡,若图像模糊或图像中人脸严重遮挡,则在高频次陌生人库对该高频陌生人添加忽略标记,即不作为最终的核查目标;否则不添加忽略标记,并根据人脸抓拍图像识别是否为具有明显身份特征且未登记的人员,若是则进行身份标记并添加至名单库中;否则将该高频陌生人及其活动规律添加至预先构建的高频陌生人库中。
6.一种陌生人落脚点研判系统,其特征在于,所述陌生人落脚点研判系统包括人脸接入模块、人脸分析识别模块、陌生人研判模块、电梯数据获取模块、落脚点分析模块,其中:
人脸接入模块,用于获取抓拍数据,所述抓拍数据包括人脸抓拍图像、抓拍地址、抓拍时间;
人脸分析识别模块,用于根据所述人脸抓拍图像进行特征比对,得到身份比对结果;
陌生人研判模块,用于采用预先配置的高频陌生人识别规则,对所述身份比对结果进行处理,筛选出高频次出现的高频陌生人及其活动规律;
电梯数据获取模块,用于获取电梯控制系统的实时数据和电梯监控系统的视频流数据,所述实时数据包括电梯运行信息,电梯运行信息包括电梯开门楼层和对应的电梯开门时间;
落脚点分析模块,用于根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧,将提取的视频帧与所有筛选出的高频陌生人进行比对,将电梯运行信息关联至比对相似度最高的高频陌生人,并获取该高频陌生人的活动规律,生成完整的落脚点信息。
7.如权利要求6所述的陌生人落脚点研判系统,其特征在于,所述陌生人研判模块采用预先配置的高频陌生人识别规则,对所述身份比对结果进行处理,筛选出高频次出现的高频陌生人及其活动规律,执行如下操作:
获取所述身份比对结果,所述身份比对结果包括人员相似度;
若身份比对结果中的人员相似度在a%~b%区间内,则视为名单库人员不进行落脚点研判;否则当前人员视为陌生人并读取预先配置的高频陌生人识别规则,以获取的该陌生人的人脸抓拍图像为标准进行搜索,得到该陌生人近N天内的所有抓拍数据;
根据搜索到的抓拍数据,判断是否符合高频陌生人识别规则,若不符合则保存该陌生人当前的抓拍数据;若符合则进一步判断该陌生人是否为已处理陌生人,若是已处理陌生人则保存该陌生人当前的抓拍数据;若不是已处理陌生人则标记该陌生人为高频次出现的高频陌生人,并根据搜索到的抓拍数据计算分析该高频陌生人的出现天数、常出现楼栋、常出现时间段、出现频次,作为该陌生人的活动规律。
8.如权利要求7所述的陌生人落脚点研判系统,其特征在于,所述高频陌生人识别规则包括:近N天内出现天数超过n天且与人脸抓拍图像的人员相似度超过a%;
所述已处理陌生人包括:已被标记为高频陌生人的陌生人,标记为已核查的高频陌生人,标记为忽略的高频陌生人。
9.如权利要求7所述的陌生人落脚点研判系统,其特征在于,所述落脚点分析模块根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧,将提取的视频帧与所有筛选出的高频陌生人进行比对,将电梯运行信息关联至比对相似度最高的高频陌生人,并获取该高频陌生人的活动规律,生成完整的落脚点信息,执行如下操作:
对得到的高频陌生人及其活动规律进行预处理,更新预先构建的高频陌生人库;
根据实时数据中的电梯开门时间从所述视频流数据中提取视频帧;
将提取的视频帧与高频陌生人库中的高频陌生人进行比对,取人员相似度最高的比对结果,将对比结果中的高频陌生人与电梯运行信息进行关联;
获取关联了电梯运行信息后的高频陌生人的活动规律,生成完整的落脚点信息,所述落脚点信息包括人脸抓拍图像、常出现楼栋、常出现楼层、常出现时间段、出现总频次以及最近一次的抓拍时间。
10.如权利要求9所述的陌生人落脚点研判系统,其特征在于,所述落脚点分析模块对得到的高频陌生人及其活动规律进行预处理,更新预先构建的高频陌生人库,执行如下操作:
获取高频陌生人的人脸抓拍图像;
根据人脸抓拍图像判断图像是否模糊或图像中人脸是否严重遮挡,若图像模糊或图像中人脸严重遮挡,则在高频次陌生人库对该高频陌生人添加忽略标记,即不作为最终的核查目标;否则不添加忽略标记,并根据人脸抓拍图像识别是否为具有明显身份特征且未登记的人员,若是则进行身份标记并添加至名单库中;否则将该高频陌生人及其活动规律添加至预先构建的高频陌生人库中。
CN202010204313.4A 2020-03-21 2020-03-21 一种陌生人落脚点研判方法与系统 Active CN111460940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010204313.4A CN111460940B (zh) 2020-03-21 2020-03-21 一种陌生人落脚点研判方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010204313.4A CN111460940B (zh) 2020-03-21 2020-03-21 一种陌生人落脚点研判方法与系统

Publications (2)

Publication Number Publication Date
CN111460940A true CN111460940A (zh) 2020-07-28
CN111460940B CN111460940B (zh) 2024-02-13

Family

ID=71685639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010204313.4A Active CN111460940B (zh) 2020-03-21 2020-03-21 一种陌生人落脚点研判方法与系统

Country Status (1)

Country Link
CN (1) CN111460940B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232178A (zh) * 2020-10-13 2021-01-15 重庆紫光华山智安科技有限公司 基于人像聚档的区域落脚点判定方法、系统、设备及介质
CN112330514A (zh) * 2020-09-29 2021-02-05 佳都新太科技股份有限公司 一种社区治安信息评估方法、装置、设备及存储介质
CN112418091A (zh) * 2020-11-23 2021-02-26 单昂 一种基于大数据的智慧校园安防数据处理方法
CN112766119A (zh) * 2021-01-11 2021-05-07 厦门兆慧网络科技有限公司 一种基于多维度人脸分析精准识别陌生人构建社区安防的方法
CN114783040A (zh) * 2022-06-23 2022-07-22 东莞先知大数据有限公司 一种楼宇内偷拍行为检测方法及检测装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021112A (ja) * 2006-07-12 2008-01-31 Canon Inc 防犯システム、端末装置及び防犯方法
JP2011195227A (ja) * 2010-03-17 2011-10-06 Toshiba Elevator Co Ltd エレベータの防犯用追尾撮影システム
JP2013065187A (ja) * 2011-09-16 2013-04-11 Nec Casio Mobile Communications Ltd 防犯システム、情報処理装置、防犯システムの管理方法及びプログラム
CN105357480A (zh) * 2015-11-10 2016-02-24 杭州敦崇科技股份有限公司 公共场所无线上网安全管理系统及其运行方法
CN107067504A (zh) * 2016-12-25 2017-08-18 北京中海投资管理有限公司 一种人脸识别安防系统及可疑人员检测与预警方法
CN107480626A (zh) * 2017-08-09 2017-12-15 广州云从信息科技有限公司 一种采用人脸识别的人口普查监控的方法
US20180260630A1 (en) * 2017-03-10 2018-09-13 Turing Video, Inc. Activity recognition method and system
CN109598661A (zh) * 2017-09-30 2019-04-09 河南星云慧通信技术有限公司 基于人脸识别的智慧社区安防系统及检测方法
CN110009784A (zh) * 2019-04-02 2019-07-12 深圳市万物云科技有限公司 基于人工智能的监控联防方法和装置及系统与存储介质
CN110446015A (zh) * 2019-08-30 2019-11-12 北京青岳科技有限公司 一种基于计算机视觉的异常行为监控方法及系统
CN110598548A (zh) * 2019-08-07 2019-12-20 万翼科技有限公司 常住人员识别方法、装置、计算机设备和存储介质
CN110852287A (zh) * 2019-11-15 2020-02-28 智慧视通(杭州)科技发展有限公司 基于形体识别的城市区域布控系统及其布控方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021112A (ja) * 2006-07-12 2008-01-31 Canon Inc 防犯システム、端末装置及び防犯方法
JP2011195227A (ja) * 2010-03-17 2011-10-06 Toshiba Elevator Co Ltd エレベータの防犯用追尾撮影システム
JP2013065187A (ja) * 2011-09-16 2013-04-11 Nec Casio Mobile Communications Ltd 防犯システム、情報処理装置、防犯システムの管理方法及びプログラム
CN105357480A (zh) * 2015-11-10 2016-02-24 杭州敦崇科技股份有限公司 公共场所无线上网安全管理系统及其运行方法
CN107067504A (zh) * 2016-12-25 2017-08-18 北京中海投资管理有限公司 一种人脸识别安防系统及可疑人员检测与预警方法
US20180260630A1 (en) * 2017-03-10 2018-09-13 Turing Video, Inc. Activity recognition method and system
CN107480626A (zh) * 2017-08-09 2017-12-15 广州云从信息科技有限公司 一种采用人脸识别的人口普查监控的方法
CN109598661A (zh) * 2017-09-30 2019-04-09 河南星云慧通信技术有限公司 基于人脸识别的智慧社区安防系统及检测方法
CN110009784A (zh) * 2019-04-02 2019-07-12 深圳市万物云科技有限公司 基于人工智能的监控联防方法和装置及系统与存储介质
CN110598548A (zh) * 2019-08-07 2019-12-20 万翼科技有限公司 常住人员识别方法、装置、计算机设备和存储介质
CN110446015A (zh) * 2019-08-30 2019-11-12 北京青岳科技有限公司 一种基于计算机视觉的异常行为监控方法及系统
CN110852287A (zh) * 2019-11-15 2020-02-28 智慧视通(杭州)科技发展有限公司 基于形体识别的城市区域布控系统及其布控方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴滨;杨小龙;: "人脸识别与视频结构化技术在警务实战过程中的建设与应用", no. 04, pages 24 - 28 *
陈军明,王宁: "智能安防社区在警务实战中的思考", vol. 172, no. 1, pages 68 - 71 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330514A (zh) * 2020-09-29 2021-02-05 佳都新太科技股份有限公司 一种社区治安信息评估方法、装置、设备及存储介质
CN112232178A (zh) * 2020-10-13 2021-01-15 重庆紫光华山智安科技有限公司 基于人像聚档的区域落脚点判定方法、系统、设备及介质
CN112418091A (zh) * 2020-11-23 2021-02-26 单昂 一种基于大数据的智慧校园安防数据处理方法
CN112418091B (zh) * 2020-11-23 2021-07-13 常州易学网络科技有限公司 一种基于大数据的智慧校园安防数据处理方法
CN112766119A (zh) * 2021-01-11 2021-05-07 厦门兆慧网络科技有限公司 一种基于多维度人脸分析精准识别陌生人构建社区安防的方法
CN114783040A (zh) * 2022-06-23 2022-07-22 东莞先知大数据有限公司 一种楼宇内偷拍行为检测方法及检测装置
CN114783040B (zh) * 2022-06-23 2022-09-20 东莞先知大数据有限公司 一种楼宇内偷拍行为检测方法及检测装置

Also Published As

Publication number Publication date
CN111460940B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN111460940A (zh) 一种陌生人落脚点研判方法与系统
CN108052925B (zh) 一种小区人员档案智能管理方法
CN110428522B (zh) 一种智慧新城的智能安防系统
CN106998444B (zh) 一种大数据人脸监控系统
CN110222640B (zh) 监控场所中嫌疑人的识别方法、装置、方法和存储介质
CN109635146B (zh) 一种基于图像特征的目标查询方法及系统
CN112132045B (zh) 一种基于计算机视觉的小区人员异常行为监控方案
CN102622580A (zh) 一种人脸检测识别方法及系统
CN110674761B (zh) 一种区域行为预警方法及系统
CN110717408B (zh) 一种基于tof相机的人流计数方法
CN109815878B (zh) 基于人脸识别的落脚点分析方法和装置
CN108710827A (zh) 一种社区微警务巡查和信息自动分析系统及方法
CN112183162A (zh) 一种监控场景下人脸自动注册识别系统及方法
CN112866647A (zh) 一种基于智慧社区的物业智能化管理系统
CN111353338A (zh) 一种基于营业厅视频监控的能效改进方法
CN112766119A (zh) 一种基于多维度人脸分析精准识别陌生人构建社区安防的方法
CN116798176A (zh) 基于大数据和智慧安防的数据管理系统
CN115620471A (zh) 一种基于大数据筛查的图像识别安防系统
CN111767881A (zh) 一种基于ai技术的自适应人群密度估计装置
CN106791636A (zh) 一种重点人群监控系统和方法
CN111353343A (zh) 一种基于视频监控的营业厅服务规范质检方法
CN112132057A (zh) 一种多维身份识别方法及系统
CN117011774A (zh) 基于场景知识元的集群行为理解系统
CN111369394B (zh) 基于大数据的景区客流量统计评估系统及方法
CN113591619A (zh) 一种基于录像视频的人脸识别核验装置及其核验方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant