CN114898516B - 基于物联网的运维监控服务管理系统 - Google Patents

基于物联网的运维监控服务管理系统 Download PDF

Info

Publication number
CN114898516B
CN114898516B CN202210384568.2A CN202210384568A CN114898516B CN 114898516 B CN114898516 B CN 114898516B CN 202210384568 A CN202210384568 A CN 202210384568A CN 114898516 B CN114898516 B CN 114898516B
Authority
CN
China
Prior art keywords
person
image
information
module
personnel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210384568.2A
Other languages
English (en)
Other versions
CN114898516A (zh
Inventor
张发胜
张晏
曾令军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hongpu Technology Co ltd
Original Assignee
Shenzhen Hongpu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hongpu Technology Co ltd filed Critical Shenzhen Hongpu Technology Co ltd
Priority to CN202210384568.2A priority Critical patent/CN114898516B/zh
Publication of CN114898516A publication Critical patent/CN114898516A/zh
Application granted granted Critical
Publication of CN114898516B publication Critical patent/CN114898516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/1966Wireless systems, other than telephone systems, used to communicate with a camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了基于物联网的运维监控服务管理系统,属于物联网技术领域,包括图像采集器、图像分析处理器、运维监控服务器、实时监测记录器和声光报警器,图像采集器通过5G网络与图像分析处理器进行数据传输,图像分析处理器通过5G网络与运维监控服务器按照全双工通信方式进行数据传输。本发明解决了社区内居住的人员不能及时地了解社区内的安全情况及作出相应地防范,其安全性低下的问题,通过实时监测记录器对可疑人员的运行轨迹进行实时监测记录,且将防范信息传输给移动终端,通过声光报警器声光报警且提醒社区内人员注意安全,加强防范,使社区内人员可快速了解社区内安全情况,便于及时作出防范,其安全性得到极大地提高。

Description

基于物联网的运维监控服务管理系统
技术领域
本发明涉及物联网技术领域,特别涉及基于物联网的运维监控服务管理系统。
背景技术
物联网是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术,实时采集任何需要监控、连接、互动的物体或过程,采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息,通过各类可能的网络接入,实现物与物、物与人的泛在连接,实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体,它让所有能够被独立寻址的普通物理对象形成互联互通的网络。
公开号为CN110611669A的中国专利公开了一种基于物联网的智能运维管理系统,包括服务器,安装在监控机箱内部用于定位的GPS模块、用于检测监控机箱内部环境温度湿度的温湿度传感器、用于检测电流的电流传感器、用于检测电压的电压传感器、用于检测监控机箱内部是否浸水的水浸传感器、以及用于检测监控机箱内部工作设备状态的设备状态检测模块,监控机箱内部设有用于收集检测数据的数据采集模块,数据采集模块通过无线通信模块将检测数据发送给服务器;本发明提供的技术方案能够有效克服现有技术所存在的无法对监控机箱的运维进行有效管理的缺陷。但是上述专利存在以下缺陷:
不能实时地对进入社区内的人员进行预判,导致社区内居住的人员不能及时地了解社区内的安全情况及作出相应地防范,其安全性低下。
发明内容
本发明的目的在于提供基于物联网的运维监控服务管理系统,通过实时监测记录器对可疑人员的运行轨迹进行实时监测记录,且将防范信息传输给移动终端,通过声光报警器声光报警且提醒社区内人员注意安全,加强防范,使社区内人员可快速了解社区内安全情况,便于及时作出防范,其安全性得到极大地提高,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
基于物联网的运维监控服务管理系统,包括图像采集器、图像分析处理器、运维监控服务器、实时监测记录器和声光报警器,所述图像采集器通过5G网络与图像分析处理器按照半双工通信方式进行数据传输,所述图像分析处理器通过5G网络与运维监控服务器按照全双工通信方式进行数据传输,所述运维监控服务器通过5G网络与实时监测记录器按照半双工通信方式进行数据传输,所述运维监控服务器还通过5G网络与声光报警器按照半双工通信方式进行数据传输。
进一步地,所述图像采集器用于实时采集人员图像信息,且将实时采集的人员图像信息传输给图像分析处理器;所述图像分析处理器用于对实时采集的人员图像信息进行图像分析处理,且将处理结果传输给运维监控服务器;所述运维监控服务器用于运维监控社区,且将需要监控的指令传输给实时监测记录器;所述实时监测记录器用于对可疑人员进行实时监测记录,且将实时监测记录的可疑人员信息传输给运维监控服务器,且运维监控服务器控制声光报警器启动;所述声光报警器用于声光报警且提醒社区内人员注意安全,加强防范。
进一步地,所述运维监控服务管理方法包括如下步骤:
S1:通过图像采集器实时采集进入社区内的人员图像信息,人员图像信息采集后,图像采集器通过5G网络将人员图像信息传输给图像分析处理器;
S2:通过图像分析处理器对实时采集的人员图像信息进行综合地分析处理,根据实时采集的人员图像信息判断该进入社区内的人员是否为可疑人员,且图像分析处理器通过5G网络将分析处理结果传输给运维监控服务器;
S3:若该人员为可疑人员,则运维监控服务器传输指令给实时监测记录器和声光报警器,通过实时监测记录器对可疑人员的运行轨迹进行实时监测记录,通过声光报警器声光报警且提醒社区内人员注意安全,加强防范;
S4:若该人员不为可疑人员,则声光报警器不声光报警,运维监控服务器继续运维监控进入社区内的人员。
进一步地,所述图像采集器包括高清摄像头、高清摄像机和扫描仪,所述高清摄像头、高清摄像机和扫描仪安装在社区门口处且高清摄像头、高清摄像机和扫描仪均用于实时采集人员图像信息,高清摄像头、高清摄像机和扫描仪实时采集进入社区内的人员图像信息后,通过5G网络将人员图像信息传输给图像分析处理器。
进一步地,所述图像分析处理器包括图像读取模块、图像处理模块、图像存储模块和图像分析模块,所述图像读取模块的输出端与图像处理模块的输入端电性连接,所述图像处理模块的输出端与图像存储模块的输入端电性连接,所述图像存储模块的输出端与图像分析模块的输入端电性连接,所述图像分析模块与图像处理模块双向电性连接,其中
图像读取模块用于快速读取图像采集器实时采集的人员图像信息,且将采集的人员图像信息传输给图像处理模块;
图像处理模块用于对读取的人员图像信息进行处理,提取人员图像信息关键词,加快处理人员图像信息,且将处理的人员图像信息传输给图像存储模块;
图像存储模块用于存储采集的人员图像信息,且将存储的人员图像信息传输给图像分析模块;
图像分析模块用于分析处理人员图像信息,根据处理过的人员图像信息判断该进入社区内的人员是否为可疑人员,从而确保社区安全。
进一步地,所述图像存储模块包括可疑人员存储单元和可信人员存储单元,所述可疑人员存储单元用于存储可疑人员的图像信息,所述可信人员存储单元用于存储可信人员的图像信息,所述图像分析模块根据处理过的人员图像信息判断该进入社区内的人员是否为可疑人员,若该人员为可疑人员,则将该可疑人员的人员信息存储在可疑人员存储单元内,若该人员不为可疑人员,则将该可信人员的人员信息存储在可信人员存储单元内。
进一步地,所述运维监控服务器包括防范信息编辑模块、防范信息发送模块和运维监控服务平台,所述运维监控服务平台的输出端与防范信息编辑模块的输入端电性连接,所述防范信息编辑模块的输出端与防范信息发送模块的输入端电性连接,所述防范信息发送模块的输出端与防范信息接受模块的输入端电性连接,所述防范信息接受模块内置在移动终端上,其中
防范信息编辑模块用于自动编辑防范信息;
防范信息发送模块用于向移动终端发送防范信息;
运维监控服务平台用于运维监控社区;
防范信息接受模块用于接受防范信息;
移动终端用于接受来自运维监控服务器传输的防范信息。
进一步地,所述运维监控服务器和移动终端进行数据传输时,包括如下步骤:
S1:图像分析模块分析进入社区内的人员为可疑人员时,图像分析模块将分析结果传输给运维监控服务平台;
S2:运维监控服务平台向防范信息编辑模块传输指令,通过防范信息编辑模块自动编辑防范信息;
S3:防范信息编辑好后,防范信息编辑模块向防范信息发送模块传输指令,通过防范信息发送模块自动发送防范信息;
S4:防范信息发送后,防范信息发送模块向防范信息接受模块传输指令,通过防范信息接受模块自动接受防范信息,且在移动终端上显示防范信息。
进一步地,所述实时监测记录器包括实时监测模块、实时记录模块、线路汇总模块和运行轨迹生成模块,所述实时监测模块的输出端与实时记录模块的输入端电性连接,所述实时记录模块的输出端与线路汇总模块的输入端电性连接,所述线路汇总模块的输出端与运行轨迹生成模块的输入端电性连接,其中
实时监测模块用于实时监测可疑人员的运行信息;
实时记录模块用于实时记录可疑人员的运行信息;
线路汇总模块用于将可疑人员的运行信息汇总;
运行轨迹生成模块用于将汇总的运行信息生成运行轨迹,便于运维监控服务器及移动终端查看。
进一步地,所述图像分析模块分析处理人员图像信息的过程,还包括:
获取所述人员图像信息,在所述图像信息中提取该人员的面部信息;
基于所述面部信息,分别建立男性面部特征和女性面部特征,并分别将所述男性面部特征和女性面部特征输入到所述可疑人员存储单元,判断该人员是否属于已存储可疑人员;
若不属于,分别将所述男性面部特征和女性面部特征输入到所述可信人员存储单元,判断该人员是否属于已存储可信人员;
若不属于,根据所述人员图像信息建立该人员的躯干特征,并分别将所述男性面部特征和女性面部特征与所述躯干特征进行协调连接,根据连接结果分析该人员的性别;
在5G网络中提取与该人员性别一致的公开危险人员对应的危险图像信息;
根据该人员的面部信息在所述人员图像信息中提取该人员性别对应的面部特征,结合所述躯干特征生成第一对比空间、第二对比空间;
将每个危险图像信息输入到所述第一对比空间进行第一对比工作,提取第一危险图像信息;
将所述第一危险图像信息输入到所述第二对比空间进行第二对比工作,提取第二危险图像信息;
若对比结果为0,确定该人员为可信人员,所述人员图像信息输入到所述可信人员存储单元进行存储;
若对比结果不为0,且所述第二危险图像信息的数量不为1,获取每一第二危险图像信息的发布地址;
基于所述发布地址与本地地址之间的距离,提取可疑度最高的目标危险图像信息,确定该人员为可疑人员;
提取所述目标危险图像信息涉及的危险事件,分析该人员的危险程度,将所述人员图像信息输入到所述可疑人员存储单元对应的危险层进行存储。
进一步地,所述分别将所述男性面部特征和女性面部特征输入到所述可信人员存储单元,判断该人员是否属于已存储可信人员,包括:
对所述男性面部特征和女性面部特征分别进行表征轮廓特征提取,获取该人员的基础轮廓特征;
根据所述基础轮廓特征在已存储可信人员数据库中进行匹配,获取相似度大于等于第一预设阈值的多个匹配可信人员;
获取每个匹配可信人员的面部特征图像,提取每个面部特征图像的纹理参数及其权重值,根据每个面部特征图像的纹理参数及其权重值计算出该人员的第一人脸信息与每个匹配可信人员的第二人脸信息的对比度:
Figure BDA0003594364640000061
其中,a表示为该人员的第一人脸信息,b表示为第b个匹配可信人员的第二人脸信息,pab表示为该人员的第一人脸信息与第b个匹配可信人员的第二人脸信息的对比度,Qab表示为该人员的基础轮廓特征与第b个匹配可信人员的基础轮廓特征的偏差度,Na表示为该人员的基础轮廓特征对应的面部特征图像中像素点的数量,i表示为第i个像素点,Fai表示为该人员的面部特征图像中第i个像素点的纹理参数,Gai表示为该人员的面部特征图像中第i个像素点的纹理参数的权重值,Ua表示为该人员的面部特征图像中模态特征占比,Mb表示为第b个匹配可信人员的面部特征图像中像素点的数量,j表示为第j个像素点,Fbj表示为第b个匹配可信人员的面部特征图像中第j个像素点的纹理参数,Gbj表示为第b个匹配可信人员的面部特征图像中第j个像素点的纹理参数的权重值,Ub表示为第b个匹配可信人员的面部特征图像中模态特征占比,δ表示为图像清晰度所带来的误差因子;
选择对比度最大的目标可信人员;
根据目标可信人员与该人员的目标对比度计算出二者面部特征图像的重合系数:
Figure BDA0003594364640000071
其中,d表示为目标可信人员,Kad表示为该人员与目标可信人员的面部特征图像的重合系数,μad表示为该人员与目标可信人员的面部特征图像的像素偏移率,e表示为自然常数,取值为2.72,θad表示为该人员与目标可信人员的面部特征图像的轮廓重合度,α表示为预设边界误差值;
确认所述重合系数是否大于等于第二预设阈值,若是,确认该人员属于已存储可信人员,否则,确认该人员不属于已存储可信人员。
与现有技术相比,本发明的有益效果是:
本发明的基于物联网的运维监控服务管理系统,通过图像采集器实时采集进入社区内的人员图像信息,人员图像信息采集后,通过图像分析处理器对实时采集的人员图像信息进行综合地分析处理,根据实时采集的人员图像信息判断该进入社区内的人员是否为可疑人员,若该人员为可疑人员,则运维监控服务器传输指令给实时监测记录器和声光报警器,通过实时监测记录器对可疑人员的运行轨迹进行实时监测记录,且将防范信息传输给移动终端,通过声光报警器声光报警且提醒社区内人员注意安全,加强防范,若该人员不为可疑人员,则声光报警器不声光报警,运维监控服务器继续运维监控进入社区内的人员,使社区内人员可快速了解社区内安全情况,便于及时作出防范,其安全性得到极大地提高。
附图说明
图1为本发明的基于物联网的运维监控服务管理系统的结构图;
图2为本发明的运维监控服务管理方法的流程图;
图3为本发明的运维监控服务管理方法的算法图;
图4为本发明的运维监控服务管理系统的模块图;
图5为本发明的运维监控服务器和移动终端数据传输的流程图;
图6为本发明的运维监控服务管理系统的架构图。
图中:1、图像采集器;11、高清摄像头;12、高清摄像机;13、扫描仪;2、图像分析处理器;21、图像读取模块;22、图像处理模块;23、图像存储模块;231、可疑人员存储单元;232、可信人员存储单元;24、图像分析模块;3、运维监控服务器;31、防范信息编辑模块;32、防范信息发送模块;33、运维监控服务平台;4、实时监测记录器;41、实时监测模块;42、实时记录模块;43、线路汇总模块;44、运行轨迹生成模块;5、声光报警器;6、移动终端;61、防范信息接受模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1,基于物联网的运维监控服务管理系统,包括图像采集器1、图像分析处理器2、运维监控服务器3、实时监测记录器4和声光报警器5,图像采集器1通过5G网络与图像分析处理器2按照半双工通信方式进行数据传输,图像分析处理器2通过5G网络与运维监控服务器3按照全双工通信方式进行数据传输,运维监控服务器3通过5G网络与实时监测记录器4按照半双工通信方式进行数据传输,运维监控服务器3还通过5G网络与声光报警器5按照半双工通信方式进行数据传输。
图像采集器1用于实时采集人员图像信息,且将实时采集的人员图像信息传输给图像分析处理器2;图像分析处理器2用于对实时采集的人员图像信息进行图像分析处理,且将处理结果传输给运维监控服务器3;运维监控服务器3用于运维监控社区,且将需要监控的指令传输给实时监测记录器4;实时监测记录器4用于对可疑人员进行实时监测记录,且将实时监测记录的可疑人员信息传输给运维监控服务器3,且运维监控服务器3控制声光报警器5启动;声光报警器5用于声光报警且提醒社区内人员注意安全,加强防范。
参阅图2-图3,运维监控服务管理方法包括如下步骤:
S1:通过图像采集器1实时采集进入社区内的人员图像信息,人员图像信息采集后,图像采集器1通过5G网络将人员图像信息传输给图像分析处理器2;
S2:通过图像分析处理器2对实时采集的人员图像信息进行综合地分析处理,根据实时采集的人员图像信息判断该进入社区内的人员是否为可疑人员,且图像分析处理器2通过5G网络将分析处理结果传输给运维监控服务器3;
S3:若该人员为可疑人员,则运维监控服务器3传输指令给实时监测记录器4和声光报警器5,通过实时监测记录器4对可疑人员的运行轨迹进行实时监测记录,通过声光报警器5声光报警且提醒社区内人员注意安全,加强防范;
S4:若该人员不为可疑人员,则声光报警器5不声光报警,运维监控服务器3继续运维监控进入社区内的人员。
参阅图4,图像采集器1包括高清摄像头11、高清摄像机12和扫描仪13,高清摄像头11、高清摄像机12和扫描仪13安装在社区门口处且高清摄像头11、高清摄像机12和扫描仪13均用于实时采集人员图像信息,高清摄像头11、高清摄像机12和扫描仪13实时采集进入社区内的人员图像信息后,通过5G网络将人员图像信息传输给图像分析处理器2。
图像分析处理器2包括图像读取模块21、图像处理模块22、图像存储模块23和图像分析模块24,图像读取模块21的输出端与图像处理模块22的输入端电性连接,图像处理模块22的输出端与图像存储模块23的输入端电性连接,图像存储模块23的输出端与图像分析模块24的输入端电性连接,图像分析模块24与图像处理模块22双向电性连接,其中
图像读取模块21用于快速读取图像采集器1实时采集的人员图像信息,且将采集的人员图像信息传输给图像处理模块22;
图像处理模块22用于对读取的人员图像信息进行处理,提取人员图像信息关键词,加快处理人员图像信息,且将处理的人员图像信息传输给图像存储模块23;
图像存储模块23用于存储采集的人员图像信息,且将存储的人员图像信息传输给图像分析模块24;
图像分析模块24用于分析处理人员图像信息,根据处理过的人员图像信息判断该进入社区内的人员是否为可疑人员,从而确保社区安全。
图像存储模块23包括可疑人员存储单元231和可信人员存储单元232,可疑人员存储单元231用于存储可疑人员的图像信息,可信人员存储单元232用于存储可信人员的图像信息,图像分析模块24根据处理过的人员图像信息判断该进入社区内的人员是否为可疑人员,若该人员为可疑人员,则将该可疑人员的人员信息存储在可疑人员存储单元231内,若该人员不为可疑人员,则将该可信人员的人员信息存储在可信人员存储单元232内。
运维监控服务器3包括防范信息编辑模块31、防范信息发送模块32和运维监控服务平台33,运维监控服务平台33的输出端与防范信息编辑模块31的输入端电性连接,防范信息编辑模块31的输出端与防范信息发送模块32的输入端电性连接,防范信息发送模块32的输出端与防范信息接受模块61的输入端电性连接,防范信息接受模块61内置在移动终端6上,其中
防范信息编辑模块31用于自动编辑防范信息;
防范信息发送模块32用于向移动终端6发送防范信息;
运维监控服务平台33用于运维监控社区;
防范信息接受模块61用于接受防范信息;
移动终端6用于接受来自运维监控服务器3传输的防范信息。
参阅图5,运维监控服务器3和移动终端6进行数据传输时,包括如下步骤:
S1:图像分析模块24分析进入社区内的人员为可疑人员时,图像分析模块24将分析结果传输给运维监控服务平台33;
S2:运维监控服务平台33向防范信息编辑模块31传输指令,通过防范信息编辑模块31自动编辑防范信息;
S3:防范信息编辑好后,防范信息编辑模块31向防范信息发送模块32传输指令,通过防范信息发送模块32自动发送防范信息;
S4:防范信息发送后,防范信息发送模块32向防范信息接受模块61传输指令,通过防范信息接受模块61自动接受防范信息,且在移动终端6上显示防范信息。
参阅图6,实时监测记录器4包括实时监测模块41、实时记录模块42、线路汇总模块43和运行轨迹生成模块44,实时监测模块41的输出端与实时记录模块42的输入端电性连接,实时记录模块42的输出端与线路汇总模块43的输入端电性连接,线路汇总模块43的输出端与运行轨迹生成模块44的输入端电性连接,其中
实时监测模块41用于实时监测可疑人员的运行信息;
实时记录模块42用于实时记录可疑人员的运行信息;
线路汇总模块43用于将可疑人员的运行信息汇总;
运行轨迹生成模块44用于将汇总的运行信息生成运行轨迹,便于运维监控服务器3及移动终端6查看。
在一个实例中,所述图像分析模块24分析处理人员图像信息的过程,还包括:
获取所述人员图像信息,在所述图像信息中提取该人员的面部信息;
基于所述面部信息,分别建立男性面部特征和女性面部特征,并分别将所述男性面部特征和女性面部特征输入到所述可疑人员存储单元231,判断该人员是否属于已存储可疑人员;
若不属于,分别将所述男性面部特征和女性面部特征输入到所述可信人员存储单元232,判断该人员是否属于已存储可信人员;
若不属于,根据所述人员图像信息建立该人员的躯干特征,并分别将所述男性面部特征和女性面部特征与所述躯干特征进行协调连接,根据连接结果分析该人员的性别;
在5G网络中提取与该人员性别一致的公开危险人员对应的危险图像信息;
根据该人员的面部信息在所述人员图像信息中提取该人员性别对应的面部特征,结合所述躯干特征生成第一对比空间、第二对比空间;
将每个危险图像信息输入到所述第一对比空间进行第一对比工作,提取第一危险图像信息;
将所述第一危险图像信息输入到所述第二对比空间进行第二对比工作,提取第二危险图像信息;
若对比结果为0,确定该人员为可信人员,所述人员图像信息输入到所述可信人员存储单元232进行存储;
若对比结果不为0,且所述第二危险图像信息的数量不为1,获取每一第二危险图像信息的发布地址;
基于所述发布地址与本地地址之间的距离,提取可疑度最高的目标危险图像信息,确定该人员为可疑人员;
提取所述目标危险图像信息涉及的危险事件,分析该人员的危险程度,将所述人员图像信息输入到所述可疑人员存储单元231对应的危险层进行存储。
该实例中,面部信息表示人员图像信息中包含的该人员面部的信息;
该实例中,男性面部特征表示将面部信息融入男性面部所建立的面部特征;
该实例中,女性面部特征表示将面部信息融入女性面部所建立的面部特征;
该实例中,躯干特征包括该人员的身高,体态;
该实例中,发布地址表示发布危险人员的网络地址;
该实例中,危险事件表示危险人员曾经涉及的事件。
上述技术方案的工作原理:获取人员图像信息并提取该人员的面部信息然后分别建立男性面部特征和女性面部特征,根据已经存储的可疑人员和可信人员判断该人员的身份,若此时无法判断该人员的身份,建立该人员的躯干特征,然后将所述男性面部特征和女性面部特征与躯干特征进行协调连接,分析该人员的性别,然后根据性别在5G网络中提取公开危险人员以及对应的危险图像信息,提取该人员性别对应的面部特征,结合所述躯干特征生成第一对比空间、第二对比空间,进行第一对比工作和第二对比工作,最后提取第二危险图像信息,此时根据对比结果可以判断该人员是否为可信人员,输入到对应的存储单元进行存储,若该人员为可疑人员,分析该人员的危险程度,再进行存储。
上述技术方案的有益效果:通过分析人员图像信息,确定进入社区的人员的身份,进一步加强社区的管理,避免危险人员对社区内活动人员造成伤害,为了加强管理力度,对每一个进行社区的人员进行图像分析,同时,利用两个不同的存储单元分别存储可信人员和可疑人员,可疑快速确认非首次进入社区的人员的身份,针对首次进入社区的人员进行全方位分析,并将分析结果存储留用,这样一来不仅保证了社区的安全还加快了检测速度,节约人员时间。
在一个实施例中,所述分别将所述男性面部特征和女性面部特征输入到所述可信人员存储单元232,判断该人员是否属于已存储可信人员,包括:
对所述男性面部特征和女性面部特征分别进行表征轮廓特征提取,获取该人员的基础轮廓特征;
根据所述基础轮廓特征在已存储可信人员数据库中进行匹配,获取相似度大于等于第一预设阈值的多个匹配可信人员;
获取每个匹配可信人员的面部特征图像,提取每个面部特征图像的纹理参数及其权重值,根据每个面部特征图像的纹理参数及其权重值计算出该人员的第一人脸信息与每个匹配可信人员的第二人脸信息的对比度:
Figure BDA0003594364640000141
其中,a表示为该人员的第一人脸信息,b表示为第b个匹配可信人员的第二人脸信息,pab表示为该人员的第一人脸信息与第b个匹配可信人员的第二人脸信息的对比度,Qab表示为该人员的基础轮廓特征与第b个匹配可信人员的基础轮廓特征的偏差度,Na表示为该人员的基础轮廓特征对应的面部特征图像中像素点的数量,i表示为第i个像素点,Fai表示为该人员的面部特征图像中第i个像素点的纹理参数,Gai表示为该人员的面部特征图像中第i个像素点的纹理参数的权重值,Ua表示为该人员的面部特征图像中模态特征占比,Mb表示为第b个匹配可信人员的面部特征图像中像素点的数量,j表示为第j个像素点,Fbj表示为第b个匹配可信人员的面部特征图像中第j个像素点的纹理参数,Gbj表示为第b个匹配可信人员的面部特征图像中第j个像素点的纹理参数的权重值,Ub表示为第b个匹配可信人员的面部特征图像中模态特征占比,δ表示为图像清晰度所带来的误差因子;
选择对比度最大的目标可信人员;
根据目标可信人员与该人员的目标对比度计算出二者面部特征图像的重合系数:
Figure BDA0003594364640000151
其中,d表示为目标可信人员,Kad表示为该人员与目标可信人员的面部特征图像的重合系数,μad表示为该人员与目标可信人员的面部特征图像的像素偏移率,e表示为自然常数,取值为2.72,θad表示为该人员与目标可信人员的面部特征图像的轮廓重合度,α表示为预设边界误差值;
确认所述重合系数是否大于等于第二预设阈值,若是,确认该人员属于已存储可信人员,否则,确认该人员不属于已存储可信人员。
上述技术方案的有益效果为:可精确地根据该人员的人脸图像信息中的面部纹理参数来进行匹配以确定其是否为可信人员,提高了判定准确率,降低了误差,同时相较于现有技术中单纯利用图像对比进行判定来说更加准确和客观,使得对比结果更加具有说服力,提高了稳定性。
综上所述,本发明的基于物联网的运维监控服务管理系统,通过图像采集器1实时采集进入社区内的人员图像信息,人员图像信息采集后,通过图像分析处理器2对实时采集的人员图像信息进行综合地分析处理,根据实时采集的人员图像信息判断该进入社区内的人员是否为可疑人员,若该人员为可疑人员,则运维监控服务器3传输指令给实时监测记录器4和声光报警器5,通过实时监测记录器4对可疑人员的运行轨迹进行实时监测记录,且将防范信息传输给移动终端6,通过声光报警器5声光报警且提醒社区内人员注意安全,加强防范,若该人员不为可疑人员,则声光报警器5不声光报警,运维监控服务器3继续运维监控进入社区内的人员,使社区内人员可快速了解社区内安全情况,便于及时作出防范,其安全性得到极大地提高。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (5)

1.基于物联网的运维监控服务管理系统,包括图像采集器(1)、图像分析处理器(2)、运维监控服务器(3)、实时监测记录器(4)和声光报警器(5),其特征在于,所述图像采集器(1)通过5G网络与图像分析处理器(2)按照半双工通信方式进行数据传输,所述图像分析处理器(2)通过5G网络与运维监控服务器(3)按照全双工通信方式进行数据传输,所述运维监控服务器(3)通过5G网络与实时监测记录器(4)按照半双工通信方式进行数据传输,所述运维监控服务器(3)还通过5G网络与声光报警器(5)按照半双工通信方式进行数据传输;
所述图像采集器(1)用于实时采集人员图像信息,且将实时采集的人员图像信息传输给图像分析处理器(2);所述图像分析处理器(2)用于对实时采集的人员图像信息进行图像分析处理,且将处理结果传输给运维监控服务器(3);所述运维监控服务器(3)用于运维监控社区,且将需要监控的指令传输给实时监测记录器(4);所述实时监测记录器(4)用于对可疑人员进行实时监测记录,且将实时监测记录的可疑人员信息传输给运维监控服务器(3),且运维监控服务器(3)控制声光报警器(5)启动;所述声光报警器(5)用于声光报警且提醒社区内人员注意安全,加强防范;
所述运维监控服务管理方法包括如下步骤:
S1:通过图像采集器(1)实时采集进入社区内的人员图像信息,人员图像信息采集后,图像采集器(1)通过5G网络将人员图像信息传输给图像分析处理器(2);
S2:通过图像分析处理器(2)对实时采集的人员图像信息进行综合地分析处理,根据实时采集的人员图像信息判断该进入社区内的人员是否为可疑人员,且图像分析处理器(2)通过5G网络将分析处理结果传输给运维监控服务器(3);
S3:若该人员为可疑人员,则运维监控服务器(3)传输指令给实时监测记录器(4)和声光报警器(5),通过实时监测记录器(4)对可疑人员的运行轨迹进行实时监测记录,通过声光报警器(5)声光报警且提醒社区内人员注意安全,加强防范;
S4:若该人员不为可疑人员,则声光报警器(5)不声光报警,运维监控服务器(3)继续运维监控进入社区内的人员;
所述图像分析处理器(2)包括图像读取模块(21)、图像处理模块(22)、图像存储模块(23)和图像分析模块(24),所述图像读取模块(21)的输出端与图像处理模块(22)的输入端电性连接,所述图像处理模块(22)的输出端与图像存储模块(23)的输入端电性连接,所述图像存储模块(23)的输出端与图像分析模块(24)的输入端电性连接,所述图像分析模块(24)与图像处理模块(22)双向电性连接,其中
图像读取模块(21)用于快速读取图像采集器(1)实时采集的人员图像信息,且将采集的人员图像信息传输给图像处理模块(22);
图像处理模块(22)用于对读取的人员图像信息进行处理,提取人员图像信息关键词,加快处理人员图像信息,且将处理的人员图像信息传输给图像存储模块(23);
图像存储模块(23)用于存储采集的人员图像信息,且将存储的人员图像信息传输给图像分析模块(24);
图像分析模块(24)用于分析处理人员图像信息,根据处理过的人员图像信息判断该进入社区内的人员是否为可疑人员,从而确保社区安全;
所述图像存储模块(23)包括可疑人员存储单元(231)和可信人员存储单元(232),所述可疑人员存储单元(231)用于存储可疑人员的图像信息,所述可信人员存储单元(232)用于存储可信人员的图像信息,所述图像分析模块(24)根据处理过的人员图像信息判断该进入社区内的人员是否为可疑人员,若该人员为可疑人员,则将该可疑人员的人员信息存储在可疑人员存储单元(231)内,若该人员不为可疑人员,则将该可信人员的人员信息存储在可信人员存储单元(232)内;
所述图像分析模块(24)分析处理人员图像信息的过程,还包括:
获取所述人员图像信息,在所述图像信息中提取该人员的面部信息;
基于所述面部信息,分别建立男性面部特征和女性面部特征,并分别将所述男性面部特征和女性面部特征输入到所述可疑人员存储单元(231),判断该人员是否属于已存储可疑人员;
若不属于,分别将所述男性面部特征和女性面部特征输入到所述可信人员存储单元(232),判断该人员是否属于已存储可信人员;
若不属于,根据所述人员图像信息建立该人员的躯干特征,并分别将所述男性面部特征和女性面部特征与所述躯干特征进行协调连接,根据连接结果分析该人员的性别;
在5G网络中提取与该人员性别一致的公开危险人员对应的危险图像信息;
根据该人员的面部信息在所述人员图像信息中提取该人员性别对应的面部特征,结合所述躯干特征生成第一对比空间、第二对比空间;
将每个危险图像信息输入到所述第一对比空间进行第一对比工作,提取第一危险图像信息;
将所述第一危险图像信息输入到所述第二对比空间进行第二对比工作,提取第二危险图像信息;
若对比结果为0,确定该人员为可信人员,所述人员图像信息输入到所述可信人员存储单元(232)进行存储;
若对比结果不为0,且所述第二危险图像信息的数量不为1,获取每一第二危险图像信息的发布地址;
基于所述发布地址与本地地址之间的距离,提取可疑度最高的目标危险图像信息,确定该人员为可疑人员;
提取所述目标危险图像信息涉及的危险事件,分析该人员的危险程度,将所述人员图像信息输入到所述可疑人员存储单元(231)对应的危险层进行存储;
所述分别将所述男性面部特征和女性面部特征输入到所述可信人员存储单元(232),判断该人员是否属于已存储可信人员,包括:
对所述男性面部特征和女性面部特征分别进行表征轮廓特征提取,获取该人员的基础轮廓特征;
根据所述基础轮廓特征在已存储可信人员数据库中进行匹配,获取相似度大于等于第一预设阈值的多个匹配可信人员;
获取每个匹配可信人员的面部特征图像,提取每个面部特征图像的纹理参数及其权重值,根据每个面部特征图像的纹理参数及其权重值计算出该人员的第一人脸信息与每个匹配可信人员的第二人脸信息的对比度:
Figure FDA0004068143800000041
其中,a表示为该人员的第一人脸信息,b表示为第b个匹配可信人员的第二人脸信息,pab表示为该人员的第一人脸信息与第b个匹配可信人员的第二人脸信息的对比度,Qab表示为该人员的基础轮廓特征与第b个匹配可信人员的基础轮廓特征的偏差度,Na表示为该人员的基础轮廓特征对应的面部特征图像中像素点的数量,i表示为第i个像素点,Fai表示为该人员的面部特征图像中第i个像素点的纹理参数,Gai表示为该人员的面部特征图像中第i个像素点的纹理参数的权重值,Ua表示为该人员的面部特征图像中模态特征占比,Mb表示为第b个匹配可信人员的面部特征图像中像素点的数量,j表示为第j个像素点,Fbj表示为第b个匹配可信人员的面部特征图像中第j个像素点的纹理参数,Gbj表示为第b个匹配可信人员的面部特征图像中第j个像素点的纹理参数的权重值,Ub表示为第b个匹配可信人员的面部特征图像中模态特征占比,δ表示为图像清晰度所带来的误差因子;
选择对比度最大的目标可信人员;
根据目标可信人员与该人员的目标对比度计算出二者面部特征图像的重合系数:
Figure FDA0004068143800000051
其中,d表示为目标可信人员,Kad表示为该人员与目标可信人员的面部特征图像的重合系数,μad表示为该人员与目标可信人员的面部特征图像的像素偏移率,e表示为自然常数,取值为2.72,θad表示为该人员与目标可信人员的面部特征图像的轮廓重合度,α表示为预设边界误差值;
确认所述重合系数是否大于等于第二预设阈值,若是,确认该人员属于已存储可信人员,否则,确认该人员不属于已存储可信人员。
2.如权利要求1所述的基于物联网的运维监控服务管理系统,其特征在于,所述图像采集器(1)包括高清摄像头(11)、高清摄像机(12)和扫描仪(13),所述高清摄像头(11)、高清摄像机(12)和扫描仪(13)安装在社区门口处且高清摄像头(11)、高清摄像机(12)和扫描仪(13)均用于实时采集人员图像信息,高清摄像头(11)、高清摄像机(12)和扫描仪(13)实时采集进入社区内的人员图像信息后,通过5G网络将人员图像信息传输给图像分析处理器(2)。
3.如权利要求1所述的基于物联网的运维监控服务管理系统,其特征在于,所述运维监控服务器(3)包括防范信息编辑模块(31)、防范信息发送模块(32)和运维监控服务平台(33),所述运维监控服务平台(33)的输出端与防范信息编辑模块(31)的输入端电性连接,所述防范信息编辑模块(31)的输出端与防范信息发送模块(32)的输入端电性连接,所述防范信息发送模块(32)的输出端与防范信息接受模块(61)的输入端电性连接,所述防范信息接受模块(61)内置在移动终端(6)上,其中
防范信息编辑模块(31)用于自动编辑防范信息;
防范信息发送模块(32)用于向移动终端(6)发送防范信息;
运维监控服务平台(33)用于运维监控社区;
防范信息接受模块(61)用于接受防范信息;
移动终端(6)用于接受来自运维监控服务器(3)传输的防范信息。
4.如权利要求1所述的基于物联网的运维监控服务管理系统,其特征在于,所述运维监控服务器(3)和移动终端(6)进行数据传输时,包括如下步骤:
S1:图像分析模块(24)分析进入社区内的人员为可疑人员时,图像分析模块(24)将分析结果传输给运维监控服务平台(33);
S2:运维监控服务平台(33)向防范信息编辑模块(31)传输指令,通过防范信息编辑模块(31)自动编辑防范信息;
S3:防范信息编辑好后,防范信息编辑模块(31)向防范信息发送模块(32)传输指令,通过防范信息发送模块(32)自动发送防范信息;
S4:防范信息发送后,防范信息发送模块(32)向防范信息接受模块(61)传输指令,通过防范信息接受模块(61)自动接受防范信息,且在移动终端(6)上显示防范信息。
5.如权利要求4所述的基于物联网的运维监控服务管理系统,其特征在于,所述实时监测记录器(4)包括实时监测模块(41)、实时记录模块(42)、线路汇总模块(43)和运行轨迹生成模块(44),所述实时监测模块(41)的输出端与实时记录模块(42)的输入端电性连接,所述实时记录模块(42)的输出端与线路汇总模块(43)的输入端电性连接,所述线路汇总模块(43)的输出端与运行轨迹生成模块(44)的输入端电性连接,其中
实时监测模块(41)用于实时监测可疑人员的运行信息;
实时记录模块(42)用于实时记录可疑人员的运行信息;
线路汇总模块(43)用于将可疑人员的运行信息汇总;
运行轨迹生成模块(44)用于将汇总的运行信息生成运行轨迹,便于运维监控服务器(3)及移动终端(6)查看。
CN202210384568.2A 2022-04-13 2022-04-13 基于物联网的运维监控服务管理系统 Active CN114898516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210384568.2A CN114898516B (zh) 2022-04-13 2022-04-13 基于物联网的运维监控服务管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210384568.2A CN114898516B (zh) 2022-04-13 2022-04-13 基于物联网的运维监控服务管理系统

Publications (2)

Publication Number Publication Date
CN114898516A CN114898516A (zh) 2022-08-12
CN114898516B true CN114898516B (zh) 2023-05-02

Family

ID=82717961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210384568.2A Active CN114898516B (zh) 2022-04-13 2022-04-13 基于物联网的运维监控服务管理系统

Country Status (1)

Country Link
CN (1) CN114898516B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598661A (zh) * 2017-09-30 2019-04-09 河南星云慧通信技术有限公司 基于人脸识别的智慧社区安防系统及检测方法
CN108664608A (zh) * 2018-05-11 2018-10-16 中国联合网络通信集团有限公司 可疑人员的识别方法、装置及计算机可读存储介质
WO2020152851A1 (ja) * 2019-01-25 2020-07-30 株式会社 テクノミライ デジタルサーチ・セキュリティシステム、方法及びプログラム
CN111583488B (zh) * 2020-05-06 2021-01-19 南京众鑫云创软件科技有限公司 一种基于人工智能的多维数据模型信息处理系统及其方法
CN112507772A (zh) * 2020-09-03 2021-03-16 广州市标准化研究院 一种人脸识别安防系统及可疑人员检测与预警方法
CN113027530A (zh) * 2021-03-22 2021-06-25 开滦(集团)有限责任公司电信分公司 一种基于互联网数据交互的煤矿安全监控系统及监控方法
CN113689648B (zh) * 2021-08-25 2022-10-18 深圳市润立方科技有限公司 一种基于物联网的智慧社区安防管理系统及方法
CN114038144B (zh) * 2021-10-12 2023-04-14 中国通信建设第三工程局有限公司 一种基于ai的社区安防监测系统及方法

Also Published As

Publication number Publication date
CN114898516A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN110826538B (zh) 一种用于电力营业厅的异常离岗识别系统
CN110472870A (zh) 一种基于人工智能的收银台服务规范检测系统
CN110351536A (zh) 一种变电站环境异常检测系统、方法及装置
CN209543514U (zh) 基于人脸识别的监控与报警系统
US11935297B2 (en) Item monitoring for doorbell cameras
CN112289031A (zh) 一种公交行驶过程中异常情况检测与报警的方法及装置
CN112183219A (zh) 一种基于人脸识别的公共安全视频监测方法及系统
CN111654678A (zh) 一种基于5g的监控预警系统
CN115620471A (zh) 一种基于大数据筛查的图像识别安防系统
CN115496640A (zh) 一种火电厂智慧安全系统
CN115171260A (zh) 一种基于人脸识别的智能门禁系统
CN114898516B (zh) 基于物联网的运维监控服务管理系统
CN111385440A (zh) 具有人脸记录与查询功能的监控摄像机
CN113505704A (zh) 图像识别的人员安全侦测方法、系统、设备及存储介质
CN113314230A (zh) 基于大数据的智能防疫方法、装置、设备及存储介质
CN113011300A (zh) 一种ai视觉辨识违规行为的方法、系统及设备
US20220335725A1 (en) Monitoring presence or absence of an object using local region matching
CN116416665A (zh) 基于安防系统的人脸识别方法、装置及存储介质
CN115953815A (zh) 基建现场的监测方法及装置
CN112804492B (zh) 一种电子猫眼的通信提示方法及装置
CN116434368A (zh) 一种多功能手持巡检仪及巡检方法
CN115410113A (zh) 基于计算机视觉的跌倒检测方法、装置及存储介质
CN113674110A (zh) 一种智慧园区技防设施管理系统
CN114387391A (zh) 变电站设备的安全监测方法、装置、计算机设备和介质
CN108776453B (zh) 一种基于计算机的建筑安全监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant