CN113065500A - 面向一类特殊动作的异常行为管控系统 - Google Patents
面向一类特殊动作的异常行为管控系统 Download PDFInfo
- Publication number
- CN113065500A CN113065500A CN202110405287.6A CN202110405287A CN113065500A CN 113065500 A CN113065500 A CN 113065500A CN 202110405287 A CN202110405287 A CN 202110405287A CN 113065500 A CN113065500 A CN 113065500A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- abnormal behavior
- information
- module
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 58
- 230000009471 action Effects 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000012502 risk assessment Methods 0.000 claims abstract description 12
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 5
- 210000000056 organ Anatomy 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000000547 structure data Methods 0.000 description 2
- 230000009278 visceral effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Psychiatry (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Social Psychology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Emergency Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- Development Economics (AREA)
- Biomedical Technology (AREA)
- Educational Administration (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Alarm Systems (AREA)
Abstract
随着人工智能技术的发展，各行业内不同场景下的异常行为的智能识别成为可能，但现今仍缺乏面向一些特殊场景的异常行为智能管控系统。本发明提供一种面向一类特殊动作的异常行为管控系统，该系统由软件系统和硬件设备组成。其中硬件设备包括音视频收集设备、服务器、客户机；软件系统由综合态势与风险评估、异常行为检测、应急预案管理三个模块组成。本发明能够完成异常行为监测识别、展示综合态势、评估风险并发出警报，能迅速应对各类紧急情况，维护社会稳定。
Description
技术领域
本发明涉及一种计算机软件与硬件设备协同的智能系统。
背景技术
人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。该领域的研究包括语音识别、图像识别、机器人、自然语言处理、智能搜索和专家系统等。
近年来公共区域安全管控的智能化要求不断提高。目前一般是依靠普通的安保系统和工作人员人工判断进行相关区域的管控，但由于人群的复杂性和工作人员精力的有限，现有办法的管控效率较低，反应较慢。
公民来访是指人民群众到国家机关的接待场所与工作人员告知自身诉求的过程。视频动作识别，图像识别，语音识别等人工智能技术不断发展，但针对公民来访场景下的这类特殊动作，现阶段仍然缺乏综合运用这些技术形成的成熟系统。对于基于深度学习的视频动作识别技术，现有的公开数据集训练的模型也不善于识别特殊场景下的异常行为。
本发明基于计算机视觉，语音信号处理和深度学习技术构建了一种智能化的异常行为管控系统，利用专用数据集训练神经网络模型，提高对这类特殊的异常动作的识别准确率。从而提升工作人员对紧急情况的反应速度，减轻工作压力。
发明内容
为了解决公共安全管控智能化过程未能覆盖到一些特殊场景的问题。本发明提供一种面向一类特殊动作的异常行为管控系统，对这类特殊异常行为进行主动监测识别及时发现预警并为工作人员提供相应处置预案，积极维护现场秩序。
本发明提供一种异常行为管控系统，所述异常行为管控系统的特征在于：应用于辅助工作人员对区域内人员的异常行为管控；基于视频动作识别，语音识别，目标检测技术，并针对公民来访场景的特殊异常行为，形成的一套系统。该系统主体为软件系统，需要硬件设备辅助实现。硬件部分包括音视频采集设备，客户机和服务器，软件部分根据提供的服务可分为三个模块：异常行为检测模块、综合态势与风险评估模块、紧急预案管理模块。
所述计算机服务器，用于连接控制音视频采集设备，运行本发明的软件，为客户端提供服务并存储相关数据和与网络通信，所述工作人员使用客户机连接服务器并使用软件服务，所述音视频采集设备，用以采集管控区域的视频和音频信息；所述网络通信，可以使用有线通信、无线通信作为通信方式,通信内容包括收集到的音视频信息，异常行为检测结果信息，警报和预案信息。
所述异常行为检测模块，基于深度学习的人体骨架动作识别和语音技术，分别检测管控区范围内人员的异常动作和异常语音，将异常行为类型信息输出到综合态势和风险评估模块，此外模块还具有人群计数等功能；
所述综合态势与风险评估模块，基于异常行为检测模块输出的异常动作、异常语音、人群密度等数据，评估管控区的风险程度，同时在用户界面展示实时视频、人群密度、异常类型、风险程度信息的综合态势，再根据风险程度，决定是否发出警报并给出对应的预案；
所述预案管理模块，用于不同危险情况下的预案管理，可实现添加，修改，删除等功能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需的附图做简单介绍。
图1为本发明组成结构图；
图2为本发明硬件设备部分的一种实施例示意图；
图3为本发明异常行为管控过程中软件系统工作的实施例流程图；
图4为异常行为检测过程中软件系统各子模块的示意图；
图5为动作识别算法一种实施例的流程图；
具体实施方案
为了使本领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚的描述，所述的实施例仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明主要应用于公民来访场景下对工作人员的异常行为管控的辅助，帮助工作人员对管控区人员异常行为的提前准备和及时应对，减轻工作压力，提高处理相关情况的效率。
本发明首先通过摄像头和麦克风收集管控区域的视频信息和音频信息，利用基于深度学习的算法完成对视频信息和音频信息中的异常动作识别，异常语音识别，人群密度检测。利用检测结果评估管控区域的风险程度，并将这些检测结果和风险程度再加上原始的实时视频展示给工作人员。进一步的，系统通过风险程度和异常类型进行判断，决定是否向工作人员发出警报，如果发出警报，则同时发出该异常状况对应的预案。而对于预案，系统提供对预案的管理服务，让工作人员能增删改预案，并关联不同类型的异常。
本发明的总体组成结构如图1所示，分为硬件设备100和软件系统200两部分。
硬件设备100包括服务器101，客户机102，音视频采集设备103。所述音视频采集设备103可以是摄像头和麦克风，其信息收集范围应当覆盖整个管控区域，摄像头可以以多个角度布置于接待人员的房间中。所述服务器和客户机为通用计算机，其中服务器应当具备一定算力。
硬件设备之间的信息交换由网络通信完成，网络通信可以是有线网络也可以为无线网络。而图2是硬件部分的一种实施例，用以太网方式连接。音视频采集设备103用以采集音视频信息并通过网线和交换机将信息传递给服务器101，服务器中运行的程序处理数据然后将输出的结果通过网线和交换机传递给客户机102。工作人员通过与客户机102中运行的客户端程序交互来使用服务器101提供的服务。
软件系统200包括异常行为检测模块201、综合态势与风险估计模块202、预案管理模块203。在硬件设备的支撑下，异常行为检测模块实现了基础功能，包括动作识别，语音识别，目标检测。而综合态势与风险估计模块和预案管理模块在基础功能之上实现了对工作人员的应用服务，包括综合态势展示，风险评估，异常警报，预案管理。
软件系统工作的流程，如图3所示：
在步骤S1中，音视频采集设备不断采集检测区域的图像信息和音频信息，并向服务器传输这些信息。
在步骤S2中，服务器接收到音视频信息，实现了对异常行为的检测，对风险程度的评估，在客户端展示综合态势，在客户端发出警报这些主要服务。
在步骤S3中，如果发生异常行为，工作人员在客户端接收到警报和相应的紧急预案。紧急预案提前由工作人员通过预案管理模块录入系统，根据不同的异常行为紧急情况，设立合适的处理方案。
在步骤S4中，工作人员前往异常行为发生区域，根据预案处理现场的状况。
在步骤S5中，工作人员在成功处理检测区的紧急状况后，可以根据处理过程的经验，通过紧急预案管理模块改进相应的预案，以更好处理再次发生的相似状况。
步骤S2中的异常行为检测过程中，软件系统的各模块关系如图4所示：
异常行为检测模块201，输入为音视频信息，完成对音视频信息的异常行为检测，向综合态势与风险评估模块202输出检测结果。所述异常行为包括异常肢体动作，脏话，人群密集，其中异常肢体动作指情绪激动人员可能做出的不当动作，包括扇巴掌、推人、重复指人、下跪磕头等等。所述检测结果由异常动作类型，是否检测到脏话，人群数量三个部分组成。
异常行为检测模块201可以使用基于深度神经网络的语音识别技术实现对脏话的识别；可使用基于YOLOv3的目标检测技术实现对视频采集范围内的人员计数，将管控区人群数量信息交给综合态势与风险评估模块202来判断是否存在人群密集现象；
本发明的关键算法为对人员异常肢体动作的动作识别算法，实现动作识别的一个实施例的流程图如图5所示：
在步骤S20101中，对视频图像信息进行预处理，因为处理原始视频数据会对计算机负载过大，可在这一步对图像信息进行适当的降帧和裁剪。
在步骤S20102中，对视频图像中的人进行姿态识别，得到每一帧中人的骨架关键点的图数据，这一步可以用开源的人体姿态识别OpenPose库实现。这一步中将视频的所有图像帧转换为骨架关键点的图结构数据。
在步骤S20103中，利用深度神经网络模型对上一步图结构数据进行特征提取，可以使用时空图卷积网络(ST-GCN)。优选的，所述神经网络模型用公民来访场景的特殊异常动作数据集进行训练。
在步骤S20104中，使用分类器对特征进行分类最终输出识别结果，这里可以使用SVM,SoftMax分类器等等。
综合态势与风险评估模块202，接受异常行为检测模块201的检测结果，实现在客户端展示综合态势和评估风险发出警报。首先根据检测结果进行风险评估：将异常行为分为两类，一类为紧急异常行为，包括打人，推人，下跪等动作，需要工作人员立即处理；一类为非紧急异常行为，包括反复指人，骂脏话，人群密集等行为。当检测到紧急异常行为时，立即将风险程度判断为高；当检测到非紧急异常行为时，将风险程度判断为中，提前为每个非紧急异常行为设立危险程度权值，并设立高风险阈值，当管控区同时发生多个非紧急异常行为，它们的权值总和超过阈值时，也将风险程度判断为中。另一方面，此模块实现在客户端显示采集的实时视频图像信息再加上异常行为检测结果的文本信息和判断的风险程度，将这部分功能称为综合态势展示，帮助工作人员更直接的通过文本信息知晓管控区域的情况。最后，本模块根据风险程度发出不同警报，中风险警报提醒工作人员关注异常行为发生区域，提前准备；高风险警报提醒工作人员立即出发处理问题，并根据异常行为类型提供相应紧急预案。
紧急预案管理模块203，实现为系统增删改紧急异常行为处理预案，并为预案关联对应的紧急预案类型，使得综合态势与风险评估模块在发出警报时能通过异常行为类型检索到关联的预案。
以上实例用以说明而非限制本发明的技术方案。不脱离本发明精神和范围的任何修改和替换，均应涵盖在本发明的权利要求范围中。
Claims (5)
1.一种异常行为管控软硬件系统，其特征在于，
对一类异常行为进行识别警示的一种智能管控系统，它由硬件设备部分和软件系统组成，其中硬件包括计算机服务器、客户机和音视频收集设备，设备间通过网络通信传递信息，软件由异常行为智能检测模块、综合态势与风险智能评估模块、紧急预案管理模块组成。所述一类异常行为，包括骂脏话、打人、下跪、躺倒、重复指人、扔东西这类容易出现在公民来访国家机关时出现的异常行为。
2.根据权利要求1所述的硬件设备部分，其特征在于，
所述计算机服务器，用于连接控制音视频采集设备，运行本发明的软件，为客户端提供服务并存储相关数据和与网络通信；所述工作人员使用客户机连接服务器并使用软件服务，所述音视频收集设备，用以收集管控区域的视频和音频信息；所述网络通信，可以使用有线通信、无线通信作为通信方式,通信内容包括收集到的音视频信息，异常行为检测结果信息，警报和预案信息。
3.根据权利要求1所述的异常行为检测模块，其特征在于，
基于深度学习的人体骨架动作识别和语音技术，分别检测范围内的人员异常动作和异常语音，将异常行为类型信息输出到综合态势和风险评估模块，此外模块还具有人群计数等功能。
4.根据权利要求1所述的综合态势与风险评估模块，其特征在于，
基于异常行为检测模块输出的异常动作、异常语音、人群密度等数据，评估检测区的风险程度，同时在用户界面展示实时视频、人群密度、异常类型、风险程度信息的综合态势，再根据风险程度，决定是否发出警报并给出对应的预案。
5.根据权利要求1所述的紧急预案管理模块，其特征在于，
用于不同危险情况下的预案管理，可实现添加，修改，删除等功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110405287.6A CN113065500A (zh) | 2021-04-15 | 2021-04-15 | 面向一类特殊动作的异常行为管控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110405287.6A CN113065500A (zh) | 2021-04-15 | 2021-04-15 | 面向一类特殊动作的异常行为管控系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113065500A true CN113065500A (zh) | 2021-07-02 |
Family
ID=76567236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110405287.6A Pending CN113065500A (zh) | 2021-04-15 | 2021-04-15 | 面向一类特殊动作的异常行为管控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113065500A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537073A (zh) * | 2021-07-19 | 2021-10-22 | 南京奥拓电子科技有限公司 | 营业厅特殊事件精准处理的方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447048A (zh) * | 2018-12-25 | 2019-03-08 | 苏州闪驰数控系统集成有限公司 | 一种人工智能预警系统 |
| CN110414360A (zh) * | 2019-07-02 | 2019-11-05 | 桂林电子科技大学 | 一种异常行为的检测方法及检测设备 |
| CN111540152A (zh) * | 2020-04-20 | 2020-08-14 | 张杜平 | 一种智能安防预警系统 |
| CN112434564A (zh) * | 2020-11-04 | 2021-03-02 | 北方工业大学 | 公交车内异常聚集行为的检测系统 |
| CN112487851A (zh) * | 2019-09-12 | 2021-03-12 | 山西长河科技股份有限公司 | 一种基于人工智能视频识别的司法场所异常行为监测方法 |
| CN112633057A (zh) * | 2020-11-04 | 2021-04-09 | 北方工业大学 | 一种公交车内异常行为智能监控方法 |
-
2021
- 2021-04-15 CN CN202110405287.6A patent/CN113065500A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447048A (zh) * | 2018-12-25 | 2019-03-08 | 苏州闪驰数控系统集成有限公司 | 一种人工智能预警系统 |
| CN110414360A (zh) * | 2019-07-02 | 2019-11-05 | 桂林电子科技大学 | 一种异常行为的检测方法及检测设备 |
| CN112487851A (zh) * | 2019-09-12 | 2021-03-12 | 山西长河科技股份有限公司 | 一种基于人工智能视频识别的司法场所异常行为监测方法 |
| CN111540152A (zh) * | 2020-04-20 | 2020-08-14 | 张杜平 | 一种智能安防预警系统 |
| CN112434564A (zh) * | 2020-11-04 | 2021-03-02 | 北方工业大学 | 公交车内异常聚集行为的检测系统 |
| CN112633057A (zh) * | 2020-11-04 | 2021-04-09 | 北方工业大学 | 一种公交车内异常行为智能监控方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537073A (zh) * | 2021-07-19 | 2021-10-22 | 南京奥拓电子科技有限公司 | 营业厅特殊事件精准处理的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10812761B2 (en) | Complex hardware-based system for video surveillance tracking | |
| JP6905850B2 (ja) | 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置 | |
| CN111918039B (zh) | 基于5g网络的人工智能高风险作业管控系统 | |
| JP2013131153A (ja) | 自律型防犯警戒システム及び自律型防犯警戒方法 | |
| CN113011833A (zh) | 施工现场的安全管理方法、装置、计算机设备和存储介质 | |
| CN113411542A (zh) | 一种智能化的工作状况监测设备 | |
| CN109544870A (zh) | 用于智能监控系统的报警判断方法与智能监控系统 | |
| CN113850229A (zh) | 基于视频数据机器学习的人员异常行为预警方法、系统及计算机设备 | |
| CN111754669A (zh) | 一种基于人脸识别技术的高校学生管理系统 | |
| CN114187561A (zh) | 异常行为的识别方法、装置、终端设备及存储介质 | |
| CN113955594B (zh) | 一种电梯控制方法、装置、计算机设备和存储介质 | |
| CN115567690A (zh) | 一种自动识别现场作业危险点的智慧监控系统 | |
| CN113065500A (zh) | 面向一类特殊动作的异常行为管控系统 | |
| CN113670434A (zh) | 变电站设备声音异常识别方法、装置和计算机设备 | |
| CN210091231U (zh) | 一种智慧园区管理系统 | |
| CN112528825A (zh) | 一种基于图像识别的车站乘客招援服务方法 | |
| CN112330742A (zh) | 公共区域重点人员活动路线记录方法及装置 | |
| CN116704699A (zh) | 基于区块链的人身安全报警救援系统 | |
| CN114758286B (zh) | 基于工作票事件的边缘智能安全监测方法和装置 | |
| CN114281656A (zh) | 一种智能中控系统 | |
| CN114511817A (zh) | 面向微空间的人员行为全景画像智能监管系统 | |
| CN110348338A (zh) | 基于深度学习的驾驶员辅助驾驶后视镜及包含其的系统 | |
| CN113012006A (zh) | 一种智能侦查研判方法、系统、计算机设备及存储介质 | |
| WO2023286105A1 (ja) | 情報処理装置、情報処理システム、情報処理プログラム、及び情報処理方法 | |
| CN114898516B (zh) | 基于物联网的运维监控服务管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210702 |