CN111414871A - 一种基于大数据的智慧安全防护检测系统 - Google Patents

一种基于大数据的智慧安全防护检测系统 Download PDF

Info

Publication number
CN111414871A
CN111414871A CN202010219955.1A CN202010219955A CN111414871A CN 111414871 A CN111414871 A CN 111414871A CN 202010219955 A CN202010219955 A CN 202010219955A CN 111414871 A CN111414871 A CN 111414871A
Authority
CN
China
Prior art keywords
inclination
expression
risk
behavior
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010219955.1A
Other languages
English (en)
Inventor
陈天翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010219955.1A priority Critical patent/CN111414871A/zh
Publication of CN111414871A publication Critical patent/CN111414871A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Alarm Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

本发明公开一种基于大数据的智慧安全防护检测系统，包括图像采集模块、图像表情特征提取模块、表情分析匹配模块、压力检测终端、行为动作分析模块、智慧数据库、倾斜危险处理模块、云服务器和防护执行装置，本发明通过对湖边防护栏危险区域进行图像采集、分析，判断防护栏区域内人员的表情、行为、行为状态倾斜程度以及对防护栏的推压力，结合人员对应的表情变化、危险行为动作、与护栏的倾斜角度以及对护栏的推、压力，对该人员进行综合评估防护救援危险系数的评估，以综合判断该防护栏危险区域内人员是否存在坠湖风险，能够综合预测出人员追湖的风险，实现软硬件相结合的高效救援效果，减少溺亡人数。

Description

一种基于大数据的智慧安全防护检测系统
技术领域
本发明属于防护检测技术领域，涉及到一种基于大数据的智慧安全防护检测系统。
背景技术
随着近几年互联网、大数据等的快速发展，各行各业基于此类技术的应用也越来越多，公共区域内的安全一直是人们比较困扰和关心的话题，特别涉及到水边区域，一旦有人失踪坠入水中，若发现不及时，极易造成坠水人员溺亡，每年坠水溺亡的人数逐渐增多，由于湖边等景区区域大，不便于管理和跟踪，尤其夜晚，对于情绪不佳人员极易产生轻生的念头，若产生轻生想法，周边人员无法及时对其进行救助，将造成其死亡，因此，公共区域的安全监管是至关重要的。
目前，公共区域的湖边，采用防护栏进行阻挡，但是对于成年人员极易翻阅防护栏，一旦有人坠水，往往存在因救援不及时导致坠水人员死亡，大大增加了救援人员找寻的工作量，无法根据坠湖人员在坠水前的行为、表情等情况来预测人员的防护救援危险系数，并且无法根据预测的可能性及时制动防护装置，来减少人员伤亡，为了解决以上问题，现设计一种基于大数据的智慧安全防护检测系统。
发明内容
本发明的目的在于提供的基于大数据的智慧安全防护检测系统，解决了背景技术中存在的问题。
本发明的目的可以通过以下技术方案实现：
一种基于大数据的智慧安全防护检测系统，包括图像采集模块、图像表情特征提取模块、表情分析匹配模块、压力检测终端、行为动作分析模块、智慧数据库、倾斜危险处理模块、云服务器和防护执行装置；
所述云服务器分别与图像采集模块、表情分析匹配模块、行为动作分析模块、压力检测终端、智慧数据库、倾斜危险处理模块和防护执行装置连接，图像采集模块分别与图像表情特征提取模块和行为动作分析模块连接，表情分析匹配模块与图像表情特征提取模块连接，倾斜危险处理模块与行为动作分析模块连接，智慧数据库分别与表情分析匹配模块、行为动作分析模块和倾斜危险处理模块连接；
所述图像采集模块包括若干摄像头，分别安装在湖水周侧的防护柱上，相邻两防护柱间安装有防护栏，图像采集模块通过对防护栏区域内的环境进行图像采集，并将采集的环境图像进行预处理，提高图像的清晰度，并将经预处理后的环境图像分别发送至图像表情特征提取模块、行为动作分析模块和云服务器；
所述图像表情特征提取模块用于接收图像采集模块发送的经处理后的环境图像，判断采集的环境图像中是否有人，对环境图像中的人脸区域进行定位，并对人脸区域进行放大，提取人脸区域中的各面部表情特征，并将提取的各面部表情特征发送至表情分析匹配模块；
所述表情分析匹配模块用于接收图像表情特征提取模块发送的各面部表情特征，并将接收的环境图像中人员的各面部表情特征分别与智慧数据库中存储的各面部表情对应的表情特征集合进行对比，分析与采集的环境图像中人员的面部表情相匹配的面部表情，并将相匹配的面部表情发送至云服务器；
所述压力检测终端用于实时检测湖水周侧的护栏所受的压力数值、推力数值以及统计压力数值、推力数值分别对应的累计时长，并将检测的压力数值、推力数值以及统计压力数值、推力数值分别对应的累计时长发送至云服务器；
所述行为动作分析模块与图像采集模块连接，行为动作分析模块用于接收图像采集模块发送的经处理后的环境图像，提取环境图像中人员的行为动作，并将人员的行为动作与智慧数据库中存储的标准危险行为动作进行对比，筛选出图像中人员的行为动作所对应的标准危险行为动作，并提取该标准危险行为动作所对应的行为危险系数，并将该行为动作所对应的行为危险系数发送至云服务器，同时，将环境图像中人员的行为动作发送至倾斜危险处理模块；
所述倾斜危险处理模块用于接收环境图像中人员的行为动作，提取环境图像中人员处于不同状态时，人员的行为动作与护栏间的倾斜角度，并根据倾斜角度判断不同状态下的倾斜危险因子级别，根据不同状态下的倾斜危险因子级别筛选倾斜危险系数，并将图像中人员处于各状态下的倾斜危险系数发送至云服务器，其中，倾斜危险因子级别包括各级站立倾斜危险因子、各级坐姿倾斜危险因子和各级趴扶倾斜危险因子；
所述智慧数据库用于存储各面部表情对应的表情特征集合以及各面部表情对应的表情危险系数，存储若干标准危险行为动作，以及存储各标准危险行为动作对应的行为危险系数，每个标准危险行为动作与行为危险系数逐一对应；另外，存储各级站立倾斜危险因子对应的站立时的倾斜数值范围、各级坐姿倾斜危险因子对应的坐姿时的倾斜数值范围以及各级趴扶倾斜危险因子对应的趴扶时的倾斜数值范围，并分别存储各级站立倾斜危险因子、各级坐姿倾斜危险因子和各级趴扶倾斜危险因子对应的倾斜危险系数；
云服务器用于接收表情分析匹配模块发送的护栏边上人员的面部表情，并判断同一人员的面部表情在检测时间内是否发生变化，若由表情危险系数小的面部表情切换成表情危险系数大的面部表情，则表情转换危险比例系数ψ1，若由表情危险系数大的面部表情切换成表情危险系数小的面部表情，则表情转换危险比例系数ψ2，若检测时间内面部表情始终处于同一表情危险系数下的面部表明，则表情转换危险比例系数ψ3，并从智慧数据库中提取检测时间段内出现的各面部表情所对应的表情危险系数，接收行为动作分析模块发送的图像中人员的行为动作所对应的行为危险系数，并接收倾斜危险处理模块发送的倾斜危险系数，同时接收压力检测终端发送的护栏所受的压力数值、推力数值以及统计压力数值、推力数值分别对应的累计时长，并将检测的护栏压力累计时长下的压力数值与护栏压力阈值进行对比，统计护栏压力大于护栏压力阈值的时长，并将检测的护栏推力累计时长下的推力数值与护栏推力阈值进行对比，统计护栏推力大于护栏推力阈值的时长，云服务器根据护栏边上人员面部表情对应的表情危险系数、行为危险系数、倾斜危险系数、大于护栏压力阈值的时长以及大于护栏推力阈值的时长，对护栏周侧的人员进行综合评估防护救援危险系数统计，云服务器接收图像采集模块发送的经处理后的图像，根据图像中人员的位置判断统计的综合评估防护救援危险系数的人员所在两防护柱间的位置，云服务器发送防护控制指令以及需救援人员所在的位置防护执行装置；
所述防护执行装置安装在防护栏内侧，防护执行模块在两防护柱间的支撑横板上进行滑动配合，以在两防护柱之间进行移动，并接收云服务器发送的需救援人员的位置，调整防护网至需救援人员的位置处，并根据防护控制指令对防护网由闭合状态切换成打开状态。
进一步地，所述压力检测终端包括若干压力检测模块和计时统计模块，压力检测模块为压力传感器，压力传感器安装在湖水周侧的护栏上，压力检测模块用于实时检测湖水周侧的护栏所受压力和推力，并将检测的护栏所受的压力数值和推力数值发送至云服务器，计时统计模块用于统计护栏所受的压力累计的时长和推力累计时长，并将统计的护栏所受的压力累计的时长和推力累计时长发送至云服务器。
进一步地，各级站立倾斜危险因子μ11,μ12,...,μ1f,...,μ1p对应的倾斜危险系数分别为qμ11,qμ12,...,qμ1f,...,qμ1p，各级坐姿倾斜危险因子μ21,μ22,...,μ2f,...,μ2p对应的倾斜危险系数分别为qμ21,qμ22,...,qμ2f,...,qμ2p，各级趴扶倾斜危险因子μ31,μ32,...,μ3f,...,μ3p对应的倾斜危险系数分别为qμ31,qμ32,...,qμ3f,...,qμ3p，且μ11＞qμ2p，qμ21＞qμ3p，μ1f、μ2f和μ3f分别表示为第f个站立倾斜因子、第f个坐姿倾斜因子和第f个趴扶倾斜因子，qμ1f、qμ2f和qμ3f分别表示为第f个站立倾斜因子、第f个坐姿倾斜因子和第f个趴扶倾斜因子对应的倾斜危险系数。
进一步地，所述综合评估防护救援危险系数的计算公式为
Figure BDA0002425728660000051
t压阈值、t推阈值分别表示为大于护栏压力阈值的时长和大于护栏推力阈值的时长，t压、t推分别表示为护栏所受压力的累计时长、胡丽娜所受推力的累计时长，x表示为检测人员的行为危险系数，y表示为检测人员的倾斜危险系数，dist(x,y)表示为行为危险系数与倾斜危险系数间的欧式距离，
Figure BDA0002425728660000052
表示为检测人员表情变化影响系数，ηv表示为检测人员的表情危险系数，
Figure BDA0002425728660000053
τv表示为表情转换危险比例系数，τv＝ψ1、ψ2或ψ3，v表示为检测时间段内依次出现的面部表情的种类，e表示为自然常数，若在检测的时间段内，检测人员始终只保持一种面部表情，则v等于1，τv＝ψ3，若在检测的时间段内，检测人员出现面部表情的切换，则面部表情切换的次数v大于1。
进一步地，所述防护执行装置包括支撑横板、滑动柱和防护机构，支撑横板两端分别与挡板连接，挡板与防护柱进行固定连接，支撑横板上开有T型滑动槽；
所述滑动柱包括第一滑动柱本体、第二滑动柱本体，第二滑动柱本体上固定有第一滑动柱本体，第二滑动柱本体下端部固定有延伸块，延伸块与第二滑动柱本体构成T型滑杆，T型滑杆在支撑横板上的T型滑动槽内进行滑动配合；
所述第二滑动柱本体通过电动伸缩杆与挡板固定连接；
所述防护机构包括定位套、从传动件、动力机构、固定支板、若干第一连接板、第二连接板和铰接件，第一连接板与第二连接板中部铰接，第一连接板两端分别通过铰接件与第二连接板一端相铰接，第二连接板两端分别通过铰接件与第一连接板一端相铰接，所述定位套包括定位筒，定位筒与第一滑动柱本体固定连接，定位筒两侧分别与一第一连接板一端和一第二连接杆一端相铰接；
所述从传动件包括齿牙板，齿压板与移动套连接，移动套两侧分别与一第一连接板一端和一第二连接杆一端相铰接；
所述动力机构包括电机，电机通过输出轴固定有与齿牙板相啮合的齿轮，固定支板上开有与第二滑动柱本体相固定的安装孔以及与齿牙板间隙配合的矩形通孔。
进一步地，所述第一滑动柱本体与第二滑动柱本体的轴心在同一直线上。
进一步地，所述第一连接板两端开有第一铰接孔，第二连接板两端开有第二铰接孔，第一铰接孔与第二铰接孔的尺寸相同。
进一步地，所述定位筒上固定有两第一铰接块，两第一铰接块呈120°，移动套上固定有两第二铰接块，两第二铰接块呈120°。
本发明的有益效果：
本发明提供的基于大数据的智慧安全防护检测系统，通过对湖边防护栏危险区域进行图像采集、分析，判断防护栏区域内人员的表情、行为、行为状态倾斜程度以及对防护栏的推压力，结合人员对应的表情变化、危险行为动作、与护栏的倾斜角度以及对护栏的推、压力，对该人员进行综合评估防护救援危险系数的评估，以综合判断该防护栏危险区域内人员是否存在坠湖风险，能够综合预测出人员追湖的风险，具有分析的准确性高的特点；
本发明提供的基于大数据的智慧安全防护检测系统，通过软硬件相结合的方式，可对可能坠湖区域进行安全防护，通过云服务器控制防护执行装置移动至相应位置，实现对轻生或意外坠湖人员的救援，通过软硬件相结合的方式提高了防护救援的及时性，为湖水区域的打捞和救援提供及时可靠的帮助，减少每年溺亡人员数量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中一种基于大数据的智慧安全防护检测系统的示意图；
图2为本发明中防护执行装置的示意图；
图3为本发明中防护机构的示意图；
图4为本发明中定位套的示意图；
图5为本发明中图2的局部示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-5所示，一种基于大数据的智慧安全防护检测系统，包括图像采集模块、图像表情特征提取模块、表情分析匹配模块、压力检测终端、行为动作分析模块、智慧数据库、倾斜危险处理模块、云服务器和防护执行装置；
云服务器分别与图像采集模块、表情分析匹配模块、行为动作分析模块、压力检测终端、智慧数据库、倾斜危险处理模块和防护执行装置连接，图像采集模块分别与图像表情特征提取模块和行为动作分析模块连接，表情分析匹配模块与图像表情特征提取模块连接，倾斜危险处理模块与行为动作分析模块连接，智慧数据库分别与表情分析匹配模块、行为动作分析模块和倾斜危险处理模块连接。
图像采集模块包括若干摄像头，分别安装在湖水周侧的防护柱上，相邻两防护柱间安装有防护栏，图像采集模块通过对防护栏区域内的环境进行图像采集，并将采集的环境图像进行预处理，提高图像的清晰度，并将经预处理后的环境图像分别发送至图像表情特征提取模块、行为动作分析模块和云服务器。
图像表情特征提取模块用于接收图像采集模块发送的经处理后的环境图像，判断采集的环境图像中是否有人，对环境图像中的人脸区域进行定位，并对人脸区域进行放大，提取人脸区域中的各面部表情特征，并将提取的各面部表情特征发送至表情分析匹配模块；
表情分析匹配模块用于接收图像表情特征提取模块发送的各面部表情特征，并将接收的环境图像中人员的各面部表情特征分别与智慧数据库中存储的各面部表情对应的表情特征集合进行对比，得到表情特征对比集合Wk′(w′k1,w′k2,...,w′ki,...,w′km)，w′ki表示为环境图像中人员的各面部表情特征与第k个面部表情对应的第i个特征间的对比情况，若环境图像中人员的各面部表情特征中存在第k个面部表情对应的第i个特征，则w′ki等于r(2＞r＞1)，反之，则w′ki等于0，根据表情特征对比集合，分析与采集的环境图像中人员的面部表情相匹配的面部表情，并将相匹配的面部表情发送至云服务器，其中，相匹配的面部表情为相似度最大的面部表情，面部表情的相似度公式：
Figure BDA0002425728660000091
压力检测终端包括若干压力检测模块和计时统计模块，压力检测终端用于实时检测湖水周侧的护栏所受的压力数值、推力数值以及统计压力数值、推力数值分别对应的累计时长，并将检测的压力数值、推力数值以及统计压力数值、推力数值分别对应的累计时长发送至云服务器，压力检测模块为压力传感器，压力传感器安装在湖水周侧的护栏上，压力检测模块用于实时检测湖水周侧的护栏所受压力和推力，并将检测的护栏所受的压力数值和推力数值发送至云服务器，计时统计模块用于统计护栏所受的压力累计的时长和推力累计时长，并将统计的护栏所受的压力累计的时长和推力累计时长发送至云服务器。
行为动作分析模块与图像采集模块连接，行为动作分析模块用于接收图像采集模块发送的经处理后的环境图像，提取环境图像中人员的行为动作，并将人员的行为动作与智慧数据库中存储的标准危险行为动作进行对比，筛选出图像中人员的行为动作所对应的标准危险行为动作，并提取该标准危险行为动作所对应的行为危险系数，并将该行为动作所对应的行为危险系数发送至云服务器，同时，将环境图像中人员的行为动作发送至倾斜危险处理模块。
倾斜危险处理模块用于接收环境图像中人员的行为动作，提取环境图像中人员的行为动作与护栏间的倾斜角度，若人员处于站立在护栏上时，判断人员与护栏间的站立倾斜角度θ1，并将人员站立倾斜角度与设定的各级站立倾斜危险因子对应的倾斜数值范围进行对比，确定人员站立时倾斜危险因子级别，并从智慧数据库中根据站立时倾斜危险因子级别筛选出倾斜危险系数，若人员处于坐在护栏上时，统计人员上身与护栏间的坐姿倾斜角度θ2,并将人员坐姿倾斜角度与设定的各级坐姿倾斜危险因子对应的倾斜数据范围进行对比，确定人员坐姿时倾斜危险因子级别，并从智慧数据库中根据坐姿时倾斜危险因子级别筛选出倾斜危险系数，若人员趴在护栏上，提取图像中的人员身高，并将人员身高与护栏高度进行对比，若人员身高大于护栏高度，判断人员与护栏间的趴扶倾斜角度θ3，并将人员趴扶倾斜角度与设定的各级趴扶倾斜危险因子对应的倾斜数值范围进行对比，确定人员趴扶时倾斜危险因子级别，若人员身高小于护栏高度，则人员的倾斜危险因子级别为趴扶倾斜危险因子级别中的一级，并从智慧数据库中根据趴扶时倾斜危险因子级别筛选出倾斜危险系数，并将图像中人员处于各状态下的倾斜危险系数发送至云服务器。
其中，倾斜危险因子级别包括各级站立倾斜危险因子、各级坐姿倾斜危险因子和各级趴扶倾斜危险因子。
智慧数据库用于存储各面部表情对应的表情特征集合Wk(wk1,wk2,...,wki,...,wkm)，wki表示为第k个面部表情对应的第i个特征，且第k个面部表情对应的表情危险系数为
Figure BDA0002425728660000101
其中，面部表情包括悲伤、害怕、愤怒、厌恶、高兴等，对悲伤、害怕、愤怒、厌恶、高兴等表情分别进行排序，分别为1,2,3,4,5，无面部表情对应的排序编号为6，即k等于1,2,3,4,5,6，无面部表情对应的表情危险系数为
Figure BDA0002425728660000102
各面部表情对应的表情危险系数的大小关系分别为
Figure BDA0002425728660000103
分别表示为悲伤、害怕、愤怒、厌恶、高兴以及无面部表情对应的表情危险系数。
同时，存储若干标准危险行为动作，以及存储各标准危险行为动作对应的行为危险系数，每个标准危险行为动作与行为危险系数逐一对应，其中，标准危险行为动作分别为攀爬护栏、站立在护栏上、跳跃、蹲坐在护栏上等行为，若不存在标准危险行为动作，则对应的行为危险系数为1。
另外，存储各级站立倾斜危险因子对应的站立时的倾斜数值范围、各级坐姿倾斜危险因子对应的坐姿时的倾斜数值范围以及各级趴扶倾斜危险因子对应的趴扶时的倾斜数值范围，并分别存储各级站立倾斜危险因子、各级坐姿倾斜危险因子和各级趴扶倾斜危险因子对应的倾斜危险系数，其中，各级站立倾斜危险因子均与一倾斜危险系数相一一对应，各级坐姿倾斜危险因子对应的坐姿时的倾斜数值范围不同，各级坐姿倾斜危险因子均与一倾斜危险系数相一一对应，各级趴扶倾斜危险因子对应的趴扶时的倾斜数值范围不同，各级趴扶倾斜危险因子均与一倾斜危险系数相一一对应，同一姿态下，级别越高，则倾斜数值范围越大，对应的倾斜危险系数越大。
各级站立倾斜危险因子μ11,μ12,...,μ1f,...,μ1p对应的倾斜危险系数分别为qμ11,qμ12,...,qμ1f,...,qμ1p，各级坐姿倾斜危险因子μ21,μ22,...,μ2f,...,μ2p对应的倾斜危险系数分别为qμ21,qμ22,...,qμ2f,...,qμ2p，各级趴扶倾斜危险因子μ31,μ32,...,μ3f,...,μ3p对应的倾斜危险系数分别为qμ31,qμ32,...,qμ3f,...,qμ3p，且μ11＞qμ2p，qμ21＞qμ3p，μ1f、μ2f和μ3f分别表示为第f个站立倾斜因子、第f个坐姿倾斜因子和第f个趴扶倾斜因子，qμ1f、qμ2f和qμ3f分别表示为第f个站立倾斜因子、第f个坐姿倾斜因子和第f个趴扶倾斜因子对应的倾斜危险系数。
云服务器用于接收表情分析匹配模块发送的护栏边上人员的面部表情，并判断同一人员的面部表情在检测时间内是否发生变化，若由表情危险系数小的面部表情切换成表情危险系数大的面部表情，则表情转换危险比例系数ψ1(1＜ψ1＜2)，若由表情危险系数大的面部表情切换成表情危险系数小的面部表情，则表情转换危险比例系数ψ2(0＜ψ2＜1)，若检测时间内面部表情始终处于同一表情危险系数下的面部表明，则表情转换危险比例系数ψ3(ψ3＝1)，并从智慧数据库中提取检测时间段内出现的各面部表情所对应的表情危险系数，接收行为动作分析模块发送的图像中人员的行为动作所对应的行为危险系数，并接收倾斜危险处理模块发送的倾斜危险系数，同时接收压力检测终端发送的护栏所受的压力数值、推力数值以及统计压力数值、推力数值分别对应的累计时长，并将检测的护栏压力累计时长下的压力数值与护栏压力阈值进行对比，统计护栏压力大于护栏压力阈值的时长，并将检测的护栏推力累计时长下的推力数值与护栏推力阈值进行对比，统计护栏推力大于护栏推力阈值的时长，云服务器根据护栏边上人员面部表情对应的表情危险系数、行为危险系数、倾斜危险系数、大于护栏压力阈值的时长以及大于护栏推力阈值的时长，对护栏周侧的人员进行综合评估防护救援危险系数统计，综合评估防护救援危险系数越高，表明需救援的可能性越大，云服务器接收图像采集模块发送的经处理后的图像，根据图像中人员的位置判断统计的综合评估防护救援危险系数的人员所在两防护柱间的位置，当综合评估防护救援危险系数大于设定的综合评估防护救援危险系数阈值时，云服务器发送防护控制指令以及需救援人员所在的位置防护执行装置。
其中，综合评估防护救援危险系数的计算公式为
Figure BDA0002425728660000131
t压阈值、t推阈值分别表示为大于护栏压力阈值的时长和大于护栏推力阈值的时长，t压、t推分别表示为护栏所受压力的累计时长、胡丽娜所受推力的累计时长，x表示为检测人员的行为危险系数，y表示为检测人员的倾斜危险系数，dist(x,y)表示为行为危险系数与倾斜危险系数间的欧式距离，
Figure BDA0002425728660000132
表示为检测人员表情变化影响系数，ηv表示为检测人员的表情危险系数，
Figure BDA0002425728660000133
τv表示为表情转换危险比例系数，τv＝ψ1、ψ2或ψ3，v表示为检测时间段内依次出现的面部表情的种类，e表示为自然常数，若在检测的时间段内，检测人员始终只保持一种面部表情，则v等于1，τv＝ψ3，若在检测的时间段内，检测人员出现面部表情的切换，则面部表情切换的次数v大于1，通过对防护周侧人员的表情、行为动作、与护栏间的倾斜角度以及对护栏推压的时长来综合分析该人员所处状态下的危险状况。
防护执行装置安装在防护栏内侧，防护执行模块在两防护柱间的支撑横板上进行滑动配合，以在两防护柱之间进行移动，并接收云服务器发送的需救援人员的位置，调整防护网至需救援人员的位置处，并根据防护控制指令对防护网由闭合状态切换成打开状态，实现对人员的救助。
防护执行装置包括支撑横板4、滑动柱2和防护机构1，支撑横板4两端分别与挡板连接，挡板与湖边的防护柱进行固定连接，支撑横板4上开有T型滑动槽。
滑动柱2包括第一滑动柱本体21、第二滑动柱本体22，第二滑动柱本体22上固定有第一滑动柱本体21，第一滑动柱本体21与第二滑动柱本体22的轴心在同一直线上，第二滑动柱本体22下端部固定有延伸块23，延伸块23与第二滑动柱本体22构成T型滑杆，T型滑杆在支撑横板4上的T型滑动槽内进行滑动配合，第二滑动柱本体22通过电动伸缩杆3与挡板固定连接。
防护机构1包括定位套14、从传动件15、动力机构16、固定支板17、若干第一连接板11、第二连接板12和铰接件13，第一连接板11与第二连接板12中部铰接，第一连接板11两端开有第一铰接孔，第二连接板12两端开有第二铰接孔，第一铰接孔与第二铰接孔的尺寸相同，第一连接板11两端分别通过铰接件13与第二连接板12一端相铰接，第二连接板12两端分别通过铰接件13与第一连接板11一端相铰接，铰接件13由两铰接板相互连接组成，两铰接板呈120°铰接板上开有与第一铰接孔和第二铰接孔相配合的第一铰接柱，定位套14包括定位筒141，定位筒141与第一滑动柱本体21下端固定连接，定位筒141上固定有两第一铰接块142，两第一铰接块142呈120°，一第一铰接块142上的第二铰接柱143与第一连接板11上的第一铰接孔相配合，另一第一铰接块142上的第二铰接柱143与第二连接板12上的第二铰接孔相配合。
其中，每个铰接件13均与防护网相连接。
从传动件15包括齿牙板151，齿压板151与移动套152连接，移动套152上固定有两第二铰接块153，两第二铰接块153呈120°，一第二铰接块153上的第三铰接柱154与第一连接板11上的第一铰接孔相配合，另一第二铰接块153上的第三铰接柱154与第二连接板12上的第二铰接孔相配合。
动力机构16包括电机161，电机161通过输出轴固定有与齿牙板151相啮合的齿轮162，固定支板17上开有与第二滑动柱本体22相固定的安装孔172以及与齿牙板151间隙配合的矩形通孔171。
工作时，防护执行装置接收云服务器发送的救援人员在防护柱间的位置以及接收防护控制指令，此时，电动伸缩杆33动作，推动滑动柱2在支撑横板4上的T型滑动槽中移动，移动至指定位置时，电机161正转，带动齿轮162转动，齿轮162转动带动151向下移动，进而带动移动套152向下移动，由第一连接杆11、第二连接杆12和铰接件13组成的防护框架由收缩状态切换成打开状态，使得与铰接件13相连接的防护网也由收缩状态切换成打开状态，一旦有人坠落，打开状态下的防护网可对坠落人员进行救助，当救助完成后，电机161反转，带动齿轮162转动，齿轮162转动带动151向上移动，进而带动移动套152向上移动，由第一连接杆11、第二连接杆12和铰接件13组成的防护框架由打开状态切换成收缩状态，使得与铰接件13相连接的防护网也由打开状态切换成收缩状态。
以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (8)

1.一种基于大数据的智慧安全防护检测系统，其特征在于：包括图像采集模块、图像表情特征提取模块、表情分析匹配模块、压力检测终端、行为动作分析模块、智慧数据库、倾斜危险处理模块、云服务器和防护执行装置；
所述云服务器分别与图像采集模块、表情分析匹配模块、行为动作分析模块、压力检测终端、智慧数据库、倾斜危险处理模块和防护执行装置连接，图像采集模块分别与图像表情特征提取模块和行为动作分析模块连接，表情分析匹配模块与图像表情特征提取模块连接，倾斜危险处理模块与行为动作分析模块连接，智慧数据库分别与表情分析匹配模块、行为动作分析模块和倾斜危险处理模块连接；
所述图像采集模块包括若干摄像头，分别安装在湖水周侧的防护柱上，相邻两防护柱间安装有防护栏，图像采集模块通过对防护栏区域内的环境进行图像采集，并将采集的环境图像进行预处理，提高图像的清晰度，并将经预处理后的环境图像分别发送至图像表情特征提取模块、行为动作分析模块和云服务器；
所述图像表情特征提取模块用于接收图像采集模块发送的经处理后的环境图像，判断采集的环境图像中是否有人，对环境图像中的人脸区域进行定位，并对人脸区域进行放大，提取人脸区域中的各面部表情特征，并将提取的各面部表情特征发送至表情分析匹配模块；
所述表情分析匹配模块用于接收图像表情特征提取模块发送的各面部表情特征，并将接收的环境图像中人员的各面部表情特征分别与智慧数据库中存储的各面部表情对应的表情特征集合进行对比，分析与采集的环境图像中人员的面部表情相匹配的面部表情，并将相匹配的面部表情发送至云服务器；
所述压力检测终端用于实时检测湖水周侧的护栏所受的压力数值、推力数值以及统计压力数值、推力数值分别对应的累计时长，并将检测的压力数值、推力数值以及统计压力数值、推力数值分别对应的累计时长发送至云服务器；
所述行为动作分析模块与图像采集模块连接，行为动作分析模块用于接收图像采集模块发送的经处理后的环境图像，提取环境图像中人员的行为动作，并将人员的行为动作与智慧数据库中存储的标准危险行为动作进行对比，筛选出图像中人员的行为动作所对应的标准危险行为动作，并提取该标准危险行为动作所对应的行为危险系数，并将该行为动作所对应的行为危险系数发送至云服务器，同时，将环境图像中人员的行为动作发送至倾斜危险处理模块；
所述倾斜危险处理模块用于接收环境图像中人员的行为动作，提取环境图像中人员处于不同状态时，人员的行为动作与护栏间的倾斜角度，并根据倾斜角度判断不同状态下的倾斜危险因子级别，根据不同状态下的倾斜危险因子级别筛选倾斜危险系数，并将图像中人员处于各状态下的倾斜危险系数发送至云服务器，其中，倾斜危险因子级别包括各级站立倾斜危险因子、各级坐姿倾斜危险因子和各级趴扶倾斜危险因子；
所述智慧数据库用于存储各面部表情对应的表情特征集合以及各面部表情对应的表情危险系数，存储若干标准危险行为动作，以及存储各标准危险行为动作对应的行为危险系数，每个标准危险行为动作与行为危险系数逐一对应；另外，存储各级站立倾斜危险因子对应的站立时的倾斜数值范围、各级坐姿倾斜危险因子对应的坐姿时的倾斜数值范围以及各级趴扶倾斜危险因子对应的趴扶时的倾斜数值范围，并分别存储各级站立倾斜危险因子、各级坐姿倾斜危险因子和各级趴扶倾斜危险因子对应的倾斜危险系数；
云服务器用于接收表情分析匹配模块发送的护栏边上人员的面部表情，并判断同一人员的面部表情在检测时间内是否发生变化，若由表情危险系数小的面部表情切换成表情危险系数大的面部表情，则表情转换危险比例系数ψ1，若由表情危险系数大的面部表情切换成表情危险系数小的面部表情，则表情转换危险比例系数ψ2，若检测时间内面部表情始终处于同一表情危险系数下的面部表明，则表情转换危险比例系数ψ3，并从智慧数据库中提取检测时间段内出现的各面部表情所对应的表情危险系数，接收行为动作分析模块发送的图像中人员的行为动作所对应的行为危险系数，并接收倾斜危险处理模块发送的倾斜危险系数，同时接收压力检测终端发送的护栏所受的压力数值、推力数值以及统计压力数值、推力数值分别对应的累计时长，并将检测的护栏压力累计时长下的压力数值与护栏压力阈值进行对比，统计护栏压力大于护栏压力阈值的时长，并将检测的护栏推力累计时长下的推力数值与护栏推力阈值进行对比，统计护栏推力大于护栏推力阈值的时长，云服务器根据护栏边上人员面部表情对应的表情危险系数、行为危险系数、倾斜危险系数、大于护栏压力阈值的时长以及大于护栏推力阈值的时长，对护栏周侧的人员进行综合评估防护救援危险系数统计，云服务器接收图像采集模块发送的经处理后的图像，根据图像中人员的位置判断统计的综合评估防护救援危险系数的人员所在两防护柱间的位置，云服务器发送防护控制指令以及需救援人员所在的位置防护执行装置；
所述防护执行装置安装在防护栏内侧，防护执行模块在两防护柱间的支撑横板上进行滑动配合，以在两防护柱之间进行移动，并接收云服务器发送的需救援人员的位置，调整防护网至需救援人员的位置处，并根据防护控制指令对防护网由闭合状态切换成打开状态。
2.根据权利要求1所述的一种基于大数据的智慧安全防护检测系统，其特征在于：所述压力检测终端包括若干压力检测模块和计时统计模块，压力检测模块为压力传感器，压力传感器安装在湖水周侧的护栏上，压力检测模块用于实时检测湖水周侧的护栏所受压力和推力，并将检测的护栏所受的压力数值和推力数值发送至云服务器，计时统计模块用于统计护栏所受的压力累计的时长和推力累计时长，并将统计的护栏所受的压力累计的时长和推力累计时长发送至云服务器。
3.根据权利要求1所述的一种基于大数据的智慧安全防护检测系统，其特征在于：各级站立倾斜危险因子μ11,μ12,...,μ1f,...,μ1p对应的倾斜危险系数分别为qμ11,qμ12,...,qμ1f,...,qμ1p，各级坐姿倾斜危险因子μ21,μ22,...,μ2f,...,μ2p对应的倾斜危险系数分别为qμ21,qμ22,...,qμ2f,...,qμ2p，各级趴扶倾斜危险因子μ31,μ32,...,μ3f,...,μ3p对应的倾斜危险系数分别为qμ31,qμ32,...,qμ3f,...,qμ3p，且μ11＞qμ2p，qμ21＞qμ3p，μ1f、μ2f和μ3f分别表示为第f个站立倾斜因子、第f个坐姿倾斜因子和第f个趴扶倾斜因子，qμ1f、qμ2f和qμ3f分别表示为第f个站立倾斜因子、第f个坐姿倾斜因子和第f个趴扶倾斜因子对应的倾斜危险系数。
4.根据权利要求1所述的一种基于大数据的智慧安全防护检测系统，其特征在于：所述综合评估防护救援危险系数的计算公式为
Figure FDA0002425728650000051
t压阈值、t推阈值分别表示为大于护栏压力阈值的时长和大于护栏推力阈值的时长，t压、t推分别表示为护栏所受压力的累计时长、胡丽娜所受推力的累计时长，x表示为检测人员的行为危险系数，y表示为检测人员的倾斜危险系数，dist(x,y)表示为行为危险系数与倾斜危险系数间的欧式距离，
Figure FDA0002425728650000052
表示为检测人员表情变化影响系数，ηv表示为检测人员的表情危险系数，
Figure FDA0002425728650000053
τv表示为表情转换危险比例系数，τv＝ψ1、ψ2或ψ3，v表示为检测时间段内依次出现的面部表情的种类，e表示为自然常数，若在检测的时间段内，检测人员始终只保持一种面部表情，则v等于1，τv＝ψ3，若在检测的时间段内，检测人员出现面部表情的切换，则面部表情切换的次数v大于1。
5.根据权利要求1所述的一种基于大数据的智慧安全防护检测系统，其特征在于：所述防护执行装置包括支撑横板(4)、滑动柱(2)和防护机构(1)，支撑横板(4)两端分别与挡板连接，挡板与防护柱进行固定连接，支撑横板(4)上开有T型滑动槽；
所述滑动柱(2)包括第一滑动柱本体(21)、第二滑动柱本体(22)，第二滑动柱本体(22)上固定有第一滑动柱本体(21)，第二滑动柱本体(22)下端部固定有延伸块(23)，延伸块(23)与第二滑动柱本体(22)构成T型滑杆，T型滑杆在支撑横板(4)上的T型滑动槽内进行滑动配合；
所述第二滑动柱本体(22)通过电动伸缩杆(3)与挡板固定连接；
所述防护机构(1)包括定位套(14)、从传动件(15)、动力机构(16)、固定支板(17)、若干第一连接板(11)、第二连接板(12)和铰接件(13)，第一连接板(11)与第二连接板(12)中部铰接，第一连接板(11)两端分别通过铰接件(13)与第二连接板(12)一端相铰接，第二连接板(12)两端分别通过铰接件(13)与第一连接板(11)一端相铰接，所述定位套(14)包括定位筒(141)，定位筒(141)与第一滑动柱本体(21)固定连接，定位筒(141)两侧分别与一第一连接板(11)一端和一第二连接杆(12)一端相铰接；
所述从传动件(15)包括齿牙板(151)，齿压板(151)与移动套(152)连接，移动套(152)两侧分别与一第一连接板(11)一端和一第二连接杆(12)一端相铰接；
所述动力机构(16)包括电机(161)，电机(161)通过输出轴固定有与齿牙板(151)相啮合的齿轮(162)，固定支板(17)上开有与第二滑动柱本体(22)相固定的安装孔(172)以及与齿牙板(151)间隙配合的矩形通孔(171)。
6.根据权利要求5所述的一种基于大数据的智慧安全防护检测系统，其特征在于：所述第一滑动柱本体(21)与第二滑动柱本体(22)的轴心在同一直线上。
7.根据权利要求5所述的一种基于大数据的智慧安全防护检测系统，其特征在于：所述第一连接板(11)两端开有第一铰接孔，第二连接板(12)两端开有第二铰接孔，第一铰接孔与第二铰接孔的尺寸相同。
8.根据权利要求7所述的一种基于大数据的智慧安全防护检测系统，其特征在于：所述定位筒(141)上固定有两第一铰接块(142)，两第一铰接块(142)呈120°，移动套(152)上固定有两第二铰接块(153)，两第二铰接块(153)呈120°。
CN202010219955.1A 2020-03-25 2020-03-25 一种基于大数据的智慧安全防护检测系统 Withdrawn CN111414871A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010219955.1A CN111414871A (zh) 2020-03-25 2020-03-25 一种基于大数据的智慧安全防护检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010219955.1A CN111414871A (zh) 2020-03-25 2020-03-25 一种基于大数据的智慧安全防护检测系统

Publications (1)

Publication Number Publication Date
CN111414871A true CN111414871A (zh) 2020-07-14

Family

ID=71491379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010219955.1A Withdrawn CN111414871A (zh) 2020-03-25 2020-03-25 一种基于大数据的智慧安全防护检测系统

Country Status (1)

Country Link
CN (1) CN111414871A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111938659A (zh) * 2020-08-13 2020-11-17 深圳市创泽视科技有限公司 一种婴幼儿监护系统及其监护装置
CN113058233A (zh) * 2020-12-06 2021-07-02 泰州可以信息科技有限公司 落地区域分级管理系统及方法
CN114973148A (zh) * 2022-06-22 2022-08-30 成都涛骏交通设施有限公司 一种基于智慧城市建设的市政设施在线监测数字化智能管理平台
CN115019402A (zh) * 2022-08-09 2022-09-06 东莞先知大数据有限公司 一种岸边人员危险行为检测方法、电子设备和存储介质
CN115660377A (zh) * 2022-11-29 2023-01-31 国网河南省电力公司商丘供电公司 一种基于北斗定位的变电站室外施工人员安全管控方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111938659A (zh) * 2020-08-13 2020-11-17 深圳市创泽视科技有限公司 一种婴幼儿监护系统及其监护装置
CN113058233A (zh) * 2020-12-06 2021-07-02 泰州可以信息科技有限公司 落地区域分级管理系统及方法
CN114973148A (zh) * 2022-06-22 2022-08-30 成都涛骏交通设施有限公司 一种基于智慧城市建设的市政设施在线监测数字化智能管理平台
CN114973148B (zh) * 2022-06-22 2024-05-24 烟台国信智慧信息科技有限公司 一种基于智慧城市建设的市政设施在线监测数字化智能管理平台
CN115019402A (zh) * 2022-08-09 2022-09-06 东莞先知大数据有限公司 一种岸边人员危险行为检测方法、电子设备和存储介质
CN115019402B (zh) * 2022-08-09 2022-11-25 东莞先知大数据有限公司 一种岸边人员危险行为检测方法、电子设备和存储介质
CN115660377A (zh) * 2022-11-29 2023-01-31 国网河南省电力公司商丘供电公司 一种基于北斗定位的变电站室外施工人员安全管控方法
CN115660377B (zh) * 2022-11-29 2023-11-07 国网河南省电力公司商丘供电公司 一种基于北斗定位的变电站室外施工人员安全管控方法

Similar Documents

Publication Publication Date Title
CN111414871A (zh) 一种基于大数据的智慧安全防护检测系统
CN111967400B (zh) 一种基于人工智能的校园安全监测预警管理系统
CN108090458B (zh) 人体跌倒检测方法和装置
CN108764190B (zh) 老年人离床与在床状态的视频监测方法
CN112489368A (zh) 智能跌倒识别与检测报警方法及系统
CN103839373A (zh) 一种突发异常事件智能识别报警装置及报警系统
CN109867186B (zh) 一种基于智能视频分析技术的电梯困人检测方法及系统
CN111767823A (zh) 一种睡岗检测方法、装置、系统及存储介质
CN112351262B (zh) 一种基于ai图像属性识别的智能社区监测系统
CN112801000A (zh) 一种基于多特征融合的居家老人摔倒检测方法及系统
CN109948919A (zh) 一种变电站运维服务系统
CN102610054A (zh) 基于视频的起身检测系统
CN111776900A (zh) 一种基于大数据的楼宇电梯运行智能安全监控管理系统
CN215814260U (zh) 一种智慧工地用人脸识别装置
Ning et al. Fall detection algorithm based on gradient boosting decision tree
CN214151811U (zh) 一种多角度人脸识别通行系统
CN113044694A (zh) 基于深度神经网络的工地电梯人数统计系统及方法
CN110065867A (zh) 基于音视频的电梯舒适度评价的方法和系统
CN104392201A (zh) 一种基于全向视觉的人体跌倒识别方法
CN114463681A (zh) 一种基于视频监控平台的火灾检测方法
CN209168218U (zh) 一种基于人脸识别的出入口控制系统
CN114639047A (zh) 一种基于卷积神经网络的海南长臂猿野外图像检测系统及方法
CN112097024A (zh) 一种基于大数据的人脸识别设备
Chen et al. A Dynamic Height Analysis on Vision Based Fall Detection System
CN214714240U (zh) 一种便于安装的乒乓球用人工智能监测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200714