CN114783166B - 一种基于气体检测的作业人员行为动态感知系统 - Google Patents
一种基于气体检测的作业人员行为动态感知系统 Download PDFInfo
- Publication number
- CN114783166B CN114783166B CN202210732805.XA CN202210732805A CN114783166B CN 114783166 B CN114783166 B CN 114783166B CN 202210732805 A CN202210732805 A CN 202210732805A CN 114783166 B CN114783166 B CN 114783166B
- Authority
- CN
- China
- Prior art keywords
- abnormal
- behavior
- unit
- abnormal behavior
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1123—Discriminating type of movement, e.g. walking or running
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
- G01C5/06—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels by using barometric means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method, e.g. intermittent, or the display, e.g. digital
- G01N33/0063—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method, e.g. intermittent, or the display, e.g. digital using a threshold to release an alarm or displaying means
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/12—Alarms for ensuring the safety of persons responsive to undesired emission of substances, e.g. pollution alarms
- G08B21/14—Toxic gas alarms
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Emergency Management (AREA)
- Chemical & Material Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Business, Economics & Management (AREA)
- Toxicology (AREA)
- Combustion & Propulsion (AREA)
- Medicinal Chemistry (AREA)
- Psychiatry (AREA)
- Computing Systems (AREA)
- Automation & Control Theory (AREA)
- Social Psychology (AREA)
- Food Science & Technology (AREA)
- Psychology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Environmental & Geological Engineering (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及安全防护技术领域,具体涉及一种基于气体检测的作业人员行为动态感知系统,该系统包括行为监测模块、高度检测模块以及气体检测模块。行为监测模块包括行为数据采集单元、行为异常判断单元、第一计算单元、第二计算单元、第三计算单元、第四计算单元、目标异常行为确定单元以及行为报警单元。高度检测模块包括高度数据采集单元、第五计算单元以及高度数据输出单元。气体检测模块包括有害气体监测单元、氧气浓度监测单元、气体报警单元以及气体数据输出单元。本发明将行为监测模块、高度检测模块以及气体检测模块结合到一起,能方便、智能、快捷的对有限空间内存在的作业安全隐患问题提出预警。
Description
技术领域
本发明涉及安全防护技术领域,具体涉及一种基于气体检测的作业人员行为动态感知系统。
背景技术
在各种人员作业过程中,作业人员的安全保障是放在第一位的,根据作业人员的工作性质以及工作场景,需要考虑的安全隐患与也不一致。目前在有限空间作业人员存在的安全隐患较多,主要有自然通风不良,易造成有毒有害、易燃易爆物质积聚或者氧含量不足等问题。同时在有限空间内作业人员的行为规范也是作业安全的重要保证。
对于作业人员的行为监测主要是对已经发生的危险行为及时救援,比如发生意外跌倒或者跌落等危险行为。同时对于作业人员的行为监测还需避免作业人员出现不规范行为比如奔跑。目前对于作业人员的行为监测一般是基于图像或者传感器。目前在利用人工智能技术对异常行为进行监测时,对于相近的行为不能明显的区分。
因此,需要提供一种基于气体检测的作业人员行为动态感知系统,予以解决上述问题。
发明内容
本发明提供一种基于气体检测的作业人员行为动态感知系统,将行为监测模块、高度检测模块以及气体检测模块结合到一起,能方便、智能、快捷的对有限空间内存在的作业安全隐患问题提出预警。
本发明的一种基于气体检测的作业人员行为动态感知系统采用如下技术方案:
至少包括用于监测异常行为数据的行为监测模块;该行为监测模块包括:
行为数据采集单元,用于实时获取人体在三维坐标轴方向的加速度值;
行为异常判断单元,用于利用行为数据采集单元采集的每个时刻的三维坐标轴方向的加速度值计算出每个时刻的加速度幅值,当任一时刻的加速度幅值不在预设正常加速度幅值范围内时,判断人体行为在该时刻开始出现异常;
第一计算单元,当行为异常判断单元判断人体行为发生异常时,第一计算单元用于获取异常行为持续时段,并根据异常行为持续时段计算出第一异常影响因子;
第二计算单元,利用第一计算单元获取的异常行为持续时段,得到在该异常行为持续时段内每个时刻三维坐标轴方向的加速度值,当某一坐标轴方向的加速度值绝对值大于该坐标轴方向的预设正常加速度幅值时认为该坐标轴方向的加速度值异常;根据在异常行为持续时段内每个时刻加速度值异常的个数计算出第二异常影响因子;
第三计算单元,利用第一计算单元获取的异常行为持续时段,得到在该异常行为持续时段内每个时刻的加速度幅值偏离正常加速度幅值范围的偏离程度,并根据该偏离程度计算出第三异常影响因子;
第四计算单元,利用第一计算单元获取的异常行为持续时段,得到在该异常行为持续时段内沿人体前进的坐标轴方向的加速度值变化曲线,并根据该变化曲线的幅度变化均匀度和该变化曲线中峰值等间距度计算出第四异常影响因子;
目标异常行为确定单元,利用第一计算单元获取的第一异常影响因子、第二计算单元获取的第二异常影响因子、第三计算单元获取的第三异常影响因子以及第四计算单元获取的第四异常影响因子确定发生各种异常行为的概率,选取概率最大值对应的异常行为即为目标异常行为;
行为报警单元,根据目标异常行为确定单元获取的目标异常行为进行报警,并将异常行为数据上传到人员安全管理平台。
进一步地,所述行为数据采集单元包括:
坐标系建立单元,用于以人体质心为中心建立三维直角坐标系,三维直角坐标系的三个轴分别为X轴、Y轴、Z轴;
加速度值获取单元,用于实时获取人体在X轴、Y轴、Z轴三个轴方向的加速度值。
进一步地,所述第一计算单元包括:
异常开始时刻获取单元,当行为异常判断单元在判断人体行为开始出现异常后获取异常开始时刻;
异常行为持续时段计算单元,利用异常开始时刻获取单元获取的异常开始时刻,计算出从异常开始时刻后每个时刻的加速度幅值,当任一时刻的加速度幅值在预设正常加速度幅值范围内时,判断人体行为在该时刻开始回归正常并记录回归正常的时刻;用于将回归正常的时刻与异常开始时刻相减得到异常行为持续时段;
第一异常影响因子计算单元,根据异常行为持续时段计算单元获取的异常行为持续时段与预设最短异常行为持续时间的接近度,计算出第一异常影响因子。
进一步地,所述第三计算单元包括:
偏离程度计算单元,利用第一计算单元获取的异常行为持续时段,计算出异常行为持续时段内每个时刻的加速度幅值偏离正常加速度幅值范围的偏离程度;
第三异常影响因子计算单元,利用偏离程度计算单元获取的偏离程度,计算出异常行为持续时段内所有时刻对应的偏离程度的均值,并将该均值作为第三异常影响因子。
进一步地,所述第四计算单元包括:
变化曲线获取单元,利用第一计算单元获取的异常行为持续时段,得到在该异常行为持续时段内沿人体前进的坐标轴方向的加速度值变化曲线;
幅度变化均匀度计算单元,利用变化曲线获取单元获取的变化曲线,计算出变化曲线中全部峰值的峰值均值并选取变化曲线中最大峰值;用于根据峰值均值和最大峰值计算出变化曲线的幅度变化均匀度;
峰值等间距度计算单元,利用变化曲线获取单元获取的变化曲线,计算出变化曲线中任意相邻两峰值的间距时间,选取获得的全部间距时间中的最长间距时间,并计算出全部间距时间的间距时间标准差;用于根据最长间距时间和间距时间标准差计算出变化曲线中峰值等间距度;
第四异常影响因子计算单元,利用幅度变化均匀度计算单元获取的变化曲线的幅度变化均匀度和峰值等间距度计算单元获取的峰值等间距度计算出第四异常影响因子。
进一步地,所述行为报警模块包括:
目标异常行为获取单元,用于获取目标异常行为确定单元确定的目标异常行为;
预警提示单元,利用目标异常行为获取单元获取的目标异常行为的类型发出不同类型的预警提示;
行为数据输出单元,用于将目标异常行为获取单元获取的目标异常行为的类型上传到人员安全管理平台。
进一步地,还包括用于监测作业面高度数据的高度检测模块,该高度检测模块包括:
高度数据采集单元,用于获取经过降噪处理后的大气压数据;
第五计算单元,利用高度数据采集单元获取的所有大气压数据的均值计算出当前作业面的海拔高度;用于计算当前作业面的海拔高度与当前地面的海拔高度差值,将该差值作为作业面高度;
高度数据输出单元,用于将第五计算单元获取的作业面高度数据上传到人员安全管理平台。
进一步地,还包括用于监测作业环境内气体数据的气体检测模块,该气体检测模块包括:
有害气体监测单元,用于监测作业环境是否出现有害气体;
氧气浓度监测单元,用于监测作业环境内氧气浓度;
气体报警单元,当有害气体监测单元监测到作业环境内出现有害气体时或氧气浓度监测单元监测到作业环境内氧气浓度低于预设氧气浓度阈值时进行报警;
气体数据输出单元,用于将有害气体监测单元获取的作业环境内出现的有害气体类型和利用氧气浓度监测单元获取的作业环境内氧气浓度上传到人员安全管理平台。
本发明的有益效果是:本发明通过行为监测模块、高度检测模块以及气体检测模块,能获得作业人员的作业面高度,作业过程中的异常行为,同时还能对作业环境内的气体进行监测。之后根据各模块的数据处理结果,连接报警装置和通讯装置。当作业过程出现危险情况时,及时报警提醒作业人员撤离;当作业过程中发生意外跌倒或坠落时,通知管理人员及时的做出救援,同时警报传送到人员安全管理平台,管理人员及时了解情况,并做出救援,保证作业人员安全。当检测到作业人员奔跑时,触发相应的警报装置,提醒作业人员的作业规范。在有限空间中当检测到有害气体,或者氧气不足时,出发报警装置,通知作业人员及时撤离。同时将作业人员的作业面高度数据、异常行为数据、作业环境内出现的有害气体类型和作业环境内氧气浓度上传到人员安全管理平台,做到施工过程透明化,施工过程可追溯。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一种基于气体检测的作业人员行为动态感知系统的总体系统框图示意图;
图2为图1中行为监测模块的系统框图示意图;
图3为图1中高度检测模块的系统框图示意图;
图4为图1中气体检测模块的系统框图示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的一种基于气体检测的作业人员行为动态感知系统的实施例,如图1所示,该系统包括:行为监测模块、高度检测模块以及气体检测模块。行为监测模块主要用来对作业人员已经发生的危险行为或者不规范行为进行监测。比如监测作业人员是否发生意外跌倒或者跌落等危险行为,或者监测作业人员是否出现不规范行为比如奔跑行为。
如图2所示,行为监测模块包括:行为数据采集单元、行为异常判断单元、第一计算单元、第二计算单元、第三计算单元、第四计算单元、目标异常行为确定单元以及行为报警单元。
具体地,行为数据采集单元用于实时获取人体在三维坐标轴方向的加速度值。行为数据采集单元包括坐标系建立单元,用于以人体质心为中心建立三维直角坐标系,三维直角坐标系的三个轴分别为X轴、Y轴、Z轴;加速度值获取单元,用于实时获取人体在X轴、Y轴、Z轴三个轴方向的加速度值。
人体的姿态的感知主要体现在人体在空间的速度变化,本发明使用三轴加速传感器来作为测量空间加速度的传感器,即测量物体在空间中速度变化的快慢。同时选择压电式加速度传感器,它的优点是频带宽、灵敏度高、讯噪比高、结构简单、工作可靠和重量轻等。根据三轴加速度传感器获得人体三个方向的加速度,即以人体质点为原点,以人体正前方为X轴,正左方为Y轴,正上方为Z轴,则X轴,Y轴,Z轴的加速度分别表示为ax,ay,az。本发明中人体的加速度数据是实时获取的,获取间隔为0.1s,即每间隔0.1s获取一次ax,ay,az的数值。
具体地,行为异常判断单元用于利用行为数据采集单元采集的每个时刻的三维坐标轴方向的加速度值计算出每个时刻的加速度幅值,当任一时刻的加速度幅值不在预设正常加速度幅值范围内时,判断人体行为在该时刻开始出现异常。
根据三轴加速度传感器获得人体在每个时刻的三个加速度值ax,ay,az,根据每个时刻的三个加速度值ax,ay,az计算出每个时刻的加速度幅值SM,每个时刻的加速度幅值SM计算公式如下式(1)所示:
本发明中计算出每个时刻的加速度幅值SM,而预设正常加速度幅值范围为SM∈(SMmin,SMmax),当任一时刻的加速度幅值SM不在预设正常加速度幅值范围(SMmin,SMmax)内时,判断人体行为在该时刻开始出现异常。
具体地,当行为异常判断单元判断人体行为发生异常时,第一计算单元用于获取异常行为持续时段,并根据异常行为持续时段计算出第一异常影响因子。
第一计算单元包括异常开始时刻获取单元、异常行为持续时段计算单元以及第一异常影响因子计算单元。异常开始时刻获取单元,当行为异常判断单元在判断人体行为开始出现异常后获取异常开始时刻;异常行为持续时段计算单元,利用异常开始时刻获取单元获取的异常开始时刻,计算出从异常开始时刻后每个时刻的加速度幅值,当任一时刻的加速度幅值在预设正常加速度幅值范围内时,判断人体行为在该时刻开始回归正常并记录回归正常的时刻;用于将回归正常的时刻与异常开始时刻相减得到异常行为持续时段。第一异常影响因子计算单元,根据异常行为持续时段计算单元获取的异常行为持续时段与预设最短异常行为持续时间的接近度,计算出第一异常影响因子。
本发明中计算从t0时刻开始后每一时刻的加速度幅值SM,而人体的加速度值是按照时间间隔为0.1s获取的,所以从t0时刻开始后每间隔0.1s计算一次加速度幅值SM。当计算出任一时刻的加速度幅值SM在预设正常加速度幅值范围(SMmin,SMmax)内时,判断人体行为在该时刻开始回归正常并记录回归正常的时刻tz。将回归正常的时刻tz与异常开始时刻为t0相减得到异常行为持续时段tf。其中,第一异常影响因子计算单元,用于根据异常行为持续时段与预设最短异常行为持续时间的接近度计算出第一异常影响因子α,第一异常影响因子α的计算公式如下式(2)所示:
其中,tf表示异常行为持续时段;0.6s为预设最短异常行为持续时间;20s为参考量,参考量20表示异常行为的判断一般不超过20s,即20s内已经判断出异常行为;α表示第一异常影响因子。
具体地,第二计算单元利用第一计算单元获取的异常行为持续时段,得到在该异常行为持续时段内每个时刻三维坐标轴方向的加速度值,当某一坐标轴方向的加速度值绝对值大于该坐标轴方向的预设正常加速度幅值时认为该坐标轴方向的加速度值异常;根据在异常行为持续时段内每个时刻加速度值异常的个数计算出第二异常影响因子。
人体的不同类型的异常行为对应在X轴,Y轴,Z轴的加速度值的变化具有差异,加速度值的变化所涉及的方向也不同。在意外跌倒和坠落过程中,涉及到X轴,Y轴,Z轴的加速度都会发生变化,在跑动的过程中主要涉及Z轴加速度的变化。其中,每个轴都有自己的正常加速度幅值,X轴的正常加速度幅值为Ax,Ax=|ax|,Y轴的正常加速度幅值为Ay,Ay=|ay|,Z轴的正常加速度幅值为Az,Az=|az|。例如:在异常行为持续时段tf内每间隔0.1共获取n个加速度值数据,那么每个加速度值数据对应的时刻分别记为ti,i=1,2,3…n。如果t1时刻的|ax|绝对值大于Ax,那么认为t1时刻X轴方向的加速度值异常,如果t1时刻的|ay|绝对值大于Ay,那么认为t1时刻Y轴方向的加速度值异常,如果t1时刻的|az|绝对值小于Az,那么认为t1时刻Z轴方向的加速度值正常。同理获得t1~tn时段内每个时刻加速度值异常的个数,根据t1~tn时段内每个时刻加速度值异常的个数计算出第二异常影响因子β,第二异常影响因子β的计算公式如下式(3)所示:
其中,N_ti表示i时刻加速度值异常的个数;n表示在异常行为持续时段tf内共有n个时刻;β表示第二异常影响因子。
具体地,利用第一计算单元获取的异常行为持续时段,得到在该异常行为持续时段内每个时刻的加速度幅值偏离正常加速度幅值范围的偏离程度,并根据该偏离程度计算出第三异常影响因子。第三计算单元包括偏离程度计算单元和第三异常影响因子计算单元。
偏离程度计算单元,利用第一计算单元获取的异常行为持续时段,计算出异常行为持续时段内每个时刻的加速度幅值偏离正常加速度幅值范围的偏离程度,每个时刻的加速度幅值偏离正常加速度幅值范围的偏离程度的计算公式如下式(4)所示:
其中,SMi表示i时刻的加速度幅值;SMmax表示预设正常加速度幅值的最大值;SMmin表示预设正常加速度幅值的最小值;PLi表示i时刻的加速度幅值偏离正常加速度幅值范围的偏离程度。
其中,第三异常影响因子计算单元,利用偏离程度计算单元获取的偏离程度,计算出异常行为持续时段内所有时刻对应的偏离程度的均值,并将该均值作为第三异常影响因子。第三异常影响因子的计算公式如下式(5)所示:
其中,PLi表示i时刻的偏离程度;n表示在异常行为持续时段tf内共有n个时刻;γ表示第三异常影响因子。
具体地,第四计算单元利用第一计算单元获取的异常行为持续时段,得到在该异常行为持续时段内沿人体前进的坐标轴方向的加速度值变化曲线,并根据该变化曲线的幅度变化均匀度和该变化曲线中峰值等间距度计算出第四异常影响因子。
第四计算单元包括变化曲线获取单元、幅度变化均匀度计算单元、峰值等间距度计算单元、第四异常影响因子计算单元。变化曲线获取单元利用第一计算单元获取的异常行为持续时段,得到在该异常行为持续时段内沿人体前进的坐标轴方向的加速度值变化曲线。对于奔跑这类不规范异常行为,加速度值的变化幅度基本保持一致且都是基于Z轴变化,Z轴为人体正上方轴。所以,需要根据Z轴加速度值的幅度变化均匀度来进行判断。
幅度变化均匀度计算单元,利用变化曲线获取单元获取的变化曲线,计算出变化曲线中全部峰值的峰值均值并选取变化曲线中最大峰值;用于根据峰值均值和最大峰值计算出变化曲线的幅度变化均匀度。
在Z轴加速度值的变化曲线中,获得变化曲线峰值对应的幅值的大小,在幅值异常的时间段tf内,获得变化曲线的峰值分别为Mj,j=1,2,3…nu,nu表示峰值的个数,每个峰值对应的时刻分别记为Tj,所以变化曲线的幅度变化均匀度的计算公式如下式(6)所示:
其中,SM表示变化曲线中峰值均值;Mj_max表示变化曲线中最大峰值;PM表示变化曲线的幅度变化均匀度。
峰值等间距度计算单元,利用变化曲线获取单元获取的变化曲线,计算出变化曲线中任意相邻两峰值的间距时间,选取获得的全部间距时间中的最长间距时间,并计算出全部间距时间的间距时间标准差;用于根据最长间距时间和间距时间标准差计算出变化曲线中峰值等间距度。
对于奔跑这类不规范异常行为,跑动的频率也是基本一致的,可以判断Mj对应时刻也是近似等间距的。所以Tj的间距可以用任意相邻两峰值对应的时刻来进行计算,任意相邻两峰值的间距时间计算公式如下式(7)所示:
DTj=Tj+1-Tj (7)
其中,Tj表示变化曲线中第j个峰值对应的时刻;Tj+1表示变化曲线中第j+1个峰值对应的时刻;DTj表示第j个峰值和第j+1个峰值的间距时间。
变化曲线中峰值等间距度的计算公式如下式(8)所示:
其中,SDT表示间距时间DTj的标准差;DTj_max表示最长间距时间;PT表示变化曲线中峰值等间距度。
第四异常影响因子计算单元,利用幅度变化均匀度计算单元获取的变化曲线的幅度变化均匀度和峰值等间距度计算单元获取的峰值等间距度计算出第四异常影响因子。第四异常影响因子的计算公式如下式(9)所示:
δ=PM*PT (9)
其中,PM表示变化曲线的幅度变化均匀度;PT表示变化曲线中峰值等间距度;δ表示第四异常影响因子。
具体地,目标异常行为确定单元,利用第一计算单元获取的第一异常影响因子、利用第二计算单元获取的第二异常影响因子、利用第三计算单元获取的第三异常影响因子以及利用第四计算单元获取的第四异常影响因子确定发生各种异常行为的概率,选取概率最大值对应的异常行为即为目标异常行为。
其中,发生意外跌倒异常行为的持续时间最短一般为0.6s,即tf越接近于0.6,发生意外跌倒的可能性越高,所以第一异常影响因子对发生意外跌倒异常行为的可能性的影响为α,而发生坠落和奔跑异常行为的持续时间较长,所以tf越大越有可能为坠落和奔跑,所以第一异常影响因子对发生坠落异常行为和发生奔跑异常行为的可能性的影响为(1-α)。发生意外跌倒异常行为和发生坠落异常行为过程中,异常行为持续时段内涉及X轴,Y轴,Z轴三个轴方向的加速度值都会出现异常,所以第二异常影响因子对发生意外跌倒异常行为和发生坠落异常行为的可能性的影响为β。而在奔跑过程中主要涉及Z轴方向的加速度值异常,所以第二异常影响因子对发生奔跑异常行为的可能性的影响为(1-β)。发生意外跌倒异常行为和发生坠落异常行为过程中,异常行为持续时段内每个时刻的加速度幅值偏离正常加速度幅值范围的偏离程度较大,所以第三异常影响因子对发生意外跌倒异常行为和发生坠落异常行为的可能性的影响为γ。而在奔跑过程中加速度幅值偏离正常加速度幅值范围的偏离程度较小,所以第三异常影响因子对发生奔跑异常行为的可能性的影响为(1-γ)。发生奔跑异常行为时,Z轴加速度值幅度变化越均匀越有可能为奔跑,所以第四异常影响因子对发生奔跑异常行为的可能性的影响为δ。而在发生意外跌倒异常行为和发生坠落异常行为时,Z轴加速度值幅度变化不具备均匀性,所以第四异常影响因子对发生意外跌倒异常行为和发生坠落异常行为的可能性的影响为(1-δ)。
其中,发生意外跌倒异常行为的概率计算公式如下式(10)所示:
其中,α表示第一异常影响因子;β表示第二异常影响因子;γ表示第三异常影响因子;δ表示第四异常影响因子;Pd表示发生意外跌倒异常行为的概率。
其中,发生坠落异常行为的概率计算公式如下式所示:
其中,α表示第一异常影响因子;β表示第二异常影响因子;γ表示第三异常影响因子;δ表示第四异常影响因子;Ph表示发生坠落异常行为的概率。
其中,发生奔跑异常行为的概率计算公式如下式所示:
其中,α表示第一异常影响因子;β表示第二异常影响因子;γ表示第三异常影响因子;δ表示第四异常影响因子;Pr表示发生奔跑异常行为的概率。
本发明中选取Pd,Ph,Pr中的最大值对应的异常行为即为目标异常行为。
行为报警单元,根据目标异常行为确定单元获取的目标异常行为进行报警,并将异常行为数据上传到人员安全管理平台。
一种基于气体检测的作业人员行为动态感知系统,还包括用于监测作业面高度数据的高度检测模块。如图3所示,高度检测模块包括高度数据采集单元、第五计算单元以及高度数据输出单元。高度数据采集单元,用于获取经过降噪处理后的大气压数据;第五计算单元,利用高度数据采集单元获取的所有大气压数据的均值计算出当前作业面的海拔高度;用于计算当前作业面的海拔高度与当前地面的海拔高度差值,将该差值作为作业面高度;高度数据输出单元,用于将第五计算单元获取的作业面高度数据上传到人员安全管理平台。
通常由于作业人员的作业环境以及作业性质的不同,导致不同的作业面高度也会给作业人员带来不同的安全隐患。所以,实时监测作业人员的作业面高度同样作为一项作业人员的安全保障检测。由于不同的海拔高度的大气压存在差别,所以高度检测传感器时可以根据当前大气压准确的检测出高度。
对于高度传感器所获得的大气压数据,可能存在随机的离散噪声,为了提高测量精度,需要在数据处理之前进行有效的降噪处理。对于所测量的大气压数据,存在偏离正常值的噪声点,对于测量的大气压数据,是在一个稳定值上下浮动,所以,可以判断其服从正态分布,所以采用高斯滤波对其进行降噪处理。对于所测量的数据点云Pi,计算每个点到其最近的k个点平均距离,则点云中所有点的距离di应构成高斯分布。所以距离di的计算公式如下式(13)所示,距离di的标准差的计算公式如下式(14)所示。
其中,du表示距离di的均值;n表示点云的个数;σp表示距离di的标准差;根据高斯分布的性质,99.73%的di存在于区间(du-3*σp,du+3*σp),所以认为大部分的噪声存在区间(du-3*σp,du+3*σp)以外,所以将区间(du-3*σp,du+3*σp)以外的数据删除。获得更加准确的数据,完成对测量数据的降噪。
根据点的距离di进行数据降噪获得更加准确的大气压数据Pi,在计算中使用Pi的均值Pu表示当前大气压的数值。在已知大气压与海拔高度之间关系的情况下,计算出当前作业面的海拔高度,当前作业面的海拔高度计算公式如下式(15)所示:
其中,alt表示当前作业面的海拔高度;P0表示当前地面的大气压,Pu表示当前作业面测量的大气压。作业人员在作业之前,进行当前地面的海拔高度的获取,记为alt0,所以在作业过程中获得作业面的海拔高度的计算公式如下式(16)所示:
alth=alt-alt0 (16)
其中,alt表示当前作业面的海拔高度;alt0表示当前地面的海拔高度;alth表示作业面高度。
一种基于气体检测的作业人员行为动态感知系统,还包括用于监测作业环境内气体数据的气体检测模块。如图4所示,气体检测模块包括有害气体监测单元、氧气浓度监测单元、气体报警单元以及气体数据输出单元。有害气体监测单元,用于监测作业环境是否出现有害气体;氧气浓度监测单元,用于监测作业环境内氧气浓度;气体报警单元,当有害气体监测单元监测到作业环境内出现有害气体时或氧气浓度监测单元监测到作业环境内氧气浓度低于预设氧气浓度阈值时进行报警;气体数据输出单元,用于将有害气体监测单元获取的作业环境内出现的有害气体类型和利用氧气浓度监测单元获取的作业环境内氧气浓度上传到人员安全管理平台。
有害气体监测单元用于监测作业环境是否出现有害气体;对于有限空间作业的人员,因为作业环境的导致产生有害气体,而且在有限空间内气体交换不及时,导致有害气体对作业人员的危害极大,所以,需要对有限空间内的有害气体实时监测,当存在有害气体是及时同时作业人员,及时撤离保障作业人员的生命健康安全。常见的对人体生命健康有害的气体主要有一氧化碳(CO)、硫化氢(H2S)和甲烷(CH4)。常见的对人体生命健康有害的气体主要有一氧化碳(CO)、硫化氢(H2S)和甲烷(CH4)当监测到作业环境内出现有害气体时及时进行报警,同时还利用气体数据输出单元将有害气体类型上传到人员安全管理平台。气体监测时同样需要监测氧气浓度,当氧气浓度低于预设氧气浓度阈值时进行报警,对于气体的检测直接采用现有的气体传感器。当作业人员在有限空间作业时遇见有害气体或者氧气浓度较低时就会及时发出报警,保证工人的安全。
本发明中将行为监测模块、高度检测模块以及气体检测模块集成到一起,安装于作业人员安全帽上,实现跟随作业人员随时监测,方便、智能、快捷的消除有限空间作业的安全隐患问题。
综上所述,本发明通过行为监测模块、高度检测模块以及气体检测模块,能获得作业人员的作业面高度,作业过程中的异常行为,同时还能对作业环境内的气体进行监测。之后根据各模块的数据处理结果,连接报警装置和通讯装置。当作业过程出现危险情况时,及时报警提醒作业人员撤离;当作业过程中发生意外跌倒或坠落时,通知管理人员及时的做出救援,同时警报传送到人员安全管理平台,管理人员及时了解情况,并做出救援,保证作业人员安全。当检测到作业人员奔跑时,触发相应的警报装置,提醒作业人员的作业规范。在有限空间中当检测到有害气体,或者氧气不足时,出发报警装置,通知作业人员及时撤离。同时将作业人员的作业面高度数据、异常行为数据、作业环境内出现的有害气体类型和作业环境内氧气浓度上传到人员安全管理平台,做到施工过程透明化,施工过程可追溯。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于气体检测的作业人员行为动态感知系统,其特征在于,至少包括用于监测异常行为数据的行为监测模块;该行为监测模块包括:
行为数据采集单元,用于实时获取人体在三维坐标轴方向的加速度值;
行为异常判断单元,用于利用行为数据采集单元采集的每个时刻的三维坐标轴方向的加速度值计算出每个时刻的加速度幅值,当任一时刻的加速度幅值不在预设正常加速度幅值范围内时,判断人体行为在该时刻开始出现异常;
第一计算单元,当行为异常判断单元判断人体行为发生异常时,第一计算单元用于获取异常行为持续时段,并根据异常行为持续时段计算出第一异常影响因子;
第一计算单元包括:异常开始时刻获取单元,当行为异常判断单元在判断人体行为开始出现异常后获取异常开始时刻;异常行为持续时段计算单元,利用异常开始时刻获取单元获取的异常开始时刻,计算出从异常开始时刻后每个时刻的加速度幅值,当任一时刻的加速度幅值在预设正常加速度幅值范围内时,判断人体行为在该时刻开始回归正常并记录回归正常的时刻;用于将回归正常的时刻与异常开始时刻相减得到异常行为持续时段;第一异常影响因子计算单元,根据异常行为持续时段计算单元获取的异常行为持续时段与预设最短异常行为持续时间的接近度,计算出第一异常影响因子;
第一异常影响因子的计算公式为:
其中,tf表示异常行为持续时段;0.6s为预设最短异常行为持续时间,20s为参考量,参考量20表示异常行为的判断一般不超过20s,即20s内已经判断出异常行为;α表示第一异常影响因子;
第二计算单元,利用第一计算单元获取的异常行为持续时段,得到在该异常行为持续时段内每个时刻三维坐标轴方向的加速度值,当某一坐标轴方向的加速度值绝对值大于该坐标轴方向的预设正常加速度幅值时认为该坐标轴方向的加速度值异常;根据在异常行为持续时段内每个时刻加速度值异常的个数计算出第二异常影响因子;
第二异常影响因子的计算公式为:
其中,N_ti表示i时刻加速度值异常的个数;n表示在异常行为持续时段tf内共有n个时刻;β表示第二异常影响因子;
第三计算单元,利用第一计算单元获取的异常行为持续时段,得到在该异常行为持续时段内每个时刻的加速度幅值偏离正常加速度幅值范围的偏离程度,并根据该偏离程度计算出第三异常影响因子;
第三计算单元包括:偏离程度计算单元,利用第一计算单元获取的异常行为持续时段,计算出异常行为持续时段内每个时刻的加速度幅值偏离正常加速度幅值范围的偏离程度;第三异常影响因子计算单元,利用偏离程度计算单元获取的偏离程度,计算出异常行为持续时段内所有时刻对应的偏离程度的均值,并将该均值作为第三异常影响因子;
每个时刻的加速度幅值偏离正常加速度幅值范围的偏离程度的计算公式为:
其中,SMi表示i时刻的加速度幅值;SMmax表示预设正常加速度幅值的最大值;SMmin表示预设正常加速度幅值的最小值;PLi表示i时刻的偏离程度;
第三异常影响因子的计算公式为:
其中,PLi表示i时刻的偏离程度;n表示在异常行为持续时段tf内共有n个时刻;γ表示第三异常影响因子;
第四计算单元,利用第一计算单元获取的异常行为持续时段,得到在该异常行为持续时段内沿人体前进的坐标轴方向的加速度值变化曲线,并根据该变化曲线的幅度变化均匀度和该变化曲线中峰值等间距度计算出第四异常影响因子;
第四计算单元包括:变化曲线获取单元,利用第一计算单元获取的异常行为持续时段,得到在该异常行为持续时段内沿人体前进的坐标轴方向的加速度值变化曲线;幅度变化均匀度计算单元,利用变化曲线获取单元获取的变化曲线,计算出变化曲线中全部峰值的峰值均值并选取变化曲线中最大峰值;用于根据峰值均值和最大峰值计算出变化曲线的幅度变化均匀度;峰值等间距度计算单元,利用变化曲线获取单元获取的变化曲线,计算出变化曲线中任意相邻两峰值的间距时间,选取获得的全部间距时间中的最长间距时间,并计算出全部间距时间的间距时间标准差;用于根据最长间距时间和间距时间标准差计算出变化曲线中峰值等间距度;第四异常影响因子计算单元,利用幅度变化均匀度计算单元获取的变化曲线的幅度变化均匀度和峰值等间距度计算单元获取的峰值等间距度计算出第四异常影响因子;
变化曲线的幅度变化均匀度的计算公式为:
其中,SM表示变化曲线中峰值均值;Mj_max表示变化曲线中最大峰值;PM表示变化曲线的幅度变化均匀度;
变化曲线中峰值等间距度的计算公式为:
其中,DTj=Tj+1-Tj,Tj表示变化曲线中第j个峰值对应的时刻,Tj+1表示变化曲线中第j+1个峰值对应的时刻,DTj表示第j个峰值和第j+1个峰值的间距时间;SDT表示间距时间DTj的标准差;DTj_max表示最长间距时间;PT表示变化曲线中峰值等间距度;
第四异常影响因子的计算公式为:
δ=PM*PT
其中,PM表示变化曲线的幅度变化均匀度;PT表示变化曲线中峰值等间距度;δ表示第四异常影响因子;
目标异常行为确定单元,利用第一计算单元获取的第一异常影响因子、第二计算单元获取的第二异常影响因子、第三计算单元获取的第三异常影响因子以及第四计算单元获取的第四异常影响因子确定发生各种异常行为的概率,选取概率最大值对应的异常行为即为目标异常行为;
发生意外跌倒异常行为的概率计算公式为:
其中,α表示第一异常影响因子;β表示第二异常影响因子;γ表示第三异常影响因子;δ表示第四异常影响因子;Pd表示发生意外跌倒异常行为的概率;
发生坠落异常行为的概率计算公式为:
其中,α表示第一异常影响因子;β表示第二异常影响因子;γ表示第三异常影响因子;δ表示第四异常影响因子;Ph表示发生坠落异常行为的概率;
发生奔跑异常行为的概率计算公式为:
其中,α表示第一异常影响因子;β表示第二异常影响因子;γ表示第三异常影响因子;δ表示第四异常影响因子;Pr表示发生奔跑异常行为的概率,选取Pd,Ph,Pr中的最大值对应的异常行为即为目标异常行为;
行为报警单元,根据目标异常行为确定单元获取的目标异常行为进行报警,并将异常行为数据上传到人员安全管理平台。
2.根据权利要求1所述的一种基于气体检测的作业人员行为动态感知系统,其特征在于,
所述行为数据采集单元包括:
坐标系建立单元,用于以人体质心为中心建立三维直角坐标系,三维直角坐标系的三个轴分别为X轴、Y轴、Z轴;
加速度值获取单元,用于实时获取人体在X轴、Y轴、Z轴三个轴方向的加速度值。
3.根据权利要求1所述的一种基于气体检测的作业人员行为动态感知系统,其特征在于,
所述行为报警模块包括:
目标异常行为获取单元,用于获取目标异常行为确定单元确定的目标异常行为;
预警提示单元,利用目标异常行为获取单元获取的目标异常行为的类型发出不同类型的预警提示;
行为数据输出单元,用于将目标异常行为获取单元获取的目标异常行为的类型上传到人员安全管理平台。
4.根据权利要求1所述的一种基于气体检测的作业人员行为动态感知系统,其特征在于,
还包括用于监测作业面高度数据的高度检测模块,该高度检测模块包括:
高度数据采集单元,用于获取经过降噪处理后的大气压数据;
第五计算单元,利用高度数据采集单元获取的所有大气压数据的均值计算出当前作业面的海拔高度;用于计算当前作业面的海拔高度与当前地面的海拔高度差值,将该差值作为作业面高度;
高度数据输出单元,用于将第五计算单元获取的作业面高度数据上传到人员安全管理平台。
5.根据权利要求1所述的一种基于气体检测的作业人员行为动态感知系统,其特征在于,
还包括用于监测作业环境内气体数据的气体检测模块,该气体检测模块包括:
有害气体监测单元,用于监测作业环境是否出现有害气体;
氧气浓度监测单元,用于监测作业环境内氧气浓度;
气体报警单元,当有害气体监测单元监测到作业环境内出现有害气体时或氧气浓度监测单元监测到作业环境内氧气浓度低于预设氧气浓度阈值时进行报警;
气体数据输出单元,用于将有害气体监测单元获取的作业环境内出现的有害气体类型和利用氧气浓度监测单元获取的作业环境内氧气浓度上传到人员安全管理平台。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210732805.XA CN114783166B (zh) | 2022-06-27 | 2022-06-27 | 一种基于气体检测的作业人员行为动态感知系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210732805.XA CN114783166B (zh) | 2022-06-27 | 2022-06-27 | 一种基于气体检测的作业人员行为动态感知系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114783166A CN114783166A (zh) | 2022-07-22 |
CN114783166B true CN114783166B (zh) | 2022-09-30 |
Family
ID=82422428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210732805.XA Active CN114783166B (zh) | 2022-06-27 | 2022-06-27 | 一种基于气体检测的作业人员行为动态感知系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114783166B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113450539A (zh) * | 2021-07-12 | 2021-09-28 | 杭州电子科技大学 | 一种跌倒检测方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003296851A (ja) * | 2002-02-01 | 2003-10-17 | Shimadzu System Solutions Co Ltd | 遠隔異常監視システム |
US20140276238A1 (en) * | 2013-03-15 | 2014-09-18 | Ivan Osorio | Method, system and apparatus for fall detection |
CN203786851U (zh) * | 2014-04-28 | 2014-08-20 | 王星阳 | 新型拾音报警器 |
CN104167079A (zh) * | 2014-08-01 | 2014-11-26 | 青岛歌尔声学科技有限公司 | 一种应用于多场景下的救助方法及装置 |
CN106530602A (zh) * | 2016-10-20 | 2017-03-22 | 芜湖美的厨卫电器制造有限公司 | 浴室异常报警方法及装置 |
CN107644229A (zh) * | 2017-08-31 | 2018-01-30 | 浙江工业大学 | 基于多传感器信息融合的室内异常行为检测方法 |
CN114220243A (zh) * | 2021-09-07 | 2022-03-22 | 度小满科技(北京)有限公司 | 一种摔倒监测方法、装置、设备及系统 |
-
2022
- 2022-06-27 CN CN202210732805.XA patent/CN114783166B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113450539A (zh) * | 2021-07-12 | 2021-09-28 | 杭州电子科技大学 | 一种跌倒检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114783166A (zh) | 2022-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108301872B (zh) | 一种基于数据过滤的可视化矿井实时监测报警系统及方法 | |
JP5647240B2 (ja) | 転倒防止 | |
US7248172B2 (en) | System and method for human body fall detection | |
CN116649987A (zh) | 一种基于互联网的心电异常实时监测系统 | |
US10330494B2 (en) | Method to determine a pressure noise metric for fall detection systems | |
US20190056707A1 (en) | Methods and Systems for Controlling Operation of Equipment Based on Biometric Data | |
WO2011077097A1 (en) | Physiological monitoring device and method | |
CN114783166B (zh) | 一种基于气体检测的作业人员行为动态感知系统 | |
CN117311243B (zh) | 用于煤矿机器人的车辆姿态监控预警系统 | |
CN115992736A (zh) | 一种矿井采空区火灾预警控制系统 | |
CN107860691A (zh) | 一种基于机器视觉技术的激光矿井煤尘遥测方法 | |
RU136609U1 (ru) | Устройство для прогнозирования работоспособности летчика в высотном полете | |
AU2021107475A4 (en) | Method and System for Monitoring Body Movements | |
CN115773473A (zh) | 一种隧道内天然气泄漏监测系统与监测方法 | |
CN111671397A (zh) | 一种基于睡眠监测的健康管理系统及方法 | |
CN113110209A (zh) | 一种判断施工现场人员坠落的系统及方法 | |
CN111461456A (zh) | 一种基于瓦斯监控数据瞬时变化特征预警突出危险的方法 | |
CN106094688A (zh) | 一种湿度传感器控制系统 | |
CN115137322B (zh) | 一种动态血压连续监测系统 | |
Patnaik et al. | iCAP: An IoT based Wearable For Real-Time Accidental Fall Detection and Health Monitoring of Remote Maintenance Workers | |
JP2010273752A (ja) | 入眠判定システム | |
CN110618065A (zh) | 一种软件数据的方法 | |
JP2021022083A (ja) | 運転支援装置 | |
CN116448965B (zh) | 一种有限空间内的多参数有毒有害气体检测系统及方法 | |
Jebakumari et al. | Firefighter Safety Using IoT |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |