CN114465849A - 基于ai图像识别和流媒体技术的粮库安全监管云网关 - Google Patents

基于ai图像识别和流媒体技术的粮库安全监管云网关 Download PDF

Info

Publication number
CN114465849A
CN114465849A CN202111483429.7A CN202111483429A CN114465849A CN 114465849 A CN114465849 A CN 114465849A CN 202111483429 A CN202111483429 A CN 202111483429A CN 114465849 A CN114465849 A CN 114465849A
Authority
CN
China
Prior art keywords
grain depot
grain
algorithm
recognition
streaming media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111483429.7A
Other languages
English (en)
Inventor
柳瑞芸
金献军
王鹏飞
封晨波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaxin Consulting Co Ltd
Original Assignee
Huaxin Consulting Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaxin Consulting Co Ltd filed Critical Huaxin Consulting Co Ltd
Priority to CN202111483429.7A priority Critical patent/CN114465849A/zh
Publication of CN114465849A publication Critical patent/CN114465849A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/66Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q1/00Details of selecting apparatus or arrangements
    • H04Q1/02Constructional details

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种基于AI图像识别和流媒体技术的粮库安全监管云网关,克服了现有技术粮库安全监管手段缺、靠人力、异常发现难的问题,包括承担对粮库视频流的接入以及基于AI图像算法的异动分析功能的软件部分和保证所述网关正常工作运行的硬件部分,所述网关连接有用于实时获取粮库前端视频流的粮库前端摄像头,所述网关还连接有用于将识别结果实时反馈至平台进行展示的粮库安全管理平台。本发明对粮库的情况实时获取,通过内嵌八种算法对可能产生的威胁通过模块配置协议进行转发和播放在前端管理平台。能够对仓门异动和粮面异动等所有粮库内的事件进行统计和预警,具有普适性和全面性,全方位保障粮库作业人员、储备粮食、重要区域的安全。

Description

基于AI图像识别和流媒体技术的粮库安全监管云网关
技术领域
本发明涉及图像监测技术领域,尤其是涉及一种基于AI图像识别和流媒体技术的粮库安全监管云网关。
背景技术
粮食是国民经济发展的基础,同时也是人类赖以生存和发展不可或缺 的物质基础。近来,随着国内、外粮食形势变化,粮食储备的安全问题越发显得重要。为了降低粮食在仓储环节因为多种原因产生的损耗,需要及时准确的获取粮仓内的粮面状态,以便及时对异常的状态进行处理,需要及时、准确地获取粮仓内的空气温湿度数据。目前的粮仓监测手段主要为人工监测,无法满足实时性的要求,且工作强度大,效率低,人工成本高。
发明内容
本发明是为了克服现有技术的粮库安全监管手段缺、靠人力、异常发现难的问题,提供一种基于AI图像识别和流媒体技术的粮库安全监管云网关,能够实时获取粮库前端摄像头视频流进行异动识别,全方位保障粮库作业人员、储备粮食、重要区域的安全。
为了实现上述目的,本发明采用以下技术方案:
一种基于AI图像识别和流媒体技术的粮库安全监管云网关,其特征是,所述网关连接有用于实时获取粮库前端视频流的粮库前端摄像头,所述网关还连接有用于将识别结果实时反馈至平台进行展示的粮库安全管理平台;所述网关包括承担对粮库视频流的接入以及基于AI图像算法的异动分析功能的软件部分和保证所述网关正常工作运行的硬件部分。
本发明的基于AI图像识别算法以及自研流媒体技术,能够实时获取粮库前端摄像头视频流并基于AI识别算法进行异动识别,识别结果能够实时反馈到前端管理平台。本发明所述网关的应用能够解决粮库安全监管手段缺、靠人力、异常发现难等问题,全方位保障粮库作业人员、储备粮食、重要区域的安全。
作为优选,所述硬件部分包括电源、散热部分、内存部分、CPU部分、通讯端口部分。
作为优选,所述软件部分包括视频接入模块以及基于AI图像算法的异动分析功能的AI算法异动识别模块。模块内嵌8种算法,用于粮库作业人员、储备粮食以及重要区域的识别安全。
作为优选,所述电源为单线三相制,适配交流220V/8A电压;
所述散热部分包括两组常用热插拔风扇以及两组冗余热插拔风扇,冗余热插拔风扇设置为自动开启模式;
所述内存部分设置两块固态硬盘,每块固态硬盘的性能不低于600G容量,15000rpm转速,3.4ms寻道时间,16MB缓存,平均故障间隔160万小时;
所述CPU部分由2颗CPU芯片组成,每颗芯片性能不低于8核心20线程设计,基准频率3.7GHz,最高加速5.3GHz,可超频,三级缓存20MB,核芯显卡UHD 630,热设计功耗125W;
通讯端口部分分为上行端口以及接收端口。
作为优选,所述粮库前端视频流接入模块适配ONVIF、HDCCTV、GB/T28181流媒体通用协议;
配置RTMP/HLS/HTTP协议解析功能;
设置自动巡检功能,用于检测识别摄像头工作装填;
可实时向每一路摄像头发送检测信号,若长时间未收到摄像头反馈信号,则判定为摄像头断线。
作为优选,所述于AI图像算法包括人员跌倒识别算法、人员入仓识别算法、安全帽识别算法、水位异常识别算法、明火识别算法、吸烟识别算法、仓门异动识别算法和粮面异动识别算法。
作为优选,所述人员跌倒识别算法实时检测仓内人员的活动骨架与重心,对骨架状态异常以及重心偏移等情况予以告警;用于判断仓内作业人员是否出现意外跌倒的状况。
所述人员入仓识别算法依托热力分析以及人体轮廓识别技术,对作业人员入仓时间、出仓时间等进行记录并予以推送;用于作业人员出入仓时间记录。
所述安全帽识别算法通过对安全帽特征的识别以及人体轮廓的勾勒分析,判断并统计未佩戴安全帽人员数量,并将告警信息推送至前端;用于判断作业人员是否按要求佩戴安全帽。
所述水位异常识别算法通过对河道前端视频流的分析,自动计算水位高度,设置水位预警值、告警值,当水位出现异常时,予以自动告警;用于对粮库周边河道水位高度的识别。
所述明火识别算法通过环境热力分析,判断粮库重要区域热力区域分布,对环境热力异常进行告警;用于对粮库重要区域火灾识别。
所述吸烟识别算法通过对烟雾形状以及浮动路径的分析,判断是否存在作业人员违规吸烟的行为,并予以异常告警;用于对粮库吸烟行为进行识别。
所述仓门异动识别算法基于对仓门位置、以及光线情况的识别分析,识别粮库仓门违规开启行为,并能联动仓门外摄像头进行记录拍摄;用于判断粮库仓门是否存在异常开启的情况。
所述粮面异动识别算法由粮面异常识别以及粮堆高度识别两部分组成;粮面异常识别通过对粮面的连续平扫,从而判断粮面凹陷情况;粮堆高度识别通过粮堆视频不同帧的比对,从而判断粮堆是否异常下降,所有判断为异常的情况,均能够进行记录与推送。用于识别粮库仓内粮食是否存在丢失等情况。
作为优选,所述AI算法异动识别模块产生告警信息反馈至前端管理平台,同时前端管理平台能够对告警信息进行统计。
因此,本发明具有如下有益效果:
本发明通过软件部分和硬件部分的配合对粮库的情况实时获取,通过内嵌八种算法对可能产生的威胁通过模块配置协议进行转发和播放在前端管理平台。能够对人员跌倒、人员入仓、安全帽、水位异常、明火、吸烟、仓门异动和粮面异动等所有粮库内的事件进行统计和预警,具有普适性和全面性,全方位保障粮库作业人员、储备粮食、重要区域的安全。
附图说明
图1是本实施例的结构框图。
图中:1、硬件部分 101、电源 102、散热部分 103、内存部分 104、CPU部分105、通讯端口部分 2、软件部分 201、视频流接入模块 202、AI算法异动识别模块。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步的描述。
实施例1:
本实施例提供了一种基于AI图像识别和流媒体技术的粮库安全监管云网关,网关能够与粮库前端摄像头相连,用于实时获取粮库前端视频流,网关还能够与粮库安全管理平台相连,可将识别结果实时反馈至平台进行展示。
如图1所示,网关包括硬件部分和软件部分两部分,硬件部分主要保证所述网关正常工作运行,软件部分主要承担对粮库视频流的接入以及基于AI图像算法的异动分析功能。
硬件部分具体包括电源、散热、内存、CPU、通讯端口。
其中,电源部分101为单相三线制,适配交流220V/8A电压,满足用电保护要求。
其中,散热部分102设置2组常用热插拔风扇以及2组冗余热插拔风扇,冗余热插拔风扇设置为自动开启模式,防止风扇损坏导致的网关死机或硬件损坏情况。
其中,内存部分103设置2块固态硬盘,每块固态硬盘的性能不低于600G容量,15000rpm转速,3.4ms寻道时间,16MB缓存,平均故障间隔160万小时。
其中,CPU部分104由2颗CPU芯片组成,每颗芯片性能不低于8核心20线程设计,基准频率3.7GHz,最高加速5.3GHz,可超频,三级缓存20MB,核芯显卡UHD 630,热设计功耗125W。
其中,通讯端口部分105分为上行端口以及接收端口。上行端口对接粮库安全管理平台,接收端口主要用于接收粮库前端摄像头的视频流数据。
软件部分具体包括视频流接入模块201以及基于AI算法异动识别模块202。
其中,粮库前端视频流接入模块可进一步描述为:
粮库前端视频流接入模块适配ONVIF、HDCCTV、GB/T28181等流媒体通用协议,能够与粮库前端大华、海康、宇视等通用摄像头互联互通,实现对粮库实时视频流的获取。
粮库前端视频流接入模块配置RTMP/HLS/HTTP协议解析功能,能够将不同协议的视频流进行自动转码,按统一标准分发,实现视频在前端管理平台中无插件的播放。
粮库前端视频流接入模块设置自动巡检功能,用于检测识别摄像头工作装填。模块可实时向每一路摄像头发送检测信号,若长时间未收到摄像头反馈信号,则判定为摄像头断线。
其中,AI算法异动识别模块可进一步描述为:
模块内嵌8种AI图像识别算法,用于粮库作业人员、储备粮食以及重要区域的识别安全。8种算法分别为:人员跌倒识别算法、人员入仓识别算法、安全帽识别算法、水位异常识别算法、明火识别算法、吸烟识别算法、仓门异动识别算法、粮面异动识别算法。
8种AI图像识别算法分别可以具体描述为:
①人员跌倒识别算法:用于判断仓内作业人员是否出现意外跌倒的状况。能够实时检测仓内人员的活动骨架与重心,对骨架状态异常以及重心偏移等情况予以告警。
②人员入仓识别算法:用于作业人员出入仓时间记录。依托热力分析以及人体轮廓识别技术,对作业人员入仓时间、出仓时间等进行记录并予以推送。
③安全帽识别算法:用于判断作业人员是否按要求佩戴安全帽。通过对安全帽特征的识别以及人体轮廓的勾勒分析,判断并统计未佩戴安全帽人员数量,并将告警信息推送至前端。
④水位异常识别算法:用于对粮库周边河道水位高度的识别。通过对河道前端视频流的分析,自动计算水位高度。设置水位预警值、告警值,当水位出现异常时,予以自动告警。
⑤明火识别算法:用于对粮库重要区域火灾识别。通过环境热力分析,判断粮库重要区域热力区域分布,对环境热力异常进行告警。
⑥吸烟识别算法:用于对粮库吸烟行为进行识别。通过对烟雾形状以及浮动路径的分析,判断是否存在作业人员违规吸烟的行为,并予以异常告警。
⑦仓门异动识别算法:用于判断粮库仓门是否存在异常开启的情况。基于对仓门位置、以及光线情况的识别分析,识别粮库仓门违规开启行为,并能联动仓门外摄像头进行记录拍摄。
⑧粮面异动识别算法:用于识别粮库仓内粮食是否存在丢失等情况。异动算法包括粮面异常识别以及粮堆高度识别两部分组成。粮面异常识别通过对粮面的连续平扫,从而判断粮面凹陷情况;粮堆高度识别通过粮堆视频不同帧的比对,从而判断粮堆是否异常下降。所有判断为异常的情况,均能够进行记录与推送。
本发明工作原理如下:网关与粮库前端摄像头相连,通过视频流接入模块实时传输粮库前端视频流,通过八种AI算法,AI算法异动识别模块能够仓内作业人员是否出现意外跌倒的状况、判断作业人员是否按要求佩戴安全帽、对粮库周边河道水位高度识别、对粮库重要区域火灾识别、对粮库吸烟行为进行识别、对于舱门一场开启进行识别、对粮面的连续平扫,从而判断粮面凹陷情况、过粮堆视频不同帧的比对,并对上述数据进行记录/推送/警告。
上述实施例对本发明的具体描述,只用于对本发明进行进一步说明,不能理解为对本发明保护范围的限定,本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围内。

Claims (8)

1.一种基于AI图像识别和流媒体技术的粮库安全监管云网关,其特征是,所述网关连接有用于实时获取粮库前端视频流的粮库前端摄像头,所述网关还连接有用于将识别结果实时反馈至平台进行展示的粮库安全管理平台;所述网关包括承担对粮库视频流的接入以及基于AI图像算法的异动分析功能的软件部分和保证所述网关正常工作运行的硬件部分。
2.根据权利要求1所述的一种基于AI图像识别和流媒体技术的粮库安全监管云网关,其特征是,所述硬件部分包括电源、散热部分、内存部分、CPU部分、通讯端口部分。
3.根据权利要求1所述的一种基于AI图像识别和流媒体技术的粮库安全监管云网关,其特征是,所述软件部分包括视频流接入模块以及基于AI图像算法的异动分析功能的AI算法异动识别模块。
4.根据权利要求2所述的一种基于AI图像识别和流媒体技术的粮库安全监管云网关,其特征是,所述电源为单线三相制,适配交流220V/8A电压;
所述散热部分包括两组常用热插拔风扇以及两组冗余热插拔风扇,冗余热插拔风扇设置为自动开启模式;
所述内存部分设置两块固态硬盘,每块固态硬盘的性能不低于600G容量,15000rpm转速,3.4ms寻道时间,16MB缓存,平均故障间隔160万小时;
所述CPU部分由2颗CPU芯片组成,每颗芯片性能不低于8核心20线程设计,基准频率3.7GHz,最高加速5.3GHz,可超频,三级缓存20MB,核芯显卡UHD 630,热设计功耗125W;
通讯端口部分分为上行端口以及接收端口。
5.根据权利要求3所述的一种基于AI图像识别和流媒体技术的粮库安全监管云网关,其特征是,所述粮库前端视频流接入模块适配ONVIF、HDCCTV、GB/T28181流媒体通用协议;
配置RTMP/HLS/HTTP协议解析功能;
设置自动巡检功能,用于检测识别摄像头工作装填;
可实时向每一路摄像头发送检测信号,若长时间未收到摄像头反馈信号,则判定为摄像头断线。
6.根据权利要求3所述的一种基于AI图像识别和流媒体技术的粮库安全监管云网关,其特征是,所述于AI图像算法包括人员跌倒识别算法、人员入仓识别算法、安全帽识别算法、水位异常识别算法、明火识别算法、吸烟识别算法、仓门异动识别算法和粮面异动识别算法。
7.根据权利要求1所述的一种基于AI图像识别和流媒体技术的粮库安全监管云网关,其特征是,所述人员跌倒识别算法实时检测仓内人员的活动骨架与重心,对骨架状态异常以及重心偏移等情况予以告警;
所述人员入仓识别算法依托热力分析以及人体轮廓识别技术,对作业人员入仓时间、出仓时间等进行记录并予以推送;
所述安全帽识别算法通过对安全帽特征的识别以及人体轮廓的勾勒分析,判断并统计未佩戴安全帽人员数量,并将告警信息推送至前端;
所述水位异常识别算法通过对河道前端视频流的分析,自动计算水位高度,设置水位预警值、告警值,当水位出现异常时,予以自动告警;
所述明火识别算法通过环境热力分析,判断粮库重要区域热力区域分布,对环境热力异常进行告警;
所述吸烟识别算法通过对烟雾形状以及浮动路径的分析,判断是否存在作业人员违规吸烟的行为,并予以异常告警;
所述仓门异动识别算法基于对仓门位置、以及光线情况的识别分析,识别粮库仓门违规开启行为,并能联动仓门外摄像头进行记录拍摄;
所述粮面异动识别算法由粮面异常识别以及粮堆高度识别两部分组成;粮面异常识别通过对粮面的连续平扫,从而判断粮面凹陷情况;粮堆高度识别通过粮堆视频不同帧的比对,从而判断粮堆是否异常下降,所有判断为异常的情况,均能够进行记录与推送。
8.根据权利要求3所述的一种基于AI图像识别和流媒体技术的粮库安全监管云网关,其特征是,所述AI算法异动识别模块产生告警信息反馈至前端管理平台,同时前端管理平台能够对告警信息进行统计。
CN202111483429.7A 2021-12-07 2021-12-07 基于ai图像识别和流媒体技术的粮库安全监管云网关 Pending CN114465849A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111483429.7A CN114465849A (zh) 2021-12-07 2021-12-07 基于ai图像识别和流媒体技术的粮库安全监管云网关

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111483429.7A CN114465849A (zh) 2021-12-07 2021-12-07 基于ai图像识别和流媒体技术的粮库安全监管云网关

Publications (1)

Publication Number Publication Date
CN114465849A true CN114465849A (zh) 2022-05-10

Family

ID=81405764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111483429.7A Pending CN114465849A (zh) 2021-12-07 2021-12-07 基于ai图像识别和流媒体技术的粮库安全监管云网关

Country Status (1)

Country Link
CN (1) CN114465849A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205375125U (zh) * 2016-01-18 2016-07-06 河南中裕广恒科技发展有限公司 粮库储粮数量的监控系统
CN108548483A (zh) * 2018-03-23 2018-09-18 郑州工大粮安科技有限公司 粮食数量监测与仓内视频监控装置及系统
CN208208072U (zh) * 2018-05-24 2018-12-07 唐山你放鑫物联科技股份有限公司 一种基于视觉识别与物联网技术的粮仓监管系统
EP3466238A1 (de) * 2017-09-28 2019-04-10 CLAAS Selbstfahrende Erntemaschinen GmbH Landwirtschaftliche erntemaschine
CN110598536A (zh) * 2019-07-31 2019-12-20 杭州连帆科技有限公司 一种基于人体骨架运动模型的跌倒检测方法及系统
CN110909715A (zh) * 2019-12-06 2020-03-24 重庆商勤科技有限公司 基于视频图像识别吸烟的方法、装置、服务器及存储介质
CN111127810A (zh) * 2019-12-24 2020-05-08 新疆信息产业有限责任公司 机房明火自动告警方法及系统
CN111414873A (zh) * 2020-03-26 2020-07-14 广州粤建三和软件股份有限公司 基于安全帽佩戴状态的告警提示方法、装置和告警系统
CN112203059A (zh) * 2020-10-15 2021-01-08 石家庄粮保科技有限公司 一种基于ai图像识别技术的测虫方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205375125U (zh) * 2016-01-18 2016-07-06 河南中裕广恒科技发展有限公司 粮库储粮数量的监控系统
EP3466238A1 (de) * 2017-09-28 2019-04-10 CLAAS Selbstfahrende Erntemaschinen GmbH Landwirtschaftliche erntemaschine
CN108548483A (zh) * 2018-03-23 2018-09-18 郑州工大粮安科技有限公司 粮食数量监测与仓内视频监控装置及系统
CN208208072U (zh) * 2018-05-24 2018-12-07 唐山你放鑫物联科技股份有限公司 一种基于视觉识别与物联网技术的粮仓监管系统
CN110598536A (zh) * 2019-07-31 2019-12-20 杭州连帆科技有限公司 一种基于人体骨架运动模型的跌倒检测方法及系统
CN110909715A (zh) * 2019-12-06 2020-03-24 重庆商勤科技有限公司 基于视频图像识别吸烟的方法、装置、服务器及存储介质
CN111127810A (zh) * 2019-12-24 2020-05-08 新疆信息产业有限责任公司 机房明火自动告警方法及系统
CN111414873A (zh) * 2020-03-26 2020-07-14 广州粤建三和软件股份有限公司 基于安全帽佩戴状态的告警提示方法、装置和告警系统
CN112203059A (zh) * 2020-10-15 2021-01-08 石家庄粮保科技有限公司 一种基于ai图像识别技术的测虫方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
索明何: "《基于物联网的粮库监测系统设计与实现》" *

Similar Documents

Publication Publication Date Title
CN206894809U (zh) 电力安全作业及运维智能监管系统
CN105645209B (zh) 基于物联网大数据支撑的电梯维保系统及方法
CN104533525B (zh) 基于图像的煤矿掘进工作面煤与瓦斯突出报警方法
CN107180504A (zh) 一种输电线路防大型机械破坏的图像识别预警系统及方法
WO2020181851A1 (zh) 基于Zigbee无线网络的仓库监控系统
CN104787084A (zh) 一种铁路异物侵限检测系统及检测方法
CN108631447A (zh) 无人值守的智能变电系统
CN106003040A (zh) 一种具备避障功能的变电站巡检机器人系统
CN111028452A (zh) 一种变电站异物入侵监控系统和方法
CN206505292U (zh) 远程机柜可视化智能实时监控系统
CN104533526B (zh) 基于图像的采煤工作面煤与瓦斯突出报警方法
CN113542698B (zh) 基于5g通信网络的安防实时监控系统
CN108259861A (zh) 一种基于互联网的智能监控系统
CN114465849A (zh) 基于ai图像识别和流媒体技术的粮库安全监管云网关
CN207149021U (zh) 一种输电线路防大型机械破坏的图像识别预警系统
CN210515019U (zh) 一种安全可靠的智能配电房系统
CN205881097U (zh) 一种新型防火检测智能监控摄像头
CN115985105B (zh) 一种公路施工养护安全管理系统及方法
CN112366776A (zh) 基于智能硬件系统的智能充电柜监测系统
CN105530136B (zh) 一种电力调度系统用业务监控方法及系统
CN209472220U (zh) 一种开关柜智能一体化非接触式在线监测装置
CN202634593U (zh) 宾馆行业智能化监控系统
CN108711262A (zh) 一种电子式区域雷电预警系统及方法
CN111597903B (zh) 一种配网智能监控箱及其监控方法
CN111846840B (zh) 一种皮带设备运行全生命周期监控系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220510