CN111508097B - 场地巡检方法、装置、设备及存储介质 - Google Patents
场地巡检方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111508097B CN111508097B CN202010341307.3A CN202010341307A CN111508097B CN 111508097 B CN111508097 B CN 111508097B CN 202010341307 A CN202010341307 A CN 202010341307A CN 111508097 B CN111508097 B CN 111508097B
- Authority
- CN
- China
- Prior art keywords
- inspection
- preset
- personnel
- track
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
- G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种场地巡检方法、装置、设备及存储介质,涉及地铁巡检技术领域。该方法包括:采集定位信息以及预设关键位置的图像;根据定位信息生成巡检轨迹;根据巡检轨迹、图像以及预设轨迹,确定巡检故障信息。本发明的方案中,通过采集定位信息和预设关键位置的图像,并利用定位信息来生成巡检轨迹,然后,再根据巡检人员的巡检轨迹、图像以及预设轨迹来确定巡检故障信息,以便于巡检人员按照标准作业流程对确定的故障进行处理,有效避免了“跳检、漏检”等非标准作业流程情况的发生,实现了作业质量的安全可控、在控,有效杜绝或遏制了作业过程中巡检人员的行为失控、工作质量失控、工作环境失控等,提高了巡检作业流程的规范性和安全性。
Description
技术领域
本发明涉及地铁巡检技术领域,具体而言,涉及一种场地巡检方法、装置、设备及存储介质。
背景技术
随着地铁网络的快速扩张,生产安全风险控制压力与日俱增。通过对国内某一地铁车辆中心2005年至2016年发生的全部83起安全事件进行统计分析,发现有56起事故事件与员工生产作业不认真有关,占比达67.5%。所以,对巡检人员作业的监督是安全管理环节的重心和难点,主要表现为巡检人员违反标准化作业流程、作业后设备设施未恢复到位、漏检替检等。
目前,对于巡检人员作业的管控基本上是依赖“人盯人”的方式,即通过巡检人员互控、他控,以及质检等监督手段,来实现规范巡检作业流程、降低安全隐患。
但随着地铁管理规模的剧增,采用现有技术,无法对巡检人员工作进行及时的管控,进而造成巡检作业的规范性低,增加安全性隐患。
发明内容
本发明的目的在于,针对上述现有技术中的不足,提供一种场地巡检方法、装置、设备及存储介质,以便有效提高巡检人员作业的规范性和安全性。
为实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供了一种场地巡检方法,该方法包括:
采集定位信息以及预设关键位置的图像;
根据所述定位信息生成巡检轨迹;
根据所述巡检轨迹、所述图像以及预设轨迹,确定巡检故障信息。
可选地,所述根据所述巡检轨迹、所述图像以及预设轨迹,确定巡检故障信息,包括:将所述巡检轨迹与所述预设轨迹进行匹配,确定所述巡检轨迹是否偏离;
根据所述图像以及预设深度学习模型,判断所述关键位置是否存在故障,其中,所述预设深度学习模型由各所述关键位置的预设图像训练获取,所述预设图像包括:所述关键位置的不同故障类型的图像。
可选地,所述采集定位信息以及预设关键位置的图像,包括:实时采集定位信息;
若根据所述定位信息匹配到当前位置为预设关键位置、且预设时间内不变,则启动图像采集,获取所述预设关键位置的图像,其中,所述图像包括:图片和/或视频。
可选地,所述根据所述巡检轨迹、所述图像以及预设轨迹,确定巡检故障信息之后,还包括:存储所述故障信息,并向服务器发送所述故障信息。
可选地,所述向服务器发送所述故障信息之后,还包括:接收所述服务器发送的处理指示,所述处理指示包括下述一种或多种:继续巡检、终止巡检、故障处理方式。
可选地,所述根据所述巡检轨迹、所述图像以及预设轨迹,确定巡检故障信息之后,还包括:响应于用户呼叫操作,向服务器发送呼叫请求,所述呼叫请求包括:被呼叫用户的标识,以通过所述服务器呼叫所述被呼叫用户进行语音或视频通信。
第二方面,本申请实施例还提供了一种场地巡检装置,所述装置包括:采集模块,生成模块以及处理模块;
所述采集模块,用于采集定位信息以及预设关键位置的图像;
所述生成模块,用于根据所述定位信息生成巡检轨迹;
所述处理模块,用于根据所述巡检轨迹、所述图像以及预设轨迹,确定巡检故障信息。
可选地,所述处理模块,具体用于:
将所述巡检轨迹与所述预设轨迹进行匹配,确定所述巡检轨迹是否偏离;
根据所述图像以及预设深度学习模型,判断所述关键位置是否存在故障,其中,所述预设深度学习模型由各所述关键位置的预设图像训练获取,所述预设图像包括:所述关键位置的不同故障类型的图像。
可选地,所述采集模块,具体用于:
实时采集定位信息;
若根据所述定位信息匹配到当前位置为预设关键位置、且预设时间内不变,则启动图像采集,获取所述预设关键位置的图像,其中,所述图像包括:图片和/或视频。
可选地,所述处理模块,还用于:
存储所述故障信息,并向服务器发送所述故障信息。
可选地,所述装置还包括:接收模块;
所述接收模块,用于接收所述服务器发送的处理指示,所述处理指示包括下述一种或多种:继续巡检、终止巡检、故障处理方式。
可选地,所述装置还包括:请求模块;
所述请求模块,用于响应于用户呼叫操作,向服务器发送呼叫请求,所述呼叫请求包括:被呼叫用户的标识,以通过所述服务器呼叫所述被呼叫用户进行语音或视频通信。
第三方面,本申请实施例还提供了一种场地巡检设备,包括:存储器和处理器,所述存储器存储有所述处理器可执行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的场地巡检方法的步骤。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面所述的场地巡检方法的步骤。
本申请的有益效果是:
本申请提供的场地巡检方法、装置、设备及存储介质中,该方法包括:采集定位信息以及预设关键位置的图像;根据定位信息生成巡检轨迹;根据巡检轨迹、图像以及预设轨迹,确定巡检故障信息。通过采集定位信息和预设关键位置的图像,并利用定位信息来生成巡检轨迹,然后,再根据巡检人员的巡检轨迹、图像以及预设轨迹来确定巡检故障信息,以便于巡检人员按照标准作业流程对确定的故障进行处理,有效避免了“跳检、漏检”等非标准化作业流程情况的发生,实现了作业质量的安全可控、在控,有效杜绝或遏制了作业过程中巡检人员的行为失控、工作质量失控、工作环境失控等,提高了巡检作业流程的规范性和安全性。
另外,通过将巡检轨迹与预设轨迹进行匹配,确定巡检轨迹是否偏离,若偏离,则确认是异常轨迹,使得管理者可以该异常轨迹确认巡检人员是否有跳检或漏检,以及由管理者决定该巡检人员是否继续执行本次巡检任务,这样可以提高管理者的工作效率、节约管理成本。
其次,可以根据图像以及预设深度学习模型,判断关键位置是否存在故障,有效提高判断该关键位置是否存在故障的准确率,以及对该故障进行上报,以便于管理员及时了解当前巡检中的故障状况,管理者对接收到故障进行二次确认,如确认为是故障,并将该故障信息发送给故障处理人员,提醒故障处理人员尽快前往目的地,对该故障进行及时处理,提高了故障处理效率,并有效的降低了安全隐患。
再者,采用多种定位方式结合来实时采集定位信息,通过九轴传感器的惯性导航算法计算出巡检人员当前的位置,再结合预设关键位置的图像,将获取的预设关键位置的图像输入预先搭建的卷积神经网络,以输出该预设关键位置图像的准确位置信息,发送给九轴传感器,以对惯性导航进行辅助纠偏,实现在复杂环境下的对巡检人员在1米以内精准定位,该定位技术不需要对库区进行改造和加装任何设备,可以大大减少建设成本。
最后,可以根据巡检轨迹、图像以及预设轨迹,确定巡检故障信息之后,还包括:响应于用户呼叫操作,向服务器发送呼叫请求,呼叫请求包括:被呼叫用户的标识,以通过服务器呼叫所述被呼叫用户进行语音或视频通信,有效提高了巡检人员工作效率,降低了安全隐患,节约了管理成本。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种场地巡检系统的结构示意图;
图2为本申请实施例所提供的一种场地巡检设备的方框示意图;
图3为本申请实施例所提供的一种场地巡检方法的流程示意图;
图4为本申请实施例提供的另一种场地巡检方法的流程示意图;
图5为本申请实施例提供的又一种场地巡检方法的流程示意图;
图6为本申请实施例提供的一种场地巡检装置的结构示意图;
图7为本申请实施例提供的另一种场地巡检装置的结构示意图;
图8为本申请实施例提供的又一种场地巡检装置的结构示意图。
图标:100-场地巡检系统;101-场地巡检终端;102-中心服务器;103-web管理终端;104-边缘计算服务器;105-移动管理终端;21-存储器;22-处理器;23-网络模块;24-场地巡检装置。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
图1为本申请实施例提供的一种场地巡检系统的结构示意图,如图1所示,场地巡检系统100可包括:场地巡检终端101、中心服务器102、web管理终端103。该场地巡检系统100可以适用于各种较大的、需要巡查管理的场地,例如地铁站、火车站、体育场、飞机场等,在此不作具体限制。
可选地,场地巡检终端101可以是可穿戴式的巡检终端、也可以是手持终端等,在此不作限制,便于巡检人员在巡检时携带即可。场地巡检终端101中可以预先安装巡检的应用程序,由具体巡检人员采用自己的身份标识、加密信息等完成登录,该应用程序的主要功能还可以包括:身份验证、人员定位、图像采集、录像、故障分析与上报、专家指导。
举例说明,场地巡检终端101可以是马甲式穿戴巡检设备、腰带式穿戴设备、AR眼镜式穿戴设备,也可以是帽子等其他穿戴设备,可以针对不同的使用场景和巡检人员操作习惯配备不同外观形态的场地巡检终端101,在此不作限制。
本申请实施例中,场地巡检终端101可以包含防护帽、背带电源线和穿戴式腰带或穿戴式马甲为例,其中,该场地巡检终端101内还包括:数字摄像头、无线通信模块、NFC(近距离无线通讯技术,Near Field Communication)模块、定位模块、麦克风、LED(发光二极管,Light-Emitting Diode)照明灯模块、镭射灯模块、可拆卸电池等。例如,可以将数字摄像头、LED照明灯和镭射灯布设在防护帽上,将无线通信模块、NFC模块、定位模块、麦克风和可拆卸电池布设在穿戴式腰带或穿戴式马甲上,通过背带电源线可以将防护帽和穿戴式腰带或穿戴式马甲之间进行电连接。
可选地,LED照明灯采用泛光光源设计,可以保证拍摄的图片无光斑,使得巡检人员上传的图像能够清晰、完整,以达到最好的图像分析效果;镭射灯用于在拍照过程中摄像头能够对准被拍摄的设备;独立可拆卸电池,作业过程中可在不断电的情况下更换电池。
需要说明的是,巡检人员在巡检任务开始时,可以根据巡检人员的身份信息生成的二维码对巡检人员进行身份校验并登录,或巡检人员也可以通过场地巡检终端101中的NFC模块进行刷卡来身份校验并登录,以确保人、机一致,这样可以有效避免替检行为发生,以及提高对巡检人员管理及追责力度。
中心服务器102可以包括数据库服务器、应用服务器和文件服务器。数据库服务器主要是对非图像和视频的文件进行存储;应用服务器主要是业务逻辑处理;文件服务器主要是存储图像和视频文件。
可选地,场地巡检系统100还包括:边缘计算服务器104,以地铁站为例,地铁库区可能存在无移动网络或网络质量较差的情况,利用移动网络进行图像或视频文件传输不现实,故在系统中增加了边缘计算服务器104,通过局域网WIFI(无线局域网,Wireless-Fidelity)先将图像和视频文件上传到边缘计算服务器104,并进行图像分析,能够实现图像分析的实时性。
web管理终端103的是场地管理者的设备,主要功能包括作业监控、作业计划、作业分配、作业详情、故障管理、统计分析和系统管理。
1)作业监控:在库区平面图上显示所有巡检工人动态,点击某巡检人员图标后可查看其详细的作业轨迹、作业图片、故障图片和作业录像;在平面图上显示所有车辆状态,并将车辆的状态用不同颜色进行区分,车辆状态有未巡检、巡检中、巡检完成、扣车等,例如,将未巡检的标注为灰色,巡检中的标注为橙色,巡检完成的标注为绿色,扣车的标注为红色,以便管理者更直观的了解到当前车辆的状态信息。
2)作业计划:控制主任根据已回库的车辆再结合每日的生产工作安排,将车辆巡检任务分配给当日当值的工班长。根据不同任务类型分配车辆,任务类型分为大日检、小日检、计划修、均衡修、自检等。
3)作业分配:工班长收到作业计划后,首先对人员进行分组,作业任务是按组分配,任务包含车辆信息和作业内容,工班长可对任务终止、暂停、回退、审核。
4)作业详情:显示任务执行过程中采集的所有数据,包括任务执行时间、任务完成状态、检修轨迹、图片、录像、故障信息等,能够显示本次任务中巡检人员遗漏的巡检点、异常轨迹,并可自动将录像切换到异常时间段进行播放。
5)统计分析:对巡检作业数据按照业务需要进行统计分析,主要包括人员工作量统计、异常任务统计、故障统计、故障对比分析、车辆巡检数据统计、车辆段数据统计、人员作业行为分析等功能。
6)系统管理:主要实现对基础数据的维护,主要功能包括用户管理、部门管理、车辆管理、股道管理、车辆设备管理、线路(巡检线路)管理等功能。
可选地,为方便管理人员移动办公,场地巡检系统100还包括:增加移动管理终端105,该移动管理终端105与web管理终端103可以具有相似的功能,在此不再赘述。
图2为本申请实施例所提供的一种场地巡检设备的方框示意图。本发明实施例中的场地巡检设备可以为具有数据存储、传输、处理功能的服务端,如图2所示,场地巡检终端101包括:存储器21、处理器22、网络模块23和场地巡检装置24。
存储器21、处理器22和网络模块23之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器21中存储有一种场地巡检装置24,所述一种场地巡检装置24包括至少一个可以软件或固件(firmware)的形式储存于所述存储器21中的软件功能模块,所述处理器22通过运行存储在存储器21内的软件程序以及模块,例如本发明实施例中的一种场地巡检装置24,从而执行各种功能应用以及数据处理,即实现本发明实施例中的一种场地巡检方法。
其中,存储器21可以是但不限于随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器21用于存储程序,处理器22在接收到执行指令后,执行所述程序。
处理器22可能是一种集成电路芯片,具有数据的处理能力。上述的处理器22可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
网络模块23用于通过网络建立场地巡检终端101与其他通信终端设备之间的通信连接,实现网络信号及数据的收发操作。上述网络信号可包括无线信号或者有线信号。
可以理解,图2所示的结构仅为示意,场地巡检终端101还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
图3为本申请实施例提供的一种场地巡检方法的流程示意图;方法有关的流程所定义的方法步骤应用于场地巡检终端101,可以由处理器22实现。下面将对图3所示的具体流程进行详细阐述,该方法包括:
步骤S31,采集定位信息以及预设关键位置的图像。
可以理解,场地巡检终端能够获取由摄像设备拍摄到的图像数据和录像数据,这些数据可以视作原始数据,可以将这些数据存储在资源数据库。数字摄像头实时拍摄数据并存储,能够实现实时采集功能。
具体的,当巡检人员开始巡检时,可以利用九轴传感器惯性导航算法实时采集巡检人员的当前位置信息,在本实施例中,九轴传感器可以包括:地磁仪、陀螺仪、重力加速度等,在此不做限定。
可以理解,惯性导航技术作为一种不依赖于外部信息、也不向外部辐射能量的自主式导航定位技术,其优势在于给定了初始条件后,不需要外部参照就可确定当前位置、方向及速度,适用于各种复杂地理环境和外界干扰下的精确定位,且能不断测量位置的变化,精确保持动态姿态基准。
在通过九轴传感器惯性导航算法,实时采集目前巡检人员的具体位置信息时,还需要采集巡检人员在预设关键位置的图像信息,该预设关键位置可以是待检地铁车辆上的设备,如电箱柜等。具体的,当巡检工作到达到预设关键位置之后,场地巡检系统自动对预设关键位置进行拍照,并进行存储,以及将获取的预设关键图像信息上传到后台服务器。后台服务台将接收到的预设关键位置的图像信息输入预先搭建的卷积神经网络,采用卷积神经网络对关键位置信息进行分析,并输出巡检人员当前准确的位置信息,并发送给场地巡检设备的处理器,场地巡检设备的处理器通过接收到的巡检人员当前准确的位置信息对惯性导航进行辅助纠偏,能够有效消除惯性导航的长期漂移问题,构建完整稳定的室内定位。
步骤S32,根据定位信息生成巡检轨迹。
具体的,场地巡检设备的处理器可以根据九轴传感器实时采集巡检人员的当前位置信息,依次连接后生成巡检人员本次作业的巡检轨迹,并存储。
步骤S33,根据巡检轨迹、图像以及预设轨迹,确定巡检故障信息。
可以理解,根据巡检人员的本次作业的巡检轨迹、预设关键位置的图像信息以及预设轨迹,来分析确定巡检故障信息,故障信息可以是对故障类型的识别分类,以便于巡检人员按照标准作业流程对确定的故障信息进行处理,有效避免了“跳检、漏检”等非标准化作业流程情况的发生,实现了作业质量的安全可控、在控,有效杜绝或遏制了作业过程中巡检人员的行为失控、工作质量失控、工作环境失控等,提高了巡检作业流程的规范性和安全性。
可选地,巡检人员还可以将故障类型进行描述并上报本实施例提供的场地巡检系统,使得场地巡检系统对接收的故障信息进行故障统计和故障对比分析等,在此不做限定,这样可以提高管理人员的工作效率,并节约管理成本。
综上所述,本申请实施例提供的场地巡检方法中:采集定位信息以及预设关键位置的图像;根据定位信息生成巡检轨迹;根据巡检轨迹、图像以及预设轨迹,确定巡检故障信息。可以通过采集定位信息和预设关键位置的图像,并利用定位信息来生成巡检轨迹,然后,再根据巡检人员的巡检轨迹、图像以及预设轨迹来确定巡检故障信息,以便于巡检人员按照标准作业流程对确定的故障信息进行处理,有效避免了“跳检、漏检”等非标准化作业流程情况的发生,实现了作业质量的安全可控、在控,有效杜绝或遏制了作业过程中巡检人员的行为失控、工作质量失控、工作环境失控等,提高了巡检作业流程的规范性和安全性。
图4为本申请实施例提供的另一种场地巡检方法的流程示意图;如图4所示,基于上述实施例,根据巡检轨迹、图像以及预设轨迹,确定巡检故障信息,包括:
步骤S41,将巡检轨迹与预设轨迹进行匹配,确定巡检轨迹是否偏离。
可以理解,在本实施例中,在根据定位信息生成巡检轨迹之后,并将当前巡检轨迹与预设的轨迹进行匹配,若不匹配,则确定当前巡检轨迹已偏离,并确定该巡检人员当前巡检属于异常轨迹。还可以进一步对该异常信息进行处理,以及生成提示信息,该提示信息可以是通过场地巡检设备中的麦克风对巡检人员进行语音提示或者文字提示,同时,将该异常轨迹发送给web管理终端,管理者可以通过web管理终端收到提示信息,该管理者可以是工班长,工班长可以根据该异常轨迹确认巡检人员是否有跳检或漏检,以及由工班长决定该巡检人员是否继续执行本次巡检任务,这样可以提高管理者的工作效率、节约管理成本。
步骤S42,根据图像以及预设深度学习模型,判断关键位置是否存在故障。
可以理解,地铁巡检工作环境处于地下,实际巡检现场光照条件差,特别是巡检点大多位于车厢底部,大光源根本无法照到,多靠手电,弱光和交叉不均匀光等复杂且不可避免的条件直接导致识别算法研发的困难。在复杂环境下很难保证巡检工人上传的图像能够清晰、完整。
在本实施例中,可以多角度获取预设关键位置的图像信息,将获取的预设关键位置的图像信息输入预设的深度学习模型中,并确定部件的类型,以进一步判断该关键位置是否存在故障问题。
具体的,该预设深度学习模型可以是预先采用样本图像、卷积神经网络训练获取的,其中样本图像可以包括:不同故障类型的图像、不存在故障的图像,该预设深度学习模型可以对获取的多角度图像进行识别,能够有效提高判断该关键位置是否存在故障的准确率,适用于地铁巡检灵活移动的场景。
若存在故障,则确定故障区域,并对该故障类型进行识别分类,具有较高的识别效果,能够有效避免预设关键位置的图像受到光线、灰尘等外界环境的干扰导致的漏检、误检问题,提高了检测故障类型的效率和准确度。可以理解,故障类型可以包括防松线异位、裂纹、部件缺失、表面破损等,对识别的故障类型还可以进行自动上报,以及对该故障进行描述,可以是文字输入或者语音描述,以便于管理员及时了解当前巡检中的故障状况,其中,工班长对接收到故障进行二次确认,如确认为是故障,并将该故障信息发送给故障处理人员,提醒故障处理人员尽快前往目的地,对该故障进行及时处理。
可选地,还可将确定的故障图像输入卷积神经网络,对神经网络模型进行再训练,以提高对故障类型识别分类的准确度。
图5为本申请实施例提供的又一种场地巡检方法的流程示意图;如图5所示,基于上述实施例,采集定位信息以及预设关键位置的图像,包括:
步骤51,实时采集定位信息。
可以理解,在地铁巡检作业区域内,环境非常复杂,有车体阻挡、水泥立柱阻挡、1500伏高压电干扰等,在这样复杂的环境下,单一使用一种室内定位技术,如超宽带、Wifi、蓝牙、基站等均难以实现对巡检人员在1米以内的精准定位。
在本实施例中,采用多种定位方式结合,能够有效提高在复杂环境下的室内对人员定位的精确性。
具体的,通过九轴传感器的惯性导航算法计算出巡检人员当前的位置,再结合预设关键位置的图像,将获取的预设关键位置的图像输入预设模型,以输出该预设关键位置图像的准确位置信息,发送给九轴传感器,以对惯性导航进行辅助纠偏,可以得到巡检人员当前准确位置,至此就可以实时采集巡检人员的定位信息,实现在复杂环境下的对巡检人员在1米以内精准定位,该定位技术不需要对库区进行改造和加装任何设备,可以大大减少建设成本。其中,该预设模型,可以由预设关键位置的图像、以及对应的精准位置信息等训练获取。
步骤52,若根据定位信息匹配到当前位置为预设关键位置、且预设时间内不变,则启动图像采集,获取预设关键位置的图像。
其中,图像包括:图片和/或视频。
具体的,将上述巡检人员的定位信息输入到预先搭建的预设深度学习模型中,若该卷积神经网络识别到当前位置为预设关键位置,且同时,巡检人员在该预设关键位置处并保持在预设时间内姿势不变,则启动巡检终端App中的图像采集功能,获取预设关键位置的图像信息。例如,预设时间可以是3秒,不做具体限定,当巡检人员在预设的关键位置处时,场地巡检系统自动检测巡检人员在3秒内是否保持不动,若是,则场地巡检系统对该预设关键位置处的图像进行自动拍照,并保存。
可选地,巡检人员在巡检任务开始时,就启动录像功能,获取的录像数据可以不是实时上传到后台,即在巡检任务结束后统一上传,录像质量应不低于720P,以便后期可以根据该录像信息对巡检人员的作业行为进行分析,分析确定该巡检人员作业时间是否属于异常作业,可以理解,异常作业可以包括:巡检人员的作业时间大于标准工艺流程时间(或大于平均作业时长)、违反标准化作业流程、作业后设备设施未恢复到位、漏检替检等,使得管理部门进行精益化管理,以提高对巡检人员的管理效率,降低安全隐患。
继续参考图1,根据巡检轨迹、图像以及预设轨迹,确定巡检故障信息之后,还包括:存储故障信息,并向服务器发送故障信息。
例如,可以将故障信息先发送给边缘服务器,再通过边缘服务器发送给中心服务器,并由中心服务器转发给web管理终端或者移动管理终端,以便于管理者随时都能获取到当前故障信息,这样可以提高对故障管理的准确性,例如,对巡检人员现场发现的故障,工班长需要对故障类型进行二次确认,若确认为故障,则将故障信息转发给故障处理人员进行处理。
可选地,向服务器发送故障信息之后,还包括:接收服务器发送的处理指示,处理指示包括下述一种或多种:继续巡检、终止巡检、故障处理方式。
可选地,服务器还可以把故障信息发给管理人员的终端,由管理人员再反馈处理指示,也可以是服务器自己生成处理指示。
例如,在本实施例中,管理终端或者移动管理终端在接收到服务器发送的故障信息之后,管理者可以对该故障信息进行相应处理,并通过web管理终端或者移动管理终端下发处理指示,并发送给中心服务器,再经过中心服务器、边缘服务器发送给巡检终端App,处理指示可以包括下述一种或多种:继续巡检、终止巡检、故障处理方式。
或者,也可以是服务器根据故障信息生成处理指示,并发送给巡检终端App。
可选地,根据巡检轨迹、图像以及预设轨迹,确定巡检故障信息之后,还包括:响应于用户呼叫操作,向服务器发送呼叫请求,呼叫请求包括:被呼叫用户的标识,以通过服务器呼叫所述被呼叫用户进行语音或视频通信。
在本实施例中,在根据巡检轨迹、图像以及预设轨迹,确定巡检故障信息之后,若巡检人员分析确定该故障是自己无法处理的,则可以通过巡检终端App向服务器发送呼叫请求,呼叫请求包括:被呼叫用户的标识,指定专家端发起远程通话请求。服务器端在接收到巡检人员的呼叫请求时,将该呼叫请求转发给指定专家,专家端在接收到相应呼叫请求后,巡检人员通过网络与专家端将拍摄的故障图像信息进行画面共享,专家端可以在查看由巡检终端App拍摄的画面过程中,还可以进行语音交流,也可以通过手指在画面进行圈选等操作,例如,在画面上手动标注出需要查看或操作的部位,巡检人员也可以通过同样的方式向专家端确认需要操作的位置,方便快捷,有效提高了巡检人员工作效率,降低了安全隐患,节约了管理成本。
图6为本申请实施例提供的一种场地巡检装置的结构示意图;如图6所示,本申请实施例还提供了一种场地巡检装置24,该装置包括:采集模块S601,生成模块S602以及处理模块S603。
采集模块S601,用于采集定位信息以及预设关键位置的图像;
生成模块S602,用于根据定位信息生成巡检轨迹;
处理模块S603,用于根据巡检轨迹、图像以及预设轨迹,确定巡检故障信息。
可选地,处理模块S603,具体用于:将巡检轨迹与预设轨迹进行匹配,确定巡检轨迹是否偏离;
根据图像以及预设深度学习模型,判断关键位置是否存在故障,其中,预设深度学习模型由各关键位置的预设图像训练获取,预设图像包括:关键位置的不同故障类型的图像。
可选地,采集模块S601,具体用于:实时采集定位信息;
若根据定位信息匹配到当前位置为预设关键位置、且预设时间内不变,则启动图像采集,获取预设关键位置的图像,其中,图像包括:图片和/或视频。
可选地,处理模块S603,还用于:存储故障信息,并向服务器发送故障信息。
图7为本申请实施例提供的另一种场地巡检装置的结构示意图;如图7所示,该装置还包括:接收模块S701;
接收模块S701,用于接收所述服务器发送的处理指示,所述处理指示包括下述一种或多种:继续巡检、终止巡检、故障处理方式。
图8为本申请实施例提供的又一种场地巡检装置的结构示意图;如图8所示,该装置还包括:请求模块S801;
请求模块S801,用于响应于用户呼叫操作,向服务器发送呼叫请求,所述呼叫请求包括:被呼叫用户的标识,以通过所述服务器呼叫所述被呼叫用户进行语音或视频通信。
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital singnal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
可选地,本发明还提供一种程序产品,例如计算机可读存储介质,包括程序,该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (7)
1.一种场地巡检方法,其特征在于,所述方法包括:
采集定位信息以及预设关键位置的图像;
根据所述定位信息生成巡检轨迹;
根据所述巡检轨迹、所述预设关键位置的图像以及预设轨迹,确定巡检故障信息;
所述采集定位信息以及预设关键位置的图像,包括:
实时采集定位信息;
若根据所述定位信息匹配到当前位置为预设关键位置、且预设时间内不变,则启动图像采集,获取所述预设关键位置的图像,其中,所述图像包括:图片和/或视频;
其中,所述实时采集定位信息,包括:
当巡检人员开始巡检时,利用九轴传感器通过惯性导航算法实时采集所述巡检人员的当前位置信息,所述九轴传感器包括:地磁仪、陀螺仪、重力加速度;
在利用所述九轴传感器通过惯性导航算法,实时采集所述巡检人员的当前位置信息时,还采集所述巡检人员在预设关键位置的图像,具体地,当所述巡检人员到达所述预设关键位置之后,场地巡检装置自动对所述预设关键位置进行拍照,并进行存储,以及将获取的所述预设关键位置的图像上传到后台服务器,所述后台服务器将接收到的所述预设关键位置的图像输入预先搭建的卷积神经网络,采用所述卷积神经网络对所述预设关键位置的图像进行分析,并输出所述巡检人员当前准确的位置信息,并发送给所述场地巡检装置,所述场地巡检装置通过接收到的所述巡检人员当前准确的位置信息对利用所述九轴传感器通过惯性导航算法实时采集的巡检人员的当前位置信息进行纠偏,以消除惯性导航的长期漂移问题,得到所述巡检人员的最终定位信息;
其中,所述根据所述巡检轨迹、所述预设关键位置的图像以及预设轨迹,确定巡检故障信息,包括:
将所述巡检轨迹与所述预设轨迹进行匹配,确定所述巡检轨迹是否偏离;
根据所述预设关键位置的图像以及预设深度学习模型,判断所述预设关键位置是否存在故障,其中,所述预设深度学习模型由各所述预设关键位置的预设图像训练获取,所述预设图像包括:所述预设关键位置的不同故障类型的图像。
2.如权利要求1所述的方法,其特征在于,所述根据所述巡检轨迹、所述预设关键位置的图像以及预设轨迹,确定巡检故障信息之后,还包括:
存储所述故障信息,并向后台服务器发送所述故障信息。
3.如权利要求2所述的方法,其特征在于,所述向后台服务器发送所述故障信息之后,还包括:
接收所述后台服务器发送的处理指示,所述处理指示包括下述一种或多种:继续巡检、终止巡检、故障处理方式。
4.如权利要求1所述的方法,其特征在于,所述根据所述巡检轨迹、所述预设关键位置的图像以及预设轨迹,确定巡检故障信息之后,还包括:
响应于用户呼叫操作,向后台服务器发送呼叫请求,所述呼叫请求包括:被呼叫用户的标识,以通过所述后台服务器呼叫所述被呼叫用户进行语音或视频通信。
5.一种场地巡检装置,其特征在于,所述装置包括:采集模块,生成模块以及处理模块;
所述采集模块,用于采集定位信息以及预设关键位置的图像;
所述生成模块,用于根据所述定位信息生成巡检轨迹;
所述处理模块,用于根据所述巡检轨迹、所述预设关键位置的图像以及预设轨迹,确定巡检故障信息;
所述采集模块,具体用于:
实时采集定位信息;
若根据所述定位信息匹配到当前位置为预设关键位置、且预设时间内不变,则启动图像采集,获取所述预设关键位置的图像,其中,所述图像包括:图片和/或视频;
其中,所述处理模块,具体用于:
将所述巡检轨迹与所述预设轨迹进行匹配,确定所述巡检轨迹是否偏离;
根据所述预设关键位置的图像以及预设深度学习模型,判断所述预设关键位置是否存在故障,其中,所述预设深度学习模型由各所述预设关键位置的预设图像训练获取,所述预设图像包括:所述预设关键位置的不同故障类型的图像;
当巡检人员开始巡检时,利用九轴传感器通过惯性导航算法实时采集所述巡检人员的当前位置信息,所述九轴传感器包括:地磁仪、陀螺仪、重力加速度;
在利用所述九轴传感器通过惯性导航算法,实时采集所述巡检人员的当前位置信息时,还采集所述巡检人员在预设关键位置的图像,具体地,当所述巡检人员到达所述预设关键位置之后,场地巡检装置自动对所述预设关键位置进行拍照,并进行存储,以及将获取的所述预设关键位置的图像上传到后台服务器,所述后台服务器将接收到的所述预设关键位置的图像输入预先搭建的卷积神经网络,采用所述卷积神经网络对所述预设关键位置的图像进行分析,并输出所述巡检人员当前准确的位置信息,并发送给所述场地巡检装置,所述场地巡检装置通过接收到的所述巡检人员当前准确的位置信息对利用所述九轴传感器通过惯性导航算法实时采集的巡检人员的当前位置信息进行纠偏,以消除惯性导航的长期漂移问题,得到所述巡检人员的最终定位信息。
6.一种场地巡检设备,其特征在于,包括:存储器和处理器,所述存储器存储有所述处理器可执行的计算机程序,所述处理器执行所述计算机程序时实现上述权利要求1-4任一项所述的场地巡检方法。
7.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至4任一所述场地巡检方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010341307.3A CN111508097B (zh) | 2020-04-26 | 2020-04-26 | 场地巡检方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010341307.3A CN111508097B (zh) | 2020-04-26 | 2020-04-26 | 场地巡检方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111508097A CN111508097A (zh) | 2020-08-07 |
CN111508097B true CN111508097B (zh) | 2022-11-11 |
Family
ID=71878080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010341307.3A Active CN111508097B (zh) | 2020-04-26 | 2020-04-26 | 场地巡检方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111508097B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112001197A (zh) * | 2020-08-24 | 2020-11-27 | 精英数智科技股份有限公司 | 一种安全巡查方法、装置、电子设备及可读存储介质 |
CN112183937A (zh) * | 2020-09-01 | 2021-01-05 | 远光软件股份有限公司 | 巡点检任务的发布方法、装置、存储介质及电子设备 |
CN112383734B (zh) * | 2020-10-29 | 2023-06-23 | 岭东核电有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
CN112767573A (zh) * | 2020-12-17 | 2021-05-07 | 宽衍(北京)科技发展有限公司 | 故障打卡方法、装置、服务器和存储介质 |
CN112734971A (zh) * | 2020-12-22 | 2021-04-30 | 榆林神华能源有限责任公司 | 自动巡检方法、存储介质及巡检机器人 |
CN112911219B (zh) * | 2021-01-15 | 2023-04-04 | 南京中兴力维软件有限公司 | 电力设备巡检路线的识别方法、系统及设备 |
CN113126132B (zh) * | 2021-04-09 | 2022-11-25 | 内蒙古科电数据服务有限公司 | 一种移动巡检中轨迹校准与分析方法及系统 |
CN113554269A (zh) * | 2021-06-10 | 2021-10-26 | 广东电网有限责任公司广州供电局 | 定位信息的处理方法、装置、设备和存储介质 |
CN113516391A (zh) * | 2021-07-15 | 2021-10-19 | 环球车享汽车租赁有限公司 | 处理车辆巡检任务的方法、计算设备和存储介质 |
CN115295003A (zh) * | 2022-10-08 | 2022-11-04 | 青岛民航凯亚系统集成有限公司 | 对民航机务维修领域的语音降噪方法及系统 |
CN115495540B (zh) * | 2022-11-21 | 2023-03-24 | 深圳聚邦云天科技有限公司 | 一种用于机器人巡检的路线智能识别方法、系统及介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105574683A (zh) * | 2016-01-21 | 2016-05-11 | 国家电网公司 | 一种全方位变电站巡检系统及方法 |
CN105868935A (zh) * | 2016-05-09 | 2016-08-17 | 国网浙江东阳市供电公司 | 巡检任务接收设备 |
CN106131430A (zh) * | 2016-07-29 | 2016-11-16 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
CN107123172A (zh) * | 2017-05-02 | 2017-09-01 | 国网湖北省电力公司襄阳供电公司 | 一种智能化巡检系统 |
CN108872781B (zh) * | 2018-05-08 | 2020-11-06 | 广东昊阳电力建设有限公司 | 基于电力设施智能巡检的分析方法及装置 |
CN109115210A (zh) * | 2018-07-25 | 2019-01-01 | 国网江苏省电力有限公司宿迁供电分公司 | 一种帽式光缆接续盒用姿态检测仪及姿态检测方法 |
CN109344905A (zh) * | 2018-10-22 | 2019-02-15 | 王子蕴 | 一种基于集成学习的输电设备自动故障识别方法 |
CN109857121A (zh) * | 2019-03-19 | 2019-06-07 | 西安工业大学 | 室内巡检移动机器人 |
CN111044570A (zh) * | 2019-12-28 | 2020-04-21 | 广东电网有限责任公司 | 电力设备的缺陷识别及预警方法、装置及计算机设备 |
-
2020
- 2020-04-26 CN CN202010341307.3A patent/CN111508097B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111508097A (zh) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111508097B (zh) | 场地巡检方法、装置、设备及存储介质 | |
CN107610266B (zh) | 一种车站巡检系统 | |
CN103699075B (zh) | 基于视频监控的变电站巡检智能调度与控制系统 | |
CN206672041U (zh) | 一种基于增强现实的矿用设备智能巡检和维护辅助系统 | |
CN110163485A (zh) | 一种机房巡检系统 | |
WO2020034931A1 (zh) | 用于激光气体检测仪的数据管理方法及数据管理终端 | |
CN110865917A (zh) | 基于ar技术的电力机房巡检作业方法、系统及应用 | |
CN106774322B (zh) | 一种光伏电站巡检系统及其运行方法 | |
CN111710055A (zh) | 便携式电力巡检设备及电力巡检方法、电力巡检系统 | |
CN108492034B (zh) | 一种油田采油生产管理系统 | |
CN108510183A (zh) | 一种基于无人机的电力巡检系统 | |
CN105261079A (zh) | 便携式智能电力巡检装置 | |
CN106162089A (zh) | 一种电力巡线图像自动识别分析系统及其分析方法 | |
CN111161445A (zh) | 一种电力巡检系统 | |
CN104991501A (zh) | 基于物联网与云计算的仪器远程故障诊断系统 | |
CN105809762A (zh) | 一种基于移动式终端充电桩巡检装置和巡检方法 | |
CN103558132A (zh) | 空气中粉尘污染预警系统 | |
US10146723B2 (en) | Sensor data correlation and analysis platform | |
CN102081808A (zh) | 现场设备巡检方法及系统 | |
CN108665132A (zh) | 一种造纸设备智能点巡检管理系统及使用方法 | |
CN204010050U (zh) | 一种巡检实时定位跟踪系统 | |
CN104794771B (zh) | 一种巡点检自动规划方法及装置 | |
CN115497187A (zh) | 一种核电厂智能巡检方法及系统 | |
CN109117526A (zh) | 一种适用于机械系统设备维修指引数据记录及分析系统 | |
CN111179458A (zh) | 一种轨道交通设备的巡检方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |