CN110188648A - 基于图像的防误入间隔方法、装置及终端设备 - Google Patents
基于图像的防误入间隔方法、装置及终端设备 Download PDFInfo
- Publication number
- CN110188648A CN110188648A CN201910434913.7A CN201910434913A CN110188648A CN 110188648 A CN110188648 A CN 110188648A CN 201910434913 A CN201910434913 A CN 201910434913A CN 110188648 A CN110188648 A CN 110188648A
- Authority
- CN
- China
- Prior art keywords
- recognition result
- initial
- identification information
- image
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于图像识别技术领域，提供了一种基于图像的防误入间隔方法、装置及终端设备，所述方法包括：获取头戴设备发送的间隔标识图像，并对间隔标识图像进行识别，得到当前标识信息；将标识信息与当前任务中的预存标识信息进行比对，若一致，则根据当前任务中的操作指令生成并发送操作提示信息至头戴设备；获取头戴设备发送的关键步骤操作图像，并识别关键操作信息，以及将关键操作信息与当前的操作指令进行比对，确定工作人员的操作是否规范。本发明通过对间隔标识进行识别，能够提示工作人员是否进错间隔，同时对检修过程中的关键步骤进行图像识别，避免检修过程中误检、漏检的现象，规范工作人员的操作。
Description
技术领域
本发明属于图像识别技术领域，尤其涉及一种基于图像的防误入间隔方法、装置及终端设备。
背景技术
在现有技术中，设备巡视、检修和维护过程中通常采用PMS(productionmanagement system，生成管理系统)系统编制检修任务，工作人员通过终端设备接收任务后下载并打印任务单，然后拿着任务单，寻找到相应的作业指导书，并携带任务单及指导书前去现场进行设备巡视及检修，在此过程中手写记录巡视、检修结果，待结束工作后再将巡视、检修结果录入PMS系统，这种方法在检修过程中既不方便开展工作，还有可能导致误入间隔、误检及漏检的情况。
发明内容
有鉴于此，本发明实施例提供了一种基于图像的防误入间隔方法、装置及终端设备，以解决现有技术中工作人员在巡视、检修设备时存在的误入间隔、误检、漏检的问题。
本发明实施例的第一方面提供了一种基于图像的防误入间隔方法，包括：
获取工作人员佩戴的头戴设备发送的间隔标识图像，并对所述间隔标识图像进行识别，得到当前标识信息；
将所述标识信息与当前任务中的预存标识信息进行比对，若所述当前任务的预存标识信息中存在所述当前标识信息，则根据所述当前任务中的操作指令生成并发送操作提示信息至所述头戴设备；
获取所述头戴设备发送的关键步骤操作图像，并识别所述关键步骤操作图像中的关键操作信息，以及将所述关键操作信息与所述当前任务中的操作指令进行比对，确定所述工作人员的操作是否规范。
本发明实施例的第二方面提供了一种基于图像的防误入间隔装置，包括：
图像识别模块，用于获取工作人员佩戴的头戴设备发送的间隔标识图像，并对所述间隔标识图像进行识别，得到当前标识信息；
标识信息比对模块，用于将所述标识信息与当前任务中的预存标识信息进行比对，若所述当前任务的预存标识信息中存在所述当前标识信息，则根据所述当前任务中的操作指令生成并发送操作提示信息至所述头戴设备；
操作检测模块，用于获取所述头戴设备发送的关键步骤操作图像，并识别所述关键步骤操作图像中的关键操作信息，以及将所述关键操作信息与所述当前任务中的操作指令进行比对，确定所述工作人员的操作是否规范。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述基于图像的防误入间隔方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述基于图像的防误入间隔方法的步骤。
本发明首先获取工作人员佩戴的头戴设备发送的间隔标识图像，并对所述间隔标识图像进行识别，得到当前标识信息；然后将所述标识信息与当前任务中的预存标识信息进行比对，若所述当前任务的预存标识信息中存在所述当前标识信息，则根据所述当前任务中的操作指令生成并发送操作提示信息至所述头戴设备；最后获取所述头戴设备发送的关键步骤操作图像，并识别所述关键步骤操作图像中的关键操作信息，以及将所述关键操作信息与所述当前任务中的操作指令进行比对，确定所述工作人员的操作是否规范。本发明实施例通过对间隔标识进行识别，能够提示工作人员是否误入间隔，避免工作人员误停其他电力设备，同时对检修过程中的关键步骤进行图像识别，能够避免检修过程中误检、漏检的现象，从而规范工作人员的操作。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于图像的防误入间隔方法的流程示意图；
图2是本发明实施例提供的基于图像的防误入间隔方法的流程示意图；
图3是本发明实施例提供的图1中S101的流程示意图；
图4是本发明实施例提供的图3中S305的流程示意图；
图5是本发明实施例提供的图1中S102的流程示意图；
图6是本发明实施例提供的基于图像的防误入间隔装置的结构示意图；
图7是本发明实施例提供的终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
本发明的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例1：
图1示出了本发明一实施例所提供的基于图像的防误入间隔方法的实现流程图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
如图1所示，本发明实施例所提供的一种基于图像的防误入间隔方法，其过程详述如下：
S101：获取工作人员佩戴的头戴设备发送的间隔标识图像，并对所述间隔标识图像进行识别，得到当前标识信息。
本发明的一个实施例提供了一种基于图像的防误入间隔系统，包括头戴设备和后台服务器，本实施例的流程主体为后台服务器。
具体地，头戴设备可以包括安全帽、安装于安全帽顶部的第一摄像头、主控模块、手动输入模块、语音模块、通信模块及AR眼镜。AR眼镜与头戴设备的通信模块连接，通信模块还与后台服务器连接，AR眼镜包括显示模块和第二摄像头，头戴设备通过手动输入模块控制摄像头的转换，当启用AR眼镜时，第一摄像头关闭，第二摄像头开启；当未启动AR眼镜时，第一摄像头开启，第二摄像头关闭，控制模块接收第一摄像头/第二摄像头拍摄的图像，工作人员可以在到达间隔时通过手动输入模块控制摄像头拍摄图片，并将拍摄到的间隔标识图像通过通信模块发送至后台服务器。
在本实施例中，在未启用第二摄像头时，第一摄像头拍摄间隔标识图像。间隔标识图像中的间隔可以为工作间隔或设备，工作间隔为安置设备的房间，工作间隔的门外设置有工作间隔标识牌，同时，电力设备上也安装有设备标识牌，因此，当间隔为工作间隔时，间隔标识图像为工作间隔标识图像，当间隔为设备时，间隔标识图像为设备标识图像。后台服务器中预存有所有的标识信息，预存标识信息包括预存工作间隔标识信息及预存设备标识信息。基于此，图1中的S101的具体流程可以包括：
1).识别所述工作间隔标识图像中的当前工作间隔的工作间隔标识信息，所述工作间隔标识图像为头戴设备拍摄的工作间隔标识牌的图像；
2).将所述工作间隔标识信息与所述当前任务中的预存工作间隔标识信息进行比对，确定所述工作人员进入的工作间隔是否正确；
3)当预存工作间隔标识信息中存在所述设备若所述工作人员进入的工作间隔正确，则获取头戴设备发送的设备标识图像；
4)识别所述设备标识图像中的当前设备的设备标识信息。
通过上述方法能够有效的避免工作人员进入错误的工作间隔而导致设备关停错误的现象，从而提高工作任务巡视、检修设备的工作效率。
S102：将所述标识信息与当前任务中的预存标识信息进行比对，若所述当前任务的预存标识信息中存在所述当前标识信息，则根据所述当前任务中的操作指令生成并发送操作提示信息至所述头戴设备。
在本实施例中，当确定设备标识信息为当前任务中的信息时，说明本次任务中存在当前设备，可以对当前设备进行巡视、关停或检修，在巡视或检修过程中，为了帮助工作人员开展巡视、检修工作，后台服务器可以根据当前设备的操作指令生成操作提示信息，提示工作人员进行相关操作，从而避免工作人员误误入间隔、误检、漏检。
S103：获取所述头戴设备发送的关键步骤操作图像，并识别所述关键步骤操作图像中的关键操作信息，以及将所述关键操作信息与所述当前任务中的操作指令进行比对，确定所述工作人员的操作是否规范。
在本实施例中，当完成工作间隔及设备的核对并确认无误后，工作人员可以佩戴AR眼镜，开启AR眼镜后将AR眼镜拍摄到的图像内容传输至后台服务器，后台服务器识别关键步骤操作图像中的关键操作信息，确认工作人员是否已经完成该设备的所有巡视、检修工作，从拍摄的图像中识别关键操作信息可以包括：
第一种，工作人员在进行关键操作步骤时通过头戴设备的手动输入模块拍摄关键步骤操作图像，并将关键步骤操作图像发送至后台服务器，后台服务器识别关键步骤操作图像得到关键操作信息。
第二种，AR眼镜实时的将第二摄像头拍摄的图像传输至后台服务器，后台服务器识别图像中显示的设备的部位，当检测到图像中设备的部位为需要进行检修的间隔时，获取该图像及之后预设时间段内的图像，并根据获取的该段时间段的图像识别得到关键操作信息。
当识别到关键操作信息后，将关键操作信息与当前任务中操作指令进行比对，确定操作信息是否符合规范，同时还可以检测工作人员是否完成了当前设备所有的检修工作，避免存在漏检的现象。
从上述实施例可知，本发明首先获取工作人员佩戴的头戴设备发送的间隔标识图像，并对所述间隔标识图像进行识别，得到当前标识信息；然后将所述标识信息与当前任务中的预存标识信息进行比对，若所述当前任务的预存标识信息中存在所述当前标识信息，则根据所述当前任务中的操作指令生成并发送操作提示信息至所述头戴设备；最后获取所述头戴设备发送的关键步骤操作图像，并识别所述关键步骤操作图像中的关键操作信息，以及将所述关键操作信息与所述当前任务中的操作指令进行比对，确定所述工作人员的操作是否规范。本发明实施例通过对间隔标识进行识别，能够提示工作人员是否误入间隔，避免工作人员对不需要检修的电力设备进行关停操作，同时对检修、巡视过程中的关键步骤进行图像识别，能够避免巡视、检修过程中误检、漏检的现象，从而规范工作人员的操作。
如图2所示，在本发明的一个实施例中，图2示出了基于图像的防误入间隔方法的一个实现流程，其过程详述如下：
S201：获取当前任务，并根据所述当前任务中的预存标识信息，确定最佳路径。
在本实施例中，为了提高工作人员操作的效率，可以根据后台服务器的当前任务，提前为工作人员制定最佳路径，工作人员根据最佳路径进行巡视及检修，能够缩短操作时间，提高检修效率。
具体的，当当前任务生成后，后台服务器获取当前任务中本次需要检修的设备的位置信息，位置信息包括设备所在的工作间隔信息及具体地理位置，并根据工作人员当前的位置信息及设备的具体地理位置信息，确定最佳路径。具体地，当存在多个设备在一个工作间隔时，在一个工作间隔的多个设备的检修顺序可以颠倒。
S202：将所述最佳路径发送至所述头戴设备，所述最佳路径用于提示所述工作人员按照所述最佳路径进行操作。
在本实施例中，后台服务器获取到当前任务的最佳路径后，将最佳路径发送至头戴设备，头戴设备还可以包括扬声器，可以通过扬声器播放所述最佳路径，提示工作人员检修的最佳顺序。
如图3所示，在本发明的一个实施例中，所述当前标识信息包括名称、类型及编号，图3示出了图1中S101的具体实现流程，其过程详述如下：
S301：将所述间隔标识图像输入第一神经网络模型，得到初始标识识别结果，所述初始标识识别结果包括初始名称识别结果、初始类型识别结果及初始编号识别结果。
在本实施例中，由于头戴设备的摄像头拍摄的间隔标识图像可能存在拍摄不完整的情况，而拍摄完整的图像可能需要工作人员一遍遍的修正摄像头的拍摄方向，过程较为繁琐，为了使后台服务器能够更加快速有效的识别出当前标识信息。
具体地，可以首先将间隔标识图像输入第一神经网络模型，得到初始标识识别结果，初始标识识别结果可能为完整准确的识别结果，也可能存在不完整的识别结果。本实施例可以判断初始识别结果是否为完整准确的识别结果，当为完整准确的识别结果时，直接输出为当前标识信息，若为不完整的初始识别结果，可以综合三个初始识别结果，推算出最终的当前标识信息，从而避免了重新拍摄照片再识别的繁琐操作。
S302：分别对所述初始名称识别结果及所述初始编号识别结果进行评分。
在本实施例中，工作间隔标识牌和设备标识牌上均包括名称、编号和类型，其中名称、编号为识别标识信息的主要信息，类型为辅助信息，当初始名称识别结果为完整的信息或者初始编号识别结果为完整的信息时，都可以进行标识信息的核对，因此，可以首先获取初始名称识别结果和初始编号识别结果的评分。
示例性的，对初始名称识别结果的评分，可以根据初始名称识别结果中的关键字，和与该关键字相关的间隔名称的所有关键字，计算得到评分。例如，若当前的初始名称识别结果中识别到的关键字仅为“发电”，则可以根据“发电”二字，查找后台服务器中预存的间隔名称中与发电相关的名称，例如存在设备名称为“发电机”，则可以通过发电二字在发电机中所占的比例，确定初始名称识别结果的评分。当存在多个与“发电”相关的名称时，则将当前初始名称识别结果中的关键字数量除以多个相关名称的关键字数量之和，从而得到当前的初始名称识别结果的关键字所占比例，进而确定初始名称识别结果的评分。
同样的，针对初始编号识别结果，识别出连续的字符段作为初始编号识别结果后，根据当前识别的字符段，在后台服务器中查找与该连续的字符段相关的编号，然后将该字符段长度与查找出的所有编号长度相除，得到初始编号识别结果所占的比例，从而得到初始编号识别结果的评分。
S303若所述初始名称识别结果的评分大于或等于第一预设评分阈值，则将所述初始名称识别结果作为最终的当前标识信息。
在本实施例中，第一预设评分阈值设置为总评分的95％，若初始名称识别结果的评分高于总评分的95％，则可以说明初始名称识别结果中的名称已经完整，则可以将该初始名称识别结果作为当前标识信息。
S304：若所述初始编号识别结果的评分大于或等于所述第一预设评分阈值，则将所述初始编号识别结果作为最终的当前标识信息。
同样的，通过S303中所述的具体方法，可以确定初始编号识别结果中的编号是否为间隔的完整编号。
S305：若所述初始名称识别结果的评分小于所述第一预设评分阈值且大于第二预设评分阈值，以及所述初始编号识别结果的评分小于所述第一预设评分阈值且大于所述第二预设评分阈值，则根据所述初始名称识别结果、所述初始类型识别结果、所述初始编号识别结果及所述预存标识信息，推算得到最终的当前标识信息。
在本实施例中，若初始名称识别结果和初始编号识别结果的评分均小于第一预设评分阈值，则说明单独通过一个初始识别结果无法确定标识信息，那么可以判断初始名称识别结果的评分是否高于第二预设评分阈值，第二预设评分阈值小于第一预设评分阈值。若总评分为100分，第一预设评分阈值为95分，则第二预设评分阈值则可以设置为25分，若初始名称识别结果的评分低于25分，则后台服务器返回“未识别出结果”至头戴设备，工作人员可以重新拍摄间隔标识图像，再次进行识别。
同样的，若初始编号识别结果的评分小于或等于25分，则后台服务器返回“未识别出结果”至头戴设备。
若初始编号识别结果的评分和初始名称识别结果的评分均即小于第一预设评分阈值，又大于第二预设评分阈值，则可以综合初始名称识别结果、初始编号识别结果和初始类型识别结果，推算出一个最终的当前标识信息。
如图4所示，在本发明的一个实施例中，图4示出了图3中S305的具体实现流程，其过程详述如下：
S401：根据第一初始识别结果，在所述预存标识信息中查找与所述第一初始识别结果相关的第一查找结果，所述第一初始识别结果为所述初始名称识别结果、所述初始类型识别结果和所述初始编号识别结果中的任一识别结果；
S402：根据第二初始识别结果，在所述第一查找结果中查找与所述第二初始识别结果相关的第二查找结果，所述第二初始识别结果为所述初始名称识别结果、所述初始类型识别结果和所述初始编号识别结果中除所述第一初始识别结果外的任一识别结果；
S403：根据第三初始识别结果，在所述第二查找结果中查找与所述第三初始识别结果相关的第三查找结果，所述第三初始识别结果为所述初始名称识别结果、所述初始类型识别结果和所述初始编号识别结果中除所述第一初始识别结果、所述第二初始识别结果外的任一识别结果；
S404：若所述第三查找结果低于第一预设数量，则将所述第三查找结果作为最终的当前标识信息。
在本实施例中，根据所述初始名称识别结果、所述初始类型识别结果、所述初始编号识别结果及所述预存标识信息，得到第三查找结果的具体过程可以包括：
根据初始名称识别结果，在所述预存标识信息中查找与所述初始名称识别结果相关的第一查找结果；根据初始编号识别结果，在所述第一查找结果中查找与所述初始编号识别结果相关的第二查找结果；根据初始类型识别结果，在所述第二查找结果中查找与初始类型识别结果相关的第三查找结果。
上述层层缩小范围的查找过程仅示出了一种顺序，对三种初始识别结果的查找顺序可以根据实际需求改变，最终得到第三查找结果。
在本实施例中，第一预设数量为2，也就是说，若第三查找结果缩小为1个，则输出该第三查找结果为最终的当前标识信息，若第三查找结果为多个，则说明未识别出具体的标识信息，则返回“未查找到结果”至头戴设备，从而使工作人员再次拍摄间隔标识图像进行识别。
在本发明的一个实施例中，根据所述初始名称识别结果、所述初始类型识别结果、所述初始编号识别结果及所述预存标识信息，得到第三查找结果的具体过程还可以包括：
分别根据初始名称识别结果、初始编号识别结果和初始类型识别结果在后台服务器的预存标识信息中查找对应的查找信息，然后将三种初始识别结果查找到的查找结果取交集，也可以得到第三查找结果。
通过上述方法，在摄像头未拍摄到完整的标识图像时，也可以尽可能多的识别出有效的标识信息，从而提高当前标识信息识别的效率。
如图5所示，在本发明的一个实施例中，所述当前任务包括预存操作部位，图1中S102的具体实现流程还包括：
S501：若所述当前标识信息与所述当前任务中的预存标识信息一致，则获取所述头戴设备的当前拍摄图像；
S502：对所述当前拍摄图像进行图像识别，确定当前拍摄图像中的当前操作部位；
S503：若所述当前任务的预存操作部位中存在所述当前操作部位，则根据预存操作部位对应的操作指令生成操作提示信息，并将所述操作提示信息发送至所述头戴设备，所述操作提示信息用于指示所述头戴设备的显示模块显示所述操作提示信息。
在本实施例中，操作标识信息可以在工作人员到达间隔时显示在AR眼镜的显示模块中，从而有效的提示工作人员的检修步骤，无需再进行工具书的查找，便于工作人员开展检修工作，并进一步避免了工作人员误检、漏检的现象。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
如图6所示，本发明的一个实施例提供的基于图像的防误入间隔装置100，用于执行图1所对应的实施例中的方法步骤，其包括：
图像识别模块110，用于获取工作人员佩戴的头戴设备发送的间隔标识图像，并对所述间隔标识图像进行识别，得到当前标识信息；
标识信息比对模块120，用于将所述标识信息与当前任务中的预存标识信息进行比对，若所述当前任务的预存标识信息中存在所述当前标识信息，则根据所述当前任务中的操作指令生成并发送操作提示信息至所述头戴设备；
操作检测模块130，用于获取所述头戴设备发送的关键步骤操作图像，并识别所述关键步骤操作图像中的关键操作信息，以及将所述关键操作信息与所述当前任务中的操作指令进行比对，确定所述工作人员的操作是否规范。
从上述实施例可知，本发明首先获取工作人员佩戴的头戴设备发送的间隔标识图像，并对所述间隔标识图像进行识别，得到当前标识信息；然后将所述标识信息与当前任务中的预存标识信息进行比对，若所述当前任务的预存标识信息中存在所述当前标识信息，则根据所述当前任务中的操作指令生成并发送操作提示信息至所述头戴设备；最后获取所述头戴设备发送的关键步骤操作图像，并识别所述关键步骤操作图像中的关键操作信息，以及将所述关键操作信息与所述当前任务中的操作指令进行比对，确定所述工作人员的操作是否规范。本发明实施例通过对间隔标识进行识别，能够提示工作人员是否误入间隔，避免工作人员对不需要检修的电力设备进行关停操作，同时对检修过程中的关键步骤进行图像识别，能够避免检修过程中误检、漏检的现象，从而规范工作人员的操作。
在本发明的一个实施例中，本发明的一个实施例提供的基于图像的防误入间隔装置100还包括用于执行图2所对应的实施例中的方法步骤的结构，其包括：
最佳路径获取模块，用于获取当前任务，并根据所述当前任务中的预存标识信息，确定最佳路径；
最佳路径发送模块，用于将所述最佳路径发送至所述头戴设备，所述最佳路径用于提示所述工作人员按照所述最佳路径进行操作。
在本发明的一个实施例中，所述当前标识信息包括名称、类型及编号，图6所对应的实施例中的图像识别模块110还包括用于执行图3所对应的实施例中的方法步骤的结构，其包括：
初始标识识别结果获取单元，用于将所述间隔标识图像输入第一神经网络模型，得到初始标识识别结果，所述初始标识识别结果包括初始名称识别结果、初始类型识别结果及初始编号识别结果；
识别结果评分单元，用于分别对所述初始名称识别结果及所述初始编号识别结果进行评分；
第一当前标识信息获取单元，用于若所述初始名称识别结果的评分大于或等于第一预设评分阈值，则将所述初始名称识别结果作为最终的当前标识信息；
第二当前标识信息获取单元，用于若所述初始编号识别结果的评分大于或等于所述第一预设评分阈值，则将所述初始编号识别结果作为最终的当前标识信息；
第三当前标识信息获取单元，用于若所述初始名称识别结果的评分小于所述第一预设评分阈值且大于第二预设评分阈值，以及所述初始编号识别结果的评分小于所述第一预设评分阈值且大于所述第二预设评分阈值，则根据所述初始名称识别结果、所述初始类型识别结果、所述初始编号识别结果及所述预存标识信息，推算得到最终的当前标识信息。
在本发明的一个实施例中，第三当前标识信息获取单元还包括用于执行图4所对应的实施例中的方法步骤的结构，其包括：
第一查找结果获取子单元，用于根据第一初始识别结果，在所述预存标识信息中查找与所述第一初始识别结果相关的第一查找结果，所述第一初始识别结果为所述初始名称识别结果、所述初始类型识别结果和所述初始编号识别结果中的任一识别结果；
第二查找结果获取子单元，用于根据第二初始识别结果，在所述第一查找结果中查找与所述第二初始识别结果相关的第二查找结果，所述第二初始识别结果为所述初始名称识别结果、所述初始类型识别结果和所述初始编号识别结果中除所述第一初始识别结果外的任一识别结果；
第三查找结果获取子单元，用于根据第三初始识别结果，在所述第二查找结果中查找与所述第三初始识别结果相关的第三查找结果，所述第三初始识别结果为所述初始名称识别结果、所述初始类型识别结果和所述初始编号识别结果中除所述第一初始识别结果、所述第二初始识别结果外的任一识别结果；
当前标识信息获取子单元，用于若所述第三查找结果低于第一预设数量，则将所述第三查找结果作为最终的当前标识信息。
在本发明的一个实施例中，所述当前任务包括预存操作部位，图6所对应的实施例中的操作检测模块130还包括：
当前拍摄图像获取单元，用于若所述当前标识信息与所述当前任务中的预存标识信息一致，则获取所述头戴设备的当前拍摄图像；
当前操作部位确定单元，用于对所述当前拍摄图像进行图像识别，确定当前拍摄图像中的当前操作部位；
操作提示信息发送单元，用于若所述当前任务的预存操作部位中存在所述当前操作部位，则根据预存操作部位对应的操作指令生成操作提示信息，并将所述操作提示信息发送至所述头戴设备，所述操作提示信息用于指示所述头戴设备的显示模块显示所述操作提示信息。
在一个实施例中，基于图像的防误入间隔装置100还包括其他功能模块/单元，用于实现实施例1中各实施例中的方法步骤。
图7是本发明一实施例提供的终端设备的示意图。如图7所示，该实施例的终端设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述各个基于图像的防误入间隔方法实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图6所示模块110至130的功能。
所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述终端设备7中的执行过程。
所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的示例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于图像的防误入间隔方法，其特征在于，包括：
获取工作人员佩戴的头戴设备发送的间隔标识图像，并对所述间隔标识图像进行识别，得到当前标识信息；
将所述标识信息与当前任务中的预存标识信息进行比对，若所述当前任务的预存标识信息中存在所述当前标识信息，则根据所述当前任务中的操作指令生成并发送操作提示信息至所述头戴设备；
获取所述头戴设备发送的关键步骤操作图像，并识别所述关键步骤操作图像中的关键操作信息，以及将所述关键操作信息与所述当前任务中的操作指令进行比对，确定所述工作人员的操作是否规范。
2.如权利要求1所述的基于图像的防误入间隔方法，其特征在于，在所述获取工作人员佩戴的头戴设备发送的间隔标识图像之前，还包括：
获取当前任务，并根据所述当前任务中的预存标识信息，确定最佳路径；
将所述最佳路径发送至所述头戴设备，所述最佳路径用于提示所述工作人员按照所述最佳路径进行操作。
3.如权利要求1所述的基于图像的防误入间隔方法，其特征在于，所述当前标识信息包括名称、类型及编号，所述对所述间隔标识图像进行识别，得到当前标识信息，包括：
将所述间隔标识图像输入第一神经网络模型，得到初始标识识别结果，所述初始标识识别结果包括初始名称识别结果、初始类型识别结果及初始编号识别结果；
分别对所述初始名称识别结果及所述初始编号识别结果进行评分；
若所述初始名称识别结果的评分大于或等于第一预设评分阈值，则将所述初始名称识别结果作为最终的当前标识信息；
若所述初始编号识别结果的评分大于或等于所述第一预设评分阈值，则将所述初始编号识别结果作为最终的当前标识信息；
若所述初始名称识别结果的评分小于所述第一预设评分阈值且大于第二预设评分阈值，以及所述初始编号识别结果的评分小于所述第一预设评分阈值且大于所述第二预设评分阈值，则根据所述初始名称识别结果、所述初始类型识别结果、所述初始编号识别结果及所述预存标识信息，推算得到最终的当前标识信息。
4.如权利要求3所述的基于图像的防误入间隔方法，其特征在于，所述根据所述初始名称识别结果、所述初始类型识别结果、所述初始编号识别结果及所述预存标识信息，推算得到最终的当前标识信息，包括：
根据第一初始识别结果，在所述预存标识信息中查找与所述第一初始识别结果相关的第一查找结果，所述第一初始识别结果为所述初始名称识别结果、所述初始类型识别结果和所述初始编号识别结果中的任一识别结果；
根据第二初始识别结果，在所述第一查找结果中查找与所述第二初始识别结果相关的第二查找结果，所述第二初始识别结果为所述初始名称识别结果、所述初始类型识别结果和所述初始编号识别结果中除所述第一初始识别结果外的任一识别结果；
根据第三初始识别结果，在所述第二查找结果中查找与所述第三初始识别结果相关的第三查找结果，所述第三初始识别结果为所述初始名称识别结果、所述初始类型识别结果和所述初始编号识别结果中除所述第一初始识别结果、所述第二初始识别结果外的任一识别结果；
若所述第三查找结果低于第一预设数量，则将所述第三查找结果作为最终的当前标识信息。
5.如权利要求1至4任一项所述的基于图像的防误入间隔方法，其特征在于，所述当前任务包括预存操作部位，所述若所述当前任务的预存标识信息中存在所述当前标识信息，则根据所述当前任务中的操作指令生成并发送操作提示信息至所述头戴设备，包括：
若所述当前标识信息与所述当前任务中的预存标识信息一致，则获取所述头戴设备的当前拍摄图像；
对所述当前拍摄图像进行图像识别，确定当前拍摄图像中的当前操作部位；
若所述当前任务的预存操作部位中存在所述当前操作部位，则根据预存操作部位对应的操作指令生成操作提示信息，并将所述操作提示信息发送至所述头戴设备，所述操作提示信息用于指示所述头戴设备的显示模块显示所述操作提示信息。
6.一种基于图像的防误入间隔装置，其特征在于，包括：
图像识别模块，用于获取工作人员佩戴的头戴设备发送的间隔标识图像，并对所述间隔标识图像进行识别，得到当前标识信息；
标识信息比对模块，用于将所述标识信息与当前任务中的预存标识信息进行比对，若所述当前任务的预存标识信息中存在所述当前标识信息，则根据所述当前任务中的操作指令生成并发送操作提示信息至所述头戴设备；
操作检测模块，用于获取所述头戴设备发送的关键步骤操作图像，并识别所述关键步骤操作图像中的关键操作信息，以及将所述关键操作信息与所述当前任务中的操作指令进行比对，确定所述工作人员的操作是否规范。
7.如权利要求6所述的基于图像的防误入间隔装置，其特征在于，还包括：
最佳路径获取模块，用于获取当前任务，并根据所述当前任务中的预存标识信息，确定最佳路径；
最佳路径发送模块，用于将所述最佳路径发送至所述头戴设备，所述最佳路径用于提示所述工作人员按照所述最佳路径进行操作。
8.如权利要求6所述的基于图像的防误入间隔装置，其特征在于，所述当前标识信息包括名称、类型及编号，所述图像识别模块包括：
初始标识识别结果获取单元，用于将所述间隔标识图像输入第一神经网络模型，得到初始标识识别结果，所述初始标识识别结果包括初始名称识别结果、初始类型识别结果及初始编号识别结果；
识别结果评分单元，用于分别对所述初始名称识别结果及所述初始编号识别结果进行评分；
第一当前标识信息获取单元，用于若所述初始名称识别结果的评分大于或等于第一预设评分阈值，则将所述初始名称识别结果作为最终的当前标识信息；
第二当前标识信息获取单元，用于若所述初始编号识别结果的评分大于或等于所述第一预设评分阈值，则将所述初始编号识别结果作为最终的当前标识信息；
第三当前标识信息获取单元，用于若所述初始名称识别结果的评分小于所述第一预设评分阈值且大于第二预设评分阈值，以及所述初始编号识别结果的评分小于所述第一预设评分阈值且大于所述第二预设评分阈值，则根据所述初始名称识别结果、所述初始类型识别结果、所述初始编号识别结果及所述预存标识信息，推算得到最终的当前标识信息。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910434913.7A CN110188648A (zh) | 2019-05-23 | 2019-05-23 | 基于图像的防误入间隔方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910434913.7A CN110188648A (zh) | 2019-05-23 | 2019-05-23 | 基于图像的防误入间隔方法、装置及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110188648A true CN110188648A (zh) | 2019-08-30 |
Family
ID=67717408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910434913.7A Pending CN110188648A (zh) | 2019-05-23 | 2019-05-23 | 基于图像的防误入间隔方法、装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110188648A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112071043A (zh) * | 2020-09-04 | 2020-12-11 | 国网山东省电力公司莱芜供电公司 | 一种变电站操作用智能记录警示装置及使用方法 |
| WO2021052131A1 (zh) * | 2019-09-16 | 2021-03-25 | Oppo广东移动通信有限公司 | 头戴式设备及其控制方法、装置、系统和存储介质 |
| CN113255855A (zh) * | 2021-05-11 | 2021-08-13 | 国网河北省电力有限公司沧州供电分公司 | 防误入带电间隔的报警系统、方法及终端 |
| CN113541785A (zh) * | 2021-06-15 | 2021-10-22 | 上海飞旋通信工程有限公司 | 维持光缆信号不中断的方法、系统、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102801216A (zh) * | 2012-09-06 | 2012-11-28 | 上海欣影电力科技发展有限公司 | 一种变电站智能巡检系统 |
| CN104391470A (zh) * | 2014-10-21 | 2015-03-04 | 国家电网公司 | 一种电力系统配电网的防误操作组件及防误操作方法 |
| CN106355175A (zh) * | 2016-10-13 | 2017-01-25 | 国网江苏省电力公司检修分公司 | 一种基于图像识别技术的变电站防误操作方法 |
| US20170034417A1 (en) * | 2015-07-28 | 2017-02-02 | Canon Kabushiki Kaisha | Information processing system, handheld apparatus, control method, and computer-readable storage medium |
| CN107063468A (zh) * | 2017-04-27 | 2017-08-18 | 杭州天铂红外光电技术有限公司 | 变电站设备红外热图拍摄的导航方法及装置 |
| CN109271881A (zh) * | 2018-08-27 | 2019-01-25 | 国网河北省电力有限公司沧州供电分公司 | 一种变电站内人员安全管控方法、装置及服务器 |
| CN109687581A (zh) * | 2018-12-20 | 2019-04-26 | 国网北京市电力公司 | 变电站防误操作的方法、装置、存储介质及处理器 |
-
2019
- 2019-05-23 CN CN201910434913.7A patent/CN110188648A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102801216A (zh) * | 2012-09-06 | 2012-11-28 | 上海欣影电力科技发展有限公司 | 一种变电站智能巡检系统 |
| CN104391470A (zh) * | 2014-10-21 | 2015-03-04 | 国家电网公司 | 一种电力系统配电网的防误操作组件及防误操作方法 |
| US20170034417A1 (en) * | 2015-07-28 | 2017-02-02 | Canon Kabushiki Kaisha | Information processing system, handheld apparatus, control method, and computer-readable storage medium |
| CN106355175A (zh) * | 2016-10-13 | 2017-01-25 | 国网江苏省电力公司检修分公司 | 一种基于图像识别技术的变电站防误操作方法 |
| CN107063468A (zh) * | 2017-04-27 | 2017-08-18 | 杭州天铂红外光电技术有限公司 | 变电站设备红外热图拍摄的导航方法及装置 |
| CN109271881A (zh) * | 2018-08-27 | 2019-01-25 | 国网河北省电力有限公司沧州供电分公司 | 一种变电站内人员安全管控方法、装置及服务器 |
| CN109687581A (zh) * | 2018-12-20 | 2019-04-26 | 国网北京市电力公司 | 变电站防误操作的方法、装置、存储介质及处理器 |
Non-Patent Citations (1)
| Title |
|---|
| 黑颖顿: "头戴式摄像机变电站防误操作图像识别", 《云南电力技术》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021052131A1 (zh) * | 2019-09-16 | 2021-03-25 | Oppo广东移动通信有限公司 | 头戴式设备及其控制方法、装置、系统和存储介质 |
| CN112071043A (zh) * | 2020-09-04 | 2020-12-11 | 国网山东省电力公司莱芜供电公司 | 一种变电站操作用智能记录警示装置及使用方法 |
| CN113255855A (zh) * | 2021-05-11 | 2021-08-13 | 国网河北省电力有限公司沧州供电分公司 | 防误入带电间隔的报警系统、方法及终端 |
| CN113255855B (zh) * | 2021-05-11 | 2023-04-18 | 国网河北省电力有限公司沧州供电分公司 | 防误入带电间隔的报警系统、方法及终端 |
| CN113541785A (zh) * | 2021-06-15 | 2021-10-22 | 上海飞旋通信工程有限公司 | 维持光缆信号不中断的方法、系统、设备及存储介质 |
| CN113541785B (zh) * | 2021-06-15 | 2022-07-12 | 上海飞旋通信工程有限公司 | 维持光缆信号不中断的方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188648A (zh) | 基于图像的防误入间隔方法、装置及终端设备 | |
| De Giacomo et al. | On the disruptive effectiveness of automated planning for LTLf-based trace alignment | |
| CN110221145B (zh) | 电力设备故障诊断方法、装置及终端设备 | |
| CN112698971A (zh) | 基于规则引擎的参数转换方法、装置、设备及介质 | |
| CN109165337B (zh) | 一种基于知识图谱构建招投标领域关联分析的方法及系统 | |
| CN110287316A (zh) | 一种告警分类方法、装置、电子设备及存储介质 | |
| CN107004165A (zh) | 标识和维修辅助设备与方法 | |
| CN107102993A (zh) | 一种用户诉求分析方法和装置 | |
| CN109246027A (zh) | 一种网络维护的方法、装置和终端设备 | |
| CN110119880A (zh) | 一种自动评级方法、装置、存储介质及终端设备 | |
| CN107704331A (zh) | 电力设备故障分析处理辅助方法及装置 | |
| CN114840387A (zh) | 微服务监控方法、装置、计算机设备和存储介质 | |
| CN111126054A (zh) | 确定相似文本的方法、装置、存储介质及电子设备 | |
| CN108986556A (zh) | 一种飞机远程技术放行方法、装置及智能设备 | |
| CN106779404A (zh) | 一种流程预告警方法和装置 | |
| CN110162769A (zh) | 文本主题输出方法和装置、存储介质及电子装置 | |
| Liu et al. | Research on real-time monitoring technology of equipment based on augmented reality | |
| CN109949013A (zh) | 公文处理流转方法及系统 | |
| CN107463417A (zh) | 一种应用程序模板安装方法和装置 | |
| CN114049095A (zh) | 一种基建工程业务监测方法、装置、设备及存储介质 | |
| CN116383020B (zh) | 一种基于区块链的互联网数据分析管理系统及方法 | |
| CN110220639A (zh) | 变电站内压力表抄表方法、装置及终端设备 | |
| Nisa et al. | Implementation of Personal Protective Equipment Detection Using Django and Yolo Web at Paiton Steam Power Plant (PLTU) | |
| GB2590741A (en) | Artificial intelligence and augmented reality system and method | |
| CN111652102A (zh) | 一种输电通道目标物辨识方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190830 |