CN113066195A - 电力设备巡检方法、装置、ar眼镜和存储介质 - Google Patents

电力设备巡检方法、装置、ar眼镜和存储介质 Download PDF

Info

Publication number
CN113066195A
CN113066195A CN202110285756.5A CN202110285756A CN113066195A CN 113066195 A CN113066195 A CN 113066195A CN 202110285756 A CN202110285756 A CN 202110285756A CN 113066195 A CN113066195 A CN 113066195A
Authority
CN
China
Prior art keywords
power equipment
glasses
image
equipment
reality image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110285756.5A
Other languages
English (en)
Inventor
古钰冰
陈昌
曹德发
陈佳铨
梅咏武
叶汇镓
石扬
李伟青
饶巨为
谢伟涛
刘伟芳
张正敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meizhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Meizhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meizhou Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Meizhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202110285756.5A priority Critical patent/CN113066195A/zh
Publication of CN113066195A publication Critical patent/CN113066195A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K13/00—Thermometers specially adapted for specific purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)

Abstract

本发明实施例公开了一种电力设备巡检方法、装置、AR眼镜和存储介质，电力设备巡检方法包括：在巡检人员佩戴AR眼镜执行电力设备巡检时，AR眼镜上的摄像头拍摄现实图像；识别现实图像中的电力设备，电力设备包括隐藏的电力设备；从服务器获取传感器采集到的电力设备的传感数据；根据现实图像和传感数据生成增强现实图像；在AR眼镜的显示镜片显示增强现实图像。通过AR眼镜拍摄巡检区域的图像即可以自动获取到巡检区域内包含隐藏电力设备在内的电力设备的温度等传感数据，能够获取到隐藏于机柜内的UPS主机或地下电缆的温度值，既提高了巡检效率，又可以及时、准确、完整地获取巡检区域内所有电力设备的温度值，方便巡检人员及时快速地处理故障。

Description

电力设备巡检方法、装置、AR眼镜和存储介质
技术领域
本发明实施例涉及电力巡检技术领域，尤其涉及一种电力设备巡检方法、装置、AR眼镜和存储介质。
背景技术
随着电力机房、变电站中的电力设备越来越多，为了保证电力可靠安全地输送，电力巡检排除故障成为必不可少的电力作业任务。
目前，电力巡检主要是巡检人员进入变电站或者电力机房中肉眼巡检，然而，电力设备并非全部暴露在外可见，有些电力设备位于机柜中，或者置于墙体或者地下，如机房UPS无法查出发热点，无法透过地板查找地下高温电缆等，这就需求巡检人员依次通过手持终端来测量电力设备的温度，耗费时间长，并且无法获得地下高温电缆的温度，导致故障无法及时处理，从而导致更严重的安全事故。
发明内容
本发明实施例提供了一种电力设备巡检方法、装置、AR眼镜和存储介质，以解决电力巡检时无法快速获取电力设备状态信息的问题。
第一方面，本发明实施例提供了一种电力设备巡检方法，应用于AR眼镜，所述AR眼镜与服务器连接，所述服务器与电力设备中的传感器连接，所述AR眼镜设置有摄像头和显示镜片，所述电力设备巡检方法包括：
在巡检人员佩戴所述AR眼镜执行电力设备巡检时，所述AR眼镜上的摄像头拍摄现实图像，所述现实图像中至少包括一个电力设备；
识别所述现实图像中的电力设备；
从服务器获取所述传感器采集到的所述电力设备的传感数据；
根据所述现实图像和所述传感数据生成增强现实图像；
在所述AR眼镜的显示镜片显示所述增强现实图像。
可选地，所述电力设备上设置有设备标签，所述识别所述现实图像中的电力设备，包括：
对所述现实图像进行图像识别得到所述现实图像中第一电力设备的设备标签；
获取所述AR眼镜的位置信息；
采用所述位置信息和所述摄像头的参数确定所述现实图像对应的区域内不可见的第二电力设备，并获取所述第二电力设备的设备标签；
在预先存储的设备标签和设备ID关联表中查找与所述设备标签匹配的设备ID。
可选地，所述从服务器获取所述传感器采集到的所述电力设备的传感数据，包括：
从所述服务器获取所述设备ID关联的传感数据。
可选地，所述传感数据包括所述电力设备的温度值，所述根据所述现实图像和所述传感数据生成增强现实图像，包括：
对所述现实图像进行图像识别得到所述第一电力设备的目标显示区域；
获取所述第二电力设备的虚拟模型；
在所述现实图像中确定所述第二电力设备的隐藏区域；
在所述现实图像中的目标显示区域叠加所述第一电力设备的温度值，以及在所述现实图像中的隐藏区域叠加所述第二电力设备的虚拟模型和温度值得到增强现实图像。
可选地，还包括：
在所述温度值大于预设温度阈值时，在所述增强现实图像中叠加告警信息。
可选地，所述电力设备包括告警灯，在根据所述现实图像和所述传感数据生成增强现实图像之前，还包括：
对所述现实图像进行目标检测以识别出所述现实图像中所述电力设备的告警灯的状态；
在所述告警灯的状态为告警状态时，生成告警信息；
所述根据所述现实图像和所述传感数据生成增强现实图像，包括：
根据所述现实图像、所述传感数据以及所述告警信息生成增强现实图像；
在根据所述现实图像和所述传感数据生成增强现实图像之后，还包括：
获取所述电力设备的设备信息；
在所述显示镜片展示所述设备信息。
可选地，还包括：
当巡检人员进入作业程序后，所述AR眼镜实时采集作业图像发送至服务器，所述服务器用于对所述作业图像进行分析以生成作业指导信息，并将所述作业指导信息发送至所述AR眼镜；
接收所述服务器发送的作业指导信息；
在所述显示镜片显示所述作业指导信息。
第二方面，本发明实施例提供了一种电力设备巡检装置，应用于AR眼镜，所述AR眼镜与服务器连接，所述服务器与电力设备中的传感器连接，所述AR眼镜设置有摄像头和显示镜片，所述电力设备巡检装置包括：
图像拍摄模块，用于在巡检人员佩戴所述AR眼镜进入电力设备巡检时，所述AR眼镜上的摄像头拍摄现实图像，所述现实图像中至少包括一个电力设备；
电力设备识别模块，用于识别所述现实图像中的电力设备；
传感数据获取模块，用于从服务器获取所述传感器采集到的所述电力设备的传感数据；
增强现实图像生成模块，用于根据所述现实图像和所述传感数据生成增强现实图像；
增强现实图像显示模块，用于在所述AR眼镜的显示镜片显示所述增强现实图像。
可选地，所述电力设备上设置有设备标签，所述电力设备识别模块包括：
第一设备标签识别子模块，用于对所述现实图像进行图像识别得到所述现实图像中第一电力设备的设备标签；
位置信息获取子模块，用于获取所述AR眼镜的位置信息；
第二设备标签获取子模块，用于采用所述位置信息和所述摄像头的参数确定所述现实图像对应的区域内不可见的第二电力设备，并获取所述第二电力设备的设备标签；
设备ID获取子模块，用于在预先存储的设备标签和设备ID关联表中查找与所述设备标签匹配的设备ID。
可选地，所述传感数据获取模块包括：
传感数据获取子模块，用于从所述服务器获取所述设备ID关联的传感数据。
可选地，所述传感数据包括所述电力设备的温度值，所述增强现实图像生成模块包括：
目标显示区域识别子模块，用于对所述现实图像进行图像识别得到所述第一电力设备的目标显示区域；
虚拟模型获取子模块，用于获取所述第二电力设备的虚拟模型；
隐藏区域确定子模块，用于在所述现实图像中确定所述第二电力设备的隐藏区域；
图像叠加子模块，用于在所述现实图像中的目标显示区域叠加所述第一电力设备的温度值，以及在所述现实图像中的隐藏区域叠加所述第二电力设备的虚拟模型和温度值得到增强现实图像。
可选地，还包括：
告警信息叠加模块，用于在所述温度值大于预设温度阈值时，在所述增强现实图像中叠加告警信息。
可选地，所述电力设备包括告警灯，在增强现实图像生成模块之前还包括：
告警灯状态识别模块，用于对所述现实图像进行目标检测以识别出所述现实图像中所述电力设备的告警灯的状态；
告警信息生成模块，用于在所述告警灯的状态为告警状态时，生成告警信息；
所述增强现实图像生成模块包括：
增强现实图像生成子模块，用于根据所述现实图像、所述传感数据以及所述告警信息生成增强现实图像；
可选地，还包括：
设备信息获取模块，用于获取所述电力设备的设备信息；
设备信息展示模块，用于在所述显示镜片展示所述设备信息。
可选地，还包括：
作业图像拍摄模块，用于当巡检人员进入作业程序后，所述AR眼镜实时采集作业图像发送至服务器，所述服务器用于对所述作业图像进行分析以生成作业指导信息，并将所述作业指导信息发送至所述AR眼镜；
作业指导信息接收模块，用于接收所述服务器发送的作业指导信息；
作业指导信息展示模块，用于在所述显示镜片显示所述作业指导信息。
第三方面，本发明实施例提供了一种AR眼镜，所述AR眼镜包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面任一项所述的电力设备巡检方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面任一项所述的电力设备巡检方法。
本发明实施例的电力设备巡检方法应用于AR眼镜，该AR眼镜与服务器连接，服务器与电力设备中的传感器连接，AR眼镜设置有摄像头和显示镜片，在巡检人员佩戴AR眼镜执行电力设备巡检时，AR眼镜上的摄像头拍摄现实图像，并识别现实图像中的电力设备，从服务器获取传感器采集到的电力设备的传感数据，根据现实图像和传感数据生成增强现实图像，在AR眼镜的显示镜片显示增强现实图像，本发明实施例采用AR眼镜与服务器和传感器组成巡检系统，通过AR眼镜采集现场图像后识别出可见的电力设备和隐藏的电力设备，从服务器获取电力设备的传感数据结合现实图像生成增强现实图像显示在AR眼镜中，通过AR眼镜拍摄巡检区域的图像即可以自动获取到巡检区域内包含隐藏电力设备在内的电力设备的温度等传感数据，能够及时获取到隐藏于机柜内的UPS主机或地下电缆的温度值，既提高了巡检效率，又可以及时、准确、完整地获取巡检区域内所有电力设备的温度值，方便巡检人员及时快速地处理故障，保证配送电安全。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例一提供的一种电力设备巡检方法的流程图；
图2为本发明实施例二提供的一种电力设备巡检方法的流程图；
图3为本发明实施例三提供的一种电力设备巡检装置的结构示意图；
图4为本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种电力设备巡检方法的流程图，本实施例可适用于对变电站、电力机房等区域的电力设备进行巡检的情况中。本实施例提供的电力设备巡检方法可以由电力设备巡检装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在AR眼镜中。具体的，参考图1，本发明实施例的电力设备巡检方法可以包括如下步骤：
S101、在巡检人员佩戴所述AR眼镜执行电力设备巡检时，所述AR眼镜上的摄像头拍摄现实图像，所述现实图像中至少包括一个电力设备。
本发明实施例中，AR眼镜配置有摄像头、显示镜片、处理器、存储介质、无线通信模块、定位模块、麦克风、扬声器等部件，其中，摄像头可以是单摄像头，也可以双摄像头，无线通信模块可以为Wifi、蓝牙、LoRa等无线通信模块。
本发明实施例可应用于对变电站或者电力机房等设置有多个电力设备巡检的场景，其中，电力设备可以设置有各种传感器，例如温度传感器、位移传感器、电流传感器等。在实际应用中，AR眼镜与服务器连接，服务器与电力设备中的传感器连接。
巡检人员可以配置AR眼镜，巡检人员佩戴AR眼镜执行电力设备巡检时，AR眼镜上的摄像头拍摄巡检区域内的现实图像，在一个示例中，巡检人员进入机房后，可以根据AR眼镜的预先设置的程序进行巡检，依次采集指定巡检区域的现实图像。
S102、识别所述现实图像中的电力设备，所述电力设备包括隐藏的电力设备。
在一个示例中，每个电力设备可以设置有设备标签，例如，设备标签可以是条码、二维码或者是印刷于电力设备上的设备ID等，当电力设备被摄像头拍摄后，可以对现实图像进行识别得到电力设备的设备标签，通过设备标签去获取与设备标签关联的设备ID，例如可以通过预先训练的设备标签识别模型来识别设备标签，又或者设备标签为二维码，则可以识别现实图像中的二维码获得设备标签。
进一步地，巡检区域内可能存在隐藏的电力设备，例如设置于机柜中的主机，或者设置于地下或者墙壁内的电缆，则可以获取AR眼镜的位置信息，如获取AR眼镜相对于变电站或者电力机房的坐标、姿态等位置信息，通过AR眼镜的位置信息和拍摄到的图像、AR眼镜的参数确定拍摄到的现实图像对应的巡检区域，进而获取该巡检区域内设置于机柜、墙壁或者地下等不可见的隐藏的电力设备，并在预设的数据库中获取隐藏的电力设备的设备标签，根据该设备标签获取到隐藏电力设备的设备ID。
S103、从服务器获取所述传感器采集到的所述电力设备的传感数据。
在一个示例中，电力设备中的传感器采集到传感数据后上传到服务器，服务器将电力设备的传感数据与设备ID关联存储在数据库中，AR眼镜可以将识别到的电力设备的设备ID发送到服务器来请求电力设备的传感数据，该传感数据可以包括温度值。
S104、根据所述现实图像和所述传感数据生成增强现实图像。
具体地，从服务器获取到识别出的电力设备的传感数据后，可以将各个电力设备的传感数据叠加在现实图像中得到增强现实图像。在一个示例中，可以以表格形式在现实图像中叠加各个电力设备的传感数据，优选地，可以在现实图像中各个电力设备的显示区域或者隐藏区域上或者附近叠加传感数据。
S105、在所述AR眼镜的显示镜片显示所述增强现实图像。
在生成增强现实图像后，AR眼镜的处理器可以将增强现实图像输出到显示镜片上进行显示，巡检人员可以在显示镜片上观看到当前摄像头所拍摄的巡检区域内可见的和隐藏的电力设备的传感数据。
本发明实施例的电力设备巡检方法应用于AR眼镜，该AR眼镜与服务器连接，服务器与电力设备中的传感器连接，AR眼镜设置有摄像头和显示镜片，在巡检人员佩戴AR眼镜执行电力设备巡检时，AR眼镜上的摄像头拍摄现实图像，并识别现实图像中的电力设备，从服务器获取传感器采集到的电力设备的传感数据，根据现实图像和传感数据生成增强现实图像，在AR眼镜的显示镜片显示增强现实图像，本发明实施例采用AR眼镜与服务器和传感器组成巡检系统，通过AR眼镜采集现场图像后识别出可见的电力设备和隐藏的电力设备后，从服务器获取电力设备的传感数据结合现实图像生成增强现实图像显示在AR眼镜中，通过AR眼镜拍摄巡检区域的图像即可以自动获取到巡检区域内包含隐藏电力设备在内的电力设备的温度等传感数据，能够及时获取到隐藏于机柜内的UPS主机或地下电缆的温度值，既提高了巡检效率，又可以及时、准确、完整地获取巡检区域内所有电力设备的温度值，方便巡检人员及时快速地处理故障，保证配送电安全。
实施例二
图2为本发明实施例二提供的一种电力设备巡检方法的流程图，本实施例在实施例一的基础上进行优化，具体的，参考图2，本发明实施例的电力设备巡检方法可以包括如下步骤：
S201、在巡检人员佩戴所述AR眼镜执行电力设备巡检时，所述AR眼镜上的摄像头拍摄现实图像，所述现实图像中至少包括一个电力设备。
本发明实施例的AR眼镜配置有摄像头、显示镜片、处理器、存储介质、无线通信模块、定位模块、麦克风、扬声器等部件，其中，AR眼镜与服务器连接，服务器与电力设备中的传感器连接。
巡检人员在佩戴AR眼镜执行电力设备巡检时，对于一个巡检区域，该巡检区域可以包括可见的第一电力设备和隐藏的第二电力设备，隐藏的第二电力设备可以包括位于机柜内、墙壁内或者地下的电力设备，摄像头对巡检区域采集现实图像时，该现实图像上包括可见的第一电力设备。
S202、对所述现实图像进行图像识别得到所述现实图像中第一电力设备的设备标签。
在一个示例中，电力设备上设置有设备标签，优选地，设备标签可以是二维码，当然还可以是印刷于电力设备上的设备编号等。以二维码为设备标签为示例，可以将现实图像输入预先训练好的设备标签识别模型中得到现实图像中的所有电力设备的设备标签，更优选地，设备标签识别模型在输出设备标签的同时还输出设备标签在现实图像中的位置作为电力设备在现实图像中的位置。
当然，在另一个示例中，也可以结合AR眼镜在变电站或者电力机房中的位置和现实图像进行图像模板匹配，得到现实图像中各个电力设备的设备标签，本发明实施例对识别现实图像中的电力设备的设备标签的方式不加以限制。
S203、获取所述AR眼镜的位置信息。
对于巡检区域中不可见的电力设备，可以从电力机房、变电站的电力设备数据库中获取设备标签，在一个可选实施例中，可以先获取AR眼镜的位置信息，该位置信息包括AR眼镜相对于电力机房、变电站的相对坐标、AR眼镜的姿态等。在一个示例中，可以通过AR眼镜的定位模块获取到AR眼镜的位置信息，还可以通过电力机房、变电站的无线定位系统获取到AR眼镜的位置信息，本发明实施例对获取AR眼镜的位置信息的方式不加以限制。
S204、采用所述位置信息和所述摄像头的参数确定所述现实图像对应的区域内不可见的第二电力设备，并获取所述第二电力设备的设备标签。
具体地，在确定AR眼镜的位置信息后，结合摄像头的焦距、CCD的尺寸、摄像头的视角以及现实图像的大小等，根据光学原理可以确定现实图像对应于巡检区域的被拍摄范围，然后从预先存储的变电站、电力机房的电子地图中获取该被拍摄范围内的隐藏的、不可见的第二电力设备并获取相应的设备标签。示例性地，在确定现实图像A对应于电力机房的区别B后，可以从电力机房的电子地图中调取区域B的电子地图，从电子地图上获取不可见的第二电力设备(第二电力设备可预先在电子地图中标识，如可见的第一电力设备为1，不可见第二电力设备为0)，并获取第二电力设备的设备标签。
S205、在预先存储的设备标签和设备ID关联表中查找与所述设备标签匹配的设备ID。
具体地，AR眼镜中可以预先存储设备标签和设备ID的关联标表，可以从该设备标签和设备ID的关联标表中查找与设备标签匹配的设备ID。
S206、从所述服务器获取所述设备ID关联的传感数据。
在一个示例中，电力设备中的传感器采集到传感数据后上传到服务器，服务器将电力设备的传感数据与设备ID关联存储在数据库中，AR眼镜可以将识别到的电力设备的设备ID发送到服务器来请求电力设备的传感数据，该传感数据可以包括温度值。
S207、对所述现实图像进行图像识别得到所述第一电力设备的目标显示区域。
在一个示例中，对于现实图像上包括的可见的第一电力设备，可以对现实图像进行语义分割得到现实图像上每个第一电力设备的目标显示区域，在另一个示例中，可以将每个第一电力设备的设备标签位置作为第一电力设备的目标显示区域，本发明实施例对识别现实图像上第一电力设备的目标显示区域的方式不加以限制。
S208、获取所述第二电力设备的虚拟模型。
可选地，服务器除了存储设备ID关联的设备标签、传感数据之外，还可以存储设备ID关联的虚拟模型，该虚拟模型可以是隐藏的第二电力设备的虚拟三维模型，如主机的三维模型，电缆的铺设三维模型等。
S209、在所述现实图像中确定所述第二电力设备的隐藏区域。
如前述获取隐藏的第二电力设备的设备标签时已经调取电子地图，可以从该电子地图上确定第二电力设备所占用的空间位置、坐标等，并将第二电力设备所占用的空间位置映射到现实图像中的像素点，得到现实图像中确定第二电力设备的隐藏区域。
S210、在所述现实图像中的目标显示区域叠加所述第一电力设备的温度值，以及在所述现实图像中的隐藏区域叠加所述第二电力设备的虚拟模型和温度值得到增强现实图像。
在一个示例中，对于现实图像中可见的第一电力设备，可以在该第一电力设备的目标显示区域增加第一电力设备的温度值，该温度值可以以文字形式、温度计图像的形式展示，当然，还可以根据温度值对第一电力设备着色处理，如不同温度值赋予第一电力设备不同的颜色。
对于隐藏不可见的第二电力设备，在获取第二电力设备的虚拟模型和隐藏区域后，可以在现实图像中的隐藏区域叠加虚拟模型和温度值，从而得到增强现实图像。
需要说明的是，图像叠加可以是指在现实图像中直接叠加、融合相关信息，如虚拟模型叠加融合到现实图像中，并进行相应图像处理，使得处理后的图像适于显示在AR眼镜的显示镜片上。
S211、在所述温度值大于预设温度阈值时，在所述增强现实图像中叠加告警信息。
在一个示例中，可以预先存储各个电力设备的温度阈值，该温度阈值可以是温度范围值，还可以是温度上限值或者下限值，在本发明实施例中，温度阈值可以为上限值，当电力设备的温度值大于预设的温度阈值时，说明电力设备当前温度过高，可以在增强现实图像中叠加告警信息，该告警信息可以是文字提醒信息，还可以是图像提醒，又或者是AR眼镜的扬声器播报温度过高的报警语音等。
S212、在所述AR眼镜的显示镜片显示所述增强现实图像。
在生成增强现实图像后，AR眼镜的处理器可以将增强现实图像输出到显示镜片上进行显示，巡检人员可以在显示镜片上观看到当前摄像头所拍摄的巡检区域内可见的和隐藏的电力设备的传感数据。
本发明实施例通过AR眼镜拍摄巡检区域的图像即可以自动获取到巡检区域内包含隐藏电力设备在内的电力设备的温度等传感数据，能够及时获取到隐藏于机柜内的UPS主机或地下电缆的温度值，既提高了巡检效率，又可以及时、准确、完整地获取巡检区域内所有电力设备的温度值，方便巡检人员及时快速地处理故障，保证配送电安全。
进一步地，在温度过高时在增强现实图像中叠加告警信息，使得巡检人员可以方便快捷地获知告警信息来处理故障，提高了故障处理效率。
在本发明的另一可选实施例中，电力设备还设置有告警灯，在拍摄现实图像后，可以对现实图像进行目标检测以识别出现实图像中电力设备的告警灯的状态，在告警灯的状态为告警状态时，生成告警信息，并根据现实图像、传感数据以及告警信息生成增强现实图像，示例性地，可以预先训练目标检测模型来检测电力设备的告警灯的状态，在告警灯为黄色或者红色状态时，说明电力设备存在故障，可以在增强现实图像中叠加相应的告警信息，使得巡检人员不会因为电力设备过多而忽视掉处于告警状态的告警灯。
在另一可选实施例中，在发生告警时，还可以获取电力设备的设备信息，在显示镜片展示设备信息，具体地，对于发生告警的电力设备，在识别该电力设备的设备标签获得设备ID后，可以通过设备ID从服务器或者AR眼镜本地存储的设备信息库中获取告警的电力设备的设备信息，并将设备信息展示在AR眼镜的显示镜片中，使得巡检人员可以及时获取到详细的设备信息，以便参考设备信息进行故障处理。
在又一个可选实施例中，巡检人员在巡检过程中，如果需要执行维修、故障处理等作业程序，当巡检人员进入作业程序后，AR眼镜实时采集作业图像发送至服务器，服务器用于对作业图像进行分析以生成作业指导信息，并将作业指导信息发送至AR眼镜，AR眼镜接收服务器发送的作业指导信息后，在显示镜片显示作业指导信息。具体地，巡检人员可以通过与AR眼镜的交互进入作业程序，如通过语音、眼球转到、手指触摸等方式进入作业程序后，AR眼镜可以向服务器请求作业指导信息，在AR眼镜展示作业指导信息引导巡检人员进行巡检、维修、处理故障等，以维修故障为示例，AR眼镜拍摄故障电力设备的现实图像上传到服务器，服务器中的故障分析模型对现实图像进行分析得出故障处理策略，并将故障处理策略发送至AR眼镜，AR眼镜展示故障处理策略引导巡检人员除了故障，并且在故障处理过程中实时上传现实图像到服务器，服务器根据上传的现实图像检验巡检人员执行的步骤是否存在错误、遗漏，如果存在错误或者遗漏则进行相应的提醒，从而保证巡检人员能够准确高效地执行作业程序。
实施例三
图3为本发明实施例三提供的一种电力设备巡检装置的结构示意图，具体的，本发明实施例的电力设备巡检装置应用于AR眼镜，所述AR眼镜与服务器连接，所述服务器与电力设备中的传感器连接，所述AR眼镜设置有摄像头和显示镜片，如图3所示，所述电力设备巡检装置包括：
图像拍摄模块301，用于在巡检人员佩戴所述AR眼镜进入电力设备巡检时，所述AR眼镜上的摄像头拍摄现实图像，所述现实图像中至少包括一个电力设备；
电力设备识别模块302，用于识别所述现实图像中的电力设备；
传感数据获取模块303，用于从服务器获取所述传感器采集到的所述电力设备的传感数据；
增强现实图像生成模块304，用于根据所述现实图像和所述传感数据生成增强现实图像；
增强现实图像显示模块305，用于在所述AR眼镜的显示镜片显示所述增强现实图像。
可选地，所述电力设备上设置有设备标签，所述电力设备识别模块302包括：
第一设备标签识别子模块，用于对所述现实图像进行图像识别得到所述现实图像中第一电力设备的设备标签；
位置信息获取子模块，用于获取所述AR眼镜的位置信息；
第二设备标签获取子模块，用于采用所述位置信息和所述摄像头的参数确定所述现实图像对应的区域内不可见的第二电力设备，并获取所述第二电力设备的设备标签；
设备ID获取子模块，用于在预先存储的设备标签和设备ID关联表中查找与所述设备标签匹配的设备ID。
可选地，所述传感数据获取模块303包括：
传感数据获取子模块，用于从所述服务器获取所述设备ID关联的传感数据。
可选地，所述传感数据包括所述电力设备的温度值，所述增强现实图像生成模块304包括：
目标显示区域识别子模块，用于对所述现实图像进行图像识别得到所述第一电力设备的目标显示区域；
虚拟模型获取子模块，用于获取所述第二电力设备的虚拟模型；
隐藏区域确定子模块，用于在所述现实图像中确定所述第二电力设备的隐藏区域；
图像叠加子模块，用于在所述现实图像中的目标显示区域叠加所述第一电力设备的温度值，以及在所述现实图像中的隐藏区域叠加所述第二电力设备的虚拟模型和温度值得到增强现实图像。
可选地，还包括：
告警信息叠加模块，用于在所述温度值大于预设温度阈值时，在所述增强现实图像中叠加告警信息。
可选地，所述电力设备包括告警灯，在增强现实图像生成模块304之前还包括：
告警灯状态识别模块，用于对所述现实图像进行目标检测以识别出所述现实图像中所述电力设备的告警灯的状态；
告警信息生成模块，用于在所述告警灯的状态为告警状态时，生成告警信息；
所述增强现实图像生成模块304包括：
增强现实图像生成子模块，用于根据所述现实图像、所述传感数据以及所述告警信息生成增强现实图像；
可选地，还包括：
设备信息获取模块，用于获取所述电力设备的设备信息；
设备信息展示模块，用于在所述显示镜片展示所述设备信息。
可选地，还包括：
作业图像拍摄模块，用于当巡检人员进入作业程序后，所述AR眼镜实时采集作业图像发送至服务器，所述服务器用于对所述作业图像进行分析以生成作业指导信息，并将所述作业指导信息发送至所述AR眼镜；
作业指导信息接收模块，用于接收所述服务器发送的作业指导信息；
作业指导信息展示模块，用于在所述显示镜片显示所述作业指导信息。
本实施例提供的电力设备巡检装置可执行本发明任意实施例提供的电力设备巡检方法，具备相应的功能和有益效果。
实施例四
参照图4，示出了本发明一个示例中的一种AR眼镜的结构示意图。如图4所示，该AR眼镜具体可以包括：处理器40、存储器41、具有触摸功能的显示屏42、输入装置43、输出装置44以及通信装置45。该AR眼镜中处理器40的数量可以是一个或者多个，图4中以一个处理器40为例。该AR眼镜中存储器41的数量可以是一个或者多个，图4中以一个存储器41为例。该AR眼镜的处理器40、存储器41、显示屏42、输入装置43、输出装置44以及通信装置45可以通过总线或者其他方式连接，图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的电力设备巡检方法对应的程序指令/模块(例如，上述电力设备巡检装置中的图像拍摄模块301、电力设备识别模块302、传感数据获取模块303、增强现实图像生成模块304和增强现实图像显示模块305)，存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示屏42为具有触摸功能的显示屏42，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏42用于根据处理器40的指示显示数据，还用于接收作用于显示屏42的触摸操作，并将相应的信号发送至处理器40或其他装置。可选的，当显示屏42为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏42的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器40或者其他设备。
通信装置45，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。
输入装置43可用于接收输入的数字或者字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置44可以包括扬声器等音频设备。需要说明的是，输入装置43和输出装置44的具体组成可以根据实际情况设定，如输入装置43可以是摄像头，输出装置44可以是显示镜片。
处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行AR眼镜的各种功能应用以及数据处理，即实现上述电力设备巡检方法。
具体地，实施例中，处理器40执行存储器41中存储的一个或多个程序时，具体实现本发明实施例提供的电力设备巡检方法的步骤。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现本发明任意实施例中的电力设备巡检方法。
需要说明的是，对于装置、AR眼镜、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述电力设备巡检方法。
值得注意的是，上述电力设备巡检装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种电力设备巡检方法，其特征在于，应用于AR眼镜，所述AR眼镜与服务器连接，所述服务器与电力设备中的传感器连接，所述AR眼镜设置有摄像头和显示镜片，所述电力设备巡检方法包括：
在巡检人员佩戴所述AR眼镜执行电力设备巡检时，所述AR眼镜上的摄像头拍摄现实图像，所述现实图像中至少包括一个电力设备；
识别所述现实图像中的电力设备，所述电力设备包括隐藏的电力设备；
从服务器获取所述传感器采集到的所述电力设备的传感数据；
根据所述现实图像和所述传感数据生成增强现实图像；
在所述AR眼镜的显示镜片显示所述增强现实图像。
2.根据权利要求1所述的电力设备巡检方法，其特征在于，所述电力设备上设置有设备标签，所述识别所述现实图像中的电力设备，包括：
对所述现实图像进行图像识别得到所述现实图像中第一电力设备的设备标签；
获取所述AR眼镜的位置信息；
采用所述位置信息和所述摄像头的参数确定所述现实图像对应的区域内不可见的第二电力设备，并获取所述第二电力设备的设备标签；
在预先存储的设备标签和设备ID关联表中查找与所述设备标签匹配的设备ID。
3.根据权利要求2所述的电力设备巡检方法，其特征在于，所述从服务器获取所述传感器采集到的所述电力设备的传感数据，包括：
从所述服务器获取所述设备ID关联的传感数据。
4.根据权利要求2所述的电力设备巡检方法，其特征在于，所述传感数据包括所述电力设备的温度值，所述根据所述现实图像和所述传感数据生成增强现实图像，包括：
对所述现实图像进行图像识别得到所述第一电力设备的目标显示区域；
获取所述第二电力设备的虚拟模型；
在所述现实图像中确定所述第二电力设备的隐藏区域；
在所述现实图像中的目标显示区域叠加所述第一电力设备的温度值，以及在所述现实图像中的隐藏区域叠加所述第二电力设备的虚拟模型和温度值得到增强现实图像。
5.根据权利要求4所述的电力设备巡检方法，其特征在于，还包括：
在所述温度值大于预设温度阈值时，在所述增强现实图像中叠加告警信息。
6.根据权利要求1所述的电力设备巡检方法，其特征在于，所述电力设备包括告警灯，在根据所述现实图像和所述传感数据生成增强现实图像之前，还包括：
对所述现实图像进行目标检测以识别出所述现实图像中所述电力设备的告警灯的状态；
在所述告警灯的状态为告警状态时，生成告警信息；
所述根据所述现实图像和所述传感数据生成增强现实图像，包括：
根据所述现实图像、所述传感数据以及所述告警信息生成增强现实图像；
在根据所述现实图像和所述传感数据生成增强现实图像之后，还包括：
获取所述电力设备的设备信息；
在所述显示镜片展示所述设备信息。
7.根据权利要求1所述的电力设备巡检方法，其特征在于，还包括：
当巡检人员进入作业程序后，所述AR眼镜实时采集作业图像发送至服务器，所述服务器用于对所述作业图像进行分析以生成作业指导信息，并将所述作业指导信息发送至所述AR眼镜；
接收所述服务器发送的作业指导信息；
在所述显示镜片显示所述作业指导信息。
8.一种电力设备巡检装置，其特征在于，应用于AR眼镜，所述AR眼镜与服务器连接，所述服务器与电力设备中的传感器连接，所述AR眼镜设置有摄像头和显示镜片，所述电力设备巡检装置包括：
图像拍摄模块，用于在巡检人员佩戴所述AR眼镜进入电力设备巡检时，所述AR眼镜上的摄像头拍摄现实图像，所述现实图像中至少包括一个电力设备；
电力设备识别模块，用于识别所述现实图像中的电力设备；
传感数据获取模块，用于从服务器获取所述传感器采集到的所述电力设备的传感数据；
增强现实图像生成模块，用于根据所述现实图像和所述传感数据生成增强现实图像；
增强现实图像显示模块，用于在所述AR眼镜的显示镜片显示所述增强现实图像。
9.一种AR眼镜，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的电力设备巡检方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的电力设备巡检方法。
CN202110285756.5A 2021-03-17 2021-03-17 电力设备巡检方法、装置、ar眼镜和存储介质 Pending CN113066195A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110285756.5A CN113066195A (zh) 2021-03-17 2021-03-17 电力设备巡检方法、装置、ar眼镜和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110285756.5A CN113066195A (zh) 2021-03-17 2021-03-17 电力设备巡检方法、装置、ar眼镜和存储介质

Publications (1)

Publication Number Publication Date
CN113066195A true CN113066195A (zh) 2021-07-02

Family

ID=76560940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110285756.5A Pending CN113066195A (zh) 2021-03-17 2021-03-17 电力设备巡检方法、装置、ar眼镜和存储介质

Country Status (1)

Country Link
CN (1) CN113066195A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506383A (zh) * 2021-07-09 2021-10-15 中国飞机强度研究所 一种飞机强度试验巡检方法及系统
CN114330477A (zh) * 2021-11-08 2022-04-12 国网浙江省电力有限公司杭州供电公司 一种基于混合现实设备的电力设备缺陷检测系统及方法
CN115190151A (zh) * 2022-07-12 2022-10-14 武汉钢铁有限公司 电力巡检方法、系统、装置及电子设备
CN115361526A (zh) * 2022-08-16 2022-11-18 苏州数智赋农信息科技有限公司 一种基于图像处理的养猪场巡检系统及方法
CN116310236A (zh) * 2023-02-16 2023-06-23 北京华晨阳通信技术有限责任公司 一种通信机房可视化智能管理系统和方法
CN117041501A (zh) * 2023-10-08 2023-11-10 众芯汉创(西安)科技有限公司 一种基于增强现实的无人机风电设备巡检方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103457809A (zh) * 2013-08-02 2013-12-18 王兵 用于设备监控的移动设备、系统、信息获取和通信方法
CN107167246A (zh) * 2017-05-16 2017-09-15 上海欧忆能源科技有限公司 现场感知智能头盔、现场感知方法、装置及存储介质
CN107610269A (zh) * 2017-09-12 2018-01-19 国网上海市电力公司 一种基于ar的电网大数据智能巡检系统及其智能巡检方法
CN107635133A (zh) * 2017-11-01 2018-01-26 广州供电局有限公司 一种基于增强现实的数据中心机器人巡视系统
CN107679291A (zh) * 2017-09-14 2018-02-09 中建三局第建设工程有限责任公司 基于bim和ar的施工运维管理方法、存储设备及移动终端
CN111064936A (zh) * 2019-12-31 2020-04-24 维沃移动通信有限公司 一种路况信息显示方法及ar设备
CN111598192A (zh) * 2020-05-22 2020-08-28 中国工商银行股份有限公司 电子设备的定位方法、装置和系统、计算机系统和介质
CN111986327A (zh) * 2020-07-13 2020-11-24 深圳市燃气集团股份有限公司 一种地下管网的可视化方法、存储介质及终端设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103457809A (zh) * 2013-08-02 2013-12-18 王兵 用于设备监控的移动设备、系统、信息获取和通信方法
CN107167246A (zh) * 2017-05-16 2017-09-15 上海欧忆能源科技有限公司 现场感知智能头盔、现场感知方法、装置及存储介质
CN107610269A (zh) * 2017-09-12 2018-01-19 国网上海市电力公司 一种基于ar的电网大数据智能巡检系统及其智能巡检方法
CN107679291A (zh) * 2017-09-14 2018-02-09 中建三局第建设工程有限责任公司 基于bim和ar的施工运维管理方法、存储设备及移动终端
CN107635133A (zh) * 2017-11-01 2018-01-26 广州供电局有限公司 一种基于增强现实的数据中心机器人巡视系统
CN111064936A (zh) * 2019-12-31 2020-04-24 维沃移动通信有限公司 一种路况信息显示方法及ar设备
CN111598192A (zh) * 2020-05-22 2020-08-28 中国工商银行股份有限公司 电子设备的定位方法、装置和系统、计算机系统和介质
CN111986327A (zh) * 2020-07-13 2020-11-24 深圳市燃气集团股份有限公司 一种地下管网的可视化方法、存储介质及终端设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506383A (zh) * 2021-07-09 2021-10-15 中国飞机强度研究所 一种飞机强度试验巡检方法及系统
CN114330477A (zh) * 2021-11-08 2022-04-12 国网浙江省电力有限公司杭州供电公司 一种基于混合现实设备的电力设备缺陷检测系统及方法
CN114330477B (zh) * 2021-11-08 2024-03-26 国网浙江省电力有限公司杭州供电公司 一种基于混合现实设备的电力设备缺陷检测系统及方法
CN115190151A (zh) * 2022-07-12 2022-10-14 武汉钢铁有限公司 电力巡检方法、系统、装置及电子设备
CN115361526A (zh) * 2022-08-16 2022-11-18 苏州数智赋农信息科技有限公司 一种基于图像处理的养猪场巡检系统及方法
CN116310236A (zh) * 2023-02-16 2023-06-23 北京华晨阳通信技术有限责任公司 一种通信机房可视化智能管理系统和方法
CN116310236B (zh) * 2023-02-16 2023-09-05 北京华晨阳通信技术有限责任公司 一种通信机房可视化智能管理系统和方法
CN117041501A (zh) * 2023-10-08 2023-11-10 众芯汉创(西安)科技有限公司 一种基于增强现实的无人机风电设备巡检方法
CN117041501B (zh) * 2023-10-08 2024-01-23 众芯汉创(西安)科技有限公司 一种基于增强现实的无人机风电设备巡检方法

Similar Documents

Publication Publication Date Title
CN113066195A (zh) 电力设备巡检方法、装置、ar眼镜和存储介质
CN110212451B (zh) 一种电力ar智能巡检装置
CN106446873B (zh) 人脸检测方法及装置
CN110850723B (zh) 一种基于变电站巡检机器人系统的故障诊断及定位方法
CN111815675B (zh) 目标对象的跟踪方法及装置、电子设备和存储介质
EP2495674A1 (en) Tagging and linking of infrared images
JP6364952B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
CN102708383A (zh) 一种多模态比对功能的活体人脸检测系统与方法
CN109638959B (zh) 基于ar和深度学习的电力设备遥信功能调试方法及系统
CN110579191A (zh) 目标对象的巡检方法、装置及设备
CN110536074B (zh) 一种智能巡检系统、巡检方法
WO2024051067A1 (zh) 红外图像处理方法、装置及设备、存储介质
CN107704851B (zh) 人物识别方法、公共传媒展示装置、服务器和系统
JP2018077837A (ja) 位置認識方法およびシステム、ならびに異常判定方法およびシステム
CN113807342A (zh) 基于图像获取设备信息的方法及相关装置
CN113447128A (zh) 一种多人体温检测方法、装置、电子设备及存储介质
JP2020086980A (ja) 設備点検支援端末、設備点検支援システム及びプログラム
CN213457742U (zh) 一种焊接作业监控系统
CN110619626B (zh) 图像处理设备、系统、方法以及装置
CN113569594A (zh) 一种人脸关键点的标注方法及装置
JP7266422B2 (ja) 注視行動調査システム、及び制御プログラム
JPH11339139A (ja) 監視装置
CN113469150B (zh) 一种用于对风险行为进行识别的方法及系统
CN115864199A (zh) 一种基于增强现实型ar眼镜的电力巡检系统
CN210488010U (zh) 安检系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210702