CN116911819A - 一种基于ar眼镜的二次安措执行监护系统及方法 - Google Patents
一种基于ar眼镜的二次安措执行监护系统及方法 Download PDFInfo
- Publication number
- CN116911819A CN116911819A CN202310659053.3A CN202310659053A CN116911819A CN 116911819 A CN116911819 A CN 116911819A CN 202310659053 A CN202310659053 A CN 202310659053A CN 116911819 A CN116911819 A CN 116911819A
- Authority
- CN
- China
- Prior art keywords
- safety measure
- glasses
- monitoring
- execution
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 154
- 239000011521 glass Substances 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000003190 augmentative effect Effects 0.000 title description 3
- 238000012790 confirmation Methods 0.000 claims abstract description 99
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 238000007405 data analysis Methods 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 5
- 239000013307 optical fiber Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
- H02J13/00006—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment
- H02J13/00022—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment using wireless data transmission
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Power Engineering (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种基于AR眼镜的二次安措执行监护系统，系统包括AR眼镜、AR识别终端和AR后台服务器，AR识别终端的AR识别模块用于获取图像或视频数据，并从中识别出安措执行对象的信息后发送给AR后台服务器；AR后台服务器的业务处理模块用于解析安措票得到解析结果，还将安措执行对象的信息与解析结果中的执行项信息进行比较得到监护确认结果；AR眼镜的数据解析成像模块用于获取解析结果和监护确认结果，根据解析结果生成安措票画面，同时根据监护确认结果在安措票画面上显示已执行项和未执行项，并显示已执行项的安措监护确认结果。本发明使得AR眼镜实现了监护人的功能，对于操作人员在安措操作过程中实时给予帮助。
Description
技术领域
本发明涉及智能变电站运维技术，尤其涉及一种基于AR眼镜的二次安措执行监护系统及方法。
背景技术
(AugmentedReality，简称AR)技术是指将计算机生成的虚拟信息叠加到用户所在的真实世界的一种新兴技术，这种技术在1990年被提出，可实现计算机虚拟世界与现实世界的深度融合交互。近年来，以AR智能眼镜为代表的智能穿戴产品发展越趋成熟，以其穿戴方便、释放双手、便捷交互的特点深受大家的欢迎，已开始逐步应用到人们的工作生活中。当前，变电站安措执行方式为监护人手持纸质安措票进行唱票，操作人员听到执行内容后对比确认安措执行对象并完成安措执行操作，操作完成后由监护人员完成执行校核工作，过程中操作人无法通过视觉感知安措操作内容，仅靠听觉感知，过程中存在难以对操作对象进行反复核实的问题，容易导致安措执行偏差。
如何将AR技术应用于变电站安措执行中是值得研究的问题。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种基于AR眼镜的二次安措执行监护系统及方法，将AR眼镜应用于安措执行操作过程中，展示安措任务，辅助操作人员完成安措操作，并在操作过程中对执行项进行确认，使得AR眼镜实现了监护人的功能，对于操作人员在安措操作过程中实时给予帮助。
为解决上述技术问题，本发明提出的技术方案为：
一种基于AR眼镜的二次安措执行监护系统，包括AR眼镜、AR识别终端和AR后台服务器，所述AR眼镜、AR识别终端和AR后台服务器依次连接，所述AR眼镜还与AR后台服务器连接，其中：
所述AR识别终端包括AR识别模块，AR识别模块用于获取AR眼镜上传的图像或视频数据，并从所述图像或视频数据中识别出安措执行对象的信息，然后将所述安措执行对象的信息发送给AR后台服务器；
所述AR后台服务器包括业务处理模块，业务处理模块用于解析安措票得到解析结果，并将解析结果发送给AR眼镜，还用于获取AR识别模块识别出的安措执行对象的信息并与解析结果中的执行项信息进行比较得到对应执行项的监护确认结果，并将监护确认结果发送给AR眼镜；
所述AR眼镜包括数据解析成像模块，数据解析成像模块用于获取解析结果和监护确认结果，根据解析结果生成安措票画面并显示在AR眼镜视窗的目标位置，同时在安措票画面上显示已执行项和未执行项，并根据监护确认结果在安措票画面上显示已执行项的安措监护确认结果。
进一步的，所述AR眼镜还包括AR人机交互模块，AR人机交互模块用于获取语音信息，并通过训练好的语音识别模型识别语音信息得到对应的操作指令，还用于获取手势信息，并通过训练好的手势识别模型识别手势信息得到对应的操作指令，然后将所述操作指令发送给AR后台服务器；
所述业务处理模块用于获取操作指令，若操作指令为选择安措任务指令，从AR后台服务器的安措票数据库中选取对应的安措票，然后执行解析安措票的步骤；若操作指令为人工确认指令，将执行项的监护确认结果修改为成功后发送至AR眼镜。
进一步的，所述AR眼镜还包括AR接口模块，所述AR识别终端还包括无线通讯模块，所述AR后台服务器还包括无线接口模块，所述AR眼镜的AR扫描模块依次通过AR接口模块与无线通讯模块和AR识别模块连接，所述AR识别模块依次通过无线通讯模块与无线接口模块和业务处理模块连接，所述业务处理模块依次通过无线接口模块与AR接口模块和数据解析成像模块连接。
进一步的，所述AR后台服务器包括人机操作模块，所述人机操作模块依次通过无线接口模块和AR接口模块连接AR扫描模块，所述人机操作模块用于获取AR扫描模块采集的图像或视频数据，以实时显示安措执行对象的状态。
进一步的，从所述图像或视频数据中识别出安措执行对象的信息时，所述AR识别模块通过训练好的文字识别模型，从所述图像或视频数据中识别出文字信息，并通过训练好的图像识别模型，从所述图像或视频数据中识别出安措执行对象的状态信息。
进一步的，获取安措执行对象的信息并与解析结果中的执行项信息进行比较得到对应执行项的监护确认结果时，所述业务处理模块将所述文字信息和状态信息与当前执行项的执行项描述进行匹配，若匹配结果一致，当前执行项监护确认结果为监护确认成功。
进一步的，所述业务处理模块将所述文字信息和状态信息与当前执行项的执行项描述进行匹配时，首先将所述文字信息和当前执行项的执行项描述中的编号和/或名称进行匹配，若匹配结果不一致，则当前执行项监护确认结果为监护确认失败；若匹配结果一致，再将所述状态信息和当前执行项的执行项描述中的状态描述进行匹配，若匹配结果不一致，则当前执行项监护确认结果为监护确认失败，若匹配结果一致，则当前执行项监护确认结果为监护确认成功。
进一步的，所述数据解析成像模块在安措票画面上显示已执行项和未执行项，并根据监护确认结果在安措票画面上显示已执行项的安措监护确认结果时，遍历安措票中所有执行项，若当前执行项存在监护确认结果，将当前执行项标记为已执行项，若当前执行项不存在监护确认结果，将当前执行项标记为未执行项，若已执行项的监护确认结果为监护确认成功，将已执行项用第一颜色标注，若已执行项的监护确认结果为监护确认失败，将已执行项用第二颜色标注。
本发明还提出一种基于AR眼镜的二次安措执行监护方法，应用于任一所述的基于AR眼镜的二次安措执行监护系统，包括以下步骤：
步骤1、获取安措票并进行人工复核修正后存入AR后台服务器的安措票数据库；
步骤2、AR眼镜获取并显示全部厂站列表以及各厂站下的安措任务列表；
步骤3、AR眼镜的AR人机交互模块获取执行厂站以及需要执行的安措任务对应的语音或手势信息，并生成对应的选择安措任务指令后发送给AR后台服务器(3)，AR后台服务器的业务处理模块从安措票数据库中选取对应的安措票，将选取的安措票解析并将解析结果发送至AR眼镜；
步骤4、AR眼镜的数据解析成像模块根据解析结果生成安措票画面并显示在AR眼镜视窗的目标位置，并标注安措票画面中的当前执行项，AR眼镜的AR扫描模块实时采集图像或视频数据并传输至AR识别终端，AR识别模块从所述图像或视频数据中识别出安措执行对象的信息，然后发送给AR后台服务器；
步骤5、AR后台服务器的业务处理模块将安措执行对象的信息与当前执行项的执行项信息进行比较得到当前执行项的监护确认结果，并将监护确认结果发送给AR眼镜；
步骤6、AR眼镜的数据解析成像模块将根据监护确认结果在安措票画面上显示当前执行项的安措监护确认结果，若当前执行项的安措监护确认结果为监护确认成功，选取安措票画面的下一执行项作为当前执行项并返回步骤4，直到安措票画面的所有执行项均得到监护确认结果；若当前执行项的安措监护确认结果为监护确认失败，返回步骤4，直到当前执行项的安措监护确认结果为监护确认成功。
进一步的，所述方法还包括：若AR眼镜的AR人机交互模块获取人工确认指令对应的语音或手势信息，生成人工确认指令后发送给AR后台服务器，AR后台服务器的业务处理模块修改当前执行项的监护确认结果为监护确认成功，并将监护确认结果发送给AR眼镜，跳转步骤6。
与现有技术相比，本发明的优点在于：
1、本发明提供了一种基于AR眼镜的二次安措执行监护系统，还提供了一种基于AR眼镜的二次安措执行监护方法，实现利用AR眼镜指引安措执行，并完成安措执行结果的监护确认。
2、本发明提升了安措执行过程的可靠性和便捷性，并在AR眼镜上展示安措票及安措监护确认结果，操作人员可实时比对安措票进行安措执行操作，对变电站安全可靠运行具有重要意义。
附图说明
图1为本发明实施例一的系统结构示意图。
图2为本发明实施例二的方法流程图。
图例说明：1-AR眼镜，2-AR识别终端，3-AR后台服务器。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
实施例一
本实施例提出一种基于AR眼镜的二次安措执行监护系统，如图1所示，包括AR眼镜1、AR识别终端2和AR后台服务器3，所述AR眼镜1、AR识别终端2和AR后台服务器3依次连接，所述AR眼镜1还与AR后台服务器3连接，其中AR眼镜1由AR接口模块、数据解析成像模块、AR扫描模块、AR人机交互模块组成；AR识别终端2由AR识别模块、无线通讯模块组成；AR后台服务器3由业务处理模块、人机操作模块、安措票数据库、无线接口模块组成，下面对于各功能模块进行说明。
AR眼镜1的AR接口模块用于AR眼镜1与AR识别终端2及AR后台服务器3之间的数据通讯，从AR扫描模块获取扫描视频并传输至AR识别终端2，向AR后台服务器3转发AR人机交互模块发送的操作指令，并接收AR后台服务器3的相关业务数据。
AR后台服务器3的无线接口模块用于AR后台服务器3与AR眼镜1及AR识别终端2之间的数据通讯。从AR识别终端2获取识别出安措执行对象信息，并下发安措票及监护确认结果数据至AR眼镜1。
AR识别终端2的无线通讯模块用于从AR眼镜1获取扫描视频数据，并将识别出的安措执行对象信息据传输至AR后台服务器3。
本实施例中，AR扫描模块依次通过AR接口模块与无线通讯模块和AR识别模块连接，从而实现实时的采集图像和视频数据，并进行图像识别，AR识别模块依次通过无线通讯模块与无线接口模块和业务处理模块连接，从而及时的将图像识别结果发往AR后台服务器3，所述业务处理模块依次通过无线接口模块与AR接口模块和数据解析成像模块连接，使得AR眼镜1可以实时的获取AR后台服务器3的数据，并进行展示。
AR眼镜1的AR扫描模块可以采用摄像头，用于实时的采集图像或者视频数据。
AR眼镜1的AR人机交互模块用于获取语音信息，并通过训练好的语音识别模型识别语音信息得到对应的操作指令，还用于获取手势信息，并通过训练好的手势识别模型识别手势信息得到对应的操作指令，然后将所述操作指令发送给AR后台服务器3。本实施例中，语音识别模型和手势识别模型的训练过程均是本领域技术人员所采用的常用方法，在此不再赘述，训练好的语音识别模型和手势识别模型可以对于厂站选择、安措任务选择、安措屏柜确认、安措装置确认、安措人工确认等语音控制命令和手势命令进行识别。
AR识别终端2的AR识别模块用于获取AR眼镜1上传的图像或视频数据，并从每一张图像或视频数据的每个视频帧中识别出安措执行对象的信息，然后将所述安措执行对象的信息发送给AR后台服务器3；从图像或视频数据中识别出安措执行对象的信息时，AR识别模块通过训练好的文字识别模型，从图像或视频帧中识别出文字信息，并通过训练好的图像识别模型，从所述图像或视频数据中识别出安措执行对象的状态信息。本实施例中，图像识别模型通过大量的AR扫描安措执行对象视频进行视频帧中的文字识别训练以及图片中目标对象状态的识别训练，并且对识别异常项进行纠正学习，具体的训练过程是本领域技术人员所采用的常用方法，在此不再赘述，训练好的图像识别模型可对屏柜信息文字及安措执行元件文字描述进行识别。同时对安措执行对象包括端子排连片的分合状态、端子接线的连接状态、空开的合上及断开状态、压板的投入及退出状态、光纤的接入及拔出状态等信息进行识别。
AR后台服务器3的业务处理模块可以自动生成与AR眼镜1交互的Json接口数据。业务处理模块用于解析安措票得到解析结果，并将解析结果发送给AR眼镜1，解析结果包括安措票中公共文字，安措执行项所属屏柜、安措执行项所属装置、安措执行序号、安措执行项描述等信息，业务处理模块还用于获取安措执行对象的信息并与解析结果中的执行项信息进行比较得到对应执行项的监护确认结果，并将监护确认结果汇入Json接口数据发送给AR眼镜1，执行项信息包括安措执行项所属屏柜、安措执行项所属装置、安措执行序号、安措执行项描述等信息，业务处理模块以安措票的解析结果为基础，增加安措票中每个执行项的监护确认结果(包括屏柜监护确认结果、装置监护确认结果、安措执行项监护确认结果)，同时附上执行项序号，共同构建成安措执行监护Json接口数据，该接口数据在选择安措任务、监护确认完成、人工确认时均可触发，并传输至AR眼镜1；
相对应的，AR眼镜1中的数据解析成像模块用于获取解析结果和监护确认结果，根据解析结果生成安措票画面并显示在AR眼镜1视窗的目标位置，同时在安措票画面上显示已执行项和未执行项，并根据监护确认结果在安措票画面上显示已执行项的安措监护确认结果，本实施例中，AR眼镜1视窗的目标位置分布在AR眼镜1视窗的左侧，占据AR眼镜1整体显示画面的20％，能兼顾安措票信息查看及实际视野窗显示，安措票为解析接口数据生成，具备动态属性及信息关联属性，数据解析成像模块对AR后台服务器传输的Json接口数据以适应于AR眼镜展示的方式进行自动解析，先提取安措票公共信息、屏柜数据、装置数据、安措执行项数据，按照固定的格式解析出安措票，提取监护确认结果及当前执行项信息，依据Json数据接口的关联关系，在相应的执行项上以颜色标注来表示已执行项和未执行项，以及已执行项的安措监护确认结果，例如绿色表示监护确认成功、红色表示监护确认失败，黄色表示当前执行项，灰色表示未执行项。
AR后台服务器3中，安措票数据库用于存放系统的全部安措票，安措票可通过解析二次回路模型文件自动生成，安措票中的屏柜描述及安措执行元件描述与实际描述一致；人机操作模块用于将安措票入库，还用于显示安措执行状态，具体的，人机操作模块通过无线接口模块和AR接口模块获取AR扫描模块采集的图像或者视频数据，以实时的显示安措执行对象的状态。
下面对于相关功能模块的工作原理进行进一步说明。
业务处理模块获取来自AR人机交互模块的操作指令，若操作指令为选择安措任务指令，从AR后台服务器3的安措票数据库中选取对应的安措票，然后执行前文所述的解析安措票的步骤；若操作指令为图像识别指令，执行前文所述的获取安措执行对象的信息并与解析结果中的执行项信息进行比较得到对应执行项的监护确认结果的步骤。此外，当前业务处理模块获取的操作指令为人工确认指令时，将执行项的监护确认结果修改为成功后发送至AR眼镜1，由此，AR眼镜1上直接显示该执行项的监护确认结果为成功，实现安措执行对象的人工监护确认。
本实施例中，当获取安措执行对象的信息并与解析结果中的执行项信息进行比较得到对应执行项的监护确认结果时，所述业务处理模块将所述文字信息和状态信息与当前执行项的执行项描述进行匹配，若匹配结果一致，当前执行项监护确认结果为监护确认成功。
具体的，业务处理模块将所述文字信息和状态信息与当前执行项的执行项描述进行匹配时，首先将所述文字信息和当前执行项的执行项描述中的编号和/或名称进行匹配，若匹配结果不一致，则当前执行项监护确认结果为监护确认失败；若匹配结果一致，再将所述状态信息和当前执行项的执行项描述中的状态描述进行匹配，若匹配结果不一致，则当前执行项监护确认结果为监护确认失败，若匹配结果一致，则当前执行项监护确认结果为监护确认成功。
本实施例中，安措票中的执行项包括打开或关闭交流端子连片、短接或跨接交流端子、断开端子排外部接线、插拔二次设备光纤、投退软压板、投退硬压板、投退空开等，若当前执行项为打开或关闭交流端子连片、短接或跨接交流端子等，业务处理模块将所述文字信息和状态信息与当前执行项的执行项描述进行匹配时，首先识别出交流端子段名称、交流端子编号、端子外部接线名称，并核实安措执行项一致，再识别该端子连片状态，并核实与安措执行项一致；
若当前执行项为断开端子排外部接线，业务处理模块将所述文字信息和状态信息与当前执行项的执行项描述进行匹配时，首先识别装置名称、插件编号、光口号，并核实与安措执行项一致，再识别该光口的光纤接线状态，并核实与安措执行项一致；
若当前执行项为插拔二次设备光纤，业务处理模块将所述文字信息和状态信息与当前执行项的执行项描述进行匹配时，首先识别装置名称、插件编号、光口号，并核实与安措执行项一致，再识别该光口的光纤接线状态，并核实与安措执行项一致；
若当前执行项为投退软压板、投退硬压板、投退空开等，业务处理模块将所述文字信息和状态信息与当前执行项的执行项描述进行匹配时，首先识别执行对象编号及名称并核实与安措执行项一致，再识别该执行对象状态并核实与安措执行项一致。
数据解析成像模块在安措票画面上显示已执行项和未执行项，并根据监护确认结果在安措票画面上显示已执行项的安措监护确认结果时，遍历安措票中所有执行项，若当前执行项存在监护确认结果，将当前执行项标记为已执行项，若当前执行项存在监护确认结果，将当前执行项标记为未执行项，若已执行项的监护确认结果为监护确认成功，将已执行项用绿色标注，若已执行项的监护确认结果为监护确认失败，将已执行项用红色标注，对于未执行项的队列，将队列中首个未执行项用黄色标注，表示为当前已执行项的下一个待执行项，队列其他的未执行项用灰色标注。
综上所述，本实施例的二次安措执行监护系统结构简单，一套系统仅有一台AR后台服务器，可设立于运维主站，且AR眼镜及AR识别终端体积小巧，可携带至变电站现场进行安措执行指引及监护确认工作。
实施例二
本实施例提出一种基于AR眼镜的二次安措执行监护方法，应用于实施例一所述的基于AR眼镜的二次安措执行监护系统，如图2所示，包括以下步骤：
步骤1、获取安措票并进行人工复核修正后存入AR后台服务器3的安措票数据库；本实施例中获取安措票可以采用解析二次回路模型文件生成二次设备安措票或导入电子版安措票的方式，获取的安措票均通过AR后台服务器3的人机操作模块导入安措票数据库，人机操作模块导入安措票数据库的同时，更新全部厂站列表以及各厂站下的安措任务列表；
步骤2、AR眼镜1获取并显示全部厂站列表以及各厂站下的安措任务列表；具体的，本实施例中首先建立AR眼镜1的AR接口模块、AR后台服务器3的无线接口模块、AR识别终端2的无线通讯模块之间的数据通讯，然后采用同步命令等方式，获取AR后台服务器3中全部厂站列表以及各厂站下的安措任务列表，全部厂站列表以及各厂站下的安措任务列表以Json数据接口方式传输至AR眼镜1，AR眼镜1中的数据解析成像模块对Json接口数据以适应于AR眼镜展示的方式进行自动解析并进行展示；
步骤3、AR眼镜1的AR人机交互模块获取执行厂站以及需要执行的安措任务对应的语音或手势信息(如佩戴AR眼镜1的现场操作人员发出的“选择X厂站，执行XX号安措任务中XXX操作”的口令)，并生成对应的选择安措任务指令后以Json数据接口方式发送给AR后台服务器3，内容包括厂站名称、安措任务名称、操作命令类型，AR后台服务器3的业务处理模块根据选择安措任务指令从安措票数据库中选取对应的安措票，将选取的安措票解析并将解析结果以安措执行监护Json接口数据的形式发送至AR眼镜1；
步骤4、AR眼镜1的数据解析成像模块根据解析结果生成安措票画面并显示在AR眼镜1视窗的目标位置，并标注安措票画面中的当前执行项，具体的，AR眼镜1视窗的左侧小部分区域为安措票执行信息，其余部分为实际视野区域，方便操作人员可在执行操作前对执行对象进行确认，保证安措执行正确性；
操作人员按照当前执行项进行对应安措操作时，AR眼镜1的AR扫描模块实时采集图像或视频数据并传输至AR识别终端2，AR识别模块通过截取视频中的固定帧图像，对图像中的文字信息、状态信息进行提取，从所述图像或视频数据中识别出安措执行对象的信息，然后将提取的信息以Json数据接口的方式发送给AR后台服务器3；
步骤5、AR后台服务器3的业务处理模块将安措执行对象的信息与当前执行项的执行项信息进行比较得到当前执行项的监护确认结果，并将监护确认结果发送给AR眼镜1；
步骤6、AR眼镜1的数据解析成像模块将根据监护确认结果在安措票画面上显示当前执行项的安措监护确认结果；
当前执行项的安措监护确认结果可能有两种情况，若当前执行项的安措监护确认结果为监护确认成功，则开始对于下一执行项进行安措操作，选取安措票画面的下一执行项作为当前执行项，然后返回步骤4开始对于下一执行项进行安措监护；若当前执行项的安措监护确认结果为监护确认失败，则说明当前执行项的安措操作不到位，需要继续对于当前执行项进行安措操作，直到当前执行项的安措监护确认结果为监护确认成功，返回步骤4继续对当前执行项进行安措监护。
考虑到可能存在数据滞后的原因，导致当前执行项的安措操作正确的情况下，AR后台服务器3的业务处理模块可能将上一时刻安措执行对象的信息与当前执行项的执行项信息比较，而得到监护确认失败的结果，为避免上述情况，本实施例中，操作人员可以在任意时刻通过语音或手势向AR眼镜1的AR人机交互模块下达“安措屏柜确认”、“安措装置确认”等图像识别指令，并由AR人机交互模块将新的图像识别指令发送给AR后台服务器3。相对应的，AR后台服务器3收到新的图像识别指令之后，就可以重新获取安措执行对象的信息并与当前执行项的执行项信息进行比较得到当前执行项最新的监护确认结果。因此本实施例的方法还包括：若AR眼镜1的AR人机交互模块获取图像识别指令对应的语音或手势信息，生成图像识别指令后发送给AR后台服务器3，执行步骤5。
为了避免出现监护确认结果误报的情况，本实施例中还包括人工确认的步骤，当现场操作人员按照AR眼镜1的指示完成安措票中当前执行项的安措操作时，可以通过语音或手势向AR眼镜1的AR人机交互模块下达屏柜人工确认、装置人工确认、执行项人工确认的人工确认指令，并由AR人机交互模块将新的人工确认指令发送给AR后台服务器3。相对应的，AR后台服务器3收到人工确认指令后，修改当前执行项的监护确认结果为成功，并将监护确认结果发送给AR眼镜1，跳转步骤6，步骤6中，AR眼镜1上直接显示该当前执行项的监护确认结果为成功，实现安措执行对象的人工监护确认
综上所述，本发明通过将安措票及当前安措执行内容在AR智能眼镜上展示，操作人员通过穿戴AR眼镜进行安措执行操作，实时对比安措执行对象及实际操作对象，并利用AR识别终端识别AR眼镜视窗中的操作执行对象信息，确认安措执行操作无误，最终实现安措任务的执行指引及智能监护工作。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。
Claims (10)
1.一种基于AR眼镜的二次安措执行监护系统，其特征在于，包括AR眼镜(1)、AR识别终端(2)和AR后台服务器(3)，所述AR眼镜(1)、AR识别终端(2)和AR后台服务器(3)依次连接，所述AR眼镜(1)还与AR后台服务器(3)连接，其中：
所述AR识别终端(2)包括AR识别模块，AR识别模块用于获取AR眼镜(1)上传的图像或视频数据，并从所述图像或视频数据中识别出安措执行对象的信息，然后将所述安措执行对象的信息发送给AR后台服务器(3)；
所述AR后台服务器(3)包括业务处理模块，业务处理模块用于解析安措票得到解析结果，并将解析结果发送给AR眼镜(1)，还用于获取AR识别模块识别出的安措执行对象的信息并与解析结果中的执行项信息进行比较得到对应执行项的监护确认结果，并将监护确认结果发送给AR眼镜(1)；
所述AR眼镜(1)包括数据解析成像模块，数据解析成像模块用于获取解析结果和监护确认结果，根据解析结果生成安措票画面并显示在AR眼镜(1)视窗的目标位置，同时在安措票画面上显示已执行项和未执行项，并根据监护确认结果在安措票画面上显示已执行项的安措监护确认结果。
2.根据权利要求1所述的基于AR眼镜的二次安措执行监护系统，其特征在于，所述AR眼镜(1)还包括AR人机交互模块，AR人机交互模块用于获取语音信息，并通过训练好的语音识别模型识别语音信息得到对应的操作指令，还用于获取手势信息，并通过训练好的手势识别模型识别手势信息得到对应的操作指令，然后将所述操作指令发送给AR后台服务器(3)；
所述业务处理模块用于获取操作指令，若操作指令为选择安措任务指令，从AR后台服务器(3)的安措票数据库中选取对应的安措票，然后执行解析安措票的步骤；若操作指令为人工确认指令，将执行项的监护确认结果修改为成功后发送至AR眼镜(1)。
3.根据权利要求1所述的基于AR眼镜的二次安措执行监护系统，其特征在于，所述AR眼镜(1)还包括AR接口模块，所述AR识别终端(2)还包括无线通讯模块，所述AR后台服务器(3)还包括无线接口模块，所述AR眼镜(1)的AR扫描模块依次通过AR接口模块与无线通讯模块和AR识别模块连接，所述AR识别模块依次通过无线通讯模块与无线接口模块和业务处理模块连接，所述业务处理模块依次通过无线接口模块与AR接口模块和数据解析成像模块连接。
4.根据权利要求3所述的基于AR眼镜的二次安措执行监护系统，其特征在于，所述AR后台服务器(3)包括人机操作模块，所述人机操作模块依次通过无线接口模块和AR接口模块连接AR扫描模块，所述人机操作模块用于获取AR扫描模块采集的图像或视频数据，以实时显示安措执行对象的状态。
5.根据权利要求1所述的基于AR眼镜的二次安措执行监护系统，其特征在于，从所述图像或视频数据中识别出安措执行对象的信息时，所述AR识别模块通过训练好的文字识别模型，从所述图像或视频数据中识别出文字信息，并通过训练好的图像识别模型，从所述图像或视频数据中识别出安措执行对象的状态信息。
6.根据权利要求5所述的基于AR眼镜的二次安措执行监护系统，其特征在于，获取安措执行对象的信息并与解析结果中的执行项信息进行比较得到对应执行项的监护确认结果时，所述业务处理模块将所述文字信息和状态信息与当前执行项的执行项描述进行匹配，若匹配结果一致，当前执行项监护确认结果为监护确认成功。
7.根据权利要求6所述的基于AR眼镜的二次安措执行监护系统，其特征在于，所述业务处理模块将所述文字信息和状态信息与当前执行项的执行项描述进行匹配时，首先将所述文字信息和当前执行项的执行项描述中的编号和/或名称进行匹配，若匹配结果不一致，则当前执行项监护确认结果为监护确认失败；若匹配结果一致，再将所述状态信息和当前执行项的执行项描述中的状态描述进行匹配，若匹配结果不一致，则当前执行项监护确认结果为监护确认失败，若匹配结果一致，则当前执行项监护确认结果为监护确认成功。
8.根据权利要求1所述的基于AR眼镜的二次安措执行监护系统，其特征在于，所述数据解析成像模块在安措票画面上显示已执行项和未执行项，并根据监护确认结果在安措票画面上显示已执行项的安措监护确认结果时，遍历安措票中所有执行项，若当前执行项存在监护确认结果，将当前执行项标记为已执行项，若当前执行项不存在监护确认结果，将当前执行项标记为未执行项，若已执行项的监护确认结果为监护确认成功，将已执行项用第一颜色标注，若已执行项的监护确认结果为监护确认失败，将已执行项用第二颜色标注。
9.一种基于AR眼镜的二次安措执行监护方法，应用于权利要求1～8任一所述的基于AR眼镜的二次安措执行监护系统，其特征在于，包括以下步骤：
步骤1、获取安措票并进行人工复核修正后存入AR后台服务器(3)的安措票数据库；
步骤2、AR眼镜(1)获取并显示全部厂站列表以及各厂站下的安措任务列表；
步骤3、AR眼镜(1)的AR人机交互模块获取执行厂站以及需要执行的安措任务对应的语音或手势信息，并生成对应的选择安措任务指令后发送给AR后台服务器(3)，AR后台服务器(3)的业务处理模块从安措票数据库中选取对应的安措票，将选取的安措票解析并将解析结果发送至AR眼镜(1)；
步骤4、AR眼镜(1)的数据解析成像模块根据解析结果生成安措票画面并显示在AR眼镜(1)视窗的目标位置，并标注安措票画面中的当前执行项，AR眼镜(1)的AR扫描模块实时采集图像或视频数据并传输至AR识别终端(2)，AR识别模块从所述图像或视频数据中识别出安措执行对象的信息，然后发送给AR后台服务器(3)；
步骤5、AR后台服务器(3)的业务处理模块将安措执行对象的信息与当前执行项的执行项信息进行比较得到当前执行项的监护确认结果，并将监护确认结果发送给AR眼镜(1)；
步骤6、AR眼镜(1)的数据解析成像模块将根据监护确认结果在安措票画面上显示当前执行项的安措监护确认结果，若当前执行项的安措监护确认结果为监护确认成功，选取安措票画面的下一执行项作为当前执行项并返回步骤4，直到安措票画面的所有执行项均得到监护确认结果；若当前执行项的安措监护确认结果为监护确认失败，返回步骤4，直到当前执行项的安措监护确认结果为监护确认成功。
10.根据权利要求9所述的基于AR眼镜的二次安措执行监护方法，其特征在于，所述方法还包括：若AR眼镜(1)的AR人机交互模块获取人工确认指令对应的语音或手势信息，生成人工确认指令后发送给AR后台服务器(3)，AR后台服务器(3)的业务处理模块修改当前执行项的监护确认结果为监护确认成功，并将监护确认结果发送给AR眼镜(1)，跳转步骤6。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310659053.3A CN116911819A (zh) | 2023-06-05 | 2023-06-05 | 一种基于ar眼镜的二次安措执行监护系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310659053.3A CN116911819A (zh) | 2023-06-05 | 2023-06-05 | 一种基于ar眼镜的二次安措执行监护系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116911819A true CN116911819A (zh) | 2023-10-20 |
Family
ID=88367447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310659053.3A Pending CN116911819A (zh) | 2023-06-05 | 2023-06-05 | 一种基于ar眼镜的二次安措执行监护系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116911819A (zh) |
-
2023
- 2023-06-05 CN CN202310659053.3A patent/CN116911819A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109690570B (zh) | 一种机房管理方法及动环系统 | |
| CN106251421A (zh) | 基于移动终端的车辆定损方法、装置及系统 | |
| CN106327605A (zh) | 一种巡检方法 | |
| CN107209922A (zh) | 图像处理设备、图像处理系统、和图像处理方法 | |
| CN109638959B (zh) | 基于ar和深度学习的电力设备遥信功能调试方法及系统 | |
| CN112085232A (zh) | 一种基于增强现实技术的运检系统及方法 | |
| CN213128247U (zh) | 一种智能安全帽系统 | |
| CN112153267A (zh) | 基于ar智能眼镜的人眼视角局限空间作业远程监护系统 | |
| CN106407906B (zh) | 人脸面部识别方法 | |
| CN111860477A (zh) | 车辆信息的验证方法和系统、终端和计算机可读存储介质 | |
| CN113379943A (zh) | 一种基于5g通讯的ar巡检系统 | |
| CN114363547A (zh) | 一种双录装置、双录交互控制方法 | |
| CN116911819A (zh) | 一种基于ar眼镜的二次安措执行监护系统及方法 | |
| CN107665328A (zh) | 人脸面部识别方法 | |
| CN111612088B (zh) | 叠加字符的图像的检测方法及装置 | |
| WO2020253379A1 (zh) | 基于显示设备的检测方法及其系统 | |
| US20230156161A1 (en) | Failure identification and handling method, and system | |
| CN111062932A (zh) | 一种网络服务程序的监控方法 | |
| CN111307482A (zh) | 大型机械装置辅助检测与故障分析系统及其方法 | |
| CN110617856A (zh) | 智能运检系统 | |
| CN110969718A (zh) | 一种智能巡逻机器人的控制方法及系统 | |
| CN210721506U (zh) | 一种基于3d摄像头的动态人脸识别终端 | |
| CN210015463U (zh) | 一种安全教育监控记录系统 | |
| CN114444856A (zh) | 一种辅助装配系统 | |
| KR200337484Y1 (ko) | 근태 관리용 기초 데이터 생성 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |