CN115983614A - 一种面向检修场景的智能运维作业指导设备 - Google Patents

一种面向检修场景的智能运维作业指导设备 Download PDF

Info

Publication number
CN115983614A
CN115983614A CN202211670413.1A CN202211670413A CN115983614A CN 115983614 A CN115983614 A CN 115983614A CN 202211670413 A CN202211670413 A CN 202211670413A CN 115983614 A CN115983614 A CN 115983614A
Authority
CN
China
Prior art keywords
workflow
platform
identification
result
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211670413.1A
Other languages
English (en)
Inventor
李昕娟
李娜
赵梦露
胡玉峰
吴晓威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRRC Yongji Electric Co Ltd
Original Assignee
CRRC Yongji Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRRC Yongji Electric Co Ltd filed Critical CRRC Yongji Electric Co Ltd
Priority to CN202211670413.1A priority Critical patent/CN115983614A/zh
Publication of CN115983614A publication Critical patent/CN115983614A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及车辆检修技术领域,特别涉及面向检修场景的运维作业指导技术领域,具体为一种面向检修场景的智能运维作业指导设备。其为了解决现有的技术方案无法识别该工艺步骤是否完成、操作是否正确的问题,故提供了一种面向检修场景的智能运维作业指导设备,包括可穿戴设备、现场提示终端、边缘运算平台、工作流平台;边缘运算平台包括运算单元、服务单元、存储单元,运算单元包括AI识别单元以及AI作业复核单元;工作流平台包括工作流部分和工作报告部分。本发明能够实现以数字化工作流替代传统的纸质作业指导书,并能够在作业完成的同时进行基于机器视觉的智能化作业复核,能够在很大程度上规范作业行为,避免错检、漏检,提升作业可靠性。

Description

一种面向检修场景的智能运维作业指导设备
技术领域
本发明涉及车辆检修技术领域,特别涉及面向检修场景的运维作业指导技术领域,具体为一种面向检修场景的智能运维作业指导设备。
背景技术
随着车流量和人流量的普遍增长,地铁运营车辆、铁路运营车辆及车次逐年攀升,与之相对应的,车辆检修频次及检修人员数量不足所带来的压力逐年递增。传统检修模式为依靠检修经验及检修计划对车辆进行检修,检修业务人员经常发生漏检、错检等异常情况,由于检修疏忽导致发生的车辆事故也不胜枚举。
近年来,为更好的进行车辆检修,车辆检修中的智能穿戴设备开始兴起,现有技术中有通过智能穿戴设备对作业的步骤进行增强现实提示的技术方案,即通过二维码或者条形码识别模块,获取相应的工艺步骤,并将该步骤与现实场景相结合,最终将需要展示的3D模型和工艺步骤的指导说明发送到智能穿戴设备,便于规范检修人员的检修步骤,但该技术方案只是起到提示检修人员工艺步骤的作用,无法识别该工艺步骤是否完成、操作是否正确,仍存在由于检修操作不规范而导致的车辆安全事故隐患。
发明内容
本发明为了解决现有的技术方案无法识别该工艺步骤是否完成、操作是否正确的问题,故提供了一种面向检修场景的智能运维作业指导设备。
本发明是采用如下技术方案实现的:一种面向检修场景的智能运维作业指导设备,包括可穿戴设备、现场提示终端、边缘运算平台、工作流平台;
可穿戴设备为操作者穿戴于身上的设备且能进行画面拍摄,用于设备配对、激活作业指导、显示检修工作进度以及工作状态;
现场提示终端为现场展示类设备,该设备用于与可穿戴设备进行设备配对后,同步显示可穿戴设备的检修工作进度、工作状态;
边缘运算平台包括运算单元、服务单元、存储单元,运算单元包括激活作业指导后用于对可穿戴设备拍摄的抽帧画面(本领域技术人员公知,抽帧画面指每间隔一定时间,具体实施时可为0.5s,从所拍摄的画面中抽取一帧画面)进行作业识别的AI识别单元以及使用现场拍摄图像进行作业复核的AI作业复核单元;AI识别完成后,将识别到的结果通过服务单元传输至工作流平台,工作流平台将相应的工作包下发至可穿戴设备,AI作业复核用于在每一步工作步骤完成后要进行作业复核,即每完成一个工作步骤,可穿戴设备将对操作现场进行拍照并将步骤标志以及所拍摄图像通过边缘运算平台中的服务单元转发给边缘运算平台中的运算单元进行AI作业复核,AI作业复核执行完成后,步骤标志、复核结果以及用于作业复核的现场图像通过边缘运算平台中的服务单元发送至工作流平台,用于作为工作报告生成的输入材料,同时,复核结果和步骤标志将由工作流平台发送至可穿戴设备,用于触发工作流跳转至下一个步骤;服务单元用于进行可穿戴设备、现场提示终端、工作流平台之间的信息转发及交互;存储单元用于对可穿戴设备拍摄的抽帧画面以及进行作业复核时所拍摄的现场图像进行暂存;
工作流平台包括工作流部分和工作报告部分,工作流部分用于预设数字化作业工作流并当接收到运算单元发送的AI识别结果后向可穿戴设备派发工作流,工作报告部分用于接收来自可穿戴设备和边缘运算平台的作业状态、作业完成情况以及图片,向可穿戴设备转发作业复核结果和步骤标志,以及在工作流作业结束后用于生成工作报告。
进一步地,可穿戴设备、现场提示终端以及边缘运算平台中的存储单元均内置作业指导书文件库(作业指导文件库指的是作业指导书编码以及详细作业指导书且详细作业指导书以文件标识码命名),工艺人员在工作流平台创建新工作流包时,将工作流步骤涉及到的详细作业指导书编码内嵌进入工作流步骤,并将详细作业指导书编码对应的文件放入边缘运算平台中的存储单元,现场操作者在通过可穿戴设备执行工作流时,通过唤醒工作步骤中的“详细作业指导书”,可穿戴设备系统后台获取相应步骤的详细作业指导书编码,并根据该识别码在可穿戴设备中检索相应的详细作业指导书,并进行提示,同时,该详细作业指导书编码将从可穿戴设备发送至边缘运算平台中的服务单元,由服务单元转发至现场提示终端,现场提示终端根据详细作业指导书编码在现场提示终端中检索相应的作业指导书文件,并进行提示。
进一步地,AI识别单元包括器件识别、文字识别以及结果分析,其中器件识别包括器件种类识别以及器件状态识别(本领域技术人员公知,器件种类识别和器件状态识别是并列的识别方式,器件种类识别指的是对器件的类别识别如对功率模块的识别,器件状态识别指的是对器件状态进行的识别如对指示灯状态如网络通信的状态识别),当可穿戴设备拍摄的抽帧画面传入运算单元后,分别进行两个部分的识别,即器件识别和文字识别;器件识别结束后,将超过设定阈值的结果进行整合,输出为数组A1,若无识别结果或识别结果均未达到阈值,则认为该次器件识别结束,输出结果A1为null;文字识别结束完成后,将超过设定阈值的结果进行整合,输出为数组B1,若无识别结果或识别结果均未达到阈值,则数组B1为null,结果分析的逻辑如下:在数组A1、B1均不为null的前提下,将A1与B1进行比较,若A1中元素个数、内容与B1相同,则输出为结果A1;若A1中元素个数多于B1且A1元素内容包含B1所有元素内容,则输出为结果为A1;若B1中元素个数多于A1且B1元素内容包含A1所有元素内容,则输出为结果为B1;若A1与B1元素内容存在差异且均不为null,则运算模块输出结果为C1,C1为包含A1、B1中所有元素的数组,C1数组将作为AI识别中结果分析模块的输出内容由边缘运算平台中的服务单元发送至工作流平台,由于数组中每个元素对应的检索到的工作流不一样,所以对应的不一样的工作流会在可穿戴设备上进行显示并供作业人员进行选择要进行哪个工作流的操作,若A1不为null,B1为null,则输出结果为A1;若B1不为null,A1为null,则输出结果为B1;若A1、B1元素内容均为null,则输出结果为null。
进一步地,AI作业复核单元包括模型选择、模型运算以及结果分析,当可穿戴设备所拍摄的现场图像以及步骤标识传入运算单元后,根据步骤标识进行模型选择,选定相应的复核模型后,将可穿戴设备的拍摄图像放入该模型中进行模型运算,输出结果并将该结果进行结果分析,结果分析的逻辑如下:若结果大于等于设定阈值,则认为该作业步骤通过复核,即复核正确,输出结果为RIGHT;若结果小于设定阈值,则认为复核不通过,即复核失败,输出结果为FAIL。
进一步地,当AI作业复核失败,则进行人工复核,人工复核完成后,手动触发可穿戴设备使其跳转至工作流的下一步。
进一步地,当AI作业复核失败,人工进行步骤跳转时,可穿戴设备将发送步骤标识码以及复核失败的图像给边缘运算平台的服务单元,边缘运算平台的服务单元将“步骤标识码 TEST FAIL+图片名称”发送给现场提示终端。
进一步地,运算单元输出的AI识别结果将通过数据协议进行加密,并通过边缘运算平台的服务单元由HTTPS传入工作流平台,工作流平台根据解析到的识别结果进行工作包匹配,并将匹配到的工作包下发到可穿戴设备,在可穿戴设备上进行屏幕文字提示以及语音提示,并触发语音提示指令是否开始进行或选择哪一种作业任务;操作者回答“开始”,则进入对应的数字化工作流并向边缘运算平台的服务单元发送所执行的工作流步骤内容;同时,边缘运算平台的服务单元将所执行的工作流步骤内容发送至现场显示终端,进行输出显示;操作者3秒钟内无应答或者操作者回答“不进行”,则停留在AI识别状态,可穿戴设备屏幕内为摄像头拍摄画面。
进一步地,进入数字化工作流后,执行预设的工作指令,系统在跳转进入工作流后,每开启一项工作内容,则根据屏幕提示内的文字内容,进行工作内容语音播报提示。当操作者说出“详细作业指导”后,则将该作业的作业指导书编码通过HTTPS发送至边缘运算平台的服务单元,由边缘运算平台的服务单元向与现场提示终端转发作业指导书编码,现场提示终端通过系统后台接收作业指导书编码,现场提示终端接收到作业指导书编码后对本机文件库进行遍历,若匹配到对应文件,则弹出该PDF文件并打开;若匹配失败,则向边缘运算平台的服务单元发送“作业指导书编码+FAIL”,边缘运算平台的服务单元接收到后遍历存储单元内文件库中的文件名,若边缘运算平台的存储单元的文件名列表中有该文件,则向现场提示终端发送“UPDATE”,现场提示终端接收到指令后,进行文件库更新;若边缘运算平台的存储单元文件名列表中没有该文件,则向现场提示终端发送“FILE MISSING”,现场提示终端显示“文件缺失”。
进一步地,用户在打开可穿戴设备以及现场提示终端时,需先通过扫描二维码直接登录或者输入用户名、密码进行登录后方可进入其主界面。
进一步地,可穿戴设备进入系统主界面,向边缘运算平台的服务单元发出配对指令;现场提示终端接收边缘运算平台的服务单元发出的配对指令,进行指令确认,确认后,则视为配对成功,现场提示终端界面显示“配对成功”;否则,则视为配对失败,现场提示终端界面显示“配对失败”。
本发明所产生的有益效果如下:1)本发明能够覆盖到轨道交通领域、风电领域、电力领域等运维检修作业任务,在业务方面能够实现以数字化工作流替代传统的纸质作业指导书,并能够在作业完成的同时进行基于机器视觉的智能化作业复核,并自动生成包含全工作过程的工作报告;2)能够在进行运维检修数字化转型的同时,保证作业质量、提升作业效率,尽可能的保留作业过程中的细节信息;3)本发明能够实现多人在线同步作业,操作者在执行作业过程的同时,复核者可通过现场提示终端进行同步作业检查以及作业辅助,提升作业准确率;4)数字化工作流的逐步进行以及步骤依次跳转,能够在很大程度上规范作业行为,避免错检、漏检,提升作业可靠性,保证产品质量。
附图说明
图1为本发明的整体结构示意图;
图2为边缘运算平台的运算单元的示意图;
图3为设备配对过程示意图;
图4为设备配对设计示意图;
图5为作业指导流程图;
图6为AI识别流程图;
图7为设备间信息同步显示示意图;
图8为AI作业复核流程图;
图9为人工复核流程图;
图10为详细作业指导书查询示意图;
图11为文件库更新流程图。
具体实施方式
如图1所示,一种面向检修场景的智能运维作业指导设备,包括可穿戴设备、现场提示终端、边缘运算平台、工作流平台;
可穿戴设备为操作者穿戴于身上的设备且能进行画面拍摄,用于设备配对、激活作业指导、显示检修工作进度以及工作状态;
现场提示终端为现场展示类设备,该设备用于与可穿戴设备进行设备配对后,同步显示可穿戴设备的检修工作进度、工作状态;
边缘运算平台包括运算单元、服务单元、存储单元,运算单元包括激活作业指导后用于对可穿戴设备拍摄的抽帧画面(本领域技术人员公知,抽帧画面指每间隔一定时间,具体实施时可为0.5s,从所拍摄的画面中抽取一帧画面)进行作业识别的AI识别单元以及使用现场拍摄图像进行作业复核的AI作业复核单元;AI识别完成后将识别到的结果通过服务单元传输至工作流平台,工作流平台将相应的工作包下发至可穿戴设备, AI作业复核用于在每一步工作步骤完成后要进行作业复核,即每完成一个工作步骤,可穿戴设备将对操作现场进行拍照并将步骤标志以及所拍摄图像通过边缘运算平台中的服务单元转发给边缘运算平台中的运算单元进行AI作业复核,AI作业复核执行完成后,步骤标志、复核结果以及用于作业复核的现场图像通过边缘运算平台中的服务单元发送至工作流平台,用于作为工作报告生成的输入材料,同时,复核结果和步骤标志将由工作流平台发送至可穿戴设备,用于触发工作流跳转至下一个步骤;服务单元用于进行可穿戴设备、现场提示终端、工作流平台之间的信息转发及交互;存储单元用于对可穿戴设备拍摄的画面进行暂存;
工作流平台包括工作流部分和工作报告部分,工作流部分用于预设数字化作业工作流并当接收到运算单元发送的AI识别结果后向可穿戴设备派发工作流,工作报告部分用于接收来自可穿戴设备和边缘运算平台的作业状态、作业完成情况以及图片,向可穿戴设备转发作业复核结果和步骤标志,以及在工作流作业结束后用于生成工作报告。
具体实施时,可穿戴设备、现场提示终端内置以及边缘运算平台中的存储单元均内置作业指导书文件库(作业指导文件库指的是作业指导书编码以及详细作业指导书且详细作业指导书以文件标识码命名),工艺人员在工作流平台创建新工作流包时,将工作流步骤涉及到的详细作业指导书编码内嵌进入工作流步骤,并将详细作业指导书编码对应的文件放入边缘运算平台中的存储单元,现场操作者在通过可穿戴设备执行工作流时,通过唤醒工作步骤中的“详细作业指导书”,可穿戴设备系统后台获取相应步骤的详细作业指导书编码,并根据该识别码在可穿戴设备中检索相应的详细作业指导书,并进行提示,同时,该详细作业指导书编码将从可穿戴设备发送至边缘运算平台中的服务单元,由服务单元转发至现场提示终端,现场提示终端根据详细作业指导书编码在现场提示终端中检索相应的作业指导书文件,并进行提示。
具体实施时,如图2所示,AI识别单元包括器件识别、文字识别以及结果分析,其中器件识别包括器件种类识别以及器件状态识别(本领域技术人员公知,器件种类识别和器件状态识别是并列的识别方式,器件种类识别指的是对器件的类别识别如对功率模块的识别,器件状态识别指的是对器件状态进行的识别如对指示灯状态如网络通信的状态识别),当可穿戴设备拍摄的抽帧画面传入运算单元后,分别进行两个部分的识别,即器件识别和文字识别;器件识别结束后,将超过设定阈值的结果进行整合,输出为数组A1,若无识别结果或识别结果均未达到阈值,则认为该次器件识别结束,输出结果A1为null;文字识别结束完成后,将超过设定阈值的结果进行整合,输出为数组B1,若无识别结果或识别结果均未达到阈值,则数组B1为null,结果分析的逻辑如下:在数组A1、B1均不为null的前提下,将A1与B1进行比较,若A1中元素个数、内容与B1相同,则输出为结果A1;若A1中元素个数多于B1且A1元素内容包含B1所有元素内容,则输出为结果为A1;若B1中元素个数多于A1且B1元素内容包含A1所有元素内容,则输出为结果为B1;若A1与B1元素内容存在差异且均不为null,则运算模块输出结果为C1,C1为包含A1、B1中所有元素的数组,C1数组将作为AI识别中结果分析模块的输出内容由边缘运算平台中的服务单元发送至工作流平台,由于数组中每个元素对应的检索到的工作流不一样,所以对应的不一样的工作流会在可穿戴设备上进行显示并供作业人员进行选择要进行哪个工作流的操作,若A1不为null,B1为null,则输出结果为A1;若B1不为null,A1为null,则输出结果为B1;若A1、B1元素内容均为null,则输出结果为null。
具体实施时,AI作业复核单元包括模型选择、模型运算以及结果分析,当可穿戴设备的拍摄画面以及步骤标识传入运算单元后,根据步骤标识进行模型选择,选定相应的复核模型后,将可穿戴设备的抽帧画面放入该模型中进行模型运算,输出结果并将该结果进行结果分析,结果分析的逻辑如下:若结果大于等于设定阈值,则认为该作业步骤通过复核,即复核正确,输出结果为RIGHT;若结果小于设定阈值,则认为复核不通过,即复核失败,输出结果为FAIL。
具体指导过程如下:用户在使用时,需要先将可穿戴设备与现场提示终端开机;可穿戴设备在开机后,进入系统界面,现场提示终端开机后,进入待配对状态。用户使用可穿戴设备唤醒“设备配对与激活”,开始进行可穿戴式设备与现场提示终端的配对激活过程,若配对成功,则在现场提示终端显示“配对成功”;若配对失败,则在现场提示终端显示“配对失败”,配对过程如图3所示。可穿戴设备将可穿戴设备设备识别码、配对指令发送给边缘运算平台的服务单元,边缘运算平台的服务单元下发配对指令以及可穿戴设备识别码给现场提示终端,可配对的现场提示终端在接收到配对指令后,进行与目标设备的配对,完成操作后,现场提示终端将现场提示终端设备识别码、目标配对设备识别码以及配对状态发送给边缘运算平台的服务单元,边缘运算平台的服务单元向可穿戴设备反馈配对状态,设备配对设计如图4所示。
配对成功后的作业指导操作如图5所示。配对成功后,用户通过可穿戴式设备进入“作业指导”,同时,现场提示终端显示“进入作业指导”。在成功进入作业指导后,可穿戴式设备处于AI识别状态,开启设备摄像头,屏幕显示内容为摄像头拍摄画面,可穿戴式设备终端后台将以0.5s为周期进行画面抽帧,并将抽取的画面作为样本进行AI识别,AI识别完成后,识别到的结果将传输至工作流平台进行工作流检索,检索到的工作流将进行流程下发,此时用户在可穿戴式设备上可以选择是否进行该工作流程或者选择哪一个工作流,若选择执行,则进入工作流;若选择不进行或者3秒钟之内无响应,则认为放弃该工作流,可穿戴设备依旧处于AI识别状态。若工作流平台无该工作流,则向其他业务平台进行消息提示。进入工作流后,每一步工作内容均同步显示在可穿戴设备以及现场提示终端,并在步骤完成后进行AI作业复核,复核正确后直接跳转至下一步骤;每一步骤完成后,相关的工作信息会传输至工作流平台作为工作报告生成的输入材料,作业结束后,将生成完整的工作报告。
如若在工作流平台中没有搜索到相应的工作流,则默认为工作流缺失,工作流平台将此消息推送至其他业务平台进行信息提示。如图6所示。可穿戴设备在后台进行拍摄画面抽帧,并将抽帧画面发送给边缘运算平台的服务单元,边缘运算平台的服务单元将传输画面作为样本输入到其中的运算单元,运算单元将该样本分别在器件识别模型、文字识别模型中进行运算,并将模型运算结果在结果分析模块中进行比较得出最终结果,最终结果将发送至服务单元,并由服务单元将结果发送至工作流平台。工作流平台在接收到识别结果后,进行工作流包检索,并将工作流包下发给可穿戴设备,由操作者决定是否执行。若工作流平台根据识别结果,检索不到相应的工作流包,则发送无对应工作包消息给可穿戴设备,并继续抽帧检测,同时将无对应工作包消息发送给其他业务平台进行信息提示。
在可穿戴设备开始选择执行工作流时,该工作流的内容及流程中的相关信息(工作步骤、作业复核结果等)将同步显示在现场提示终端,供其余操作班组人员进行工作辅助以及操作复核,如图7所示。可穿戴设备中的工作流内容、消息提示以及可穿戴设备的设备识别码将通过HTTPS发送至边缘运算平台的服务单元,然后由边缘运算平台的服务单元将工作流内容、消息提示转发给现场提示终端进行显示。
在执行完成工作步骤时,可穿戴设备将对检修/维修等部件进行现场画面拍摄,并将图片作为样本传输到边缘运算平台的运算单元进行AI作业复核,当作业复核正确,则跳转至工作流的下一步;若作业复核失败,则可穿戴设备继续停留在图像拍摄命令触发界面,如图8所示。
若AI作业复核失败且操作者人工复核通过,则操作者可通过可穿戴设备唤醒“跳转”命令,可穿戴设备将对检修/维修等部件进行拍摄,并将图片传入工作流平台的工作报告模块用于报告记录,同时工作流平台将人工复核通过的操作步骤以及图片发送至其他业务平台进行信息提示,如图9所示。
在工作流每一步骤结束后,开始作业时间、结束作业时间、用于AI作业复核的拍摄图像将传入工作流平台的工作报告模块,用于作为生成工作报告的输入材料。在工作流全部步骤结束后,工作报告模块将生成完整的工作报告。
在作业操作过程中,操作者可通过可穿戴设备唤醒“详细作业指导书”命令,该工作步骤所相关的作业指导书编码将发送至边缘运算平台中的服务单元,并由该服务单元转发至现场提示终端,现场提示终端将在终端本机搜索对应编码的作业指导书,匹配成功后,将在现场提示终端弹出该文件并显示。若现场提示终端未匹配到与作业指导书编码相符合的文件,即向边缘运算平台中的服务单元发出请求“作业指导书编码+FAIL”,边缘运算平台中的服务单元将作业指导书编码发送至边缘运算平台中的存储单元进行文件查询,并将查询结果发送至服务单元。若查询结果表示存在该文件,则服务单元向现场提示终端发送指令更新文件库。若存储单元查询结果中无该编码作业指导书,则服务单元向其他业务平台发送消息“作业指导书编码+MISSING”用于消息提示,如图10所示。
现场提示终端接收到来自服务单元的更新指令“UPDATE”后,向服务单元发出文件库更新请求,请求成功后,开始下载文件库,下载完成后,进行文件库校验,校验成功后,删除本机已有的文件库,并在本机指定存储位置解压新下载的文件库,解压完成后,现场提示终端显示“文件库更新成功”。若下载完成的文件库校验失败,则删除下载文件,并在现场提示终端显示“文件库更新失败”,如图11所示。

Claims (10)

1.一种面向检修场景的智能运维作业指导设备,其特征在于,包括可穿戴设备、现场提示终端、边缘运算平台、工作流平台;
可穿戴设备为操作者穿戴于身上的设备且能进行画面拍摄,用于设备配对、激活作业指导、显示检修工作进度以及工作状态;
现场提示终端为现场展示类设备,该设备用于与可穿戴设备进行设备配对后,同步显示可穿戴设备的检修工作进度、工作状态;
边缘运算平台包括运算单元、服务单元、存储单元,运算单元包括激活作业指导后用于对可穿戴设备拍摄的抽帧画面进行作业识别的AI识别单元以及进行作业复核的AI作业复核单元;AI识别完成后将识别到的结果通过服务单元传输至工作流平台,工作流平台将相应的工作包下发至可穿戴设备,AI作业复核用于在每一步工作步骤完成后要进行作业复核,即每完成一个工作步骤,可穿戴设备将对操作现场进行拍照并将步骤标志以及所拍摄图像通过边缘运算平台中的服务单元转发给边缘运算平台中的运算单元进行AI作业复核,AI作业复核执行完成后,步骤标志、复核结果以及用于作业复核的现场图像通过边缘运算平台中的服务单元发送至工作流平台,用于作为工作报告生成的输入材料,同时,复核结果和步骤标志将由工作流平台发送至可穿戴设备,用于触发工作流跳转至下一个步骤;服务单元用于进行可穿戴设备、现场提示终端、工作流平台之间的信息转发及交互;存储单元用于对可穿戴设备拍摄的抽帧画面以及作业复核画面进行暂存;
工作流平台包括工作流部分和工作报告部分,工作流部分用于预设数字化作业工作流并当接收到运算单元发送的AI识别结果后向可穿戴设备派发工作流,工作报告部分用于接收来自可穿戴设备和边缘运算平台的作业状态、作业完成情况以及图片,向可穿戴设备转发作业复核结果和步骤标志,以及在工作流作业结束后用于生成工作报告。
2.根据权利要求1所述的一种面向检修场景的智能运维作业指导设备,其特征在于,可穿戴设备、现场提示终端内置以及边缘运算平台中的存储单元均内置作业指导书文件库,工艺人员在工作流平台创建新工作流包时,将工作流步骤涉及到的详细作业指导书编码内嵌进入工作流步骤,并将详细作业指导书编码对应的文件放入边缘运算平台中的存储单元,现场操作者在通过可穿戴设备执行工作流时,通过唤醒工作步骤中的“详细作业指导书”,可穿戴设备系统后台获取相应步骤的详细作业指导书编码,并根据该识别码在可穿戴设备中检索相应的详细作业指导书,并进行提示,同时,该详细作业指导书编码将从可穿戴设备发送至边缘运算平台中的服务单元,由服务单元转发至现场提示终端,现场提示终端根据详细作业指导书编码在现场提示终端中检索相应的作业指导书文件,并进行提示。
3.根据权利要求2所述的一种面向检修场景的智能运维作业指导设备,其特征在于,AI识别单元包括器件识别、文字识别以及结果分析,其中器件识别包括器件种类识别以及器件状态识别,当可穿戴设备拍摄的抽帧画面传入运算单元后,分别进行两个部分的识别,即器件识别和文字识别;器件识别结束后,将超过设定阈值的结果进行整合,输出为数组A1,若无识别结果或识别结果均未达到阈值,则认为该次器件识别结束,输出结果A1为null;文字识别结束完成后,将超过设定阈值的结果进行整合,输出为数组B1,若无识别结果或识别结果均未达到阈值,则数组B1为null,结果分析的逻辑如下:在数组A1、B1均不为null的前提下,将A1与B1进行比较,若A1中元素个数、内容与B1相同,则输出为结果A1;若A1中元素个数多于B1且A1元素内容包含B1所有元素内容,则输出为结果为A1;若B1中元素个数多于A1且B1元素内容包含A1所有元素内容,则输出为结果为B1;若A1与B1元素内容存在差异且均不为null,则运算模块输出结果为C1,C1为包含A1、B1中所有元素内容的数组,C1数组将作为AI识别中结果分析模块的输出内容由边缘运算平台中的服务单元发送至工作流平台,由于数组中每个元素对应的检索到的工作流不一样,所以对应的不一样的工作流会在可穿戴设备上进行显示并供作业人员进行选择要进行哪个工作流的操作,若A1不为null,B1为null,则输出结果为A1;若B1不为null,A1为null,则输出结果为B1;若A1、B1元素内容均为null,则输出结果为null。
4.根据权利要求3所述的一种面向检修场景的智能运维作业指导设备,其特征在于,AI作业复核单元包括模型选择、模型运算以及结果分析,当可穿戴设备的抽帧画面以及步骤标识传入运算单元后,根据步骤标识进行模型选择,选定相应的复核模型后,将可穿戴设备的抽帧画面放入该模型中进行模型运算,输出结果并将该结果进行结果分析,结果分析的逻辑如下:若结果大于等于设定阈值,则认为该作业步骤通过复核,即复核正确,输出结果为RIGHT;若结果小于设定阈值,即复核失败,则认为复核不通过,输出结果为FAIL。
5.根据权利要求4所述的一种面向检修场景的智能运维作业指导设备,其特征在于,当AI作业复核失败,则进行人工复核,人工复核完成后,手动触发可穿戴设备使其跳转至工作流的下一步。
6.根据权利要求5所述的一种面向检修场景的智能运维作业指导设备,其特征在于,当AI作业复核失败,人工进行步骤跳转时,可穿戴设备将发送步骤标识码以及复核失败的图像给边缘运算平台的服务单元,边缘运算平台的服务单元将“步骤标识码 TEST FAIL+图片名称”发送给现场提示终端。
7.根据权利要求6所述的一种面向检修场景的智能运维作业指导设备,其特征在于,运算单元输出的AI识别结果将通过数据协议进行加密,并通过边缘运算平台的服务单元由HTTPS传入工作流平台,工作流平台根据解析到的识别结果进行工作包匹配,并将匹配到的工作包下发到可穿戴设备,在可穿戴设备上进行屏幕文字提示及语音提示,并触发语音提示指令是否开始进行作业任务;操作者回答“开始”,则进入对应的数字化工作流并向边缘运算平台的服务单元发送所执行的工作流步骤内容;同时,边缘运算平台的服务单元将所执行的工作流步骤内容发送至现场显示终端,进行输出显示;操作者3秒钟内无应答或者操作者回答“不进行”,则停留在部件识别状态,可穿戴设备屏幕内为摄像头拍摄画面。
8.根据权利要求7所述的一种面向检修场景的智能运维作业指导设备,其特征在于,进入数字化工作流后,执行预设的工作指令,系统在跳转进入工作流后,每开启一项工作内容,则根据屏幕提示内的文字内容,进行工作内容语音播报提示,当操作者说出“详细作业指导”后,则将该作业的作业指导书编码通过HTTPS发送至边缘运算平台的服务单元,由边缘运算平台的服务单元向与现场提示终端转发作业指导书编码,现场提示终端通过系统后台接收作业指导书编码,现场提示终端接收到作业指导书编码后对本机文件库进行遍历,若匹配到对应文件,则弹出该PDF文件并打开;若匹配失败,则向边缘运算平台的服务单元发送“作业指导书编码+FAIL”,边缘运算平台的服务单元接收到后遍历存储单元内文件库中的文件名,若边缘运算平台的存储单元的文件名列表中有该文件,则向现场提示终端发送“UPDATE”,现场提示终端接收到指令后,进行文件库更新;若边缘运算平台的存储单元文件名列表中没有该文件,则向现场提示终端发送“FILE MISSING”,现场提示终端显示“文件缺失”。
9.根据权利要求8所述的一种面向检修场景的智能运维作业指导设备,其特征在于,用户在打开可穿戴设备以及现场提示终端时,需先通过扫描二维码直接登录或者输入用户名、密码进行登录后方可进入其主界面。
10.根据权利要求9所述的一种面向检修场景的智能运维作业指导设备,其特征在于,可穿戴设备进入系统主界面,向边缘运算平台的服务单元发出配对指令;现场提示终端接收边缘运算平台的服务单元发出的配对指令,进行指令确认,确认后,则视为配对成功,现场提示终端界面显示“配对成功”;否则,则视为配对失败,现场提示终端界面显示“配对失败”。
CN202211670413.1A 2022-12-26 2022-12-26 一种面向检修场景的智能运维作业指导设备 Pending CN115983614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211670413.1A CN115983614A (zh) 2022-12-26 2022-12-26 一种面向检修场景的智能运维作业指导设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211670413.1A CN115983614A (zh) 2022-12-26 2022-12-26 一种面向检修场景的智能运维作业指导设备

Publications (1)

Publication Number Publication Date
CN115983614A true CN115983614A (zh) 2023-04-18

Family

ID=85959096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211670413.1A Pending CN115983614A (zh) 2022-12-26 2022-12-26 一种面向检修场景的智能运维作业指导设备

Country Status (1)

Country Link
CN (1) CN115983614A (zh)

Similar Documents

Publication Publication Date Title
CN106327605B (zh) 一种巡检方法
CN110909898B (zh) 基于ar眼镜的银行机房故障诊断维修指导系统及方法
CN103984579B (zh) 多设备间分享当前应用程序实时运行状态的方法
US8219655B2 (en) Method of associating multiple modalities and a multimodal system
CN111722714A (zh) 一种基于ar技术的数字化变电站计量运检辅助方法
CA3080052A1 (en) System and method for automated online notarization meeting recovery
CN112085232A (zh) 一种基于增强现实技术的运检系统及方法
CN112836689A (zh) 一种基于图像识别的危险区域人员管控系统及方法
CN115983614A (zh) 一种面向检修场景的智能运维作业指导设备
CN111612088B (zh) 叠加字符的图像的检测方法及装置
CN110288062A (zh) 基于数字孪生地铁台站门的扫码识别方法及系统
CN105279591B (zh) 支持单人流程作业指令与校验的人机交互系统
CN113379943A (zh) 一种基于5g通讯的ar巡检系统
CN106779404A (zh) 一种流程预告警方法和装置
JP4932938B1 (ja) 点呼システム
CN109596133A (zh) 确定导航路线的方法及相关设备
CN108968892A (zh) 一种肠镜下盲区监测的系统及方法
CN111698446B (zh) 在实时视频中同时进行文本信息传输的方法
CN113466077A (zh) 一种飞机强度试验调试方法及系统
CN106355519A (zh) 一种基于监管码的样品取样和检测监管的方法
CN113556502A (zh) 执法记录仪的紧急状态沟通方法及系统
CN112163796A (zh) 一种数字化工程记录表单的管理系统
CN113793694A (zh) 一种标准化现场流调采集及实时研判系统及方法
CN109240745B (zh) 一种指令分发的方法及装置
CN116911819A (zh) 一种基于ar眼镜的二次安措执行监护系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination