CN113393536B - 基于ar眼镜的远程运维指导控制系统及方法 - Google Patents
基于ar眼镜的远程运维指导控制系统及方法 Download PDFInfo
- Publication number
- CN113393536B CN113393536B CN202110752473.7A CN202110752473A CN113393536B CN 113393536 B CN113393536 B CN 113393536B CN 202110752473 A CN202110752473 A CN 202110752473A CN 113393536 B CN113393536 B CN 113393536B
- Authority
- CN
- China
- Prior art keywords
- remote
- image
- module
- processor
- control signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000011521 glass Substances 0.000 title claims abstract description 29
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000009471 action Effects 0.000 claims abstract description 5
- 230000005540 biological transmission Effects 0.000 claims description 34
- 230000007246 mechanism Effects 0.000 claims description 34
- 238000006073 displacement reaction Methods 0.000 claims description 25
- 238000009434 installation Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请涉及一种基于AR眼镜的远程维护指导系统和方法，系统包括现场维护端和远程指导端，现场维护端包括现场图像采集件、现场信息提示件和现场处理器；远程指导端包括远程图像显示件、远程指令录入件和远程处理器，远程指令录入件包括目标图像选定模块，其基于用户指令动作标定远程图像显示件中所显示的至少一个图像信息并输出；远程处理器接收图形信息，基于设定算法对上述图像信息进行处理，输出图像标定信号；现场图像采集件包括：图像采集模块，电动云台模块，和控制信号生成模块。本申请具有能够保证图像采集质量，便于远程维护工程师对设备故障位点辨识，从而利于远程维护工程师分析故障原因并就故障位点作出相应的指导的效果。
Description
技术领域
本申请涉及远程控制技术领域，尤其是涉及一种基于AR眼镜的远程运维指导控制系统及方法。
背景技术
当前，设备生产商与设备用户通常不在一个地区，当生产设备出现故障时往往需要设备制造商派专人赶赴生产基地进行设备的维护与检修，上述方式费时费力。
为了方便设备制造商对生产设备进行远程维护，现有技术中出现了以AR技术为核心的远程运维系统，如专利申请号为CN109683566A的中国专利，公开了一种基于互联网和AR技术的设备远程运维系统及方法，其方案在于利用AR眼镜的现实增强功能以及语音交互等功能实现现场维护人员与设备制造商之间的远程信息交互，由此可以实现设备的远程精准化维护指导。但是，发明人在实践中发现，上述方法在实施过程中还存在许多不足之处，例如，现场维护人员对设备进行维护时，会通过加设在AR眼镜上的摄像装置摄取维护现场的实时图像，而后经远程通信网络传输至远端的设备制造商。由于现场维护人员在工作时会根据需要调整自身的位置姿态，由此使得佩戴于现场维护人员身上的摄像装置所摄取的图像往往是晃动的，上述现象对远端的设备制造商会产生极大的干扰，不利于设备制造商的工程师分析故障原因并就故障位点作出相应的指导。
发明内容
针对于现有技术中利用AR技术进行设备远程维护时不能保证图像采集质量，导致远程维护工程师对设备故障位点辨识困难，不利于远程维护工程师分析故障原因并就故障位点作出相应的指导这一问题。本申请目的一提出了基于AR眼镜的远程运维指导控制系统，基于上述系统，可以有效消除由于现场维护人员身体晃动所造成的远程维护工程师图像画面抖动这一问题，能够大幅提升远程维护的效率。
本申请提出的一种基于AR眼镜的远程运维指导控制系统，具体方案如下：
一种基于AR眼镜的远程运维指导控制系统，包括现场维护端以及远程指导端，所述现场维护端包括现场图像采集件、现场信息提示件以及现场处理器；所述远程指导端包括远程图像显示件、远程指令录入件以及远程处理器；
所述远程指令录入件包括目标图像选定模块，其基于用户指令动作标定远程图像显示件中所显示的至少一个图像信息并输出；所述远程处理器接收所述图像信息，基于设定算法对上述图像信息进行处理，输出图像标定信号；
所述现场图像采集件包括：
图像采集模块，包括摄像机，用于采集并输出图像信息；
电动云台模块，包括用于安装所述摄像机的安装面板以及用于承载所述安装面板的自稳传动机构，所述自稳传动机构与所述现场处理器信号连接，接收所述现场处理器输出的控制信号，控制摄像机摄取图像的聚焦位置及稳定性；
控制信号生成模块，配置于所述现场处理器中，接收所述远程处理器输出的图像标定信号，经设定算法转换为所述控制信号并输出至所述电动云台模块的自稳传动机构。
通过上述技术方案，远程维护工程师可以根据自己的需要，选定远程图像显示件中的某一图像信息进行标定，而后现场图像采集件能够将摄像机摄取图像的聚焦位置指向上述图像信息的来源并且保持拍摄的稳定性。由此远程维护工程师看到的图像信息将更为清楚，便于远程维护工程师做相关的故障分析，提升整个远程维护的效率。
可选的，控制信号生成模块还包括图像信息删减处理模块，电动云台模块在跟随人体姿态的过程中，基于摄像机现场实时拍摄连续的被测物件的图像信息，将图像信息发送至控制信号生成模块并识别标定信号中标定物的实时位移状态，且根据设定算法与远程处理器输出的图像标定信号相结合对比，删减设定时间内电动云台模块电机的转动跟随量，并输出控制信号至电动云台模块的自稳传动机构。
通过采用上述技术方案，电动云台模块在跟随人体姿态的过程中，自稳传动机构保持安装在云台上的摄像机的稳定性，但是当人体姿态在短时间内产生较多的变化时，由于摄像头的拍摄是跟随AR眼镜所处的位置以及所涉及的角度进行实时拍照的，但是控制信号生成模块经设定算法生成的控制信号输入至电动云台模块需要时间的延迟，因此电动云台模块会有一定的延时性。
可选的，控制信号生成模块还包括人体姿态预判断模块，基于摄像机现场实时拍摄连续的被测物件的图像信息，根据设定算法判断人体姿态位移的趋势，当人体姿态突然停止并有返回原姿态的趋势，控制信号生成模块根据摄像机拍摄实时图片判断得出的人体位移趋势，提前输出控制信号至电动云台模块的自稳传动机构。
通过采用上述技术方案，除了根据摄像机采集的图片进行识别标定物位置的方式判断人体姿态的骤变，还可以根据试试采集到的图片中，标定物的位移状态，判断人体姿态的位移趋势。
基于上述系统，本申请还提出的一种基于AR眼镜的远程运维指导控制方法，具体方案如下：
一种基于AR眼镜的远程运维指导控制方法，包括如下步骤：
现场维护端：图像采集模块采集现场设备的图像信息至现场处理器的控制信号生成模块，现场处理器将图像采集模块采集到的图像信息传输至远程指导端的远程处理器；
远程指导端：远程处理器获取现场维护端输入的图像信息，并根据远程指令录入件获取远程指导人员的录入的指令信息，并在远程图像显示模块中显示，并利用图像选定模块选定标定物，远程处理器输出图像标定信号至现场处理器的控制信号生成模块；
现场处理器内置的控制信号生成模块根据图像标定信号输出控制信号控制电动云台模块的自稳传动机构，控制图像采集模块聚焦标定物。
通过采用上述技术方案，现场维护端利用图像采集模块采集数据并传输至远程指导端,远程指导端的远程工程师对传输过来的图像进行分析和辨识，并判断故障点，利用图像选定模块选定图中的标定物，并将图像标定信息传输至现场维护端的现场处理器中，并控制现场维护端的电动云台模块中的自问传动机构，从而使得摄像机对准标定物，从而实现现场与远程的互联，并便于远程工程师指导现场操作人员进行故障维修。
可选的，现场处理器根据图像采集模块采集的图像信息，并结合图像标定信号，判断图像采集模块采集到的图像信息，将图像信息发送至控制信号生成模块并识别标定信号中标定物的实时位移状态，且根据设定算法与远程处理器输出的图像标定信号相结合对比，删减设定时间内电动云台模块电机的转动跟随量，并输出控制信号至电动云台模块的自稳传动机构。
通过采用上述技术方案，电动云台模块在跟随人体姿态的过程中，自稳传动机构保持安装在云台上的摄像机的稳定性，但是当人体姿态在短时间内产生较多的变化时，由于摄像头的拍摄是跟随AR眼镜所处的位置以及所涉及的角度进行实时拍照的，但是控制信号生成模块经设定算法生成的控制信号输入至电动云台模块需要时间的延迟，因此电动云台模块会有一定的延时性。
可选的，现场处理器基于摄像机现场实时拍摄连续的图像信息，根据设定算法判断人体姿态位移的趋势，当人体姿态突然停止并有返回原姿态的趋势，控制信号生成模块根据摄像机拍摄实时图片判断得出的人体位移趋势，提前输出控制信号至电动云台模块的自稳传动机构。
通过采用上述技术方案，除了根据摄像机采集的图片进行识别标定物位置的方式判断人体姿态的骤变，还可以根据试试采集到的图片中，标定物的位移状态，判断人体姿态的位移趋势。
可选的，现场信息提示件中显示远程处理器的图像标定信号，并在现场信息提示件中显示标定物的聚焦框。
通过采用上述技术方案，聚焦框有利于图像中标定物的聚焦,从而便于远程维护工程师对设备故障位点辨识。
可选的，现场信息提示件中显示远程处理器的图像标定信号，并设置有信息提示模块，可在现场信息提示件上显示远程指导端给出的文字或视频信息。
通过采用上述技术方案，现场信息提示件为了便于现场操作人员快速找到标定物,且可以根据现场提示件上的信息提示,更加方便对故障点的维修。
可选的，远程图像显示件还包括目标图像放大模块，将选定目标图像在远程图像显示件上进行放大。
通过采用上述技术方案，针对于标定物较小的情况下,采用图像放大模块,可以方便远程维护工程师更加清楚的辨识设备故障位点。
综上所述，本申请包括以下至少一种有益技术效果：
1.远程维护工程师可以对图像中的标定物标定，现场图像采集件能够将摄像机摄取图像的聚焦位置指向上述图像信息的来源并且保持拍摄的稳定性。由此远程维护工程师看到的图像信息将更为清楚，便于远程维护工程师做相关的故障分析。
附图说明
图1为本发明远程运维指导控制系统的整体示意图；
图2为本发明远程运维指导控制方法的流程示意图。
附图标记：1、现场维护端；11、现场图像采集件；111、图像采集模块；112、电动云台模块；113、控制信号生成模块；12、现场信息提示件；13、现场处理器；2、远程指导端；21、图像显示件；211、目标图像选定模块；22、远程指令录入件；23、远程处理器。
具体实施方式
以下结合附图1-2对本申请作进一步详细说明。
本申请实施例公开一种基于AR眼镜的远程运维指导控制系统。参照图1，基于AR眼镜的远程运维指导控制系统包括现场维护端1以及远程指导端2，现场维护端1包括现场图像采集件11、现场信息提示件12以及现场处理器13；远程指导端2包括远程图像显示件21、远程指令录入件22以及远程处理器23，远程指令录入件22包括目标图像选定模块211，其基于用户指令动作标定远程图像显示件21中所显示的至少一个图像信息并输出；远程处理器23接收图形信息，基于设定算法对上述图像信息进行处理，输出图像标定信号。
现场图像采集件11包括：
图像采集模块111，包括摄像机，用于采集并输出图像信息；
电动云台模块112，包括用于安装摄像机的安装面板以及用于承载安装面板的自稳传动机构，自稳传动机构与现场处理器13信号连接，接收现场处理器13输出的控制信号，控制摄像机摄取图像的聚焦位置及稳定性。自稳传动机构包括连个电机，分别控制上下和水平两个方向的运动；自稳传动机构在控制电压的作用下，做水平和垂直转动，使摄像机能在大范围内对准并摄取所需要的观察目标。按旋转角度可分为限位型和连续旋转型。当摄像机需做多方位场景监视时，应配备遥控电动云台。
控制信号生成模块113，配置于现场处理器13中，接收远程处理器23输出的图像标定信号，经设定算法转换为控制信号并输出至电动云台模块112的自稳传动机构。设定算法可以采用四元数控制算法，为自稳传动机构中的姿态更新算法，经滤波后得到自稳传动机构中电机的姿态角。
控制信号生成模块113还包括图像信息删减处理模块，电动云台模块112在跟随人体姿态的过程中，基于摄像机现场实时拍摄连续的被测物件的图像信息，将图像信息发送至控制信号生成模块113并识别标定信号中标定物的实时位移状态，且根据设定算法与远程处理器23输出的图像标定信号相结合对比，删减设定时间内电动云台模块112电机的转动跟随量，并输出控制信号至电动云台模块112的自稳传动机构。电动云台模块112在跟随人体姿态的过程中，自稳传动机构保持安装在云台上的摄像机的稳定性，但是当人体姿态在短时间内产生较多的变化时，由于摄像头的拍摄是跟随AR眼镜所处的位置以及所涉及的角度进行实时拍照的，但是控制信号生成模块113经设定算法生成的控制信号输入至电动云台模块112需要时间的延迟，因此电动云台模块112会有一定的延时性；比如，在设定的短时间内，人体姿态左摇30度，立即右摇30度，摄像机获取的图像经现场处理器13处理后得出的控制信号，一般采用标定物在图片中的位置改变来识别，一般情况下控制信号会使得电动云台也有一个跟随的过程，电动云台需要摇摆设定的角度，但是对于本方案，在设定时间内，对摄像机采集的图形进行识别和分析，删减电动云台模块112电机的转动跟随量，使得电动云台的姿态在左右方向保持不变，从而减少电动云台模块112因跟随带来的图像不聚焦的问题。
控制信号生成模块113还包括人体姿态预判断模块，基于摄像机现场实时拍摄连续的被测物件的图像信息，根据设定算法判断人体姿态位移的趋势，当人体姿态突然停止并有返回原姿态的趋势，控制信号生成模块113根据摄像机拍摄实时图片判断得出的人体位移趋势，提前输出控制信号至电动云台模块112的自稳传动机构，而不必使得电动云台模块112实时跟随人体姿态变化。
除了根据摄像机采集的图片进行识别标定物位置的方式判断人体姿态的骤变，还可以根据试试采集到的图片中，标定物的位移状态，判断人体姿态的位移趋势；比如，当人体姿态突然停止并有返回原姿态的趋势，控制信号生成模块113根据摄像机拍摄实时图片判断得出的人体位移趋势，提前输出控制信号至电动云台模块112的自稳传动机构，提前控制电动云台的偏转量，而不必使得电动云台模块112实时跟随人体姿态变化，从而使得电动云台模块112更加稳定的支撑摄像机，并有利于保持对标定物的聚焦，从而便于远程指导端2的工作人员指导操作。
本申请实施例一种基于AR眼镜的远程运维指导控制系统的实施原理为：远程维护工程师可以根据自己的需要，选定远程图像显示件21中的某一图像信息进行标定，而后现场图像采集件11能够将摄像机摄取图像的聚焦位置指向上述图像信息的来源并且保持拍摄的稳定性。由此远程维护工程师看到的图像信息将更为清楚，便于远程维护工程师做相关的故障分析，提升整个远程维护的效率。
本申请实施例还公开一种基于AR眼镜的远程运维指导控制方法。参照图2，基于上述的基于AR眼镜的远程运维指导控制系统，包括如下步骤：
现场维护端1：图像采集模块111采集现场设备的图像信息至现场处理器13的控制信号生成模块113，现场处理器13将图像采集模块111采集到的图像信息传输至远程指导端2的远程处理器23；
远程指导端2：远程处理器23获取现场维护端1输入的图像信息，并根据远程指令录入件22获取远程指导人员的录入的指令信息，并在远程图像显示模块中显示，并利用图像选定模块选定标定物，远程处理器23输出图像标定信号至现场处理器13的控制信号生成模块113；
现场处理器13内置的控制信号生成模块113根据图像标定信号输出控制信号控制电动云台模块112的自稳传动机构，控制图像采集模块111聚焦标定物。
现场处理器13根据图像采集模块111采集的图像信息，并结合图像标定信号，判断图像采集模块111采集到的图像信息，将图像信息发送至控制信号生成模块113并识别标定信号中标定物的实时位移状态，且根据设定算法与远程处理器23输出的图像标定信号相结合对比，删减设定时间内电动云台模块112电机的转动跟随量，并输出控制信号至电动云台模块112的自稳传动机构。
现场处理器13基于摄像机现场实时拍摄连续的图像信息，根据设定算法判断人体姿态位移的趋势，当人体姿态突然停止并有返回原姿态的趋势，控制信号生成模块113根据摄像机拍摄实时图片判断得出的人体位移趋势，提前输出控制信号至电动云台模块112的自稳传动机构。电动云台模块112在跟随人体姿态的过程中，自稳传动机构保持安装在云台上的摄像机的稳定性，但是当人体姿态在短时间内产生较多的变化时，由于摄像头的拍摄是跟随AR眼镜所处的位置以及所涉及的角度进行实时拍照的，但是控制信号生成模块113经设定算法生成的控制信号输入至电动云台模块112需要时间的延迟，因此电动云台模块112会有一定的延时性；比如，在设定的短时间内，人体姿态左摇30度，立即右摇30度，摄像机获取的图像经现场处理器13处理后得出的控制信号，一般采用标定物在图片中的位置改变来识别，一般情况下控制信号会使得电动云台也有一个跟随的过程，电动云台需要摇摆设定的角度，但是对于本方案，在设定时间内，对摄像机采集的图形进行识别和分析，删减电动云台模块112电机的转动跟随量，使得电动云台的姿态在左右方向保持不变，从而减少电动云台模块112因跟随带来的图像不聚焦的问题。
现场信息提示件12中显示远程处理器23的图像标定信号，并在现场信息提示件12中显示标定物的聚焦框。
现场信息提示件12中显示远程处理器23的图像标定信号，并设置有信息提示模块，可在现场信息提示件12上显示远程指导端2给出的文字或视频信息。
远程图像显示件21还包括目标图像放大模块，将选定目标图像在远程图像显示件21上进行放大。
本申请实施例一种基于AR眼镜的远程运维指导控制方法的实施原理为：远程维护工程师可以根据自己的需要，选定远程图像显示件21中的某一图像信息进行标定，而后现场图像采集件11能够将摄像机摄取图像的聚焦位置指向上述图像信息的来源并且保持拍摄的稳定性。由此远程维护工程师看到的图像信息将更为清楚，便于远程维护工程师做相关的故障分析，提升整个远程维护的效率。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。
Claims (7)
1.一种基于AR眼镜的远程运维指导控制装置，其特征在于：包括现场维护端（1）以及远程指导端（2），所述现场维护端（1）包括现场图像采集件（11）、现场信息提示件（12）以及现场处理器（13）；所述远程指导端（2）包括远程图像显示件（21）、远程指令录入件（22）以及远程处理器（23），其特征在于，所述远程指令录入件（22）包括目标图像选定模块（211），其基于用户指令动作标定远程图像显示件（21）中所显示的至少一个图像信息并输出；所述远程处理器（23）接收所述图像信息，基于设定算法对上述图像信息进行处理，输出图像标定信号；
所述现场图像采集件（11）包括：
图像采集模块（111），包括摄像机，用于采集并输出图像信息；
电动云台模块（112），包括用于安装所述摄像机的安装面板以及用于承载所述安装面板的自稳传动机构，所述自稳传动机构与所述现场处理器（13）信号连接，接收所述现场处理器（13）输出的控制信号，控制摄像机摄取图像的聚焦位置及稳定性；
控制信号生成模块（113），配置于所述现场处理器（13）中，接收所述远程处理器（23）输出的图像标定信号，经设定算法转换为所述控制信号并输出至所述电动云台模块（112）的自稳传动机构；控制信号生成模块（113）还包括图像信息删减处理模块，电动云台模块（112）在跟随人体姿态的过程中，基于摄像机现场实时拍摄连续的被测物件的图像信息，将图像信息发送至控制信号生成模块（113）并识别标定信号中标定物的实时位移状态，且根据设定算法与远程处理器（23）输出的图像标定信号相结合对比，删减设定时间内电动云台模块（112）电机的转动跟随量，并输出控制信号至电动云台模块（112）的自稳传动机构；控制信号生成模块（113）还包括人体姿态预判断模块，基于摄像机现场实时拍摄连续的被测物件的图像信息，根据设定算法判断人体姿态位移的趋势，当人体姿态突然停止并有返回原姿态的趋势，控制信号生成模块（113）根据摄像机拍摄实时图片判断得出的人体位移趋势，提前输出控制信号至电动云台模块（112）的自稳传动机构。
2.一种基于AR眼镜的远程运维指导控制方法，基于权利要求1所述的基于AR眼镜的远程运维指导控制系统,其特征在于：包括如下步骤：
现场维护端（1）：图像采集模块（111）采集现场设备的图像信息至现场处理器（13）的控制信号生成模块（113），现场处理器（13）将图像采集模块（111）采集到的图像信息传输至远程指导端（2）的远程处理器（23）；
远程指导端（2）：远程处理器（23）获取现场维护端（1）输入的图像信息，并根据远程指令录入件（22）获取远程指导人员的录入的指令信息，并在远程图像显示模块中显示，并利用图像选定模块选定标定物，远程处理器（23）输出图像标定信号至现场处理器（13）的控制信号生成模块（113）；
现场处理器（13）内置的控制信号生成模块（113）根据图像标定信号输出控制信号控制电动云台模块（112）的自稳传动机构，控制图像采集模块（111）聚焦标定物。
3.根据权利要求2所述的一种基于AR眼镜的远程运维指导控制方法，其特征在于：现场处理器（13）根据图像采集模块（111）采集的图像信息，并结合图像标定信号，判断图像采集模块（111）采集到的图像信息，将图像信息发送至控制信号生成模块（113）并识别标定信号中标定物的实时位移状态，且根据设定算法与远程处理器（23）输出的图像标定信号向结合对比，筛减设定时间内电动云台模块（112）电机的转动跟随量，并输出控制信号至电动云台模块（112）的自稳传动机构。
4.根据权利要求3所述的一种基于AR眼镜的远程运维指导控制方法，其特征在于：现场处理器（13）基于摄像机现场实时拍摄连续的图像信息，根据设定算法判断人体姿态位移的趋势，当人体姿态突然停止并有返回原姿态的趋势，控制信号生成模块（113）根据摄像机拍摄实时图片判断得出的人体位移趋势，提前输出控制信号至电动云台模块（112）的自稳传动机构。
5.根据权利要求4所述的一种基于AR眼镜的远程运维指导控制方法，其特征在于：现场信息提示件（12）中显示远程处理器（23）的图像标定信号，并在现场信息提示件（12）中显示标定物的聚焦框。
6.根据权利要求5所述的一种基于AR眼镜的远程运维指导控制方法，其特征在于：现场信息提示件（12）中显示远程处理器（23）的图像标定信号，并设置有信息提示模块，可在现场信息提示件（12）上显示远程指导端（2）给出的文字或视频信息。
7.根据权利要求6所述的一种基于AR眼镜的远程运维指导控制方法，其特征在于：远程图像显示件（21）还包括目标图像放大模块，将选定目标图像在远程图像显示件（21）上进行放大。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110752473.7A CN113393536B (zh) | 2021-07-03 | 2021-07-03 | 基于ar眼镜的远程运维指导控制系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110752473.7A CN113393536B (zh) | 2021-07-03 | 2021-07-03 | 基于ar眼镜的远程运维指导控制系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113393536A CN113393536A (zh) | 2021-09-14 |
| CN113393536B true CN113393536B (zh) | 2023-01-10 |
Family
ID=77625000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110752473.7A Active CN113393536B (zh) | 2021-07-03 | 2021-07-03 | 基于ar眼镜的远程运维指导控制系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113393536B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113920501A (zh) * | 2021-10-09 | 2022-01-11 | 蒂姆维澳(上海)网络技术有限公司 | 一种基于增强现实的检查方法、检查设备和远程协助方法 |
| CN114225160A (zh) * | 2021-12-16 | 2022-03-25 | 东莞市芯萌慧显电子科技有限公司 | 一种辅助输液的ar眼镜 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101035273A (zh) * | 2007-04-24 | 2007-09-12 | 北京中星微电子有限公司 | 视频监控中的自动跟踪控制方法和控制装置 |
| CN107214712A (zh) * | 2017-07-25 | 2017-09-29 | 上海控创信息技术股份有限公司 | 悬轨式机器人设备及系统 |
| CN108093244A (zh) * | 2017-12-01 | 2018-05-29 | 电子科技大学 | 一种远程随动立体视觉系统 |
| CN108170273A (zh) * | 2017-12-28 | 2018-06-15 | 南京华讯方舟通信设备有限公司 | 一种基于hololens眼镜的专家远程指导系统及实现方法 |
| CN110266992A (zh) * | 2019-06-24 | 2019-09-20 | 苏芯物联技术(南京)有限公司 | 一种基于增强现实的远程视频交互系统以及方法 |
| CN110443909A (zh) * | 2019-08-16 | 2019-11-12 | 广东工业大学 | 一种基于增强现实的巡检系统和方法 |
| CN110708384A (zh) * | 2019-10-12 | 2020-01-17 | 西安维度视界科技有限公司 | 一种基于ar的远程协助系统的交互方法、系统和存储介质 |
| CN112907756A (zh) * | 2021-03-10 | 2021-06-04 | 中国石油天然气集团有限公司 | 一种抢险ar后端辅助操作系统及辅助操作方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102685241A (zh) * | 2012-05-21 | 2012-09-19 | 广东威创视讯科技股份有限公司 | 一种远程维护系统及维护方法 |
| CN103332597B (zh) * | 2013-07-08 | 2015-01-07 | 宁波大榭招商国际码头有限公司 | 一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法 |
| CN206772445U (zh) * | 2017-04-06 | 2017-12-19 | 西安同步电气有限责任公司 | 一种变电站远程红外在线监测系统 |
-
2021
- 2021-07-03 CN CN202110752473.7A patent/CN113393536B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101035273A (zh) * | 2007-04-24 | 2007-09-12 | 北京中星微电子有限公司 | 视频监控中的自动跟踪控制方法和控制装置 |
| CN107214712A (zh) * | 2017-07-25 | 2017-09-29 | 上海控创信息技术股份有限公司 | 悬轨式机器人设备及系统 |
| CN108093244A (zh) * | 2017-12-01 | 2018-05-29 | 电子科技大学 | 一种远程随动立体视觉系统 |
| CN108170273A (zh) * | 2017-12-28 | 2018-06-15 | 南京华讯方舟通信设备有限公司 | 一种基于hololens眼镜的专家远程指导系统及实现方法 |
| CN110266992A (zh) * | 2019-06-24 | 2019-09-20 | 苏芯物联技术(南京)有限公司 | 一种基于增强现实的远程视频交互系统以及方法 |
| CN110443909A (zh) * | 2019-08-16 | 2019-11-12 | 广东工业大学 | 一种基于增强现实的巡检系统和方法 |
| CN110708384A (zh) * | 2019-10-12 | 2020-01-17 | 西安维度视界科技有限公司 | 一种基于ar的远程协助系统的交互方法、系统和存储介质 |
| CN112907756A (zh) * | 2021-03-10 | 2021-06-04 | 中国石油天然气集团有限公司 | 一种抢险ar后端辅助操作系统及辅助操作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113393536A (zh) | 2021-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101335832B (zh) | 图像处理装置和图像处理方法 | |
| CN113393536B (zh) | 基于ar眼镜的远程运维指导控制系统及方法 | |
| JP4770178B2 (ja) | カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法 | |
| JP6108176B2 (ja) | 画像処理装置及び画像処理方法 | |
| WO2020228769A1 (zh) | 一种基于变电站的3d实景巡视方法、系统和存储介质 | |
| CN102461153A (zh) | 控制装置、相机系统和程序 | |
| CN108319160B (zh) | 基于虚拟现实技术的核电站主控制室模拟机系统 | |
| JP7218728B2 (ja) | 制御装置および制御方法 | |
| JP2020004325A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US20190138803A1 (en) | Image processing apparatus, image processing system, and image processing method, and program | |
| KR100585822B1 (ko) | 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법 | |
| JP5813309B2 (ja) | 撮影システム | |
| CN111083368A (zh) | 一种基于云端的模拟物理云台全景视频展示系统 | |
| JP6004978B2 (ja) | 被写体画像抽出装置および被写体画像抽出・合成装置 | |
| JP2003028812A (ja) | Ｘ線透視装置 | |
| CN111651043A (zh) | 一种支持定制化多通道交互的增强现实系统 | |
| JP6355146B1 (ja) | 医療安全システム | |
| CN115314684B (zh) | 一种铁路桥梁的巡检方法、系统、设备及可读存储介质 | |
| CN110830725A (zh) | 大体标本拍摄仪及其控制方法 | |
| JP2005303683A (ja) | 画像送受信装置 | |
| JP2011188147A (ja) | 監視システム及び監視方法 | |
| US20060256202A1 (en) | Method and devicefor recording video data | |
| KR20120048343A (ko) | 파노라마 영상 제공 방법 및 장치 | |
| KR20180089639A (ko) | 수술 영상촬영 및 처리 시스템 | |
| JP6436606B1 (ja) | 医療映像システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Remote operation and maintenance guidance control system and method based on AR glasses Effective date of registration: 20230626 Granted publication date: 20230110 Pledgee: Shanghai Rural Commercial Bank Co.,Ltd. Songjiang sub branch Pledgor: TMVA (SHANGHAI) NETWORK TECHNOLOGY Co.,Ltd. Registration number: Y2023310000296 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20230110 Pledgee: Shanghai Rural Commercial Bank Co.,Ltd. Songjiang sub branch Pledgor: TMVA (SHANGHAI) NETWORK TECHNOLOGY Co.,Ltd. Registration number: Y2023310000296 |