CN112288889A - 指示信息展示方法、装置、计算机设备及存储介质 - Google Patents
指示信息展示方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112288889A CN112288889A CN202011193489.0A CN202011193489A CN112288889A CN 112288889 A CN112288889 A CN 112288889A CN 202011193489 A CN202011193489 A CN 202011193489A CN 112288889 A CN112288889 A CN 112288889A
- Authority
- CN
- China
- Prior art keywords
- target
- information
- target operation
- job site
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000000694 effects Effects 0.000 claims description 38
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 12
- 239000003550 marker Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012423 maintenance Methods 0.000 claims description 9
- 230000007547 defect Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000036828 Device occlusion Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Abstract
本公开提供了一种指示信息展示方法、装置、计算机设备及存储介质，包括：获取AR设备拍摄的作业现场图像；基于所述作业现场图像，确定与所述AR设备的目标作业任务关联的目标操作部件；获取所述目标操作部件的操作指示信息；在所述作业现场图像中叠加展示所述目标操作部件的操作指示信息。
Description
技术领域
本公开涉及增强现实(Augmented Reality，AR)技术领域，具体而言，涉及一种指示信息展示方法、装置、计算机设备及存储介质。
背景技术
随着工业技术的发展，现在越来越多工作操作步骤越来越复杂，需要操作人员依靠经验和储备知识进行操作，故要求操作人员有丰富的操作经验，对于操作人员的技术要求也越来越高。
为辅助操作人员的操作，一般会在操作设备的某些位置处粘贴提示标语，以对操作人员所需操作的设备的相关信息进行提示，然而这种方法会占用操作设备的实体位置，当需要展示的提示内容较多时，展示效果较差。
发明内容
本公开实施例至少提供一种指示信息展示方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种指示信息展示方法，包括：
获取AR设备拍摄的作业现场图像；
基于所述作业现场图像，确定与所述AR设备的目标作业任务关联的目标操作部件；
获取所述目标操作部件的操作指示信息；
在所述作业现场图像中叠加展示所述目标操作部件的操作指示信息。
上述方法中，通过AR设备拍摄的作业现场图像，可以自动确定作业现场中与AR设备的目标作业任务关联的目标操作部件，并在作业现场图像中叠加展示目标操作部件的操作指示信息，通过这种方式，一方面可以避免在实体位置上进行展示，其展示内容可以不受展示位置大小的影响；另一方面，由于操作指示信息是与作业现场图像中的目标操作部件对应的，因此，当作业现场图像发生变化时，作业现场图像中的目标操作部件会发生变化，操作指示信息也可以对应发生变化，可以在用户操作不同目标操作部件时，进行针对性提示，提升作业任务执行过程中的安全性。
一种可能的实施方式中，所述基于所述作业现场图像，确定与所述AR设备的目标作业任务关联的目标操作部件，包括：
基于标记物识别算法，或者基于预先训练的神经网络对所述作业现场图像进行操作部件识别，确定与所述AR设备的目标作业任务关联的目标操作部件。
上述实施方式中，可以基于标记物识别算法或者神经网络对操作部件进行智能识别，以便准确识别快速识别出目标操作部件。
一种可能的实施方式中，所述获取所述目标操作部件的操作指示信息，包括：
将所述作业现场图像与预先存储的各个操作部件在不同操作状态下的标记图像进行匹配，确定所述目标操作部件的操作状态信息；
基于所述目标操作部件的操作状态信息，确定待执行的目标操作步骤；
获取与所述目标操作步骤相关联的目标操作部件的操作指示信息。
上述实施方式中，通过作业现场图像，可以自动确定待执行的目标操作步骤，然后获取的是目标操作步骤相关联的目标操作部件的操作指示信息，避免了因为展示的操作指示信息过多所导致的，用户无法及时查找到需要的操作指示信息的问题。
一种可能的实施方式中，所述操作指示信息包括以下信息中的至少一种：
解剖图、出厂数据、技术规范信息、历史维修记录信息、正常工作参数信息、设备缺陷信息、操作结果统计信息。
一种可能的实施方式中，根据以下方法确定所述AR设备的目标作业任务：
基于所述作业现场图像，确定所述AR设备所在的目标作业区域；
获取与所述目标作业区域对应的目标作业任务。
基于作业现场图像，确定AR设备所在的目标作业区域，可以避免因为网络状况等因素，对于AR设备的定位精度的影响。
一种可能的实施方式中，所述方法还包括：
响应视频通话触发操作，将所述作业现场图像发送至远程辅助设备，所述作业现场图像用于在远程辅助设备进行展示；
接收所述远程辅助设备发送的音频信息，并通过所述AR设备播放所述音频信息。
通过将作业现场图像发送至远程辅助设备，其他人员可以基于远程辅助设备及时对操作人员进行指导，提升了作业过程中的安全性。
一种可能的实施方式中，所述在所述作业现场图像中叠加展示所述目标操作部件的操作指示信息，包括：
基于所述AR设备的当前网络环境信息和/或设备性能参数，确定所述操作指示信息的展现形式；
根据所述目标操作部件的操作指示信息和所述展示形式，生成所述目标操作部件的操作指示信息对应的AR特效；
在所述作业现场图像中叠加展示所述AR特效。
上述实施方式中，结合AR设备的当前网络环境信息和/或设备性能信息，来确定操作指示信息的展示形式，可以在丰富操作指示信息的展示形式的同时，避免因为网络卡顿、设备卡顿等原因造成的展示效果较差的问题。
一种可能的实施方式中，所述在所述作业现场图像中叠加展示所述AR特效，包括：
在所述作业现场图像中的预设位置区域叠加展示所述AR特效；或者，
识别所述作业现场图像中所述目标操作部件的位置信息，并基于所述目标操作部件的位置信息，叠加展示所述AR特效信息。
上述实施方式中，通过在作业现场图像叠加展示AR特效，可以避免实体展示位置对于展示内容的限制，提升用户体验。
第二方面，本公开实施例还提供一种指示信息展示装置，包括：
第一获取模块，用于获取AR设备拍摄的作业现场图像；
确定模块，用于基于所述作业现场图像，确定与所述AR设备的目标作业任务关联的目标操作部件；
第二获取模块，用于获取所述目标操作部件的操作指示信息；
展示模块，用于在所述作业现场图像中叠加展示所述目标操作部件的操作指示信息。
一种可能的实施方式中，所述确定模块，在基于所述作业现场图像，确定与所述AR设备的目标作业任务关联的目标操作部件时，用于：
基于标记物识别算法，或者基于预先训练的神经网络对所述作业现场图像进行操作部件识别，确定与所述AR设备的目标作业任务关联的目标操作部件。
一种可能的实施方式中，所述第一获取模块，在获取所述目标操作部件的操作指示信息时，用于：
将所述作业现场图像与预先存储的各个操作部件在不同操作状态下的标记图像进行匹配，确定所述目标操作部件的操作状态信息；
基于所述目标操作部件的操作状态信息，确定待执行的目标操作步骤；
获取与所述目标操作步骤相关联的目标操作部件的操作指示信息。
一种可能的实施方式中，所述操作指示信息包括以下信息中的至少一种：
解剖图、出厂数据、技术规范信息、历史维修记录信息、正常工作参数信息、设备缺陷信息、操作结果统计信息。
一种可能的实施方式中，所述确定模块，还用于根据以下方法确定所述AR设备的目标作业任务：
基于所述作业现场图像，确定所述AR设备所在的目标作业区域；
获取与所述目标作业区域对应的目标作业任务。
一种可能的实施方式中，所述装置还包括交互模块，用于：
响应视频通话触发操作，将所述作业现场图像发送至远程辅助设备，所述作业现场图像用于在远程辅助设备进行展示；
接收所述远程辅助设备发送的音频信息，并通过所述AR设备播放所述音频信息。
一种可能的实施方式中，所述展示模块，在所述作业现场图像中叠加展示所述目标操作部件的操作指示信息时，用于：
基于所述AR设备的当前网络环境信息和/或设备性能参数，确定所述操作指示信息的展现形式；
根据所述目标操作部件的操作指示信息和所述展示形式，生成所述目标操作部件的操作指示信息对应的AR特效；
在所述作业现场图像中叠加展示所述AR特效。
一种可能的实施方式中，所述展示模块，在所述作业现场图像中叠加展示所述AR特效时，用于：
在所述作业现场图像中的预设位置区域叠加展示所述AR特效；或者，
识别所述作业现场图像中所述目标操作部件的位置信息，并基于所述目标操作部件的位置信息，叠加展示所述AR特效信息。
第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述指示信息装置、计算机设备、及计算机可读存储介质的效果描述参见上述指示信息方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种指示信息展示方法的流程图；
图2示出了本公开实施例所提供的获取目标操作部件的操作指示信息的方法的流程图；
图3示出了本公开实施例所提供的在作业现场图像中叠加展示目标操作部件的操作指示信息的方法的流程图；
图4示出了本公开实施例所提供的在叠加展示AR特效信息后的作业现场图像的示意图；
图5示出了本公开实施例所提供的一种指示信息展示装置的架构示意图；
图6示出了本公开实施例所提供的计算机设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，相关技术中在展示对操作设备的提示信息时，一般是通过在操作设备上粘贴提示标语的方式，然而这种方法会占用操作设备的实体位置，当需要展示的提示内容较多时，无法通过粘贴的提示标语进行展示，展示效果较差。
基于上述研究，本公开提供了一种指示信息展示方法、装置、计算机设备及存储介质，通过AR设备拍摄的作业现场图像，可以自动确定作业现场中与AR设备的目标作业任务关联的目标操作部件，并在作业现场图像中叠加展示目标操作部件的操作指示信息，通过这种方式，一方面可以避免在实体位置上进行展示，其展示内容可以不受展示位置大小的影响；另一方面，由于操作指示信息是与作业现场图像中的目标操作部件对应的，因此，当作业现场图像发生变化时，作业现场图像中的目标操作部件会发生变化，操作指示信息也可以对应发生变化，可以在用户操作不同目标操作部件时，进行针对性提示，提升作业任务执行过程中的安全性。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种指示信息展示方法进行详细介绍，本公开实施例所提供的指示信息展示方法的执行主体一般为具有一定计算能力的计算机设备，例如可以为AR设备，AR设备比如可以包括AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有功能和数据处理功能的设备，AR设备可以连接云端服务器。
参见图1所示，为本公开实施例提供的一种指示信息展示方法的流程图，所述方法包括步骤101～步骤104，其中：
步骤101，获取AR设备拍摄的作业现场图像。
步骤102，基于所述作业现场图像，确定与所述AR设备的目标作业任务关联的目标操作部件。
步骤103，获取所述目标操作部件的操作指示信息。
步骤104，在所述作业现场图像中叠加展示所述目标操作部件的操作指示信息。
上述方法中，通过AR设备拍摄的作业现场图像，可以自动确定作业现场中与AR设备的目标作业任务关联的目标操作部件，并在作业现场图像中叠加展示目标操作部件的操作指示信息，通过这种方式，一方面可以避免在实体位置上进行展示，其展示内容可以不受展示位置大小的影响；另一方面，由于操作指示信息是与作业现场图像中的目标操作部件对应的，因此，当作业现场图像发生变化时，作业现场图像中的目标操作部件会发生变化，操作指示信息也可以对应发生变化，可以在用户操作不同目标操作部件时，进行针对性提示，提升作业任务执行过程中的安全性。
下述对步骤101-步骤104进行详细说明。
针对步骤101以及针对步骤102：
AR设备拍摄的作业现场图像可以为佩戴有AR设备的用户在工业现场执行目标作业任务时采集的任一帧场景图像。
在获取AR设备拍摄的作业现场图像之后，可以基于作业现场图像，确定与AR设备的目标作业任务关联的目标操作部件。具体实施时，可以先确定AR设备对应的目标作业任务，并根据目标作业任务确定关联的目标操作部件。其中，目标操作部件可以为目标作业任务中包括的至少一个待操作的部件。
在一种可能的实施方式中，所述基于所述作业现场图像，确定与所述AR设备的目标作业任务关联的目标操作部件，包括：
基于标记物识别算法，或者基于预先训练的神经网络对所述作业现场图像进行操作部件识别，确定与所述AR设备的目标作业任务关联的目标操作部件。
方式一中，基于标记物识别算法对作业现场图像进行操作部件识别，确定AR设备的目标作业任务关联的目标操作部件的过程为：可以利用标记物识别算法，将作业现场图像与预先存储的标记有操作部件的至少一帧样本图像进行匹配，确定作业现场图像中包括的至少一个操作部件；再基于目标作业任务，从确定的至少一个操作部件中，选择与AR设备的目标作业任务关联的目标操作部件。
或者，基于标记物识别算法对作业现场图像进行操作部件识别，确定AR设备的目标作业任务关联的目标操作部件的过程为：可以基于AR设备的目标作业任务，确定该目标作业任务对应的至少一个待操作部件，并获取标记有该至少一个待操作部件的目标样本图像；再将作业现场图像与目标样本图像进行匹配，基于匹配结果，确定作业现场图像中，与AR设备的目标作业任务关联的目标操作部件。
方式二中，基于预先训练的神经网络对作业现场图像进行操作部件识别，确定AR设备的目标作业任务关联的目标操作部件的过程为：在预先训练的神经网络为用于对操作部件进行检测的神经网络时，可以将作业现场图像输入至预先训练的神经网络中，确定作业现场图像中包含的至少一个操作部件的类别和位置信息(操作部件的检测框的位置信息)。或者，在预先训练的神经网络为用于对图像进行实例分割的神经网络时，可以将作业现场图像输入至预先训练的神经网络中，生成作业现场图像对应的实例分割图像，实例分割图像中包括至少一个操作部件的类别和轮廓信息。最后，可以基于目标作业任务，从检测到的至少一个操作部件中，选择与AR设备的目标作业任务关联的目标操作部件。
可以根据下述训练该神经网络：获取标记有操作部件的训练样本图像，将该训练样本图像输入至待训练的神经网络中，对待训练的神经网络进行训练，直至训练后的神经网络满足设置的截止条件为止，比如，设置的截止条件可以为训练后的神经网络的准确度大于设置的准确度阈值；或者，可以为训练后的神经网络的损失值小于设置的损失阈值。
一种可选实施方式中，可以根据以下方法确定所述AR设备的目标作业任务：
步骤一、基于所述作业现场图像，确定所述AR设备所在的目标作业区域。
步骤二、获取与所述目标作业区域对应的目标作业任务。
一种可选实施方式，可以先基于作业现场图像、以及预先构建的作业现场的三维场景地图，确定AR设备的位姿信息；然后基于AR设备的位姿信息，确定与该位姿信息对应的目标作业区域；最后，基于预先设置的每个作业区域对应的作业任务，获取与目标作业区域对应的目标作业任务。
具体的，可以将AR设备获取的作业现场图像、与预先构建的作业现场的三维场景模型进行匹配；然后基于匹配结果，确定AR设备的位姿信息。
或者，还可以基于与作业现场对应的场景的三维场景模型，可以获取AR设备在各个位姿信息下的实景图像，通过将AR设备实时获取的现场图像与基于三维场景模型获取到的AR设备在各个位姿信息下的实景图像进行匹配，可以获取AR设备的位姿信息，该位姿信息包括但不限于位置信息和朝向信息等。
另外一实施方式中，还可以先检测作业现场图像对应的作业现场中多个目标检测点的位置信息，以及确定每一个目标检测点在作业现场图像中对应的目标像素点，然后可以确定作业现场图像中各个目标像素点分别对应的深度信息(例如可以通过对作业现场图像进行深度检测获得)，然后基于目标像素点的深度信息，确定AR设备的位姿信息。
其中，所述目标检测点可以是预先设置好的作业现场中的位置点，例如可以是杯子、风扇、饮水机等，目标像素点的深度信息可以用来表示该目标像素点对应的目标检测点与AR设备的图像采集装置之间的距离。示例性的，目标检测点在场景坐标系中的位置坐标是预先设置好的。
具体的，在确定AR设备的位姿信息时，可以通过目标检测点与目标检测点对应的目标像素点在现场图像中的坐标信息确定位姿信息中的朝向；以及基于目标检测点对应的目标像素点的深度值确定AR设备的位置信息，由此可以确定AR设备的位姿信息。接着，可以基于AR设备的位姿信息，确定与该位姿信息对应的目标作业区域；最后，基于预先设置的每个作业区域对应的作业任务，获取与目标作业区域对应的目标作业任务。
在一种可能的实施方式中，各个作业区域对应不同的作业任务，每个作业区域可以对应至少一个作业任务。故可以在确定了AR设备的目标作业区域之后，可以基于作业区域与作业任务之间的对应关系，获取与目标作业区域对应的目标作业任务。
针对步骤103：
在确定了与AR设备的目标作业任务关联的目标操作部件之后，可以获取目标操作部件的操作指示信息。其中，所述操作指示信息包括以下信息中的至少一种：解剖图、出厂数据、技术规范信息、历史维修记录信息、正常工作参数信息、设备缺陷信息、操作结果统计信息。
具体的，解剖图是指目标操作部件的结构分解图，以便可以通过该解剖图对目标操作部件的结构有一个详细、明确的认知。出厂数据为目标操作部件在出厂时预装的基本数据。技术规范信息可以为操作目标操作部件时的基本要求。历史维修记录信息可以包括但不限于：维修时间、维修原因、维修方案、维修人员等。正常工作参数信息为正常工作时目标操作部件的参数信息。设备缺陷信息可以为目标操作设备先天的缺陷信息和/或后天造成的缺陷的信息。操作结果统计信息可以包括但不限于：操作次数、操作时间、操作人员、操作内容、已操作的目标操作部件的参数信息等。其中，每种操作指示信息的内容可以根据实际需求进行设置。
在一种实施方式中，可以将每个操作部件对应的操作指示信息与该操作部件的标识关联存储，以便在确定了目标操作部件之后，可以基于该目标操作部件的目标标识，获取该目标操作部件对应的操作指示信息。
另一种可选实施方式中，参见图2所示，所述获取所述目标操作部件的操作指示信息，包括：
步骤1031，将所述作业现场图像与预先存储的各个操作部件在不同操作状态下的标记图像进行匹配，确定所述目标操作部件的操作状态信息。
步骤1032，基于所述目标操作部件的操作状态信息，确定待执行的目标操作步骤。
步骤1033，获取与所述目标操作步骤相关联的目标操作部件的操作指示信息。
这里，可以预先存储各个操作部件在不同操作状态下的标记图像，比如，可以存储操作部件A在处于开启的操作状态下对应标记图像A，和操作部件A在处于关闭的操作状态下对应标记图像B。具体实施时，可以基于目标操作部件，从预先存储的各个操作部件在不同操作状态下的标记图像中，选择目标操作部件在不同操作状态下的候选标记图像；再可以将作业现场图像、与选择的目标操作部件在不同操作状态下的候选标记图像进行匹配，确定目标操作部件的操作状态信息。
再可以基于目标操作部件的操作状态信息，确定待执行的目标操作步骤。在目标操作部件为一个时，可以根据目标操作部件的操作状态信息、以及每个操作步骤执行后目标操作部件对应的操作状态信息，确定目标操作部件对应的已执行的操作步骤、和待执行的目标操作步骤。在目标操作部件为多个时，可以根据多个目标操作部件的操作状态信息、和每个操作步骤执行后多个目标操作部件分别对应的操作状态信息，确定目标操作对应的已执行的操作步骤、和待执行的目标操作步骤。
可以预先为每个操作步骤关联存储对应的操作指示信息，在确定待执行的目标操作步骤之后，可以获取目标操作步骤相关联的目标操作部件的操作指示信息。其中，不同的操作步骤可以对应不同的操作执行信息。
针对步骤104：
在获取了目标操作部件的操作指示信息之后，可以在作业现场图像中叠加展示目标操作部件的操作指示信息。
在一种可选实施方式中，参见图3所示，所述在所述作业现场图像中叠加展示所述目标操作部件的操作指示信息，包括：
步骤1041，基于所述AR设备的当前网络环境信息和/或设备性能参数，确定所述操作指示信息的展现形式。
步骤1042，根据所述目标操作部件的操作指示信息和所述展示形式，生成所述目标操作部件的操作指示信息对应的AR特效。
步骤1043，在所述作业现场图像中叠加展示所述AR特效。
其中，AR设备的当前网络环境信息例如可以包括AR设备当前的网络类型，例如可以包括无线局域网wifi、第三代移动通信技术(the 3rd generation mobilecommunication technolog，3G)、第四代移动通信技术(the4th generation mobilecommunication technolog，4G)、第五代移动通信技术(the 5th generation mobilecommunication technolog，5G)等。
又例如，所述AR设备的当前网络环境信息还可以包括所述AR设备的网速等。
所述AR设备的设备性能信息例如可以包括AR设备CPU占用率、AR设备的剩余电量等。
所述操作指示信息的展示形式例如可以包括文字、图片、或者视频动画等。
在基于AR设备的当前网络环境信息和/或设备性能信息，确定操作指示信息的展示形式时，可以基于预先设置的操作指示信息的展示形式对于所述网络环境信息和/或设备性能信息的约束条件进行确定。
例如，在当前网络环境信息为5G网络的情况下，操作指示信息的展示形式可以为视频动画，在当前网络环境信息为其他网络的情况下，操作指示信息的展示形式可以为文字、图片等。
在一种可能的实施方式中，在确定操作指示信息的展示形式时，还可以接收所述目标用户输入的选择指令，基于所述目标用户的选择指令，确定操作指示信息的展示形式。其中，目标用户为使用该AR设备的用户。
在确定了操作指示信息的展示形式之后，可以根据目标操作部件的操作指示信息和展示形式，生成目标操作部件的操作指示信息对应的AR特效，并在作业现场图像中叠加展示AR特效。
在一种可能的实施方式中，所述在所述作业现场图像中叠加展示所述AR特效，包括：
方式一、在所述作业现场图像中的预设位置区域叠加展示所述AR特效。
方式二、识别所述作业现场图像中所述目标操作部件的位置信息，并基于所述目标操作部件的位置信息，叠加展示所述AR特效信息。
方式一中，预设位置区域可以为在视线边缘的位置区域，比如，预设位置区域可以为位于作业现场图像的左下角的区域，或者，可以为位于作业现场图像的右下角的区域，其中，预设位置区域可以灵活设置。进而，可以在作业现场图像中的预设位置区域叠加展示AR特效，减少叠加的AR特效对作业人员视线的影响。
方式二中，可以先对作业现场图像进行识别，确定目标操作部件的位置信息；或者，若在确定与AR设备的目标作业任务关联的目标操作部件时，检测得到了目标操作部件的位置信息时，可以获取该目标操作部件的位置信息，并基于目标操作部件的位置信息，叠加展示AR特效信息。比如可以在目标操作部件的周围区域，叠加展示AR特效信息。
示例性的，可以将作业现场图像输入至预先训练的神经网络模型中，神经网络模型可以输出目标操作部件在作业现场图像中的位置。
示例性的，在叠加操作指示信息对应的AR特效信息后，所述作业现场图像可以如图4所示，图4中41表示待操作位置，以及指示当前操作步骤的指示标语42。
一种可选实施方式中，所述方法还包括：
步骤一、响应视频通话触发操作，将所述作业现场图像发送至远程辅助设备，所述作业现场图像用于在远程辅助设备进行展示。
步骤二、接收所述远程辅助设备发送的音频信息，并通过所述AR设备播放所述音频信息。
视频通话触发操作可以为使用AR设备的用户主动发起，也可以为其他用户主动发起。响应视频通话触发操作，可以将作业现场图像发送至远程辅助设备，以便远程辅助设备可以对作业现场图像进行实时展示。其他用户可以基于远程辅助设备获取作业现场图像，并基于作业现场图像进行现场辅助指导，例如可以向AR设备发送音频信息。AR设备可以接收远程辅助设备发送的音频信息，并通过AR设备播放所述音频信息。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与指示信息展示方法对应的指示信息展示装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述指示信息展示方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图5所示，为本公开实施例提供的一种指示信息展示装置的架构示意图，所述装置包括：第一获取模块501、确定模块502、第二获取模块503、以及展示模块504；其中，
第一获取模块501，用于获取AR设备拍摄的作业现场图像；
确定模块502，用于基于所述作业现场图像，确定与所述AR设备的目标作业任务关联的目标操作部件；
第二获取模块503，用于获取所述目标操作部件的操作指示信息；
展示模块504，用于在所述作业现场图像中叠加展示所述目标操作部件的操作指示信息。
一种可能的实施方式中，所述确定模块502，在基于所述作业现场图像，确定与所述AR设备的目标作业任务关联的目标操作部件时，用于：
基于标记物识别算法，或者基于预先训练的神经网络对所述作业现场图像进行操作部件识别，确定与所述AR设备的目标作业任务关联的目标操作部件。
一种可能的实施方式中，所述第一获取模块501，在获取所述目标操作部件的操作指示信息时，用于：
将所述作业现场图像与预先存储的各个操作部件在不同操作状态下的标记图像进行匹配，确定所述目标操作部件的操作状态信息；
基于所述目标操作部件的操作状态信息，确定待执行的目标操作步骤；
获取与所述目标操作步骤相关联的目标操作部件的操作指示信息。
一种可能的实施方式中，所述操作指示信息包括以下信息中的至少一种：
解剖图、出厂数据、技术规范信息、历史维修记录信息、正常工作参数信息、设备缺陷信息、操作结果统计信息。
一种可能的实施方式中，所述确定模块502，还用于根据以下方法确定所述AR设备的目标作业任务：
基于所述作业现场图像，确定所述AR设备所在的目标作业区域；
获取与所述目标作业区域对应的目标作业任务。
一种可能的实施方式中，所述装置还包括交互模块505，用于：
响应视频通话触发操作，将所述作业现场图像发送至远程辅助设备，所述作业现场图像用于在远程辅助设备进行展示；
接收所述远程辅助设备发送的音频信息，并通过所述AR设备播放所述音频信息。
一种可能的实施方式中，所述展示模块504，在所述作业现场图像中叠加展示所述目标操作部件的操作指示信息时，用于：
基于所述AR设备的当前网络环境信息和/或设备性能参数，确定所述操作指示信息的展现形式；
根据所述目标操作部件的操作指示信息和所述展示形式，生成所述目标操作部件的操作指示信息对应的AR特效；
在所述作业现场图像中叠加展示所述AR特效。
一种可能的实施方式中，所述展示模块504，在所述作业现场图像中叠加展示所述AR特效时，用于：
在所述作业现场图像中的预设位置区域叠加展示所述AR特效；或者，
识别所述作业现场图像中所述目标操作部件的位置信息，并基于所述目标操作部件的位置信息，叠加展示所述AR特效信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图6所示，为本公开实施例提供的计算机设备600的结构示意图，包括处理器601、存储器602、和总线603。其中，存储器602用于存储执行指令，包括内存6021和外部存储器6022；这里的内存6021也称内存储器，用于暂时存放处理器601中的运算数据，以及与硬盘等外部存储器6022交换的数据，处理器601通过内存6021与外部存储器6022进行数据交换，当计算机设备600运行时，处理器601与存储器602之间通过总线603通信，使得处理器601在执行以下指令：
获取AR设备拍摄的作业现场图像；
基于所述作业现场图像，确定与所述AR设备的目标作业任务关联的目标操作部件；
获取所述目标操作部件的操作指示信息；
在所述作业现场图像中叠加展示所述目标操作部件的操作指示信息。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的指示信息展示方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的指示信息展示方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的指示信息展示方法的步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (11)
1.一种指示信息展示方法，其特征在于，包括：
获取AR设备拍摄的作业现场图像；
基于所述作业现场图像，确定与所述AR设备的目标作业任务关联的目标操作部件；
获取所述目标操作部件的操作指示信息；
在所述作业现场图像中叠加展示所述目标操作部件的操作指示信息。
2.根据权利要求1所述的方法，其特征在于，所述基于所述作业现场图像，确定与所述AR设备的目标作业任务关联的目标操作部件，包括：
基于标记物识别算法，或者基于预先训练的神经网络对所述作业现场图像进行操作部件识别，确定与所述AR设备的目标作业任务关联的目标操作部件。
3.根据权利要求1或2所述的方法，其特征在于，所述获取所述目标操作部件的操作指示信息，包括：
将所述作业现场图像与预先存储的各个操作部件在不同操作状态下的标记图像进行匹配，确定所述目标操作部件的操作状态信息；
基于所述目标操作部件的操作状态信息，确定待执行的目标操作步骤；
获取与所述目标操作步骤相关联的目标操作部件的操作指示信息。
4.根据权利要求1～3任一所述的方法，其特征在于，所述操作指示信息包括以下信息中的至少一种：
解剖图、出厂数据、技术规范信息、历史维修记录信息、正常工作参数信息、设备缺陷信息、操作结果统计信息。
5.根据权利要求1～4任一所述的方法，其特征在于，根据以下方法确定所述AR设备的目标作业任务：
基于所述作业现场图像，确定所述AR设备所在的目标作业区域；
获取与所述目标作业区域对应的目标作业任务。
6.根据权利要求1～5任一所述的方法，其特征在于，所述方法还包括：
响应视频通话触发操作，将所述作业现场图像发送至远程辅助设备，所述作业现场图像用于在远程辅助设备进行展示；
接收所述远程辅助设备发送的音频信息，并通过所述AR设备播放所述音频信息。
7.根据权利要求1～5任一所述的方法，其特征在于，所述在所述作业现场图像中叠加展示所述目标操作部件的操作指示信息，包括：
基于所述AR设备的当前网络环境信息和/或设备性能参数，确定所述操作指示信息的展现形式；
根据所述目标操作部件的操作指示信息和所述展示形式，生成所述目标操作部件的操作指示信息对应的AR特效；
在所述作业现场图像中叠加展示所述AR特效。
8.根据权利要求7所述的方法，其特征在于，所述在所述作业现场图像中叠加展示所述AR特效，包括：
在所述作业现场图像中的预设位置区域叠加展示所述AR特效；或者，
识别所述作业现场图像中所述目标操作部件的位置信息，并基于所述目标操作部件的位置信息，叠加展示所述AR特效信息。
9.一种指示信息展示装置，其特征在于，包括：
第一获取模块，用于获取AR设备拍摄的作业现场图像；
确定模块，用于基于所述作业现场图像，确定与所述AR设备的目标作业任务关联的目标操作部件；
第二获取模块，用于获取所述目标操作部件的操作指示信息；
展示模块，用于在所述作业现场图像中叠加展示所述目标操作部件的操作指示信息。
10.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一项所述的指示信息展示方法的步骤。
11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一项所述的指示信息展示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011193489.0A CN112288889A (zh) | 2020-10-30 | 2020-10-30 | 指示信息展示方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011193489.0A CN112288889A (zh) | 2020-10-30 | 2020-10-30 | 指示信息展示方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112288889A true CN112288889A (zh) | 2021-01-29 |
Family
ID=74352716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011193489.0A Pending CN112288889A (zh) | 2020-10-30 | 2020-10-30 | 指示信息展示方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112288889A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113593078A (zh) * | 2021-07-28 | 2021-11-02 | 三一汽车起重机械有限公司 | 作业机械的辅助图像显示方法、装置及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106920071A (zh) * | 2017-02-23 | 2017-07-04 | 广东电网有限责任公司教育培训评价中心 | 变电站现场作业辅助方法和系统 |
| CN108919882A (zh) * | 2018-04-24 | 2018-11-30 | 北京拓盛智联技术有限公司 | 一种基于ar技术的设备主动安全操作方法和系统 |
| CN110580024A (zh) * | 2019-09-17 | 2019-12-17 | Oppo广东移动通信有限公司 | 基于增强现实的车间辅助作业实现方法、系统及存储介质 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
-
2020
- 2020-10-30 CN CN202011193489.0A patent/CN112288889A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106920071A (zh) * | 2017-02-23 | 2017-07-04 | 广东电网有限责任公司教育培训评价中心 | 变电站现场作业辅助方法和系统 |
| CN108919882A (zh) * | 2018-04-24 | 2018-11-30 | 北京拓盛智联技术有限公司 | 一种基于ar技术的设备主动安全操作方法和系统 |
| CN110580024A (zh) * | 2019-09-17 | 2019-12-17 | Oppo广东移动通信有限公司 | 基于增强现实的车间辅助作业实现方法、系统及存储介质 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113593078A (zh) * | 2021-07-28 | 2021-11-02 | 三一汽车起重机械有限公司 | 作业机械的辅助图像显示方法、装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101930657B1 (ko) | 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법 | |
| CN110716645A (zh) | 一种增强现实数据呈现方法、装置、电子设备及存储介质 | |
| WO2016032889A1 (en) | Extracting sensor data for augmented reality content | |
| CN112288882A (zh) | 一种信息展示方法、装置、计算机设备及存储介质 | |
| CN112287928A (zh) | 一种提示方法、装置、电子设备及存储介质 | |
| US9424689B2 (en) | System,method,apparatus and computer readable non-transitory storage medium storing information processing program for providing an augmented reality technique | |
| US10783714B2 (en) | Methods and systems for automatically tailoring a form of an extended reality overlay object | |
| CN111638797A (zh) | 一种展示控制方法及装置 | |
| CN111623782A (zh) | 导航路线的展示方法、三维场景模型的生成方法及装置 | |
| CN112598805A (zh) | 一种提示信息展示方法、装置、设备及存储介质 | |
| KR102418994B1 (ko) | 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법 | |
| CN112905014A (zh) | Ar场景下的交互方法、装置、电子设备及存储介质 | |
| CN112288883B (zh) | 作业指导信息的提示方法、装置、电子设备及存储介质 | |
| CN112288889A (zh) | 指示信息展示方法、装置、计算机设备及存储介质 | |
| CN113345108A (zh) | 增强现实数据展示方法、装置、电子设备及存储介质 | |
| KR101308184B1 (ko) | 윈도우 형태의 증강현실을 제공하는 장치 및 방법 | |
| CN112288881B (zh) | 一种图像展示方法、装置、计算机设备和存储介质 | |
| CN112365607A (zh) | 一种增强现实ar交互的方法、装置、设备及存储介质 | |
| CN111665945B (zh) | 一种游览信息展示方法及装置 | |
| CN113359983A (zh) | 增强现实数据呈现方法、装置、电子设备及存储介质 | |
| KR20150086840A (ko) | 복수개의 카메라를 이용한 휴대 장치 및 제어방법 | |
| KR101879102B1 (ko) | 증강현실 시스템 구현 방법 | |
| CN112991514A (zh) | Ar数据展示方法、装置、电子设备及存储介质 | |
| CN114241046A (zh) | 数据标注方法、装置、计算机设备及存储介质 | |
| CN113011369A (zh) | 一种位置区域监控方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210129 |