CN112288882A - 一种信息展示方法、装置、计算机设备及存储介质 - Google Patents
一种信息展示方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112288882A CN112288882A CN202011196108.4A CN202011196108A CN112288882A CN 112288882 A CN112288882 A CN 112288882A CN 202011196108 A CN202011196108 A CN 202011196108A CN 112288882 A CN112288882 A CN 112288882A
- Authority
- CN
- China
- Prior art keywords
- information
- equipment
- determining
- job
- scene image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000007613 environmental effect Effects 0.000 claims abstract description 64
- 230000000694 effects Effects 0.000 claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 239000003550 marker Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 description 20
- 238000001514 detection method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 208000036828 Device occlusion Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Architecture (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种信息展示方法、装置、计算机设备及存储介质，其中，该方法包括：确定所述AR设备所在的目标作业区域以及获取所述AR设备所处的环境状态信息；基于所述环境状态信息，从与所述目标作业区域对应的多项作业中，确定与所述环境状态信息匹配的至少一项作业的作业指导内容；在所述AR设备展示的作业现场的场景图像中叠加展示包括所述作业指导内容的AR特效数据。
Description
技术领域
本公开涉及增强现实(Augmented Reality，AR)技术领域，具体而言，涉及一种信息展示方法、装置、计算机设备及存储介质。
背景技术
随着工业技术的发展，现在越来越多工作操作步骤越来越复杂，对于操作环境的要求也越来越严格。
相关技术中，为保证工作人员在操作过程中的安全，一般会操作设备的某些位置处粘贴提示标语，以对操作人员在开始操作之前对操作环境进行检测，然而这种方法会占用操作设备的实体位置，当需要检测内容较多时，对应的需要展示的内容也比较多，展示效果较差；另外基于人工对操作环境进行检测，可能会因为人工对于某一环境信息漏检，引起操作过程发生危险。
发明内容
本公开实施例至少提供一种信息展示方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种信息展示方法，包括：
确定所述AR设备所在的目标作业区域以及获取所述AR设备所处的环境状态信息；
基于所述环境状态信息，从与所述目标作业区域对应的多项作业中，确定与所述环境状态信息匹配的至少一项作业的作业指导内容；
在所述AR设备展示的作业现场的场景图像中叠加展示包括所述作业指导内容的AR特效数据。
上述方法中，可以自动根据AR设备所处的环境信息，筛选出在当前环境状态信息下可执行的至少一项作业，并在AR设备展示的作业现场的场景图像中展示作业指导内容的AR特效数据，通过这种方法，一方面可以避免在实体位置上进行展示，其展示内容的多少不受展示位置大小的限制；另一方面可以降低由于人工对环境状态信息检测失误所带来的操作危险性，提升了工作人员在操作过程中的安全性。
一种可能的实施方式中，所述在所述AR设备展示的作业现场的场景图像中叠加展示包括所述作业指导内容的AR特效数据，包括：
获取所述AR设备的当前网络环境信息和/或设备性能信息；
基于所述当前网络环境和/或设备性能信息，确定所述作业指导内容的展示形式；
获取与所述确定的展示形式对应的包括所述作业指导内容的AR特效数据，并在所述场景图像中叠加展示获取的所述AR特效数据。
上述实施方式中，结合AR设备的当前网络环境信息和/或设备性能信息，来确定作业指导内容的展示形式，可以在丰富作业指导内容的展示形式的同时，避免因为网络卡顿、设备卡顿等原因造成的展示效果较差的问题。
一种可能的实施方式中，所述方法还包括：
基于检测到的环境状态信息，确定所述至少一项作业分别对应的风险等级；
根据确定的风险等级，确定与所述风险等级匹配的风险提示信息；
在所述AR设备展示的作业现场的场景图像中叠加展示包括所述风险提示信息的AR特效数据。
上述实施方式中，基于环境状态信息，自动确定对应的风险等级，可以提高风险等级确定的精度和效率；通过在场景图像中叠加展示风险提示信息，可以在用户作业过程中对用户进行提示，增加了用户作业过程中的安全性。
一种可能的实施方式中，所述确定所述AR设备所在的目标作业区域，包括：
基于所述AR设备拍摄的作业现场的场景图像，确定所述AR设备的位置信息；
基于所述AR设备的位置信息，确定所述AR设备所在的目标作业区域。
上述实施方式中，可以基于AR设备拍摄的场景图像，确定AR设备的位置信息，可以避免因为网络环境等因素对于定位精度的影响，提升了定位精度。
一种可能的实施方式中，所述基于所述AR设备拍摄的作业现场的场景图像，确定所述AR设备的位置信息，包括：
基于所述AR设备拍摄的作业现场的场景图像和所述作业现场对应的三维场景地图，确定所述AR设备的位置信息；或者，
识别所述AR设备拍摄的作业现场的场景图像中的目标操作部件，将预先设置的所述目标操作部件对应的位置信息确定为所述AR设备的位置信息。
上述实施方式中，提供了多种确定AR设备的位置信息的方法，可以在其中一个方法无法确定AR设备的位置信息时，通过另一个方法进行确定，提高了AR设备的定位精度。
一种可能的实施方式中，所述识别所述AR设备拍摄的作业现场的场景图像中的目标操作部件，包括：
基于标记物识别算法，或者基于预先训练的神经网络，识别所述AR设备拍摄的作业现场的场景图像的目标操作部件。
上述实施方式中，可以基于标记物识别算法或者神经网络对操作部件进行智能识别，以便准确识别快速识别出目标操作部件。
一种可能的实施方式中，所述获取所述AR设备所处的环境状态信息，包括：
获取部署在所述目标作业区域的传感设备采集的环境状态信息。
通过部署在目标作业区域的传感设备，可以实时采集环境状态信息，进而实现对于环境状态信息的实时监测。
第二方面，本公开实施例还提供一种信息展示装置，包括：
第一确定模块，用于确定所述AR设备所在的目标作业区域以及获取所述AR设备所处的环境状态信息；
第二确定模块，用于基于所述环境状态信息，从与所述目标作业区域对应的多项作业中，确定与所述环境状态信息匹配的至少一项作业的作业指导内容；
展示模块，用于在所述AR设备展示的作业现场的场景图像中叠加展示包括所述作业指导内容的AR特效数据。
一种可能的实施方式中，所述展示模块，在所述AR设备展示的作业现场的场景图像中叠加展示包括所述作业指导内容的AR特效数据时，用于：
获取所述AR设备的当前网络环境信息和/或设备性能信息；
基于所述当前网络环境和/或设备性能信息，确定所述作业指导内容的展示形式；
获取与所述确定的展示形式对应的包括所述作业指导内容的AR特效数据，并在所述场景图像中叠加展示获取的所述AR特效数据。
一种可能的实施方式中，所述装置还包括：风险监测模块，用于：
基于检测到的环境状态信息，确定所述至少一项作业分别对应的风险等级；
根据确定的风险等级，确定与所述风险等级匹配的风险提示信息；
在所述AR设备展示的作业现场的场景图像中叠加展示包括所述风险提示信息的AR特效数据。
一种可能的实施方式中，所述第一确定模块，在确定所述AR设备所在的目标作业区域时，用于：
基于所述AR设备拍摄的作业现场的场景图像，确定所述AR设备的位置信息；
基于所述AR设备的位置信息，确定所述AR设备所在的目标作业区域。
一种可能的实施方式中，所述第一确定模块，在基于所述AR设备拍摄的作业现场的场景图像，确定所述AR设备的位置信息时，用于：
基于所述AR设备拍摄的作业现场的场景图像和所述作业现场对应的三维场景地图，确定所述AR设备的位置信息；或者，
识别所述AR设备拍摄的作业现场的场景图像中的目标操作部件，将预先设置的所述目标操作部件对应的位置信息确定为所述AR设备的位置信息。
一种可能的实施方式中，所述第一确定模块，在识别所述AR设备拍摄的作业现场的场景图像中的目标操作部件时，用于：
基于标记物识别算法，或者基于预先训练的神经网络，识别所述AR设备拍摄的作业现场的场景图像的目标操作部件。
一种可能的实施方式中，所述第一确定模块，在获取所述AR设备所处的环境状态信息时，用于：
获取部署在所述目标作业区域的传感设备采集的环境状态信息。
第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种信息展示方法的流程图；
图2示出了本公开实施例所提供信息展示方法中，神经网络的训练过程的流程图；
图3示出了本公开实施例所提供信息展示方法中，在AR设备展示的场景图像中叠加展示作业指导内容的AR特效数据的具体方法的流程图；
图4示出了本公开实施例所提供的信息展示方法中，场景图像的示意图；
图5示出了本公开实施例所提供的一种信息展示装置的示意图；
图6示出了本公开实施例所提供的一种计算机设备600的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，相关技术中，为保证工作人员在操作过程中的安全，一般会操作设备的某些位置处粘贴提示标语，以对操作人员在开始操作之前对操作环境进行检测，然而这种方法会占用操作设备的实体位置，当需要检测内容较多时，对应的需要展示的内容也比较多，展示效果较差；另外基于人工对操作环境进行检测，可能会因为人工对于某一环境信息漏检，引起操作过程发生危险。
基于上述研究，本公开提供了一种信息展示方法，可以自动根据AR设备所处的环境信息，筛选出在当前环境状态信息下可执行的至少一项作业，并在AR设备展示的作业现场的场景图像中展示作业指导内容的AR特效数据，通过这种方法，一方面可以避免在实体位置上进行展示，其展示内容的多少不受展示位置大小的限制；另一方面可以降低由于人工对环境状态信息检测失误所带来的操作危险性，提升了工作人员在操作过程中的安全性。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种信息展示方法进行详细介绍，本公开实施例所提供的信息展示方法的执行主体一般为具有一定计算能力的计算机设备，例如可以为AR设备，所述AR设备比如可以包括AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有功能和数据处理功能的设备，AR设备可以连接云端服务器。
参见图1所示，为本公开实施例提供的一种信息展示方法的流程图，所述方法包括步骤101～步骤103，其中：
步骤101、确定所述AR设备所在的目标作业区域以及获取所述AR设备所处的环境状态信息。
步骤102、基于所述环境状态信息，从与所述目标作业区域对应的多项作业中，确定与所述环境状态信息匹配的至少一项作业的作业指导内容。
步骤103、在所述AR设备展示的作业现场的场景图像中叠加展示包括所述作业指导内容的AR特效数据。
以下是针对上述步骤的详细说明。
针对步骤101、
在一种可能的实施方式中，在确定AR设备所在的目标作业区域时，可以先基于AR设备拍摄的作业现场的场景图像，确定AR设备的位置信息，然后基于AR设备的位置信息，确定AR设备所在的目标作业区域。
基于AR设备拍摄的场景图像，确定AR设备的位置信息，可以避免因为网络环境等因素对于定位精度的影响，提升了定位精度。
在一种可能的实施方式中，在基于AR设备拍摄的作业现场的场景图像，确定AR设备的位置信息时，可以基于所述AR设备拍摄的作业现场的场景图像和所述作业现场对应的三维场景地图，确定所述AR设备的位置信息。
具体的，可以将AR设备实时获取的场景图像与预先构建的作业现场的三维场景模型进行匹配，然后基于匹配结果，确定AR设备的位置信息。
基于与作业现场对应的场景的三维场景模型，可以获取AR设备在各个位姿信息下的实景图像，通过将AR设备实时获取的场景图像与基于三维场景模型获取到的所述AR设备在各个位姿信息下的实景图像进行匹配，可以获取AR设备的位姿信息，所述位姿信息包括但不限于位置信息和朝向信息等。
在另外一实施方式中，在确定AR设备的位置信息时，还可以先检测场景图像对应的作业现场中多个目标检测点的位置信息，以及确定每一个目标检测点在场景图像中对应的目标像素点，然后可以确定场景图像中各个目标像素点分别对应的深度信息(例如可以通过对场景图像进行深度检测获得)，然后基于目标像素点的深度信息，确定AR设备的位姿信息。
其中，所述目标检测点可以是预先设置好的作业现场中的位置点，例如可以是杯子、风扇、饮水机等，目标像素点的深度信息可以用来表示该目标像素点对应的目标检测点与AR设备的图像采集装置之间的距离。示例性的，所述目标检测点在场景坐标系中的位置坐标是预先设置好的。
具体的，在确定AR设备的位姿信息时，可以通过目标检测点与目标检测点对应的目标像素点在场景图像中的坐标信息确定位姿信息中的朝向；以及基于目标检测点对应的目标像素点的深度值确定AR设备的位置信息，由此可以确定AR设备的位姿信息。
在另外一种可能的实施方式中，在基于AR设备拍摄的作业现场的场景图像，确定AR设备的位置信息时，还可以先识别AR设备拍摄的作业现场的场景图像中的目标操作部件，然后将预先设置的所述目标操作部件对应的位置信息确定为AR设备的位置信息。
示例性的，在识别AR设备拍摄的作业现场的场景图像中的目标操作部件时，可以基于标记物识别算法，或者基于预先训练的神经网络，识别所述AR设备拍摄的作业现场的场景图像的目标操作部件。
具体的，在基于标记物识别算法识别所述场景图像的目标操作部件时，可以是将场景图像与预先存储的带有标记信息的标记图像进行匹配，并基于匹配结果，确定AR设备的位置信息。其中，所述标记信息用于标记所述标记图像中的操作部件，每个标记图像有对应的预先设置的位置信息，该位置信息为采集该标记图像时的位置。
在将场景图像与预先存储的带有标记信息的标记图像进行匹配之后，可以将匹配成功的标记图像对应的位置信息，确定为所述AR设备的位置信息。
在基于预先训练的神经网络，识别所述场景图像的目标操作部件时，可以将场景图像输入至预先训练的神经网络中，神经网络可以输出该场景图像中所包含的目标操作部件的标识信息。
其中，所述神经网络可以是基于携带有操作部件的样本数据训练得到的，具体的，所述神经网络的训练过程可以参照如图2所示的方法，包括以下几个步骤：
步骤201、获取样本图像，以及样本图像的标注信息，其中，所述样本图像的标注信息用于表示所述样本图像中所包含的操作部件。
步骤202、将所述样本图像输入至神经网络中，得到所述神经网络的预测结果，其中，所述神经网络的预测结果中包括预测的所述样本图像中所包含的操作部件。
步骤203、基于所述神经网络的预测结果和所述样本图像的标注信息，调整神经网络的网络参数值。
示例性的，所述AR设备所处的环境状态信息，可以包括但不限于以下信息中的至少一种：
湿度、温度、风力、光照。
在一种可能的实施方式中，在获取AR设备所处的环境状态信息时，可以是，获取部署在所述AR设备所在的目标作业区域的传感设备采集的环境状态信息。
通过部署在目标作业区域的传感设备，可以实时采集环境状态信息，进而实现对于环境状态信息的实时监测。
示例性的，在获取部署在所述AR设备所在的目标作业区域的传感设备采集的环境状态信息时，各个传感设备可以通过蓝牙、无线网络wifi等无线传输的方式，或者可以通过有线传输的方式，将采集的环境状态信息传输至执行本方案的计算机设备上，例如可以是AR设备。
针对步骤102和步骤103、
在一种可能的实施方式中，在获取AR设备所处的环境状态信息之后，可以基于获取的状态信息，从目标作业区域对应的多项作业中，先确定与环境状态信息匹配的至少一项作业。
这里，与环境状态信息匹配的作业可以是在当前环境状态信息下可执行的作业。
具体的，每个作业区域可以对应多项作业，不同的作业对于环境状态信息的要求不同，例如某些作业需要在风力较大的环境中执行，某些作业需要在温度较低的环境中执行等。
在基于获取的状态信息，从目标作业区域对应的多项作业中，先确定与环境状态信息匹配的至少一项作业时，示例性的，可以根据目标作业区域对应的多项作业，以及每一项作业对应的预先设置的环境限制条件，确定与环境状态信息匹配的至少一项作业。
其中，每一项作业的作业指导内容可以为预先设置好的，不同作业的作业指导内容可以不同，所述作业指导内容例如可以包括操作步骤详解、操作注意事项等。
在一种可能的实施方式中，在确定与环境状态信息匹配的至少一项作业之后，可以直接获取确定的至少一项作业的作业指导内容。
在一种可能的实施方式中，若确定的与环境信息匹配的作业有多项，则可以展示确定的与环境信息匹配的多项作业的作业标识，用户可以基于展示的多项作业的作业标识，选择需要执行的目标作业，然后响应用户选择目标作业的选择指令，获取目标作业的作业指导内容，并在现场图像中叠加包括目标作业指导内容的AR特效数据。
其中，在展示与环境信息匹配的多项作业的作业标识时，一种可能的实施方式中，可以之间展示在AR设备的屏幕上，用户可以通过触摸AR设备的屏幕，生成目标作业对应的选择指令；在另外一种可能的实施方式中，所述多项作业的作业标识可以叠加展示在AR设备展示的场景图像中，当检测到用户做出针对目标作业的目标手势时，响应于所述目标手势，生成针对目标作业的选择指令。
示例性的，多项作业的作业标识可以从上到下随机排列展示在所述场景图像中，当检测到用户做出“一”对应的手势时，可以确定用户选择的目标作业为排在第一位的作业，则就可以生成针对排在第一位的作业的选择指令。
在一种可能的实施方式中，在AR设备展示的场景图像中叠加展示作业指导内容的AR特效数据时，可以参照如图3所示的方法，包括以下几个步骤：
步骤301、获取所述AR设备的当前网络环境信息和/或设备性能信息。
步骤302、基于所述当前网络环境和/或设备性能信息，确定所述作业指导内容的展示形式。
步骤303、获取与所述确定的展示形式对应的包括所述作业指导内容的AR特效数据，并在所述场景图像中叠加展示获取的所述AR特效数据。
其中，所述AR设备当前网络环境信息例如可以包括AR设备当前的网络类型，例如可以包括无线局域网wifi、第三代移动通信技术(the 3rd generation mobilecommunication technolog，3G)、第四代移动通信技术(the4th generation mobilecommunication technolog，4G)、第五代移动通信技术(the 5th generation mobilecommunication technolog，5G)等。
又例如，所述AR设备当前网络环境信息还可以包括所述AR设备的网速等。
所述AR设备的设备性能信息例如可以包括AR设备CPU占用率、AR设备的剩余电量等。
所述目标提示信息的展示形式例如可以包括文字、图片、或者视频动画等。
在基于AR设备当前网络环境信息和/或设备性能信息，确定作业指导内容的展示形式时，可以基于预先设置作业指导内容的展示形式对于所述网络环境信息和/或设备性能信息的约束条件进行确定。
例如，在当前网络环境信息为5G网络的情况下，所述目标提示信息的展示形式可以为视频动画，在当前网络环境信息为其他网络的情况下，所述目标提示信息的展示形式可以为文字、图片等。
上述实施方式中，结合AR设备的当前网络环境信息和/或设备性能信息，来确定作业指导内容的展示形式，可以在丰富作业指导内容的展示形式的同时，避免因为网络卡顿、设备卡顿等原因造成的展示效果较差的问题。
在一种可能的实施方式中，在确定作业指导内容的展示形式时，还可以接收用户输入的展示形式选择指令，基于所述目标用户的展示形式选择指令，确定作业指导内容的展示形式。
在一种可能的实施方式中，在AR设备展示的场景图像中叠加展示作业指导内容时，可以在AR设备展示的场景图像的预设位置区域叠加展示作业指导内容，或者，可以识别所述场景图像中的目标物体的位置，然后基于所述目标物体的位置以及预先设置的相对位置关系，确定作业指导内容的目标展示位置，并在目标展示位置上展示作业指导内容。
其中，所述目标物体例如可以是目标操作部件，在识别所述场景图像中的目标物体的位置时，例如可以将所述场景图像输入至预先训练的神经网络模型中，神经网络模型可以输出目标物体在所述场景图像中的位置。
在一种可能的实施方式中，在从与所述目标作业区域对应的多项作业中，确定与所述环境状态信息匹配的至少一项作业之后，可能确定的作业的风险较高，例如作业要求最高的作业温度为25摄氏度，当前的环境状态信息的温度为24.5摄氏度，则在这种情况下，为保证作业过程中的安全，可以对用户进行提示。
示例性的，可以先基于检测到的环境状态信息，确定至少一项作业分别对应的风险等级，再根据确定的风险等级，确定与风险等级匹配的风险提示信息，然后在AR设备展示的作业现场的场景图像中叠加展示包括风险提示信息的AR特效数据。
基于环境状态信息，自动确定对应的风险等级，可以提高风险等级确定的精度和效率；通过在场景图像中叠加展示风险提示信息，可以在用户作业过程中对用户进行提示，增加了用户作业过程中的安全性。
其中，在基于检测到的环境状态信息，确定至少一项作业分别对应的风险等级时，可以基于各个作业分别对应的风险等级限制条件，确定检测到的环境状态信息满足的各个风险等级限制条件，然后基于环境状态信息满足的各个风险等级限制条件，确定至少一项作业分别对应的风险等级。
示例性的，若环境状态信息包括温度，作业A对应的风险等级限制条件可以如下表1所示：
表1
| 温度 | 风险等级 |
| ≥25℃ | 高级 |
| ≥20℃且<25℃ | 中级 |
| <20℃ | 低级 |
不同的风险等级，对应不同的风险提示信息，例如，若风险等级为高级，对应的风险提示信息可以是“风险等级较高，请谨慎操作”；若风险等级为中级，对应的风险提示信息可以是“存在风险，请小心操作”；若风险等级为低级，对应的风险提示信息可以是“风险较低”。
包含不同风险等级的风险提示信息的AR特效数据可以不同，例如对于风险等级为高级的风险提示信息的AR特效数据，风险提示信息的展示颜色可以为显著的颜色，例如可以为红色，以用来显著的提醒用户；风险等级为低级的风险提示信息的AR特效数据，风险提示信息的颜色可以为黑色。
实际应用中，在用户进行作业的过程中，环境状态信息可能会发生变化，因此，为保证用户在作业过程中的安全，可以实时监测环境状态信息，当检测到环境状态信息发生变化时，可以基于变化后的环境状态信息，调整当前展示的风险提示信息。
延续上例，若用户开始执行作业之前，环境状态信息中的温度为19℃，则对应的风险等级为低级，对应的风险提示信息可以为“风险较低”，在用户执行作业的过程中，温度逐渐升高，温度超过20℃之后，对应的提示信息可以为“温度升高，存在风险，请小心操作”。
在一种可能的实施方式中，在用户执行作业的过程中，若环境状态信息发生变化，不足以继续执行当前的作业，则可以控制AR设备展示警告信息，以提示用户停止作业。
例如若作业限定最高执行温度为26℃，在执行作业之前初始的温度为20℃，但是在作业执行过程中，温度逐步上升，当温度达到25.9℃时，可以控制AR设备播放警示语音，以提示用户停止作业。
参见图4所示的一种信息展示方法中，场景图像的示意图，该场景图像中叠加有AR特效数据，该AR特效数据包括“温度过高，禁止作业”的提示信息，和指导作业内容的指导标识41，比如，可以使用箭头和矩形标注框作为指导标识41。
上述方法中，可以自动根据AR设备所处的环境信息，筛选出在当前环境状态信息下可执行的至少一项作业，并在AR设备展示的作业现场的场景图像中展示作业指导内容的AR特效数据，通过这种方法，一方面可以避免在实体位置上进行展示，其展示内容的多少不受展示位置大小的限制；另一方面可以降低由于人工对环境状态信息检测失误所带来的操作危险性，提升了工作人员在操作过程中的安全性。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与信息展示方法对应的信息展示装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述信息展示方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图5所示，为本公开实施例提供的一种信息展示装置的架构示意图，所述装置包括：第一确定模块501、第二确定模块502、展示模块503；其中，
第一确定模块501，用于确定所述AR设备所在的目标作业区域以及获取所述AR设备所处的环境状态信息；
第二确定模块502，用于基于所述环境状态信息，从与所述目标作业区域对应的多项作业中，确定与所述环境状态信息匹配的至少一项作业的作业指导内容；
展示模块503，用于在所述AR设备展示的作业现场的场景图像中叠加展示包括所述作业指导内容的AR特效数据。
一种可能的实施方式中，所述展示模块503，在所述AR设备展示的作业现场的场景图像中叠加展示包括所述作业指导内容的AR特效数据时，用于：
获取所述AR设备的当前网络环境信息和/或设备性能信息；
基于所述当前网络环境和/或设备性能信息，确定所述作业指导内容的展示形式；
获取与所述确定的展示形式对应的包括所述作业指导内容的AR特效数据，并在所述场景图像中叠加展示获取的所述AR特效数据。
一种可能的实施方式中，所述装置还包括：风险监测模块504，用于：
基于检测到的环境状态信息，确定所述至少一项作业分别对应的风险等级；
根据确定的风险等级，确定与所述风险等级匹配的风险提示信息；
在所述AR设备展示的作业现场的场景图像中叠加展示包括所述风险提示信息的AR特效数据。
一种可能的实施方式中，所述第一确定模块501，在确定所述AR设备所在的目标作业区域时，用于：
基于所述AR设备拍摄的作业现场的场景图像，确定所述AR设备的位置信息；
基于所述AR设备的位置信息，确定所述AR设备所在的目标作业区域。
一种可能的实施方式中，所述第一确定模块501，在基于所述AR设备拍摄的作业现场的场景图像，确定所述AR设备的位置信息时，用于：
基于所述AR设备拍摄的作业现场的场景图像和所述作业现场对应的三维场景地图，确定所述AR设备的位置信息；或者，
识别所述AR设备拍摄的作业现场的场景图像中的目标操作部件，将预先设置的所述目标操作部件对应的位置信息确定为所述AR设备的位置信息。
一种可能的实施方式中，所述第一确定模块501，在识别所述AR设备拍摄的作业现场的场景图像中的目标操作部件时，用于：
基于标记物识别算法，或者基于预先训练的神经网络，识别所述AR设备拍摄的作业现场的场景图像的目标操作部件。
一种可能的实施方式中，所述第一确定模块501，在获取所述AR设备所处的环境状态信息时，用于：
获取部署在所述目标作业区域的传感设备采集的环境状态信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图6所示，为本公开实施例提供的计算机设备600的结构示意图，包括处理器601、存储器602、和总线603。其中，存储器602用于存储执行指令，包括内存6021和外部存储器6022；这里的内存6021也称内存储器，用于暂时存放处理器601中的运算数据，以及与硬盘等外部存储器6022交换的数据，处理器601通过内存6021与外部存储器6022进行数据交换，当计算机设备600运行时，处理器601与存储器602之间通过总线603通信，使得处理器601在执行以下指令：
确定所述AR设备所在的目标作业区域以及获取所述AR设备所处的环境状态信息；
基于所述环境状态信息，从与所述目标作业区域对应的多项作业中，确定与所述环境状态信息匹配的至少一项作业的作业指导内容；
在所述AR设备展示的作业现场的场景图像中叠加展示包括所述作业指导内容的AR特效数据。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的信息展示方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的信息展示方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的信息展示方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种信息展示方法，其特征在于，包括：
确定所述AR设备所在的目标作业区域以及获取所述AR设备所处的环境状态信息；
基于所述环境状态信息，从与所述目标作业区域对应的多项作业中，确定与所述环境状态信息匹配的至少一项作业的作业指导内容；
在所述AR设备展示的作业现场的场景图像中叠加展示包括所述作业指导内容的AR特效数据。
2.根据权利要求1所述的方法，其特征在于，所述在所述AR设备展示的作业现场的场景图像中叠加展示包括所述作业指导内容的AR特效数据，包括：
获取所述AR设备的当前网络环境信息和/或设备性能信息；
基于所述当前网络环境和/或设备性能信息，确定所述作业指导内容的展示形式；
获取与所述确定的展示形式对应的包括所述作业指导内容的AR特效数据，并在所述场景图像中叠加展示获取的所述AR特效数据。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
基于检测到的环境状态信息，确定所述至少一项作业分别对应的风险等级；
根据确定的风险等级，确定与所述风险等级匹配的风险提示信息；
在所述AR设备展示的作业现场的场景图像中叠加展示包括所述风险提示信息的AR特效数据。
4.根据权利要求1～3任一所述的方法，其特征在于，所述确定所述AR设备所在的目标作业区域，包括：
基于所述AR设备拍摄的作业现场的场景图像，确定所述AR设备的位置信息；
基于所述AR设备的位置信息，确定所述AR设备所在的目标作业区域。
5.根据权利要求4所述的方法，其特征在于，所述基于所述AR设备拍摄的作业现场的场景图像，确定所述AR设备的位置信息，包括：
基于所述AR设备拍摄的作业现场的场景图像和所述作业现场对应的三维场景地图，确定所述AR设备的位置信息；或者，
识别所述AR设备拍摄的作业现场的场景图像中的目标操作部件，将预先设置的所述目标操作部件对应的位置信息确定为所述AR设备的位置信息。
6.根据权利要求5所述的方法，其特征在于，所述识别所述AR设备拍摄的作业现场的场景图像中的目标操作部件，包括：
基于标记物识别算法，或者基于预先训练的神经网络，识别所述AR设备拍摄的作业现场的场景图像的目标操作部件。
7.根据权利要求1～6任一所述的方法，其特征在于，所述获取所述AR设备所处的环境状态信息，包括：
获取部署在所述目标作业区域的传感设备采集的环境状态信息。
8.一种信息展示装置，其特征在于，包括：
第一确定模块，用于确定所述AR设备所在的目标作业区域以及获取所述AR设备所处的环境状态信息；
第二确定模块，用于基于所述环境状态信息，从与所述目标作业区域对应的多项作业中，确定与所述环境状态信息匹配的至少一项作业的作业指导内容；
展示模块，用于在所述AR设备展示的作业现场的场景图像中叠加展示包括所述作业指导内容的AR特效数据。
9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一项所述的信息展示方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一项所述的信息展示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011196108.4A CN112288882A (zh) | 2020-10-30 | 2020-10-30 | 一种信息展示方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011196108.4A CN112288882A (zh) | 2020-10-30 | 2020-10-30 | 一种信息展示方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112288882A true CN112288882A (zh) | 2021-01-29 |
Family
ID=74354030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011196108.4A Pending CN112288882A (zh) | 2020-10-30 | 2020-10-30 | 一种信息展示方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112288882A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884909A (zh) * | 2021-02-23 | 2021-06-01 | 浙江商汤科技开发有限公司 | Ar特效的显示方法、装置、计算机设备及存储介质 |
| CN112927293A (zh) * | 2021-03-26 | 2021-06-08 | 深圳市慧鲤科技有限公司 | Ar场景展示方法及装置、电子设备和存储介质 |
| CN113139422A (zh) * | 2021-03-02 | 2021-07-20 | 广州朗国电子科技有限公司 | 一种会议人像的拍摄验证方法、设备及存储介质 |
| CN114327049A (zh) * | 2021-12-07 | 2022-04-12 | 北京五八信息技术有限公司 | 基于ar应用的提示方法、装置、电子设备及可读介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106776999A (zh) * | 2016-12-07 | 2017-05-31 | 北京小米移动软件有限公司 | 多媒体数据推荐方法及装置 |
| CN109032348A (zh) * | 2018-06-26 | 2018-12-18 | 亮风台（上海）信息科技有限公司 | 基于增强现实的智能制造方法与设备 |
| CN110322024A (zh) * | 2019-06-21 | 2019-10-11 | 上海翊视皓瞳信息科技有限公司 | 一种基于穿戴设备的工作指导系统及方法 |
| US20200219322A1 (en) * | 2019-01-09 | 2020-07-09 | Vmware, Inc. | Snapping, virtual inking, and accessibility in augmented reality |
-
2020
- 2020-10-30 CN CN202011196108.4A patent/CN112288882A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106776999A (zh) * | 2016-12-07 | 2017-05-31 | 北京小米移动软件有限公司 | 多媒体数据推荐方法及装置 |
| CN109032348A (zh) * | 2018-06-26 | 2018-12-18 | 亮风台（上海）信息科技有限公司 | 基于增强现实的智能制造方法与设备 |
| US20200219322A1 (en) * | 2019-01-09 | 2020-07-09 | Vmware, Inc. | Snapping, virtual inking, and accessibility in augmented reality |
| CN110322024A (zh) * | 2019-06-21 | 2019-10-11 | 上海翊视皓瞳信息科技有限公司 | 一种基于穿戴设备的工作指导系统及方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884909A (zh) * | 2021-02-23 | 2021-06-01 | 浙江商汤科技开发有限公司 | Ar特效的显示方法、装置、计算机设备及存储介质 |
| CN113139422A (zh) * | 2021-03-02 | 2021-07-20 | 广州朗国电子科技有限公司 | 一种会议人像的拍摄验证方法、设备及存储介质 |
| CN113139422B (zh) * | 2021-03-02 | 2023-12-15 | 广州朗国电子科技股份有限公司 | 一种会议人像的拍摄验证方法、设备及存储介质 |
| CN112927293A (zh) * | 2021-03-26 | 2021-06-08 | 深圳市慧鲤科技有限公司 | Ar场景展示方法及装置、电子设备和存储介质 |
| CN114327049A (zh) * | 2021-12-07 | 2022-04-12 | 北京五八信息技术有限公司 | 基于ar应用的提示方法、装置、电子设备及可读介质 |
| CN114327049B (zh) * | 2021-12-07 | 2023-07-25 | 北京五八信息技术有限公司 | 基于ar应用的提示方法、装置、电子设备及可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112288882A (zh) | 一种信息展示方法、装置、计算机设备及存储介质 | |
| US11861795B1 (en) | Augmented reality anamorphosis system | |
| KR102347336B1 (ko) | 응시점 판단 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체 | |
| CN108876934B (zh) | 关键点标注方法、装置和系统及存储介质 | |
| EP3312708B1 (en) | Method and terminal for locking target in game scene | |
| US20170293959A1 (en) | Information processing apparatus, shelf label management system, control method, and program | |
| CN112287928A (zh) | 一种提示方法、装置、电子设备及存储介质 | |
| KR20160048901A (ko) | 증강 현실 환경에서 평면의 범위를 결정하기 위한 시스템 및 방법 | |
| US20230316746A1 (en) | Shared augmented reality system | |
| CN112179331B (zh) | Ar导航的方法、装置、电子设备及存储介质 | |
| CN110794955B (zh) | 定位跟踪方法、装置、终端设备及计算机可读取存储介质 | |
| CN112598805A (zh) | 一种提示信息展示方法、装置、设备及存储介质 | |
| US20140253591A1 (en) | Information processing system, information processing apparatus, information processing method, and computer-readable recording medium recording information processing program | |
| US11430091B2 (en) | Location mapping for large scale augmented-reality | |
| US20170041597A1 (en) | Head mounted display and method for data output | |
| CN114202640A (zh) | 一种数据采集方法、装置、计算机设备以及存储介质 | |
| EP4028864A1 (en) | Occlusion detection system | |
| CN112181141A (zh) | Ar定位的方法、装置、电子设备及存储介质 | |
| CN112288883B (zh) | 作业指导信息的提示方法、装置、电子设备及存储介质 | |
| CN112365607A (zh) | 一种增强现实ar交互的方法、装置、设备及存储介质 | |
| CN107292937B (zh) | 设置地形贴图的方法以及装置 | |
| CN113345108A (zh) | 增强现实数据展示方法、装置、电子设备及存储介质 | |
| CN113359983A (zh) | 增强现实数据呈现方法、装置、电子设备及存储介质 | |
| CN112288889A (zh) | 指示信息展示方法、装置、计算机设备及存储介质 | |
| CN109582939B (zh) | 一种气泡图展示方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210129 |