CN112330821A - 增强现实呈现方法、装置、电子设备及存储介质 - Google Patents
增强现实呈现方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112330821A CN112330821A CN202011261658.XA CN202011261658A CN112330821A CN 112330821 A CN112330821 A CN 112330821A CN 202011261658 A CN202011261658 A CN 202011261658A CN 112330821 A CN112330821 A CN 112330821A
- Authority
- CN
- China
- Prior art keywords
- target object
- task
- operated
- information
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 37
- 238000007689 inspection Methods 0.000 claims abstract description 114
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008439 repair process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
- G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Hardware Design (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Development Economics (AREA)
- Human Computer Interaction (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种增强现实呈现方法、装置、电子设备及计算机可读存储介质，其中，首先获取目标对象的身份特征信息；之后，基于所述身份特征信息，确定所述目标对象的至少一个待作业任务；之后，基于所述待作业任务的位置和所述目标对象的位置，生成目标对象的巡检指示信息；所述巡检指示信息包括至少一个所述待作业任务的引导路径信息；最后，在AR设备中呈现的AR场景图像中显示所述巡检指示信息。
Description
技术领域
本公开涉及增强现实技术领域，具体而言，涉及一种增强现实呈现方法、装置、电子设备及计算机可读存储介质。
背景技术
在工业现场为了避免故障出现，或为了排除已经出现的故障，会为工作人员派发待作业任务，工作人员在接收到待作业任务之后，根据自身经验去各个待作业任务对应的位置处进行巡检或作业，巡检效率较低。
发明内容
本公开实施例至少提供一种增强现实呈现方法、装置、电子设备及可读存储介质。
第一方面，本公开实施例提供了一种增强现实呈现方法，包括：
获取目标对象的身份特征信息；
基于所述身份特征信息，确定所述目标对象的至少一个待作业任务；
基于所述待作业任务的位置和所述目标对象的位置，生成目标对象的巡检指示信息；所述巡检指示信息包括至少一个所述待作业任务的引导路径信息；
在AR设备中呈现的AR场景图像中显示所述巡检指示信息。
该方面，基于各个待作业任务的位置和目标对象的位置生成巡检指示信息，按照该巡检指示信息去各个待作业任务进行巡检，能够对巡检过程的引导路径进行有效引导，有利于提高巡检效率。
在一种可能的实施方式中，所述获取目标对象的身份特征信息，包括：
获取包括所述目标对象的第一现实场景图像；
基于所述第一现实场景图像，确定所述目标对象是否位于预设作业区域内；
在所述目标对象位于所述预设作业区域的情况下，基于所述第一现实场景图像，确定所述目标对象的身份特征信息。
该实施方式，对处于预设作业区域内的目标对象进行身份识别，避免了对不必要的对象进行识别，降低了识别工作量和计算资源的浪费。
在一种可能的实施方式中，所述身份特征信息包括目标对象的作业岗位信息；
所述基于所述第一现实场景图像，确定所述目标对象的身份特征信息，包括：
从所述第一现实场景图像中提取所述目标对象的人脸特征信息、人体特征信息和衣着特征信息中的至少一种；
基于所述人脸特征信息、人体特征信息和衣着特征信息中的至少一种，确定所述目标对象的作业岗位信息；
所述基于所述身份特征信息，确定所述目标对象的至少一个待作业任务，包括：
获取与所述作业岗位信息相匹配的至少一个待作业任务。
该实施方式，利用目标对象的人脸特征信息、人体特征信息或衣着特征信息能够较为准确地确定目标对象的工作岗位信息，基于该工作岗位信息能够匹配到目标对象的较为准确的待作业任务，从而有利于提高巡检效率。
在一种可能的实施方式中，所述基于所述待作业任务的位置和所述目标对象的位置，生成目标对象的巡检指示信息，包括：
基于每个所述待作业任务的作业优先级、每个待作业任务的位置和所述目标对象的位置，生成所述目标对象的巡检指示信息。
该实施方式，基于待作业任务的作业优先级生成巡检指示信息，有利于作业优先级高的待作业任务被优先巡检，有利于提高巡检效率。
在一种可能的实施方式中，所述基于每个所述待作业任务的作业优先级、每个待作业任务的位置和所述目标对象的位置，生成所述目标对象的巡检指示信息，包括：
基于所述至少一个待作业任务的作业优先级，确定所述至少一个待作业任务对应的至少一种巡检顺序；
基于确定的所述至少一种巡检顺序、每个待作业任务的位置和所述目标对象的位置，生成至少一条第一待选路径；
基于所述至少一条第一待选路径中最短的第一待选路径，生成所述目标对象的巡检指示信息。
该实施方式，利用基于作业优先级确定的巡检顺序生成第一待选路径，能够保证作业优先级高的待作业任务被优先巡检，之后，从第一待选路径中国选择最短的路径生成巡检指示信息，能够缩短巡检路程，提高了巡检效率。
在一种可能的实施方式中，所述基于每个所述待作业任务的作业优先级、每个待作业任务的位置和所述目标对象的位置，生成所述目标对象的巡检指示信息，包括：
基于所述至少一个待作业任务的位置和所述目标对象的位置，生成至少一条第二待选路径；
基于每条所述第二待选路径中待作业任务的巡检顺序和所述待作业任务的作业优先级，确定每条所述第二待选路径的目标分值；
基于目标分值最高的第二待选路径，生成所述目标对象的巡检指示信息。
该实施方式，基于待作业任务的位置和目标对象的位置，能够生成长度较短的第二待选路径，在一定程度上保证了巡检效率。基于目标分值最高的第二待选路径生成巡检指示信息，能够在一定程度上保证作业优先级高的待作业任务被优先巡检。
在一种可能的实施方式中，所述基于每条所述第二待选路径中待作业任务的巡检顺序和所述待作业任务的作业优先级，确定每条所述第二待选路径的目标分值，包括：
基于所述第二待选路径中所述待作业任务的巡检顺序和待作业任务的作业优先级，确定所述第二待选路径的第一分值；
基于所述第二待选路径的路径长度确定所述第二待选路径的第二分值；
基于所述第一分值和所述第二分值，确定所述第二待选路径的所述目标分值。
该实施方式，利用第一分值和第二分值确定的目标分值，能够反应到达各个待作业任务进行巡检需要行走的路程以及作业优先级高的巡检任务是否被优先巡检。根据该目标分值能够选取路程较短、作业优先级高的待作业任务被优先巡检的第二待选路径来生成巡检指示信息，在一定程度上提高了巡检效率。
在一种可能的实施方式中，所述巡检指示还包括待作业任务的介绍信息，上述增强现实呈现方法还包括：
在确定所述目标对象到达所述待作业任务的位置的情况下，获取所述待作业任务的介绍信息；
在所述AR设备中呈现的AR场景图像中显示所述待作业任务的介绍信息。
该实施方式，在目标对象到达待作业任务的位置时，向目标对象展示待作业任务相关的介绍信息，能够帮助目标对象快速、准确的完成待作业任务。
第二方面，本申请提供了一种增强现实呈现装置，包括：
对象识别模块，用于获取目标对象的身份特征信息；
任务获取模块，用于基于所述身份特征信息，确定所述目标对象的至少一个待作业任务；
路径生成模块，用于基于所述待作业任务的位置和所述目标对象的位置，生成目标对象的巡检指示信息；所述巡检指示信息包括至少一个所述待作业任务的引导路径信息；
路径显示模块，用于在AR设备中呈现的AR场景图像中显示所述巡检指示信息。
第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述增强现实呈现装置、电子设备、及计算机可读存储介质的效果描述参见上述增强现实呈现方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种增强现实呈现方法的流程图；
图2示出了本公开实施例所提供的巡检指示信息的示意图；
图3示出了本公开实施例中结合待作业任务的作业优先级生成巡检指示信息的流程图之一；
图4A示出了本公开实施例中结合待作业任务的作业优先级生成巡检指示信息的流程图之二；
图4B示出了本公开实施例中生成目标分值的流程图；
图5示出了本公开实施例所提供的一种增强现实呈现装置的示意图；
图6示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
本公开提供了一种增强现实呈现方法、装置、电子设备及计算机可读存储介质，本公开基于目标对象的身份特征信息自动识别目标对象需要巡检的待作业任务，并基于各个待作业任务的位置和目标对象的位置自动生成巡检指示信息，按照该巡检指示信息去各个待作业任务进行巡检，能够对巡检过程的引导路径进行有效引导，有利于提高巡检效率。
下面通过具体的实施例，对本公开公开的增强现实呈现方法、装置、电子设备及存储介质进行说明。
如图1所示，本公开实施例公开了一种增强现实呈现方法，该方法可以应用于服务器，也可以应用于目标对象持有的AR设备上，用于生成巡检指示信息。具体地，该增强现实呈现方法可以包括如下步骤：
S110、获取目标对象的身份特征信息。
上述目标对象是完成待作业任务的对象，例如，可以是对工业现场进行巡检的工作人员。该目标对象持有AR设备，后续生成的巡检指示信息通过AR设备显示给目标对象。
这里具体可以通过图像识别，获取目标对象的身份特征信息，可以利用如下步骤实现：
首先，获取包括所述目标对象的第一现实场景图像；之后，基于所述第一现实场景图像，确定所述目标对象是否位于预设作业区域内，并在所述目标对象位于所述预设作业区域的情况下，基于所述第一现实场景图像，确定所述目标对象的身份特征信息。
上述第一现实场景图像可以是通过安装在预设作业区域内的摄像头拍摄的，也可以是利用AR设备上的摄像头拍摄的。
如果上述第一现实场景图像是由安装在预设作业区域内的摄像头拍摄的，服务器或AR设备在获取目标对象的身份特征信息时，需要从安装在预设作业区域内的摄像头处获取第一现实场景图像。
在获取目标对象的身份特征信息时，还需要判断目标对象是否包括在第一现实场景图像中，在目标对象包括在第一现实场景图像中的情况下，再去确定所述目标对象是否位于预设作业区域内。
上述判断目标对象是否包括在第一现实场景图像中，具体可以是：从第一现实场景图像中提取各个对象的对象特征，并将提取的对象特征与预设的标准对象特征进行匹配，匹配成功的对象即为目标对象。预设的标准对象特征具体可以是预设的人脸特征、预设的身体特征、预设的衣着特征等。
上述基于所述第一现实场景图像，确定所述目标对象是否位于预设作业区域内，具体可以是，获取预设高精地图，并提取预设高精地图中的第一图像特征点；提取第一现实场景图像中的第二图像特征点；将第一图像特征点与第二图像特征点进行匹配，得到与第二图像特征点匹配的第一图像特征点；之后利用与第二图像特征点匹配的第一图像特征点的位置信息，确定对应的第二图像特征点的位置信息，并利用第一现实场景图像中的第二图像特征点的位置信息，确定目标对象的位置，最后，基于目标对象的位置和预设作业区域的位置信息，判断所述目标对象是否位于预设作业区域内。
上述对处于预设作业区域内的目标对象进行身份识别，避免了对不必要的对象进行识别，降低了识别工作量和计算资源的浪费。
上述身份特征信息可以包括目标对象的作业岗位信息、目标对象的身份标识信息等。
在身份特征信息包括目标对象的作业岗位信息时，上述基于所述第一现实场景图像，确定所述目标对象的身份特征信息，具体可以是：从所述第一现实场景图像中提取所述目标对象的人脸特征信息、人体特征信息和衣着特征信息中的至少一种；基于所述人脸特征信息、人体特征信息和衣着特征信息中的至少一种，确定所述目标对象的作业岗位信息。
在身份特征信息包括目标对象的身份标识信息时，上述基于所述第一现实场景图像，确定所述目标对象的身份特征信息具体可以是：从所述第一现实场景图像中提取所述目标对象的人脸特征信息，基于所述人脸特征信息，确定所述目标对象的身份标识信息。
S120、基于所述身份特征信息，确定所述目标对象的至少一个待作业任务。
在身份特征信息包括目标对象的作业岗位信息时，基于所述身份特征信息，确定所述目标对象的至少一个待作业任务，具体可以是：获取与作业岗位信息相匹配的至少一个待作业任务。
在身份特征信息包括目标对象的身份标识信息时，基于所述身份特征信息，确定所述目标对象的至少一个待作业任务，具体可以是：基于身份标识信息确定目标对象的作业岗位信息，获取与作业岗位信息相匹配的至少一个待作业任务。
利用目标对象的人脸特征信息、人体特征信息或衣着特征信息能够较为准确地确定目标对象的工作岗位信息或身份标识信息，基于该工作岗位信息或身份标识信息能够匹配到目标对象的较为准确的待作业任务，从而有利于提高巡检效率。
S130、基于所述待作业任务的位置和所述目标对象的位置，生成目标对象的巡检指示信息；所述巡检指示信息包括至少一个所述待作业任务的引导路径信息。
这里，巡检指示信息可以包括对各个待作业任务进行巡检的巡检路径和/或各个待作业任务的介绍信息。待作业任务的引导路径信息包括到达该待作业任务的引导路径的信息，各个待作业任务对应的引导路径可以组成巡检路径，巡检路径包括各个待作业任务的位置。
在具体实施时，可以具体可以是基于待作业任务的位置和目标对象的位置，生成多条巡检路径，并基于其中最短的巡检路径生成巡检指示信息。长度最短，有利于提高巡检效率。
S140、在AR设备中呈现的AR场景图像中显示所述巡检指示信息。
目标对象可以佩戴所述AR设备，目标对象通过AR设备可以看到巡检指示信息。如图2所示，AR设备上显示的巡检指示信息201包括五个待作业任务202的位置，目标对象203根据该巡检指示信息依次对各个待作业任务202进行巡检。
AR设备不仅可以显示巡检指示信息中的巡检路径，还可以在所述目标对象到达某一待作业任务的位置的情况下，显示所述待作业任务的介绍信息。
示例性地，可以在所述AR设备或目标对象到达所述待作业任务的位置的情况下，获取所述目标对象的操作属性信息，所述操作属性信息包括运动轨迹信息、运动方向信息、和姿势信息中的至少一种。之后，基于操作属性信息，生成所述待作业任务的介绍信息。
示例性的，上述操作属性信息还可以根据目标对象的在AR设备上点击的控件的属性确定，例如，目标对象的在AR设备上点击了结束作业，此时操作属性信息即包括结束作业的信息。
基于运动轨迹信息、运动方向信息或姿势信息等操作属性信息可以确定目标对象当前执行的操作，根据目标对象当前执行的操作，可以生成对应的介绍信息。例如，如果根据操作属性信息确定目标对象正在执行维修部件A的操作，此时介绍信息可以包括维修部件A的作业注意事项信息、维修部件A的操作提示信息等，比如“请注意部件A的维修，存在安全危险”。再例如，如果根据操作属性信息确定目标对象维修部件B的操作完成，此时介绍信息可以包括当前待作业任务完成得信息、下一个待作业任务的信息等，比如“部件B维修完成”或“当前任务完成，请继续维修部件C”。另外，该介绍信息可以包括具体作业内容的说明信息、作业优先级等信息等。例如，该介绍信息可以是“请维修部件A、部件B，检查部件C是否异常”，或者是“该任务的作业优先级为一级”。
上述实施例在目标对象到达待作业任务的位置时，能够基于目标对象当前操作的特征和属性，生成并显示对应的介绍信息，有利于提高目标对象的操作效率和处理效果。
上述实施例基于各个待作业任务的位置和目标对象的位置生成巡检指示信息，按照该巡检指示信息去各个待作业任务进行巡检，能够对巡检过程的引导路径进行有效引导，有利于提高巡检效率。
不同的待作业任务的作业优先级不同，作业优先级高的待作业任务比较紧急，需要尽早巡检，以免造成损失，因此在生成巡检指示信息的时候，不仅需要考虑待作业任务的位置和目标对象的位置，还应该结合待作业任务的作业优先级，以在保证巡检效率的同时，保证作业优先级高的待作业任务被优先巡检。具体地，如图3所示，可以利用如下步骤结合待作业任务的作业优先级生成巡检指示信息：
S310、基于所述至少一个待作业任务的作业优先级，确定所述至少一个待作业任务对应的至少一种巡检顺序。
这里作业优先级是根据待作业任务的紧急程度预先设置的，由于紧急的待作业任务与目标对象之间的距离，或者两个较为紧急的待作业任务与目标对象之间的距离较远，仅仅按照作业优先级从高到低的顺序，依次设置对应的待作业任务的巡检顺序，生成的巡检指示信息中的巡检路径会较长，例如，作业优先级最高的待作业任务与目标对象的距离较远，第二高作业优先级对应的待作业任务与作业优先级最高的待作业任务距离也较远，第三高作业优先级对应的待作业任务与第二高作业优先级对应的待作业任务距离也较远，这样只按照作业优先级生成的巡检指示信息中的巡检路径会很长，严重降低了巡检效率。
因此，可以基于待作业任务的作业优先级，为待作业任务设置若干个巡检顺序，例如，作业优先级较高的待作业任务，可以设置几个靠前的巡检顺序，作业优先级较低的待作业任务，可以设置几个靠后的巡检顺序。之后再基于待作业任务的位置和目标对象的位置，生成较短的巡检路径，这样既能够在一定程度上提高巡检效率，也能够保证作业优先级高的待作业任务被优先巡检。
S320、基于确定的所述至少一种巡检顺序、每个待作业任务的位置和所述目标对象的位置，生成至少一条第一待选路径。
生成第一待选路径的原则是，在满足每个待作业任务的巡检顺序的基础上，基于每个待作业任务的位置和所述目标对象的位置，生成最短的巡检路径，即上述第一待选路径。
S330、基于所述至少一条第一待选路径中最短的第一待选路径，生成所述目标对象的巡检指示信息。
选择最短的第一待选路径作为巡检指示信息中的巡检路径，能够提高巡检效率。
利用基于作业优先级确定的巡检顺序生成第一待选路径，能够保证作业优先级高的待作业任务被优先巡检，之后，从第一待选路径中国选择最短的路径生成巡检指示信息，能够缩短巡检路程，提高了巡检效率。
在一些实施例中，如图4A所示，还可以利用如下步骤结合待作业任务的作业优先级生成巡检指示信息：
S410、基于所述至少一个待作业任务的位置和所述目标对象的位置，生成至少一条第二待选路径。
这里，可以根据待作业任务的位置和所述目标对象的位置生成多条第二待选路径。生成的第二待选路径包括每个待作业任务的位置。
S420、基于每条所述第二待选路径中待作业任务的巡检顺序和所述待作业任务的作业优先级，确定每条所述第二待选路径的目标分值。
这里，具体可以将满足预设条件的第二待选路径的目标分值设置的较高，该预设条件具体可以是：作业优先级较高的待作业任务具有较靠前的巡检顺序。
当然，在设置目标分值的时候，还可以结合第二待选路径的长度，具体可以是，如图4B所示：
S4201、基于所述第二待选路径中所述待作业任务的巡检顺序和待作业任务的作业优先级，确定所述第二待选路径的第一分值。
具体可以将满足预设条件的第二待选路径的第一分值设置的较高，该预设条件具体可以是：作业优先级较高的待作业任务具有较靠前的巡检顺序。
S4202、基于所述第二待选路径的路径长度确定所述第二待选路径的第二分值。
具体可以将路径长度较短的第二待选路径的第二分值设置的较高，将路径长度较长的第二待选路径的第二分值设置的较低。
S4203、基于所述第一分值和所述第二分值，确定所述第二待选路径的所述目标分值。
这里具体可将第一分值和所述第二分值的和作为第二待选路径的目标分值，也可以对第一分值和第二分值进行加权求和，并将得到的加权求和值作为所述第二待选路径的目标分值。
利用第一分值和第二分值确定的目标分值，能够反应去各个待作业任务需要行走的总长度以及作业优先级高的巡检任务是否被优先巡检。根据该目标分值能够选取行走的总长度较短、作业优先级高的待作业任务被优先巡检的第二待选路径来生成巡检指示信息，在一定程度上提高了巡检效率。
S430、基于目标分值最高的第二待选路径，生成所述目标对象的巡检指示信息。
基于待作业任务的位置和目标对象的位置，能够生成长度较短的第二待选路径，在一定程度上保证了巡检效率。选取目标分值最高的第二待选路径作来生成巡检指示信息，能够在一定程度上保证作业优先级高的待作业任务被优先巡检。
对应于上述增强现实呈现方法，本公开还公开了一种增强现实呈现装置器，该装置中的各个模块能够实现上述各个实施例的增强现实呈现方法中的每个步骤，并且能够取得相同的有益效果，因此，对于相同的部分这里不再进行赘述。具体地，如图5所示，增强现实呈现装置包括：
对象识别模块510，用于获取目标对象的身份特征信息。
任务获取模块520，用于基于所述身份特征信息，确定所述目标对象的至少一个待作业任务。
路径生成模块530，用于基于所述待作业任务的位置和所述目标对象的位置，生成目标对象的巡检指示信息；所述巡检指示信息包括至少一个所述待作业任务的引导路径信息。
路径显示模块540，用于在AR设备中呈现的AR场景图像中显示所述巡检指示信息。
在一些实施例中，所述对象识别模块510在获取目标对象的身份特征信息时，用于：
获取包括所述目标对象的第一现实场景图像；
基于所述第一现实场景图像，确定所述目标对象是否位于预设作业区域内；
在所述目标对象位于所述预设作业区域的情况下，基于所述第一现实场景图像，确定所述目标对象的身份特征信息。
在一些实施例中，所述身份特征信息包括目标对象的作业岗位信息；
所述对象识别模块510在基于所述第一现实场景图像，确定所述目标对象的身份特征信息时，用于：
从所述第一现实场景图像中提取所述目标对象的人脸特征信息、人体特征信息和衣着特征信息中的至少一种；
基于所述人脸特征信息、人体特征信息和衣着特征信息中的至少一种，确定所述目标对象的作业岗位信息；
所述任务获取模块520在基于所述身份特征信息，确定所述目标对象的至少一个待作业任务时，用于：
获取与作业岗位信息相匹配的至少一个待作业任务。
在一些实施例中，所述路径生成模块530在基于所述待作业任务的位置和所述目标对象的位置，生成目标对象的巡检指示信息时，用于：
基于每个所述待作业任务的作业优先级、每个待作业任务的位置和所述目标对象的位置，生成所述目标对象的巡检指示信息。
在一些实施例中，所述路径生成模块530在基于每个所述待作业任务的作业优先级、每个待作业任务的位置和所述目标对象的位置，生成所述目标对象的巡检指示信息时，用于：
基于所述至少一个待作业任务的作业优先级，确定所述至少一个待作业任务对应的至少一种巡检顺序；
基于确定的所述至少一种巡检顺序、每个待作业任务的位置和所述目标对象的位置，生成至少一条第一待选路径；
基于所述至少一条第一待选路径中最短的第一待选路径，生成所述目标对象的巡检指示信息。
在一些实施例中，所述路径生成模块530在基于每个所述待作业任务的作业优先级、每个待作业任务的位置和所述目标对象的位置，生成所述目标对象的巡检指示信息时用于：
基于所述至少一个待作业任务的位置和所述目标对象的位置，生成至少一条第二待选路径；
基于每条所述第二待选路径中待作业任务的巡检顺序和所述待作业任务的作业优先级，确定每条所述第二待选路径的目标分值；
基于目标分值最高的第二待选路径，生成所述目标对象的巡检指示信息。
在一些实施例中，所述路径生成模块530在基于每条所述第二待选路径中待作业任务的巡检顺序和所述待作业任务的作业优先级，确定每条所述第二待选路径的目标分值时，用于：
基于所述第二待选路径中所述待作业任务的巡检顺序和待作业任务的作业优先级，确定所述第二待选路径的第一分值；
基于所述第二待选路径的路径长度确定所述第二待选路径的第二分值；
基于所述第一分值和所述第二分值，确定所述第二待选路径的所述目标分值。
在一些实施例中，巡检指示还包括待作业任务的介绍信息；所述路径显示模块540还用于：
在确定所述目标对象到达所述待作业任务的位置的情况下，获取所述待作业任务的介绍信息；
在所述AR设备中呈现的AR场景图像中显示所述待作业任务的介绍信息。
对应于上述增强现实呈现方法，本公开实施例还提供了一种电子设备600，如图6所示，为本公开实施例提供的电子设备600结构示意图，包括：
处理器61、存储器62、和总线63；存储器62用于存储执行指令，包括内存621和外部存储器622；这里的内存621也称内存储器，用于暂时存放处理器61中的运算数据，以及与硬盘等外部存储器622交换的数据，处理器61通过内存621与外部存储器622进行数据交换，当电子设备600运行时，处理器61与存储器62之间通过总线63通信，使得处理器61执行以下指令：
获取目标对象的身份特征信息；基于所述身份特征信息，确定所述目标对象的至少一个待作业任务；基于所述待作业任务的位置和所述目标对象的位置，生成目标对象的巡检指示信息；所述巡检指示信息包括至少一个所述待作业任务的引导路径信息；在AR设备中呈现的AR场景图像中显示所述巡检指示信息。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述增强现实呈现方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述增强现实呈现方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (11)
1.一种增强现实呈现方法，其特征在于，包括：
获取目标对象的身份特征信息；
基于所述身份特征信息，确定所述目标对象的至少一个待作业任务；
基于所述待作业任务的位置和所述目标对象的位置，生成目标对象的巡检指示信息；所述巡检指示信息包括至少一个所述待作业任务的引导路径信息；
在AR设备中呈现的AR场景图像中显示所述巡检指示信息。
2.根据权利要求1所述的增强现实呈现方法，其特征在于，所述获取目标对象的身份特征信息，包括：
获取包括所述目标对象的第一现实场景图像；
基于所述第一现实场景图像，确定所述目标对象是否位于预设作业区域内；
在所述目标对象位于所述预设作业区域的情况下，基于所述第一现实场景图像，确定所述目标对象的身份特征信息。
3.根据权利要求2所述的增强现实呈现方法，其特征在于，所述身份特征信息包括目标对象的作业岗位信息；
所述基于所述第一现实场景图像，确定所述目标对象的身份特征信息，包括：
从所述第一现实场景图像中提取所述目标对象的人脸特征信息、人体特征信息和衣着特征信息中的至少一种；
基于所述人脸特征信息、人体特征信息和衣着特征信息中的至少一种，确定所述目标对象的作业岗位信息；
所述基于所述身份特征信息，确定所述目标对象的至少一个待作业任务，包括：
获取与所述作业岗位信息相匹配的至少一个待作业任务。
4.根据权利要求1至3任一项所述的增强现实呈现方法，其特征在于，所述基于所述待作业任务的位置和所述目标对象的位置，生成目标对象的巡检指示信息，包括：
基于每个所述待作业任务的作业优先级、每个待作业任务的位置和所述目标对象的位置，生成所述目标对象的巡检指示信息。
5.根据权利要求4所述的增强现实呈现方法，所述基于每个所述待作业任务的作业优先级、每个待作业任务的位置和所述目标对象的位置，生成所述目标对象的巡检指示信息，包括：
基于所述至少一个待作业任务的作业优先级，确定所述至少一个待作业任务对应的至少一种巡检顺序；
基于确定的所述至少一种巡检顺序、每个待作业任务的位置和所述目标对象的位置，生成至少一条第一待选路径；
基于所述至少一条第一待选路径中最短的第一待选路径，生成所述目标对象的巡检指示信息。
6.根据权利要求4所述的增强现实呈现方法，其特征在于，所述基于每个所述待作业任务的作业优先级、每个待作业任务的位置和所述目标对象的位置，生成所述目标对象的巡检指示信息，包括：
基于所述至少一个待作业任务的位置和所述目标对象的位置，生成至少一条第二待选路径；
基于每条所述第二待选路径中待作业任务的巡检顺序和所述待作业任务的作业优先级，确定每条所述第二待选路径的目标分值；
基于目标分值最高的第二待选路径，生成所述目标对象的巡检指示信息。
7.根据权利要求6所述的增强现实呈现方法，其特征在于，所述基于每条所述第二待选路径中待作业任务的巡检顺序和所述待作业任务的作业优先级，确定每条所述第二待选路径的目标分值，包括：
基于所述第二待选路径中所述待作业任务的巡检顺序和待作业任务的作业优先级，确定所述第二待选路径的第一分值；
基于所述第二待选路径的路径长度确定所述第二待选路径的第二分值；
基于所述第一分值和所述第二分值，确定所述第二待选路径的所述目标分值。
8.根据权利要求1至7任一项所述的增强现实呈现方法，其特征在于，所述巡检指示还包括待作业任务的介绍信息，所述方法还包括：
在确定所述目标对象到达所述待作业任务的位置的情况下，获取所述待作业任务的介绍信息；
在所述AR设备中呈现的AR场景图像中显示所述待作业任务的介绍信息。
9.一种增强现实呈现装置，其特征在于，包括：
对象识别模块，用于获取目标对象的身份特征信息；
任务获取模块，用于基于所述身份特征信息，确定所述目标对象的至少一个待作业任务；
路径生成模块，用于基于所述待作业任务的位置和所述目标对象的位置，生成目标对象的巡检指示信息；所述巡检指示信息包括至少一个所述待作业任务的引导路径信息；
路径显示模块，用于在AR设备中呈现的AR场景图像中显示所述巡检指示信息。
10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的增强现实呈现方法的步骤。
11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任一所述的增强现实呈现方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011261658.XA CN112330821A (zh) | 2020-11-12 | 2020-11-12 | 增强现实呈现方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011261658.XA CN112330821A (zh) | 2020-11-12 | 2020-11-12 | 增强现实呈现方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112330821A true CN112330821A (zh) | 2021-02-05 |
Family
ID=74317256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011261658.XA Pending CN112330821A (zh) | 2020-11-12 | 2020-11-12 | 增强现实呈现方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330821A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113936513A (zh) * | 2021-05-06 | 2022-01-14 | 国家电投集团电站运营技术（北京）有限公司 | 基于三维可视化的风电场培训方法、装置及设备 |
| CN114003034A (zh) * | 2021-10-26 | 2022-02-01 | 山东新一代信息产业技术研究院有限公司 | 一种巡检机器人巡检规划的制定方法、设备及存储介质 |
| CN117406865A (zh) * | 2023-12-12 | 2024-01-16 | 浙江恒逸石化有限公司 | 基于增强现实的化工生产环境的巡检方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160203641A1 (en) * | 2015-01-14 | 2016-07-14 | International Business Machines Corporation | Augmented reality device display of image recognition analysis matches |
| CN108399660A (zh) * | 2018-02-09 | 2018-08-14 | 宁夏煜隆科技有限公司 | 巡检方法及服务器 |
| CN108416868A (zh) * | 2018-03-28 | 2018-08-17 | 合肥云智物联科技有限公司 | 一种变电站的巡检系统及其巡检方法 |
| CN108879440A (zh) * | 2018-06-20 | 2018-11-23 | 国网山东省电力公司济宁供电公司 | 基于可穿戴增强现实显示终端和云平台的智能检修系统及方法 |
| CN110068332A (zh) * | 2019-02-21 | 2019-07-30 | 国网浙江平湖市供电有限公司 | 基于可穿戴设备的变电站巡检路径规划装置及方法 |
-
2020
- 2020-11-12 CN CN202011261658.XA patent/CN112330821A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160203641A1 (en) * | 2015-01-14 | 2016-07-14 | International Business Machines Corporation | Augmented reality device display of image recognition analysis matches |
| CN108399660A (zh) * | 2018-02-09 | 2018-08-14 | 宁夏煜隆科技有限公司 | 巡检方法及服务器 |
| CN108416868A (zh) * | 2018-03-28 | 2018-08-17 | 合肥云智物联科技有限公司 | 一种变电站的巡检系统及其巡检方法 |
| CN108879440A (zh) * | 2018-06-20 | 2018-11-23 | 国网山东省电力公司济宁供电公司 | 基于可穿戴增强现实显示终端和云平台的智能检修系统及方法 |
| CN110068332A (zh) * | 2019-02-21 | 2019-07-30 | 国网浙江平湖市供电有限公司 | 基于可穿戴设备的变电站巡检路径规划装置及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113936513A (zh) * | 2021-05-06 | 2022-01-14 | 国家电投集团电站运营技术（北京）有限公司 | 基于三维可视化的风电场培训方法、装置及设备 |
| CN114003034A (zh) * | 2021-10-26 | 2022-02-01 | 山东新一代信息产业技术研究院有限公司 | 一种巡检机器人巡检规划的制定方法、设备及存储介质 |
| CN117406865A (zh) * | 2023-12-12 | 2024-01-16 | 浙江恒逸石化有限公司 | 基于增强现实的化工生产环境的巡检方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112330821A (zh) | 增强现实呈现方法、装置、电子设备及存储介质 | |
| CN112597837B (zh) | 图像检测方法、装置、设备、存储介质和计算机程序产品 | |
| CN110348412B (zh) | 一种关键点定位方法、装置、电子设备及存储介质 | |
| CN112288883B (zh) | 作业指导信息的提示方法、装置、电子设备及存储介质 | |
| CN112330730A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113537374B (zh) | 一种对抗样本生成方法 | |
| CN112288889A (zh) | 指示信息展示方法、装置、计算机设备及存储介质 | |
| CN111177009A (zh) | 一种脚本生成方法、装置、电子设备及存储介质 | |
| US20210042971A1 (en) | Information processing device, display method, and program storage medium for monitoring object movement | |
| CN110390344B (zh) | 备选框更新方法及装置 | |
| CN112288882A (zh) | 一种信息展示方法、装置、计算机设备及存储介质 | |
| CN113643260A (zh) | 用于检测图像质量的方法、装置、设备、介质和产品 | |
| CN112579907B (zh) | 一种异常任务检测方法、装置、电子设备和存储介质 | |
| CN114418398A (zh) | 场景任务开发方法、装置、设备及存储介质 | |
| CN112990625A (zh) | 标注任务的分配方法、装置及服务器 | |
| CN110782232A (zh) | 业务流程可视化配置方法、装置、电子设备及存储介质 | |
| CN112149828A (zh) | 基于深度学习框架的算子精度检测方法和装置 | |
| CN114255494A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112380968A (zh) | 检测方法、装置、电子设备及存储介质 | |
| CN114674328B (zh) | 地图生成方法、装置、电子设备、存储介质、及车辆 | |
| CN114116688B (zh) | 数据处理与数据质检方法、装置及可读存储介质 | |
| CN112330820A (zh) | 信息展示方法、装置、电子设备及存储介质 | |
| CN114972500A (zh) | 查验方法、标注方法、系统、装置、终端、设备及介质 | |
| CN111275693B (zh) | 一种图像中物体的计数方法、计数装置及可读存储介质 | |
| CN113850836A (zh) | 基于行为轨迹的员工行为识别方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210205 |