CN112288883A - 作业指导信息的提示方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种作业指导信息的提示方法、装置、电子设备及存储介质，该作业指导信息的提示方法包括：获取AR设备拍摄的现实场景图像；根据图像识别模型对现实场景图像进行目标对象识别，得到识别结果以及识别结果的置信度；根据识别结果以及识别结果的置信度，从识别结果对应的作业指导信息中选择出与识别结果的置信度相对应的目标作业指导信息；通过AR设备展示包含目标作业指导信息的AR画面。

Description

作业指导信息的提示方法、装置、电子设备及存储介质

技术领域

本公开涉及增强现实技术领域，具体而言，涉及一种作业指导信息的提示方法、装置、电子设备和存储介质。

背景技术

AR(Augmented Reality，增强现实)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

目前产生了结合AR技术的AR设备(如AR眼镜)，通过AR设备能够将虚拟信息叠加到真实世界中。例如，在工业应用中，作业人员在装配、维修设备时可以通过佩戴AR设备来获取相应的作业指导信息。

然而，当作业人员在处于不同的作业区或者同一作业区的不同环境下(比如白天和黑夜等)下时，AR设备所采集图像的质量有所差异，会导致误识别的问题，进而对作业过程造成干扰。例如，因环境光线问题可能将当前正常的设备识别成故障设备，进而投放对该故障如何进行维修的作业指导信息，从而对正常的作业过程造成干扰。

发明内容

本公开实施例至少提供一种作业指导信息的提示方法、装置、电子设备及计算机可读存储介质。

第一方面，本公开实施例提供了一种作业指导信息的提示方法，包括：

获取AR设备拍摄的现实场景图像；

根据图像识别模型对所述现实场景图像进行目标对象识别，得到识别结果以及所述识别结果的置信度；

根据所述识别结果以及所述识别结果的置信度，从所述识别结果对应的作业指导信息中选择出与所述识别结果的置信度相对应的目标作业指导信息；

通过所述AR设备展示包含所述目标作业指导信息的AR画面。

本公开实施例中，在对现实场景图像进行目标对象识别后，根据进行目标对象识别的识别结果的置信度，确定与识别结果的置信度相对应的作业指导信息，也即，对识别结果进行置信度考量，根据置信度来确定当前识别结果是否准确，进而可以避免因误识别而对作业过程造成的干扰的情况发生，从而提高作业指导的可靠度。

根据第一方面，在一种可能的实施方式中，所述根据所述识别结果以及所述识别结果的置信度，从所述识别结果对应的作业指导信息中选择出与所述识别结果的置信度相对应的目标作业指导信息，包括：

根据所述识别结果，确定与所述识别结果相对应的多个作业指导信息；

根据所述识别结果的置信度，以及预设的置信度与多个作业指导信息之间的关联关系，确定与所述识别结果的置信度相对应的目标作业指导信息。

本公开实施例中，置信度与作业指导信息之间的关联关系可以是预设的，当置信度确定后，相应的作业指导信息也是确定的，可以直接进行投放，因此，本实施方式在提高了作业指导的可靠度的同时还能提高确定作业指导信息的效率，进而提高用户体验。

根据第一方面，在一种可能的实施方式中，所述根据所述识别结果以及所述识别结果的置信度，从所述识别结果对应的作业指导信息中选择出与所述识别结果的置信度相对应的目标作业指导信息，包括：

根据所述识别结果，确定与所述识别结果相对应的多个作业指导信息；

在所述识别结果的置信度位于第一区间的情况下，从所述多个作业指导信息中选择用于对用户进行目标指导的目标作业指导信息；或者

在所述识别结果的置信度位于第二区间的情况下，从所述多个作业指导信息中选择多个用于供用户选择的候选作业指导信息；其中，所述第二区间的置信度小于所述第一区间的置信度。

本公开实施例中，由于第一区间的置信度大于第二区间的置信度，若当前识别结果的置信度位于第一区间，说明当前识别结果较为准确，可以给与用于对用户进行明确指导的作业指导信息；若当前识别结果的置信度位于第二区间，则说明当前识别结果可能存在误识别的情况，因此需要给出多种供用户选择的候选作业指导信息以供用户选择，进而可以使得用户根据当前实际情况确定选择哪种作业指导信息，进一步提高了作业指导的可靠性。

根据第一方面，在一种可能的实施方式中，所述目标对象包括设备或者零部件；所述在所述识别结果的置信度位于第一区间的情况下，从所述多个作业指导信息中选择用于对用户进行目标指导的目标作业指导信息，包括：

在所述设备图像或者所述零部件图像的识别结果的置信度位于所述第一区间的情况下，从所述多个作业指导信息中选择用于对所述设备或者所述零部件的操作方式进行指导的目标作业指导信息。

根据第一方面，在一种可能的实施方式中，所述目标对象包括设备或者零部件；所述根据图像识别模型对所述现实场景图像进行目标对象识别，包括：

识别所述现实场景图像中的设备或者零部件图像的特征标识；

根据所述特征标识，从预设的模型库中确定与所述特征标识对应的目标图像识别模型；

根据所述目标图像识别模型对所述设备或者零部件图像进行识别。

本公开实施例中，在进行目标对象识别时，先根据特征标识确定目标图像识别模型，再进行目标对象识别，可以提高识别的效率。

根据第一方面，在一种可能的实施方式中，所述目标对象包括设备或者零部件；所述根据图像识别模型对所述现实场景图像进行目标对象识别，包括：

提取所述现实场景图像中的设备或者零部件图像的特征点；

将所述提取的特征点与数据库中的标定特征点进行匹配，得到所述设备或者零部件的识别结果。

本公开实施例中，在进行目标对象识别时，先对现实场景中的图像进行特征点提取，再将当前采集的图像的特征点与数据库中的特征点信息进行匹配，得到识别结果，可以提高图像识别的效率。

根据第一方面，在一种可能的实施方式中，所述目标对象包括用户面部图像；所述根据图像识别模型对所述现实场景图像进行目标对象识别，包括：

识别所述AR设备拍摄的现实场景图像中的用户面部图像；

根据情绪识别模型对用户的负面情绪进行识别，得到所述面部图像的情绪识别结果。

根据第一方面，在一种可能的实施方式中，所述在所述识别结果的置信度位于第一区间的情况下，从所述多个作业指导信息中选择用于对用户进行目标指导的目标作业指导信息，包括：

在所述用户面部图像的识别结果的置信度位于所述第一区间的情况下，从所述多个作业指导信息中选择用于对用户的负面情绪进行缓解的目标作业指导信息。

本公开实施例中，在检测到用户的负面情绪较高时，可以展示用于缓解用户情绪的作业指导信息，如此可以缓解用户的作业情绪，提高作业的安全性，进而尽量避免因负面情绪所引起的安全事故的发生。

根据第一方面，在一种可能的实施方式中，在所述识别结果的置信度位于第二区间的情况下，所述方法还包括：

从所述多个供用户选择的候选作业指导信息中选择所述目标作业指导信息。

本公开实施例中，可以根据用户的选择来确定最终的目标作业指导信息，如此进一步提高了作业的可靠度，且具有较高的灵活性。

根据第一方面，在一种可能的实施方式中，为了丰富作业指导信息的展现形式的多样性，以提高用户体验，所述作业指导信息的展现形式包括以的至少一种：

文字形式、声音形式、图片形式、动画形式。

第二方面，本公开实施例提供了一种作业指导信息的选择装置，包括：

获取模块，用于获取AR设备拍摄的现实场景图像；

识别模块，用于根据图像识别模型对所述现实场景图像进行目标对象识别，得到识别结果以及所述识别结果的置信度；

选择模块，用于根据所述识别结果以及所述识别结果的置信度，从所述识别结果对应的作业指导信息中选择出与所述识别结果的置信度相对应的目标作业指导信息；

展示模块，用于通过所述AR设备展示包含所述目标作业指导信息的AR画面。

根据第二方面，在一种可能的实施方式中，选择模块具体用于：

根据所述识别结果，确定与所述识别结果相对应的多个作业指导信息；

根据所述识别结果的置信度，以及预设的置信度与多个作业指导信息之间的关联关系，确定与所述识别结果的置信度相对应的目标作业指导信息。

根据第二方面，在一种可能的实施方式中，选择模块具体用于：

根据所述识别结果，确定与所述识别结果相对应的多个作业指导信息；

在所述识别结果的置信度位于第一区间的情况下，从所述多个作业指导信息中选择用于对用户进行目标指导的目标作业指导信息；或者

在所述识别结果的置信度位于第二区间的情况下，从所述多个作业指导信息中选择多个用于供用户选择的候选作业指导信息；其中，所述第二区间的置信度小于所述第一区间的置信度。

根据第二方面，在一种可能的实施方式中，所述目标对象包括设备或者零部件；在所述设备图像或者所述零部件图像的识别结果的置信度位于所述第一区间的情况下，所述选择模块具体用于：

从所述多个作业指导信息中选择用于对所述设备或者所述零部件的操作方式进行指导的目标作业指导信息。

根据第二方面，在一种可能的实施方式中，所述目标对象包括设备或者零部件；识别模块具体用于：

识别所述现实场景图像中的设备或者零部件图像的特征标识；

根据所述特征标识，从预设的模型库中确定与所述特征标识对应的目标图像识别模型；

根据所述目标图像识别模型对所述设备或者零部件图像进行识别。

根据第二方面，在一种可能的实施方式中，所述目标对象包括设备或者零部件；识别模块具体用于：

提取所述现实场景图像中的设备或者零部件图像的特征点；

将所述提取的特征点与数据库中的标定特征点进行匹配，得到所述设备或者零部件的识别结果。

根据第二方面，在一种可能的实施方式中，所述目标对象包括用户面部图像；识别模块具体用于：

识别所述AR设备拍摄的现实场景图像中的用户面部图像；

根据情绪识别模型对用户的负面情绪进行识别，得到所述面部图像的情绪识别结果。

根据第二方面，在一种可能的实施方式中，所述在所述识别结果的置信度位于第一区间的情况下，选择模块具体用于：

在所述用户面部图像的识别结果的置信度位于所述第一区间的情况下，从所述多个作业指导信息中选择用于对用户的负面情绪进行缓解的目标作业指导信息。

根据第二方面，在一种可能的实施方式中，在所述识别结果的置信度位于第二区间的情况下，选择模块还用于：

从所述多个供用户选择的候选作业指导信息中选择所述目标作业指导信息。

根据第二方面，在一种可能的实施方式中，所述作业指导信息的展现形式包括以的至少一种：

文字形式、声音形式、图片形式、动画形式。

第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的作业指导信息的提示方法的步骤。

第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的作业指导信息的提示方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种作业指导信息的提示方法的流程图；

图2示出了本公开实施例所提供的一种目标对象识别方法的流程图；

图3示出了本公开实施例所提供的另一种目标对象识别方法的流程图；

图4示出了本公开实施例所提供的一种作业指导信息的选择装置的结构示意图；

图5示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，该技术可以将虚拟信息与真实环境实时地叠加到一个画面。目前产生了结合AR技术的AR设备(如AR眼镜)，通过AR设备能够将虚拟信息叠加到真实世界中。例如，在工业应用中，作业人员在装配、维修设备或者进行设备巡检时可以通过佩戴AR设备来获取相应的作业指导信息。

经研究发现，当作业人员在处于不同的作业区或者同一作业区的不同环境下(比如白天和黑夜等)下时，AR设备所采集图像的质量有所差异，会导致误识别的问题，进而对作业过程造成干扰。

例如，因环境光线问题可能将当前正常的设备识别成故障设备，进而投放对该故障如何进行维修的作业指导信息，从而对正常的作业过程造成干扰。因此，如何提升在不同环境下的作业指导信息选择的可靠度，为本公开要解决的技术问题。

基于上述研究，本公开提供了一种作业指导信息的提示方法，首先获取AR设备拍摄的现实场景图像，再根据图像识别模型对现实场景图像进行目标对象识别，得到识别结果以及识别结果的置信度，然后根据进行目标对象识别的识别结果的置信度，确定与识别结果的置信度相对应的作业指导信息，也即，对识别结果进行置信度考量，根据置信度来确定当前识别结果是否准确，从而选择相应的目标作业指导信息，进而可以避免因误识别而对作业过程造成的干扰的情况发生，从而提高作业指导的可靠度。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种作业指导信息的提示方法进行详细介绍，本公开实施例所提供的作业指导信息的提示方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为移动设备、用户终端、终端、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该作业指导信息的提示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例所提供的一种作业指导信息的提示方法的流程示意图，其中，该方法可以应用于上述电子设备中，或应用于本地或云端的服务器中。图1所示的作业指导信息的提示方法包括以下几个步骤：

S101，获取AR设备拍摄的现实场景图像。

本公开实施例中，AR设备为能够支持AR功能的智能设备，示例性说明，AR设备包括但不限于：手机、平板电脑、AR眼镜等能够呈现增强现实效果的电子设备。也即，该AR设备可以是前述具有一定计算能力的电子设备中的终端设备。AR设备可以内置图像采集部件也可以外接图像采集部件，在AR设备进入工作状态后，可以通过图像采集部件实时拍摄现实场景图像。

S102，根据图像识别模型对现实场景图像进行目标对象识别，得到识别结果以及识别结果的置信度。

示例性地，图像识别模型是经过预先训练而形成的神经网络模型，其本身具有识别功能，能够对现实场景进行目标对象识别，具体的识别方式详见后文叙述。

S103，根据识别结果以及识别结果的置信度，从识别结果对应的作业指导信息中选择出与识别结果的置信度相对应的目标作业指导信息。

可以理解，根据识别结果可能对应多个作业指导信息，例如，根据识别结果目标对象为X对象，而与X对象对应的作业指导信息可能为多个，因此为了提高所选择的作业指导信息的可靠度，需要进一步按照识别结果的置信度的等级进一步寻找匹配该等级的作业指导信息。

示例性地，可以根据目标对象识别的识别结果的置信度，以及预设的置信度与作业指导信息之间的关联关系，确定与识别结果的置信度相对应的目标作业指导信息。

在一些实施方式中，可以预先建立不同的置信度(比如以一个区间为单位)与不同的作业指导信息之间的对应关系。例如，置信度在90％～100％之间，对应A作业指导信息；置信度在80％～89％之间，对应B作业指导信息；置信度在70％～79％之间，对应C作业指导信息，以此类推。因此，若当前识别结果的置信度为85％，则根据该对应关系，可以确定B作业指导信息为与该置信度相对应的作业指导信息。

本公开实施例中，由于置信度与作业指导信息之间的关联关系是预设的，当置信度确定后，相应的作业指导信息也是确定的，可以直接进行选择并在AR设备中投放，因此，本实施方式在提高了作业指导的可靠度的同时还能提高确定作业指导信息的效率，进而提高用户体验。

在另一些实施方式中，在根据识别结果确定与识别结果相对应的多个作业指导信息之后，还可以根据如下方式确定与识别结果的置信度相对应的目标作业指导信息：

在识别结果的置信度位于第一区间的情况下，从多个作业指导信息中选择用于对用户进行目标指导的目标作业指导信息；或者

在识别结果的置信度位于第二区间的情况下，从多个作业指导信息中选择多个用于供用户选择的候选作业指导信息；其中，第二区间的置信度小于第一区间的置信度。

本实施方式中，由于第一区间的置信度大于第二区间的置信度，若当前识别结果的置信度位于第一区间，说明当前识别结果较为准确，可以给与用于对用户进行明确的目标指导的目标作业指导信息；若当前识别结果的置信度位于第二区间，则说明当前识别结果可能存在误识别的情况，因此需要给出多种供用户选择的候选作业指导信息以共用户选择，进而可以使得用户根据当前实际情况确定选择哪种作业指导信息，进一步提高了作业指导的可靠性。

示例性地，在识别结果的置信度位于第二区间的情况下，方法还包括：从多个供用户选择的候选作业指导信息中选择目标作业指导信息。如此，可以响应用户的操作而从多种供用户选择的候选作业指导信息中选择最终的目标作业指导信息，以进一步提搞作业指导的可靠度，且灵活性较高。

S104，通过AR设备展示包含目标作业指导信息的AR画面。

示例地，将该作业指导信息与现实场景相结合后展现于AR设备中以对用户进行指导。其中，可以以文字形式、声音形式、图片形式或者动画形式中的至少一种来展示该作业指导信息。如此，可以丰富展现形式的多样性，提高用户体验。

本公开实施例中，在对现实场景图像进行目标对象识别后，根据进行目标对象识别的识别结果的置信度，确定与识别结果的置信度相对应的作业指导信息，也即，对识别结果进行置信度考量，根据置信度来确定当前识别结果是否准确，从而选择相应的目标作业指导信息，进而可以避免因误识别而对作业过程造成的干扰的情况发生，从而提高作业指导的可靠度。

示例性地，该作业指导信息的提示方法可以用于对设备或者零部件进行维修或者巡检，具体的，可以对电站的设备或者零部件进行巡检。

本公开实施方式中，目标对象包括但不限于设备或者零部件。示例地，目标对象包括设备或者零部件；在识别结果的置信度位于第一区间的情况下，从多个作业指导信息中选择用于对用户进行目标指导的目标作业指导信息，可以包括：在设备图像或者零部件图像的识别结果的置信度位于第一区间的情况下，从多个作业指导信息中选择用于对设备或者零部件的操作方式进行指导的目标作业指导信息。

也即，若当前设备或者零部件的图像的识别结果的置信度位于第一区间，说明当前图像识别结果准确，可以依据当前识别结果给与明确的操作方式的目标作业指导信息。例如，若识别结果检测出当前设备出现Y故障，且该识别结果的置信度位于第一区间，则说明当前的识别结果较为准确，因此可以直接给与Y故障所对应的操作指导，以指示作业人员如何对该Y故障进行维修处理。

可以理解，由于厂房或者电站的设备以及零部件较多，系统里会存有与不同设备分别对应的训练好的图像识别模型，在对目标设备或者零部件进行识别时，若采用逐一遍历的方法来进行识别则比较花费时间，效率较低。因此，为了提高比对识别的效率，在一些实施方式中，针对上述S102，在根据图像识别模型对现实场景图像进行目标对象识别时，如图2所示，可以包括以下S1021～S1023：

S1021，识别现实场景图像中的设备或者零部件图像的特征标识。

该特征标识可以表征设备或者零部件身份信息的特征标识，比如条形码、二维码或者序列码等，该特征标识可以将不同的设备或者零部件进行区分。

S1022，根据特征标识，从预设的模型库中确定与特征标识对应的目标图像识别模型。

可以理解，由于每个设备或者零部件都自己的特征标识，因此只要识别出当前图像中的设备或者零部件的特征标识，则可以直接调出与该特征标识相对应的图像识别模型进行图像识别即可，无需逐一遍历，进而可以节省图像识别时间，提高图像识别的效率。

S1023，根据目标图像识别模型对设备或者零部件图像进行识别。

将该目标图像识别模型与现实场景图像中的设备或者零部件进行比对识别，即可确定现实场景图像中的设备或者零部件的当前状态，进而达到检修的目的。

示例地，针对上述S102，在根据图像识别模型对现实场景图像进行目标对象识别时，如图3所示，可以包括以下S102a～S102b：

S102a，提取现实场景图像中的设备或者零部件图像的特征点。

具体地，针对现实场景图像提取的特征点可以为能够表征该设备或者零部件图像关键信息的点，比如可以表示该设备或者零部件轮廓信息的特征点。

S102b，将提取的特征点与数据库中的标定特征点进行匹配，得到设备或者零部件的识别结果。

示例地，可以预先存储各个设备或者零部件的图像，提取特征点并标定后存储在数据库中，然后将提取的现实场景图像中的特征点与数据库中的标定特征点进行匹配，即可得到设备或者零部件的识别结果。

示例性地，该作业指导信息的提示方法可以用于对作业人员的情绪进行识别和指导。本公开实施方式中，目标对象可以包括用户面部图像，因此，前述的根据图像识别模型对现实场景图像进行目标对象识别，可以包括：识别AR设备拍摄的现实场景图像中的用户面部图像，并根据情绪识别模型对用户的负面情绪进行识别，得到面部图像的情绪识别结果。

示例性地，在识别结果的置信度位于第一区间的情况下，从多个作业指导信息中选择用于对用户进行目标指导的目标作业指导信息，可以包括：在用户面部图像的识别结果的置信度位于第一区间的情况下，从多个作业指导信息中选择用于对用户的负面情绪进行缓解的目标作业指导信息。

本公开实施例中，在用户面部图像的识别结果的置信度位于第一区间的情况下，说明当前识别结果较为准确，用户的负面情绪较高，可以展示用于缓解用户情绪的作业指导信息，如此可以缓解用户的作业情绪，提高作业的安全性，进而因负面情绪所引起的安全事故的发生。

可以理解，可以预先训练一些负面情绪的情绪识别模型，比如，以用户的不开心的脸或者哭泣的脸来进行训练。若用户面部图像的识别结果的置信度位于第一区间，则说明识别准确，作业员当前负面情绪(如焦虑情绪)较高，进而需要播放缓解情绪的内容；而若用户面部图像的识别结果的置信度位于第二区间，则可以给用户提供供用户选择的候选作业指导信息选项，让用户根据自身情况自行选择目标作业指导信息，如此，更加人性化，提高了用户体验。

示例地，为了实现资源合理的利用，在根据图像识别模型对现实场景图像进行目标对象识别时，可以先得到识别结果，在识别结果成功的情况下再确定该识别结果的置信度，如此可以避免在不必要的情况下(比如目标对象识别失败的情况)进行置信度的确认，进而避免资源的浪费。

其中，识别结果成功是指现实场景图像中的目标对象识别成功，也即，在图像识别模型找到了与该目标对象相匹配的特征点或者目标图像识别模型。

可以理解，本公开实施例中的作业指导信息的提示方法的具体应用环境不仅仅局限于对设备或者零部件的巡检(检修)、对作业人员的情绪的检测以及缓解等，还可以应用于其他需要进行指导的具体环境，在此不做限定。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一技术构思，本公开实施例中还提供了与作业指导信息的提示方法对应的作业指导信息的选择装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述作业指导信息的提示方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图4所示，为本公开实施例提供的一种作业指导信息的选择装置500的示意图，该作业指导信息的选择装置包括：

第二方面，本公开实施例提供了一种作业指导信息的选择装置，包括：

获取模块501，用于获取AR设备拍摄的现实场景图像；

识别模块502，用于根据图像识别模型对现实场景图像进行目标对象识别，得到识别结果以及识别结果的置信度；

选择模块503，用于根据识别结果以及识别结果的置信度，从识别结果对应的作业指导信息中选择出与识别结果的置信度相对应的目标作业指导信息；

展示模块504，用于通过AR设备展示包含目标作业指导信息的AR画面。

在一种可能的实施方式中，选择模块503具体用于：

根据识别结果，确定与识别结果相对应的多个作业指导信息；

根据识别结果的置信度，以及预设的置信度与多个作业指导信息之间的关联关系，确定与识别结果的置信度相对应的目标作业指导信息。

在一种可能的实施方式中，选择模块503具体用于：

根据识别结果，确定与识别结果相对应的多个作业指导信息；

在识别结果的置信度位于第一区间的情况下，从多个作业指导信息中选择用于对用户进行目标指导的目标作业指导信息；或者

在识别结果的置信度位于第二区间的情况下，从多个作业指导信息中选择多个用于供用户选择的候选作业指导信息；其中，第二区间的置信度小于第一区间的置信度。

在一种可能的实施方式中，目标对象包括设备或者零部件；在设备图像或者零部件图像的识别结果的置信度位于第一区间的情况下，选择模块503具体用于：

从多个作业指导信息中选择用于对设备或者零部件的操作方式进行指导的目标作业指导信息。

在一种可能的实施方式中，目标对象包括设备或者零部件；识别模块502具体用于：

识别现实场景图像中的设备或者零部件图像的特征标识；

根据特征标识，从预设的模型库中确定与特征标识对应的目标图像识别模型；

根据目标图像识别模型对设备或者零部件图像进行识别。

在一种可能的实施方式中，目标对象包括设备或者零部件；识别模块502具体用于：

提取现实场景图像中的设备或者零部件图像的特征点；

将提取的特征点与数据库中的标定特征点进行匹配，得到设备或者零部件的识别结果。

在一种可能的实施方式中，目标对象包括用户面部图像；识别模块502具体用于：

识别AR设备拍摄的现实场景图像中的用户面部图像；

根据情绪识别模型对用户的负面情绪进行识别，得到面部图像的情绪识别结果。

在一种可能的实施方式中，在识别结果的置信度位于第一区间的情况下，选择模块503具体用于：

在用户面部图像的识别结果的置信度位于第一区间的情况下，从多个作业指导信息中选择用于对用户的负面情绪进行缓解的目标作业指导信息。

在一种可能的实施方式中，在识别结果的置信度位于第二区间的情况下，选择模块503还用于：

从多个供用户选择的候选作业指导信息中选择目标作业指导信息。

在一种可能的实施方式中，作业指导信息的展现形式包括以的至少一种：

文字形式、声音形式、图片形式、动画形式。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图5所示，为本公开实施例提供的电子设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。

本申请实施例中，存储器702具体用于存储执行本申请方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中所揭示的方法。

其中，存储器702可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。

处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的作业指导信息的提示方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例所提供的作业指导信息的提示方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行上述方法实施例中的作业指导信息的提示方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种作业指导信息的提示方法，其特征在于，包括：

获取AR设备拍摄的现实场景图像；

根据图像识别模型对所述现实场景图像进行目标对象识别，得到识别结果以及所述识别结果的置信度；

根据所述识别结果以及所述识别结果的置信度，从所述识别结果对应的作业指导信息中选择出与所述识别结果的置信度相对应的目标作业指导信息；

通过所述AR设备展示包含所述目标作业指导信息的AR画面。

2.根据权利要求1所述的方法，其特征在于，所述根据所述识别结果以及所述识别结果的置信度，从所述识别结果对应的作业指导信息中选择出与所述识别结果的置信度相对应的目标作业指导信息，包括：

根据所述识别结果，确定与所述识别结果相对应的多个作业指导信息；

根据所述识别结果的置信度，以及预设的置信度与多个作业指导信息之间的关联关系，确定与所述识别结果的置信度相对应的目标作业指导信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述识别结果以及所述识别结果的置信度，从所述识别结果对应的作业指导信息中选择出与所述识别结果的置信度相对应的目标作业指导信息，包括：

根据所述识别结果，确定与所述识别结果相对应的多个作业指导信息；

在所述识别结果的置信度位于第一区间的情况下，从所述多个作业指导信息中选择用于对用户进行目标指导的目标作业指导信息；或者

在所述识别结果的置信度位于第二区间的情况下，从所述多个作业指导信息中选择多个用于供用户选择的候选作业指导信息；其中，所述第二区间的置信度小于所述第一区间的置信度。

4.根据权利要求3所述的方法，其特征在于，所述目标对象包括设备或者零部件；所述在所述识别结果的置信度位于第一区间的情况下，从所述多个作业指导信息中选择用于对用户进行目标指导的目标作业指导信息，包括：

在所述设备图像或者所述零部件图像的识别结果的置信度位于所述第一区间的情况下，从所述多个作业指导信息中选择用于对所述设备或者所述零部件的操作方式进行指导的目标作业指导信息。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述目标对象包括设备或者零部件；所述根据图像识别模型对所述现实场景图像进行目标对象识别，包括：

识别所述现实场景图像中的设备或者零部件图像的特征标识；

根据所述特征标识，从预设的模型库中确定与所述特征标识对应的目标图像识别模型；

根据所述目标图像识别模型对所述设备或者零部件图像进行识别。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述目标对象包括设备或者零部件；所述根据图像识别模型对所述现实场景图像进行目标对象识别，包括：

提取所述现实场景图像中的设备或者零部件图像的特征点；

将所述提取的特征点与数据库中的标定特征点进行匹配，得到所述设备或者零部件的识别结果。

7.根据权利要求3所述的方法，其特征在于，所述目标对象包括用户面部图像；所述根据图像识别模型对所述现实场景图像进行目标对象识别，包括：

识别所述AR设备拍摄的现实场景图像中的用户面部图像；

根据情绪识别模型对用户的负面情绪进行识别，得到所述面部图像的情绪识别结果。

8.根据权利要求7所述的方法，其特征在于，所述在所述识别结果的置信度位于第一区间的情况下，从所述多个作业指导信息中选择用于对用户进行目标指导的目标作业指导信息，包括：

在所述用户面部图像的识别结果的置信度位于所述第一区间的情况下，从所述多个作业指导信息中选择用于对用户的负面情绪进行缓解的目标作业指导信息。

9.根据权利要求3-8任一项所述的方法，其特征在于，在所述识别结果的置信度位于第二区间的情况下，所述方法还包括：

从所述多个供用户选择的候选作业指导信息中选择所述目标作业指导信息。

10.一种作业指导信息的选择装置，其特征在于，包括：

获取模块，用于获取AR设备拍摄的现实场景图像；

识别模块，用于根据图像识别模型对所述现实场景图像进行目标对象识别，得到识别结果以及所述识别结果的置信度；

选择模块，用于根据所述识别结果以及所述识别结果的置信度，从所述识别结果对应的作业指导信息中选择出与所述识别结果的置信度相对应的目标作业指导信息；

展示模块，用于通过所述AR设备展示包含所述目标作业指导信息的AR画面。

11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-9任一所述的作业指导信息的提示方法的步骤。

12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-9任一所述的作业指导信息的提示方法的步骤。

Images