CN111540054A - 一种基于ar技术的指导方法和装置 - Google Patents

Abstract

本发明公开了一种基于增强现实AR技术的指导方法，包括，根据预先设置的指导方案中所包含的准备阶段的要求，通过AR设备确定是否已完成准备阶段；所述准备阶段的要求包括对以下一种或多种物品的要求：原材料、工具；当已完成准备阶段时，提示用户开始操作；通过所述AR设备监控用户操作过程，与所述指导方案中所包含的操作流程进行比对，根据比对结果进行操作提示。本发明还公开了一种基于增强现实AR技术的指导设备、存储介质和电子装置。

Description

一种基于AR技术的指导方法和装置

技术领域

本发明涉及计算机技术领域，尤指一种基于AR技术的指导方法、装置、存储介质和电子装置。

背景技术

当前生产生活中，对于日常工作或学习过程进行指导较为广泛，一般可以采用现场指导或远程视频连线进行在线指导；或者，由被指导者利用已录制的教学视频进行无交互地自学。可以看到，不论这种现场指导还是远程的在线指导，由于指导交互的需要，都需要指导者在场或在线参与，才能有针对性的进行有效指导。而依靠通用操作手册、通用指导视频等指导学习方式，又存在针对性不足、无的放矢、指导效果较差的问题。

伴随现实增强AR技术的发展，AR设备日益智能化，利用AR技术对生产、生活中存在既定规则和流程的过程进行指导，可以减小对指导者的在线(在场)的依赖，大大提高指导过程的智能化水平和效率。

发明内容

为了解决上述技术问题，本发明提供了一种基于AR技术的指导方法、装置、存储介质和电子装置，利用AR设备的智能识别能力和全方位的人机交互能力，配合后台系统预设的指导方案，能够大幅度减小对指导者的在线的依赖，提高指导过程的智能化水平和效率。

本发明实施例提供一种基于增强现实AR技术的指导方法，包括，

根据预先设置的指导方案中所包含的准备阶段的要求，通过AR设备确定是否已完成准备阶段；所述准备阶段的要求包括对以下一种或多种物品的要求：原材料、工具；

当已完成准备阶段时，提示用户开始操作；

通过所述AR设备监控用户操作过程，与所述指导方案中所包含的操作流程进行比对，根据比对结果进行操作提示。

本发明实施例提供一种基于增强现实AR技术的指导设备，包括：

摄像头，设置为获取视频图像；

识别模块，设置为从所述摄像头拍摄的视频图像中识别物品和物品的特征；

逻辑判断模块，设置为根据预先设置的指导方案中所包含的准备阶段的要求，确定是否已完成准备阶段；所述准备阶段的要求包括对以下一种或多种物品的要求：原材料、工具；

所述逻辑判断模块，还设置为监控用户操作过程，与所述指导方案中所包含的操作流程进行比对，根据比对结果确定操作提示内容；

提示指导模块，设置为当已完成准备阶段时，提示用户开始操作；还设置为根据操作提示内容进行操作提示。

本发明实施例提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一一种基于AR技术的指导方法。

本发明实施例提供一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行上述任一一种基于AR技术的指导方法。

附图说明

图1为实施例一提供的一种基于AR技术的指导方法的流程图；

图2为实施例二提供的一种基于AR技术的指导方法的流程图；

图3为实施例三提供的一种基于AR技术的指导装置的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步的详细描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

实施例一

本实施例提供一种基于增强现实AR技术的指导方法，其流程如图1所示，包括，

步骤101，根据预先设置的指导方案中所包含的准备阶段的要求，通过AR设备确定是否已完成准备阶段；所述准备阶段的要求包括对以下一种或多种物品的要求：原材料、工具；

步骤102，当已完成准备阶段时，提示用户开始操作；

步骤103，通过所述AR设备监控用户操作过程，与所述指导方案中所包含的操作流程进行比对，根据比对结果进行操作提示。

可选地，其中，所述已完成准备阶段是指所述准备阶段的要求中每个物品的要求已达到；

其中，当物品为原材料时，原材料的要求包括以下一种或多种情况：原材料的种类、每种原材料的数量；

当物品为工具时，工具的要求包括以下一种或多种情况：工具的种类、每种工具的数量。

可选地，所述AR设备根据其视频模块拍摄的视频，识别其中的物品；或者，识别其中的物品和物品对应的特征；所述识别物品，即识别出物品的种类，是什么物品；所述识别物品对应的特征，可以包括至少以下之一：物品的数量、形状、尺寸、颜色、位置、温度、状态等。

可选地，所述方法还包括，

步骤104，当未完成准备阶段时，通过所述AR设备进行准备阶段所存在的缺失提示；

其中，所述通过所述AR设备进行准备阶段所存在的缺失提示，包括至少以下方式之一：通过所述AR设备进行语音提示；通过所述AR设备进行视频提示。

可选地，其中，所述通过所述AR设备监控用户操作过程，至少包括以下方式之一：

通过所述AR设备所包括的视频模块，拍摄用户操作过程的视频来监控用户操作过程；其中，所述AR设备根据其视频模块拍摄的视频，识别其中的物品和物品对应的特征。

通过所述AR设备所包括的人机交互模块，获取用户操作过程中的交互信息来监控用户操作过程；其中，所述交互信息至少包括以下之一：语音信息、人机界面操作信息；其中，所述AR设备根据获取的交互信息来确定操作过程中涉及的物品和物品对应的特征。

可选地，其中，所述预先设置的指导方案中所包含的操作流程，包括：

操作步骤和各操作步骤对应的物品的要求；

或者，所述操作流程还包括：各操作步骤对应的操作视频；

其中，所述物品的要求至少包括以下之一：物品的种类、数量、状态、温度、当前状态的时长。

可选地，其中，所述通过所述AR设备监控用户操作过程，与所述指导方案中所包含的操作流程进行比对，根据比对结果进行操作提示，包括：

通过所述AR设备确定当前所处操作步骤，并确定出操作中相关物品和物品的特征，与所述指导方案中包括的操作流程中对应步骤的物品的要求进行对比；

判断当前操作步骤中物品和物品的特征是否达到所述物品的要求，当未达到所述物品的要求时，通过所述AR设备进行缺失提示。

可选地，可以通过AR设备的语音进行提示，或者通过AR设备在视频画面上渲染或标识出未达到要求的物品，来进行提示。

可选地，所述的方法，还包括，通过所述AR设备连线指导者，进行实时操作指导。

实施例二

本实施例以炸薯条制作过程指导为例。

炸薯条制作过程和相关要求如下：

原材料：500克土豆、500克食用油、1克盐、2克胡椒粉；

工具：案板、刀、油温计、锅、漏勺、碗、筷子、厨房秤；

过程：

1、土豆洗净；

2、土豆去皮；

3、土豆放置案板，用刀切条成为土豆条；

4、食用油入锅加热至170度(采用油温计测量)；

5、土豆条入油锅；

6、筷子翻动土豆条；

7、炸2分钟；

8、关火，漏勺捞出至碗中；

9、撒上胡椒粉和盐。

服务方根据上述制作要求，在后台服务器上发布炸薯条指导方案；

所述炸薯条的指导方案中包括准备阶段的要求，其包括2种物品的要求：对原材料的要求和对工具的要求；

以炸薯条指导方案为例：

包括原材料要求：土豆500克、食用油500克、盐1克、胡椒粉2克；

可选地，所述原材料要求可以只包括种类，不包括数量；不限于本实施例所举例内容。

还包括工具要求：案板1个、刀1把、油温计1个、锅1口、漏勺1个、碗2个、筷子1双、厨房秤1个；不限于本实施例所举例内容。

可选地，所述工具要求可以只包括种类，不包括数量。

所述指导方案中还包括操作流程，所述操作流程包括：操作步骤、各操作步骤对应的物品的要求；或者，所述操作流程包括：操作步骤、各操作步骤对应的物品的要求和各操作步骤对应的操作视频；

其中，物品包括原材料、加工处理后的中间状态的材料或工具；

以炸薯条指导方案为例，其中包括的操作流程包括：

操作步骤1，土豆洗净；对土豆的要求是：状态为被清洗干净；清洗土豆和清洗后土豆的视频；

操作步骤2，土豆去皮；对土豆的要求是：状态为已去皮；土豆去皮和去皮后土豆的视频；

操作步骤3，切土豆条；对土豆的要求是：状态为被切为条状；切土豆和完成后土豆条的视频；

操作步骤4，油加热；对食用油的要求是：温度为170度；食用油加热和油温计显示的视频；

操作步骤5，土豆条入锅；对土豆条的要求是：状态为被放入油锅；土豆条入锅的视频；

操作步骤6，翻动土豆条；对土豆条的要求是：状态为在油锅中被翻动；翻动土豆条的视频片断；

操作步骤7，时间确认；对土豆条的要求是：土豆条入锅状态持续2分钟；该步骤可以不包括对应的视频；

操作步骤8，土豆条出锅；对土豆条的要求是：状态为已出锅；该步骤可以不包括对应的视频；或者，也可以包括土豆条出锅的视频；

操作步骤9，加入调料；对土豆条的要求是：状态为已加入调料，对胡椒粉的要求是：状态为已使用，对盐的要求是：状态为已使用；该步骤可以不包括对应的视频；也可以是加入盐、胡椒粉和加入后的土豆条的视频。

提前将上述指导方案上传到服务器上。

用户要进行炸薯条的操作指导，则用户准备AR设备，原材料和工具，开始以下一种基于AR技术的指导方法，其流程如图2所示，包括：

步骤201，准备阶段完成确认；用户携带AR设备进行原材料和所需工具检查，以确认是否满足准备阶段的要求，是否可以进入后续操作步骤。

包括，利用AR设备拍摄为了进行炸薯条，用户已经准备的原材料和工具，AR设备识别拍摄到的物品，包括识别原材料和工具，与炸薯条指导方案中包括的原材料要求和工具要求进行对比，判断所需要的原材料是否满足要求，判断所需要的工具是否满足要求。

可选地，如果原材料的要求不包括数量时，则判断所述原材料是否满足要求时，也不判断当前准备的原材料的数量是否满足要求。

可选地，所述与炸薯条指导方案中包括的原材料要求和工具要求进行对比，包括：所述AR设备将识别结果发送给后台服务器，服务器与预先上传的指导方案进行对比后，返回判断结果给AR设备；

或者，所述AR设备预先从所述后台服务器下载所述指导方案，识别后在AR设备本地进行对比，判断是否满足准备阶段的要求。

步骤220，当判断原材料和工具不满足指导方案中的准备阶段的要求时，进行缺失提示。例如，判断没有盐时，提示用户没有盐；判断没有刀时，提示用户缺少刀。可以采用语音、文字或视频方式通过AR设备提示用户这些存在的缺失。

步骤221，待用户补充缺失的原材料或工具后，返回步骤201，再次进行准备阶段完成确认。

步骤210，当确认已完成准备阶段是，提示用户开始操作；

采用语音、文字或视频方式通过AR设备提示用户“准备阶段完成，开始制作，请先清洗土豆”。

步骤211，通过所述AR设备监控用户操作，与所述指导方案中所包含的操作流程进行对比，根据比对结果进行操作提示。

以炸薯条为例，步骤211的详细过程如下：

用户首先进行土豆清洗，通过AR设备识别出土豆已清洗干净后，提示进行下一步；

用户进行土豆去皮，通过AR设备识别出部分土豆未完成去皮，则提示土豆去皮未完成；可以通过AR设备的语音进行提示，或者通过AR设备在视频画面上渲染或标识出未去皮土豆，来进行提示；确认完成全部土豆去皮后，提示进行下一步；

用户切土豆条，通过AR设备识别出切成的形状，当识别出为条状时，则提示正确或不提示；当识别出为片状时，提示操作不正确；确认完成全部土豆切条后，提示进行下一步；

用户将食用油加入锅中进行加入，通过AR设备识别油温计的数值，当识别出油温计数值达到170时(即食用油温度达到170度)，提示进行下一步；当未达到170时，不提示或提示继续加热；

用户将土豆条入锅，通过AR设备识别出土豆条的状态为在油锅中，并记录入锅时间；提示用户进行翻动；

用户翻动锅内土豆条，AR设备持续计时，当累计入锅时间达到指导方案中要求的2分钟时，提示土豆条出锅；当未到达2分钟时，提示继续进行翻动；

2分钟时间到，用户将土豆条出锅放入碗中，AR设备识别土豆条状态为已出锅，提示继续进行下一步；

用户分别加入盐和胡椒粉，AR设备识别出盐已被使用，胡椒粉已被使用，判断薯条已加入调料，则提示炸薯条完成；如果AR识别出胡椒粉未使用，则对应提示。

可以看到，上述对于炸薯条的指导，首先借助AR设备的智能识别能力识别原材料和工具是否满足准备阶段的要求；进一步，在实施过程中，利用AR设备的智能识别能力，识别涉及物品(原材料，中间材料和/或工具)的状态，记录过程时间，识别材料或工具的温度等参数，根据预设的指导方案中的操作流程，确定需要提示的内容，并利用AR设备的人机交互能力，通过语音、文字或视频方式进行操作指导。

可以看到，上述指导过程，可以无需指导者现场或远程在线参与，依托AR智能设备，或者AR智能设备和后台系统，自动完成识别和对应进行指导。

可选地，所述AR设备可以是AR智能眼镜，或其他具备AR功能的终端设备，至少具备以下功能之一：视频采集、智能识别和视频展示功能；所述AR设备包含具备上述原材料、材料和/或工具的识别模块，或者，所述AR设备能够调用外部接口完成上述原材料、中间材料和/或工具的识别；不限于特定的形式。具体识别方案根据相关方案实施，本发明方案不限定具体的识别方案。

可选地，不同的AR设备的识别能力存在区别，与指导方案中配置的准备阶段的要求，以及操作流程中物品的要求相匹配即可。

上述指导方法是针对炸薯条的指导方法，如果是指导其他操作过程，则预先上传对应的指导方案，用户开始被指导之前，先对应选定需要被指导的操作过程，再根据上述步骤开始被指导。

可选地，上述炸薯条的指导方案，也可以选择部分步骤进行指导。例如，从操作步骤5开始，则对应的指导方案中包括的原材料为切好的土豆条400克、食用油500克、盐1克、胡椒粉2克；包括的操作流程包括上述示例的步骤5-9。

可以根据需要指导的方面进行裁剪或配置形成不同的指导方案，不限于本实施例所例举的具体内容。

例如，可以是做蛋糕的过程指导，其指导方案中的原材料是做蛋糕的相关原材料，工具则是对应的蛋糕工具；根据完成做蛋糕所包括的过程设计对应的操作流程。

又例如，可以是组装家具的过程指导，其指导方案用于指导特定家具的组装过程，其指导方案中包括的原材料是家具的零件，工具则是组装家具用到的钳子、扳手、螺丝刀等工具；根据完成该家具的组装所包括的过程设计对应的操作流程。

可选地，所述指导方法还包括：

通过所述AR设备连线指导者，进行实时在线指导。

可选地，当所述AR设备为AR智能眼镜时，通过所述AR设备连线指导者时，所述指导者能够看到与操作者视角一致的视频图像。

可选地，所述指导方法还包括：

保存整个指导过程的用户方视频和对应AR设备给予的提示信息。

实施例三

本发明提供一种基于AR技术的指导设备30，其结构如图3，包括：

摄像头301，设置为获取视频图像；

识别模块302，设置为从所述摄像头拍摄的视频图像中识别物品；或者，物品和物品的特征；

逻辑判断模块303，设置为根据预先设置的指导方案中所包含的准备阶段的要求和所述识别模块的识别结果，确定是否已完成准备阶段；所述准备阶段的要求包括对以下一种或多种物品的要求：原材料、工具；

所述逻辑判断模块303，还设置为监控用户操作过程，与所述指导方案中所包含的操作流程进行比对，根据比对结果确定操作提示内容；

提示指导模块304，设置为当已完成准备阶段时，提示用户开始操作；还设置为根据操作提示内容进行操作提示。

可选地，其中，所述预先设置的指导方案中所包含的操作流程，包括：

操作步骤和各操作步骤对应的物品的要求；或者，所述操作流程还包括：各操作步骤对应的操作视频；

其中，所述物品的要求至少包括以下之一：物品的种类、数量、状态、温度、当前状态的时长。

可选地，其中，所述逻辑判断模块303确定是否已完成准备阶段，包括判断判断所述准备阶段的要求中每个物品的要求已达到；

其中，当物品为原材料时，原材料的要求包括以下一种或多种情况：原材料的种类、每种原材料的数量；

当物品为工具时，工具的要求包括以下一种或多种情况：工具的种类、每种工具的数量。

可选地，所述提示指导模块304，还设置为当未完成准备阶段时，通过所述AR设备进行准备阶段所存在的缺失提示；

其中，进行准备阶段所存在的缺失提示，包括至少以下方式之一：通过所述设备的语音模块305进行提示；通过所述设备的视频显示模块306进行提示。

可选地，其中，所述逻辑判断模块303，设置为根据所述摄像头301拍摄的视频来监控用户操作过程；相应地，所述识别模块302根据其视频模块301拍摄的视频，识别其中的物品，或者，识别其中的物品和物品对应的特征。

或者，所述设备还包括人机交互模块307；所述逻辑判断模块303，设置为根据所述人机交互模块307获取到的用户操作过程中的交互信息来监控用户操作过程；其中，所述交互信息至少包括以下之一：语音信息、人机界面操作信息；其中，所获取的交互信息来用于确定操作过程中涉及的物品，或者，确定其中的物品和物品对应的特征。

可选地，所述逻辑判断模块303监控用户操作过程，与所述指导方案中所包含的操作流程进行比对，据比对结果确定操作提示内容，包括：

确定当前所处操作步骤，并确定出操作中相关物品和物品的特征，与所述指导方案中包括的操作流程中对应步骤的物品的要求进行对比；

判断当前操作步骤中物品和物品的特征是否达到所述物品的要求，当未达到所述物品的要求时，通过所述提示指导模块304进行缺失提示。

可选地，所述提示指导模块304调用所述语音模块进行提示，或者所述提示指导模块304调用所述视频显示模块306在视频画面上渲染或标识出未达到要求的物品，来进行提示。

可选地，所述指导设备还包括，在线指导模块308，设置为通过网络连线指导者，进行语音或视频通信，进行实时操作指导。

本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一一种基于AR技术的指导方法。

本发明实施例还提供一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行上述任一一种基于AR技术的指导方法。

本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现，所述计算机程序可以存储于一计算机可读存储介质中，所述计算机程序在相应的硬件平台上(如系统、设备、装置、器件等)执行，在执行时，包括方法实施例的步骤之一或其组合。

可选地，上述实施例的全部或部分步骤也可以使用集成电路来实现，这些步骤可以被分别制作成一个个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现，它们可以集中在单个的计算装置上，也可以分布在多个计算装置所组成的网络上。

上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。

Claims (10)

1.一种基于增强现实AR技术的指导方法，包括，

根据预先设置的指导方案中所包含的准备阶段的要求，通过AR设备确定是否已完成准备阶段；所述准备阶段的要求包括对以下一种或多种物品的要求：原材料、工具；

当已完成准备阶段时，提示用户开始操作；

通过所述AR设备监控用户操作过程，与所述指导方案中所包含的操作流程进行比对，根据比对结果进行操作提示。

2.根据权利要求1所述的方法，其中，

所述已完成准备阶段是指所述准备阶段的要求中每个物品的要求已达到；

其中，当物品为原材料时，原材料的要求包括以下一种或多种情况：原材料的种类、每种原材料的数量；

当物品为工具时，工具的要求包括以下一种或多种情况：工具的种类、每种工具的数量。

3.根据权利要求2所述的方法，还包括，

当未完成准备阶段时，通过所述AR设备进行准备阶段所存在的缺失提示；

其中，所述通过所述AR设备进行准备阶段所存在的缺失提示，包括至少以下方式之一：

通过所述AR设备进行语音提示；通过所述AR设备进行视频提示。

4.根据权利要求1所述的方法，其中，

所述通过所述AR设备监控用户操作过程，至少包括以下方式之一：

通过所述AR设备所包括的视频模块，拍摄用户操作过程的视频来监控用户操作过程；

通过所述AR设备所包括的人机交互模块，获取用户操作过程中的交互信息来监控用户操作过程；其中，所述交互信息至少包括以下之一：语音信息、人机界面操作信息。

5.根据权利要求1到4任一所述的方法，其中，

所述预先设置的指导方案中所包含的操作流程，包括：

操作步骤和各操作步骤对应的物品的要求；

或者，所述操作流程还包括：各操作步骤对应的操作视频；

其中，所述物品的要求至少包括以下之一：物品的种类、数量、状态、温度、当前状态的时长。

6.根据权利要求5所述的方法，其中，

所述通过所述AR设备监控用户操作过程，与所述指导方案中所包含的操作流程进行比对，根据比对结果进行操作提示，包括：

通过所述AR设备确定当前所处操作步骤，并确定出操作中相关物品和物品的特征，与所述指导方案中包括的流程中对应步骤的物品的要求进行对比；

判断当前操作步骤中物品和物品的特征是否达到所述物品的要求，当未达到所述物品的要求时，通过所述AR设备进行缺失提示。

7.一种基于增强现实AR技术的指导设备，其特征在于，包括：

摄像头，设置为获取视频图像；

识别模块，设置为从所述摄像头拍摄的视频图像中识别物品和物品的特征；

逻辑判断模块，设置为根据预先设置的指导方案中所包含的准备阶段的要求，确定是否已完成准备阶段；所述准备阶段的要求包括对以下一种或多种物品的要求：原材料、工具；

所述逻辑判断模块，还设置为监控用户操作过程，与所述指导方案中所包含的操作流程进行比对，根据比对结果确定操作提示内容；

提示指导模块，设置为当已完成准备阶段时，提示用户开始操作；还设置为根据操作提示内容进行操作提示。

8.根据权利要求7所述的设备，其特征在于，其中，

所述预先设置的指导方案中所包含的操作流程，包括：

操作步骤和各操作步骤对应的物品的要求；

或者，所述操作流程还包括：各操作步骤对应的操作视频；

其中，所述物品的要求至少包括以下之一：物品的种类、数量、状态、温度、当前状态的时长。

9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。

Images