CN114415837A - 一种操作辅助系统及方法 - Google Patents

Abstract

本发明实施例公开了一种操作辅助系统及方法。系统包括：自助操作设备，用于为用户提供可操作的显示屏幕；可穿戴设备，用于采集显示屏幕的图像信息和/或用户语音信息，并提供显示屏幕的图像信息以及目标辅助信息；辅助服务器设备，用于根据显示屏幕的图像信息或用户语音信息确定辅助方式，并确定对应的第一辅助信息作为目标辅助信息发送至可穿戴设备；人工终端设备，用于与用户进行语音交互，并根据语音交互信息和显示屏幕的图像信息确定对应的第二辅助信息，将第二辅助信息作为目标辅助信息发送至可穿戴设备。通过可穿戴设备与辅助服务器设备和人工终端设备之间的相互交互，能够辅助用户操作以提高用户对自助操作设备的使用体验和使用效率。

Description

一种操作辅助系统及方法

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种操作辅助系统及方法。

背景技术

随着信息化的快速发展，许多场景下的人工服务都已被无人化的自助操作设备所替代。对于老年人、儿童或者第一次使用自助操作设备等类型的用户，使用该自助操作设备的过程中常常会遇到关于设备如何操作的相关问题。在这种情况下，一种是可以通过向现场工作人员协助的方式来解决相应的问题，但是这种方式可能会出现现场没有工作人员、或者由于现场工作人员繁忙而导致问题无法及时的解决等情况；另一种是可以通过拨打人工客服电话的方式来解决相应的问题，但是这种方式可能会出现用户无法向人工客服清楚描述所遇到的设备操作问题、或者用户无法通过电话得到清晰的操作指导等情况。

故，如何提高用户对自助操作设备的有效使用是当前亟待解决的技术问题。

发明内容

本发明实施例提供了一种操作辅助系统及方法，以提高用户对自助操作设备的使用体验和使用效率。

第一方面，本发明实施例提供了一种操作辅助系统，包括：自助操作设备、可穿戴设备、辅助服务器设备和人工终端设备；

所述自助操作设备，用于为用户提供可操作的显示屏幕；

所述可穿戴设备，用于采集所述显示屏幕的图像信息和/或用户语音信息，并提供所述显示屏幕的图像信息以及目标辅助信息，以辅助用户根据所述显示屏幕的图像信息以及所述目标辅助信息操作所述自助操作设备；

所述辅助服务器设备，用于根据所述显示屏幕的图像信息或所述用户语音信息确定辅助方式，其中所述辅助方式包括智能方式和人工方式；若所述辅助方式为智能方式，则根据所述显示屏幕的图像信息或所述用户语音信息确定对应的第一辅助信息，将所述第一辅助信息作为目标辅助信息发送至所述可穿戴设备；若所述辅助方式为人工方式，则触发所述人工终端设备；

所述人工终端设备，用于与所述用户进行语音交互，并根据语音交互信息和所述显示屏幕的图像信息确定对应的第二辅助信息，将所述第二辅助信息作为目标辅助信息发送至所述可穿戴设备。

第二方面，本发明实施例还提供了一种操作辅助方法，包括：

通过自助操作设备为用户提供可操作的显示屏幕；

通过可穿戴设备采集所述显示屏幕的图像信息和/或用户语音信息，并提供所述显示屏幕的图像信息以及目标辅助信息，以辅助用户根据所述显示屏幕的图像信息以及所述目标辅助信息操作所述自助操作设备；

通过辅助服务器设备，根据所述显示屏幕的图像信息或所述用户语音信息确定辅助方式，其中所述辅助方式包括智能方式和人工方式；若所述辅助方式为智能方式，则根据所述显示屏幕的图像信息或所述用户语音信息确定对应的第一辅助信息，将所述第一辅助信息作为目标辅助信息发送至所述可穿戴设备；若所述辅助方式为人工方式，则触发人工终端设备；

通过所述人工终端设备与所述用户进行语音交互，并根据语音交互信息和所述显示屏幕的图像信息确定对应的第二辅助信息，将所述第二辅助信息作为目标辅助信息发送至所述可穿戴设备。

本发明实施例提供了一种操作辅助系统及方法，通过自助操作设备，用于为用户提供可操作的显示屏幕；通过可穿戴设备，用于采集显示屏幕的图像信息和/或用户语音信息，并提供显示屏幕的图像信息以及目标辅助信息，以辅助用户根据显示屏幕的图像信息以及目标辅助信息操作自助操作设备；通过辅助服务器设备，用于根据显示屏幕的图像信息或用户语音信息确定辅助方式，其中辅助方式包括智能方式和人工方式；若辅助方式为智能方式，则根据显示屏幕的图像信息或用户语音信息确定对应的第一辅助信息，将第一辅助信息作为目标辅助信息发送至可穿戴设备；若辅助方式为人工方式，则触发人工终端设备；通过人工终端设备，用于与用户进行语音交互，并根据语音交互信息和显示屏幕的图像信息确定对应的第二辅助信息，将第二辅助信息作为目标辅助信息发送至可穿戴设备。上述技术方案通过可穿戴设备与辅助服务器设备和人工终端设备之间的相互交互，能够辅助用户操作自助操作设备，从而提高用户对自助操作设备的使用体验和使用效率。此外，还通过智能方式和人工方式的设置，提高了用户对操作自助操作设备的辅助方式的选择灵活性。

附图说明

图1为本发明实施例一提供的一种操作辅助系统的结构示意图；

图2为本发明实施例二提供的一种操作辅助方法的流程示意图；

图3为本发明实施例二提供的一种操作辅助系统的结构所示意图；

图4为本发明实施例二提供的一种MR头戴式设备的用户视野区域的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。

需要注意，本发明中提及的“第一”、“第二”等概念仅用于对相应内容进行区分，并非用于限定顺序或者相互依存关系。

需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

在如今的信息化时代，许多场景下的人工服务都已被无人化的自助操作设备所替代，例如在医院或银行等场所中所投入的大量自助提款机、自助叫号机、自助填单机等自助操作设备。由于一般的自助操作设备只有通用的简单文字或语音提示功能，无法支持个性化辅助，缺少实时交互功能，尤其是对于老年人、儿童以及第一次使用这些自助操作设备等类型的用户来说操作自助操作设备常常会遇到很多问题。此时即使用户遇到问题拨打人工客服求助，也因缺少视觉化辅助，清楚描述问题和提供有效指导也会成为一个挑战，导致沟通和解决问题的效率较低。因此，如何辅助用户正常使用自助操作设备，如快速找到需要的功能、正确点击和输入信息、或者在操作遇到困难时能及时得到辅助等，是当前亟待解决的问题。

本实施例提供了一种基于混合现实(Minxed Reality，MR)技术的交互式远程辅助方法和系统，以提供远程支持用于辅助用户操作自助辅助设备，例如该自助辅助设备与本实施例所提供的相关远程服务系统以约定形式对接，用户在操作自助辅助设备时就可以享受交互式服务，该服务中既可以提供智能语音服务和视频、图片等的指导演示，也可以触发接入人工服务，人工端将采用鼠标模拟用户点击、滑动、输入等操作并转化为三维手势动画的形式融合到自助辅助设备的操作显示屏幕图像中，该融合后的图像可实时发送到用户端的MR设备以用于辅助用户操作自助操作设备。

实施例一

图1为本发明实施例一提供的一种操作辅助系统的结构示意图。如图1所示，所述操作辅助系统包括：自助操作设备110、可穿戴设备120、辅助服务器设备130和人工终端设备140；该操作辅助系统可以用于辅助用户操作自助操作设备110。

其中，自助操作设备110，用于为用户提供可操作的显示屏幕；

可穿戴设备120，用于采集显示屏幕的图像信息和/或用户语音信息，并提供显示屏幕的图像信息以及目标辅助信息，以辅助用户根据显示屏幕的图像信息以及目标辅助信息操作自助操作设备110；

辅助服务器设备130，用于根据显示屏幕的图像信息或用户语音信息确定辅助方式，其中辅助方式包括智能方式和人工方式；若辅助方式为智能方式，则根据显示屏幕的图像信息或用户语音信息确定对应的第一辅助信息，将第一辅助信息作为目标辅助信息发送至可穿戴设备120；若辅助方式为人工方式，则触发人工终端设备140；

人工终端设备140，用于与用户进行语音交互，并根据语音交互信息和显示屏幕的图像信息确定对应的第二辅助信息，将第二辅助信息作为目标辅助信息发送至可穿戴设备120。

在本实施例中，自助操作设备110可以用于为用户提供可操作的显示屏幕。自助操作设备110可以指由人机界面组成，可由用户根据设备相应提示和功能进行自助操作的智能设备。例如，自助操作设备110在多种场景下可以应用，如在银行场景下所投入的自助提款机、自助发卡机等设备，在医院场景下所投入的自助挂号机、自助缴费机等设备。用户可以指为办理业务需使用和操作相应自助操作设备110的用户。显示屏幕可以指自助操作设备110所提供的可供用户进行自助操作的显示屏幕，显示屏幕中可以包括自助操作设备110的相应功能和各个功能所对应的相应界面，用户可以通过在显示屏幕中操作这些功能以实现相应的业务查询和办理等。

可穿戴设备120可以指一种可直接穿在用户身上或是整合到用户的衣服或配件的一种便携式电子设备。在本实施例中，可穿戴设备120可以用于采集自助操作设备110的显示屏幕的图像信息和/或用户的用户语音信息，并提供显示屏幕的图像信息以及目标辅助信息，以可辅助用户根据显示屏幕的图像信息以及目标辅助信息来操作自助操作设备110。

可穿戴设备120中可以包括图像采集模块、声音采集模块、以及显示模块等；其中，图像采集模块可以用于采集自助操作设备110的显示屏幕的图像信息，声音采集模块可以用于采集当前配戴可穿戴设备120的用户的语音信息，显示模块可以用于显示自助操作设备110的显示屏幕的图像信息以及目标辅助信息等。显示屏幕的图像信息可以理解为对自助操作设备110的显示屏幕所采集的图像信息，通过采集显示屏幕的图像信息可以获知用户当前所操作的功能和页面的具体情况。用户语音信息可以理解为用户所发出的声音信号信息。目标辅助信息可以理解为用于辅助用户操作自助操作设备110的相关指导演示视频、图片、语音等信息，例如指导演示视频可理解为对显示屏幕中某一功能如何使用的演示视频，指导演示语音可理解为对显示屏幕中某一功能如何使用的语音提示等。此处对目标辅助信息所包括的具体内容不作限定，可根据实际需求进行灵活设定。

示例性的，在本实施例中，对可穿戴设备120不作限定，例如可穿戴设备120可以是基于MR技术的头戴式设备，可称为MR头戴式设备。MR技术可以指通过全息图，将现实环境和虚拟环境相互混合，也可以看成是增强现实(Augmented Reality，AR)技术和虚拟现实(Virtual Reality，VR)技术的混合技术。通过MR头戴式设备可以将所采集的自助操作设备110的显示屏幕的图像信息与目标辅助信息相融合并显示在配戴MR头戴式设备的用户的视野区域中。此处对显示屏幕的图像信息与目标辅助信息显示在用户的视野区域中的形式不作限定，例如可以是将配戴MR头戴式设备的用户的视野区域进行区域划分，显示屏幕的图像信息显示在一个区域，目标辅助信息显示在另一个区域，以便于用户根据当前视野区域中所显示的显示屏幕的图像信息和目标辅助信息来操作自助操作设备110。

辅助服务器设备130可以用于根据显示屏幕的图像信息或用户语音信息确定辅助方式。辅助服务器设备130可以指响应服务请求并提供数据计算处理服务的设备，在本实施例中，辅助服务器设备130可以是由一台服务器设备构成，也可以是为缓解数据计算压力和提高数据计算速率而由多台服务器设备所构成的集群，此处对此不作限定。辅助方式可以理解为辅助用户操作自助操作设备110的方式，例如辅助方式可以包括智能方式和人工方式。

智能方式可以理解为辅助服务器设备130可以根据所接收的显示屏幕的图像信息或用户语音信息，从预先设定的辅助信息中自动匹配对应的辅助信息作为目标辅助信息，并将该目标辅助信息发送至可穿戴设备120的方式。其中，预先设定的辅助信息可理解为针对每个自助操作设备110，根据该自助操作设备110中所包含的各个功能和界面等信息，所预先设定的每个功能和界面所对应的用于辅助操作的指导视频、图像以及语音等信息；此处对预先设定的辅助信息不做限定，可根据实际需求灵活设置。自动匹配可理解为根据所接收的显示屏幕的图像信息或用户语音信息确定用户当前遇到问题的操作功能和界面情况等，在此基础上可根据该操作功能和界面与预设辅助信息进行匹配，以得到该操作功能和界面所对应的预设辅助信息的过程。

示例性的，若辅助方式为智能方式，则可以根据显示屏幕的图像信息或用户语音信息确定对应的第一辅助信息，并将第一辅助信息作为目标辅助信息发送至可穿戴设备120。其中第一辅助信息可理解为从预先设定的辅助信息中所自动匹配得到的显示屏幕的图像信息或用户语音信息所对应的辅助信息，在此基础上，该第一辅助信息即为目标辅助信息，可发送至可穿戴设备120以用于辅助用户操作自助操作设备110。

示例性的，若辅助方式为人工方式，则辅助服务器设备130可触发人工终端设备140；并且在触发人工终端设备140之后，人工终端设备140与可穿戴设备120之间可以直接建立通信连接。在建立通信连接之后，人工终端设备140可以接收到显示屏幕的图像信息。

人工终端设备140可以用于与用户进行语音交互，并可以根据语音交互信息和显示屏幕的图像信息确定对应的第二辅助信息，将第二辅助信息作为目标辅助信息发送至可穿戴设备120。人工终端设备140可以指用于为后台人工客服人员提供数据传输和处理功能的终端设备，例如台式计算机、笔记本电脑等电子设备。语音交互可理解为用户与人工客服人员之间可直接通过可穿戴设备120与人工终端设备140之间的连接而进行语音交流。语音交互信息可理解为与用户进行语音交互的语音信息，例如该语音交互信息中可以包括用户的语音信息(如用户发出的提问信息)和人工客服人员的语音信息(如对用户所发出提问的语音指导信息)。第二辅助信息可以理解为人工客服人员根据语音交互信息和显示屏幕的图像信息，通过人工终端设备140所生成的对显示屏幕中相关功能的模拟操作，以及相应的语音指导信息；此外，第二辅助信息还可包括人工客服人员通过远程控制方式对显示屏幕的标记信息，如对显示屏幕中的某个功能按钮进行画圈标记作为标记信息以提示用户可以点击这个按钮。在此基础上，将所确定的第二辅助信息可以作为目标辅助信息发送至可穿戴设备120，以辅助用户操作自助操作设备110。

本发明实施例一提供了一种操作辅助系统，通过自助操作设备110，用于为用户提供可操作的显示屏幕；通过可穿戴设备120，用于采集显示屏幕的图像信息和/或用户语音信息，并提供显示屏幕的图像信息以及目标辅助信息，以辅助用户根据显示屏幕的图像信息以及目标辅助信息操作自助操作设备110；通过辅助服务器设备130，用于根据显示屏幕的图像信息或用户语音信息确定辅助方式，其中辅助方式包括智能方式和人工方式；若辅助方式为智能方式，则根据显示屏幕的图像信息或用户语音信息确定对应的第一辅助信息，将第一辅助信息作为目标辅助信息发送至可穿戴设备120；若辅助方式为人工方式，则触发人工终端设备140；通过人工终端设备140，用于与用户进行语音交互，并根据语音交互信息和显示屏幕的图像信息确定对应的第二辅助信息，将第二辅助信息作为目标辅助信息发送至可穿戴设备120。该系统通过可穿戴设备120与辅助服务器设备130和人工终端设备140之间的相互交互，能够辅助用户操作自助操作设备110，从而提高用户对自助操作设备110的使用体验和使用效率。此外，还通过智能方式和人工方式的设置，提高了用户对操作自助操作设备110的辅助方式的选择灵活性。

可选的，可穿戴设备120，还用于扫描自助操作设备110的标识，以得到对应的标识信息；辅助服务器设备130，还用于接收标识信息。

在本实施例中，每个自助操作设备110均对应一个唯一的标识，即可理解为该标识可用于唯一指示该自助操作设备110。示例性的，标识可以是二维码、条形码等。该标识所对应的标识信息可以指该标识对应的自助操作设备110的关联信息，如关联信息可以包括自助操作设备110的类型、名称、所投入区域(即指所投入使用的具体区域地址信息)、所属厂家(即生产该自助操作设备110的厂家，以便后续定位具体厂家进行设备维护)、以及通信连接信息(如通信协议地址和接口等信息，以便其它设备与该自助操作设备110之间建立相应的通信连接)等，此处对关联信息的具体内容不作限定，可根据实际需求进行灵活设置。可穿戴设备120还可用于扫描自助操作设备110的标识，以得到该标识所对应的标识信息，在此基础上，将该标识信息发送至辅助服务器设备130，辅助服务器设备130接收到该标识信息之后，可以根据该标识信息确定所要辅助操作的自助操作设备110，并建立连接以进行后续信息的通信传输。

在一实施例中，可穿戴设备120也可以采集自助操作设备110的标识的图像信息，将该标识的图像信息传送至辅助服务器设备130，在此基础上，由辅助服务器设备130来进行标识的识别以得到对应的标识信息。

需要说明的是，在本实施例中，辅助服务器设备130还可提供可与自助操作设备110的厂家之间建立连接关系的接口，当辅助服务器设备130识别到自助操作设备110出现质量问题之后，还可通过该自助操作设备110的标识信息确定相应的厂家，并通过相应的接口与之建立连接关系以用于将该自助操作设备110的质量问题进行反馈，以便于后续对自助操作设备110的维护管理。

可选的，根据显示屏幕的图像信息或用户语音信息确定辅助方式，包括：在未接收到用户语音信息的情况下，根据显示屏幕的图像信息确定辅助方式；在接收到用户语音信息的情况下，根据用户语音信息确定辅助方式。

在本实施例中，用户可能会通过语音的形式来触发本实施例所提供的系统来提供相应的辅助操作服务；也可能会通过操作显示屏幕上的人工服务功能来触发本实施例所提供的系统来提供相应的辅助操作服务。在此基础上，在未接收到用户语音信息的情况下，可以通过辅助服务器设备130，根据所接收到的可穿戴设备120所采集的自助操作设备110的显示屏幕的图像信息来确定相应的辅助方式是人工方式还是智能方式。

可选的，在未接收到用户语音信息的情况下，根据显示屏幕的图像信息确定辅助方式，包括：根据显示屏幕的图像信息与自助操作设备110的预设界面信息之间的匹配结果，确定辅助方式。

其中，自助操作设备110的预设界面信息可以指所预先设定的自助操作设备110的每个功能以及该功能所对应界面的信息；也就是说，针对每个自助操作设备110，都会对应一个预设界面信息，预设界面信息中可包括该自助操作设备110的每个功能与其所正确对应的界面，例如，人工服务功能会对应一个人工服务界面。在未接收到用户语音的情况下，可根据显示屏幕的图像信息与自助操作设备110的预设界面信息之间的匹配结果来确定对应的辅助方式，例如，显示屏幕的图像信息与预设界面信息中的人工服务界面信息相匹配，则可确定辅助方式为人工方式，否则可确定辅助方式为智能方式。

可选的，根据显示屏幕的图像信息与预设界面信息之间的匹配结果，确定辅助方式，包括：若显示屏幕的图像信息与预设界面信息中的人工界面信息相匹配，则确定辅助方式为人工方式；否则，确定辅助方式为智能方式。

其中，人工界面信息可以指人工服务功能所正确对应的界面。若显示屏幕的图像信息与预设界面信息中的人工界面信息相匹配，即可理解为当前显示屏幕的图像信息为人工界面信息，则可据此确定辅助方式为人工方式；若显示屏幕的图像信息与预设界面信息中的人工界面信息不匹配，即可理解为当前显示屏幕的图像信息不是人工界面信息，据此可确定辅助方式为智能方式。

在接收到用户语音信息的情况下，可以根据用户语音信息来确定辅助方式是人工方式还是智能方式。

可选的，在接收到用户语音信息的情况下，根据用户语音信息确定辅助方式，包括：若用户语音信息包括人工服务信息，则确定辅助方式为人工方式；否则，确定辅助方式为智能方式。

其中，人工服务信息可以理解为包含人工、人工服务、启动人工服务等关键词句的信息。若用户语音信息中包含人工服务信息，则可确定当前用户想要人工服务来辅助自己操作自助操作设备110，据此可确定相应的辅助方式为人工方式。若用户语音信息中不包含人工服务信息，则可确定当前用户无需人工服务信息，例如用户语音信息中包含的是用户所提出的关于如何操作的问题，或者用户此时可能是处于在与周围环境的人员进行交流的情况；据此可确定相应的辅助方式为智能方式，即继续以智能方式来辅助用户。

可选的，根据显示屏幕的图像信息确定对应的第一辅助信息，包括：在未接收到用户语音信息的情况下，根据显示屏幕的图像信息与自助操作设备的预设界面信息之间的匹配结果确定用户当前的操作状态信息；根据操作状态信息和自助操作设备的预设辅助信息确定对应的第一辅助信息。

在本实施例中，操作状态信息可以理解为与用户当前操作自助操作设备110相关联的状态信息，例如操作状态信息可以是用户当前操作的功能信息、用户当前所进入的操作界面信息、显示在当前显示屏幕中的报错信息等信息，此处对此不作限定。在未接收到用户语音信息的情况下，可以根据显示屏幕的图像信息与自助操作设备的预设界面信息之间的匹配结果来确定当前显示屏幕的图像信息对应于预设界面信息中的哪个界面，据此来确定用户当前的操作状态信息。

预设辅助信息可以理解为针对每个自助操作设备110，根据该自助操作设备110中所包含的各个功能和界面等信息，所预先设定的每个功能和界面所对应的用于辅助操作的指导视频、图像以及语音等信息。可以理解的是，该所预先设定的每个功能和界面所对应的用于辅助操作的指导视频、图像以及语音等信息，不仅可以包括对功能的演示指导，还可包括对相应功能对应报错信息的处理的演示指导，此处对此不作限定，可根据实际需求进行灵活设定。需要说明的是，预设辅助信息中可包含自助操作设备110中所包含的各个功能和界面等信息与用于辅助操作的指导视频、图像以及语音等信息之间的一一对应关系。在此基础上，根据操作状态信息，可以从自助操作设备110的预设辅助信息中匹配到对应的辅助信息作为第一辅助信息。

可选的，根据用户语音信息确定对应的第一辅助信息，包括：根据用户语音信息和预设语句信息确定目标语句；根据目标语句和自助操作设备110的预设辅助信息确定对应的第一辅助信息。

在本实施例中，在接收到用户语音信息的情况下，也可以根据用户语音信息确定对应的第一辅助信息。具体的，可以根据用户语音信息和预设语句信息确定目标语句。其中，预设语句信息可以指所预先设定的包含指定功能操作问题的信息，例如如何开卡、如何转账、如何挂号等具有指定功能操作问题的信息，此处对预设语句信息的设置不作限定，可根据实际需求灵活设置。目标语句可理解为根据用户语音信息从预设语句信息中所匹配到的语句。需要说明的是，预设辅助信息中还可包含预设语句信息中的各个语句与用于辅助操作的指导视频、图像以及语音等信息之间的一一对应关系。在此基础上，可以根据目标语句，从自助操作设备110的预设辅助信息匹配到相应的辅助信息作为对应的第一辅助信息。

可选的，根据语音交互信息和显示屏幕的图像信息确定对应的第二辅助信息，包括：根据语音交互信息和显示屏幕的图像信息确定三维模拟信息和显示屏幕的标记信息，将三维模拟信息和显示屏幕的标记信息作为对应的第二辅助信息。

在本实施例中，三维模拟信息可以指人工终端设备140方的人工客服人员可基于显示屏幕的图像信息和与用户之间的语音交互信息操作人工终端设备140，如模拟用户对显示屏幕的点击、滑动、输入等输入操作，人工终端设备140检测到人工客服人员的输入操作，对输入操作进行三维渲染等手段所生成的指导信息，例如三维模拟信息可以是指导演示视频或动画的形式。显示屏幕的标记信息可理解为人工客服人员通过远程控制连接对显示屏幕中的相应功能或按钮等进行标记所生成的信息，例如对显示屏幕中的相应功能或按钮进行画圈标记，以提示用户可以点击这里。在此基础上，可将将三维模拟信息和显示屏幕的标记信息作为对应的第二辅助信息发送至可穿戴设备120，以辅助用户操作自助操作设备110。可以理解的是，此时用户与人工客服人员之间还可通过可穿戴设备120与人工终端设备140的连接进行语音交互，故第二辅助信息还可包括该语音交互对应的语音指导信息。

实施例二

图2为本发明实施例二提供的一种操作辅助方法的流程示意图，该方法可适用于辅助用户对自助操作设备110进行操作的情况，该方法可以由本发明实施例中的操作辅助系统来执行，其中该系统可由软件和/或硬件实现。

如图2所示，本发明实施例二提供的一种操作辅助方法，该方法包括如下步骤：

S210、通过自助操作设备110为用户提供可操作的显示屏幕。

在本实施例中，通过自助操作设备110可以为用户提供可自助操作的显示屏幕，显示屏幕中可以包括自助操作设备110的相应功能和各个功能所对应的相应界面，用户可以通过在显示屏幕中操作这些功能以实现相应的业务查询和办理等。

S220、通过可穿戴设备120采集显示屏幕的图像信息和/或用户语音信息，并提供显示屏幕的图像信息以及目标辅助信息，以辅助用户根据显示屏幕的图像信息以及目标辅助信息操作自助操作设备110。

在本实施例中，通过可穿戴设备120可以采集显示屏幕的图像信息和/或用户语音信息，并将所采集的显示屏幕的图像信息和/或用户语音信息发送至辅助服务器设备130；并且可穿戴设备120还可在用户的视野区域内提供显示屏幕的图像信息以及目标辅助信息，以辅助用户根据显示屏幕的图像信息以及目标辅助信息来操作自助操作设备110。

S230、通过辅助服务器设备130，根据显示屏幕的图像信息或用户语音信息确定辅助方式，其中辅助方式包括智能方式和人工方式；若辅助方式为智能方式，则根据显示屏幕的图像信息或用户语音信息确定对应的第一辅助信息，将第一辅助信息作为目标辅助信息发送至可穿戴设备120；若辅助方式为人工方式，则触发人工终端设备140。

在本实施例中，通过辅助服务器设备130，可以根据所接收到的显示屏幕的图像信息或用户语音信息确定辅助方式，其中辅助方式可以包括智能方式和人工方式。若辅助方式为智能方式，则可以根据显示屏幕的图像信息或用户语音信息确定对应的第一辅助信息，并将第一辅助信息作为目标辅助信息发送至可穿戴设备120，以辅助用户操作自助操作设备110。若辅助方式为人工方式，则此时可以触发人工终端设备140以进入人工方式辅助操作自助操作设备110的进程。

可选的，根据显示屏幕的图像信息或用户语音信息确定辅助方式，可以包括：在未接收到用户语音信息的情况下，可根据显示屏幕的图像信息确定辅助方式；在接收到用户语音信息的情况下，可根据用户语音信息确定辅助方式。

可选的，在未接收到用户语音信息的情况下，根据显示屏幕的图像信息确定辅助方式，可以包括：根据显示屏幕的图像信息与自助操作设备的预设界面信息之间的匹配结果，可确定辅助方式。

可选的，根据显示屏幕的图像信息与预设界面信息之间的匹配结果，确定辅助方式，可以包括：若显示屏幕的图像信息与预设界面信息中的人工界面信息相匹配，则可确定辅助方式为人工方式；否则，可确定辅助方式为智能方式。

可选的，在接收到用户语音信息的情况下，根据用户语音信息确定辅助方式，可以包括：若用户语音信息包括人工服务信息，则可确定辅助方式为人工方式；否则，可确定辅助方式为智能方式。

可选的，可穿戴设备120，还可用于扫描自助操作设备110的标识，以得到对应的标识信息；辅助服务器设备130，还可用于接收标识信息。

可选的，根据显示屏幕的图像信息确定对应的第一辅助信息，可以包括：在未接收到用户语音信息的情况下，可根据显示屏幕的图像信息与自助操作设备的预设界面信息之间的匹配结果确定用户当前的操作状态信息；根据操作状态信息和自助操作设备的预设辅助信息可确定对应的第一辅助信息。

可选的，根据用户语音信息确定对应的第一辅助信息，可包括：根据用户语音信息和预设语句信息可确定目标语句；根据目标语句和自助操作设备的预设辅助信息可确定对应的第一辅助信息。

S240、通过人工终端设备140与用户进行语音交互，并根据语音交互信息和显示屏幕的图像信息确定对应的第二辅助信息，将第二辅助信息作为目标辅助信息发送至可穿戴设备120。

在本实施例中，可以通过人工终端设备140与用户进行语音交互，并根据语音交互信息和显示屏幕的图像信息来确定对应的第二辅助信息，在此基础上，将第二辅助信息作为目标辅助信息发送至可穿戴设备120，以辅助用户来操作自助操作设备110。

可选的，根据语音交互信息和所述显示屏幕的图像信息确定对应的第二辅助信息，可包括：根据语音交互信息和显示屏幕的图像信息确定三维模拟信息和显示屏幕的标记信息，将三维模拟信息和显示屏幕的标记信息作为对应的第二辅助信息。

本发明实施例二提供的一种操作辅助方法，通过自助操作设备110，用于为用户提供可操作的显示屏幕；通过可穿戴设备120，用于采集显示屏幕的图像信息和/或用户语音信息，并提供显示屏幕的图像信息以及目标辅助信息，以辅助用户根据显示屏幕的图像信息以及目标辅助信息操作自助操作设备110；通过辅助服务器设备130，用于根据显示屏幕的图像信息或用户语音信息确定辅助方式，其中辅助方式包括智能方式和人工方式；若辅助方式为智能方式，则根据显示屏幕的图像信息或用户语音信息确定对应的第一辅助信息，将第一辅助信息作为目标辅助信息发送至可穿戴设备120；若辅助方式为人工方式，则触发人工终端设备140；通过人工终端设备140，用于与用户进行语音交互，并根据语音交互信息和显示屏幕的图像信息确定对应的第二辅助信息，将第二辅助信息作为目标辅助信息发送至可穿戴设备120。该方法通过可穿戴设备120与辅助服务器设备130和人工终端设备140之间的相互交互，能够辅助用户操作自助操作设备110，从而提高用户对自助操作设备110的使用体验和使用效率。此外，还通过智能方式和人工方式的设置，提高了用户对操作自助操作设备110的辅助方式的选择灵活性。

在一个具体的实施例中，本实施例提出了一种基于操作辅助系统的操作辅助方法，该方法的具体实现过程如下：

图3为本发明实施例二提供的一种操作辅助系统的结构示意图。如图3所示，该系统包括用户、MR头戴式设备、自助操作设备、辅助服务器设备、以及人工终端设备。

步骤1、在使用该操作辅助系统中的自助操作设备110时，用户可随时使用MR头戴式设备(即可穿戴设备120)，用户戴上该MR头戴式设备后，首先可通过扫描自助操作设备110的二维码以识别出该自助操作设备110的关联信息(即自助操作设备110的标识和标识信息)，并上送该自助操作设备110的关联信息至辅助服务器设备130，以建立相应的连接关系。本系统对外提供一系列标准接口，与自助设备商建立开放和合作关系。

步骤2、启动辅助服务(即开启MR头戴式设备的显示功能，以显示相应的用户视野区域)。图4为本发明实施例二提供的一种MR头戴式设备的用户视野区域的示意图。如图4所示，在用户视野区域中，可以包括通过目标检测而被锁定的自助操作设备110的显示屏幕区域31、显示智能方式对应的第一辅助信息的区域32、以及显示人工方式对应的第二辅助信息的区域33。MR头戴式设备还可采集自助操作设备110的显示屏幕发送至辅助服务器设备130。

步骤3、基于通过MR头戴式设备所采集的显示屏幕的图像信息，可以通过相应的图像匹配技术，与预先储存的场景(即自助操作设备110的预设界面信息)进行匹配，以自动识别用户当前操作的功能是什么、已进入哪个操作界面、或者报错信息是什么等信息(即操作状态信息)。

步骤4、根据上述图像匹配结果，辅助服务器设备130可将与所识别的用户操作状态信息相关的辅助视频/图像/语音进行融合(即第一辅助信息)，发送至到MR头戴式设备，MR头戴式设备的用户视野区域中将出现建议操作视频或图像等，并可听到语音指导。

步骤5、如果用户通过语音提出操作使用相关的问题，MR头戴式设备的语音采集设备也可将用户语音信息提交至辅助服务器设备130，辅助服务器设备130的智能语音分析模块将识别该用户语音信息中的问题(即目标语句)，并匹配相关的辅助视频/图像/语音进行融合(即第二辅助信息)，发送至MR头戴式设备，MR头戴式设备的用户视野区域中将出现相应的建议操作视频或图像，并可听到语音指导。

步骤6、用户如对根据辅助信息所达到的操作结果不满意，可选择人工服务，以进入人工方式。

步骤7、人工客服人员可通过人工终端设备140看到自助操作设备110的显示屏幕图像，并可与用户进行语音交互，在此基础上根据自助操作设备110的操作指南，在人工终端设备140用鼠标模拟对自助操作设备110的点击、滑动、输入等操作，并将这些操作渲染为三维手势动画(即三维模拟信息)，实时发送至用户的MR头戴式设备。

步骤8、MR头戴式设备接收三维手势动画并将三维手势动画显示在第二辅助信息对应的视野区域33中(如可进行双目立体展示)，显示屏幕也可被人工客服人员远程控制进行标记得到显示屏幕的标记信息发送至MR头戴式设备，该标记信息可显示于用户视野区域中的显示屏幕区域31内。

步骤9、在用户的角度中，用户可参照MR头戴式设备的用户视野区域内的目标辅助信息的演示，在自助操作设备110的显示屏幕上进行操作即可。

步骤10、如果用户操作错误，人工客服人员还可基于所接收到的显示屏幕的图像信息及时发现并给出指导方案和语音提示。从而提高人工沟通解决问题的效率和指导的精准程度。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种操作辅助系统，其特征在于，所述系统包括：自助操作设备、可穿戴设备、辅助服务器设备和人工终端设备；

所述自助操作设备，用于为用户提供可操作的显示屏幕；

所述可穿戴设备，用于采集所述显示屏幕的图像信息和/或用户语音信息，并提供所述显示屏幕的图像信息以及目标辅助信息，以辅助用户根据所述显示屏幕的图像信息以及所述目标辅助信息操作所述自助操作设备；

所述辅助服务器设备，用于根据所述显示屏幕的图像信息或所述用户语音信息确定辅助方式，其中所述辅助方式包括智能方式和人工方式；若所述辅助方式为智能方式，则根据所述显示屏幕的图像信息或所述用户语音信息确定对应的第一辅助信息，将所述第一辅助信息作为目标辅助信息发送至所述可穿戴设备；若所述辅助方式为人工方式，则触发所述人工终端设备；

所述人工终端设备，用于与所述用户进行语音交互，并根据语音交互信息和所述显示屏幕的图像信息确定对应的第二辅助信息，将所述第二辅助信息作为目标辅助信息发送至所述可穿戴设备。

2.根据权利要求1所述的系统，其特征在于，所述根据所述显示屏幕的图像信息或所述用户语音信息确定辅助方式，包括：

在未接收到所述用户语音信息的情况下，根据所述显示屏幕的图像信息确定所述辅助方式；

在接收到所述用户语音信息的情况下，根据所述用户语音信息确定所述辅助方式。

3.根据权利要求2所述的系统，其特征在于，所述在未接收到所述用户语音信息的情况下，根据所述显示屏幕的图像信息确定所述辅助方式，包括：

根据所述显示屏幕的图像信息与所述自助操作设备的预设界面信息之间的匹配结果，确定所述辅助方式。

4.根据权利要求3所述的系统，其特征在于，所述根据所述显示屏幕的图像信息与预设界面信息之间的匹配结果，确定所述辅助方式，包括：

若所述显示屏幕的图像信息与所述预设界面信息中的人工界面信息相匹配，则确定所述辅助方式为人工方式；

否则，确定所述辅助方式为智能方式。

5.根据权利要求2所述的系统，其特征在于，所述在接收到所述用户语音信息的情况下，根据所述用户语音信息确定所述辅助方式，包括：

若所述用户语音信息包括人工服务信息，则确定所述辅助方式为人工方式；

否则，确定所述辅助方式为智能方式。

6.根据权利要求1所述的系统，其特征在于，

所述可穿戴设备，还用于扫描所述自助操作设备的标识，以得到对应的标识信息；

所述辅助服务器设备，还用于接收所述标识信息。

7.根据权利要求1所述的系统，其特征在于，根据所述显示屏幕的图像信息确定对应的第一辅助信息，包括：

在未接收到所述用户语音信息的情况下，根据所述显示屏幕的图像信息与所述自助操作设备的预设界面信息之间的匹配结果确定所述用户当前的操作状态信息；

根据所述操作状态信息和所述自助操作设备的预设辅助信息确定对应的第一辅助信息。

8.根据权利要求1所述的系统，其特征在于，根据所述用户语音信息确定对应的第一辅助信息，包括：

根据所述用户语音信息和预设语句信息确定目标语句；

根据所述目标语句和所述自助操作设备的预设辅助信息确定对应的第一辅助信息。

9.根据权利要求1所述的系统，其特征在于，根据语音交互信息和所述显示屏幕的图像信息确定对应的第二辅助信息，包括：

根据所述语音交互信息和所述显示屏幕的图像信息确定三维模拟信息和所述显示屏幕的标记信息，将所述三维模拟信息和所述显示屏幕的标记信息作为对应的第二辅助信息。

10.一种操作辅助方法，其特征在于，所述方法包括：

通过自助操作设备为用户提供可操作的显示屏幕；

通过可穿戴设备采集所述显示屏幕的图像信息和/或用户语音信息，并提供所述显示屏幕的图像信息以及目标辅助信息，以辅助用户根据所述显示屏幕的图像信息以及所述目标辅助信息操作所述自助操作设备；

通过辅助服务器设备，根据所述显示屏幕的图像信息或所述用户语音信息确定辅助方式，其中所述辅助方式包括智能方式和人工方式；若所述辅助方式为智能方式，则根据所述显示屏幕的图像信息或所述用户语音信息确定对应的第一辅助信息，将所述第一辅助信息作为目标辅助信息发送至所述可穿戴设备；若所述辅助方式为人工方式，则触发人工终端设备；

通过所述人工终端设备与所述用户进行语音交互，并根据语音交互信息和所述显示屏幕的图像信息确定对应的第二辅助信息，将所述第二辅助信息作为目标辅助信息发送至所述可穿戴设备。

Images