CN110222166A - 问答服务提供方法、装置、设备、介质及沉浸式教练系统 - Google Patents

问答服务提供方法、装置、设备、介质及沉浸式教练系统 Download PDF

Info

Publication number
CN110222166A
CN110222166A CN201910553553.2A CN201910553553A CN110222166A CN 110222166 A CN110222166 A CN 110222166A CN 201910553553 A CN201910553553 A CN 201910553553A CN 110222166 A CN110222166 A CN 110222166A
Authority
CN
China
Prior art keywords
user
coach
immersion
scene
answer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910553553.2A
Other languages
English (en)
Inventor
李小刚
包震
杨诗文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiaoi Robot Technology Co Ltd
Shanghai Zhizhen Intelligent Network Technology Co Ltd
Original Assignee
Shanghai Zhizhen Intelligent Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhizhen Intelligent Network Technology Co Ltd filed Critical Shanghai Zhizhen Intelligent Network Technology Co Ltd
Priority to CN201910553553.2A priority Critical patent/CN110222166A/zh
Publication of CN110222166A publication Critical patent/CN110222166A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance

Abstract

本发明实施例公开了一种沉浸式场景中的问答服务提供方法、装置、设备、存储介质及系统。所述方法包括:预先建立与至少一个教练任务对应的至少一个知识库;在检测到用户进入沉浸式场景中执行目标教练任务时,调取与目标教练任务匹配的知识库;通过调用沉浸式场景提供的访问接口,和/或通过采集用户在沉浸式场景中的体感操作数据,获取用户在沉浸式场景中所处的当前教练步骤;根据当前教练步骤以及知识库,在沉浸式场景中与用户进行问答交互。本发明实施例的技术方案实现了在用户在沉浸式场景中执行教练任务的过程中,向用户提供有效的问答服务。

Description

问答服务提供方法、装置、设备、介质及沉浸式教练系统
技术领域
本发明实施例涉及问答服务提供技术,尤其涉及一种沉浸式场景中的问答服务提供方法、 装置、设备、存储介质及沉浸式教练系统。
背景技术
随着科技的不断进步,VR(Virtual Reality,虚拟现实)以及AR(AugmentedReality, 增强现实)技术在视频、教育、旅游等各行业得到越来越深入的应用。VR以及AR技术相 对传统的PC(Personal Computer,个人计算机)和手机最大的特点是沉浸感。从物理心理学 的角度,沉浸感来自三个方面:3D场景带来的视觉真实性;用户自身代入感的真实性;以 及用户和虚拟世界交互的真实性。
现有技术中,可以通过VR以及AR技术营造出的沉浸式场景模拟各种实际的教练任务 (例如,设备维修任务、设备的使用管理任务或者仪器的操作控制任务等),使得用户在该 沉浸式场景下,完成教练任务的培训、学习或者熟练等操作。
发明人在实现本发明的过程中,发现现有技术存在如下缺陷:用户在使用沉浸式场景执 行某一个教练任务的过程中,如果对任务流程有疑问,需要向专门的教练人员进行提问,问 题的响应时间与投入的教练人员的数量相关,且教练人员需要针对不同的教练任务进行专业 的培训,人力成本高,重复性劳动大,无法及时、有效响应每个沉浸式场景中的用户在任何 时间内提出的任何问题。
发明内容
本发明实施例提供了一种沉浸式场景中的问答服务提供方法、装置、设备、存储介质及 沉浸式教练系统,以实现在用户在沉浸式场景中执行教练任务的过程中,向用户提供有效的 问答服务。
第一方面,本发明实施例提供了一种沉浸式场景中的问答服务提供方法,包括:
预先建立与至少一个教练任务对应的至少一个知识库;
在检测到用户进入沉浸式场景中执行目标教练任务时,调取与所述目标教练任务匹配的 知识库;
通过调用所述沉浸式场景提供的访问接口,和/或通过采集所述用户在所述沉浸式场景 中的体感操作数据,获取所述用户在所述沉浸式场景中所处的当前教练步骤;
根据所述当前教练步骤以及所述知识库,在所述沉浸式场景中与所述用户进行问答交 互,以向所述用户提供与所述沉浸式场景匹配的问答服务。
第二方面,本发明实施例还提供了一种沉浸式场景中的问答服务提供装置,包括:
知识库建立模块,用于预先建立与至少一个教练任务对应的至少一个知识库;
知识库调取模块,用于在检测到用户进入沉浸式场景中执行目标教练任务时,调取与所 述目标教练任务匹配的知识库;
当前教练步骤获取模块,用于通过调用所述沉浸式场景提供的访问接口,和/或通过采 集所述用户在所述沉浸式场景中的体感操作数据,获取所述用户在所述沉浸式场景中所处的 当前教练步骤;
问答交互模块,用于根据所述当前教练步骤以及所述知识库,在所述沉浸式场景中与所 述用户进行问答交互,以向所述用户提供与所述沉浸式场景匹配的问答服务。
第三方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储 器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明实施例中 任一所述的沉浸式场景中的问答服务提供方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序, 该程序被处理器执行时实现如本发明实施例中任一所述的沉浸式场景中的问答服务提供方 法。
第五方面,本发明实施例还提供了一种沉浸式教练系统,包括:沉浸式场景服务设备、 问答服务设备、输入端器件、输出端器件以及存储器件;所述沉浸式场景服务设备包括:操 作输入设备以及场景控制器;
所述操作输入设备与所述场景控制器电连接,所述输入端器件、所述输出端器件以及所 述存储器件分别与所述问答服务设备电连接,所述问答服务设备通过访问接口与所述场景控 制器通信连接,以获取所述沉浸式场景服务设备中用户需要执行的目标教练任务;
所述操作输入设备,用于接收所述用户在所述沉浸式场景中输入的用户操作指令,提供 给所述场景控制器;
所述存储器件,用于存储与至少一个教练任务匹配的知识库;
所述输入端器件,用于获取用户输入的交互问题发送至所述问答服务设备;
所述问答服务设备,用于根据接收的所述交互问题,以及根据所述目标教练任务从所述 存储器件中获取的知识库,确定匹配的交互答案提供给所述输出端器件;
所述输出端器件,用于向所述用户提供所述交互答案。
本发明实施例提供了一种沉浸式场景中的问答服务提供方法、装置、设备、存储介质及 沉浸式教练系统,通过调用沉浸式场景提供的访问接口,和/或通过采集用户在沉浸式场景中 的体感操作数据,获取用户在所述沉浸式场景中所处的当前教练步骤,可以在沉浸式场景中 针对当前教练步骤与用户进行问答交互。本发明实施例的技术方案实现了使用机器提供的问 答服务替代实际的教练人员的技术效果,在大大缩短用户在教练过程中所提出问题的响应时 间的前提下,极大的减少了人力成本的投入,进一步优化了现有的沉浸式教练服务,实现了 在用户在沉浸式场景中执行教练任务的过程中,向用户提供有效的问答服务的技术效果。
附图说明
图1是本发明实施例一中的一种沉浸式场景中的问答服务提供方法的流程图;
图2是本发明实施例二中的一种沉浸式场景中的问答服务提供方法的流程图;
图3是本发明实施例三中的一种沉浸式场景中的问答服务提供方法的流程图;
图4是本发明实施例四中的一种沉浸式场景中的问答服务提供装置的结构图;
图5是本发明实施例五中的一种计算机设备的结构示意图;
图6是本发明实施例七中的一种沉浸式教练系统的结构示意图;
图7是本发明实施例八中的一种沉浸式教练系统的结构示意图;
图8是本发明实施例九中的一种可穿戴设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具 体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述, 附图中仅示出了与本发明相关的部分而非全部结构。
另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内 容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流 程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的 许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当 其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理 可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种沉浸式场景中的问答服务提供方法的流程图,本实施 例可适用于在用户进入沉浸式场景中执行目标教练任务的过程中,向用户提供问答服务的情 况,该方法可以由本发明实施例提供的沉浸式场景中的问答服务提供装置来执行,该装置可 采用软件和/或硬件的方式实现,该装置可集成在问答服务设备中,与沉浸式场景服务设备配 合使用。如图1所示,本实施例的方法具体包括:
S110、预先建立与至少一个教练任务对应的至少一个知识库。
其中,所述教练任务是指用户可以在沉浸式场景中训练执行的,模拟实际现实场景的各 类任务,例如,驾车训练任务、各类机器维修训练任务、各类设备的操作使用训练任务等。 所述沉浸式场景,具体是通过各种计算机设备(例如,3D头盔或者3D眼镜等)对真实场景 进行模拟得到的虚拟场景,该沉浸式场景可以为VR场景或者AR场景等,本实施例对此并 不进行限制。
在本实施例中,为了能够在用户进入沉浸式场景中执行教练任务的过程中,向用户提供 对应的问答服务,需要首先建立与每个教练任务分别对应的知识库。其中,知识库中存储有 问答服务中可以向用户提供的各种答案。
可选的,所述知识库中可以包括:与所述目标教练任务匹配的教练步骤集合;其中,所 述教练步骤集合中的每项教练步骤分别匹配对应的步骤提示信息;在所述教练步骤集合中, 预先标注所述每项教练步骤在所述教练步骤集合中的步骤位置。相应的,当用户针对所执行 的目标教练任务进行步骤询问类问题(例如,“下一个步骤该做什么了?”或者“第一个步 骤是什么”等)的询问时,可以基于知识库中存储的与每项教练步骤分别匹配对应的步骤提 示信息,向用户反馈对应的答案。
可选的,所述知识库中还可以包括:与所述目标教练任务匹配的至少一个问答知识点; 所述问答知识点包括:标准问题,至少一个扩展问题以及标准答案;所述标准问题或者扩展 问题用于与所述用户输入的交互问题进行匹配,所述标准答案用于作为交互答案反馈给所述 用户。相应的,当用户针对所执行的教练任务进行教练知识询问类问题(例如,“我为什么 要做XX培训?”或者“XX步骤中做XX操作的目的是什么”等)的询问时,可以基于知 识库中存储的问答知识点,获取与用户的教练知识询问类问题匹配的答案反馈给用户。
当然,可以理解的是,该知识库中还可以存储其他类型的信息与用户进行问答交互,例 如,常规知识点,进而可以针对用户的非教练知识询问类问题(例如,“现在几点了”或者 “外面天气怎么样”等)问题进行答案的反馈。
S120、在检测到用户进入沉浸式场景中执行目标教练任务时,调取与所述目标教练任务 匹配的知识库。
其中,可以通过用户在设定操作面板中的选择操作,确定所述用户在沉浸式场景中所执 行的目标教练任务,并进而调取与所述目标教练任务匹配的知识库;也可以通过调用所述沉 浸式场景提供的访问接口,典型的,API(Application Program Interface,应用程序接口), 确定所述用户在沉浸式场景中所执行的目标教练任务;或者,还可以收集用户在所述沉浸式 场景中的体感操作数据(例如,通过摄像头捕捉用户的动作,或者采集手柄收集的用户操作 指令等),并进而根据该体感操作数据,确定所述用户在沉浸式场景中所执行的目标教练任 务等。
S130、通过调用所述沉浸式场景提供的访问接口,和/或通过采集所述用户在所述沉浸 式场景中的体感操作数据,获取所述用户在所述沉浸式场景中所处的当前教练步骤。
在本实施例中,主要根据用户在沉浸式场景中当前所处的教练步骤(也即,当前教练步 骤),与所述用户进行与当前教练步骤对应的问答交互,因此,需要实时获取到所述用户在 所述沉浸式场景中所处的当前教练步骤。
具体的,可以通过调用所述沉浸式场景提供的访问接口,获取所述用户在所述沉浸式场 景中所处的当前教练步骤;或者也可以通过采集所述用户在所述沉浸式场景中的体感操作数 据,获取所述用户在所述沉浸式场景中所处的当前教练步骤,或者,也可以使用上述两种信 息的组合,获取所述用户在所述沉浸式场景中所处的当前教练步骤。
具体的,用于实现沉浸式场景的场景控制器可以预先开放一个API,其他设备通过调用 该API,可以直接获取所述用户在所述沉浸式场景中所处的当前教练步骤;
或者,还可以首先收集用户在所述沉浸式场景中的体感操作数据(例如,通过摄像头捕 捉用户的动作,或者采集手柄收集的用户操作指令等)后,根据采集的所述体感操作数据, 以及教练步骤与体感操作数据之间的映射关系,确定所述用户在所述沉浸式场景中所处的当 前教练步骤。
在一个具体的例子中,所述体感操作数据为摄像头捕捉用户的动作,所述教练步骤与体 感操作数据之间的映射关系为设定动作类型与教练步骤之间的映射关系,相应的,在获取摄 像头捕捉的用户的动作之后,根据该动作进行设定动作类型的识别,进而可以根据所识别出 的动作类型以及所述映射关系,确定出所述用户在所述沉浸式场景中所处的当前教练步骤。
S140、根据所述当前教练步骤以及所述知识库,在所述沉浸式场景中与所述用户进行问 答交互,以向所述用户提供与所述沉浸式场景匹配的问答服务。
本发明实施例提供的沉浸式场景中的问答服务提供方法,通过调用沉浸式场景提供的访 问接口,和/或通过采集用户在沉浸式场景中的体感操作数据,获取用户在所述沉浸式场景中 所处的当前教练步骤,可以在沉浸式场景中针对当前教练步骤与用户进行问答交互。本发明 实施例的技术方案实现了使用机器提供的问答服务替代实际的教练人员的技术效果,在大大 缩短用户在教练过程中所提出问题的响应时间的前提下,极大的减少了人力成本的投入,进 一步优化了现有的沉浸式教练服务,实现了在用户在沉浸式场景中执行教练任务的过程中, 向用户提供有效的问答服务的技术效果。
实施例二
图2为本发明实施例二提供的一种沉浸式场景中的问答服务提供方法的流程图,本实施 例以上述实施例为基础进行优化,在本实施例中,在确定所述交互问题为步骤询问类问题时, 对在所述沉浸式场景中与所述用户进行问答交互的实现方式进行具体化。相应的,本发明实 施例的方法包括:
S210、预先建立与至少一个教练任务对应的至少一个知识库。
在本实施例中,所述知识库中可以包括:与所述目标教练任务匹配的教练步骤集合;
其中,所述教练步骤集合中的每项教练步骤分别匹配对应的步骤提示信息;在所述教练 步骤集合中,预先标注所述每项教练步骤在所述教练步骤集合中的步骤位置。
其中,所述步骤提示信息具体是指对教练步骤的具体操作方式、操作注意事项或者操作 中的容易出现的错误中的一项或者多项进行提示的信息。
在一个具体的例子中,所述的教练步骤集合中包括的一条教练步骤项的示例如下:“步 骤A:操作方式为XX,操作注意事项为XX,操作中容易出现的错误为XXX”。
S220、在检测到用户进入沉浸式场景中执行目标教练任务时,调取与所述目标教练任务 匹配的知识库。
S230、通过调用所述沉浸式场景提供的访问接口,和/或通过采集所述用户在所述沉浸式 场景中的体感操作数据,获取所述用户在所述沉浸式场景中所处的当前教练步骤。
S240、接收所述用户输入的交互问题。
具体的,用户在该沉浸式场景中,可以通过语音、文字或者视频等方式,输入交互问题。
S250、当所述交互问题为步骤询问类问题时,获取与所述步骤询问类问题匹配的目标步 骤的位置识别信息。
在本实施例中,所述步骤询问类问题是指用户对目标教练任务中的某一个步骤所询问的 问题,例如:“下一步骤是什么?”、“下一步骤的注意事项是什么?”或者“最后一个步骤是什么?”等。其中,可以通过关键词匹配或者语义识别等方式,确定所述交互问题为步骤询问类问题。
在一个具体的例子中,可以将所述交互问题与设定的步骤类关键词进行匹配,例如,“步 骤”、“环节”或者“接下来”等,如果匹配成功,则将该交互问题确定为步骤询问类问题。
具体的,可以通过实体识别,无意义词的去除或者模板匹配的方式,获取所述与所述步 骤询问类问题匹配的目标步骤的位置识别信息。具体的,交互问题“下一步骤是什么?”中 的位置识别信息可以为“下一步骤”,交互问题“最后一个步骤是什么?”中的位置识别信 息可以为“最后一个步骤”等。
S260、判断所述位置识别信息的信息类型:如果位置识别信息为相对于当前教练步骤的 相对位置识别信息,则执行S270;如果位置识别信息为绝对位置识别信息,则执行S280。
在本实施例中,所述相对位置识别信息,是指确定用户询问的步骤为相对于当前教练步 骤的步骤位置的识别信息,例如,如果所述位置识别信息为“下一步骤”,则该位置识别信 息为相对位置识别信息,而用户询问的步骤为所述目标教练任务中的当前教练步骤所在的步 骤位置+1。所述绝对位置识别信息,是指确定用户询问的步骤为在整个目标教练任务中的绝 对步骤位置的识别信息,例如,如果所述位置识别信息为“最后一个步骤”,则该位置识别 信息为绝对位置识别信息,而用户询问的步骤为所述目标教练任务中的最后一个教练步骤所 在的步骤位置。
在本实施例中,可以通过关键词匹配的方式,例如,识别“下一”、“上一”、“前一”或者“后一”等这类用于识别相对位置识别信息的关键词,或者“第一”、“第二”或者“最 后”等这类用于识别绝对位置识别信息的关键词,确定所述位置识别信息具体为相对位置识别信息还是绝对位置识别信息。
S270、根据所述当前教练步骤在所述教练步骤集合中的步骤位置,以及所述相对位置识 别信息,在所述教练步骤集合中确定所述目标步骤,执行S290。
其中,所述目标步骤,即为在与所述目标教练任务匹配的教练步骤集合中,所述用户的 交互问题所指向的步骤。
在本实施例的一个可选的实施方式中,根据所述当前教练步骤在所述教练步骤集合中的 步骤位置,以及所述相对位置识别信息,在所述教练步骤集合中确定所述目标步骤,具体可 以包括:
按照预设的关键词匹配方式,识别所述相对位置识别信息中的步骤搜索方向以及步骤搜 索距离;在所述教练步骤集合中,以所述当前教练步骤的步骤位置为起点,按照所述步骤搜 索方向查找所述步骤搜索距离,得到所述目标步骤。
在一个具体的例子中,所述相对位置识别信息为“下一步骤”,通过识别该相对位置识 别信息中的“下”以及“一”,确定步骤搜索方向为沿步骤的执行方向,确定所述步骤搜索 距离为“1”,进而可以在所述教练步骤集合中,以所述当前教练步骤的步骤位置为起点,沿步骤的执行方向向下搜索一个步骤,即为该目标步骤。
在另一个具体的例子中,所述相对位置识别信息为“前两步骤”,通过识别该相对位置 识别信息中的“前”以及“两”,确定步骤搜索方向为沿步骤的执行方向的反方向,确定所 述步骤搜索距离为“2”,进而可以在所述教练步骤集合中,以所述当前教练步骤的步骤位 置为起点,沿步骤的执行方向的反方向,向上搜索两个步骤,即为该目标步骤。
S280、根据所述绝对位置识别信息,在所述教练步骤集合中确定所述目标步骤,执行 S290。
在本实施例中,可以根据所述绝对位置识别信息“第一个步骤”或者“第二个步骤”, 直接确定目标步骤在所述教练步骤集合中的绝对位置,进而可以直接确定出所述目标步骤。
S290、将与所述目标步骤对应的所述步骤提示信息作为交互答案,反馈给所述用户。
在本实施例中,在确定出与用户的交互问题匹配的目标步骤之后,可以直接查询所述知 识库,获取与该目标步骤对应的步骤提示信息,作为交互答案反馈给所述用户。
本发明实施例的技术方案,提供了一种在所述交互问题为步骤询问类问题时,获取用户 实际询问的目标步骤,并基于预先存储的与目标步骤对应的步骤提示信息,对在所述沉浸式 场景中与所述用户进行问答交互的问答服务提供方式,可以实现在用户使用沉浸式场景执行 目标教练任务的过程中,基于用户当前所在的教练步骤,对用户进行有效的步骤提示,可以 在不使用任何人力成本投入的前提下,达到为每个用户配备独立的机器人教练,定制化为用 户提供所需问题的答案的技术效果,极大的节约了人力成本,实现了在用户在沉浸式场景中 执行教练任务的过程中,向用户提供有效的问答服务的技术效果。
在上述各实施例的基础上,所述方法还可以包括:
当进行操作引导时,通过调用所述沉浸式场景提供的访问接口,实时监控所述当前教练 步骤的用户完成情况;在检测到所述用户完成所述当前教练步骤时,在所述教练步骤集合中, 获取所述当前教练步骤的下一教练步骤;将与所述下一教练步骤对应的步骤提示信息提供给 所述用户。
其中,所述操作引导具体是指在用户执行目标教练任务的过程中主动向用户随时提供操 作提示的功能选项,如果用户开启了该功能选项,无需主动发问,即可在一项教练步骤执行 结束后,接收到与下一教练步骤对应的目标提示信息。
这样设置的好处是:可以进一步丰富步骤提示信息的提供方式,让用户在对目标教练任 务的执行过程中,准确、及时以及使用最小的交互次数,准确获知与每一个教练步骤对应的 教练提示信息,极大的缩短用户对该目标教练任务的执行时间,典型的,可以根据用户对该 目标教练任务的执行次数,确定是否开启所述操作引导,例如,如果用户是首次执行该目标 教练任务,可以直接开启该操作引导,以引导用户以最小的耗时,顺利执行一个完成陌生的 目标教练任务,以使得用户快速熟悉一个从来未执行过的目标教练任务。
在上述各实施例的基础上,所述方法还可以包括:
在确定所述用户完成所述沉浸式场景中的所述目标教练任务时,获取所述用户在所述目 标教练任务的进行过程中输入的至少一个语音形式的交互问题;对所述至少一个语音形式的 交互问题进行语音特征分析;根据语音特征分析结果,确定所述用户的情绪状态,并根据所 述情绪状态,对所述用户针对所述目标教练任务的教练状态评分。
发明人通过研究发现,用户在一个沉浸式场景中,针对各个教练步骤所执行的用户操作 是否符合预期操作要求是可以被量化衡量的,例如,通过将用户的体感操作数据与标准的操 作数据进行匹配的方式等,基于上述匹配,可以对用户的教练任务的执行情况进行评分,但 是评分效果的评价维度比较单一,仅仅能代表用户的操作执行情况,但是用户的情绪状态是 无法把握的,评价效果欠准确。
在本实施例中,可以通过语音交互的方式,获取用户输入的交互问题,并以语音的形式 向用户反馈对应的交互答案,进而可以获取用户在执行目标教练任务的过程中,输入的全部 语音形式的交互问题。语音是一种可以反映用户情绪的表达方式,基于上述交互问题,可以 对用户的情绪状态进行相应的评分,进而可以评价出所述用户针对所述目标教练任务的教练 状态评分,基于该教练状态评分,以及用户的执行情况评分,可以全部衡量用户对目标教练 任务的执行情况,评价效果更好。
实施例三
图3为本发明实施例三提供的一种沉浸式场景中的问答服务提供方法的流程图,本实施 例以上述实施例为基础进行优化。在本实施例中,在确定所述交互问题为教练知识询问类问 题时,对在所述沉浸式场景中与所述用户进行问答交互的实现方式进行具体化。相应的,本 发明实施例的方法包括:
S310、预先建立与至少一个教练任务对应的至少一个知识库。
S320、在检测到用户进入沉浸式场景中执行目标教练任务时,调取与所述目标教练任务 匹配的知识库。
在本实施例中,所述知识库中除了包括有:与所述目标教练任务匹配的教练步骤集合之 外,还可以包括有:与所述目标教练任务匹配的至少一个问答知识点;
其中,所述问答知识点包括:标准问题,至少一个扩展问题以及标准答案;
所述标准问题或者扩展问题用于与所述用户输入的交互问题进行匹配,所述标准答案用 于作为交互答案反馈给所述用户。
问答知识点最原始和最简单的形式就是平时常用的FAQ,一般的形式是“问-答”对。例 如,“彩铃的资费”就是表达清晰的标准问描述。这里的“问”不应被狭义地理解为“询问”, 而应广义地来理解一“输入”,该“输入”具有对应的“输出”。例如,对于用于控制系统的语义识别而言,用户的一个指令,例如“打开收音机”也应可以被理解为是一个“问”, 此时对应的“答”可以是用于执行相应控制的控制程序的调用。
用户在向机器输入时,最理想的情况是使用标准问题,则机器的智能语义识别系统马上 能够理解用户的意思。然而,用户往往并非使用的是标准问题,而是标准问题的一些变形的 形式。例如,若对于收音机的电台切换的标准问题形式是“换一个电台”,那么用户可能使 用的命令是“切换一个电台”,机器也需要能够识别用户表达的是同一个意思。
对于智能语义识别而言,知识库里需要有标准问题的扩展问题,该扩展问题与标准问题 表达形式有略微差异,但是表达相同的含义。
在本实施例中,问答服务除了可以针对用户的步骤询问类问题进行解答之外,进一步还 可以针对用户针对整个目标教练任务所提出的问题(也即,教练知识询问类问题)进行解答, 以进一步丰富问答服务所能提供的功能。
在一个具体的例子中,针对一个“XX设备的维护”的目标教练任务,以及预先建立与 该目标教练任务匹配的多个问答知识点,可以构造如表1所示的问答知识点。
具体的,所述问答知识点中标准问题以及扩展问题的内容,可以通过日常教练过程中实 际收集的用户问题确定,或者通过各种问题征集方式(问卷调查或者在线问答)的方式获取, 本实施例对此并不进行限制。
表1
S330、通过调用所述沉浸式场景提供的访问接口,和/或通过采集所述用户在所述沉浸式 场景中的体感操作数据,获取所述用户在所述沉浸式场景中所处的当前教练步骤。
S340、接收所述用户输入的交互问题。
S350、判断所述交互问题的问题类型:如果确定所述交互问题为步骤询问类问题时,执 行S360;如果确定所述交互问题为教练知识询问类问题,则执行S370。
在本实施例中,可以通过关键词匹配,或者语义识别的方式,确定所述交互问题为步骤 询问类问题或者教练知识询问类问题。
在一个具体的例子中,如果一个交互问题中包括了:“为什么”、“怎样”或者“如何”等询问类的关键词,可以确定该交互问题为教练知识询问类问题。
更简单的,可以首先确定所述交互问题是否为步骤询问类问题,如果不是的话,可以直 接将该交互问题确定为所述教练知识询问类问题。
S360、获取与所述步骤询问类问题匹配的目标步骤的位置识别信息,执行S380。
S370、将所述交互问题与所述知识库中的所述问答知识点进行匹配,执行S3120。
具体的,将所述交互问题与所述知识库中的各个标准问题或者与标准问题对应的至少一 个扩展问题进行匹配,并获取与匹配上的标准问题或者扩展问题对应的标准答案作为交互答 案提供给所述用户。
S380、判断所述位置识别信息的信息类型:如果位置识别信息为相对于当前教练步骤的 相对位置识别信息,则执行S390;如果位置识别信息为绝对位置识别信息,则执行S3100。
S390、根据所述当前教练步骤在所述教练步骤集合中的步骤位置,以及所述相对位置识 别信息,在所述教练步骤集合中确定所述目标步骤,执行S3110。
S3100、根据所述绝对位置识别信息,在所述教练步骤集合中确定所述目标步骤,执行 S3110。
S3110、将与所述目标步骤对应的所述步骤提示信息作为交互答案,反馈给所述用户。
S3120、将匹配得到的所述交互答案反馈给所述用户。
本发明实施例的技术方案提供了一种在所述交互问题为教练知识询问类问题时,将所述 交互问题与所述知识库中的所述问答知识点进行匹配,将匹配得到的所述交互答案反馈给所 述用户的问答服务提供方式。针对用户基于当前执行的目标教练任务所提出的各类相关问题, 进行有针对性的解答,可以在不使用任何人力成本投入的前提下,达到为每个用户配备独立 的机器人教练,定制化为用户提供所需问题的答案的技术效果,极大的节约了人力成本,实 现了在用户在沉浸式场景中执行教练任务的过程中,向用户提供有效的问答服务的技术效果。
在上述各实施例的基础上,所述知识库中还可以包括:与所述沉浸式场景匹配的至少一 个指令控制知识点;
所述指令控制知识点包括:用户标准控制指令,至少一个用户扩展控制指令以及机器执 行指令;
所述用户标准控制指令或者用户扩展控制指令用于与所述用户输入的交互问题进行匹 配,所述机器执行指令用于对所述沉浸式场景中的至少一个功能选项进行操作控制。
其中,所述用户标准控制指令,是指用于对所述沉浸式场景中的至少一个功能选项进行 操作控制的指令,例如:“打开(或者开启)摄像头”、“关闭操作引导”或者“提高(或者调亮)屏幕显示亮度”等。其中,不同的用户标准控制指令或者用户扩展控制指令,对应一个可以被机器识别并执行的机器执行指令。
相应的,在接收所述用户输入的交互问题之后,还可以包括:
当确定所述交互问题为用户控制指令时,将所述交互问题与所述知识库中的所述指令控 制知识点进行匹配;将匹配得到的所述机器执行指令,通过调用所述沉浸式场景提供的访问 接口提供给所述沉浸式场景,以对所述沉浸式场景中匹配的功能选项进行操作控制。
其中,可以通过关键词识别,或者语义识别的方式,确定所述交互问题为用户控制指令。 在一个具体的例子中,如果一个交互问题中包括了:“打开”、“关闭”、“调亮”或者“调暗”等控制类的关键词,可以确定该交互问题为用户控制指令。
这样设置的好处是:进一步丰富了问答服务所能提供的功能,进一步减少了用户的手动 操作的工作量,辅助提高了用户对目标教练任务的执行效率,进而可以提高用户对该沉浸式 场景的满意度。
实施例四
图4为本发明实施例四提供的一种沉浸式场景中的问答服务提供装置的结构示意图,如 图4所示,所述装置包括:知识库建立模块410、知识库调取模块420,当前教练步骤获取 模块430以及问答交互模块440。其中:
知识库建立模块410,用于预先建立与至少一个教练任务对应的至少一个知识库;
知识库调取模块420,用于在检测到用户进入沉浸式场景中执行目标教练任务时,调取 与所述目标教练任务匹配的知识库;
当前教练步骤获取模块430,用于通过调用所述沉浸式场景提供的访问接口,和/或通过 采集所述用户在所述沉浸式场景中的体感操作数据,获取所述用户在所述沉浸式场景中所处 的当前教练步骤;
问答交互模块440,用于根据所述当前教练步骤以及所述知识库,在所述沉浸式场景中 与所述用户进行问答交互,以向所述用户提供与所述沉浸式场景匹配的问答服务。
本发明实施例提供的沉浸式场景中的问答服务提供装置,通过调用沉浸式场景提供的访 问接口,和/或通过采集用户在沉浸式场景中的体感操作数据,获取用户在所述沉浸式场景中 所处的当前教练步骤,可以在沉浸式场景中针对当前教练步骤与用户进行问答交互。本发明 实施例的技术方案实现了使用机器提供的问答服务替代实际的教练人员的技术效果,在大大 缩短用户在教练过程中所提出问题的响应时间的前提下,极大的减少了人力成本的投入,进 一步优化了现有的沉浸式教练服务,实现了在用户在沉浸式场景中执行教练任务的过程中, 向用户提供有效的问答服务的技术效果。
在上述各实施例的基础上,所述知识库中可以包括:与所述目标教练任务匹配的教练步 骤集合;
其中,所述教练步骤集合中的每项教练步骤分别匹配对应的步骤提示信息;在所述教练 步骤集合中,预先标注所述每项教练步骤在所述教练步骤集合中的步骤位置。
在上述各实施例的基础上,问答交互模块440,可以具体包括:
交互问题接收单元,用于接收所述用户输入的交互问题;
位置识别信息获取单元,用于当确定所述交互问题为步骤询问类问题时,获取与所述步 骤询问类问题匹配的目标步骤的位置识别信息;
第一目标步骤确定单元,用于如果所述位置识别信息为相对于当前教练步骤的相对位置 识别信息,则根据所述当前教练步骤在所述教练步骤集合中的步骤位置,以及所述相对位置 识别信息,在所述教练步骤集合中确定所述目标步骤;
第一交互答案反馈单元,用于将与所述目标步骤对应的所述步骤提示信息作为交互答 案,反馈给所述用户。
在上述各实施例的基础上,所述第一目标步骤确定单元可以具体用于:
按照预设的关键词匹配方式,识别所述相对位置识别信息中的步骤搜索方向以及步骤搜 索距离;
在所述教练步骤集合中,以所述当前教练步骤的步骤位置为起点,按照所述步骤搜索方 向查找所述步骤搜索距离,得到所述目标步骤。
在上述各实施例的基础上,还可以包括:第二目标步骤确定单元,用于在所述获取与所 述步骤询问类问题匹配的需求步骤的位置识别信息之后,如果确定所述位置识别信息为绝对 位置识别信息,则根据所述绝对位置识别信息,在所述教练步骤集合中确定所述目标步骤。
在上述各实施例的基础上,还可以包括,主动提示模块,用于:
当进行操作引导时,通过调用所述沉浸式场景提供的访问接口,实时监控所述当前教练 步骤的用户完成情况;
在检测到所述用户完成所述当前教练步骤时,在所述教练步骤集合中,获取所述当前教 练步骤的下一教练步骤;
将与所述下一教练步骤对应的步骤提示信息提供给所述用户。
在上述各实施例的基础上,所述知识库中还可以包括:与所述目标教练任务匹配的至少 一个问答知识点;
所述问答知识点可以包括:标准问题,至少一个扩展问题以及标准答案;
所述标准问题或者扩展问题用于与所述用户输入的交互问题进行匹配,所述标准答案用 于作为交互答案反馈给所述用户。
在上述各实施例的基础上,还可以包括,第二交互答案反馈单元,用于:
在接收所述用户输入的交互问题之后,当确定所述交互问题为教练知识询问类问题时, 将所述交互问题与所述知识库中的所述问答知识点进行匹配;将匹配得到的所述交互答案反 馈给所述用户。
在上述各实施例的基础上,所述知识库中还可以包括:与所述沉浸式场景匹配的至少一 个指令控制知识点;
所述指令控制知识点可以包括:用户标准控制指令,至少一个用户扩展控制指令以及机 器执行指令;
所述用户标准控制指令或者用户扩展控制指令用于与所述用户输入的交互问题进行匹 配,所述机器执行指令用于对所述沉浸式场景中的至少一个功能选项进行操作控制。
在上述各实施例的基础上,还可以包括,操作控制单元,用于在接收所述用户输入的交 互问题之后,当确定所述交互问题为用户控制指令时,将所述交互问题与所述知识库中的所 述指令控制知识点进行匹配;
将匹配得到的所述机器执行指令,通过调用所述沉浸式场景提供的访问接口提供给所述 沉浸式场景,以对所述沉浸式场景中匹配的功能选项进行操作控制。
在上述各实施例的基础上,当前教练步骤获取模块430,可以具体用于:
根据采集的所述体感操作数据,以及教练步骤与体感操作数据之间的映射关系,确定所 述用户在所述沉浸式场景中所处的当前教练步骤。
在上述各实施例的基础上,还可以包括,教练状态评分模块,用于:
在确定所述用户完成所述沉浸式场景中的所述目标教练任务时,获取所述用户在所述目 标教练任务的进行过程中输入的至少一个语音形式的交互问题;
对所述至少一个语音形式的交互问题进行语音特征分析;
根据语音特征分析结果,确定所述用户的情绪状态,并根据所述情绪状态,对所述用户 针对所述目标教练任务的教练状态评分。
上述沉浸式场景中的问答服务提供装置可执行本发明任意实施例所提供的沉浸式场景 中的问答服务提供方法,具备执行的沉浸式场景中的问答服务提供方法相应的功能模块和有 益效果。
实施例五
图5为本发明实施例五提供的一种计算机设备的结构示意图。图5示出了适于用来实现 本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例, 不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包 括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包 括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围 总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来 说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC) 总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总 线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算 机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储 器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移 动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可 移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出, 可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非 易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况 下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至 少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以 执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中, 这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模 块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42 通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等) 通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该 计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器 等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公 共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其 它模块通信。应当明白,尽管图5中未示出,可以结合计算机设备12使用其它硬件和/或软 件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID 系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据 处理,例如实现本发明实施例所提供的沉浸式场景中的问答服务提供方法。
也即:所述处理单元执行所述程序时实现:预先建立与至少一个教练任务对应的至少一 个知识库;在检测到用户进入沉浸式场景中执行目标教练任务时,调取与所述目标教练任务 匹配的知识库;通过调用所述沉浸式场景提供的访问接口,和/或通过采集所述用户在所述沉 浸式场景中的体感操作数据,获取所述用户在所述沉浸式场景中所处的当前教练步骤;根据 所述当前教练步骤以及所述知识库,在所述沉浸式场景中与所述用户进行问答交互,以向所 述用户提供与所述沉浸式场景匹配的问答服务。
实施例六
本发明实施例六提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处 理器执行时实现如本申请所有发明实施例提供的沉浸式场景中的问答服务提供方法:
也即:该程序被处理器执行时实现:预先建立与至少一个教练任务对应的至少一个知识 库;在检测到用户进入沉浸式场景中执行目标教练任务时,调取与所述目标教练任务匹配的 知识库;通过调用所述沉浸式场景提供的访问接口,和/或通过采集所述用户在所述沉浸式场 景中的体感操作数据,获取所述用户在所述沉浸式场景中所处的当前教练步骤;根据所述当 前教练步骤以及所述知识库,在所述沉浸式场景中与所述用户进行问答交互,以向所述用户 提供与所述沉浸式场景匹配的问答服务。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读 信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、 磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读 存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计 算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器 (EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序 的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承 载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于— —电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读 存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指 令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于—— 无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代 码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括 常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地 在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用 户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程 计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN) —连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因 特网连接)。
实施例七
图6为本发明实施例七提供的一种沉浸式教练系统的结构示意图,所述系统包括:沉浸 式场景服务设备610、问答服务设备620、输入端器件630、输出端器件640以及存储器件 650;所述沉浸式场景服务设备610包括:操作输入设备660以及场景控制器670;
所述操作输入设备660与所述场景控制器670电连接,所述输入端器件630、所述输出 端器件640以及所述存储器件650分别与所述问答服务设备620电连接,所述问答服务设备 620通过访问接口671与所述场景控制器670通信连接,以获取所述沉浸式场景服务设备610 中用户需要执行的目标教练任务;
所述操作输入设备660,用于接收所述用户在所述沉浸式场景中输入的用户操作指令, 提供给所述场景控制器670;
所述存储器件650,用于存储与至少一个教练任务匹配的知识库;
所述输入端器件630,用于获取用户输入的交互问题发送至所述问答服务设备620;
所述问答服务设备620,用于根据接收的所述交互问题,以及根据所述目标教练任务从 所述存储器件650中获取的知识库,确定匹配的交互答案提供给所述输出端器件640;
所述输出端器件640,用于向所述用户提供所述交互答案。
在本实施例中,操作输入设备660以及场景控制器670共同构成的沉浸式场景服务设备 610,用于向用户提供沉浸式的场景(3D沉浸式场景),并在该沉浸式场景中,向用户提供 目标教练任务进行训练或者学习。
典型的,所述沉浸式场景服务设备具体可以包括:虚拟现实场景服务设备,和/或增强 现实场景服务设备。
其中,所述操作输入设备660可以具体包括:至少一个手柄输入设备,用户通过操作该 手柄输入设备,可以对应执行所述目标教练任务中的各个教练步骤,同时,场景控制器670 通过采集用户通过该手柄输入设备输入的体感操作数据,可以对用户对目标教练任务的执行 情况进行评分。
进一步的,所述操作输入设备660还可以为与目标教练任务匹配的定制化硬件设备,例 如,如果目标教练任务为“XX仪器的维修任务”,则所述操作输入设备660,可以为与该 “XX设备”的各项显示外观项,以及可操控组件配套的硬件实体设备。
进一步的,所述沉浸式场景服务设备610还可以包括:视频输出设备;所述视频输出设 备与所述场景控制器670电连接;
所述视频输出设备,用于根据所述场景控制器提供的场景展示信息,向所述用户展示与 所述目标教练任务匹配的所述沉浸式场景。
具体的,所述视频输出设备可以包括:头显设备、显示屏,以及投影设备等可以用来提 供显示视频的各类硬件设备。其中,所述头显设备可以包括:智能头盔或者智能眼镜等随身 式的显示设备,以提高用户在该沉浸式场景中的自由度。
在本实施例中,所述问答服务设备620与所述沉浸式场景服务设备610配合使用,用于 在用户在沉浸式场景中执行目标教练任务的过程中,向用户提供与所述目标教练任务匹配的 问答服务。具体的,所述问答服务设备620可以通过调用所述沉浸式场景服务设备610中的 场景控制器670所提供的访问接口671(典型的,API),获取用户在所述沉浸式场景中所执 行的目标教练任务,进而可以从所述存储器件650中获取匹配的知识库,并基于该知识库与 所述用户进行问答交互。
具体的,所述存储器件650可以为与该问答服务设备620通信连接的网络存储器,或者 与该问答服务设备620电连接的各种外部存储器,例如,硬盘、TF(Trans-flash)卡、SD(Secure Digital Memory)卡或者内存条等,本实施例对此并不进行限制。
在本实施例中,所述输入端器件630可以为:麦克风或者麦克风阵列等,用以获取用户 输入的,声音形式的交互问题,相应的,所述输出端器件640可以为:扬声器、扬声器阵列 或者音响等,用以将问答服务设备620提供的交互答案,以声音的形式反馈给该用户。
当然,该输入端器件630以及输出端器件640还可以为其他类型的输入输出器件,例如, 显示屏幕或者电子白板等。或者,所述输入端器件630以及输出端器件640可以与该沉浸式 场景服务设备610中的已有硬件,例如,视频输出设备,进行共用,本实施例对此并不进行 限制。
本发明实施例提供的沉浸式教练系统,通过对沉浸式场景服务设备以及问答服务设备的 配合使用,可以在沉浸式场景中针对用户执行的目标教练任务与用户进行有针对性的问答交 互。本发明实施例的技术方案实现了使用机器提供的问答服务替代实际的教练人员的技术效 果,在大大缩短用户在教练过程中所提出问题的响应时间的前提下,极大的减少了人力成本 的投入,进一步优化了现有的沉浸式教练服务,实现了在用户在沉浸式场景中执行教练任务 的过程中,向用户提供有效的问答服务的技术效果。
实施例八
图7为本发明实施例八提供的一种沉浸式教练系统的结构示意图,在上述各实施例的基 础上,所述系统还包括:远端服务器710;所述远端服务器710与所述问答服务设备通信连 接。
所述问答服务设备还用于,将所述交互问题,以及所述目标教练任务发送至所述远端服 务器710,并接收所述远端服务器710反馈的交互答案;
所述远端服务器710,用于根据接收的交互问题以及所述目标教练任务,确定交互答案 反馈至所述问答服务设备。
进一步的,所述系统还包括:无线通信器件720,所述无线通信器件720与所述问答服 务设备电连接;
所述无线通信器件720,用于建立所述问答服务设备与所述远端服务器710之间的通信 连接。
其中,所述无线通信器件720,可以为移动通信模块(例如,4G通信模块或者5G通信模块等),也可以为Wi-Fi(Wireless Fidelity,无线保真)模块等,本实施例对此并不进行限 制。
在本实施例中,为了进一步减少问答服务设备的处理负担,可以将获取与交互问题匹配 的交互答案的操作,放在处理速度更快的远端服务器中,以提高交互答案的反馈速度,并极 大的减少了问答服务设备的处理负担。
实施例九
图8为本发明实施例九提供的一种可穿戴设备的结构示意图。其中,所述可穿戴设备中, 包括有如本发明任一实施例所述的沉浸式教练系统。
在本实施例中,通过将沉浸式教练系统集成于可穿戴设备之上,可以实现对沉浸式场景 以及问答服务的集成,进一步提高用户的使用体验。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发 明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调 整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详 细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括 更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (16)

1.沉浸式场景中的问答服务提供方法,其特征在于,包括:
预先建立与至少一个教练任务对应的至少一个知识库;
在检测到用户进入沉浸式场景中执行目标教练任务时,调取与所述目标教练任务匹配的知识库;
通过调用所述沉浸式场景提供的访问接口,和/或通过采集所述用户在所述沉浸式场景中的体感操作数据,获取所述用户在所述沉浸式场景中所处的当前教练步骤;
根据所述当前教练步骤以及所述知识库,在所述沉浸式场景中与所述用户进行问答交互,以向所述用户提供与所述沉浸式场景匹配的问答服务。
2.根据权利要求1所述的方法,其特征在于,所述知识库中包括:与所述目标教练任务匹配的教练步骤集合;
其中,所述教练步骤集合中的每项教练步骤分别匹配对应的步骤提示信息;在所述教练步骤集合中,预先标注所述每项教练步骤在所述教练步骤集合中的步骤位置。
3.根据权利要求2所述的方法,其特征在于,所述根据所述当前教练步骤以及所述知识库,在所述沉浸式场景中与所述用户进行问答交互,包括:
接收所述用户输入的交互问题;
当确定所述交互问题为步骤询问类问题时,获取与所述步骤询问类问题匹配的目标步骤的位置识别信息;
如果所述位置识别信息为相对于当前教练步骤的相对位置识别信息,则根据所述当前教练步骤在所述教练步骤集合中的步骤位置,以及所述相对位置识别信息,在所述教练步骤集合中确定所述目标步骤;
将与所述目标步骤对应的所述步骤提示信息作为交互答案,反馈给所述用户。
4.根据权利要求3所述的方法,其特征在于,所述根据所述当前教练步骤在所述教练步骤集合中的步骤位置,以及所述相对位置识别信息,在所述教练步骤集合中确定所述目标步骤,包括:
按照预设的关键词匹配方式,识别所述相对位置识别信息中的步骤搜索方向以及步骤搜索距离;
在所述教练步骤集合中,以所述当前教练步骤的步骤位置为起点,按照所述步骤搜索方向查找所述步骤搜索距离,得到所述目标步骤。
5.根据权利要求3所述的方法,其特征在于,在所述获取与所述步骤询问类问题匹配的需求步骤的位置识别信息之后,还包括:
如果确定所述位置识别信息为绝对位置识别信息,则根据所述绝对位置识别信息,在所述教练步骤集合中确定所述目标步骤。
6.根据权利要求2所述的方法,其特征在于,还包括:
当进行操作引导时,通过调用所述沉浸式场景提供的访问接口,实时监控所述当前教练步骤的用户完成情况;
在检测到所述用户完成所述当前教练步骤时,在所述教练步骤集合中,获取所述当前教练步骤的下一教练步骤;
将与所述下一教练步骤对应的步骤提示信息提供给所述用户。
7.根据权利要求3所述的方法,其特征在于,所述知识库中还包括:与所述目标教练任务匹配的至少一个问答知识点;
所述问答知识点包括:标准问题,至少一个扩展问题以及标准答案;
所述标准问题或者扩展问题用于与所述用户输入的交互问题进行匹配,所述标准答案用于作为交互答案反馈给所述用户。
8.根据权利要求7所述的方法,其特征在于,在接收所述用户输入的交互问题之后,还包括:
当确定所述交互问题为教练知识询问类问题时,将所述交互问题与所述知识库中的所述问答知识点进行匹配;
将匹配得到的所述交互答案反馈给所述用户。
9.根据权利要求3所述的方法,其特征在于,所述知识库中还包括:与所述沉浸式场景匹配的至少一个指令控制知识点;
所述指令控制知识点包括:用户标准控制指令,至少一个用户扩展控制指令以及机器执行指令;
所述用户标准控制指令或者用户扩展控制指令用于与所述用户输入的交互问题进行匹配,所述机器执行指令用于对所述沉浸式场景中的至少一个功能选项进行操作控制。
10.根据权利要求9所述的方法,其特征在于,在接收所述用户输入的交互问题之后,还包括:
当确定所述交互问题为用户控制指令时,将所述交互问题与所述知识库中的所述指令控制知识点进行匹配;
将匹配得到的所述机器执行指令,通过调用所述沉浸式场景提供的访问接口提供给所述沉浸式场景,以对所述沉浸式场景中匹配的功能选项进行操作控制。
11.根据权利要求1-10任一项所述的方法,其特征在于,通过采集所述用户在所述沉浸式场景中的体感操作数据,获取所述用户在所述沉浸式场景中所处的当前教练步骤,包括:
根据采集的所述体感操作数据,以及教练步骤与体感操作数据之间的映射关系,确定所述用户在所述沉浸式场景中所处的当前教练步骤。
12.根据权利要求1-10任一项所述的方法,其特征在于,还包括:
在确定所述用户完成所述沉浸式场景中的所述目标教练任务时,获取所述用户在所述目标教练任务的进行过程中输入的至少一个语音形式的交互问题;
对所述至少一个语音形式的交互问题进行语音特征分析;
根据语音特征分析结果,确定所述用户的情绪状态,并根据所述情绪状态,对所述用户针对所述目标教练任务的教练状态评分。
13.一种沉浸式场景中的问答服务提供装置,其特征在于,包括:
知识库建立模块,用于预先建立与至少一个教练任务对应的至少一个知识库;
知识库调取模块,用于在检测到用户进入沉浸式场景中执行目标教练任务时,调取与所述目标教练任务匹配的知识库;
当前教练步骤获取模块,用于通过调用所述沉浸式场景提供的访问接口,和/或通过采集所述用户在所述沉浸式场景中的体感操作数据,获取所述用户在所述沉浸式场景中所处的当前教练步骤;
问答交互模块,用于根据所述当前教练步骤以及所述知识库,在所述沉浸式场景中与所述用户进行问答交互,以向所述用户提供与所述沉浸式场景匹配的问答服务。
14.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-12中任一所述的方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-12中任一所述的方法。
16.一种沉浸式教练系统,其特征在于,包括:沉浸式场景服务设备、问答服务设备、输入端器件、输出端器件以及存储器件;所述沉浸式场景服务设备包括:操作输入设备以及场景控制器;
所述操作输入设备与所述场景控制器电连接,所述输入端器件、所述输出端器件以及所述存储器件分别与所述问答服务设备电连接,所述问答服务设备通过访问接口与所述场景控制器通信连接,以获取所述沉浸式场景服务设备中用户需要执行的目标教练任务;
所述操作输入设备,用于接收所述用户在所述沉浸式场景中输入的用户操作指令,提供给所述场景控制器;
所述存储器件,用于存储与至少一个教练任务匹配的知识库;
所述输入端器件,用于获取用户输入的交互问题发送至所述问答服务设备;
所述问答服务设备,用于根据接收的所述交互问题,以及根据所述目标教练任务从所述存储器件中获取的知识库,确定匹配的交互答案提供给所述输出端器件;
所述输出端器件,用于向所述用户提供所述交互答案。
CN201910553553.2A 2019-06-25 2019-06-25 问答服务提供方法、装置、设备、介质及沉浸式教练系统 Pending CN110222166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910553553.2A CN110222166A (zh) 2019-06-25 2019-06-25 问答服务提供方法、装置、设备、介质及沉浸式教练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910553553.2A CN110222166A (zh) 2019-06-25 2019-06-25 问答服务提供方法、装置、设备、介质及沉浸式教练系统

Publications (1)

Publication Number Publication Date
CN110222166A true CN110222166A (zh) 2019-09-10

Family

ID=67814772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910553553.2A Pending CN110222166A (zh) 2019-06-25 2019-06-25 问答服务提供方法、装置、设备、介质及沉浸式教练系统

Country Status (1)

Country Link
CN (1) CN110222166A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111506770A (zh) * 2020-04-22 2020-08-07 新华智云科技有限公司 一种采访视频集锦生成方法和系统
CN111858872A (zh) * 2020-04-10 2020-10-30 北京嘀嘀无限科技发展有限公司 问答交互方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080085503A1 (en) * 2006-09-14 2008-04-10 Whaba Instructional system and method
AU2012258320A1 (en) * 2001-08-27 2012-12-13 Kofax International Switzerland Sàrl A method for automatically indexing documents
US20140176603A1 (en) * 2012-12-20 2014-06-26 Sri International Method and apparatus for mentoring via an augmented reality assistant
CN106023693A (zh) * 2016-05-25 2016-10-12 北京九天翱翔科技有限公司 一种基于虚拟现实技术和模式识别技术的教育系统及方法
US20160306798A1 (en) * 2015-04-16 2016-10-20 Microsoft Corporation Context-sensitive content recommendation using enterprise search and public search
US20180101550A1 (en) * 2016-10-11 2018-04-12 International Business Machines Corporation Real time object description service integrated with knowledge center on augmented reality (ar) and virtual reality (vr) devices
CN109299293A (zh) * 2018-08-23 2019-02-01 百度在线网络技术(北京)有限公司 用于ar场景的烹饪指导方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012258320A1 (en) * 2001-08-27 2012-12-13 Kofax International Switzerland Sàrl A method for automatically indexing documents
US20080085503A1 (en) * 2006-09-14 2008-04-10 Whaba Instructional system and method
US20140176603A1 (en) * 2012-12-20 2014-06-26 Sri International Method and apparatus for mentoring via an augmented reality assistant
US20160306798A1 (en) * 2015-04-16 2016-10-20 Microsoft Corporation Context-sensitive content recommendation using enterprise search and public search
CN106023693A (zh) * 2016-05-25 2016-10-12 北京九天翱翔科技有限公司 一种基于虚拟现实技术和模式识别技术的教育系统及方法
US20180101550A1 (en) * 2016-10-11 2018-04-12 International Business Machines Corporation Real time object description service integrated with knowledge center on augmented reality (ar) and virtual reality (vr) devices
CN109299293A (zh) * 2018-08-23 2019-02-01 百度在线网络技术(北京)有限公司 用于ar场景的烹饪指导方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858872A (zh) * 2020-04-10 2020-10-30 北京嘀嘀无限科技发展有限公司 问答交互方法、装置、电子设备及存储介质
CN111506770A (zh) * 2020-04-22 2020-08-07 新华智云科技有限公司 一种采访视频集锦生成方法和系统
CN111506770B (zh) * 2020-04-22 2023-10-27 新华智云科技有限公司 一种采访视频集锦生成方法和系统

Similar Documents

Publication Publication Date Title
CA3115090C (en) Intelligent systems based training of customer service agents
CN110364049B (zh) 一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法
Zhu et al. AR-mentor: Augmented reality based mentoring system
US9754503B2 (en) Systems and methods for automated scoring of a user's performance
US11308671B2 (en) Method and apparatus for controlling mouth shape changes of three-dimensional virtual portrait
CN107657017A (zh) 用于提供语音服务的方法和装置
CN107992195A (zh) 一种教学内容的处理方法、装置、服务器及存储介质
US20140129207A1 (en) Augmented Reality Language Translation
CN108875785A (zh) 基于行为特征对比的关注度检测方法以及装置
CN111027486B (zh) 一种中小学课堂教学效果大数据辅助分析评价系统及其方法
CN108833941A (zh) 人机交互处理方法、装置、用户终端、处理服务器及系统
CN110600033B (zh) 学习情况的评估方法、装置、存储介质及电子设备
CN110148400A (zh) 发音类型的识别方法、模型的训练方法、装置及设备
US20210104169A1 (en) System and method for ai based skill learning
CN109034203A (zh) 表情推荐模型的训练、表情推荐方法、装置、设备及介质
CN109543011A (zh) 问答数据处理方法、装置、计算机设备和存储介质
CN112204565A (zh) 用于基于视觉背景无关语法模型推断场景的系统和方法
CN110262886A (zh) 任务执行方法及装置、电子设备和存储介质
CN110222166A (zh) 问答服务提供方法、装置、设备、介质及沉浸式教练系统
KR101637975B1 (ko) 말하기 자동평가 시스템, 그 방법 및 장치
CN109272983A (zh) 用于亲子教育的双语切换装置
CN109165570A (zh) 用于生成信息的方法和装置
CN117251057A (zh) 一种基于aigc构建ai数智人的方法及系统
CN111241802B (zh) 一种作业生成方法、装置、存储介质及终端
KR100756671B1 (ko) 학습자 인증카드에 따라 제공되는 미션수행 영상을 이용한영어학습 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination