CN115390663B - 一种虚拟人机交互方法、系统、设备及存储介质 - Google Patents

Abstract

本发明提供了一种虚拟人机交互方法、系统、设备及存储介质，其中，一种虚拟人机交互的方法，包括：创建虚拟人机交互所需的虚拟场景，虚拟场景中至少包含一个可交互项，每个可交互项对应至少一个可交互动作；获取用户的实时行为信息，以获取与实时行为信息对应的若干可交互动作；根据实时行为信息的更新情况，筛选匹配度最高的可交互动作作为用户交互动作；于虚拟场景中执行用户交互动作以实现虚拟人机交互。通过获取用户的实时行为信息，并根据实时行为信息的更新情况，筛选匹配度最高的可交互动作作为用户交互动作；提高了用户进行人机交互的同步性，区别于现有技术中先采集后分析再执行，减少了交互的延时，提高了人机交互的实际体验。

Description

一种虚拟人机交互方法、系统、设备及存储介质

技术领域

本发明涉及人机交互技术领域，具体地，公开了一种虚拟人机交互方法、系统、设备及存储介质。

背景技术

随着社会的发展，现在虚拟人机交互的应用原来越多，大大提高人们在实际生活中的便捷性，但现有人机交互，需要人进行全部的手势等动作后，再进行动作识别并呈现对应的虚拟场景交互效果，具有一定的延迟性，导致用户观感较差。

为解决上述问题，本发明提供了一种虚拟人机交互方法、系统、设备及存储介质。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种虚拟人机交互方法、系统、设备及存储介质。

在本申请的第一方面提供了一种虚拟人机交互的方法，具体包括如下步骤：

创建虚拟人机交互所需的虚拟场景，所述虚拟场景中至少包含一个可交互项，每个所述可交互项对应至少一个可交互动作；

获取用户的实时行为信息，以获取与所述实时行为信息对应的若干所述可交互动作；

根据所述实时行为信息的更新情况，筛选匹配度最高的所述可交互动作作为用户交互动作；

于所述虚拟场景中执行所述用户交互动作以实现虚拟人机交互。

在上述第一方面的一种可能的实现中，所述获取与所述实时行为信息对应的若干所述可交互动作包括如下步骤：

获取用户的当前所处位置；

根据所述当前所处位置，获取每个所述可交互动作对应的行为轮廓信息；

比对所述实时行为信息与所述行为轮廓信息，以筛选获取若干所述可交互动作。

在上述第一方面的一种可能的实现中，语音指令比对包括如下步骤：

获取每个所述可交互动作对应的语音特征；

获取用户语音指令，提取用户语音指令中的指令特征；

比对所述指令特征与所述语音特征，以筛选出匹配度最高的所述可交互动作作为所述用户交互动作。

在上述第一方面的一种可能的实现中，所述比对所述实时行为信息与所述行为轮廓信息包括如下步骤：

按照从所述用户动作指令开始到所述用户动作指令结束的顺序，将所述实时行为姿态信息与对应部分的若干所述行为轮廓信息逐一进行比对；

于所述实时行为姿态信息更新过程中，剔除与所述实时行为姿态信息的匹配度小于预设阈值的所述行为轮廓信息；

从剩余的所述行为轮廓信息中筛选匹配度最高的一项对应的所述可交互动作作为所述用户交互动作。

在上述第一方面的一种可能的实现中，所述获取每个所述可交互动作对应的行为轮廓信息包括如下步骤：

根据用户所处位置和用户点云数据，进行虚拟用户建模；

使用所述虚拟用户建模为每个所述可交互动作执行交互行为模拟，以获取对应的行为轮廓信息。

在上述第一方面的一种可能的实现中，所述用户位置识别方法包括激光雷达定位、热成像定位和红外定位中的任意一种。

本申请的第二方面提供了一种用于虚拟人机交互的系统，应用于前述第一方面所提供的一种虚拟人机交互方法，包括：

模拟单元，用于创建虚拟人机交互所需的虚拟场景，所述虚拟场景中至少包含一个可交互项，每个所述可交互项对应至少一个可交互动作；

采集单元，用于获取用户的实时行为信息，以获取与所述实时行为信息对应的若干所述可交互动作；

处理单元，用于根据所述实时行为信息的更新情况，筛选匹配度最高的所述可交互动作作为用户交互动作；

执行单元，于所述虚拟场景中执行所述用户交互动作以实现虚拟人机交互。

本申请的第三方面提供了一种用于虚拟人机交互的设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现前述第一方面所提供的一种虚拟人机交互方法。

本申请的第四方面提供了一种计算机可读存储介质，该种计算机可读存储介质上存储有计算机程序，在计算机程序被处理器执行时实现前述第一方面所提供的一种虚拟人机交互方法

与现有技术相比，本申请具有如下的有益效果：

本发明在进行人机交互的过程中，通过获取用户的实时行为信息，并根据实时行为信息的更新情况，筛选匹配度最高的可交互动作作为用户交互动作；提高了用户进行人机交互的同步性，区别于现有技术中先采集后分析再执行，减少了交互的延时，提高了人机交互的实际体验。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1根据本申请实施例，示出了一种虚拟人机交互的方法的流程示意图；

图2根据本申请实施例，示出了一种获取与实时行为信息对应的若干可交互动作流程示意图；

图3根据本申请实施例，示出了一种音指令比流程示意图；

图4根据本申请实施例，示出了一动作指令比流程示意图；

图5根据本申请实施例，示出了一种获取每个可交互动作对应的行为轮廓信息比对流程示意图；

图6根据本申请实施例，示出了一种用于虚拟人机交互的设备的结构示意图；

图7根据本申请实施例，示出了一种基于区块链技术的跨境贸易结汇设备的结构示意图；

图8根据本申请实施例，示出了一种计算机可读存储介质的结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少区域地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

针对现有技术中存在的人机交互过程高延时问题，本申请提供了一种虚拟人机交互方法、系统、设备及计算机可读存储介质。通过本申请提供的技术方案在进行人机交互的过程中，通过获取用户的实时行为信息，并根据实时行为信息的更新情况，筛选匹配度最高的可交互动作作为用户交互动作；提高了用户进行人机交互的同步性，区别于现有技术中先采集后分析再执行，减少了交互的延时，提高了人机交互的实际体验。以下将结合实施例对本申请提供的技术方案进行阐释和说明。

在本申请的一些实施例中，如图1所示，一种虚拟人机交互的方法，包括：

步骤S100：创建虚拟人机交互所需的虚拟场景，虚拟场景中至少包含一个可交互项，每个可交互项对应至少一个可交互动作；其中，每一个虚拟场景中的可交互项的个数根据实际需要进行设定，每一可交互项的可交互动作根据实际需要进行设定。

步骤S200：获取用户的实时行为信息，以获取与实时行为信息对应的若干可交互动作。其中实时行为信息包括用户语音指令和用户动作指令，用户语音指令为用户进行人机交互时的相关语音命令，用户动作指令为用户进行人机交互时的相关行为姿态。

步骤S300：根据实时行为信息的更新情况，筛选匹配度最高的可交互动作作为用户交互动作。将实时行为信息进行实时比对，在用户进行事实行为的过程中比对筛选出一个匹配度最高的可交互动作并执行该可交互动作。

步骤S400：于虚拟场景中执行用户交互动作以实现虚拟人机交互。根据步骤S300中匹配度最高的可交互动作为需要执行的可交互动作。

通过上述步骤S100至步骤S400，在本公开提供的技术方案中，根据获取用户的实时行为信息，同步比对此时用户的实时行为信息与可交互动作，筛选出匹配度最高的可交互动作，并在虚拟场景中执行用户交互动作，提高了用户进行人机交互的同步性，区别于现有技术中先采集后分析再执行，减少了交互的延时，提高了人机交互的实际体验。以下将对上述步骤S100至步骤S400的具体实现做出阐释和说明。

在本公开的一些实施例中，于前述实施例提供步骤S200中，图2示出本申请获取与实时行为信息对应的若干可交互动作流程示意图。如图2所示，具体可以包括如下步骤：

步骤S211：获取用户的当前所处位置；本实施例中获取用户位置识别方法为毫米波雷达定位的方法获取用户的当前所处位置以及所处位置上的顺势行为姿态。需要说明的是，本发明的技术方案用户位置包括毫米波雷达定位、热成像定位和红外定位，但不限制本实施例中列举出来的用户位置获取方法。

在本公开的一些实施例中，实时行为信息包括用户语音指令和用户动作指令；其中，用户语音指令为用户进行人机交互时的相关语音命令；用户动作指令为用户进行人机交互时的相关行为姿态。需要说明的是，本实施例中在语音指令与动作指令同时出现时，优先执行语音指令。

步骤S212：根据当前所处位置，获取每个可交互动作对应的行为轮廓信息；其中，行为轮廓信息依据用户的实际轮廓在虚拟场景中为每一可交互动作制定一个对应的行为轮廓。

步骤S213：比对实时行为信息与行为轮廓信息，以筛选获取若干可交互动作。

可以理解的是，首先获取用户此刻位置的信息，位置信息包括获取此刻用户的行为姿态，获取每个可交互动作相对应瞬时行为轮廓，将用户的瞬时行为姿态与瞬时行为轮廓进行对比，筛选出若干可交互动作，并将匹配度最高的可交互动作作为用户交互动作。

在本公开的一些实施例中，于前述实施例提供步骤S212中，图5示出获取每个可交互动作对应的行为轮廓信息比对流程示意图，如图5所示，具体可以包括如下步骤：

步骤S310：根据用户所处位置和用户点云数据，进行虚拟用户建模；本实施例中虚拟用户建模为用户整体的3D建模，针对每个站在交互区域的不同用户进行用户点云数据采集，并为每一个用户进行单独的虚拟用户建模。

步骤S320：使用虚拟用户建模为每个可交互动作执行交互行为模拟，以获取对应的行为轮廓信息。

予上述实施例中，行为轮廓信息为根据虚拟用户的3D模型模拟可交互动作，形成一个可交互动作从开始到结束的动态轮廓作为行为轮廓信息，需要说明的是本实施例中的动态轮廓的边缘略大于3D模型的边缘，用以提高实使用中的识别精度。

在本公开的一些实施例中，于前述实施例提供步骤S200中，图3示出本申请语音指令比流程示意图；如图3所示，具体可以包括如下步骤：

步骤S221：获取每个可交互动作对应的语音特征；

步骤S222：获取用户语音指令，提取用户语音指令中的指令特征；

步骤S223：比对指令特征与语音特征，以筛选出匹配度最高的可交互动作作为用户交互动作。

可以理解的是，实际的应用中，获取用户的语音指令信息，提取出用户指令中的指令特征，将指令特征与每个语音特征进行比对，筛选出匹配度最高的可交互动作作为用户交互动作。

在本公开的一些实施例中，于前述实施例提供步骤S200中，图4示出本申请动作指令比流程示意图，如图4所示，具体包可以包括如下步骤：

步骤S231：按照从用户动作指令开始到用户动作指令结束的顺序，将实时行为姿态信息与对应部分的若干行为轮廓信息逐一进行比对；

步骤S232：于实时行为姿态信息更新过程中，剔除与实时行为姿态信息的匹配度小于预设阈值的行为轮廓信息；

步骤S233：从剩余的行为轮廓信息中筛选匹配度最高的一项对应的可交互动作作为用户交互动作。

可以理解的是，用户使用动作指令进行时，从用户动作指令开始进行用户行为姿态信息获取，并将此行为姿态信息与对应部分的若干行为轮廓信息逐一进行比对，当实时行为姿态信息的匹配度小于预设阈值的十个行为轮廓信息，继续获取用户动作指令中的实时行为姿态信息，并将此行为姿态信息与对应部分的若干行为轮廓信息逐一进行比对，若当实时行为姿态信息的匹配度小于预设阈值的五个行为轮廓信息，在剩余的五个行为信息中选取匹配度最高的一项对应的可交互动作作为用户交互动作，若当实时行为姿态信息的匹配度小于预设阈值的十个行为轮廓信息，继续获取用户动作指令中的实时行为姿态信息，重复上述比对。

本实施例中在进行人机交互采用进行动作指令的过程中进行可交互动作的判断，能够在用户指令动作完前确定可交互动作，区别于现有技术中先采集后分析再执行，减少了交互的延时，提高了人机交互的实际体验。

本发明的实际应用，在展示屏上提供红色书包和白色书包两个可交互项，每一个书包包括放大、缩小、旋转、打开和闭合五个可交互动作，每一交互动作匹配一个行为轮廓信息，例如手掌张开旋转45°表示，用户在进行人机交互的过程中，首先站立在展示屏前的交互区域，毫米波雷达获取此时用户所处位置和用户点云数据，然后进行虚拟人体3D建模，并根据人体3D模型模拟每一个行为轮廓信息。此时用户可以使用语音指令“我要查看红色书包”选择红色书包进行展示，用户面对显示屏展开手掌进行旋转，毫米波雷达在用户张开手掌进行旋转的动作指令获取，并将实时行为姿态信息与行为轮廓信息进行比对，当用户张开手掌转动20°时，旋转的行为轮廓信息与此时行为姿态信息的匹配度大于预设阈值，且匹配度最高，执行红色书包旋转，本发明能够在用户动作指令完成之前执行相对应的可交互动作，减少了现有交互的延时，提高了实际的交互体验。

图6根据本申请实施例，示出了一种用于虚拟人机交互的系统的结构示意图；

模拟单元001，用于创建虚拟人机交互所需的虚拟场景，虚拟场景中至少包含一个可交互项，每个可交互项对应至少一个可交互动作；

采集单元002，用于获取用户的实时行为信息，以获取与实时行为信息对应的若干可交互动作；

处理单元003，用于根据实时行为信息的更新情况，筛选匹配度最高的可交互动作作为用户交互动作；

执行单元004，于虚拟场景中执行用户交互动作以实现虚拟人机交互。

在本申请的一些实施例中，一种用于虚拟人机交互的设备，该种设备以包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现本申请技术方案中说明的一种虚拟人机交互方法的步骤。

可以理解的是，本申请技术方案的各个方面可以实现为系统、方法或程序产品。因此，本申请技术方案的各个方面可以具体实现为以下形式，即完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图7根据本申请的一些实施例，示出了一种用于虚拟人机交互的设备的结构示意图。下面参照图7来详细描述根据本实施例中的实施方式实施的电子设备600。图7显示的电子设备600仅仅是一个示例，不应对本申请技术方案任何实施例的功能和使用范围带来任何限制。

如图7所示，电子设备600以通用计算设备的形式表现。电子设备600的组建可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本实施例中上述虚拟人机交互方法区域中描述的根据本实施例中的实施步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取单元(RAM)6201和/或高速缓存存储单元6202，可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图像加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可以与一个或者多个使得用户与该电子设备600交互的设备通信，和/或与使得该电子设备能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其他模块通信。应当明白，尽管图6中未示出，可以结合电子设备600使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

在本申请的一些实施例中，本实施中提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时能够实现上述实施例中提供的一种虚拟人机交互方法的相关步骤。

尽管本实施例未详尽地列举其他具体的实施方式，但在一些可能的实施方式中，本申请技术方案说明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本申请技术方案中虚拟人机交互方法区域中描述的根据本申请技术方案各种实施例中实施方式的步骤。

图8根据本申请的一些实施例示出了一种计算机可读存储介质的结构示意图。如图8所示，其中描述了根据本申请技术方案的实施方式中用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。当然，依据本实施例产生的程序产品不限于此，在本申请技术方案中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一区域传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请技术方案操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、区域地在用户设备上执行、作为一个独立的软件包执行、区域在用户计算设备上区域在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上，通过本申请提出的技术方案，能够通过群体行为对用户行为进行精准画像和画像群体的获取，本技术方案为每个用户都建立了一个相似用户群体，进而通过设置不同的聚合精准度阈值来实现用户画像群体的自动分类和获取，具有画像精准、聚合精准度可调的优势，能够根据不同的精度需求获取精度不同的各类用户画像，契合产品设计、内容推荐等领域的用户画像需求，具有可推广价值。

上述描述仅是对本申请技术方案较佳实施例的描述，并非对本申请技术方案范围的任何限定，本申请技术方案领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (8)

1.一种虚拟人机交互的方法，其特征在于，包括：

创建虚拟人机交互所需的虚拟场景，所述虚拟场景中至少包含一个可交互项，每个所述可交互项对应至少一个可交互动作；

获取用户的实时行为信息，以获取与所述实时行为信息对应的若干所述可交互动作；

所述获取与所述实时行为信息对应的若干所述可交互动作包括如下步骤：

获取用户的当前所处位置；

根据所述当前所处位置，获取每个所述可交互动作对应的行为轮廓信息；

比对所述实时行为信息与所述行为轮廓信息，以筛选获取若干所述可交互动作；

所述实时行为信息包括用户动作指令，用户动作指令为用户进行人机交互时的相关行为姿态；

所述比对所述实时行为信息与所述行为轮廓信息包括如下步骤：

按照从所述用户动作指令开始到所述用户动作指令结束的顺序，将所述实时行为姿态信息与对应部分的若干所述行为轮廓信息逐一进行比对；

于所述实时行为姿态信息更新过程中，剔除与所述实时行为姿态信息的匹配度小于预设阈值的所述行为轮廓信息；

从剩余的所述行为轮廓信息中筛选匹配度最高的一项对应的所述可交互动作作为用户交互动作；

于所述虚拟场景中执行所述用户交互动作以实现虚拟人机交互。

2.根据权利要求1所述的一种虚拟人机交互方法，其特征在于，所述实时行为信息还包括用户语音指令；

用户语音指令为用户进行人机交互时的相关语音命令。

3.根据权利要求2所述的一种虚拟人机交互方法，其特征在于，语音指令比对包括如下步骤：

获取每个所述可交互动作对应的语音特征；

获取用户语音指令，提取用户语音指令中的指令特征；

比对所述指令特征与所述语音特征，以筛选出匹配度最高的所述可交互动作作为所述用户交互动作。

4.根据权利要求1所述的一种虚拟人机交互方法，其特征在于，所述获取每个所述可交互动作对应的行为轮廓信息包括如下步骤：

根据用户所处位置和用户点云数据，进行虚拟用户建模；

使用所述虚拟用户建模为每个所述可交互动作执行交互行为模拟，以获取对应的行为轮廓信息。

5.根据权利要求1所述的一种虚拟人机交互方法，其特征在于，用户位置识别方法包括毫米波雷达定位、热成像定位和红外定位中的任意一种。

6.一种用于虚拟人机交互的系统，其特征在于，应用于如权利要求1至5中任意一项所述的一种虚拟人机交互方法，包括：

模拟单元，用于创建虚拟人机交互所需的虚拟场景，所述虚拟场景中至少包含一个可交互项，每个所述可交互项对应至少一个可交互动作；

采集单元，用于获取用户的实时行为信息，以获取与所述实时行为信息对应的若干所述可交互动作；

处理单元，用于根据所述实时行为信息的更新情况，筛选匹配度最高的所述可交互动作作为用户交互动作；

执行单元，于所述虚拟场景中执行所述用户交互动作以实现虚拟人机交互。

7.一种用于虚拟人机交互的设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5中任一项所述的一种虚拟人机交互方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的一种虚拟人机交互方法。

Images