CN110941416A - 一种增强现实中人与虚拟物的交互方法及装置 - Google Patents

Abstract

本发明公开了一种增强现实中人与虚拟物的交互方法及装置，该方法包括：根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；拾取用户声音，对待识别的声音信号进行预处理；将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；所述3D虚拟图像根据所述执行动作指令，完成相应动作。该方法可有效增强人与虚拟物之间的互动，能通过语音达到对虚拟物执行动作的控制，增强了AR互动的趣味性和可玩性，丰富了相关的AR应用中人与虚拟物的交互性。

Description

一种增强现实中人与虚拟物的交互方法及装置

技术领域

本发明涉及互联网技术领域，特别涉及一种增强现实中人与虚拟物的交互方法及装置。

背景技术

增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术最早于1990年提出。随着随身电子产品运算能力的提升，增强现实的用途越来越广。

目前的AR技术还没有人与虚拟物交流的大范围应用，目前停留在比如点触让虚拟物进行舞蹈、唱跳、说段子的动画形式。交互方式比较单一，难以满足用户的好奇心。

因此，如何提供一种新的交互方式，使交互更容易，提高趣味性，是从业人员亟待解决的问题。

发明内容

本发明的目的在于提供一种增强现实中人与虚拟物的交互方法，可解决目前交互方式单一，缺乏趣味性的问题。

本发明实施例提供一种增强现实中人与虚拟物的交互方法，包括：

S1、根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；

S2、拾取用户声音，对待识别的声音信号进行预处理；

S3、将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；

S4、所述3D虚拟图像根据所述执行动作指令，完成相应动作。

在一个实施例中，所述步骤S1，包括：

在AR实景模式下，获取用户选择模型的指令；所述模型为预设的3D虚拟图像；

识别平面并展示网格，获取用户点击网格的指令，在所述网格处显示所述3D虚拟图像。

在一个实施例中，所述步骤S1，包括：

在虚拟环境模式下，获取用户选择模型的指令；所述模型为预设的3D虚拟图像；

显示所述3D虚拟图像。

在一个实施例中，所述步骤S1，包括：

获取对预设图片或物体的扫描信息，显示相对应的所述3D虚拟图像。

在一个实施例中，所述步骤S2，包括：

拾取用户声音，对待识别的声音信号进行预加重、分帧和加窗处理；本实施例中，可对声音信号进行预加重、分帧和加窗处理后再与对话及动作数据库中的数据进行匹配，可以去除声音信号中的噪声，避免干扰，提高匹配的准确率。

第二方面，本发明实施例还提供一种增强现实中人与虚拟物的交互装置，包括：

显示模块，用于根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；

预处理模块，用于拾取用户声音，对待识别的声音信号进行预处理；

查找模块，用于将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；

执行模块，用于所述3D虚拟图像根据所述执行动作指令，完成相应动作。

本发明实施例提供的一种增强现实中人与虚拟物的交互方法，根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；拾取用户声音，对待识别的声音信号进行预处理；将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；所述3D虚拟图像根据所述执行动作指令，完成相应动作。该方法可有效增强人与虚拟物之间的互动，能通过语音达到对虚拟物执行动作的控制，增强了AR互动的趣味性和可玩性，丰富了相关的AR应用中人与虚拟物的交互性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的增强现实中人与虚拟物的交互方法的流程图。

图2为本发明实施例提供的增强现实中人与虚拟物的交互装置的框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

参照图1所示，为本发明实施例增强现实中人与虚拟物的交互方法，包括：

S1、根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；

S2、拾取用户声音，对待识别的声音信号进行预处理；

S3、将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；

S4、所述3D虚拟图像根据所述执行动作指令，完成相应动作。

其中，步骤S1中，3D虚拟图像，比如是通过美术人员用3Dmax等美术工具建模制作动画，利用unity开发工具，并配以相应动作的虚拟物。

触发AR场景的指令，显示预设的3D虚拟图像；一般可通过下述三种触发方式：

第一种：比如在AR实景模式下，获取到用户选择模型的指令；其中模型是指预设的3D虚拟图像；在AR实景模式下，点击模型，会先提示识别平面，识别平面后会出现白色网格，点击网格，AR物体就会出现在网格处。

第二种：在剧场模式下，没有实景，在一个虚拟环境中操控，点击模型，虚拟物就会出现；比如选择KTV模式，点击选择一个人物模型，则该人物即可显示在KTV的场景中。

第三种：比如打开手机摄像头扫描或对准预设的图片或物体，比如可以是内置了AR信息的图片，或是将该物体加入到AR玩偶数据库中，当识别到AR信息或是物体的轮廓特征时，可对应的显示3D虚拟图像。

步骤S2中，当出现3D虚拟图像后，可通过语音与其交流；该步骤获取用户的声音，然后对该声音信号进行预处理。在对语音信号进行分析和处理之前，必须对其进行预加重、分帧、加窗等预处理操作。这些操作的目的是消除因为人类发声器官本身和由于采集语音信号的设备所带来的混叠、高次谐波失真、高频等等因素，对语音信号质量的影响。尽可能保证后续语音处理得到的信号更均匀、平滑，为信号参数提取提供优质的参数，提高语音处理质量。

步骤S3中，将经预处理后的声音信息，可转换为文本信息；在预设的对话及动作数据库中进行遍历，查找与该文本信息对应的动作指令。当匹配到相应的指令后，步骤S4可根据返回的指令，执行相应的动作或对话。

该3D虚拟图像可执行相应的动作或对话；比如：根据语音指令，开始舞蹈、讲段子、笑话、故事等、或还可以执行其他跑步、跳跃、后退、下蹲等动作。

下面对本发明一种增强现实中人与虚拟物的交互方法以AR-App为例进行说明。

1、根据本发明实施例提供的方法实现的AR-App，可以实现利用手机话筒获取用户语音，实现3D虚拟图像回答对话或执行动作。比如开启APP后，可以选择用户喜欢的3D角色，比如某一明星、贴纸、卡通人物进行下载；开启手机的摄像头，识别镜头所显示的平面，根据用户的点击位置放置该3D虚拟图像；进一步的，获取用户的声音，比如用户说：“请唱首歌吧”，通过手机话筒识别该声音，并经过处理分析后，将唱歌这一功能赋予给该3D虚拟角色。再比如用户说：“给我跳一段舞蹈”，该3D虚拟图像可执行跳舞的动作。

2、用户根据屏幕所显示的场景，比如：电影院、KTV、舞台、讲台、足球场或篮球场等等；选择加载其中一个场景，然后再选择一个3D虚拟角色。将该3D虚拟角色加载在上述选择的场景中，用户根据语音指挥该3D虚拟角色动作。以篮球场场景为例，3D虚拟角色为卡通人物；用户发出“投3分球”的语音指令，该3D虚拟角色便执行“膝盖略微弯曲，身体下蹲，凝视前方，双腿猛然发力，高高弹起，手臂将球向上推去，手腕轻轻一抖将球向篮筐送去”的动作。

3、用户扫描某一特定物体，比如：猫咪玩偶、可乐瓶子；可以显示该物体的3D虚拟图像，并可根据用户的语音指令，执行相应的动作。

用户还可以扫描某一特定图像，比如在当用户身处医院时，可扫描医院张贴的一张导航图，可显示该医院的3D虚拟图像，用户询问“内科20诊室在哪里”，可在该3D虚拟图像中显示导航路线，并发出语音对话“请直行50米，上扶梯，到达2楼，左转10米即可到达内科20诊室”。

利用手机话筒获取用户语音，将语音预加重、分帧、加窗等预处理操作，然后调用回答或动作。除了为人们带去娱乐的用途外，语音交互的方式还能为用户提供客服功能，为用户指导操作，告知等，可广泛应用于商超，办公区、医院、酒店等办理业务的场所。比如可根据具体应用环境不同，将3D虚拟图像设计成智能客服，实现表演节目、解答问题、查询天气、新闻、查询高铁、航班等功能。

本发明实施例提供的增强现实中人与虚拟物的交互方法，可有效增强人与虚拟物之间的互动，能通过语音达到对虚拟物执行动作的控制，增强了AR互动的趣味性和可玩性，丰富了相关的AR应用中人与虚拟物的交互性。

基于同一发明构思，本发明实施例还提供了一种增强现实中人与虚拟物的交互装置，由于该装置所解决问题的原理与前述方法相似，因此该装置的实施可以参见前述方法的实施，重复之处不再赘述。

第二方面，本发明实施例还提供一种增强现实中人与虚拟物的交互装置，参照图2所示，包括：

显示模块21，用于根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；

预处理模块22，用于拾取用户声音，对待识别的声音信号进行预处理；

查找模块23，用于将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；

执行模块24，用于所述3D虚拟图像根据所述执行动作指令，完成相应动作。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种增强现实中人与虚拟物的交互方法，其特征在于，包括：

S1、根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；

S2、拾取用户声音，对待识别的声音信号进行预处理；

S3、将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；

S4、所述3D虚拟图像根据所述执行动作指令，完成相应动作。

2.如权利要求1所述的一种增强现实中人与虚拟物的交互方法，其特征在于，所述步骤S1，包括：

在AR实景模式下，获取用户选择模型的指令；所述模型为预设的3D虚拟图像；

识别平面并展示网格，获取用户点击网格的指令，在所述网格处显示所述3D虚拟图像。

3.如权利要求1所述的一种增强现实中人与虚拟物的交互方法，其特征在于，所述步骤S1，包括：

在虚拟环境模式下，获取用户选择模型的指令；所述模型为预设的3D虚拟图像；

显示所述3D虚拟图像。

4.如权利要求1所述的一种增强现实中人与虚拟物的交互方法，其特征在于，所述步骤S1，包括：

获取对预设图片或物体的扫描信息，显示相对应的所述3D虚拟图像。

5.如权利要求1所述的一种增强现实中人与虚拟物的交互方法，其特征在于，所述步骤S2，包括：

拾取用户声音，对待识别的声音信号进行预加重、分帧和加窗处理。

6.一种增强现实中人与虚拟物的交互装置，其特征在于，包括：

显示模块，用于根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；

预处理模块，用于拾取用户声音，对待识别的声音信号进行预处理；

查找模块，用于将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；

执行模块，用于所述3D虚拟图像根据所述执行动作指令，完成相应动作。

Images