CN111243101B

CN111243101B - 基于人工智能增加用户ar环境沉浸度方法、系统及装置

Info

Publication number: CN111243101B
Application number: CN201911421558.6A
Authority: CN
Inventors: 俞震; 周贵斌; 黄林阳; 葛凌峰; 姚辉; 陶洪峰; 胡伟
Original assignee: Zhejiang Post & Telecommunication Engineering Construction Co ltd
Current assignee: Zhejiang Post & Telecommunication Engineering Construction Co ltd
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2023-04-18
Anticipated expiration: 2039-12-31
Also published as: CN111243101A

Abstract

本发明公开了一种基于人工智能增加用户AR环境沉浸度的方法、系统及装置，所述方法包括：预先创建包含现实环境对象与定制主题的AR环境对象之间的映射规则的映射规则库；实时获取现实环境视频数据；识别视频数据中的现实环境人物，并提取其物理信息；根据所述物理信息判断该现实环境人物是否符合定制主题的AR环境设定，根据映射规则将不符合定制主题的AR环境设定的现实环境人物映射为相应的AR环境虚拟角色；将所述AR环境虚拟角色融合到视频数据中相应的现实环境人物的位置，渲染形成AR环境视频数据；对所述AR环境视频数据预处理后进行实时显示。该方法可有效增加用户对AR环境的沉浸度。

Description

基于人工智能增加用户AR环境沉浸度方法、系统及装置

技术领域

本发明涉及增强现实技术领域，具体地说，是涉及一种基于人工智能增加用户AR环境沉浸度的方法、系统及装置。

背景技术

增强现实(Augmented Reality，简称AR)，即通过电脑技术将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到同一个画面。

典型的增强现实系统由增强现实显示装置(例如头戴式显示器或智能眼镜)和增强现实应用软件(例如增强现实游戏软件)组成。增强现实应用软件创建虚拟物体，并将虚拟物体与通过摄像机(一般安装在增强现实显示装置上)获取现实场景进行融合，创建增强现实场景，通过增强现实显示装置进行渲染显示。用户佩戴增强现实显示装置后，外部真实场景被屏蔽，只能看到增强现实应用软件创建的场景，进入现实与虚拟融合的世界。

在增强现实场景中，用户可以看到真实环境(由摄像机采集)和虚拟物体(由增强现实应用软件创建)。

在增强现实场景中，可能还会存在其他真实人物。这些真实人物有时会与增强现实应用软件创建的增强现实场景存在冲突。示例如下：某旅游区开发的增强现实应用软件，创建了明代古城的增强现实场景。其中，真实环境为该旅游区的明代古城，虚拟物体为在明代古城中活动的明代虚拟人物。用户佩戴增强现实显示装置在旅游区明代古城中行动时，仿佛置身明代。但是，旅游区明代古城中还有其他游客，其他游客属于真实环境的一部分，用户看到的增强现实场景中，除了明代古城，还有很多与明代场景不一致的现代游客，这严重影响用户在增强现实场景中的沉浸度。

发明内容

为了解决上述技术问题，本发明的第一目的在于提供一种基于人工智能增加用户AR环境沉浸度的方法，可有效增加用户对AR环境的沉浸度。

本发明的第二目的在于提供一种基于人工智能增加用户对AR环境沉浸度方法的系统，该系统用于实现上述基于人工智能增加用户AR环境沉浸度的方法。

本发明的第三目的在于提供一种基于人工智能增加用户对AR环境沉浸度方法的装置，该装置用于基于人工智能增加用户对AR环境沉浸度方法。

为了实现上述目的，本发明的一个方面，提供一种基于人工智能增加用户AR环境沉浸度的方法，该方法包括如下步骤：

S1：预先创建包含现实环境对象与定制主题的AR环境对象之间的映射规则的映射规则库；

S2：实时获取现实环境视频数据；

S3：识别视频数据中的现实环境人物，并提取其物理信息；

S4：根据所述物理信息判断该现实环境人物是否符合定制主题的AR环境设定；根据映射规则将不符合定制主题的AR环境设定的现实环境人物映射为相应的AR环境虚拟角色；

S5：将所述AR环境虚拟角色融合到视频数据中相应的现实环境人物的位置，渲染形成AR环境视频数据；

S6：对所述AR环境视频数据预处理后进行实时显示。

作为优选，所述现实环境对象包括现实环境视觉人物，所述AR环境对象包括AR环境虚拟角色，优选地，还可以包括现实环境视觉人物的物理信息、AR环境虚拟角色的物理信息等。

作为优选，所述映射规则库中还包括现实环境人物的物理信息、AR环境虚拟角色物理信息及现实环境人物与AR环境虚拟角色之间的映射关系；

当识别到现实视频数据中具有现实环境人物时，首先检索映射规则库中是否已存在该现实环境人物及与其对应的AR环境虚拟角色；

若存在，则直接调用对应的AR环境虚拟角色，而不再重新设定；若不存在，则判定其为首次进入现实视频数据中，根据映射规则创建与其对应的AR环境虚拟角色。

作为优选，现实环境人物的物理信息包括静态物理信息和动态物理信息；

当现实环境人物首次出现在现实环境视频数据时，根据映射规则为该现实环境人物分配唯一的人物识别码，该人物识别码关联有该现实环境人物的静态物理信息及AR环境虚拟角色的物理信息；

当同一现实环境人物再次进入现实视频数据中时，直接根据其静态物理信息确定其人物识别码，从而调用与其关联的AR环境虚拟角色。

作为优选，所述静态物理信息包括该现实环境人物的人脸图像、身高、年龄、性别、服饰及体型；

所述动态物理信息包括该现实环境人物的当前动作姿态及移动速度。

作为优选，步骤S6的具体方法为：

将所述AR环境视频数据渲染后，划分为第一视场区域和第二视场区域；其中：

第一视场区域与显示设备相对应，第二视场区域与所获取的现实环境视频数据的原始范围相对应，设定第二视场区域大于第一视场区域且将第一视场区域包含在内；

将所述第一视场区域显示于对应人眼的显示设备上，从而确保人眼视场边缘处，不符合AR环境设定的现实环境人物均被替换为AR环境虚拟对象。

作为优选，该基于人工智能增加用户AR环境沉浸度的方法还包括：

获取现实环境音频数据；

提取音频数据中的不同人物语句，分别判断各人物语句是否符合AR环境设定，根据映射规则将不符合AR环境设定的语句替换为AR环境人物语句，生成AR环境音频数据；

对所述AR环境音频数据进行渲染，并播放。

作为优选，根据声源确定不同的音轨；

提取各音轨的音色、音调特征及文字内容；

分析所述文字内容中的各词汇是否符合AR环境设定，若不符合，则分别将其映射为相应的AR环境词汇；

将所述音轨的音色、音调特征与AR环境词汇相融合，生成AR环境人物语句。

作为优选，所述现实环境对象还可以包括现实环境音频数据的不同音轨等，所述AR环境对象包括AR环境虚拟角色，优选地，还可以包括现实环境音轨的音色、语调及文字语句等信息、AR环境虚拟角色的文字语句等。

本发明的另一个方面，提供一种基于人工智能增加用户AR环境沉浸度的系统，用于执行如上所述的基于人工智能增加用户AR环境沉浸度的方法，该系统包括：

存储单元，存储有对应于定制主题的现实环境人物与AR环境虚拟角色之间的映射规则的映射规则库；

现实环境数据采集单元，用于采集现实环境的音频数据、视频数据；

AR环境处理单元，识别视频数据中的现实环境人物，并提取其物理信息，根据映射规则将现实环境人物映射为AR环境虚拟角色；将所述AR环境虚拟角色融合到视频数据中的现实环境人物上，从而融合成AR环境视频数据，并对所述增强现实视频数据预处理；提取音频数据中的不同人物语句，分别判断各人物语句是否符合AR环境设定，若不符合，则根据映射规则将相应的语句替换为AR环境人物语句，从而生成AR环境音频数据；

显示单元，对所述AR环境视频数据进行显示；

语音播放单元，对所述AR环境音频数据进行语音播放。

作为优选，AR环境处理单元与现实环境数据采集单元之间、AR环境处理单元与显示单元之间以及AR环境处理单元与语音播放单元之间均通过5G网络通信。

本发明的再一个方面，提供一种基于人工智能增加用户对AR环境沉浸度方法的装置，内设如上所述的基于人工智能增加用户AR环境沉浸度的系统，该装置包括：

头戴式的显示设备；

语音播放设备，与显示设备连接并适配于人耳；

多个传感器，多个传感器与所述显示器协作以采集装置所在现实环境的音频数据及视频数据；

存储设备，存储有包含现实环境对象与多个定制主题的AR环境对象之间映射规则的映射规则库；

与所述显示设备、存储设备及传感器通信的一个或多个处理设备，所述一个或多个处理设备自动地：

根据映射规则将现实环境人物映射为AR环境虚拟角色；将所述AR环境虚拟角色融合到视频数据中的现实环境人物上，从而融合成AR环境视频数据，并对所述增强现实视频数据预处理；获取现实环境的音频数据；提取音频数据中的不同人物语句，分别判断各人物语句是否符合AR环境设定，若不符合，则根据映射规则将相应的语句替换为AR环境人物语句，从而生成AR环境音频数据；

将所述AR环境视频数据发送至显示设备上进行显示；

将所述AR环境音频数据发送至语音播放设备进行语音播放。

与现有技术相比，本发明的有益效果为：

本发明可降低或消除现实环境人物与AR环境的冲突，有效增加用户对AR环境的沉浸度。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的限定。

图1是本发明实施例中基于人工智能增加用户AR环境沉浸度的方法的流程图；

图2是本发明实施例中识别视频数据中的现实环境人物并将其映射为AR环境虚拟角色的流程图；

图3是本发明实施例中将现实环境人物映射为AR环境虚拟角色的流程图；

图4(a)是本发明实施例设定场景中创建虚拟角色的流程图；

图4(b)是本发明实施例设定场景将虚拟角色融合至AR环境中的流程图；

图5是本发明实施例中将音频数据的语句替换为AR环境语句的方法流程图；

图6是本发明实施场景1中基于人工智能增加用户对AR环境沉浸度装置的结构示意图；

图7(a)是本发明实施场景1的现实环境图；

图7(b)是本发明实施场景1的AR环境图；

图7(c)是本发明实施场景1中基于人工智能增加用户对AR环境沉浸度方法的过程示意图；

图8本发明实施场景2中基于人工智能增加用户对AR环境沉浸度装置的结构示意图；

图9(a)是本发明实施场景2的现实环境图；

图9(b)是本发明实施场景2的AR环境图；

图9(c)是本发明实施场景2中基于人工智能增加用户对AR环境沉浸度方法的过程示意图。

其中，1a、第一显示屏；1b第二显示屏；2、控制器；3、激光雷达；4a、第一景深摄像机；4b、第二景深摄像机；5a、第一镜腿；5b、第二镜腿；6a、第一耳机；6b、第二耳机；7、5G通信模块；8、远程主机。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。同时，以下所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

此外，在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上，除非另有明确的限定。

以下提供一种基于人工智能增加用户AR环境沉浸度的方法，如图1所示，该方法包括如下步骤：

S2：实时获取现实环境视频数据；

S3：识别视频数据中的现实环境人物，并提取其物理信息；

S4：根据所述物理信息判断该现实环境人物是否符合定制主题的AR环境设定；若不符合，则根据映射规则将现实环境人物映射为相应的AR环境虚拟角色；

S6：对所述AR环境视频数据预处理后进行实时显示。

作为一种较优的实施方案，所述现实环境对象包括现实环境视觉人物，所述AR环境对象包括AR环境虚拟角色，优选地，还可以包括环境视觉人物的物理信息、AR环境虚拟角色的物理信息等。

作为一种较优的实施方案，所述映射规则库中还包括现实环境人物的物理信息、AR环境虚拟角色物理信息及现实环境人物与AR环境虚拟角色之间的映射关系；

作为一种较优的实施方案，上述现实环境人物的物理信息包括静态物理信息和动态物理信息；

作为一种较优的实施方案，所述静态物理信息包括该现实环境人物的人脸图像、身高、年龄、性别、服饰及体型；

作为一种较优的实施方案，步骤S6的具体方法为：

作为一种较优的实施方案，该基于人工智能增加用户AR环境沉浸度的方法还包括：

获取现实环境的音频数据；

提取音频数据中的不同人物语句，分别判断各人物语句是否符合AR环境设定，若不符合，则根据映射规则将相应的语句替换为AR环境人物语句，生成AR环境音频数据；

对所述AR环境音频数据进行渲染并播放。

作为一种较优的实施方案，根据声源确定不同的音轨；

提取各音轨的音色、音调特征及文字内容；

本实施例的另一个方面，提供一种基于人工智能增加用户AR环境沉浸度的系统，用于执行如上所述的基于人工智能增加用户AR环境沉浸度的方法，该系统包括：

显示单元，对所述AR环境视频数据进行显示；

语音播放单元，对所述AR环境音频数据进行语音播放。

作为一种较优的实施方案，AR环境处理单元与现实环境数据采集单元之间、AR环境处理单元与显示单元之间以及AR环境处理单元与语音播放单元之间均通过5G网络通信。

本实施例的再一个方面，提供一种基于人工智能增加用户对AR环境沉浸度方法的装置，该装置包括：

头戴式的显示设备；

语音播放设备，与显示设备连接并适配于人耳；

将所述AR环境视频数据发送至显示设备上进行显示；

将所述AR环境音频数据发送至语音播放设备进行语音播放。

下述以某旅游区开发的明代古城的增强现实场景为例，对本实施例的具体实施方式进行详细说明：

场景1：

用户佩戴AR智能眼镜进行古城的游览，如图6所示，该AR智能眼镜包括第一显示屏1a、第二显示屏1b(相当于显示设备)、控制器2(相当于处理设备)、激光雷达3(用于采集现实环境人物相对于AR智能眼镜的位置信息)、第一景深摄像机4a、第二景深摄像机4b(相当于现实环境采集单元、传感器)、第一镜腿5a和第二镜腿5b。其中，增强现实场景软件运行在控制器2上。

具体地：远程主机或控制器通过第一景深摄像机4a、第二景深摄像机4b及激光雷达3获取现实环境视频数据，结合图2、图3、图4(a)和图4(b)，对该现实环境视频数据做如下处理；

●识别现实环境视频数据中的现实环境人物：

●获取每个现实环境人物的物理信息，具体地：

●静态物理信息

■人脸图像；

■人物特征：包括发型、身高、体型、性别、年龄

■人物服饰：包括衣服、饰物。

●动态物理信息

■在现实环境视频数据中的位置信息(与佩戴者的相对方位、距离)

■人物姿态：人物关键点位置，包括头顶、五官、颈部、四肢主要关键部位。

■人物动作，例如站立、行走、坐下

●人物识别码

需要说明，每个人物(游客)的人物识别码在整个AR环境中保持不变。随着佩戴者的移动，古城内的其他人员会进入、离开以佩戴者为中心的现实环境。当其他人员第一次进入到装置视场(第一景深摄像机和第二景深摄像机的视频采集范围)内时，根据该人员的静态物理信息生成与之关联的唯一的人物标识码，根据映射规则库中的映射规则，结合该人员的静态物理信息和动态物理信息映射得到其虚拟角色，同时，将上述的人物标识码与该人的静态物理信息、对应的虚拟角色关联到一起；从而，当该人员再次进入装置视场内时，直接根据其静态物理信息检索相应的人物识别码，从而直接调用相应的虚拟角色，不必再重新对其进行虚拟对象的生成。这样，既可以减少处理设备的任务处理量，又可以提高用户在AR环境中的沉浸度。

需要说明，处理设备提取现实环境人物的静态物理信息后，对其进行深度学习，从而当现实环境人物再次进入装置视场时，即便其静态物理信息发生微小变化(如表情改变)，仍能够匹配其原有的人物识别码。这样，对于每个现实环境人物(以人物识别码标识)，只创建一个虚拟角色(AR环境虚拟角色)。当该现实环境人物再次进入佩戴者的视野中时，佩戴者在AR环境中看到的是与之前相同的虚拟角色。

优选地，虚拟角色配置信息包括以下内容：

●人物识别码

●虚拟角色配置：(可选)

■静态配置

◆人脸图像(可选)：可将相关的映射规则设定为替换人脸，按照映射规则创建的人脸。

◆人物服饰：包括按照映射规则创建的衣服、饰物。

在现实环境中，部分人物是符合增强现实环境对象设置的，例如明代古城旅游区的身穿明代服饰的演员，对于这些人物，可以同样创建虚拟角色，但是虚拟角色配置信息为空；也可以对其不作处理。

根据映射规则将现实环境人物映射为AR环境虚拟角色后，将所述AR环境虚拟角色融合到视频数据中的现实环境人物上，从而融合、渲染得到AR环境视频数据；

对所述增强现实视频数据预处理后进行实时显示，具体地：

将上述处理得到的AR环境视频数据划分为第一视场区域和第二视场区域；其中：

第一视场区域与AR智能眼镜的显示设备的显示区域相对应，第二视场区域与所获取的现实环境视频数据的原始范围(即第一景深摄像机和第二景深摄像机的视频采集范围)相对应，设定第二视场区域大于第一视场区域且将第一视场区域包含在内；

将所述第一视场区域显示于对应人眼的显示设备上，这样，确保人眼视场边缘处，不符合AR环境设定的现实环境人物均被替换为AR环境虚拟对象。

综上，采用计算机视觉与人工智能技术，将虚拟角色融合到现实环境中的对应人物，虚拟角色的形状、姿态和位置与该对应人物在真实环境中相同，最后渲染生成AR环境视频数据；这样，在用虚拟角色配置的静态物理信息(服饰、人脸(可选))替换其他的人物静态信息(服饰，人脸(可选))时，不改变人物识别信息中的动态信息(位置、姿态、动作)，使场景更为逼真，有效增加用户对AR环境的沉浸度。

以下详细介绍场景1中基于人工智能增加用户AR环境沉浸度的方法，如图7(a)-图7(c)所示：

用户甲在明代古城进行增强现实场景，真实环境如7(a)所示。在明代古城内还有许多其他游客，这里以在用户甲的视场内存在一个游客为例，对基于人工智能增加用户AR环境沉浸度的方法进行详细描述：

用户甲在古城内佩戴如图8所示的AR智能眼镜，启动增强现实场景软件，进行明朝古城的游历。

AR智能眼镜所带的景深摄像机4a和4b拍摄古城内的现实环境视频数据，激光雷达3获取女性现代游客(乙)相对用户甲的所处位置。需要说明，在本场景中，现实环境对象与AR环境对象之间的映射规则已预存于映射规则库中，因此，对于明代古城中固有信息为装置已知信息，装置仅对明代古城中的非固有信息(人物、声音等)进行映射或替换。

在采集到的数据(视频数据和激光点云数据)中识别出女性现代游客(乙)。

生成的人物识别信息如下：

●人物识别信息(乙)：

●静态物理信息

◆人脸图像

◆人物特征：1.64米、体型偏瘦、女、短发、20-25岁

◆人物服饰：绿色连衣裙

●动态物理信息

◆左前方10米。

◆人物姿态：人物关键点位置，包括头颅，五官、颈部、四肢主要关键部位。

◆人物动作，站立。

●人物识别码：P900001

如图3所示，识别该女性现代游客(乙)这个现实环境人物后，检索映射规则库内是否存储有与该游客的静态物理信息相关联的人物识别码，若存在，则直接调用与该人物识别码相关联的虚拟角色；若不存在，则为其创建人物识别码并存储到映射规则库中，同时根据映射规则创建与该游客的静态物理信息相匹配的AR环境虚拟角色，结合女性现代游客(乙)的动态物理信息，将该AR环境虚拟角色融合到女性现代游客(乙)的位置；

针对上述游客新映射生成或直接调用虚拟角色识别信息如下：

●虚拟角色信息

◆人物识别信息(乙)

◆虚拟角色配置(明朝女性)

●人脸图像：无

●人物服饰：绿色明朝女性霞披

对融合有AR环境虚拟角色的视频数据进行渲染得到AR环境视频数据，并将该AR环境视频数据显示到AR智能眼镜的显示器1a和1b上。这样，如图7(b)所示，在增强现实场景中，用户甲会看到游客的脸和明朝服饰的衣服。

上述过程的整体流程如图7(c)所示。

以下详细介绍场景2中基于人工智能增加用户AR环境沉浸度的方法，如图9(a)-图9(c)所示：

该场景中增加了对音频数据的采集和处理，在场景1的基础上进一步增加了用户对AR环境的沉浸度，该场景基于如图8所述的AR智能眼镜，该AR智能眼镜包括第一显示屏1a、第二显示屏1b、控制器(微型计算机)2、激光雷达3、第一景深摄像机4a、第二景深摄像机4b、第一镜腿5a、第二镜腿5b、第一耳机6a、第二耳机6b和5G通信模块7，同时，该AR智能眼镜还内置麦克风，可采集外部声音，增强现实场景软件运行在远程主机8上，远程主机8与AR智能眼镜之间通过5G网络通信。

其音频数据处理原理是：

提取声源中不同的音轨，采用声音识别技术对音轨中的人声进行分析，获取人声的声纹，需要说明，“声纹”和“指纹”一样，是每个人独一无二的生物特征。“声纹识别”，即通过声音识别说话人的身份，声纹识别采用人工智能和深度学习技术，无需人物事先注册声纹，人物在环境中自由交流，声纹识别就可通过采集到的不同人物的声音，自动识别出不同的人物，将每个人物标记为独立声源。具体地，将声音按照人声声源分为不同的音轨，对各个音轨进一步分析，提取语音、语调，采用声音识别技术获取交谈的文字内容，根据映射规则库判断交谈内容是否和AR环境的设定所匹配。如果匹配，直接插入到AR环境的音频数据中。

如果不匹配，则分析原音轨的音色、语气、语调和文字内容，根据映射规则库将音轨内容映射为符合AR环境设定的内容，再结合原音轨的音色、语气、语调生成对应的增强现实声音音轨，生成AR环境音频数据，最终通过耳机将该AR环境音频数据播放给用户，从而进一步增强用户在AR环境中的沉浸度。

下述详细介绍场景2中基于人工智能增加用户AR环境沉浸度的方法，如图9(a)-图9(c)所示：

用户丙在古城内带上AR智能眼镜，启动增强现实场景软件，进行明朝古城的游历。

AR智能眼镜所带的第一景深摄像机4a和第二景深摄像机4b拍摄古城内的景象，通过激光雷达3获取女性现代游客(丁)和男性现代游客(戊)相对用户丙所处的位置。

提取现实环境视频数据(包括视频数据和激光点云数据)中识别出女性现代游客(丁)和男性现代游客(戊)。

生成的人物识别信息：

●人物识别信息(丁)

■静态物理信息

◆人脸图像

◆人物特征：1.64米、体型偏瘦、女、短发、20-25岁

◆人物服饰：绿色连衣裙

■动态物理信息

◆左前方10米

◆人物姿态：人物关键点位置，包括头颅，五官、颈部、四肢主要关键部位

◆人物动作：站立

●人物识别码：P900002

●人物识别信息(戊)

■静态信息

◆人脸图像

◆人物特征：1.7米、体型偏胖、男、28-32岁

◆人物服饰：西装，帽子

■动态信息

◆右前方20米

◆人物动作：站立

●人物识别码：P900003

识别视频数据中女性现代游客(丁)和男性现代游客(戊)两个现实环境人物对象，检索映射规则库中是否存在与游客的静态物理信息相关联的人物识别码。若存在，则直接调用该人物识别码所关联的虚拟角色；若不存在，则为该静态物理信息创建人物识别码，并根据映射规则创建与该静态物理信息相匹配的虚拟角色，将该虚拟角色与对应的人物识别码相关联，并输出该虚拟角色。

上述的映射规则包括使用人工智能与机器学习技术，为女性现代游客(丁)创建角色配置明朝女性，为男性现代游客(戊)创建角色配置明朝男性。其分别对应的虚拟角色配置信息如下：

●虚拟角色信息(丁)

◆人物识别信息(丁)

◆虚拟角色配置

●人脸图像：无

●人物服饰：绿色明朝女性霞披

●虚拟角色信息(戊)

◆人物识别信息(戊)

◆虚拟角色配置

●人脸图像：无

●人物服饰：青罗衣，纱帽

将明朝女性和明朝男性融合到增强现实场景中对应的游客的位置，渲染得到AR环境视频数据并进行实时显示。

若女性现代游客(丁)走出现实环境视频采集区域(第一景深摄像机和第二景深摄像机的视频采集范围)后又重新进入现实环境视频采集区域，则根据其静态物理信息确定其人物识别码，根据该人物识别码直接调用与之关联的虚拟角色即可；即由于该女性现代游客(丁)的静态信息在映射规则库中已存在，直接根据其独有的人物识别码调用与之关联的虚拟角色。

用户丙在增强现实场景中，会看到游客的脸和明朝服饰的衣服。

若片刻后，女性现代游客(丁)走到男性现代游客(戊旁边)，对男性现代游客(戊)发起聊天。

AR智能眼镜上的耳机6a和6b采集到女性现代游客(丁)对男性现代游客(戊)喊“老公”的声音。

结合图5，因在明朝不存在“老公”这个名词，因此其不符合AR环境的设定，则保留女性现代游客(丁)的音色、语气和语调；将“老公”这一词汇映射为与之对应的“相公”一词，并匹配原音色、语气和语调输出，最后经渲染后形成AR环境音频数据，通过耳机6a和6b将最终的声音播放给用户。

此时，用户乙看到一个身穿绿色明朝女性霞披的明朝女性在对一个身穿青罗衣和纱帽的明朝男性喊相公。

整体流程如图9(c)所示。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims

1.一种基于人工智能增加用户AR环境沉浸度的方法，其特征在于，包括如下步骤：

S2：实时获取现实环境视频数据；

S3：识别视频数据中的现实环境人物，并提取其物理信息；

S4：根据所述物理信息判断该现实环境人物是否符合定制主题的AR环境设定，根据映射规则将不符合定制主题的AR环境设定的现实环境人物映射为相应的AR环境虚拟角色；

S6：对所述AR环境视频数据预处理后进行实时显示；

该方法还包括：

获取现实环境的音频数据；

对所述AR环境音频数据进行渲染，并播放。

2.根据权利要求1所述的一种基于人工智能增加用户AR环境沉浸度的方法，其特征在于，

所述映射规则库中还包括现实环境人物的物理信息、AR环境虚拟角色物理信息及现实环境人物与AR环境虚拟角色之间的映射关系；

3.根据权利要求2所述的一种基于人工智能增加用户AR环境沉浸度的方法，其特征在于，

现实环境人物的物理信息包括静态物理信息和动态物理信息；

当现实环境人物首次出现在现实环境视频数据中时，根据映射规则为该现实环境人物分配唯一的人物识别码，该人物识别码关联有该现实环境人物的静态物理信息及AR环境虚拟角色的物理信息；

4.根据权利要求3所述的一种基于人工智能增加用户AR环境沉浸度的方法，其特征在于，

所述静态物理信息包括该现实环境人物的人脸图像、身高、年龄、性别、服饰及体型；

5.根据权利要求1所述的一种基于人工智能增加用户AR环境沉浸度的方法，其特征在于，

步骤S6的具体方法为：

6.根据权利要求1所述的一种基于人工智能增加用户AR环境沉浸度的方法，其特征在于，

根据声源确定不同的音轨；

提取各音轨的音色、音调特征及文字内容；

7.一种基于人工智能增加用户AR环境沉浸度的系统，其特征在于，

用于执行如权利要求1-6中任一项所述的基于人工智能增加用户AR环境沉浸度的方法，该系统包括：

AR环境处理单元，识别视频数据中的现实环境人物，并提取其物理信息，根据映射规则将现实环境人物映射为AR环境虚拟角色；将所述AR环境虚拟角色融合到视频数据中的现实环境人物上，从而融合成AR环境视频数据，并对所述AR环境视频数据预处理；提取音频数据中的不同人物语句，分别判断各人物语句是否符合AR环境设定，若不符合，则根据映射规则将相应的语句替换为AR环境人物语句，从而生成AR环境音频数据；

显示单元，对所述AR环境视频数据进行显示；

语音播放单元，对所述AR环境音频数据进行语音播放。

8.根据权利要求7所述的一种基于人工智能增加用户AR环境沉浸度的系统，其特征在于，

AR环境处理单元与现实环境数据采集单元之间、AR环境处理单元与显示单元之间以及AR环境处理单元与语音播放单元之间均通过5G网络通信。

9.一种基于人工智能增加用户对AR环境沉浸度方法的装置，其特征在于，

内设如权利要求7所述的基于人工智能增加用户AR环境沉浸度的系统，包括：

头戴式的显示设备；

语音播放设备，与显示设备连接并适配于人耳；

多个传感器，多个传感器与所述显示设备协作以采集装置所在现实环境的音频数据及视频数据；

根据映射规则将现实环境人物映射为AR环境虚拟角色；将所述AR环境虚拟角色融合到视频数据中的现实环境人物上，从而融合成AR环境视频数据，并对所述AR环境视频数据预处理；获取现实环境的音频数据；提取音频数据中的不同人物语句，分别判断各人物语句是否符合AR环境设定，若不符合，则根据映射规则将相应的语句替换为AR环境人物语句，从而生成AR环境音频数据；

将所述AR环境视频数据发送至显示设备上进行显示；

将所述AR环境音频数据发送至语音播放设备进行语音播放。