CN114870407B - 一种基于虚拟现实的数字人体数据采集系统及方法 - Google Patents

Abstract

本发明公开了一种基于虚拟现实的数字人体数据采集系统及方法，该方法包括：根据目标人物的身体参数建立虚拟数字人体，并将所述虚拟数字人体置加载至选定的虚拟场景中；为目标人物佩戴VR头盔、人体姿态追踪装置和心率监测装置，并通过VR头盔向目标人物展示虚拟场景，以及通过VR头盔和人体姿态追踪装置的反馈数据控制所述虚拟数字人体在虚拟场景中活动，以使所述虚拟数字人体模拟目标人物的各项动作；其中，所述VR头盔配置有眼动追踪装置；实时记录所述虚拟场景的全部三维动态数据，包括虚拟场景的动画数据以及目标人物的姿态数据、语音数据和心率数据等行为数据。

Description

一种基于虚拟现实的数字人体数据采集系统及方法

技术领域

本发明涉及数字信息技术领域，特别地，涉及一种基于虚拟现实的数字人体数据采集系统及方法。

背景技术

随着虚拟现实的技术被一点点的突破，民用家庭设备逐渐出现，成为娱乐生活重要的组成部分，让人们体验到前所未有的感觉。为了让人们更加好的在场景里面更好的交互，已经更加接近真实的感觉，在虚拟环境中的人与人的真实交互就显得尤为重要，而真实交互的第一步就是要求形象动作与人类接近。

现有的虚拟现实交互游戏中，大多用非真实的人类来表示人物形象，但模拟出的人物形象要么是身体不能动，要么是通过播放动画的形式以假乱真，还有一些直接取消掉胳膊和腿部，只有头部、身体和手，无法真实的模拟出人物动作，影响用户体验。

发明内容

有鉴于此，本发明的第一个目的是提供一种基于虚拟现实的数字人体数据采集方法,能够较好地对数字人体数据进行补充完善。

为了实现上述目的，本发明的技术方案是：

一种基于虚拟现实的数字人体数据采集方法，包括：

根据目标人物的身体参数建立虚拟数字人体，并将所述虚拟数字人体置加载至选定的虚拟场景中；

为目标人物佩戴VR头盔、人体姿态追踪装置和心率监测装置，并通过VR头盔向目标人物展示虚拟场景，以及通过VR头盔和人体姿态追踪装置的反馈数据控制所述虚拟数字人体在虚拟场景中活动，以使所述虚拟数字人体模拟目标人物的各项动作；其中，所述VR头盔配置有眼动追踪装置；

实时记录所述虚拟场景的全部三维动态数据，包括虚拟场景的动画数据以及目标人物的姿态数据、语音数据和心率数据等行为数据。

优选地，还包括：

将所述虚拟场景沿时间轴分割为多个场景片段，每一场景片段包括多个环境因素数据，所述环境因素数据至少包括画面元素、虚拟对象元素、语音元素中的一种或多种；

将虚拟数字人体在每个场景片段中的行为数据与对应的环境因素进行关联，生成初筛关联子集；

将由N个目标人物产生的初筛关联子集组合为初筛关联总集；

对初筛关联总集内的所有初筛关联子集进行数据关联性分析，并根据分析结果以生成因素关联子集，所述因素关联子集代表了一项或多项环境因素与一种或多种行为数据的对应关系。

优选地，所述将所述虚拟场景沿时间线分割为多个场景片段的方法包括：

根据所述行为数据的种类设置若干个分割触发条件，并对多个分割触发条件设置优先级；

当所述分割触发条件被触发时，根据触发时间点在所述虚拟场景的时间轴上建立相应的分割点；

按照分割触发条件的优先级，将相邻两个优先级相同或最接近的分割点之间的虚拟场景进行分割。

优选地，所述对初筛关联总集内的所有初筛关联子集进行数据关联性分析，并根据分析结果以生成因素关联子集的方法包括：

设环境因素有m个，行为数据有n个，将m个环境因素进行组合，得到

种不同的第一组合子集；

对每一个第一组合子集进行影响度分析，以确定与每一个第一组合子集深度关联的一项或多项行为数据，并据此生成因素关联子集。

优选地，所述对每一个组合子集进行影响度分析的方法包括：

选定其中一个第一组合子集，并筛选出所有仅关于该第一组合子集存在环境因素重叠的初筛关联子集，称为一级子集；

在筛选出的所有一级子集中，统计每一项行为数据出现的次数t，其中0≤t≤b，其中b为一级子集的数量；剔除掉出现率p低于90%的一级子集，其中p=t/b；若剔除后的一级子集的数量大于k，则继续下一步；

将出现次数相同的两项或两项以上的行为数据进行组合，以得到若干个第二组合子集；

根据第二组合子集对应的t值来针对选定的第一组合子集中的环境因素相对于第二组合子集中的行为数据的影响深度进行评级，并根据评定结果生成该环境因素与行为数据的不同等级的因素关联子集。

优选地，每一个场景片段中的环境因素中，与视觉相关的环境因素仅为第一人称能够观察到的画面数据。

本发明的第二个目的是提供一种基于虚拟现实的数字人体数据采集方法,能够较好地对数字人体数据进行补充完善。

为了实现上述目的，本发明的技术方案是：

一种基于虚拟现实的数字人体数据采集系统，包括：

虚拟现实子系统，用于根据目标人物的身体参数建立虚拟数字人体，并将所述虚拟数字人体置加载至选定的虚拟场景中；

监测子系统，至少包括VR头盔、人体姿态追踪装置和心率监测装置，用于供目标人物佩戴，所述VR头盔配置有眼动追踪装置；所述VR头盔、人体姿态追踪装置和心率监测装置均与虚拟现实子系统通讯，以向目标人物展示虚拟场景，以及向虚拟现实子系统上传反馈数据；

所述虚拟现实子系统通过反馈数据控制所述虚拟数字人体在虚拟场景中活动，以使所述虚拟数字人体模拟目标人物的各项动作，以及实时记录所述虚拟场景的全部三维动态数据，包括虚拟场景的动画数据以及目标人物的姿态数据、语音数据和心率数据等行为数据。

优选地，所述虚拟现实子系统还配置有：

分割模块，用于将所述虚拟场景沿时间轴分割为多个场景片段，每一场景片段包括多个环境因素数据，所述环境因素数据至少包括画面元素、虚拟对象元素、语音元素中的一种或多种；

组合模块，用于将虚拟数字人体在每个场景片段中的行为数据与对应的环境因素进行关联，生成初筛关联子集；以及将由N个目标人物产生的初筛关联子集组合为初筛关联总集；

分析模块，用于对初筛关联总集内的所有初筛关联子集进行数据关联性分析，并根据分析结果以生成因素关联子集，所述因素关联子集代表了一项或多项环境因素与一种或多种行为数据的对应关系。

本发明技术效果主要体现在以下方面：

利用虚拟现实技术采集数字人体在虚拟环境中的各项人因数据，并结合虚拟场景的场景数据，分析数字人体的行为数据与环境因素之前的关联度，从而给虚拟现实中的数字人体的行为模拟提供了较好的参考标准。

附图说明

图1为实施例中数字人体数据采集方法的流程图；

图2为实施例中数字人体数据采集系统的模块图。

具体实施方式

以下结合附图，对本发明的具体实施方式作进一步详述，以使本发明技术方案更易于理解和掌握。

本实施例旨在提供一种基于虚拟现实的数字人体数据采集方法，该包括：

S01、根据目标人物的身体参数建立虚拟数字人体，并将虚拟数字人体加载至选定的虚拟场景中。

具体地，先在数字人体库中选定与目标人物接近的数字人体模型，然后测量目标人物的身体参数，例如身高、臂长、腿长、头部尺寸等各项参数，然后在系统中根据测量的身体参数调整虚拟数字人体的尺寸，使其更接近目标人物的实际体形。

S02、为目标人物佩戴VR头盔、人体姿态追踪装置和心率监测装置，并通过VR头盔向目标人物展示虚拟场景，以及通过VR头盔和人体姿态追踪装置的反馈数据控制虚拟数字人体在虚拟场景中活动，以使虚拟数字人体模拟目标人物的各项动作；其中，VR头盔配置有眼动追踪装置，眼动追踪装置为现有技术产品，本实施不再赘述其工作原理。

当然，VR头盔一般还配置有语音模块，可供目标人物与虚拟场景进行语音互动。心率监测装置用于监测目标人物的心率，通过心率判定目标人物的当前情绪，例如可以将正常人的心率值范围分为几个区段，每一个区段对应一种情绪，紧张、放松、正常等。上述的虚拟场景中一般包含有画面、虚拟对象、语音等内容，当然也可以在虚拟场景中设定任务线，指示目标人物按照任务线进行活动。目标人物的眼部动作、肢体动作由眼动追踪装置、人体姿态追踪装置检测，并将反馈数据传输至虚拟场景中，进而根据反馈数据调整虚拟数字人体的眼部动作和肢体动作，实现目标人物与虚拟数字人体的动作同步。

S03、实时记录虚拟场景的全部三维动态数据，包括虚拟场景的动画数据以及目标人物的姿态数据、语音数据和心率数据等行为数据。

记录数据时以三维场景和录屏的形式全面记录，便于实时追踪目标人物在场景中的位置，以及方便后期以第一和第三视角全面观察目标人物在虚拟场景中的视觉体验。

另外，本实施例还对记录的进行深度分析，具体如下：

A10、将虚拟场景沿时间轴分割为多个场景片段，每一场景片段包括多个环境因素数据，环境因素数据至少包括画面元素、虚拟对象元素、语音元素中的一种或多种。值得说明的是，每一个场景片段中的环境因素中，与视觉相关的环境因素仅为第一人称能够观察到的画面数据。另外，上述的语音元素包括场景声音、虚拟对象的对话内容等，在预配置时，可将场景声音进行简单分类，例如水流声、爆炸声、汽车声等，虚拟对象的对话内容可预先进行语境设定，例如普通对话、质疑对话、辱骂对话、夸奖对话等，诸如此类，本实施例不再一一列举。

上述将虚拟场景沿时间线分割为多个场景片段的方法包括：

M01、将根据行为数据的种类设置若干个分割触发条件，并对多个分割触发条件设置优先级；

上述的行为数据一般由肢体动作、语言行为和情绪行为来代表，可预先设定动作和语言的判断标准，例如预先设定代表挥手动作的手臂动作数据，当手臂的位置及挥动的幅度符合设定值时，即可判定为挥手。通过这些预先设定的简单判断条件，可以快速判断目标人物的肢体动作属于哪一种，在同一时间段，肢体动作可能会包含多种。

语言行为则通过说话的音量、语速进行判断和区分，情绪行为则通过心率来判断和区分。

M02、将当分割触发条件被触发时，根据触发时间点在虚拟场景的时间轴上建立相应的分割点。

M03、将按照分割触发条件的优先级，将相邻两个优先级相同或最接近的分割点之间的虚拟场景进行分割。

A01、将虚拟数字人体在每个场景片段中的行为数据与对应的环境因素进行关联，生成初筛关联子集。

A02、将由N个目标人物产生的初筛关联子集组合为初筛关联总集。

A03、对初筛关联总集内的所有初筛关联子集进行数据关联性分析，并根据分析结果以生成因素关联子集，因素关联子集代表了一项或多项环境因素与一种或多种行为数据的对应关系。

上述对初筛关联总集内的所有初筛关联子集进行数据关联性分析，并根据分析结果以生成因素关联子集的方法包括：

C01、设环境因素有m个，行为数据有n个，将m个环境因素进行组合，得到

种不同的第一组合子集；

C02、对每一个第一组合子集进行影响度分析，以确定与每一个第一组合子集深度关联的一项或多项行为数据，并据此生成因素关联子集。

上述对每一个组合子集进行影响度分析的方法包括：

D01、选定其中一个第一组合子集，并筛选出所有仅关于该第一组合子集存在环境因素重叠的初筛关联子集，称为一级子集；

D02、在筛选出的所有一级子集中，统计每一项行为数据出现的次数t，其中0≤t≤b，其中b为一级子集的数量；剔除掉出现率p低于90%的一级子集，其中p=t/b；若剔除后的一级子集的数量大于k，则继续下一步；

D03、将出现次数相同的两项或两项以上的行为数据进行组合，以得到若干个第二组合子集；

D04、根据第二组合子集对应的t值来针对选定的第一组合子集中的环境因素相对于第二组合子集中的行为数据的影响深度进行评级，并根据评定结果生成该环境因素与行为数据的不同等级的因素关联子集。

通过上述方法得到的因素关联子集，可以在一定程度上代表人的行为与环境的对应关系。在上述方法的基础上，还可以使用神经网络算法不断地迭代筛选，从而获得更加具有代表性的因素关联子集。使用这些因素关联子集，可以在虚拟场景中更好地控制虚拟数字人体的各种行为，使其显得更加地逼真。

实施例二、

本实施例在实施例一的基础上，提供了一种基于虚拟现实的数字人体数据采集系统，参照图2，该包括虚拟现实子系统和监测子系统。

虚拟现实子系统用于根据目标人物的身体参数建立虚拟数字人体，并将虚拟数字人体置加载至选定的虚拟场景中；

监测子系统至少包括VR头盔、人体姿态追踪装置和心率监测装置，用于供目标人物佩戴，VR头盔配置有眼动追踪装置；VR头盔、人体姿态追踪装置和心率监测装置均与虚拟现实子系统通讯，以向目标人物展示虚拟场景，以及向虚拟现实子系统上传反馈数据；

虚拟现实子系统通过反馈数据控制虚拟数字人体在虚拟场景中活动，以使虚拟数字人体模拟目标人物的各项动作，以及实时记录虚拟场景的全部三维动态数据，包括虚拟场景的动画数据以及目标人物的姿态数据、语音数据和心率数据等行为数据。

上述的虚拟现实子系统还配置有分割模块、组合模块和分析模块。

分割模块用于将虚拟场景沿时间轴分割为多个场景片段，每一场景片段包括多个环境因素数据，环境因素数据至少包括画面元素、虚拟对象元素、语音元素中的一种或多种。

组合模块用于将虚拟数字人体在每个场景片段中的行为数据与对应的环境因素进行关联，生成初筛关联子集；以及将由N个目标人物产生的初筛关联子集组合为初筛关联总集；

分析模块用于对初筛关联总集内的所有初筛关联子集进行数据关联性分析，并根据分析结果以生成因素关联子集，因素关联子集代表了一项或多项环境因素与一种或多种行为数据的对应关系。

当然，以上只是本发明的典型实例，除此之外，本发明还可以有其它多种具体实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明要求保护的范围之内。

Claims (6)

1.一种基于虚拟现实的数字人体数据采集方法，其特征是，包括：

根据目标人物的身体参数建立虚拟数字人体，并将所述虚拟数字人体置加载至选定的虚拟场景中；

为目标人物佩戴VR头盔、人体姿态追踪装置和心率监测装置，并通过VR头盔向目标人物展示虚拟场景，以及通过VR头盔和人体姿态追踪装置的反馈数据控制所述虚拟数字人体在虚拟场景中活动，以使所述虚拟数字人体模拟目标人物的各项动作；其中，所述VR头盔配置有眼动追踪装置；

实时记录所述虚拟场景的全部三维动态数据，包括虚拟场景的动画数据以及目标人物的姿态数据、语音数据和心率数据行为数据；

还包括：

将所述虚拟场景沿时间轴分割为多个场景片段，每一场景片段包括多个环境因素数据，所述环境因素数据至少包括画面元素、虚拟对象元素、语音元素中的一种或多种；

将虚拟数字人体在每个场景片段中的行为数据与对应的环境因素进行关联，生成初筛关联子集；

将由N个目标人物产生的初筛关联子集组合为初筛关联总集；

对初筛关联总集内的所有初筛关联子集进行数据关联性分析，并根据分析结果以生成因素关联子集，所述因素关联子集代表了一项或多项环境因素与一种或多种行为数据的对应关系。

2.如权利要求1所述的一种基于虚拟现实的数字人体数据采集方法，其特征是，所述将所述虚拟场景沿时间线分割为多个场景片段的方法包括：

根据所述行为数据的种类设置若干个分割触发条件，并对多个分割触发条件设置优先级；

当所述分割触发条件被触发时，根据触发时间点在所述虚拟场景的时间轴上建立相应的分割点；

按照分割触发条件的优先级，将相邻两个优先级相同或最接近的分割点之间的虚拟场景进行分割。

3.如权利要求1所述的一种基于虚拟现实的数字人体数据采集方法，其特征是，所述对初筛关联总集内的所有初筛关联子集进行数据关联性分析，并根据分析结果以生成因素关联子集的方法包括：

设环境因素有m个，行为数据有n个，将m个环境因素进行组合，得到

种不同的第一组合子集；

对每一个第一组合子集进行影响度分析，以确定与每一个第一组合子集深度关联的一项或多项行为数据，并据此生成因素关联子集。

4.如权利要求3所述的一种基于虚拟现实的数字人体数据采集方法，其特征是，所述对每一个组合子集进行影响度分析的方法包括：

选定其中一个第一组合子集，并筛选出所有仅关于该第一组合子集存在环境因素重叠的初筛关联子集，称为一级子集；

在筛选出的所有一级子集中，统计每一项行为数据出现的次数t，其中0≤t≤b，其中b为一级子集的数量；剔除掉出现率p低于90%的一级子集，其中p=t/b；若剔除后的一级子集的数量大于k，则继续下一步；

将出现次数相同的两项或两项以上的行为数据进行组合，以得到若干个第二组合子集；

根据第二组合子集对应的t值来针对选定的第一组合子集中的环境因素相对于第二组合子集中的行为数据的影响深度进行评级，并根据评定结果生成该环境因素与行为数据的不同等级的因素关联子集。

5.如权利要求1或2所述的一种基于虚拟现实的数字人体数据采集方法，其特征是，每一个场景片段中的环境因素中，与视觉相关的环境因素仅为第一人称能够观察到的画面数据。

6.一种基于虚拟现实的数字人体数据采集系统，其特征是，包括：

虚拟现实子系统，用于根据目标人物的身体参数建立虚拟数字人体，并将所述虚拟数字人体置加载至选定的虚拟场景中；

监测子系统，至少包括VR头盔、人体姿态追踪装置和心率监测装置，用于供目标人物佩戴，所述VR头盔配置有眼动追踪装置；所述VR头盔、人体姿态追踪装置和心率监测装置均与虚拟现实子系统通讯，以向目标人物展示虚拟场景，以及向虚拟现实子系统上传反馈数据；

所述虚拟现实子系统通过反馈数据控制所述虚拟数字人体在虚拟场景中活动，以使所述虚拟数字人体模拟目标人物的各项动作，以及实时记录所述虚拟场景的全部三维动态数据，包括虚拟场景的动画数据以及目标人物的姿态数据、语音数据和心率数据行为数据；

所述虚拟现实子系统还配置有：

分割模块，用于将所述虚拟场景沿时间轴分割为多个场景片段，每一场景片段包括多个环境因素数据，所述环境因素数据至少包括画面元素、虚拟对象元素、语音元素中的一种或多种；

组合模块，用于将虚拟数字人体在每个场景片段中的行为数据与对应的环境因素进行关联，生成初筛关联子集；以及将由N个目标人物产生的初筛关联子集组合为初筛关联总集；

分析模块，用于对初筛关联总集内的所有初筛关联子集进行数据关联性分析，并根据分析结果以生成因素关联子集，所述因素关联子集代表了一项或多项环境因素与一种或多种行为数据的对应关系。

Images