CN116704607B - 一种3d数字人的行为数据挖掘方法及系统 - Google Patents
一种3d数字人的行为数据挖掘方法及系统 Download PDFInfo
- Publication number
- CN116704607B CN116704607B CN202310676466.2A CN202310676466A CN116704607B CN 116704607 B CN116704607 B CN 116704607B CN 202310676466 A CN202310676466 A CN 202310676466A CN 116704607 B CN116704607 B CN 116704607B
- Authority
- CN
- China
- Prior art keywords
- data
- behavior
- standard
- virtual
- digital person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000007418 data mining Methods 0.000 title claims abstract description 18
- 230000006996 mental state Effects 0.000 claims abstract description 48
- 230000003542 behavioural effect Effects 0.000 claims description 90
- 230000003340 mental effect Effects 0.000 claims description 49
- 230000009471 action Effects 0.000 claims description 42
- 238000012544 monitoring process Methods 0.000 claims description 28
- 238000013500 data storage Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 230000008482 dysregulation Effects 0.000 claims description 6
- 230000003831 deregulation Effects 0.000 claims description 5
- 238000005065 mining Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims 1
- 238000004088 simulation Methods 0.000 abstract description 8
- 238000005457 optimization Methods 0.000 abstract description 6
- 230000006399 behavior Effects 0.000 description 214
- 230000000875 corresponding effect Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 206010000117 Abnormal behaviour Diseases 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种3D数字人的行为数据挖掘方法及系统。通过应用本申请的技术方案，可以实时监测3D数字人的肢体数据、神态数据以及语音数据，并实时判断三者之间是否为预先设置的相互协调的三种行为关联数据。并在监测到存在三种行为数据互不协调的失调事件时，再结合当前承载数字人做出不协调行为的影音设备的性能指标来辅助判断该失调事件是否为能够影响设备运行状态的严重失调事件。从而将确定为严重失调事件的活动影像进行截取，以供后续基于该影像对数字人的模拟行为加以优化。
Description
技术领域
本申请中涉及数据处理技术，尤其是一种3D数字人的行为数据挖掘方法及系统。
背景技术
随着虚拟现实的技术被一点点的突破，民用家庭设备逐渐出现，成为娱乐生活重要的组成部分，让用户体验到前所未有的感觉。
其中，为了提高用户面对虚拟场景里面的交互体验，在虚拟环境中设置3D数字人的行为数据就显得尤为重要，然而相关技术中的虚拟现实交互场景下，模拟出的数字人经常出现肢体与发声不相匹配或搭配僵硬等模拟动作不协调的问题。进而影响了用户的交互体验。
因此，如何及时发现3D数字人不协调的行为数据并以此加以改进，成为了本领域技术人员需要解决的问题。
发明内容
本申请实施例提供一种3D数字人的行为数据挖掘方法及系统。从而解决相关技术中出现的，无法及时发现3D数字人不协调的行为从而影响用户交互体验的问题。
其中，根据本申请实施例的一个方面，提供的一种3D数字人的行为数据挖掘方法，包括：
根据目标对象建立虚拟3D数字人，并将所述虚拟3D数字人加载到影像设备的虚拟场景中；以及，监测所述影像设备的运行指标；
监测所述虚拟3D数字人在所述虚拟场景下的行为关联数据，所述行为关联数据用于反映在预设持续时长内，所述虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据；
当基于所述行为关联数据，检测到所述虚拟3D数字人出现失调事件时，确定触发所述失调事件的失调时间段，其中，所述失调事件为所述虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据在预设持续时长内互不协调的事件；
调取所述影像设备在所述失调时间段中的待检测运行指标，并判断所述待检测运行指标是否超出预设负荷值；
若超出，将对应于所述失调时间段的数字人活动影像截取到预设存储区域中。
可选地，在基于本申请上述方法的另一个实施例中，在所述监测所述虚拟3D数字人在所述虚拟场景下的行为关联数据之后，还包括：
从预设存储区域中提取与所述虚拟场景相匹配的关联数据集合，所述关联数据集合中记录有多组标准关联数据，其中每组标准关联数据用于指示数字人在所述预设持续时长内，连贯生成的标准肢体动作、标准神态动作以及标准语音数据；
获取所述虚拟场景下，所述虚拟3D数字人在预设持续时长内的行为关联数据，并将所述行为关联数据与所述关联数据集合进行匹配，确定所述虚拟3D数字人是否出现所述失调事件。
可选地，在基于本申请上述方法的另一个实施例中，所述将所述行为关联数据与所述关联数据集合进行匹配，确定所述虚拟3D数字人是否出现所述失调事件，包括：
获取所述行为关联数据所反映的，所述虚拟3D数字人在所述虚拟场景下，实际生成的行为肢体数据、行为神态数据以及行为语音数据；
将所述实际生成的行为肢体数据、行为神态数据以及行为语音数据，与，各组标准关联数据所包括的，标准肢体动作、标准神态动作以及标准语音数据分别一一进行匹配；
若没有检测到存在与所述行为肢体数据、行为神态数据以及行为语音数据一一匹配的标准肢体动作、标准神态动作以及标准语音数据，确定所述虚拟3D数字人出现所述失调事件。
可选地，在基于本申请上述方法的另一个实施例中，所述将所述实际生成的行为肢体数据、行为神态数据以及行为语音数据，与，各组标准关联数据所包括的，标准肢体动作、标准神态动作以及标准语音数据分别一一进行匹配，包括：
确定一组标准关联数据中，是否存在有与所述行为肢体数据相同的标准肢体动作，且与所述行为神态动作相同的标准神态动作，且与所述行为语音数据相同的标准语音数据；
若不存在，确定所述虚拟3D数字人出现所述失调事件；
若存在，检测所述一组标准关联数据中，所述标准肢体动作与所述标准神态动作与所述标准语音数据之间的第一间隔时长；以及，检测所述行为肢体数据与所述行为神态数据与所述行为语音数据之间的第二间隔时长；
确定所述第一间隔时长与所述第二间隔时长是否相同；
若是，确定所述虚拟3D数字人没有出现所述失调事件；
若否，确定所述虚拟3D数字人出现所述失调事件。
可选地，在基于本申请上述方法的另一个实施例中，在所述确定所述第一间隔时长与所述第二间隔时长是否相同之后，还包括：
检测所述一组标准关联数据所包括的，用于指示数字人在所述虚拟场景下所处的第一位置；
检测所述行为关联数据所包括的，所述虚拟3D数字人在所述虚拟场景下所处的第二位置；
检测所述第一位置与所述第二位置是否相同；
若是，确定所述虚拟3D数字人没有出现所述失调事件；
若否，确定所述虚拟3D数字人出现所述失调事件。
可选地，在基于本申请上述方法的另一个实施例中，所述调取所述影像设备在所述失调时间段中的待检测运行指标，并判断所述待检测运行指标是否超出预设负荷值，包括：
获取所述待检测运行指标所包括的，所述影像设备的CPU占用比以及发热值；
基于所述CPU占用比是否超过预设阈值，以及所述发热值是否超过预设温度值，判断所述待检测运行指标是否超出所述预设负荷值。
可选地，在基于本申请上述方法的另一个实施例中，在所述基于所述CPU占用比是否超过预设阈值，以及所述发热值是否超过预设温度值，判断所述待检测运行指标是否超出所述预设负荷值之后，还包括：
若确定超出，获取所述CPU占用比超过所述预设阈值，以及所述发热值超过所述预设温度值所对应的失调时间点；
检测在所述失调时间点时，所述虚拟3D数字人的行为数据，所述行为数据包括行为肢体数据、行为神态数据以及行为语音数据的至少一种；以及，将包括所述失调时间点在内的预设时长的活动影像作为所述数字人活动影像；
将所述数字人活动影像与所述行为数据截取到预设存储区域中。
其中，根据本申请实施例的又一个方面，提供的一种3D数字人的行为数据挖掘系统，包括：
数字人创建模块，被配置为根据目标对象建立虚拟3D数字人，并将所述虚拟3D数字人加载到影像设备的虚拟场景中；以及，监测所述影像设备的运行指标；
行为数据监测模块，被配置为监测所述虚拟3D数字人在所述虚拟场景下的行为关联数据，所述行为关联数据用于反映在预设持续时长内，所述虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据；
行为数据判断模块，被配置为当基于所述行为关联数据，检测到所述虚拟3D数字人出现失调事件时，确定触发所述失调事件的失调时间段，其中，所述失调事件为所述虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据在预设持续时长内互不协调的事件；
行为数据调取模块，被配置为调取所述影像设备在所述失调时间段中的待检测运行指标，并判断所述待检测运行指标是否超出预设负荷值；
行为数据存储模块，被配置为若超出，将对应于所述失调时间段的数字人活动影像截取到预设存储区域中。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
显示器，用于与所述存储器执行所述可执行指令从而完成上述任一所述3D数字人的行为数据挖掘方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述3D数字人的行为数据挖掘方法的操作。
本申请中，根据目标对象建立虚拟3D数字人，并将虚拟3D数字人加载到影像设备的虚拟场景中；以及，监测影像设备的运行指标；监测虚拟3D数字人在虚拟场景下的行为关联数据，行为关联数据用于反映在预设持续时长内，虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据；当基于行为关联数据，检测到虚拟3D数字人出现失调事件时，确定触发失调事件的失调时间段，其中，失调事件为虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据在预设持续时长内互不协调的事件；调取影像设备在失调时间段中的待检测运行指标，并判断待检测运行指标是否超出预设负荷值；若超出，将对应于失调时间段的数字人活动影像截取到预设存储区域中。
通过应用本申请的技术方案，可以实时监测3D数字人的肢体数据、神态数据以及语音数据，并实时判断三者之间是否为预先设置的相互协调的三种行为关联数据。并在监测到存在三种行为数据互不协调的失调事件时，再结合当前承载数字人做出不协调行为的影音设备的性能指标来辅助判断该失调事件是否为能够影响设备运行状态的严重失调事件。从而将确定为严重失调事件的活动影像进行截取，以供后续基于该影像对数字人的模拟行为加以优化。
本申请方案一方面避免了相关技术中只针对虚拟数字人单一类型的行为数据进行监测并优化而导致的，不能全面改进数字人不连贯的模拟行为的问题。另一方面也能够达到深层次挖掘能够影响设备性能运行状态的数字人的错误行为的目的。进而优化了虚拟数字人的性能开销，减轻设备运行压力。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请提出的一种3D数字人的行为数据挖掘方法示意图；
图2为本申请提出的一种3D数字人的行为数据挖掘方法的流程图；
图3为本申请提出的3D数字人的行为数据挖掘系统的结构示意图；
图4为本申请提出的电子设备的结构示意图。
实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
需要说明的是，本申请实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
下面结合图1-图2来描述根据本申请示例性实施方式的用于进行3D数字人的行为数据挖掘方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
本申请还提出一种3D数字人的行为数据挖掘方法及系统。
图1示意性地示出了根据本申请实施方式的一种3D数字人的行为数据挖掘方法的流程示意图。如图1所示，该方法包括：
S101，根据目标对象建立虚拟3D数字人，并将虚拟3D数字人加载到影像设备的虚拟场景中；以及，监测影像设备的运行指标。
S102，监测虚拟3D数字人在虚拟场景下的行为关联数据，行为关联数据用于反映在预设持续时长内，虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据。
S103，当基于行为关联数据，检测到虚拟3D数字人出现失调事件时，确定触发失调事件的失调时间段，其中，失调事件为虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据在预设持续时长内互不协调的事件。
S104，调取影像设备在失调时间段中的待检测运行指标，并判断待检测运行指标是否超出预设负荷值。
S105，若超出，将对应于失调时间段的数字人活动影像截取到预设存储区域中。
相关技术中，随着虚拟现实的技术被一点点的突破，民用家庭设备逐渐出现，成为娱乐生活重要的组成部分，让人们体验到前所未有的感觉。为了让人们更加好的在场景里面更好的交互，已经更加接近真实的感觉，在虚拟环境中的人与人的真实交互就显得尤为重要，而真实交互的第一步就是要求形象动作与人类接近。
进一步的，随着人工智能(AI)技术的发展，数字人已经广泛应用于各个技术领域中。数字人是信息科学与生命科学融合的产物，是利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真，通过建立多层次的数字模型实现对人体从微观到宏观的精确模拟。通过生成包含渲染完成的数字人的视频，可实现向用户提供信息展示和语音交互等多种功能。
其中，现有的虚拟现实交互游戏中，大多采用虚拟人物来生成虚拟3D数字人，但模拟出的3D数字人形象要么是身体不能动，要么是通过播放动画的形式以假乱真，还有一些直接取消掉胳膊和腿部，只有头部、身体和手，无法真实的模拟出人物动作，影响了用户体验。因此，如何及时发现3D数字人不协调的行为数据并以此加以改进，成为了本领域技术人员需要解决的问题。
基于上述问题，本申请提出一种3D数字人的行为数据挖掘方法，其方案为，将实时监测3D数字人的肢体数据、神态数据以及语音数据，并实时判断三者之间是否为预先设置的相互协调的三种行为关联数据。并在监测到存在三种行为数据互不协调的失调事件时，再结合当前承载数字人做出不协调行为的影音设备的性能指标来辅助判断该失调事件是否为能够影响设备运行状态的严重失调事件。从而将确定为严重失调事件的活动影像进行截取，以供后续基于该影像对数字人的模拟行为加以优化。
进一步的，本申请在此结合图2对方案进行具体说明：
步骤1、根据目标对象建立虚拟3D数字人，并将虚拟3D数字人加载到影像设备的虚拟场景中。以及，监测影像设备的运行指标。
其中，影像设备可以为具有显示功能的各类智能终端以及服务器。例如包括手机，平板电脑，电脑等等。
步骤2、监测虚拟3D数字人在虚拟场景下的行为关联数据，行为关联数据用于反映在预设持续时长内。
其中，虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据。
一种方式中，本申请实施例不对预设持续时长进行限定，利用可以为3秒或1分钟等等。
以1秒进行举例，行为关联数据即为虚拟3D数字人在该虚拟场景下的3秒钟内，数字人所做出的某个行为数据（例如为摆手，跑步等）、某个神态数据（例如为微笑，皱眉等）以及某个语音数据（例如说你好，再见等）。可以理解的，如果该数字人没有做出其中的某个行为（例如只做出肢体以及神态动作，没有相应的语音发声），其对应的行为数据可以记为一个用于反映没有生成的固定数据。
步骤3、从预设存储区域中提取与虚拟场景相匹配的关联数据集合，关联数据集合中记录有多组标准关联数据。
其中，每组标准关联数据用于指示数字人在预设持续时长内，连贯生成的标准肢体动作、标准神态动作以及标准语音数据。
其中，本申请实施例中可以获取虚拟场景下，虚拟3D数字人在预设持续时长内的行为关联数据，并将行为关联数据与关联数据集合进行匹配，确定虚拟3D数字人是否出现失调事件。
进一步的，本申请实施例还可以将行为关联数据与关联数据集合进行匹配，确定虚拟3D数字人是否出现失调事件，包括：
获取行为关联数据所反映的，虚拟3D数字人在虚拟场景下，实际生成的行为肢体数据、行为神态数据以及行为语音数据；
将实际生成的行为肢体数据、行为神态数据以及行为语音数据，与，各组标准关联数据所包括的，标准肢体动作、标准神态动作以及标准语音数据分别一一进行匹配；
若没有检测到存在与行为肢体数据、行为神态数据以及行为语音数据一一匹配的标准肢体动作、标准神态动作以及标准语音数据，确定虚拟3D数字人出现失调事件。
步骤4、确定一组标准关联数据中，是否存在有与行为肢体数据相同的标准肢体动作，且与行为神态动作相同的标准神态动作，且与行为语音数据相同的标准语音数据。之后进入步骤5a或步骤5b。
可以理解的，本申请实施例中，不对数字人的某一类型的行为数据单独进行监测，而是以一个连贯的，多种类型的行为数据关联在一起的方式进行监测（即行为关联数据）。因此，在确定该数字人的行为关联数据是否存在异常时，也需要将其与预先设置的，同样为关联数据的标准关联数据进行一一匹配才能确定数字人是否存在异常行为。
具体而言，例如某一个标准关联数据中包括有，标准肢体动作（例如为摆手）、标准神态动作（例如为微笑）以及标准语音数据（例如为你好）。那么也即数字人在实际展示过程中，不会单独出现微笑的神态动作。而是需要伴随有“摆手”以及“你好”的相应行为（且三种行为需要在预设持续时长内完成）。以此实现一个用于指示数字人在该预设持续时长内，连贯生成的标准肢体动作、标准神态动作以及标准语音数据的目的。
可以理解的，本申请通过上述提及的，三种相互协调的行为的关联数据集合，来实现数字人协调的动作行为。避免相关技术中的虚拟现实交互场景下，模拟出的数字人经常出现肢体与发声不相匹配或搭配僵硬等模拟动作不协调的问题。
步骤5a、若不存在，确定虚拟3D数字人出现失调事件。之后进入步骤6。
一种方式中，结合上述而言，本申请实施例需要分别确定数字人在某个预设持续时长内生成的为肢体数据、行为神态数据以及行为语音数据是否与某组标准关联数据中包括的标准肢体数据、标准行为神态数据以及标准行为语音数据一一相同。
可以理解的，若不相同，则可以直接认定虚拟3D数字人出现失调事件。
同样以上述举例而言，若某一个标准关联数据中包括有，标准肢体动作（例如为摆手）、标准神态动作（例如为微笑）以及标准语音数据（例如为你好）时。且，数字人在实际展示过程中的行为关联数据中，同样包括有摆手（行为肢体数据）、微笑（行为神态数据）以及你好（行为语音数据）。且，二者都在预设持续时长内完成，那么则初步认为虚拟3D数字人没有出现失调事件。反之则直接认定虚拟3D数字人出现失调事件。
步骤5b、若存在，检测一组标准关联数据中，标准肢体动作与标准神态动作与标准语音数据之间的第一间隔时长；以及，检测行为肢体数据与行为神态数据与行为语音数据之间的第二间隔时长。之后进入步骤5c1或步骤5c2。
一种方式中，若初步判断虚拟3D数字人没有出现失调事件时（即数字人分别生成了与标准肢体动作，标准神态动作以及标准语音动作相同的行为数据），还需要进一步判断该数字人所生成的肢体数据与行为神态数据与行为语音数据之间的间隔时长（即第二间隔时长）是否与标准关联数据记录的间隔时长（即第一间隔时长）相同。
步骤5c1、若第一间隔时长与第二间隔时长不相同，确定虚拟3D数字人出现失调事件。之后进入步骤6。
作为示例的，若标准关联数据中记录有，标准肢体动作与标准神态动作与标准语音数据三者之间各间隔0.5秒分别实施。而数字人在实际行为中，行为肢体数据与行为神态数据与行为语音数据各间隔0.8秒分别实施（或某两项间隔为0.5秒，另两项间隔为0.8秒等情况）。那么则认定第一间隔时长与第二间隔时长不相同，即数字人同样没有按照预先设置的标准行为进行模拟展示，因此同样判定其出现失调事件。
步骤5c2、若第一间隔时长与第二间隔时长相同，确定第一位置与第二位置。之后进入步骤5c3。
其中，第一位置为一组标准关联数据所包括的，用于指示数字人在虚拟场景下所处的位置。第二位置为行为关联数据所包括的，虚拟3D数字人在虚拟场景下所处的位置。
一种方式中，若第一间隔时长与第二间隔时长相同，则可以继续初步判断数字人没有出现失调事件。此时，还需要进一步判断该数字人在虚拟场景下实际所处的位置（即第二位置）是否与标准关联数据记录的，数字人在虚拟场景下指定所处的位置（即第一位置）相同。
可以理解的，若不相同，则判定数字人同样没有按照预先设置的标准行为进行模拟展示，因此同样判定其出现失调事件。
步骤5c3、若第一位置与第二位置不相同，确定虚拟3D数字人出现失调事件。之后进入步骤6。
步骤6、调取影像设备在失调时间段中的待检测运行指标，并确定待检测运行指标超出预设负荷值。
其中，本申请实施例可以获取待检测运行指标所包括的，影像设备的CPU占用比以及发热值，并基于CPU占用比是否超过预设阈值，以及发热值是否超过预设温度值，来判断待检测运行指标是否超出预设负荷值。
步骤7、将数字人活动影像，与，失调行为数据截取到预设存储区域中。
其中，本申请实施例可以获取CPU占用比超过预设阈值，以及发热值超过预设温度值所对应的失调时间点；
检测在失调时间点时，虚拟3D数字人的失调行为数据，失调行为数据包括行为肢体数据、行为神态数据以及行为语音数据的至少一种；以及，将包括失调时间点在内的预设时长的活动影像作为数字人活动影像；
将数字人活动影像与失调行为数据截取到预设存储区域中。
一种方式中，本申请可以通过监测影音设备的CPU占用比以及发热值等性能指标来辅助判断数字人出现的异常行为数据是否为严重的异常行为。可以理解的，对于数字人的异常行为来说，其由于执行数据与原设定数据不同，因此可能会导致设备的运算模块出现增大计算量或增多计算次数等加大设备运行开销的问题。
进一步的，对于严重异常行为来说，其可能会在普通异常行为对影音设备加大设备运行开销的的基础上，放大影音设备的额外运行开销。尤其长期或反复执行该严重异常行为更可能会导致影音设备出现超负荷运转进而无法进行业务处理的弊端。
基于此，本申请实施例可以在CPU占用比以及发热值超标的情况下，将发生超标事件的失调时间点在内的前后一段时长的数字人活动影像进行截取。以使后续基于该影像对数字人的模拟行为加以优化。
一种方式中，本申请还可以将数字人在该失调时间点时执行的行为数据记录下来（即失调行为数据，例如在CPU占用比超标的时间点，数字人正在生成“微笑”的神态行为数据），并同样截取到预设存储区域中，以使后续基于该影像对数字人的模拟行为加以优化。
本申请中，根据目标对象建立虚拟3D数字人，并将虚拟3D数字人加载到影像设备的虚拟场景中；以及，监测影像设备的运行指标；监测虚拟3D数字人在虚拟场景下的行为关联数据，行为关联数据用于反映在预设持续时长内，虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据；当基于行为关联数据，检测到虚拟3D数字人出现失调事件时，确定触发失调事件的失调时间段，其中，失调事件为虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据在预设持续时长内互不协调的事件；调取影像设备在失调时间段中的待检测运行指标，并判断待检测运行指标是否超出预设负荷值；若超出，将对应于失调时间段的数字人活动影像截取到预设存储区域中。
通过应用本申请的技术方案，可以实时监测3D数字人的肢体数据、神态数据以及语音数据，并实时判断三者之间是否为预先设置的相互协调的三种行为关联数据。并在监测到存在三种行为数据互不协调的失调事件时，再结合当前承载数字人做出不协调行为的影音设备的性能指标来辅助判断该失调事件是否为能够影响设备运行状态的严重失调事件。从而将确定为严重失调事件的活动影像进行截取，以供后续基于该影像对数字人的模拟行为加以优化。
本申请方案一方面避免了相关技术中只针对虚拟数字人单一类型的行为数据进行监测并优化而导致的，不能全面改进数字人不连贯的模拟行为的问题。另一方面也能够达到深层次挖掘能够影响设备性能运行状态的数字人的错误行为的目的。进而优化了虚拟数字人的性能开销，减轻设备运行压力。
可选地，在基于本申请上述方法的另一个实施例中，在所述监测所述虚拟3D数字人在所述虚拟场景下的行为关联数据之后，还包括：
从预设存储区域中提取与所述虚拟场景相匹配的关联数据集合，所述关联数据集合中记录有多组标准关联数据，其中每组标准关联数据用于指示数字人在所述预设持续时长内，连贯生成的标准肢体动作、标准神态动作以及标准语音数据；
获取所述虚拟场景下，所述虚拟3D数字人在预设持续时长内的行为关联数据，并将所述行为关联数据与所述关联数据集合进行匹配，确定所述虚拟3D数字人是否出现所述失调事件。
可选地，在基于本申请上述方法的另一个实施例中，所述将所述行为关联数据与所述关联数据集合进行匹配，确定所述虚拟3D数字人是否出现所述失调事件，包括：
获取所述行为关联数据所反映的，所述虚拟3D数字人在所述虚拟场景下，实际生成的行为肢体数据、行为神态数据以及行为语音数据；
将所述实际生成的行为肢体数据、行为神态数据以及行为语音数据，与，各组标准关联数据所包括的，标准肢体动作、标准神态动作以及标准语音数据分别一一进行匹配；
若没有检测到存在与所述行为肢体数据、行为神态数据以及行为语音数据一一匹配的标准肢体动作、标准神态动作以及标准语音数据，确定所述虚拟3D数字人出现所述失调事件。
可选地，在基于本申请上述方法的另一个实施例中，所述将所述实际生成的行为肢体数据、行为神态数据以及行为语音数据，与，各组标准关联数据所包括的，标准肢体动作、标准神态动作以及标准语音数据分别一一进行匹配，包括：
确定一组标准关联数据中，是否存在有与所述行为肢体数据相同的标准肢体动作，且与所述行为神态动作相同的标准神态动作，且与所述行为语音数据相同的标准语音数据；
若不存在，确定所述虚拟3D数字人出现所述失调事件；
若存在，检测所述一组标准关联数据中，所述标准肢体动作与所述标准神态动作与所述标准语音数据之间的第一间隔时长；以及，检测所述行为肢体数据与所述行为神态数据与所述行为语音数据之间的第二间隔时长；
确定所述第一间隔时长与所述第二间隔时长是否相同；
若是，确定所述虚拟3D数字人没有出现所述失调事件；
若否，确定所述虚拟3D数字人出现所述失调事件。
可选地，在基于本申请上述方法的另一个实施例中，在所述确定所述第一间隔时长与所述第二间隔时长是否相同之后，还包括：
检测所述一组标准关联数据所包括的，用于指示数字人在所述虚拟场景下所处的第一位置；
检测所述行为关联数据所包括的，所述虚拟3D数字人在所述虚拟场景下所处的第二位置；
检测所述第一位置与所述第二位置是否相同；
若是，确定所述虚拟3D数字人没有出现所述失调事件；
若否，确定所述虚拟3D数字人出现所述失调事件。
可选地，在基于本申请上述方法的另一个实施例中，所述调取所述影像设备在所述失调时间段中的待检测运行指标，并判断所述待检测运行指标是否超出预设负荷值，包括：
获取所述待检测运行指标所包括的，所述影像设备的CPU占用比以及发热值；
基于所述CPU占用比是否超过预设阈值，以及所述发热值是否超过预设温度值，判断所述待检测运行指标是否超出所述预设负荷值。
可选地，在基于本申请上述方法的另一个实施例中，在所述基于所述CPU占用比是否超过预设阈值，以及所述发热值是否超过预设温度值，判断所述待检测运行指标是否超出所述预设负荷值之后，还包括：
若确定超出，获取所述CPU占用比超过所述预设阈值，以及所述发热值超过所述预设温度值所对应的失调时间点；
检测在所述失调时间点时，所述虚拟3D数字人的行为数据，所述行为数据包括行为肢体数据、行为神态数据以及行为语音数据的至少一种；以及，将包括所述失调时间点在内的预设时长的活动影像作为所述数字人活动影像；
将所述数字人活动影像与所述行为数据截取到预设存储区域中。
通过应用本申请的技术方案，可以实时监测3D数字人的肢体数据、神态数据以及语音数据，并实时判断三者之间是否为预先设置的相互协调的三种行为关联数据。并在监测到存在三种行为数据互不协调的失调事件时，再结合当前承载数字人做出不协调行为的影音设备的性能指标来辅助判断该失调事件是否为能够影响设备运行状态的严重失调事件。从而将确定为严重失调事件的活动影像进行截取，以供后续基于该影像对数字人的模拟行为加以优化。
可选的，在本申请的另外一种实施方式中，如图3所示，本申请还提供一种3D数字人的行为数据挖掘系统。包括：
数字人创建模块201，被配置为根据目标对象建立虚拟3D数字人，并将所述虚拟3D数字人加载到影像设备的虚拟场景中；以及，监测所述影像设备的运行指标；
行为数据监测模块202，被配置为监测所述虚拟3D数字人在所述虚拟场景下的行为关联数据，所述行为关联数据用于反映在预设持续时长内，所述虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据；
行为数据判断模块203，被配置为当基于所述行为关联数据，检测到所述虚拟3D数字人出现失调事件时，确定触发所述失调事件的失调时间段，其中，所述失调事件为所述虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据在预设持续时长内互不协调的事件；
行为数据调取模块204，被配置为调取所述影像设备在所述失调时间段中的待检测运行指标，并判断所述待检测运行指标是否超出预设负荷值；
行为数据存储模块205，被配置为若超出，将对应于所述失调时间段的数字人活动影像截取到预设存储区域中。
通过应用本申请的技术方案，可以实时监测3D数字人的肢体数据、神态数据以及语音数据，并实时判断三者之间是否为预先设置的相互协调的三种行为关联数据。并在监测到存在三种行为数据互不协调的失调事件时，再结合当前承载数字人做出不协调行为的影音设备的性能指标来辅助判断该失调事件是否为能够影响设备运行状态的严重失调事件。从而将确定为严重失调事件的活动影像进行截取，以供后续基于该影像对数字人的模拟行为加以优化。
在本申请的另外一种实施方式中，行为数据存储模块205，被配置为：
从预设存储区域中提取与所述虚拟场景相匹配的关联数据集合，所述关联数据集合中记录有多组标准关联数据，其中每组标准关联数据用于指示数字人在所述预设持续时长内，连贯生成的标准肢体动作、标准神态动作以及标准语音数据；
获取所述虚拟场景下，所述虚拟3D数字人在预设持续时长内的行为关联数据，并将所述行为关联数据与所述关联数据集合进行匹配，确定所述虚拟3D数字人是否出现所述失调事件。
在本申请的另外一种实施方式中，行为数据存储模块205，被配置为：
获取所述行为关联数据所反映的，所述虚拟3D数字人在所述虚拟场景下，实际生成的行为肢体数据、行为神态数据以及行为语音数据；
将所述实际生成的行为肢体数据、行为神态数据以及行为语音数据，与，各组标准关联数据所包括的，标准肢体动作、标准神态动作以及标准语音数据分别一一进行匹配；
若没有检测到存在与所述行为肢体数据、行为神态数据以及行为语音数据一一匹配的标准肢体动作、标准神态动作以及标准语音数据，确定所述虚拟3D数字人出现所述失调事件。
在本申请的另外一种实施方式中，行为数据存储模块205，被配置为：
确定一组标准关联数据中，是否存在有与所述行为肢体数据相同的标准肢体动作，且与所述行为神态动作相同的标准神态动作，且与所述行为语音数据相同的标准语音数据；
若不存在，确定所述虚拟3D数字人出现所述失调事件；
若存在，检测所述一组标准关联数据中，所述标准肢体动作与所述标准神态动作与所述标准语音数据之间的第一间隔时长；以及，检测所述行为肢体数据与所述行为神态数据与所述行为语音数据之间的第二间隔时长；
确定所述第一间隔时长与所述第二间隔时长是否相同；
若是，确定所述虚拟3D数字人没有出现所述失调事件；
若否，确定所述虚拟3D数字人出现所述失调事件。
在本申请的另外一种实施方式中，行为数据存储模块205，被配置为：
检测所述一组标准关联数据所包括的，用于指示数字人在所述虚拟场景下所处的第一位置；
检测所述行为关联数据所包括的，所述虚拟3D数字人在所述虚拟场景下所处的第二位置；
检测所述第一位置与所述第二位置是否相同；
若是，确定所述虚拟3D数字人没有出现所述失调事件；
若否，确定所述虚拟3D数字人出现所述失调事件。
在本申请的另外一种实施方式中，行为数据存储模块205，被配置为：
获取所述待检测运行指标所包括的，所述影像设备的CPU占用比以及发热值；
基于所述CPU占用比是否超过预设阈值，以及所述发热值是否超过预设温度值，判断所述待检测运行指标是否超出所述预设负荷值。
在本申请的另外一种实施方式中，行为数据存储模块205，被配置为：
若确定超出，获取所述CPU占用比超过所述预设阈值，以及所述发热值超过所述预设温度值所对应的失调时间点；
检测在所述失调时间点时，所述虚拟3D数字人的失调行为数据，所述失调行为数据包括行为肢体数据、行为神态数据以及行为语音数据的至少一种；以及，将包括所述失调时间点在内的预设时长的活动影像作为所述数字人活动影像；
将所述数字人活动影像与所述失调行为数据截取到预设存储区域中。
图4是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备3可以是电子设备。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备处理器执行以完成上述3D数字人的行为数据挖掘方法，该方法包括：根据目标对象建立虚拟3D数字人，并将所述虚拟3D数字人加载到影像设备的虚拟场景中；以及，监测所述影像设备的运行指标；监测所述虚拟3D数字人在所述虚拟场景下的行为关联数据，所述行为关联数据用于反映在预设持续时长内，所述虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据；当基于所述行为关联数据，检测到所述虚拟3D数字人出现失调事件时，确定触发所述失调事件的失调时间段，其中，所述失调事件为所述虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据在预设持续时长内互不协调的事件；调取所述影像设备在所述失调时间段中的待检测运行指标，并判断所述待检测运行指标是否超出预设负荷值；若超出，将对应于所述失调时间段的数字人活动影像截取到预设存储区域中。
可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备的处理器执行，以完成上述3D数字人的行为数据挖掘方法，该方法包括：根据目标对象建立虚拟3D数字人，并将所述虚拟3D数字人加载到影像设备的虚拟场景中；以及，监测所述影像设备的运行指标；监测所述虚拟3D数字人在所述虚拟场景下的行为关联数据，所述行为关联数据用于反映在预设持续时长内，所述虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据；当基于所述行为关联数据，检测到所述虚拟3D数字人出现失调事件时，确定触发所述失调事件的失调时间段，其中，所述失调事件为所述虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据在预设持续时长内互不协调的事件；调取所述影像设备在所述失调时间段中的待检测运行指标，并判断所述待检测运行指标是否超出预设负荷值；若超出，将对应于所述失调时间段的数字人活动影像截取到预设存储区域中。
可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。
图4为电子设备3的示例图。本领域技术人员可以理解，示意图4仅仅是电子设备3的示例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备3还可以包括输入输出设备、网络接入设备、总线等。
所称处理器300可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器300也可以是任何常规的处理器等，处理器300是电子设备3的控制中心，利用各种接口和线路连接整个电子设备3的各个部分。
存储器301可用于存储通信接口303，处理器300通过运行或执行存储在存储器301内的通信接口或模块，以及调用存储在存储器301内的数据，实现电子设备3的各种功能。存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备3的使用所创建的数据等。此外，存储器301可以包括硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card， SMC），安全数字（Secure Digital， SD）卡，闪存卡（FlashCard）、至少一个磁盘存储器件、闪存器件、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）或其他非易失性/易失性存储器件。
电子设备3集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过通信接口来指令相关的硬件来完成通信接口可存储于一计算机可读存储介质中，该通信接口在被处理器执行时，可实现上述各个方法实施例的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (5)
1.一种3D数字人的行为数据挖掘方法，其特征在于，包括：
根据目标对象建立虚拟3D数字人，并将所述虚拟3D数字人加载到影像设备的虚拟场景中；以及，监测所述影像设备的运行指标；
监测所述虚拟3D数字人在所述虚拟场景下的行为关联数据，所述行为关联数据用于反映在预设持续时长内，所述虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据；
当基于所述行为关联数据，检测到所述虚拟3D数字人出现失调事件时，确定触发所述失调事件的失调时间段，其中，所述失调事件为所述虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据在预设持续时长内互不协调的事件；
调取所述影像设备在所述失调时间段中的待检测运行指标，并判断所述待检测运行指标是否超出预设负荷值；
若超出，将对应于所述失调时间段的数字人活动影像截取到预设存储区域中；
其中，在所述监测所述虚拟3D数字人在所述虚拟场景下的行为关联数据之后，还包括：
从预设存储区域中提取与所述虚拟场景相匹配的关联数据集合，所述关联数据集合中记录有多组标准关联数据，其中每组标准关联数据用于指示数字人在所述预设持续时长内，连贯生成的标准肢体动作、标准神态动作以及标准语音数据；
获取所述虚拟场景下，所述虚拟3D数字人在预设持续时长内的行为关联数据，并将所述行为关联数据与所述关联数据集合进行匹配，确定所述虚拟3D数字人是否出现所述失调事件；
其中，所述将所述行为关联数据与所述关联数据集合进行匹配，确定所述虚拟3D数字人是否出现所述失调事件，包括：
获取所述行为关联数据所反映的，所述虚拟3D数字人在所述虚拟场景下，实际生成的行为肢体数据、行为神态数据以及行为语音数据；
将所述实际生成的行为肢体数据、行为神态数据以及行为语音数据，与，各组标准关联数据所包括的，标准肢体动作、标准神态动作以及标准语音数据分别一一进行匹配；
若没有检测到存在与所述行为肢体数据、行为神态数据以及行为语音数据一一匹配的标准肢体动作、标准神态动作以及标准语音数据，确定所述虚拟3D数字人出现所述失调事件；
其中，所述将所述实际生成的行为肢体数据、行为神态数据以及行为语音数据，与，各组标准关联数据所包括的，标准肢体动作、标准神态动作以及标准语音数据分别一一进行匹配，包括：
确定一组标准关联数据中，是否存在有与所述行为肢体数据相同的标准肢体动作，且与所述行为神态动作相同的标准神态动作，且与所述行为语音数据相同的标准语音数据；
若不存在，确定所述虚拟3D数字人出现所述失调事件；
若存在，检测所述一组标准关联数据中，所述标准肢体动作与所述标准神态动作与所述标准语音数据之间的第一间隔时长；以及，检测所述行为肢体数据与所述行为神态数据与所述行为语音数据之间的第二间隔时长；
确定所述第一间隔时长与所述第二间隔时长是否相同；
若是，确定所述虚拟3D数字人没有出现所述失调事件；
若否，确定所述虚拟3D数字人出现所述失调事件。
2.如权利要求1所述的方法，其特征在于，在所述确定所述第一间隔时长与所述第二间隔时长是否相同之后，还包括：
检测所述一组标准关联数据所包括的，用于指示数字人在所述虚拟场景下所处的第一位置；
检测所述行为关联数据所包括的，所述虚拟3D数字人在所述虚拟场景下所处的第二位置；
检测所述第一位置与所述第二位置是否相同；
若是，确定所述虚拟3D数字人没有出现所述失调事件；
若否，确定所述虚拟3D数字人出现所述失调事件。
3.如权利要求1所述的方法，其特征在于，所述调取所述影像设备在所述失调时间段中的待检测运行指标，并判断所述待检测运行指标是否超出预设负荷值，包括：
获取所述待检测运行指标所包括的，所述影像设备的CPU占用比以及发热值；
基于所述CPU占用比是否超过预设阈值，以及所述发热值是否超过预设温度值，判断所述待检测运行指标是否超出所述预设负荷值。
4.如权利要求3所述的方法，其特征在于，在所述基于所述CPU占用比是否超过预设阈值，以及所述发热值是否超过预设温度值，判断所述待检测运行指标是否超出所述预设负荷值之后，还包括：
若确定超出，获取所述CPU占用比超过所述预设阈值，以及所述发热值超过所述预设温度值所对应的失调时间点；
检测在所述失调时间点时，所述虚拟3D数字人的失调行为数据，所述失调行为数据包括行为肢体数据、行为神态数据以及行为语音数据的至少一种；以及，将包括所述失调时间点在内的预设时长的活动影像作为所述数字人活动影像；
将所述数字人活动影像与所述失调行为数据截取到预设存储区域中。
5.一种3D数字人的行为数据挖掘系统，其特征在于，包括：
数字人创建模块，被配置为根据目标对象建立虚拟3D数字人，并将所述虚拟3D数字人加载到影像设备的虚拟场景中；以及，监测所述影像设备的运行指标；
行为数据监测模块，被配置为监测所述虚拟3D数字人在所述虚拟场景下的行为关联数据，所述行为关联数据用于反映在预设持续时长内，所述虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据；
行为数据判断模块，被配置为当基于所述行为关联数据，检测到所述虚拟3D数字人出现失调事件时，确定触发所述失调事件的失调时间段，其中，所述失调事件为所述虚拟3D数字人的行为肢体数据、行为神态数据以及行为语音数据在预设持续时长内互不协调的事件；
行为数据调取模块，被配置为调取所述影像设备在所述失调时间段中的待检测运行指标，并判断所述待检测运行指标是否超出预设负荷值；
行为数据存储模块，被配置为若超出，将对应于所述失调时间段的数字人活动影像截取到预设存储区域中；
其中，在所述监测所述虚拟3D数字人在所述虚拟场景下的行为关联数据之后，还包括：
从预设存储区域中提取与所述虚拟场景相匹配的关联数据集合，所述关联数据集合中记录有多组标准关联数据，其中每组标准关联数据用于指示数字人在所述预设持续时长内，连贯生成的标准肢体动作、标准神态动作以及标准语音数据；
获取所述虚拟场景下，所述虚拟3D数字人在预设持续时长内的行为关联数据，并将所述行为关联数据与所述关联数据集合进行匹配，确定所述虚拟3D数字人是否出现所述失调事件；
其中，所述将所述行为关联数据与所述关联数据集合进行匹配，确定所述虚拟3D数字人是否出现所述失调事件，包括：
获取所述行为关联数据所反映的，所述虚拟3D数字人在所述虚拟场景下，实际生成的行为肢体数据、行为神态数据以及行为语音数据；
将所述实际生成的行为肢体数据、行为神态数据以及行为语音数据，与，各组标准关联数据所包括的，标准肢体动作、标准神态动作以及标准语音数据分别一一进行匹配；
若没有检测到存在与所述行为肢体数据、行为神态数据以及行为语音数据一一匹配的标准肢体动作、标准神态动作以及标准语音数据，确定所述虚拟3D数字人出现所述失调事件；
其中，所述将所述实际生成的行为肢体数据、行为神态数据以及行为语音数据，与，各组标准关联数据所包括的，标准肢体动作、标准神态动作以及标准语音数据分别一一进行匹配，包括：
确定一组标准关联数据中，是否存在有与所述行为肢体数据相同的标准肢体动作，且与所述行为神态动作相同的标准神态动作，且与所述行为语音数据相同的标准语音数据；
若不存在，确定所述虚拟3D数字人出现所述失调事件；
若存在，检测所述一组标准关联数据中，所述标准肢体动作与所述标准神态动作与所述标准语音数据之间的第一间隔时长；以及，检测所述行为肢体数据与所述行为神态数据与所述行为语音数据之间的第二间隔时长；
确定所述第一间隔时长与所述第二间隔时长是否相同；
若是，确定所述虚拟3D数字人没有出现所述失调事件；
若否，确定所述虚拟3D数字人出现所述失调事件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310676466.2A CN116704607B (zh) | 2023-06-08 | 2023-06-08 | 一种3d数字人的行为数据挖掘方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310676466.2A CN116704607B (zh) | 2023-06-08 | 2023-06-08 | 一种3d数字人的行为数据挖掘方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116704607A CN116704607A (zh) | 2023-09-05 |
| CN116704607B true CN116704607B (zh) | 2024-01-26 |
Family
ID=87835277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310676466.2A Active CN116704607B (zh) | 2023-06-08 | 2023-06-08 | 一种3d数字人的行为数据挖掘方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116704607B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113473159A (zh) * | 2020-03-11 | 2021-10-01 | 广州虎牙科技有限公司 | 数字人直播方法、装置、直播管理设备及可读存储介质 |
| CN114870407A (zh) * | 2022-04-29 | 2022-08-09 | 深圳市中视典数字科技有限公司 | 一种基于虚拟现实的数字人体数据采集系统及方法 |
| KR102527771B1 (ko) * | 2022-11-11 | 2023-05-02 | 주식회사 인텔리빅스 | Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법 |
-
2023
- 2023-06-08 CN CN202310676466.2A patent/CN116704607B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113473159A (zh) * | 2020-03-11 | 2021-10-01 | 广州虎牙科技有限公司 | 数字人直播方法、装置、直播管理设备及可读存储介质 |
| CN114870407A (zh) * | 2022-04-29 | 2022-08-09 | 深圳市中视典数字科技有限公司 | 一种基于虚拟现实的数字人体数据采集系统及方法 |
| KR102527771B1 (ko) * | 2022-11-11 | 2023-05-02 | 주식회사 인텔리빅스 | Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116704607A (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107050850A (zh) | 虚拟场景的录制和回放方法、装置以及回放系统 | |
| CN110879850B (zh) | 抖动参数的获取方法、装置、设备及存储介质 | |
| CN108984256A (zh) | 界面显示方法、装置、存储介质及电子设备 | |
| CN108228444A (zh) | 一种测试方法和装置 | |
| KR20170104846A (ko) | 가상현실 콘텐츠 분석 방법 및 장치 | |
| JP2022020659A (ja) | 通話中の感情を認識し、認識された感情を活用する方法およびシステム | |
| CN111870932B (zh) | 基于游戏的交互处理方法、装置及设备 | |
| CN116704607B (zh) | 一种3d数字人的行为数据挖掘方法及系统 | |
| CN112711542A (zh) | 一种用于手机客户端进行测试环境切换的方法 | |
| CN114115533A (zh) | 智能交互方法和装置 | |
| JP2022505002A (ja) | 拡張現実データの表示方法、装置、機器、記憶媒体及びプログラム | |
| KR20170105905A (ko) | 가상현실 콘텐츠 분석 방법 및 장치 | |
| CN117785677A (zh) | 一种屏幕灵敏度的滑动测试方法、移动终端及存储介质 | |
| CN115374141B (zh) | 虚拟形象的更新处理方法及装置 | |
| CN107506124B (zh) | 视频交友方法及系统 | |
| CN111760276B (zh) | 游戏行为控制方法、装置、终端、服务器和存储介质 | |
| CN112783860B (zh) | 构造镜像数据库的方法、装置、存储介质及计算机设备 | |
| WO2021142975A1 (zh) | 人工智能检测方法及装置、终端和计算机可读存储介质 | |
| CN110209880A (zh) | 视频内容检索方法、视频内容检索装置及存储介质 | |
| CN114344920A (zh) | 基于虚拟场景的数据录制方法、装置、设备及存储介质 | |
| CN113157377A (zh) | 一种Android系统实现对应用部分管控的方法及设备 | |
| CN112948017A (zh) | 引导信息展示方法、装置、终端及存储介质 | |
| KR102493956B1 (ko) | 인터페이스 제공 장치 및 인터페이스 제공 방법 | |
| CN110221756A (zh) | 处理应用数据的方法、装置、终端及存储介质 | |
| US20240193838A1 (en) | Computer-implemented method for controlling a virtual avatar |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |