CN115761141B - 一种虚拟数字人三维模型采集装置 - Google Patents

一种虚拟数字人三维模型采集装置 Download PDF

Info

Publication number
CN115761141B
CN115761141B CN202211522260.6A CN202211522260A CN115761141B CN 115761141 B CN115761141 B CN 115761141B CN 202211522260 A CN202211522260 A CN 202211522260A CN 115761141 B CN115761141 B CN 115761141B
Authority
CN
China
Prior art keywords
data
acquisition
task
dimensional model
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211522260.6A
Other languages
English (en)
Other versions
CN115761141A (zh
Inventor
王立军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingtong Intelligent Technology Beijing Co ltd
Original Assignee
Lingtong Intelligent Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lingtong Intelligent Technology Beijing Co ltd filed Critical Lingtong Intelligent Technology Beijing Co ltd
Priority to CN202211522260.6A priority Critical patent/CN115761141B/zh
Publication of CN115761141A publication Critical patent/CN115761141A/zh
Application granted granted Critical
Publication of CN115761141B publication Critical patent/CN115761141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种虚拟数字人三维模型采集装置,包括:管理模块,用于获取虚拟数字人三维模型采集的任务内容,基于任务内容,生成采集任务列表;采集模块,用于确认目标人物,基于采集任务列表采集目标人物的三维模型数据;数据存储模块,用于将三维模型数据进行检测,判断三维模型数据的数据质量是否合格,当数据质量合格时,对三维模型数据进行存储。本发明对采集到的三维模型数据进行数据质量检测,在数据质量合格时,对三维模型数据进行存储,方便虚拟数字人三维模型重建数据的获取,保证虚拟数据人的行为动作更加逼真,提高用户体验感。

Description

一种虚拟数字人三维模型采集装置
技术领域
本发明涉及虚拟数字人三维模型采集技术领域,特别涉及一种虚拟数字人三维模型采集装置。
背景技术
虚拟数字人是通过建模、动作捕捉或AI等科技手段,制作出具有外貌特征和行为模式的虚拟形象,并通过显示设备呈现出来。虚拟数字人可以应用到娱乐、金融、医疗等诸多领域,比如在电影中饰演某个角色,作为银行的虚拟客户经理,或者作为虚拟助理。虚拟人创造的价值主要是打破物理空间限制,提供了更多沉浸感、参与感和互动感。
随着科技的发展人们对应虚拟数字人的要求也越来越高,要求虚拟数字人的行为动作更加接近真实人类,作为虚拟数字人建模过程中的重要一环——真实三维模型数据采集,在数据采集的过程中数据越精准越与真实人类的数据接近,得到虚拟数字人的行为动作就更加接近真实人类,因此本发明提供出一种虚拟数字人三维模型采集装置。
发明内容
本发明提供一种虚拟数字人三维模型采集装置,通过管理模块获取虚拟数字人三维模型采集的任务内容,基于任务内容,生成采集任务列表,为数据虚拟数字人的数据采集提供参考,避免出现数据采集遗漏的情况;通过采集模块确认目标人物,基于采集任务列表采集目标人物的三维模型数据,然后基于数据存储模块将三维模型数据进行检测,判断三维模型数据的数据质量是否合格,确保采集数据的准确性和数据完整性,并在数据质量合格时,对三维模型数据进行存储,方便虚拟数字人对三维模型的重建使得虚拟数据人的行为动作更加贴近真实人类,提高用户体验感。
本发明提供一种虚拟数字人三维模型采集装置,包括:
管理模块,用于获取虚拟数字人三维模型采集的任务内容,基于任务内容,生成采集任务列表;
采集模块,用于确认目标人物,基于采集任务列表采集目标人物的三维模型数据;
数据存储模块,用于将三维模型数据进行检测,判断三维模型数据的数据质量是否合格,当数据质量合格时,对三维模型数据进行存储。
优选的,一种虚拟数字人三维模型采集装置中管理模块,包括:
任务获取单元,用于获取所述虚拟数字人的重建三维模型标准,基于重建三维模型标准,确定虚拟数字人三维模型采集的任务内容;
任务归类单元,基于任务内容得到多个采集任务,并确认各个采集任务之间的关联关系,根据关联关系,将所述任务内容对采集任务进行归类,生成采集任务列表。
优选的,一种虚拟数字人三维模型采集装置中任务归类单元,包括:
第一判断子单元,用于确认各个采集任务对应的待采集数据的采集前置条件,当多个采集任务对应采集前置条件相同时,判定所述多个采集任务之间存在关联关系,否在,判定所述多个采集任务之间不存在关联关系;
第二判断子单元,用于获取存在关联关系的采集任务,作为关联任务,并建立关联任务集合,所述关联任务集合中至少有两个关联任务;
获取各个关联任务的采集时间颗粒度,将采集时间颗粒度大的关联任务的首次数据采集时间作为所述关联任务对应的关联任务集合中全部关联任务的开始采集时间,基于所述开始采集时间对关联任务进行执行。
优选的,一种虚拟数字人三维模型采集装置,所述采集模块,包括:
目标确认单元,用于基于虚拟数字人绑定信息,确认目标人物;
采集调度单元,用于基于采集任务列表,确定各个采集任务对应的待采集数据的数据特征,确定各个采集任务对应的目标采集设备,基于目标采集设备采集目标人物的三维模型数据。
优选的,一种虚拟数字人三维模型采集装置中采集调度单元,包括:
前置准备子单元,用于基于各个采集任务对应的待采集数据的数据特征,确定各个采集任务对应的采集前置条件,根据前置条件生成前置任务;
关系建立子单元,用于基于前置任务与采集任务以及采集任务与采集任务之间的关联关系,建立调度映射关系图谱;
触发子单元,用于执行前置任务,并在前置任务完成后,基于调度映射关系图谱,生成对应的采集任务的触发指令;
数据采集子单元,用于基于触发指令执行对应的采集任务,获得目标人物的多种三维模型数据。
优选的,一种虚拟数字人三维模型采集装置中数据存储模块,包括:
数据检测单元,用于将目标人物的三维模型数据进行分类,根据分类结果对三维模型数据进行第一检测以及第二检测;
结果获取单元,用于基于第一检测的第一结果以及第二检测的第二结果,判断三维模型数据的数据质量是否合格;
数据存储单元,用于三维模型数据的数据质量为合格时,对三维模型数据进行存储。
优选的,一种虚拟数字人三维模型采集装置中数据检测单元,包括:
第一检测子单元,用于基于采集任务列表,确定待采集数据的第一数据种类,生成第一数据列表,同时,根据采集任务与数据种类之间的映射关系,确定已采集到的目标人物的三维模型数据的第二数据种类,生成第二数据列表,基于第一数据列表对第二数据列表进行第一检测,获得第一结果;
其中,所述第一结果是指采集数据是否有数据遗漏,当第一数据列表与第二数据列表一致时,判定采集数据无数据遗漏,否则,判定采集数据有数据遗漏;
第二检测子单元,用于基于第二数据列表,获得单项数据,基于虚拟数字人对目标人物的单项数据进行测试模拟,分别获得多维度检测结果,根据多维度检测结果,生成第二结果;
其中,所述多维度至少包括时效性、准确性以及一致性中一种。
优选的,一种虚拟数字人三维模型采集装置中第二检测子单元,还包括:
模拟子单元,用于虚拟数字人基于实时单项数据进行测试模拟,并录制虚拟数字人的同步视频,将同步视频与目标人物的实际视频进行对比,其中,所述实际视频只显示对应的单项数据的实时动作;
检测子模块,用于将同步视频与实际视频进行对比,获取每个维度的检测值,将所述检测值进行相加得到单项数据质量的评估值,并基于所述评估值判断所述单项数据是否合格,得到第二结果。
优选的,一种虚拟数字人三维模型采集装置中结果获取单元,还包括:
结果确定子单元,用于当第一结果为无数据遗漏时,获取全部单项数据对应的第二结果,当第二结果均为合格时,判定三维模型数据的数据质量为合格;
否则,根据不合格单项数据对应的评估值,通过设备调控单元,对采集设备的设备参数进行调节,并在调节完成后继续进行数据采集;
当第一结果为有数据遗漏时,获取遗漏数据对应的数据类型,基于采集任务列表触发对应的采集任务,获得遗漏补充数据,并对遗漏补充数据进行第二检测,在遗漏数据采集的过程中,第二数据列表中的已采集单项数据同步进行第二检测。
优选的,一种虚拟数字人三维模型采集装置中结果获取单元,还包括:
设备调控子单元,用于获取全部不合格单项数据并分别确定各个不合格单项数据对应的采集设备以及对应的待调节参数;
获取同一采集设备对应的不合格单项数据,建立不合格数据集合;
获取同一不合格数据集合中的不合格单项数据对应的评估值以及每个维度的检测值,确定各个维度的影响权重,建立数据对比列表;
获取数据列表中的平均评估值,同时获取预设评估值,根据预设评估和平均评估值,确定参数调节幅度;
基于数据对比列表,确定各个维度的平均影响权重,基于参数对照表确定每个维度的相关参数,基于平均影响权重对应每个待调节参数的参数调节幅度进行修正,获得最终调节幅度;
根据最终调节幅度对对应的待调节参数进行调节,并在采集设备的待调节参数调节完成后继续执行不合格单项数据对应的采集任务。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明一种虚拟数字人三维模型采集装置的结构示意图;
图2为本发明一种虚拟数字人三维模型采集装置管理模块的结构示意图;
图3为本发明一种虚拟数字人三维模型采集装置采集模块的结构示意图;
图4为本发明一种虚拟数字人三维模型采集装置数据存储模块的结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
本发明提供一种虚拟数字人三维模型采集装置,如图1所示,包括:
管理模块,用于获取虚拟数字人三维模型采集的任务内容,基于任务内容,生成采集任务列表;
采集模块,用于确认目标人物,基于采集任务列表采集目标人物的三维模型数据;
数据存储模块,用于将三维模型数据进行检测,判断三维模型数据的数据质量是否合格,当数据质量合格时,对三维模型数据进行存储。
本实施例中,任务内容是指虚拟数字人三维模型的采集内容,包括采集目标人物身体数据、动作数据以及与语音数据。
本实施例中,目标人物是指被采集三维模型数据的人物。
本实施例中,三维模型数据包括目标人物身体数据、动作数据以及与语言数据。
上述实施例的有益效果:本发明通过管理模块获取虚拟数字人三维模型采集的任务内容,基于任务内容,生成采集任务列表,为数据虚拟数字人的数据采集提供参考,避免出现数据采集遗漏的情况;通过采集模块确认目标人物,基于采集任务列表采集目标人物的三维模型数据,然后基于数据存储模块将三维模型数据进行检测,判断三维模型数据的数据质量是否合格,确保采集数据的准确性和数据完整性,并在数据质量合格时,对三维模型数据进行存储,方便虚拟数字人对三维模型的重建使得虚拟数据人的行为动作更加贴近真实人类,提高用户体验感。
实施例2:
在实施例1的基础上,一种虚拟数字人三维模型采集装置中管理模块,如图2所示,包括:
任务获取单元,用于获取所述虚拟数字人的重建三维模型标准,基于重建三维模型标准,确定虚拟数字人三维模型采集的任务内容;
任务归类单元,用于基于任务内容得到多个采集任务,并确认各个采集任务之间的关联关系,根据关联关系,将所述任务内容对采集任务进行归类,生成采集任务列表。
本实施例中,重建三维模型标准是指根据虚拟数字人通过被采集的数据重建三维模型的过程中需要的数据种类以及数据精度。
本实施例中,采集任务是指在数据采集的过程中需要完成的采集任务,例如采集目标人物的身体数据、动作数据、语音数据等
本实施例中,关联关系是指各个采集任务之间的关联性,与采集任务对应的前置条件是否一样有关,例如采集目标人物点的身体数据以及动作数据前都需要对目标人物骨骼进行关节定位从而方便对应目标人物身体数据以及动作数据的采集,因此身体数据采集任务与动作数据采集任务具有关联关系。
上述实施例的有益效果:本发明通过虚拟数字人的重建三维模型标准,基于重建三维模型标准,确定虚拟数字人三维模型采集的任务内容,由被采集的数据的最终用途,确定数据采集的任务内容,确保任务数据列表包含完整的采集任务内容,为数据采集提供一个精准依据。基于任务内容得到多个采集任务,并确认各个采集任务之间的关联关系,根据关联关系,将所述任务内容对采集任务进行归类,生成采集任务列表,在数据采集前对应采集任务进行归类,方便具有关联关系的采集任务同时进行在确保采集任务有序进行的过程中有效地提高数据采集效率。
实施例3:
在实施例2的基础上,一种虚拟数字人三维模型采集装置中任务归类单元,如图2所示,包括:
第一判断子单元,用于确认各个采集任务对应的待采集数据的采集前置条件,当多个采集任务对应采集前置条件相同时,判定所述多个采集任务之间存在关联关系,否在,判定所述多个采集任务之间不存在关联关系;
第二判断子单元,用于获取存在关联关系的采集任务,作为关联任务,并建立关联任务集合,所述关联任务集合中至少有两个关联任务;
获取各个关联任务的采集时间颗粒度,将采集时间颗粒度大的关联任务的首次数据采集时间作为所述关联任务对应的关联任务集合中全部关联任务的开始采集时间,基于所述开始采集时间对关联任务进行执行。
本实施例中,采集前置条件是指各个采集任务执行的准备工作,例如,在对采集目标人物点的身体数据以及动作数据前都需要对目标人物骨骼进行关节定位,在语音数据采集需要根据目标人物的声音特定对应目标人物的声音进行定位。
本实施例中,关联任务是指具有关联关系的采集任务。
本实施例中,关联任务集合是指具有同一采集前置条件的采集任务所在的数据集合。
本实施例中,采集时间颗粒度是指各个采集任务对应的数据采集的预设周期。采集时间颗粒度大是指预设周期较长。
本实施例中,首次数据采集时间是指系统设定的采集时间颗粒度较大的关联任务对应的数据采集开始时间。
本实施例中,开始采集时间是指在同一关联任务集合种的关联任务的数据采集开始时间。
上述实施例的有益效果:本发明通过采集前置条件对应各个采集任务之间的关联关系进行确定,并建立关联任务集合方便关联任务的同时触发,同时对应关联任务集合中关联任务的开始采集时间进行确定,又开与采集任务的有序进行。
实施例4:
在实施例1的基础上,一种虚拟数字人三维模型采集装置,所述采集模块,如图3所示,包括:
目标确认单元,用于基于虚拟数字人绑定信息,确认目标人物;
采集调度单元,用于基于采集任务列表,确定各个采集任务对应的待采集数据的数据特征,确定各个采集任务对应的目标采集设备,基于目标采集设备采集目标人物的三维模型数据。
本实施例中,绑定信息是指与虚拟数字人绑定的目标人物的信息。
本实施例中,不同的虚拟数字人对应不用的目标人物,以及虚拟数字人只可以完成一个目标人物的三维模型数据的重建,避免了数据混乱。
本实施例中,待采集数据是指每个采集任务对应的采集数据。
本实施例中,目标采集设备包含摄像机、收音器等。
上述实施例的有益效果:本发明通过虚拟数字人的绑定信息确定目标人物,避免多任务情景下数据采集失误,造成数据混乱;基于采集任务列表,确定各个采集任务对应的待采集数据的数据特征,确定各个采集任务对应的目标采集设备,基于目标采集设备采集目标人物的三维模型数据,方便采集数据的质量检测,同时,也有利于在数据质量不合格时,快速确定目标采集设备对目标采集设备济宁参数调节后快速完成数据补充。
实施例5:
在实施例4的基础上,一种虚拟数字人三维模型采集装置中采集调度单元,如图3所示,包括:
前置准备子单元,用于基于各个采集任务对应的待采集数据的数据特征,确定各个采集任务对应的采集前置条件,根据前置条件生成前置任务;
关系建立子单元,用于基于前置任务与采集任务以及采集任务与采集任务之间的关联关系,建立调度映射关系图谱;
触发子单元,用于执行前置任务,并在前置任务完成后,基于调度映射关系图谱,生成对应的采集任务的触发指令;
数据采集子单元,用于基于触发指令执行对应的采集任务,获得目标人物的多种三维模型数据。
本实施例中,调度映射关系图谱是指根据前置任务与采集任务以及采集任务与采集任务之间的关联关系建立的图谱即采集前置条件与关联任务之间的关联关系图。
本实施例中,前置任务是指根据采集前置条件确定的任务,只有在该任务完成后相关的采集任务才可以进行。
本实施例中,触发指令是指触发采集任务的指令,不同的采集任务触发指令不同。
上述实施例的有益效果:本发明根据采集前置条件生成前置任务该任务,并根据前置任务与采集任务以及采集任务与采集任务之间的关联关系建立调度映射关系图谱,为采集任务的调度执行提供了依据,保证了同一关联任务集合中采集任务的同时触发,提高了数据采集的有序性。
实施例6:
在实施例1的基础上,一种虚拟数字人三维模型采集装置中数据存储模块,如图4所示,包括:
数据检测单元,用于将目标人物的三维模型数据进行分类,根据分类结果对三维模型数据进行第一检测以及第二检测;
结果获取单元,用于基于第一检测的第一结果以及第二检测的第二结果,判断三维模型数据的数据质量是否合格;
数据存储单元,用于三维模型数据的数据质量为合格时,对三维模型数据进行存储。
本实施例中,第一检测是指对采集到的三维模型数据的数据种类进行金策,保证没有数据遗漏;第二检测是对各个采集任务对应的单项数据的数据质量进行检测。
上述实施例的有益效果:本发明将目标人物的三维模型数据进行分类,根据分类结果对三维模型数据进行第一检测以及第二检测,对应采集到的三维模型数据济宁两个方面的检测,保证了采集数据的完整性以及准确性,同时基于第一检测的第一结果以及第二检测的第二结果,判断三维模型数据的数据质量是否合格,当三维模型数据的数据质量为合格时,对三维模型数据进行存储,保证了采集数据的有效性,确保采集到的三维模型数据可以用于虚拟数字人的三维模型重建,保证虚拟数字人对目标人物整体数据的精准表达。
实施例7:
在实施例6的基础上,一种虚拟数字人三维模型采集装置中数据检测单元,如图4所示,包括:
第一检测子单元,用于基于采集任务列表,确定待采集数据的第一数据种类,生成第一数据列表,同时,根据采集任务与数据种类之间的映射关系,确定已采集到的目标人物的三维模型数据的第二数据种类,生成第二数据列表,基于第一数据列表对第二数据列表进行第一检测,获得第一结果;
其中,所述第一结果是指采集数据是否有数据遗漏,当第一数据列表与第二数据列表一致时,判定采集数据无数据遗漏,否则,判定采集数据有数据遗漏;
第二检测子单元,用于基于第二数据列表,获得单项数据,基于虚拟数字人对目标人物的单项数据进行测试模拟,分别获得多维度检测结果,根据多维度检测结果,生成第二结果;
其中,所述多维度至少包括时效性、准确性以及一致性中一种。
本实施例中,第一数据种类是指采集任务列表中包含的全部待采集数据的数据种类。第一数据列表是指根据第一数据种类生成的列表。
本实施例中,第二数据种类是指实际采集到的数据的数据种类。第二数据列表是指根据第二数据种类生成的列表。
本实施例中,单项数据是指每个采集任务对应采集到的数据。
本实施例中,测试模拟是指对应采集到的虚拟数字人对目标人物实时三维模型数据进行模拟,该模拟只在改善采集数据后的预设时间内进行验证,是为了对应采集到的三维模型数据的数据质量进行验证。
上述实施例的有益效果:本发明基于采集任务列表,确定待采集数据的第一数据种类,生成第一数据列表,同时,根据采集任务与数据种类之间的映射关系,确定已采集到的目标人物的三维模型数据的第二数据种类,生成第二数据列表,基于第一数据列表对第二数据列表进行第一检测,获得第一检测结果,两个数据列表的生成使得实际采集和目标采集数据种类到的对比更加简单明了,可以快速确定是否存在数据遗漏问题,提高数据遗漏检测的效率。
基于第二数据列表,获得单项数据,基于虚拟数字人对目标人物的单项数据进行测试模拟,分别获得多维度检测结果,根据多维度检测结果,生成第二结果,对单项数据进行多维度检测保证采集数据与目标人物实际数据完全一样,保证了数据准确性与一致性。本发明采用两种检测方式对应三维模型数据进行保证采集到的三维模型数据的准确性,使得虚拟数字人对应目标人物的真实模拟更加接近真人。
实施例8:
在实施例7的基础上,一种虚拟数字人三维模型采集装置中第二检测子单元,如图4所示,还包括:
模拟子单元,用于虚拟数字人基于实时单项数据进行测试模拟,并录制虚拟数字人的同步视频,将同步视频与目标人物的实际视频进行对比,其中,所述实际视频只显示对应的单项数据的实时动作;
检测子模块,用于将同步视频与实际视频进行对比,获取每个维度的检测值,将所述检测值进行相加得到单项数据质量的评估值,并基于所述评估值判断所述单项数据是否合格,得到第二结果。
本实施例中,当单项数据质量的评估值大于预设评估值时,判定所述单项数据合格,否则不合格;
同时,每个维度的检测值还设置了对应的预设门值,当所述检测值小于预设门值时,判断所述单项数据不合格。
本实施例中,同步视频是指虚拟数字人在此时模拟时拍摄的虚拟数字人模拟视频,该是视频中的模拟数字人的行为动作与目标人物同步。
本实施例中,实际视频是指目标人物的实际行为视频。
本实施例中,每个维度的检测值计算如下:
时效性由同步视频和实际视频中虚拟数字人和目标人物的动作时间之间的关系进行表示:
在实际视频与同步视频中分别被选取Nm个抽样动作,实际视频与同步视频中抽样动作一一对应,基于下列公式计算:
Figure BDA0003971573260000131
其中,P1m表示虚拟数字人第m个单项数据的失效性对应的检测值;Nm表示第m个单项数据时效性检测中在同步视频以及实际视频中分别选取的抽样点的总数;tom,i表示第m个单项数据第i个抽样点在实时视频中对应的时间;t1n,i表示第m个单项数据第i个抽样点在同步视频中对应的时间;
其中,抽样点是指在目标人物以及虚拟数字人对目标人物进行测试模拟的过程确定用于时效性检测的某一个行为或者动作。
准确性是指虚拟数字人对目标人物动作模仿或者语言模仿的准确性,从而判断数据采集的准确性,当第M个单项数据为动作数据时准确性具体计算如下:
在实际视频与同步视频中分别被选取Mm个抽样动作,实际视频与同步视频中抽样动作一一对应,基于下列公式计算:
Figure BDA0003971573260000141
其中,P2m,1表示虚拟数字人第m个单项数据的动作准确性对应的检测值;Mm表示第m个单项数据动作准确性检测中在同步视频以及实际视频中分别选取的抽样动作点的总数;Smj表示第m个单项数据的第j个抽样动作中包含的动作向量的总数;μ0m,bmj表示实际视频中第m个单项数据的第j个抽样动作中的第bmj个动作向量;μ1m,bmj表示同步视频中第m个单项数据的第j个抽样动作中的第bmj个动作向量;ωbmj表示第bmj个动作向量在第j个抽样动作中的权重值;δ表示预设的拍摄误差因子,取值在(0,0.2)。
当第M个单项数据为语言数据时,准确性具体计算如下:
在实际视频与同步视频中分别被选取Ym个抽样片段,实际视频与同步视频中抽样动作一一对应,基于下列公式计算:
Figure BDA0003971573260000142
其中,P2m,2表示虚拟数字人第m个单项数据的语言准确性对应的检测值;Ym表示第m个单项数据语言准确性检测中在同步视频以及实际视频中选取的抽样片段的总数;β0m,x表示实际视频中第m个单项数据的第x个抽样片段对应的语意向量;β0m,x表示同步视频中第m个单项数据的第x个抽样片段对应的语意向量。
本实施例中,一致性是指虚拟数字人同步视频与目标人物实际视频之间的一致性,具体计算如下:
P3m=(ρ1*P1m2*P2m)*(1-ε)
其中,P3m虚拟数字人第m个单项数据的一致性对应的检测值;ρ1表示时效性在一致性检测中所占的比重,取值在(0,1);ρ2表示准确性在一致性检测中所占的比重,取值在(0,1),且ρ12=1;ε表示误差因子,取值在(0,0.25);当第m个单项数据为动作数据时P2m=P2m,1,当第m个单项数据为语言数据时P2m=P2m,2
上述实施例的有益效果:本发明根据测试模拟对单项数据的数据质量进行检测,确定每个单项数据都合格,从而保证采集到的全部三维模型数据合格,保证了数据采集的准确性。
实施例9:
在实施例7的基础上,一种虚拟数字人三维模型采集装置中结果获取单元,如图4所示,还包括:
结果确定子单元,用于当第一结果为无数据遗漏时,获取全部单项数据对应的第二结果,当第二结果均为合格时,判定三维模型数据的数据质量为合格;
否则,根据不合格单项数据对应的评估值,通过设备调控单元,对采集设备的设备参数进行调节,并在调节完成后继续进行数据采集;
当第一结果为有数据遗漏时,获取遗漏数据对应的数据类型,基于采集任务列表触发对应的采集任务,获得遗漏补充数据,并对遗漏补充数据进行第二检测,在遗漏数据采集的过程中,第二数据列表中的已采集单项数据同步进行第二检测。
本实施例中,遗漏补充数据是指遗漏的未执行的采集任务对应的数据。
上述实施例的有益效果:本发明首先确定第一检测对应的第一结果是否为数据遗漏判断是否需要补充遗漏数据,然后进行第二检测,确采集的三维模型数据的数据质量达到虚拟数字人的三维模型重建标准。在遗漏数据采集的过程中,第二数据列表中的已采集单项数据同步进行第二检测,节省数据检测时间,提高数据采集存储效率。
实施例10:
在实施例9的基础上,一种虚拟数字人三维模型采集装置中结果获取单元,如图4所示,还包括:
设备调控子单元,用于获取全部不合格单项数据并分别确定各个不合格单项数据对应的采集设备以及对应的待调节参数;
获取同一采集设备对应的不合格单项数据,建立不合格数据集合;
获取同一不合格数据集合中的不合格单项数据对应的评估值以及每个维度的检测值,确定各个维度的影响权重,建立数据对比列表;
获取数据列表中的平均评估值,同时获取预设评估值,根据预设评估和平均评估值,确定参数调节幅度;
基于数据对比列表,确定各个维度的平均影响权重,基于参数对照表确定每个维度的相关参数,基于平均影响权重对应每个待调节参数的参数调节幅度进行修正,获得最终调节幅度;
根据最终调节幅度对对应的待调节参数进行调节,并在采集设备的待调节参数调节完成后继续执行不合格单项数据对应的采集任务。
本实施例中,不合格单项数据是指评估值小于预设评估值的单项数据或者是某一个维度的检测值小于对应的预设门值的单项数据。
本实施例中,不合格数据集合是指用于同一采集设备存放不合格单项数据的集合。
本实施例中,影响权重是指由各个不合格单项数据各个维度的检测值的比值确定。
本实施例中,数据对比列表包含了全部不合格单项数据的各个维度的检测值、评估值以及其对应的影响权重。
本实施例中,参数调节幅度是指根据预设评估值和平均评估值的差值,以及该差值与预设评估值之间的比值确定的调节幅度。
本实施例中,平均影响权重是指由同一不合格数据集合中每个维度的检测值和之间的比值确定。
本实施例中,最终调节幅度是指最终确定每个参数的调节幅度,基于根据平均权重对确定的参数调节幅度进行最终确定得到的值。
上述实施例的有益效果:本发明在确定单项数据不合格时,对单项数据对应的数据种类的数据进行重新采集,在保证采集的三维模型数据的数据质量的同时,也保证了数据的完整性。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种虚拟数字人三维模型采集装置,其特征在于,包括:
管理模块,用于获取虚拟数字人三维模型采集的任务内容,基于任务内容,生成采集任务列表;
采集模块,用于确认目标人物,基于采集任务列表采集目标人物的三维模型数据;
数据存储模块,用于将三维模型数据进行检测,判断三维模型数据的数据质量是否合格,当数据质量合格时,对三维模型数据进行存储;
数据存储模块,包括:
数据检测单元,用于将目标人物的三维模型数据进行分类,根据分类结果对三维模型数据进行第一检测以及第二检测;
结果获取单元,用于基于第一检测的第一结果以及第二检测的第二结果,判断三维模型数据的数据质量是否合格;
数据存储单元,用于三维模型数据的数据质量为合格时,对三维模型数据进行存储;
数据检测单元,包括:
第一检测子单元,用于基于采集任务列表,确定待采集数据的第一数据种类,生成第一数据列表,同时,根据采集任务与数据种类之间的映射关系,确定已采集到的目标人物的三维模型数据的第二数据种类,生成第二数据列表,基于第一数据列表对第二数据列表进行第一检测,获得第一结果;
其中,所述第一结果是指采集数据是否有数据遗漏,当第一数据列表与第二数据列表一致时,判定采集数据无数据遗漏,否则,判定采集数据有数据遗漏;
第二检测子单元,用于基于第二数据列表,获得单项数据,基于虚拟数字人对目标人物的单项数据进行测试模拟,分别获得多维度检测结果,根据多维度检测结果,生成第二结果;
其中,所述多维度至少包括时效性、准确性以及一致性中一种;
所述结果获取单元,还包括:
结果确定子单元,用于当第一结果为无数据遗漏时,获取全部单项数据对应的第二结果,当第二结果均为合格时,判定三维模型数据的数据质量为合格;
否则,根据不合格单项数据对应的评估值,通过设备调控单元,对采集设备的设备参数进行调节,并在调节完成后继续进行数据采集;
当第一结果为有数据遗漏时,获取遗漏数据对应的数据类型,基于采集任务列表触发对应的采集任务,获得遗漏补充数据,并对遗漏补充数据进行第二检测,在遗漏数据采集的过程中,第二数据列表中的已采集单项数据同步进行第二检测;
结果获取单元,还包括:
设备调控子单元,用于获取全部不合格单项数据并分别确定各个不合格单项数据对应的采集设备以及对应的待调节参数;
获取同一采集设备对应的不合格单项数据,建立不合格数据集合;
获取同一不合格数据集合中的不合格单项数据对应的评估值以及每个维度的检测值,确定各个维度的影响权重,建立数据对比列表;
获取数据列表中的平均评估值,同时获取预设评估值,根据预设评估和平均评估值,确定参数调节幅度;
基于数据对比列表,确定各个维度的平均影响权重,基于参数对照表确定每个维度的相关参数,基于平均影响权重对应每个待调节参数的参数调节幅度进行修正,获得最终调节幅度;
根据最终调节幅度对对应的待调节参数进行调节,并在采集设备的待调节参数调节完成后继续执行不合格单项数据对应的采集任务。
2.根据权利要求1所述的一种虚拟数字人三维模型采集装置,其特征在于,管理模块,包括:
任务获取单元,用于获取所述虚拟数字人的重建三维模型标准,基于重建三维模型标准,确定虚拟数字人三维模型采集的任务内容;
任务归类单元,用于基于任务内容得到多个采集任务,并确认各个采集任务之间的关联关系,根据关联关系,将所述任务内容对采集任务进行归类,生成采集任务列表。
3.根据权利要求2所述的一种虚拟数字人三维模型采集装置,其特征在于,任务归类单元,包括:
第一判断子单元,用于确认各个采集任务对应的待采集数据的采集前置条件,当多个采集任务对应采集前置条件相同时,判定所述多个采集任务之间存在关联关系,否在,判定所述多个采集任务之间不存在关联关系;
第二判断子单元,用于获取存在关联关系的采集任务,作为关联任务,并建立关联任务集合,所述关联任务集合中至少有两个关联任务;
获取各个关联任务的采集时间颗粒度,将采集时间颗粒度大的关联任务的首次数据采集时间作为所述关联任务对应的关联任务集合中全部关联任务的开始采集时间,基于所述开始采集时间对关联任务进行执行。
4.根据权利要求1所述的一种虚拟数字人三维模型采集装置,其特征在于,所述采集模块,包括:
目标确认单元,用于基于虚拟数字人绑定信息,确认目标人物;
采集调度单元,用于基于采集任务列表,确定各个采集任务对应的待采集数据的数据特征,确定各个采集任务对应的目标采集设备,基于目标采集设备采集目标人物的三维模型数据。
5.根据权利要求4所述的一种虚拟数字人三维模型采集装置,其特征在于,采集调度单元,包括:
前置准备子单元,用于基于各个采集任务对应的待采集数据的数据特征,确定各个采集任务对应的采集前置条件,根据前置条件生成前置任务;
关系建立子单元,用于基于前置任务与采集任务以及采集任务与采集任务之间的关联关系,建立调度映射关系图谱;
触发子单元,用于执行前置任务,并在前置任务完成后,基于调度映射关系图谱,生成对应的采集任务的触发指令;
数据采集子单元,用于基于触发指令执行对应的采集任务,获得目标人物的多种三维模型数据。
6.根据权利要求1所述的一种虚拟数字人三维模型采集装置,其特征在于,第二检测子单元,还包括:
模拟子单元,用于虚拟数字人基于实时单项数据进行测试模拟,并录制虚拟数字人的同步视频,将同步视频与目标人物的实际视频进行对比,其中,所述实际视频只显示对应的单项数据的实时动作;
检测子模块,用于将同步视频与实际视频进行对比,获取每个维度的检测值,将所述检测值进行相加得到单项数据质量的评估值,并基于所述评估值判断所述单项数据是否合格,得到第二结果。
CN202211522260.6A 2022-11-30 2022-11-30 一种虚拟数字人三维模型采集装置 Active CN115761141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211522260.6A CN115761141B (zh) 2022-11-30 2022-11-30 一种虚拟数字人三维模型采集装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211522260.6A CN115761141B (zh) 2022-11-30 2022-11-30 一种虚拟数字人三维模型采集装置

Publications (2)

Publication Number Publication Date
CN115761141A CN115761141A (zh) 2023-03-07
CN115761141B true CN115761141B (zh) 2023-07-07

Family

ID=85342818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211522260.6A Active CN115761141B (zh) 2022-11-30 2022-11-30 一种虚拟数字人三维模型采集装置

Country Status (1)

Country Link
CN (1) CN115761141B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362666A (zh) * 2019-07-09 2019-10-22 邬欣霖 应用虚拟人物的交互处理方法、装置、存储介质和设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530903A (zh) * 2013-10-28 2014-01-22 智慧城市系统服务(中国)有限公司 一种虚拟试衣间的实现方法及实现系统
US10176643B2 (en) * 2015-03-30 2019-01-08 Capcom Co., Ltd. Method of generating virtual three-dimensional space, video system, method of controlling video system, and non-transitory computer readable storage medium
CN110969682B (zh) * 2019-11-27 2021-03-02 深圳追一科技有限公司 虚拟形象切换方法、装置、电子设备及存储介质
CN115222899B (zh) * 2022-09-21 2023-02-21 湖南草根文化传媒有限公司 虚拟数字人生成方法、系统、计算机设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362666A (zh) * 2019-07-09 2019-10-22 邬欣霖 应用虚拟人物的交互处理方法、装置、存储介质和设备

Also Published As

Publication number Publication date
CN115761141A (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
US10803762B2 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
Jain et al. Three-dimensional CNN-inspired deep learning architecture for Yoga pose recognition in the real-world environment
CN106778867A (zh) 目标检测方法和装置、神经网络训练方法和装置
CN109408384A (zh) 软件应用的测试方法、装置、处理器及电子装置
CN111931585A (zh) 一种课堂专注度的检测方法及装置
CN111026267B (zh) Vr脑电意念控制接口系统
CN110458732A (zh) 培训方法、装置、计算机设备和存储介质
CN108875539A (zh) 表情匹配方法、装置和系统及存储介质
CN110547756A (zh) 一种视力测试方法、装置和系统
CN107694046A (zh) 一种健身运动训练方法、装置及计算机可读存储介质
CA3048542A1 (en) System for peer-to-peer, self-directed or consensus human motion capture, motion characterization, and software-augmented motion evaluation
CN105975072A (zh) 识别手势动作的方法、装置及系统
Beily et al. A sensor based on recognition activities using smartphone
CN110290311B (zh) 用于视频防抖性能测评的抖动轨迹生成方法、装置及系统
CN115761141B (zh) 一种虚拟数字人三维模型采集装置
CN110400119A (zh) 基于人工智能的面试方法、装置、计算机设备和存储介质
CN114373351A (zh) 一种光电经纬仪全景仿真训练系统
CN111949493A (zh) 一种基于推理应用的边缘ai服务器功耗测试方法及装置
CN208848402U (zh) 一种vr安全教育评测系统
KR20170140756A (ko) 동작 교본 저작 장치, 동작 자가 학습 장치 및 방법
CN113611416A (zh) 基于虚拟现实技术心理场景评估方法及系统
CN113538643A (zh) 一种网格模型的处理方法、存储介质以及设备
CN112231220A (zh) 一种游戏测试方法和装置
Neff et al. Modeling relaxed hand shape for character animation
CN110338748A (zh) 快速定位视力值的方法、存储介质、终端及视力检测仪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant