CN116033139B - 一种数字虚拟人裸眼3d显示方法及系统 - Google Patents
一种数字虚拟人裸眼3d显示方法及系统 Download PDFInfo
- Publication number
- CN116033139B CN116033139B CN202211620950.5A CN202211620950A CN116033139B CN 116033139 B CN116033139 B CN 116033139B CN 202211620950 A CN202211620950 A CN 202211620950A CN 116033139 B CN116033139 B CN 116033139B
- Authority
- CN
- China
- Prior art keywords
- action
- model
- parameters
- dynamic
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000009471 action Effects 0.000 claims abstract description 128
- 230000001427 coherent effect Effects 0.000 claims abstract description 31
- 230000006399 behavior Effects 0.000 claims description 146
- 238000013507 mapping Methods 0.000 claims description 87
- 238000000605 extraction Methods 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000000354 decomposition reaction Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 14
- 238000009877 rendering Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种数字虚拟人裸眼3D显示方法及系统，其方法包括：根据2D图像的特征点获取3D样本模型，将2D图像的特征点和每个特征点的纹理参数映射到所述3D样本模型上，得到所述2D图像对应的3D虚拟人物形象，设置所述3D虚拟人物形象的动态行为参数，将所述动态行为参数与3D虚拟人物形象相关联，构建展示空间的三维空间模型并对其进行渲染，将3D虚拟人物形象映射到渲染后的三维空间模型中，在三维空间模型中进行3D虚拟人物形象的显示，根据显示结果对3D虚拟人物形象的显示位置进行校对工作。可以使得3D虚拟人物在展示过程中做出各种连贯的动态动作，提高了智能性以及用户的体验感。
Description
技术领域
本发明涉及3D虚拟技术领域，尤其涉及一种数字虚拟人裸眼3D显示方法及系统。
背景技术
目前，随着科技的发展，3D模型技术越来越完善并被应用到各个行业领域中，例如，在很多商业场所由于其店铺繁多，地形复杂，产品众多，新品不断推出，若配备众多的导购人员，人力成本十分昂贵，于是各大商场等一般都会配备相应的3D人物虚拟模型，各访客可以与虚拟3D人物进行交互以查询商场的店铺入驻情况，以及各店铺的地理位置等，3D人物虚拟模型的构建方法一般都是通过图像采集的方式获取特征点然后构建模型，其不仅可以在显示屏内进行显示还可以在三维立体空间内进行虚拟展示，但是其仅仅可以维持静态展示而无法实现动态展示，降低了使用人员的体验感。
发明内容
针对上述所显示出来的问题，本发明提供了一种数字虚拟人裸眼3D显示方法及系统用以解决背景技术中提到的现有的模型展示方法仅仅可以维持静态展示而无法实现动态展示，降低了使用人员的体验感的问题。
一种数字虚拟人裸眼3D显示方法，包括以下步骤：
根据2D图像的特征点获取3D样本模型，将2D图像的特征点和每个特征点的纹理参数映射到所述3D样本模型上，得到所述2D图像对应的3D虚拟人物形象；
设置所述3D虚拟人物形象的动态行为参数，将所述动态行为参数与3D虚拟人物形象相关联；
构建展示空间的三维空间模型并对其进行渲染，将3D虚拟人物形象映射到渲染后的三维空间模型中；
在三维空间模型中进行3D虚拟人物形象的显示，根据显示结果对3D虚拟人物形象的显示位置进行校对工作。
优选的，所述根据2D图像的特征点获取3D样本模型，将2D图像的特征点和每个特征点的纹理参数映射到所述3D样本模型上，得到所述2D图像对应的3D虚拟人物形象，包括：
通过机器视觉算法提取出目标人物的2D图像中的特征点，根据提取特征点生成目标人物的轮廓参数同时确定目标人物的外观元素；
在预设3D人物模型库中获取与所述外观元素匹配度最大的的样本人物模型作为所述3D样本模型；
在所述2D图像中采集每个特征点的像素纹理参数；
根据所述轮廓参数对所述3D样本模型进行平面参数化，得到模型上三维轮廓点与2D图像的二维轮廓点之间的坐标映射关系，根据所述坐标映射关系将每个特征点的纹理参数映射到所述3D样本模型上，得到所述2D图像对应的3D虚拟人物形象。
优选的，所述设置所述3D虚拟人物形象的动态行为参数，将所述动态行为参数与3D虚拟人物形象相关联，包括：
获取预设数量个动态行为以及每个动态行为对应的行为特征；
提取所述3D虚拟人物形象的模型控制程序参数，根据所述程序参数获取在3D虚拟人物形象运行的程序代码格式；
根据所述程序代码格式将每个动态行为对应的行为特征进行编码以生成程序操作序列；
将所述程序操作序列写入到3D模型中以实现动态行为与3D虚拟人物形象相关联。
优选的，所述构建展示空间的三维空间模型并对其进行渲染，将3D虚拟人物形象映射到渲染后的三维空间模型中，包括：
获取所述展示空间的各项测量参数，基于所述各项测量参数和显示屏的尺寸参数构建展示空间在显示屏内的等比例缩放三维空间模型；
获取所述展示空间的背景参数和环境因子，根据所述背景参数和环境因子对所述三维空间模型进行渲染，获取渲染后的三维空间模型；
提取所述3D虚拟人物形象的模型文件，根据模型文件确定驱动映射能量评估值；
根据所述驱动映射能量评估值选择映射模式，通过所述映射模式将3D虚拟人物形象映射到渲染后的三维空间模型中以实现3D虚拟人物形象和三维空间模型的同步可视化。
优选的，所述在三维空间模型中进行3D虚拟人物形象的显示，根据显示结果对3D虚拟人物形象的显示位置进行校对工作，包括：
根据3D虚拟人物形象在三维空间模型所在显示屏中的显示占比确定显示屏的视觉比例系数；
基于所述视觉比例系数确定显示屏所映射的空间中各个范围内的视野因子；
根据所述视野因子计算出3D虚拟人物形象相对于每个范围内的清晰度；
基于所述清晰度对对3D虚拟人物形象的显示位置和显示比例进行自适应调整以满足所有范围内的显示清晰度大于等于预设清晰度为止。
优选的，所述通过机器视觉算法提取出目标人物的2D图像中的特征点，包括：
获取任意数量个样本图像，将所述任意数量个训练图像划分为训练集和验证集；
通过机器视觉算法提取训练集中的第一样本图像的特征点的广义描述因子和狭义描述因子；
根据所述广义描述因子和狭义描述因子训练预设神经网络模型以获取特征点提取模型，利用验证集中的第二样本图像验证所述特征点提取模型的提取精度；
当提取精度大于等于预设阈值时，利用所述特征点提取模型提取出目标人物的2D图像中的特征点。
优选的，所述获取预设数量个动态行为以及每个动态行为对应的行为特征，包括：
解析每个动态行为获取该动态行为的多个行为拆分帧，根据每个拆分帧的动作参数构建每个动态行为的连贯动作序列；
基于每个动态行为的连贯动作序列，利用预设时态匹配算法对每个动态行为的连贯动作序列进行行为序列匹配，获取匹配结果；
将每个动态行为的连贯动作序列的匹配结果中与该动态行为的连贯动作序列的匹配度最大的目标行为序列确认为匹配行为序列；
对每个动态行为的匹配行为序列进行特征分析，根据分析结果获取每个动态行为对应的行为特征。
优选的，所述提取所述3D虚拟人物形象的模型文件，根据模型文件确定驱动映射能量评估值，包括：
从远程控制终端获取3D虚拟人物形象的对应模型的模型文件；
确定所述模型文件的文件格式，基于所述文件格式确定在三维空间模型中映射所述模型文件的约束条件；
根据所述约束条件生成优化映射模态参数，根据所述优化映射模态参数生成映射优化模型，根据模型文件的文件内存确定在约束条件的原始映射参数；
利用所述映射优化模型对原始映射参数进行优化，获取目标映射参数；
根据所述目标映射参数确定驱动映射能量评估值。
一种数字虚拟人裸眼3D显示系统，该系统包括：
第一映射模块，用于根据2D图像的特征点获取3D样本模型，将2D图像的特征点和每个特征点的纹理参数映射到所述3D样本模型上，得到所述2D图像对应的3D虚拟人物形象；
设置模块，用于设置所述3D虚拟人物形象的动态行为参数，将所述动态行为参数与3D虚拟人物形象相关联；
第二映射模块，用于构建展示空间的三维空间模型并对其进行渲染，将3D虚拟人物形象映射到渲染后的三维空间模型中；
校正模块，用于在三维空间模型中进行3D虚拟人物形象的显示，根据显示结果对3D虚拟人物形象的显示位置进行校对工作。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明所提供的一种数字虚拟人裸眼3D显示方法的工作流程图；
图2为本发明所提供的一种数字虚拟人裸眼3D显示方法的另一工作流程图；
图3为本发明所提供的一种数字虚拟人裸眼3D显示方法的又一工作流程图；
图4为本发明所提供的一种数字虚拟人裸眼3D显示系统的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
目前，随着科技的发展，3D模型技术越来越完善并被应用到各个行业领域中，例如，在很多商业场所由于其店铺繁多，地形复杂，产品众多，新品不断推出，若配备众多的导购人员，人力成本十分昂贵，于是各大商场等一般都会配备相应的3D人物虚拟模型，各访客可以与虚拟3D人物进行交互以查询商场的店铺入驻情况，以及各店铺的地理位置等，3D人物虚拟模型的构建方法一般都是通过图像采集的方式获取特征点然后构建模型，其不仅可以在显示屏内进行显示还可以在三维立体空间内进行虚拟展示，但是其仅仅可以维持静态展示而无法实现动态展示，降低了使用人员的体验感。为了解决上述问题，本实施例公开了一种数字虚拟人裸眼3D显示方法。
一种数字虚拟人裸眼3D显示方法，如图1所示，包括以下步骤：
步骤S101、根据2D图像的特征点获取3D样本模型，将2D图像的特征点和每个特征点的纹理参数映射到所述3D样本模型上，得到所述2D图像对应的3D虚拟人物形象；
步骤S102、设置所述3D虚拟人物形象的动态行为参数，将所述动态行为参数与3D虚拟人物形象相关联；
步骤S103、构建展示空间的三维空间模型并对其进行渲染，将3D虚拟人物形象映射到渲染后的三维空间模型中；
步骤S104、在三维空间模型中进行3D虚拟人物形象的显示，根据显示结果对3D虚拟人物形象的显示位置进行校对工作。
在本实施例中，2D图像的特征点表示为2D图像的人物轮廓和造型以及体态特征点集合；
在本实施例中，纹理参数表示为2D图像中人物的皮肤纹理和面相纹理以及身体结构纹理参数；
在本实施例中，动态行为参数表示为3D虚拟人物形象的交互行为设置参数，例如打招呼，提供各类查询服务、挥手、跳舞等动作参数；
在本实施例中，三维空间模型表示为承载3D虚拟人物形象的虚拟空间模型；
在本实施例中，校对表示为对根据3D虚拟人物形象的展示效果对其进行位置和角度的校对。
上述技术方案的工作原理为：根据2D图像的特征点获取3D样本模型，将2D图像的特征点和每个特征点的纹理参数映射到所述3D样本模型上，得到所述2D图像对应的3D虚拟人物形象，设置所述3D虚拟人物形象的动态行为参数，将所述动态行为参数与3D虚拟人物形象相关联，构建展示空间的三维空间模型并对其进行渲染，将3D虚拟人物形象映射到渲染后的三维空间模型中，在三维空间模型中进行3D虚拟人物形象的显示，根据显示结果对3D虚拟人物形象的显示位置进行校对工作。
上述技术方案的有益效果为：通过选择3D样本模型可以使得构建的3D虚拟人物与实际情况更加吻合，提高了模型显示立体效果，进一步地，通过将每个特征点的纹理参数映射到所述3D样本模型可以使得构建的虚拟人物形象的纹理细节更加到位，保证了逼真感，提高了使用人员的体验感，进一步地，通过设置3D虚拟人物的动态行为参数可以使得其可以在展示过程中做出各种连贯的动态动作，提高了智能性以及用户的体验感。解决了现有技术中现有展示方法仅仅可以维持静态展示而无法实现动态展示，降低了使用人员的体验感的问题。
在一个实施例中，所述根据2D图像的特征点获取3D样本模型，将2D图像的特征点和每个特征点的纹理参数映射到所述3D样本模型上，得到所述2D图像对应的3D虚拟人物形象，包括：
通过机器视觉算法提取出目标人物的2D图像中的特征点，根据提取特征点生成目标人物的轮廓参数同时确定目标人物的外观元素；
在预设3D人物模型库中获取与所述外观元素匹配度最大的的样本人物模型作为所述3D样本模型；
在所述2D图像中采集每个特征点的像素纹理参数；
根据所述轮廓参数对所述3D样本模型进行平面参数化，得到模型上三维轮廓点与2D图像的二维轮廓点之间的坐标映射关系，根据所述坐标映射关系将每个特征点的纹理参数映射到所述3D样本模型上，得到所述2D图像对应的3D虚拟人物形象。
在本实施例中，轮廓参数表示为目标人物的下半身体形轮廓参数和上半身体形及头型轮廓参数；
在本实施例中，外观元素可以为皮肤颜色，头发颜色和眼睛鼻子嘴巴大小等元素。
上述技术方案的有益效果为：通过确定目标人物的外观元素可以快速地根据其进行样本模型的匹配，使得获取的3D样本模型更加与目标人物适配，提高了实用性，进一步地，通过以坐标的方式来精确地将每个特征点的纹理参数映射到3D样本模型上可以最大化地避免纹理映射误差，提高了稳定性和可靠性。
在一个实施例中，如图2所示，所述设置所述3D虚拟人物形象的动态行为参数，将所述动态行为参数与3D虚拟人物形象相关联，包括：
步骤S201、获取预设数量个动态行为以及每个动态行为对应的行为特征；
步骤S202、提取所述3D虚拟人物形象的模型控制程序参数，根据所述程序参数获取在3D虚拟人物形象运行的程序代码格式；
步骤S203、根据所述程序代码格式将每个动态行为对应的行为特征进行编码以生成程序操作序列；
步骤S204、将所述程序操作序列写入到3D模型中以实现动态行为与3D虚拟人物形象相关联。
在本实施例中，行为特征表示为每个动态行为的行为分解动作特征；
在本实施例中，模型控制程序参数表示为控制3D虚拟人物形象实施各种功能时的控制程序相应参数；
在本实施例中，程序操作序列表示为每个动态行为对应的控制操作程序序列参数
上述技术方案的有益效果为：通过将行为特征编码为3D虚拟人物形象的程序操作序列可以通过远程或者让3D虚拟人物形象自动控制以实现每个动态行为的操作，进一步地提高了智能性和可靠性。
在一个实施例中，所述构建展示空间的三维空间模型并对其进行渲染，将3D虚拟人物形象映射到渲染后的三维空间模型中，包括：
获取所述展示空间的各项测量参数，基于所述各项测量参数和显示屏的尺寸参数构建展示空间在显示屏内的等比例缩放三维空间模型；
获取所述展示空间的背景参数和环境因子，根据所述背景参数和环境因子对所述三维空间模型进行渲染，获取渲染后的三维空间模型；
提取所述3D虚拟人物形象的模型文件，根据模型文件确定驱动映射能量评估值；
根据所述驱动映射能量评估值选择映射模式，通过所述映射模式将3D虚拟人物形象映射到渲染后的三维空间模型中以实现3D虚拟人物形象和三维空间模型的同步可视化。
在本实施例中，测量参数可以为体积测量参数、底面积测量参数等；
在本实施例中，模型文件表示为3D虚拟人物形象的模型程序文件；
在本实施例中，驱动映射能量评估值表示为在三维空间模型中映射3D虚拟人物形象所需要的系统能量评估值；
在本实施例中，每个映射模式对应不同的映射能量值，通过进行能量值匹配以确定3D虚拟人物形象的映射模式。
上述技术方案的有益效果为：通过构建等比例缩放三维空间模型可以保证整个展示空间的视觉效果展示，进一步地提高了使用者的体验感，进一步地，通过根据所述背景参数和环境因子对所述三维空间模型进行渲染可以快速地渲染出与展示空间实体情况相同的三维空间模型，提高了渲染效率，进一步地，通过计算出驱动映射能量可以保证在映射结果中的稳定性以及对于3D虚拟人物形象的映射成功率，极大地提高了容错率。
在一个实施例中，所述在三维空间模型中进行3D虚拟人物形象的显示，根据显示结果对3D虚拟人物形象的显示位置进行校对工作，包括：
根据3D虚拟人物形象在三维空间模型所在显示屏中的显示占比确定显示屏的视觉比例系数；
基于所述视觉比例系数确定显示屏所映射的空间中各个范围内的视野因子；
根据所述视野因子计算出3D虚拟人物形象相对于每个范围内的清晰度；
基于所述清晰度对对3D虚拟人物形象的显示位置和显示比例进行自适应调整以满足所有范围内的显示清晰度大于等于预设清晰度为止。
在本实施例中，视觉比例系数表示为3D虚拟人物形象在三维空间模型中的视觉观看比例系数。
上述技术方案的有益效果为：通过根据每个范围的视觉清晰度来对3D虚拟人物形象的显示位置和显示比例进行自适应调整可以保证D虚拟人物形象的最佳显示效果，进一步地提高了实用性和使用人员的体验感。
在一个实施例中，如图3所示，所述通过机器视觉算法提取出目标人物的2D图像中的特征点，包括：
步骤S301、获取任意数量个样本图像，将所述任意数量个训练图像划分为训练集和验证集；
步骤S302、通过机器视觉算法提取训练集中的第一样本图像的特征点的广义描述因子和狭义描述因子；
步骤S303、根据所述广义描述因子和狭义描述因子训练预设神经网络模型以获取特征点提取模型，利用验证集中的第二样本图像验证所述特征点提取模型的提取精度；
步骤S304、当提取精度大于等于预设阈值时，利用所述特征点提取模型提取出目标人物的2D图像中的特征点。
在本实施例中，特征点的广义描述因子表示为特征点的通用描述术语因子；
在本实施例中，特征点的狭义描述因子表示为特征点的独立描述因子。
上述技术方案的有益效果为：通过机器视觉算法提取训练集中的第一样本图像的特征点的广义描述因子和狭义描述因子可以获取每个特征点的全面描述因子使得后续在进行特征提取时避免出现提取遗漏情况的发生，进一步地提高了稳定性和可靠性。
在一个实施例中，所述获取预设数量个动态行为以及每个动态行为对应的行为特征，包括：
解析每个动态行为获取该动态行为的多个行为拆分帧，根据每个拆分帧的动作参数构建每个动态行为的连贯动作序列；
基于每个动态行为的连贯动作序列，利用预设时态匹配算法对每个动态行为的连贯动作序列进行行为序列匹配，获取匹配结果；
将每个动态行为的连贯动作序列的匹配结果中与该动态行为的连贯动作序列的匹配度最大的目标行为序列确认为匹配行为序列；
对每个动态行为的匹配行为序列进行特征分析，根据分析结果获取每个动态行为对应的行为特征。
上述技术方案的有益效果为：通过获取每个动态行为的匹配行为序列可以精确地从数据库中调取每个动态行为的精细行为解析序列进而精准地提取出对应的行为特征，保证了提取结果的精度和可靠性。
在本实施例中，解析每个动态行为获取该动态行为的多个行为拆分帧，根据每个拆分帧的动作参数构建每个动态行为的连贯动作序列，包括：
从预设数据库中调取多个动态动作元素，将任意两个动态动作元素进行组合生成组合动作；
获取每个组合动作的元素特征，根据所述元素特征构建每个组合动作的动态模型；
按照预设频率捕捉每个动态行为的分解动作影像，调用适配的目标动态模型对所述分解动作影像进行行为元素分析，根据分析元素生成每个动态行为的多个行为拆分帧；
将每个动态行为的多个行为拆分帧输入到预先构建的基于提取局部动作信息的第一卷积神经网络模型和基于提取全局动作信息的第二卷积神经网络模型中获取独立的第一动作参数和连贯的第二动作参数；
获取每个拆分帧的视频帧序号；
根据视频帧序号将每个动态行为的多个独立的第一动作参数进行糅合，获取糅合结果；
对比糅合结果和所述第二工作参数，根据对比结果确定糅合结果中的非连贯动作模态；
确定所述非连贯动作模态对应的关联拆分帧，确定关联拆分帧中的目标第一动作参数和第二动作参数中目标第一动作参数对应的目标第二动作参数的差异项；
在每个动态行为的分解动作影响中获取差异项对应的标准动作轨迹；
根据所述标准动作轨迹对目标第一动作参数和目标第二动作参数进行修正；
对修正后的第一动作参数和第二动作参数进行同步动作姿势捕捉，根据捕捉姿势构建每个动态行为的连贯动作序列。
上述技术方案的有益效果为：通过对每个动态行为进行连贯动作参数分解和独立动作参数分解进而确定二者是否完全相同从而利用标准动作轨迹对不相同的动作参数进行修正可以最大化地保证在对每个动态行为进行动作捕捉时保证捕捉效果，为后续进行连贯动作序列的生成奠定了条件，进一步地提高了实用性和可靠性。
在一个实施例中，所述提取所述3D虚拟人物形象的模型文件，根据模型文件确定驱动映射能量评估值，包括：
从远程控制终端获取3D虚拟人物形象的对应模型的模型文件；
确定所述模型文件的文件格式，基于所述文件格式确定在三维空间模型中映射所述模型文件的约束条件；
根据所述约束条件生成优化映射模态参数，根据所述优化映射模态参数生成映射优化模型，根据模型文件的文件内存确定在约束条件的原始映射参数；
利用所述映射优化模型对原始映射参数进行优化，获取目标映射参数；
根据所述目标映射参数确定驱动映射能量评估值。
上述技术方案的有益效果为：可以最大化地保证对于模型文件的映射稳定性，同时也可以克服3D人物模型和三维空间模型的模型参数冲突来保证二者的兼容性，进一步地提高了实用性和稳定性。
本实施例还公开了一种数字虚拟人裸眼3D显示系统，如图4所示，该系统包括：
第一映射模块401，用于根据2D图像的特征点获取3D样本模型，将2D图像的特征点和每个特征点的纹理参数映射到所述3D样本模型上，得到所述2D图像对应的3D虚拟人物形象；
设置模块402，用于设置所述3D虚拟人物形象的动态行为参数，将所述动态行为参数与3D虚拟人物形象相关联；
第二映射模块403，用于构建展示空间的三维空间模型并对其进行渲染，将3D虚拟人物形象映射到渲染后的三维空间模型中；
校正模块404，用于在三维空间模型中进行3D虚拟人物形象的显示，根据显示结果对3D虚拟人物形象的显示位置进行校对工作。
上述技术方案的工作原理及有益效果在方法权利要求中已经说明，此处不再赘述。
本领域技术人员应当理解的是，本发明中的第一、第二指的是不同应用阶段而已。
本领域技术用户员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (7)
1.一种数字虚拟人裸眼3D显示方法，其特征在于，包括以下步骤：
根据2D图像的特征点获取3D样本模型，将2D图像的特征点和每个特征点的纹理参数映射到所述3D样本模型上，得到所述2D图像对应的3D虚拟人物形象；
设置所述3D虚拟人物形象的动态行为参数，将所述动态行为参数与3D虚拟人物形象相关联；
构建展示空间的三维空间模型并对其进行渲染，将3D虚拟人物形象映射到渲染后的三维空间模型中；
在三维空间模型中进行3D虚拟人物形象的显示，根据显示结果对3D虚拟人物形象的显示位置进行校对工作；
所述设置所述3D虚拟人物形象的动态行为参数，将所述动态行为参数与3D虚拟人物形象相关联，包括：
获取预设数量个动态行为以及每个动态行为对应的行为特征；
提取所述3D虚拟人物形象的模型控制程序参数，根据所述程序参数获取在3D虚拟人物形象运行的程序代码格式；
根据所述程序代码格式将每个动态行为对应的行为特征进行编码以生成程序操作序列；
将所述程序操作序列写入到3D模型中以实现动态行为与3D虚拟人物形象相关联；
所述获取预设数量个动态行为以及每个动态行为对应的行为特征，包括：
解析每个动态行为获取该动态行为的多个行为拆分帧，根据每个拆分帧的动作参数构建每个动态行为的连贯动作序列；
基于每个动态行为的连贯动作序列，利用预设时态匹配算法对每个动态行为的连贯动作序列进行行为序列匹配，获取匹配结果；
将每个动态行为的连贯动作序列的匹配结果中与该动态行为的连贯动作序列的匹配度最大的目标行为序列确认为匹配行为序列；
对每个动态行为的匹配行为序列进行特征分析，根据分析结果获取每个动态行为对应的行为特征；
解析每个动态行为获取该动态行为的多个行为拆分帧，根据每个拆分帧的动作参数构建每个动态行为的连贯动作序列，包括：
从预设数据库中调取多个动态动作元素，将任意两个动态动作元素进行组合生成组合动作；
获取每个组合动作的元素特征，根据所述元素特征构建每个组合动作的动态模型；
按照预设频率捕捉每个动态行为的分解动作影像，调用适配的目标动态模型对所述分解动作影像进行行为元素分析，根据分析元素生成每个动态行为的多个行为拆分帧；
将每个动态行为的多个行为拆分帧输入到预先构建的基于提取局部动作信息的第一卷积神经网络模型和基于提取全局动作信息的第二卷积神经网络模型中获取独立的第一动作参数和连贯的第二动作参数；
获取每个拆分帧的视频帧序号；
根据视频帧序号将每个动态行为的多个独立的第一动作参数进行糅合，获取糅合结果；
对比糅合结果和所述第二动作参数，根据对比结果确定糅合结果中的非连贯动作模态；
确定所述非连贯动作模态对应的关联拆分帧，确定关联拆分帧中的目标第一动作参数和第二动作参数中目标第一动作参数对应的目标第二动作参数的差异项；
在每个动态行为的分解动作影响中获取差异项对应的标准动作轨迹；
根据所述标准动作轨迹对目标第一动作参数和目标第二动作参数进行修正；
对修正后的第一动作参数和第二动作参数进行同步动作姿势捕捉，根据捕捉姿势构建每个动态行为的连贯动作序列。
2.根据权利要求1所述的一种数字虚拟人裸眼3D显示方法，其特征在于，所述根据2D图像的特征点获取3D样本模型，将2D图像的特征点和每个特征点的纹理参数映射到所述3D样本模型上，得到所述2D图像对应的3D虚拟人物形象，包括：
通过机器视觉算法提取出目标人物的2D图像中的特征点，根据提取特征点生成目标人物的轮廓参数同时确定目标人物的外观元素；
在预设3D人物模型库中获取与所述外观元素匹配度最大的的样本人物模型作为所述3D样本模型；
在所述2D图像中采集每个特征点的像素纹理参数；
根据所述轮廓参数对所述3D样本模型进行平面参数化，得到模型上三维轮廓点与2D图像的二维轮廓点之间的坐标映射关系，根据所述坐标映射关系将每个特征点的纹理参数映射到所述3D样本模型上，得到所述2D图像对应的3D虚拟人物形象。
3.根据权利要求1所述的一种数字虚拟人裸眼3D显示方法，其特征在于，所述构建展示空间的三维空间模型并对其进行渲染，将3D虚拟人物形象映射到渲染后的三维空间模型中，包括：
获取所述展示空间的各项测量参数，基于所述各项测量参数和显示屏的尺寸参数构建展示空间在显示屏内的等比例缩放三维空间模型；
获取所述展示空间的背景参数和环境因子，根据所述背景参数和环境因子对所述三维空间模型进行渲染，获取渲染后的三维空间模型；
提取所述3D虚拟人物形象的模型文件，根据模型文件确定驱动映射能量评估值；
根据所述驱动映射能量评估值选择映射模式，通过所述映射模式将3D虚拟人物形象映射到渲染后的三维空间模型中以实现3D虚拟人物形象和三维空间模型的同步可视化。
4.根据权利要求1所述的一种数字虚拟人裸眼3D显示方法，其特征在于，所述在三维空间模型中进行3D虚拟人物形象的显示，根据显示结果对3D虚拟人物形象的显示位置进行校对工作，包括：
根据3D虚拟人物形象在三维空间模型所在显示屏中的显示占比确定显示屏的视觉比例系数；
基于所述视觉比例系数确定显示屏所映射的空间中各个范围内的视野因子；
根据所述视野因子计算出3D虚拟人物形象相对于每个范围内的清晰度；
基于所述清晰度对对3D虚拟人物形象的显示位置和显示比例进行自适应调整以满足所有范围内的显示清晰度大于等于预设清晰度为止。
5.根据权利要求2所述的一种数字虚拟人裸眼3D显示方法，其特征在于，所述通过机器视觉算法提取出目标人物的2D图像中的特征点，包括：
获取任意数量个样本图像，将所述任意数量个训练图像划分为训练集和验证集；
通过机器视觉算法提取训练集中的第一样本图像的特征点的广义描述因子和狭义描述因子；
根据所述广义描述因子和狭义描述因子训练预设神经网络模型以获取特征点提取模型，利用验证集中的第二样本图像验证所述特征点提取模型的提取精度；
当提取精度大于等于预设阈值时，利用所述特征点提取模型提取出目标人物的2D图像中的特征点。
6.根据权利要求3所述的一种数字虚拟人裸眼3D显示方法，其特征在于，所述提取所述3D虚拟人物形象的模型文件，根据模型文件确定驱动映射能量评估值，包括：
从远程控制终端获取3D虚拟人物形象的对应模型的模型文件；
确定所述模型文件的文件格式，基于所述文件格式确定在三维空间模型中映射所述模型文件的约束条件；
根据所述约束条件生成优化映射模态参数，根据所述优化映射模态参数生成映射优化模型，根据模型文件的文件内存确定在约束条件的原始映射参数；
利用所述映射优化模型对原始映射参数进行优化，获取目标映射参数；
根据所述目标映射参数确定驱动映射能量评估值。
7.一种数字虚拟人裸眼3D显示系统，其特征在于，该系统包括：
第一映射模块，用于根据2D图像的特征点获取3D样本模型，将2D图像的特征点和每个特征点的纹理参数映射到所述3D样本模型上，得到所述2D图像对应的3D虚拟人物形象；
设置模块，用于设置所述3D虚拟人物形象的动态行为参数，将所述动态行为参数与3D虚拟人物形象相关联；
第二映射模块，用于构建展示空间的三维空间模型并对其进行渲染，将3D虚拟人物形象映射到渲染后的三维空间模型中；
校正模块，用于在三维空间模型中进行3D虚拟人物形象的显示，根据显示结果对3D虚拟人物形象的显示位置进行校对工作；
所述设置所述3D虚拟人物形象的动态行为参数，将所述动态行为参数与3D虚拟人物形象相关联，包括：
获取预设数量个动态行为以及每个动态行为对应的行为特征；
提取所述3D虚拟人物形象的模型控制程序参数，根据所述程序参数获取在3D虚拟人物形象运行的程序代码格式；
根据所述程序代码格式将每个动态行为对应的行为特征进行编码以生成程序操作序列；
将所述程序操作序列写入到3D模型中以实现动态行为与3D虚拟人物形象相关联；
所述获取预设数量个动态行为以及每个动态行为对应的行为特征，包括：
解析每个动态行为获取该动态行为的多个行为拆分帧，根据每个拆分帧的动作参数构建每个动态行为的连贯动作序列；
基于每个动态行为的连贯动作序列，利用预设时态匹配算法对每个动态行为的连贯动作序列进行行为序列匹配，获取匹配结果；
将每个动态行为的连贯动作序列的匹配结果中与该动态行为的连贯动作序列的匹配度最大的目标行为序列确认为匹配行为序列；
对每个动态行为的匹配行为序列进行特征分析，根据分析结果获取每个动态行为对应的行为特征；
解析每个动态行为获取该动态行为的多个行为拆分帧，根据每个拆分帧的动作参数构建每个动态行为的连贯动作序列，包括：
从预设数据库中调取多个动态动作元素，将任意两个动态动作元素进行组合生成组合动作；
获取每个组合动作的元素特征，根据所述元素特征构建每个组合动作的动态模型；
按照预设频率捕捉每个动态行为的分解动作影像，调用适配的目标动态模型对所述分解动作影像进行行为元素分析，根据分析元素生成每个动态行为的多个行为拆分帧；
将每个动态行为的多个行为拆分帧输入到预先构建的基于提取局部动作信息的第一卷积神经网络模型和基于提取全局动作信息的第二卷积神经网络模型中获取独立的第一动作参数和连贯的第二动作参数；
获取每个拆分帧的视频帧序号；
根据视频帧序号将每个动态行为的多个独立的第一动作参数进行糅合，获取糅合结果；
对比糅合结果和所述第二动作参数，根据对比结果确定糅合结果中的非连贯动作模态；
确定所述非连贯动作模态对应的关联拆分帧，确定关联拆分帧中的目标第一动作参数和第二动作参数中目标第一动作参数对应的目标第二动作参数的差异项；
在每个动态行为的分解动作影响中获取差异项对应的标准动作轨迹；
根据所述标准动作轨迹对目标第一动作参数和目标第二动作参数进行修正；
对修正后的第一动作参数和第二动作参数进行同步动作姿势捕捉，根据捕捉姿势构建每个动态行为的连贯动作序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211620950.5A CN116033139B (zh) | 2022-12-16 | 2022-12-16 | 一种数字虚拟人裸眼3d显示方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211620950.5A CN116033139B (zh) | 2022-12-16 | 2022-12-16 | 一种数字虚拟人裸眼3d显示方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116033139A CN116033139A (zh) | 2023-04-28 |
| CN116033139B true CN116033139B (zh) | 2023-12-12 |
Family
ID=86069831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211620950.5A Active CN116033139B (zh) | 2022-12-16 | 2022-12-16 | 一种数字虚拟人裸眼3d显示方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116033139B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108665492A (zh) * | 2018-03-27 | 2018-10-16 | 北京光年无限科技有限公司 | 一种基于虚拟人的舞蹈教学数据处理方法及系统 |
| CN110288680A (zh) * | 2019-05-30 | 2019-09-27 | 盎锐（上海）信息科技有限公司 | 影像生成方法及移动终端 |
| CN113012268A (zh) * | 2021-03-05 | 2021-06-22 | 华南理工大学 | 静态行人图像的运动动态化方法、系统、装置及介质 |
| CN113628322A (zh) * | 2021-07-26 | 2021-11-09 | 阿里巴巴（中国）有限公司 | 图像处理、ar显示与直播方法、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9990760B2 (en) * | 2013-09-03 | 2018-06-05 | 3Ditize Sl | Generating a 3D interactive immersive experience from a 2D static image |
-
2022
- 2022-12-16 CN CN202211620950.5A patent/CN116033139B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108665492A (zh) * | 2018-03-27 | 2018-10-16 | 北京光年无限科技有限公司 | 一种基于虚拟人的舞蹈教学数据处理方法及系统 |
| CN110288680A (zh) * | 2019-05-30 | 2019-09-27 | 盎锐（上海）信息科技有限公司 | 影像生成方法及移动终端 |
| CN113012268A (zh) * | 2021-03-05 | 2021-06-22 | 华南理工大学 | 静态行人图像的运动动态化方法、系统、装置及介质 |
| CN113628322A (zh) * | 2021-07-26 | 2021-11-09 | 阿里巴巴（中国）有限公司 | 图像处理、ar显示与直播方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116033139A (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275518B (zh) | 一种基于混合光流的视频虚拟试穿方法及装置 | |
| CN108573527B (zh) | 一种表情图片生成方法及其设备、存储介质 | |
| EP3644277B1 (en) | Image processing system, image processing method, and program | |
| US9314692B2 (en) | Method of creating avatar from user submitted image | |
| EP3518184B1 (en) | Online modelling for real-time facial animation | |
| US7952577B2 (en) | Automatic 3D modeling system and method | |
| KR102120046B1 (ko) | 오브젝트를 표시하는 방법 | |
| US20240037852A1 (en) | Method and device for reconstructing three-dimensional faces and storage medium | |
| EP3028253A1 (en) | Locating and augmenting object features in images | |
| CN113255052B (zh) | 一种基于虚拟现实的家装方案推荐方法、系统及存储介质 | |
| CN111768477A (zh) | 三维人脸表情基建立方法及装置、存储介质及电子设备 | |
| US10964083B1 (en) | Facial animation models | |
| CN107833503B (zh) | 配网核心作业增强现实仿真培训系统 | |
| CN116583878A (zh) | 用于个性化3d头部模型变形的方法和系统 | |
| CN111539262B (zh) | 一种基于单张图片的运动转移方法及系统 | |
| CN115512014A (zh) | 训练表情驱动生成模型的方法、表情驱动方法及装置 | |
| CN116648733A (zh) | 用于从面部图像提取颜色的方法和系统 | |
| CN108573192B (zh) | 匹配人脸的眼镜试戴方法和装置 | |
| CN112102454A (zh) | 人脸表情的驱动方法、装置、设备及存储介质 | |
| US20230290132A1 (en) | Object recognition neural network training using multiple data sources | |
| CN111028318A (zh) | 一种虚拟人脸合成方法、系统、装置和存储介质 | |
| CN108549484B (zh) | 基于人体动态姿态的人机交互方法和装置 | |
| CN116033139B (zh) | 一种数字虚拟人裸眼3d显示方法及系统 | |
| CN112884556A (zh) | 一种基于混合现实的店铺展示方法、系统、设备和介质 | |
| CN115631516A (zh) | 人脸图像处理方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |