CN117456611A - 一种基于人工智能的虚拟人物训练方法及系统 - Google Patents

一种基于人工智能的虚拟人物训练方法及系统 Download PDF

Info

Publication number
CN117456611A
CN117456611A CN202311778195.8A CN202311778195A CN117456611A CN 117456611 A CN117456611 A CN 117456611A CN 202311778195 A CN202311778195 A CN 202311778195A CN 117456611 A CN117456611 A CN 117456611A
Authority
CN
China
Prior art keywords
gesture
target
character model
limb
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311778195.8A
Other languages
English (en)
Other versions
CN117456611B (zh
Inventor
陈鹏
陈达剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Tuoshi Intelligent Technology Co ltd
Tuoshe Technology Group Co ltd
Original Assignee
Jiangxi Tuoshi Intelligent Technology Co ltd
Tuoshe Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Tuoshi Intelligent Technology Co ltd, Tuoshe Technology Group Co ltd filed Critical Jiangxi Tuoshi Intelligent Technology Co ltd
Priority to CN202311778195.8A priority Critical patent/CN117456611B/zh
Publication of CN117456611A publication Critical patent/CN117456611A/zh
Application granted granted Critical
Publication of CN117456611B publication Critical patent/CN117456611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Social Psychology (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于人工智能的虚拟人物训练方法及系统，该方法包括：当获取到目标人物图像时，在预设空间坐标系中创建出与目标人物图像适配的初始人物模型，并实时检测出初始人物模型中的各个肢体分别对应的空间坐标；检测出与初始人物模型对应的应用场景，并根据应用场景在预设姿态数据库中提取出与初始人物模型适配的若干目标姿态特征；对若干目标姿态特征以及空间坐标进行融合处理，以生成若干对应的姿态向量，并根据若干姿态向量计算出对应的肢体运动轨迹；基于肢体运动轨迹对初始人物模型进行迭代肢体训练，以生成对应的目标人物模型。本发明能够训练出动作流畅的虚拟人物模型，对应提升了用户的使用体验。

Description

一种基于人工智能的虚拟人物训练方法及系统
技术领域
本发明涉及数据处理技术领域，特别涉及一种基于人工智能的虚拟人物训练方法及系统。
背景技术
随着时代的发展以及科技的进步，人工智能技术日趋成熟，并且在多个领域得到了广泛的应用，其是一种研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技能及应用系统的一门新的技术学科，对应提升了生产力。
其中，人们已经能够通过现有的人工智能技术训练出与各个场景对应的虚拟人物模型，以使生成的虚拟人物模型完成对应的任务以及工作，对应提升了人们的工作效率。
进一步的，现有技术在训练虚拟人物模型的过程中，大部分都是基于获取到的人物图像进行模拟训练，然而，此种训练方式所考虑的因素较为单一，导致训练出的虚拟人物模型的姿态较为僵硬，对应降低了用户的使用体验。
发明内容
基于此，本发明的目的是提供一种基于人工智能的虚拟人物训练方法及系统，以解决现有技术的训练方式所考虑的因素较为单一，导致训练出的虚拟人物模型的姿态较为僵硬的问题。
本发明实施例第一方面提出了：
一种基于人工智能的虚拟人物训练方法，其中，所述方法包括：
当获取到目标人物图像时，在预设空间坐标系中创建出与所述目标人物图像适配的初始人物模型，并实时检测出所述初始人物模型中的各个肢体分别对应的空间坐标；
检测出与所述初始人物模型对应的应用场景，并根据所述应用场景在预设姿态数据库中提取出与所述初始人物模型适配的若干目标姿态特征；
对若干所述目标姿态特征以及所述空间坐标进行融合处理，以生成若干对应的姿态向量，并根据若干所述姿态向量计算出对应的肢体运动轨迹；
基于所述肢体运动轨迹对所述初始人物模型进行迭代肢体训练，以生成对应的目标人物模型。
本发明的有益效果是：通过实时获取需要的目标人物图像，进一步，构建出便于后续训练的初始人物模型，与此同时，检测出当前初始人物模型中的各个肢体分别对应的空间坐标，进一步的，在获取到需要的若干目标姿态特征之后，此时就能够进一步融合出适用于当前各个肢体的肢体运动轨迹。基于此，根据当前肢体运动轨迹对上述各个肢体进行迭代肢体训练，就能够最终训练出能够使用的目标人物模型，并且该目标人物模型能够在与其对应的场景中做出连贯的动作，避免出现僵硬的现象，从而提升了用户的使用体验。
进一步的，所述对若干所述目标姿态特征以及所述空间坐标进行融合处理，以生成若干对应的姿态向量的步骤包括：
通过预设DTW算法对每一所述目标姿态特征进行序列化处理，以生成若干对应的姿态特征序列，每一所述姿态特征序列均具有唯一性；
当获取到每一所述肢体分别对应的空间坐标时，对所述空间坐标进行量化处理，以分别生成若干对应的空间向量；
对若干所述姿态特征序列以及若干所述空间向量进行融合处理，以对应生成若干所述姿态向量。
进一步的，所述对若干所述姿态特征序列以及若干所述空间向量进行融合处理，以对应生成若干所述姿态向量的步骤包括：
逐一提取出每一所述姿态特征序列中分别包含的若干姿态特征因子，并对应提取出所述空间向量中包含的向量因子；
对每一所述姿态特征因子添加第一标识、对每一所述向量因子添加第二标识，并根据所述第一标识和所述第二标识构建出每一所述姿态特征因子与每一所述向量因子之间的映射关系；
基于所述映射关系将若干所述姿态特征因子以及若干所述向量因子融合成对应的姿态矩阵，并基于预设算法对所述姿态矩阵进行解析处理，以对应解析出若干所述姿态向量。
进一步的，所述预设算法的表达式为：
其中，Yi表示所述姿态向量，a0表示解析常数，m表示数量，aj表示所述姿态特征因子，xi，j表示所述向量因子。
进一步的，所述根据若干所述姿态向量计算出对应的肢体运动轨迹的步骤包括：
当获取到若干所述姿态向量时，将每一所述姿态向量分别转换成对应的姿态坐标，并在所述预设空间坐标系中对应标记出每一所述姿态坐标；
逐一连接每一所述姿态坐标，以绘制出对应的姿态曲线，并对所述姿态曲线进行预处理，以对应生成所述肢体运动轨迹。
进一步的，所述基于所述肢体运动轨迹对所述初始人物模型进行迭代肢体训练，以生成对应的目标人物模型的步骤包括：
当获取到所述肢体运动轨迹时，逐一检测出每一所述肢体的重心，并对应检测出所述肢体运动轨迹包含的起始点以及终止点；
将所述重心调整至所述起始点处，并分别检测出与所述起始点对应的第一目标坐标、与所述终止点对应的第二目标坐标；
控制每一所述肢体的重心在所述第一目标坐标、所述第二目标坐标以及所述肢体运动轨迹的范围内进行迭代肢体训练，以生成所述目标人物模型。
进一步的，所述方法还包括：
当获取到所述目标人物模型时，调出与所述应用场景适配的目标人物，并将所述目标任务输入至所述目标人物模型中；
实时采集所述目标人物模型输出的执行结果，并实时判断所述执行结果是否满足预设要求；
若实时判断到所述执行结果满足所述预设要求，则判定所述目标人物模型满足所述应用场景的使用条件，并完成所述目标人物模型的训练。
本发明实施例第二方面提出了：
一种基于人工智能的虚拟人物训练系统，其中，所述系统包括：
检测模块，用于当获取到目标人物图像时，在预设空间坐标系中创建出与所述目标人物图像适配的初始人物模型，并实时检测出所述初始人物模型中的各个肢体分别对应的空间坐标；
提取模块，用于检测出与所述初始人物模型对应的应用场景，并根据所述应用场景在预设姿态数据库中提取出与所述初始人物模型适配的若干目标姿态特征；
融合模块，用于对若干所述目标姿态特征以及所述空间坐标进行融合处理，以生成若干对应的姿态向量，并根据若干所述姿态向量计算出对应的肢体运动轨迹；
训练模块，用于基于所述肢体运动轨迹对所述初始人物模型进行迭代肢体训练，以生成对应的目标人物模型。
进一步的，所述融合模块具体用于：
通过预设DTW算法对每一所述目标姿态特征进行序列化处理，以生成若干对应的姿态特征序列，每一所述姿态特征序列均具有唯一性；
当获取到每一所述肢体分别对应的空间坐标时，对所述空间坐标进行量化处理，以分别生成若干对应的空间向量；
对若干所述姿态特征序列以及若干所述空间向量进行融合处理，以对应生成若干所述姿态向量。
进一步的，所述融合模块还具体用于：
逐一提取出每一所述姿态特征序列中分别包含的若干姿态特征因子，并对应提取出所述空间向量中包含的向量因子；
对每一所述姿态特征因子添加第一标识、对每一所述向量因子添加第二标识，并根据所述第一标识和所述第二标识构建出每一所述姿态特征因子与每一所述向量因子之间的映射关系；
基于所述映射关系将若干所述姿态特征因子以及若干所述向量因子融合成对应的姿态矩阵，并基于预设算法对所述姿态矩阵进行解析处理，以对应解析出若干所述姿态向量。
进一步的，所述预设算法的表达式为：
其中，Yi表示所述姿态向量，a0表示解析常数，m表示数量，aj表示所述姿态特征因子，xi，j表示所述向量因子。
进一步的，所述融合模块还具体用于：
当获取到若干所述姿态向量时，将每一所述姿态向量分别转换成对应的姿态坐标，并在所述预设空间坐标系中对应标记出每一所述姿态坐标；
逐一连接每一所述姿态坐标，以绘制出对应的姿态曲线，并对所述姿态曲线进行预处理，以对应生成所述肢体运动轨迹。
进一步的，所述训练模块具体用于：
当获取到所述肢体运动轨迹时，逐一检测出每一所述肢体的重心，并对应检测出所述肢体运动轨迹包含的起始点以及终止点；
将所述重心调整至所述起始点处，并分别检测出与所述起始点对应的第一目标坐标、与所述终止点对应的第二目标坐标；
控制每一所述肢体的重心在所述第一目标坐标、所述第二目标坐标以及所述肢体运动轨迹的范围内进行迭代肢体训练，以生成所述目标人物模型。
进一步的，所述基于人工智能的虚拟人物训练系统还包括判断模块，所述判断模块具体用于：
当获取到所述目标人物模型时，调出与所述应用场景适配的目标人物，并将所述目标任务输入至所述目标人物模型中；
实时采集所述目标人物模型输出的执行结果，并实时判断所述执行结果是否满足预设要求；
若实时判断到所述执行结果满足所述预设要求，则判定所述目标人物模型满足所述应用场景的使用条件，并完成所述目标人物模型的训练。
本发明实施例第三方面提出了：
一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上面所述的基于人工智能的虚拟人物训练方法。
本发明实施例第四方面提出了：
一种可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上面所述的基于人工智能的虚拟人物训练方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为本发明第一实施例提供的基于人工智能的虚拟人物训练方法的流程图；
图2为本发明第六实施例提供的基于人工智能的虚拟人物训练系统的结构框图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，所示为本发明第一实施例提供的基于人工智能的虚拟人物训练方法，本实施例提供的基于人工智能的虚拟人物训练方法能够使训练出的目标人物模型在与其对应的场景中做出连贯的动作，避免出现僵硬的现象，从而提升了用户的使用体验。
具体的，本实施例提供了：
一种基于人工智能的虚拟人物训练方法，具体包括以下步骤：
步骤S10，当获取到目标人物图像时，在预设空间坐标系中创建出与所述目标人物图像适配的初始人物模型，并实时检测出所述初始人物模型中的各个肢体分别对应的空间坐标；
步骤S20，检测出与所述初始人物模型对应的应用场景，并根据所述应用场景在预设姿态数据库中提取出与所述初始人物模型适配的若干目标姿态特征；
步骤S30，对若干所述目标姿态特征以及所述空间坐标进行融合处理，以生成若干对应的姿态向量，并根据若干所述姿态向量计算出对应的肢体运动轨迹；
步骤S40，基于所述肢体运动轨迹对所述初始人物模型进行迭代肢体训练，以生成对应的目标人物模型。
具体的，在本实施例中，首先需要说明的是，由于现有的虚拟人物模型均是立体模型，基于此，就首先需要设置在后台的服务器创建出一个空间坐标系。进一步的，为了满足不同用户的需求，还需要实时接收用户输入的目标人物图像，具体的，该目标人物图像中的人物就是当前用户需要创建出的虚拟人物模型。基于此，通过现有的三维绘图软件在上述空间坐标系中实时创建出与当前目标人物图像适配的初始人物模型。其中，需要指出的是，该初始人物模型包含有完整的四肢以及头部、身体，但是还不能执行需要的动作，从而需要对当前初始人物模型进行动作训练。
进一步的，实时检测出当前初始人物模型中的各个肢体在上述空间坐标系中分别对应的空间坐标。与此同时，根据用户的需求实时检测出与当前初始人物模型对应的应用场景，具体的，例如可以是新闻播报场景以及天气播报场景等。基于此，此时就能够直接根据应用场景在预先设置好的姿态数据库中提取出与当前初始人物模型适配的若干目标姿态特征，即当前初始人物模型需要在应用场景中执行的动作。更进一步的，为了能够使当前初始人物模型准确的执行需要的动作，此时需要进一步对当前若干目标姿态特征以及上述空间坐标进行融合处理，并对应融合出需要的姿态向量，具体的，该姿态向量是一种能够被计算的参数。基于此，实时根据当前若干姿态向量计算出对应的肢体运动轨迹。在此基础之上，最后根据当前肢体运动轨迹对上述初始人物模型进行迭代肢体训练，就能够最终训练出能够执行相应动作的目标人物模型，以对应满足不同用户的需求。
第二实施例
进一步的，所述对若干所述目标姿态特征以及所述空间坐标进行融合处理，以生成若干对应的姿态向量的步骤包括：
通过预设DTW算法对每一所述目标姿态特征进行序列化处理，以生成若干对应的姿态特征序列，每一所述姿态特征序列均具有唯一性；
当获取到每一所述肢体分别对应的空间坐标时，对所述空间坐标进行量化处理，以分别生成若干对应的空间向量；
对若干所述姿态特征序列以及若干所述空间向量进行融合处理，以对应生成若干所述姿态向量。
具体的，在本实施例中，需要说明的是，为了能够准确的完成目标姿态特征与空间坐标之间的融合处理，以对应准确的生成需要的姿态向量。具体的，上述服务器会通过预先设置在其内部的DTW算法对实时产生的每个目标姿态特征进行序列化处理，以对应转换成若干姿态特征序列，具体的，该姿态特征序列是一种特定的计算机代码，并且每个姿态特征序列均具有唯一性。
进一步的，由于每个肢体均含有一个对应的重心，基于此，为了便于后续的处理，实时获取与每个肢体的重心分别对应的空间坐标，与此同时，对每个空间坐标进行量化处理，即将每个肢体重心的空间坐标转换成便于后续计算的空间向量。基于此，实时对当前若干姿态特征序列以及若干空间向量进行融合处理，就能够对应生成若干需要的姿态向量。
进一步的，所述对若干所述姿态特征序列以及若干所述空间向量进行融合处理，以对应生成若干所述姿态向量的步骤包括：
逐一提取出每一所述姿态特征序列中分别包含的若干姿态特征因子，并对应提取出所述空间向量中包含的向量因子；
对每一所述姿态特征因子添加第一标识、对每一所述向量因子添加第二标识，并根据所述第一标识和所述第二标识构建出每一所述姿态特征因子与每一所述向量因子之间的映射关系；
基于所述映射关系将若干所述姿态特征因子以及若干所述向量因子融合成对应的姿态矩阵，并基于预设算法对所述姿态矩阵进行解析处理，以对应解析出若干所述姿态向量。
具体的，在本实施例中，还需要说明的是，在通过上述步骤分别获取到需要的姿态特征序列以及空间向量之后，此时需要首先提取出当前每个姿态特征序列中分别包含的若干姿态特征因子，与此同时，提取出每个空间向量中包含的向量因子。具体的，当前姿态特征因子和向量因子都是一种计算机参数。进一步的，为了能够准确的对两者进行融合，此时需要对当前每个姿态特征因子添加对应的第一标识，对应的，对每个向量因子添加对应的第二标识，即对每个姿态特征因子以及每个向量因子分别添加对应的序号。基于此，就能够直接根据当前第一标识以及第二标识构建出当前每个姿态特征因子与每个向量因子之间的映射关系。进一步的，再实时根据当前映射关系将当前若干姿态特征因子以及若干向量因子融合成对应的姿态矩阵，基于此，只需要进一步对当前字条矩阵进行解析处理，就能够最终解析出上述姿态向量。
第三实施例
进一步的，所述预设算法的表达式为：
其中，Yi表示所述姿态向量，a0表示解析常数，m表示数量，aj表示所述姿态特征因子，xi，j表示所述向量因子。
另外，在本实施例中，需要说明的是，为了能够准确的获取到需要的姿态向量，本实施例会预先在上述服务器的内部编写有上述预设算法，并且在实时检测到产生的姿态矩阵之后，就会立即启用当前预设算法。
进一步的，在实时获取到需要的姿态矩阵之后，只需要直接将当前姿态矩阵对应输入至当前预设算法的内部，该算法能够自动解析出当前姿态矩阵中分别包含的数量、姿态特征因子以及向量因子，并最终输出需要的姿态向量。
进一步的，所述根据若干所述姿态向量计算出对应的肢体运动轨迹的步骤包括：
当获取到若干所述姿态向量时，将每一所述姿态向量分别转换成对应的姿态坐标，并在所述预设空间坐标系中对应标记出每一所述姿态坐标；
逐一连接每一所述姿态坐标，以绘制出对应的姿态曲线，并对所述姿态曲线进行预处理，以对应生成所述肢体运动轨迹。
另外，在本实施例中，还需要说明的是，在通过上述步骤获取到需要的姿态向量之后，为了便于生成后续的肢体运动轨迹，此时可以进一步将当前姿态向量逆转换成对应的姿态坐标，与此同时，在上述空间坐标系中国实时标记出当前每个姿态坐标。进一步的，此时只需要逐一连接当前每个姿态坐标，就能够直接绘制出对应的姿态曲线，基于此，再实时对当前姿态曲线进行对应的平滑处理，就能够生成对应的肢体运动轨迹。
第四实施例
进一步的，所述基于所述肢体运动轨迹对所述初始人物模型进行迭代肢体训练，以生成对应的目标人物模型的步骤包括：
当获取到所述肢体运动轨迹时，逐一检测出每一所述肢体的重心，并对应检测出所述肢体运动轨迹包含的起始点以及终止点；
将所述重心调整至所述起始点处，并分别检测出与所述起始点对应的第一目标坐标、与所述终止点对应的第二目标坐标；
控制每一所述肢体的重心在所述第一目标坐标、所述第二目标坐标以及所述肢体运动轨迹的范围内进行迭代肢体训练，以生成所述目标人物模型。
其中，在本实施例中，需要指出的是，在通过上述步骤获取到需要的肢体运动轨迹之后，为了能够准确、有效的完成各个肢体的迭代训练，需要实时检测出每个肢体的重心，并对应检测出上述肢体运动轨迹所分别包含的起始点以及终止点。基于此，将每个的肢体的重心实时调整至当前肢体运动轨迹的起始点处，与此同时，为了能够有效的限制肢体的位移量，此时还需要进一步检测出与上述起始点对应的第一目标坐标，以及与上述终止点对应的第二目标坐标。在此基础之上，只需要控制当前每个肢体的重心在上述第一目标坐标、第二目标坐标以及肢体运动轨迹的范围内进行迭代肢体训练，就能够最终对应训练出需要的目标人物模型。
第五实施例
进一步的，所述方法还包括：
当获取到所述目标人物模型时，调出与所述应用场景适配的目标人物，并将所述目标任务输入至所述目标人物模型中；
实时采集所述目标人物模型输出的执行结果，并实时判断所述执行结果是否满足预设要求；
若实时判断到所述执行结果满足所述预设要求，则判定所述目标人物模型满足所述应用场景的使用条件，并完成所述目标人物模型的训练。
其中，在本实施例中，需要指出的是，在实时获取到需要的目标人物模型之后，此时还需要实时验证当前目标人物模型是否最终满足用户的使用要求，基于此，需要实时将当前目标人物模型应用在上述应用场景中，并将当前应用场景需要执行的目标人物输入至当前目标人物模型的内部。
进一步的，上述服务器会实时采集当前目标人物模型输出的执行结果，并实时判断该执行结果是否满足预设要求，具体的，若是，则立即判定当前目标人物模型能够满足当前应用场景的使用条件，则对应完成了当前目标人物模型的训练。对应的，若否，则判定不能够满足当前应用场景的使用条件，并需要对当前目标人物模型进行对应的修复。
请参阅图2，本发明第六实施例提供了：
一种基于人工智能的虚拟人物训练系统，其中，所述系统包括：
检测模块，用于当获取到目标人物图像时，在预设空间坐标系中创建出与所述目标人物图像适配的初始人物模型，并实时检测出所述初始人物模型中的各个肢体分别对应的空间坐标；
提取模块，用于检测出与所述初始人物模型对应的应用场景，并根据所述应用场景在预设姿态数据库中提取出与所述初始人物模型适配的若干目标姿态特征；
融合模块，用于对若干所述目标姿态特征以及所述空间坐标进行融合处理，以生成若干对应的姿态向量，并根据若干所述姿态向量计算出对应的肢体运动轨迹；
训练模块，用于基于所述肢体运动轨迹对所述初始人物模型进行迭代肢体训练，以生成对应的目标人物模型。
进一步的，所述融合模块具体用于：
通过预设DTW算法对每一所述目标姿态特征进行序列化处理，以生成若干对应的姿态特征序列，每一所述姿态特征序列均具有唯一性；
当获取到每一所述肢体分别对应的空间坐标时，对所述空间坐标进行量化处理，以分别生成若干对应的空间向量；
对若干所述姿态特征序列以及若干所述空间向量进行融合处理，以对应生成若干所述姿态向量。
进一步的，所述融合模块还具体用于：
逐一提取出每一所述姿态特征序列中分别包含的若干姿态特征因子，并对应提取出所述空间向量中包含的向量因子；
对每一所述姿态特征因子添加第一标识、对每一所述向量因子添加第二标识，并根据所述第一标识和所述第二标识构建出每一所述姿态特征因子与每一所述向量因子之间的映射关系；
基于所述映射关系将若干所述姿态特征因子以及若干所述向量因子融合成对应的姿态矩阵，并基于预设算法对所述姿态矩阵进行解析处理，以对应解析出若干所述姿态向量。
进一步的，所述预设算法的表达式为：
其中，Yi表示所述姿态向量，a0表示解析常数，m表示数量，aj表示所述姿态特征因子，xi，j表示所述向量因子。
进一步的，所述融合模块还具体用于：
当获取到若干所述姿态向量时，将每一所述姿态向量分别转换成对应的姿态坐标，并在所述预设空间坐标系中对应标记出每一所述姿态坐标；
逐一连接每一所述姿态坐标，以绘制出对应的姿态曲线，并对所述姿态曲线进行预处理，以对应生成所述肢体运动轨迹。
进一步的，所述训练模块具体用于：
当获取到所述肢体运动轨迹时，逐一检测出每一所述肢体的重心，并对应检测出所述肢体运动轨迹包含的起始点以及终止点；
将所述重心调整至所述起始点处，并分别检测出与所述起始点对应的第一目标坐标、与所述终止点对应的第二目标坐标；
控制每一所述肢体的重心在所述第一目标坐标、所述第二目标坐标以及所述肢体运动轨迹的范围内进行迭代肢体训练，以生成所述目标人物模型。
进一步的，所述基于人工智能的虚拟人物训练系统还包括判断模块，所述判断模块具体用于：
当获取到所述目标人物模型时，调出与所述应用场景适配的目标人物，并将所述目标任务输入至所述目标人物模型中；
实时采集所述目标人物模型输出的执行结果，并实时判断所述执行结果是否满足预设要求；
若实时判断到所述执行结果满足所述预设要求，则判定所述目标人物模型满足所述应用场景的使用条件，并完成所述目标人物模型的训练。
本发明第七实施例提供了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上面所述的基于人工智能的虚拟人物训练方法。
本发明第八实施例提供了一种可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上面所述的基于人工智能的虚拟人物训练方法。
综上所述，本发明上述实施例提供的基于人工智能的虚拟人物训练方法及系统能够使训练出的目标人物模型在与其对应的场景中做出连贯的动作，避免出现僵硬的现象，从而提升了用户的使用体验。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于人工智能的虚拟人物训练方法，其特征在于，所述方法包括：
当获取到目标人物图像时，在预设空间坐标系中创建出与所述目标人物图像适配的初始人物模型，并实时检测出所述初始人物模型中的各个肢体分别对应的空间坐标；
检测出与所述初始人物模型对应的应用场景，并根据所述应用场景在预设姿态数据库中提取出与所述初始人物模型适配的若干目标姿态特征；
对若干所述目标姿态特征以及所述空间坐标进行融合处理，以生成若干对应的姿态向量，并根据若干所述姿态向量计算出对应的肢体运动轨迹；
基于所述肢体运动轨迹对所述初始人物模型进行迭代肢体训练，以生成对应的目标人物模型。
2.根据权利要求1所述的基于人工智能的虚拟人物训练方法，其特征在于：所述对若干所述目标姿态特征以及所述空间坐标进行融合处理，以生成若干对应的姿态向量的步骤包括：
通过预设DTW算法对每一所述目标姿态特征进行序列化处理，以生成若干对应的姿态特征序列，每一所述姿态特征序列均具有唯一性；
当获取到每一所述肢体分别对应的空间坐标时，对所述空间坐标进行量化处理，以分别生成若干对应的空间向量；
对若干所述姿态特征序列以及若干所述空间向量进行融合处理，以对应生成若干所述姿态向量。
3.根据权利要求2所述的基于人工智能的虚拟人物训练方法，其特征在于：所述对若干所述姿态特征序列以及若干所述空间向量进行融合处理，以对应生成若干所述姿态向量的步骤包括：
逐一提取出每一所述姿态特征序列中分别包含的若干姿态特征因子，并对应提取出所述空间向量中包含的向量因子；
对每一所述姿态特征因子添加第一标识、对每一所述向量因子添加第二标识，并根据所述第一标识和所述第二标识构建出每一所述姿态特征因子与每一所述向量因子之间的映射关系；
基于所述映射关系将若干所述姿态特征因子以及若干所述向量因子融合成对应的姿态矩阵，并基于预设算法对所述姿态矩阵进行解析处理，以对应解析出若干所述姿态向量。
4.根据权利要求3所述的基于人工智能的虚拟人物训练方法，其特征在于：所述预设算法的表达式为：
其中，Yi表示所述姿态向量，a0表示解析常数，m表示数量，aj表示所述姿态特征因子，xi，j表示所述向量因子。
5.根据权利要求1所述的基于人工智能的虚拟人物训练方法，其特征在于：所述根据若干所述姿态向量计算出对应的肢体运动轨迹的步骤包括：
当获取到若干所述姿态向量时，将每一所述姿态向量分别转换成对应的姿态坐标，并在所述预设空间坐标系中对应标记出每一所述姿态坐标；
逐一连接每一所述姿态坐标，以绘制出对应的姿态曲线，并对所述姿态曲线进行预处理，以对应生成所述肢体运动轨迹。
6.根据权利要求1所述的基于人工智能的虚拟人物训练方法，其特征在于：所述基于所述肢体运动轨迹对所述初始人物模型进行迭代肢体训练，以生成对应的目标人物模型的步骤包括：
当获取到所述肢体运动轨迹时，逐一检测出每一所述肢体的重心，并对应检测出所述肢体运动轨迹包含的起始点以及终止点；
将所述重心调整至所述起始点处，并分别检测出与所述起始点对应的第一目标坐标、与所述终止点对应的第二目标坐标；
控制每一所述肢体的重心在所述第一目标坐标、所述第二目标坐标以及所述肢体运动轨迹的范围内进行迭代肢体训练，以生成所述目标人物模型。
7.根据权利要求6所述的基于人工智能的虚拟人物训练方法，其特征在于：所述方法还包括：
当获取到所述目标人物模型时，调出与所述应用场景适配的目标人物，并将所述目标任务输入至所述目标人物模型中；
实时采集所述目标人物模型输出的执行结果，并实时判断所述执行结果是否满足预设要求；
若实时判断到所述执行结果满足所述预设要求，则判定所述目标人物模型满足所述应用场景的使用条件，并完成所述目标人物模型的训练。
8.一种基于人工智能的虚拟人物训练系统，其特征在于，所述系统包括：
检测模块，用于当获取到目标人物图像时，在预设空间坐标系中创建出与所述目标人物图像适配的初始人物模型，并实时检测出所述初始人物模型中的各个肢体分别对应的空间坐标；
提取模块，用于检测出与所述初始人物模型对应的应用场景，并根据所述应用场景在预设姿态数据库中提取出与所述初始人物模型适配的若干目标姿态特征；
融合模块，用于对若干所述目标姿态特征以及所述空间坐标进行融合处理，以生成若干对应的姿态向量，并根据若干所述姿态向量计算出对应的肢体运动轨迹；
训练模块，用于基于所述肢体运动轨迹对所述初始人物模型进行迭代肢体训练，以生成对应的目标人物模型。
9.一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于人工智能的虚拟人物训练方法。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任意一项所述的基于人工智能的虚拟人物训练方法。
CN202311778195.8A 2023-12-22 2023-12-22 一种基于人工智能的虚拟人物训练方法及系统 Active CN117456611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311778195.8A CN117456611B (zh) 2023-12-22 2023-12-22 一种基于人工智能的虚拟人物训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311778195.8A CN117456611B (zh) 2023-12-22 2023-12-22 一种基于人工智能的虚拟人物训练方法及系统

Publications (2)

Publication Number Publication Date
CN117456611A true CN117456611A (zh) 2024-01-26
CN117456611B CN117456611B (zh) 2024-03-29

Family

ID=89584041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311778195.8A Active CN117456611B (zh) 2023-12-22 2023-12-22 一种基于人工智能的虚拟人物训练方法及系统

Country Status (1)

Country Link
CN (1) CN117456611B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019120032A1 (zh) * 2017-12-21 2019-06-27 Oppo广东移动通信有限公司 模型构建方法、拍照方法、装置、存储介质及终端
CN110354489A (zh) * 2019-08-08 2019-10-22 腾讯科技（深圳）有限公司 虚拟对象的控制方法、装置、终端及存储介质
CN111694429A (zh) * 2020-06-08 2020-09-22 北京百度网讯科技有限公司 虚拟对象驱动方法、装置、电子设备及可读存储
CN111880659A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 虚拟人物控制方法及装置、设备、计算机可读存储介质
WO2021218547A1 (zh) * 2020-04-26 2021-11-04 北京外号信息技术有限公司 用于在现实场景中叠加直播人物影像的方法和电子设备
WO2021232229A1 (zh) * 2020-05-19 2021-11-25 深圳元戎启行科技有限公司 虚拟场景生成方法、装置、计算机设备和存储介质
CN114220312A (zh) * 2022-01-21 2022-03-22 北京京东方显示技术有限公司 虚拟训练方法、装置以及虚拟训练系统
US20220215583A1 (en) * 2020-01-14 2022-07-07 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, electronic device, and storage medium
WO2022227208A1 (zh) * 2021-04-26 2022-11-03 平安科技（深圳）有限公司 模型训练方法、动作姿态生成方法、装置、设备及介质
CN115331265A (zh) * 2022-10-17 2022-11-11 广州趣丸网络科技有限公司 姿态检测模型的训练方法和数字人的驱动方法、装置
CN116271766A (zh) * 2022-09-07 2023-06-23 彭峻 网球训练的模拟方法及装置、电子设备及存储介质
WO2023124933A1 (zh) * 2021-12-31 2023-07-06 魔珐(上海)信息科技有限公司 虚拟数字人的视频生成方法及装置、存储介质、终端
CN117152208A (zh) * 2023-09-01 2023-12-01 北京百度网讯科技有限公司 虚拟形象的生成方法、深度学习模型的训练方法及装置
CN117173382A (zh) * 2023-10-27 2023-12-05 南京维赛客网络科技有限公司 Vr交互中的虚拟数字人体态矫正方法、系统及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019120032A1 (zh) * 2017-12-21 2019-06-27 Oppo广东移动通信有限公司 模型构建方法、拍照方法、装置、存储介质及终端
CN110354489A (zh) * 2019-08-08 2019-10-22 腾讯科技（深圳）有限公司 虚拟对象的控制方法、装置、终端及存储介质
US20220215583A1 (en) * 2020-01-14 2022-07-07 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, electronic device, and storage medium
WO2021218547A1 (zh) * 2020-04-26 2021-11-04 北京外号信息技术有限公司 用于在现实场景中叠加直播人物影像的方法和电子设备
WO2021232229A1 (zh) * 2020-05-19 2021-11-25 深圳元戎启行科技有限公司 虚拟场景生成方法、装置、计算机设备和存储介质
CN111694429A (zh) * 2020-06-08 2020-09-22 北京百度网讯科技有限公司 虚拟对象驱动方法、装置、电子设备及可读存储
CN111880659A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 虚拟人物控制方法及装置、设备、计算机可读存储介质
WO2022227208A1 (zh) * 2021-04-26 2022-11-03 平安科技（深圳）有限公司 模型训练方法、动作姿态生成方法、装置、设备及介质
WO2023124933A1 (zh) * 2021-12-31 2023-07-06 魔珐(上海)信息科技有限公司 虚拟数字人的视频生成方法及装置、存储介质、终端
CN114220312A (zh) * 2022-01-21 2022-03-22 北京京东方显示技术有限公司 虚拟训练方法、装置以及虚拟训练系统
CN116271766A (zh) * 2022-09-07 2023-06-23 彭峻 网球训练的模拟方法及装置、电子设备及存储介质
CN115331265A (zh) * 2022-10-17 2022-11-11 广州趣丸网络科技有限公司 姿态检测模型的训练方法和数字人的驱动方法、装置
CN117152208A (zh) * 2023-09-01 2023-12-01 北京百度网讯科技有限公司 虚拟形象的生成方法、深度学习模型的训练方法及装置
CN117173382A (zh) * 2023-10-27 2023-12-05 南京维赛客网络科技有限公司 Vr交互中的虚拟数字人体态矫正方法、系统及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUBERT P. H. SHUM 等: "Real-time Physical Modelling of Character Movements with Microsoft Kinect", 《ACM》, 31 December 2012 (2012-12-31) *
李石磊;梁加红;李猛;陈凌;胡志伟;李旭渊;: "基于姿态库和PIK算法的虚拟人全身姿态生成", 系统仿真学报, vol. 23, no. 12, 31 December 2011 (2011-12-31) *
杨文韬 等: "数字人生成和驱动技术研究", 《现代电影技术》, vol. 2023, no. 6, 11 June 2023 (2023-06-11) *

Also Published As

Publication number Publication date
CN117456611B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN111260764B (zh) 一种制作动画的方法、装置及存储介质
CN110288681B (zh) 角色模型的蒙皮方法、装置、介质及电子设备
CN111191599A (zh) 姿态识别方法、装置、设备及存储介质
CN111968165A (zh) 动态人体三维模型补全方法、装置、设备和介质
CN109559363A (zh) 图像的风格化处理方法、装置、介质和电子设备
CN110490959B (zh) 三维图像处理方法及装置、虚拟形象生成方法以及电子设备
CN112052948A (zh) 一种网络模型压缩方法、装置、存储介质和电子设备
CN113379932B (zh) 人体三维模型的生成方法和装置
CN117854155B (zh) 一种人体骨骼动作识别方法及系统
CN113192175A (zh) 模型训练方法、装置、计算机设备和可读存储介质
WO2024198747A1 (zh) 动作捕捉数据的处理方法、装置、设备及存储介质
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN112668608A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN115761905A (zh) 一种基于骨骼关节点的潜水员动作识别方法
CN117456611B (zh) 一种基于人工智能的虚拟人物训练方法及系统
CN115482557B (zh) 人体图像生成方法、系统、设备及存储介质
CN113392867A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN116485962A (zh) 一种基于对比学习的动画生成方法及系统
CN114603555B (zh) 移动机器人初始位姿估计方法、系统、计算机及机器人
CN116597402A (zh) 一种场景感知方法及其相关设备
CN115222895A (zh) 图像生成方法、装置、设备以及存储介质
CN114202606A (zh) 图像处理方法、电子设置、存储介质及计算机程序产品
CN114299370A (zh) 一种基于云边协同的物联网场景感知方法及装置
Mandil et al. Combining vision and tactile sensation for video prediction
Malek-Podjaski et al. Adversarial Attention for Human Motion Synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant