CN111696181A - 超次元模型和虚拟仿真人的生成方法、装置和存储介质 - Google Patents

超次元模型和虚拟仿真人的生成方法、装置和存储介质 Download PDF

Info

Publication number
CN111696181A
CN111696181A CN202010371856.5A CN202010371856A CN111696181A CN 111696181 A CN111696181 A CN 111696181A CN 202010371856 A CN202010371856 A CN 202010371856A CN 111696181 A CN111696181 A CN 111696181A
Authority
CN
China
Prior art keywords
model
super
image
dimensional
element image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010371856.5A
Other languages
English (en)
Inventor
李新福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Kangyun Technology Co ltd
Original Assignee
Guangdong Kangyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Kangyun Technology Co ltd filed Critical Guangdong Kangyun Technology Co ltd
Priority to CN202010371856.5A priority Critical patent/CN111696181A/zh
Publication of CN111696181A publication Critical patent/CN111696181A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种超次元模型和虚拟仿真人的生成方法、装置和存储介质。所述超次元模型的生成方法包括获取目标终端发出的生成请求和标注信息，从所述目标终端相应的数据库中获取多个二次元形象，排列各所述二次元形象，获得时间序列，将所述时间序列和标注信息输入到经过训练的人工智能模型中，以及获取所述人工智能模型输出的超次元模型等步骤。本发明使用经过训练的人工智能模型来输出超次元模型，节省使用成本，提高处理速度；将二次元形象作为生成超次元模型的素材，开辟了素材数据的新来源，所输出的超次元模型一方面具有全新的风格，另一方面包含了用户的心情等个性化信息，能够产生全新的显示效果。本发明广泛应用于图像处理技术领域。

Description

超次元模型和虚拟仿真人的生成方法、装置和存储介质
技术领域
本发明涉及图像处理技术领域，尤其是一种超次元模型和虚拟仿真人的生成方法、装置和存储介质。
背景技术
在虚拟现实和增强现实等领域，需要根据用户的形象，生成虚拟仿真人并显示出来。现有技术主要是使用激光扫描等手段建立三维模型，作为用于生成虚拟仿真人的素材，由于激光扫描技术所依赖的硬件技术和软件技术比较复杂，使用成本也比较高，因此导致了实际上不能以较低成本较快地获得素材，素材的数量和质量难以满足要求，这限制了现有虚拟仿真人生成技术的应用。
发明内容
针对上述至少一个技术问题，本发明的目的在于提供一种超次元模型和虚拟仿真人的生成方法、装置和存储介质。
一方面，本发明实施例包括一种超次元模型的生成方法，包括：
获取目标终端发出的生成请求和标注信息；
从所述目标终端相应的数据库中获取多个二次元形象；
排列各所述二次元形象，获得时间序列；
将所述时间序列和标注信息输入到经过训练的人工智能模型中；
获取所述人工智能模型输出的超次元模型。
进一步地，超次元模型的生成方法还包括以下步骤：
获取多个二次元图像；
从各所述二次元图像提取得到二次元形象；
对提取所得的各所述二次元形象进行分类和赋权，将各所述二次元形象和赋权所得的权值存储到与该目标终端相应的数据库中。
进一步地，所述对提取所得的各所述二次元形象进行分类和赋权这一步骤，具体包括：
对各所述二次元形象进行聚类处理，所述聚类处理的结果为各所述二次元形象分别与二次元图像中的相应角色对应；
确定每个所述角色所对应的二次元形象的总数；
确定每个所述角色的变异系数；
确定各所述角色对应的二次元形象在相应二次元图像中所占区域的平均面积；
根据所确定的总数、变异系数和平均面积，确定各所述角色的权重分值。
进一步地，所述排列各所述二次元形象，获得时间序列这一步骤，具体包括：
当从数据库中获取的各所述二次元形象均对应同一角色，将各所述二次元形象按照剧情顺序进行排列，排列结果为所述时间序列；
当从数据库中获取的各所述二次元形象所对应的角色不完全相同，将各所述二次元形象按照对应角色权重分值由大到小的顺序进行排列后，将对应同一角色的所述二次元形象按照剧情顺序进行排列，排列结果为所述时间序列。
进一步地，超次元模型的生成方法还包括以下步骤：
向所述目标终端发送至少一个超次元模型模板；
获取所述目标终端上传的二次元图像、标注信息和所选定的超次元模型模板；
从所述二次元图像提取得到二次元形象；
确定所选定超次元模型模板的调整参数，所述调整参数用于指示对相应的超次元模型模板进行调整；
建立标签，所述标签与所选定的超次元模型模板和调整参数有对应关系；
将所述二次元形象、标注信息和标签作为训练数据，存储到与该目标终端相应的数据库中，以供以下对所述人工智能模型的训练过程：
从所有目标终端的数据库中获取所述训练数据；
将所述训练数据中的二次元形象和标注信息用作所述人工智能模型的输入，将所述训练数据中的标签用作所述人工智能模型的预期输出，对所述人工智能模型的参数进行调整；
当所述人工智能模型的参数收敛时结束训练过程。
进一步地，超次元模型的生成方法还包括以下步骤：
从多个目标终端相应的数据库中获取二次元形象，确定所述二次元形象的风格特征；
当存在至少两个目标终端的风格特征之间的相关度超过预设的阈值，将这些二次元形象在这些目标终端的数据库之间共享。
另一方面，本发明实施例还包括一种超次元模型的生成方法，包括第一阶段、第二阶段和/或第三阶段；
在所述第一阶段内，获取二次元图像，所述二次元图像包含二次元形象，上传所述二次元图像；
在所述第二阶段内，发出生成请求和标注信息，当检测到针对所述生成请求反馈的响应，接收超次元模型；
在所述第三阶段内，获取二次元图像，所述二次元图像包含二次元形象，编辑得到标注信息，所述标注信息用于表示所述二次元形象的类型，接收至少一个超次元模型模板，从这些超次元模型模板中选定出一个，上传所述二次元图像、标注信息和所选定的超次元模型模板。
另一方面，本发明实施例还包括一种虚拟仿真人的生成方法，包括以下步骤：
检测交互操作；
执行实施例中所述的超次元模型的生成方法，以响应所述交互操作；
将所生成的超次元模型转换成虚拟仿真人。
另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行实施例所述的超次元模型的生成方法和虚拟仿真人的生成方法。
本发明的有益效果是：数据库中所存储的二次元形象可以通过多种途径获得，因此二次元形象的数量可以得到较好的保证，从专业机构获取二次元形象时，也可以获得高质量的二次元形象；由于使用经过训练的人工智能模型来输出超次元模型，避免对大量特征点的几何信息进行处理导致的计算资源消耗和时间消耗，节省使用成本，提高处理速度；人工智能模型将二次元形象作为生成超次元模型的素材，开辟了素材数据的新来源，所输出的超次元模型一方面具有全新的风格，另一方面包含了用户的心情等个性化信息，能够产生全新的显示效果。
附图说明
图1为用于执行实施例的硬件系统架构示意图；
图2为实施例1中超次元模型的生成方法的流程示意图；
图3为实施例3中虚拟仿真人的生成方法的流程示意图。
具体实施方式
在以下所提到的实施例中，所涉及的硬件系统架构如图1所示，主要由服务器和至少一个终端设备组成，终端设备可以是手机和平板电脑等移动端，它们分别被不同的用户持有。服务器和任一终端设备之间可以建立连接、进行通信和断开连接，并且不同的终端设备之间是相互独立的，即服务器与任一终端设备之间的操作行为不影响其他终端设备。
服务器可以通过注册账号等方式对各个终端设备进行管理。服务器中设置总数据库，向注册成功的终端设备分配一定的存储空间，即实施例中提到的数据库，使得每个终端设备都有他对应的数据库。
实施例1
本实施例中的各步骤是由服务器执行的。
服务器保持对各终端设备随时响应的状态，执行以下步骤：
A1.获取多个二次元图像；服务器可以接收目标终端上传的多个二次元图像，也可以从漫画社等专业机构取得授权，接收他们发送过来的二次元图像；这里所述的目标终端是指特定的终端，可由服务器选定某一个或某几个终端作为目标终端，也可以由终端向服务器申请成为目标终端，从而由目标终端向服务器上传二次元图像；这里所述的二次元图像可以是预先存储在目标终端上的图片，也可以是目标终端的持有者随手拍摄的图片，也可以由用户或专业人员通过手绘之后扫描或者使用软件绘画得到；
二次元图像中包括二次元形象，呈现出人物形象角色、动物形象角色或者物品形象角色等；目标终端也可以自行或者在服务器的指示下，将二次元形象所在区域标记出来，使得服务器更容易锁定二次元形象并进行分析；
A2.从各所述二次元图像提取得到二次元形象；使用Viola-Jones检测框架对二次元图像进行检测，可以从每个二次元图像中分别检测出一个或多个二次元形象，例如，从二次元图像1中提取得到3个二次元形象，从二次元图像2中提取得到5个二次元形象，则总共提取得到8个二次元形象；
A3.对提取所得的各所述二次元形象进行分类和赋权，将各所述二次元形象和赋权所得的权值存储到与该目标终端相应的数据库中；分类的结果是：以每个二次元形象所对应的角色为标准，将每个二次元形象分成不同的类别，例如，对于步骤A2提取所得的8个二次元形象，可以分类为属于角色A的3个二次元形象、属于角色B的4个二次元形象以及属于角色C的1个二次元形象；赋权的结果是使得属于某个角色的所有二次元形象都具有一定的权值分数，例如，对角色A设定权值分数为1，对角色B设定权值分数为2，则属于角色A的3个二次元形象的权值分数均为1，属于角色B的4个二次元形象的权值分数均为2；通过目标终端IP地址或者编号等身份信息，在总数据库中查找到与这个目标终端相应的数据库，将所述二次元形象存储到与该数据库中。
本实施例中，步骤A3具体由以下步骤组成：
A303.对各所述二次元形象进行聚类处理，所述聚类处理的结果为各所述二次元形象分别与二次元图像中的相应角色对应；这里所使用的聚类处理包括：对每个二次元形象，建立与之对应的中心化多区域模型(CMR)，使用方向梯度直方图(HOG)描述每个模型的特性，使用Adaboost算法建立的决策树弱分类器得到每个模型特性的CMR-HOG向量，通过将二次元形象对应的CMR-HOG向量之间的距离与预设的阈值进行比较，就可以判断两个二次元形象是否同属一个角色；
A304.确定每个所述角色所对应的二次元形象的总数；对于角色A，所要求的就是在从二次元图像1和二次元图像2提取到的所有二次元形象中，属于角色A的二次元形象的数量TA；
A305.确定每个所述角色的变异系数；对于角色A，变异系数的计算公式为
Figure BDA0002478412390000051
式中，CVA表示角色A的变异系数，
Figure BDA0002478412390000052
n表示二次元图像的数量，即XA表示属于角色A的二次元形象的平均数，SA表示属于角色A的二次元形象的标准差；
A306.确定各所述角色对应的二次元形象在相应二次元图像中所占区域的平均面积；对于角色A，其具体为：通过图像检测技术，确定角色A对应的一共TA个二次元形象在起相应二次元图像中所占区域的面积，然后将它们加起来再除以TA，就得到平均面积AA；
A307.根据所确定的总数TA、变异系数CVA和平均面积AA，计算它们的加权平均值，其结果为角色A的权重分值。
通过执行上述步骤A1-A3，服务器可以从多个途径获取二次元形象，并将二次元形象补充到相应的数据库中，供读取出来由人工智能模型生成超次元模型，这使得数据库具有广泛的数据来源。其中，由终端设备即用户自己拍摄上传，相当于由终端设备进行了个性化的筛选，根据这样的二次元形象生成的超次元模型将更好地贴近终端设备用户的个性；从专业机构处获得的二次元形象具有更好的统一性和更强的表现力，使用这样的二次元形象对人工智能模型进行训练，或者供人工智能模型进行处理得到超次元模型，能够达到更生动形象的显示效果。
服务器保持对各终端设备随时响应的状态，执行以下步骤：
B1.向所述目标终端发送至少一个超次元模型模板；这里所述的超次元模型模板是由服务器预先建好并存储在总数据库中的三维模型，执行本步骤时，服务器可以将超次元模型模板的原始数据发送到目标终端，也可以将超次元模型模板的缩略图或者关键信息发送到目标终端，供用户了解；目标终端接收到超次元模型模板之后，将其显示出来供用户观看，并指示用户从多个超次元模型模板中选定出一个，用户操作目标终端进行选定，目标终端记录下用户所选定的超次元模型模板对应的编号并进行上传；
B2.获取所述目标终端上传的二次元图像、标注信息和所选定的超次元模型模板；执行本步骤之前，服务器等待目标终端执行一系列操作，以准备好需要上传的二次元图像、标注信息和所选定的超次元模型模板的编号；这里所述的二次元图像可以是预先存储在目标终端上的图片，也可以是目标终端的持有者随手拍摄的图片，二次元图像中包括二次元形象；目标终端也可以自行或者在服务器的指示下，将二次元形象所在区域标记出来，使得服务器更容易锁定二次元形象并进行分析；这里所述的标注信息是用户操作目标终端对二次元形象的备注，其可以使用约定的标准格式来表示，例如使用数字“1”表示该二次元形象反映出用户的愉悦心情，使用数字“2”表示该二次元形象反映出用户的郁闷心情，使用数字“3”表示该二次元形象反映出用户的愤怒心情；目标终端在上传超次元模型模板时，既可以上传超次元模型模板的原始数据、缩略图或者关键信息，也可以上传超次元模型模板的编号；
B3.服务器执行图像提取算法，对所述二次元图像中被标记的区域进行边缘分析，提取得到二次元形象，而对于二次元图像的其余部分则进行放弃，仅保留二次元形象部分；
B4.确定所选定超次元模型模板的调整参数，所述调整参数用于指示对相应的超次元模型模板进行调整；由于超次元模型模板是预设设定好的，具有一定的离散性，向目标终端设备提供的超次元模型模板可能与用户所喜爱的三维模型之间存在一定的偏差，这些偏差可以通过调整参数来修正，因此可以由用户自行设定调整参数并上传到服务器，或者由服务器来匹配生成调整参数；
B5.建立标签，所述标签与所选定的超次元模型模板和调整参数有对应关系；本实施例中，所述标签是一对有序数对(x,y)，其中x表示所选定的超次元模型模板的编号，y表示调整参数或其编号；
B6.将所述二次元形象、标注信息和标签作为训练数据，存储到与该目标终端相应的数据库中。
通过执行上述步骤B1-B6，服务器可以随时地从终端设备获取二次元形象、标注信息和标签，从而形成训练数据，使得数据库中有足够的训练数据用于对人工智能模型进行训练，并且由于二次元形象、标注信息以及标签所对应的超次元模型模板是由终端设备即用户自己拍摄、编辑、选择和上传的，相当于由终端设备进行了个性化的筛选，因此这些训练数据训练得到的人工智能模型的处理能力将更好地贴近终端设备用户的个性。
服务器还可以执行以下步骤：
C1.从多个目标终端相应的数据库中获取二次元形象，确定所述二次元形象的风格特征；例如，服务器可以获取对象A对应数据库中存储的二次元形象、对象B对应数据库中存储的二次元形象以及对象C对应数据库中存储的二次元形象，分别将这些二次元形象输入到VGG-19-FT等神经网络中提取风格特征并量化表示；如果从每个对象对应数据库中提取了多个二次元形象，则可以对这些二次元形象的风格特征求平均值，作为这个对象对应二次元形象的风格特征；
C2.当存在至少两个目标终端的风格特征之间的相关度超过预设的阈值，将这些二次元形象在这些目标终端的数据库之间共享；分别确定对象A的风格特征与对象B的风格特征之间的相关度、对象A的风格特征与对象C的风格特征之间的相关度、对象B的风格特征与对象C的风格特征之间的相关度；如果对象A的风格特征与对象B的风格特征之间的相关度大于预设的阈值，那么表明对象A与对象B个人偏好以及个性风格具有较大的相似性，这样，用于对人工智能模型进行训练的训练数据，以及用于供人工智能模型进行处理从而输出超次元模型的二次元形象可以是相同的，因此，将对象A的二次元形象复制到对象B的数据库，将对象B的二次元形象复制到对象A的数据库，从而实现二次元形象的共享。通过共享二次元形象，可以扩展数据库中二次元形象的数量和多样性，同时保持所生成的超次元模型所反映出的个人偏好以及个性风格稳定。
服务器中运行人工智能模型，所述人工智能模型可以是长短期记忆人工神经网络、整合移动平均自回归模型、支持向量机、逻辑回归模型和Xgboost模型等，它们的共同特点是比较适用于处理形成时间序列的数据，也可以使用其他基于神经网络的人工智能模型。
在服务器维护时间或者服务器空闲时，对人工智能模型执行以下训练过程：
P1.从所有目标终端的数据库中获取所述训练数据；本步骤中，所获取的训练数据的来源是所有目标终端的数据库，即总数据库；由于不同目标终端的训练数据一般具有不同的风格，这可以突破单个目标终端的限制，对人工智能模型进行多样化的训练；
P2.将所述训练数据中的二次元形象和标注信息用作所述人工智能模型的输入，将所述训练数据中的标签用作所述人工智能模型的预期输出，对所述人工智能模型的参数进行调整，使得人工智能模型的输出结果与预期输出之间的误差尽量小；
P3.当所述人工智能模型的参数收敛，则表明人工智能模型的输出结果与预期输出之间的误差已经达到了局部最小值，则对人工智能模型的训练过程完成。
在完成对人工智能模型的训练之后，人工智能模型具有了对二次元形象和标注信息进行接收和处理，从而输出相应的超次元模型模板的编号以及调整参数(或其编号)的能力。根据超次元模型模板的编号，可以从数据库中读取出超次元模型模板；根据调整参数，可以对读取出的超次元模型模板进行调整，从而得到超次元模型作为最终结果，这等价于由人工智能模板直接输出了超次元模型。
目标终端向服务器发出生成请求。参照图2，服务器执行以下步骤：
S1.获取目标终端发出的生成请求和标注信息；用户操作目标终端，根据自己的心情编辑标注信息，例如使用数字“1”表示自己的愉悦心情，使用数字“2”表示自己的郁闷心情，使用数字“3”表示自己的愤怒心情；目标终端可以分别发送生成请求和标注信息，也可以将标注信息封装在生成请求中进行发送；
S2.从所述目标终端相应的数据库中获取多个二次元形象；服务器通过目标终端IP地址或者编号等身份信息，在总数据库中查找到与这个目标终端相应的数据库，然后读取出二次元形象；
S3.排列各所述二次元形象，获得时间序列，从而得到符合人工智能模型要求的数据格式；
S4.将所述时间序列和标注信息输入到经过训练的人工智能模型中；
S5.获取所述人工智能模型输出的超次元模型。
在执行步骤S3时，可以通过执行以下步骤来实现：
S301.对从数据库中读取出的多个二次元形象所对应的角色进行分析，分析的结果有两种情况，第一种情况是这些二次元形象均对应同一角色，例如均对应角色A；第一种情况是这些二次元形象所对应的角色不完全相同，例如一部分二次元形象对应角色A，另一部分二次元形象对应角色B；
S302.如果是第一种情况，也就是从数据库中获取的各所述二次元形象均对应同一角色，例如均对应角色A，则将各所述二次元形象按照剧情顺序进行排列，排列结果为所述时间序列；所述按照剧情顺序，是指先查找这些二次元形象所来自的二次元图像，按照它们在同一部/同一系列漫画或者动漫中的出现顺序，确定为剧情顺序；
S303.如果是第二种情况，也就是从数据库中获取的各所述二次元形象所对应的角色不完全相同，例如一部分二次元形象对应角色A，另一部分二次元形象对应角色B，将各所述二次元形象按照对应角色权重分值由大到小的顺序进行排列后，将对应同一角色的所述二次元形象按照剧情顺序进行排列，排列结果为所述时间序列；本实施例中，假定角色A的权值分数为1，角色B的权值分数为2，则所有对应角色B的二次元形象都排列在对应角色A的二次元形象前面，然后再对所有对应角色B的二次元形象按照剧情顺序进行排列，以及对所有对应角色A的二次元形象按照剧情顺序进行排列。
由于每个角色的权重分值包含了这个角色的二次元形象总数、变异系数以及平均所占面积等信息，因此如果一个角色的权重分值越大，表明这个角色在同一部/同一系列漫画或者动漫中显得越重要，一般地，重要角色的二次元形象数据质量较高；而基于长短期记忆人工神经网络等的人工智能模型在接收时间序列时，对时间序列中排列靠前的数据更敏感，通过以权重分值为依据进行排序，可以使得人工智能模型在接收二次元形象并进行处理时更多地考虑二次元形象总数、变异系数以及平均所占面积等信息，即更多地考虑重要角色的影响，从而提高人工智能模型所输出的超次元模型的质量。
本实施例中，数据库中所存储的二次元形象可以通过多种途径获得，因此二次元形象的数量可以得到较好的保证，从专业机构获取二次元形象时，也可以获得高质量的二次元形象；由于使用经过训练的人工智能模型来输出超次元模型，避免对大量特征点的几何信息进行处理导致的计算资源消耗和时间消耗，节省使用成本，提高处理速度；人工智能模型将二次元形象作为生成超次元模型的素材，开辟了素材数据的新来源，所输出的超次元模型一方面具有全新的风格，另一方面包含了用户的心情等个性化信息，能够产生全新的显示效果。
实施例2
由实施例1的介绍可知，服务器执行一些步骤时需要目标终端执行相应的步骤以进行配合。
本实施例中，目标终端被设定为三个工作阶段，目标终端可以在一个时间段内仅执行其中一个阶段或者其中两个阶段，也可以执行全部三个阶段。
在第一阶段内，目标终端执行以下步骤：
D1.获取二次元图像，所述二次元图像包含二次元形象；具体地，可以通过拍摄或者绘图等方式得到二次元图像；
D2.由用户标记出所述二次元形象在所述二次元图像中的区域，从而方便服务器对二次元形象进行识别和提取；
D3.向服务器上传所述二次元图像。
本实施例中的步骤D1-D3与实施例1中所述的步骤A1-A3对应，即目标终端执行步骤D1-D3，服务器执行步骤A1-A2，实现目标终端与服务器之间的通信。
在第二阶段内，目标终端执行以下步骤：
E1.向服务器发出生成请求和标注信息；
E2.当检测到针对所述生成请求反馈的响应，接收服务器发送的超次元模型。
本实施例中的步骤E1-E2与实施例1中所述的步骤S1-S4对应，即目标终端执行步骤E1-E2，服务器执行步骤S1-S4，实现目标终端与服务器之间的通信。
在第三阶段内，目标终端执行以下步骤：
F1.获取二次元图像，所述二次元图像包含二次元形象；
F2.标记出所述二次元形象在所述二次元图像中的区域；
F3.编辑得到标注信息，所述标注信息用于表示所述二次元形象的类型；
F4.接收至少一个超次元模型模板；
F5.从这些超次元模型模板中选定出一个；
F6.上传所述二次元图像、标注信息和所选定的超次元模型模板。
本实施例中的步骤F1-F6与实施例1中所述的步骤B1-B6对应，即目标终端执行步骤F1-F6，服务器执行步骤B1-B6，实现目标终端与服务器之间的通信。
本实施例中，目标终端所执行的步骤使得服务器可以执行实施例1中所述的超次元模型生成方法，从而达到相应的技术效果，因此，本实施例中目标终端所执行的超次元模型生成方法也能够达到与实施例1中所述的技术效果。
实施例3
本实施例中所述的虚拟仿真人的生成方法，是基于实施例1中的超次元模型生成方法而执行的。参照图3，虚拟仿真人的生成方法包括以下步骤：
Q1.检测交互操作；本实施例中，一个或多个执行者可以通过键盘、触摸屏等交互操作执行交互操作；一个或多个执行者也可以通过面部表情或者手势等动作执行交互操作，通过拍摄画面，从画面中识别出交互操作；
Q2.执行实施例1中的超次元模型的生成方法，即步骤S1-S4等，以响应所述交互操作；
Q3.执行步骤S1-S4将获得超次元模型，根据所生成的超次元模型，进一步进行上色、渲染、添加背景或者拟人化转换等处理，从而得到虚拟仿真人。
通过执行步骤Q1-Q3，可以利用实施例1中的超次元模型的生成方法所得的结果，对用户做出的交互操作进行响应，将超次元模型进一步转换成虚拟仿真人。由于实施例1中所生成的超次元模型包含了用户的心情等个性化信息，另一方面以卡通的形式呈现，能够实现浪漫、温馨、有趣等显示效果，因此本实施例中所生成的虚拟仿真人也具有相同的技术效果。
实施例4
本实施例中，一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例1或实施例2中所述的虚拟仿真人的生成方法。当执行实施例1中所述的虚拟仿真人的生成方法时，计算机装置可以作为服务器，当执行实施例2中所述的虚拟仿真人的生成方法时，计算机装置可以作为终端，实现与实施例1和实施例2中所述的相同的技术效果。
本实施例中，一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行实施例中所述的虚拟仿真人的生成方法，实现与实施例中所述的相同的技术效果。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向目标终端的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的目标终端，包括显示器上产生的物理和有形目标终端的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种超次元模型的生成方法，其特征在于，包括以下步骤：
获取目标终端发出的生成请求和标注信息；
从所述目标终端相应的数据库中获取多个二次元形象；
排列各所述二次元形象，获得时间序列；
将所述时间序列和标注信息输入到经过训练的人工智能模型中；
获取所述人工智能模型输出的超次元模型。
2.根据权利要求1所述的方法，其特征在于，还包括以下步骤：
获取多个二次元图像；
从各所述二次元图像提取得到二次元形象；
对提取所得的各所述二次元形象进行分类和赋权，将各所述二次元形象和赋权所得的权值存储到与该目标终端相应的数据库中。
3.根据权利要求2所述的方法，其特征在于，所述对提取所得的各所述二次元形象进行分类和赋权这一步骤，具体包括：
对各所述二次元形象进行聚类处理，所述聚类处理的结果为各所述二次元形象分别与二次元图像中的相应角色对应；
确定每个所述角色所对应的二次元形象的总数；
确定每个所述角色的变异系数；
确定各所述角色对应的二次元形象在相应二次元图像中所占区域的平均面积；
根据所确定的总数、变异系数和平均面积，确定各所述角色的权重分值。
4.根据权利要求3所述的方法，其特征在于，所述排列各所述二次元形象，获得时间序列这一步骤，具体包括：
当从数据库中获取的各所述二次元形象均对应同一角色，将各所述二次元形象按照剧情顺序进行排列，排列结果为所述时间序列；
当从数据库中获取的各所述二次元形象所对应的角色不完全相同，将各所述二次元形象按照对应角色权重分值由大到小的顺序进行排列后，将对应同一角色的所述二次元形象按照剧情顺序进行排列，排列结果为所述时间序列。
5.根据权利要求1-4任一项所述的方法，其特征在于，还包括以下步骤：
向所述目标终端发送至少一个超次元模型模板；
获取所述目标终端上传的二次元图像、标注信息和所选定的超次元模型模板；
从所述二次元图像提取得到二次元形象；
确定所选定超次元模型模板的调整参数，所述调整参数用于指示对相应的超次元模型模板进行调整；
建立标签，所述标签与所选定的超次元模型模板和调整参数有对应关系；
将所述二次元形象、标注信息和标签作为训练数据，存储到与该目标终端相应的数据库中，以供以下对所述人工智能模型的训练过程：
从所有目标终端的数据库中获取所述训练数据；
将所述训练数据中的二次元形象和标注信息用作所述人工智能模型的输入，将所述训练数据中的标签用作所述人工智能模型的预期输出，对所述人工智能模型的参数进行调整；
当所述人工智能模型的参数收敛时结束训练过程。
6.根据权利要求1所述的方法，其特征在于，还包括以下步骤：
从多个目标终端相应的数据库中获取二次元形象，确定所述二次元形象的风格特征；
当存在至少两个目标终端的风格特征之间的相关度超过预设的阈值，将这些二次元形象在这些目标终端的数据库之间共享。
7.一种超次元模型的生成方法，其特征在于，包括第一阶段、第二阶段和/或第三阶段；
在所述第一阶段内，获取二次元图像，所述二次元图像包含二次元形象，上传所述二次元图像；
在所述第二阶段内，发出生成请求和标注信息，当检测到针对所述生成请求反馈的响应，接收超次元模型；
在所述第三阶段内，获取二次元图像，所述二次元图像包含二次元形象，编辑得到标注信息，所述标注信息用于表示所述二次元形象的类型，接收至少一个超次元模型模板，从这些超次元模型模板中选定出一个，上传所述二次元图像、标注信息和所选定的超次元模型模板。
8.一种虚拟仿真人的生成方法，其特征在于，包括以下步骤：
检测交互操作；
执行权利要求1-6任一项所述的超次元模型的生成方法，以响应所述交互操作；
将所生成的超次元模型转换成虚拟仿真人。
9.一种计算机装置，用作服务器或终端，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1-8任一项所述方法。
10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-8任一项所述的方法。
CN202010371856.5A 2020-05-06 2020-05-06 超次元模型和虚拟仿真人的生成方法、装置和存储介质 Pending CN111696181A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010371856.5A CN111696181A (zh) 2020-05-06 2020-05-06 超次元模型和虚拟仿真人的生成方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010371856.5A CN111696181A (zh) 2020-05-06 2020-05-06 超次元模型和虚拟仿真人的生成方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN111696181A true CN111696181A (zh) 2020-09-22

Family

ID=72476976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010371856.5A Pending CN111696181A (zh) 2020-05-06 2020-05-06 超次元模型和虚拟仿真人的生成方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN111696181A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备及存储介质
CN109086707A (zh) * 2018-07-25 2018-12-25 电子科技大学 一种基于DCNNs-LSTM模型的表情追踪方法
CN110009059A (zh) * 2019-04-16 2019-07-12 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN110308887A (zh) * 2019-05-14 2019-10-08 广东康云科技有限公司 基于浏览器的ai机器人实现方法、系统及存储介质
CN110706300A (zh) * 2019-09-19 2020-01-17 腾讯科技（深圳）有限公司 虚拟形象生成方法及装置
CN110782515A (zh) * 2019-10-31 2020-02-11 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、电子设备及存储介质
KR20200042629A (ko) * 2018-10-16 2020-04-24 주식회사 키센스 인공지능 학습을 위한 모바일 기기의 터치 기반 어노테이션과 이미지 생성 방법 및 그 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备及存储介质
CN109086707A (zh) * 2018-07-25 2018-12-25 电子科技大学 一种基于DCNNs-LSTM模型的表情追踪方法
KR20200042629A (ko) * 2018-10-16 2020-04-24 주식회사 키센스 인공지능 학습을 위한 모바일 기기의 터치 기반 어노테이션과 이미지 생성 방법 및 그 장치
CN110009059A (zh) * 2019-04-16 2019-07-12 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN110308887A (zh) * 2019-05-14 2019-10-08 广东康云科技有限公司 基于浏览器的ai机器人实现方法、系统及存储介质
CN110706300A (zh) * 2019-09-19 2020-01-17 腾讯科技（深圳）有限公司 虚拟形象生成方法及装置
CN110782515A (zh) * 2019-10-31 2020-02-11 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11000107B2 (en) Systems and methods for virtual facial makeup removal and simulation, fast facial detection and landmark tracking, reduction in input video lag and shaking, and method for recommending makeup
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
US10109051B1 (en) Item recommendation based on feature match
US10049308B1 (en) Synthesizing training data
US10157332B1 (en) Neural network-based image manipulation
CN107679448B (zh) 眼球动作分析方法、装置及存储介质
US10360710B2 (en) Method of establishing virtual makeup data and electronic device using the same
CN107633204A (zh) 人脸遮挡检测方法、装置及存储介质
CN112446302B (zh) 一种人体姿态检测方法、系统、电子设备和存储介质
CN108805058B (zh) 目标对象变化姿态识别方法、装置及计算机设备
CN116097320A (zh) 用于改进的面部属性分类的系统和方法及其用途
CN105117399B (zh) 一种图像搜索方法和装置
Shi et al. Human-computer interaction based on face feature localization
CN110741377A (zh) 人脸图像处理方法、装置、存储介质及电子设备
US20220114289A1 (en) Computer architecture for generating digital asset representing footwear
CN111553838A (zh) 模型参数的更新方法、装置、设备及存储介质
CN113657087A (zh) 信息的匹配方法及装置
CN116363242A (zh) 图像生成方法、装置、计算机设备及存储介质
CN116091667A (zh) 一种基于aigc技术的人物艺术形象生成系统
US20140354676A1 (en) Hair colouring device and method
CN111696180A (zh) 一种虚拟仿真人的生成方法、系统、装置和存储介质
CN111696179A (zh) 卡通三维模型和虚拟仿真人的生成方法、装置和存储介质
Chowdary et al. Age and Gender Detection to detect the Manipulated Images using CNN
CN111696181A (zh) 超次元模型和虚拟仿真人的生成方法、装置和存储介质
JP5413156B2 (ja) 画像処理プログラム及び画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240913