CN113345057A - 动画形象的生成方法、设备及存储介质 - Google Patents

动画形象的生成方法、设备及存储介质 Download PDF

Info

Publication number
CN113345057A
CN113345057A CN202010100100.7A CN202010100100A CN113345057A CN 113345057 A CN113345057 A CN 113345057A CN 202010100100 A CN202010100100 A CN 202010100100A CN 113345057 A CN113345057 A CN 113345057A
Authority
CN
China
Prior art keywords
image
target object
information
key points
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010100100.7A
Other languages
English (en)
Inventor
郑瑞
胡风硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010100100.7A priority Critical patent/CN113345057A/zh
Priority to PCT/CN2021/076257 priority patent/WO2021164653A1/zh
Priority to US17/620,596 priority patent/US11836839B2/en
Publication of CN113345057A publication Critical patent/CN113345057A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明提供一种动画形象的生成方法、设备及存储介质，其中，动画形象的生成方法，包括：获取包含有至少一个目标对象的图像；获取所述目标对象的在所述图像中的关键点的位置信息；根据所述关键点的位置信息确定关键点之间连线的目标角度信息；根据所述目标角度信息对预设动画形象进行调整，以使调整后的所述动画形象与所述目标对象在所述图像中的体态一致，得到与所述目标对象对应的动画形象。

Description

动画形象的生成方法、设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种动画形象的生成方法、设备及存储介质。
背景技术
目前，在一些基于屏幕的互动游戏场景中，可在屏幕上呈现用于代替目标对象的卡通形象，通常要先对要替换的目标的形象进行标注，然后对目标的形象和存储的卡通形象进行采样得到替换信息，根据替换信息使用卡通形象替换目标对象的形象，得到目标卡通形象，从而可在屏幕上呈现与目标对象对应的卡通形象。但该方式需事先测量以及标注，整个处理过程较为复杂。
发明内容
有鉴于此，本发明的目的在于提出一种动画形象的生成方法、设备及存储介质。
根据本发明的一个方面，提供了一种动画形象的生成方法，包括：获取包含有至少一个目标对象的图像；获取所述目标对象的在所述图像中的关键点的位置信息；根据所述关键点的位置信息确定关键点之间连线的目标角度信息；根据所述目标角度信息对预设动画形象进行调整，以使调整后的所述动画形象与所述目标对象在所述图像中的体态一致，得到与所述目标对象对应的动画形象。
可选的，获取所述目标对象的在所述图像中的关键点的位置信息，包括：根据所述图像预测所述目标对象在所述图像中的候选框的信息；将所述候选框的信息输入单人关键点识别器，得到所述关键点的位置信息。
可选的，根据所述图像预测所述目标对象在所述图像中的候选框的信息，包括：将所述图像输入卷积神经网络；获取所述卷积神经网络的最后一层卷积层生成的所述图像的第一特征图；获取所述卷积神经网络中最后一层卷积层之前的卷积层生成的所述图像的第二特征图；将所述第一特征图以及所述第二特征图输入到区域生成网络中，得到所述区域生成网络输出的所述候选框的信息。
可选的，所述方法还包括：在根据所述目标角度信息对预设动画形象进行调整之后，根据所述关键点的位置信息确定所述图像中的所述目标对象的尺寸信息；根据所述尺寸信息调整所述预设动画形象的尺寸，以使调整后的所述预设动画形象的尺寸与所述图像中的所述目标对象的尺寸一致。
可选的，所述方法还包括：在根据所述尺寸信息调整所述预设动画形象的尺寸之后，使用调整后的所述动画形象对所述图像中的所述目标对象进行覆盖，得到与所述目标对象对应的动画形象。
可选的，所述关键点包括人体的颈部以及两个脚踝，根据所述关键点的位置信息确定所述图像中的所述目标对象的尺寸信息，包括：根据所述目标对象颈部位置信息以及两个脚踝的位置信息确定所述图像中的所述目标对象的尺寸信息。
可选的，根据所述目标对象颈部位置信息以及两个脚踝位置信息确定所述图像中的所述目标对象的尺寸信息，包括：确定所述图像中的所述目标对象的两个脚踝之间的中点的位置；计算所述中点的位置与所述颈部位置之间的距离，将所述距离作为所述目标对象的尺寸信息。
可选的，所述方法还包括：在根据所述关键点的位置信息确定关键点之间连线的目标角度信息之后，对于各所述关键点与其他关键点之间的连线，存储该连线与预先建立的坐标系中的任意坐标轴之间的角度信息。
可选的，所述方法还包括：在获取包含有至少一个目标对象的图像之前，获取所述预设动画形象的关键点的位置信息；根据所述预设动画形象的关键点的位置信息确定所述预设动画形象的关键点之间连线的角度信息。
根据本发明的另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一种动画形象的生成方法。
根据本发明的又一个方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任意一种动画形象的生成方法。
从上面所述可以看出，本说明书一个或多个实施例的动画形象的生成方法，通过获取目标对象在图像中的关键点的位置信息，可获知目标对象的关键点之间连线的目标角度信息，根据该目标角度信息对预设动画形象中的各关键点之间的连线的角度进行调整，可以使得预设动画形象与目标对象的体态一致，从而可使用调整后的预设动画形象替换目标对象在图像中的形象，实现了使用动画形象替换目标对象的形象的目的，从而可以根据目标对象的体态更加形象生动地呈现与其对应的动画形象。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开一示例性实施例示出的一种动画形象的生成方法的示意图；
图2是根据本公开一示例性实施例示出的一种动画形象的生成方法的流程图；
图3是根据本公开一示例性实施例示出的人体的关键点的示意图；
图4是根据本公开一示例性实施例示出的在图像中呈现候选框的示意图；
图5是根据本公开一示例性实施例示出的通过R-CNN检测目标对象在图像中的候选框的示意图；
图6是根据本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
本说明书的一个或多个实施例提供了一种动画形象的生成方法，用以实现使用预设动画形象对图像中至少一个目标对象的形象进行替换，以图1为例，对该方法的实现过程进行示例性说明，此处，目标对象以人体为例，如图1所示，用户通过图像采集装置，采集包含有至少一个目标对象的图像，其中，该至少一个目标对象可包括该用户，还可包括除该用户以外的其他目标对象。对采集到的图像进行人体关键点识别，得到人体关键点的位置信息，根据人体关键点的位置信息进行人体尺寸计算，得到人体尺寸信息，以及根据关键点的位置信息计算各关键点连线的角度信息，根据计算得到尺寸信息以及角度信息对预设动画形象的尺寸以及各关键点连线之间的角度进行调整，使用调整后的预设动画形象(其中，预设动画形象可包括，动画形象数据、动画形象的关键点的位置信息)替换图像中的人体形象。
图2是根据本公开一示例性实施例示出的一种动画形象的生成方法的流程图，如图2所示，该方法包括：
步骤201：获取包含有至少一个目标对象的图像；
例如，可通过图像采集装置，例如摄像头拍摄包含有至少一个目标对象的画面，得到上述图像。
步骤202：获取所述目标对象的在所述图像中的关键点的位置信息；
所述位置信息可以是关键点在坐标系中的坐标。
例如，可通过SPPE(Single-Person Pose Estimator，单人关键点识别器)对所述图像中的所有目标对象进行关键点识别，得到所有目标对象的关键点的位置信息，其中，该关键点的位置信息例如是关键点的坐标。所述关键点的坐标为包含头顶、五官、颈部、四肢主要关节部位的点的坐标。
步骤203：根据所述关键点的位置信息确定关键点之间连线的目标角度信息；
其中，上例中，在关键点的位置信息为关键的坐标的基础上，关键点之间连线的目标角度信息可以是两个关键点之间的连线与图像对应的坐标系中的任一坐标轴之间的角度。
步骤204：根据所述目标角度信息对预设动画形象进行调整，以使调整后的所述动画形象与所述目标对象在所述图像中的体态一致，得到与所述目标对象对应的动画形象。
可选的，上述预设动画形象例如已经预先进行了关键点识别，可根据上述目标角度信息调整预设动画形象的各关键点连线后的角度，从而可使得调整后的动画形象与所述目标对象在所述图像中的体态一致。
例如，可通过电子设备的显示屏呈现所述动画形象，以及，在使用所述动画形象替换所述图像中的目标对象时，可在所述图像中呈现所述动画形象。
本说明书一个或多个实施例的动画形象的生成方法，通过获取目标对象在图像中的关键点的位置信息，可获知目标对象的关键点之间连线的目标角度信息，根据该目标角度信息对预设动画形象中的各关键点之间的连线的角度进行调整，可以使得预设动画形象与目标对象的体态一致，从而可使用调整后的预设动画形象替换目标对象在图像中的形象，实现了使用动画形象替换目标对象的形象的目的，从而可以根据目标对象的体态更加形象生动地呈现与其对应的动画形象。
在一种可实现方式中，上述动画形象的生成方法还可包括：在根据所述目标角度信息对预设动画形象进行调整之后，根据所述关键点的位置信息确定所述图像中的所述目标对象的尺寸信息；其中，关键点的位置信息例如可以是关键点的在所述图像中的坐标，根据各关键点的坐标可以确定出图像中目标对象的尺寸信息。
根据所述尺寸信息调整所述预设动画形象的尺寸，以使调整后的所述预设动画形象的尺寸与所述图像中的所述目标对象的尺寸一致。在将预设动画形象的尺寸调整至与目标对象的尺寸一致之后，可使用调整后的动画形象替换所述图像中的目标对象的，从而可在所述图像中显示与目标对象体态以及尺寸一致的动画形象。
在一种可实现方式中，上述动画形象的生成方法还可包括：在根据所述尺寸信息调整所述预设动画形象的尺寸之后，使用调整后的所述动画形象对所述图像中的所述目标对象进行覆盖，得到与所述目标对象对应的动画形象。例如，在得到调整后的动画形象后，可将调整后的动画形象的各关键点与目标对象在所述图像中的各关键点的位置对应，对所述图像中的目标对象的形象进行覆盖，覆盖完成后，即实现了使用动画形象替换所述图像中的目标对象的目的。
在一种可实现方式中，所述目标对象包括人体，所述关键点包括人体的颈部以及两个脚踝，根据所述关键点的位置信息确定所述图像中的所述目标对象的尺寸信息，可包括：根据所述目标对象颈部位置信息以及两个脚踝位置信息确定所述图像中的所述目标对象的尺寸信息。例如，人体的关键点的位置信息被标号并存储，如图3所示，编号0-17依次对应了人体个各关键点。基于此存储的人体各关键点的位置信息，人体的尺寸信息可通过人体的颈部与脚部之间的距离进行计算，计算公式如下：
Figure BDA0002386653780000061
其中，(x1，y2)是人体两只脚踝的坐标值的平均值(即两只脚踝的坐标的中点，如图3中编号15以及编号16标示出的两个关键点之间的距离)，(x2，y2)是人体颈部的坐标值，即如图3中编号17对应的坐标值，假设，获取到的图像中的人体的通过上式计算得到的尺寸为L，则预设的卡通形象的尺寸为L’，预设的卡通形象应该缩放的尺度是k，其计算公式为：
k＝L’/L；
将预设卡通形象的尺寸按k缩放可得到最终的图像大小。
在一种可实现方式中，根据所述目标对象颈部位置信息以及两个脚踝的位置信息确定所述图像中的所述目标对象的尺寸信息，包括：
确定所述图像中所述目标对象的两个脚踝的中点的位置；例如，首先确定目标对象的两个脚踝在所述图像中的两个位置坐标，计算该两个位置坐标之间的中点的坐标，计算得到的该坐标即用于表示目标对象的两个脚踝的中点的位置；
计算所述中点的位置与所述颈部位置之间的距离，将所述距离作为所述目标对象的尺寸信息。其中，颈部位置例如可以通过所述图像中目标对象的颈部的位置坐标来表示，故，通过所述中点的位置坐标以及所述颈部的位置坐标可计算得出二者之间的距离，从而得到目标对象的尺寸信息。
在一种可实现方式中，获取所述目标对象的在所述图像中的关键点的位置信息，可包括：
根据所述图像预测所述目标对象在所述图像中的候选框的信息；
例如，可将所述图像输入Faster R-CNN网络，通过Faster R-CNN预测所述图像中的目标对象的候选框。
将所述候选框的信息输入SPPE，得到所述关键点的位置信息。如图4所示，在图像40中，矩形框41是目标对象在图中实际所处的位置，矩形框42是利用Faster R-CNN检测算法预测的目标对象在图中的位置，再将矩形框42输入到SPPE网络中，即可得到目标对象的关键点的位置信息等。SPPE网络是自上而下的识别结构，即先在图中检测出人体，再识别每个人体的关键点，因此在返回识别的关键点时可以返回目标对象在图像中的位置信息，以及关键点连线之间的角度信息。从而可将已经识别出关键点的预设动画形象利用得到的目标角度信息重置后，按照目标对象尺寸的大小缩放后置于图像中的相应位置上，以实现对目标对象形象的替换。通过SPPE对目标对象进行关键点识别，即使在图像中包含有多个目标对象的场景下依旧可以保持较快的动画形象替换。
在一种可实现方式中，根据所述图像预测所述目标对象在所述图像中的候选框的信息，可包括：
将所述图像输入卷积神经网络；例如，该卷积神经网络可以是R-CNN网络中的R-CNN_base网络，R-CNN网络可被划分为R-CNN_base网络以及R-CNN_top网络，其中，R-CNN_base网络是R-CNN网络中用于提取图像特征的部分，包含提取特征的基础网络，可以是VGG16，或者ResNet(全名为Residual Network残差网络)，R-CNN_top是R-CNN网络中用于进行特征处理的部分，如softmax等非纯CNN操作，用于得到置信度和目标框的部分，其有修整之前合并特征图作用，该部分特征图输入的维度与ROI池化层输出的维度一致，该部分特征图输出维度与最后分类和目标框定位的所需输入维度一致。
获取所述卷积神经网络的最后一层卷积层生成的所述图像的第一特征图；
获取所述卷积神经网络中最后一层卷积层之前的卷积层生成的所述图像的第二特征图；例如，R-CNN_base网络中最后一层卷积层之前的卷积层可以是R-CNN_base网络中最后一层卷积层之前的所有卷积层；
将所述第一特征图以及所述第二特征图输入到RPN(Region Proposal Network，区域生成网络)中，得到所述区域生成网络输出的所述候选框的信息。如图5所示，将图像输入R-CNN_base网络之后，得到上述第一特征图以及第二特征图，将第一特征图以及第二特征图分别输入RPN网络，RPN网络筛选出最有可能存在目标的图像区域，即Rois(Region ofinterests，感兴趣区域)，也即上述候选框的信息，该图像区域作为R-CNN_top网络的输入，R-CNN_top网络根据该候选框的信息确定感兴趣区域中目标对象的精确坐标和类别。在基于R-CNN_base检测候选框时，不仅将上述第一特征图输入RPN网络，还将上述第二特征图也输入RPN网络，故图像上的目标对象将会具有更多不同大小的样本作为目标候选框，通过对目标对象在相近位置的置信度比较，可以筛选得到置信度高，定位更加准确的检测结果。
在一种可实现方式中，上述动画形象的生成方法还可包括：在根据所述关键点的位置信息确定关键点之间连线的目标角度信息之后，对于各所述关键点与其他关键点之间的连线，存储该连线与预先建立的坐标系中的任意坐标轴之间的角度信息。其中，预先建立的坐标系例如以上述图像的长度方向为X轴，宽度方向为Y轴，或者，以上述图像的长度方向为Y轴，宽度方向为X轴，建立平面直角坐标系，存储的角度信息例如可以是上述连线与X轴之间的角度信息，还可以是上述连线与Y轴之间的角度信息。
在一种可实现方式中，所述关键点可为人体的关节所处的位置，其中，人体的关节包括但不限于图3中编号5至编号17所标识出的五官之外的关节或四肢关节，需要说明的是，在另一种可实现方式中，所述关键点还可进一步包括人体的五官，例如，如图3中编号1至编号5所标识出的五官。
在一种可实现方式中，所述图像可包括连续的视频图像中的至少一帧；呈现所述动画形象，可包括：在所述视频图像中呈现所述动画形象。基于此，在对一段视频中的所有图像进行了如上述步骤201至步骤204的处理之后，即可将该段视频中存在的所有目标对象的形象替换为相应的动画形象，以及，可根据目标对象的动态，在视频中相应呈现出与目标对象动态一致的动画形象，即可实现将视频中动态的目标形象使用动画形象来呈现的目的，可为用户提供更加生动地视觉体验。
在一种可实现方式中，上述动画形象的生成方法还可包括：在获取包含有至少一个目标对象的图像之前，获取所述预设动画形象的关键点的位置信息；
根据所述预设动画形象的关键点的位置信息确定所述预设动画形象的关键点之间连线的角度信息。其中，获取预设动画形象的关键点的位置信息的具体方式与获取上述目标对象的关键点的位置信息的方式相同，可参考上述目标对象的关键点的位置信息的获取方式，此处不再赘述。
在一种可实现方式中，根据所述目标角度信息对预设动画形象进行调整可包括：
根据所述目标角度信息对所述预设动画形象中的各关键点之间连线的角度进行调整，对预设动画形象中的各关键点之间连线的角度的调整目标是，将预设动画形象中的各关键点之间连线的角度调整至与所述目标角度信息中的对应的目标角度一致，例如，目标对象的腕关节与肘关节对应的两个关键点之间的连线的角度为90度，则将预设动画形象的腕关节与肘关节对应的两个关键点之间的连线角度调整为90度，从而使得预设动画形象的体态与目标对象的体态一致。
在一种可实现方式中，上述动画形象的生成方法还可包括：在获取所述预设动画形象的关键点的位置信息之后，根据所述预设动画形象的关键点的位置信息确定所述预设动画形象的尺寸信息。基于此，可在根据目标对象的尺寸对预设动画形象进行调整之前，预存预设动画的尺寸信息，这样，在需要对预设动画形象的尺寸进行调整时，可快速地进行调整，可提高调整效率。
需要说明的是，本发明实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本发明实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
图6示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种动画形象的生成方法，其特征在于，包括：
获取包含有至少一个目标对象的图像；
获取所述目标对象的在所述图像中的关键点的位置信息；
根据所述关键点的位置信息确定关键点之间连线的目标角度信息；
根据所述目标角度信息对预设动画形象进行调整，以使调整后的所述动画形象与所述目标对象在所述图像中的体态一致，得到与所述目标对象对应的动画形象。
2.根据权利要求1所述的方法，其特征在于，获取所述目标对象的在所述图像中的关键点的位置信息，包括：
根据所述图像预测所述目标对象在所述图像中的候选框的信息；
将所述候选框的信息输入单人关键点识别器，得到所述关键点的位置信息。
3.根据权利要求2所述的方法，其特征在于，根据所述图像预测所述目标对象在所述图像中的候选框的信息，包括：
将所述图像输入卷积神经网络；
获取所述卷积神经网络的最后一层卷积层生成的所述图像的第一特征图；
获取所述卷积神经网络中最后一层卷积层之前的卷积层生成的所述图像的第二特征图；
将所述第一特征图以及所述第二特征图输入到区域生成网络中，得到所述区域生成网络输出的所述候选框的信息。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在根据所述目标角度信息对预设动画形象进行调整之后，根据所述关键点的位置信息确定所述图像中的所述目标对象的尺寸信息；
根据所述尺寸信息调整所述预设动画形象的尺寸，以使调整后的所述预设动画形象的尺寸与所述图像中的所述目标对象的尺寸一致。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在根据所述尺寸信息调整所述预设动画形象的尺寸之后，使用调整后的所述动画形象对所述图像中的所述目标对象进行覆盖，得到与所述目标对象对应的动画形象。
6.根据权利要求4所述的方法，其特征在于，所述关键点包括人体的颈部以及两个脚踝，根据所述关键点的位置信息确定所述图像中的所述目标对象的尺寸信息，包括：
根据所述目标对象颈部位置信息以及两个脚踝的位置信息确定所述图像中的所述目标对象的尺寸信息。
7.根据权利要求6所述的方法，其特征在于，根据所述目标对象颈部位置信息以及两个脚踝位置信息确定所述图像中的所述目标对象的尺寸信息，包括：
确定所述图像中的所述目标对象的两个脚踝之间的中点的位置；
计算所述中点的位置与所述颈部位置之间的距离，将所述距离作为所述目标对象的尺寸信息。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在根据所述关键点的位置信息确定关键点之间连线的目标角度信息之后，对于各所述关键点与其他关键点之间的连线，存储该连线与预先建立的坐标系中的任意坐标轴之间的角度信息。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：
在获取包含有至少一个目标对象的图像之前，获取所述预设动画形象的关键点的位置信息；
根据所述预设动画形象的关键点的位置信息确定所述预设动画形象的关键点之间连线的角度信息。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9任意一项所述的动画形象的生成方法。
11.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至9任意一项所述的动画形象的生成方法。
CN202010100100.7A 2020-02-18 2020-02-18 动画形象的生成方法、设备及存储介质 Pending CN113345057A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010100100.7A CN113345057A (zh) 2020-02-18 2020-02-18 动画形象的生成方法、设备及存储介质
PCT/CN2021/076257 WO2021164653A1 (zh) 2020-02-18 2021-02-09 动画形象的生成方法、设备及存储介质
US17/620,596 US11836839B2 (en) 2020-02-18 2021-02-09 Method for generating animation figure, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010100100.7A CN113345057A (zh) 2020-02-18 2020-02-18 动画形象的生成方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113345057A true CN113345057A (zh) 2021-09-03

Family

ID=77391852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010100100.7A Pending CN113345057A (zh) 2020-02-18 2020-02-18 动画形象的生成方法、设备及存储介质

Country Status (3)

Country Link
US (1) US11836839B2 (zh)
CN (1) CN113345057A (zh)
WO (1) WO2021164653A1 (zh)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6326972B1 (en) * 1998-08-21 2001-12-04 Pacific Data Images, Inc. 3D stroke-based character modeling suitable for efficiently rendering large crowds
US20080091373A1 (en) * 2006-07-31 2008-04-17 University Of New Brunswick Method for calibrating sensor positions in a human movement measurement and analysis system
US8311954B2 (en) * 2007-11-29 2012-11-13 Nec Laboratories America, Inc. Recovery of 3D human pose by jointly learning metrics and mixtures of experts
TWI434227B (zh) * 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
US8786680B2 (en) * 2011-06-21 2014-07-22 Disney Enterprises, Inc. Motion capture from body mounted cameras
US8929600B2 (en) * 2012-12-19 2015-01-06 Microsoft Corporation Action recognition based on depth maps
CN104658022B (zh) 2013-11-20 2019-02-26 中国电信股份有限公司 三维动画制作方法和装置
US20170046865A1 (en) 2015-08-14 2017-02-16 Lucasfilm Entertainment Company Ltd. Animation motion capture using three-dimensional scanner data
US10621779B1 (en) * 2017-05-25 2020-04-14 Fastvdo Llc Artificial intelligence based generation and analysis of 3D models
CN108009554A (zh) 2017-12-01 2018-05-08 国信优易数据有限公司 一种图像处理方法以及装置
US10546408B2 (en) * 2018-03-20 2020-01-28 Adobe Inc. Retargeting skeleton motion sequences through cycle consistency adversarial training of a motion synthesis neural network with a forward kinematics layer
CN108629821A (zh) 2018-04-20 2018-10-09 北京比特智学科技有限公司 动画生成方法和装置
WO2019245869A1 (en) * 2018-06-19 2019-12-26 Tornier, Inc. Closed-loop tool control for orthopedic surgical procedures
CN109523615B (zh) 2018-10-25 2023-06-23 北京陌上花科技有限公司 用于虚拟动画人物动作的数据处理方法及装置
US10573050B1 (en) * 2018-11-20 2020-02-25 Sony Corporation Marker-based pose estimation
US11429842B2 (en) * 2019-02-24 2022-08-30 Microsoft Technology Licensing, Llc Neural network for skeletons from input images
CN110399794A (zh) 2019-06-20 2019-11-01 平安科技（深圳）有限公司 基于人体的姿态识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20220358705A1 (en) 2022-11-10
WO2021164653A1 (zh) 2021-08-26
US11836839B2 (en) 2023-12-05

Similar Documents

Publication Publication Date Title
CN108615248B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
JP7337104B2 (ja) 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体
US9852358B2 (en) Information processing device, information processing method, and information processing system
US20180197307A1 (en) Information processing apparatus and method of controlling the same
CN107818554A (zh) 信息处理设备和信息处理方法
JP2007087346A (ja) 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
CN109644231A (zh) 移动设备的改进的视频稳定性
JP2007087345A (ja) 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
EP3093822B1 (en) Displaying a target object imaged in a moving picture
US10311576B2 (en) Image processing device and image processing method
US11908236B2 (en) Illumination detection method and apparatus for face image, and device and storage medium
CN111325798A (zh) 相机模型纠正方法、装置、ar实现设备及可读存储介质
CN111612696A (zh) 图像拼接方法、装置、介质及电子设备
CN113643366A (zh) 一种多视角三维对象姿态估计方法及装置
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
CN111246189B (zh) 虚拟屏幕投影实现方法、装置及电子设备
CN110956131B (zh) 单目标追踪方法、装置及系统
CN109785439A (zh) 人脸素描图像生成方法及相关产品
JP2019106008A (ja) 推定装置、推定方法、及び推定プログラム
CN113345057A (zh) 动画形象的生成方法、设备及存储介质
CN113139540B (zh) 背板检测方法及设备
CN115035042A (zh) 动作迁移模型的评价方法、装置、电子设备及存储介质
CN112652056A (zh) 一种3d信息展示方法及装置
CN110910478A (zh) Gif图生成方法、装置、电子设备及存储介质
CN115937299B (zh) 在视频中放置虚拟对象的方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination