CN105513114B - 三维动画生成的方法和装置 - Google Patents
三维动画生成的方法和装置 Download PDFInfo
- Publication number
- CN105513114B CN105513114B CN201510876008.9A CN201510876008A CN105513114B CN 105513114 B CN105513114 B CN 105513114B CN 201510876008 A CN201510876008 A CN 201510876008A CN 105513114 B CN105513114 B CN 105513114B
- Authority
- CN
- China
- Prior art keywords
- model
- characteristic point
- skin points
- dimensional animation
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Abstract
本发明涉及一种三维动画生成的方法，包括：获取第一主体深度图像，获取与所述第一主体深度图像对应的预先建立的第一三维模型，主体为人体或具有骨骼的动物；获取所述第一主体深度图像匹配的第一特征点，将所述第一特征点映射至第一三维模型得到对应的模型第一特征点；获取所述模型第一特征点对皮肤点的影响权重信息；根据所述第一主体深度图像获取所述第一特征点的运动轨迹，根据所述运动轨迹和影响权重信息生成所述第一三维模型对应的第一三维动画，不需要佩戴传感器采集三维位置信息，简单方便。此外，还提供了一种三维动画生成的装置。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种三维动画生成的方法和装置。
背景技术
随着计算机技术的发展和多媒体技术的进步，二维动画已经不能满足人们的视觉需求，三维动画由于其强烈的空间感和逼真感越来越多的受到人们的欢迎。
现有的三维动画生成的方法为了生成与人或动物运动匹配的三维动画，需要在人或动物身体上佩戴传感器，通过拍摄传感器，获得人或动物动作过程，以此捕捉传感器的轨迹，然后添加到三维动画的模型用传统的三维动画制作技术来制作表情、骨骼等生成三维动画，此种方法需要佩戴传感器，复杂度高。
发明内容
基于此，有必要针对上述技术问题，提供一种三维动画生成的方法，提高三维动画生成的便利性。
一种三维动画生成的方法，所述方法包括：
获取第一主体深度图像，获取与所述第一主体深度图像对应的预先建立的第一三维模型，所述主体为人体或具有骨骼的动物；
获取所述第一主体深度图像匹配的第一特征点，将所述第一特征点映射至第一三维模型得到对应的模型第一特征点；
获取所述模型第一特征点对皮肤点的影响权重信息；
根据所述第一主体深度图像获取所述第一特征点的运动轨迹，根据所述运动轨迹和影响权重信息生成所述第一三维模型对应的第一三维动画。
在其中一个实施例中，所述获取第一主体深度图像的步骤之前，还包括：
获取不同形态的主体深度图像，对所述不同形态的主体深度图像建立不同的三维模型；
设置所述不同形态的主体深度图像对应的特征点，将所述特征点映射至三维模型得到对应的模型特征点；
根据所述模型特征点建立所述三维模型的三维动画骨骼；
根据皮肤点位置与所述三维动画骨骼的位置关系确定所述模型特征点对皮肤点的影响权重信息。
在其中一个实施例中，所述根据皮肤点位置与所述三维动画骨骼的位置关系确定所述模型特征点对皮肤点的影响权重信息的步骤包括：
根据主体骨骼特征确定所述三维动画骨骼的影响范围；
根据主体骨骼特征确定模型特征点在所述影响范围内对不同位置的皮肤点影响的权重系数，其中在确定权重系数时模型特征点对皮肤点的影响大小与两者之间的距离成反比。
在其中一个实施例中，所述根据所述运动轨迹和影响权重信息生成所述第一三维模型对应的第一三维动画的步骤包括：
将所述运动轨迹上的特征点根据深度信息映射到第一三维模型得到模型特征点的空间三维坐标；
根据所述影响权重信息获取所述模型特征点的第一影响范围；
获取所述第一影响范围内的第一皮肤点，根据第一皮肤点的原始空间三维坐标和模型特征点的空间三维坐标计算第一皮肤点与模型特征点的空间位置关系；
根据所述空间位置关系得到第一皮肤点的权重系数；
根据所述权重系数计算所述第一皮肤点的更新空间三维坐标，将所述第一皮肤点由原始空间三维坐标移动至所述更新空间三维坐标。
在其中一个实施例中，所述方法还包括：
获取配饰模型，获取所述模型第一特征点对配饰模型的配饰影响权重信息；
根据模型第一特征点的位置信息和所述配饰影响权重信息改变所述配饰模型的形态；
将所述改变后的配饰模型佩戴至所述第一三维模型对应的位置。
在其中一个实施例中，所述根据所述运动轨迹和影响权重信息生成所述第一三维模型对应的第一三维动画的步骤包括：
判断待生成的三维动画的皮肤点是否为摄像头采集的深度图像上对应位置的皮肤点，如果是，则直接根据所述深度图像生成对应位置的第一三维动画的皮肤点，否则根据所述运动轨迹和影响权重信息生成所述第一三维模型对应的第一三维动画的其它皮肤点。
在其中一个实施例中，所述第一主体深度图像为RGBD图像中的深度图像，所述RGBD图像还包括对应的彩色图像，所述第一三维动画为彩色的三维动画。
一种三维动画生成的装置，所述装置包括：
深度图像和模型获取模块，用于获取第一主体深度图像，获取与所述第一主体深度图像对应的预先建立的第一三维模型，所述主体为人体或具有骨骼的动物；
特征点和权重获取模块，用于获取所述第一主体深度图像匹配的第一特征点，将所述第一特征点映射至第一三维模型得到对应的模型第一特征点，获取所述模型第一特征点对皮肤点的影响权重信息；
三维动画生成模块，用于根据所述第一主体深度图像获取所述第一特征点的运动轨迹，根据所述运动轨迹和影响权重信息生成所述第一三维模型对应的第一三维动画。
在其中一个实施例中，所述装置还包括：
前处理模块，用于获取不同形态的主体深度图像，对所述不同形态的主体深度图像建立不同的三维模型，设置所述不同形态的主体深度图像对应的特征点，将所述特征点映射至三维模型得到对应的模型特征点，根据所述模型特征点建立三维模型的三维动画骨骼，根据皮肤点位置与所述三维动画骨骼的位置关系确定所述模型特征点对皮肤点的影响权重信息。
在其中一个实施例中，所述前处理模块还用于根据主体骨骼特征确定所述三维动画骨骼的影响范围，根据主体骨骼特征确定模型特征点在所述影响范围内对不同位置的皮肤点影响的权重系数，其中在确定权重系数时模型特征点对皮肤点的影响大小与两者之间的距离成反比。
在其中一个实施例中，所述三维动画生成模块包括：
特征点坐标单元，用于将所述运动轨迹上的特征点根据深度信息映射到第一三维模型得到模型特征点的空间三维坐标；
空间关系计算单元，用于根据所述影响权重信息获取所述模型特征点的第一影响范围，获取所述第一影响范围内的第一皮肤点，根据第一皮肤点的原始空间三维坐标和模型特征点的空间三维坐标计算第一皮肤点与模型特征点的空间位置关系；
更新单元，用于根据所述空间位置关系得到第一皮肤点的权重系数，根据所述权重系数计算所述第一皮肤点的更新空间三维坐标，将所述第一皮肤点由原始空间三维坐标移动至所述更新空间三维坐标。
在其中一个实施例中，所述装置还包括：
配饰模块，用于获取配饰模型，获取所述模型第一特征点对配饰模型的配饰影响权重信息，根据模型第一特征点的位置信息和所述配饰影响权重信息改变所述配饰模型的形态，将所述改变后的配饰模型佩戴至所述第一三维模型对应的位置。
在其中一个实施例中，所述三维动画生成模块包括：
判断单元，用于判断待生成的三维动画的皮肤点是否为摄像头采集的深度图像上对应位置的皮肤点，如果是，则进入第一生成单元，否则进入第二生成单元；
第一生成单元，用于直接根据所述深度图像生成对应位置的第一三维动画的皮肤点；
第二生成单元，用于根据所述运动轨迹和影响权重信息生成所述第一三维模型对应的第一三维动画的其它皮肤点。
在其中一个实施例中，所述第一主体深度图像为RGBD图像中的深度图像，所述RGBD图像还包括对应的彩色图像，所述第一三维动画为彩色的三维动画。
上述三维动画生成的方法和装置，通过获取第一主体深度图像，主体为人体或具有骨骼的动物，获取与第一主体深度图像对应的预先建立的第一三维模型，获取第一主体深度图像匹配的第一特征点，将第一特征点映射至第一三维模型得到对应的模型第一特征点，获取模型第一特征点对皮肤点的影响权重信息，根据第一主体深度图像获取第一特征点的运动轨迹，根据运动轨迹和影响权重信息生成第一三维模型对应的第一三维动画，由于深度图像携带了深度信息，是三维的空间信息，使得根据深度图像获取的第一特征点的运动轨迹是三维的运动轨迹，并根据运动轨迹和模型第一特征点对皮肤点的影响权重信息可自动生成第一三维模型对应的第一三维动画，不需要佩戴传感器采集三维位置信息，简单方便。
附图说明
图1为一个实施例中三维动画生成的方法的流程图；
图2为一个实施例中建立三维模型和确定权重信息的流程图；
图3为一个实施例中确定权重信息的流程图；
图4为一个实施例中根据运动轨迹和影响权重信息生成第一三维模型对应的第一三维动画的流程图；
图5为一个实施例中佩戴配饰模型的流程图；
图6为一个实施例中三维动画生成的装置的结构框图；
图7为另一个实施例中三维动画生成的装置的结构框图；
图8为一个实施例中三维动画生成模块的结构框图；
图9为再一个实施例中三维动画生成的装置的结构框图；
图10为一个实施例中根据特征点生成皮肤的示意图；
图11为一个实施例中一幅三维动画图示意图；
图12为一个实施例中人体三维模型上的模型特征点示意图；
图13为一个实施例中建立的人体半身三维骨骼示意图；
图14为一个实施例中建立的人体全身三维骨骼示意图；
图15为一个实施例中建立的狗的三维骨骼示意图；
图16为一个实施例中生成的三维人体动画示意图；
图17为一个实施例中生成的狗的三维动画示意图；
图18为一个实施例中三维动画生成模块的结构框图。
具体实施方式
在一个实施例中，如图1所示，提供了一种三维动画生成的方法，包括如下步骤：
步骤S110，获取第一主体深度图像，获取与第一主体深度图像对应的预先建立的第一三维模型，主体为人体或具有骨骼的动物。
具体的，主体为人体或具有骨骼的动物，如狗，深度图像可由深度图像摄像机采集得到，如双目摄像机或多对摄像装置采集同一图像的不同深度图像后进行平均得到。获得第一主体深度图像后，对第一主体深度图像进行处理，如去除背景分离出主体轮廓等。得到主体轮廓后进行分析，如主体轮廓为完整主体，则获取对应的完整人身三维模型。如果主体轮廓只为头部，则识别头部，获取与头部对应的头部三维模型。如果主体轮廓包括头部和手臂或动物的两个前肢，则获取与头部和手臂或两个前肢对应的半身三维模型。由于第一三维模型为预先建立的，可根据第一主体深度图像快速匹配得到，提高了效率。在一个实施例中，预先建立的第一三维模型可根据第一主体深度图像调整形态，如调整高度、调整四肢长度比例等。使得第一三维模型与第一主体深度图像更匹配。在一个实施例中，获取第一主体深度图像后，根据第一主体深度图像建立与第一主体深度图像对应的第一三维模型，由于第一三维模型是根据第一主体深度图像实时建立得，使得第一三维模型可动态根据第一主体深度图像生成，更匹配。在建立第一三维模型时，还可获取与第一主体深度图像对应的第一主体彩色图像，根据第一主体彩色图像中的色度信息建立第一三维模型，如调整肤色或动物的皮毛颜色，衣服颜色等。可以理解的是，如果只根据深度图像生成三维动画，则生成的三维动画没有色彩，如果根据深度图像和对应的彩色图像生成三维动画，则生成的三维动画是彩色的。
步骤S120，获取第一主体深度图像匹配的第一特征点，将第一特征点映射至第一三维模型得到对应的模型第一特征点，获取模型第一特征点对皮肤点的影响权重信息。
具体的，不同的深度图像对应了不同的第一特征点，第一特征点的位置和个数与深度图像对应。如深度图像对应主体轮廓为完整主体，则第一特征点为主体四肢末端、连接处和头部五官位置，如深度图像对应主体轮廓为头部，则第一特征点为面部五官位置。在获取第一主体深度图像匹配的第一特征点时，可通过获取第一主体深度图像对应的彩色图像，根据对彩色图像进行图像识别，如五官位置识别得到彩色图像对应特征点位置，由于彩色图像与深度图像对应，可根据特征点在彩色图像上的位置，匹配得到深度图像上的特征点位置。第一特征点的个数可根据需要自定义，第一特征点的个数适当则后续利用特征点得到的三维动画的精确度高。关键部位如脸部特征点密度可设置高，得到的三维动画效果精度更高，表情更逼真。需要说明的是，由于深度图像携带了深度信息，即深度图中的像素值的大小反映了景深的远近，所得第一特征点的位置实际上是三维空间中的位置。由于第一主体深度图像与第一三维模型对应，所以根据第一主体深度图像与第一三维模型的映射关系，进行映射则得到第一三维模型上与第一特征点对应的模型第一特征点的位置。
第一特征点一般包括多个特征点，各个特征点根据主体的分布可连接形成相应的骨骼，将模型第一特征点根据主体的分布可连接形成相应的三维动画骨骼。第一三维模型与三维动画骨骼是相互独立的，第一三维模型相当于皮肤，包括各个皮肤点，一旦将皮肤绑定至三维动画骨骼上，则皮肤可跟随三维动画骨骼的运动相应的运动。为了使皮肤跟随三维动画骨骼的运动逼真，就需要设置三维动画骨骼对第一三维模型上每个皮肤点相应的影响权重。将三维动画骨骼对第一三维模型上每个皮肤点相应的影响权重转化为模型第一特征点对皮肤点的影响权重，影响权重信息包括：模型第一特征点影响的皮肤点的范围，模型第一特征点影响皮肤点的权重系数大小。权重系数大小和皮肤点与模型第一特征点的位置相关。一般结合主体骨骼特征确定模型第一特征点对不同位置的皮肤点的权重系数大小。
步骤S130，根据第一主体深度图像获取第一特征点的运动轨迹，根据运动轨迹和影响权重信息生成第一三维模型对应的第一三维动画。
具体的，获取不同时间采集的第一主体深度图像，根据不同时间点的第一主体深度图像上对应的第一特征点的坐标位置变化得到第一特征点的运动轨迹。第一特征点的运动轨迹映射到第一三维模型上得到模型第一特征点的运动轨迹，由于第一特征点的运动轨迹由深度图像得到，包括了深度信息是一个空间三维的运动轨迹，模型第一特征点的运动轨迹也是一个空间三维的运动轨迹。根据运动轨迹上的模型第一特征点的影响权重信息，确定影响皮肤点的范围和影响皮肤点的权重系数，根据权重系数和运动轨迹计算出皮肤点受到模型第一特征点的影响后的更新空间坐标，从而得到更新后的皮肤，连续的皮肤变化形成了第一三维动画。如第一主体深度图像是主体头部的运动，则根据采集的不同的表情变化对应的运动轨迹，根据运动轨迹上的特征点和影响权重信息生成表情变化对应的三维动画表情。如大笑时，嘴角上扬，嘴角对应的特征点形成向左右两边向上的运动轨迹，根据嘴角对应的特征点对不同位置皮肤的影响权重系数，得到嘴角上扬时影响范围内的皮肤点的变化，从而得到凸起的肌肉变化效果。如图10所示，为根据特征点的运动轨迹和影响权重信息对皮肤点的影响生成对应位置的皮肤点的示意图，各个皮肤点的位置可根据公式：计算得到，其中d1代表起始皮肤点，d2代表运动后的皮肤点，a1、b1、c1分别代表起始特征点，a2、b2、c2分别代表运动后的特征点，α、β、λ分别为各个特征点的权重值，f()表示计算特征点的轨迹，g(_)表示得到皮肤点的轨迹。如图11所示为皮肤位置完全确定后生成的一幅三维动画图，如图16所示为制作好的三维人体动画图，如图17所示为制作好的狗的三维动画图。
本实施例中，通过获取第一主体深度图像，获取与第一主体深度图像对应的预先建立的第一三维模型，获取第一主体深度图像匹配的第一特征点，将第一特征点映射至第一三维模型得到对应的模型第一特征点，获取模型第一特征点对皮肤点的影响权重信息，根据第一主体深度图像获取第一特征点的运动轨迹，根据运动轨迹和影响权重信息生成第一三维模型对应的第一三维动画，由于深度图像携带了深度信息，是三维的空间信息，使得根据深度图像获取的第一特征点的运动轨迹是三维的运动轨迹，并根据运动轨迹和模型第一特征点对皮肤点的影响权重信息可自动生成第一三维模型对应的第一三维动画，不需要佩戴传感器采集三维位置信息，简单方便。
在一个实施例中，如图2所示，在步骤S110之前，还包括：
步骤S210，获取不同形态的主体深度图像，对不同形态的主体深度图像建立不同的三维模型。
具体的，对不同形态的主体深度图像进行处理，如去除背景分离出主体轮廓等。得到主体轮廓后进行分析，如主体轮廓为完整主体，则建立对应的完整人身三维模型。如果主体轮廓只为半身不包括手臂，则识别头部，建立与头部对应的头部三维模型。如果主体轮廓包括头部和手臂，则建立与头部和手臂对应的半身三维模型。在建立三维模型时，还可获取与主体深度图像对应的主体彩色图像，根据主体彩色图像中的色度信息建立三维模型，如调整肤色，衣服颜色等。提前建立不同形态的主体深度图像对应的三维模型，在生成三维动画时可直接根据实时采集的主体深度图像查找匹配的建立好的三维模型，加快了三维动画生成的速度。
步骤S220，设置不同形态的主体深度图像对应的特征点，将特征点映射至三维模型得到对应的模型特征点。
具体的，可自定义不同形态的主体深度图像对应的特征点的位置和个数，如深度图像对应主体轮廓为完整主体，则特征点为主体四肢末端、连接处和头部五官位置，如深度图像对应主体轮廓为头部，则特征点为面部五官位置。特征点的位置可通过人工标定或自动识别，在自动识别时，可通过获取主体深度图像对应的彩色图像，根据对彩色图像进行图像识别，如五官位置识别得到彩色图像对应特征点位置，由于彩色图像与深度图像对应，可根据特征点在彩色图像上的位置，匹配得到深度图像上的特征点位置。由于主体深度图像与三维模型对应，所以根据主体深度图像与三维模型的映射关系，进行映射则得到三维模型上与特征点对应的模型特征点的位置。如图12所示，为人体三维模型上的模型特征点示意图，可从图中看出头部和手部的特征点更密集，可生成更精确的脸部表情和手部运动三维动画。如图10所示，为狗的三维模型上的特征点示意图。
步骤S230，根据模型特征点建立三维模型的三维动画骨骼，根据皮肤点位置与三维动画骨骼的位置关系确定模型特征点对皮肤点的影响权重信息。
具体的，模型特征点对皮肤点的影响范围可根据需要自定义，如设定与特征点的距离小于预设阈值则为特征点对皮肤点的影响范围。权重系数的大小可根据皮肤点位置与三维动画骨骼的位置关系自定义算法，如计算皮肤点与三维动画骨骼的垂直距离，根据垂直距离确定连接三维动画骨骼的特征点对皮肤点的权重系数。如图13所示，为建立的人体半身三维骨骼示意图，如图14所示，为建立的人体全身三维骨骼示意图。如图15所示，为建立的狗的三维骨骼示意图。
在一个实施例中，如图3所示，步骤S230包括：
步骤S231，根据主体骨骼特征确定所述三维动画骨骼的影响范围。
具体的，根据主体骨骼特征，将模型特征点根据主体的分布连接形成相应的三维动画骨骼，根据主体骨骼特征确定三维动画骨骼的影响皮肤点范围，三维动画骨骼由模型特征点连接而成，则位于三维动画骨骼上的模型特征点的影响皮肤点范围就是它所在的三维动画骨骼的影响皮肤点范围。
步骤S232，根据主体骨骼特征确定模型特征点在影响范围内对不同位置的皮肤点影响的权重系数，其中在确定权重系数时模型特征点对皮肤点的影响大小与两者之间的距离成反比。
具体的，模型特征点对皮肤点的影响权重系数由模型特征点与皮肤点的距离关系结合主体骨骼特征确定，根据主体骨骼特征，不同位置肌肉的拉伸度不同，如三维动画骨骼为手臂，则由于手臂上的骨骼运动对肌肉的位伸运动影响很小，所以设置一个较小的主体骨骼特征权重系数a1，再根据皮肤点与三维动画骨骼上的特征点的距离得到距离权重系数a2，将a1与a2相乘得到最终的权重系数。将最终的权重系数表达为以皮肤点和特征点之间的距离为变量的函数，则在后续生成三维动画时，可直接根据距离大小得到对应的权重系数。
在一个实施例中，如图4所示，步骤S130包括：
步骤S131，将运动轨迹上的特征点根据深度信息映射到第一三维模型得到模型特征点的空间三维坐标。
具体的，由于运动轨迹由深度图像得到，深度图像包括了深度信息，特征点包括了三维的空间信息，所以特征点映射到第一三维模型可得到一个空间三维坐标。
步骤S132，根据影响权重信息获取模型特征点的第一影响范围，获取第一影响范围内的第一皮肤点，根据第一皮肤点的原始空间三维坐标和模型特征点的空间三维坐标计算第一皮肤点与模型特征点的空间位置关系。
具体的，影响权重信息包括了各个特征点影响皮肤点的范围，获取第一影响范围内的第一皮肤点，其它的皮肤点由于在影响范围之后，所以不会受到特征点的影响，如对于2只手臂的模型，其中一只手臂的运动不会影响另一只手臂上的皮肤点。空间位置关系可根据需要计算，如获取的权重系数是与皮肤点和模型特征点的距离相关的，则直接根据空间三维坐标计算皮肤点和模型特征点之间点到点的距离。如获取的权重系数是与皮肤点和不同模型特征点形成的骨骼距离相关的，则可根据空间三维坐标计算皮肤点至模型特征点形成的骨骼之间的点到线的距离。
步骤S133，根据空间位置关系得到第一皮肤点的权重系数。
具体的，可根据计算出的空间距离得到与距离对应的权重系数作为第一皮肤点的权重系数。可以理解的是，如果影响第一皮肤点的模型特征点有多个，则分别根据空间位置关系得到第一皮肤点受到多个模型特征点影响的权重系数，再将不同的权重系数进行加权计算得到最终的权重系数。
步骤S134，根据权重系数计算第一皮肤点的更新空间三维坐标，将第一皮肤点由原始空间三维坐标移动至更新空间三维坐标。
具体的，特征点的运动轨迹通过映射到第一三维模型得到各个模型特征点的运动轨迹，根据权重系数和各个模型特征点的运动轨迹的趋势计算第一皮肤点的更新空间坐标，如模型特征点是向上运动，运动距离为b1，并且权重系数为b2，则得到第一皮肤点的更新空间坐标为关于b1和b2和原始空间三维坐标的函数，根据函数计算得到更新空间三维坐标。具体的函数公式可根据需要自定义。连续的皮肤点空间坐标的变化形成了三维动画。如对于头部模型，当采集的主体深度图像对应为头部转动时，三维动画也跟随着头部转动，如采集的主体深度图像对应为笑脸时，三维动画也跟随呈现笑脸。
在一个实施例中，如图5所示，方法还包括：
步骤S310，获取配饰模型，获取模型第一特征点对配饰模型的配饰影响权重信息。
具体的，根据配饰模型的种类匹配能影响配饰模型的目标模型特征点，如配饰模型为帽子，则目标模型特征点为头部模型特征点，如配饰模型为眼镜，则目标模型特征点为鼻部模型特征点。除了目标模型特征点，其它模型特征点对配饰模型的配饰影响权重系数为0。影响权重信息包括了模型第一特征点对配饰模型的配饰影响权重系数和影响范围。只有影响范围内配饰上的点才会受到第一特征点的影响，如帽子只有边缘上的点会受到模型第一特征点的影响，帽子顶部的点不会受到模型第一特征点的影响。影响权重系数确定了模型第一特征点运动时，各个模型特征点对配饰模型影响大小，如配饰模型为帽子，帽子距离头部较近的点的影响权重系数较大。
步骤S320，根据模型第一特征点的位置信息和配饰影响权重信息改变配饰模型的形态，将改变后的配饰模型佩戴至所述第一三维模型对应的位置。
具体的，模型第一特征点的位置信息包括两个模型特征点之间的距离和特征点的移动轨迹，可根据模型第一特征点的位置信息和配饰影响权重信息改变配饰模型的形态，如大小、位置等。使得改变后的配饰模型与第一三维模型相匹配，从而能将改变后的配饰模型佩戴至第一三维模型对应的位置。如用户A的头部较宽，则用户A的头部2个模型特征点之间的距离较大，从而将原始配饰模型，如帽子调大，使得其与用户的头部相匹配。
在一个实施例中，所述第一三维模型为头部三维模型，所述第一三维动画为头像三维动画。
具体的，当第一三维模型为头部三维模型时，获取的第一特征点对皮肤点的影响权重信息会与头部的结构相匹配，根据头部特征点的运动轨迹得到皮肤的运动，从而得到不同的表情，得到动态的头像三维动画。可用于用户间的视频通话实时生成对应的随人的表情改变的三维动画，增加通信的趣味性。
在一个实施例中，步骤S130包括：判断待生成的三维动画的皮肤点是否为摄像头采集的深度图像上对应位置的皮肤点，如果是，则直接根据深度图像生成对应位置的第一三维动画的皮肤点，否则根据运动轨迹和影响权重信息生成第一三维模型对应的第一三维动画的其它皮肤点。
具体的，由于深度图像携带了深度信息，是三维的空间信息，则对于深度图像上的各个点可直接根据深度信息得到空间位置坐标，从而确定各个皮肤点的位置，如面对摄像头的那一面的皮肤点在深度图像上有对应的点，则可直接得到这些皮肤点的三维位置，从而生成对应的三维动画皮肤点。对于摄像头采集不到的部分，背对摄像头的部分，在深度图像上没有对应的点，则需要根据运动轨迹和影响权重信息生成这些皮肤点。对于有深度信息的皮肤点，直接根据深度信息生成对应的三维动画，可加快三维动画的生成速度。
在一个实施例中，第一主体深度图像为RGBD图像中的深度图像，RGBD图像还包括对应的彩色图像，第一三维动画为彩色的三维动画。
具体的，RGBD图像为摄像机采集的同步的深度图像和彩色图像，由于采集的信息中包括了彩色图像，并且彩色图像与深度图像的各个点一一对应，生成的三维动画为彩色的。
在一个实施例中，如图6所示，提供了一种三维动画生成的装置，包括：
深度图像和模型获取模块410，用于获取第一主体深度图像，获取与第一主体深度图像对应的预先建立的第一三维模型，主体为人体或具有骨骼的动物。
特征点和权重获取模块420，用于获取第一主体深度图像匹配的第一特征点，将第一特征点映射至第一三维模型得到对应的模型第一特征点，获取模型第一特征点对皮肤点的影响权重信息。
三维动画生成模块430，用于根据第一主体深度图像获取第一特征点的运动轨迹，根据运动轨迹和影响权重信息生成第一三维模型对应的第一三维动画。
在一个实施例中，如图7所示，所述装置还包括：
前处理模块440，用于获取不同形态的主体深度图像，对不同形态的主体深度图像建立不同的三维模型，设置不同形态的主体深度图像对应的特征点，将特征点映射至三维模型得到对应的模型特征点，根据模型特征点建立三维模型的三维动画骨骼，根据皮肤点位置与三维动画骨骼的位置关系确定模型特征点对皮肤点的影响权重信息。
在一个实施例中，前处理模块440还用于根据主体骨骼特征确定三维动画骨骼的影响范围，根据主体骨骼特征确定模型特征点在影响范围内对不同位置的皮肤点影响的权重系数，其中在确定权重系数时模型特征点对皮肤点的影响大小与两者之间的距离成反比。
在一个实施例中，如图8所示，三维动画生成模块430包括：
特征点坐标单元431，用于将运动轨迹上的特征点根据深度信息映射到第一三维模型得到模型特征点的空间三维坐标。
空间关系计算单元432，用于根据影响权重信息获取模型特征点的第一影响范围，获取第一影响范围内的第一皮肤点，根据第一皮肤点的原始空间三维坐标和模型特征点的空间三维坐标计算第一皮肤点与模型特征点的空间位置关系。
更新单元433，用于根据空间位置关系得到第一皮肤点的权重系数，根据权重系数计算第一皮肤点的更新空间三维坐标，将第一皮肤点由原始空间三维坐标移动至更新空间三维坐标。
在一个实施例中，如图9所示，所述装置还包括：
配饰模块450，用于获取配饰模型，获取模型第一特征点对配饰模型的配饰影响权重信息，根据模型第一特征点的位置信息和所述配饰影响权重信息改变配饰模型的形态，将改变后的配饰模型佩戴至第一三维模型对应的位置。
在一个实施例中，所述第一三维模型为头部三维模型，所述第一三维动画为头像三维动画。
在一个实施例中，如图18所示，三维动画生成模块430包括：
判断单元434，用于判断待生成的三维动画的皮肤点是否为摄像头采集的深度图像上对应位置的皮肤点，如果是，则进入第一生成单元，否则进入第二生成单元。
第一生成单元435，用于直接根据深度图像生成对应位置的第一三维动画的皮肤点。
第二生成单元436，用于根据运动轨迹和影响权重信息生成所述第一三维模型对应的第一三维动画的其它皮肤点。
在一个实施例中，第一主体深度图像为RGBD图像中的深度图像，RGBD图像还包括对应的彩色图像，第一三维动画为彩色的三维动画。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述程序可存储于一计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种三维动画生成的方法，所述方法包括：
获取第一主体深度图像，获取与所述第一主体深度图像对应的预先建立的第一三维模型，所述主体为人体或具有骨骼的动物；
获取所述第一主体深度图像匹配的第一特征点，将所述第一特征点映射至第一三维模型得到对应的模型第一特征点；
获取所述模型第一特征点对皮肤点的影响权重信息；
根据所述第一主体深度图像获取所述第一特征点的运动轨迹，根据所述运动轨迹和影响权重信息生成所述第一三维模型对应的第一三维动画，具体包括：将所述运动轨迹上的特征点根据深度信息映射到第一三维模型得到模型特征点的空间三维坐标；根据所述影响权重信息获取所述模型特征点的第一影响范围；获取所述第一影响范围内的第一皮肤点，根据第一皮肤点的原始空间三维坐标和模型特征点的空间三维坐标计算第一皮肤点与模型特征点的空间位置关系；根据所述空间位置关系得到第一皮肤点的权重系数；根据所述权重系数计算所述第一皮肤点的更新空间三维坐标，将所述第一皮肤点由原始空间三维坐标移动至所述更新空间三维坐标。
2.根据权利要求1所述的方法，其特征在于，所述获取第一主体深度图像的步骤之前，还包括：
获取不同形态的主体深度图像，对所述不同形态的主体深度图像建立不同的三维模型；
设置所述不同形态的主体深度图像对应的特征点，将所述特征点映射至三维模型得到对应的模型特征点；
根据所述模型特征点建立所述三维模型的三维动画骨骼；
根据皮肤点位置与所述三维动画骨骼的位置关系确定所述模型特征点对皮肤点的影响权重信息。
3.根据权利要求2所述的方法，其特征在于，所述根据皮肤点位置与所述三维动画骨骼的位置关系确定所述模型特征点对皮肤点的影响权重信息的步骤包括：
根据主体骨骼特征确定所述三维动画骨骼的影响范围；
根据主体骨骼特征确定模型特征点在所述影响范围内对不同位置的皮肤点影响的权重系数，其中在确定权重系数时模型特征点对皮肤点的影响大小与两者之间的距离成反比。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取配饰模型，获取所述模型第一特征点对配饰模型的配饰影响权重信息；
根据模型第一特征点的位置信息和所述配饰影响权重信息改变所述配饰模型的形态；
将所述改变后的配饰模型佩戴至所述第一三维模型对应的位置。
5.根据权利要求1所述的方法，其特征在于，所述根据所述运动轨迹和影响权重信息生成所述第一三维模型对应的第一三维动画的步骤包括：
判断待生成的三维动画的皮肤点是否为摄像头采集的深度图像上对应位置的皮肤点，如果是，则直接根据所述深度图像生成对应位置的第一三维动画的皮肤点，否则根据所述运动轨迹和影响权重信息生成所述第一三维模型对应的第一三维动画的其它皮肤点。
6.根据权利要求1所述的方法，其特征在于，所述第一主体深度图像为RGBD图像中的深度图像，所述RGBD图像还包括对应的彩色图像，所述第一三维动画为彩色的三维动画。
7.一种三维动画生成的装置，其特征在于，所述装置包括：
深度图像和模型获取模块，用于获取第一主体深度图像，获取与所述第一主体深度图像对应的预先建立的第一三维模型，所述主体为人体或具有骨骼的动物；
特征点和权重获取模块，用于获取所述第一主体深度图像匹配的第一特征点，将所述第一特征点映射至第一三维模型得到对应的模型第一特征点，获取所述模型第一特征点对皮肤点的影响权重信息；
三维动画生成模块，用于根据所述第一主体深度图像获取所述第一特征点的运动轨迹，根据所述运动轨迹和影响权重信息生成所述第一三维模型对应的第一三维动画，包括：特征点坐标单元，用于将所述运动轨迹上的特征点根据深度信息映射到第一三维模型得到模型特征点的空间三维坐标；空间关系计算单元，用于根据所述影响权重信息获取所述模型特征点的第一影响范围，获取所述第一影响范围内的第一皮肤点，根据第一皮肤点的原始空间三维坐标和模型特征点的空间三维坐标计算第一皮肤点与模型特征点的空间位置关系；更新单元，用于根据所述空间位置关系得到第一皮肤点的权重系数，根据所述权重系数计算所述第一皮肤点的更新空间三维坐标，将所述第一皮肤点由原始空间三维坐标移动至所述更新空间三维坐标。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
前处理模块，用于获取不同形态的主体深度图像，对所述不同形态的主体深度图像建立不同的三维模型，设置所述不同形态的主体深度图像对应的特征点，将所述特征点映射至三维模型得到对应的模型特征点，根据所述模型特征点建立三维模型的三维动画骨骼，根据皮肤点位置与所述三维动画骨骼的位置关系确定所述模型特征点对皮肤点的影响权重信息。
9.根据权利要求8所述的装置，其特征在于，所述前处理模块还用于根据主体骨骼特征确定所述三维动画骨骼的影响范围，根据主体骨骼特征确定模型特征点在所述影响范围内对不同位置的皮肤点影响的权重系数，其中在确定权重系数时模型特征点对皮肤点的影响大小与两者之间的距离成反比。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括：
配饰模块，用于获取配饰模型，获取所述模型第一特征点对配饰模型的配饰影响权重信息，根据模型第一特征点的位置信息和所述配饰影响权重信息改变所述配饰模型的形态，将所述改变后的配饰模型佩戴至所述第一三维模型对应的位置。
11.根据权利要求7所述的装置，其特征在于，所述三维动画生成模块包括：
判断单元，用于判断待生成的三维动画的皮肤点是否为摄像头采集的深度图像上对应位置的皮肤点，如果是，则进入第一生成单元，否则进入第二生成单元；
第一生成单元，用于直接根据所述深度图像生成对应位置的第一三维动画的皮肤点；
第二生成单元，用于根据所述运动轨迹和影响权重信息生成所述第一三维模型对应的第一三维动画的其它皮肤点。
12.根据权利要求7所述的装置，其特征在于，所述第一主体深度图像为RGBD图像中的深度图像，所述RGBD图像还包括对应的彩色图像，所述第一三维动画为彩色的三维动画。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510876008.9A CN105513114B (zh) | 2015-12-01 | 2015-12-01 | 三维动画生成的方法和装置 |
| PCT/CN2016/076742 WO2017092196A1 (zh) | 2015-12-01 | 2016-03-18 | 三维动画生成的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510876008.9A CN105513114B (zh) | 2015-12-01 | 2015-12-01 | 三维动画生成的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105513114A CN105513114A (zh) | 2016-04-20 |
| CN105513114B true CN105513114B (zh) | 2018-05-18 |
Family
ID=55721070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510876008.9A Active CN105513114B (zh) | 2015-12-01 | 2015-12-01 | 三维动画生成的方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105513114B (zh) |
| WO (1) | WO2017092196A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023287A (zh) * | 2016-05-31 | 2016-10-12 | 中国科学院计算技术研究所 | 一种数据驱动的交互式三维动画合成方法及系统 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106611158A (zh) * | 2016-11-14 | 2017-05-03 | 深圳奥比中光科技有限公司 | 人体3d特征信息的获取方法及设备 |
| CN107066095B (zh) * | 2017-03-31 | 2020-09-25 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN107507269A (zh) * | 2017-07-31 | 2017-12-22 | 广东欧珀移动通信有限公司 | 个性化三维模型生成方法、装置和终端设备 |
| CN108765529A (zh) * | 2018-05-04 | 2018-11-06 | 北京比特智学科技有限公司 | 视频生成方法和装置 |
| CN109102559B (zh) * | 2018-08-16 | 2021-03-23 | Oppo广东移动通信有限公司 | 三维模型处理方法和装置 |
| CN109064551B (zh) * | 2018-08-17 | 2022-03-25 | 联想(北京)有限公司 | 电子设备的信息处理方法和装置 |
| CN109389665B (zh) * | 2018-08-24 | 2021-10-22 | 先临三维科技股份有限公司 | 三维模型的纹理获取方法、装置、设备和存储介质 |
| CN110312144B (zh) * | 2019-08-05 | 2022-05-24 | 广州方硅信息技术有限公司 | 进行直播的方法、装置、终端和存储介质 |
| CN111105494B (zh) * | 2019-12-31 | 2023-10-24 | 长城汽车股份有限公司 | 一种三维动态头像的生成方法及系统 |
| CN111210495A (zh) * | 2019-12-31 | 2020-05-29 | 深圳市商汤科技有限公司 | 三维模型驱动方法、装置、终端及计算机可读存储介质 |
| CN111613222A (zh) * | 2020-05-25 | 2020-09-01 | 广东电网有限责任公司 | 一种变电站巡检系统 |
| CN111968169B (zh) * | 2020-08-19 | 2024-01-19 | 北京拙河科技有限公司 | 动态人体三维重建方法、装置、设备和介质 |
| CN112184921B (zh) * | 2020-10-30 | 2024-02-06 | 北京百度网讯科技有限公司 | 虚拟形象驱动方法、装置、设备和介质 |
| EP4290347A1 (en) * | 2021-02-02 | 2023-12-13 | Sony Group Corporation | Information processing method, information processing device, and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622774A (zh) * | 2011-01-31 | 2012-08-01 | 微软公司 | 起居室电影创建 |
| CN103679783A (zh) * | 2013-10-18 | 2014-03-26 | 中国科学院自动化研究所 | 基于几何变形的三维动画角色模型皮肤变形方法 |
| CN104008557A (zh) * | 2014-06-23 | 2014-08-27 | 中国科学院自动化研究所 | 一种服装与人体模型的三维匹配方法 |
-
2015
- 2015-12-01 CN CN201510876008.9A patent/CN105513114B/zh active Active
-
2016
- 2016-03-18 WO PCT/CN2016/076742 patent/WO2017092196A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622774A (zh) * | 2011-01-31 | 2012-08-01 | 微软公司 | 起居室电影创建 |
| CN103679783A (zh) * | 2013-10-18 | 2014-03-26 | 中国科学院自动化研究所 | 基于几何变形的三维动画角色模型皮肤变形方法 |
| CN104008557A (zh) * | 2014-06-23 | 2014-08-27 | 中国科学院自动化研究所 | 一种服装与人体模型的三维匹配方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023287A (zh) * | 2016-05-31 | 2016-10-12 | 中国科学院计算技术研究所 | 一种数据驱动的交互式三维动画合成方法及系统 |
| CN106023287B (zh) * | 2016-05-31 | 2019-06-18 | 中国科学院计算技术研究所 | 一种数据驱动的交互式三维动画合成方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017092196A1 (zh) | 2017-06-08 |
| CN105513114A (zh) | 2016-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105513114B (zh) | 三维动画生成的方法和装置 | |
| CN111354079B (zh) | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 | |
| US20210012558A1 (en) | Method and apparatus for reconstructing three-dimensional model of human body, and storage medium | |
| US10846903B2 (en) | Single shot capture to animated VR avatar | |
| CN101324961B (zh) | 计算机虚拟世界中人脸部三维贴图方法 | |
| CN105144247B (zh) | 用户的三维表示的生成 | |
| CN105427385B (zh) | 一种基于多层形变模型的高保真人脸三维重建方法 | |
| CN104008564B (zh) | 一种人脸表情克隆方法 | |
| CN109325437A (zh) | 图像处理方法、装置和系统 | |
| CN105787974B (zh) | 仿生人脸衰老模型建立方法 | |
| CN106600665B (zh) | 一种相机动画路径生成方法和装置 | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| WO2022205762A1 (zh) | 三维人体重建方法、装置、设备及存储介质 | |
| CN103208133A (zh) | 一种图像中人脸胖瘦的调整方法 | |
| CN110148217A (zh) | 一种实时三维重建方法、装置及设备 | |
| CN108537881A (zh) | 一种人脸模型处理方法及其设备、存储介质 | |
| CN107484428A (zh) | 用于显示对象的方法 | |
| CN109410298A (zh) | 一种虚拟模型的制作方法及表情变化方法 | |
| CN107705355A (zh) | 一种基于多张图片的3d人体建模方法及装置 | |
| CN105243375B (zh) | 一种动作特征提取方法及装置 | |
| CN109242960A (zh) | 采用双Kinect和旋转平台的人体实时建模系统及其建模方法 | |
| CN107507269A (zh) | 个性化三维模型生成方法、装置和终端设备 | |
| CN107657664A (zh) | 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备 | |
| CN111652123A (zh) | 图像处理和图像合成方法、装置和存储介质 | |
| CN106952335A (zh) | 建立人体模型库的方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |