CN108648280B - 虚拟角色驱动方法及装置、电子设备和存储介质 - Google Patents

虚拟角色驱动方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN108648280B
CN108648280B CN201810381366.6A CN201810381366A CN108648280B CN 108648280 B CN108648280 B CN 108648280B CN 201810381366 A CN201810381366 A CN 201810381366A CN 108648280 B CN108648280 B CN 108648280B
Authority
CN
China
Prior art keywords
fitting
key point
key
points
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810381366.6A
Other languages
English (en)
Other versions
CN108648280A (zh
Inventor
汪路超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201810381366.6A priority Critical patent/CN108648280B/zh
Publication of CN108648280A publication Critical patent/CN108648280A/zh
Application granted granted Critical
Publication of CN108648280B publication Critical patent/CN108648280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及虚拟角色驱动方法及装置、电子设备和存储介质，所述方法包括：获取关键点在二维图像中的平面坐标，以及所述关键点在深度图像中的关键点深度，所述二维图像与所述深度图像相对应；根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，得到关键点拟合结果；根据所述关键点拟合结果驱动虚拟角色。根据关键点拟合结果驱动虚拟角色，可以降低制作成本，以及提高拟合效果。

Description

虚拟角色驱动方法及装置、电子设备和存储介质
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种虚拟角色驱动方法及装置、电子设备和存储介质。
背景技术
3D技术特别是3D人物重建、表情捕捉和动作捕捉技术，在多媒体等各个应用领域都得到了的广泛应用。在各种应用场景中，如何方便地根据人物的拍摄图像精确地拟合3D模型后驱动虚拟角色，成为计算机视觉技术领域亟待解决的问题。
发明内容
有鉴于此，本公开提出了一种技术方案。
根据本公开的一方面，提供了一种虚拟角色驱动方法，所述方法包括：
获取关键点在二维图像中的平面坐标，以及所述关键点在深度图像中的关键点深度，所述二维图像与所述深度图像相对应；
根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，得到关键点拟合结果；
根据所述关键点拟合结果驱动虚拟角色。
在一种可能的实现方式中，所述二维图像与所述深度图像相对应，包括：
所述二维图像与所述深度图像配准。
在一种可能的实现方式中，根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，得到关键点拟合结果，包括：
根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，构建关键点拟合模型；
优化所述关键点拟合模型，得到模型拟合参数，并根据所述模型拟合参数确定关键点拟合结果。
在一种可能的实现方式中，所述初始模型参数包括：初始形状参数、初始表面参数和初始位姿参数；
优化所述关键点拟合模型，得到模型拟合参数，并根据所述模型拟合参数确定关键点拟合结果，包括：
优化所述关键点拟合模型，得到第一位姿参数、第一形状参数和第一表面参数，并根据所述第一位姿参数、所述第一形状参数和所述第一表面参数确定关键点拟合结果，其中，所述关键点拟合结果中的关键点在所述二维图像上投影的坐标与所述平面坐标之间的距离最小，所述关键点拟合结果中的关键点的拟合深度与所述关键点深度之间的差值最小。
在一种可能的实现方式中，所述方法还包括：
根据所述关键点拟合结果、所述二维图像和所述深度图像，利用迭代就近点算法得到拟合点拟合结果。
在一种可能的实现方式中，根据所述关键点拟合结果、所述二维图像和所述深度图像，利用迭代就近点算法得到拟合点拟合结果，包括：
根据所述关键点拟合结果中的拟合点在所述二维图像中投影的投影坐标，以及所述拟合点在深度图像中的拟合点深度，构建拟合点拟合模型；
优化所述拟合点拟合模型，得到第二位姿参数、第二形状参数、第二表面参数和拟合点坐标，并根据所述第二位姿参数、所述第二形状参数、所述第二表面参数和所述拟合点坐标确定拟合点拟合结果，其中，所述拟合点拟合结果中的拟合点在所述二维图像上投影的坐标与所述投影坐标之间的距离最小，所述拟合点拟合结果中的拟合点的拟合深度与所述拟合点深度之间的差值最小。
在一种可能的实现方式中，优化所述拟合点拟合模型，包括：
基于第一正则项进行迭代计算，所述第一正则向用于约束所述拟合点的位置变化最小。
在一种可能的实现方式中，优化所述拟合点拟合模型，包括：
基于第二正则项进行迭代计算，所述第二正则项用于约束所述关键点在所述二维图像上的投影的坐标与所述投影坐标之间的距离最小。
在一种可能的实现方式中，所述拟合点同时满足以下条件：
所述拟合点在所述关键点拟合结果中可见；
所述拟合点的深度与所述拟合点的投影点在所述深度图像中的拟合点深度之间的差值小于阈值。
在一种可能的实现方式中，优化所述拟合点拟合模型的过程满足以下约束条件：
在优化所述拟合点拟合模型的过程中，将以第K-1次迭代计算出的投影点的坐标为中心、变化步长为半径的区域，作为第K次迭代计算出的拟合点的位置变化范围。
在一种可能的实现方式中，所述方法还包括：
根据所述拟合点拟合结果驱动虚拟角色。
在一种可能的实现方式中，所述方法还包括：
根据所述关键点在所述二维图像中的平面坐标进行拟合，得到初步拟合模型；
将根据所述初步拟合模型生成的深度图确定为引导图；
根据所述引导图对深度初始图像进行引导滤波，得到深度图像。
根据本公开的另一方面，提供了一种虚拟角色驱动装置，所述装置包括：
关键点坐标获取模块，用于关键点获取关键点在二维图像中的平面坐标，以及所述关键点在深度图像中的关键点深度，所述二维图像与所述深度图像相对应；
关键点拟合结果获取模块，用于根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，得到关键点拟合结果；
第一虚拟角色驱动模块，用于根据所述关键点拟合结果驱动虚拟角色。
在一种可能的实现方式中，所述二维图像与所述深度图像相对应，包括：所述二维图像与所述深度图像配准。
在一种可能的实现方式中，所述关键点拟合结果获取模块，包括：
关键点拟合模型构建子模块，用于根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，构建关键点拟合模型；
关键点拟合结果获取子模块，用于优化所述关键点拟合模型，得到模型拟合参数，并根据所述模型拟合参数确定关键点拟合结果。
在一种可能的实现方式中，所述初始模型参数包括：初始形状参数、初始表面参数和初始位姿参数；
所述关键点拟合结果获取子模块，包括：
第一拟合结果获取子模块，用于优化所述关键点拟合模型，得到第一位姿参数、第一形状参数和第一表面参数，并根据所述第一位姿参数、所述第一形状参数和所述第一表面参数确定关键点拟合结果，其中，所述关键点拟合结果中的关键点在所述二维图像上投影的坐标与所述平面坐标之间的距离最小，所述关键点拟合结果中的关键点的拟合深度与所述关键点深度之间的差值最小。
在一种可能的实现方式中，所述装置还包括：
拟合点拟合结果获取模块，用于根据所述关键点拟合结果、所述二维图像和所述深度图像，利用迭代就近点算法得到拟合点拟合结果。
在一种可能的实现方式中，所述拟合点拟合结果获取模块，包括：
拟合点拟合模型构建子模块，用于根据所述关键点拟合结果中的拟合点在所述二维图像中投影的投影坐标，以及所述拟合点在深度图像中的拟合点深度，构建拟合点拟合模型；
拟合点拟合结果获取子模块，用于优化所述拟合点拟合模型，得到第二位姿参数、第二形状参数、第二表面参数和拟合点坐标，并根据所述第二位姿参数、所述第二形状参数、所述第二表面参数和所述拟合点坐标确定拟合点拟合结果，其中，所述拟合点拟合结果中的拟合点在所述二维图像上投影的坐标与所述投影坐标之间的距离最小，所述拟合点拟合结果中的拟合点的拟合深度与所述拟合点深度之间的差值最小。
在一种可能的实现方式中，所述拟合点拟合结果获取子模块，包括：
第一正则项计算子模块，用于基于第一正则项进行迭代计算，所述第一正则向用于约束所述拟合点的位置变化最小。
在一种可能的实现方式中，所述拟合点拟合结果获取子模块，包括：
第二正则项计算子模块，用于基于第二正则项进行迭代计算，所述第二正则项用于约束所述关键点在所述二维图像上的投影的坐标与所述投影坐标之间的距离最小。
在一种可能的实现方式中，所述拟合点同时满足以下条件：
所述拟合点在所述关键点拟合结果中可见；
所述拟合点的深度与所述拟合点的投影点在所述深度图像中的拟合点深度之间的差值小于阈值。
在一种可能的实现方式中，优化所述拟合点拟合模型的过程满足以下约束条件：
在优化所述拟合点拟合模型的过程中，将以第K-1次迭代计算出的投影点的坐标为中心、变化步长为半径的区域，作为第K次迭代计算出的拟合点的位置变化范围。
在一种可能的实现方式中，所述装置还包括：
第二虚拟角色驱动模块，用于根据所述拟合点拟合结果驱动虚拟角色。
在一种可能的实现方式中，所述装置还包括：
初步拟合模型获取模块，用于根据所述关键点在所述二维图像中的平面坐标进行拟合，得到初步拟合模型；
引导图确定模块，用于将根据所述初步拟合模型生成的深度图确定为引导图；
深度图像获取模块，用于根据所述引导图对深度初始图像进行引导滤波，得到深度图像。
根据本公开的一方面，提供了一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行上述虚拟角色驱动方法。
根据本公开的又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述虚拟角色驱动方法。
在公开本实施例中，在目标对象的二维图像和深度图像中，利用关键点的平面坐标、关键点深度和初始模型参数得到的关键点拟合结果，可以方便、准确地对目标对象进行拟合。根据关键点拟合结果驱动虚拟角色，可以降低制作成本，以及提高拟合效果。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开一实施例的虚拟角色驱动方法的流程图；
图2示出根据本公开一实施例的虚拟角色驱动方法中步骤S20的流程图；
图3示出根据本公开一实施例的虚拟角色驱动方法中步骤S22的流程图；
图4示出根据本公开一实施例的虚拟角色驱动方法的流程图；
图5示出根据本公开一实施例的虚拟角色驱动方法中步骤S40的流程图；
图6示出根据本公开一实施例的虚拟角色驱动方法的流程图；
图7示出根据本公开一实施例的虚拟角色驱动方法的流程图；
图8示出根据本公开一实施例的虚拟角色驱动装置的框图；
图9示出根据本公开一实施例的虚拟角色驱动装置的框图；
图10是根据一示例性实施例示出的一种用于虚拟角色驱动的装置的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出根据本公开一实施例的虚拟角色驱动方法的流程图，如图1所示，所述虚拟角色驱动方法包括：
步骤S10，获取关键点在二维图像中的平面坐标，以及所述关键点在深度图像中的关键点深度，所述二维图像与所述深度图像相对应。
步骤S20，根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，得到关键点拟合结果。
步骤S30，根据所述关键点拟合结果驱动虚拟角色。
在一种可能的实现方式中，二维图像和深度图像，可以是深度相机拍摄目标对象得到的，也可以是基于其它设备同时拍摄相同的目标对象得到的。由于二维图像和深度图像可以通过深度相机等便携设备拍摄得到，获取方便，使得拟合结果的获取过程简单。
二维图像和深度图像相对应，可以包括二维图像和深度图像的拍摄时间相同，也可以包括二维图像和深度图像中相同的关键点的坐标相对应。
在一种可能的实现方式中，所述二维图像与所述深度图像相对应，包括：所述二维图像与所述深度图像配准。二维图像和深度图像之间可以根据关键点的坐标进行图像配准。图像配准包括将不同时间、不同成像设备(传感器)或不同拍摄条件下(拍摄气候、拍摄光线、拍摄角度、拍摄位置等)获取的两幅或多幅图像进行匹配、叠加的过程，可以使得不同图像间对应点的坐标统一。
可以将目标对象上设定好的点作为关键点。例如，可以将人物的面部作为目标对象，可以将面部中眼睛的内眼角和外眼角、瞳孔、鼻尖、眉心、眉毛的头部、眉毛的尾部等部位作为面部的关键点。关键点的数量可以根据需求进行设定。
关键点在二维图像中的平面坐标，可以包括空间坐标系中X轴和Y轴的坐标。深度图像可以包括目标对象的表面与拍摄设备之间的距离信息。在与二维图像对应的深度图像中，二维图像中的各关键点在深度图像中可以有对应的关键点深度。关键点深度可以包括空间坐标系中Z轴的坐标。
可以将根据初始模型参数确定的初始模型与一个实际的目标对象进行拟合。例如可以将人的面部或躯体作为目标对象，将初始模型与实际的人的面部或躯体进行拟合，得到关键点拟合结果。在关键点拟合结果中的各关键点与目标对象中的与之对应的关键点之间的距离最小，即关键点拟合结果最大程度地拟合目标对象。
关键点拟合结果可以包括拟合后的三维模型。拟合后的三维模型应用广泛。可以根据关键点拟合结果驱动虚拟角色，例如可以通过调整拟合后的三维模型中的参数拟合实际的人的不同表情或动作。例如，当目标对象为人的面部时，可以根据关键点拟合结果拟合目标对象的表情和位姿，从而驱动虚拟角色。当目标对象做出不同表情，或有不同的位姿时，关键点拟合结果均可以最大程度地进行拟合，使得虚拟角色做出和实际的人相同的表情和位姿。
在本实施例中，在目标对象的二维图像和深度图像中，利用关键点的平面坐标、关键点深度和初始模型参数得到的关键点拟合结果，可以方便、准确地对目标对象进行拟合。根据关键点拟合结果驱动虚拟角色，可以降低制作成本，以及提高拟合效果。
图2示出根据本公开一实施例的虚拟角色驱动方法中步骤S20的流程图，如图2所示，步骤S20包括：
步骤S21，根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，构建关键点拟合模型。
步骤S22，优化所述关键点拟合模型，得到模型拟合参数，并根据所述模型拟合参数确定关键点拟合结果。
在一种可能的实现方式中，可以通过构建关键点拟合函数的方式构建关键点拟合模型。可以根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，构建关键点拟合模型。可以将模型拟合参数、关键点的平面坐标和关键点的关键点深度的不同组合，依次代入关键点拟合模型中进行迭代计算。当迭代次数满足设定的次数，或迭代计算的结果满足设定的收敛条件时，可以停止迭代计算，得到模型拟合参数。可以根据模型拟合参数确定关键点拟合结果。
可以根据关键点在初始模型参数确定的三维模型中的坐标，和关键点在二维图像以及深度图像中的坐标进行拟合运算。将关键点在关键点拟合结果中的坐标，和在二维图像以及深度图像中的坐标，通过迭代拟合运算进行了对应。
在本实施例中，通过构建关键点拟合模型，优化关键点拟合模型得到模型拟合参数，并根据模型拟合参数确定关键点拟合结果。关键点拟合模型的迭代计算的过程，能够保证关键点拟合结果中各关键点的拟合效果，提高拟合的准确率。
图3示出根据本公开一实施例的虚拟角色驱动方法中步骤S22的流程图，所述初始模型参数包括：初始形状参数、初始表面参数和初始位姿参数，如图3所示，步骤S22包括：
步骤S221，优化所述关键点拟合模型，得到第一位姿参数、第一形状参数和第一表面参数，并根据所述第一位姿参数、所述第一形状参数和所述第一表面参数确定关键点拟合结果，其中，所述关键点拟合结果中的关键点在所述二维图像上投影的坐标与所述平面坐标之间的距离最小，所述关键点拟合结果中的关键点的拟合深度与所述关键点深度之间的差值最小。
在一种可能的实现方式中，当目标对象为面部时，初始形状参数可以包括初始脸型参数，初始表面参数可以包括初始表情参数。脸型参数可以包括根据脸部的轮廓设定的参数，表情参数可以包括根据面部不同表情给出的各关键点的位置关系设定的参数。对于一组给定的脸型参数和表情参数，可以得到一个面部模型的实例。
初始位姿参数可包括旋转参数和平移参数，可用于表示目标对象中的关键点相对于拍摄设备的旋转和平移。例如面部正对拍摄设备得到旋转参数1和平移参数2，面部侧面面对拍摄设备可以得到旋转参数2和平移参数2。则旋转参数1和旋转参数2不同，平移参数1和平移参数2不同。
形状参数、表面参数、旋转参数和平移参数均可包括多个参数。可以通过设定形状参数、表面参数、旋转参数和平移参数中的参数个数，得到不同精度的关键点拟合结果。
在优化关键点拟合模型的过程中，可以将形状参数、表面参数、旋转参数、平移参数、关键点在二维图像中的平面坐标，以及关键点在深度图像中的关键点深度的不同组合，代入关键点拟合模型中进行迭代计算。当满足收敛条件时停止迭代计算得到关键点拟合结果。根据关键点拟合结果可以确定拟合后的三维模型A。收敛条件可包括：在拟合后的三维模型A中的关键点在二维图像上的投影坐标与平面坐标之间的距离最小，同时在三维模型A中的关键点的深度与关键点深度之间的差值最小。
在本实施例中，根据位姿参数、形状参数和表面参数优化得到的关键点拟合结果，能够全面、精确地反应出目标对象的关键点表示出的立体特征。提高关键点拟合结果与目标对象的拟合效果。
图4示出根据本公开一实施例的虚拟角色驱动方法的流程图，如图4所示，所述虚拟角色驱动方法还包括：
步骤S40，根据所述关键点拟合结果、所述二维图像和所述深度图像，利用迭代就近点算法得到拟合点拟合结果。
在一种可能的实现方式中，迭代就近点(ICP，Iterative Closest Points)算法可以将两个点集进行空间变换，以使两个点集能够进行空间匹配。，ICP算法是一种对初值敏感的方法。当初值准确时，ICP算法可以得到更为精确的结果。当初值不准确时，ICP算法的结果也不准确，甚至会得到失效的结果，最终收敛于一个错误的位置。本公开实施例通过迭代就近点算法，将关键点拟合结果作为初值代入，由于关键点拟合结果根据目标对象的关键点进行了拟合，拟合结果准确，因此根据关键点拟合结果计算得到的拟合点拟合结果准确度高。
可以将目标对象上，除关键点以外的点确定为拟合点。可以利用三维网格表示的三维模型中的各网格线交叉顶点。根据拟合目的，可以设定疏密程度不同的三维网格，得到数量不同的拟合点后进行拟合运算，从而得到精度不同的拟合点拟合结果。拟合点的数量可比关键点的数量多。
例如，当目标对象为面部时，可以利用三维网格表示。当三维网格中各网格线相交的顶点的数量大于关键点的数量时，可以将各顶点确定为拟合点。因此根据拟合点拟合的拟合点拟合结果，可以比关键点拟合结果更加精准地拟合目标对象。
可以将关键点拟合结果中除关键点以外的拟合点，和拟合点在二维图像和深度图像中对应的点进行拟合运算，经过迭代计算并满足收敛条件后，得到拟合点拟合结果。
在本公开实施例中，利用迭代就近点算法，将关键点拟合结果中的拟合点进行拟合，由于使用了关键点拟合结果作为初值，并采用了更多的拟合点，因此拟合点拟合结果能够比关键点拟合结果的更加精准地拟合目标对象。
图5示出根据本公开一实施例的虚拟角色驱动方法中步骤S40的流程图，如图5所示，步骤S40包括：
步骤S41，根据所述关键点拟合结果中的拟合点在所述二维图像中投影的投影坐标，以及所述拟合点在深度图像中的拟合点深度，构建拟合点拟合模型。
步骤S42，优化所述拟合点拟合模型，得到第二位姿参数、第二形状参数、第二表面参数和拟合点坐标，并根据所述第二位姿参数、所述第二形状参数、所述第二表面参数和所述拟合点坐标确定拟合点拟合结果，其中，所述拟合点拟合结果中的拟合点在所述二维图像上投影的坐标与所述投影坐标之间的距离最小，所述拟合点拟合结果中的拟合点的拟合深度与所述拟合点深度之间的差值最小。
在一种可能的实现方式中，关键点拟合结果中的拟合点，可以是利用三维网格表示的三维模型中的各网格线交叉顶点中，除关键点以外的顶点。
可以将关键点拟合结果给出的第一位姿参数、第一形状参数和第一表面参数作为拟合点拟合模型的初值。在优化拟合点拟合模型的过程中，与优化关键点拟合模型的过程不同的是，在关键点拟合模型的拟合过程中，关键点的坐标是已知的。而在拟合点拟合模型的拟合过程中，拟合点的坐标是未知的。因此，在拟合点拟合模型的优化过程中，拟合点的坐标也是迭代计算求解的一部分。
在优化拟合点拟合模型的过程中，可以根据拟合点在二维图像中的投影坐标，以及拟合点在深度图像中的拟合点深度进行拟合。可根据拟合点的投影坐标和拟合点深度，将位姿参数、形状参数和表面参数的取值，以及将各拟合点的坐标依次代入拟合点拟合模型进行迭代计算。当满足收敛条件时停止迭代计算得到拟合点拟合结果。根据拟合点拟合结果可以得到拟合后的三维模型B。收敛条件可包括：拟合后的三维模型B中的拟合点在二维图像上的投影坐标与投影坐标之间的距离最小，同时在三维模型B中的拟合点的深度与拟合点深度之间的差值最小。由于拟合点的数量可比关键点的数量多，因此拟合点拟合结果比关键点拟合结果，更加的精确。
在本实施例中，由于拟合点的数量比关键点的数量多，因此拟合点拟合结果，能够比关键点拟合结果，更加精确地对目标对象中拟合点代表的立体特征进行拟合，因此拟合点拟合结果更加地精确。
在一种可能的实现方式中，优化所述拟合点拟合模型，包括：基于第一正则项进行迭代计算，所述第一正则向用于约束所述拟合点的位置变化最小。
通常在拟合的过程中，如果用于拟合训练的训练数据量太少、训练数据中存在噪声，或训练数据代表的假设条件过于严格，可能会出现过拟合的现象。当出现过拟合时，一个假设的结果能够很好的拟合训练数据，但在训练数据外的数据上却不能很好的拟合数据。
在拟合点拟合模型的拟合过程中，由于拟合点的坐标也是求解的变量之一，为防止过拟合，可以在拟合点拟合模型中设置第一正则项，通过在每次迭代运算中提取拟合点的位置变化最小的运算结果，将优化过程中的拟合点的位置变化进行约束。通过第一正则项，可以去除拟合点拟合模型的迭代运算过程中，由于拟合点位置变化过大产生的噪声，避免拟合点拟合模型的拟合结果过拟合。
在一种可能的实现方式中，所述拟合点拟合模型还包括第一正则参数。所述第一正则参数用于确定所述第一正则项的权重。可以根据拟合目的，确定第一正则参数的大小。
在本公开实施例中，通过拟合点拟合模型中的第一正则项，约束迭代计算中拟合点的位置变化。可以防止拟合点拟合模型的运算结果过拟合。
在一种可能的实现方式中，优化所述拟合点拟合模型，包括：基于第二正则项进行迭代计算，所述第二正则项用于约束所述关键点在所述二维图像上的投影的坐标与所述投影坐标之间的距离最小。
由于关键点在关键点拟合结果中可以具有确定的坐标，将关键点拟合结果引入拟合点拟合模型后，在拟合点拟合模型的优化过程中，关键点在二维图像上的投影坐标，也可以具有很高的精度。因此在拟合点拟合模型的迭代运算过程中，可以将关键点在所述二维图像上的投影坐标与投影坐标之间的距离最小，作为拟合点拟合模型的第二正则项，对拟合点拟合模型进行约束，得到更加精准地拟合结果。
在一种可能的实现方式中，所述拟合点拟合模型包括：第二正则参数，所述第二正则参数用于确定所述第二正则项的权重。
在拟合点拟合模型的迭代运算过程中，随着迭代次数的增加，运算结果越来越接近最优解。各拟合点在运算结果确定的三维模型中的精度也越来越高。随着拟合点拟合模型的迭代计算，可以逐渐减小第二正则参数的值，突出拟合点拟合模型中的其它计算因素的迭代运算效应。
在本实施例中，通过拟合点拟合模型中的第二正则项，将关键点的投影坐标与投影坐标之间的距离最小，作为约束条件，可以防止拟合点拟合模型的运算结果过拟合，并提高拟合点拟合模型
的迭代运算的效率。
在一种可能的实现方式中，所述拟合点同时满足以下条件：所述拟合点在所述关键点拟合结果中可见；所述拟合点的深度与所述拟合点的投影点在所述深度图像中的拟合点深度之间的差值小于阈值。
根据关键点拟合结果确定出的三维模型中，可以包括多个拟合点。在根据拟合点构建拟合点拟合模型的过程中，有的拟合点可能因为坐标位置的原因不能在关键点拟合结果中可见，因此没有计算价值。有的拟合点也可能因为坐标位置的原因，例如所述拟合点的深度与所述拟合点的投影点在深度图像中的拟合点深度之间的差值较大时，表示此拟合点的初始位置与期望位置的差异较大，将其代入拟合点拟合模型进行运算时，会导致迭代运算效率低或运算结果不准确。因此，需要将代入拟合点拟合模型中进行运算的拟合点进行选择。
在本实施例中，通过对拟合点的筛选，保证拟合点拟合模型的运算过程更加高效，运算结果更加准确。
在一种可能的实现方式中，优化所述拟合点拟合模型的过程满足以下约束条件：在优化所述拟合点拟合模型的过程中，将以第K-1次迭代计算出的投影点的坐标为中心、变化步长为半径的区域，作为第K次迭代计算出的拟合点的位置变化范围。
在一种可能的实现方式中，可以根据图像梯度将图像看作一个二维离散函数。图像梯度可以是二维离散函数的求导。在优化拟合点拟合模型的过程中，由于深度图像的图像梯度只考虑上下两个像素，因此深度图像的图像梯度的有效范围，可以只包括一个3×3的窗口。
将以第K-1次迭代计算出的投影点的坐标为中心、变化步长为半径的区域，作为第K次迭代计算出的拟合点的位置变化范围，作为拟合点拟合模型运算过程中的约束条件，可以将根据第一拟合模型第K次迭代运算的结果确定的拟合点的位置，约束在以第K-1次迭代运算的结果确定的拟合点的位置为中心的3×3的窗口的范围内。
在本实施例中，将根据拟合点拟合模型每次迭代计算出的拟合点的位置确定出的范围，作为下一次迭代计算的位置变化的约束条件，可以得到更加理想的拟合结果。
图6示出根据本公开一实施例的虚拟角色驱动方法的流程图，如图6所示，所述虚拟角色驱动方法还包括：
步骤S50，根据所述拟合点拟合结果驱动虚拟角色。
在一种可能的实现方式中，可以根据拟合点拟合结果驱动虚拟角色，包括确定虚拟角色的表情、位姿、动作等。由于拟合点拟合结果，采用了比关键点拟合结果的关键点更多的拟合点进行拟合，因此根据拟合点拟合结果驱动的虚拟角色，能够比根据关键点拟合结果驱动的虚拟角色，具有更加丰富细致的表情，以及具有更加多变和精准地位姿和动作。
关键点拟合结果或拟合点拟合结果，均可以基于深度相机等设备拍摄得到的图像进行运算得到。本公开实施例中的方法，均可以基于移动设备、便携设备实现。因此，利用关键点拟合结果或拟合点拟合结果驱动虚拟角色，在模型制作、影视制作等领域具有广泛的应用场景。
图7示出根据本公开一实施例的虚拟角色驱动方法的流程图，如图7所示，所述虚拟角色驱动方法还包括：
步骤S60，根据所述关键点在所述二维图像中的平面坐标进行拟合，得到初步拟合模型。
步骤S70，将根据所述初步拟合模型生成的深度图确定为引导图。
步骤S80，根据所述引导图对深度初始图像进行引导滤波，得到深度图像。
在一种可能的实现方式中，可以利用关键点在二维图像中的平面坐标进行初步拟合，得到初步拟合模型。再根据初步拟合模型中各关键点的深度信息生成深度图。可根据生成的深度图，对深度相机拍摄到的深度初始图像，进行引导滤波。去除深度初始图像中的噪声，得到的深度图像。再将深度图像应用于后续本公开实施例的方法中，可以提高拟合结果的精度和稳定性。
在本实施例中，通过所述关键点在所述二维图像中的平面坐标进行初步拟合得到深度图，再利用深度图作为引导图对拍摄设备得到的深度初始图像进行引导滤波，得到深度图像后用于后续的拟合运算，可以提高拟合计算结果的精度，以及提高拟合结果的稳定性。
应用示例1
使用面部脸双线性模型(Bilinear model)生成模型：
Figure BDA0001641104990000171
其中Cr表示面部的双线性模型张量，wid是形状参数，wexp是表面参数，×2表示Cr的第二个维度与wid相乘,×3表示Cr的第三个维度与wexp相乘，T’代表转置。对于一组特定的wid和wexp，可以求解X表示模型的一个实例。
采用公式1表示第一拟合函数：
Figure BDA0001641104990000181
其中，j表示第j个面部的关键点(landmark)，X表示模型的3D点坐标，Xj表示模型X中的第j个面部关键点坐标。x表示面部关键点的2D(2dimension，二维)图像坐标，x≡[u,v]T。xj表示第j个关键点的坐标。R表示3D点的旋转参数，T表示3D点的平移参数，R和T都是面部的位姿参数(pose)。函数Π(.)表示3D点到2D图像点投影。
公式1中的第一项||Π(RXj+T)-xj||表示面部3D模型上的第j个关键点做R的旋转和T的平移之后，投影到2D图像上和xj的距离最小。
在公式1的第二项中，R3表示R的第三行，t3表示T的第三行：
Figure BDA0001641104990000182
T≡[t1,t2,t3]T
函数D(x)表示面部深度图中的x的位置的值，即点x对应的深度值。公式1中的||R3Xj+t3-D(xj)||表示面部3D模型上的第j个关键点Xj旋转平移之后的z值和该点在深度图像中对应的深度值最小。
公式1中的系数
Figure BDA0001641104990000183
是为了使第二项和第一项的单位统一。
在公式1的优化过程中，优化目标包括R、T、wid和wexp。在公式1中，R和T分别有6个自由度，wid和wexp可以分别使用50和30个参数，因此公式1中一共有86个自由度。而二维图像和深度图像提供了关键点个数3倍的方程约束，当点数大于29个时，优化方程函数是可解的。可以使用LM(Levenberg-Marquarat，阻尼最小二乘法)方法求解公式1的无约束的非线性优化问题。
应用示例2
利用应用示例1中的拟合结果，根据公式1得到的最小化的形状参数、最小化的表面参数和最小化的位姿参数，构建拟合点拟合函数。
采用公式2表示拟合点拟合函数，
Figure BDA0001641104990000191
其中，公式2中的第一项||Π(RXi+T)-xi||代表第i个拟合点投影到2D图像的坐标和坐标xi距离最近，
公式2中的第二项||R3Xi+t3-D(xi)||表示第i个拟合点旋转平移后的z值和测量到的深度值相近。
与公式1不同的是，关键点的2D坐标xj是通过人脸标定得到的，而拟合点的2D坐标xi是未知的，是求解变量之一。
公式2中的第二项
Figure BDA0001641104990000192
为正则项，约束xi的变化较小，λ1用以衡量正则的大小，xi (0)表示变量xi的初始值。N表示找到的拟合点的投影点个的数，乘1/N表示根据拟合点的数量做了归一化。
公式2中的第四项
Figure BDA0001641104990000193
和公式1中的第一项相同，代表关键点的投影误差最小。
可以假设关键点在二维图像中的投影点有着更高的精度，所以使用此项作为正则项，λ2表示正则的大小。随着迭代的进行，越来越接近最优解，拟合点的计算结果的精度也越来越高，可以逐渐较小λ2的值。
由于求导时
Figure BDA0001641104990000194
为深度图的图像梯度，而图像梯度只考虑上下两个像素，所以图像梯度的有效范围只有一个3×3的窗口。在公示2中增加约束/>
Figure BDA0001641104990000201
使得xi只在该窗口中改变。
其中，k表示第k次迭代，xi (k)表示第k次迭代后的xi的值，xi (k-1)表示k-1次迭代后，即第k此迭代前的值。
Figure BDA0001641104990000202
表示xi(k-1)向下取整，以此约束第k次迭代xi的改变在以
Figure BDA0001641104990000203
为中心的3×3窗口中。可以通过LM方法求解公式2的非线性最优问题。
图8示出根据本公开一实施例的虚拟角色驱动装置的框图，如图8所示，所述虚拟角色驱动装置包括：
关键点坐标获取模块10，用于关键点获取关键点在二维图像中的平面坐标，以及所述关键点在深度图像中的关键点深度，所述二维图像与所述深度图像相对应。
关键点拟合结果获取模块20，用于根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，得到关键点拟合结果。
第一虚拟角色驱动模块30，用于根据所述关键点拟合结果驱动虚拟角色。
图9示出根据本公开一实施例的虚拟角色驱动装置的框图，如图9所示，在一种可能的实现方式中，所述二维图像与所述深度图像相对应，包括：所述二维图像与所述深度图像配准。
在一种可能的实现方式中，所述关键点拟合结果获取模块20，包括：
关键点拟合模型构建子模块21，用于根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，构建关键点拟合模型；
关键点拟合结果获取子模块22，用于优化所述关键点拟合模型，得到模型拟合参数，并根据所述模型拟合参数确定关键点拟合结果。
在一种可能的实现方式中，所述初始模型参数包括：初始形状参数、初始表面参数和初始位姿参数；所述关键点拟合结果获取子模块22，包括：
第一拟合结果获取子模块221，用于优化所述关键点拟合模型，得到第一位姿参数、第一形状参数和第一表面参数，并根据所述第一位姿参数、所述第一形状参数和所述第一表面参数确定关键点拟合结果，其中，所述关键点拟合结果中的关键点在所述二维图像上投影的坐标与所述平面坐标之间的距离最小，所述关键点拟合结果中的关键点的拟合深度与所述关键点深度之间的差值最小。
在一种可能的实现方式中，所述装置还包括：
拟合点拟合结果获取模块40，用于根据所述关键点拟合结果、所述二维图像和所述深度图像，利用迭代就近点算法得到拟合点拟合结果。
在一种可能的实现方式中，所述拟合点拟合结果获取模块40，包括：
拟合点拟合模型构建子模块41，用于根据所述关键点拟合结果中的拟合点在所述二维图像中投影的投影坐标，以及所述拟合点在深度图像中的拟合点深度，构建拟合点拟合模型；
拟合点拟合结果获取子模块42，用于优化所述拟合点拟合模型，得到第二位姿参数、第二形状参数、第二表面参数和拟合点坐标，并根据所述第二位姿参数、所述第二形状参数、所述第二表面参数和所述拟合点坐标确定拟合点拟合结果，其中，所述拟合点拟合结果中的拟合点在所述二维图像上投影的坐标与所述投影坐标之间的距离最小，所述拟合点拟合结果中的拟合点的拟合深度与所述拟合点深度之间的差值最小。
在一种可能的实现方式中，所述拟合点拟合结果获取子模块42，包括：
第一正则项计算子模块421，用于基于第一正则项进行迭代计算，所述第一正则向用于约束所述拟合点的位置变化最小。
在一种可能的实现方式中，所述拟合点拟合结果获取子模块42，包括：
第二正则项计算子模块422，用于基于第二正则项进行迭代计算，所述第二正则项用于约束所述关键点在所述二维图像上的投影的坐标与所述投影坐标之间的距离最小。
在一种可能的实现方式中，所述拟合点同时满足以下条件：
所述拟合点在所述关键点拟合结果中可见；
所述拟合点的深度与所述拟合点的投影点在所述深度图像中的拟合点深度之间的差值小于阈值。
在一种可能的实现方式中，优化所述拟合点拟合模型的过程满足以下约束条件：
在优化所述拟合点拟合模型的过程中，将以第K-1次迭代计算出的投影点的坐标为中心、变化步长为半径的区域，作为第K次迭代计算出的拟合点的位置变化范围。
在一种可能的实现方式中，所述装置还包括：
第二虚拟角色驱动模块50，用于根据所述拟合点拟合结果驱动虚拟角色。
在一种可能的实现方式中，所述装置还包括：
初步拟合模型获取模块60，用于根据所述关键点在所述二维图像中的平面坐标进行拟合，得到初步拟合模型；
引导图确定模块70，用于将根据所述初步拟合模型生成的深度图确定为引导图；
深度图像获取模块80，用于根据所述引导图对深度初始图像进行引导滤波，得到深度图像。
图10是根据一示例性实施例示出的一种用于虚拟角色驱动的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图10，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由装置800的处理器820执行以完成上述方法。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种虚拟角色驱动方法，其特征在于，所述方法包括：
获取关键点在二维图像中的平面坐标，以及所述关键点在深度图像中的关键点深度，所述二维图像与所述深度图像相对应；
根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，得到关键点拟合结果，所述初始模型参数至少包括：初始形状参数；
根据所述关键点拟合结果驱动虚拟角色；
所述根据所述关键点拟合结果驱动虚拟角色，包括：
根据所述关键点拟合结果中的拟合点、所述二维图像和所述深度图像，得到拟合点拟合结果，所述拟合点为关键点以外的点；
根据所述拟合点拟合结果驱动虚拟角色。
2.根据权利要求1所述的方法，其特征在于，所述二维图像与所述深度图像相对应，包括：
所述二维图像与所述深度图像配准。
3.根据权利要求1或2所述的方法，其特征在于，根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，得到关键点拟合结果，包括：
根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，构建关键点拟合模型；
优化所述关键点拟合模型，得到模型拟合参数，并根据所述模型拟合参数确定关键点拟合结果。
4.根据权利要求3所述的方法，其特征在于，所述初始模型参数还包括：初始表面参数和初始位姿参数；
优化所述关键点拟合模型，得到模型拟合参数，并根据所述模型拟合参数确定关键点拟合结果，包括：
优化所述关键点拟合模型，得到第一位姿参数、第一形状参数和第一表面参数，并根据所述第一位姿参数、所述第一形状参数和所述第一表面参数确定关键点拟合结果，其中，所述关键点拟合结果中的关键点在所述二维图像上投影的坐标与所述平面坐标之间的距离最小，所述关键点拟合结果中的关键点的拟合深度与所述关键点深度之间的差值最小。
5.一种虚拟角色驱动装置，其特征在于，所述装置包括：
关键点坐标获取模块，用于关键点获取关键点在二维图像中的平面坐标，以及所述关键点在深度图像中的关键点深度，所述二维图像与所述深度图像相对应；
关键点拟合结果获取模块，用于根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，得到关键点拟合结果，所述初始模型参数至少包括：初始形状参数；
第一虚拟角色驱动模块，用于根据所述关键点拟合结果驱动虚拟角色；
所述第一虚拟角色驱动模块，还用于：
根据所述关键点拟合结果中的拟合点、所述二维图像和所述深度图像，得到拟合点拟合结果，所述拟合点为关键点以外的点；
根据所述拟合点拟合结果驱动虚拟角色。
6.根据权利要求5所述的装置，其特征在于，所述二维图像与所述深度图像相对应，包括：所述二维图像与所述深度图像配准。
7.根据权利要求5或6所述的装置，其特征在于，所述关键点拟合结果获取模块，包括：
关键点拟合模型构建子模块，用于根据所述关键点的所述平面坐标、所述关键点的所述关键点深度和初始模型参数，构建关键点拟合模型；
关键点拟合结果获取子模块，用于优化所述关键点拟合模型，得到模型拟合参数，并根据所述模型拟合参数确定关键点拟合结果。
8.根据权利要求7所述的装置，其特征在于，所述初始模型参数还包括：初始表面参数和初始位姿参数；
所述关键点拟合结果获取子模块，包括：
第一拟合结果获取子模块，用于优化所述关键点拟合模型，得到第一位姿参数、第一形状参数和第一表面参数，并根据所述第一位姿参数、所述第一形状参数和所述第一表面参数确定关键点拟合结果，其中，所述关键点拟合结果中的关键点在所述二维图像上投影的坐标与所述平面坐标之间的距离最小，所述关键点拟合结果中的关键点的拟合深度与所述关键点深度之间的差值最小。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行权利要求1至4中任意一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至4中任意一项所述的方法。
CN201810381366.6A 2018-04-25 2018-04-25 虚拟角色驱动方法及装置、电子设备和存储介质 Active CN108648280B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810381366.6A CN108648280B (zh) 2018-04-25 2018-04-25 虚拟角色驱动方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810381366.6A CN108648280B (zh) 2018-04-25 2018-04-25 虚拟角色驱动方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN108648280A CN108648280A (zh) 2018-10-12
CN108648280B true CN108648280B (zh) 2023-03-31

Family

ID=63747833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810381366.6A Active CN108648280B (zh) 2018-04-25 2018-04-25 虚拟角色驱动方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN108648280B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179332B (zh) * 2018-11-09 2023-12-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备及存储介质
CN111353930B (zh) * 2018-12-21 2022-05-24 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
CN111460871B (zh) * 2019-01-18 2023-12-22 北京市商汤科技开发有限公司 图像处理方法及装置、存储介质
CN110008873B (zh) * 2019-04-25 2021-06-22 北京华捷艾米科技有限公司 面部表情捕捉方法、系统及设备
CN113327312B (zh) * 2021-05-27 2023-09-08 百度在线网络技术（北京）有限公司 虚拟角色的驱动方法、装置、设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093490A (zh) * 2013-02-02 2013-05-08 浙江大学 基于单个视频摄像机的实时人脸动画方法
CN103942822A (zh) * 2014-04-11 2014-07-23 浙江大学 一种基于单视频摄像机的面部特征点跟踪和人脸动画方法
CN104376599A (zh) * 2014-12-11 2015-02-25 苏州丽多网络科技有限公司 一种简便的三维头部模型生成系统
CN106447785A (zh) * 2016-09-30 2017-02-22 北京奇虎科技有限公司 一种驱动虚拟角色的方法和装置
CN106778628A (zh) * 2016-12-21 2017-05-31 张维忠 一种基于tof深度相机的面部表情捕捉方法
CN107945255A (zh) * 2017-11-24 2018-04-20 北京德火新媒体技术有限公司 一种虚拟人物表情驱动方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9438878B2 (en) * 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093490A (zh) * 2013-02-02 2013-05-08 浙江大学 基于单个视频摄像机的实时人脸动画方法
CN103942822A (zh) * 2014-04-11 2014-07-23 浙江大学 一种基于单视频摄像机的面部特征点跟踪和人脸动画方法
CN104376599A (zh) * 2014-12-11 2015-02-25 苏州丽多网络科技有限公司 一种简便的三维头部模型生成系统
CN106447785A (zh) * 2016-09-30 2017-02-22 北京奇虎科技有限公司 一种驱动虚拟角色的方法和装置
CN106778628A (zh) * 2016-12-21 2017-05-31 张维忠 一种基于tof深度相机的面部表情捕捉方法
CN107945255A (zh) * 2017-11-24 2018-04-20 北京德火新媒体技术有限公司 一种虚拟人物表情驱动方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于单目视频相机的实时人脸跟踪与动画方法研究;曹晨;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20180115(第1期);第29-50页 *

Also Published As

Publication number Publication date
CN108648280A (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
CN108648280B (zh) 虚拟角色驱动方法及装置、电子设备和存储介质
CN109697734B (zh) 位姿估计方法及装置、电子设备和存储介质
CN107798669B (zh) 图像去雾方法、装置及计算机可读存储介质
WO2022037285A1 (zh) 相机外参标定方法及装置
CN108470322B (zh) 处理人脸图像的方法、装置及可读存储介质
KR20220053670A (ko) 목표 대상물 매칭 방법 및 장치, 전자 기기 및 기억 매체
US20210158560A1 (en) Method and device for obtaining localization information and storage medium
CN107944367B (zh) 人脸关键点检测方法及装置
CN106845398B (zh) 人脸关键点定位方法及装置
EP3057304A1 (en) Method and apparatus for generating image filter
CN107958223B (zh) 人脸识别方法及装置、移动设备、计算机可读存储介质
CN107392933B (zh) 一种图像分割的方法及移动终端
CN109410276B (zh) 关键点位置确定方法、装置及电子设备
CN109902725A (zh) 移动目标的检测方法、装置及电子设备和存储介质
CN109325908B (zh) 图像处理方法及装置、电子设备和存储介质
CN105426878B (zh) 人脸聚类方法及装置
CN106503682B (zh) 视频数据中的关键点定位方法及装置
CN114170324A (zh) 标定方法及装置、电子设备和存储介质
CN111968052B (zh) 图像处理方法、图像处理装置及存储介质
CN109903252B (zh) 图像处理方法及装置、电子设备和存储介质
CN112767541B (zh) 三维重建方法及装置、电子设备和存储介质
CN107239758B (zh) 人脸关键点定位的方法及装置
CN108154090B (zh) 人脸识别方法及装置
CN109325141B (zh) 图像检索方法及装置、电子设备和存储介质
CN113642551A (zh) 指甲关键点检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant