CN108550170B - 虚拟角色驱动方法及装置 - Google Patents

虚拟角色驱动方法及装置 Download PDF

Info

Publication number
CN108550170B
CN108550170B CN201810379644.4A CN201810379644A CN108550170B CN 108550170 B CN108550170 B CN 108550170B CN 201810379644 A CN201810379644 A CN 201810379644A CN 108550170 B CN108550170 B CN 108550170B
Authority
CN
China
Prior art keywords
fitting
parameter
point
camera
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810379644.4A
Other languages
English (en)
Other versions
CN108550170A (zh
Inventor
汪路超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201810379644.4A priority Critical patent/CN108550170B/zh
Publication of CN108550170A publication Critical patent/CN108550170A/zh
Application granted granted Critical
Publication of CN108550170B publication Critical patent/CN108550170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及一种虚拟角色驱动方法及装置，所述方法应用于双摄相机，所述双摄相机包括第一相机和第二相机，所述方法包括：根据待拟合目标中的关键点、第一相机和第二相机针对待拟合目标拍摄的图像、第一相机初始参数、第二相机初始参数和初始模型参数，得到关键点拟合结果；根据所述关键点拟合结果驱动虚拟角色。利用待拟合目标中的关键点、双摄相机针对待拟合目标拍摄的图像、双摄相机的初始参数和初始模型参数得到的关键点拟合结果，可以方便、准确地对待拟合目标进行拟合。实现方式简单。

Description

虚拟角色驱动方法及装置
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种虚拟角色驱动方法及装置、电子设备和存储介质。
背景技术
3D技术特别是3D人物重建、表情捕捉和动作捕捉技术，在多媒体等各个应用领域都得到了的广泛应用。在各种应用场景中，如何方便地根据待拟合目标的拍摄图像精确地拟合3D模型后驱动虚拟角色，成为计算机视觉技术领域亟待解决的问题。
发明内容
有鉴于此，本公开提出了一种技术方案。
根据本公开的一方面，提供了一种虚拟角色驱动方法，所述方法应用于双摄相机，所述双摄相机包括第一相机和第二相机，所述方法包括：
根据待拟合目标中的关键点、第一相机和第二相机针对待拟合目标拍摄的图像、第一相机初始参数、第二相机初始参数和初始模型参数，得到关键点拟合结果；
根据所述关键点拟合结果驱动虚拟角色。
在一种可能的实现法方式中，根据待拟合目标中的关键点、第一相机和第二相机针对待拟合目标拍摄的图像、第一相机初始参数、第二相机初始参数和初始模型参数，得到关键点拟合结果，包括：
根据待拟合目标中的关键点、第一相机针对待拟合目标拍摄的第一拍摄图像、第二相机针对待拟合目标拍摄的第二拍摄图像、第一相机初始参数、第二相机初始参数和初始模型参数，构建关键点拟合模型；
优化所述关键点拟合模型，得到第一相机拟合参数、第二相机拟合参数和模型拟合参数，并根据所述第一相机拟合参数、所述第二相机拟合参数和所述模型拟合参数确定关键点拟合结果。
在一种可能的实现法方式中，所述初始模型参数包括：初始形状参数、初始表面参数和初始位姿参数，
优化所述关键点拟合模型，得到第一相机拟合参数、第二相机拟合参数和模型拟合参数，并根据所述第一相机拟合参数、所述第二相机拟合参数和所述模型拟合参数确定关键点拟合结果，包括：
优化所述关键点拟合模型，得到第一形状参数、第一表面参数、第一位姿参数、第一相机拟合参数和第二相机拟合参数；并根据第一形状参数、第一表面参数、第一位姿参数、第一相机拟合参数和第二相机拟合参数确定关键点拟合结果，关键点拟合结果中的关键点和关键点在第一拍摄图像中投影的第一投影点之间的距离最小，关键点拟合结果中的关键点和关键点在第二拍摄图像中投影的第二投影点之间的距离最小。
在一种可能的实现法方式中，所述第一相机拟合参数包括第一旋转拟合参数和第一平移拟合参数，第二相机拟合参数包括第二旋转拟合参数和第二平移拟合参数，待拟合目标对相对于双摄相机的旋转参数为第三旋转参数，待拟合目标对相对于双摄相机的平移参数为第三平移参数，
在关键点拟合结果中，第一旋转拟合参数等于第二旋转拟合参数和第三旋转参数的乘积，第一平移拟合参数等于第二平移拟合参数和第三平移参数相加。
在一种可能的实现法方式中，所述方法还包括：
根据所述关键点拟合结果、第一拍摄图像、第二拍摄图像，利用迭代就近点算法得到拟合点拟合结果。
在一种可能的实现法方式中，根据所述关键点拟合结果、第一拍摄图像、第二拍摄图像，利用迭代就近点算法得到拟合点拟合结果，包括：
根据所述关键点拟合结果中的拟合点、拟合点在第一拍摄图像中投影的第三投影点、拟合点在第二拍摄图像中投影的第四投影点构建拟合点拟合模型；
优化所述拟合点拟合模型，得到第二位姿参数、第二形状参数、第二表面参数、第三投影点坐标和第四投影点坐标，并根据第二位姿参数、第二形状参数、第二表面参数、第三投影点坐标和第四投影点坐标确定拟合点拟合结果，拟合点拟合结果中的拟合点和第三投影点之间的距离最小，拟合点拟合结果中的拟合点和第四投影点之间的距离最小。
在一种可能的实现法方式中，拟合点拟合结果中第三投影点的像素值和第四投影点的像素值之间的差值最小。
在一种可能的实现法方式中，所述方法还包括：
根据所述拟合点拟合结果驱动虚拟角色。
根据本公开的一方面，提供了一种虚拟角色驱动装置，所述装置应用于双摄相机，所述双摄相机包括第一相机和第二相机，所述装置包括：
关键点拟合结果确定模块，用于根据待拟合目标中的关键点、第一相机和第二相机针对待拟合目标拍摄的图像、第一相机初始参数、第二相机初始参数和初始模型参数，得到关键点拟合结果；
第一驱动模块，用于根据所述关键点拟合结果驱动虚拟角色。
在一种可能的实现法方式中，所述关键点拟合结果确定模块，包括：
关键点拟合模型构建子模块，用于根据待拟合目标中的关键点、第一相机针对待拟合目标拍摄的第一拍摄图像、第二相机针对待拟合目标拍摄的第二拍摄图像、第一相机初始参数、第二相机初始参数和初始模型参数，构建关键点拟合模型；
关键点拟合模型优化子模块，用于优化所述关键点拟合模型，得到第一相机拟合参数、第二相机拟合参数和模型拟合参数，并根据所述第一相机拟合参数、所述第二相机拟合参数和所述模型拟合参数确定关键点拟合结果。
在一种可能的实现法方式中，所述初始模型参数包括：初始形状参数、初始表面参数和初始位姿参数，
所述关键点拟合模型优化子模块，包括：
第一拟合结果确定子模块，用于优化所述关键点拟合模型，得到第一形状参数、第一表面参数、第一位姿参数、第一相机拟合参数和第二相机拟合参数；并根据第一形状参数、第一表面参数、第一位姿参数、第一相机拟合参数和第二相机拟合参数确定关键点拟合结果，关键点拟合结果中的关键点和关键点在第一拍摄图像中投影的第一投影点之间的距离最小，关键点拟合结果中的关键点和关键点在第二拍摄图像中投影的第二投影点之间的距离最小。
在一种可能的实现法方式中，所述第一相机拟合参数包括第一旋转拟合参数和第一平移拟合参数，第二相机拟合参数包括第二旋转拟合参数和第二平移拟合参数，待拟合目标对相对于双摄相机的旋转参数为第三旋转参数，待拟合目标对相对于双摄相机的平移参数为第三平移参数，
在关键点拟合结果中，第一旋转拟合参数等于第二旋转拟合参数和第三旋转参数的乘积，第一平移拟合参数等于第二平移拟合参数和第三平移参数相加。
在一种可能的实现法方式中，所述装置还包括：
拟合点拟合结果确定模块，用于根据所述关键点拟合结果、第一拍摄图像、第二拍摄图像，利用迭代就近点算法得到拟合点拟合结果。
在一种可能的实现法方式中，所述拟合点拟合结果确定模块，包括：
拟合点拟合模型构建子模块，用于根据所述关键点拟合结果中的拟合点、拟合点在第一拍摄图像中投影的第三投影点、拟合点在第二拍摄图像中投影的第四投影点构建拟合点拟合模型；
拟合点拟合模型优化子模块，用于优化所述拟合点拟合模型，得到第二位姿参数、第二形状参数、第二表面参数、第三投影点坐标和第四投影点坐标，并根据第二位姿参数、第二形状参数、第二表面参数、第三投影点坐标和第四投影点坐标确定拟合点拟合结果，拟合点拟合结果中的拟合点和第三投影点之间的距离最小，拟合点拟合结果中的拟合点和第四投影点之间的距离最小。
在一种可能的实现法方式中，拟合点拟合结果中第三投影点的像素值和第四投影点的像素值之间的差值最小。
在一种可能的实现法方式中，所述装置还包括：
第二驱动模块，用于根据所述拟合点拟合结果驱动虚拟角色。
根据本公开的一方面，提供了一种电子装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
在公开本实施例中利用待拟合目标中的关键点、双摄相机针对待拟合目标拍摄的图像、双摄相机的初始参数和初始模型参数得到的关键点拟合结果，可以方便、准确地对待拟合目标进行拟合。实现方式简单。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开一实施例的虚拟角色驱动方法的流程图；
图2示出根据本公开一实施例的虚拟角色驱动方法的流程图；
图3示出根据本公开一实施例的虚拟角色驱动方法的流程图；
图4示出根据本公开一实施例的虚拟角色驱动方法的流程图；
图5示出根据本公开一实施例的虚拟角色驱动方法中步骤30的流程图；
图6示出根据本公开一实施例的虚拟角色驱动方法的流程图；
图7示出根据本公开一实施例的虚拟角色驱动装置的框图；
图8示出根据本公开一实施例的虚拟角色驱动装置的框图；
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出根据本公开一实施例的虚拟角色驱动方法的流程图，所述方法应用于双摄相机，所述双摄相机包括第一相机和第二相机，如图1所示，所述虚拟角色驱动方法包括：
步骤S10，根据待拟合目标中的关键点、第一相机和第二相机针对待拟合目标拍摄的图像、第一相机初始参数、第二相机初始参数和初始模型参数，得到关键点拟合结果；
步骤S20，根据所述关键点拟合结果驱动虚拟角色。
在一种可能的实现方式中，所述双摄相机中包括配准的第一相机和第二相机。可以将待拟合目标上设定好的点作为关键点。例如，可以将人物的面部作为待拟合目标，可以将面部中眼睛的内眼角和外眼角、瞳孔、鼻尖、眉心、眉毛的头部、眉毛的尾部等部位作为面部的关键点。关键点的数量可以根据需求进行设定。
第一相机初始参数和第二相机初始参数可以包括第一相机相对于第二相机的旋转矩阵和平移矩阵。初始模型参数可以包括初始的形状参数和初始表面参数等可以用于描述初始模型的参数。可以根据待拟合目标中的关键点的坐标、第一相机初始参数、第二相机初始参数，将根据初始模型参数确定的初始模型与待拟合目标进行拟合，得到关键点拟合结果。关键点拟合结果可以包括拟合后的三维模型。拟合后的三维模型中的关键点与待拟合目标中的关键点的距离最小。
可以根据关键点拟合结果驱动虚拟角色。拟合后的三维模型应用广泛。例如，当待拟合目标为人的面部时，可以根据关键点拟合结果拟合待拟合目标的表情和位姿，从而驱动虚拟角色。当待拟合目标做出不同表情，或有不同的位姿时，关键点拟合结果均可以进行拟合，使得虚拟角色做出和实际的人相同的表情和位姿。
在本实施例中，利用待拟合目标中的关键点、双摄相机针对待拟合目标拍摄的图像、双摄相机的初始参数和初始模型参数得到的关键点拟合结果，可以方便、准确地对待拟合目标进行拟合。实现方式简单。
图2示出根据本公开一实施例的虚拟角色驱动方法的流程图，如图2所示，所述虚拟角色驱动方法中的步骤S10包括：
步骤S11，根据待拟合目标中的关键点、第一相机针对待拟合目标拍摄的第一拍摄图像、第二相机针对待拟合目标拍摄的第二拍摄图像、第一相机初始参数、第二相机初始参数和初始模型参数，构建关键点拟合模型。
步骤S12，优化所述关键点拟合模型，得到第一相机拟合参数、第二相机拟合参数和模型拟合参数，并根据所述第一相机拟合参数、所述第二相机拟合参数和所述模型拟合参数确定关键点拟合结果。
在一种可能的实现方式中，可以通过构建关键点拟合函数的方式构建关键点拟合模型。可以将待拟合目标中的关键点、第一相机针对待拟合目标拍摄的第一拍摄图像、第二相机针对待拟合目标拍摄的第二拍摄图像和初始模型参数的各种组合代入关键点拟合模型中进行迭代计算。当迭代次数满足设定的次数，或迭代计算的结果满足设定的收敛条件时，可以停止迭代计算，得到关键点拟合参数。根据关键点拟合参数可以得到关键点拟合结果。
可以根据关键点在初始模型参数确定的初始模型中的坐标，和关键点在第一相机拍摄的图像中的坐标和关键点第二相机拍摄的图像中的坐标进行拟合运算。使得关键点在关键点拟合结果中的坐标和在第一相机拍摄的图像中的坐标的距离最小，同时关键点在关键点拟合结果中的坐标和在第二相机拍摄的图像中的坐标的距离最小。
在本实施例中，通过构建关键点拟合模型，优化关键点拟合模型得到模型拟合参数，并根据模型拟合参数确定关键点拟合结果。关键点拟合模型的迭代计算的过程，能够保证关键点拟合结果中各关键点的拟合效果，提高拟合的准确率。
图3示出根据本公开一实施例的虚拟角色驱动方法的流程图，所述初始模型参数包括：初始形状参数、初始表面参数和初始位姿参数，如图3所示，所述虚拟角色驱动方法中的步骤S12包括：
步骤S121，优化所述关键点拟合模型，得到第一形状参数、第一表面参数、第一位姿参数、第一相机拟合参数和第二相机拟合参数；并根据第一形状参数、第一表面参数、第一位姿参数、第一相机拟合参数和第二相机拟合参数确定关键点拟合结果，关键点拟合结果中的关键点和关键点在第一拍摄图像中投影的第一投影点之间的距离最小，关键点拟合结果中的关键点和关键点在第二拍摄图像中投影的第二投影点之间的距离最小。
初始形状参数可以包括描述待拟合目标外部形状的参数，初始表面参数可以包括描述待拟合目标表面特征的参数。例如，当待拟合目标为面部时，初始形状参数可以包括初始脸型参数，初始表面参数可以包括初始表情参数。脸型参数可以包括根据脸部的轮廓设定的参数，表情参数可以包括根据面部不同表情给出的各关键点的位置关系设定的参数。对于一组给定的脸型参数和表情参数，可以得到一个面部模型的实例。
初始位姿参数可以包括旋转参数和平移参数，可用于表示待拟合目标中的关键点相对于拍摄设备的旋转和平移。例如面部正对拍摄设备得到旋转参数1和平移参数2，面部侧面面对拍摄设备可以得到旋转参数2和平移参数2。则旋转参数1和旋转参数2不同，平移参数1和平移参数2不同。
形状参数、表面参数、旋转参数和平移参数均可包括多个参数。可以通过设定形状参数、表面参数、位姿参数、旋转参数和平移参数中的参数个数，得到不同精度的关键点拟合结果。
在优化关键点拟合模型的过程中，可以将形状参数、表面参数、旋转参数、平移参数、关键点在第一拍摄图像中的投影点的坐标、关键点在第二拍摄图像中的投影点的坐标的不同组合，代入关键点拟合模型中进行迭代计算。当满足收敛条件时停止迭代计算得到关键点拟合结果。根据关键点拟合结果可以确定拟合后的三维模型A。收敛条件可包括：关键点拟合结果中的关键点和关键点在第一拍摄图像中投影的第一投影点之间的距离最小，关键点拟合结果中的关键点和关键点在第二拍摄图像中投影的第二投影点之间的距离最小。
在本实施例中，根据位姿参数、形状参数和表面参数优化得到的关键点拟合结果，能够全面、精确地反应出待拟合目标的关键点表示出的立体特征。提高关键点拟合结果与待拟合目标的拟合效果。
在一种可能的实现方式中，所述第一相机拟合参数包括第一旋转拟合参数和第一平移拟合参数，第二相机拟合参数包括第二旋转拟合参数和第二平移拟合参数，待拟合目标对相对于双摄相机的旋转参数为第三旋转参数，待拟合目标对相对于双摄相机的平移参数为第三平移参数，在关键点拟合结果中，第一旋转拟合参数等于第二旋转拟合参数和第三旋转参数的乘积，第一平移拟合参数等于第二平移拟合参数和第三平移参数相加。
双摄相机中第一相机和第二相机的双目匹配计算视差，通常比较耗时。本实施例不需要对双摄相机中的第一相机和第二相机进行双目匹配，对双摄相机的配准误差有很好的支持。双摄相机的内部参数可以包括所述第一相机拟合参数和第二相机拟合参数。双摄相机的外部参数可以包括待拟合目标对相对于双摄相机的旋转参数和平移参数。其中，所述第一相机拟合参数包括第一旋转拟合参数和第一平移拟合参数，第二相机拟合参数包括第二旋转拟合参数和第二平移拟合参数。待拟合目标对相对于双摄相机的旋转参数为第三旋转参数，待拟合目标对相对于双摄相机的平移参数为第三平移参数。
由于双摄相机的内部参数可以较为准确的标定，而双摄相机的外部参数可能存在误差，因此可以在优化关键点拟合模型的过程中，加入双摄相机的内部参数和外部参数的约束，和约束条件的约束权重，可以较小双摄相机的外部参数的误差对优化结果产生的影响。在关键点拟合模型的优化过程中，在每次迭代结算完成后，可以通过第一旋转拟合参数等于第二旋转拟合参数和第三旋转参数的乘积，第一平移拟合参数等于第二平移拟合参数和第三平移参数相加这一约束条件，进一步的标定双摄相机的外部参数。在每次调整后可以认为双摄相机的外部参数有了较高的精度，可以适当的增大约束权重的值。当多次迭代后，约束权重的值很大。
在本实施例中，根据第一相机的拟合参数第二相机的拟合参数确定的约束条件，能够使得关键点拟合模型的优化结果更加准确。
图4示出根据本公开一实施例的虚拟角色驱动方法的流程图，如图4所示，所述虚拟角色驱动方法还包括：
步骤S30，根据所述关键点拟合结果、第一拍摄图像、第二拍摄图像，利用迭代就近点算法得到拟合点拟合结果。
在一种可能的实现方式中，迭代就近点(ICP，Iterative Closest Points)算法可以将两个点集进行空间变换，以使两个点集能够进行空间匹配。ICP算法是一种对初值敏感的方法。当初值准确时，ICP算法可以得到更为精确的结果。当初值不准确时，ICP算法的结果也不准确，甚至会得到失效的结果，最终收敛于一个错误的位置。本公开实施例通过迭代就近点算法，将关键点拟合结果作为初值代入，由于关键点拟合结果根据待拟合目标的关键点进行了拟合，拟合结果准确，因此根据关键点拟合结果计算得到的拟合点拟合结果准确度高。
可以将待拟合目标上除关键点以外的点确定为拟合点，或将包括关键点在内的所有点确定为拟合点。可以利用三维模型中三维网格线的交叉顶点作为拟合点。根据拟合目的，可以设定疏密程度不同的三维网格，得到数量不同的拟合点后进行拟合运算，从而得到精度不同的拟合点拟合结果。拟合点的数量多于关键点的数量。
例如，当待拟合目标为面部时，待拟合的面部可以利用三维网格表示。当三维网格中各网格线相交的交叉顶点的数量大于关键点的数量时，可以将各交叉顶点确定为拟合点。因此根据拟合点拟合的拟合点拟合结果，可以比关键点拟合结果更加精准地拟合待拟合目标。
可以将关键点拟合结果中除关键点以外的拟合点，和拟合点在第三拍摄图像和第四拍摄图像中的投影点，经过迭代计算并满足收敛条件后，得到拟合点拟合结果。
在本公开实施例中，利用迭代就近点算法，将关键点拟合结果中的拟合点进行拟合，由于使用了关键点拟合结果作为初值，并采用了更多的拟合点进行拟合运算，因此拟合点拟合结果能够比关键点拟合结果更加精准地拟合待拟合目标。
图5示出根据本公开一实施例的虚拟角色驱动方法中步骤30的流程图，如图5所示，所述虚拟角色驱动方法中步骤S30包括：
步骤S31，根据所述关键点拟合结果中的拟合点、拟合点在第一拍摄图像中投影的第三投影点、拟合点在第二拍摄图像中投影的第四投影点构建拟合点拟合模型。
步骤S32，优化所述拟合点拟合模型，得到第二位姿参数、第二形状参数、第二表面参数、第三投影点坐标和第四投影点坐标，并根据第二位姿参数、第二形状参数、第二表面参数、第三投影点坐标和第四投影点坐标确定拟合点拟合结果，拟合点拟合结果中的拟合点和第三投影点之间的距离最小，拟合点拟合结果中的拟合点和第四投影点之间的距离最小。
在一种可能的实现方式中，关键点拟合结果中的拟合点，可以是利用三维网格表示的三维模型中的各网格线交叉的交叉顶点，可以是除关键点以外的交叉顶点。
可以将关键点拟合结果给出的第一形状参数、第一表面参数、第一位姿参数、第一相机拟合参数和第二相机拟合参数，作为拟合点拟合模型的初值。在优化拟合点拟合模型的过程中，与优化关键点拟合模型的过程不同的是，在关键点拟合模型的拟合过程中，关键点的坐标是已知的。而在拟合点拟合模型的拟合过程中，拟合点的坐标是未知的。因此，在拟合点拟合模型的优化过程中，拟合点在第一拍摄图像和第二拍摄图像中的投影点也是迭代计算求解的一部分。
在优化拟合点拟合模型的过程中，可以将根据所述关键点拟合结果中的拟合点的坐标、拟合点在第一拍摄图像中投影的第三投影点的坐标、拟合点在第二拍摄图像中投影的第四投影点的坐标的各种组合，依次代入拟合点拟合模型进行迭代计算。当满足收敛条件时停止迭代计算得到拟合点拟合结果。根据拟合点拟合结果可以得到拟合后的三维模型B。收敛条件可包括：拟合点拟合结果中的拟合点和第三投影点之间的距离最小，拟合点拟合结果中的拟合点和第四投影点之间的距离最小。
在本实施例中，由于拟合点的数量比关键点的数量多，因此拟合点拟合结果，能够比关键点拟合结果，更加精确地对待拟合目标中拟合点代表的立体特征进行拟合，因此拟合点拟合结果更加地精确。
在一种可能的实现方式中，拟合点拟合结果中第三投影点的像素值和第四投影点的像素值之间的差值最小。
在图像中像素点的像素值可以是像素点的RGB值。图像中相邻的像素点之间的像素值具有连续性，因此第三投影点和第四投影点的像素值之间的差值最小可以看作是第三投影点和第四投影点的距离最小。
在本实施例中，第一拍摄图像和第二拍摄图像中的投影点的像素值的差值最小，可以使得拟合点拟合结果的拟合效果更好。
图6示出根据本公开一实施例的虚拟角色驱动方法的流程图，如图6所示，所述虚拟角色驱动方法还包括：
步骤S40，根据所述拟合点拟合结果驱动虚拟角色。
在一种可能的实现方式中，可以根据拟合点拟合结果驱动虚拟角色，包括确定虚拟角色的表情、位姿、动作等。由于拟合点拟合结果，采用了比关键点拟合结果的关键点更多的拟合点进行拟合，因此根据拟合点拟合结果驱动的虚拟角色，能够比根据关键点拟合结果驱动的虚拟角色，具有更加丰富细致的表情，以及具有更加多变和精准地位姿和动作。
拟合点拟合结果可以基于双摄相机等设备拍摄得到的图像进行运算得到。本公开实施例中的方法，均可以基于移动设备、便携设备实现。因此，利用拟合点拟合结果驱动虚拟角色，在模型制作、影视制作等领域具有广泛的应用场景。
应用示例1：
可以使用一个先验的双线性模型来描述任意人的面部：
Figure BDA0001640649180000141
X表示面部三维网格模型的顶点，Cr表示面部的双线性模型张量，wid和wexp分别是面部的脸型和表情参数。S(.)表示将向量利用reshape函数对应至3*n的矩阵。对于一组特定的wid和wexp，可以求解X表示面部模型的一个实例。唯一的求解出面部参数wid和wexp，就可以得到一个特定的面部三维模型，这个求解参数的过程可以称为面部拟合。
可以使用2PD拍摄到的两张图像，并在两张图像上各得到240个面部关键点，在两个图像中第j个关键点的坐标分别为[uj 1,vj 1]T和[uj 2,vj 2]T。这些面部关键点在面部上有相同的语义，在面部模型上对应点Xj。
构建关键点拟合模型如下：
Figure BDA0001640649180000142
上式中，j表示第j个面部的关键点，Xj表示这个关键点在待拟合的面部模型中的坐标，xj表示这个关键点在第一相机和第二相机拍摄到的第一拍摄图像和第二拍摄图像中的坐标。可以使用Π(RX+T)表示一个通用的针孔相机成像过程，其中R和T分别表示待拟合目标相对相机坐标系的旋转和平移，是相机外参；Π(.)表示相机投影，包含相机内参。上式中，Π1(.),R1,T1和Π2(.),R2,T2分别表示第一相机和第二相机的内部参数。提取第一拍摄图像和第二拍摄图像中的关键点，认为
Figure BDA0001640649180000152
是已知的，上式的前两项即表示待拟合目标中的关键点Xj到第一拍摄图像和第二拍摄图像中对应的关键点的投影误差最小。
由于双摄相机是初步标定过的，双摄的第二相机相对第一相机有旋转矩阵R和平移矩阵T，即R1＝RR2,T1＝T2+T。考虑到双摄相机的外部参数可能存在误差，在公式加入了约束||R1-RR2||+||T1-T2-T||，并用λ衡量约束的大小。由于X是wid和wexp的函数：
Figure BDA0001640649180000151
最优化上式可求解R1,R2,T1,T2,wid,wexp。
通过上式求解，不需要另外做第一相机和第二相机的匹配。本实施例对双目的配准误差有较好的支持。双摄两个相机的内部参数是可以较为准确的标定的；而外部参数(上述R和T)标定较为麻烦。本实施例将R1,R2,T1,T2都带入优化，可以较小R和T的误差带来的影响。并且，每次迭代完成，我们可以通过
Figure BDA0001640649180000153
T＝T1-T2进一步标定R、T。每次调整后，可以认为R和T有了更高的精度，也应当适当的增大λ。当多次迭代后，λ很大，公式就退化为如下的格式：
Figure BDA0001640649180000161
s.t.R1＝RR2
T1＝T2+T
相当于使用一个严格配准的双摄相机完成关键点拟合模型的优化。
应用示例2：
首先，在关键点拟合结果中确定拟合点。选择拟合点的方法是将待拟合目标中的拟合点Xi投影到第一相机针对待拟合目标拍摄的第三拍摄图像上，得到第三投影点。将待拟合目标中的拟合点Xi投影到第二相机针对待拟合目标拍摄的第四拍摄图像上，得到第四投影点。当两张图像中的投影点像素值接近时，即
Figure BDA0001640649180000162
小于设定的阈值时，可以认为选定的拟合点可以用于拟合点拟合模型的运算。其中
Figure BDA0001640649180000163
表示第i个拟合点投影在第三拍摄图像中的坐标，I1(x)表示坐标x在第三拍摄图像中对应的像素值。
Figure BDA0001640649180000164
表示第i个拟合点投影在第四拍摄图像中的坐标，I2(x)表示坐标x在第四拍摄图像中对应的像素值。
可以构建拟合点拟合模型如下：
Figure BDA0001640649180000171
公式中的第一项和第二项用以约束拟合点i的投影误差最小，乘1/N对点数做了归一化，防止由于找到的拟合点点数变化造成的误差改变。
公式中的第三项，考虑到
Figure BDA0001640649180000172
和
Figure BDA0001640649180000173
存在的误差，约束两个投影点在图像I1和图像I2中的像素值相近，使得
Figure BDA0001640649180000174
和
Figure BDA0001640649180000175
在邻域中搜索最优解。在图像I1和图像I2已知时，可以通过图像梯度
Figure BDA0001640649180000176
来调整
Figure BDA0001640649180000177
和
Figure BDA0001640649180000178
公式中的第四项和第五项和关键点拟合模型相同，是优化关键点的投影误差。在拟合点拟合模型中作为正则项使用的，λ1用以衡量正则的力度。由于关键点有着较高的精度，λ1取一个较大的值；随着迭代的进行，所得到的拟合点越来越准确，逐渐减小λ1。
可以使用得到的wid和wexp得到拟合后的三维面部模型；wexp对应着表情编码，通过将wid和wexp适配到不同人物，完成虚拟角色的驱动。
图7示出根据本公开一实施例的虚拟角色驱动装置的框图，如图7所示，所述虚拟角色驱动装置包括：
关键点拟合结果确定模块10，用于根据待拟合目标中的关键点、第一相机和第二相机针对待拟合目标拍摄的图像、第一相机初始参数、第二相机初始参数和初始模型参数，得到关键点拟合结果；
第一驱动模块20，用于根据所述关键点拟合结果驱动虚拟角色。
图8示出根据本公开一实施例的虚拟角色驱动装置的框图，如图8所示。在一种可能的实现方式中，所述关键点拟合结果确定模块10，包括：
关键点拟合模型构建子模块11，用于根据待拟合目标中的关键点、第一相机针对待拟合目标拍摄的第一拍摄图像、第二相机针对待拟合目标拍摄的第二拍摄图像、第一相机初始参数、第二相机初始参数和初始模型参数，构建关键点拟合模型；
关键点拟合模型优化子模块12，用于优化所述关键点拟合模型，得到第一相机拟合参数、第二相机拟合参数和模型拟合参数，并根据所述第一相机拟合参数、所述第二相机拟合参数和所述模型拟合参数确定关键点拟合结果。
在一种可能的实现方式中，所述初始模型参数包括：初始形状参数、初始表面参数和初始位姿参数，所述关键点拟合模型优化子模块12，包括：
第一拟合结果确定子模块121，用于优化所述关键点拟合模型，得到第一形状参数、第一表面参数、第一位姿参数、第一相机拟合参数和第二相机拟合参数；并根据第一形状参数、第一表面参数、第一位姿参数、第一相机拟合参数和第二相机拟合参数确定关键点拟合结果，关键点拟合结果中的关键点和关键点在第一拍摄图像中投影的第一投影点之间的距离最小，关键点拟合结果中的关键点和关键点在第二拍摄图像中投影的第二投影点之间的距离最小。
在一种可能的实现方式中，所述第一相机拟合参数包括第一旋转拟合参数和第一平移拟合参数，第二相机拟合参数包括第二旋转拟合参数和第二平移拟合参数，待拟合目标对相对于双摄相机的旋转参数为第三旋转参数，待拟合目标对相对于双摄相机的平移参数为第三平移参数，
在关键点拟合结果中，第一旋转拟合参数等于第二旋转拟合参数和第三旋转参数的乘积，第一平移拟合参数等于第二平移拟合参数和第三平移参数相加。
在一种可能的实现方式中，所述装置还包括：
拟合点拟合结果确定模块30，用于根据所述关键点拟合结果、第一拍摄图像、第二拍摄图像，利用迭代就近点算法得到拟合点拟合结果。
在一种可能的实现方式中，所述拟合点拟合结果确定模块30，包括：
拟合点拟合模型构建子模块31，用于根据所述关键点拟合结果中的拟合点、拟合点在第一拍摄图像中投影的第三投影点、拟合点在第二拍摄图像中投影的第四投影点构建拟合点拟合模型；
拟合点拟合模型优化子模块32，用于优化所述拟合点拟合模型，得到第二位姿参数、第二形状参数、第二表面参数、第三投影点坐标和第四投影点坐标，并根据第二位姿参数、第二形状参数、第二表面参数、第三投影点坐标和第四投影点坐标确定拟合点拟合结果，拟合点拟合结果中的拟合点和第三投影点之间的距离最小，拟合点拟合结果中的拟合点和第四投影点之间的距离最小。
在一种可能的实现方式中，拟合点拟合结果中第三投影点的像素值和第四投影点的像素值之间的差值最小。
在一种可能的实现方式中，所述装置还包括：
第二驱动模块40，用于根据所述拟合点拟合结果驱动虚拟角色。
图9是根据一示例性实施例示出的一种电子设备的框图。电子设备可以是用于虚拟角色驱动的装置800。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图9，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由装置800的处理器820执行以完成上述方法。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (20)

1.一种虚拟角色驱动方法，其特征在于，所述方法应用于双摄相机，所述双摄相机包括第一相机和第二相机，所述方法包括：
根据待拟合目标中的关键点、第一相机和第二相机针对待拟合目标拍摄的图像、第一相机初始参数、第二相机初始参数和初始模型参数，得到关键点拟合结果，
其中，所述初始模型参数包括用于描述初始模型的参数；
根据所述关键点拟合结果驱动虚拟角色；
其中，根据待拟合目标中的关键点、第一相机和第二相机针对待拟合目标拍摄的图像、第一相机初始参数、第二相机初始参数和初始模型参数，得到关键点拟合结果，包括：
构建关键点拟合模型，并将待拟合目标中的关键点、第一相机针对待拟合目标拍摄的第一拍摄图像、第二相机针对待拟合目标拍摄的第二拍摄图像、第一相机初始参数、第二相机初始参数和初始模型参数，代入所述关键点拟合模型中进行迭代计算，得到关键点拟合参数，所述关键点拟合参数包括第一相机拟合参数、第二相机拟合参数和模型拟合参数；
根据关键点拟合参数得到关键点拟合结果，所述关键点拟合结果包括拟合后的三维模型。
2.根据权利要求1所述的方法，其特征在于，根据待拟合目标中的关键点、第一相机和第二相机针对待拟合目标拍摄的图像、第一相机初始参数、第二相机初始参数和初始模型参数，得到关键点拟合结果，包括：
优化所述关键点拟合模型，得到第一相机拟合参数、第二相机拟合参数和模型拟合参数，并根据所述第一相机拟合参数、所述第二相机拟合参数和所述模型拟合参数确定关键点拟合结果；
其中，所述第一相机拟合参数及第二相机拟合参数为所述双摄相机的内部参数。
3.根据权利要求2所述的方法，其特征在于，所述初始模型参数包括：初始形状参数、初始表面参数和初始位姿参数，
优化所述关键点拟合模型，得到第一相机拟合参数、第二相机拟合参数和模型拟合参数，并根据所述第一相机拟合参数、所述第二相机拟合参数和所述模型拟合参数确定关键点拟合结果，包括：
优化所述关键点拟合模型，得到第一形状参数、第一表面参数、第一位姿参数、第一相机拟合参数和第二相机拟合参数；并根据第一形状参数、第一表面参数、第一位姿参数、第一相机拟合参数和第二相机拟合参数确定关键点拟合结果，关键点拟合结果中的关键点和关键点在第一拍摄图像中投影的第一投影点之间的距离最小，关键点拟合结果中的关键点和关键点在第二拍摄图像中投影的第二投影点之间的距离最小。
4.根据权利要求2或3所述的方法，其特征在于，所述第一相机拟合参数包括第一旋转拟合参数和第一平移拟合参数，第二相机拟合参数包括第二旋转拟合参数和第二平移拟合参数，待拟合目标对相对于双摄相机的旋转参数为第三旋转参数，待拟合目标对相对于双摄相机的平移参数为第三平移参数，
在关键点拟合结果中，第一旋转拟合参数等于第二旋转拟合参数和第三旋转参数的乘积，第一平移拟合参数等于第二平移拟合参数和第三平移参数相加。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
根据所述关键点拟合结果、第一拍摄图像、第二拍摄图像，利用迭代就近点算法得到拟合点拟合结果。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述关键点拟合结果、第一拍摄图像、第二拍摄图像，利用迭代就近点算法得到拟合点拟合结果。
7.根据权利要求5所述的方法，其特征在于，根据所述关键点拟合结果、第一拍摄图像、第二拍摄图像，利用迭代就近点算法得到拟合点拟合结果，包括：
根据所述关键点拟合结果中的拟合点、拟合点在第一拍摄图像中投影的第三投影点、拟合点在第二拍摄图像中投影的第四投影点构建拟合点拟合模型；
优化所述拟合点拟合模型，得到第二位姿参数、第二形状参数、第二表面参数、第三投影点坐标和第四投影点坐标，并根据第二位姿参数、第二形状参数、第二表面参数、第三投影点坐标和第四投影点坐标确定拟合点拟合结果，拟合点拟合结果中的拟合点和第三投影点之间的距离最小，拟合点拟合结果中的拟合点和第四投影点之间的距离最小。
8.根据权利要求7所述的方法，其特征在于，拟合点拟合结果中第三投影点的像素值和第四投影点的像素值之间的差值最小。
9.根据权利要求6至8任一项所述的方法，其特征在于，所述方法还包括：
根据所述拟合点拟合结果驱动虚拟角色。
10.一种虚拟角色驱动装置，其特征在于，所述装置应用于双摄相机，所述双摄相机包括第一相机和第二相机，所述装置包括：
关键点拟合结果确定模块，用于根据待拟合目标中的关键点、第一相机和第二相机针对待拟合目标拍摄的图像、第一相机初始参数、第二相机初始参数和初始模型参数，得到关键点拟合结果；
其中，所述初始模型参数包括用于描述初始模型的参数；
第一驱动模块，用于根据所述关键点拟合结果驱动虚拟角色；
其中，关键点拟合结果确定模块，包括：
构建关键点拟合模型，并将待拟合目标中的关键点、第一相机针对待拟合目标拍摄的第一拍摄图像、第二相机针对待拟合目标拍摄的第二拍摄图像、第一相机初始参数、第二相机初始参数和初始模型参数，代入所述关键点拟合模型中进行迭代计算，得到关键点拟合参数，所述关键点拟合参数包括第一相机拟合参数、第二相机拟合参数和模型拟合参数；
根据关键点拟合参数得到关键点拟合结果，所述关键点拟合结果包括拟合后的三维模型。
11.根据权利要求10所述的装置，其特征在于，所述关键点拟合结果确定模块，包括：
关键点拟合模型优化子模块，用于优化所述关键点拟合模型，得到第一相机拟合参数、第二相机拟合参数和模型拟合参数，并根据所述第一相机拟合参数、所述第二相机拟合参数和所述模型拟合参数确定关键点拟合结果，
其中，所述第一相机拟合参数及第二相机拟合参数为所述双摄相机的内部参数。
12.根据权利要求11所述的装置，其特征在于，所述初始模型参数包括：初始形状参数、初始表面参数和初始位姿参数，
关键点拟合结果确定模块，包括：
第一拟合结果确定子模块，用于优化所述关键点拟合模型，得到第一形状参数、第一表面参数、第一位姿参数、第一相机拟合参数和第二相机拟合参数；并根据第一形状参数、第一表面参数、第一位姿参数、第一相机拟合参数和第二相机拟合参数确定关键点拟合结果，关键点拟合结果中的关键点和关键点在第一拍摄图像中投影的第一投影点之间的距离最小，关键点拟合结果中的关键点和关键点在第二拍摄图像中投影的第二投影点之间的距离最小。
13.根据权利要求11或12所述的装置，其特征在于，所述第一相机拟合参数包括第一旋转拟合参数和第一平移拟合参数，第二相机拟合参数包括第二旋转拟合参数和第二平移拟合参数，待拟合目标对相对于双摄相机的旋转参数为第三旋转参数，待拟合目标对相对于双摄相机的平移参数为第三平移参数，
在关键点拟合结果中，第一旋转拟合参数等于第二旋转拟合参数和第三旋转参数的乘积，第一平移拟合参数等于第二平移拟合参数和第三平移参数相加。
14.根据权利要求10至12任一项所述的装置，其特征在于，所述装置还包括：
拟合点拟合结果确定模块，用于根据所述关键点拟合结果、第一拍摄图像、第二拍摄图像，利用迭代就近点算法得到拟合点拟合结果。
15.根据权利要求13所述的装置，其特征在于，所述装置还包括：
拟合点拟合结果确定模块，用于根据所述关键点拟合结果、第一拍摄图像、第二拍摄图像，利用迭代就近点算法得到拟合点拟合结果。
16.根据权利要求14所述的装置，其特征在于，所述拟合点拟合结果确定模块，包括：
拟合点拟合模型构建子模块，用于根据所述关键点拟合结果中的拟合点、拟合点在第一拍摄图像中投影的第三投影点、拟合点在第二拍摄图像中投影的第四投影点构建拟合点拟合模型；
拟合点拟合模型优化子模块，用于优化所述拟合点拟合模型，得到第二位姿参数、第二形状参数、第二表面参数、第三投影点坐标和第四投影点坐标，并根据第二位姿参数、第二形状参数、第二表面参数、第三投影点坐标和第四投影点坐标确定拟合点拟合结果，拟合点拟合结果中的拟合点和第三投影点之间的距离最小，拟合点拟合结果中的拟合点和第四投影点之间的距离最小。
17.根据权利要求16所述的装置，其特征在于，拟合点拟合结果中第三投影点的像素值和第四投影点的像素值之间的差值最小。
18.根据权利要求15至17任一项所述的装置，其特征在于，所述装置还包括：
第二驱动模块，用于根据所述拟合点拟合结果驱动虚拟角色。
19.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行权利要求1至9中任意一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至9中任意一项所述的方法。
CN201810379644.4A 2018-04-25 2018-04-25 虚拟角色驱动方法及装置 Active CN108550170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810379644.4A CN108550170B (zh) 2018-04-25 2018-04-25 虚拟角色驱动方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810379644.4A CN108550170B (zh) 2018-04-25 2018-04-25 虚拟角色驱动方法及装置

Publications (2)

Publication Number Publication Date
CN108550170A CN108550170A (zh) 2018-09-18
CN108550170B true CN108550170B (zh) 2020-08-07

Family

ID=63512606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810379644.4A Active CN108550170B (zh) 2018-04-25 2018-04-25 虚拟角色驱动方法及装置

Country Status (1)

Country Link
CN (1) CN108550170B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516705B (zh) * 2020-04-10 2024-04-02 魔门塔(苏州)科技有限公司 一种手部关键点的标定方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739712A (zh) * 2010-01-25 2010-06-16 四川大学 基于视频的3d人脸表情动画驱动方法
CN101814192A (zh) * 2009-02-20 2010-08-25 三星电子株式会社 真实感3d人脸重建的方法
CN102479388A (zh) * 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法
CN103065289A (zh) * 2013-01-22 2013-04-24 清华大学 基于双目立体视觉的四目摄像机正面人脸重建方法
CN104952111A (zh) * 2014-03-31 2015-09-30 特里库比奇有限公司 采用便携式相机获得三维脸部模型的方法和装置
CN106447785A (zh) * 2016-09-30 2017-02-22 北京奇虎科技有限公司 一种驱动虚拟角色的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120321134A1 (en) * 2011-06-15 2012-12-20 Samsung Electornics Co., Ltd Face tracking method and device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814192A (zh) * 2009-02-20 2010-08-25 三星电子株式会社 真实感3d人脸重建的方法
CN101739712A (zh) * 2010-01-25 2010-06-16 四川大学 基于视频的3d人脸表情动画驱动方法
CN102479388A (zh) * 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法
CN103065289A (zh) * 2013-01-22 2013-04-24 清华大学 基于双目立体视觉的四目摄像机正面人脸重建方法
CN104952111A (zh) * 2014-03-31 2015-09-30 特里库比奇有限公司 采用便携式相机获得三维脸部模型的方法和装置
CN106447785A (zh) * 2016-09-30 2017-02-22 北京奇虎科技有限公司 一种驱动虚拟角色的方法和装置

Also Published As

Publication number Publication date
CN108550170A (zh) 2018-09-18

Similar Documents

Publication Publication Date Title
CN109697734B (zh) 位姿估计方法及装置、电子设备和存储介质
KR101694643B1 (ko) 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체
CN108648280B (zh) 虚拟角色驱动方法及装置、电子设备和存储介质
KR102410879B1 (ko) 포지셔닝 정보를 획득하는 방법, 장치 및 매체
CN108470322B (zh) 处理人脸图像的方法、装置及可读存储介质
CN109584362B (zh) 三维模型构建方法及装置、电子设备和存储介质
WO2022037285A1 (zh) 相机外参标定方法及装置
CN110853095B (zh) 相机定位方法、装置、电子设备及存储介质
CN107944367B (zh) 人脸关键点检测方法及装置
CN109410276B (zh) 关键点位置确定方法、装置及电子设备
CN109902725A (zh) 移动目标的检测方法、装置及电子设备和存储介质
CN107958223B (zh) 人脸识别方法及装置、移动设备、计算机可读存储介质
CN106503682B (zh) 视频数据中的关键点定位方法及装置
CN113643356B (zh) 相机位姿确定、虚拟物体显示方法、装置及电子设备
CN114170324A (zh) 标定方法及装置、电子设备和存储介质
CN109241875B (zh) 姿态检测方法及装置、电子设备和存储介质
CN114290338A (zh) 二维手眼标定方法、设备、存储介质及程序产品
US9665925B2 (en) Method and terminal device for retargeting images
CN108550170B (zh) 虚拟角色驱动方法及装置
CN112767541A (zh) 三维重建方法及装置、电子设备和存储介质
CN113902869A (zh) 三维头部网格生成方法、装置、电子设备和存储介质
CN113642551A (zh) 指甲关键点检测方法、装置、电子设备及存储介质
CN108648238B (zh) 虚拟角色驱动方法及装置、电子设备和存储介质
CN113865481B (zh) 对象尺寸测量方法、装置及存储介质
CN111311672A (zh) 检测物体重心的方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant