CN111985384A - 获取脸部关键点的3d坐标及3d脸部模型的方法和装置 - Google Patents

获取脸部关键点的3d坐标及3d脸部模型的方法和装置 Download PDF

Info

Publication number
CN111985384A
CN111985384A CN202010819406.8A CN202010819406A CN111985384A CN 111985384 A CN111985384 A CN 111985384A CN 202010819406 A CN202010819406 A CN 202010819406A CN 111985384 A CN111985384 A CN 111985384A
Authority
CN
China
Prior art keywords
coordinate
model
face
key point
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010819406.8A
Other languages
English (en)
Inventor
刘强
张家馨
杨哲宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Horizon Robotics Science and Technology Co Ltd
Original Assignee
Shenzhen Horizon Robotics Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Horizon Robotics Science and Technology Co Ltd filed Critical Shenzhen Horizon Robotics Science and Technology Co Ltd
Priority to CN202010819406.8A priority Critical patent/CN111985384A/zh
Publication of CN111985384A publication Critical patent/CN111985384A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种获取脸部关键点的3D坐标及3D脸部模型的方法和装置，其中的获取脸部关键点的3D坐标的方法包括：获取图像中的位于目标对象脸部的至少一2D关键点坐标；其中的图像为单目图像；确定所述至少一2D关键点坐标各自对应的所述目标对象的3D脸部模型中的脸部关键点的第一3D坐标，得到至少一第一3D坐标；根据所述至少一2D关键点坐标、所述至少一第一3D坐标以及采集所述图像的摄像装置的配置参数，确定所述至少一2D关键点坐标在所述摄像装置所在的三维坐标系中的第二3D坐标。本公开提供的技术方案有利于低成本且便捷准确的获得目标对象的脸部关键点的3D坐标。

Description

获取脸部关键点的3D坐标及3D脸部模型的方法和装置
技术领域
本公开涉及计算机视觉技术，尤其是涉及一种获取脸部关键点的3D坐标的方法、获取脸部关键点的3D坐标的装置、用于确定3D脸部模型的方法、用于确定3D脸部模型的装置、存储介质以及电子设备。
背景技术
在一些计算机视觉应用中，往往需要获得目标对象的脸部关键点(例如，眼球关键点等)的3D坐标。例如，在DMS(Driver Monitor System，驾驶员监控系统)中，往往需要根据驾驶员的眼球关键点的3D坐标，来确定驾驶员的视线方向。
如何低成本且便捷准确的获得目标对象的脸部关键点的3D坐标，是一个值得关注的技术问题。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种获取脸部关键点的3D坐标的方法、获取脸部关键点的3D坐标的装置、用于确定3D脸部模型的方法、用于确定3D脸部模型的装置、存储介质以及电子设备。
根据本公开实施例的第一个方面，提供了一种获取脸部关键点的3D坐标的方法，包括：获取图像中的位于目标对象脸部的至少一2D关键点坐标；其中，所述图像为单目图像；确定所述至少一2D关键点坐标各自对应的所述目标对象的3D脸部模型中的脸部关键点的第一3D坐标，得到至少一第一3D坐标；根据所述至少一2D关键点坐标、所述至少一第一3D坐标以及采集所述图像的摄像装置的配置参数，确定所述至少一2D关键点坐标在所述摄像装置所在的三维坐标系中的第二3D坐标。
根据本公开实施例的第二个方面，提供了一种用于确定3D脸部模型的方法，包括：获取预先设置的面向多个目标对象的通用3D脸部模型；获取待处理目标对象的模型缩放系数；根据所述模型缩放系数对所述通用3D脸部模型进行缩放调整，获得所述待处理目标对象的3D脸部模型。
根据本公开实施例的第三个方面，提供了一种获取脸部关键点的3D坐标的装置，包括：获取2D坐标模块，用于获取图像中的位于目标对象脸部的至少一2D关键点坐标；其中，所述图像为单目图像；确定模型3D坐标模块，用于确定所述获取2D坐标模块获取到的至少一2D关键点坐标各自对应的所述目标对象的3D脸部模型中的脸部关键点的第一3D坐标，得到至少一第一3D坐标；确定关键点3D坐标模块，用于根据所述获取2D坐标模块获取到的至少一2D关键点坐标、所述确定模型3D坐标模块获得的至少一第一3D坐标以及采集所述图像的摄像装置的配置参数，确定所述至少一2D关键点坐标在所述摄像装置所在的三维坐标系中的第二3D坐标。
根据本公开实施例的第四个方面，提供了一种用于确定3D脸部模型的装置，包括：获取脸部模型模块，用于获取预先设置的面向多个目标对象的通用3D脸部模型；获取缩放系统模块，用于获取待处理目标对象的模型缩放系数；模型调整模块，用于根据所述获取缩放系统模块获取到的模型缩放系数对所述获取脸部模型模块获取到的通用3D脸部模型进行缩放调整，获得所述待处理目标对象的3D脸部模型。
根据本公开实施例的第五个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现上述方法。
根据本公开实施例的第六个方面，提供了一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。
基于本公开上述实施例提供的获取脸部关键点的3D坐标的方法和装置、以及用于确定3D脸部模型的方法和装置，通过借助目标对象的3D脸部模型中的至少一脸部关键点的第一3D坐标，可以便捷的将摄像装置采集的单目图像中的位于目标对象脸部的至少一2D关键点坐标，转换为摄像装置所在的三维坐标系中的3D坐标。通过利用目标对象的模型缩放系数对通用3D脸部模型进行缩放调整，可以获得能够较准确的描述目标对象的脸部关键点的3D脸部模型，在目标对象的3D脸部模型能够较准确的描述目标对象的脸部的情况下，本公开借助该3D脸部模型最终获得的单目图像中的目标对象脸部的2D关键点坐标在摄像装置所在的三维坐标系中的3D坐标的准确度会较好。由此可知，本公开提供的技术方案有利于低成本且便捷准确的获得目标对象的脸部关键点的3D坐标。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开所适用的场景示意图；
图2为本公开的获取脸部关键点的3D坐标的方法一个实施例的流程图；
图3为本公开的确定第二3D坐标一个实施例的流程图；
图4为本公开的3D脸部模型和摄像装置的坐标系的一个实施例的示意图；
图5为本公开的用于确定3D脸部模型的方法一个实施例的流程图；
图6为本公开的获取待处理目标对象的模型缩放系数一个实施例的流程图；
图7为本公开的获取第一平移向量一个实施例的流程图；
图8为本公开的利用平面图形获取待处理目标对象的模型缩放系数的一个实施例的示意图；
图9A和图9B为本公开的利用平面图形获取待处理目标对象的模型缩放系数的另一个实施例的示意图；
图10为本公开的获取脸部关键点的3D坐标的装置一个实施例的结构示意图；
图11为本公开的用于确定3D脸部模型的装置一个实施例的结构示意图；
图12是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开概述
在实现本公开的过程中，发明人发现，在确定目标对象的脸部高度、目标对象的脸部的特定点(如眼球关键点等)的朝向以及目标对象的脸部的特定点(如鼻尖关键点等)距离特定物(如车辆中的仪表盘等)的距离等应用中，往往需要感知目标对象的脸部关键点的3D坐标。如果在车辆等目标对象所在空间中安装位置感知器件，如Ultra-sound(超声波)传感器、ToF(Time-of-Flight，飞行时间)传感器以及结构光(structured-light)传感器等设备，那么，这些位置感知器件不但会占用一定的空间(例如，占用有限的车辆空间)，而且还会增加一定的成本。如果能够利用空间中的现有设施(如车辆中的单目摄像装置等)来获知目标对象的脸部关键点的3D坐标，则可以在不安装额外设备、且充分利用空间中的现有设施的基础上，便捷的实现相应的应用。
示例性概述
本公开提供的获取脸部关键点的3D坐标的技术方案可以适用于多种场景中。例如，本公开提供的获取脸部关键点的3D坐标的技术方案可以适用于调整车辆的后视镜的应用中。一个例子如图1所示。
图1中，车辆100具有位于车辆左右两侧的两个后视镜，即左后视镜(也可以称为左侧后视镜)和右后视镜(也可以称为右侧后视镜)，且车辆100配置有DMS。车辆100中的单目摄像装置101拍摄的照片或者视频((即单目图像)，可以实时地提供给DMS。
在驾驶员处于车辆100的驾驶位置时，如果驾驶员发现车辆100的左后视镜或右后视镜的位置需要调整，则可以随时开启DMS中的后视镜调整功能，并通过基于触摸屏的交互或者语音交互的方式，使DMS获知当前待调整后视镜是车辆100的左后视镜还是右后视镜。
在DMS获知当前待调整后视镜后，DMS可以通过语音或者文字方式提示驾驶员直视当前待调整后视镜一定时间(如直视当前待调整后视镜2秒)，以便于确定驾驶员的眼球关键点的3D坐标，并基于驾驶员的眼球关键点的3D坐标确定出驾驶员当前的视线方向，DMS在检测到驾驶员当前的视线方向后，可以基于其预先存储的后视镜对应的预定后视角度以及当前检测到的驾驶员当前的视线角度，确定出当前待调整后视镜的目标位置，进一步的，DMS可以基于当前待调整后视镜的当前位置和其目标位置，针对当前待调整后视镜对应的电机生成相应的电机控制命令，当前待调整后视镜对应的电机在该电机控制命令的驱动下，带动当前待调整后视镜在相应的方向上旋转，从而使当前待调整后视镜由当前位置移动到上述确定出的目标位置。
DMS可以通过语音或者文字询问驾驶员：当前待调整后视镜的位置是否已调整到合适位置。如果DMS接收到当前待调整后视镜的位置已调整到合适位置的反馈信息，则可以结束本次后视镜调整过程；如果DMS接收到当前待调整后视镜的位置并未调整到合适位置的反馈信息，则DMS可以再次执行确定驾驶员的眼球关键点的3D坐标，并进一步确定驾驶员当前的视线方向，进而调整后视镜的过程。
示例性方法
图2为本公开的获取脸部关键点的3D坐标的方法一个实施例的流程图。如图2所示的方法包括：S200、S201以及S202。下面对各步骤分别进行说明。
S200、获取图像中的位于目标对象脸部的至少一2D关键点坐标。
本公开中的图像为单目图像，即本公开中的图像可以为单目摄像装置采集的图像(即2D图像)。该单目图像可以为单目摄像装置拍摄的一照片，也可以为单目摄像装置拍摄的视频中的一视频帧等。
本公开可以对摄像装置采集的单目图像进行人脸关键点检测处理(如利用相应的神经网络对单目图像进行人脸关键点检测处理)，从而获得图像中的位于目标对象脸部的至少一2D关键点坐标。本公开中的位于目标对象脸部的至少一2D关键点坐标也可以称为目标对象的至少一脸部关键点的2D坐标。
本公开中的至少一脸部关键点可以包括：随脸部表情变化而发生位置变化的脸部关键点、以及不随脸部表情变化而发生位置变化的脸部关键点中的至少一种脸部关键点。在一个例子中，随脸部表情变化而发生位置变化的脸部关键点可以包括：眼睑关键点、嘴巴关键点以及下巴关键点等。在另一例子中，不随脸部表情变化而发生位置变化的脸部关键点可以包括：眼球关键点、内眼角关键点、外眼角关键点以及鼻尖关键点等。
本公开中的2D关键点坐标可以是指目标对象的脸部关键点在单目图像的平面坐标系中的二维坐标。一个2D关键点坐标通常包括：基于单目图像的平面坐标系的X坐标轴的坐标和Y坐标轴的坐标。
S201、确定上述至少一2D关键点坐标各自对应的目标对象的3D脸部模型中的脸部关键点的第一3D坐标，得到至少一第一3D坐标。
本公开中的目标对象的3D脸部模型可以是指预先针对目标对象设置的3D脸部模型。本公开可以采用下述实施方式中的用于确定3D脸部模型的方法，针对目标对象设置3D脸部模型。另外，本公开也可以采用其他方式为目标对象设置3D脸部模型，例如，采用深度摄像装置针对目标对象设置3D脸部模型。采用深度摄像装置为目标对象设置3D脸部模型的具体过程在此不再详细说明。
本公开中的目标对象的3D脸部模型通常包括：多个脸部关键点，且每一个脸部关键点均具有基于3D脸部模型坐标系的3D坐标。3D脸部模型中的脸部关键点可以称为3D脸部关键点。3D脸部模型坐标系可以称为3D脸部模型所在的三维坐标系。在一个例子中，3D脸部模型坐标系中的X轴、Y轴和Z轴的交点O可以位于3D脸部模型中的任一点，例如，可以位于3D脸部模型的重心位置处等。
本公开中的3D脸部模型坐标系与图像的平面坐标系是两个完全不同的坐标系，且3D脸部模型坐标系与图像的平面坐标系均为局部坐标系，即两者均不是世界坐标系。
本公开中的每一个2D关键点坐标通常对应有各自的脸部关键点标识，本公开中的3D脸部模型中的每一个脸部关键点通常也对应有各自的脸部关键点标识。脸部关键点标识可以认为是脸部关键点的名称。例如，一脸部关键点标识表示该脸部关键点为左内眼角关键点、右内眼角关键点、左外眼角关键点、右外眼角关键点、左眼球关键点或者右眼球关键点等。
对于获取到的任一2D关键点坐标而言，本公开可以基于该2D关键点坐标对应的脸部关键点标识以及3D脸部模型中的脸部关键点对应的脸部关键点标识，确定该2D关键点坐标对应的3D脸部模型中的脸部关键点，从而获得该2D关键点坐标对应的第一3D坐标。例如，如果一2D关键点坐标对应的脸部关键点标识与3D脸部模型中的一3D脸部关键点对应的脸部关键点标识相同，则可以将该3D脸部关键点的3D坐标作为该2D关键点坐标对应的第一3D坐标。
S202、根据上述至少一2D关键点坐标、上述至少一第一3D坐标以及采集上述图像的摄像装置的配置参数，确定上述至少一2D关键点坐标在该摄像装置所在的三维坐标系中的第二3D坐标。
本公开中的摄像装置的配置参数可以是指预先为摄像装置配置的参数。摄像装置的配置参数可以包括：摄像装置的内部参数(简称内参)等。例如，摄像装置的配置参数可以具体包括：摄像装置的焦距、光心位置以及畸变参数(如径向畸变参数和切向畸变参数)等。
本公开可以基于预定算法对上述至少一2D关键点坐标、上述至少一第一3D坐标以及摄像装置的配置参数进行计算，从而将2D关键点坐标转换到摄像装置所在的三维坐标系中，也就是说，本公开可以基于算法的计算结果获得至少一2D关键点坐标在该摄像装置所在的三维坐标系中的第二3D坐标。
本公开中的摄像装置所在的三维坐标系为局部坐标系，即摄像装置所在的三维坐标系不是世界坐标系。摄像装置所在的三维坐标系中的Z轴的指向通常为摄像装置的光轴方向。
本公开通过借助目标对象的3D脸部模型中的至少一脸部关键点的第一3D坐标，可以通过计算将摄像装置采集的单目图像中的位于目标对象脸部的至少一2D关键点坐标，转换为摄像装置所在的三维坐标系中的3D坐标。在目标对象的3D脸部模型能够较准确的描述目标对象的脸部的情况下，本公开借助该3D脸部模型最终获得的单目图像中的目标对象脸部的2D关键点坐标在摄像装置所在的三维坐标系中的3D坐标的准确度会较好。由此可知，本公开提供的技术方案有利于低成本且便捷准确的获得目标对象的脸部关键点的3D坐标。
在一个可选示例中，本公开确定至少一2D关键点坐标在摄像装置所在的三维坐标系中的第二3D坐标的一个例子如图3和图4所示。
图3中，S300、根据至少一2D关键点坐标、至少一第一3D坐标以及采集图像的摄像装置的内部参数，利用预设函数，获得至少一第一3D坐标相对于摄像装置所在的三维坐标系的旋转向量和平移向量。
可选的，假设如图4所示的3D脸部模型400包括n(n为大于1的整数)个脸部关键点(图4中仅示意性的示出了五个脸部关键点)，且这n个脸部关键点均为不随脸部表情变化而发生位置变化的脸部关键点，即本公开的3D脸部模型是由不随脸部表情变化而发生位置变化的脸部关键点形成的3D脸部模型。3D脸部模型400中的五个脸部关键点的第一3D坐标为基于3D脸部模型400的3D坐标系401的3D坐标。在上述假设的情况下，本公开可以先获得图像402中的这n个脸部关键点各自对应的2D关键点坐标(图4中仅示意性的示出了图像402中的5个脸部关键点的2D关键点坐标)，且这5个2D关键点坐标为基于图像402的2D坐标系的2D坐标，在一个例子中，图像402的2D坐标系平面与摄像装置的三维坐标系403中的X'O'Y'平面平行。本公开可以使用n个2D关键点坐标、n个第一3D坐标以及摄像装置的内部参数，利用预设函数，计算出n个第一3D坐标相对于摄像装置所在的三维坐标系的旋转向量和平移向量，即每一个3D坐标的旋转向量和平移向量。
可选的，本公开的预设函数可以为solvePnP(solve Perspective-n-Points，解决n点透视)算法。本公开可以将至少一2D关键点坐标、至少一第一3D坐标以及采集图像的摄像装置的内部参数分别代入到solvePnP算法中，并通过对该算法进行求解，获得至少一第一3D坐标相对于摄像装置所在的三维坐标系的旋转向量R和平移向量T。本公开获得的旋转向量R和平移向量T可以表示出图像402中的目标对象的头部姿态，即旋转向量R和平移向量T可以表示出图像402中的目标对象的头部在摄像装置的三维坐标系中的旋转情况和平移情况。本公开中的平移向量也可以称为位移向量。算法的求解过程在此不再详细说明。
可选的，本公开中的一个旋转向量可以包括：相对于摄像装置所在的三维坐标系中的X'坐标轴的旋转分量、相对于摄像装置所在的三维坐标系中的Y'坐标轴的旋转分量、以及相对于摄像装置所在的三维坐标系中的Z'坐标轴的旋转分量。
可选的，本公开中的一个平移向量可以包括：相对于摄像装置所在的三维坐标系中的X'坐标轴的平移分量、相对于摄像装置所在的三维坐标系中的Y'坐标轴的平移分量、以及相对于摄像装置所在的三维坐标系中的Z'坐标轴的平移分量(即深度方向的平移分量)。
S301、根据至少一第一3D坐标、上述旋转向量和平移向量，确定至少一2D关键点坐标在摄像装置所在的三维坐标系中的第二3D坐标。
可选的，对于标对象的3D脸部模型中的任一脸部关键点而言，本公开可以基于上述获得的该脸部关键点的旋转向量和平移向量，对该脸部关键点的第一3D坐标进行旋转平移处理，本公开可以将旋转平移处理的结果作为该脸部关键点对应的2D关键点坐标在摄像装置所在的三维坐标系中的第二3D坐标。
本公开通过利用预设函数求解出各第一3D坐标的旋转向量和平移向量，并利用旋转向量和平移向量将目标对象的3D脸部模型中的脸部关键点的3D坐标转换为摄像装置所在的三维坐标系中的3D坐标，可以在不需要设置额外设备的情况下，获得目标对象的脸部关键点的3D坐标。由于solvePnP等预设函数的求解过程所占用的计算资源非常有限，且计算结果的准确度较好，因此，本公开有利于低成本且便捷准确的获得目标对象的脸部关键点的3D坐标。
上述方法实施例中所使用的目标对象的3D脸部模型可以使用本公开提供的用于确定3D脸部模型的方法设置，且本公开中的用于确定3D脸部模型的方法的一个实施例的流程如图5所示。
图5中，S500、获取预先设置的面向多个目标对象的通用3D脸部模型。
本公开中的通用3D脸部模型是面向多个目标对象的，即该通用3D脸部模型并不是针对一具体的目标对象而设置的，该通用3D脸部模型具有普适性。
在一个例子中，本公开可以先获取多个目标对象各自的3D脸部模型，并对多个3D脸部模型进行融合处理(如均值计算处理等)，从而形成通用3D脸部模型。通过该方式形成的通用3D脸部模型也可以称为平均3D脸部模型。本公开对获取多个目标对象各自的3D脸部模型的方式不作限定，例如，可以从脸部模型集合中读取多个目标对象各自的3D脸部模型。本公开对预先获取到的多个目标对象的3D脸部模型的设置方式不作限定，例如，多个目标对象的3D脸部模型均可以是基于深度摄像装置设置的。另外，本公开中的通用3D脸部模型也可以是缺省设置的初始化3D脸部模型。
需要特别说明的是，建立通用3D脸部模型过程中所涉及到的多个目标对象并不会对通用3D脸部模型所面向的目标对象构成限制。也就是说，通用3D脸部模型所面向的目标对象与建立通用3D脸部模型过程中所涉及到的多个目标对象可以无关。
S501、获取待处理目标对象的模型缩放系数。
本公开中的待处理目标对象可以是指需要设置3D脸部模型的目标对象。例如，图2所示流程中的目标对象可以被作为本流程中的待处理目标对象。本公开中的模型缩放系数可以是指用于调整通用3D脸部模型的大小的参数。每一个待处理目标对象均具有各自的模型缩放系数，且任意两个不同待处理目标对象的模型缩放系数可以相同，也可以不相同。在一个例子中，本公开中的待处理目标对象的模型缩放系数的取值范围可以为[0.9，1.1]。
S502、根据上述模型缩放系数对通用3D脸部模型进行缩放调整，获得待处理目标对象的3D脸部模型。
本公开利用模型缩放系数对通用3D脸部模型进行缩放调整可以认为是：调整通用3D脸部模型中的每一个脸部关键点分别在通用3D脸部模型坐标系中的坐标，从而获得一个新的3D脸部模型，该新的3D脸部模型即为待处理目标对象的3D脸部模型。该待处理目标对象的3D脸部模型通常与通用3D脸部模型具有相同的三维坐标系，且均为局部坐标系。
本公开通过利用目标对象的模型缩放系数对通用3D脸部模型进行缩放调整，可以便捷的获得能够较准确描述目标对象的脸部关键点的3D脸部模型。由于本公开可以在不需要安装额外设备的情况下，利用单目摄像装置便捷的获得较准确的3D脸部模型，因此，本公开借助该3D脸部模型最终获得的单目图像中的目标对象脸部的2D关键点坐标在摄像装置所在的三维坐标系中的3D坐标的准确度会较好，有效降低了3D坐标的误差(在一实际测试中，采用本公开的3D脸部模型获得的3D坐标的误差为采用通用3D脸部模型获得的3D坐标的误差的一半)，且实时性较好，实现成本较低。
在一个可选示例中，本公开获取待处理目标对象的模型缩放系数的一个例子如图6所示。
图6中，S600、获取预设目标的3D模型中的关键点相对于摄像装置所在的三维坐标系的第一平移向量。
可选的，本公开中的预设目标可以是指外部尺寸已知的物体，且预设目标通常为规则形状的物体。在一个例子中，预设目标为长和宽已知的长方体等。在一个更具体的例子中，预设目标可以为已知型号的移动电话等。
可选的，本流程中的摄像装置通常为采集待处理目标对象的单目图像的摄像装置。本流程中的摄像装置可以与图2中的摄像装置具有相同的配置参数，且两个摄像装置的设置位置完全相同。在一个例子中，本流程中的摄像装置与图2中的摄像装置为设置于同一位置处的同一个摄像装置。
可选的，本公开中的预设目标的3D模型通常为预先针对预设目标设置的3D模型。例如，采用深度摄像装置为预设目标预先设置的3D模型。预设目标的3D模型中的关键点可以是指预设目标的较为重要或者较为特殊的点，且关键点的数量通常为多个。例如，预设目标的3D模型中的关键点可以为形状为长方体的预设目标的四个顶点等。
可选的，本公开可以利用相应的算法(如solvePnP算法等)获得第一平移向量。第一平移向量可以包括：相对于摄像装置所在的三维坐标系中的X'坐标轴的平移分量、相对于摄像装置所在的三维坐标系中的Y'坐标轴的平移分量、以及相对于摄像装置所在的三维坐标系中的Z'坐标轴的平移分量(即深度平移向量，也可以称为深度方向的平移分量)。
S601、获取通用3D脸部模型中的脸部关键点相对于摄像装置所在的三维坐标系的第二平移向量。
可选的，本公开可以利用相应的算法(如solvePnP算法等)获得第二平移向量。第二平移向量可以包括：相对于摄像装置所在的三维坐标系中的X'坐标轴的平移分量、相对于摄像装置所在的三维坐标系中的Y'坐标轴的平移分量、以及相对于摄像装置所在的三维坐标系中的Z'坐标轴的平移分量(即深度平移向量，也可以称为深度方向的平移分量)。
S602、根据第一平移向量中的深度平移向量与第二平移向量中的深度平移向量的比值，确定待处理目标对象的模型缩放系数。
可选的，本公开可以直接将第一平移向量中的深度平移向量与第二平移向量中的深度平移向量的比值，作为待处理目标对象的模型缩放系数。本公开也可以对第一平移向量中的深度平移向量与第二平移向量中的深度平移向量的比值进行进一步处理(例如，保留小数位数处理或者校正处理等)，并将处理结果作为待处理目标对象的模型缩放系数。
由于本公开可以通过相应的算法，计算出第一平移向量和第二平移向量，且计算第一平移向量和第二平移向量所占用的计算资源、以及计算第一平移向量中的深度平移向量与第二平移向量中的深度平移向量的比值所占用的计算资源均非常有限，因此，本公开可以在占用较少计算资源的情况下，获得待处理目标对象的模型缩放系数，从而有利于提高本公开提供的获取脸部关键点的3D坐标的技术方案以及用于确定3D脸部模型的技术方案的实时性，并降低实现成本。
在一个可选示例中，本公开获取预设目标的3D模型中的关键点相对于摄像装置所在的三维坐标系的第一平移向量的一个实施例的流程如图7所示。
图7中，S700、获取摄像装置采集的单目图像中的预设目标的至少一2D关键点坐标。
可选的，本公开中的单目图像可以为：单目摄像装置采集的图像(即2D图像)。该单目图像可以为单目摄像装置拍摄的一照片，也可以为单目摄像装置拍摄的视频中的一视频帧等。
可选的，本公开可以对摄像装置采集的单目图像进行关键点检测处理(如利用相应的神经网络对单目图像进行关键点检测处理)，从而获得单目图像中的位于预设目标上的至少一2D关键点坐标。本公开中的预设目标的2D关键点坐标可以是指预设目标的关键点在单目图像的平面坐标系中的二维坐标。一个2D关键点坐标通常包括：基于X坐标轴的坐标和基于Y坐标轴的坐标。
S701、确定预设目标的至少一2D关键点坐标各自对应的预设目标的3D模型中的关键点的第三3D坐标，得到至少一第三3D坐标。
可选的，本公开中的预设目标的3D模型通常包括：多个关键点，且每一个关键点均具有基于3D模型坐标系的3D坐标。3D模型中的关键点可以称为3D关键点。3D模型坐标系可以称为3D模型所在的三维坐标系。在一个例子中，3D模型坐标系中的X坐标轴、Y坐标轴和Z坐标轴的交点O可以位于3D模型中的任一点，例如，位于3D模型的重心位置处等。
可选的，本公开中的3D模型坐标系与包含有预设目标的单目图像的平面坐标系是两个完全不同的坐标系，且3D模型坐标系与包含有预设目标的单目图像的平面坐标系均为局部坐标系，即两个坐标系均不是世界坐标系。
可选的，本公开中的预设目标的每一个2D关键点坐标通常对应有各自的关键点标识，本公开中的3D模型中的每一个关键点通常也对应有各自的关键点标识。关键点标识可以认为是关键点的名称。在一个例子中，一关键点标识可以表示出该关键点为预设目标的左上顶点、右上顶点、左下顶点或者右下顶点等。
可选的，对于预设目标的任一2D关键点坐标而言，本公开可以基于该2D关键点坐标对应的关键点标识以及预设目标的3D模型中的关键点对应的关键点标识，确定该2D关键点坐标对应的3D模型中的关键点，从而获得该2D关键点坐标对应的第三3D坐标。例如，如果一2D关键点坐标对应的关键点标识与3D模型中的一3D关键点对应的关键点标识相同，则可以将该3D关键点的3D坐标作为该2D关键点坐标对应的第三3D坐标。
S702、根据预设目标的至少一2D关键点坐标、至少一第三3D坐标以及摄像装置的配置参数，确定预设目标的3D关键点相对于摄像装置所在的三维坐标系的第一平移向量。
可选的，本公开可以根据预设目标的至少一2D关键点坐标、至少一第三3D坐标以及摄像装置的配置参数，利用预设函数(如solvePnP算法)，计算出预设目标的3D关键点相对于摄像装置所在的三维坐标系的第一平移向量。例如，本公开可以将预设目标的至少一2D关键点坐标、至少一第三3D坐标以及采集单目图像的摄像装置的内部参数分别代入到solvePnP算法中，并通过对该算法进行求解，可以获得至少一第三3D坐标相对于摄像装置所在的三维坐标系的第一平移向量。第一平移向量可以表示出单目图像中的预设目标的摆放形态，更进一步的，第一平移向量可以表示出单目图像中的预设目标在摄像装置的三维坐标系中的平移位置。
本公开通过借助预设目标的3D模型中的至少一关键点的第三3D坐标，可以通过函数计算方式，获得预设目标的3D关键点相对于摄像装置所在的三维坐标系的第一平移向量，从而借助该第一平移向量可以便捷的将摄像装置采集的单目图像中的预设目标的至少一2D关键点坐标，转换为摄像装置所在的三维坐标系中的3D坐标。由于本公开获得第一平移向量的过程可以不涉及额外设备，且占用的计算资源非常有限，因此，有利于低成本且便捷准确的获得预设目标的3D坐标。
在一个可选示例中，本公开可以利用平面图形获取待处理目标对象的模型缩放系数，且该平面图形上的多个特定点之间的尺寸已知。在一个例子中，该平面图形可以为二维码或者棋盘格等。该平面图形可以是通过电子设备(如智能移动电话800等)的显示屏而显示出的平面图形(如图8所示)，该平面图形也可以是预先设置在一物体上的实体平面图形，例如，如图9A和图9B所示，该平面图形可以是预先设置(如通过打印或者印染或者贴膜等方式设置)在帽子900或者眼镜901上的实体二维码和棋盘格等。
可选的，本公开利用平面图形获取待处理目标对象的模型缩放系数的一个例子如图8所示。
图8中，待处理目标对象801利用其智能移动电话800显示一棋盘格的图形，例如，利用智能移动电话800显示其图库中的一棋盘格照片，从而显示一棋盘格图形802；再例如，利用智能移动电话800运行一APP(应用)，并触发该APP中的一功能，使该APP显示一棋盘格图形802。
待处理目标对象801可以将该智能移动电话800放在其头部附近，例如，使智能移动电话800的显示屏与其正脸位于同一平面等。本公开可以采用对摄像装置(如车载单目摄像装置)803采集到的图像进行棋盘格图形识别等方式，获得摄像装置803采集到的智能移动电话800显示的棋盘格图形802，此时，本公开可以通过与智能移动电话800进行信息交互获取到智能移动电话800的显示屏的屏幕大小，从而本公开可以利用屏幕大小，计算出其显示的棋盘格图形802中的多个角点(如多个黑色小方格的顶点)之间的真实距离，之后，本公开可以基于该真实距离和摄像装置803采集到的图像中的棋盘格图形中的多个角点之间的距离，计算出棋盘格图形802中的多个角点相对于摄像装置803所在的三维坐标系的第一平移向量，进而本公开可以利用该第一平移向量中的深度平移向量和上述第二平移向量中的深度平移向量的比值，确定待处理目标对象的模型缩放系数。
可选的，本公开利用平面图形获取待处理目标对象的模型缩放系数的另一个例子如图9A和图9B所示。
图9A和图9B中，待处理目标对象902具有设置有至少一棋盘格图形903的帽子900或者眼镜901。待处理目标对象902可以带上帽子900或者戴上眼镜901。本公开可以采用对摄像装置(如车载单目摄像装置)采集到的图像进行棋盘格图形识别等方式，获得摄像装置采集到的帽子900或者眼镜901上的棋盘格图形903，由于本公开可以预先获知棋盘格图形903中的多个角点(如多个黑色小方格的顶点)之间的真实距离，因此，本公开可以基于该真实距离和摄像装置采集到的图像中的棋盘格图形903中的多个角点之间的距离，计算出棋盘格图形903中的多个角点相对于摄像装置所在的三维坐标系的第一平移向量，进而本公开可以利用该第一平移向量中的深度平移向量和上述第二平移向量中的深度平移向量的比值，确定待处理目标对象902的模型缩放系数。
在一个可选示例中，本公开利用模型缩放系数对通用3D脸部模型进行缩放调整的一个例子可以为：将通用3D脸部模型中的各关键点的第一3D坐标分别与模型缩放系数相乘，从而获得待处理目标对象的3D脸部模型。具体的，本公开可以采用下述公式(1)来表示本公开获得的待处理目标对象的3D脸部模型：
Fi＝s×F0 公式(1)
在上述公式(1)中，Fi表示待处理目标对象的3D脸部模型；s表示待处理目标对象的模型缩放系数；F0表示通用3D脸部模型。
在一个可选示例中，本公开利用模型缩放系数对通用3D脸部模型进行缩放调整的另一个例子可以为：将通用3D脸部模型中的各关键点的第一3D坐标分别与模型缩放系数相乘，并根据预设残差对相乘的结果进行修正，获得目标对象的3D脸部模型。具体的，本公开可以采用下述公式(2)来表示本公开获得的待处理目标对象的3D脸部模型：
Figure BDA0002633929580000161
在上述公式(2)中，Fi表示待处理目标对象的3D脸部模型；s表示待处理目标对象的模型缩放系数；F0表示通用3D脸部模型；
Figure BDA0002633929580000162
表示待处理目标对象的残差。
Figure BDA0002633929580000163
的大小可以根据实际经验设置，
Figure BDA0002633929580000164
可以为已知的经验值。
本公开通过利用缩放系数对通用3D脸部模型进行缩放调整，尤其是利用预设残差对目标对象的3D脸部模型进行修正，有利于提高目标对象的3D脸部模型的准确性，从而有利于提高最终获得的目标对象的脸部关键点的3D坐标的准确性。
示例性装置
图10为本公开提供的获取脸部关键点的3D坐标的装置一各实施例的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例。如图10所示的装置包括：获取2D坐标模块1000、确定模型3D坐标模块1001以及确定关键点3D坐标模块1002。
获取2D坐标模块1000用于获取图像中的位于目标对象脸部的至少一2D关键点坐标。其中的图像为单目图像。
确定模型3D坐标模块1001用于确定所述获取2D坐标模块1000获取到的至少一2D关键点坐标各自对应的所述目标对象的3D脸部模型中的脸部关键点的第一3D坐标，得到至少一第一3D坐标。
确定关键点3D坐标模块1002用于根据所述获取2D坐标模块1000获取到的至少一2D关键点坐标、所述确定模型3D坐标模块1001获得的至少一第一3D坐标以及采集所述图像的摄像装置的配置参数，确定所述至少一2D关键点坐标在所述摄像装置所在的三维坐标系中的第二3D坐标。
可选的，确定关键点3D坐标模块1002可以线根据所述获取2D坐标模块1000获取到的至少一2D关键点坐标、所述确定模型3D坐标模块1001获得的至少一第一3D坐标以及采集所述图像的摄像装置的内部参数，利用预设函数，获得所述至少一第一3D坐标相对于所述摄像装置所在的三维坐标系的旋转向量和平移向量；之后，确定关键点3D坐标模块1002根据所述至少一第一3D坐标、所述旋转向量和平移向量，确定所述至少一2D关键点坐标在所述摄像装置所在的三维坐标系中的第二3D坐标。
图11为本公开的用于确定3D脸部模型的装置一个实施例的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例。如图11所示的装置包括：获取脸部模型模块1100、获取缩放系统模块1101以及模型调整模块1102。
获取脸部模型模块1100用于获取预先设置的面向多个目标对象的通用3D脸部模型。
获取缩放系统模块1101用于获取待处理目标对象的模型缩放系数。
模型调整模块1102用于根据所述获取缩放系统模块1101获取到的模型缩放系数对所述获取脸部模型模块1100获取到的通用3D脸部模型进行缩放调整，获得所述待处理目标对象的3D脸部模型。
可选的，获取缩放系统模块1101可以包括：第一子模块11011、第二子模块11012以及第三子模块11013。其中的第一子模块11011用于获取预设目标的3D模型中的关键点相对于摄像装置所在的三维坐标系的第一平移向量；其中，所述摄像装置为采集所述待处理目标对象的单目图像的摄像装置。其中的第二子模块11012用于获取所述通用3D脸部模型中的脸部关键点相对于所述摄像装置所在的三维坐标系的第二平移向量。其中的第三子模块11013用于根据所述第一子模块11011获得的第一平移向量中的深度平移向量与所述第二子模块11012获得的第二平移向量中的深度平移向量的比值，确定所述待处理目标对象的模型缩放系数。
在一个例子中，本公开的第一子模块11011可以先获取所述摄像装置采集的单目图像中的所述预设目标的至少一2D关键点坐标；之后，第一子模块11011确定所述预设目标的至少一2D关键点坐标各自对应的所述预设目标的3D模型中的关键点的第三3D坐标，得到至少一第三3D坐标；最后，第一子模块11011根据所述预设目标的至少一2D关键点坐标、所述至少一第三3D坐标以及所述摄像装置的配置参数，确定所述预设目标的3D模型中的关键点相对于摄像装置所在的三维坐标系的第一平移向量。
可选的，模型调整模块1102可以将所述通用3D脸部模型中的各关键点的第一3D坐标分别与所述模型缩放系数相乘，获得所述目标对象的3D脸部模型。
可选的，模型调整模块1102可以将所述通用3D脸部模型中的各关键点的第一3D坐标分别与所述模型缩放系数相乘，并根据预设残差对所述相乘的结果进行修正，获得所述目标对象的3D脸部模型。
示例性电子设备
下面参考图12来描述根据本公开实施例的电子设备。图12示出了根据本公开实施例的电子设备的框图。如图12所示，电子设备121包括一个或多个处理器1211和存储器1212。
处理器1211可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备121中的其他组件以执行期望的功能。
存储器1212可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器，例如，可以包括：随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器，例如，可以包括：只读存储器(ROM)、硬盘以及闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1211可以运行所述程序指令，以实现上文所述的本公开的各个实施例的获取脸部关键点的3D坐标的方法、用于确定3D脸部模型的方以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备121还可以包括：输入装置1213以及输出装置1214等，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该输入设备1213还可以包括例如键盘、鼠标等等。该输出装置1214可以向外部输出各种信息。该输出设备1214可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图12中仅示出了该电子设备121中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备121还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的获取脸部关键点的3D坐标的方法或者用于确定3D脸部模型的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的获取脸部关键点的3D坐标的方法或者用于确定3D脸部模型的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种获取脸部关键点的3D坐标的方法，包括：
获取图像中的位于目标对象脸部的至少一2D关键点坐标；其中，所述图像为单目图像；
确定所述至少一2D关键点坐标各自对应的所述目标对象的3D脸部模型中的脸部关键点的第一3D坐标，得到至少一第一3D坐标；
根据所述至少一2D关键点坐标、所述至少一第一3D坐标以及采集所述图像的摄像装置的配置参数，确定所述至少一2D关键点坐标在所述摄像装置所在的三维坐标系中的第二3D坐标。
2.根据权利要求1所述的方法，其中，所述根据所述至少一2D关键点坐标、所述至少一第一3D坐标以及2D配置参数，确定所述至少一2D关键点坐标在所述摄像装置所在的三维坐标系中的第二3D坐标，包括：
根据所述至少一2D关键点坐标、所述至少一第一3D坐标以及采集所述图像的摄像装置的内部参数，利用预设函数，获得所述至少一第一3D坐标相对于所述摄像装置所在的三维坐标系的旋转向量和平移向量；
根据所述至少一第一3D坐标、所述旋转向量和平移向量，确定所述至少一2D关键点坐标在所述摄像装置所在的三维坐标系中的第二3D坐标。
3.一种用于确定3D脸部模型的方法，包括：
获取预先设置的面向多个目标对象的通用3D脸部模型；
获取待处理目标对象的模型缩放系数；
根据所述模型缩放系数对所述通用3D脸部模型进行缩放调整，获得所述待处理目标对象的3D脸部模型。
4.根据权利要求3所述的方法，其中，所述获取待处理目标对象的模型缩放系数，包括：
获取预设目标的3D模型中的关键点相对于摄像装置所在的三维坐标系的第一平移向量；其中，所述摄像装置为采集所述待处理目标对象的单目图像的摄像装置；
获取所述通用3D脸部模型中的脸部关键点相对于所述摄像装置所在的三维坐标系的第二平移向量；
根据所述第一平移向量中的深度平移向量与所述第二平移向量中的深度平移向量的比值，确定所述待处理目标对象的模型缩放系数。
5.根据权利要求4所述的方法，其中，所述获取预设目标的3D模型中的关键点相对于摄像装置所在的三维坐标系的第一平移向量，包括：
获取所述摄像装置采集的单目图像中的所述预设目标的至少一2D关键点坐标；
确定所述预设目标的至少一2D关键点坐标各自对应的所述预设目标的3D模型中的关键点的第三3D坐标，得到至少一第三3D坐标；
根据所述预设目标的至少一2D关键点坐标、所述至少一第三3D坐标以及所述摄像装置的配置参数，确定所述预设目标的3D模型中的关键点相对于摄像装置所在的三维坐标系的第一平移向量。
6.根据权利要求3至5中任一项所述的方法，其中，所述根据所述模型缩放系数对所述通用3D脸部模型进行缩放调整，获得所述待处理目标对象的3D脸部模型，包括：
将所述通用3D脸部模型中的各关键点的第一3D坐标分别与所述模型缩放系数相乘，获得所述目标对象的3D脸部模型；或者
将所述通用3D脸部模型中的各关键点的第一3D坐标分别与所述模型缩放系数相乘，并根据预设残差对所述相乘的结果进行修正，获得所述目标对象的3D脸部模型。
7.一种获取脸部关键点的3D坐标的装置，包括：
获取2D坐标模块，用于获取图像中的位于目标对象脸部的至少一2D关键点坐标；其中，所述图像为单目图像；
确定模型3D坐标模块，用于确定所述获取2D坐标模块获取到的至少一2D关键点坐标各自对应的所述目标对象的3D脸部模型中的脸部关键点的第一3D坐标，得到至少一第一3D坐标；
确定关键点3D坐标模块，用于根据所述获取2D坐标模块获取到的至少一2D关键点坐标、所述确定模型3D坐标模块获得的至少一第一3D坐标以及采集所述图像的摄像装置的配置参数，确定所述至少一2D关键点坐标在所述摄像装置所在的三维坐标系中的第二3D坐标。
8.一种用于确定3D脸部模型的装置，包括：
获取脸部模型模块，用于获取预先设置的面向多个目标对象的通用3D脸部模型；
获取缩放系统模块，用于获取待处理目标对象的模型缩放系数；
模型调整模块，用于根据所述获取缩放系统模块获取到的模型缩放系数对所述获取脸部模型模块获取到的通用3D脸部模型进行缩放调整，获得所述待处理目标对象的3D脸部模型。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6中任一项所述的方法。
10.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6中任一项所述的方法。
CN202010819406.8A 2020-08-14 2020-08-14 获取脸部关键点的3d坐标及3d脸部模型的方法和装置 Pending CN111985384A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010819406.8A CN111985384A (zh) 2020-08-14 2020-08-14 获取脸部关键点的3d坐标及3d脸部模型的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010819406.8A CN111985384A (zh) 2020-08-14 2020-08-14 获取脸部关键点的3d坐标及3d脸部模型的方法和装置

Publications (1)

Publication Number Publication Date
CN111985384A true CN111985384A (zh) 2020-11-24

Family

ID=73433941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010819406.8A Pending CN111985384A (zh) 2020-08-14 2020-08-14 获取脸部关键点的3d坐标及3d脸部模型的方法和装置

Country Status (1)

Country Link
CN (1) CN111985384A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022252118A1 (zh) * 2021-06-01 2022-12-08 华为技术有限公司 一种头部姿态测量方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080192990A1 (en) * 2007-02-09 2008-08-14 Kabushiki Kaisha Toshiba Gaze detection apparatus and the method of the same
CN106104573A (zh) * 2014-02-04 2016-11-09 弗劳恩霍夫应用研究促进协会 霍夫处理器
CN106503671A (zh) * 2016-11-03 2017-03-15 厦门中控生物识别信息技术有限公司 确定人脸姿态的方法和装置
CN106503684A (zh) * 2016-10-28 2017-03-15 厦门中控生物识别信息技术有限公司 一种人脸图像处理方法和装置
CN108876708A (zh) * 2018-05-31 2018-11-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质
CN109389069A (zh) * 2018-09-28 2019-02-26 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
CN109886246A (zh) * 2019-03-04 2019-06-14 上海像我信息科技有限公司 一种人物注意力判断方法、装置、系统、设备和存储介质
CN110443154A (zh) * 2019-07-15 2019-11-12 北京达佳互联信息技术有限公司 关键点的三维坐标定位方法、装置、电子设备和存储介质
CN110909580A (zh) * 2018-09-18 2020-03-24 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
CN111353930A (zh) * 2018-12-21 2020-06-30 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
CN111428579A (zh) * 2020-03-03 2020-07-17 平安科技（深圳）有限公司 人脸图像的获取方法与系统
CN111476878A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 3d人脸生成控制方法、装置、计算机设备及存储介质
US20200250807A1 (en) * 2019-02-06 2020-08-06 Thanh Phuoc Hong Systems and methods for keypoint detection

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080192990A1 (en) * 2007-02-09 2008-08-14 Kabushiki Kaisha Toshiba Gaze detection apparatus and the method of the same
CN106104573A (zh) * 2014-02-04 2016-11-09 弗劳恩霍夫应用研究促进协会 霍夫处理器
CN106503684A (zh) * 2016-10-28 2017-03-15 厦门中控生物识别信息技术有限公司 一种人脸图像处理方法和装置
CN106503671A (zh) * 2016-11-03 2017-03-15 厦门中控生物识别信息技术有限公司 确定人脸姿态的方法和装置
CN108876708A (zh) * 2018-05-31 2018-11-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质
CN110909580A (zh) * 2018-09-18 2020-03-24 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
CN109389069A (zh) * 2018-09-28 2019-02-26 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
CN111353930A (zh) * 2018-12-21 2020-06-30 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
CN111476878A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 3d人脸生成控制方法、装置、计算机设备及存储介质
US20200250807A1 (en) * 2019-02-06 2020-08-06 Thanh Phuoc Hong Systems and methods for keypoint detection
CN109886246A (zh) * 2019-03-04 2019-06-14 上海像我信息科技有限公司 一种人物注意力判断方法、装置、系统、设备和存储介质
CN110443154A (zh) * 2019-07-15 2019-11-12 北京达佳互联信息技术有限公司 关键点的三维坐标定位方法、装置、电子设备和存储介质
CN111428579A (zh) * 2020-03-03 2020-07-17 平安科技（深圳）有限公司 人脸图像的获取方法与系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022252118A1 (zh) * 2021-06-01 2022-12-08 华为技术有限公司 一种头部姿态测量方法及装置

Similar Documents

Publication Publication Date Title
JP6330987B2 (ja) 画像処理装置、画像処理方法、及び記憶媒体
EP3614340A1 (en) Methods and devices for acquiring 3d face, and computer readable storage media
US20130286161A1 (en) Three-dimensional face recognition for mobile devices
JP6883608B2 (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
JP6891954B2 (ja) 物体検知装置、物体検知方法、及びプログラム
US9813693B1 (en) Accounting for perspective effects in images
JPWO2010122721A1 (ja) 照合装置、照合方法および照合プログラム
KR102452575B1 (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
CN111563924B (zh) 图像深度确定方法及活体识别方法、电路、设备和介质
JP6726006B2 (ja) 単眼ビデオカメラを使用した、車両からの目標点の距離および方向の算定
CN112489113A (zh) 相机外参标定方法、装置及相机外参标定系统
CN111402404B (zh) 全景图补全方法、装置、计算机可读存储介质及电子设备
US20210334569A1 (en) Image depth determining method and living body identification method, circuit, device, and medium
KR20180121259A (ko) 카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법
EP3189493B1 (en) Depth map based perspective correction in digital photos
CN114882465A (zh) 视觉感知方法、装置、存储介质和电子设备
CN111985384A (zh) 获取脸部关键点的3d坐标及3d脸部模型的方法和装置
CN113689508A (zh) 点云标注方法、装置、存储介质及电子设备
JP5805013B2 (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
CN112541553A (zh) 目标对象的状态检测方法、装置、介质以及电子设备
JP6931267B2 (ja) 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法
CN113382166B (zh) 摄像设备光心对齐方法和装置、存储介质、电子设备
WO2024019032A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
CN111726602B (zh) 异视场角摄像-显像系统的匹配方法及其系统和计算系统
JP2023174456A (ja) イメージ内の座標間の実際距離を算出する方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination