CN116959076A - 面部数据采集方法、系统及存储介质 - Google Patents

面部数据采集方法、系统及存储介质 Download PDF

Info

Publication number
CN116959076A
CN116959076A CN202311004205.2A CN202311004205A CN116959076A CN 116959076 A CN116959076 A CN 116959076A CN 202311004205 A CN202311004205 A CN 202311004205A CN 116959076 A CN116959076 A CN 116959076A
Authority
CN
China
Prior art keywords
face
reference camera
target object
coordinate system
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311004205.2A
Other languages
English (en)
Inventor
谢超
陈海沯
陈从华
江永付
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mingjian Xiamen Software Development Co ltd
Original Assignee
Mingjian Xiamen Software Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mingjian Xiamen Software Development Co ltd filed Critical Mingjian Xiamen Software Development Co ltd
Priority to CN202311004205.2A priority Critical patent/CN116959076A/zh
Publication of CN116959076A publication Critical patent/CN116959076A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种面部数据采集方法、系统及存储介质，涉及计算机视觉技术领域。该方法应用于面部数据采集系统中，数据处理设备从多个摄像机获取目标对象的左侧和右侧面部点云，对人脸三维可变模型进行拟合得到目标对象在基准相机坐标系下的人脸三维模型；在显示器的随机位置显示视觉刺激点，从多个摄像机获取目标对象在注视视觉刺激点时的第二面部图像；进而根据人脸三维模型和第二面部图像，生成目标对象在基准相机坐标系下的面部数据，根据各个相机坐标系之间的变换关系得到目标对象在多个采集角度下的面部数据。上述方案能够高精度地还原面部细节，从多个采集角度获取类型丰富的面部数据，面部数据可直接用于满足各种智能化应用的需求。

Description

面部数据采集方法、系统及存储介质
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种面部数据采集方法、系统及存储介质。
背景技术
随着计算机视觉领域技术的发展，各种通过检测面部特征来实现智能化功能的应用越来越多，例如，基于面部特征检测的驾驶员疲劳监测系统。通过将采集到的驾驶员面部信息输入神经网络，可以对驾驶员的表情、头部姿态等进行识别，检测驾驶员是否疲劳驾驶。而神经网络的识别需要将面部信息处理为包含人脸关键点、头部姿态、视线角度和表情等各种面部数据。
由于上述面部数据的获取涉及从多个角度对目标对象进行多次图像采集和数据处理，整个采集过程耗时耗力，面部数据的采集过程耗时耗力，效率较低。亟需一种方法，能够直接对目标对象的面部进行高精度重建，高效地从多个角度采集类型丰富的面部数据。
发明内容
本申请提供了一种面部数据采集方法、系统及存储介质，能够直接对目标对象的面部进行高精度重建，高效地从多个角度采集类型丰富的面部数据。
为了实现上述目的，第一方面，本申请提供了面部数据采集方法，适用于面部数据采集系统，所述系统包括数据处理设备、显示器和按照不同采集角度部署的多个摄像机，所述多个摄像机包括基准摄像机和非基准摄像机，所述非基准摄像机分别部署在所述基准摄像机的左右两侧，所述基准摄像机对应基准相机坐标系；该方法包括由数据处理设备执行的如下步骤：
S1、从所述基准摄像机和所述基准摄像机左侧的任一非基准摄像机，获取目标对象的左侧面部点云，从基准摄像机和所述基准摄像机右侧的任一非基准摄像机，获取所述目标对象的右侧面部点云；
S2、根据所述左侧面部点云和所述右侧面部点云，对人脸三维可变模型进行拟合，得到所述目标对象在所述基准相机坐标系下的人脸三维模型；
S3、在所述显示器显示屏幕的随机位置显示视觉刺激点，且当所述目标对象在注视所述视觉刺激点时触发所述多个摄像机的采集指令，获得所述多个摄像机采集的所述目标对象的多个第二面部图像；
S4、根据所述人脸三维模型和多个所述第二面部图像，生成所述目标对象在所述基准相机坐标系下的面部数据，所述面部数据包括头部姿态数据和视线数据中的至少一种；
S5、根据所述基准相机坐标系与各个所述非基准摄像机的相机坐标系之间的变换关系，将所述面部数据变换到各个非基准摄像机的相机坐标系中，得到所述目标对象在所述不同采集角度下的面部数据。
在一种可能实施方式中，所述步骤S4包括：
采用迭代最近点算法，将所述人脸三维模型与多个所述第二面部图像对应的面部点云进行匹配，得到所述基准相机坐标系下的头部姿态；
所述步骤S5包括：基于所述变换关系，将所述头部姿态变换到所述各个非基准摄像机的相机坐标系下，得到所述目标对象在所述多个采集角度下的头部姿态数据；
根据所述目标对象在所述多个采集角度下的头部姿态，对所述目标对象的人脸三维模型进行变换，得到所述多个采集角度下的人脸三维模型；根据人脸关键点的模型索引，从所述多个采集角度下的人脸三维模型中，获取所述目标对象人脸关键点的三维坐标；根据各个所述摄像机的内参，将所述三维坐标投影到摄像机的图像坐标系中，得到所述目标对象的人脸关键点数据。
在一种可能实施方式中，所述步骤S1之前，所述方法还包括：
采用正交约束的镜面标定法，确定所述基准相机坐标系和显示器坐标系之间的第一变换关系，所述显示器坐标系根据所述显示器的显示平面确定；
根据所述基准摄像机和各个非基准摄像机之间的位置关系，采用张友正标定法，确定所述基准相机坐标系与各个非基准摄像机的相机坐标系之间的第二变换关系。
在一种可能实施方式中，所述步骤S4包括：
根据所述第一变换关系以及所述多个摄像机采集的多个所述第二面部图像，确定所述视觉刺激点在所述基准相机坐标系下的刺激点坐标；从所述基准相机坐标系下的人脸三维模型中，获取所述基准相机坐标系下所述目标对象的左眼中点坐标和右眼中点坐标；
根据所述刺激点坐标和所述左眼中点坐标的差以及所述刺激点坐标和所述右眼中点坐标的差，确定在所述目标对象在所述基准相机坐标系下的视线向量；
所述步骤S5包括：根据所述视线向量和所述第二变换关系，确定所述目标对象在各个非基准摄像机的相机坐标系下的视线向量，得到所述多个采集角度下的视线数据。
在一种可能实施方式中，在所述步骤S2之后，所述方法还包括：
保持所述人脸三维模型的脸型参数不变，将所述人脸三维模型的表情参数调整为目标表情的参数值，得到目标表情对应的人脸三维模型；
将所述目标表情对应的人脸三维模型投影到给定的图像平面，得到带有所述目标表情的面部表情图像，并对所述面部表情图像进行渲染。
在一种可能实施方式中，所述面部数据采集系统中，所述多个摄像机部署在显示器的显示平面的不同位置，且所述多个摄像机各自以不同的采集角度部署，以使所述多个摄像机的光轴均通过所述显示平面的垂直平面。
在一种可能实施方式中，所述面部数据采集系统还包括可升降座椅，在步骤S1之前，所述方法还包括：
根据所述基准摄像机采集的所述目标对象的面部图像，调整所述可升降座椅的水平位置和垂直高度，以使所述目标对象的面部中心点位于所述基准摄像机图像采集范围的中心。
在一种可能实施方式中，所述S2包括：
S21、根据基准摄像机和所述基准摄像机左侧的任一非基准摄像机采集的左侧面部图像进行双目立体匹配，生成所述目标对象在所述基准相机坐标系下的左侧面部点云，根据基准摄像机和所述基准摄像机右侧的任一非基准摄像机采集的右侧面部图像进行双目立体匹配，生成所述目标对象在所述基准相机坐标系下的右侧面部点云；
S22、根据所述左侧面部点云和右侧面部点云对人脸三维可变模型进行拟合，得到所述目标对象在所述基准相机坐标系下的人脸三维模型。
第二方面，提供一种面部数据采集系统，该系统包括显示器、按照不同采集角度部署的多个摄像机和数据处理设备，所述多个摄像机包括基准摄像机和非基准摄像机，所述非基准摄像机分别部署在所述基准摄像机的左右两侧，所述数据处理设备被配置为执行如第一方面所提供的面部数据采集方法。
第三方面，提供一种计算设备，该计算设备包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由处理器执行以实现如第一方面提供的面部数据采集方法。
第四方面，提供一种计算机可读存储介质，该存储介质中存储有至少一段程序，该至少一段程序由处理器执行以实现如第一方面提供的面部数据采集方法。
本申请提供的技术方案至少包括如下技术效果：
提供了一种面部数据采集装方法和系统，设计了一种面部数据采集装置，能够高精度地还原面部数据，从多个角度采集类型丰富的面部数据，面部数据可直接用于满足各种智能化应用的需求。
附图说明
图1是本申请提供的一种面部数据采集装置的实施环境示意图；
图2是本申请提供的一种摄像机支架的示意图；
图3是本申请提供的一种面部数据采集系统的示意图；
图4是本申请提供的一种显示器坐标系的标定示意图；
图5是本申请提供的一种面部数据采集方法的流程示意图；
图6是本申请提供的一种计算设备的硬件结构示意图。
具体实施方式
为进一步说明各实施例，本申请提供有附图。这些附图为本申请揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本申请的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上，例如，多个摄像机是指两个或两个以上的摄像机。
现结合附图和具体实施方式对本申请进一步说明。
下面先对本申请技术方案的实施环境进行介绍。
图1为本申请提供的一种面部数据采集系统的实施环境示意图，参见图1，实施环境中包括目标对象和面部数据采集装置，面部数据采集装置包括显示器和多个摄像机。其中，多个摄像机按照不同采集角度部署，多个摄像机包括基准摄像机和非基准摄像机，非基准摄像机分别部署在基准摄像机的左右两侧，基准摄像机对应基准相机坐标系。
示例性地，多个摄像机中的基准摄像机C0部署在显示器的显示平面正中心位置，基准摄像机C0对应基准相机坐标系。如图1所示，本实施例采用9个摄像机，将摄像机C0作为基准摄像机，其余摄像机C1-C8为非基准摄像机，分别部署在基准摄像机的周围(包括上下两侧和左右两侧)。
其中，显示器用于在面部数据采集过程中显示相应的提示信息，以辅助多个摄像机进行多角度的面部数据采集。显示器的尺寸和具体设备类型可以根据实施需求设置，例如，显示器可以是65英寸电视。
摄像机的光轴对应摄像机的采集方向，摄像机的焦距决定摄像机的采集范围。本申请实施例中，多个摄像机部署在显示器的显示平面的不同位置，并且，多个摄像机各自以不同的角度部署，以使各个摄像机的光轴均通过显示器的显示平面的垂直平面，多个摄像机构成的整体图像采集范围位于显示器的显示平面的垂直方向的预定范围内。如图1所示，基准摄像机C0为中心，摄像机C1向正右方倾斜，摄像机C2向右下方倾斜，摄像机C3向正下方倾斜，摄像机C4-摄像机C8以此类推，多个摄像机构成的整体图像采集范围位于显示器的显示平面的垂直方向的预定范围内。其中，各个摄像机的倾斜角度根据该整体图像采集范围预先设定，本申请对此不作限定。
在一些实施例中，上述多个摄像机安装在摄像机支架上，支架固定在显示器上，多个摄像机分别布置在摄像机支架的不同孔位上，以使各个摄像机的光轴均通过显示器的显示平面的垂直平面的中心。
可选地，摄像机支架是透明亚克力支架，本申请提供了一种摄像机支架的示意图，参见图2，从正面看，透明亚克力支架包括多个孔位，因而可以灵活地调整摄像机的安装位置以及增减摄像机的数量；从侧面看，透明亚克力支架顶部可作为挂钩，平稳地固定在显示器上，且由于是透明材质，不影响显示器的显示效果。
在另一些实施例中，面部数据采集装置还包括可升降座椅。在一种可能实施方式中，可以根据基准摄像机采集的目标对象的面部图像，调整可升降座椅的水平位置和垂直高度，以使目标对象的面部中心点位于基准摄像机图像采集范围的中心，也即是，保证被采集对象的面部落在多个摄像机构成的整体图像采集范围内。
基于上述介绍的面部数据采集装置，本申请实施例提供了一种面部数据采集系统，该系统包括上述面部数据采集装置和数据处理设备，也即是，该面部数据采集系统包括显示器、按照不同采集角度设置的多个摄像机和数据处理设备。图3是本申请提供的一种面部数据采集系统的示意图，参见图3，该面部数据采集装置响应于数据处理设备的控制进行图像采集，由数据处理设备进行面部三维重建和坐标系变换等处理，得到目标对象在多个采集角度下的面部数据。
在按照图1所示的部署方式部署好各个摄像机，搭建好面部数据采集装置后，还涉及对整个面部数据采集装置进行标定，以明确各个装置部分所对应的坐标系间的变换关系，为后续的数据处理提供能够直接使用的标定信息。由于本申请的面部数据采集装置中采用多个摄像机进行多角度拍摄，因此需要利用双目视觉技术对面部数据采集装置中的多个摄像机进行标定。在一些实施例中，标定的过程包括下述步骤A和步骤B，确定的标定信息可以存储在数据处理设备中。
步骤A、采用正交约束的镜面标定法，确定基准相机坐标系和显示器坐标系之间的第一变换关系，显示器坐标系根据显示器的显示平面确定。
其中，摄像机的标定涉及世界坐标系、相机坐标系和图像坐标系。分别对应于拍摄对象所在的真实世界、摄像机用于表示图像的三维空间和摄像机用于表示图像的二维图像平面。任一相机坐标系的坐标原点为对应相机(摄像机)的光心位置，x轴和y轴分别平行于摄像机的图像坐标系的x轴和y轴，z轴为相机的光轴。
本申请实施例以图1的摄像机部署情况为例，将摄像机C0作为基准摄像机。
首先，标定摄像机C0的基准相机坐标系与显示器坐标系的位置关系。图4是本申请实施例提供的一种显示器坐标系的标定示意图。后续说明过程中，将基准相机坐标系称为C0相机坐标系。
步骤A的具体过程可以包括：如图3所示，在显示器中显示黑白棋盘格，该黑白棋盘格也即代表显示器的显示平面，该黑白棋盘格可作为像素平面进行后续的标定。记棋盘格的左上角角点在显示器中的像素坐标为(sx0,sy0)，将该左上角角点(sx0,sy0)作为显示器坐标系原点。给定的显示器物理像素间距为β，以显示器横向为x轴，显示器纵向为y轴，采用正交约束的镜面标定法(Mirror-based camera pose estimation using an orthogonalityconstraint)，标定C0相机坐标系与显示器坐标系之间的第一变换关系，第一变换关系记为TC0S，表示将显示器坐标系中的三维坐标经过旋转、平移等操作，变换到C0相机坐标系中。示例性地，该第一变换关系以第一变换矩阵的形式保存，第一变换矩阵中的元素包括旋转参数和平移参数等。
步骤B、根据基准摄像机和各个非基准摄像机之间的位置关系，采用张友正标定法，确定基准相机坐标系与各个非基准摄像机的相机坐标系之间的第二变换关系。
在一种可能实施方式中，可以对面部数据采集装置对应的世界坐标系来表示基准摄像机和各个非基准摄像机之间的关系。世界坐标系，也称为测量坐标系，是一个三维直角坐标系，以其为基准可以描述体系中各个摄像机的空间位置。世界坐标系的位置可以根据面部数据采集场景中的实际情况建立。
本申请实施例中，采用张正友标定法进行双目立体标定，得到C0相机坐标系与其他各个相机间的变换关系。摄像机Ci机的相机坐标系(记为Ci相机坐标系)与C0相机坐标系之间的第二变换关系记为表示将Ci相机坐标系中的三维坐标经过旋转、平移等操作变换到C0相机坐标系中。示例性地，该第二变换关系以第二变换矩阵的形式保存，第二变换矩阵中的元素包括旋转参数和平移参数等。
在另一些实施方式中，通过上述步骤A和步骤B，进一步可得到每个相机坐标系与显示器坐标系的第三变换关系以及第三变换关系的逆变换/>其中，/>是步骤A中所述的C0相机坐标系与显示器坐标系之间的第一变换关系，表示将显示器坐标系中的三维坐标经过旋转、平移等操作，变换到C0相机坐标系中。
通过上述过程，也即完成了对面部数据采集装置的标定，明确了各个装置部分所对应的坐标系间的变换关系，为后续的数据处理提供能够直接使用的标定信息。其中，标定信息至少包括上述第一变换关系、第二变换关系和第三变换关系。
上述数据处理设备可以是任意计算设备，该计算设备可以为桌上型计算机、笔记本、掌上电脑等终端设备，也可以为服务器、多个物理服务器构成的服务器集群或者分布式文件系统，又或者是提供云存储以及云服务、云数据库、云计算、云函数、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content deliverynetwork，CDN)、大数据和人工智能平台等基础云计算服务的云服务器集群，本申请对此不做限定。
下面结合上述的面部数据采集装置和面部数据采集系统，对本申请提供的面部数据采集方法进行详细介绍。
图5是本申请实施例提供的一种面部数据采集方法的流程示意图，参考图5，本申请提供的技术方案包括下述步骤S1至步骤S5，应用在上述面部数据采集系统中，具体由数据处理设备来执行。
S1、从基准摄像机和基准摄像机左侧的任一非基准摄像机，获取目标对象的左侧面部图像，从基准摄像机和基准摄像机右侧的任一非基准摄像机，获取目标对象的右侧面部图像。
其中，基准摄像机左侧的非基准摄像机例如是图1中的摄像机C1、C2或C8；基准摄像机右侧的非基准摄像机例如是图1中的摄像机C4-C6。
具体实施时，首先可以利用从基准摄像机采集到的正面图像，调整可升降座椅(参考前文的介绍)的位置和高度，使得被采集人(目标对象)鼻尖(面部中心)大致与C0摄像机齐高，保证面部在C0摄像机图像采集范围的中心；接着，可以通过显示器显示提示信息，提示被采集人(目标对象)头部向右偏转一定的角度，此时用摄像机C0和摄像机C1拍摄左侧脸(左侧面部图像)；再通过显示器提示被采集人(目标对象)头部向左偏转一定角度，此时用摄像机C0和摄像机C5拍摄右侧脸(右侧面部图像)。
上述以采集左右侧脸图像为例进行说明，在其他实施例中，还可以按照其他方式采集面部图像，例如，指示被采集人点头或摇头。
S2、根据左侧面部图像和右侧面部图像，对人脸三维可变模型(3D Morphablemodels，3DMM)进行拟合，得到目标对象在基准相机坐标系下的人脸三维模型。
本申请实施例中，通过双目立体匹配技术在多个角度下生成面部点云，然后利用3DMM进行拟合，即可完成目标对象的面部3D重建。
在一些实施例中，本步骤S2包括下述步骤S21和步骤S22。
S21、根据基准摄像机和基准摄像机左侧的任一非基准摄像机采集的左侧面部图像进行双目立体匹配，生成目标对象在基准相机坐标系下的左侧面部点云，根据基准摄像机和基准摄像机右侧的任一非基准摄像机采集的右侧面部图像进行双目立体匹配，生成目标对象在基准相机坐标系下的右侧面部点云。
本申请实施例中采用双目立体匹配技术得到面部点云。双目立体匹配技术是指结合不同摄像机从不同角度采集的图像，确定两个角度所拍摄图像之间的视差，根据视差确定图像中各个像素点的深度信息，进而得到三维坐标系中的点云数据。具体地，面部点云包括左侧脸点云和右侧脸点云。在用摄像机C0和摄像机C1拍摄左侧脸(左侧面部图像)后，即可通过立体匹配得到左侧脸点云Pl；在用摄像机C0和摄像机C5拍摄右侧脸(右侧面部图像)后，即可通过立体匹配得到右侧脸点云Pr。
上述以采集左右侧脸点云为例进行说明，在其他实施例中，还可以按照其他方式采集面部点云。
S22、根据左侧面部点云和右侧面部点云对3DMM进行拟合，得到目标对象在基准相机坐标系下的人脸三维模型。
其中，3DMM是一个通用的三维人脸模型，用固定的点数来表示人脸。核心思想是：人脸可以在三维空间中进行一一匹配，并且可以由其他许多幅人脸正交基加权线性相加而来。本申请实施例使用的三维人脸模型有35709个点，其中包含68个人脸关键点，当然在其他实施例中可以采用其他点数的三维人脸模型。
示例性地，3DMM可由一个平均脸型μ、脸型偏移矩阵Mn和表情矩阵Me组成。3DMM可表示为：
f(αn,αe)＝μ+Mnαn+Meαe＝μ+Mα，
其中，α是参数矩阵，αn是脸型参数，αe是表情参数。
本申请实施例中，拟合过程包括将3DMM按照面部点云进行变形，以使变形后的模型参数符合面部点云描述的三维形状。通过上述过程确定出目标对象的参数矩阵α，即可完成面部3D重建。具体实施时，可以采用非线性优化方法求解代价函数L(X)来得到参数矩阵α：
L(X)＝Ld(X)+λLs(X)，
Ls(X)＝||α||2；
其中X＝{α,R1,t1,R2,t2}，R1,t1是将三维人脸模型变换到左侧脸点云坐标系的旋转参数和平移参数；R2,t2是是将三维人脸模型变换到右侧脸点云坐标系的旋转参数和平移参数；P是面部点云中的点，Pli是左侧脸点云中的第i个点，Prj是右侧脸点云中的第j个点；λ是权重系数；ω是加权项，记形变后的3DMM(按照目标对象的面部点云进行形变)顶点到最临近的面部点云P中一点的距离为d。ω根据距离d确定，表示为：
基于此，整个非线性迭代优化的过程包括下述1)-4)：
1)初始化X0；
2)寻找形变后的3D人脸模型顶点在面部点云中的最邻近对应点；
3)采用非线性优化方法求解Xi；
4)当||Xi-Xi-1||＞ε时，重复步骤2)和3)，反之结束，ε为预设的迭代终止阈值。
通过上述过程，即可求解出目标对象的人脸三维模型对应的参数矩阵，进而拟合出得到目标对象在基准相机坐标系下的人脸三维模型。
S3、在显示器显示屏幕的随机位置显示视觉刺激点，且当目标对象在注视视觉刺激点时触发多个摄像机的采集指令，获得多个摄像机采集的目标对象的多个第二面部图像。
本申请实施例中，通过显示器来引导目标对象的头部和视线进行变化，以进行面部数据采集。具体实施中，随机在显示器中产生一个视觉刺激点，视觉刺激点在显示器坐标系中的坐标表示为S(sx,sy)。被采集人(目标对象)可自由转动头部或偏转视线去注视显示器中的视觉刺激点。
在一种可能实施方式中，面部数据采集系统中还包括交互设备，该交互设备能够用于响应显示器。示例性地，交互设备是指鼠标，鼠标、显示器均与数据处理设备相连接。当被采集人(目标对象)注视显示器中的视觉刺激点的同时，移动鼠标到刺激点坐标并点击鼠标，即可触发采集指令，指示多个摄像机C0～C8采集并保存当前时刻的图像I0～I8(目标对象的多个第二面部图像)。其中，摄像机C0采集的第二面部图像为I0，摄像机C1采集的第二面部图像为I1，摄像机C2采集的第二面部图像为I2，以此类推。
在另一些实施例中，可以仅控制基准摄像机以及多个非基准摄像机中与视觉刺激点匹配的指定摄像机采集并保存当前时刻的图像。基于此，可以节省摄像机的能耗。
S4、根据人脸三维模型和多个第二面部图像，生成目标对象在基准相机坐标系下的面部数据，面部数据包括头部姿态数据和视线数据中的至少一种。
本申请实施例中，该面部数据包括头部姿态数据和视线数据中的至少一种。下面分别对上述各项面部数据的生成原理进行介绍。
(1)头部姿态数据
在一种可能实施方式中，数据处理设备采用迭代最近点(IterativeClosestPoint，ICP)算法，将人脸三维模型与第二面部图像对应的面部点云进行匹配，得到基准相机坐标系下的头部姿态，基于基准相机坐标系和各个非基准摄像机的相机坐标系之间的变换关系(前文介绍的第二变换关系)，将头部姿态变换到各个非基准摄像机的相机坐标系下，得到目标对象在说个采集角度下的头部姿态数据。
具体实施时，当接收到采集指令触发采集时，通过摄像机C0和摄像机C1采集的左侧面部图像进行双目立体匹配得到左侧面部点云，通过摄像机C0和摄像机C5的采集的右侧面部图进行双目立体匹配得到右侧面部点云，最终得到面部点云P，再将面部点云P变换到C0相机坐标系下；采用迭代最近点算法，将拟合后的3D人脸模型(目标对象的人脸三维模型)F与面部点云P进行匹配，得到当前C0相机坐标系下的头部姿态当前C0相机坐标系下的头部姿态数据/>表示为：
R0和t0表示头部姿态参数。
(2)视线数据
在一种可能实施方式中，数据处理设备根据第一变换关系以及多个摄像机采集的第二面部图像，确定视觉刺激点在基准相机坐标系下的刺激点坐标/>并从基准相机坐标系下的人脸三维模型/>中，获取基准相机坐标系下目标对象的眼睛中点坐标/>眼睛中点坐标/>包括左眼中点坐标和右眼中点坐标。
进一步地，根据刺激点坐标和左眼中点坐标的差，以及刺激点坐标/>和右眼中点坐标的差，即可确定在目标对象在基准相机坐标系下的视线向量/> 根据视线向量和第二变换关系，确定目标对象在各个非基准摄像机的相机坐标系下的视线向量/> 最终得到视线数据。
具体实施中，当接收到采集指令触发采集时，眼睛中点与视觉刺激点的连线即为视线。视觉刺激点在C0相机坐标系下的坐标表示为：
其中，(sx,sy)是视觉刺激点在显示器坐标系下的坐标；(sx0,sy0)是显示器坐标系原点；β为给定的显示器物理像素间距。
在一些实施例中，面部数据还包括面部表情数据，在执行完步骤S2得到目标对象的人脸三维模型之后，即可生成面部表情数据，下面对面部表情数据的生成过程进行介绍。
在一种可能实施方式中，数据处理设备保持人脸三维模型的脸型参数不变，将人脸三维模型的表情参数调整为目标表情的参数值，得到目标表情对应的人脸三维模型；再将目标表情对应的人脸三维模型投影到给定的图像平面，并进行渲染，即可生成带有目标表情的面部表情图像。
示例性地，三维人脸模型的参数矩阵α中包含脸型参数αn和表情参数αe，不同的表情可由不同的表情参数决定。因此，保持脸型参数αn不变，调节表情参数αe至目标表情参数值αe′，重新计算：
即可得到带有目标表情(如微笑、悲伤、愤怒等)的三维人脸模型，再将三维模型投影到图像平面，并重新渲染，即可生成带有表情的面部图像数据。
S5、根据基准相机坐标系与各个非基准摄像机的相机坐标系之间的变换关系，将面部数据变换到各个非基准摄像机的相机坐标系中，得到目标对象在不同采集角度下的面部数据。
本申请实施例中，该面部数据包括头部姿态数据和视线数据，基于头部姿态数据还可以进一步生成人脸关键点数据。下面分别对上述各项面部数据的生成原理进行介绍。
(1)头部姿态数据
在通过S4得到基准相机坐标系下的头部姿态后，进一步根据基准相机坐标系和各个非基准摄像机的相机坐标系之间的变换关系(前文介绍的第二变换关系)，将头部姿态变换到各个非基准摄像机的相机坐标系下，得到目标对象在多个采集角度下的头部姿态数据。
具体实施时，得到当前C0相机坐标系下的头部姿态后，使用标定信息中的第二变换关系，将头部姿态变换到其余各个相机坐标系下，该过程表示为：
表示当前C0相机坐标系下的头部姿态数据，/>表示当前Ci相机坐标系下的头部姿态数据，/>表示C0相机坐标系和Ci相机坐标系之间的第二变换关系，i＝1,2,...8。
在一种可能实施方式中，基于头部姿态数据还可以进一步生成人脸关键点数据。
计算得到各个相机坐标系下(各个采集角度下)的头部姿态后，数据处理设备根据目标对象在各个相机坐标系下的头部姿态对目标对象的人脸三维模型进行变换，得到多个采集角度下的人脸三维模型/>进而根据人脸关键点的模型索引，从变换后多个采集角度下人脸三维模型/>中，获取目标对象人脸关键点的三维坐标Flandmark，再根据各个摄像机的内参，将三维坐标投影到摄像机的图像坐标系中，得到人脸关键点数据。
其中，摄像机的内参指示了确定摄像机从三维空间到二维图像的投影关系。人脸关键点的模型索引根据所采用的模型中人脸关键点的标注方法确定，例如，人脸68点、29点、21点、14点等。
具体实施中，可以通过68点人脸关键点在三维人脸模型中的索引，获取人脸关键点的三维坐标Flandmark，并通过各个相机内参将Flandmark投影到图像坐标系，得到人脸关键点数据，该人脸关键点数据可以作为训练头部姿态估计神经网络的标签信息。
(2)视线数据
在步骤S4得到基准相机坐标系下的视线数据后，进一步根据视线向量和第二变换关系，确定目标对象在各个非基准摄像机的相机坐标系下的视线向量 最终得到多个采集角度下的视线数据。
本申请提供了一种面部数据采集方法和系统，设计了一种面部数据采集装置，能够高精度地还原面部数据，并且高效地采集多个角度的面部数据。所采集的面部数据包含三维人脸模型、面部图像、头部姿态、人脸关键点、视线角度等；进一步对所采集的三维人脸模型进行变换并重新渲染，可高效地生成大量不同头部姿态下具有不同表情的面部数据。因此，本申请的技术方案可以方便且准确地采集头部姿态、人脸关键点、视线及表情等面部数据，此类面部数据可有效地被用于深度神经网络的训练，以满足各种智能化应用的需求。
本申请提供的面部图像采集系统中的数据处理设备能够由任意计算设备实现。图6是本申请实施例提供的一种计算设备的硬件结构示意图，如图6所示，该计算设备包括处理器601、存储器602、总线603、以及存储在所述存储器602中并可在所述处理器601上运行的计算机程序，处理器601包括一个或一个以上处理核心，存储器602通过总线603与处理器601相连，存储器602用于存储程序指令，所述处理器执行所述计算机程序时实现本申请提供的上述方法实施例中的全部或部分步骤。
进一步地，作为一个可执行方案，上述计算设备可以是计算机单元，该计算机单元可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机单元可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述计算机单元的组成结构仅仅是计算机单元的示例，并不构成对计算机单元的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件。例如所述计算机单元还可以包括输入输出设备、网络接入设备、总线等，本申请实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机单元的控制中心，利用各种接口和线路连接整个计算机单元的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机单元的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例上述方法的步骤。
所述计算机单元集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
尽管结合优选实施方案具体展示和介绍了本申请，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本申请的精神和范围内，在形式上和细节上可以对本申请做出各种变化，均为本申请的保护范围。

Claims (10)

1.一种面部数据采集方法，其特征在于，适用于面部数据采集系统，所述面部数据采集系统包括数据处理设备、显示器和按照不同采集角度部署的多个摄像机，所述多个摄像机包括基准摄像机和非基准摄像机，所述非基准摄像机分别部署在所述基准摄像机的左右两侧，所述基准摄像机对应基准相机坐标系；所述方法包括由所述数据处理设备执行的如下步骤：
S1、从所述基准摄像机和所述基准摄像机左侧的任一非基准摄像机，获取目标对象的左侧面部点云，从所述基准摄像机和所述基准摄像机右侧的任一非基准摄像机，获取所述目标对象的右侧面部点云；
S2、根据所述左侧面部图点云和所述右侧面部点云，对人脸三维可变模型进行拟合，得到所述目标对象在所述基准相机坐标系下的人脸三维模型；
S3、在所述显示器显示屏幕的随机位置显示视觉刺激点，且当所述目标对象在注视所述视觉刺激点时触发所述多个摄像机的采集指令，获得所述多个摄像机采集的所述目标对象的多个第二面部图像；
S4、根据所述人脸三维模型和多个所述第二面部图像，生成所述目标对象在所述基准相机坐标系下的面部数据，所述面部数据包括头部姿态数据和视线数据中的至少一种；
S5、根据所述基准相机坐标系与各个所述非基准摄像机的相机坐标系之间的变换关系，将所述面部数据变换到各个所述非基准摄像机的相机坐标系中，得到所述目标对象在所述不同采集角度下的面部数据。
2.根据权利要求1所述的面部数据采集方法，其特征在于，所述步骤S4包括：
采用迭代最近点算法，将所述人脸三维模型与多个所述第二面部图像对应的面部点云进行匹配，得到所述基准相机坐标系下的头部姿态；
所述步骤S5包括：基于所述变换关系，将所述头部姿态变换到所述各个非基准摄像机的相机坐标系下，得到所述目标对象在所述多个采集角度下的头部姿态数据；
根据所述目标对象在所述多个采集角度下的头部姿态，对所述目标对象的人脸三维模型进行变换，得到所述多个采集角度下的人脸三维模型；根据人脸关键点的模型索引，从所述多个采集角度下的人脸三维模型中，获取所述目标对象人脸关键点的三维坐标；根据各个所述摄像机的内参，将所述三维坐标投影到摄像机的图像坐标系中，得到所述目标对象的人脸关键点数据。
3.根据权利要求1所述的面部数据采集方法，其特征在于，所述步骤S1之前，所述方法还包括：
采用正交约束的镜面标定法，确定所述基准相机坐标系和显示器坐标系之间的第一变换关系，所述显示器坐标系根据所述显示器的显示平面确定；
根据所述基准摄像机和各个所述非基准摄像机之间的位置关系，采用张友正标定法，确定所述基准相机坐标系与各个所述非基准摄像机的相机坐标系之间的第二变换关系。
4.根据权利要求3所述的面部数据采集方法，其特征在于，所述步骤S4包括：
根据所述第一变换关系以及所述多个摄像机采集的多个所述第二面部图像，确定所述视觉刺激点在所述基准相机坐标系下的刺激点坐标；从所述基准相机坐标系下的人脸三维模型中，获取所述基准相机坐标系下所述目标对象的左眼中点坐标和右眼中点坐标；
根据所述刺激点坐标和所述左眼中点坐标的差以及所述刺激点坐标和所述右眼中点坐标的差，确定在所述目标对象在所述基准相机坐标系下的视线向量；
所述步骤S5包括：根据所述视线向量和所述第二变换关系，确定所述目标对象在各个所述非基准摄像机的相机坐标系下的视线向量，得到所述多个采集角度下的视线数据。
5.根据权利要求1所述的面部数据采集方法，其特征在于，在所述步骤S2之后，所述方法还包括：
保持所述人脸三维模型的脸型参数不变，将所述人脸三维模型的表情参数调整为目标表情的参数值，得到目标表情对应的人脸三维模型；
将所述目标表情对应的人脸三维模型投影到给定的图像平面，得到带有所述目标表情的面部表情图像，并对所述面部表情图像进行渲染。
6.根据权利要求1所述的面部数据采集方法，其特征在于，所述面部数据采集系统中，所述多个摄像机部署在显示器的显示平面的不同位置，且所述多个摄像机各自以不同的采集角度部署，以使所述多个摄像机的光轴均通过所述显示平面的垂直平面。
7.根据权利要求1所述的面部数据采集方法，其特征在于，所述面部数据采集系统还包括可升降座椅，在步骤S1之前，所述方法还包括：
根据所述基准摄像机采集的所述目标对象的面部图像，调整所述可升降座椅的水平位置和垂直高度，以使所述目标对象的面部中心点位于所述基准摄像机图像采集范围的中心。
8.根据权利要求1所述的面部数据采集方法，其特征在于，所述步骤S2包括：
S21、根据基准摄像机和所述基准摄像机左侧的任一非基准摄像机采集的左侧面部图像进行双目立体匹配，生成所述目标对象在所述基准相机坐标系下的左侧面部点云，根据基准摄像机和所述基准摄像机右侧的任一非基准摄像机采集的右侧面部图像进行双目立体匹配，生成所述目标对象在所述基准相机坐标系下的右侧面部点云；
S22、根据所述左侧面部点云和右侧面部点云对所述人脸三维可变模型进行拟合，得到所述目标对象在所述基准相机坐标系下的人脸三维模型。
9.一种面部数据采集系统，其特征在于，包括：显示器、按照不同采集角度部署的多个摄像机和数据处理设备，所述多个摄像机包括基准摄像机和非基准摄像机，所述非基准摄像机分别部署在所述基准摄像机的左右两侧，所述数据处理设备被配置为执行如权利要求1至8任一所述的面部数据采集方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器执行以实现如权利要求1至8任一所述的面部数据采集方法。
CN202311004205.2A 2023-08-10 2023-08-10 面部数据采集方法、系统及存储介质 Pending CN116959076A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311004205.2A CN116959076A (zh) 2023-08-10 2023-08-10 面部数据采集方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311004205.2A CN116959076A (zh) 2023-08-10 2023-08-10 面部数据采集方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN116959076A true CN116959076A (zh) 2023-10-27

Family

ID=88449204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311004205.2A Pending CN116959076A (zh) 2023-08-10 2023-08-10 面部数据采集方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116959076A (zh)

Similar Documents

Publication Publication Date Title
CN111325823B (zh) 人脸纹理图像的获取方法、装置、设备及存储介质
US10855909B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN108363995B (zh) 用于生成数据的方法和装置
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
CN111783820A (zh) 图像标注方法和装置
CN108053437B (zh) 基于体态的三维模型获取方法及装置
CN111183405A (zh) 调整头部区域的数字表示
US20240046557A1 (en) Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model
US10169891B2 (en) Producing three-dimensional representation based on images of a person
US20140009503A1 (en) Systems and Methods for Tracking User Postures to Control Display of Panoramas
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
CN108305321B (zh) 一种基于双目彩色成像系统的立体人手3d骨架模型实时重建方法和装置
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
US20140009570A1 (en) Systems and methods for capture and display of flex-focus panoramas
CN109685873B (zh) 一种人脸重建方法、装置、设备和存储介质
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
CN111815768B (zh) 三维人脸重建方法和装置
CN111754622B (zh) 脸部三维图像生成方法及相关设备
CN111325828B (zh) 一种基于三目相机的三维人脸采集方法及装置
CN107659772B (zh) 3d图像生成方法、装置及电子设备
CN116959076A (zh) 面部数据采集方法、系统及存储介质
CN115409949A (zh) 模型训练方法、视角图像生成方法、装置、设备及介质
CN114882106A (zh) 位姿确定方法和装置、设备、介质
CN111222448B (zh) 图像转换方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination