CN111833441A - 一种基于多相机系统的人脸三维重建方法和装置 - Google Patents

一种基于多相机系统的人脸三维重建方法和装置 Download PDF

Info

Publication number
CN111833441A
CN111833441A CN202010735244.XA CN202010735244A CN111833441A CN 111833441 A CN111833441 A CN 111833441A CN 202010735244 A CN202010735244 A CN 202010735244A CN 111833441 A CN111833441 A CN 111833441A
Authority
CN
China
Prior art keywords
camera
face
feature
dimensional space
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010735244.XA
Other languages
English (en)
Inventor
杨宗凯
吴珂
殷永凯
陈文杰
吴砥
钟正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202010735244.XA priority Critical patent/CN111833441A/zh
Publication of CN111833441A publication Critical patent/CN111833441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于多相机系统的人脸三维重建方法和装置，该多相机系统包括用于对人脸进行不同拍摄角度的至少三个相机以及服务器，每一相机与服务器通信连接，该方法应用于所述服务器，包括：获取所述至少三个相机在同一时刻拍摄的多张人脸图像；采用预设的特征检测算法检测并提取每一人脸图像中的多个特征点；根据预设的极线约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，获得多个匹配对；根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参计算每一匹配对对应的三维空间点，获得多个三维空间点；对所述多个三维空间点进行稠密重建获得所述人脸的稠密的三维点云数据。

Description

一种基于多相机系统的人脸三维重建方法和装置
技术领域
本申请涉及人脸三维重建技术领域，具体而言，涉及一种基于多相机系统的人脸三维重建方法和装置。
背景技术
目前现有的人脸三维重建方法一般是通过单目或双目相机对待重建人脸进行拍摄后通过离线分析的方式来对待重建人脸进行三维重建，进而得到人脸三维图像，而这种采用单目或双目相机拍摄图像后对图像进行离线重建的方式存在着实时率以及重建效率低的问题。
发明内容
本申请实施例的目的在于提供一种基于多相机系统的人脸三维重建方法、装置、电子设备和存储介质，用以解决目前采用单目或双目相机拍摄图像后对图像进行离线重建的方式存在的实时率以及重建效率低的问题。
第一方面，本发明实施例提供一种基于多相机系统的人脸三维重建方法，所述多相机系统包括用于对人脸进行不同拍摄角度的至少三个相机以及服务器，每一相机与所述服务器通信连接，所述方法应用于所述服务器，包括：获取所述至少三个相机在同一时刻拍摄的多张人脸图像；采用预设的特征检测算法检测并提取每一人脸图像中的多个特征点；根据预设的极线约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，获得多个匹配对；根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参计算每一匹配对对应的三维空间点，获得多个三维空间点；对所述多个三维空间点进行稠密重建获得所述人脸的稠密的三维点云数据。
在上述设计的基于多相机系统的人脸三维重建方法中，服务器实时获取至少三个相机拍摄的被检测人员多角度的人脸图像，然后实时对每张人脸图像进行特征点检测和提取并通过预设的极限约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，进而根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参来实时计算获得每一匹配对对应的三维空间点，最后对多个三维空间点进行稠密重建来得到该人脸对应的稠密的三维点云数据，进而将稠密的三维点云数据进行可视化即可实时得到被检测人员的人脸三维图像，由此，本方案通过实时拍摄以及实时重建计算实现了人脸三维图像的实时重建过程，解决了目前采用单目或双目相机拍摄图像后对图像进行离线重建的方式存在的实时率以及重建效率低的问题，提高了人脸重建的实时性以及重建效率。
在第一方面的可选实施方式中，所述根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参计算每一匹配对对应的三维空间点，获得多个三维空间点，包括：将每一匹配对中每一特征点在对应相机坐标系下的坐标以及每一特征点对于相机的外参和内参代入预设的联立公式以计算每一匹配对对应的三维空间点，获得多个三维空间点。
在第一方面的可选实施方式中，所述预设的联立公式L为：
Figure BDA0002609334180000031
其中，K1、K2到Kn分别表示相机1、相机2到相机n的内参；[R1]、[R2]到[Rn]分别表示相机1、相机2到相机n的旋转矩阵；[T1]、[T2]到[Tn]分别表示相机1、相机2到相机n的平移矩阵；x1、x2到xn分别表示匹配对x中相机1拍摄图像中的特征点在相机1坐标系下的坐标、匹配对x中相机2拍摄图像中的特征点在相机2坐标系下的坐标到匹配对x中相机n拍摄图像中的特征点在相机n坐标系下的坐标；X1表示匹配对x对应的三维空间点；n表示相机的个数。
在第一方面的可选实施方式中，所述根据预设的极线约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，获得多个匹配对，包括：以任一张人脸图像为基准图像；对于所述基准图像中的每一特征点，通过两个像素误差的极线约束在除所述基准图像以外的人脸图像中查找具有相同特征的特征点；根据所述基准图像中的每一特征点和查找到的每一特征点对应的具有相同特征的特征点构建所述多个匹配对。
在第一方面的可选实施方式中，所述对所述多个三维空间点进行稠密重建获得所述人脸的稠密的三维点云数据，包括：采用PMVS算法对所述多个三维空间点进行稠密重建获得所述人脸的稠密的三维点云数据。
在第一方面的可选实施方式中，在所述获取所述至少三个相机在同一时刻拍摄的多张人脸图像之前，所述方法还包括：采用张正友棋盘标定法对所述至少三个相机的内参和外参进行标定，以获得标定完成的每一相机的内参和外参。
在第一方面的可选实施方式中，所述多相机系统还包括用于向人脸投射散斑的散斑投射器，所述散斑投射器与所述服务器通信连接，在所述获取所述至少三个相机在同一时刻拍摄的多张人脸图像之前，所述方法还包括：控制所述散斑投射器向人脸进行散斑投射；所述获取所述至少三个相机在同一时刻拍摄的多张人脸图像，包括：获取所述至少三个相机在同一时刻拍摄的多张具有散斑的人脸图像。
第二方面，本发明实施例提供一种基于多相机系统的人脸三维重建装置，所述多相机系统包括用于对人脸进行不同拍摄角度的至少三个相机以及服务器，每一相机与所述服务器通信连接，所述装置应用于所述服务器，包括：获取模块，用于获取所述至少三个相机在同一时刻拍摄的多张人脸图像；检测提取模块，用于采用预设的特征检测算法检测并提取每一人脸图像中的多个特征点；构建模块，用于根据预设的极线约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，获得多个匹配对；计算模块，用于根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参计算每一匹配对对应的三维空间点，获得多个三维空间点；重建模块，用于对所述多个三维空间点进行稠密重建获得所述人脸的稠密的三维点云数据。
在上述设计的基于多相机系统的人脸三维重建装置中，服务器实时获取至少三个相机拍摄的被检测人员多角度的人脸图像，然后实时对每张人脸图像进行特征点检测和提取并通过预设的极限约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，进而根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参来实时计算获得每一匹配对对应的三维空间点，最后对多个三维空间点进行稠密重建来得到该人脸对应的稠密的三维点云数据，进而将稠密的三维点云数据进行可视化即可实时得到被检测人员的人脸三维图像，由此，本方案通过实时拍摄以及实时重建计算实现了人脸三维图像的实时重建过程，解决了目前采用单目或双目相机拍摄图像后对图像进行离线重建的方式存在的实时率以及重建效率低的问题，提高了人脸重建的实时性以及重建效率。
在第二方面的可选实施方式中，所述计算模块，具体用于将每一匹配对中每一特征点在对应相机坐标系下的坐标以及每一特征点对于相机的外参和内参代入预设的联立公式计算每一匹配对对应的三维空间点，获得多个三维空间点。
在第二方面的可选实施方式中，所述构建模块，具体用于以任一张人脸图像为基准图像；对于所述基准图像中的每一特征点，通过两个像素误差的极线约束在除所述基准图像以外的人脸图像中查找具有相同特征的特征点；根据所述基准图像中的每一特征点和查找到的每一特征点对应的具有相同特征的特征点构建所述多个匹配对。
在第二方面的可选实施方式中，所述重建模块，具体用于采用PMVS算法对所述多个三维空间点进行稠密重建获得所述人脸的稠密的三维点云数据。
在第二方面的可选实施方式中，所述装置还包括控制模块用于控制所述散斑投射器向人脸进行散斑投射；所述获取模块，具体用于获取所述至少三个相机在同一时刻拍摄的多张具有散斑的人脸图像。
在第二方面的可选实施方式中，所述装置还包括标定模块，用于采用张正友棋盘标定法对所述至少三个相机的内参和外参进行标定，以获得每一相机的内参和外参。
第三方面：本申请还提供了一种电子设备，包括：处理器、与处理器连接的存储器，所述存储器存储有计算机程序，当所述计算设备运行时，处理器执行该计算机程序，以执行时执行第一方面、第一方面的任一可选的实现方式中的所述方法。
第四方面：本申请提供了一种非暂态可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面、第一方面的任一可选的实现方式中的所述方法。
第五方面：本申请提供了一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行第一方面、第一方面的任一可选的实现方式中的所述方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的多相机系统结构示意图；
图2为本实施例提供的人脸三维重建方法第一流程图；
图3为本实施例提供的人脸三维重建方法第二流程图；
图4为本实施例提供的人脸三维重建方法第三流程图；
图5为本实施例提供的人脸三维重建方法第四流程图；
图6为本实施例提供的人脸三维重建方法第五流程图；
图7为本实施例提供的人脸三维重建方法第六流程图；
图8为本实施例提供的人脸三维重建装置结构示意图；
图9为本实施例提供的电子设备结构示意图。
图标：10-相机；20-服务器；30-散斑投射器；300-获取模块；302-检测提取模块；304-构建模块；306-计算模块；308-重建模块；310-控制模块；312-标定模块；4-电子设备；401-处理器；402-存储器；403-通信总线。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
第一实施例
如图1所示，本申请实施例提供一种多相机系统，该多相机系统可包括至少三个相机10(图中为4个)以及服务器20，每一相机10与服务器20通信连接，如图中所示，被检测人员在进行人脸三维重建时，被测人员处于至少三个相机10(图中为4个)的中间，至少三个相机10分布在被检测人员的人脸的各个方位，由于每一相机10与服务器20通信连接，因此服务器20可向每一相机10发送拍摄信号，进而控制至少三个相机10同时对被检测人员的人脸进行不同角度的拍摄以获得至少三个相机10在同一时刻拍摄的多张不同角度的人脸图像，服务器20在获得至少三个相机10在同一时刻拍摄的多张不同角度的人脸图像之后采用预设的特征检测算法检测并提取每一人脸图像中的多个特征点；根据预设的极线约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，获得多个匹配对；根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参计算每一匹配对对应的三维空间点，获得多个三维空间点；对多个三维空间点进行稠密重建获得该人脸的稠密的三维点云数据。
在上述设计的多相机系统中，服务器实时获取至少三个相机拍摄的被检测人员多角度的人脸图像，然后实时对每张人脸图像进行特征点检测和提取并通过预设的极限约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，进而根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参来实时计算获得每一匹配对对应的三维空间点，最后对多个三维空间点进行稠密重建来得到该人脸对应的稠密的三维点云数据，进而将稠密的三维点云数据进行可视化即可实时得到被检测人员的人脸三维图像，由此，本方案通过实时拍摄以及实时重建计算实现了人脸三维图像的实时重建过程，解决了目前采用单目或双目相机拍摄图像后对图像进行离线重建的方式存在的实时率以及重建效率低的问题，提高了人脸重建的实时性以及重建效率。
在本实施例的可选实施方式中，该多相机系统还可以包括散斑投射器30，该散斑投射器30也与服务器20通信连接，该散斑投射器30用于向被检测人员的人脸投射散斑，其中，投射的散斑时机是至少三个相机10对人脸进行拍摄之前，也就是说服务器20会先向该散斑投射器30发送投射信号使得散斑投射器30向被检测人员的人脸投射散斑，然后向每一相机10发送拍摄信号使得每一相机10对有散斑的人脸进行拍摄。由于本系统中增加了散斑投射器30对人脸进行散斑投射，而具有散斑的人脸图像增强了人脸的特征信息进而增加了后续检测并提取的特征点的个数，提高匹配时的成功率这样使得得到的初始点云也相比不具有散斑图像得到的初始点云更加密集，使得得到的三维图像更加具有真实性。
第二实施例
本申请提供一种基于多相机系统的人脸三维重建方法，该多相机系统即第一实施例中所描述的多相机系统，该方法应用于第一实施例中的服务器，如图2所示，具体可包括如下步骤：
步骤S200：获取至少三个相机在同一时刻拍摄的多张人脸图像。
步骤S202：采用预设的特征检测算法检测并提取每一人脸图像中的多个特征点。
步骤204：根据预设的极线约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，获得多个匹配对。
步骤S206：根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参计算每一匹配对对应的三维空间点，获得多个三维空间点。
步骤S208：对多个三维空间点进行稠密重建获得该人脸的稠密的三维点云数据。
在步骤S200中，如第一实施例中由于该至少三个相机处于被检测人员的不同方位，因此，获得的多张人脸图像为被检测人员的人脸不同角度的图像，另外，获得多张人脸图像的途径是服务器实时控制该至少三个相机在同一时刻进行拍摄获得。在服务器获得同一时刻拍摄的多张不同角度的人脸图像之后，即可执行步骤S202。
在步骤S202中，服务器对步骤S200获得的图像进行处理，服务器采用预设的特征检测算法检测并提取每一人脸图像中的多个特征点，其中，特征点其表示有意义的图像区域，该区域具有独特性或易于识别性，例如，角点、边缘、高度密度以及斑点区域。另外，本申请中的预设特征算法可采用常规的特征检测和提取算法，例如，可以采用Hessian算法进行特征点检测，然后配合SURF算法进行特征点提取，当然也可以采用其他算法进行检测和提取，例如Harris算法来进行特征点检测，SIFT算法进行特征点提取等。服务器在执行步骤S202获得每一人脸图像的多个特征点之后即可执行步骤S204。
在步骤S204中，服务器会根据预先设置的极限约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，由于每一人脸图像中的特征点会有多个使得每一人脸图像中具有相同特征的特征点的对数也会有多个，进而可构建出多个匹配对，例如，如图1所示的图中有四个相机分别为相机、相机2、相机3以及相机4，相机1拍摄的人脸图像为图像1、相机2拍摄的人脸图像为图像2、相机3拍摄的人脸图像为图像3、相机4拍摄的人脸图像为图像4，假设根据预设的极限约束条件确定出这4张图像中具有相同特征的特征点分别为x1、x2、x3和x4，那么即可构建出一匹配对x，其中构建出的匹配对中每一特征点与其所在的人脸图像以及拍摄相机是对应的，例如x1与图像1以及相机1是对应的。
在服务器执行步骤S204获得多个匹配对之后，服务器会执行步骤S206根据每一匹配对中每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参计算每一匹配对对应的三维空间点，进而获得多个三维空间点，多个三维空间点构成初始点云数据也就是稀疏的点云数据。其中，每一特征点在对应相机坐标系下的坐标可根据每一图像坐标系下的坐标获得，其中每一图像坐标系为以图像的左上方为原点以像素为单位建立的坐标系；相机的外参表示相机的旋转和平移矩阵，相机的内参表示相机的内部结构参数，相机的外参和内参可通过提前标定获得，此步骤中采用的相机的外参和内参表示提前标定完成后获得的相机外参和内参；每一匹配对对应的三维空间点表示每一匹配对对应的三维空间坐标也就是该在世界坐标系下的坐标。
在根据步骤S206得到多个三维空间点之后，即可执行步骤S208对多个三维空间点进行稠密重建获得该人脸对应的稠密的三维点云数据，然后通过稠密的三维点云数据和可视化软件即可得获得被检测人员的人脸三维图像。
在上述设计的基于多相机系统的人脸三维重建方法中，服务器实时获取至少三个相机拍摄的被检测人员多角度的人脸图像，然后实时对每张人脸图像进行特征点检测和提取并通过预设的极限约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，进而根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参来实时计算获得每一匹配对对应的三维空间点，最后对多个三维空间点进行稠密重建来得到该人脸对应的稠密的三维点云数据，进而将稠密的三维点云数据进行可视化即可实时得到被检测人员的人脸三维图像，由此，本方案通过实时拍摄以及实时重建计算实现了人脸三维图像的实时重建过程，解决了目前采用单目或双目相机拍摄图像后对图像进行离线重建的方式存在的实时率以及重建效率低的问题，提高了人脸重建的实时性以及重建效率。
在本实施例的可选实施方式中，如图3所示，前述的步骤S04构建匹配对的具体过程可为如下步骤：
步骤S2040：以任一张人脸图像为基准图像，对于基准图像中的每一特征点，通过两个像素误差的极线约束在除基准图像以外的人脸图像中查找具有相同特征的特征点。
步骤S2041：根据基准图像中的每一特征点和查找到的每一特征点对应的具有相同特征的特征点构建多个匹配对。
在步骤S2040中，服务器中可提前设置某一个相机为基准那么其拍摄的人脸图像也为基准，进而在至少三个相机拍摄获得人脸图像后即可将提前设置基准的相机拍摄的人脸图像配置为基准图像，例如，依照前述的举例，相机1提前配置为基准相机，其拍摄的图像1即为基准图像；在此基础上，对于基准图像中的每一个特征点都通过两个像素误差的极限约束条件在其他图像中查找与该特征点具有相同特征的特征点，进而执行步骤S2042将基准图像的中特征点和查找到的对应的具有相同特征的特征点构成匹配对，以获得多个匹配点对。例如，当图像1为基准图像时，对于图像中的特征点x1会在图像2、图像3以及图像4中查找与该特征点x1具有相同特征的特征点，假设查找到的分别是x2、x3和x4，在此基础上执行步骤S2042根据特征点x1、x2、x3和x4构成匹配对x，在此基础上基准图像1中有多个特征点，对于每一特征点都执行如上过程，即可获得多个匹配对。
在本实施例的可选实施方式中，步骤S206根据每一匹配对的中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参计算每一匹配对对应的三维空间点，获得多个三维空间点，如图4所示，具体可为如下步骤：
步骤S2060：将每一匹配对中每一特征点在对应相机坐标系下的坐标以及每一特征点对于相机的外参和内参代入预设的联立公式计算每一匹配对对应的三维空间点，获得多个三维空间点。
在步骤S2060中，假设该预设的联立共识为L，其具体为：
Figure BDA0002609334180000131
其中，K1、K2到Kn分别表示相机1、相机2到相机n的内参；[R1]、[R2]到[Rn]分别表示相机1、相机2到相机n的旋转矩阵；[T1]、[T2]到[Tn]分别表示相机1、相机2到相机n的平移矩阵；x1、x2到xn分别表示匹配对x中相机1拍摄图像中的特征点在相机1坐标系下的坐标、匹配对x中相机2拍摄图像中的特征点在相机2坐标系下的坐标到匹配对x中相机n拍摄图像中的特征点在相机n坐标系下的坐标；X1表示匹配对x对应的三维空间点；n表示相机的个数。
在本实施例的可选实施方式中，在步骤S200获取至少三个相机在同一时刻拍摄的多张人脸图像之前，如图5所示，该方法还包括：
步骤S190：采用张正友棋盘标定法对至少三个相机的内参和外参进行标定，以获得标定完成的每一相机的内参和外参。
在上述步骤S190中可采用现有的张正友棋盘标定法来对本方案中的每一相机的内参和外参进行标定，进而获得标定完成的每一相机的内参和外参，进而为后续的人脸三维重建做好准备。
在本实施例的可选实施方式中，在第一实施例中描述到该多相机系统还包括用于向人脸投射散斑的散斑投射器，在此基础上，如图6所示，步骤S200之前，该方法还包括：
步骤S191：控制散斑投射器向人脸进行散斑投射。
在此基础上，步骤S200具体可为：
步骤S2000：获取至少三个相机在同一时刻拍摄的该人脸对应的多张具有散斑的人脸图像。
在步骤S191中服务器可向散斑投射器发送投射信号进而控制散斑投射器向人脸进行散斑投射，在此基础上，至少三个相机在同一时刻对被检测人拍摄的图像即可为具有散斑的人脸图像，进而提高人脸图像中的特征信息提高后续特征点匹配时的成功率。
在本实施例的可选实施方式中，如图7所示，步骤208对多个三维空间点进行稠密重建获得该人脸的稠密的三维点云数据具体可为如下步骤：
步骤S2080：采用PMVS算法对多个三维空间点进行稠密重建获得该人脸的稠密的三维点云数据。
上述步骤S2080中的PMVS算法可采用现有的PMVS算法具体是先将多个三维空间点进行排序，然后按照排序由小到大或由大到小的方式逐渐生成面片，进而对生成的面片进行可视化处理，即可得到人脸三维图像，其中排序的方式具体可通过每一空间点到基准图像对应相机的光心的距离进行排序。
第三实施例
图8出示了本申请提供的基于多相机系统的人脸三维重建装置的示意性结构框图，应理解，该多相机系统为第一实施例中的多相机系统，该装置与上述图2至图7中执行的方法实施例对应，能够执行第二实施例中服务器执行的方法涉及的步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operatingsystem，OS)中的软件功能模块。具体地，该装置包括：获取模块300，用于获取至少三个相机在同一时刻拍摄的多张人脸图像；检测提取模块302，用于采用预设的特征检测算法检测并提取每一人脸图像中的多个特征点；构建模块304，用于根据预设的极线约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，获得多个匹配对；计算模块306，用于根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参计算每一匹配对对应的三维空间点，获得多个三维空间点；重建模块308，用于对多个三维空间点进行稠密重建获得该人脸的稠密的三维点云数据。
在上述设计的基于多相机系统的人脸三维重建装置中，服务器实时获取至少三个相机拍摄的被检测人员多角度的人脸图像，然后实时对每张人脸图像进行特征点检测和提取并通过预设的极限约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，进而根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参来实时计算获得每一匹配对对应的三维空间点，最后对多个三维空间点进行稠密重建来得到稠密的点云数据，进而将稠密的点云数据进行可视化即可实时得到被检测人员的人脸三维图像，由此，本方案通过实时拍摄以及实时重建计算实现了人脸三维图像的实时重建过程，解决了目前采用单目或双目相机拍摄图像后对图像进行离线重建的方式存在的实时率以及重建效率低的问题，提高了人脸重建的实时性以及重建效率。
在本实施例的可选实施方式中，计算模块306具体用于将每一匹配对中每一特征点在对应相机坐标系下的坐标以及每一特征点对于相机的外参和内参代入预设的联立公式计算每一匹配对对应的三维空间点，获得多个三维空间点。
在本实施例的可选实施方式中，构建模块304具体用于以任一张人脸图像为基准图像；对于所述基准图像中的每一特征点，通过两个像素误差的极线约束在除所述基准图像以外的人脸图像中查找具有相同特征的特征点；根据所述基准图像中的每一特征点和查找到的每一特征点对应的具有相同特征的特征点构建所述多个匹配对。
在本实施例的可选实施方式中，重建模块308具体用于采用PMVS算法对多个三维空间点进行稠密重建获得该人脸的稠密的三维点云数据。
在本实施例的可选实施方式中，该装置还包括控制模块310，用于控制所述散斑投射器向人脸进行散斑投射；获取模块300具体用于获取所述至少三个相机在同一时刻拍摄的多张具有散斑的人脸图像。
在本实施例的可选实施方式中，该装置还包括标定模块312，用于采用张正友棋盘标定法对所述至少三个相机的内参和外参进行标定，以获得每一相机的内参和外参。
第四实施例
如图9所示，本申请提供一种电子设备4，包括：处理器401和存储器402，处理器401和存储器402通过通信总线403和/或其他形式的连接机构(未标出)互连并相互通讯，存储器402存储有处理器401可执行的计算机程序，当计算设备运行时，处理器401执行该计算机程序，以执行时执行第二实施例、第二实施例的任一可选的实现方式中的方法，例如步骤S200至步骤S208：获取至少三个相机在同一时刻拍摄的多张人脸图像；采用预设的特征检测算法检测并提取每一人脸图像中的多个特征点；根据预设的极线约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，获得多个匹配对；根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参计算每一匹配对对应的三维空间点，获得多个三维空间点；对多个三维空间点进行稠密重建获得该人脸的稠密的三维点云数据。
本申请提供一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第二实施例、第二实施例的任一可选的实现方式中的方法。
其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-OnlyMemory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请提供一种计算机程序产品，该计算机程序产品在计算机上运行时，使得计算机执行第二实施例、第二实施例的任一可选的实现方式中的所述方法。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于多相机系统的人脸三维重建方法，其特征在于，所述多相机系统包括用于对人脸进行不同拍摄角度的至少三个相机以及服务器，每一相机与所述服务器通信连接，所述方法应用于所述服务器，包括：
获取所述至少三个相机在同一时刻拍摄的多张人脸图像；
采用预设的特征检测算法检测并提取每一人脸图像中的多个特征点；
根据预设的极线约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，获得多个匹配对；
根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参计算每一匹配对对应的三维空间点，获得多个三维空间点；
对所述多个三维空间点进行稠密重建获得所述人脸的稠密的三维点云数据。
2.根据权利要求1所述的方法，其特征在于，所述根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参计算每一匹配对对应的三维空间点，获得多个三维空间点，包括：
将每一匹配对中每一特征点在对应相机坐标系下的坐标以及每一特征点对于相机的外参和内参代入预设的联立公式以计算每一匹配对对应的三维空间点，获得多个三维空间点。
3.根据权利要求2所述的方法，其特征在于，所述预设的联立公式L为：
Figure FDA0002609334170000021
其中，n表示相机的个数；K1、K2到Kn分别表示相机1、相机2到相机n的内参；[R1]、[R2]到[Rn]分别表示相机1、相机2到相机n的旋转矩阵；[T1]、[T2]到[Tn]分别表示相机1、相机2到相机n的平移矩阵；x1、x2到xn分别表示匹配对x中相机1拍摄图像中的特征点在相机1坐标系下的坐标、匹配对x中相机2拍摄图像中的特征点在相机2坐标系下的坐标到匹配对x中相机n拍摄图像中的特征点在相机n坐标系下的坐标；X1表示匹配对x对应的三维空间点。
4.根据权利要求1所述的方法，其特征在于，所述根据预设的极线约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，获得多个匹配对，包括：
以任一张人脸图像为基准图像；
对于所述基准图像中的每一特征点，通过两个像素误差的极线约束在除所述基准图像以外的人脸图像中查找具有相同特征的特征点；
根据所述基准图像中的每一特征点和查找到的每一特征点对应的具有相同特征的特征点构建所述多个匹配对。
5.根据权利要求1所述的方法，其特征在于，所述对所述多个三维空间点进行稠密重建获得所述人脸的稠密的三维点云数据，包括：
采用PMVS算法对所述多个三维空间点进行稠密重建获得所述人脸的稠密的三维点云数据。
6.根据权利要求1所述的方法，其特征在于，在所述获取所述至少三个相机在同一时刻拍摄的多张人脸图像之前，所述方法还包括：
采用张正友棋盘标定法对所述至少三个相机的内参和外参进行标定，以获得标定完成的每一相机的内参和外参。
7.根据权利要求1所述的方法，其特征在于，所述多相机系统还包括用于向人脸投射散斑的散斑投射器，所述散斑投射器与所述服务器通信连接，在所述获取所述至少三个相机在同一时刻拍摄的多张人脸图像之前，所述方法还包括：
控制所述散斑投射器向人脸进行散斑投射；
所述获取所述至少三个相机在同一时刻拍摄的多张人脸图像，包括：
获取所述至少三个相机在同一时刻拍摄的所述人脸对应的多张具有散斑的人脸图像。
8.一种基于多相机系统的人脸三维重建装置，其特征在于，所述多相机系统包括用于对人脸进行不同拍摄角度的至少三个相机以及服务器，每一相机与所述服务器通信连接，所述装置应用于所述服务器，包括：
获取模块，用于获取所述至少三个相机在同一时刻拍摄的多张人脸图像；
检测提取模块，用于采用预设的特征检测算法检测并提取每一人脸图像中的多个特征点；
构建模块，用于根据预设的极线约束条件将每一人脸图像中具有相同特征的特征点构建为匹配对，获得多个匹配对；
计算模块，用于根据每一匹配对中的每一特征点在对应相机坐标系下的坐标以及每一特征点对应相机的外参和内参计算每一匹配对对应的三维空间点，获得多个三维空间点；
重建模块，用于对所述多个三维空间点进行稠密重建获得所述人脸的稠密的三维点云数据。
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202010735244.XA 2020-07-30 2020-07-30 一种基于多相机系统的人脸三维重建方法和装置 Pending CN111833441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010735244.XA CN111833441A (zh) 2020-07-30 2020-07-30 一种基于多相机系统的人脸三维重建方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010735244.XA CN111833441A (zh) 2020-07-30 2020-07-30 一种基于多相机系统的人脸三维重建方法和装置

Publications (1)

Publication Number Publication Date
CN111833441A true CN111833441A (zh) 2020-10-27

Family

ID=72925954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010735244.XA Pending CN111833441A (zh) 2020-07-30 2020-07-30 一种基于多相机系统的人脸三维重建方法和装置

Country Status (1)

Country Link
CN (1) CN111833441A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489190A (zh) * 2020-11-18 2021-03-12 新拓三维技术(深圳)有限公司 一种全自动室内扫描方法、系统及计算机可读存储介质
CN113158908A (zh) * 2021-04-25 2021-07-23 北京华捷艾米科技有限公司 人脸识别方法、装置、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103743352A (zh) * 2013-12-18 2014-04-23 西安交通大学 一种基于多相机匹配的三维变形测量方法
CN207382406U (zh) * 2017-10-17 2018-05-18 深圳市木白生物科技有限公司 一种三维面部成像仪的支架
CN108628086A (zh) * 2018-08-29 2018-10-09 常州天眼星图光电科技有限公司 一种人脸三维重建系统及其应用方法
CN109461206A (zh) * 2018-10-29 2019-03-12 湖北器长光电股份有限公司 一种多目立体视觉的人脸三维重建装置及方法
CN110415332A (zh) * 2019-06-21 2019-11-05 上海工程技术大学 一种非单一视角下复杂织物表面三维重建系统及其方法
CN110428462A (zh) * 2019-07-17 2019-11-08 清华大学 多相机立体匹配方法和装置
CN111047678A (zh) * 2018-10-12 2020-04-21 杭州海康威视数字技术股份有限公司 一种三维人脸采集装置和方法
CN111160232A (zh) * 2019-12-25 2020-05-15 上海骏聿数码科技有限公司 正面人脸重建方法、装置及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103743352A (zh) * 2013-12-18 2014-04-23 西安交通大学 一种基于多相机匹配的三维变形测量方法
CN207382406U (zh) * 2017-10-17 2018-05-18 深圳市木白生物科技有限公司 一种三维面部成像仪的支架
CN108628086A (zh) * 2018-08-29 2018-10-09 常州天眼星图光电科技有限公司 一种人脸三维重建系统及其应用方法
CN111047678A (zh) * 2018-10-12 2020-04-21 杭州海康威视数字技术股份有限公司 一种三维人脸采集装置和方法
CN109461206A (zh) * 2018-10-29 2019-03-12 湖北器长光电股份有限公司 一种多目立体视觉的人脸三维重建装置及方法
CN110415332A (zh) * 2019-06-21 2019-11-05 上海工程技术大学 一种非单一视角下复杂织物表面三维重建系统及其方法
CN110428462A (zh) * 2019-07-17 2019-11-08 清华大学 多相机立体匹配方法和装置
CN111160232A (zh) * 2019-12-25 2020-05-15 上海骏聿数码科技有限公司 正面人脸重建方法、装置及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489190A (zh) * 2020-11-18 2021-03-12 新拓三维技术(深圳)有限公司 一种全自动室内扫描方法、系统及计算机可读存储介质
CN112489190B (zh) * 2020-11-18 2024-05-31 新拓三维技术(深圳)有限公司 一种全自动室内扫描方法、系统及计算机可读存储介质
CN113158908A (zh) * 2021-04-25 2021-07-23 北京华捷艾米科技有限公司 人脸识别方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN106503671B (zh) 确定人脸姿态的方法和装置
CN110135455A (zh) 影像匹配方法、装置及计算机可读存储介质
CN111652086B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
KR20120048370A (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN111160232B (zh) 正面人脸重建方法、装置及系统
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
WO2024032670A1 (zh) 三维重建方法及装置、系统
CN111833441A (zh) 一种基于多相机系统的人脸三维重建方法和装置
CN112802081A (zh) 一种深度检测方法、装置、电子设备及存储介质
JP6736422B2 (ja) 画像処理装置、画像処理の方法およびプログラム
CN113838151B (zh) 相机标定方法、装置、设备及介质
JP2019091122A (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
CN112446926B (zh) 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置
CN111160233B (zh) 基于三维成像辅助的人脸活体检测方法、介质及系统
CN110800020B (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
CN112164099A (zh) 基于单目结构光的自检自校准方法及装置
CN110288707B (zh) 一种三维动态建模的方法及其系统
CN108062765A (zh) 双目图像处理方法、成像装置及电子设备
CN111369612A (zh) 一种三维点云图像生成方法及设备
KR20200057929A (ko) 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램
CN113920267A (zh) 三维场景模型构建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination