CN112639802A - 用于生成伪结构光照射面部的方法、系统及存储介质 - Google Patents

用于生成伪结构光照射面部的方法、系统及存储介质 Download PDF

Info

Publication number
CN112639802A
CN112639802A CN201980052135.3A CN201980052135A CN112639802A CN 112639802 A CN112639802 A CN 112639802A CN 201980052135 A CN201980052135 A CN 201980052135A CN 112639802 A CN112639802 A CN 112639802A
Authority
CN
China
Prior art keywords
image
structured light
projection surface
face model
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980052135.3A
Other languages
English (en)
Inventor
林袁
何朝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN112639802A publication Critical patent/CN112639802A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

在一实施方式中，方法包括：使用通过至少第一结构光产生的第一图像和通过至少第二结构光产生的第二图像来确定空间光照分布，其中，第一图像的一部分是所述至少第一结构光的一部分行进第一距离产生的，第二图像的一部分是所述至少第二结构光的一部分行进第二距离产生的，所述第一图像的该部分和所述第二图像的该部分产生空间光照分布的同一部分，并且所述第一距离不同于所述第二距离；构建第一3D面部模型；使用所述空间光照分布来渲染所述第一3D面部模型，以生成第一经渲染的3D面部模型；以及将所述第一经渲染的3D面部模型显示给第一摄像装置。

Description

用于生成伪结构光照射面部的方法、系统及存储介质
本申请要求于2018年9月18日提交的美国申请No.62/732,783的优先权。
本申请的背景
1.技术领域
本申请涉及测试面部识别系统的安全性的领域，并且更特别地涉及用于生成伪结构光(spoofed structured light，欺骗性结构光)照射面部以测试基于结构光的面部识别系统的安全性的方法、系统及计算机可读介质。
2.背景技术
在过去的数年，由于具有安全、快速、方便、准确和成本低的优势，使用面部识别的生物特征认证对于移动设备和台式计算机已经变得越来越受欢迎。对面部识别系统的限制的理解可以帮助开发人员设计更加安全的面部识别系统，这样的面部识别系统具有更少的能够被伪造面部攻击的更少的弱点或漏洞。
发明内容
本申请的目的是提出用于生成伪结构光照射面部的方法、系统及计算机可读介质，以测试基于结构光的面部识别系统的安全性。
在本申请第一方面，一种方法包括：
通过至少一个处理器、使用由至少第一结构光产生的第一图像和由至少第二结构光产生的第二图像来确定第一空间光照分布，其中，所述第一图像的第一部分由所述至少第一结构光的第一部分行进第一距离产生，所述第二图像的第一部分由所述至少第二结构光的第一部分行进第二距离产生，所述第一图像的第一部分和所述第二图像的第一部分产生所述第一空间光照分布的同一部分，并且所述第一距离不同于所述第二距离；
通过所述至少一个处理器构建第一3D面部模型；
通过所述至少一个处理器、使用所述第一空间光照分布来渲染所述第一3D面部模型，以生成第一经渲染的3D面部模型；以及
通过第一显示装置向第一摄像装置显示所述第一经渲染的3D面部模型，以测试面部识别系统。
根据与本申请的第一方面结合的一种实施方式，使用由至少第一结构光产生的第一图像和由至少第二结构光产生的第二图像来确定第一空间光照分布的步骤包括：使用仅由所述第一结构光产生的所述第一图像和仅由所述第二结构光产生的所述第二图像来确定所述第一空间光照分布，其中，所述第一图像的所述第一部分由所述第一结构光的第一部分行进所述第一距离产生，所述第二图像的所述第一部分由所述第二结构光的第一部分行进所述第二距离产生；并且所述方法还包括：使用仅由第一非结构光产生的第三图像和仅由第二非结构光产生的第四图像来确定第二空间光照分布，其中，所述第三图像的第一部分由所述第一非结构光的第一部分行进第三距离产生，所述第四图像的第一部分由所述第二非结构光的第一部分行进第四距离产生，所述第三图像的所述第一部分和所述第四图像的所述第一部分产生所述第二空间光照分布的同一部分，并且所述第三距离不同于所述第四距离。
根据与本申请的第一方面结合的一种实施方式，该方法还包括：
用所述第一非结构光照射第一投射表面；
捕获所述第三图像，其中，所述第三图像反映所述第一非结构光照射在所述第一投射表面上的第三空间光照分布；
用所述第二非结构光照射第二投射表面；以及
捕获所述第四图像，其中，所述第四图像反映所述第二非结构光照射在所述第二投射表面上的第四空间光照分布，
其中，所述第一投射表面和所述第二投射表面相同或不同。
根据与本申请的第一方面结合的一种实施方式，该方法还包括：
用所述至少第一结构光向第一投射表面进行投射，其中，所述至少第一结构光在行进至所述第一投射表面之前没有被任何光学元件弯折；
捕获所述第一图像，其中，所述第一图像反映所述至少第一结构光照射在所述第一投射表面上的第五空间光照分布；
用所述至少第二结构光向第二投射表面进行投射，其中，所述至少第二结构光在行进至所述第二投射表面之前没有被任何光学元件弯折；以及
捕获所述第二图像，其中，所述第二图像反映所述至少第二结构光照射在所述第二投射表面上的第六空间光照分布，
其中，所述第一投射表面和所述第二投射表面相同或不同。
根据与本申请的第一方面结合的一种实施方式，该方法还包括：
用至少第三结构光向第一投射表面和第二投射表面进行投射，其中，所述至少第三结构光被反射光学元件反射并且被分束光学元件分束成分别行进到所述第一投射表面和所述第二投射表面的所述至少第一结构光和所述至少第二结构光；
捕获所述第一图像，其中，所述第一图像反映所述至少第一结构光照射在所述第一投射表面上的第七空间光照分布；以及
捕获所述第二图像，其中，所述第二图像反映所述至少第二结构光照射在所述第二投射表面上的第八空间光照分布。
根据与本申请的第一方面结合的一实施方式，该方法还包括：
通过至少一个摄像装置来捕获所述第一图像和所述第二图像。
根据与本申请的第一方面结合的一实施方式，其中，构建所述第一3D面部模型的步骤包括：
执行缩放，使得根据当通过所述第一显示装置向所述第一摄像装置显示所述第一经渲染的3D面部模型时所述第一显示装置与所述第一摄像装置之间的第五距离对所述第一3D面部模型进行缩放。
根据与本申请的第一方面结合的一实施方式，其中，构建所述第一3D面部模型的步骤包括：
使用目标用户的多个照片来提取面部标记；
使用所述面部标记来重建中性表情的3D面部模型；
用所述多个照片中的一个照片的面部纹理对所述中性表情的3D面部模型进行修饰，以获得经修饰的3D面部模型；
根据当通过所述第一显示装置向所述第一摄像装置显示所述第一经渲染的3D面部模型时所述第一显示装置与所述第一摄像装置之间的第五距离对所述经修饰的3D面部模型进行缩放，以获得经缩放的3D面部模型；
执行注视校正，使得所述经缩放的3D面部模型的眼睛直视所述第一摄像装置，以获得经注视校正的3D面部模型；以及
用一组预定义的面部表情对所述经注视校正的3D面部模型进行动画处理，以获得所述第一3D面部模型。
在本申请第二方面，一种系统包括至少一个存储器、至少一个处理器，和第一显示装置。所述至少一个存储器被配置成存储程序指令。所述至少一个处理器被配置成执行所述程序指令，这使所述至少一个处理器执行包括下述的步骤：
使用由至少第一结构光产生的第一图像和由至少第二结构光产生的第二图像来确定第一空间光照分布，其中，所述第一图像的第一部分由所述至少第一结构光的第一部分行进第一距离产生，所述第二图像的第一部分由所述至少第二结构光的第一部分行进第二距离产生，所述第一图像的第一部分和所述第二图像的第一部分产生所述第一空间光照分布的同一部分，并且所述第一距离不同于所述第二距离；
建立第一3D面部模型；和
使用所述第一空间光照分布来渲染所述第一3D面部模型，以生成第一经渲染的3D面部模型；以及
所述第一显示装置被配置成向第一摄像装置显示所述第一经渲染的3D面部模型，以测试面部识别系统。
根据与本申请的第二方面结合的一种实施方式，使用由至少第一结构光产生的第一图像和由至少第二结构光产生的第二图像来确定第一空间光照分布的步骤包括：使用仅由所述第一结构光产生的所述第一图像和仅由所述第二结构光产生的所述第二图像来确定第一空间光照分布，其中，所述第一图像的所述第一部分由所述第一结构光的第一部分行进所述第一距离产生，所述第二图像的所述第一部分由所述第二结构光的第一部分行进所述第二距离产生；所述方法还包括：使用仅由第一非结构光产生的第三图像和仅由第二非结构光产生的第四图像来确定第二空间光照分布，其中，所述第三图像的第一部分由所述第一非结构光的第一部分行进第三距离产生，所述第四图像的第一部分由所述第二非结构光的第一部分行进第四距离产生，所述第三图像的所述第一部分和所述第四图像的所述第一部分产生所述第二空间光照分布的同一部分，并且所述第三距离不同于所述第四距离。
根据与本申请的第二方面结合的一种实施方式，系统还包括：
第一投射表面，所述第一投射表面被配置成被所述第一非结构光照射，其中，所述第一投射表面上的第三空间光照分布反映在第三图像中，并且所述第三图像由所述第一摄像装置捕获；以及
第二投射表面，所述第二投射表面被配置成被所述第二非结构光照射，其中，所述第二投射表面上的第四空间光照分布反映在所述第四图像中，并且所述第四图像由所述第一摄像装置捕获；
其中，所述第一投射表面和所述第二投射表面相同或不同。
根据与本申请的第二方面结合的一种实施方式，系统还包括：
第一非结构光照射器；
第一投射表面和第二投射表面，其中，所述第一投射表面和所述第二投射表面相同或不同；以及
第二摄像装置，其中，所述第二摄像装置和所述第一摄像装置相同或不同；
其中，所述第一非结构光照射器被配置成用所述第一非结构光照射所述第一投射表面；
所述第二摄像装置被配置成捕获所述第三图像，其中，所述第三图像反映所述第一非结构光照射在所述第一投射表面上的第三空间光照分布；
所述第一非结构光照射器还被配置成用所述第二非结构光照射所述第二投射表面；以及
所述第二摄像装置还被配置成捕获所述第四图像，其中，所述第四图像反映所述第二非结构光照射在所述第二投射表面上的第四空间光照分布。
根据与本申请的第二方面结合的一种实施方式，系统还包括：
第一投射表面，所述第一投射表面被配置成被所述至少第一结构光投射，其中，所述至少第一结构光在行进至所述第一投射表面之前没有被任何光学元件弯折，所述第一投射表面上的第五空间光照分布反映在所述第一图像中，并且所述第一图像由所述第一摄像装置捕获；以及
第二投射表面，所述第二投射表面被配置成被所述至少第二结构光投射，其中，所述至少第二结构光在行进至所述第二投射表面之前没有被任何光学元件弯折，所述第二投射表面上的第六空间光照分布反映在所述第二图像，并且所述第二图像由所述第一摄像装置捕获，
所述第一投射表面和所述第二投射表面相同或不同。
根据与本申请的第二方面结合的一种实施方式，系统还包括：
至少第一结构光投射器；
第一投射表面和第二投射表面，其中，所述第一投射表面和所述第二投射表面相同或不同；以及
第二摄像装置，其中，所述第二摄像装置和所述第一摄像装置相同或不同，
其中，所述至少第一结构光投射器被配置成用所述至少第一结构光对所述第一投射表面进行投射，其中，所述至少第一结构光在行进至所述第一投射表面之前没有被任何光学元件弯折；
所述第二摄像装置被配置成捕获所述第一图像，其中，所述第一图像反映所述至少第一结构光照射在所述第一投射表面上的第五空间光照分布；
所述至少第一结构光投射器还被配置成用所述至少第二结构光对所述第二投射表面进行投射，其中，所述至少第二结构光在行进至所述第二投射表面之前没有被任何光学元件弯折；以及
所述第二摄像装置还被配置成捕获所述第二图像，其中，所述第二图像反映所述至少第二结构光照射在所述第二投射表面上的第六空间光照分布。
根据与本申请的第二方面结合的一种实施方式，系统还包括：
第一投射表面和第二投射表面，所述第一投射表面和所述第二投射表面被配置成被至少第三结构光投射；
其中，所述至少第三结构光被反射光学元件反射并且被分束光学元件分束成分别行进到所述第一投射表面和所述第二投射表面的所述至少第一结构光和所述至少第二结构光；
所述第一投射表面上的第七空间光照分布反映在所述第一图像中，并且所述第一图像由所述第一摄像装置捕获；以及
所述第二投射表面上的第八空间光照分布反映在所述第二图像中，并且所述第二图像由所述第一摄像装置捕获。
根据与本申请的第二方面结合的一种实施方式，系统还包括：
至少第一结构光投射器；
第一投射表面和第二投射表面；以及
第二摄像装置；
第三摄像装置；
其中，所述至少第一结构光投射器被配置成用所述至少第三结构光对所述第一投射表面和所述第二投射表面进行投射；
所述至少第三结构光被反射光学元件反射并且被分束光学元件分束成分别行进到所述第一投射表面和所述第二投射表面的所述至少第一结构光和所述至少第二结构光；
所述第二摄像装置被配置成捕获所述第一图像，其中，所述第一图像反映所述至少第一结构光照射在所述第一投射表面上的第七空间光照分布；以及
所述第三摄像装置被配置成捕获所述第二图像，其中，所述第二图像反映所述至少第二结构光照射在所述第二投射表面上的第八空间光照分布。
根据与本申请的第二方面结合的一种实施方式，系统还包括：
至少一个摄像装置，所述至少一个摄像装置被配置成捕获所述第一图像和所述第二图像。
根据与本申请的第二方面结合的一种实施方式，构建所述第一3D面部模型的步骤包括：
执行缩放，使得根据当通过所述第一显示装置向所述第一摄像装置显示所述第一经渲染的3D面部模型时所述第一显示装置与所述第一摄像装置之间的第五距离对所述第一3D面部模型进行缩放。
根据与本申请的第二方面结合的一种实施方式，构建所述第一3D面部模型的步骤包括：
使用目标用户的多个照片来提取面部标记；
使用所述面部标记来重建中性表情的3D面部模型；
用所述多个照片中的一个照片的面部纹理对所述中性表情的3D面部模型进行修饰，以获得经修饰的3D面部模型；
根据当通过所述第一显示装置向所述第一摄像装置显示所述第一经渲染的3D面部模型时所述第一显示装置与所述第一摄像装置之间的第五距离对所述经修饰的3D面部模型进行缩放，以获得经缩放的3D面部模型；
执行注视校正，使得所述经缩放的3D面部模型的眼睛直视所述第一摄像装置，以获得经注视校正的3D面部模型；以及
用一组预定义的面部表情对所述经注视校正的3D面部模型进行动画处理，以获得所述第一3D面部模型。
在本申请第三方面，一非暂时性的计算机可读介质，所述计算机可读介质上存储有程序指令，所述程序指令在被至少一个处理器执行时使所述至少一个处理器执行包括下述的步骤：
使用由至少第一结构光产生的第一图像和由至少第二结构光产生的第二图像来确定第一空间光照分布，其中，所述第一图像的第一部分由所述至少第一结构光的第一部分行进第一距离产生，所述第二图像的第一部分由所述至少第二结构光的第一部分行进第二距离产生，所述第一图像的第一部分和所述第二图像的第一部分产生所述第一空间光照分布的同一部分，并且所述第一距离不同于所述第二距离；
建立第一3D面部模型；
使用所述第一空间光照分布来渲染所述第一3D面部模型，以生成第一经渲染的3D面部模型；以及
使第一显示装置向第一摄像装置显示所述第一经渲染的3D面部模型，以测试面部识别系统。
附图说明
为了更清楚地说明本申请实施方式或现有技术，下面将对实施方式描述中所需要使用的附图作简单地介绍。明显地，这些附图仅仅是本申请的一些实施方式，本领域技术人员可以在不付出创造性劳动的前提下根据这些附图获得其他的附图。
图1是示出了根据本申请一种实施方式的用于测试基于结构光的面部识别系统的伪结构光照射面部生成系统的结构框图。
图2是示出了根据本申请一种实施方式的伪结构光照射面部生成系统的框图。
图3是示出了根据本申请一种实施方式的用于校准静态结构光照射的第一设置的结构图。
图4是示出了根据本申请一种实施方式的用于校准静态结构光照射的第二设置的结构图。
图5是示出了根据本申请一种实施方式的用于校准静态非结构光照射的第一设置的结构图。
图6是示出了根据本申请一种实施方式的用于校准静态非结构光照射的第二设置的结构图。
图7是示出了根据本申请一种实施方式的用于实施用于显示第一经渲染的3D面部模型的软件模块的硬件系统的框图。
图8是示出了根据本申请一种实施方式的用于构建第一3D面部模型的流程图。
图9是示出了根据本申请一种实施方式的用于向摄像装置显示第一经渲染的3D面部模型的设置的结构图。
图10是示出了根据本申请一种实施方式的用于校准动态结构光照射并向摄像装置显示第一经渲染的3D面部模型的设置的结构图。
图11是示出了根据本申请的一种实施方式的用于生成伪结构光照射的面部的方法的流程图。
图12是示出了根据本申请另一实施方式的用于生成伪结构光照射面部的方法的流程图。
具体实施方式
下面将参阅附图，结合技术主题、结构特征、实现的目的和效果对本申请的实施方式进行详细地描述。具体地，本申请实施方式中的术语仅使用于描述某些实施方式，而非对本申请进行限制。
如本申请中使用的，术语“使用”指的是直接采用一对象来执行步骤的情况，或者指的是该对象通过至少一个中间步骤被修改并且修改后的对象被直接采用以执行步骤的情况。
图1是示出了根据本申请一种实施方式的用于测试基于结构光的面部识别系统200的伪结构光照射面部生成系统100的框图。伪结构光照射面部生成系统100是被配置成生成目标用户的被伪结构光照射的面部的3D伪造面部生成系统。基于结构光的面部识别系统200是被配置成验证呈现给基于结构光的面部识别系统200的面部是否为目标用户的面部的3D面部识别系统。通过将由伪结构光照射的面部生成系统100生成的伪结构光照射面部呈现给基于结构光的面部识别系统200，对基于结构光的面部识别系统200的安全性进行测试。基于结构光的面部识别系统200可以是移动设备或者台式计算机的一部分。移动设备为例如移动电话、平板电脑或者膝上型计算机。
图2是示出了根据本申请一种实施方式的伪结构光照射面部生成系统100的框图。参见图2，伪结构光照射面部生成系统100包括至少结构光投射器202、至少一个投射表面214、至少一个摄像装置216、用于显示第一经渲染的3D面部模型的软件模块220以及显示装置236。上述至少结构光投射器202、至少一个投射表面214、至少一个摄像装置216和显示装置236为硬件模块。用于显示第一经渲染后的3D面部模型的软件模块220包括光照校准模块222、3D面部模型构建模块226、3D面部模型渲染模块230，以及显示控制模块234。
上述至少结构光投射器202被配置成用至少第一结构光对至少一个投射表面214中的一个投射表面进行投射。至少一个投射表面214中的上述一个投射表面被配置成显示由至少第一结构光产生的第一空间光照分布。至少一个摄像装置216中的一个摄像装置被配置成捕获第一图像。第一图像反映第一空间光照分布。第一图像的第一部分由至少第一结构光的第一部分行进第一距离到达至少一个投射表面214中的上述一个投射表面产生。上述至少结构光投射器202还被配置成用至少第二结构光对至少一个投射表面214中的相同或不同的一个投射表面进行投射。至少一个投射表面214中的上述相同或不同的一个投射表面还被配置成显示由至少第二结构光产生的第二空间光照分布。至少一个摄像装置216中的相同或不同的一个摄像装置配置成捕获第二图像。第二图像反映第二空间光照分布。第二图像的第一部分由至少第二结构光的第一部分行进第二距离到达至少一个投射表面214中上述相同或不同的一个投射表面产生。第一距离不同于第二距离。光照校准模块222被配置成使用第一图像和第二图像来确定第三空间光照分布。第一图像的第一部分和第二图像的第一部分产生第三空间光照分布的同一部分。3D面部模型构建模块226被配置成构建第一3D面部模型。3D面部模型渲染模块230被配置成使用第三空间光照分布对第一3D面部模型进行渲染，以生成第一经渲染的3D面部模型。显示控制模块234被配置成使显示装置236向第一摄像装置显示第一经渲染的3D面部模型。显示装置236被配置成向第一摄像装置显示第一经渲染的3D面部模型。
在一种实施方式中，上述至少结构光投射器202是结构光投射器204。该结构光投射器204被配置成用仅第一结构光对至少一个投射表面214中的一个投射表面进行投射。第一空间光照分布仅由第一结构光产生。第一图像的第一部分由第一结构光的第一部分行进第一距离到达至少一个投射表面214中的上述一个投射表面产生。结构光投射器204还被配置成用仅第二结构光对至少一个投射表面214中相同或不同的一个投射表面进行投射。第二空间光照分布仅由第二结构光产生。第二图像的第一部分由第二结构光的第一部分行进第二距离到达至少一个投射表面214中上述相同或不同的一个投射表面产生。伪结构光照射面部生成系统100还包括非结构光照射器208。非结构光照射器208被配置成用仅第一非结构光对至少一个投射表面214中的一个投射表面进行照射。至少一个投射表面214中的上述一个投射表面还被配置成显示仅由第一非结构光产生的第四空间光照分布。至少一个摄像装置216中的一个摄像装置还被配置成捕获第三图像。第三图像反映第四空间光照分布。第三图像的第一部分由第一非结构光的第一部分行进第三距离到达至少一个投射表面214中的上述一个投射表面产生。非结构光照射器208还被配置成用仅第二非结构光对至少一个投射表面214中上述相同或不同的一个投射表面进行照射。至少一个投射表面214中上述相同或不同的一个投影面还被配置成显示仅由第二非结构光产生的第五空间光照分布。至少一个摄像装置216中相同或不同的一个摄像装置还被配置成捕获第四图像。第四图像反映第五空间光照分布。第四图像的第一部分由第二非结构光的第一部分行进第四距离到达至少一个投射表面214中上述相同或不同的一个投射表面产生。第三距离不同于第四距离。第三距离可以与第一距离相同。第四距离可以与第二距离相同。光照校准模块222还被配置成使用第三图像和第四图像来确定第六空间光照分布。第三图像的第一部分和第四图像的第一部分产生第六空间光照分布的同一部分。3D面部模型渲染模块230被配置成使用第三空间光照分布和第六空间光照分布来渲染第一3D面部模型，以生成第一经渲染的3D面部模型。
可替代地，3D面部模型渲染模块230被配置成使用第三空间光照分布来渲染第一3D面部模型，以生成第一经渲染的3D面部模型，并使用第六空间光照分布来渲染第一3D面部模型，以生成第二经渲染的3D面部模型。显示控制模块234被配置成使显示装置236向第一摄像装置显示第一经渲染后的3D面部模型和第二经渲染的3D面部模型。显示装置236被配置成向第一摄像装置显示第一经渲染的3D面部模型和第二经渲染的3D面部模型。本领域技术人将理解，现在已知的或此后开发的其他渲染替代方案可以用于欺骗对应的基于结构光的面部识别系统200。
仍可替代地，上述至少结构光投射器202包括结构光投射器204和非结构光照射器208。结构光投射器204被配置成用仅第一结构光对至少一个投射表面214中的一个投射表面进行投射。非结构光照射器208被配置成用仅第一非结构光来照射至少一个投射表面214中的上述一个投射表面。由第一结构光和第一非结构光的组合产生第一空间光照分布。第一图像的第一部分由第一结构光和第一非结构光的组合的第一部分行进第一距离到达至少一个投射表面214中的上述一个投射表面产生。结构光投射器204还被配置成用仅第二结构光对至少一个投射表面214中相同或不同的一个投射表面进行投射。非结构光照射器208还被配置成用仅第二非结构光来照射至少一个投影面214中上述相同或不同的一个投影面。由第二结构光和第二非结构光的组合产生第二空间光照分布。第二图像的第一部分由第二结构光和第二非结构光的组合的第一部分行进第二距离到达至少一个投射表面214中上述相同或不同的一个投射表面产生。本领域技术人员将理解，现在已知的或此后开发的其他的光源替代方案和照射校准替代方案可以用于渲染第一3D面部模型。
在一种实施方式中，结构光投射器204为点投射器。第一空间光照分布和第二空间光照分布为空间点云分布。空间点云分布包括多个点云的形状信息、位置信息和强度信息。可替代地，结构光投射器204为条带投射器。第一空间光照分布和第二空间光照分布是空间条带分布。空间条带分布包括多个条带的形状信息、位置信息和强度信息。本领域技术人员将理解，现在已知的或此后开发的其他的投射器替代方案，可被用于渲染第一3D面部模型。
在一种实施方式中，结构光投射器204为红外结构光投射器。非结构光照射器208为红外非结构光照射器，例如，泛光照射器。至少一个摄像装置216为至少一个红外摄像装置。显示装置236为红外显示装置。第一摄像装置为红外摄像装置。可替代地，结构光投射器204为可见结构光投射器。非结构光照射器208为可见非结构光照射器。至少一个摄像装置216为至少一个可见光摄像装置。显示装置236为可见光显示装置。第一摄像装置为可见光摄像装置。本领域技术人员将理解，现在已知的或以后开发的其他的光替代方案可以用于伪结构光照射的面部生成和基于结构光的面部识别。
在一种实施方式中，至少一个投射表面214中上述一个和不同的投射表面是对应的投射屏幕的表面。可替代地，至少一个投射表面214中的一个投射表面是墙壁的表面。本领域技术人员将理解，现在已知的或以后开发的其他的投射表面替代方案可被用于渲染第一3D面部模型。
在一种实施方式中，结构光投射器204、非结构光照射器208和第一摄像装置是基于结构光的面部识别系统200(如图1所示)的被配置成照射目标用户的面部并捕获目标用户的被照射的面部以进行认证的部分。至少一个摄像装置216是将参阅图3描述的摄像装置306。第一摄像装置是将参阅图9描述的摄像装置306。可替代地，结构光投射器204、非结构光照射器208和/或摄像装置306不是基于结构光的面部识别系统200的部分，而具有与基于结构光的面部识别系统200中的对应部件具有相同的对应部件类型。在另一实施方式中，结构光投射器204、非结构光照射器208和第一摄像装置是基于结构光的面部识别系统200的部分。至少一个摄像装置216是将参阅图10描述的摄像装置1040和摄像装置1042，并且第一摄像装置是将参阅图10描述的摄像装置1006。摄像装置1040、摄像装置1042是与摄像装置1006相同类型的摄像装置。本领域技术人员将理解，现在已知或此后开发的其他的部件源替代方案可被用于伪结构光照射的面部生成。
图3是示出了根据本申请一种实施方式的用于校准静态结构光照射的第一设置300的结构图。参阅图2和图3，第一设置300用于实施与由结构光投射器204、至少一个投影面214和至少一个摄像装置216执行的与第一空间光照分布相关的步骤。第一设置300是在时间为t1时的设置。在图2中，结构光投射器204被配置成用仅第一结构光对至少一个投射表面214中的一个投射表面进行投射。在第一设置300中，结构光投射器302被配置成用仅第一结构光对投射屏幕308进行投射。非结构光照射器304被镜头盖遮盖。在图2中，至少一个投影面214中的一个投影面被配置成显示仅由第一结构光产生的第一空间光照分布。在第一设置300中，投射屏幕308被配置成显示仅由第一结构光产生的第一空间点云分布。第一空间点云分布包括多个第一点云的形状信息、位置信息和强度信息。例如，每个第一点云的形状可以是三角形或圆形形状。图3中示出了第一点云中具有三角形形状的一个点云310。虚线示例性地示出了第一结构光的产生第一点云310的角部的部分。为简单起见，图3未示出其他的第一点云和第一结构光的其他部分。投射屏幕308相对于结构光投射器302被定位，使得第一点云310的角部322由第一结构光的部分312行进距离d1到达投射屏幕308产生。第一结构光在行进至投射屏幕308之前未被任何光学元件弯折。在图2中，至少一个摄像装置216中的一个摄像装置被配置成捕获第一图像。第一图像反映第一空间光照分布。第一图像的第一部分由第一结构光的第一部分行进第一距离到达至少一个投影面214中的一个投影面产生。在第一设置300中，摄像装置306被配置成捕获图像320。图像320反映整体的第一空间点云分布。图像320的反映点云310的角部322的部分由第一结构光的部分312产生。
图4是示出了根据本申请一种实施方式的用于校准静态结构光照射的第二设置400的结构图。参阅图2和图4，第二设置400用于实施与由结构光投射器204、至少一个投射表面214和至少一个摄像装置216执行的第二空间光照分布相关的步骤。第二设置400是在时间为t2时的设置。时间t2晚于时间t1。在图2中，结构光投射器202还被配置成用仅第二结构光对至少一个投射表面214中相同或不同的一个投射表面进行投射。在第二设置400中，结构光投射器302还被配置成用仅第二结构光对投射屏幕408进行投射。非结构光照射器304被镜头盖遮盖。在图2中，至少一个投射表面214中上述相同或不同的一个投射表面还被配置成显示仅由第二结构光产生的第二空间光照分布。在第二设置400中，投射屏幕408还被配置成显示仅由第二结构光产生的第二空间点云分布。第二空间点云分布包括多个第二点云的形状信息、位置信息和强度信息。每个第二点云具有例如三角形或圆形形状。图4中示例性地示出了第二点云中具有三角形形状的一个点云410。虚线示意性地示出第二结构光的产生第二点云410的角部的部分。为简单起见，图4中未示出其他的第二点云和第二结构光的其他部分。投射屏幕408相对于结构光投射器302被定位，使得第二点云410的角部422由第二结构光的部分412行进距离d2到达投射屏幕408产生。距离d2大于距离d1。第二结构光在行进至投射屏幕408之前未被任何光学元件弯折。第二结构光的部分412的路径与第一结构光的部分312(在图3中标示)的路径重叠，使得第二点云410为第一点云310(在图3中标示)的放大版本。投射屏幕408可以是图3中的相同的投射屏幕308。在图2中，至少一个摄像装置216中的相同或不同的一个摄像装置还被配置成捕获第二图像。第二图像反映第二空间光照分布。第二图像的第一部分由第二结构光的第一部分行进第二距离到达至少一个投影面214中的上述相同或不同的一个投影面产生。第一距离与第二距离不同。在第二设置400中，摄像装置306还被配置成捕获图像420。图像420反映整体的第二空间点云分布。图像420的反映点云410的角部422的部分由第二结构光的部分412产生。
参阅图2，光照校准模块222被配置成使用第一图像和第二图像来确定第三空间光照分布。第一图像的第一部分和第二图像的第一部分产生第三空间光照分布的同一部分。参阅图2、图3和图4，光照校准模块222被配置成使用图像320和图像420来确定第三空间点云分布。图像320的与点云310的角部322对应的部分以及图像420的与点云410的角部422对应的部分产生第三空间点云分布的同一角部。第三空间点云分布是结构光投射器302的空间点云分布的经校准版本。第一空间点云分布和第二空间点云分布均来源于结构光投射器302的空间点云分布。对结构光投射器302的空间点云分布的校准可以包括对第一空间点云分布和第二空间点云分布执行外推，以获得第三空间点云分布。使内插被执行以对结构光投射器302的空间点云分布进行校准的其他设置也在本申请的涉及范围内。使用平方反比定律来校准第三空间点云分布的强度信息。可以使用距离d1和d2对结构光投射器302的空间光照分布进行校准。结构光投射器302的空间点云分布贯穿基于结构光的面部识别系统200(如图1所示)在用结构光照射目标用户的脸部和捕获目标用户的被结构光照射的面部的整个期间是静态的，因此可以使用第一设置300和第二设置400进行预校准。
图5是示出了根据本申请一种实施方式的用于校准静态非结构光照射的第一设置500的结构框图。参阅图2和图5，第一设置500是用于实施与由非结构光照射器208、至少一个投射表面214和至少一个摄像头摄像装置216执行的第四空间光照分布相关的步骤。第一设置500是时间为t3时的设置。时间t3不同于参照图3和图4所描述的时间t1和t2。在图2中，非结构光照射器208被配置成用仅第一非结构光来照射至少一个投射表面214中的一个投射表面。在第一设置500中，非结构光照射器304被配置成用仅第一非结构光来照射投射屏幕508。投射屏幕508可以是相同的投射屏幕308。结构光投射器302被镜头盖遮盖。在图2中，至少一个投射表面214中的上述一个投射表面还被配置成显示仅由第一非结构光产生的第四空间光照分布。在第一设置500中，投射屏幕508被配置成显示仅由第一非结构光产生的第四空间光照分布。第四空间光照分布包括第一非结构光的强度信息。虚线示意性地示出第一非结构光的照射投射屏幕508的部分。为简单起见，图5中未示出第一非结构光的其它部分。投射屏幕308相对于非结构光照射器304被定位，使得投射屏幕508的被照射部分522由第一非结构光的部分514行进距离d3到达投射屏幕508产生。第一非结构光在行进至投射屏幕508之前未被任何光学元件弯折。在图2中，至少一个摄像头摄像装置216中的一个摄像头摄像装置还被配置成捕获第三图像。第三图像反映第四空间光照分布。第三图像的第一部分由第一非结构光的第一部分行进第三距离到达至少一个投射表面214中的上述一个投射表面产生。在第一设置500中，摄像头摄像装置306被配置成捕获图像520。图像520反映整个第四空间光照分布。图像520的反映投射屏幕508的被照射部分522的部分由第一非结构光的部分514产生。
图6是示出了根据本申请一种实施方式的用于校准静态非结构光照射的第二设置600的结构图。参阅图2和图6，第二设置600是用于实施与由非结构光照射器208、至少一个投射表面214和至少一个摄像装置216执行的第五空间光照分布相关的步骤。第二设置600是在时间为t4时的设置。时间t4晚于时间t3。在图2中，非结构光照射器208还被配置成用仅第二非结构光来照射至少一个投射表面214中的相同或不同的一个投射表面。在第二设置600中，非结构光照射器304还被配置成用仅第二非结构光来照射投射屏幕608。结构光投射器302被镜头盖遮盖。在图2中，至少一个投射表面214中相同或不同的一个投射表面还被配置成显示仅由第二非结构光产生的第五空间光照分布。在第二设置600中，投射屏幕608还被配置成显示仅由第二非结构光产生的第五空间光照分布。第五空间光照分布包括第二非结构光的强度信息。虚线示意性地示出第二非结构光的照射投射屏幕608的部分。为简单起见，图6中未示出第二非结构光的其他部分。投射屏幕608相对于非结构光照射器304被定位，使得投射屏幕608的被照射部分622由第二非结构光的部分614行进距离d4到达投射屏幕608产生。距离d4大于距离d3。第二非结构光在行进至投射屏幕608之前未被任何光学元件弯折。第二非结构光的部分614的路径与第一非结构光的部分514(在图5中标记)的路径是重叠的。投射屏幕608可以是图5中相同的投射屏幕508。在图2中，至少一个摄像装置216中的相同或不同的一个摄像装置还被配置成捕获第四图像。第四图像反映第五空间光照分布。第四图像的第一部分由第二非结构光的第一部分行进第四距离到达至少一个投射表面214中上述相同或不同的一个投射表面产生。第三距离不同于第四距离。在第二设置600中，摄像装置306还被配置成捕获图像620。图像620反映整体的第五空间光照分布。图像620的反映投射屏幕608的被照射部分622的部分由第二非结构光的部分614产生。
参阅图2，光照校准模块222还被配置成使用第三图像和第四图像来确定第六空间光照分布。第三图像的第一部分和第四图像的第一部分产生第六空间光照分布的同一部分。参阅图2、图5和图6，光照校准模块222被配置成使用图像520和图像620来确定第六空间光照分布。图像520的与投射屏幕508的被照射部分522对应的部分以及图像620的与投射屏幕608的被照射部分622对应的部分产生第六空间光照分布的同一部分。第六空间光照分布是非结构光照射器304的空间光照分布的经校准版本。第四空间光照分布和第五空间光照分布均源于非结构光照射器304的空间光照分布。对非结构光照射器304的空间光照分布的校准可以包括对第四空间光照分布和第五空间光照分布进行外推，以获得第六空间光照分布。使内插被执行以对非结构光照射器304的空间光照分布进行校准的其他设置也在本申请的涉及范围内。使用平方反比定律来校准第六空间光照分布的强度信息。可以使用距离d3和d4对非结构光照射器304的空间光照分布进行校准。非结构光照射器304的空间光照分布贯穿基于结构光的面部识别系统200(如图1所示)在用非结构光照射目标用户的面部以及捕获目标用户的被非结构光照射的面部的整个期间是静态的，因此可以使用第一设置500和第二设置600进行预校准。
图7是示出了根据本申请一种实施方式的用于执行用于显示第一经渲染的3D面部模型的软件模块220的硬件系统700的框图。硬件系统700包括至少一个处理器702、至少一个存储器704、存储模块706、网络接口708、输入和输出(I/O)模块710以及总线712。至少一个处理器702直接或间接地向至少一个存储器704、存储模块706、网络接口708和I/O模块710发送信号，和/或直接或间接地从它们接收信号。至少一个存储器704被配置成存储由至少一个处理器702执行的程序指令和由程序指令访问的数据。至少一个存储器704包括随机存取存储器(RAM)、其它易失性存储设备、和/或只读存储器(ROM)或其它非易失性存储设备。至少一个处理器702被配置成执行程序指令，该程序指令将至少一个处理器702配置为用于显示第一经渲染的3D面部模型的软件模块220。网络接口708被配置成访问通过网络远程存储的程序指令和由程序指令访问的数据。I/O模块710包括被配置用于实现与硬件系统700的用户交互的输入设备和输出设备。输入设备包括例如键盘或鼠标。输出设备包括例如显示装置或打印机。存储模块706被配置用于存储程序指令和由程序指令访问的数据。存储模块706包括例如磁盘或光盘。
图8是示出了根据本申请一种实施方式的用于构建第一3D面部模型的方法800的流程图。该方法800由3D面部模型构建模块226执行。在步骤802中，使用目标用户的多个照片来提取面部标记。可以采用有监督下降法(SDM)来提取面部标记。在步骤804中，使用面部标记来重建中性表情的3D面部模型。在步骤806中，用多个照片中的一个照片的面部纹理对中性表情的3D面部模型进行修饰，以获得经修饰的3D面部模型。照片中的一张照片的面部纹理被映射到中性表情的3D面部模型。在步骤808中，根据当通过第一显示装置向第一摄像装置(参照图2所描述的)显示第一经渲染的3D面部模型时第一显示装置与第一摄像装置之间的第五距离对经修饰的3D面部模型进行缩放，以获得经缩放的3D面部模型。第一显示装置为显示装置236(图2中示出)。第五距离在图9中被示为显示装置916与摄像装置306之间的距离d5。步骤808还可以包括在对经修饰的3D面部模型进行缩放之前，将显示装置236定位在第一摄像装置前方的第五距离处。可替代地，在步骤808之后将显示装置236定位在第一摄像装置前方的第五距离处。步骤808用于使通过基于结构光的面部识别系统200(如图1所示)获得的第一经渲染的3D面部模型(参照图2所描述的)的几何信息与基于结构光的面部识别系统200中存储的目标用户的面部的几何信息相匹配。在步骤810中，执行注视校正，使得经缩放的3D面部模型的眼睛直视第一摄像装置，以获得经注视校正的3D面部模型。在步骤812中，用一组预定义的面部表情对经注视校正的3D面部模型进行动画处理，以获得第一3D面部模型。步骤802、步骤804、步骤806、步骤810和步骤812的示例更详细地描述于“Virtual U:Defeating face liveness detection by building virtual models fromyour public photos,”Yi Xu,True Price,Jan-Michael Frahm,and Fabian Monrose,InUSENIX security symposium,pp.497-512,2016.
在方法800中，对3D可形变面部模型进行缩放。可替代地，可以对使用明暗度恢复形状(shape from shading，SFS)重建的面部模型执行缩放。本领域技术人员将理解，现在已知或以后开发的其他的面部模型重建替代方案可以用于构建待被渲染的第一3D面部模型。
图9是示出了根据本申请一种实施方式的向摄像装置306显示第一经渲染的3D面部模型的设置900的结构图。参阅图2和图9，设置900用于实现由显示装置236执行的步骤。在图2中，显示装置236被配置成向第一摄像装置显示第一经渲染的3D面部模型。在设置900中，显示装置916被配置成在与静态结构光照射的时间隔开的时间期间向摄像装置显示经渲染的3D面部模型909。结构光投射器302和非结构光照射器304被镜头盖遮盖。经渲染的3D面部模型909为通过下述照射的伪面部：具有参照图4描述的结构光投射器302的空间点云分布的结构光；和具有参照图6描述的非结构光照射器304的空间光照分布的非结构光。经渲染的3D面部模型909包括：通过参照图2所描述的第一3D面部模型变形的多个点云；以及面部的仅被具有非结构光照射器304的空间光照分布的非结构光照射的部分918。例如，示出了通过第一3D面部模型变形的点云910。为简单起见，图9中未示出通过第一3D面部模型变形的其他点云。
图10是示出了根据本申请一种实施方式的用于校准动态结构光照射并向摄像装置显示第一经渲染的3D面部模型的设置1000的结构图。与用于校准静态结构光照射并显示用静态结构光照射渲染的第一3D面部模型的图3中的第一设置300、图4中的第二设置400和图9中的设置900相比，设置1000用于校准动态结构光照射并显示用动态结构光照射渲染的第一3D面部模型。在图2中，结构光投射器204被配置成用仅第一结构光对至少一个投射表面214中的一个投射表面进行投射。至少一个投射表面214中的上述一个投射表面被配置成显示仅由第一结构光产生的第一空间光照分布。结构光投射器204还被配置成用仅第二结构光对至少一个投射表面214中的相同或不同的一个投射表面进行投射。至少一个投射表面214中的上述相同或不同的一个投射表面还被配置成显示仅由第二结构光产生的第二空间光照分布。与分别在时间t1和时间t2产生第一结构光和第二结构光的第一设置300和第二设置400相比，设置1000在同一时间产生第一结构光和第二结构光。在设置1000中，结构光投射器1002被配置成用仅第三结构光对投射屏幕1020和投射屏幕1022进行投射。第三结构光被反射光学元件1024反射，并被分束光学元件1026分束成分别行进到投射屏幕1020和投射屏幕1022的第一结构光和第二结构光。反射光学元件1024可以是反射镜。分束光学元件1026可以是50：50分束器。投射屏幕1020相对于结构光投射器1002被定位，使得第一点云1033的角部1034由第一结构光的部分1032行进距离d6(图中未示出)到达投射屏幕1020产生。投射屏幕1022相对于结构光投射器1002被定位，使得第二点云1038的角部1037由第二结构光的部分1036行进距离d7(图中未示出)到达投射屏幕1022产生。距离d7大于距离d6。在图2中，至少一个摄像装置216中的一个摄像装置被配置成捕获第一图像。第一图像反映第一空间光照分布。至少一个摄像装置216中的相同或不同的一个摄像装置还被配置成捕获第二图像。第二图像反映第二空间光照分布。与第一设置300和第二设置400使用摄像装置306分别捕获图像320和图像420相比，设置1000分别使用摄像装置1040和摄像装置1042来捕获图像1044和图像1046。图像1044反映整体的第一空间点云分布。图像1046反映整体的第二点云分布。
参阅图2，光照校准模块222被配置成使用第一图像和第二图像来确定第三空间光照分布。参阅图3、图4和图10，与在图3和图4中使用距离d1和距离d2校准结构光投射器302的空间点云分布的光照校准模块222相比，设置1000的光照校准模块222使用第一总距离和第二总距离来校准结构光投射器1002的空间点云分布。第一总距离是下述距离之和：结构光投射器1002与反射光学元件1024之间的、第三结构光的部分1028沿其行进的路径的距离；反射光学元件1024与分束光学元件1026之间的、第三结构光的部分1030沿其行进的路径的距离；以及分束光学元件1026与投射屏幕1020之间的、第一结构光的部分1032沿其行进的路径的距离。第二总距离是下述距离之和：结构光投射器1002与反射光学元件1024之间的、第三结构光的部分1028沿其行进的路径的距离；反射光学元件1024与分束光学元件1026之间的、第三结构光的部分1030沿其行进的路径的距离；以及分束光学元件1026与投射屏幕1022之间的、第二结构光的部分1036沿其行进的路径的距离。
请参阅图10，非结构光照射器1004的空间光照分布可以为静态的，可以并且是使用图5中的第一设置500和图6中的第二设置600对该空间光照分布进行预校准的。非结构光照射器1004在设置1000中被镜头盖遮盖。可替代地，非结构光照射器1004的空间光照分布可以是动态的，并且与结构光投射器1002的空间点云分布一起进行校准。对非结构光照射器1004的空间光照分布可以与结构光投射器1002的空间点云分布相类似地进行校准。
参阅图2，显示装置236被配置成向第一摄像装置显示第一经渲染的3D面部模型。与图9中在与静态结构光照射的时间隔开的时间期间向摄像装置显示渲染的3D面部模型909的设置900相比，图10中的显示装置1016被配置成在与动态结构光照射的时间重叠的时间期间向摄像装置1006显示多个经渲染的3D面部模型。图10中示出了经渲染的3D面部模型中的一个3D面部模型1009。经渲染的3D面部模型1009可以是与经渲染的3D面部模型909类似的方式进行渲染的。
图11是示出了根据本申请的一种实施方式的用于生成伪结构光照射面部的方法的流程图。参阅图2、图3、图4和图7，用于生成伪结构光照射面部的方法包括：由上述至少结构光投射器202、至少一个投射表面214和至少一个摄像装置216执行的方法1110；由至少一个处理器702执行的方法1130；以及由显示装置236执行的方法1150。
在步骤1112中，通过至少一个结构光投射器202将至少第一结构光投射到第一投射表面。第一投射表面是至少一个投射表面214中的一个投射表面。使用第一设置300，至少第一结构光在行进至第一投射表面之前没有被任何光学元件弯折。在步骤1114中，通过至少一个摄像装置216捕获由至少第一结构光产生的第一图像。在步骤1116中，通过上述至少结构光投射器202将至少第二结构光投射到第二投射表面。第二投射表面是至少一个投射表面214中相同或不同的一个投射表面。使用第二设置400，至少第二结构光在行进至第二投射表面之前没有被任何光学元件弯折。在步骤1118中，通过至少一个摄像装置216捕获由至少第二结构光产生的第二图像。在步骤1132中，关于第一设置300和第二设置400，通过光照校准模块222使用第一图像和第二图像来确定第一空间光照分布。在步骤1134中，通过3D面部模型构建模块226构建第一3D面部模型。在步骤1136中，通过3D面部模型渲染模块230使用第一空间光照分布对第一3D面部模型进行渲染，以生成第一经渲染的3D面部模型。在步骤1138中，通过显示控制模块234使第一显示装置向第一摄像装置显示第一经渲染的3D面部模型。该第一显示装置为显示装置236。在步骤1152中，通过显示装置236向第一摄像装置显示第一经渲染的3D面部模型。
图12是示出了根据本申请另一实施方式的用于生成伪结构光照射面部的方法的流程图。参阅图2、图7和图10，与参照图11所描述的用于生成伪结构光照射面部的方法相比，用于生成伪结构光照射面部的方法包括：替代方法1110的通过或用上述至少结构光投射器202、至少一个投射表面214和至少一个摄像装置216执行的方法1210。
在步骤1212中，通过上述至少结构光投射器202向第一投射表面和第二投射表面投射至少第三结构光。第一投射表面是至少一个投射表面214中的一个投射表面。第二投射表面是与至少一个投射表面中不同的一个投射表面。使用设置1000，至少第三结构光被反射光学元件反射，并被分束光学元件分束成分别行进到第一投射表面和第二投射表面的至少第一结构光和至少第二结构光。在步骤1214中，通过至少一个摄像装置216捕获由至少第一结构光产生的第一图像。在步骤1216中，通过至少一个摄像装置216捕获由至少第二结构光产生的第二图像。
一些实施方式具有以下特征和/或优点中的一个或其组合。在一实施方式中，通过使用由至少第一结构光产生的第一图像和由至少第二结构光产生的第二图像确定第一空间光照分布，对基于结构光的面部识别系统的至少结构光投射器的空间光照分布进行了较准。第一图像的第一部分由至少第一结构光的第一部分行进第一距离产生，第二图像的第一部分由至少第二结构光的第一部分行进第二距离产生。第一图像的第一部分和第二图像的第一部分产生第一空间光照分布的同一部分。第一距离不同于第二距离。使用第一空间光照分布对目标用户的第一3D面部模型进行渲染，以生成第一经渲染的3D面部模型。通过第一显示装置将第一经渲染的3D面部模型显示给基于结构光的面部识别系统的第一摄像装置。因此，提供了一种简单、快速、准确的用于校准至少结构光投射器的空间光照分布的方法，以用于测试基于结构光的面部识别系统，即3D面部识别系统。在一种实施方式中，当通过第一显示装置向第一摄像装置显示第一经渲染的3D面部模型时，执行缩放使得第一3D面部模型根据第一显示装置与第一摄像装置之间的距离进行缩放。因此，在测试过程中，通过基于结构光的面部识别系统获得的第一经渲染的3D面部模型的几何信息可以与基于结构光的面部识别系统中存储的目标用户的面部的几何信息相匹配。
本领域的技术人员应当理解，本申请的实施方式中描述和公开的各个单元、模块、算法和步骤都是使用电子硬件或者用于计算机的软件和电子硬件组合来实现的。功能是以硬件还是软件来运行取决于技术方案的应用条件和设计要求。本领域技术人员可以对每个具体应用采用不同的方式来实现功能，这样的实现不超出本申请的范围。
本领域技术人员可以参考前述实施方式中系统、设备和模块的工作过程，这是因为上述系统、设备和模块的工作过程基本上是相同的。为了便于描述和简洁性，这些工作过程在此不再赘述。
可以理解的是，本申请的实施方式中所公开的系统、设备和方法可以用其他方式实现。上述实施方式仅是示例性的。模块的划分仅仅基于逻辑功能，而在实现时还存在其他的划分。多个模块或组件可以组合或集成在另一个系统中。一些特征可以被省略或跳过。另一方面，所显示或讨论的相互耦合、直接耦合或通信耦合通过一些端口、设备或模块以电、机械或其它的形式运作，无论是间接的或通信上的。
为了说明而作为分离的组件的模块可以是或不是单独物理存在的。用于显示的模块可以是也可以不是物理模块，即可以位于一个地方，或分布在多个网络模块上。根据实施方式的目的，使用部分或者全部的模块。
另外，在本申请各个实施方式中的每个功能模块可以集成在一个处理模块中，物理上相独立，或者两个或两个以上模块集成在一个处理模块中。
如果实现软件功能模块并将其作为产品使用和销售，则可以将其存储在计算机的可读存储介质中。基于这种理解，本申请提出的技术方案可以基本上或部分地以软件产品的形式实现。或者，技术方案中相对常规技术有利的一部分技术方案可以以软件产品的形式实现。计算机中的软件产品存储在存储介质中，包括使计算设备(如个人计算机、服务器或网络设备)运行本申请的实施方式所公开的全部或部分步骤的多个命令。存储介质包括USB盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、软盘或其他种类地能够存储程序代码的介质。
尽管已经结合被视为实用和优选的实施方式描述了本申请，但可以理解的是，本申请不局限于所公开的实施方式，而是旨在涵盖在不偏离所附权利要求的最广义解释的范围的情况下所做出的各种步骤。

Claims (20)

1.一种方法，包括：
通过至少一个处理器、使用由至少第一结构光产生的第一图像和由至少第二结构光产生的第二图像来确定第一空间光照分布，其中，所述第一图像的第一部分由所述至少第一结构光的第一部分行进第一距离产生，所述第二图像的第一部分由所述至少第二结构光的第一部分行进第二距离产生，所述第一图像的第一部分和所述第二图像的第一部分产生所述第一空间光照分布的同一部分，并且所述第一距离不同于所述第二距离；
通过所述至少一个处理器构建第一3D面部模型；
通过所述至少一个处理器、使用所述第一空间光照分布来渲染所述第一3D面部模型，以生成第一经渲染的3D面部模型；以及
通过第一显示装置向第一摄像装置显示所述第一经渲染的3D面部模型，以测试面部识别系统。
2.根据权利要求1所述的方法，其中，
使用由至少第一结构光产生的第一图像和由至少第二结构光产生的第二图像来确定第一空间光照分布的步骤包括：
使用仅由所述第一结构光产生的所述第一图像和仅由所述第二结构光产生的所述第二图像来确定所述第一空间光照分布，其中，所述第一图像的所述第一部分由所述第一结构光的第一部分行进所述第一距离产生，所述第二图像的所述第一部分由所述第二结构光的第一部分行进所述第二距离产生；并且
所述方法还包括：
使用仅由第一非结构光产生的第三图像和仅由第二非结构光产生的第四图像来确定第二空间光照分布，其中，所述第三图像的第一部分由所述第一非结构光的第一部分行进第三距离产生，所述第四图像的第一部分由所述第二非结构光的第一部分行进第四距离产生，所述第三图像的所述第一部分和所述第四图像的所述第一部分产生所述第二空间光照分布的同一部分，并且所述第三距离不同于所述第四距离。
3.根据权利要求2所述的方法，还包括：
用所述第一非结构光照射第一投射表面；
捕获所述第三图像，其中，所述第三图像反映所述第一非结构光照射在所述第一投射表面上的第三空间光照分布；
用所述第二非结构光照射第二投射表面；以及
捕获所述第四图像，其中，所述第四图像反映所述第二非结构光照射在所述第二投射表面上的第四空间光照分布，
其中，所述第一投射表面和所述第二投射表面相同或不同。
4.根据权利要求1所述的方法，还包括：
用所述至少第一结构光向第一投射表面进行投射，其中，所述至少第一结构光在行进至所述第一投射表面之前没有被任何光学元件弯折；
捕获所述第一图像，其中，所述第一图像反映所述至少第一结构光照射在所述第一投射表面上的第五空间光照分布；
用所述至少第二结构光向第二投射表面进行投射，其中，所述至少第二结构光在行进至所述第二投射表面之前没有被任何光学元件弯折；以及
捕获所述第二图像，其中，所述第二图像反映所述至少第二结构光照射在所述第二投射表面上的第六空间光照分布，
其中，所述第一投射表面和所述第二投射表面相同或不同。
5.根据权利要求1所述的方法，还包括：
用至少第三结构光向第一投射表面和第二投射表面进行投射，其中，所述至少第三结构光被反射光学元件反射并且被分束光学元件分束成分别行进到所述第一投射表面和所述第二投射表面的所述至少第一结构光和所述至少第二结构光；
捕获所述第一图像，其中，所述第一图像反映所述至少第一结构光照射在所述第一投射表面上的第七空间光照分布；以及
捕获所述第二图像，其中，所述第二图像反映所述至少第二结构光照射在所述第二投射表面上的第八空间光照分布。
6.根据权利要求1所述的方法，还包括：
通过至少一个摄像装置来捕获所述第一图像和所述第二图像。
7.根据权利要求1所述的方法，其中，构建所述第一3D面部模型的步骤包括：
执行缩放，使得根据当通过所述第一显示装置向所述第一摄像装置显示所述第一经渲染的3D面部模型时所述第一显示装置与所述第一摄像装置之间的第五距离对所述第一3D面部模型进行缩放。
8.根据权利要求1所述的方法，其中，构建所述第一3D面部模型的步骤包括：
使用目标用户的多个照片来提取面部标记；
使用所述面部标记来重建中性表情的3D面部模型；
用所述多个照片中的一个照片的面部纹理对所述中性表情的3D面部模型进行修饰，以获得经修饰的3D面部模型；
根据当通过所述第一显示装置向所述第一摄像装置显示所述第一经渲染的3D面部模型时所述第一显示装置与所述第一摄像装置之间的第五距离对所述经修饰的3D面部模型进行缩放，以获得经缩放的3D面部模型；
执行注视校正，使得所述经缩放的3D面部模型的眼睛直视所述第一摄像装置，以获得经注视校正的3D面部模型；以及
用一组预定义的面部表情对所述经注视校正的3D面部模型进行动画处理，以获得所述第一3D面部模型。
9.一种系统，包括：
至少一个存储器，所述至少一个存储器被配置成存储程序指令；
至少一个处理器，所述至少一个处理器被配置成执行所述程序指令，这使所述至少一个处理器执行包括下述的步骤：
使用由至少第一结构光产生的第一图像和由至少第二结构光产生的第二图像来确定第一空间光照分布，其中，所述第一图像的第一部分由所述至少第一结构光的第一部分行进第一距离产生，所述第二图像的第一部分由所述至少第二结构光的第一部分行进第二距离产生，所述第一图像的第一部分和所述第二图像的第一部分产生所述第一空间光照分布的同一部分，并且所述第一距离不同于所述第二距离；
建立第一3D面部模型；和
使用所述第一空间光照分布来渲染所述第一3D面部模型，以生成第一经渲染的3D面部模型；以及
第一显示装置，所述第一显示装置被配置成向第一摄像装置显示所述第一经渲染的3D面部模型，以测试面部识别系统。
10.根据权利要求9所述的系统，其中，
使用由至少第一结构光产生的第一图像和由至少第二结构光产生的第二图像来确定第一空间光照分布的步骤包括：
使用仅由所述第一结构光产生的所述第一图像和仅由所述第二结构光产生的所述第二图像来确定第一空间光照分布，其中，所述第一图像的所述第一部分由所述第一结构光的第一部分行进所述第一距离产生，所述第二图像的所述第一部分由所述第二结构光的第一部分行进所述第二距离产生；
所述方法还包括：
使用仅由第一非结构光产生的第三图像和仅由第二非结构光产生的第四图像来确定第二空间光照分布，其中，所述第三图像的第一部分由所述第一非结构光的第一部分行进第三距离产生，所述第四图像的第一部分由所述第二非结构光的第一部分行进第四距离产生，所述第三图像的所述第一部分和所述第四图像的所述第一部分产生所述第二空间光照分布的同一部分，并且所述第三距离不同于所述第四距离。
11.根据权利要求10所述的系统，还包括：
第一投射表面，所述第一投射表面被配置成被所述第一非结构光照射，其中，所述第一投射表面上的第三空间光照分布反映在第三图像中，并且所述第三图像由所述第一摄像装置捕获；以及
第二投射表面，所述第二投射表面被配置成被所述第二非结构光照射，其中，所述第二投射表面上的第四空间光照分布反映在所述第四图像中，并且所述第四图像由所述第一摄像装置捕获；
其中，所述第一投射表面和所述第二投射表面相同或不同。
12.根据权利要求10所述的系统，还包括：
第一非结构光照射器；
第一投射表面和第二投射表面，其中，所述第一投射表面和所述第二投射表面相同或不同；以及
第二摄像装置，其中，所述第二摄像装置和所述第一摄像装置相同或不同；
其中，所述第一非结构光照射器被配置成用所述第一非结构光照射所述第一投射表面；
所述第二摄像装置被配置成捕获所述第三图像，其中，所述第三图像反映所述第一非结构光照射在所述第一投射表面上的第三空间光照分布；
所述第一非结构光照射器还被配置成用所述第二非结构光照射所述第二投射表面；以及
所述第二摄像装置还被配置成捕获所述第四图像，其中，所述第四图像反映所述第二非结构光照射在所述第二投射表面上的第四空间光照分布。
13.根据权利要求9所述的系统，还包括：
第一投射表面，所述第一投射表面被配置成被所述至少第一结构光投射，其中，所述至少第一结构光在行进至所述第一投射表面之前没有被任何光学元件弯折，所述第一投射表面上的第五空间光照分布反映在所述第一图像中，并且所述第一图像由所述第一摄像装置捕获；以及
第二投射表面，所述第二投射表面被配置成被所述至少第二结构光投射，其中，所述至少第二结构光在行进至所述第二投射表面之前没有被任何光学元件弯折，所述第二投射表面上的第六空间光照分布反映在所述第二图像，并且所述第二图像由所述第一摄像装置捕获，
其中，所述第一投射表面和所述第二投射表面相同或不同。
14.根据权利要求9所述的系统，还包括：
至少第一结构光投射器；
第一投射表面和第二投射表面，其中，所述第一投射表面和所述第二投射表面相同或不同；以及
第二摄像装置，其中，所述第二摄像装置和所述第一摄像装置相同或不同；
其中，所述至少第一结构光投射器被配置成用所述至少第一结构光对所述第一投射表面进行投射，其中，所述至少第一结构光在行进至所述第一投射表面之前没有被任何光学元件弯折；
所述第二摄像装置被配置成捕获所述第一图像，其中，所述第一图像反映所述至少第一结构光照射在所述第一投射表面上的第五空间光照分布；
所述至少第一结构光投射器还被配置成用所述至少第二结构光对所述第二投射表面进行投射，其中，所述至少第二结构光在行进至所述第二投射表面之前没有被任何光学元件弯折；以及
所述第二摄像装置还被配置成捕获所述第二图像，其中，所述第二图像反映所述至少第二结构光照射在所述第二投射表面上的第六空间光照分布。
15.根据权利要求9所述的系统，还包括：
第一投射表面和第二投射表面，所述第一投射表面和所述第二投射表面被配置成被至少第三结构光投射；
其中，所述至少第三结构光被反射光学元件反射并且被分束光学元件分束成分别行进到所述第一投射表面和所述第二投射表面的所述至少第一结构光和所述至少第二结构光；
所述第一投射表面上的第七空间光照分布反映在所述第一图像中，并且所述第一图像由所述第一摄像装置捕获；以及
所述第二投射表面上的第八空间光照分布反映在所述第二图像中，并且所述第二图像由所述第一摄像装置捕获。
16.根据权利要求9所述的系统，还包括：
至少第一结构光投射器；
第一投射表面和第二投射表面；以及
第二摄像装置；
第三摄像装置；
其中，所述至少第一结构光投射器被配置成用所述至少第三结构光对所述第一投射表面和所述第二投射表面进行投射；
所述至少第三结构光被反射光学元件反射并且被分束光学元件分束成分别行进到所述第一投射表面和所述第二投射表面的所述至少第一结构光和所述至少第二结构光；
所述第二摄像装置被配置成捕获所述第一图像，其中，所述第一图像反映所述至少第一结构光照射在所述第一投射表面上的第七空间光照分布；以及
所述第三摄像装置被配置成捕获所述第二图像，其中，所述第二图像反映所述至少第二结构光照射在所述第二投射表面上的第八空间光照分布。
17.根据权利要求9所述的系统，还包括：
至少一个摄像装置，所述至少一个摄像装置被配置成捕获所述第一图像和所述第二图像。
18.根据权利要求9所述的系统，其中，构建所述第一3D面部模型的步骤包括：
执行缩放，使得根据当通过所述第一显示装置向所述第一摄像装置显示所述第一经渲染的3D面部模型时所述第一显示装置与所述第一摄像装置之间的第五距离对所述第一3D面部模型进行缩放。
19.根据权利要求9所述的系统，其中，构建所述第一3D面部模型的步骤包括：
使用目标用户的多个照片来提取面部标记；
使用所述面部标记来重建中性表情的3D面部模型；
用所述多个照片中的一个照片的面部纹理对所述中性表情的3D面部模型进行修饰，以获得经修饰的3D面部模型；
根据当通过所述第一显示装置向所述第一摄像装置显示所述第一经渲染的3D面部模型时所述第一显示装置与所述第一摄像装置之间的第五距离对所述经修饰的3D面部模型进行缩放，以获得经缩放的3D面部模型；
执行注视校正，使得所述经缩放的3D面部模型的眼睛直视所述第一摄像装置，以获得经注视校正的3D面部模型；以及
用一组预定义的面部表情对所述经注视校正的3D面部模型进行动画处理，以获得所述第一3D面部模型。
20.一种非暂时性的计算机可读介质，所述计算机可读介质上存储有程序指令，所述程序指令在被至少一个处理器执行时使所述至少一个处理器执行包括下述的步骤：
使用由至少第一结构光产生的第一图像和由至少第二结构光产生的第二图像来确定第一空间光照分布，其中，所述第一图像的第一部分由所述至少第一结构光的第一部分行进第一距离产生，所述第二图像的第一部分由所述至少第二结构光的第一部分行进第二距离产生，所述第一图像的第一部分和所述第二图像的第一部分产生所述第一空间光照分布的同一部分，并且所述第一距离不同于所述第二距离；
建立第一3D面部模型；
使用所述第一空间光照分布来渲染所述第一3D面部模型，以生成第一经渲染的3D面部模型；以及
使第一显示装置向第一摄像装置显示所述第一经渲染的3D面部模型，以测试面部识别系统。
CN201980052135.3A 2018-09-18 2019-09-03 用于生成伪结构光照射面部的方法、系统及存储介质 Pending CN112639802A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862732783P 2018-09-18 2018-09-18
US62/732,783 2018-09-18
PCT/CN2019/104232 WO2020057365A1 (en) 2018-09-18 2019-09-03 Method, system, and computer-readable medium for generating spoofed structured light illuminated face

Publications (1)

Publication Number Publication Date
CN112639802A true CN112639802A (zh) 2021-04-09

Family

ID=69888291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980052135.3A Pending CN112639802A (zh) 2018-09-18 2019-09-03 用于生成伪结构光照射面部的方法、系统及存储介质

Country Status (3)

Country Link
US (1) US20210192243A1 (zh)
CN (1) CN112639802A (zh)
WO (1) WO2020057365A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045874A1 (zh) * 2021-09-23 2023-03-30 华为技术有限公司 图形渲染方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3127564A1 (en) * 2019-01-23 2020-07-30 Cream Digital Inc. Animation of avatar facial gestures
GB2598608B (en) * 2020-09-04 2024-05-08 Sony Interactive Entertainment Inc Content generation system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150279113A1 (en) * 2014-03-25 2015-10-01 Metaio Gmbh Method and system for representing a virtual object in a view of a real environment
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
CN105637532A (zh) * 2015-06-08 2016-06-01 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN107464280A (zh) * 2017-07-31 2017-12-12 广东欧珀移动通信有限公司 用户3d建模的匹配方法和装置
US20180176542A1 (en) * 2016-12-15 2018-06-21 Qualcomm Incorporated Systems and methods for improved depth sensing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8044996B2 (en) * 2005-05-11 2011-10-25 Xenogen Corporation Surface construction using combined photographic and structured light information
US8804122B2 (en) * 2011-09-22 2014-08-12 Brightex Bio-Photonics Llc Systems and methods for determining a surface profile using a plurality of light sources
JP5743859B2 (ja) * 2011-11-14 2015-07-01 株式会社東芝 画像処理装置、方法、及び画像表示装置
EP3262617A1 (en) * 2015-02-23 2018-01-03 Fittingbox Process and method for real-time physically accurate and realistic-looking glasses try-on
CA2989575C (en) * 2015-06-16 2020-03-24 EyeVerify Inc. Systems and methods for spoof detection and liveness analysis
US10452935B2 (en) * 2015-10-30 2019-10-22 Microsoft Technology Licensing, Llc Spoofed face detection
WO2017123702A1 (en) * 2016-01-12 2017-07-20 Princeton Identity, Inc. Systems and methods biometric analysis
US11531756B1 (en) * 2017-03-20 2022-12-20 Hid Global Corporation Apparatus for directing presentation attack detection in biometric scanners
US10739447B2 (en) * 2017-04-20 2020-08-11 Wisconsin Alumni Research Foundation Systems, methods, and media for encoding and decoding signals used in time of flight imaging
US11151235B2 (en) * 2017-08-01 2021-10-19 Apple Inc. Biometric authentication techniques
US10061996B1 (en) * 2017-10-09 2018-08-28 Hampen Technology Corporation Limited Face recognition method and system for personal identification and authentication

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150279113A1 (en) * 2014-03-25 2015-10-01 Metaio Gmbh Method and system for representing a virtual object in a view of a real environment
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
CN105637532A (zh) * 2015-06-08 2016-06-01 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
US20180165512A1 (en) * 2015-06-08 2018-06-14 Beijing Kuangshi Technology Co., Ltd. Living body detection method, living body detection system and computer program product
US20180176542A1 (en) * 2016-12-15 2018-06-21 Qualcomm Incorporated Systems and methods for improved depth sensing
CN107464280A (zh) * 2017-07-31 2017-12-12 广东欧珀移动通信有限公司 用户3d建模的匹配方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045874A1 (zh) * 2021-09-23 2023-03-30 华为技术有限公司 图形渲染方法和装置

Also Published As

Publication number Publication date
WO2020057365A1 (en) 2020-03-26
US20210192243A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
US10223834B2 (en) System and method for immersive and interactive multimedia generation
US20210192243A1 (en) Method, system, and computer-readable medium for generating spoofed structured light illuminated face
US9646410B2 (en) Mixed three dimensional scene reconstruction from plural surface models
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
US9519968B2 (en) Calibrating visual sensors using homography operators
KR20210062000A (ko) 안경의 가상 시착 시스템 및 방법
TWI546719B (zh) 用以鏡面式反射紅外光線之投影螢幕
Zhang et al. A fast 3D reconstruction system with a low-cost camera accessory
CN108140255B (zh) 用于识别场景中的反射表面的方法和系统
US9665978B2 (en) Consistent tessellation via topology-aware surface tracking
US10984586B2 (en) Spatial mapping fusion from diverse sensing sources
Hernandez et al. Near laser-scan quality 3-D face reconstruction from a low-quality depth stream
KR20220063127A (ko) 얼굴 생체 검출 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램
WO2018080533A1 (en) Real-time generation of synthetic data from structured light sensors for 3d object pose estimation
Shahlaei et al. Realistic inverse lighting from a single 2d image of a face, taken under unknown and complex lighting
CN106803284B (zh) 构建脸部的三维图像的方法及装置
CN113178017A (zh) Ar数据展示方法、装置、电子设备及存储介质
CN115965735B (zh) 纹理贴图的生成方法和装置
US10672196B2 (en) Information processing apparatus and method of controlling an information processing apparatus that generate, for display, a composed image in which a computer graphics object is overland on a portion of the image
Jin Variational methods for shape reconstruction in computer vision
JP7279892B2 (ja) 顔向き検出装置、顔向き検出方法、及びプログラム
US9892666B1 (en) Three-dimensional model generation
US10713836B2 (en) Simulating lenses
CN107409196B (zh) 投影远程对象的虚拟副本
EP4258221A2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination