CN116457836A - 3d微几何和反射率建模 - Google Patents

3d微几何和反射率建模 Download PDF

Info

Publication number
CN116457836A
CN116457836A CN202280007356.0A CN202280007356A CN116457836A CN 116457836 A CN116457836 A CN 116457836A CN 202280007356 A CN202280007356 A CN 202280007356A CN 116457836 A CN116457836 A CN 116457836A
Authority
CN
China
Prior art keywords
face
images
generated
map
face mesh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280007356.0A
Other languages
English (en)
Inventor
付辰
M·格哈拉维-阿尔克汉萨利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Sony Optical Archive Inc
Original Assignee
Sony Group Corp
Optical Archive Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp, Optical Archive Inc filed Critical Sony Group Corp
Publication of CN116457836A publication Critical patent/CN116457836A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

提供了用于三维(3D)微几何和反射率建模的系统和方法。该系统接收包括面部的第一组图像和面部的第二组图像的图像。第一组图像和第二组图像中的面部分别暴露于全向照明和定向照明。该系统基于所接收的图像来生成3D面部网格，并通过使用所生成的3D面部网格和第二组图像来执行一组皮肤反射率建模操作，以估计面部的一组纹理贴图。基于所估计的一组纹理贴图，该系统对所生成的3D面部网格进行纹理化。纹理化包括将所估计的一组纹理贴图的纹理信息映射到所生成的3D面部网格上的操作，该纹理信息包括微几何皮肤细节和皮肤反射率细节。

Description

3D微几何和反射率建模
相关申请的交叉引用/通过引用并入
本申请要求2021年6月8日在美国专利商标局提交的美国专利申请No.17/342,058的优先权。以上引用的申请中的每一个在此通过引用将其整体并入本文。
技术领域
本公开的各种实施例涉及三维(3D)建模。更具体地，本公开的各种实施例涉及3D微几何和反射率建模的系统和方法。
背景技术
计算机图形学的领域中的进步已经导致了用于逼真的3D面部建模的估计人脸3D形状和纹理的各种技术的发展。在许多行业(诸如娱乐行业、游戏行业、设计行业和医疗行业)中可能需要高保真3D模型。例如，在娱乐和游戏行业中，可以利用3D面部建模来创建逼真的面部动画或开发游戏角色的3D面部。用于3D建模的常规成像设置可能具有不一致的照明条件。作为结果，基于通过常规成像设置获取的图像构建的3D模型可能具有与3D模型的3D形状相关联的不准确性。此外，3D模型可能在表面几何形状和表面反射方面包括较差的表面级细节。
通过所描述的系统与本公开的一些方面的比较，常规和传统方法的局限和缺点对于本领域技术人员将变得明显，如本申请的其余部分中参照附图所阐述的那样。
发明内容
基本上如在至少一个附图中所示和/或关于至少一个附图所述提供了三维(3D)微几何和反射率建模的系统和方法，如在权利要求中更全面地阐述的那样。
可以从对本公开的以下详细描述连同附图的审查中理解本公开的这些和其他特征和优点，在附图中，相似的附图标记始终指代相似的部分。
附图说明
图1是图示根据本公开的实施例的用于三维(3D)微几何和反射率建模的示例性网络环境的框图。
图2是图示根据本公开的实施例的用于3D微几何和反射率建模的示例性系统的框图。
图3图示了根据本公开的实施例的用于3D微几何和反射率建模的示例性摄影测量设置。
图4A图示了根据本公开的实施例的在全向照明条件下捕获的示例图像。
图4B图示了根据本公开的实施例的在定向照明条件下捕获的示例图像。
图5A、图5B、图5C和图5D共同图示了根据本公开的实施例的用于3D微几何和反射率建模的示例性操作。
图6是图示根据本公开的实施例的用于3D微几何和反射率建模的示例性方法的流程图。
具体实施方式
下面描述的实现方案可以在所公开的用于三维(3D)微几何和反射率建模的系统和方法中找到。本公开的示例性方面提供了可以被配置为接收多个图像的系统和方法。该多个图像可以包括面部的第一组图像和面部的第二组图像。根据实施例，系统可以控制多个成像设备从多个视点捕获人类主体的面部的多个图像。在一些实施例中，系统可以在多个成像设备捕获第一组图像时并发地激活一组闪光灯单元。第一组图像中的面部可以暴露于全向照明。系统可以进一步在多个成像设备捕获第二组图像时以序列模式激活该一组闪光灯单元。第二组图像中的面部可以暴露于定向照明。
基于所接收的多个图像，系统可以被配置为生成3D面部网格。系统可以通过使用所生成的3D面部网格和第二组图像来执行一组皮肤反射率建模操作，以估计面部的一组纹理贴图(map)。根据实施例，该一组皮肤反射率建模操作可以包括漫反射建模操作、镜面分离操作和镜面反射建模操作。在一些实施例中，系统可以执行漫反射建模操作(例如，基于Lambertian光照模型)以生成人类主体的面部的漫射法线贴图和面部的漫射反照率(albedo)贴图。漫射反照率贴图可以是所估计的一组纹理贴图中的第一纹理贴图。在一个或多个实施例中，系统可以基于所生成的漫射法线贴图和所生成的漫射反照率贴图来执行镜面分离操作以从第二组图像中分离镜面反射信息。在一些实施例中，系统可以执行镜面反射建模操作(例如，基于Blinn-Phong光照模型)以生成面部的镜面反照率贴图、面部的镜面法线贴图和面部的粗糙度贴图。镜面反照率贴图、镜面法线贴图和粗糙度贴图可以被称为所估计的一组纹理贴图中的第二纹理贴图。系统可以基于所估计的一组纹理贴图(诸如第一纹理贴图和第二纹理贴图)对所生成的3D面部网格进行纹理化。纹理化可以包括将包括所估计的一组纹理贴图中的微几何皮肤细节和皮肤反射率细节的纹理信息映射到所生成的3D面部网格上。
在一些常规方法中，可能仅在全向照明下获取面部的图像。因此，此类图像可能缺乏生成用于生成高保真3D模型的准确纹理贴图所需的足够信息。然而，本公开的系统可以控制多个成像设备并且可以激活一组闪光灯单元以在全向照明和定向照明两者下捕获图像。虽然全向照明下的图像可用于估计面部的准确3D形状，但定向照明下的图像可用于估计包括微几何皮肤细节(诸如毛孔级细节、隆起和皱纹)和皮肤反射率细节(诸如镜面反照率和粗糙度)两者的纹理贴图。系统可以利用准确的3D形状和纹理贴图两者来生成面部的高保真且逼真的3D模型。
图1是图示根据本公开的实施例的用于三维(3D)微几何和反射率建模的示例性网络环境的框图。参照图1，示出了网络环境100。网络环境100可以包括系统102、多个成像设备104、一组闪光灯单元106和通信网络108。系统102、多个成像设备104和一组闪光灯单元106可以被配置为经由通信网络108相互通信。例如，在网络环境100中，示出了人的面部110。多个成像设备104可以获取包括面部110的第一组图像114和第二组图像116的多个图像112。
系统102可以包括可以被配置为接收与人的面部110相关联的多个图像112(诸如第一组图像114和第二组图像116)的合适的逻辑、电路和接口。系统102还可以被配置为基于所接收的多个图像112生成3D面部网格118，并且执行一组皮肤反射率建模操作以生成用于对所生成的3D面部网格118的纹理化的纹理贴图。纹理化可以生成3D面部网格118上的微几何皮肤细节和皮肤反射率细节。系统102的示例可以包括但不限于大型主机、服务器、计算机工作站、游戏设备(诸如游戏控制台)、头戴式显示器(诸如扩展现实(XR)耳机)、可穿戴显示设备、消费电子(CE)设备或移动计算机。
多个成像设备104可以包括可以被配置为从对应的多个视点捕获人的面部110的多个图像112的合适的逻辑、电路和接口。多个成像设备104还可以被配置为将所捕获的多个图像112发送到系统102。成像设备的示例可以包括但不限于图像传感器、广角相机、运动相机、摄像机、数码相机(诸如数码单反相机(DSLR)或数码单镜头无反光镜(DSLM))、照相手机和/或具有以多种格式和不同帧率捕获图像的能力的任何图像捕获设备。
一组闪光灯单元106可以被配置为基于由系统102产生的触发信号来产生闪光。可以产生该闪光以照射人的面部110。一组闪光灯单元106的示例可以包括但不限于内置和弹出式相机闪光灯单元、专用相机闪光灯单元、微距环形灯相机闪光灯单元和锤头式相机闪光灯单元。
应该注意的是，本公开不限于将多个成像设备104和一组闪光灯单元实现为与系统102分离的设备。因此，在一些实施例中，可以在不脱离本公开的范围的情况下将多个成像设备104和一组闪光灯单元包括在系统102中。
通信网络108可以包括通信介质，系统102、多个成像设备104和一组闪光灯单元106可以通过该通信介质相互通信。通信网络108可以是有线连接或无线连接中的一个。通信网络108的示例可以包括但不限于互联网、云网络、蜂窝或无线移动网络(诸如长期演进和5G新无线电)、无线保真(Wi-Fi)网络、个域网(PAN)、局域网(LAN)或城域网(MAN)。网络环境100中的各种设备可以被配置为根据各种有线和无线通信协议连接到通信网络108。此类有线和无线通信协议的示例可以包括但不限于以下中的至少一个：传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、IEEE 802.11、光保真(Li-Fi)、802.16、IEEE 802.11s、IEEE 802.11g、多跳通信、无线接入点(AP)、设备到设备通信、蜂窝通信协议和蓝牙(BT)通信协议。
在操作中，系统102可以被配置为控制多个成像设备104从对应的多个视点捕获多个图像112。多个成像设备104可以被布置在3D结构上对应的第一多个位置处。例如，3D结构可以是可以提供足够空间来容纳至少一个人的圆顶形笼式结构。一组闪光灯单元106可以被布置在3D结构上对应的一组多个位置处。每个成像设备和每个闪光灯单元可以被布置在3D结构上，以便从多个视点围绕3D结构内的空间内的人。在图3中提供了此类布置的示例。
可以在多个成像设备104捕获面部110的多个图像112的持续时间内激活一组闪光灯单元106。通过举例而非限制的方式，可以在定义的持续时间(～1.5秒)内激活一组闪光灯单元106以用于两次相机拍摄。在第一拍摄中，在多个成像设备104可以捕获第一组图像114时，可以并发地激活一组闪光灯单元106以使面部110暴露于全向照明。在第二拍摄中，在多个成像设备104可以捕获第二组图像116时，可以以序列模式激活一组闪光灯单元106以使面部110暴露于定向照明。例如，在图3中进一步提供了多个图像112的捕获的细节。
在任何时刻(time-instant)，系统102可以被配置为从多个成像设备104接收多个图像112(其可以包括第一组图像114和第二组图像116)。在实施例中，系统102可以从维护来自各种源的图像的储存库的服务器接收多个图像112。第一组图像114中的面部110可以暴露于全向照明，并且第二组图像116中的面部110可以暴露于定向照明。
根据实施例，系统102还可以被配置为基于所接收的第一组图像114来生成第一3D面部网格。第一3D面部网格可以是面部110的原始3D扫描，并且可以包括伪影(artifact)，诸如尖刺(spike)或尖边(pointy edge)、大孔和小孔以及其他形状不规则。系统102可以被配置为将一组模型清理操作应用于所生成的第一3D面部网格以获得细化的(refined)第一3D面部网格。通过举例而非限制的方式，此类模型清理操作可以被应用于从第一3D面部网格移除伪影。系统102还可以基于所接收的第二组图像116来生成第二3D面部网格。对于从2D图像3D重建3D面部网格，存在本领域普通技术人员可能已知的许多技术。例如，可以使用基于摄影测量的方法(诸如从运动恢复结构(SfM))、需要立体图像的方法或需要单眼线索的方法(诸如从明暗恢复形状(SfS)、光度立体或从纹理恢复形状(SfT))来生成第一3D面部网格和第二3D面部网格两者。为了简洁起见，已经从本公开中省略了此类技术的细节。
系统102可以估计细化的第一3D面部网格和所生成的第二3D面部网格之间的仿射变换。此后，系统102可以将所估计的仿射变换应用于细化的第一3D面部网格以生成3D面部网格118。所生成的3D面部网格可以与所生成的第二3D面部网格刚性对齐，并且可以是无纹理的。例如，在图5A和图5B中进一步提供了3D面部网格118的生成的细节。
通过使用所生成的3D面部网格118和第二组图像116，系统102可以执行一组皮肤反射率建模操作以估计面部110的一组纹理贴图。根据实施例，该一组皮肤反射率建模操作可以包括漫反射建模操作、镜面分离操作和镜面反射建模操作。例如，在图5C和图5D中提供了该一组皮肤反射率建模操作的执行的细节。
系统102可以基于所估计的一组纹理贴图对所生成的3D面部网格118进行纹理化。纹理化可以包括将所估计的一组纹理贴图的纹理信息映射到所生成的3D面部网格118上的操作，该纹理信息包括微几何皮肤细节和皮肤反射率细节。例如，在图5D中进一步提供了所生成的3D面部网格118的纹理化的细节。
图2是图示根据本公开的实施例的用于3D微几何和反射率建模的示例性系统的框图。结合来自图1的元素来解释图2。参照图2，示出了系统102的框图200。系统102可以包括电路202、存储器204、输入/输出(I/O)设备206和网络接口208。电路202可以通信地耦合到存储器204、I/O设备206和网络接口208。
电路202可以包括可以被配置为执行与要由系统102执行的不同操作相关联的程序指令的合适的逻辑、电路和接口。电路202可以包括一个或多个专用处理单元，其中每个专用处理单元可以被实现为分离的处理器。在实施例中，一个或多个专用处理单元可以被实现为共同执行该一个或多个专用处理单元的功能的集成处理器或处理器的集群。可以基于本领域中已知的许多处理器技术来实现电路202。电路202的示例实现方案可以包括但不限于基于x86的处理器、基于x64的处理器、图形处理单元(GPU)、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、协处理器(诸如视觉处理单元(VPU))、复杂指令集计算(CISC)处理器、微控制器、中央处理单元(CPU)和/或其组合。
存储器204可以包括可以被配置为存储要由电路202执行的程序指令的合适的逻辑、电路和接口。存储器204可以被配置为存储多个图像112(其包括第一组图像114和第二组图像116)。存储器204还可以被配置为存储所生成的3D面部网格118和所估计的一组纹理贴图。存储器204的示例实现方案可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、硬盘驱动器(HDD)、固态驱动器(SSD)、CPU缓存和/或安全数字(SD)卡。
I/O设备206可以包括可以被配置为从用户接收输入并基于所接收的输入来提供输出的合适的逻辑、电路和接口。可以包括各种输入和输出设备的I/O设备206可以被配置为与电路202进行通信。例如，系统102可以经由I/O设备206接收用户输入以控制多个成像设备104捕获多个图像112。I/O设备206(诸如显示器)可以呈现输入和/或输出，诸如所生成的3D面部网格118、所估计的一组纹理贴图或纹理化的3D面部网格。I/O设备206的示例可以包括但不限于触摸屏、显示设备、键盘、鼠标、操纵杆、麦克风和扬声器。
网络接口208可以包括可以被配置为促进电路202、多个成像设备104和一组闪光灯单元106之间经由通信网络108的通信的合适的逻辑、电路和接口。可以通过使用各种已知技术来实现网络接口208，以支持系统102与通信网络108的有线或无线通信。网络接口208可以包括但不限于天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码器(CODEC)芯片组、订户身份模块(SIM)卡或本地缓冲电路。
网络接口208可以被配置为使得能够与网络(诸如互联网、内联网或无线网络，诸如蜂窝电话网络、无线局域网(LAN)和城域网(MAN))进行有线或无线通信。无线通信可以被配置为使用多个通信标准、协议和技术中的一个或多个，诸如全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、长期演进(LTE)、5G NR、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(诸如IEEE 802.11a、IEEE 802.11b、IEEE802.11g或IEEE 802.11n)、互联网协议语音(VoIP)、光保真(Li-Fi)、全球微波接入互操作性(Wi-MAX)、用于电子邮件的协议、即时消息传递和短消息服务(SMS)。
由如图1中所述的系统102执行的功能或操作可以由电路202来执行。例如，在图3、图4A、图4B、图5A、图5B、图5C和图5D中详细描述了由电路202执行的操作。
图3是图示根据本公开的实施例的用于3D微几何和反射率建模的示例性摄影测量设置的图。结合来自图1和图2的元素来解释图3。参照图3，示出了包括3D结构302、多个成像设备104、一组闪光灯单元306和一组漫射器308的图300。图300示出了在3D结构302内处于坐位的人310。
多个成像设备104可以被布置(或安装)在3D结构302上对应的第一多个位置处。如图所示，例如，3D结构302可以是具有足够空间来包括人310或至少包括人310的面部的圆顶形照明装置。多个闪光灯单元306和一组漫射器308可以被分别布置或安装在3D结构302上对应的第二多个位置和对应的第三多个位置处。多个成像设备104、一组闪光灯单元106和一组漫射器308在3D结构302上的布置可以使得每个成像设备、闪光灯单元和漫射器可以从特定视点面向人310的面部312。在成像设备可以从第一视点获取面部312的图像时，闪光灯单元可以从第二视点(其可以与第一视点相同或不同)照射面部312。
在图300中，示出了放置在人310的面部312上(诸如在前额上)的一组编码的靶标314。在一些情况下，此类编码的靶标314可以包括唯一代码或标识符，这些唯一代码或标识符中的每一个可以帮助在所捕获的多个图像112中的每一个中唯一地识别面部312的一部分的位置。例如，当放置在面部312上时，一组编码的靶标314可以以不同的角度呈现给许多成像设备。如果特定编码的靶标的代码值在来自不同视点的多个图像中被识别，则每个图像中编码的靶标的位置可以参考面部312的共同部分。
电路202可以被配置为控制多个成像设备104从对应的多个视点捕获多个图像112。通过举例而非限制的方式，电路202可以在第一时刻控制多个成像设备104捕获第一组图像114，并且电路202还可以在第二时刻控制多个成像设备104捕获第二组图像116。在第一时刻和第二时刻之间，可能存在大约1.5秒的时间差。
在实施例中，电路202可以被配置为在多个成像设备104在第一时间实例捕获第一组图像114时并发地激活一组闪光灯单元106。一组闪光灯单元106中的闪光灯单元的数量可以小于或等于多个成像设备104。一组闪光灯单元106的并发激活可以允许3D结构302中的照明是全向的。全向照明可以允许人310的面部312被均匀地照射。第一组图像114可以包括暴露于全向照明的人310的面部312的图像。可以利用第一组图像114来生成人310的面部312的准确3D面部网格(诸如3D面部网格118)。
在实施例中，电路202还可以在多个成像设备104在第二时刻捕获第二组图像404时以序列模式激活一组闪光灯单元106。一组闪光灯单元106的序列激活可以允许3D结构302中的照明是定向的。定向照明可以部分地照射每个图像中的人310的面部312。根据实施例，定向照明的光照强度可以大于全向照明的光照强度。可以降低全向照明的光照强度以减少人310的面部312上的照射量。在多个成像设备104捕获面部312的图像时，可以利用一组漫射器308来柔化面部312上的照明的效果。
在一些场景中，由于成像设备的控制(诸如快门的激活)的时间与成像设备捕获(多个图像112中的)图像的时间之间的差异，每个成像设备可能具有与其相关联的延迟。此类时间上的延迟可能是由于多个成像设备104的硬件限制。电路202可以以设置的间隔以序列模式激活每个闪光灯单元，以匹配每个成像设备遭遇的延迟。在实施例中，电路202可以在(多个成像设备104中的)第一组成像设备捕获第二组图像116中的一个或多个第一图像时激活一组闪光灯单元106中的闪光灯单元的第一子集。电路202可以在(多个成像设备104中的)第二组成像设备捕获第二组图像116中的一个或多个第二图像时激活一组闪光灯单元106中的闪光灯单元的第二子集。可以利用第二组图像116来捕获人310的面部312的微几何皮肤细节和皮肤反射率细节。
图4A图示了根据本公开的实施例的在全向照明条件下捕获的示例图像。结合来自图1、图2和图3的元素来解释图4A。参照图4A，示出了包括第一组图像402的图400A。第一组图像402可以由多个成像设备304在第一时刻生成。第一组图像402可以包括来自对应的多个视点的人310的面部312。第一组图像402中的面部312可以暴露于全向照明。例如，第一图像可以包括面部312的左侧视图，第二图像可以包括面部312的右侧视图，并且第三图像可以包括面部312的前视图。第一组图像402中的图像的数量可以取决于可在第一时刻被控制以捕获第一组图像402的成像设备的数量。通过举例而非限制的方式，成像设备的数量可以是24，并且第一组图像402中的图像的数量可以是24。
图4B图示了根据本公开的实施例的在定向照明条件下捕获的示例图像。结合来自图1、图2、图3和图4A的元素来解释图4B。参照图4B，示出了包括第二组图像404的图400B。第二组图像404可以由多个成像设备304在第二时刻输出。第二组图像404可以包括来自对应的多个视点的人310的面部312。第二组图像404中的面部312可以暴露于定向照明。例如，第一图像可以包括面部312的左侧视图，第二图像可以包括面部312的右侧视图，并且第三图像可以包括面部312的前视图。第二组图像404中的图像的数量可以取决于成像设备的数量。例如，成像设备的数量可以是24，并且第二组图像404中的图像的数量可以是24。
图5A、图5B、图5C和图5D共同图示了根据本公开的实施例的用于3D微几何和反射率建模的示例性操作。参照图5A、图5B、图5C和图5D，示出了框图500，该框图500图示了如本文描述的从502到526的示例性操作。框图500中所示的示例性操作可以在502处开始，并且可以由任何计算系统、装置或设备(诸如由图1的系统102或图2的电路202)来执行。尽管用离散的框来图示，但是与框图500的一个或多个框相关联的示例性操作可以被划分成附加的框、被组合成更少的框或者被消除，这取决于示例性操作的实现方案。
在502处，可以接收多个图像112。根据实施例，电路202可以被配置为从多个成像设备304接收多个图像112。多个图像112可以包括第一组图像402和第二组图像404。如图所示，例如，第一组图像402可以包括第一图像402A、第二图像402B、第三图像402C和第N图像402N。第二组图像404可以包括第一图像404A、第二图像404B、第三图像404C和第N图像404N。第一组图像402和第二组图像404可以包括人310的面部312。第一组图像402中的面部312可以暴露于全向照明，而第二组图像404中的面部312可以暴露于定向照明。
在504处，可以基于所接收的第一组图像402来生成第一3D面部网格504A。根据实施例，电路202可以被配置为基于所接收的第一组图像402来生成第一3D面部网格504A。对于从2D图像3D重建3D面部网格，存在本领域普通技术人员可能已知的许多技术。例如，可以使用基于摄影测量的方法(诸如从运动恢复结构(SfM))、需要立体图像的方法或需要单眼线索的方法(诸如从明暗恢复形状(SfS)、光度立体或从纹理恢复形状(SfT))来生成第一3D面部网格504A。为了简洁起见，已经从本公开中省略了此类技术的细节。
在实施例中，第一3D面部网格504A可以是人310的面部312的原始3D扫描，并且可以包括伪影，诸如尖边(即具有大二面角的边)、尖刺或孔(大尺寸和小尺寸)。为了细化第一3D面部网格504A，可以如本文所述执行一组模型清理操作。
在506处，可以将一组模型清理操作应用于所生成的第一3D面部网格504A以获得细化的第一3D面部网格506A。根据实施例，电路202可以被配置为将一组模型清理操作应用于所生成的第一3D面部网格504A以获得细化的第一3D面部网格506A。在实施例中，该一组模型清理操作可以包括从第一3D面部网格504A中移除不想要的区域、填充第一3D面部网格504A中的小孔(诸如空的空间)以及从第一3D面部网格504A中移除尖刺。
可以移除不想要的区域，诸如第一3D面部网格504A上的不正确的估计的多边形(其可能不是人310的面部312的一部分)。在第一3D面部网格504A中，可能在第一3D面部网格504A中存在少量空的空间或孔(即没有多边形的足够大的空间)。此类孔可能影响第一3D面部网格504A的保真度。因此，例如可以使用可以依赖于与第一3D面部网格504A中的孔接近的节点的布置或几何形状的合适预测方法来移除此类不想要的孔。在一些情况下，对一些位置处的深度的不正确估计可能导致第一3D面部网格504A上不想要的尖刺的生成。电路202可以移除或平滑第一3D面部网格504A上的此类不想要的尖刺以获得细化的第一3D面部网格506A。
在508处，可以基于所接收的第二组图像404来生成第二3D面部网格508A。根据实施例，电路202可以被配置为基于所接收的第二组图像404来生成第二3D面部网格508A。与第一3D面部网格504A类似，可以使用基于摄影测量的方法(诸如从运动恢复结构(SfM))、需要立体图像的方法或需要单眼线索的方法(诸如从明暗恢复形状(SfS)、光度立体或从纹理恢复形状(SfT))来生成第二3D面部网格508A。为了简洁起见，已经从本公开中省略了此类技术的细节。
第二3D面部网格508A可以是人310的面部312的原始3D扫描，并且可以包括一个或多个伪影。根据实施例，还可以细化第二3D面部网格508A。电路202可以基于将(如在506处描述的)一组模型清理操作应用于第二3D面部网格508A来细化所生成的第二3D面部网格508A。
在510处，可以估计细化的第一3D面部网格506A和所生成的第二3D面部网格508A之间的仿射变换。电路202可以被配置为估计细化的第一3D面部网格506A和所生成的第二3D面部网格508A之间的仿射变换。根据实施例，可以基于一组编码的靶标314来估计仿射变换。通过举例而非限制的方式，电路202可以被配置为确定所接收的第一组图像402中一组编码的靶标314的第一位置。电路202还可以确定所接收的第二组图像404中面部312上的一组编码的靶标314的第二位置。可以基于所确定的第一位置和所确定的第二位置的比较来估计仿射变换。
因为细化的第一3D面部网格506A和第二3D面部网格两者最初可能不是刚性对齐的，所以细化的第一3D面部网格506A和第二3D面部网格508A的对应节点之间的差异可能是非零。例如，可以使用L1或L2范数来计算该差异。如图所示，例如，热图510A表示细化的第一3D面部网格506A和所生成的第二3D面部网格508A之间的节点方面的差异。与热图510A的右半部分的点相比，热图510A的左半部分的点表示两个网格的对应节点之间的更大的差异。
在512处，可以将所估计的仿射变换应用于细化的第一3D面部网格506A。根据实施例，电路202可以被配置为将所估计的仿射变换应用于细化的第一3D面部网格506A以生成3D面部网格512A。所生成的3D面部网格512A可以与所生成的第二3D面部网格508A刚性对齐。
仿射变换可以包括旋转和平移值的矩阵(或多个矩阵)。可以基于该矩阵来更新细化的第一3D面部网格506A的相对位置和方位以与第二3D面部网格508A的相对位置和方位相匹配。如图所示，例如，热图510B表示3D面部网格512A和所生成的第二3D面部网格508A之间的节点方面的差异。热图510B的面部区域上的所有点表示3D面部网格512A和所生成的第二3D面部网格508A的对应节点之间的接近零的差异。因此，热图510B指示3D面部网格512A和所生成的第二3D面部网格508A两者可以刚性对齐。
在514处，可以将白平衡操作应用于第二组图像404以生成一组白平衡图像。由于光照变化，面部312的颜色可能在第二组图像404中的不同图像中略微变化。可以应用白平衡操作来校正第二组图像404中的所有或一些图像中面部312的皮肤颜色。根据实施例，电路202可以被配置为将白平衡操作应用于第二组图像404以生成一组白平衡图像。此后，电路202可以通过从该一组白平衡图像中移除镜面信息来获得一组无镜面图像(诸如第一无镜面图像514A和第二无镜面图像514B)。移除镜面信息可以导致从该一组白平衡图像中的人310的面部312中移除高光。可以基于该一组白平衡图像中的每个图像内的颜色信息从红-绿-蓝(RGB)空间到SUV颜色空间的转换来移除镜面信息。可以通过RGB空间的RGB坐标向量的旋转将来自RGB空间的颜色信息转换到SUV颜色空间。
在516处，可以基于所生成的3D面部网格512A来确定面部312的UV坐标贴图。根据实施例，电路202可以被配置为基于所生成的3D面部网格512A来确定面部312的UV坐标贴图。面部312的UV坐标贴图可以是2D UV坐标空间上的3D面部网格512A的表示。此后，电路202可以通过将所述一组无镜面图像(诸如第一无镜面图像514A和第二无镜面图像514B)纹理映射到所确定的UV坐标贴图上来生成面部312的初始纹理贴图。面部312的初始纹理贴图可以包括来自该一组无镜面图像中的面部312的皮肤和/或其他可见部分的纹理信息和颜色信息。可以在UV坐标空间中表示初始纹理贴图，其中“U”和“V”可以是纹理值的2D坐标。
在518处，可以执行一组皮肤反射率建模操作。通过使用所生成的3D面部网格512A和第二组图像404，电路202可以执行如本文描述的一组皮肤反射率建模操作。可以执行此类操作以估计人310的面部312的一组纹理贴图。根据实施例，该一组皮肤反射率建模操作可以包括漫反射建模操作、镜面分离操作和镜面反射建模操作。可以执行漫反射建模操作以生成漫射法线贴图和漫射反照率贴图。可以执行镜面分离操作以生成镜面反射信息分离贴图。可以执行镜面反射建模操作以生成人310的面部312的镜面反照率贴图、镜面法线贴图和粗糙度贴图。
在520处，可以执行漫反射建模操作。在实施例中，电路202可以被配置为对第二组图像404执行漫反射建模操作。可以执行漫反射建模操作以基于面部312的初始纹理贴图(在516处获得的)来生成面部312的漫射法线贴图520A。还可以执行漫反射建模操作以基于初始纹理贴图和所生成的漫射法线贴图520A来生成面部312的漫射反照率贴图520B。漫射反照率贴图520B可以被称为所估计的一组纹理贴图(例如，在518处)中的第一纹理贴图。
在实施例中，漫射法线贴图520A和漫射反照率贴图的生成可以基于Lambertian光照模型。Lambertian光照模型可以由等式(1)表示如下：
Linρ＝ρi (1)
其中n是漫射法线，ρ是漫射反照率，并且LI是光的方向。可以从多个成像设备304中的每一个的预定义的位置和方位来确定光的方向。
在522处，可以执行镜面分离操作。根据实施例，电路202可以被配置为执行镜面分离操作以从第二组图像404中分离镜面反射信息。可以基于所生成的漫射法线贴图520A和所生成的漫射反照率贴图520B来分离镜面反射信息。作为示例示出了包括所分离的镜面反射信息的贴图522A。
在524处，可以执行镜面反射建模操作。根据实施例，电路202可以被配置为对第二组图像404执行镜面反射建模操作。可以执行镜面反射建模操作以生成面部312的镜面法线贴图524A、面部312的镜面反照率贴图524B和面部312的粗糙度贴图524C。可以基于所分离的镜面反射信息(和第二组图像404)来生成镜面法线贴图524A、镜面反照率贴图524B和粗糙度贴图524C。镜面法线贴图524A可以包括第二组图像404中的面部312的光泽和高光信息。镜面反照率贴图524B可以包括面部312的颜色信息，并且可以排除人310的面部312的高光信息和阴影信息。粗糙度贴图524C可以表示人310的面部312的皮肤的粗糙度。粗糙度贴图524C可以被表示为黑白颜色纹理图像。镜面法线贴图524A、镜面反照率贴图524B和粗糙度贴图524C可以被称为(在516处估计的)一组纹理贴图中的第二纹理贴图。第一纹理贴图和第二纹理贴图可以包括人310的面部312的微几何皮肤细节和皮肤反射率细节。
在实施例中，镜面法线贴图524A、镜面反照率贴图524B和粗糙度贴图524C的生成可以基于Blinn-Phong光照模型。Blinn-Phong光照模型可以由等式(2)表示如下：
其中n是镜面法线，ρ是镜面反照率，并且α与表面粗糙度有关。
在526处，可以对所生成的3D面部网格512A进行纹理化。根据实施例，电路202可以被配置为基于所估计的一组纹理贴图对所生成的3D面部网格512A进行纹理化。纹理化可以包括将所估计的一组纹理贴图的纹理信息(包括微几何皮肤细节和皮肤反射率细节)映射到所生成的3D面部网格512A上的操作。根据实施例，所估计的一组纹理贴图可以包括面部312的漫射反照率贴图520B、面部312的镜面法线贴图524A、面部312的镜面反照率贴图524B和面部312的粗糙度贴图524C。微几何皮肤细节可以包括各种皮肤组成部分(诸如毛孔、隆起、雀斑和皱纹)的纹理信息。类似地，皮肤反射率细节可以包括漫反射分量、镜面反射分量、反照率分量和粗糙度分量的信息。纹理化的3D面部模型526A可以包括微几何皮肤细节和皮肤反射率细节两者。因此，纹理化的3D面部模型526A可以被视为人310的面部312的高保真3D模型。
尽管框图500被图示为离散操作，诸如502、504、506、508、510、512、514、516、518、520、522、524和526，但本公开不限于此。因此，在某些实施例中，取决于特定的实现方案，可以在不削弱所公开的实施例的本质的情况下将此类离散操作进一步划分成附加的操作、组合成更少的操作或者消除。
图6是图示根据本公开的实施例的示例性方法3D微几何和反射率建模的流程图。结合来自图1、图2、图3、图4A、图4B、图5A、图5B、图5C和图5D的元素来解释图6。参照图6，示出了流程图600。流程图600中所示的方法可以由任何计算系统(诸如由系统102或电路202)来执行。该方法可以在602处开始并前进到604。
在604处，可以接收可以包括面部312的第一组图像402和面部312的第二组图像404的多个图像112。根据实施例，电路202可以被配置为接收可以包括人310的面部312的第一组图像402和面部312的第二组图像404的多个图像112。第一组图像402中的面部312可以暴露于全向照明，并且第二组图像404中的面部312可以暴露于定向照明。例如，在图3中进一步提供了多个图像112的接收的细节。
在606处，可以基于所接收的多个图像112来生成3D面部网格512A。根据实施例，电路202可以被配置为基于所接收的多个图像112来生成3D面部网格512A。例如，在图5A中进一步提供了3D面部网格512A的生成的细节。
在608处，可以通过使用所生成的3D面部网格512A和第二组图像404来执行一组皮肤反射率建模操作，以估计面部312的一组纹理贴图。根据实施例，电路202可以被配置为通过使用所生成的3D面部网格512A和第二组图像404来执行一组皮肤反射率建模操作，以估计面部312的一组纹理贴图。例如，在图5C和图5D中提供了该一组皮肤反射率建模操作的执行的细节。
在610处，可以基于所估计的一组纹理贴图对所生成的3D面部网格512A进行纹理化。根据实施例，电路202可以被配置为基于所估计的一组纹理贴图对所生成的3D面部网格512A进行纹理化。纹理化可以包括将所估计的一组纹理贴图的纹理信息(包括微几何皮肤细节和皮肤反射率细节)映射到所生成的3D面部网格512A上的操作。例如，在图5D中进一步提供了3D面部网格512A的纹理化的细节。控制可以传递到结束。
尽管流程图600被图示为离散操作，诸如602、604、606、608和610，但本公开不限于此。因此，在某些实施例中，取决于特定的实现方案，可以在不削弱所公开的实施例的本质的情况下将此类离散操作进一步划分成附加的操作、组合成更少的操作或者消除。
本公开的各种实施例可以提供一种在其上存储有可由机器和/或计算机执行以操作系统(诸如系统102)的指令的非暂态计算机可读介质和/或存储介质。这些指令可以使得机器和/或计算机执行可以包括以下的操作：接收可以包括面部(诸如面部110)的第一组图像(诸如第一组图像114)和面部110的第二组图像(诸如第二组图像116)的多个图像(诸如多个图像112)。第一组图像114中的面部110可以暴露于全向照明，并且第二组图像116中的面部110可以暴露于定向照明。所述操作还可以包括基于所接收的多个图像112来生成三维(3D)面部网格(诸如3D面部网格118)。所述操作还可以包括通过使用所生成的3D面部网格118和第二组图像116来执行一组皮肤反射率建模操作以估计面部110的一组纹理贴图。所述操作还可以包括基于所估计的一组纹理贴图对所生成的3D面部网格118进行纹理化。纹理化可以包括将所估计的一组纹理贴图的纹理信息(包括微几何皮肤细节和皮肤反射率细节)映射到所生成的3D面部网格118上的操作。
本公开的示例性方面可以提供一种包括电路(诸如电路202)的系统(诸如图1的系统102)。电路202可以被配置为接收可以包括面部(诸如面部110)的第一组图像(诸如第一组图像114)和面部110的第二组图像(诸如第二组图像116)的多个图像(诸如多个图像112)。第一组图像114中的面部110可以暴露于全向照明，并且第二组图像116中的面部110可以暴露于定向照明。电路202还可以被配置为基于所接收的多个图像112来生成三维(3D)面部网格(诸如3D面部网格118)。电路202还可以被配置为通过使用所生成的3D面部网格118和第二组图像116来执行一组皮肤反射率建模操作以估计面部110的一组纹理贴图。电路202还可以被配置为基于所估计的一组纹理贴图对所生成的3D面部网格118进行纹理化。纹理化可以包括将所估计的一组纹理贴图的纹理信息(包括微几何皮肤细节和皮肤反射率细节)映射到所生成的3D面部网格118上的操作。
根据实施例，系统102还可以包括布置在3D结构(诸如3D结构302)上对应的第一多个位置处的多个成像设备(诸如多个成像设备304)。电路202还可以被配置为控制多个成像设备304从对应的多个视点捕获多个图像112。
根据实施例，系统102还可以包括布置在3D结构302上对应的第二多个位置处的一组闪光灯单元(诸如一组闪光灯单元306)。电路202还可以被配置为在多个成像设备304捕获第一组图像402时并发地激活一组闪光灯单元306。电路202可以在多个成像设备304捕获第二组图像404时以序列模式激活一组闪光灯单元306。
根据实施例，定向照明的光照强度可以大于全向照明的光照强度。
根据实施例，电路202还可以被配置为基于所接收的第一组图像402来生成第一3D面部网格(诸如第一3D面部网格504A)。电路202可以将一组模型清理操作应用于所生成的第一3D面部网格504A以获得细化的第一3D面部网格(诸如细化的第一3D面部网格506A)。电路202还可以基于所接收的第二组图像404来生成第二3D面部网格(诸如第二3D面部网格508A)。电路202可以估计细化的第一3D面部网格506A和所生成的第二3D面部网格508A之间的仿射变换。电路202还可以将所估计的仿射变换应用于细化的第一3D面部网格506A以生成3D面部网格512A。所生成的3D面部网格512A可以与所生成的第二3D面部网格508A刚性对齐。
根据实施例，电路202还可以被配置为确定所接收的第一组图像402中面部312上的一组编码的靶标(诸如一组编码的靶标314)的第一位置。电路202可以确定所接收的第二组图像404中面部312上的一组编码的靶标314的第二位置。电路202还可以基于所确定的第一位置和所确定的第二位置的比较来估计仿射变换。
根据实施例，电路202还可以被配置为将白平衡操作应用于第二组图像404以生成一组白平衡图像。电路202可以通过从该一组白平衡图像中移除镜面信息来获得一组无镜面图像(诸如第一无镜面图像514A和第二无镜面图像514B)。可以基于所接收的第二组图像404中的每个图像内的颜色信息从红-绿-蓝(RGB)空间到SUV颜色空间的转换来移除镜面信息。
根据实施例，电路202还可以被配置为基于所生成的3D面部网格512A来确定面部312的UV坐标贴图。电路202还可以通过将所述一组无镜面图像纹理映射到所确定的UV坐标贴图上来生成面部312的初始纹理贴图。
根据实施例，所述一组皮肤反射率建模操作可以包括漫反射建模操作、镜面分离操作和镜面反射建模操作。
根据实施例，电路202还可以被配置为执行漫反射建模操作以基于初始纹理贴图来生成面部312的漫射法线贴图(诸如漫射法线贴图520A)。电路202还可以基于初始纹理贴图和所生成的漫射法线贴图520A来生成面部312的漫射反照率贴图(诸如漫射反照率贴图520B)。漫射反照率贴图520B可以是所估计的一组纹理贴图中的第一纹理贴图。
根据实施例，电路202还可以被配置为执行镜面分离操作以基于所生成的漫射法线贴图520A和所生成的漫射反照率贴图520B来从第二组图像404中分离镜面反射信息。
根据实施例，电路202还可以被配置为执行镜面反射建模操作以基于所分离的镜面反射信息来生成面部312的镜面反照率贴图(诸如镜面反照率贴图524B)、面部312的镜面法线贴图(诸如镜面法线贴图524A)和面部312的粗糙度贴图(诸如粗糙度贴图524C)。镜面反照率贴图524B、镜面法线贴图524A和粗糙度贴图524C可以是所估计的一组纹理贴图中的第二纹理贴图。
根据实施例，所估计的一组纹理贴图可以包括面部312的漫射反照率贴图520B、面部312的镜面反照率贴图524B、面部312的镜面法线贴图524A和面部312的粗糙度贴图524C。
本公开可以以硬件或者硬件和软件的组合来实现。本公开可以以集中式方式在至少一个计算机系统中实现，或者可以以分布式方式来实现，其中不同的元素可以跨几个互连的计算机系统分布。适用于执行本文描述的方法的计算机系统或其他装置可以是合适的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，该计算机程序在被加载和执行时可以控制计算机系统使得其执行本文描述的方法。本公开可以以包括还执行其他功能的集成电路的一部分的硬件来实现。
本公开还可以被嵌入计算机程序产品中，该计算机程序产品包括使得能够实现本文描述的方法的所有特征，并且在被加载到计算机系统中时能够执行这些方法。在本上下文中，计算机程序意味着一组指令以任何语言、代码或符号方式的任何表达，该一组指令旨在使具有信息处理能力的系统直接执行特定功能，或者在以下中的任何一个或两者之后执行特定功能：a)转换为另一种语言、代码或符号；b)以不同物质形式复制。
虽然参照特定实施例描述了本公开，但是本领域的技术人员应该理解的是，在不脱离本公开的范围的情况下，可以进行各种改变，并且可以替换等同物。此外，可以在不脱离本公开的范围的情况下进行许多修改以使特定情况或材料适应于本公开的教导。因此，不旨在使本公开限于所公开的特定实施例，而是旨在使本公开将包括落入所附权利要求的范围内的所有实施例。

Claims (20)

1.一种系统，包括：
电路，所述电路被配置为：
接收包括面部的第一组图像和所述面部的第二组图像的多个图像，
其中第一组图像中的所述面部暴露于全向照明，并且第二组图像中的所述面部暴露于定向照明；
基于所接收的多个图像来生成三维(3D)面部网格；
通过使用所生成的3D面部网格和第二组图像来执行一组皮肤反射率建模操作以估计所述面部的一组纹理贴图；以及
基于所估计的一组纹理贴图对所生成的3D面部网格进行纹理化，
其中纹理化包括将所估计的一组纹理贴图的纹理信息映射到所生成的3D面部网格上的操作，所述纹理信息包括微几何皮肤细节和皮肤反射率细节。
2.根据权利要求1所述的系统，还包括布置在3D结构上对应的第一多个位置处的多个成像设备，其中所述电路还被配置为控制所述多个成像设备从对应的多个视点捕获所述多个图像。
3.根据权利要求2所述的系统，还包括布置在所述3D结构上对应的第二多个位置处的一组闪光灯单元，其中所述电路还被配置为：
在所述多个成像设备捕获第一组图像时并发地激活所述一组闪光灯单元；以及
在所述多个成像设备捕获第二组图像时以序列模式激活所述一组闪光灯单元。
4.根据权利要求1所述的系统，其中所述定向照明的光照强度大于所述全向照明的光照强度。
5.根据权利要求1所述的系统，其中所述电路还被配置为：
基于所接收的第一组图像来生成第一3D面部网格；
将一组模型清理操作应用于所生成的第一3D面部网格以获得细化的第一3D面部网格；
基于所接收的第二组图像来生成第二3D面部网格；
估计所述细化的第一3D面部网格和所生成的第二3D面部网格之间的仿射变换；以及
将所估计的仿射变换应用于所述细化的第一3D面部网格以生成所述3D面部网格，
其中所生成的3D面部网格与所生成的第二3D面部网格刚性对齐。
6.根据权利要求5所述的系统，其中所述电路还被配置为：
确定所接收的第一组图像中所述面部上的一组编码的靶标的第一位置；
确定所接收的第二组图像中所述面部上的所述一组编码的靶标的第二位置；以及
基于所确定的第一位置和所确定的第二位置的比较来估计所述仿射变换。
7.根据权利要求1所述的系统，其中所述电路还被配置为：
将白平衡操作应用于第二组图像以生成一组白平衡图像；以及
通过从所述一组白平衡图像中移除镜面信息来获得一组无镜面图像，
其中基于所接收的第二组图像中的每个图像内的颜色信息从红-绿-蓝(RGB)空间到SUV颜色空间的转换来移除所述镜面信息。
8.根据权利要求7所述的系统，其中所述电路还被配置为：
基于所生成的3D面部网格来确定所述面部的UV坐标贴图；以及
通过将所述一组无镜面图像纹理映射到所确定的UV坐标贴图上来生成所述面部的初始纹理贴图。
9.根据权利要求8所述的系统，其中所述一组皮肤反射率建模操作包括漫反射建模操作、镜面分离操作和镜面反射建模操作。
10.根据权利要求9所述的系统，其中所述电路被配置为执行所述漫反射建模操作以：
基于所述初始纹理贴图来生成所述面部的漫射法线贴图；以及
基于所述初始纹理贴图和所生成的漫射法线贴图来生成所述面部的漫射反照率贴图，
其中所述漫射反照率贴图是所估计的一组纹理贴图中的第一纹理贴图。
11.根据权利要求10所述的系统，其中所述电路被配置为执行所述镜面分离操作以基于所生成的漫射法线贴图和所生成的漫射反照率贴图来从第二组图像中分离镜面反射信息。
12.根据权利要求11所述的系统，其中所述电路被配置为执行所述镜面反射建模操作以基于所分离的镜面反射信息来生成所述面部的镜面反照率贴图、所述面部的镜面法线贴图和所述面部的粗糙度贴图，并且
其中所述镜面反照率贴图、所述镜面法线贴图和所述粗糙度贴图是所估计的一组纹理贴图中的第二纹理贴图。
13.根据权利要求1所述的系统，其中所估计的一组纹理贴图包括所述面部的漫射反照率贴图、所述面部的镜面反照率贴图、所述面部的镜面法线贴图和所述面部的粗糙度贴图。
14.一种方法，包括：
接收包括面部的第一组图像和所述面部的第二组图像的多个图像，
其中第一组图像中的所述面部暴露于全向照明，并且第二组图像中的所述面部暴露于定向照明；
基于所接收的多个图像来生成三维(3D)面部网格；
通过使用所生成的3D面部网格和第二组图像来执行一组皮肤反射率建模操作以估计所述面部的一组纹理贴图；以及
基于所估计的一组纹理贴图对所生成的3D面部网格进行纹理化，
其中纹理化包括将所估计的一组纹理贴图的纹理信息映射到所生成的3D面部网格上的操作，所述纹理信息包括微几何皮肤细节和皮肤反射率细节。
15.根据权利要求14所述的方法，还包括控制布置在3D结构上对应的第一多个位置处的多个成像设备从对应的多个视点捕获所述多个图像。
16.根据权利要求15所述的方法，还包括：
在所述多个成像设备捕获第一组图像时并发地激活布置在所述3D结构上对应的第二多个位置处的一组闪光灯单元；以及
在所述多个成像设备捕获第二组图像时以序列模式激活所述一组闪光灯单元。
17.根据权利要求14所述的方法，还包括：
基于所接收的第一组图像来生成第一3D面部网格；
将一组模型清理操作应用于所生成的第一3D面部网格以获得细化的第一3D面部网格；
基于所接收的第二组图像来生成第二3D面部网格；
估计所述细化的第一3D面部网格和所生成的第二3D面部网格之间的仿射变换；以及
将所估计的仿射变换应用于所述细化的第一3D面部网格以生成所述3D面部网格，
其中所生成的3D面部网格与所生成的第二3D面部网格刚性对齐。
18.根据权利要求17所述的方法，还包括：
确定所接收的第一组图像中所述面部上的一组编码的靶标的第一位置；
确定所接收的第二组图像中所述面部上的所述一组编码的靶标的第二位置；以及
基于所确定的第一位置和所确定的第二位置的比较来估计所述仿射变换。
19.根据权利要求14所述的方法，其中所估计的一组纹理贴图包括所述面部的漫射反照率贴图、所述面部的镜面反照率贴图、所述面部的镜面法线贴图和所述面部的粗糙度贴图。
20.一种在其上存储有计算机可执行指令的非暂态计算机可读介质，所述计算机可执行指令在由系统执行时使所述系统执行操作，所述操作包括：
接收包括面部的第一组图像和所述面部的第二组图像的多个图像，
其中第一组图像中的所述面部暴露于全向照明，并且第二组图像中的所述面部暴露于定向照明；
基于所接收的多个图像来生成三维(3D)面部网格；
通过使用所生成的3D面部网格和第二组图像来执行一组皮肤反射率建模操作以估计所述面部的一组纹理贴图；以及
基于所估计的一组纹理贴图对所生成的3D面部网格进行纹理化，
其中纹理化包括将所估计的一组纹理贴图的纹理信息映射到所生成的3D面部网格上的操作，所述纹理信息包括微几何皮肤细节和皮肤反射率细节。
CN202280007356.0A 2021-06-08 2022-06-03 3d微几何和反射率建模 Pending CN116457836A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/342,058 US11694385B2 (en) 2021-06-08 2021-06-08 3D microgeometry and reflectance modeling
US17/342,058 2021-06-08
PCT/IB2022/055207 WO2022259110A1 (en) 2021-06-08 2022-06-03 3d microgeometry and reflectance modeling

Publications (1)

Publication Number Publication Date
CN116457836A true CN116457836A (zh) 2023-07-18

Family

ID=82156641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280007356.0A Pending CN116457836A (zh) 2021-06-08 2022-06-03 3d微几何和反射率建模

Country Status (5)

Country Link
US (1) US11694385B2 (zh)
EP (1) EP4327291A1 (zh)
KR (1) KR20230116904A (zh)
CN (1) CN116457836A (zh)
WO (1) WO2022259110A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11663775B2 (en) * 2021-04-19 2023-05-30 Adobe, Inc. Generating physically-based material maps

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4144556A (en) * 1978-01-23 1979-03-13 Bond George S Omni-directional photographic illumination apparatus
DE19725633C1 (de) * 1997-06-17 1998-12-17 Zentrum Fuer Neuroinformatik G Verfahren und Anordnung zur Analyse der Beschaffenheit einer Oberfläche
US6950104B1 (en) * 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
US8264490B2 (en) * 2008-01-31 2012-09-11 University Of Southern California Practical modeling and acquisition of layered facial reflectance
US9123116B2 (en) 2011-04-19 2015-09-01 University Of Southern California Multiview face capture using polarized spherical gradient illumination
US10469831B2 (en) * 2002-06-07 2019-11-05 University Of Southern California Near-instant capture of high-resolution facial geometry and reflectance
GB2458927B (en) * 2008-04-02 2012-11-14 Eykona Technologies Ltd 3D Imaging system
US8315461B2 (en) 2010-01-25 2012-11-20 Apple Inc. Light source detection from synthesized objects
US9593982B2 (en) * 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9769392B1 (en) * 2014-06-27 2017-09-19 Amazon Technologies, Inc. Imaging system for addressing specular reflection
US10217286B1 (en) * 2015-09-21 2019-02-26 Amazon Technologies, Inc. Realistic rendering for virtual reality applications
GB2544725A (en) * 2015-11-03 2017-05-31 Fuel 3D Tech Ltd Systems and methods for forming models of a three-dimensional objects
GB2544460A (en) * 2015-11-03 2017-05-24 Fuel 3D Tech Ltd Systems and methods for generating and using three-dimensional images
US11217009B2 (en) * 2015-11-30 2022-01-04 Photopotech LLC Methods for collecting and processing image information to produce digital assets
US10818038B2 (en) * 2018-09-10 2020-10-27 Disney Enterprises, Inc. Techniques for capturing dynamic appearance of skin
US10847117B1 (en) * 2019-05-13 2020-11-24 Adobe Inc. Controlling an augmented reality display with transparency control using multiple sets of video buffers
CN110428491B (zh) 2019-06-24 2021-05-04 北京大学 基于单帧图像的三维人脸重建方法、装置、设备及介质

Also Published As

Publication number Publication date
EP4327291A1 (en) 2024-02-28
KR20230116904A (ko) 2023-08-04
US11694385B2 (en) 2023-07-04
WO2022259110A1 (en) 2022-12-15
US20220392141A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
JP7362044B2 (ja) 修正されたシェイプフロムシェーディング（ｓｆｓ）スキームを使用した三角形３次元メッシュの形状改善
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
JP6612266B2 (ja) ３ｄモデルのレンダリング方法および装置ならびに端末デバイス
US11839820B2 (en) Method and apparatus for generating game character model, processor, and terminal
US20120113106A1 (en) Method and apparatus for generating face avatar
KR101885090B1 (ko) 영상 처리 장치, 조명 처리 장치 및 그 방법
CN109636890B (zh) 纹理融合方法和装置、电子设备、存储介质、产品
CN113826144B (zh) 使用单幅彩色图像和深度信息的面部纹理贴图生成
CN107480615B (zh) 美颜处理方法、装置及移动设备
CN116457836A (zh) 3d微几何和反射率建模
US10460503B2 (en) Texturing of a three-dimensional (3D) model by UV map in-painting
US11645800B2 (en) Advanced systems and methods for automatically generating an animatable object from various types of user input
JP2020053034A (ja) 歪みが低減された物体の３次元再構成を生成するための方法及び装置
CN110838167B (zh) 模型的渲染方法、装置和存储介质
US20220012476A1 (en) Online calibration of 3d scan data from multiple viewpoints
US9704272B2 (en) Motion blur using cached texture space blur
CN106780702B (zh) 一种基于物理着色的方法及系统
JP2024521119A (ja) ３ｄマイクロジオメトリ及び反射率モデリング
US20240127529A1 (en) Generation of reflectance maps for relightable 3d models
RU2778288C1 (ru) Способ и устройство для определения освещенности изображения лица, устройство и носитель данных
US11830140B2 (en) Methods and systems for 3D modeling of an object by merging voxelized representations of the object
WO2024109006A1 (zh) 一种光源剔除方法及渲染引擎
EP4258221A2 (en) Image processing apparatus, image processing method, and program
JP2021152789A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination