CN115981467A - 一种图像合成参数确定方法、图像合成方法及装置 - Google Patents

一种图像合成参数确定方法、图像合成方法及装置 Download PDF

Info

Publication number
CN115981467A
CN115981467A CN202211687713.0A CN202211687713A CN115981467A CN 115981467 A CN115981467 A CN 115981467A CN 202211687713 A CN202211687713 A CN 202211687713A CN 115981467 A CN115981467 A CN 115981467A
Authority
CN
China
Prior art keywords
glasses
brightness
virtual
image
face model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211687713.0A
Other languages
English (en)
Other versions
CN115981467B (zh
Inventor
龙翔
任俞睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202211687713.0A priority Critical patent/CN115981467B/zh
Publication of CN115981467A publication Critical patent/CN115981467A/zh
Application granted granted Critical
Publication of CN115981467B publication Critical patent/CN115981467B/zh
Priority to PCT/CN2023/132907 priority patent/WO2024139847A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开提供一种图像合成参数确定方法、图像合成方法及装置，所述方法包括：在虚拟光源的辅助下利用所述虚拟图像采集设备获取虚拟面部模型的亮度参数；基于所述虚拟面部模型佩戴眼镜前后的所述虚拟面部模型的亮度参数变化确定所述眼镜对应的亮度衰减参数。本公开仅利用虚拟面部模型数据即可获得眼镜佩戴图像的合成参数，然后合成大量不同眼镜样式和佩戴位置下的戴眼镜图像，从而减少数据采集成本，并且所合成的戴眼镜图像更具有真实效果。

Description

一种图像合成参数确定方法、图像合成方法及装置
技术领域
本公开涉及计算机技术领域，尤其涉及一种图像合成参数确定方法、图像合成方法及装置。
背景技术
相关技术中针对面部图像生成技术已经较为成熟，但现有技术大多针对远距离拍摄时的全脸图像进行面部生成，在这种情况下，眼睛部位的区域占整张图像的区域较小，因此，眼镜带来的成像影响较小，故不需要对眼睛部位的图像进行过多的处理。
目前，随着VR设备在现实生活中的应用越来越广泛，并且在VR设备内部增加了对眼部区域拍摄的摄像头，用于捕捉眼部的细节动作。当用户佩戴眼镜后在佩戴VR设备时，摄像头一般是透过眼镜拍摄眼部区域的，由于拍摄距离较近，眼镜镜片的带来的光路变化(例如折射)会对成像效果造成巨大的影响。对于该问题，目前还没有一种较好的方法来合成近眼拍摄条件下的戴眼镜面部图像。
发明内容
根据本公开的一方面，提供了一种图像合成参数确定方法，包括：
在虚拟光源的辅助下利用所述虚拟图像采集设备获取虚拟面部模型的亮度参数；
基于所述虚拟面部模型佩戴眼镜前后的所述虚拟面部模型的亮度参数变化确定所述眼镜对应的亮度衰减参数。
根据本公开的另一方面，提供了一种图像合成方法，包括：
获取裸眼图像，确定裸眼图像对应眼镜图像的眼镜透光区域、非眼镜区域和眼镜佩戴参数；
基于所述眼镜对应的亮度衰减参数对所述眼镜透光区域的亮度和所述非眼镜区域的亮度进行修正，获得修正后裸眼图像；
基于所述眼镜佩戴参数和所述修正后裸眼图像，得到眼镜佩戴图像，所述亮度衰减系数表征了在虚拟光源的辅助下利用虚拟图像采集设备采集的佩戴眼镜前后虚拟面部模型的亮度参数变化。
根据本公开的另一方面，提供了一种图像合成参数确定装置，包括：
获取模块，用于在虚拟光源的辅助下利用所述虚拟图像采集设备获取虚拟面部模型的亮度参数；
确定模块，用于基于所述虚拟面部模型佩戴眼镜前后的所述虚拟面部模型的亮度参数变化确定所述眼镜对应的亮度衰减参数。
根据本公开的另一方面，提供了一种图像合成装置，包括：
确定模块，用于获取裸眼图像，确定裸眼图像对应眼镜图像的眼镜透光区域、非眼镜区域和眼镜佩戴参数；
修正模块，用于基于所述眼镜对应的亮度衰减参数对所述眼镜透光区域的亮度和所述非眼镜区域的亮度进行修正，获得修正后裸眼图像；
渲染模块，用于基于所述眼镜佩戴参数和所述修正后裸眼图像，得到眼镜佩戴图像，所述亮度衰减系数表征了在虚拟光源的辅助下利用虚拟图像采集设备采集的佩戴眼镜前后虚拟面部模型的亮度参数变化。
根据本公开的另一方面，提供了一种电子设备，包括：
处理器；以及，
存储程序的存储器；
其中，程序包括指令，指令在由处理器执行时使处理器执行根据本公开示例性实施例所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据本公开示例性实施例所述的方法。
本公开示例性实施例中提供的一个或多个技术方案，在虚拟光源的辅助下利用虚拟图像采集设备获取虚拟面部模型的亮度参数，而在佩戴眼镜前虚拟面部模型实质为裸眼虚拟面部图像，不管是照射在虚拟面部模型的光线还是从虚拟面部模型反射的光线，其均不会经过眼镜，因此，在佩戴眼镜前获取到的虚拟面部模型的亮度参数不受眼镜干扰，在佩戴眼镜后，不管是照射在虚拟面部模型的光线还是从虚拟面部模型反射的光线，其均需要经过眼镜，而在佩戴眼镜后获取到的虚拟面部模型的亮度参数受到眼镜干扰。基于此，基于虚拟面部模型佩戴眼镜前后的虚拟面部模型的亮度参数变化确定眼镜对应的亮度衰减参数。
可见，本公开示例性实施例的方法在确定图像合成参数的过程中，可以打开虚拟光源，利用虚拟图像采集设备采集获取虚拟面部模型的亮度参数，进而对比虚拟面部模型佩戴眼镜前后亮度参数的变化，确定眼镜对应的亮度衰减参数。因此，本公开仅需要利用虚拟面部模型数据即可获得眼镜佩戴图像的合成参数，然后合成大量不同眼镜样式和佩戴位置下的眼镜佩戴图像，从而减少数据采集成本，并且所合成的眼镜佩戴图像更具有真实效果，特别是对于近眼场景而言，本公开示例性实施例的方法合成的眼镜佩戴图像可以较为真实的反映出眼镜镜片带来的光路变化及光强变化。
附图说明
在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
图1示出了本公开示例性实施例的图像合成参数确定方法的流程图；
图2A示出了本公开示例性实施例的虚拟面部模型佩戴眼镜前的光线示意图；
图2B示出了本公开示例性实施例的虚拟面部模型佩戴眼镜后的光线示意图；
图3A示出的第一成像亮度参数在佩戴眼镜前的采集原理架构示意图；
图3B示出的第一成像亮度参数在佩戴眼镜后的采集原理架构示意图；
图4A示出的第二成像亮度参数在佩戴眼镜前的采集原理架构示意图；
图4B示出的第二成像亮度参数在佩戴眼镜后的采集原理架构示意图；
图5示出了本公开示例性实施例的图像合成方法的流程图；
图6A示出了本公开示例性实施例的图像合成前的显示界面示意图；
图6B示出了本公开示例性实施例的图像合成图像后的显示界面示意图；
图7示出了本公开示例性实施例的图像合成参数确定装置的模块示意性框图；
图8示出了本公开示例性实施例的一种图像合成装置的模块示意性框图；
图9示出了本公开示例性实施例的芯片的示意性框图；
图10示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
在介绍本公开实施例之前首先对本公开实施例中涉及到的相关名词作如下释义：
虚拟现实设备(Virtual Reality，缩写为VR)，又称虚拟实境或灵境技术，是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术，其基本实现方式是以计算机技术为主，利用并综合三维图形技术、多媒体技术、仿真技术、显示技术、伺服技术等多种高科技的最新发展成果，借助计算机等设备产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界，从而使处于虚拟世界中的人产生一种身临其境的感觉。随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域。
可变性人脸模型(Three-dimensional Morphable Face Model，缩写为3DMM)是一种人脸形状和外观的统计模型，首先利用高精度一起扫描多组人脸三维(Three-dimensional，3D)数据,并进行对齐.之后利用主成分分析法(Principal ComponentAnalysis，PCA)从这些三维形状和颜色数据中得到更低维的子空间，可变性体现在可以在这些PCA子空间进行组合变形,将一个人脸的特性转移到另外一个人脸,或者生成新的人脸。
光学仿真：光学仿真软件是先进的、且符合工业标准的分析、优化、公差分析功能软件，能够快速准确的完成光学成像及照明设计，为光学设计人员提供了无与伦比的性能，灵活性，速度和准确性，利用光学仿真软件可以模拟照明设备进行光学参数的分析。
全连接层(fully-connected layer)是分类器，可以将特征提取得到的高维特征图映射成一维特征向量。该一维特征向量包含所有特征信息，可以转化为最终分类的各类别的概率。
反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，在训练神经网络过程中，可以采用反向传播算法修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。
Inpainting网络模型，指图像修复(Image Inpainting)网络模型，旨在恢复残缺图像中损坏部分的像素特征，在许多计算机视觉应用领域中发挥关键作用。基于深度学习的图像修复技术是当前的一大研究热点。
相关技术中，大部分图像生成技术都是考虑生成拍摄距离较远情况下的全脸图像，在这种拍摄距离下，眼镜带来的成像影响较小，不需要做单独的处理。随着VR设备的普及，VR内部增加了对眼部区域拍摄的摄像头，用于捕捉眼部动作。戴眼镜用户在佩戴VR设备时，摄像头一般是穿过眼镜拍摄眼部区域，由于拍摄距离较近，眼镜表面的反光和折射会对成像效果造成巨大的影响。
针对上述问题，本公开示例性实施例提供一种图像合成参数确定方法及图像合成方法，以通过图像合成参数确定方法确定眼镜对应的亮度衰减参数，从而在图像合成过程中，利用该亮度衰减参数修正裸眼图像，从而保证合成图像可以呈现接近真实的眼镜佩戴效果，该方法耗时短，效率高，节省成本，可以为用户提供各种样式眼镜的佩戴效果，无需用户实际佩戴眼镜，从而提高了用户使用体验。
本公开示例性实施例的方法可以应用在电子设备上，该电子设备可以安装有图像处理软件、三维建模引擎等各种图像软件，如虚幻引擎等捏脸引擎，还可以安装光学仿真软件，用于进行光学仿真。
上述电子设备可以为智能手机(如Android手机、iOS手机)、可穿戴设备、AR(增强现实)\VR(虚拟现实)设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices，MID)等使用闪存存储器件的设备等。该电子设备可以安装有摄像头，其可以采集任何场景的图像，例如纯黑场景、带有光源的场景等，该摄像头可以为单目摄像头、双目摄像头等，其所采集的图像可以为灰度图、彩色图、红外图、紫外成像图、热成像图等，但不仅限于此。
本公开示例性实施例的图像合成参数确定方法的执行主体为电子设备或应用在电子设备中的芯片，下面结合附图详细说明本公开示例性实施例的方法。
图1示出了本公开示例性实施例的图像合成参数确定方法的流程图。如图1所示，本公开示例性实施例的图像合成参数确定方法包括：
步骤101：在虚拟光源的辅助下利用虚拟图像采集设备获取虚拟面部模型的亮度参数。应理解，虚拟图像采集设备可以为虚拟相机、虚拟VR设备或者其它可能的虚拟图像采集设备，虚拟光源可以选择点光源，如发光二极管(Light Emitting Diode，缩写为LED)光源、有机发光二极管(Organic Light-Emitting Diode，OLED)光源，还可以选择线光源，面光源等覆盖面积较广的光源等。
在实际应用中，从虚拟面部模型的表情来说，可以为无表情的虚拟面部模型，也可以为带有表情的虚拟面部模型，带有表情的虚拟面部模型可以为带有微笑表情的虚拟面部模型，也可以为带有惊讶表情的面部表情，也可以为各种情绪下的表情状态。
上述虚拟面部模型可以基于一个参数化的可控的三维面部模型生成系统(比如人脸3D形变统计模型系统)，随机生成一个正常面部模型，表情可以设置为睁眼状态或者闭眼状态的随机表情，也可以另外设置面部表情，使得眼部状态呈现更多的情绪。当然，还可以在虚拟引擎的数据库获取虚拟角色模型，并通过设置驱动参数驱动虚拟角色面部表情，从而使得眼部呈现所需的状态，反映所需的情绪。
步骤102：基于虚拟面部模型佩戴眼镜前后的虚拟面部模型的亮度参数变化确定眼镜对应的亮度衰减参数。此时，图像合成参数包括亮度衰减参数，虚拟面部模型可以为虚拟人脸面部模型，也可以其它虚拟动物面部模型，此处不作限定。
图2A示出了本公开示例性实施例的虚拟面部模型佩戴眼镜前的光线示意图。如图2A所示，虚拟面部模型佩戴眼镜前的光线示意图200中虚拟光源202发出的光线照射可以在虚拟面部模型201的各个部位，例如：第一束光线L1照射在眼部，第二束光线L2照射在虚拟面部模型的额头。可见，在佩戴眼镜前虚拟面部模型实质为裸眼虚拟面部图像，不管是照射在虚拟面部模型的光线还是从虚拟面部模型反射的光线，其均不会经过眼镜，光线不发生光路变化，因此，在佩戴眼镜前获取到的虚拟面部模型的亮度参数不受眼镜干扰。
图2B示出了本公开示例性实施例的虚拟面部模型佩戴眼镜后的光线示意图。如图2B所示，当佩戴眼镜203后，第一束光线会经过眼镜203，第一束光线的反射光线也会经过眼镜。对比图2A和图2B可知，在同一入射光线入射条件下配戴眼镜前后的光路不相同，可见，在佩戴眼镜后，不管是照射在虚拟面部模型的光线还是从虚拟面部模型反射的光线，其均需要经过眼镜，而光线经过眼镜时会因为眼镜发生光学畸变，因此，在佩戴眼镜后获取到的虚拟面部模型的亮度参数受到眼镜干扰。基于此，基于虚拟面部模型佩戴眼镜前后的虚拟面部模型的亮度参数变化确定眼镜对应的亮度衰减参数。
可见，本公开示例性实施例的方法在确定图像合成参数的过程中，可以打开虚拟光源，利用虚拟图像采集设备采集获取虚拟面部模型的亮度参数，进而对比虚拟面部模型佩戴眼镜前后亮度参数的变化，确定眼镜对应的亮度衰减参数。因此，本公开仅利用虚拟面部模型数据即可获得眼镜佩戴图像的合成参数，然后合成大量不同眼镜样式和佩戴位置下的眼镜佩戴图像，从而减少数据采集成本，并且所合成的眼镜佩戴图像更具有真实效果。
在一种可选方式中，考虑到佩戴眼镜后，成像位置会发生变化，本公开示例性实施例还可以包括：基于虚拟图像采集设备和虚拟面部模型的相对位置，确定虚拟面部模型未佩戴眼镜时的二维采样位置以及与二维采样位置匹配的位于虚拟面部模型的三维采样位置，基于眼镜的光学参数调整虚拟面部模型未佩戴眼镜时的二维采样位置，获得佩戴眼镜时的二维采样位置，基于位于虚拟面部模型的三维采样位置在佩戴眼镜前后的二维采样位置的变化，确定与亮度衰减参数具有匹配关系的图像畸变参数。此时，图像合成参数还可以包括图像畸变参数，其可以用于调整佩戴眼镜前后的成像位置。
在实际应用中，在佩戴眼镜前，可以按照真实设备和人脸的相对位置，放置虚拟相机和虚拟人脸模型，从而确定虚拟相机和虚拟人脸模型的相对位置，该虚拟人脸模型可以带有虚拟VR眼镜。然后基于虚拟相机和虚拟面部模型的相对位置关系，可以获取虚拟面部模型的二维面部图像。在此基础上，对二维面部图像进行网格化划分，从而获取到大量二维网格点位，也就是多个二维采样位置(也就是二维成像点)。
根据光学成像原理，每个二维采样位置均对应存在三维采样位置(即三维空间位置)，因此，可以从沿着每个二维面部图像中的二维采样位置和相机光心做出一条直线，该直线与虚拟面部模型相交的位置即为三维采样位置。当然，也可以采用虚拟图像采集设备的相机内参和相机外参计算每个二维面部图像中的二维采样位置对应的三维采样位置，从而获得一批三维采样位置。应理解，如果虚拟人脸模型带有虚拟VR眼镜，通过虚拟图像采集设备采集的二维面部图像中可能同时包括面部区域和虚拟VR眼镜区域，若二维采样位置位于二维面部图像中的面部区域，则三维采样位置可以位于虚拟人脸模型上，若二维采样位置位于二维面部图像中的虚拟VR眼镜区域，则三维采样位置可以位于虚拟VR眼镜的局部。
在佩戴眼镜和不佩戴眼镜两种情况下，同一三维采样位置P在物理成像平面成像位置不同，基于此，将位于虚拟面部模型的三维采样位置和眼镜模型输入到光学仿真系统中(该光学仿真系统仅仿真眼镜带来的折射和亮度衰减，忽略眼镜内外表面的一些反射导致的光晕、光斑等)。对虚拟面部模型佩戴眼镜后该三维采样位置P在二维面部图像的成像位置发生的变化进行仿真，将加上眼镜前该三维采样位置P在二维面部图像的成像位置记录为P'1，将加上眼镜后发生变化的成像位置记录为P'2，即可得到未佩戴眼镜时三维采样位置P对应的二维采样位置经过眼镜畸变后由P'1移动至P'2位置，基于此可确定图像畸变参数。
而且，本公开示例性实施例中可以采用采样三维空间位置作为采样位置，从而根据畸变后图像的每个像素所对应的原始像素位置，从而得到该图像中每个像素的亮度衰减参数和图像畸变参数。
在一种可选方式中，本公开示例性实施例的虚拟面部模型的亮度参数可以包括：位于虚拟面部模型的虚拟图像采集设备采集的虚拟光源的第一成像亮度参数。此时亮度衰减参数至少包括第一亮度衰减系数，第一亮度衰减系数由佩戴眼镜前后的第一成像亮度参数确定，例如第一亮度衰减系数可以是佩戴眼镜前后的第一成像亮度参数的差值，或者第一亮度衰减系数也可以是基于该差值确定得到。
上述虚拟光源发射的光线照射在虚拟面部模型时，虚拟光源发射的光线可以看作是环境光照射在虚拟面部模型上的光线。而虚拟采集设备所采集的第一成像亮度参数，则可以看作是照射在虚拟面部模型上的光线亮度。基于此，第一亮度衰减系数可以反映佩戴眼镜前后环境光源照射在虚拟面部模型上的光线亮度变化。
本公开示例性实施例在虚拟光源的辅助下利用虚拟图像采集设备获取虚拟面部模型的亮度参数时，在虚拟面部模型的位置绑定虚拟图像采集设备，在虚拟光源照射虚拟面部模型的情况下，基于虚拟图像采集设备获取第一成像亮度参数。为了方便理解第一成像亮度参数的获取过程，下面结合图3A示出的第一成像亮度参数在佩戴眼镜前的采集原理架构示意图和图3B示出的第一成像亮度参数在佩戴眼镜后的采集原理架构示意图分别进行描述。
如图3A所示，本公开示例性实施例的采集原理架构300在佩戴眼镜前包括虚拟图像采集设备301、虚拟光源302和物理成像平面303。虚拟图像采集设备301可以放置在图3A所示的虚拟面部模型的空间点P(如眼角部位)。应理解，如果虚拟面部模型带有VR眼镜，则该虚拟光源302可以为VR眼镜上所携带的LED光源。当虚拟光源302向P点发出光线时，可以被虚拟图像采集设备301捕捉，并在物理成像平面303形成成像点P'1，此时，成像点P'1所在像素的灰阶值为佩戴眼镜前的第一成像亮度参数。
如图3B所示，本公开示例性实施例的采集原理架构300在佩戴眼镜的情况下包括虚拟图像采集设备301、虚拟光源302、眼镜304和物理成像平面303。虚拟图像采集设备301可以放置在图3B所示的虚拟面部模型的空间点P，当虚拟光源302向P点发出光线时，可以被虚拟图像采集设备301捕捉，并在物理成像平面303形成成像点P'2，此时，成像点P'2所在像素的灰阶值为佩戴眼镜304后的第一成像亮度参数。
本公开示例性实施例的虚拟面部模型的亮度参数还可以包括：虚拟面部模型的亮度参数包括位于虚拟面部模型的虚拟光源在虚拟图像采集设备的第二成像亮度参数。此时，亮度衰减参数还可以包括第二亮度衰减系数，第二亮度衰减系数由佩戴眼镜前后的第二成像亮度参数确定，例如第二亮度衰减系数可以是佩戴眼镜前后的第二成像亮度参数的差值，或者第二亮度衰减系数也可以是基于该差值确定得到。
上述虚拟面部模型上的虚拟光源发射的光线时，虚拟光源发射的光线可以看作是虚拟面部模型反射的光线。而虚拟采集设备所采集的第二成像亮度参数，则可以看作虚拟面部模型反射的光线亮度。基于此，第二亮度衰减系数可以反映佩戴眼镜前后虚拟面部模型反射的光线在环境中的亮度变化。
本公开示例性实施例在虚拟光源的辅助下利用虚拟图像采集设备获取虚拟面部模型的亮度参数时，在虚拟面部模型绑定虚拟光源，在虚拟面部模型向环境发射光线的情况下，基于虚拟图像采集设备获取第二成像亮度参数。为了方便理解第二成像亮度参数的获取过程，下面结合图4A示出的第二成像亮度参数在佩戴眼镜前的采集原理架构示意图和图4B示出的第二成像亮度参数在佩戴眼镜后的采集原理架构示意图分别进行描述。
如图4A所示，本公开示例性实施例的采集原理架构400在佩戴眼镜前包括虚拟图像采集设备401、虚拟光源402和物理成像平面403。虚拟光源402可以放置在图4A所示的虚拟面部模型的空间点Q(如眼角部位)。当虚拟光源402向虚拟图像采集设备401发出光线时，可以被虚拟图像采集设备401捕捉，并在物理成像平面403形成成像点Q'1，此时，成像点Q'1所在像素的灰阶值为佩戴眼镜前的第二成像亮度参数。应理解，虚拟面部模型和虚拟图像采集设备之间的相对位置可以参考图2A所示，以保证此时所获得的第二成像亮度参数与图像畸变参数匹配。
如图4B所示，本公开示例性实施例的采集原理架构400在佩戴眼镜的情况下包括虚拟图像采集设备401、虚拟光源402、眼镜404和物理成像平面403。虚拟光源402可以放置在图4B所示的虚拟面部模型的空间点Q，当虚拟光源302向图像采集设备401发出光线时，可以被虚拟图像采集设备401捕捉，并在物理成像平面403形成成像点Q'2，此时，成像点Q'2所在像素的灰阶值为佩戴眼镜后的第二成像亮度参数。应理解，虚拟面部模型和虚拟图像采集设备之间的相对位置可以参考图2B所示，以保证此时所获得的第二成像亮度参数与图像畸变参数匹配。
在一种可选方式中，本公开示例性实施例的眼镜佩戴姿态和眼镜纹理之间具有匹配关系，以保证在图像合成过程中，可以根据实际需要，选择一定佩戴方式或者眼镜样式，合成满足用户需求的眼镜佩戴图像。
在实际应用中，对于眼镜的佩戴不仅仅局限于眼镜中透光区域的参数，还与眼镜的佩戴姿势以及镜框的纹理有关，并且亮度衰减参数、图像畸变参数、眼镜佩戴姿态和眼镜类型之间具有匹配关系。
在确定佩戴眼镜前后的亮度参数后，可以获取到不同佩戴姿态下的亮度衰减参数、图像畸变参数以及眼镜佩戴姿态。基于此，可以将该佩戴姿态参数与亮度衰减参数以及图像畸变参数进行绑定，使得在图像合成阶段可以根据实际需要获取不同佩戴姿态的图像。而且，对一组眼镜纹理图像，可随机采用多个人脸模型生成多组图像畸变参数(加眼镜前后位置P和P’的关系)和亮度衰减系数，可将这多组参数存储在眼镜纹理图像中，使用时随机挑选一组即可。
在实际应用中，上述眼镜佩戴参数包括眼镜类型，眼镜类型可以通过图像纹理信息的形式定义，该图像纹理信息可以包括眼镜图像，该眼镜图像含有眼镜透光区域和无眼镜区域。如果眼镜类型为有边框眼镜，则需要排除眼镜边缘的不透明区域。
示例性的，本公开示例性实施例可以在纯黑暗环境下开启VR设备(如VR眼镜)的LED等和摄像头，根据正常佩戴眼镜和VR设备时二者的相对位置来放置眼镜和VR设备，利用摄像头采集纯眼镜的眼镜图像。此处为了获取到多种姿态的眼镜图像，可以变换眼镜放置的姿态，为了获取到多种眼镜类型的眼镜图像，可以更换不同类型的眼镜。
当采集到眼镜图像后，无眼镜区域A表现为背景纯黑色区域或者VR设备结构区域，可以采用掩码方式在眼镜图像标注无眼镜区域A，眼镜透光区域B需要考虑眼镜属于无边框眼镜还是有边框眼镜，对于有边框眼镜，需要排除眼镜边缘侧面不透光区域，同时可以采用掩码方式在眼镜图像标注眼镜透光区域B。在此基础上，可以基于无眼镜区域A的掩码图像、眼镜透光区域B的掩码图像和眼镜图像形成一组眼镜纹理信息。
由上可见，本公开示例性实施例提供的方法可以确定的图像合成参数至少包括亮度衰减参数，该亮度衰减参数可以包括第一亮度衰减系数，进一步还可以包括第二亮度衰减系数。在此基础上，为了保证合成图像更加真实，图像合成参数还可以包括图像畸变参数，同时，眼镜类型、佩戴姿态等也可以与亮度衰减系数和图像畸变参数具有映射关系，从而方便用户选择，合成佩戴姿态和纹理多样化的眼镜佩戴图像。
本公开示例性实施例还提供一种图像合成方法，该图像合成方法可以由终端或应用于该终端的芯片执行。图5示出了本公开示例性实施例的图像合成方法的流程图。如图5所示，本公开示例性实施例的图像合成方法包括：
步骤501：获取裸眼图像，确定裸眼图像对应眼镜图像的眼镜透光区域、非眼镜区域和眼镜佩戴参数。
示例性的，响应于合成眼镜佩戴图像的请求，获取裸眼图像，可以为通过图像采集设备实时获取裸眼图像，也可以上传已有的裸眼图像。例如，当需要获取某一指定对象的裸眼图像时，可以为该指定对象佩戴VR采集设备，并利用VR设备上的图像采集设备采集该指定对象的裸眼图像。
在一种可选方式中，上述终端可以响应于用户在图像合成界面选择的眼镜样式，甚至佩戴方式，从而确定眼镜佩戴参数，以确定最终合成图像的效果。例如该眼镜佩戴参数包括眼镜类型或眼镜佩戴姿势。
当眼镜佩戴参数包括眼镜类型，眼镜类型可以通过图像纹理信息的形式定义，该图像纹理信息可以包括无眼镜区域A的掩码图像、眼镜透光区域B的掩码图像和眼镜图像。当眼镜佩戴参数包括眼镜类型和眼镜佩戴姿势，眼镜佩戴姿势可以包括正常佩戴、斜向佩戴等。应理解，考虑到眼镜图像和裸眼图像需要合成为一张图像，二者的图像尺寸尽量相等。
步骤502：基于眼镜对应的亮度衰减参数对眼镜透光区域的亮度和非眼镜区域的亮度进行修正，获得修正后裸眼图像。亮度衰减参数为在虚拟光源的辅助下利用虚拟图像采集设备采集的佩戴眼镜前后虚拟面部模型的成像亮度参数变化。
为了保证合成图像更加真实，会调整最终合成的图像的明暗度等，使得最终合成的图像处在类似自然光/或光照场景中，而由于亮度衰减参数为在虚拟光源的辅助下利用虚拟图像采集设备采集的佩戴眼镜前后虚拟面部模型的成像亮度参数变化。因此，基于眼镜对应的亮度衰减参数对裸眼图像的眼镜透光区域的亮度和非眼镜区域的亮度进行修正后，修正后裸眼图像接近自然光/或光照场景，从而增加后续合成后图像的真实感。
步骤503：基于眼镜佩戴参数和修正后裸眼图像，得到眼镜佩戴图像，亮度衰减参数表征了在虚拟光源的辅助下利用虚拟图像采集设备采集的佩戴眼镜前后虚拟面部模型的成像亮度参数变化。此处可以先从裸眼图像获取眼镜透光区域和非眼镜区域并进行亮度调整，然后将经过亮度调整的眼镜透光区域和非眼镜区域进行重新拼接，并将在拼接后的图像上渲染眼镜即可获得眼镜佩戴图像。下面以该眼镜佩戴参数包括眼镜类型为例进行描述。
图6A示出了本公开示例性实施例的图像合成前的显示界面示意图，图6B示出了本公开示例性实施例的图像合成图像后的显示界面示意图。如图6A所示，在显示界面600中，用户可以上传未佩戴眼镜的裸眼图像603，然后选择所需佩戴的眼镜，并设定佩戴姿态，然后滑动进度条滑块选择眼镜，选择眼镜后相应的还可以基于佩戴方式选择框选择不同的眼镜佩戴姿态，如果用户认为所选择的眼镜不符合要求，可以通过重置控件601重置，如果用户确定选择的眼镜，可以通过完成控件602进行确认，终端检测到完成控件602的触发操作，即可基于裸眼图像和所选择的眼镜佩戴参数进行图像合成，从而获得图6B所示的眼镜佩戴图像604。
在一种可选方式中，本公开示例性实施例的亮度衰减参数包括第一亮度衰减系数，第一亮度衰减系数表征了虚拟图像采集设备采集的虚拟光源照射在佩戴眼镜前后的虚拟面部模型的成像亮度参数变化。该第一亮度衰减系数实质可以看作佩戴眼镜前后环境光源照射在虚拟面部模型上的光线亮度变化。基于此，基于眼镜对应的亮度衰减参数对裸眼图像对应眼镜图像的眼镜透光区域的亮度和非眼镜区域的亮度进行修正，包括：基于第一亮度衰减系数对眼镜透光区域的亮度和非眼镜区域的亮度进行修正。
示例性的，对于非眼镜区域来说，其不会因为配戴眼镜而造成二维采样位置的改变，因此，可以直接利用第一亮度衰减系数对眼镜透光区域的亮度和非眼镜区域的亮度进行修正。
举例来说，对于非眼镜区域，由于虚拟图像采集系统在采集图像时没有经过镜片去采集图像，所以非眼镜区域的图像在配戴眼镜前后不会发生畸变，因此，在图像合成时可以从裸眼图像裁切非眼镜区域。由于非眼镜区域的成像亮度仅受到第一亮度衰减系数影响，进而将该光源的亮度衰减参数应用到非眼镜区域内的每一个像素上，作为非眼镜区域合成后的图像。
本公开示例性实施例的亮度衰减参数还可以包括第二亮度衰减系数，第二亮度衰减系数表征了虚拟图像采集设备采集的佩戴眼镜前后的虚拟面部模型的成像亮度参数变化。该第二亮度衰减系数实质可以看作佩戴眼镜前后虚拟面部模型反射的光线在环境中的亮度变化。基于此，基于眼镜对应的亮度衰减参数对裸眼图像对应眼镜图像的眼镜透光区域的亮度和非眼镜区域的亮度进行修正还包括：基于第二亮度衰减系数对眼镜透光区域的亮度进行修正。该修正过程实质是更改眼镜透光区域灰阶的过程。
示例性的，对于眼镜透光区域，由于虚拟图像采集系统在采集图像时经过镜片去采集图像，因此，光源所发射的光强会经过两次衰减。此时，可以采用第一亮度衰减系数和第二亮度衰减系数对眼镜透光区域进行灰阶调整，从而确定镜片透光区域的底图以用于后续的图像合成。
在实际应用中，由于镜片存在很多仿真系统难以精确仿真的光晕和眩光，因此将眼镜图像纹理信息中的原始图像中眼镜透光区域的图像裁切下来，将其叠加在眼镜透光区域的底图上，如果叠加后的图像超过该图像的最高的亮度值，则可以将叠加后的图像亮度级别设置为该图像的最高亮度值。例如，对于uint8类的图像来说最高亮度为255。
对于眼镜的不透光区域来说，其没有任何畸变和光强的衰减，所以直接将眼镜镜框部分对应区域裁切下来贴在合成图像上即可。
对于眼镜区域，除了镜框之外，考虑到佩戴眼镜之后，成像点位置有可能会发生变化，基于此，本公开示例性实施例的方法还包括：
基于图像畸变参数调整眼镜透光区域的位置，获得透光修正区域，图像畸变参数表征了虚拟图像采集设备采集的虚拟面部模型在佩戴眼镜前后的图像位置变化，判断眼镜透光区域的尺寸与透光修正区域的尺寸差值是否于或等于预设差值。此处预设差值可以根据实际情况设置，例如2～3个像素。
在实际应用中，对眼镜透光区域进行亮度修正时，可以利用图像畸变参数调整眼镜透光区域的位置，进而保证所获得的佩戴眼镜图像真实性更好。
当透光修正区域的尺寸差值小于等于预设差值时，说明裸眼图像完整即不存在空缺，直接结束即可，当透光修正区域的尺寸差值大于预设差值时，说明二维面部图像存在空缺。举例来说，由于眼镜畸变可能会缩小裸眼图像中相应区域的图像，导致合成图像中的眼镜透光区域发生残缺。此时，可以基于图像修复网络模型对存在残缺的合成的眼睛佩戴图像进行修复。
示例性的，在修补残缺的眼镜佩戴图像时，可以采用图像修复网络模型对残缺的眼镜佩戴图像进行修复。例如：该图像修复网络模型可以为inpainting网络模型，其为端到端的神经网络，可以输出与输入图像等尺寸的输出图像。该神经网络模型包括编码器和解码器。
在训练阶段，可以采集大量的不同面部配戴眼镜的眼镜佩戴图像，对眼镜佩戴图像的任意位置进行随机抹除，生成大量带有抹除位置的图像，然后输入inpainting网络模型，编码器基于带有抹除位置的图像获得高层图像特征，然后利用解码器将高层图像特征的尺寸调整为与输入图像尺寸相同的图像特征，然后进行全连接，从而获得预测的然后训练一个眼镜图像空缺填补模型，其输入为带空缺的眼镜图像，输出为预测的修复图像。在此基础上，基于预测的修复图像和完整的眼镜佩戴图像确定损失，如果损失不满足迭代终止条件，可以采用反向传播算法更新inpainting网络模型模型参数，从而获得修复后的眼镜佩戴图像。
本公开示例性实施例的图像合成方法所合成的佩戴眼镜以后的二维面部图像，非常接近真实生活中佩戴眼镜的面部图像，特别是对于近眼场景而言，可以较为真实的反映出眼镜镜片带来的光路变化及光强变化。因此，可以基于本公开示例性实施例合成的佩戴眼镜的二维面部图像可以直接用于对于瞳距的估计、视线的估计、眼部表情驱动和脸部重建等的训练数据合成。仅需要在裸眼情况下拍摄一批数据，以及获得眼镜的相关数据，就可以合成不同面部状态下佩戴不同眼镜的面部图像。并且，本公开示例性实施例的图像合成方法还可以用做脸部属性分类(比如眼镜分类、佩戴状态、妆容等)的预训练数据，由于戴眼镜会导致脸部属性发生一定变化，一般可以用合成数据作为属性分类的预训练数据。此外，一些场景下通过本公开示例性实施例的图像合成方法还可以实现虚拟眼镜试戴的功能。
在采用对应各个功能划分各个功能模块的情况下，本公开示例性实施例提供一种图像合成参数确定装置，该图像合成参数确定装置可以为终端或应用于终端的芯片。图7示出了本公开示例性实施例的图像合成参数确定装置的模块示意性框图。如图7所示，该图像合成参数确定装置700包括：
获取模块701，用于在虚拟光源的辅助下利用所述虚拟图像采集设备获取虚拟面部模型的亮度参数；
确定模块702，用于基于所述虚拟面部模型佩戴眼镜前后的所述虚拟面部模型的亮度参数变化确定所述眼镜对应的亮度衰减参数。
作为一种可能的实现方式，所述虚拟面部模型的亮度参数包括位于所述虚拟面部模型的所述虚拟图像采集设备采集的所述虚拟光源的第一成像亮度参数；所述亮度衰减参数至少包括第一亮度衰减系数，所述第一亮度衰减系数由佩戴眼镜前后的第一成像亮度参数确定。
作为一种可能的实现方式，所述获取模块701用于在所述虚拟面部模型的位置绑定所述虚拟图像采集设备，在所述虚拟光源照射所述虚拟面部模型的情况下，基于所述虚拟图像采集设备获取所述第一成像亮度参数。
作为一种可能的实现方式，所述虚拟面部模型的亮度参数包括位于所述虚拟面部模型的所述虚拟光源在所述虚拟图像采集设备的第二成像亮度参数；所述亮度衰减参数还包括第二亮度衰减系数，所述第二亮度衰减系数由佩戴眼镜前后的第二成像亮度参数确定。
作为一种可能的实现方式，所述获取模块701还用于在所述虚拟面部模型绑定所述虚拟光源；基于所述虚拟图像采集设备获取所述虚拟光源的第二成像亮度参数。
作为一种可能的实现方式，所述获取模块701还用于基于所述虚拟图像采集设备和虚拟面部模型的相对位置，确定所述虚拟面部模型未佩戴眼镜时的二维采样位置以及与所述二维采样位置匹配的位于虚拟面部模型的三维采样位置；基于所述眼镜的光学参数调整所述虚拟面部模型未佩戴眼镜时的二维采样位置，获得佩戴眼镜时的二维采样位置；基于位于所述虚拟面部模型的三维采样位置在佩戴眼镜前后的所述二维采样位置的变化，确定与所述亮度衰减参数具有匹配关系的图像畸变参数。
作为一种可能的实现方式，所述亮度衰减参数、所述图像畸变参数、眼镜佩戴姿态和眼镜类型之间具有匹配关系。
在采用对应各个功能划分各个功能模块的情况下，本公开示例性实施例还提供一种图像合成装置，该图像合成装置可以为终端或应用于终端的芯片。图8示出了本公开示例性实施例的图像合成装置的模块示意性框图。如图8所示，该图像合成装置800包括：
确定模块801，用于获取裸眼图像，确定裸眼图像对应眼镜图像的眼镜透光区域、非眼镜区域和眼镜佩戴参数；
修正模块802，用于基于所述眼镜对应的亮度衰减参数对所述眼镜透光区域的亮度和所述非眼镜区域的亮度进行修正，获得修正后裸眼图像；
渲染模块803，用于基于所述眼镜佩戴参数和所述修正后裸眼图像，得到眼镜佩戴图像，所述亮度衰减参数表征了在虚拟光源的辅助下利用虚拟图像采集设备采集的佩戴眼镜前后虚拟面部模型的成像亮度参数变化。
作为一种可能的实现方式，所述亮度衰减参数包括第一亮度衰减系数，所述第一亮度衰减系数表征了所述虚拟图像采集设备采集的虚拟光源照射在佩戴眼镜前后的虚拟面部模型的成像亮度参数变化，所述修正模块802用于基于所述第一亮度衰减系数对所述眼镜透光区域的亮度和所述非眼镜区域的亮度进行修正。
作为一种可能的实现方式，所述亮度衰减参数还包括第二亮度衰减系数，所述第二亮度衰减系数表征了所述虚拟图像采集设备采集的佩戴眼镜前后的虚拟面部模型的成像亮度参数变化，所述修正模块802还用于基于所述第二亮度衰减系数对所述眼镜透光区域的亮度进行修正。
作为一种可能的实现方式，所述修正模块802还用于基于图像畸变参数调整所述眼镜透光区域的位置，获得透光修正区域，若所述眼镜透光区域的尺寸与所述透光修正区域的尺寸差值大于或等于预设差值，基于所述透光修正区域对所述透光修正区域进行图像修复，所述图像畸变参数表征了所述虚拟图像采集设备采集的虚拟面部模型在佩戴眼镜前后的图像位置变化。
作为一种可能的实现方式，所述眼镜佩戴参数包括眼镜类型和/或眼镜佩戴姿势。
图9示出了本公开示例性实施例的芯片的示意性框图。如图9所示，该芯片900包括一个或两个以上(包括两个)处理器901和通信接口902。通信接口902可以支持服务器执行上述方法中的数据收发步骤，处理器901可以支持服务器执行上述方法中的数据处理步骤。
可选的，如图9所示，该芯片900还包括存储器903，存储器903可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。
在一些实施方式中，如图9所示，处理器901通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。处理器901控制终端设备中任一个的处理操作，处理器还可以称为中央处理单元(central processing unit，CPU)。存储器903可以包括只读存储器和随机存取存储器，并向处理器901提供指令和数据。存储器903的一部分还可以包括NVRAM。例如应用中存储器、通信接口以及存储器通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图9中将各种总线都标为总线系统904。
上述本公开实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processing，DSP)、ASIC、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
本公开示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的方法。
本公开示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。
本公开示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。
参考图10，现将描述可以作为本公开的服务器或客户端的电子设备1000的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，电子设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
电子设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006、输出单元1007、存储单元1008以及通信单元1009。输入单元1006可以是能向电子设备1000输入信息的任何类型的设备，输入单元1006可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元1007可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元1004可以包括但不限于磁盘、光盘。通信单元1009允许电子设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
如图10所示，计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理。例如，在一些实施例中，本公开示例性实施例的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到电子设备1000上。在一些实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。
尽管结合具体特征及其实施例对本公开进行了描述，显而易见的，在不脱离本公开的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本公开的示例性说明，且视为已覆盖本公开范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包括这些改动和变型在内。

Claims (16)

1.一种图像合成参数确定方法，其特征在于，包括：
在虚拟光源的辅助下利用所述虚拟图像采集设备获取虚拟面部模型的亮度参数；
基于所述虚拟面部模型佩戴眼镜前后的所述虚拟面部模型的亮度参数变化确定所述眼镜对应的亮度衰减参数。
2.根据权利要求1所述的方法，其特征在于，所述虚拟面部模型的亮度参数包括位于所述虚拟面部模型的所述虚拟图像采集设备采集的所述虚拟光源的第一成像亮度参数；所述亮度衰减参数至少包括第一亮度衰减系数，所述第一亮度衰减系数由佩戴眼镜前后的第一成像亮度参数确定。
3.根据权利要求2所述的方法，其特征在于，所述在虚拟光源的辅助下利用所述虚拟图像采集设备获取虚拟面部模型的亮度参数，包括：
在所述虚拟面部模型的位置绑定所述虚拟图像采集设备；
在所述虚拟光源照射所述虚拟面部模型的情况下，基于所述虚拟图像采集设备获取所述第一成像亮度参数。
4.根据权利要求2所述的方法，其特征在于，所述虚拟面部模型的亮度参数包括位于所述虚拟面部模型的所述虚拟光源在所述虚拟图像采集设备的第二成像亮度参数；所述亮度衰减参数还包括第二亮度衰减系数，所述第二亮度衰减系数由佩戴眼镜前后的第二成像亮度参数确定。
5.根据权利要求4所述的方法，其特征在于，所述在虚拟光源的辅助下利用所述虚拟图像采集设备获取所述虚拟面部模型的亮度参数，包括：
在所述虚拟面部模型绑定所述虚拟光源；
基于所述虚拟图像采集设备获取所述虚拟光源的第二成像亮度参数。
6.根据权利要求1～5任一项所述的方法，其特征在于，所述方法还包括：
基于所述虚拟图像采集设备和虚拟面部模型的相对位置，确定所述虚拟面部模型未佩戴眼镜时的二维采样位置以及与所述二维采样位置匹配的位于所述虚拟面部模型的三维采样位置；
基于所述眼镜的光学参数调整所述虚拟面部模型未佩戴眼镜时的二维采样位置，获得佩戴眼镜时的二维采样位置；
基于位于所述虚拟面部模型的三维采样位置在佩戴眼镜前后的所述二维采样位置的变化，确定与所述亮度衰减参数具有匹配关系的图像畸变参数。
7.根据权利要求6所述的方法，其特征在于，所述亮度衰减参数、所述图像畸变参数、眼镜佩戴姿态和眼镜类型之间具有匹配关系。
8.一种图像合成方法，其特征在于，所述方法包括：
获取裸眼图像，确定裸眼图像对应眼镜图像的眼镜透光区域、非眼镜区域和眼镜佩戴参数；
基于所述眼镜对应的亮度衰减参数对所述眼镜透光区域的亮度和所述非眼镜区域的亮度进行修正，获得修正后裸眼图像；
基于所述眼镜佩戴参数和所述修正后裸眼图像，得到眼镜佩戴图像，所述亮度衰减参数表征了在虚拟光源的辅助下利用虚拟图像采集设备采集的佩戴眼镜前后虚拟面部模型的成像亮度参数变化。
9.根据权利要求8所述的方法，其特征在于，所述亮度衰减参数包括第一亮度衰减系数，所述第一亮度衰减系数表征了所述虚拟图像采集设备采集的虚拟光源照射在佩戴眼镜前后的虚拟面部模型的成像亮度参数变化，所述基于所述眼镜对应的亮度衰减参数对裸眼图像对应眼镜图像的眼镜透光区域的亮度和非眼镜区域的亮度进行修正，包括：
基于所述第一亮度衰减系数对所述眼镜透光区域的亮度和所述非眼镜区域的亮度进行修正。
10.根据权利要求9所述的方法，其特征在于，所述亮度衰减参数还包括第二亮度衰减系数，所述第二亮度衰减系数表征了所述虚拟图像采集设备采集的佩戴眼镜前后的虚拟面部模型的成像亮度参数变化，所述基于所述眼镜对应的亮度衰减参数对所述裸眼图像对应眼镜图像的眼镜透光区域的亮度和非眼镜区域的亮度进行修正，还包括：
基于所述第二亮度衰减系数对所述眼镜透光区域的亮度进行修正。
11.根据权利要求8所述的方法，其特征在于，所述方法还包括：
基于图像畸变参数调整所述眼镜透光区域的位置，获得透光修正区域，所述图像畸变参数表征了所述虚拟图像采集设备采集的虚拟面部模型在佩戴眼镜前后的图像位置变化；
若所述眼镜透光区域的尺寸与所述透光修正区域的尺寸差值大于或等于预设差值，基于所述透光修正区域对所述透光修正区域进行图像修复。
12.根据权利要求9～11任一项所述的方法，其特征在于，所述眼镜佩戴参数包括眼镜类型和/或眼镜佩戴姿势。
13.一种图像合成参数确定装置，其特征在于，所述装置包括：
获取模块，用于在虚拟光源的辅助下利用所述虚拟图像采集设备获取虚拟面部模型的亮度参数；
确定模块，用于基于所述虚拟面部模型佩戴眼镜前后的所述虚拟面部模型的亮度参数变化确定所述眼镜对应的亮度衰减参数。
14.一种图像合成装置，其特征在于，所述装置包括：
响应模块，用于获取裸眼图像，确定裸眼图像对应眼镜图像的眼镜透光区域、非眼镜区域和眼镜佩戴参数；
修正模块，用于基于所述眼镜对应的亮度衰减参数对所述眼镜透光区域的亮度和所述非眼镜区域的亮度进行修正，获得修正后裸眼图像；
渲染模块，用于基于所述眼镜佩戴参数和所述修正后裸眼图像，得到眼镜佩戴图像，所述亮度衰减参数表征了在虚拟光源的辅助下利用虚拟图像采集设备采集的佩戴眼镜前后虚拟面部模型的成像亮度参数变化。
15.一种电子设备，其特征在于，包括：
处理器；以及，
存储程序的存储器；
其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1～12任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1～12中任一项所述的方法。
CN202211687713.0A 2022-12-27 2022-12-27 一种图像合成参数确定方法、图像合成方法及装置 Active CN115981467B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211687713.0A CN115981467B (zh) 2022-12-27 2022-12-27 一种图像合成参数确定方法、图像合成方法及装置
PCT/CN2023/132907 WO2024139847A1 (zh) 2022-12-27 2023-11-21 图像合成参数确定方法、图像合成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211687713.0A CN115981467B (zh) 2022-12-27 2022-12-27 一种图像合成参数确定方法、图像合成方法及装置

Publications (2)

Publication Number Publication Date
CN115981467A true CN115981467A (zh) 2023-04-18
CN115981467B CN115981467B (zh) 2023-09-01

Family

ID=85964402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211687713.0A Active CN115981467B (zh) 2022-12-27 2022-12-27 一种图像合成参数确定方法、图像合成方法及装置

Country Status (2)

Country Link
CN (1) CN115981467B (zh)
WO (1) WO2024139847A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024139847A1 (zh) * 2022-12-27 2024-07-04 北京字跳网络技术有限公司 图像合成参数确定方法、图像合成方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105723420A (zh) * 2013-10-29 2016-06-29 微软技术许可有限责任公司 混合现实聚光灯
CN107402632A (zh) * 2017-07-12 2017-11-28 青岛海信移动通信技术股份有限公司 切换显示增强现实图像和虚拟现实图像的方法和智能眼镜
CN110187855A (zh) * 2019-05-28 2019-08-30 武汉市天蝎科技有限公司 近眼显示设备的避免全息影像阻挡视线的智能调节方法
CN110751717A (zh) * 2019-09-10 2020-02-04 平安科技（深圳）有限公司 虚拟头部模型构建方法、装置、计算机设备及存储介质
CN111582005A (zh) * 2019-02-18 2020-08-25 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读介质及电子设备
US20210142566A1 (en) * 2017-05-30 2021-05-13 Fittingbox Method allowing an individual to realistically try on a pair of spectacles virtually
CN113168733A (zh) * 2019-01-04 2021-07-23 沃比帕克公司 一种眼镜虚拟试戴系统和方法
CN114791674A (zh) * 2019-10-18 2022-07-26 蒂姆维澳(上海)网络技术有限公司 一种ar眼镜及其控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034079B (zh) * 2009-09-24 2012-11-28 汉王科技股份有限公司 眼镜遮挡下的人脸识别方法和系统
US9733478B2 (en) * 2014-04-03 2017-08-15 Thomson Licensing Ambient light management for virtual reality glasses
CN110009720B (zh) * 2019-04-02 2023-04-07 阿波罗智联(北京)科技有限公司 Ar场景中的图像处理方法、装置、电子设备及存储介质
CN110648393A (zh) * 2019-09-18 2020-01-03 广州智美科技有限公司 基于3d人脸模型的眼镜定制方法、装置和终端
CN113741681B (zh) * 2020-05-29 2024-04-26 华为技术有限公司 一种图像校正方法与电子设备
CN115346262A (zh) * 2022-08-23 2022-11-15 北京字跳网络技术有限公司 一种表情驱动参数的确定方法、装置、设备及存储介质
CN115981467B (zh) * 2022-12-27 2023-09-01 北京字跳网络技术有限公司 一种图像合成参数确定方法、图像合成方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105723420A (zh) * 2013-10-29 2016-06-29 微软技术许可有限责任公司 混合现实聚光灯
US20210142566A1 (en) * 2017-05-30 2021-05-13 Fittingbox Method allowing an individual to realistically try on a pair of spectacles virtually
CN107402632A (zh) * 2017-07-12 2017-11-28 青岛海信移动通信技术股份有限公司 切换显示增强现实图像和虚拟现实图像的方法和智能眼镜
CN113168733A (zh) * 2019-01-04 2021-07-23 沃比帕克公司 一种眼镜虚拟试戴系统和方法
CN111582005A (zh) * 2019-02-18 2020-08-25 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN110187855A (zh) * 2019-05-28 2019-08-30 武汉市天蝎科技有限公司 近眼显示设备的避免全息影像阻挡视线的智能调节方法
CN110751717A (zh) * 2019-09-10 2020-02-04 平安科技（深圳）有限公司 虚拟头部模型构建方法、装置、计算机设备及存储介质
CN114791674A (zh) * 2019-10-18 2022-07-26 蒂姆维澳(上海)网络技术有限公司 一种ar眼镜及其控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024139847A1 (zh) * 2022-12-27 2024-07-04 北京字跳网络技术有限公司 图像合成参数确定方法、图像合成方法及装置

Also Published As

Publication number Publication date
WO2024139847A1 (zh) 2024-07-04
CN115981467B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN110503703B (zh) 用于生成图像的方法和装置
US20220014723A1 (en) Enhancing performance capture with real-time neural rendering
CN113327278B (zh) 三维人脸重建方法、装置、设备以及存储介质
US11900569B2 (en) Image-based detection of surfaces that provide specular reflections and reflection modification
US20180158246A1 (en) Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays
CN111971713A (zh) 使用图像和时间跟踪神经网络进行的3d面部捕获和修改
WO2018053703A1 (en) Estimating accurate face shape and texture from an image
US20220051485A1 (en) Generative latent textured proxies for object category modeling
WO2024139847A1 (zh) 图像合成参数确定方法、图像合成方法及装置
KR102291162B1 (ko) 인공 지능 학습용 가상 데이터 생성 장치 및 방법
KR102628115B1 (ko) 영상 처리 방법, 장치, 기록 매체 및 전자 장치
US20230037866A1 (en) Device and method for acquiring depth of space by using camera
CA3180427A1 (en) Synthesizing sequences of 3d geometries for movement-based performance
CN117058261A (zh) 图像生成方法及其装置、设备、介质、产品
Li et al. EyeNeRF: a hybrid representation for photorealistic synthesis, animation and relighting of human eyes
CN116563506A (zh) 直播场景下基于xr设备的三维表情人脸还原方法、系统及设备
CN115512014A (zh) 训练表情驱动生成模型的方法、表情驱动方法及装置
CN117218246A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN117649478B (zh) 模型训练方法、图像处理方法及电子设备
CN115731326A (zh) 虚拟角色生成方法及装置、计算机可读介质和电子设备
CN118212311A (zh) 图像的针对性的生成视觉编辑
US20240078773A1 (en) Electronic device generating 3d model of human and its operation method
CN116468992A (zh) 一种重复校正性监督空间识别与还原方法与装置
KR102559691B1 (ko) 뉴럴 렌더링 기반 형상 색상 통합 3d 메시 복원 방법 및 장치
CN112584127B (zh) 基于注视的曝光

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant