CN107408315A - 用于实时、物理准确且逼真的眼镜试戴的流程和方法 - Google Patents

用于实时、物理准确且逼真的眼镜试戴的流程和方法 Download PDF

Info

Publication number
CN107408315A
CN107408315A CN201680011679.1A CN201680011679A CN107408315A CN 107408315 A CN107408315 A CN 107408315A CN 201680011679 A CN201680011679 A CN 201680011679A CN 107408315 A CN107408315 A CN 107408315A
Authority
CN
China
Prior art keywords
glasses
face
mrow
real
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680011679.1A
Other languages
English (en)
Other versions
CN107408315B (zh
Inventor
阿里埃尔·库克鲁恩
杰罗姆·盖纳尔
希拉维·勒加洛
克里斯托夫·德阿伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fittingbox Co
FITTINGBOX
Original Assignee
Fittingbox Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fittingbox Co filed Critical Fittingbox Co
Publication of CN107408315A publication Critical patent/CN107408315A/zh
Application granted granted Critical
Publication of CN107408315B publication Critical patent/CN107408315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00—Assembling; Repairing; Cleaning
    • G02C13/003—Measuring during assembly or fitting of spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明旨在提供一种用于创建位于一个真实用户脸部图像上的一副虚拟眼镜的实时逼真图像的方法，所述真实用户脸部图像来自单个图像、一组图片、视频剪辑或实时相机视频流，该方法特征在于包括以下步骤：‑100、一个人脸分析过程，该过程用于估计用户脸部的3D旋转矩阵、3D平移矢量和形态参数；‑200、一个眼镜定位过程，该过程与用于外观或真实尺寸模拟的试戴模式相关联，用于估计虚拟眼镜的3D旋转矩阵、3D平移矢量和全局与局部变形参数，以及眼镜腿与眼镜框的连接，适于步骤100中计算得到的形态参数；‑400、一个逼真渲染过程，该过程中将真实用户脸部图像与在步骤200中定位的虚拟眼镜进行结合。

Description

用于实时、物理准确且逼真的眼镜试戴的流程和方法
本发明涉及图像处理和图像合成领域，具体涉及虚拟对象到相片或视频的实时集成。
背景技术
本发明是对相同申请人的其他发明的改进。
本发明的情境是尽可能逼真地对一个对象进行实时虚拟试戴，这些对象通常是但不限于集成到相片或视频中的眼镜，这些相片或视频呈现大体上位于相机前方的人脸。
网络销售增长、库存有限或其他任何防止或妨碍对真实对象进行真实试穿的原因催生了对真实对象进行虚拟试穿的需要。就眼镜而言，目前基于虚拟现实或增强现实的解决方案是不充分的，因为这些方案缺乏逼真度或互动性。此外，这些方案的计算大多需要大量数据和时间。
相同申请人于2010年1月18日申请的专利申请FR 1050305已在本领域公开。
发明内容
本发明首先旨在提供一种用于创建一个真实用户脸部图像上的一副虚拟眼镜的最终实时逼真图像的方法，所述真实用户脸部图像来自单个图像、一组图片、视频剪辑或实时相机视频流，该方法特征在于包括以下步骤：
-100、一个人脸分析过程，所述过程用于估计用户脸部的3D旋转矩阵、3D平移矢量和形态参数；
-200、一个眼镜定位过程，所述过程与用于外观或真实尺寸模拟的试戴模式相关联，用于估计虚拟眼镜的3D旋转矩阵、3D平移矢量和全局与局部变形参数，以及眼镜腿与眼镜框的连接，以适于步骤100中计算得到的形态参数；
-400、一个逼真渲染过程，所述过程用于将真实用户脸部图像与在步骤200中定位的虚拟眼镜进行结合。
在多个实施方式中，可以在技术上可行的情况下结合使用：
-步骤100还包括估计用户脸部的表情参数。
-步骤100还包括估计固有相机参数。
-步骤200还包括一个眼镜3D模型分析过程，该过程提供参数化、将眼镜分割成多个部分和网格校正。
-步骤200包括两次眼镜定位过程，该过程与用于外观或真实尺寸模拟的试戴模式相关联，用于估计虚拟眼镜的3D旋转矩阵、3D平移矢量和全局与局部变形参数，以及眼镜腿与眼镜框的连接，所述过程适于步骤100中计算得到的形态参数。
-本方法还包括一个人脸跟踪算法的步骤300，该算法给出位置和旋转，并允许实时改进来自多个图像的人脸参数。
-步骤400包括估计不透明度校正和色调映射参数。
-本方法包括：
-使用一个平行处理流水线对图像采集、场景分析过程和渲染进行去相关；
-一个快速3D人脸姿态恢复过程；
-使用一个头部运动模型和控制过滤器始终向渲染过程提供每一帧处的平滑的3D姿态。
-在步骤100的实时人脸分析过程中，使用脸部用户模型和与检测到的特征的相对应的图像轮廓和3D语义点来对参数(用户脸部的3D旋转矩阵R、3D平移矢量T、形态参数α和表情参数β)进行估计。在这种情况下，具体来说，使用多于一个图像对参数进行估计。
在特定实施方式中，眼镜定位过程(步骤200)包括：
-a、一个离线处理步骤，该步骤用于根据精确参数化的3D模型来创建一个对称和分割的眼镜对象(包括眼镜腿/眼镜框)，以及用于在参考系统中对眼镜进行重新定位。
-b、一个在线实时处理步骤，通过结合与所述分割的眼镜对象的属性相关的约束和所述眼镜腿与所述眼镜框之间的机械约束，该步骤估计在不发生相互穿插的情况下所述眼镜的定位参数，所述眼镜定位参数是3D旋转矩阵R、3D平移矢量T、眼镜腿开放角度和变形参数D。
在更特定的实施方式中，在这种情况下：
-所述离线处理步骤利用对象的对称性质，创建一个参考系统来校正3D几何，对对象进行分割并创建一个精细的参考眼镜框。这一离线处理步骤包括：
-自动分割步骤；
-计算参考眼镜框和非线性变形场，所述计算使提供对象骨架的对称化的全局对称性最大化；
-骨架提取方法，所述方法通过切割对象并连接重心获得；
-计算对象顶点的位移，所述计算提供骨架的位移场的影响函数。
-所述在线处理步骤使用眼镜拟合人脸的方法：其中，未按比例缩放不同的眼镜，考虑到人脸太阳穴处的变宽，所有眼镜框都以眼镜腿以再张开5度的方式置于人脸。在这种模式下，眼镜总是拟合用户脸部。
-所述在线处理步骤使用了以相对尺寸进行眼镜拟合人脸的方法：其中，人脸尺寸未知，但是眼镜已被定位且按比例缩放，使得针对选定人脸类型的平均尺寸眼镜能被定位，并且用眼镜变形来计算眼镜腿打开角度，使得符合眼镜的相对尺寸。在统计学上，试戴非常接近绝对尺寸。
-所述在线处理步骤使用了以绝对尺寸进行眼镜拟合人脸的方法：其中，真实人脸尺寸已知，眼镜以最可能的方式位于人脸，确保总能得到逼真的结果。
在本发明的特定实施方式中，步骤400包括一种合成方法，其允许将高动态范围合成场景实时集成到低动态范围相片或视频中，所述合成方法的特征在于使用以下公式将计算所得的不透明度值α修改为对象的校正值αLDR：
其中，LHDR是计算所得的辐照度，是真实场景辐照度的上边界。
附图说明
以下描述通过非限制性应用示例阐述了本发明的特征，参考这些描述将有利于更好地理解本发明的特征和优点。
描述基于以下附图，其中：
图1是本方法的框图；
图2是对眼镜框的方向和位置的说明；
图3是示出本方法所用点的人脸模型。
具体实施方式
本发明人提出了一个统一化的流程，可以在单个图像、一组图片、视频剪辑和实时相机视频流上使用。该流程分为几个步骤(见图1)：
100-人脸分析
200-眼镜定位
300-跟踪(用于现场技术)
400-逼真渲染
通常的情境或场景如下：用户站在相机前面(无论是与PC连接的网络摄像头还是多数移动设备中的网络摄像头)。对于单张图片试戴(相片模式试戴)，系统允许用户使用相机拍摄相片，或者提示用户提供系统内部存储中的图片文件。对于实时试戴(现场模式试戴)，则显示相机视频流，用户可以在一个类似镜子的屏幕上看见自己。用户可以通过在界面选择眼镜框来进行试戴，眼镜框则根据与应用程序的不同交互而出现在用户的脸部。
步骤100：人脸分析
人脸分析过程根据用户图片估计最可能的人脸位置、方向及形态。在相片模式下，分析在提供的图片上进行。对于现场或视频模式，分析可以在流中的任意图片上进行。人脸分析分为三个主要的顺序块：
110-人脸检测(2D)
120-人脸具体特征对齐(2D)
130-3D人脸形态和姿态估计
从每个顺序块得到的结果都可以单独使用，但这些结果通常为下一个顺序块中估计的参数提供一个粗略估计。
顺序块110、120-2D人脸及特征检测
顺序块110、120有很多种可能的实现方式，两者互相连接的方式取决于所采用的具体技术。我们将两者分开，从而可以在计算能力有限的系统(如网页客户端和移动设备)上进行快速可靠的客户端-服务器实现。
在图片或现场模式中，我们允许用户无需严格地正视相机；每个3D方向角都容许30°的角度。根据人脸检测阶段的质量还可以达到更大的角度。
首先，通过如Viola-Jones监督分类器等人脸检测器来进行人脸检测。特定检测器的选择取决于其在不同平台(网页客户端、移动设备等)和情境(信息亭系统、服务器托管服务等)中的可用性和适用性。然后使用特征对齐算法来查找特定的人脸特征。我们使用由Luxand(https://www.luxand.com/)提供的特征检测器，该检测器可以非常可靠地找到内部人脸特征。然后，我们应用HPAAM特征对齐算法，该算法可以精确地定位图像上有意义的3D特征的投影(名称为《Method for detecting a predefined set ofcharacteristic points ofa face》,公开号为EP2678804 A1,发明人为Choukroun和Le Gallou的申请文 件,)。与在混乱环境下容易定位错误的现有技术不同，HPAAM对于如耳点等位于人脸轮廓线上的特征非常稳定。由于HPAAM是一种依赖于学习阶段的技术，因此使用3D对应的预定点对于我们的全局人脸分析技术中在鲁棒性和效率方面的成功有所影响。通常，这种关系对于3D人脸分析技术中的几个点是确定的，如3DMM拟合策略的起点，其中手动定义了5个点(见Romdhani2005年的博士论文《Face Image Analysis using a Multiple Features Fitting Strategy》)。
顺序块130-3D人脸姿态和形态估计
然后，我们使用人脸形态的统计几何模型来估计3D人脸参数。我们许可了获得专利的Basel Face数据库，该数据库在Blantz和Vetter2003发表的文章《Face Recognition Based on Fitting a 3D Morphable Model》中有所描述。然而，该出版物中的算法并不适用于实时人脸对齐，因此我们提出了一种替代方法，以有效估计人脸的位置、方向和形态，以及内部相机参数。我们使用特征检测阶段中找到的特征来动态拟合图像中的轮廓。类似的方法可以在Romdhani2005年的博士论文《Face Image Analysis using a MultipleFeatures Fitting Strategy,Romdhani》或R.Knothe 2009年的博士论文《A Global-to- Local Model for the Representation of Human Faces,Knothe》中找到。
目的在于估计相机参数(非固有参数和/或固有参数)θcam及人脸模型参数θmodel。我们将在图像fi,i＝1..n中找到的人脸特征与在参数化人脸Proj(Xs(i))上定义的3D语义点的投影之间的距离最小化，并将参数化人脸轮廓的投影(即人脸模型点的投影，这些模型点的法线与其观察方向正交)与相关联的图像边缘之间的距离最小化。最小化可以以多种方式实现。Knothe或Romdhani在标准边缘检测器输出端使用了距离映射。
主要问题在于，这些边缘检测器使用了标准的幅值归一化，其并不适用于人脸图像可变性：到相机、焦点、人脸各部等的距离可以影响边缘的尺度幅值，并导致轮廓检测失误和轮廓定位不良。
为了克服这一问题，我们对与当前采样点的轮廓正交的方向进行了采样，从而对轮廓进行采样，出自以下这些原因：数值效率、稳定性，以及与3D对象跟踪中使用的其他对齐技术的兼容性。为此，对于每次最小化的迭代，我们用法线nj计算包括人脸模型点Xj的子集的C(θcam,θmodel)，其中法线nj与轴投影正交，并且计算相关联的图像轮廓点contj＝ProjContour(Xj,nj)正交。ProjContour是投影点Xj的函数，并沿法线投影从多个假设中搜索最佳轮廓。
由于边缘是沿法线方向计算的，并且符合信号的幅值，因此上述这些假设是局部计算的，这为整个人脸对象提供了一个精确且尺度不变的边缘检测。我们的成本函数可以使用M估计器方法来实现，如使用Vacchetti等人,2004发布的名称为《Combining Edge and Texture Information for Real-Time Accurate 3D Camera Tracking》中的Tukey鲁棒权重函数。或者，我们可以沿轮廓的法线方向从多个假设中计算最近点的残差。我们求解：
其中||.,.||2表示欧几里得距离，γ是允许对成本函数中的两部分中的其中一个更加重视的参数，这里两部分是指轮廓和特征。该方程可以使用标准梯度下降技术(Levenberg-Marquardt)来求解。
我们的技术的主要优点在于，当有多个图像可用时(如视频模式下或拍摄多张相片时，可从不同的相机选择)，该技术可以扩展到一种多图像分析算法，所述算法放宽了2D/3D语义对应约束，并允许对所有估计参数进行改进。该技术可以用于搜索所有图像的最佳拟合形态和每个相机的姿态参数。如果需要，我们可以在足够近的图像之间添加特征匹配算法，如Dimitrijevic等人的2004年文章(名称为《Accurate Face Models from Uncalibrated and Ill-Lit Video Sequences》)中所见。但是他们的方法远不是实时的，并且需要附近的图像和密集且鲁棒性的光流场，这些都难以在标准网络摄像机图像上获得。通过预先定义的3D语义点、轮廓和对检测点数的控制，我们可以在这个多视点问题上实现实时效率。
上述成本函数可以用于组合的实时3D人脸跟踪和估计，用于处于实时跟踪阶段的一组关键图像，或者使用通过用户通过界面提供的多个图像。然后我们求解：
θcam现在包括与每个nbI图像对应的固有相机参数和非固有相机参数。我们将在跟踪部分中解释如何获得关键图像来求解这些方程。
顺序块140-3D表情
表情增加了人脸模型的可变性，将其化为因数可以更稳定且准确地估计人脸姿态及形态参数，从而提高了试戴的稳定性和准确性。
创建网格的参数变量的方法通常是使用混合形状，其为一组几何模型线性组合以产生唯一的实例。计算这些混合形状的常见技术是先导出再统计，如Paysan等人2009年发表的文章《A 3D Face Model for Pose and Illumination Invariant Face Recognition》。模型呈以下形式：
g(α)＝gm+α×V，其中g(α)是一个矢量，代表一个新的形状。
g(α)＝(x1,y1,z1,…,xn,yn,zn)T，(xi,yi,zi)是第i个顶点，gm是平均3D形状，α是包括特定用户自适应参数的矢量，V是包括统计形状(Statistical Shape)基础的矩阵。通常，统计形状基础不包括表情变量，仅包括标识(identity)变量，确保了控制参数的良好可分离性。
我们以有效的方式向模型中添加表情，以用于实时计算。
我们的3D模型是一个线框模型，可以根据g(α,β)＝gm+αV+βA重新整形，其中β是包括动画参数的矢量，A是包括动画单元(Animation Units)的矩阵。如在作者Ahlberg于2001 年在期刊technical report发表的《CANDIDE-3-An Updated Parameterised Face》中，动画单元矩阵允许3D跟踪点解释表情变化。
这个参数分割不仅比经典建模更强大，还简化了实时计算：而不是让所有3D姿态、人脸标识和表情参数在跟踪过程中改变每个帧，我们可以修正不变的标识参数(可以从人脸分析阶段开始进行)，并仅估计3D姿态参数和几个表情变量参数。
在跟踪过程中，可变形形状模型参数和姿态的全面估计基于以下解析：
其中R是3D旋转矩阵，T是3D平移矩阵，K是固有相机参数矩阵，α在人脸分析阶段被修正，p2D是图像中3D跟踪点的当前位置，proj是函数：
步骤200：眼镜定位
为了精确定位眼镜，在考虑用户形态和眼镜的物理特征的情况下，我们将眼镜模型定义为包括至少以下几个部分的分割的3D对象：与眼镜前部相对应的前眼镜框、两个眼镜腿、两个镜片，以及可能还有可用时的鼻托。由于我们希望眼镜完美地贴合在脸上，因此需要对眼镜进行较好的参数化。较好的参数化保证对眼镜的主要变形进行最近似的诠释。眼睛的主要变形为佩戴在人脸上时眼镜腿的张开和整体对象的变形。
眼镜参数化
现在我们描述如何根据用于物理逼真定位的精确参数化的3D模型获得分割的眼镜对象。我们认为，即使在这个阶段没有识别出眼镜腿，眼镜腿也是打开的(与眼镜框大约呈90度角)。这一参数化通常在离线步骤中完成。
我们认为，统计3D模型学习3D眼镜模型后，如使用PCA将网格的3D顶点配准到此统计3D模型中，或将模型的投影配准到眼镜框的图片上，可以获得眼镜的一个粗略参考眼镜框。也可以通过命名左右对象(如镜片等)来对眼镜框进行标注。眼镜框的方向和位置如图2所示。
在该参考眼镜框中，第一步是将眼镜自动分割成不同的元件，特别是分割两个眼镜腿。我们沿y轴切割zy平面上的眼镜。对于每个片层，我们都计算具有最小z值的点与具有最大z值的点之间的距离。自前眼镜框切割眼镜腿的平面是两个连续距离的差值最大的切面。
一旦对网格进行了分割，我们便需要在一个更准确的参考眼镜框中更换眼镜模型，并且，如果网格是由3D扫描产生，则需要修正可能的几何缺陷。这对于确保眼镜和人脸的每个局部位置处的准确定位是十分必要的。首先，我们将眼镜腿综合了局部对称和非线性变形场使得眼镜对称。眼镜模型沿x、y和z轴对齐，使眼镜腿沿y轴对齐，眼镜框沿x轴对齐。然后，通过围绕y轴和z轴连续施加三个旋转来使模型对称，表示为Ry和Rz，以使以下成本函数最小化：
ES(Rx,Ry,Rz,M)＝max(EnS(RyRzM,ΔyzRyRzM),EnS(ΔyzRyRzM,RyRzM))
其中M是输入网格，Δyz是通过zy平面的反射，EnS是非对称距离函数如下：
每个眼镜腿的骨架都是通过连接重心来提取，这些重心是沿眼镜腿最长方向的几个片层计算得出的。再利用该骨架计算变形非线性场。计算骨架曲线上每个点的位移矢量D(Pi)＝Δyz(Qi)-Pi，其中Qi是另一个眼镜腿的骨架曲线上曲线坐标与Pi相同的一个点(即，距曲线起点的曲线距离相同)。对于眼镜腿表面上的任一点P，位移场DF则是：
其中Pi是骨架曲线上y坐标与P相同的一个点，L是根据y轴的眼镜腿长度。
在另一个实施方式中，上述所有参数都可以在全局最小化过程中找到。
现在，以这种方式处理的任何来源(3D手动建模、3D扫描仪)的眼镜都在同一个参考眼镜框和配置中，并为试戴做好准备。
物理逼真眼镜定位和变形
定位于在线阶段中进行实时计算，并随3D估计形态变化。现在我们描述几种根据应用情境来将眼镜准确定位于人脸的方法。正确的眼镜定位的确是逼真试戴体验的关键。我们在这里描述所使用的三种模式，取决于试戴特征要求：
1、眼镜拟合人脸：未按比例缩放不同的眼镜，考虑眼镜框在人脸太阳穴处的变宽，不同眼镜框都以眼镜腿再张开5度的方式置于人脸。在这种模式下，眼镜总是拟合用户脸部。
2、以相对尺寸进行眼镜拟合人脸：人脸尺寸未知，但是眼镜已被定位且按比例缩放，使得针对选定人脸类型的平均尺寸眼镜能被定位，并通过眼镜变形来计算眼镜腿的张开的角度，使得符合眼镜的相对尺寸。在统计学上，试戴非常接近绝对尺寸。
3、以绝对尺寸进行眼镜拟合人脸：真实人脸尺寸已知，眼镜以可能的最好方式位于人脸，确保总能得到逼真的结果。
模式1：无局部物理变形情况下的点对点定位
在离线预处理步骤中，在通用3D平均人脸和用于试戴的每个3D眼镜框上定义3D点。然后使用至少以下步骤放置眼镜：
·在离线部分，将3D眼镜点定义在眼镜腿末端和鼻托处。
·首先我们求解其中R是眼镜的3D旋转矩阵，T是3D平移矢量，GP3D(i)是眼镜上定义的特定点的第i个顶点，AP3D(i)是与通用3D人脸上GP3D(i)对应的第i个顶点，Wi是由点确定的权重。
·我们计算比例尺“S”，其定义为眼镜宽度上两个最远点与通用3D人脸上的对应点之间的比。
·然后我们求解
·为了安全起见，我们在对应于鼻托的3D眼镜点上加上1mm的深度和高度。这样可以确保眼镜与3D参数化人脸不相交。
模式2和3：局部物理变形情况下的点对面定位
由于3D人脸具有平均尺寸，我们可以为每个希望的形态分类定义一个平均面孔：男性、女性、儿童、种族形态特征(非洲人、亚洲人、白种人等)。我们可以构建平均眼镜尺寸，并计算存储在数据库中的每个分类的默认尺度。眼镜的相对尺寸与每个类型相对应。使用这种技术，虚拟眼镜的绝对尺寸非常接近试戴期间的精确尺度。
该算法解决了点到面的约束以及需进行良好定位时的软性约束。其进行如下：
1.离线部分：
a.对眼镜表面进行参数化，
b.在前眼镜框的背面(可能在鼻托上)采样m个点，并存储为3D眼镜元数据gi,i＝1..m，
c.定义人脸和眼镜之间的软性约束，软性约束对应于充足的眼镜佩戴位置，使得瞳孔高度为镜片高度的2/3，或/和眼镜框的顶部应该与眉毛的底部重合。
2.在线部分：
a.计算使定义的眼镜点到人脸表面的距离最小的最佳位置和参数化变形，遵守软性限制，不存在相互穿插。每当新的用户形态进行估计或每种人脸类别一旦离线时，都可以进行该计算。计算需要四个步骤：
i.使用经验法则以及任何提供第一z平移估计的其他规则计算眼镜高度，经验法则是指每只眼睛都应位于相应镜片(z平移)的三分之一处；
ii.计算使眼镜腿放在耳朵上的旋转矩阵R(ψ)(在yz平面中，我们计算眼镜腿方向与从眼镜腿开始到人脸太阳穴的方向之间的角度ψ；R(ψ)由对应于x轴的欧拉角定义)；
iii.计算沿y轴的平移矢量transy，使得transy＝mini＝1..m(||Projy(gi)-gi||2)，其中Projy(gi,i＝1..m)是gi沿y轴在人脸模型上的投影(gi＝1..m是图3中标记为G的点，Projy(gi＝1..m)标记为ProjG)；
iv.计算眼镜腿的非刚性变形，使得人脸模型太阳穴和相关联的眼镜腿点位于同一位置。
这一算法非常有效，并且可以根据如材料和厚度等物理性质将物理参数添加到眼镜的变形模型中。对于iv.，眼镜腿的非刚性变形函数描述了受到眼镜腿上角度约束的网格变形。该模型可以是一个简单的启发式变形模型，或者是考虑了材料类型和厚度的一个更复杂的变形模型。本方法的优点之一在于不需要最小化，而且我们保证所有的眼镜都不能与头部互相穿插。tdeform可以由 定义，
其中Pp是眼镜腿的3D枢轴点，Pc是待修改的眼镜腿当前3D点，Pt是人脸模型太阳穴点，R是由对应于z轴的欧拉角定义的3D矩阵旋转，f(θdeform)是根据材料和厚度的函数。
对于模式3，人脸的真实尺寸已知，且通过如瞳孔距离等人脸测量，尺度通常也已知。然后发现虚拟试戴与真实眼镜试戴相当，即佩戴虚拟眼镜或真实眼镜拍摄的用户图片没有尺寸差异。
步骤300：实时3D人脸跟踪和试戴分析
脸部人脸分析步骤后，我们得到了人脸的3D形态和姿态。在实时或视频情境下，我们使用受Vacchetti、V﹒Lepetit和P﹒Fua,于2004年期刊《模式分析与机器智能汇刊》(Pattern Analysis and Machine Intelligence)发表的《Stable real-time 3d tracking using online and offline information》启发的技术进行3D模型跟踪。为了提高鲁棒性和实时效率，我们对该方法进行了3项改进：
·我们将表情参数添加到3D人脸建模中。在每个眼镜框中，我们都求解minR,T,βproj(K×(R×g(α,β)+T))-p2D。
·这一过程中未使用单个关键帧，而是创建了一个关键帧阵列，是一组眼镜框，当跟踪分数可以接受时，该组眼镜框的关联跟踪点和估计参数(3D人脸姿态和表情参数)便保存在战略姿态参数值中。这样，就参数距离而言，我们选择一个最近的关键帧，作为跟踪过程中使用的当前关键帧。选定的姿态参数是影响如到相机的距离等人脸模型外观和两个外部平面角度(人脸右/左，上/下)的相关参数。
·我们的兴趣(跟踪)点在3D人脸模型上是预先定义的，并且可以与检测到的拐角特征(FAST，HARRIS)相组合。我们不使用Vacchetti等人描述的经典点匹配过程，因为稳定性和速度执行不受控制：对于人脸图像，检测到的人脸点的空间分布非常差，数量低且不稳定，导致跟踪过程中的失败。
为了达到非常迅速的性能，我们使用多分辨率模板跟踪过程，使得可以通过2D模板跟踪在当前图像中找到相应的匹配。可以使用如1995年发表的《Fast Normalized Cross-Correlation,J.P.Lewis》中描述的快速归一化互相关或Lucas-Kanade光流技术。
在跟踪过程中，我们可以选择改善用户的形态参数。实际上，通过关键帧阵列(或使用另一个帧阵列)，我们可以执行如形态学估计部分所述的最小化，从而改善用户3D人脸建模g(α,β)＝gm+αV+βA的α参数。由于使用了点和轮廓模型以及关键帧收集多维阵列，我们实现了实时性能。为了提高性能，与Vacchetti等人的方法不同，由于我们的关键帧收集，我们无需通过渲染3D人脸模型或小片单应性变形来执行跟踪点的外观预测。
在Zhang等人在2008年ECCV发表的《Real Time Feature Based 3-D Deformable Face Tracking》中可以找到与合并语义点、角点和侧影轮廓类似的观点。然而，他们的方法具有一个学习阶段，以预测用于匹配的图像线索，并使用随机算法来生成解决假设，这不适合用于避免抖动和实时。
步骤400：实时按需试戴和逼真渲染
最后一个步骤是向用户显示的可见增强现实试戴。在现场试戴视频/相机流的情况下，用户可以看见自己戴着眼镜。当前图片与合成对象和符合场景一致性的效果相结合：几何、虚拟对象与周围场景的局部交互、光度。
为了达到实时的逼真渲染效果和逼真的试戴最终图片，我们提出以下原始的增强现实渲染流水线：与依赖各种着色器代码来模拟不同材料的经典着色系统不同，我们的渲染框架在材料和光方面使用基于物理的外观模型，以产生虚拟眼镜的逼真图片。材料用如漫反射反射率和镜面反射反射率、表面法线和表面粗糙度等宏观参数进行描述。这些参数驱动光扩散的微面模型，通常使用纹理连续地定义在表面上。这些纹理是手工制作或由我们专有的眼镜重建系统公布号为20140055570 A1，申请认为FittingBox的美国专利申请文 件《Model and method for producing 3d photorealistic models》组装而成的。
这种外观模型是通用的，足以逼真地模拟很大范围内的真实材料。拥有一个单一着色器代码可以避免与管理许多着色器代码段相关的常见问题，从而编译最终的运行时间着色器。
向经过纹理参数化的不同的眼镜部件(眼镜框、镜片、鼻托等)或表面元素(纹素)分配特定材料。通过分析表面外观在不同方向和照明条件下的变化，可以自动进行该分配。由于我们的照明模型在参数方面比较紧凑，因此可以像Haber等人2009年发表的 《Relighting Objects from Image Collections》一样很容易地解决逆渲染问题。对每个纹素都进行分配之后，纹理对材料参数或材料指数进行编码。如果需要，也可以对多个眼镜之间的材料参数进行微调。
所有计算都以高级着色器语言制定，从而通过专用图形处理单元(GPU)进行快速评估。这样可以确保渲染结果在我们支持的不同平台(Web客户端、移动设备和基于PC的系统)中看起来都相似。
照明系统由合成光以及高动态范围(HDR)环境映射组成，从而产生HDR输出。为了在标准低动态范围(LDR)屏幕上显示渲染场景，将色调映射变换应用于该HDR输出，从而压缩强度范围。使用影调映射算子，从而使对比度守恒最大化。
在试戴期间，图片或视频流应通过半透明部分(尤其是镜片)显示，从而合成HDR层(眼镜渲染)与LDR层(“真实”图像)。基于α混合的标准方法一般不能产生逼真的结果，因为背景和增强层的像素强度值不代表相干光辐射。我们以逼真的方式，在色调映射和合成之前应用不透明度校正公式，由此通过渲染场景上的高光解释底层的掩蔽，如下所述。
在每个片段都对公式进行评估。假设α是当前片段的不透明度，LHDR是计算得到的辐照度值。我们计算一个经校正的不透明度αLDR作为α和1之间的重心组合。
我们看到，组合系数是比其中是在当前片段位置上的真实场景中能观察到的最大辐照度的估计。例如，可以根据采集装置的特征来进行评估。
我们的渲染系统的另一个组成部分、使眼镜在真实场景中无缝集成就是计算逼真阴影。在我们的场景中，眼镜应该在用户脸部投下阴影。我们通过先计算用户脸部形态的准确估计(如前所述)、再估计真实场景中的光的主要方向来实现逼真效果。我们将人脸模型作为不能直接可见的特殊对象而集成到合成场景中，但人脸模型既能作为被人脸遮住的眼镜各部件的限光部又能作为阴影接收部。
后者可以通过假设皮肤的参数化反射模型(如朗伯式)、并找到其与人脸表面法线和像素强度的最佳拟合来完成，如通常在立体光度法中所做的那样(Basri,R.等人2007年 在IJCV发表的《Photometric Stereo with General,Unknown Lighting》)。这里的几何和相机参数是从上一步知道的，只需评估照明环境即可。该模型还可以包括光源区域的估计，是一个可以用于渲染逼真的软阴影(具有半影的阴影)的参数。
为了实时渲染软阴影，我们使用方差软阴影映射算法2010年Yang等人在《Pacific Graphics》发表的《Variance Soft Shadow Mapping》,，但也可以使用其他技术，如百分比渐进软阴影2005年，计算机图形图像特别兴趣小组(SIGGRAPH)Fernando在《Sketches》上发布的《Percentage-closer soft shadows》。
步骤500：零故障、无缝的增强逼真试戴体验
为了提高鲁棒性，我们引入了一种跟踪恢复模式，允许试戴过程中没有明显故障的试戴体验。该方法适用于任意增强现实对象，而且在我们的情况下非常有效。
基于根据2D匹配得分和/或当前头部姿态参数和头部运动模型预测之间的差值，我们引入了3D跟踪质量得分。作为示例，可以使用具有位置、速度和加速度参数的卡尔曼滤波器。
然后，当跟踪分数降低时，系统从上述跟踪算法切换到恢复状态。
恢复状态工作如下：
系统确定待使用的关键帧，称为恢复关键帧：如果头部运动估计置信度不够好，则使用由头部运动估计提供的最近关键帧或正面关键帧。
然后在由人脸检测器或头部移动模型提供的估计得到的人脸位置处搜索并匹配恢复关键帧小片。然后，仅使用该恢复关键帧来估计3D头部姿态参数。可以使用关键帧作为模板执行人脸检测，并以非常低的分辨率在整个图像中进行搜索。
这个过程非常快，但仍然可能需要一些时间。在经典的增强现实流水线中，渲染在场景分析部分的末尾进行，导致渲染帧率降低或使虚拟对象消失。为了克服这个问题，我们在不同计算线程中将帧抓取过程、分析过程和渲染流水线进行去相关。因此，在恢复计算期间，即使场景分析结果不可用，我们也能使用运动预测模型来渲染场景。当场景分析结果可用时，我们使用卡尔曼滤波器对预测和计算进行平滑合并。
该技术的主要优点在于，用户在试戴体验中不会发现任何故障或不顺畅。

Claims (16)

1.用于创建位于一个真实用户脸部图像上的一副虚拟眼镜的实时逼真图像的方法，所述真实用户脸部图像来自单个图像、一组图片、视频剪辑或实时相机视频流，该方法特征在于包括以下步骤：
-100、一个人脸分析过程，所述人脸分析过程用于估计所述用户脸部的3D旋转矩阵、3D平移矢量和形态参数；
-200、一个眼镜定位过程，其与用于外观或真实尺寸模拟的试戴模式相关联，该眼镜定位过程用于估计所述虚拟眼镜的3D旋转矩阵、3D平移矢量、和全局与局部变形参数，以及眼镜腿与眼镜框的连接，以适于步骤100中计算得到的所述形态参数；
-400、一个逼真渲染过程，所述逼真渲染过程与将所述真实用户脸部图像与在步骤200中定位的所述虚拟眼镜进行结合。
2.根据权利要求1所述的方法，其中，步骤100还包括估计所述用户脸部的表情参数。
3.根据权利要求1所述的方法，其中，步骤100还包括估计固有相机参数。
4.根据权利要求1所述的方法，其中，步骤200还包括一个眼镜3D模型分析过程，该过程提供参数化、将眼镜分割成多个部分和网格校正。
5.根据权利要求1所述的方法，其中，步骤200包括两次眼镜定位过程，其与用于外观或真实尺寸模拟的试戴模式相关联，所述两次眼镜定位过程用于估计所述虚拟眼镜的所述3D旋转矩阵、所述3D平移矢量、和所述全局与局部变形参数，以及眼镜腿与眼镜框的连接，以适于步骤100中计算得到的所述形态参数。
6.根据权利要求1所述的方法，其中，所述方法还包括一个人脸跟踪算法的步骤300，所述人脸跟踪算法提供位置和旋转，并允许实时改进来自多个图像的人脸参数。
7.根据权利要求1所述的方法，其中，步骤400包括估算不透明度校正和色调映射参数。
8.根据权利要求1所述的方法，其中，所述方法包括：
-使用一个平行处理流水线对图像采集、场景分析过程、和渲染进行去相关；
-一个快速3D人脸姿态恢复过程；
-使用一个头部运动模型和控制过滤器始终向所述渲染过程提供每一帧处的平滑的3D姿态。
9.根据权利要求1所述的方法，其中，在步骤100的所述实时人脸分析过程中，使用脸部用户模型和与检测到的特征相对应的图像轮廓和3D语义点来对参数进行估计，所述参数包括所述用户脸部的3D旋转矩阵R、3D平移矢量T、形态参数α和表情参数β。
10.根据权利要求9所述的方法，其中，使用多于一个图像对参数进行估计。
11.根据权利要求1所述的方法，其中，所述眼镜定位过程(所述步骤200)包括：
-a、一个离线处理步骤，该步骤用于根据精确参数化的一个3D模型来创建一个对称和分割的眼镜对象，以及用于在参考系统中对眼镜进行重新定位，所述分割的眼镜对象包括眼镜腿和眼镜框，
-b、一个在线实时处理步骤，通过结合与所述分割的眼镜对象的属性相关的约束和所述眼镜腿与所述眼镜框之间的机械约束，该步骤估计在不发生相互穿插的情况下所述眼镜的定位参数，所述眼镜定位参数是3D旋转矩阵R、3D平移矢量T、眼镜腿开放角度和变形参数D。
12.根据权利要求11所述的方法，其中，所述离线处理步骤包括：
-自动分割步骤；
-提供根据所述对象的骨架的对称化，计算参考眼镜框和非线性变形域使全局对称性最大化；
-骨架提取方法，通过切割所述对象并连接重心获得；
-根据所述骨架的位移区域的影响函数，计算对象顶点的位移，。
13.根据权利要求11所述的方法，其中，所述在线处理步骤使用了眼镜拟合人脸的方法：其中，未按比例缩放不同的眼镜，考虑到人脸太阳穴处的变宽，所有眼镜框都以眼镜腿再张开5度的方式置于所述人脸。
14.根据权利要求11所述的方法，其中，所述在线处理步骤使用了以相对尺寸进行眼镜拟合人脸的方法：其中，人脸尺寸未知，而定位且按比例缩放眼镜，使得针对选定人脸类型的平均尺寸眼镜能被定位，并且用所述眼镜变形来计算所述眼镜腿张开角度，使得符合所述眼镜的相对尺寸。
15.根据权利要求11所述的方法，其中，所述在线处理步骤使用了以绝对尺寸进行眼镜拟合人脸的方法：其中，真实人脸尺寸已知，眼镜以最可能的方式位于人脸，确保总能得到逼真的结果。
16.根据权利要求1所述的方法，其中，步骤400包括一种合成方法，所述方法使用以下公式将计算所得的不透明度值α修改为对象的校正值αLDR：
<mrow> <msub> <mi>&amp;alpha;</mi> <mrow> <mi>L</mi> <mi>D</mi> <mi>R</mi> </mrow> </msub> <mo>=</mo> <mfrac> <msub> <mi>L</mi> <mrow> <mi>H</mi> <mi>D</mi> <mi>R</mi> </mrow> </msub> <msubsup> <mi>L</mi> <mrow> <mi>H</mi> <mi>D</mi> <mi>R</mi> </mrow> <mrow> <mi>M</mi> <mi>a</mi> <mi>x</mi> </mrow> </msubsup> </mfrac> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mfrac> <msub> <mi>L</mi> <mrow> <mi>H</mi> <mi>D</mi> <mi>R</mi> </mrow> </msub> <msubsup> <mi>L</mi> <mrow> <mi>H</mi> <mi>D</mi> <mi>R</mi> </mrow> <mrow> <mi>M</mi> <mi>a</mi> <mi>x</mi> </mrow> </msubsup> </mfrac> <mo>)</mo> </mrow> <mi>&amp;alpha;</mi> <mo>=</mo> <mi>&amp;alpha;</mi> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <mfrac> <msub> <mi>L</mi> <mrow> <mi>H</mi> <mi>D</mi> <mi>R</mi> </mrow> </msub> <msubsup> <mi>L</mi> <mrow> <mi>H</mi> <mi>D</mi> <mi>R</mi> </mrow> <mrow> <mi>M</mi> <mi>a</mi> <mi>x</mi> </mrow> </msubsup> </mfrac> </mrow>
其中，LHDR是计算所得的辐照度，是真实场景辐照度的上边界。
CN201680011679.1A 2015-02-23 2016-02-22 用于实时、物理准确且逼真的眼镜试戴的流程和方法 Active CN107408315B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1551531 2015-02-23
FR1551531 2015-02-23
PCT/EP2016/053629 WO2016135078A1 (en) 2015-02-23 2016-02-22 Process and method for real-time physically accurate and realistic-looking glasses try-on

Publications (2)

Publication Number Publication Date
CN107408315A true CN107408315A (zh) 2017-11-28
CN107408315B CN107408315B (zh) 2021-12-07

Family

ID=55484956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680011679.1A Active CN107408315B (zh) 2015-02-23 2016-02-22 用于实时、物理准确且逼真的眼镜试戴的流程和方法

Country Status (4)

Country Link
US (1) US10042188B2 (zh)
EP (1) EP3262617A1 (zh)
CN (1) CN107408315B (zh)
WO (1) WO2016135078A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108461128A (zh) * 2018-03-02 2018-08-28 上海联影医疗科技有限公司 医学图像处理方法及系统和图像处理终端
CN108490641A (zh) * 2018-02-14 2018-09-04 天目爱视（北京）科技有限公司 基于3d头部数据的眼镜自动设计系统
CN108550178A (zh) * 2018-04-19 2018-09-18 深浅度视觉科技（大连）有限公司 Ar虚拟眼镜材质贴图渲染方法及系统
CN109035415A (zh) * 2018-07-03 2018-12-18 百度在线网络技术（北京）有限公司 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN109558665A (zh) * 2018-11-22 2019-04-02 杭州美戴科技有限公司 一种个性化柔性鼻托的自动设计方法
CN109636706A (zh) * 2017-12-15 2019-04-16 株式会社夏蒙 标准正面设定装置、测量装置及测量方法
CN110414101A (zh) * 2019-07-15 2019-11-05 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种仿真场景测量方法、准确性测定方法及系统
CN110533775A (zh) * 2019-09-18 2019-12-03 广州智美科技有限公司 一种基于3d人脸的眼镜匹配方法、装置及终端
WO2019232871A1 (zh) * 2018-06-08 2019-12-12 平安科技（深圳）有限公司 眼镜虚拟佩戴方法、装置、计算机设备及存储介质
CN111461814A (zh) * 2020-03-11 2020-07-28 深圳市新镜介网络有限公司 虚拟眼镜的试戴方法、终端设备及存储介质
CN111488778A (zh) * 2019-05-29 2020-08-04 北京京东尚科信息技术有限公司 图像处理方法及装置、计算机系统和可读存储介质
US10789784B2 (en) 2018-05-23 2020-09-29 Asustek Computer Inc. Image display method, electronic device, and non-transitory computer readable recording medium for quickly providing simulated two-dimensional head portrait as reference after plastic operation
CN112418138A (zh) * 2020-12-04 2021-02-26 兰州大学 一种眼镜试戴系统及程序
CN113168733A (zh) * 2019-01-04 2021-07-23 沃比帕克公司 一种眼镜虚拟试戴系统和方法
CN113592592A (zh) * 2021-07-28 2021-11-02 严沛熙 生成眼镜框试戴效果图的方法及眼镜框虚拟试戴系统

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665984B2 (en) * 2014-07-31 2017-05-30 Ulsee Inc. 2D image-based 3D glasses virtual try-on system
CA2901477C (en) 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
EP3355214A1 (de) * 2017-01-27 2018-08-01 Carl Zeiss Vision International GmbH Verfahren, recheneinrichtung und computerprogramm zum bereitstellen eines fassungsrandmodells
ES2714172T5 (es) * 2017-01-27 2022-09-07 Zeiss Carl Vision Int Gmbh Procedimiento y dispositivo, así como programa de ordenador para determinar una representación de un borde de lente de gafas
WO2018191784A1 (en) * 2017-04-19 2018-10-25 SPEQS Limited Eyeglasses ordering system and digital interface therefor
FR3067151B1 (fr) * 2017-05-30 2019-07-26 Fittingbox Procede d'essayage virtuel realiste d'une paire de lunettes par un individu
EP3410178A1 (de) 2017-06-01 2018-12-05 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
PT3425447T (pt) 2017-07-06 2019-12-05 Zeiss Carl Vision Int Gmbh Método, dispositivo e programa de computador para adaptação virtual de uma armação de óculos
EP3425446B1 (de) * 2017-07-06 2019-10-30 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
FR3069687B1 (fr) 2017-07-25 2021-08-06 Fittingbox Procede de determination d'au moins un parametre associe a un dispositif ophtalmique
CN107341827B (zh) * 2017-07-27 2023-01-24 腾讯科技（深圳）有限公司 一种视频处理方法、装置和存储介质
CN107589562A (zh) * 2017-09-20 2018-01-16 厦门云镜视界设计有限公司 一种眼镜定制方法
US11157985B2 (en) * 2017-11-29 2021-10-26 Ditto Technologies, Inc. Recommendation system, method and computer program product based on a user's physical features
CN108769647B (zh) * 2018-04-20 2020-03-31 盎锐（上海）信息科技有限公司 基于3d摄像机的影像生成装置及影像生成方法
CN108764135B (zh) * 2018-05-28 2022-02-08 北京微播视界科技有限公司 图像生成方法、装置，及电子设备
WO2020057365A1 (en) * 2018-09-18 2020-03-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for generating spoofed structured light illuminated face
CN109447923A (zh) * 2018-09-27 2019-03-08 中国科学院计算技术研究所 一种语义场景补全系统与方法
US11327563B2 (en) 2018-10-22 2022-05-10 Evolution Optiks Limited Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
US11500460B2 (en) 2018-10-22 2022-11-15 Evolution Optiks Limited Light field device, optical aberration compensation or simulation rendering
US11966507B2 (en) 2018-10-22 2024-04-23 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US10685457B2 (en) 2018-11-15 2020-06-16 Vision Service Plan Systems and methods for visualizing eyewear on a user
US11789531B2 (en) 2019-01-28 2023-10-17 Evolution Optiks Limited Light field vision-based testing device, system and method
US11500461B2 (en) 2019-11-01 2022-11-15 Evolution Optiks Limited Light field vision-based testing device, system and method
WO2020219446A1 (en) 2019-04-23 2020-10-29 Evolution Optiks Limited Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same
US11902498B2 (en) 2019-08-26 2024-02-13 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11487361B1 (en) 2019-11-01 2022-11-01 Evolution Optiks Limited Light field device and vision testing system using same
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
US11645756B2 (en) * 2019-11-14 2023-05-09 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN111028343B (zh) * 2019-12-16 2020-12-11 腾讯科技（深圳）有限公司 三维人脸模型的生成方法、装置、设备及介质
JP2023515517A (ja) 2020-02-21 2023-04-13 ディット テクノロジーズ インコーポレイテッド ライブフィッティングを含む眼鏡フレームのフィッティング
WO2021179936A1 (en) * 2020-03-09 2021-09-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for virtual fitting
CN111405343A (zh) * 2020-03-18 2020-07-10 广州华多网络科技有限公司 直播互动方法、装置、电子设备及存储介质
US11676347B2 (en) 2020-04-15 2023-06-13 Warby Parker Inc. Virtual try-on systems for spectacles using reference frames
US11710346B2 (en) * 2020-05-28 2023-07-25 Nec Corporation Facial recognition for masked individuals
FR3118821B1 (fr) 2021-01-13 2024-03-01 Fittingbox Procédé de détection et de suivi dans un flux vidéo d’un visage d’un individu portant une paire de lunettes
FR3119694B1 (fr) 2021-02-11 2024-03-29 Fittingbox Procédé d’apprentissage d’un système d’apprentissage automatique pour la détection et la modélisation d’un objet dans une image, produit programme d’ordinateur et dispositif correspondant.
EP4043946A1 (en) * 2021-02-12 2022-08-17 Essilor International A device and method for automatically evaluating visual equipment
CN113066171B (zh) * 2021-04-20 2023-09-12 南京大学 一种基于三维人脸形变模型的人脸图像生成方法
US20220343406A1 (en) * 2021-04-23 2022-10-27 Yixian Gu Exact-Frame-Fit technology using FD and PD to control try-on model image rendering at online eyeglasses e-commerce website and Web-development application
FR3124069A1 (fr) * 2021-06-18 2022-12-23 Acep France Procédé d’essayage de lunettes virtuelles

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873724B2 (en) * 2001-08-08 2005-03-29 Mitsubishi Electric Research Laboratories, Inc. Rendering deformable 3D models recovered from videos
US20080309664A1 (en) * 2007-06-18 2008-12-18 Microsoft Corporation Mesh Puppetry
CN101447053A (zh) * 2007-11-26 2009-06-03 谢亦玲 计算机眼镜佩戴装置
US20120313955A1 (en) * 2010-01-18 2012-12-13 Fittingbox Augmented reality method applied to the integration of a pair of spectacles into an image of a face
CN102928979A (zh) * 2011-08-30 2013-02-13 微软公司 调整混合现实显示器以供瞳孔间距对准
US20130088490A1 (en) * 2011-04-04 2013-04-11 Aaron Rasmussen Method for eyewear fitting, recommendation, and customization using collision detection
CN103400119A (zh) * 2013-07-31 2013-11-20 南京融图创斯信息科技有限公司 基于人脸识别技术的混合显示眼镜交互展示方法
WO2013177464A1 (en) * 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a virtual try-on product
CN103676192A (zh) * 2012-09-19 2014-03-26 申尚昊 眼镜架与眼镜腿的连接构造
US20140139522A1 (en) * 2009-09-18 2014-05-22 Samsung Electronics Co., Ltd. Apparatus and method to extract three-dimensional (3d) facial expression
US8733936B1 (en) * 2012-01-30 2014-05-27 Ditto Technologies, Inc. Fitting glasses frames to a user

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR1050305A (fr) 1951-07-31 1954-01-06 Holophane Appareil d'éclairage direct pour sources lumineuses rectilignes
US5421589A (en) * 1993-05-14 1995-06-06 The Walt Disney Company Method and apparatus for displaying an alpha channel virtual image
US7016824B2 (en) * 2001-02-06 2006-03-21 Geometrix, Inc. Interactive try-on platform for eyeglasses
EP1977374A4 (en) * 2005-11-30 2012-09-05 Seeing Machines Pty Ltd VISUAL TRACKING OF GLASSES IN VISUAL HEAD AND EYE TRACKING SYSTEMS
WO2008064349A1 (en) * 2006-11-22 2008-05-29 Nik Software, Inc. Method for dynamic range editing
US8982122B2 (en) * 2008-11-24 2015-03-17 Mixamo, Inc. Real time concurrent design of shape, texture, and motion for 3D character animation
FR2971873B1 (fr) 2011-02-22 2014-01-03 Fittingbox Procede de detection d'un ensemble predefini de points caracteristiques d'un visage
EP3401879B1 (fr) 2012-03-19 2021-02-17 Fittingbox Procédé de modélisation d'un objet tridimensionnel à partir d'images bidimensionnelles de cet objet prises sous différents angles
BR112015008660A2 (pt) * 2012-10-16 2017-07-04 3M Innovative Properties Co métodos e dispositivos para avaliar o ajuste de dispositivo ocular
US9665984B2 (en) * 2014-07-31 2017-05-30 Ulsee Inc. 2D image-based 3D glasses virtual try-on system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873724B2 (en) * 2001-08-08 2005-03-29 Mitsubishi Electric Research Laboratories, Inc. Rendering deformable 3D models recovered from videos
US20080309664A1 (en) * 2007-06-18 2008-12-18 Microsoft Corporation Mesh Puppetry
CN101447053A (zh) * 2007-11-26 2009-06-03 谢亦玲 计算机眼镜佩戴装置
US20140139522A1 (en) * 2009-09-18 2014-05-22 Samsung Electronics Co., Ltd. Apparatus and method to extract three-dimensional (3d) facial expression
US20120313955A1 (en) * 2010-01-18 2012-12-13 Fittingbox Augmented reality method applied to the integration of a pair of spectacles into an image of a face
US20130088490A1 (en) * 2011-04-04 2013-04-11 Aaron Rasmussen Method for eyewear fitting, recommendation, and customization using collision detection
CN102928979A (zh) * 2011-08-30 2013-02-13 微软公司 调整混合现实显示器以供瞳孔间距对准
US8733936B1 (en) * 2012-01-30 2014-05-27 Ditto Technologies, Inc. Fitting glasses frames to a user
WO2013177464A1 (en) * 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a virtual try-on product
US20130335416A1 (en) * 2012-05-23 2013-12-19 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a virtual try-on product
CN103676192A (zh) * 2012-09-19 2014-03-26 申尚昊 眼镜架与眼镜腿的连接构造
CN103400119A (zh) * 2013-07-31 2013-11-20 南京融图创斯信息科技有限公司 基于人脸识别技术的混合显示眼镜交互展示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUANG, SZU-HAO等: "Human-centric design personalization of 3D glasses frame in markerless augmented reality", 《ADVANCED ENGINEERING INFORMATICS 》 *
刘丽余: "基于虚拟试戴技术的眼镜销售系统的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636706A (zh) * 2017-12-15 2019-04-16 株式会社夏蒙 标准正面设定装置、测量装置及测量方法
CN108490641A (zh) * 2018-02-14 2018-09-04 天目爱视（北京）科技有限公司 基于3d头部数据的眼镜自动设计系统
CN108461128A (zh) * 2018-03-02 2018-08-28 上海联影医疗科技有限公司 医学图像处理方法及系统和图像处理终端
CN108550178A (zh) * 2018-04-19 2018-09-18 深浅度视觉科技（大连）有限公司 Ar虚拟眼镜材质贴图渲染方法及系统
US10789784B2 (en) 2018-05-23 2020-09-29 Asustek Computer Inc. Image display method, electronic device, and non-transitory computer readable recording medium for quickly providing simulated two-dimensional head portrait as reference after plastic operation
WO2019232871A1 (zh) * 2018-06-08 2019-12-12 平安科技（深圳）有限公司 眼镜虚拟佩戴方法、装置、计算机设备及存储介质
CN109035415A (zh) * 2018-07-03 2018-12-18 百度在线网络技术（北京）有限公司 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN109035415B (zh) * 2018-07-03 2023-05-16 百度在线网络技术（北京）有限公司 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN109558665A (zh) * 2018-11-22 2019-04-02 杭州美戴科技有限公司 一种个性化柔性鼻托的自动设计方法
CN109558665B (zh) * 2018-11-22 2023-01-10 杭州美戴科技有限公司 一种个性化柔性鼻托的自动设计方法
CN113168733A (zh) * 2019-01-04 2021-07-23 沃比帕克公司 一种眼镜虚拟试戴系统和方法
CN113168733B (zh) * 2019-01-04 2023-07-28 沃比帕克公司 一种眼镜虚拟试戴系统和方法
CN111488778A (zh) * 2019-05-29 2020-08-04 北京京东尚科信息技术有限公司 图像处理方法及装置、计算机系统和可读存储介质
CN110414101A (zh) * 2019-07-15 2019-11-05 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种仿真场景测量方法、准确性测定方法及系统
CN110533775B (zh) * 2019-09-18 2023-04-18 广州智美科技有限公司 一种基于3d人脸的眼镜匹配方法、装置及终端
CN110533775A (zh) * 2019-09-18 2019-12-03 广州智美科技有限公司 一种基于3d人脸的眼镜匹配方法、装置及终端
CN111461814A (zh) * 2020-03-11 2020-07-28 深圳市新镜介网络有限公司 虚拟眼镜的试戴方法、终端设备及存储介质
CN111461814B (zh) * 2020-03-11 2024-03-26 深圳市新镜介网络有限公司 虚拟眼镜的试戴方法、终端设备及存储介质
CN112418138A (zh) * 2020-12-04 2021-02-26 兰州大学 一种眼镜试戴系统及程序
CN112418138B (zh) * 2020-12-04 2022-08-19 兰州大学 一种眼镜试戴系统
CN113592592A (zh) * 2021-07-28 2021-11-02 严沛熙 生成眼镜框试戴效果图的方法及眼镜框虚拟试戴系统
CN113592592B (zh) * 2021-07-28 2023-11-07 严沛熙 生成眼镜框试戴效果图的方法及眼镜框虚拟试戴系统

Also Published As

Publication number Publication date
WO2016135078A1 (en) 2016-09-01
US20160246078A1 (en) 2016-08-25
CN107408315B (zh) 2021-12-07
US10042188B2 (en) 2018-08-07
EP3262617A1 (en) 2018-01-03

Similar Documents

Publication Publication Date Title
CN107408315A (zh) 用于实时、物理准确且逼真的眼镜试戴的流程和方法
CN110892315B (zh) 用于眼镜架的虚拟配适的方法、设备和计算机程序
Rhodin et al. General automatic human shape and motion capture using volumetric contour cues
US9317973B2 (en) Augmented reality method applied to the integration of a pair of spectacles into an image of a face
US20190035149A1 (en) Methods of generating personalized 3d head models or 3d body models
CN106067190B (zh) 一种基于单幅图像的快速人脸三维模型生成和变换方法
WO2021028728A1 (ru) Способ и система для дистанционного выбора одежды
JP4284664B2 (ja) 三次元形状推定システム及び画像生成システム
US20140043329A1 (en) Method of augmented makeover with 3d face modeling and landmark alignment
WO2013189101A1 (zh) 一种基于单幅图像的头发建模和肖像编辑方法
JP2002133446A (ja) 顔画像処理方法およびシステム
CN110197462A (zh) 一种人脸图像实时美化与纹理合成方法
CN105956995B (zh) 一种基于实时视频本征分解的人脸外观编辑方法
CN108537887A (zh) 基于3d打印的草图与模型库三维视图匹配方法
Chen et al. Autosweep: Recovering 3d editable objects from a single photograph
Wang et al. Dynamic human body reconstruction and motion tracking with low-cost depth cameras
CN113724302B (zh) 一种个性化眼镜定制方法及定制系统
Marelli et al. Faithful fit, markerless, 3d eyeglasses virtual try-on
Zhang et al. Capture My Head: A Convenient and Accessible Approach Combining 3D Shape Reconstruction and Size Measurement from 2D Images for Headwear Design
CN115761143A (zh) 一种基于2d图像的3d虚拟换装模型生成方法及装置
CN108986157A (zh) 一种基于双目相机的虚拟发型交互装置及使用方法
Yuan et al. Magic glasses: from 2D to 3D
Dong et al. A low-cost photorealistic CG dataset rendering pipeline for facial landmark localization
Abeysundera et al. Nearest neighbor weighted average customization for modeling faces
Zhang et al. A 3D Face Modeling and Recognition Method Based on Binocular Stereo Vision and Depth-Sensing Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant