CN114787872A - 用于扩展用于评估眼睛配戴物兼容性的图像数据库的装置、方法及计算机可读存储介质 - Google Patents

用于扩展用于评估眼睛配戴物兼容性的图像数据库的装置、方法及计算机可读存储介质 Download PDF

Info

Publication number
CN114787872A
CN114787872A CN202080085056.5A CN202080085056A CN114787872A CN 114787872 A CN114787872 A CN 114787872A CN 202080085056 A CN202080085056 A CN 202080085056A CN 114787872 A CN114787872 A CN 114787872A
Authority
CN
China
Prior art keywords
image
frame
eyewear
received
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080085056.5A
Other languages
English (en)
Inventor
P·阿里奥尼
T·邦宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EssilorLuxottica SA
Original Assignee
Essilor International Compagnie Generale dOptique SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP19306761.8A external-priority patent/EP3843043B1/en
Application filed by Essilor International Compagnie Generale dOptique SA filed Critical Essilor International Compagnie Generale dOptique SA
Publication of CN114787872A publication Critical patent/CN114787872A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00—Assembling; Repairing; Cleaning
    • G02C13/003—Measuring during assembly or fitting of spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Abstract

本披露内容涉及一种用于扩展用于评估眼睛配戴物兼容性的图像数据库的方法。具体地，本披露内容涉及一种方法，所述方法包括：接收用户图像；接收镜架图像；通过将接收到的镜架图像的除了所述镜架前面之外的像素设置为透明来处理接收到的镜架图像；在经处理的镜架图像内定义所述镜架前面的左边界和右边界，所述左边界和所述右边界分别对应于左眼和右眼；接收滤光片图像；通过基于所述左边界和所述右边界将所述接收到的滤光片图像中所述镜架之外的像素设置为透明来处理所述接收到的滤光片图像；合并经处理的镜架图像和经处理的滤光片图像；以及将合并后的图像叠加到接收到的用户图像上。

Description

用于扩展用于评估眼睛配戴物兼容性的图像数据库的装置、 方法及计算机可读存储介质
技术领域
本披露内容涉及眼睛配戴物，并且具体地，涉及生成用于评估眼睛配戴物兼容性的图像数据库。
背景技术
在选择新的视觉设备或眼睛配戴物的过程中，用户经常需要进行自我审视，以确定他们脸上的新眼睛配戴物的美感。此外，当在多件眼睛配戴物之间做选择时，用户可能会发现很难确定哪件最有吸引力、最实用或最适合他们特定的面部骨骼结构和特征。与此同时，用户可能会纠结于其自己对脸上新眼睛配戴物的看法以及第三方(例如，朋友、家人、专业人士等)关于脸上新眼睛配戴物是否合适的假想看法。
为了提供一种可以在接收到配戴眼睛配戴物的用户的图像后基于用户和眼睛配戴物的独特特质来生成适合性评估或推荐的眼睛配戴物推荐工具，必须编译大型图像数据库，使得可以将算法训练成在出现未知的用户和眼睛配戴物组合时生成准确的适合性评估。这种大型图像数据库可能包括数千个配戴眼睛配戴物的用户的图像，并且可理解地，可能通过获取用户和眼睛配戴物的每个期望组合的照片而费力地组装。例如，如果眼睛配戴物库存包括二十五种可能的眼睛配戴物，则对应的数据库可以至少包括二十五张照片的倍数，其中，每个眼睛配戴物由给定用户配戴。可以了解的是，即便尽最大努力，获取这些组合中的每种组合的真实照片也是不切实际的，并且当考虑到生成综合数据库所需的不同范围的年龄、性别、种族等时，可能更加不切实际。
鉴于上述情况，需要一种用于扩展用于评估眼睛配戴物兼容性的图像数据库的耗费人力较少的方法，以允许对用户和眼睛配戴物的不同组合进行全面和准确的评估。本披露内容对此描述了一系列解决方案。
前述“背景”说明是为了总体上介绍本披露内容的上下文。发明人的工作(在本背景部分中所描述的程度上)、以及说明书中在申请之时可能不被认定为现有技术的方面，既没有明确地也没有隐含地承认是针对本发明的现有技术。
发明内容
本披露内容涉及一种用于扩展用于评估眼睛配戴物兼容性的图像数据库的装置、方法及计算机可读存储介质。
根据实施例，本披露内容进一步涉及一种用于扩展用于评估眼睛配戴物兼容性的图像数据库的方法，所述方法包括：接收用户面部的用户图像；从多个眼睛配戴物镜架图像中接收眼睛配戴物镜架的镜架图像；由处理电路系统通过将接收到的镜架图像的除了所述眼睛配戴物的镜架前面之外的像素设置为透明来处理接收到的镜架图像；在经处理的镜架图像内定义所述眼睛配戴物的镜架前面的左边界和右边界，所述定义的左边界和所述定义的右边界分别对应于左眼和右眼；接收对所述眼睛配戴物的镜片涂层进行建模的滤光片的滤光片图像；由所述处理电路系统通过基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界将接收到的滤光片图像中在所述眼睛配戴物的镜架之外的像素设置为透明来处理所述接收到的滤光片图像；合并经处理的镜架图像和经处理的滤光片图像；以及由所述处理电路系统将合并后的经处理的镜架图像和经处理的滤光片图像叠加到接收到的用户面部的用户图像上。
根据可以单独或组合考虑的进一步实施例：
-所述接收包括接收所述眼睛配戴物的镜架的镜架图像和所述眼睛配戴物的镜架的镜腿的两个或更多个图像，所述眼睛配戴物的镜架的镜腿的所述两个或更多个图像在所述叠加期间被利用；和/或
-所述处理包括通过基于所述接收到的用户图像和定义将所述眼睛配戴物的镜架安置在所述用户面部上的适配模型来将所述接收到的镜架图像居中来处理所述接收到的镜架图像；和/或
-所述居中包括根据所述接收到的用户图像中所述用户面部的取向来将所述接收到的镜架图像居中；和/或
-所述处理包括通过基于所述接收到的用户图像和一个或多个比例因子来缩放所述接收到的镜架图像来处理所述接收到的镜架图像，所述一个或多个比例因子包括瞳孔因子，所述瞳孔因子是真实瞳孔距离与数字瞳孔距离之间的关系，所述数字瞳孔距离是在所述接收到的镜架图像上测量的；和/或
-所述数字瞳孔距离是通过计算所述用户眼睛的瞳孔之间的距离来确定的，所述用户眼睛的瞳孔被定义为所述用户面部的睑裂的重心；和/或
-所述方法进一步包括基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界来处理所述接收到的用户面部的用户图像，所述接收到的用户图像中在所述定义的左边界和所述定义的右边界之外的像素被设置为透明；和/或
-所述方法进一步包括基于所述用户的视力处方将校正因子应用于经处理的接收到的用户图像；和/或
-所述方法进一步包括基于所述经处理的镜架图像中所述眼睛配戴物的镜架的材料和所述经处理的滤光片图像中的滤光片将校正因子应用于所述经处理的接收到的用户图像；和/或
-根据所述经处理的镜架图像对所述接收到的滤光片图像进行居中和缩放。
根据实施例，本披露内容进一步涉及一种用于扩展用于评估眼睛配戴物兼容性的图像数据库的装置，所述装置包括处理电路系统，所述处理电路系统被配置为：接收用户面部的用户图像；从多个眼睛配戴物镜架图像中接收眼睛配戴物镜架的镜架图像；通过将接收到的镜架图像的除了所述眼睛配戴物的镜架前面之外的像素设置为透明来处理接收到的镜架图像；在经处理的镜架图像内定义所述眼睛配戴物的镜架前面的左边界和右边界，所述定义的左边界和所述定义的右边界分别对应于左眼和右眼；接收对所述眼睛配戴物的镜片涂层进行建模的滤光片的滤光片图像；通过基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界将接收到的滤光片图像中在所述眼睛配戴物的镜架之外的像素设置为透明来处理接收到的滤光片图像；合并经处理的镜架图像和经处理的滤光片图像；并且将合并后的经处理的镜架图像和经处理的滤光片图像叠加到接收到的用户面部的用户图像上。
根据可以单独或组合考虑的进一步实施例：
-所述处理电路系统进一步被配置为通过基于所述接收到的用户图像和定义将所述眼睛配戴物的镜架安置在所述用户面部上的适配模型来将所述接收到的镜架图像居中来处理所述接收到的镜架图像；和/或
-所述处理电路系统进一步被配置为通过基于所述接收到的用户图像和一个或多个比例因子来缩放所述接收到的镜架图像来处理所述接收到的镜架图像，所述一个或多个比例因子包括瞳孔因子，所述瞳孔因子是真实瞳孔距离与数字瞳孔距离之间的关系，所述数字瞳孔距离是在所述接收到的镜架图像上测量的；和/或
-所述处理电路系统进一步被配置为基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界来处理所述接收到的用户面部的用户图像，所述接收到的用户图像中在所述定义的左边界和所述定义的右边界之外的像素被设置为透明；和/或
-所述处理电路系统进一步被配置为基于所述用户的视力处方将校正因子应用于所述经处理的接收到的用户图像；和/或
-所述处理电路系统进一步被配置为根据所述经处理的镜架图像对所述接收到的滤光片图像进行居中和缩放。
根据实施例，本披露内容进一步涉及一种存储计算机可读指令的非暂态计算机可读存储介质，所述计算机可读指令当由计算机执行时使所述计算机执行用于扩展用于评估眼睛配戴物兼容性的图像数据库的方法，所述方法包括：接收用户面部的用户图像；从多个眼睛配戴物镜架图像中接收眼睛配戴物镜架的镜架图像；通过将接收到的镜架图像的除了所述眼睛配戴物的镜架前面之外的像素设置为透明来处理接收到的镜架图像；在经处理的镜架图像内定义所述眼睛配戴物的镜架前面的左边界和右边界，所述定义的左边界和所述定义的右边界分别对应于左眼和右眼；接收对所述眼睛配戴物的镜片涂层进行建模的滤光片的滤光片图像；通过基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界将接收到的滤光片图像中在所述眼睛配戴物的镜架之外的像素设置为透明来处理所述接收到的滤光片图像；合并经处理的镜架图像和经处理的滤光片图像；以及将合并后的经处理的镜架图像和经处理的滤光片图像叠加到接收到的用户面部的用户图像上。
前面的段落是作为一般性介绍提供的，而不旨在限制以下权利要求的范围。通过参考以下结合附图的详细说明，将最好地理解所描述的实施例以及进一步优点。
附图说明
将容易获得对本披露内容的更全面了解及其许多的伴随优点，因为这些优点通过参考以下详细说明、在结合附图考虑时将变得更好理解，在附图中：
图1是根据本披露内容的示例性实施例的配戴眼镜架的用户的图示；
图2是根据本披露内容的示例性实施例的示例性图像数据库；
图3是根据本披露内容的示例性实施例的用于生成基于眼睛护理专业人员的眼睛配戴物兼容性评估的方法的流程图；
图4是根据本披露内容的示例性实施例的对眼睛护理专业人员进行的调查的图示；
图5是根据本披露内容的示例性实施例的用于扩展用于评估眼睛配戴物兼容性的图像数据库的方法的流程图；
图6A是根据本披露内容的示例性实施例的用于扩展用于评估眼睛配戴物兼容性的图像数据库的方法的子过程的流程图；
图6B是根据本披露内容的示例性实施例的接收到的镜架图像的图示；
图6C是根据本披露内容的示例性实施例的经处理的镜架图像的图示；
图7是根据本披露内容的示例性实施例的用于扩展用于评估眼睛配戴物兼容性的图像数据库的方法的子过程的流程图；
图8A是根据本披露内容的示例性实施例的用于扩展用于评估眼睛配戴物兼容性的图像数据库的方法的子过程的流程图；
图8B是根据本披露内容的示例性实施例的滤光片图像的图示；
图8C是根据本披露内容的示例性实施例的经处理的镜架图像的图示；
图8D是根据本披露内容的示例性实施例的经处理的滤光片图像的图示；
图9A是根据本披露内容的示例性实施例的经处理的镜架图像的图示；
图9B是根据本披露内容的示例性实施例的经处理的滤光片图像的图示；
图9C是根据本披露内容的示例性实施例的经处理的滤光片图像和经处理的镜架图像的合并的图示；
图10A是根据本披露内容的实施例的用户的示例性图像；
图10B是根据本披露内容的示例性实施例的经处理的滤光片图像和经处理的镜架图像的合并的图示；
图10C是根据本披露内容的示例性实施例的用户的示例性图像与经处理的滤光片图像和经处理的镜架图像的合并的叠加的图示；
图11是用于扩展用于评估眼睛配戴物兼容性的图像数据库的方法的示例性实施方式的流程图；以及
图12是根据本披露内容的示例性实施例的数据库生成设备的硬件配置。
具体实施方式
如本文所使用的术语“一个(a)”或“一个(an)”被定义为一个或多于一个。如本文所使用的术语“多个”被定义为两个或多于两个。如本文所使用的术语“另一个”被定义为至少第二个或更多。如本文所使用的术语“包括(including)”和/或“具有”被定义为“包括(comprising)”(即，开放式语言)。术语“眼睛配戴物(eyewear)”、“设备(equipment/equipments)”、“眼镜架(eyeglass frame/eyeglass frames)”、“眼镜(eyeglass/eyeglasses)”和“视觉设备(visual equipments)”可以互换使用以指代具有镜架和镜片两者的装置。术语“视觉设备(visual equipment)”可以用于指单个视觉设备，而术语“视觉设备(visual equipments)”可以用于指多于一个视觉设备。贯穿本文件对“一个实施例”、“某些实施例”、“实施例”、“实施方式”、“示例”或类似术语的提及意味着结合实施例描述的具体特征、结构或特性包括在本披露内容的至少一个实施例中。类似地，术语“面部图像”和“人的面部图像”是可以互换使用的对应术语。因此，在整个说明书中这样的短语的出现或在各个地方的出现不一定都指的是同一个实施例。另外，具体特征、结构或特性可以在一个或多个实施例中以任何适当的方式无限制地组合。
当选择新的眼睛配戴物时，用户可能期望第三方提供关于眼睛配戴物美感以及光学功能方面的结构适合性的意见。为了提供鲁棒的推荐，基于统计方法或其他学习过程的推荐模型可以通过对‘标记’图像的参考数据库进行评估和训练来提供鲁棒的推荐。例如，学习判别分析(LDA)方法可以应用于参考数据库，以允许对新图像进行自动分析。参照图1和图2，参考数据库202可以包括配戴眼睛配戴物103、203的用户的‘标记’图像，所述标记反映了对用户特征204与眼睛配戴物特征205之间的关系的评估。LDA可以被训练成将‘标记’图像内眼睛配戴物特征205与用户特征204的位置关系关联为可接受或不可接受。在示例中，参考数据库的‘标记’图像可以由特定的第三方团体(例如，眼睛护理专业人员)进行标记，并且可以包括对图像的特定特征的评估或者对图像中眼睛配戴物与人的面部的总体适合性的评估。
为了向不同的用户群体提供准确的推荐，需要增加参考数据库的代表性‘标记’图像的数量，并且需要扩展其组合。为此，参考数据库需要包括包含各种年龄组、性别、种族等的图像语料库。参考数据库还必须是动态的，并且能够包括新的眼睛配戴物设计、新的特征(例如，抗反射涂层、颜色、镜像等)、新的安置模型/规则和新的适配模型/规则。现在参照图3，在生成推荐模型时，参考数据库302的数千个图像303这时必须由例如眼睛护理专业人员(ECP)307进行评估。然后，ECP评估309的结果为参考数据库302的每个图像303提供了对眼睛配戴物与用户面部的适合性的专家评估308。示例性ECP评估408在图4中示出，其中，配戴眼睛配戴物403的用户的图像可以根据特定标准410(例如，镜架宽度与面部宽度)和/或总体标准411(例如，眼睛配戴物是否合适)来分级。ECP评估408可以包括关于用户面部与眼睛配戴物之间的兼容性的问题(例如，形状、大小、颜色、眼睛配戴物的安置、眼睛配戴物的适配等)。
在实施例中，ECP评估408包括配戴眼睛配戴物403的用户的一系列图像，并且除了每个图像之外，还包括关于眼睛配戴物与人的面部的适合性的具体点的一系列问题。对于每个问题，可以给ECP有限数量的可能答案。在示例中，它可以是-5与+5之间的标度，0与10之间的标度，或者一组N项中的一个项的选择。例如，作为示例性问题和答案，可以向ECP提问：“相对于用户面部的宽度，你如何评价设备的宽度？”(a)太小，(b)还好，或者(c)太大。以这种方式，参考数据库的图像可以被‘标记’。
然而，可以了解的是，生成如此大的‘标记’图像参考数据库将是昂贵的、耗时的并且在很大程度上是不切实际的，需要获取数千个配戴真实眼睛配戴物的真人的图像。因此，本披露内容提供了一种用于扩展用于评估眼睛配戴物兼容性的图像数据库的装置、方法及计算机可读存储介质。以这种方式，可以减少创建和丰富参考数据库所涉及的时间和费用。
根据实施例，本披露内容涉及一种用于扩展用于评估眼睛配戴物兼容性的图像数据库的方法。例如，可以修改用户面部的单个图像，以便生成配戴多个眼睛配戴物设计的用户面部的多个图像，所述多个眼睛配戴物设计中的每一个根据一个或多个眼睛配戴物规格、适配模型、安置模型等进行处理。因此，所得多个图像可以由ECP唯一地评估。
如上所述，所述方法可以应用于用户面部的单个图像。所述方法包括：接收用户面部的用户图像；从多个眼睛配戴物镜架图像中接收眼睛配戴物镜架的镜架图像；由处理电路系统处理接收到的镜架图像；在经处理的镜架图像内定义眼睛配戴物的镜架前面的左边界和右边界；接收对眼睛配戴物的镜片涂层进行建模的滤光片的滤光片图像；由处理电路系统处理接收到的滤光片图像；合并经处理的镜架图像和经处理的滤光片图像；以及由处理电路系统将合并后的经处理的镜架图像和经处理的滤光片图像叠加到接收到的用户面部的用户图像上。
在生成多个图像或‘虚拟试戴’图像时，本文描述的方法使需要获取的真实照片的数量最小化。在示例中，本文描述的方法仅需要每个用户的单个图像和每个眼睛配戴物的单个图像。图像可以是轮廓图像或肖像图像，每个用户的单个图像包括能够重新缩放图像的参考测量。然后，除了考虑反映变化的镜片处理或涂层的过滤模型和反映眼睛配戴物在用户面部上的物理位置的安置模型和/或适配模型之外，还可以组合处理所获取的图像。安置模型和适配模型可以提供不同的安置交叉规则、高度安置规则的缺陷、设备在用户面部上的位置的缺陷、分支取向的缺陷等。高度安置规则可以由标记在每个镜片上的交叉安置点与在镜架中限定镜片的边界框的底部之间的距离来限定，所述距离如在镜架的镜片的平面中测量的。在根据镜架大小和面部大小来定义高度安置时，这些规则确保镜架正确地定位在面部上。分支取向规则允许根据面部形态(例如，鼻子、脸颊、耳朵…)和镜架大小来确定用户的轮廓图像中镜架在面部上的取向。通过考虑上述参数的组合和变化，(例如，(1)用户的图像，(2)眼睛配戴物的图像，(3)滤光片的图像，以及(4)安置模型和/或适配模型)，参考数据库中图像的数量可以明显大于需要获取的真实图像的数量。
再次参照附图，图5提供了用于扩展用于评估眼睛配戴物兼容性的数据库的方法的流程图。尽管作为单个示例呈现，但是可以了解的是，图5的流程图可以用上述参数的无数组合来迭代地执行以生成大型参考数据库。
在方法500的步骤530处，可以从图像数据库接收用户图像。用户图像可以是图像数据库内的多个用户图像之一。用户图像可以是用户的肖像或用户的轮廓，并且可以包括用于在处理期间缩放的参考界标。
在方法500的步骤535处，可以从图像数据库接收眼睛配戴物的图像或镜架图像。镜架图像可以是图像数据库内的多个镜架图像之一。镜架图像可以是镜架的肖像或镜架的轮廓。
在方法500的子过程540处，可以处理接收到的镜架图像。处理接收到的镜架图像可以包括定义其镜架的边缘，并制作不描述镜架的透明像素。将参照图6A、图6B和图6C来更详细地描述方法500的子过程540。
可选地，在方法500的子过程545处，可以处理接收到的用户图像。虽然不是强制性的，但是处理接收到的用户图像可能有助于根据眼睛配戴物的镜片的放大来调整用户眼睛的外观。将参照图7来更详细地描述方法500的子过程545。
在方法500的步骤555处，可以从图像数据库接收滤光片的图像。滤光片图像可以是图像数据库内的多个滤光片图像之一。在示例中，滤光片图像可以反映镜片涂层或镜片处理，包括偏光、薄膜、镜像等。滤光片图像可以是滤光片的肖像或滤光片的轮廓。
在方法500的子过程560处，可以处理接收到的滤光片图像。处理接收到的滤光片图像可以包括对滤光片图像进行居中和缩放、根据镜架的定义边缘截断滤光片图像、以及使滤光片图像的经识别区域透明。将参照图8A至图8D来描述方法500的子过程560的更详细的描述。
在方法500的步骤570处，可以将在子过程540处进行处理的镜架图像和在子过程560处进行处理的滤光片图像合并成合并的滤光片镜架图像。将参照图9A至图9C更详细地解释步骤570。
在方法500的步骤575处，合并的滤光片镜架图像可以叠加在接收到的并且可选地经处理的用户图像上。将参照图10A至图10C更详细地描述方法500的步骤575。
在方法500的步骤580处，叠加图像可以存储在参考数据库中，以供ECP等进行后续评估。
方法500可以迭代地重复，直到考虑了用户图像、镜架图像和滤光片图像的每种可能的组合。此外，通过考虑安置模型和适配模型，可以进一步扩展每种可能的组合。
因此，在方法500的步骤580处生成的参考数据库可以包括配戴设备的用户的多个图像，所述多个图像是从有限数量的用户真实图像、设备图像和滤光片图像生成的。以这种方式，与传统方法相比，图像获取的负担大大降低。
现在将根据用户面部的图像是用户的肖像的单个图像、眼睛配戴物的图像是眼睛配戴物的肖像图像并且滤光片的图像是对可以应用于眼睛配戴物的镜片的涂层进行建模的滤光片的肖像图像的实施例来考虑上述方法500。在实施例中，上述图像可以包括眼睛配戴物的镜腿的两个或更多个图像，使得在渲染最终图像时，考虑到透视，可以对这些图像做出解释。另外，可以根据预定的安置模型和/或适配模型来进一步考虑上述图像。在示例中，安置模型可以将以毫米为单位的高度安置定义为
Figure BDA0003682691160000111
其中，B是镜架的圆形件的内部竖直大小。在示例中，适配模型是根据形态大小(例如，鼻子宽度、鼻子取向、耳朵定位)和镜架大小(例如，鼻梁宽度)来固定眼睛、镜片与全景角度(即，镜片倾斜)之间的距离的法则。
根据实施例，并且如关于图5所介绍的，本披露内容提供了一种用于处理镜架图像、处理滤光片图像、可选地处理用户图像、可选地将经处理的用户图像与用户图像合并、将经处理的镜架图像与经处理的滤光片图像合并、以及将合并后的滤光片镜架图像与可选地经处理的用户图像叠加的方法。
参照图6A、图6B和图6C，可以根据方法500的子过程535来处理镜架图像613。
在步骤641处，镜架图像613可以相对于在镜架图像613中限定眼睛配戴物的镜架的边界框被截断。
在步骤642处，不与眼睛配戴物的部件相对应的每个像素，包括分支、阴影等，可以被设置为透明。在示例中，分支可以是镜架的镜腿部件。这包括位于眼睛配戴物的‘圆形件’(可以是其他形状)内部的像素以及位于眼睛配戴物的‘圆形件’之外的像素。‘圆形件’可以对应于眼睛配戴物的镜片。在示例中，像素关联可以通过图像分割技术来确定，所述图像分割技术包括阈值方法、用于识别眼睛配戴物的区域生长方法等。如图6B所示，这可以包括眼睛配戴物的镜腿615和附属于眼睛配戴物的镜片或制造商的商标614。
在步骤643处，可以检测眼睛配戴物的限定眼睛配戴物的‘圆形件’的边缘。边缘可以限定眼睛配戴物的镜片可以插入其中孔。在实施例中，边缘可以被检测为Cright和Cleft，其中，Cright与眼睛配戴物的右侧圆形件相对应，并且Cleft与眼睛配戴物的左侧圆形件相对应。边缘可以经由图像分割技术来检测，所述图像分割技术包括基于活动轮廓的分割技术、区域生长方法等。在示例中，边缘检测可以由Canny边缘检测器来确定。如上文所定义的，眼睛配戴物的圆形件将在后续的子过程期间用作处理边界。
在步骤644处，考虑到预定的安置模型和/或适配模型，可以根据接收到的用户图像对镜架图像613进行居中和缩放。考虑透视的差异，可以对镜架图像613进行居中和缩放以校正用户图像和镜架图像613的取向，并且可以相对于用户图像中用户的面部来适当地调整镜架图像613的镜架的大小。安置模型和/或适配模型可以对镜架图像613的镜架相对于用户图像中用户的面部的可能位置做出解释。可以根据多个比例因子中的一个或多个来执行镜架图像613的缩放。比例因子还可以包括在图像中使用已知大小的单个普遍存在的参考界标，或者使用图像的特征之间的差分测量。对于比例因子作为单个普遍存在的参考标志基于螺钉头的实例，以毫米为单位的螺钉头的真实尺寸值可以与以像素为单位的螺钉头的数字尺寸值相关。在比例因子作为图像的特征之间的差分测量基于瞳孔距离的另一个实例中，以毫米为单位的真实瞳孔距离可以由瞳孔计测量并且与在用户图像上测量的以像素为单位的数字瞳孔距离相关。在实施例中，面部检测方法和界标估计方法可以适当地应用于用户图像、镜架图像613和滤光片图像。在实施例中，关于瞳孔测量和用户图像，可以检测用户图像中用户的眼睑边缘，并且可以计算其重心。然后，重心可以用作对瞳孔中心的估计，并且与由瞳孔计测量的已知瞳孔距离相关，并且用作比例因子。根据上文确定的真实尺寸可以以类似的方式外推至其他图像。
在示例中，可以执行缩放以将镜架图像的大小调整为用户图像的大小。这可以基于各自如上所述进行测量的用户图像中的瞳孔距离和镜架图像中的镜架宽度。一个测量距离到另一个测量距离的归一化导致可以应用于此的比例因子。
如图6C所示，方法500的子过程540的结果是经处理的镜架图像616。经处理的镜架图像616随后可以在方法500中使用。
参照图7，在步骤530处接收的用户图像可以可选地根据方法500的子过程545进行处理。
在子过程545的步骤746处，可以根据安置模型和/或适配模型将限定区段C'right和C'left并且在方法500的子过程540中识别的镜架边缘Cright和Cleft定位到用户图像746。
在子过程545的步骤747处，并且类似于子过程540的步骤642，用户图像中未由限定区段C'right和C'left描述的区域可以被设置为透明。C'right和C'left可以与眼睛配戴物的右镜片和左镜片相对应。在实施例中，可以通过评估用户图像的像素并识别由Cright和Cleft限定的在镜架边缘之外并且因此不在限定区段C'right和C'left内的像素来修改透明度。这些经识别的像素可以被设置为透明。在示例中，像素识别可以通过图像分割技术来确定，所述图像分割技术包括阈值方法、用于识别眼睛配戴物的区域生长方法等。
在子过程545的步骤748处，可以将校正因子应用于保留在经处理的用户图像中的限定区段C'right和C'left。通过应用校正因子，经处理的用户图像可以反映通过眼睛配戴物中使用的镜片放大或缩小用户眼睛的视觉影响。
根据实施例，来自子过程545的步骤748的经处理的用户图像然后可以与在步骤530处接收的用户图像合并以生成经处理的用户图像，所述经处理的用户图像可以最终与合并的滤光片镜架图像合并，如稍后将描述的。由于方法500的子过程545是可选的，因此除了该子过程之外还将描述方法500的其余部分。
参照图8A、图8B、图8C和图8D，可以根据方法500的子过程560来处理在方法500的步骤555处接收的滤光片图像818。在实施例中，滤光片图像818可以表示将利用眼睛配戴物的环境的图像，所述环境的图像是由外部观察者感知的反射。这种环境可以是如图8B所示的室内环境，或者可以是室外环境。在非限制性示例中，环境也可以是阳光充足的户外位置，其中，太阳的反射出现在偏光镜片‘滤光片’上。
在子过程560的步骤861处，可以根据方法500的子过程540的经处理的镜架图像对接收到的滤光片图像818进行居中和缩放。经处理的镜架图像816的图示在图8C中示出。
在子过程560的步骤862处，并且使用如方法500的子过程540中定义的边界框，接收到的滤光片图像818可以相对于在经处理的镜架图像816中限定眼睛配戴物的镜架的边界框被截断。
在子过程560的步骤863处，并且基于在方法500的子过程540中限定的镜架边缘Cright和Cleft，可以将镜架边缘之外的所有像素设置为透明。换句话说，滤光片图像818的不在定义为C'right和C'left的镜架图像816的区段内的所有像素可以被识别并设置为透明。在示例中，像素识别可以通过图像分割技术来确定，所述图像分割技术包括阈值方法、用于识别眼睛配戴物的区域生长方法等。因此，如图8D所示，经处理的滤光片图像819表示滤光片图像818对眼睛配戴物的每个镜片的影响。
子过程560的经处理的滤光片图像然后可以被提供给方法500的步骤570。如图9A和图9B所示，经处理的镜架图像916可以与经处理的滤光片图像919合并，以生成合并的滤光片镜架图像920，如图9C所示。在实施例中，经处理的镜架图像916和经处理的滤光片图像919的合并可以根据本领域普通技术人员理解的方法来执行。
为了在方法500的步骤580处产生准备存储在参考数据库中的图像，可以合并方法500的步骤570的合并的滤光片镜架图像和在方法500的步骤530处接收的镜架图像。因此，在方法500的步骤575处并且参照图10A、图10B和图10C，可以合并用户图像1022和合并的滤光片镜架图像1020以生成图10C的‘虚拟试戴’图像。换句话说，合并的滤光片镜架图像1020可以叠加在用户图像1022上，或者以其他方式与其合并，以生成叠加图像1023。图10C中示出的步骤575的叠加图像1023是可以由本披露内容的方法500生成的配戴眼睛配戴物的用户的图像的示例性图示。
根据实施例，在方法500的步骤575处生成的叠加图像然后可以在步骤580处存储在参考数据库中，以便在基于所述参考数据库开发推荐模型期间由ECP进一步评估。
现在参照图11，将描述本披露内容的示例性流程图。图11的流程图以不同于图5的线性流程图的方式呈现，以便示出流程图的非限制性本质以及什么关系是重要的。
最初，可以处理1116镜架图像1113以识别边界框、镜架边缘Cright和Cleft，并准备稍后将镜架与经处理的滤光片图像合并。被称为镜架边界1143的镜架边缘Cright和Cleft可以用于生成经处理的滤光片图像1119和经处理的用户图像1145。接下来，在生成经处理的滤光片图像1119时，可以根据经处理的镜架图像对滤光片图像1118进行居中和缩放，从而使用相同的边界框和镜架边界1143来定义滤光片图像1118的透明区域。还可以考虑安置规则和/或适配规则1125。经处理的镜架图像1116和经处理的滤光片图像1119然后可以被合并，以生成合并的滤光片镜架图像1170。接下来，可以从用户图像1122生成经处理的用户图像1145。可以根据镜架边界1143并基于用户的视力处方来生成经处理的用户图像1145。同样，还可以考虑安置规则和/或适配规则1125。经处理的用户图像1145然后可以与用户图像1122合并，以生成合并的用户图像1149。在生成合并的滤光片镜架图像1170和合并的用户图像1149之后，可以最终合并这些图像以生成叠加图像。在合并图像时，合并的滤光片镜架图像1170可以叠加在合并的用户图像1149上。叠加图像1175然后可以存储在参考数据库中，以供ECP在开发推荐模型期间进行后续评估。
根据实施例，本披露内容的方法通过根据‘人工’扩展参考数据库的变化中的安置模型和/或适配模型数字地组合有限数量的用户的图像、眼睛配戴物的图像和滤光片的图像来生成‘标记’图像的参考数据库。为此，所述方法通过将眼睛配戴物的图像与滤光片的图像合并来生成Ng*Nf图像，其中，Ng是眼睛配戴物的图像的数量，并且Nf是滤光片的图像的数量。这些合并的图像可以包含至少四个通道，三个用于颜色，一个用于透明。根据滤光片图像，可以使包括眼睛配戴物的镜腿的眼睛配戴物镜架之外的合并图像的区域透明，并且可以使眼睛配戴物的镜架内部的合并图像的区域半透明、透明或不透明。所述方法然后生成将一组合并的图像与接收到的用户面部的用户图像叠加的Ng*Nf*Na*Nw图像，其中，Nw是用户的图像的数量，并且Na指示对安置模型和/或适配模型的考虑。通过考虑多于一个安置模型和/或适配模型，可以基于专家建议来生成眼睛配戴物对用户面部的结构、位置和安置适合性的连续模型，其中，眼睛配戴物在用户面部上的结构定位模拟不同种类的安置或适配误差。因此，可以了解的是，本披露内容的方法允许通过提供用户的单个图像产生倍增影响。因此消除了对获取数千个配戴不同眼睛配戴物的用户的图像的需要。
现在参照图12，图12是根据本披露内容的示例性实施例的数据库生成设备的硬件描述。
在图12中，数据库生成设备包括执行上述过程的CPU 1285。数据库生成设备可以是通用计算机或特定的专用机器。在一个实施例中，当处理器1285被编程为执行视觉设备选择(并且特别地，参考以上披露内容讨论的任何过程)时，数据库生成设备变成特定的专用机器。
替代性地或另外地，如本领域普通技术人员将认识到的，CPU 1285可以在FPGA、ASIC、PLD上或使用分立逻辑电路实施。进一步地，CPU 1285可以被实施为并行协同工作的多个处理器，以执行上述本发明过程的指令。
数据库生成设备还包括如Intel以太网PRO网络接口卡等用于与网络1299接口连接的网络控制器1288。如可以了解的是，网络1299可以是如因特网等公共网络，或是如LAN或WAN网络等专用网络，或其任何组合，并且还可以包括PSTN或ISDN子网络。网络1299还可以是有线的(比如以太网网络)，或者可以是无线的(比如蜂窝网络，包括EDGE、3G和4G无线蜂窝系统)。无线网络还可以是WiFi、蓝牙或已知的任何其他无线通信形式。
数据库生成设备进一步包括如用于与显示器1290(如监视器)接口连接的图形卡或图形适配器等显示控制器1289。通用I/O接口1291与键盘和/或鼠标1292、以及在显示器1290上或与之分开的触控屏面板1293接口连接。通用I/O接口1291还连接到各种外围设备1294，包括打印机和扫描仪。
声音控制器1295也设置在数据库生成设备中，以与扬声器/麦克风1296接口连接，从而提供声音和/或音乐。
通用存储控制器1297将存储介质磁盘1287与通信总线1298连接以将数据库生成设备的所有部件互连，所述通信总线可以是ISA、EISA、VESA、PCI等。在此为简洁起见，省略了对显示器1290、键盘和/或鼠标1292、以及显示控制器1289、存储控制器1297、网络控制器1288、声音控制器1295和通用I/O接口1291的一般特征和功能的描述，因为这些特征是已知的。
在本披露内容的上下文中描述的示例性电路元件可以用其他元件代替，并且以与本文提供的示例不同的方式构造。此外，被配置为执行本文描述的特征的电路系统可以在多个电路单元(例如，芯片)中实施，或者这些特征可以被组合在单个芯片组上的电路系统中。
本文所述的功能和特征也可以由系统的各种分布式部件来执行。例如，一个或多个处理器可以执行这些系统功能，其中，处理器分布在用网络通信的多个部件上。除了包括各种人机交互设备和通信设备(例如，显示监视器、智能电话、平板电脑、个人数字助理(PDA))之外，分布式部件还可以包括可以共享处理的一个或多个客户端和服务器机器。网络可以是如LAN或WAN等专用网络，或者可以是如因特网等公共网络。可以经由直接用户输入来接收对系统的输入，并且可以实时或作为批处理远程接收。另外地，可以在与所描述的模块或硬件不同的模块或硬件上执行一些实施方式。因此，其他实施方式在可以要求保护的范围内。
显然，根据以上教导，许多修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，本发明可以不同于本文具体描述的方式实施。
本披露内容的实施例也可以如以下括号中所述。
(1)一种用于扩展用于评估眼睛配戴物兼容性的图像数据库的方法，所述方法包括：接收用户面部的用户图像；从多个眼睛配戴物镜架图像中接收眼睛配戴物镜架的镜架图像；由处理电路系统通过将接收到的镜架图像的除了所述眼睛配戴物的镜架前面之外的像素设置为透明来处理接收到的镜架图像；在经处理的镜架图像内定义所述眼睛配戴物的镜架前面的左边界和右边界，所述定义的左边界和所述定义的右边界分别对应于左眼和右眼；接收对所述眼睛配戴物的镜片涂层进行建模的滤光片的滤光片图像，由所述处理电路系统通过基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界将接收到的滤光片图像中在所述眼睛配戴物的镜架之外的像素设置为透明来处理所述接收到的滤光片图像；合并经处理的镜架图像和经处理的滤光片图像；以及由所述处理电路系统将合并后的经处理的镜架图像和经处理的滤光片图像叠加到接收到的用户面部的用户图像上。
(2)如(1)所述的方法，其中，所述接收包括接收所述眼睛配戴物的镜架的镜架图像和所述眼睛配戴物的镜架的镜腿的两个或更多个图像，所述眼睛配戴物的镜架的镜腿的所述两个或更多个图像在所述叠加期间被利用。
(3)如(1)或(2)所述的方法，其中，所述处理包括通过基于所述接收到的用户图像和定义将所述眼睛配戴物的镜架安置在所述用户面部上的适配模型将所述接收到的镜架图像居中来处理所述接收到的镜架图像。
(4)如(1)至(3)所述的方法，其中，所述居中包括根据所述接收到的用户图像中所述用户面部的取向来将所述接收到的镜架图像居中。
(5)如(1)至(4)所述的方法，其中，所述处理包括通过基于所述接收到的用户图像和一个或多个比例因子来缩放所述接收到的镜架图像来处理所述接收到的镜架图像，所述一个或多个比例因子包括瞳孔因子，所述瞳孔因子是真实瞳孔距离与数字瞳孔距离之间的关系，所述数字瞳孔距离是在所述接收到的镜架图像上测量的。
(6)如(1)至(5)所述的方法，其中，所述数字瞳孔距离是通过计算所述用户眼睛的瞳孔之间的距离来确定的，所述用户眼睛的瞳孔被定义为所述用户面部的睑裂的重心。
(7)如(1)至(6)中任一项所述的方法，进一步包括基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界来处理所述接收到的用户面部的用户图像，所述接收到的用户图像中在所述定义的左边界和所述定义的右边界之外的像素被设置为透明。
(8)如(1)至(7)中任一项所述的方法，进一步包括基于所述用户的视力处方将校正因子应用于经处理的接收到的用户图像。
(9)如(1)至(8)中任一项所述的方法，进一步包括基于所述经处理的镜架图像中所述眼睛配戴物的镜架的材料和所述经处理的滤光片图像中的滤光片将校正因子应用于所述经处理的接收到的用户图像。
(10)一种用于扩展用于评估眼睛配戴物兼容性的图像数据库的装置，所述装置包括处理电路系统，所述处理电路系统被配置为：接收用户面部的用户图像；从多个眼睛配戴物镜架图像中接收眼睛配戴物镜架的镜架图像；通过将接收到的镜架图像的除了所述眼睛配戴物的镜架前面之外的像素设置为透明来处理接收到的镜架图像；在经处理的镜架图像内定义所述眼睛配戴物的镜架前面的左边界和右边界，所述定义的左边界和所述定义的右边界分别对应于左眼和右眼；接收对所述眼睛配戴物的镜片涂层进行建模的滤光片的滤光片图像，通过基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界将接收到的滤光片图像中在所述眼睛配戴物的镜架之外的像素设置为透明来处理所述接收到的滤光片图像；合并经处理的镜架图像和经处理的滤光片图像；并且将合并后的经处理的镜架图像和经处理的滤光片图像叠加到接收到的用户面部的用户图像上。
(11)如(10)所述的装置，其中，所述处理电路系统进一步被配置为通过基于所述接收到的用户图像和定义将所述眼睛配戴物的镜架安置在所述用户面部上的适配模型将所述接收到的镜架图像居中来处理所述接收到的镜架图像。
(12)如(10)或(11)所述的装置，其中，所述处理电路系统进一步被配置为通过基于所述接收到的用户图像和一个或多个比例因子来缩放所述接收到的镜架图像来处理所述接收到的镜架图像，所述一个或多个比例因子包括瞳孔因子，所述瞳孔因子是真实瞳孔距离与数字瞳孔距离之间的关系，所述数字瞳孔距离是在所述接收到的镜架图像上测量的。
(13)如(10)至(12)中任一项所述的装置，其中，所述处理电路系统进一步被配置为基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界来处理所述接收到的用户面部的用户图像，所述接收到的用户图像中在所述定义的左边界和所述定义的右边界之外的像素被设置为透明。
(14)如(10)至(13)中任一项所述的装置，其中，所述处理电路系统进一步被配置为基于所述用户的视力处方将校正因子应用于所述经处理的接收到的用户图像。
(15)一种存储计算机可读指令的非暂态计算机可读存储介质，所述计算机可读指令当由计算机执行时使所述计算机执行用于扩展用于评估眼睛配戴物兼容性的图像数据库的方法，所述方法包括：接收用户面部的用户图像；从多个眼睛配戴物镜架图像中接收眼睛配戴物镜架的镜架图像；通过将接收到的镜架图像的除了所述眼睛配戴物的镜架前面之外的像素设置为透明来处理接收到的镜架图像；在经处理的镜架图像内定义所述眼睛配戴物的镜架前面的左边界和右边界，所述定义的左边界和所述定义的右边界分别对应于左眼和右眼；接收对所述眼睛配戴物的镜片涂层进行建模的滤光片的滤光片图像，通过基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界将接收到的滤光片图像中在所述眼睛配戴物的镜架之外的像素设置为透明来处理所述接收到的滤光片图像；合并经处理的镜架图像和经处理的滤光片图像；以及将合并后的经处理的镜架图像和经处理的滤光片图像叠加到接收到的用户面部的用户图像上。
(16)如(1)至(9)中任一项所述的方法，其中，所述处理包括通过基于所述接收到的用户图像和一个或多个比例因子来缩放所述接收到的镜架图像来处理所述接收到的镜架图像，所述一个或多个比例因子包括镜架因子，所述镜架因子是眼睛配戴物的镜架的实际宽度与所述接收到的镜架图像中眼睛配戴物的镜架的对应像素宽度之间的关系。
因此，前述讨论仅披露和描述了本发明的示例性实施例。如本领域技术人员将理解的，在不脱离本发明的精神或基本特征的情况下，本发明可以被实施为其他具体形式。因此，本发明的披露内容旨在是说明性的，而不是限制本发明以及其他权利要求的范围。本披露内容(包括本文中的教导的任何容易辨别的变型)部分地限定了前述权利要求术语的范围，使得没有创造性的主题致力于公众。

Claims (17)

1.一种用于扩展用于评估眼睛配戴物兼容性的图像数据库的方法，所述方法包括：
接收用户面部的用户图像；
从多个眼睛配戴物镜架图像中接收眼睛配戴物镜架的镜架图像；
由处理电路系统通过将接收到的镜架图像的除了所述眼睛配戴物的镜架前面之外的像素设置为透明来处理接收到的镜架图像；
在经处理的镜架图像内定义所述眼睛配戴物的镜架前面的左边界和右边界，所述定义的左边界和所述定义的右边界分别对应于左眼和右眼；
接收对所述眼睛配戴物的镜片涂层进行建模的滤光片的滤光片图像；
由所述处理电路系统通过基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界将接收到的滤光片图像中在所述眼睛配戴物的镜架之外的像素设置为透明来处理所述接收到的滤光片图像；
合并经处理的镜架图像和经处理的滤光片图像；以及
由所述处理电路系统将合并后的经处理的镜架图像和经处理的滤光片图像叠加到接收到的用户面部的用户图像上。
2.如权利要求1所述的方法，其中，所述接收包括接收所述眼睛配戴物的镜架的镜架图像和所述眼睛配戴物的镜架的镜腿的两个或更多个图像，所述眼睛配戴物的镜架的镜腿的所述两个或更多个图像在所述叠加期间被利用。
3.如权利要求1或2所述的方法，其中，所述处理包括通过以下操作来处理所述接收到的镜架图像：
基于所述接收到的用户图像和定义将所述眼睛配戴物的镜架安置在所述用户面部上的适配模型来将所述接收到的镜架图像居中。
4.如权利要求3所述的方法，其中，所述居中包括根据所述接收到的用户图像中所述用户面部的取向来将所述接收到的镜架图像居中。
5.如前述权利要求中任一项所述的方法，其中，所述处理包括通过以下操作来处理所述接收到的镜架图像：
基于所述接收到的用户图像和一个或多个比例因子来缩放所述接收到的镜架图像，所述一个或多个比例因子包括瞳孔因子，所述瞳孔因子是真实瞳孔距离与数字瞳孔距离之间的关系，所述数字瞳孔距离是在所述接收到的镜架图像上测量的。
6.如权利要求5所述的方法，其中，所述数字瞳孔距离通过以下操作确定：
计算所述用户眼睛的瞳孔之间的距离，所述用户眼睛的瞳孔被定义为所述用户面部的睑裂的重心。
7.如权利要求1所述的方法，进一步包括基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界来处理所述接收到的用户面部的用户图像，所述接收到的用户图像中在所述定义的左边界和所述定义的右边界之外的像素被设置为透明。
8.如权利要求7所述的方法，进一步包括基于所述用户的视力处方将校正因子应用于经处理的接收到的用户图像。
9.如权利要求7所述的方法，进一步包括基于所述经处理的镜架图像中所述眼睛配戴物的镜架的材料和所述经处理的滤光片图像中的滤光片将校正因子应用于所述经处理的接收到的用户图像。
10.如前述权利要求中任一项所述的方法，其中，根据所述经处理的镜架图像对所述接收到的滤光片图像进行居中和缩放。
11.一种用于扩展用于评估眼睛配戴物兼容性的图像数据库的装置，所述装置包括：
处理电路系统，所述处理电路系统被配置为
接收用户面部的用户图像，
从多个眼睛配戴物镜架图像中接收眼睛配戴物镜架的镜架图像，
通过将接收到的镜架图像的除了所述眼睛配戴物的镜架前面之外的像素设置为透明来处理所述接收到的镜架图像，
在经处理的镜架图像内定义所述眼睛配戴物的镜架前面的左边界和右边界，所述定义的左边界和所述定义的右边界分别对应于左眼和右眼，
接收对所述眼睛配戴物的镜片涂层进行建模的滤光片的滤光片图像，
通过基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界将接收到的滤光片图像中在所述眼睛配戴物的镜架之外的像素设置为透明来处理所述接收到的滤光片图像，
合并经处理的镜架图像和经处理的滤光片图像，并且
将合并后的经处理的镜架图像和经处理的滤光片图像叠加到接收到的用户面部的用户图像上。
12.如权利要求11所述的装置，其中，所述处理电路系统进一步被配置为通过基于所述接收到的用户图像和定义将所述眼睛配戴物的镜架安置在所述用户面部上的适配模型将所述接收到的镜架图像居中来处理所述接收到的镜架图像。
13.如权利要求11或12所述的装置，其中，所述处理电路系统进一步被配置为通过基于所述接收到的用户图像和一个或多个比例因子来缩放所述接收到的镜架图像来处理所述接收到的镜架图像，所述一个或多个比例因子包括瞳孔因子，所述瞳孔因子是真实瞳孔距离与数字瞳孔距离之间的关系，所述数字瞳孔距离是在所述接收到的镜架图像上测量的。
14.如权利要求11至13中任一项所述的装置，其中，所述处理电路系统进一步被配置为基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界来处理所述接收到的用户面部的用户图像，所述接收到的用户图像中在所述定义的左边界和所述定义的右边界之外的像素被设置为透明。
15.如权利要求14所述的装置，其中，所述处理电路系统进一步被配置为基于所述用户的视力处方将校正因子应用于所述经处理的接收到的用户图像。
16.如权利要求11至15中任一项所述的装置，其中，所述处理电路系统进一步被配置为根据所述经处理的镜架图像对所述接收到的滤光片图像进行居中和缩放。
17.一种存储计算机可读指令的非暂态计算机可读存储介质，所述计算机可读指令当由计算机执行时使所述计算机执行用于扩展用于评估眼睛配戴物兼容性的图像数据库的方法，所述方法包括：
接收用户面部的用户图像；
从多个眼睛配戴物镜架图像中接收眼睛配戴物镜架的镜架图像；
通过将接收到的镜架图像的除了所述眼睛配戴物的镜架前面之外的像素设置为透明来处理所述接收到的镜架图像；
在经处理的镜架图像内定义所述眼睛配戴物的镜架前面的左边界和右边界，所述定义的左边界和所述定义的右边界分别对应于左眼和右眼；
接收对所述眼睛配戴物的镜片涂层进行建模的滤光片的滤光片图像；
通过基于所述眼睛配戴物的镜架前面的所述定义的左边界和所述定义的右边界将接收到的滤光片图像中在所述眼睛配戴物的镜架之外的像素设置为透明来处理所述接收到的滤光片图像；
合并经处理的镜架图像和经处理的滤光片图像；以及
将合并后的经处理的镜架图像和经处理的滤光片图像叠加到接收到的用户面部的用户图像上。
CN202080085056.5A 2019-12-19 2020-12-11 用于扩展用于评估眼睛配戴物兼容性的图像数据库的装置、方法及计算机可读存储介质 Pending CN114787872A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP19306709.7 2019-12-19
EP19306709 2019-12-19
EP19306761.8A EP3843043B1 (en) 2019-12-23 2019-12-23 Apparatus, method, and computer-readable storage medium for expanding an image database for evaluation of eyewear compatibility
EP19306761.8 2019-12-23
PCT/EP2020/085815 WO2021122387A1 (en) 2019-12-19 2020-12-11 Apparatus, method, and computer-readable storage medium for expanding an image database for evaluation of eyewear compatibility

Publications (1)

Publication Number Publication Date
CN114787872A true CN114787872A (zh) 2022-07-22

Family

ID=73748157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080085056.5A Pending CN114787872A (zh) 2019-12-19 2020-12-11 用于扩展用于评估眼睛配戴物兼容性的图像数据库的装置、方法及计算机可读存储介质

Country Status (3)

Country Link
US (1) US11748929B2 (zh)
CN (1) CN114787872A (zh)
WO (1) WO2021122387A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6095650A (en) 1998-09-22 2000-08-01 Virtual Visual Devices, Llc Interactive eyewear selection system
FR2955409B1 (fr) 2010-01-18 2015-07-03 Fittingbox Procede d'integration d'un objet virtuel dans des photographies ou video en temps reel
US8708494B1 (en) * 2012-01-30 2014-04-29 Ditto Technologies, Inc. Displaying glasses with recorded images
US9470911B2 (en) * 2013-08-22 2016-10-18 Bespoke, Inc. Method and system to create products
WO2017042612A1 (en) * 2015-09-12 2017-03-16 Shamir Optical Industry Ltd. Automatic eyewear measurement and specification
US10217312B1 (en) * 2016-03-30 2019-02-26 Visualimits, Llc Automatic region of interest detection for casino tables
FR3053509B1 (fr) 2016-06-30 2019-08-16 Fittingbox Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe
US11157985B2 (en) * 2017-11-29 2021-10-26 Ditto Technologies, Inc. Recommendation system, method and computer program product based on a user's physical features
US11488239B2 (en) * 2019-08-26 2022-11-01 Warby Parker Inc. Virtual fitting systems and methods for spectacles

Also Published As

Publication number Publication date
WO2021122387A1 (en) 2021-06-24
US20230028741A1 (en) 2023-01-26
US11748929B2 (en) 2023-09-05

Similar Documents

Publication Publication Date Title
AU2016208357B2 (en) Method and system to create custom products
KR102056333B1 (ko) 안경 렌즈 에지의 표시를 설정하기 위한 방법 및 장치 및 컴퓨터 프로그램
EP3339943A1 (en) Method and system for obtaining optometric parameters for fitting eyeglasses
EP4022386A1 (en) Systems and methods for adjusting stock eyewear frames using a 3d scan of facial features
CN105163649B (zh) 计算机化屈光和散光确定
CN105708467B (zh) 人体实际距离测量及眼镜架的定制方法
CN113678055B (zh) 眼镜镜片的至少一个光学参数的确定
US10620454B2 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images
US20190011731A1 (en) Optical measurement aid device
CN112084398A (zh) 配饰推荐方法、配饰的虚拟试戴方法、装置及电子设备
KR20190068624A (ko) 안경 렌즈의 설계 방법, 안경 렌즈의 제조 방법, 안경 렌즈 발주 장치, 안경 렌즈 수주 장치, 안경 렌즈 수발주 시스템, 누진 굴절력 렌즈, 단초점 렌즈
US6965385B2 (en) Method for simulating and demonstrating the optical effects of glasses on the human face
US20230020160A1 (en) Method for determining a value of at least one geometrico-morphological parameter of a subject wearing an eyewear
EP3843043B1 (en) Apparatus, method, and computer-readable storage medium for expanding an image database for evaluation of eyewear compatibility
US11748929B2 (en) Apparatus, method, and computer-readable storage medium for expanding an image database for evaluation of eyewear compatibility
US20240061278A1 (en) Frame adjustment system
US20240069366A1 (en) Method and apparatus for determining a fit of a visual equipment
WO2015044309A1 (en) Method and device for correctly and realistically displaying a pair of eyeglasses
US20230206598A1 (en) Interpupillary distance estimation method
WO2022259232A1 (en) System and method for fitting eye wear
WO2023203530A1 (en) Interpupillary distance estimation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination