CN115803750B - 使用参考框架的眼镜的虚拟试戴系统 - Google Patents

使用参考框架的眼镜的虚拟试戴系统 Download PDF

Info

Publication number
CN115803750B
CN115803750B CN202180041853.8A CN202180041853A CN115803750B CN 115803750 B CN115803750 B CN 115803750B CN 202180041853 A CN202180041853 A CN 202180041853A CN 115803750 B CN115803750 B CN 115803750B
Authority
CN
China
Prior art keywords
user
image
reference mark
client device
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180041853.8A
Other languages
English (en)
Other versions
CN115803750A (zh
Inventor
D·戈德堡
A·加里森
A·格林伯格
P·约翰逊
P·麦基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wobbi Park Co
Original Assignee
Wobbi Park Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wobbi Park Co filed Critical Wobbi Park Co
Publication of CN115803750A publication Critical patent/CN115803750A/zh
Application granted granted Critical
Publication of CN115803750B publication Critical patent/CN115803750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了一种用于用户可穿戴物品的虚拟试戴的方法。所述方法包括在客户端装置中捕获用户的第一图像，第一图像包括用户可穿戴物品的参考标记，以及在客户端装置中为用户显示多个用户可穿戴物品的图像，从用户接收输入，所述输入指示从显示器上的用户可穿戴物品选择的用户可穿戴物品。所述方法还包括分割第一图像以将参考标记与包括用户的外貌的一部分的背景分离，在用户的第二图像中用选择的用户可穿戴物品的图像替换第一图像中的参考标记的片段，以及在客户端装置中显示用户的第二图像。

Description

使用参考框架的眼镜的虚拟试戴系统
相关申请的交叉引用
本申请要求于2020年4月15日提交的美国临时申请第63/010,421号的优先权，其内容通过引用整体并入本文。
本文提及的所有出版物、专利和/或专利申请通过引用整体并入，其程度如同每个单独的出版物、专利或专利申请被具体和单独地指出以通过引用整体并入。
技术领域
本文的公开内容总体上涉及增强现实，并且更具体地涉及用于眼镜、三维(3D)眼镜、增强现实眼镜、虚拟现实眼镜或耳机、智能眼镜、运动眼镜、安全眼镜或其组合的虚拟试戴系统和方法。
背景技术
以下包含可以用于理解本发明的信息。这并不是承认本文具体或隐含引用的任何信息对于所描述或要求保护的发明是现有技术或必不可少的。
已开发了增强现实(AR)应用，其中虚拟对象被数字地叠加在现实世界对象的图像上。在一些情况下，当用户导航场景时，诸如游戏角色的虚拟对象被添加到由智能电话或平板电脑显示的场景的图像。在其他情况下，诸如卡通动物面部特征的卡通特征被添加到智能电话或平板电脑的用户的面部的图像，该图像已由智能电话或平板电脑的相机捕获。然而，在这些常规AR系统中，虚拟对象的卡通或不真实的性质允许虚拟对象相对于真实世界对象的大小、形状、取向和放置的准确性的显著偏差。
AR系统在时尚行业中的使用为增强营销活动、消费者参与和销售提供潜在的机会。然而，现有的AR系统(如虚拟试戴(VTO)系统)提供了相对于消费者的真实大小和比例的配件(如眼镜)和/或服装的不准确和不现实的大小和配合。因此，这样的系统导致增加的消费者挫折感，减少对这样的系统的使用或依赖，并且最终导致收入损失。
因此，需要创造一种改进的VTO系统，其至少解决上述问题，并且将改善消费者对其的体验。
发明内容
本文描述和要求保护的发明具有许多属性和方面，包括但不限于本发明内容中阐述或描述或引用的那些属性和方面。其不旨在是包括一切的，并且本文描述和要求保护的发明不限于本发明内容中识别的特征或实施例或不受其限制，其仅出于说明而非限制的目的而被包括。
根据本公开的一些方面，提供了一种计算机实现的方法。所述计算机实现的方法包括在客户端装置中捕获用户的第一图像，所述第一图像包括用户可穿戴物品的参考标记，并且在所述客户端装置中为用户显示多个用户可穿戴物品的图像。所述计算机实现的方法还包括接收来自用户的输入，所述输入指示从显示器上的所述用户可穿戴物品选择的用户可穿戴物品，并且分割所述第一图像以将所述参考框架与包括用户的外貌的一部分的背景分离。所述计算机实现的方法还包括在用户的第二图像中用选择的用户可穿戴物品的图像替换所述第一图像中的所述参考框架的片段，并且在所述客户端装置中显示用户的所述第二图像。
根据本公开的一些方面，提供了一种计算机实现的方法。所述计算机实现的方法包括从客户端装置接收用户的第一图像，所述第一图像包括用户可穿戴物品的参考标记，并且向所述客户端装置提供存储在数据库中的多个用户可穿戴物品的图像，以向用户显示。所述计算机实现的方法还包括接收来自用户的输入，所述输入指示从显示器上的所述用户可穿戴物品选择的用户可穿戴物品，在所述客户端装置中提供用户的第二图像以供显示，所述第二图像用所述选择的用户可穿戴物品的图像替换所述参考标记的片段，并且从所述客户端装置接收对所述选择的用户可穿戴物品的请求。
根据本公开的一些方面，提供了一种系统，其包括存储指令的存储器电路和配置成执行所述指令的处理器电路。当执行所述指令时，所述处理器使所述系统在客户端装置中捕获用户的第一图像，所述第一图像包括用户可穿戴物品的参考标记，并且在所述客户端装置中为用户显示多个用户可穿戴物品的图像，接收来自用户的输入，所述输入指示从显示器上的所述用户可穿戴物品选择的用户可穿戴物品。所述处理器还使所述系统分割所述第一图像以将所述参考标记与包括用户的外貌的一部分的背景分离，在用户的第二图像中用选择的用户可穿戴物品的图像替换所述第一图像中的所述参考标记的片段，并且在所述客户端装置中显示用户的所述第二图像。
应当理解，根据以下详细描述，本主题技术的其他配置对于本领域技术人员将变得显而易见，其中通过说明的方式示出和描述了本主题技术的各种配置。如将认识到的，本主题技术能够具有其他和不同的配置，并且其若干细节能够在各种其他方面进行修改，所有这些都不脱离本主题技术的范围。因此，附图和详细描述在本质上被认为是说明性的而不是限制性的。
附图说明
被包括以提供进一步理解并且被并入本说明书中并构成本说明书的一部分的附图示出了公开的实施例，并且与说明书一起用于解释公开的实施例的原理。附图仅用于说明目的，示出了示例性非限制性实施例，并且不一定按比例绘制。在附图中：
图1示出了适合于实践本公开的一些实施方式的虚拟试戴系统的示例性架构。
图2是示出根据一些实施例的在图1的架构中使用的一些装置的细节的框图。
图3是示出根据一些实施例的增强现实试戴界面中的多个眼镜框架的示意图。
图4是示出根据一些实施例的增强现实试戴界面的示意图。
图5示出了根据一些实施例的来自增强现实试戴界面的多个照片。
图6是示出根据一些实施例的包括面部界标位置的用户的三维图像的三维模型的示意图。
图7是示出根据一些实施例的用于在客户端装置中向用户提供增强现实试戴界面的方法中的步骤的流程图。
图8是示出根据一些实施例的用于托管来自服务器的增强现实试戴界面的方法中的步骤的流程图。
图9是示出根据本公开的某些方面的可以实现图1的架构的示例性计算机系统的框图。
在附图中，除非在文本中另有说明，否则相同的元件和步骤用相同的附图标记进行标记。
具体实施方式
在以下详细描述中，阐述了许多具体细节以提供对本公开的全面理解。然而，对于本领域普通技术人员显而易见的是，可以在没有这些具体细节中的一些的情况下实践本公开的实施例。在其他情况下，没有详细示出公知的结构和技术以免模糊本公开。
总体概述
本文公开了VTO系统和方法。虚拟试戴系统和方法对于查看在现实世界中眼镜或眼镜框架将如何出现在用户的面部上而无需用户使用现实世界眼镜或框架是特别有用的。在一些实施例中，虚拟现实(VR)显示器包括显示叠加有人工生成的要素的真实图像的系统。然而，还应当领会，本文所述的系统和方法可以应用于用户身体的其他部分上的其他对象的虚拟试戴，例如眼镜配件、头饰、耳环、其他人体穿孔配件、珠宝、服装等的虚拟试戴。如本文所公开的虚拟试戴系统和方法允许用户可视化特定现实世界物品将出现在用户的特定身体上的方式。
许多现有的VTO解决方案通过假设所有面部具有相同的尺寸并且与面部成比例地缩放虚拟眼镜框架来估计用户面部的尺寸。因此，具有比平均更小或更大的头部的用户可能具有这样的印象：当实际上框架太大或太小时，框架适合他们。当用户接收到一副眼镜并且发现眼镜看起来不像期望的、不舒服的或简单地不适合消费者时，这会导致消费者沮丧。在一些实施例中，VTO系统可以请求用户用具有标准化尺寸的已知大小的参考对象(例如，信用卡)来摆姿势。对于一些用户，该方法可能看起来不舒服或麻烦。在一些实施例中，VTO系统可以使用三维(3D)相机来估计用户面部的尺寸并相应地缩放虚拟眼镜。然而，3D相机可能不可用于至少一些用户。在一些场景中，VTO系统因此可以猜测相对于图像中的用户的面部特征制造一副虚拟眼镜有多大。这是因为从图像估计用户的面部特征的物理尺寸不是直接的，特别是当在图像中或针对图像没有缩放参考时。一些VTO系统可以假设用户的头部是平均尺寸，以便确定虚拟眼镜的适当尺寸。然而，对于具有小于或大于平均值的头部的用户，该类型的假设将产生不现实的结果。
如本文所公开的虚拟试戴(VTO)系统使用增强现实来向消费者示出一副眼镜框架在他们的面部上看起来如何。消费者依赖于如本文所公开的VTO来准确地感知框架相对于他们的面部的尺寸。在一些实施例中，如本文所公开的VTO系统利用预先提供给消费者的参考眼镜框架。消费者戴上参考框架，并且VTO系统使用参考框架作为尺寸参考来叠加虚拟框架。
此外，在没有关于受试者的头部和面部特征的准确三维信息的情况下，VTO系统可能不正确地估计受试者面部上的眼镜的位置和尺寸。因此，典型特征的使用可能对潜在消费者显示出不现实的结果，从而导致沮丧和收入损失。
为了避免具有眼镜的潜在消费者的不准确再现，如本文所公开的VTO系统可以请求用户向VTO系统输入用户佩戴一副眼镜的参考框架的第一图像。用于一副眼镜的参考框架可以包括已知的尺寸。因此，第一图像可以用于准确地评估用户面部特征的尺寸和相对分布。
根据本主题公开的方面，提供了VTO系统和方法，其使用佩戴一副眼镜的参考框架的用户面部的捕获图像来提供用户面部上的真实世界眼镜的实际外观的现实表示。由于直接测量捕获图像中的用户面部的尺寸，因此，本文描述的VTO系统和方法可以以相对于用户面部的正确相对大小来绘制眼镜的虚拟表示。在下文中进一步详细描述眼镜的虚拟表示相对于用户面部的图像的准确放置(例如，定位和/或定向)，原因是它们将搁置在实际用户的面部上。此外，一些实施例可以进一步为用户提供使用VTO应用来试戴多种类型、类别和型号的现实世界眼镜的能力。例如，用户可以试戴着色镜片、或梯度镜片、或具有不同颜色、纹理和设计的框架。
如本文所公开的实施例提供了在购买之前解决提供佩戴虚拟眼镜的用户的图像的远程再现的技术问题的技术方案。因此，如本文所公开的实施例提供了一种用于移动计算机装置的增强用途，所述移动计算机装置使用显示器作为虚拟镜子来绘制佩戴一副期望眼镜的用户的增强现实图像。此外，本文所公开的实施例利用宽带网络计算机技术的技术优点来按时间序列快速绘制和调整图像，以捕获用户在佩戴这副眼镜时的自然移动和姿势。在一些实施例中，3D模型绘制工具可以至少部分地或完全地驻留在安装在客户端装置中的应用内。通过避免自身去商店试戴一副眼镜，如本文所公开的VTO系统为用户提供显著的商业优势，并且增强销售商的销售能力和营销效果。
通过使用一副参考眼镜，本文所公开的实施例相对于基于2D成像的虚拟试戴工具实现了优异的尺寸精度。与其他虚拟试戴工具不同，它不需要3D相机，这使公开的系统可用于更广泛的消费者群。更一般地，根据本公开的实施例包括将参考框架或标记用于任何其他类型的用户可穿戴物品，如可穿戴装置、衣服等。因此，在一些实施例中，将参考框架或标记提供给潜在消费者。消费者拍摄自身佩戴参考框架或标记的图像，并且移动装置中的应用为用户显示具有可穿戴物品的用户的虚拟镜像。用户可以摆出姿势、改变轮廓、从不同角度拍摄图片和视频，并且应用将返回具有可穿戴物品的用户的现实图像或视频。
尽管本文提供的许多示例将用户的装置或物理特征描述为被识别和/或存储，但是每个用户可以授予对收集、共享和/或存储这样的用户信息的明确许可。可以使用集成到公开的系统中的隐私控制来授予明确许可。可以向每个用户提供这样的用户信息将在明确同意的情况下存储的通知，并且每个用户可以在任何时间结束存储信息，并且可以删除任何存储的用户信息。存储的用户信息可以被加密以保护用户安全。
用户可以在任何时间从存储器电路删除用户信息和/或选择不将用户信息存储在存储器电路中。另外，用户可以在任何时间调整适当的隐私设置，以选择性地限制存储在存储器电路中的用户信息的类型，或者选择存储用户信息的存储器电路(例如，本地存储在用户的装置上，而不是远程存储在服务器上)。用户信息不包括和/或共享用户的特定标识(例如，用户的姓名)，除非用户另外具体提供或指示。
示例性系统架构
图1示出了适合于实践本公开的一些实施方式的用于眼镜的虚拟试戴的示例性架构100。架构100包括通过网络150连接的服务器130和客户端装置110。如图所示，第三方服务器140还可以经由网络150通信地联接到服务器130和/或客户端装置110。服务器130可以包括与可以用一个或多个客户端装置110虚拟试戴的对象关联的信息的数据库142。例如，服务器130的数据库142可以包括可用于购买(例如，从服务器本身、从物理实体商店或从诸如第三方服务器的另一服务器)的具有或不具有镜片的各种眼镜框架的三维模型。在一些实施方式中，服务器130还可以存储代码，所述代码在由服务器的处理器电路执行时使处理器电路提供执行本文描述的试戴方法和操作的试戴界面(例如，试戴网页界面)。在一些实施方式中，用于试戴界面的代码还可以或替代地存储在一个或多个客户端装置110处。在这些实施方式中，运行(例如，由在客户端装置上运行的试戴应用生成的)试戴界面的客户端装置可以从服务器130获得眼镜的三维模型，并且在客户端装置处执行如本文所述的试戴操作。
第三方服务器可以包括处理眼镜的销售的服务器130，眼镜的三维表示存储在数据库152中。服务器130可以存储可以使用由其他服务器130和/或客户端装置110提供的试戴界面试戴的其他对象的三维表示(例如，通过将其他对象的三维模型存储在数据库152中)，并且将三维模型提供给服务器130和/或客户端装置110。
服务器130可以均用具有用于托管试戴界面和/或用于存储眼镜或其他对象的三维模型的适当处理器电路、存储器电路和通信能力的任何装置来实现。客户端装置110可以是例如台式计算机、移动计算机、平板计算机(例如，包括电子书阅读器)、移动电子装置(例如，智能电话、平板电脑或PDA)或任何其他装置，其具有用于提供虚拟试戴界面的适当成像(例如，可见光成像和/或红外成像)、照明(例如，可见光照明和/或红外光照明)、处理器电路、存储器电路和通信能力。网络150可以包括例如局域网(LAN)、广域网(WAN)、互联网等中的任何一个或多个。此外，网络150可以包括但不限于以下网络拓扑中的任何一个或多个，包括总线网络、星形网络、环形网络、网状网络、星形总线网络、树形或分层网络等。
图2是系统200的框图，示出了根据一些实施例的架构100中的示例性服务器130和客户端装置110。客户端装置110和服务器130经由相应的通信模块218-1和218-2(在下文中统称为“通信模块218”)通过网络150通信地联接。通信模块218配置成与网络150接口连接，以向网络上的其他装置发送和接收信息，如数据、请求、响应和命令。通信模块218可以包括例如调制解调器或以太网卡。客户端装置110可以与输入装置214和输出装置216联接。输入装置214可以包括用户(例如，消费者)可以用来与客户端装置110交互的键盘、鼠标、指示器或甚至触摸屏显示器。类似地，输出装置216可以包括显示器和扬声器，用户可以利用其从客户端装置110检索结果。客户端装置110还可以包括处理器电路212-1，其配置成执行存储在存储器电路220-1中的指令，并且使客户端装置110执行根据本公开的方法中的至少一些步骤。存储器电路220-1还可以包括应用222，所述应用包括特定指令，当由处理器电路212-1执行时，所述特定指令使由服务器130托管的有效载荷225显示给消费者。因此，应用222可以由服务器130安装并且执行由服务器130提供的脚本和其他例程。在一些实施例中，应用222可以配置成显示由虚拟嵌入引擎242提供的广告有效载荷225。有效载荷225可以包括由服务器130呈现给消费者的多个数字促销、参考框架、库存物品等。在一些实施例中，消费者可以选择至少一些参考框架或购买库存物品激活按钮和存储器电路220中的有效载荷225中的其他字段。
服务器130包括存储器电路220-2、处理器电路212-2和通信模块218-2。处理器电路212-2配置成执行指令，例如物理编码到处理器电路212-2中的指令、从存储器电路220-2中的软件接收的指令或两者的组合。存储器电路220-2包括虚拟嵌入引擎242，用于将存储在库存物品数据库252中的图像、视频和其他多媒体文件整合到有效载荷225中的增强现实图像或视频中。虚拟嵌入引擎242可以形成将由应用222提供的图像或视频与来自库存物品数据库252的适当修改的图像组合的虚拟图像或视频。然后，服务器130向客户端装置110的用户提供有效载荷225，所述用户是零售商店或连锁店的消费者，或者是希望在线购买用户可穿戴物品的人。
虚拟嵌入引擎242使用分割工具244和几何再现工具246来整合有效载荷225。分割工具244可以包括用于从由应用222提供的图像中的像素选择或创建指示参考框架的像素掩模的指令。
几何再现工具246可以包括用于确定三维空间中的已知尺寸的对象(例如，存储在参考框架数据库252中的参考框架)的取向和位置的模型。在一些实施例中，几何再现工具246中的模型可以包括用于模拟参考框架的多个位置和取向并且选择与由分割工具244提供的像素掩模最佳匹配(或在阈值内紧密匹配)的参考框架的取向和位置的指令。
图3是示出根据一些实施例的人工现实试戴应用322中的多个眼镜框架315-1(“A”)、315-2(“B”)和315-3(在下文中统称为“眼镜框架315”)的示意图。在一些实施例中，客户端装置310的用户通过应用322访问由服务器(例如，服务器130)托管的眼镜提供商的门户。根据一些实施例，客户端装置310的显示器然后提供眼镜框架315的图像以供用户选择和试戴。显示器还可以示出眼镜框架315中的每一个的不同特征330-1和330-2(在下文中统称为“特征330”)。特征330可以包括一副眼镜的框架的材料、颜色、纹理和形状。在一些实施例中，特征330还可以包括一副眼镜中的眼镜的色调或类型(例如，偏振、镀覆、渐变颜色、着色、太阳镜等)。
应用322可以包括若干按钮320-1(“商店”)、320-2(“试戴”)、320-3(“位置”)、320-4(“账户”)和320-5(“购物车”，在下文中统称为“按钮320”)。商店按钮320-1可以将用户引导到如图所示的显示器，其中显示来自数据库(例如，库存物品数据库252)的不同库存物品以供用户选择。位置按钮320-3可以将用户引导到显示用户可以找到要购买的所选物品的商店的不同位置的地图。账户按钮320-4可以将用户引导到托管应用222的服务器(例如，由商店、眼镜提供商、品牌、制造商等赞助的服务器130)中的个人账户。当商店按钮320-1被激活时，购物车按钮320-5可以收集和存储由用户选择的物品。
试戴按钮320-2将用户引导到如本文所公开的VTO门户。如本文所公开的，在VTO门户中，用户可以试戴参考对象并使用客户端装置310作为虚拟镜子来看到他/她自己佩戴所选择的一副眼镜的现实肖像。
图4是示出根据一些实施例的应用322中的VTO门户425的示意图。VTO门户示出了佩戴所选择的一副眼镜415(例如，在按下商店按钮320-1之后从眼镜框架315中的任何一个选择的)的用户的虚拟镜像435。字段427可以包括“滑动浏览更多眼镜”、“试戴”或“以(价格)购买”的按钮。
在一些实施例中，用户在访问应用322之前接收(通过实体递送，如邮递等)参考框架。参考框架可以是具有与眼镜框架415类似的尺寸和形状的实体对象。在一些实施例中，参考框架可以有区别地着色。然后用户在佩戴参考框架时使用客户端装置410拍摄他/她自己的图像。因此，VTO门户425可以容易地将对应于参考框架的像素从对应于场景的其余部分的像素分割。对于那些像素，VTO门户425然后显示虚拟镜像435，其包括所选眼镜框架415的颜色、形状和其他特征，而不是参考框架的颜色、形状和其他特征。因此，用户可以虚拟地试戴若干不同的颜色方式。
在一些实施例中，参考框架可以未被有区别地着色。在其他实施例中，参考框架可以是特定颜色或颜色组合的常规眼镜框架。然后VTO门户425提供虚拟镜像435，其中对应于参考框架的像素的颜色由所选眼镜框架415的颜色替换。
在一些实施例中，所选眼镜框架415的框架可以与参考框架相同，但是眼镜镜片可以不同。因此，VTO门户425(或托管门户的服务器)分割眼镜镜片。因此，虚拟镜像435包括表示用户期望类型或风格的眼镜镜片。为了实现这一点，如本文所公开的VTO系统改变对应于眼镜镜片的像素的外观，以表示替代镜片(例如，着色、太阳镜、偏振、镀覆、渐变颜色等)。
在一些实施例中，参考框架可以与所选眼镜框架415的尺寸或形状不匹配。相反，可以是常规眼镜框架或专门设计的参考框架的参考框架可以用作尺寸参考。因此，VTO系统可以评估用户的头部/面部的尺寸和形状(例如，通过创建用户头部的3D模型)，以便将所选眼镜框架415准确地安装在用户的面部上。
图5示出了根据一些实施例的来自VTO应用522的多个虚拟镜像535A、535B和535C(在下文中统称为“虚拟图像535”)。VTO门户525包括用户激活以从所选眼镜框架515A切换到所选眼镜框架515B的字段527。无缝地，如在真实镜子中一样，VTO门户525提供虚拟图像535，其以不同的姿势和轮廓(例如，虚拟图像535B和535C)示出(例如，实时地)具有最近选择的眼镜框架的用户的视图。
图6是示出根据一些实施例的来自用户的二维(2D)图像635的3D模型645的示意图600，包括面部界标位置610-1、610-2、610-3和610-4(在下文中统称为“界标位置610”)。
2D图像635可以由佩戴参考框架615r的用户经由客户端装置(例如，客户端装置110、310和410)提供给服务器。服务器可以用具有分割工具和几何再现工具646的虚拟嵌入引擎来处理2D图像635以生成3D模型645。因此，几何再现工具646可以使用用户的头部接触参考框架615r的界标位置610和用于参考框架615r的3D模型来确定用户头部中的关键点的大小和形状。然后，通过选择最佳拟合界标位置610的3D网格，几何再现工具646可以生成3D模型645。虚拟嵌入引擎可以使用3D模型645向VTO系统提供佩戴虚拟眼镜、以不同的轮廓和姿势移动头部的用户的虚拟图像。
图7是示出根据一些实施例的用于在客户端装置中向用户提供增强现实试戴界面的方法700中的步骤的流程图。在一些实施例中，方法700中的至少一个或多个步骤可以由一个或多个装置(例如本文所公开的架构中的客户端装置或服务器(例如，客户端装置110、服务器130和架构100))执行。因此，在一些实施例中，方法700中的至少一个或多个步骤可以由服务器托管并在客户端装置中运行的应用执行，其中客户端装置和服务器通过网络(例如，应用222、通信模块218和网络150)经由通信模块彼此通信。此外，应用可以包括存储在第一存储器电路中的命令，服务器可以经由包括存储在第二存储器电路中的指令的虚拟嵌入引擎来托管应用，并且客户端装置和服务器可以将数据存储在参考框架数据库(例如，存储器电路220、虚拟嵌入引擎242和参考框架数据库252)中并从参考框架数据库检索数据。存储器电路中的指令可以由处理器电路(例如，处理器电路212)执行，以使客户端装置和服务器至少部分地执行方法700中的一个或多个步骤。在一些实施例中，虚拟嵌入引擎包括如本文所公开的分割工具和几何工具(例如，分割工具244和几何再现工具246)。根据本公开的方法可以包括来自方法700的至少一个步骤，以及以不同顺序、在时间上重叠、同时、准同时或在时间上至少部分重叠执行的方法700中的一个或多个步骤。
步骤702包括在客户端装置中捕获用户的第一图像，第一图像包括用户可穿戴物品的参考框架。在一些实施例中，用户可穿戴物品可以包括一副眼镜、一件服装(例如，帽子)、珠宝、化妆品等。
步骤704包括在客户端装置中为用户显示多个用户可穿戴物品的图像。
步骤706包括接收来自用户的输入，该输入指示从显示器上的用户可穿戴物品选择的用户可穿戴物品。
步骤708包括分割第一图像，以将参考标记与包括用户的外貌的一部分的背景分离。例如，在一些实施例中，用户的外貌的一部分可以包括用户的面部、用户的头部、手臂、腿、手腕、手、手指等。在一些实施例中，步骤708包括识别第一图像中的参考标记像素，分割参考标记像素，以及根据其位置，用背景颜色或用选择的用户可穿戴物品的颜色替换参考标记像素的颜色。
步骤710包括在用户的第二图像中用选择的用户可穿戴物品的图像替换第一图像中的参考标记的片段。在一些实施例中，步骤710包括用虚拟对象像素替换参考标记像素，其中，虚拟标记像素从参考框架数据库选择，并且由几何再现工具关于取向和位置进行修改。在一些实施例中，步骤710包括用几何再现工具和内部模型确定参考标记的取向和位置。在一些实施例中，步骤710包括形成参考标记的内部模型并模拟参考标记的多个位置和取向。在一些实施例中，步骤710包括选择与在步骤708中由分割工具提供的掩模最佳匹配(或在阈值内更好地匹配)的一个或多个位置和取向。在一些实施例中，一旦确定参考标记的位置和取向，步骤710包括定位和定向选择的用户可穿戴物品(例如，虚拟对象)的图像以匹配参考标记。在一些实施例中，步骤710还包括用来自选择的用户可穿戴物品的对应像素替换像素掩模中的像素。
步骤712包括在客户端装置中显示用户的第二图像。
图8是示出根据一些实施例的用于从服务器托管增强现实试戴界面的方法800中的步骤的流程图。在一些实施例中，方法800中的至少一个或多个步骤可以由一个或多个装置(例如本文所公开的架构中的客户端装置或服务器(例如，客户端装置110、服务器130和架构100))执行。因此，在一些实施例中，方法800中的至少一个或多个步骤可以由服务器托管并在客户端装置中运行的应用执行，其中客户端装置和服务器通过网络(例如，应用222、通信模块218和网络150)经由通信模块彼此通信。此外，应用可以包括存储在第一存储器电路中的命令，服务器可以经由包括存储在第二存储器电路中的指令的虚拟嵌入引擎来托管应用，并且客户端装置和服务器可以将数据存储在参考框架数据库(例如，存储器电路220、虚拟嵌入引擎242和参考框架数据库252)中并从参考框架数据库检索数据。存储器电路中的指令可以由处理器电路(例如，处理器电路212)执行，以使客户端装置和服务器至少部分地执行方法800中的一个或多个步骤。在一些实施例中，虚拟嵌入引擎包括如本文所公开的分割工具和几何工具(例如，分割工具244和几何再现工具246)。根据本公开的方法可以包括来自方法800的至少一个步骤，以及以不同顺序、在时间上重叠、同时、准同时或在时间上至少部分重叠执行的方法800中的一个或多个步骤。
步骤802包括从客户端装置接收用户的第一图像，第一图像包括用户可穿戴物品的参考标记。在一些实施例中，用户可穿戴物品可以包括一副眼镜、一件服装(例如，帽子)、珠宝、化妆品等。
步骤804包括向客户端装置提供存储在数据库中的多个用户可穿戴物品的图像，以向用户显示。
步骤806包括接收来自用户的输入，该输入指示从显示器上的多副眼镜选择的用户可穿戴物品。
步骤808包括在客户端装置中提供用户的第二图像以供显示，第二图像具有被替换为选择的用户可穿戴物品的图像的参考标记的片段。在一些实施例中，步骤808还包括基于由几何再现引擎提供的用户头部的估计位置和取向来选择第一图像中的像素，以识别参考标记的片段。在一些实施例中，步骤808还包括从第一图像选择多个像素，并且形成掩模以识别参考标记的片段。在一些实施例中，步骤808还包括用几何再现工具确定参考框架的取向和位置，并且基于参考标记的取向和位置用选择的用户可穿戴物品的图像替换第一图像中的参考标记的片段。在一些实施例中，步骤808还包括定位和定向选择的用户可穿戴物品的图像以匹配参考标记并替换第一图像中的参考标记的片段。在一些实施例中，用于用户可穿戴物品的参考标记是适配在用户的外貌的一部分上的已知对象。因此，步骤808可以包括基于第一图像中的已知对象的二维投影获得用户的头部的模型，并且将选择的用户可穿戴物品的三维模型叠加在用户的头部的模型上。
步骤810包括从客户端装置接收对选择的用户可穿戴物品的请求。
硬件概述
图9是示出可以实现图1的用户装置110和服务器130的示例性计算机系统900的框图。在某些方面，计算机系统900可以使用硬件或软件和硬件的组合来实现，或者在专用服务器中实现，或者集成到另一实体中，或者分布在多个实体上。
计算机系统900包括总线908或用于传送信息的其他通信机制，以及与总线908联接以用于处理信息的处理器电路902。作为示例，计算机系统900可以用一个或多个处理器电路902来实现。处理器电路902可以是通用微处理器电路、微控制器、数字信号处理器电路(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、分立硬件部件或可以执行信息的计算或其他操作的任何其他合适的实体。
除了硬件之外，计算机系统900还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成存储在所包括的存储器电路中的处理器电路固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码，所述存储器电路例如是随机存取存储器电路(RAM)、闪存电路、只读存储器电路(ROM)、可编程只读存储器电路(PROM)、可擦除PROM(EPROM)、寄存器、硬盘、可移动盘、CD-ROM、DVD或任何其他合适的存储装置，其联接到总线908以用于存储要由处理器电路902执行的信息和指令。处理器电路902和存储器电路904可以由专用逻辑电路补充或并入专用逻辑电路中。
指令可以存储在存储器电路904中，并且在一个或多个计算机程序产品，即在计算机可读介质上编码的计算机程序指令的一个或多个模块中实现，用于由计算机系统900执行或控制计算机系统900的操作，并且根据本领域技术人员公知的任何方法实现，包括但不限于计算机语言，如面向数据的语言(例如，SQL、dBase)、系统语言(例如，C、Objective-C、C++、汇编)、架构语言(例如，Java、.NET)和应用语言(例如，PHP、Ruby、Perl、Python)。指令还可以以计算机语言实现，如数组语言、面向方面的语言、汇编语言、创作语言、命令行接口语言、编译语言、并发语言、花括号语言、数据流语言、数据结构化语言、声明性语言、深奥语言、扩展语言、第四代语言、函数语言、交互模式语言、解释语言、迭代语言、基于列表的语言、小语言、基于逻辑的语言、机器语言、宏语言、元编程语言、多范例语言、数值分析、非基于英语的语言、面向对象的基于类的语言、面向对象的基于原型的语言、脱机规则语言、过程语言、反射语言、基于规则的语言、脚本语言、基于堆栈的语言、同步语言、语法处理语言、视觉语言、wirth语言和基于XML的语言。存储器电路904还可以用于在执行要由处理器电路902执行的指令期间存储临时变量或其他中间信息。
如本文所讨论的计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在专用于所讨论的程序的单个文件中，或者存储在多个协调文件(例如，存储一个或多个模块、子程序或代码的多个部分的文件)中。计算机程序可以被部署为在一个计算机上执行，或在位于一个站点处或分布在多个站点上并通过通信网络互连的多个计算机上执行。本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器电路执行以通过对输入数据进行操作并生成输出来执行功能。
计算机系统900还包括联接到总线908以用于存储信息和指令的数据存储装置906，如磁盘或光盘。计算机系统900可以经由输入/输出模块910联接到各种装置。输入/输出模块910可以是任何输入/输出模块。示例性输入/输出模块910包括诸如USB端口的数据端口。输入/输出模块910配置成连接到通信模块912。示例性通信模块912包括联网接口卡，如以太网卡和调制解调器。在某些方面，输入/输出模块910配置成连接到多个装置，如输入装置914和/或输出装置916。示例性输入装置914包括键盘和指示装置(例如，鼠标或跟踪球)，用户可以通过其向计算机系统900提供输入。其他种类的输入装置914也可以用于提供与用户的交互，如触觉输入装置、视觉输入装置、音频输入装置或脑-计算机接口装置。例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音、触觉或脑电波输入。示例性输出装置916包括用于向用户显示信息的显示装置，如LCD(液晶显示器)或发光二极管(LED)显示器。
根据本公开的一个方面，响应于处理器电路902执行包含在存储器电路904中的一个或多个指令的一个或多个序列，可以使用计算机系统900来实现用户装置110和服务器130。这样的指令可以从另一机器可读介质(如数据存储装置906)读取到存储器电路904中。包含在主存储器电路904中的指令序列的执行使处理器电路902执行本文描述的处理步骤。还可以采用多处理布置中的一个或多个处理器电路来执行包含在存储器电路904中的指令序列。在替代方面，可以使用硬连线电路来代替软件指令或与软件指令组合以实现本公开的各个方面。因此，本公开的方面不限于硬件电路和软件的任何特定组合。
本说明书中描述的主题的各个方面可以在计算系统中实现，所述计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有图形用户界面或网页浏览器的客户端计算机，用户可以通过图形用户界面或网页浏览器与本说明书中描述的主题的实现进行交互)，或者包括一个或多个这样的后端、中间件或前端组件的任何组合。系统的组件可以通过数字数据通信的任何形式或介质(例如，通信网络)互连。通信网络(例如，网络150)可以包括例如LAN、WAN、互联网等中的任何一个或多个。此外，通信网络可以包括但不限于例如以下网络拓扑中的任何一个或多个，包括总线网络、星形网络、环形网络、网状网络、星形总线网络、树形或分层网络等。通信模块可以是例如调制解调器或以太网卡。
计算机系统900可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。计算机系统900可以是例如但不限于台式计算机、膝上型计算机或平板计算机。计算机系统900还可以嵌入另一装置中，例如但不限于移动电话、PDA、移动音频播放器、全球定位系统(GPS)接收器、视频游戏控制台和/或电视机顶盒。
如本文所使用的术语“机器可读存储介质”或“计算机可读介质”是指参与向处理器电路902提供指令以供执行的任何一个或多个介质。这样的介质可以采取许多形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括例如光盘或磁盘，如数据存储装置906。易失性介质包括动态存储器电路，如存储器电路904。传输介质包括同轴电缆、铜线和光纤，包括包含总线908的导线。机器可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、闪存EPROM、任何其他存储器电路芯片或盒、或计算机可以读取的任何其他介质。机器可读存储介质可以是机器可读存储装置、机器可读存储基板、存储器电路装置、影响机器可读传播信号的物质组成或它们中的一个或多个的组合。
如本文所使用的，在一系列项目之前的短语“中的至少一个”以及用于分隔任何项目的术语“和”或“或”修饰整个列表，而不是修饰列表的每个成员(即，每个项目)。短语“中的至少一个”不需要选择至少一个项目；相反，该短语允许包括任何一个项目中的至少一个，和/或项目的任何组合中的至少一个，和/或每个项目中的至少一个的含义。举例来说，短语“A、B和C中的至少一个”或“A、B或C中的至少一个”均指代仅A、仅B或仅C；A、B和C的任何组合；和/或A、B和C中的每一个中的至少一个。
就在说明书或权利要求书中使用术语“包括”、“具有”等而言，这样的术语旨在以与术语“包含”在权利要求中用作过渡词时被解释的方式类似的方式是包含性的。本文中使用的词语“示例性”意指“用作示例、实例或说明”。本文中描述为“示例性”的任何实施例不一定被解释为比其他实施例优选或有利。
除非特别说明，否则对单数形式的元件的引用并不旨在表示“一个且仅一个”，而是“一个或多个”。本领域普通技术人员已知或稍后将知道的贯穿本公开描述的各种配置的元件的所有结构和功能等同物通过引用明确地并入本文，并且旨在由本主题技术涵盖。此外，本文所公开的任何内容都不旨在奉献给公众，无论在以上描述中是否明确地叙述了这样的公开内容。
尽管本说明书包含许多细节，但是这些细节不应被解释为对可能要求保护的范围的限制，而是作为主题的特定实施方式的描述。在本说明书中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中实现。此外，尽管特征可以在上面被描述为以某些组合起作用并且甚至最初如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从组合中删除，并且所要求保护的组合可以涉及子组合或子组合的变化。
已经根据特定方面描述了本说明书的主题，但是可以实现其他方面，并且其他方面在所附权利要求的范围内。例如，尽管在附图中以特定顺序描绘了操作，但是这不应被理解为要求以所示的特定顺序或按顺序执行这些操作，或者执行所有示出的操作，以实现期望的结果。权利要求中记载的动作可以以不同的顺序执行，并且仍然实现期望的结果。作为一个示例，附图中描绘的过程不一定需要所示的特定顺序或相继顺序来实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述方面中的各种系统组件的分离不应被理解为在所有方面中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或封装到多个软件产品中。其他变型在所附权利要求的范围内。

Claims (20)

1.一种计算机实现的方法，包括：
由客户端装置捕获用户的第一图像，所述第一图像包括用户可穿戴物品的参考标记，所述参考标记由所述第一图像中的第一用户穿戴并具有已知三维模型；
由客户端装置从用户的第一图像自动生成用户的面部的三维模型，所述用户的面部的三维模型包括基于所述参考标记的已知三维模型的尺寸；
由所述客户端装置为用户显示多个用户可穿戴物品的图像；
接收来自所述用户的输入，所述输入指示从显示器上的所述用户可穿戴物品选择的用户可穿戴物品，所述选择的用户可穿戴物品具有关联的三维模型；
由所述客户端装置分割所述第一图像，以将所述参考标记与包括用户的外貌的一部分的背景分离；
基于所述用户的面部的三维模型和选择的用户可穿戴物品的三维模型，由所述客户端装置在用户的第二图像中用所述选择的用户可穿戴物品的图像替换所述第一图像中的所述参考标记的片段；以及
由所述客户端装置显示用户的所述第二图像。
2.根据权利要求1所述的计算机实现的方法，其中，用户的所述第一图像和用户的所述第二图像包括用户移动的时间序列，所述方法还包括显示所述用户移动的时间序列的视频。
3.根据权利要求1所述的计算机实现的方法，其中，用户的外貌的所述一部分是用户的面部，并且分割所述第一图像包括基于所述参考标记的已知尺寸来确定用户的面部的大小。
4.根据权利要求1所述的计算机实现的方法，其中，分割所述第一图像以将所述参考标记与背景分离包括确定所述第一图像中属于所述参考标记的至少一个像素。
5.根据权利要求1所述的计算机实现的方法，其中，分割所述第一图像以分离所述参考标记包括基于参考标记颜色选择所述第一图像中的像素。
6.根据权利要求1所述的计算机实现的方法，其中，所述用户可穿戴物品是一副眼镜，并且替换所述参考标记的片段包括替换所述一副眼镜中的镜片类型。
7.根据权利要求1所述的计算机实现的方法，其中，所述用户可穿戴物品的所述参考标记包括指示所述第一图像的几何特征中的比例的所述用户可穿戴物品的一部分，所述方法还包括确定用户的外貌的所述一部分的多个解剖特征的大小和相对位置。
8.根据权利要求1所述的计算机实现的方法，其中，捕获用户的所述第一图像包括当所述第一图像具有错误时请求用户进行新的图像捕获。
9.根据权利要求1所述的计算机实现的方法，还包括从用户请求与所述参考标记关联的识别码。
10.根据权利要求1所述的计算机实现的方法，还包括从用户接收对所述选择的用户可穿戴物品的请求。
11.一种系统，包括：
存储指令的存储器电路；以及
处理器电路，所述处理器电路配置成执行所述指令以使所述系统：
在客户端装置中捕获用户的第一图像，所述第一图像包括用户可穿戴物品的参考标记，所述参考标记由所述第一图像中的第一用户穿戴并具有已知三维模型，该已知三维模型包括已知尺寸；
由客户端装置从所述第一图像自动生成用户的面部的三维模型，所述用户的面部的三维模型包括基于所述参考标记的已知三维模型的尺寸；由所述客户端装置为用户显示多个用户可穿戴物品的图像；
接收来自用户的输入，所述输入指示从显示器上的所述用户可穿戴物品选择的用户可穿戴物品，所述选择的用户可穿戴物品具有关联的三维模型；
由所述客户端装置分割所述第一图像以将所述参考标记与包括用户的外貌的一部分的背景分离；
基于所述用户的面部的三维模型和选择的用户可穿戴物品的三维模型，由所述客户端装置在用户的第二图像中用选择的用户可穿戴物品的图像替换所述第一图像中的所述参考标记的片段；以及
由所述客户端装置显示用户的所述第二图像。
12.根据权利要求11所述的系统，其中，用户的所述第一图像和用户的所述第二图像包括用户移动的时间序列，并且所述处理器电路还执行指令，以显示所述用户移动的时间序列的视频。
13.根据权利要求11所述的系统，其中，为了分割所述第一图像以将所述参考标记与背景分离，所述处理器电路执行指令以确定所述第一图像中属于所述参考标记的至少一个像素。
14.一种方法，包括：
由客户端装置从用户的第一图像生成用户的面部的三维模型，所述用户的面部的三维模型包括具有用户穿戴的已知三维模型的参考标记，所述用户的面部的三维模型包括基于所述参考标记的已知三维模型的尺寸；
由所述客户端装置显示至少一个用户可穿戴物品的至少一个图像，所述至少一个用户可穿戴物品具有关联的三维模型；
接收来自用户的输入，所述输入指示从所述至少一个用户可穿戴物品选择的用户可穿戴物品；
由所述客户端装置分割所述第一图像，以将所述参考标记与包括用户的外貌的一部分的背景分离；
基于所述用户的面部的三维模型和选择的用户可穿戴物品的三维模型，由所述客户端装置在用户的第二图像中用所述选择的用户可穿戴物品的图像替换所述第一图像中的所述参考标记的片段；以及
由客户端装置显示用户的第二图像。
15.根据权利要求14所述的方法，其中，用户的外貌的所述一部分是用户的面部，并且分割所述第一图像包括基于所述参考标记的已知尺寸来确定用户的面部的大小。
16.根据权利要求14所述的方法，其中，分割所述第一图像以将所述参考标记与背景分离包括确定所述第一图像中属于所述参考标记的至少一个像素。
17.根据权利要求14所述的方法，其中，分割所述第一图像以分离所述参考标记包括基于参考标记颜色选择第一图像中的像素。
18.根据权利要求14所述的方法，其中，用于所述用户可穿戴物品的所述参考标记包括指示所述第一图像的几何特征中的比例的所述用户可穿戴物品的一部分，所述方法还包括确定用户的外貌的所述一部分的多个解剖特征的大小和相对位置。
19.根据权利要求14所述的方法，还包括使用与客户端装置关联的相机由客户端装置捕获所述用户的第一图像。
20.根据权利要求14所述的方法，还包括从所述用户请求与所述参考标记关联的识别码。
CN202180041853.8A 2020-04-15 2021-04-09 使用参考框架的眼镜的虚拟试戴系统 Active CN115803750B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063010421P 2020-04-15 2020-04-15
US63/010421 2020-04-15
PCT/US2021/026569 WO2021211374A1 (en) 2020-04-15 2021-04-09 Virtual try-on systems for spectacles using reference frames

Publications (2)

Publication Number Publication Date
CN115803750A CN115803750A (zh) 2023-03-14
CN115803750B true CN115803750B (zh) 2024-01-30

Family

ID=78082079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180041853.8A Active CN115803750B (zh) 2020-04-15 2021-04-09 使用参考框架的眼镜的虚拟试戴系统

Country Status (7)

Country Link
US (1) US11676347B2 (zh)
EP (1) EP4136563A4 (zh)
KR (1) KR20230002738A (zh)
CN (1) CN115803750B (zh)
CA (1) CA3179919A1 (zh)
IL (1) IL297252A (zh)
WO (1) WO2021211374A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11488239B2 (en) * 2019-08-26 2022-11-01 Warby Parker Inc. Virtual fitting systems and methods for spectacles
CN114489404A (zh) * 2022-01-27 2022-05-13 北京字跳网络技术有限公司 一种页面交互方法、装置、设备以及存储介质
US12008711B2 (en) * 2022-02-09 2024-06-11 Google Llc Determining display gazability and placement of virtual try-on glasses using optometric measurements
US20230252745A1 (en) * 2022-02-09 2023-08-10 Google Llc Validation of modeling and simulation of virtual try-on of wearable device
US20240005387A1 (en) * 2022-07-01 2024-01-04 Warby Parker Inc. Systems and methods for spectacle removal and virtual try-on

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809638A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种基于移动终端的眼镜虚拟试戴方法和系统
CN109727097A (zh) * 2018-12-29 2019-05-07 上海堃承信息科技有限公司 一种配镜方法、装置与系统
CN109983501A (zh) * 2016-06-30 2019-07-05 试戴盒子公司 一种隐藏图像或视频中的对象的方法和相关的增强现实方法

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2818775A (en) 1953-05-12 1958-01-07 Schneider Co Optische Werke Method of and apparatus for objectively testing optical systems
GB1042954A (en) 1962-06-22 1966-09-21 Rudolph Rodenstock Apparatus for measuring the power of spectacle lenses
US4007990A (en) 1975-05-23 1977-02-15 Acuity Systems, Incorporated Apparatus and method for measuring refractive properties of a sphero-cylindrical optical system
US4070115A (en) 1976-03-26 1978-01-24 Humphrey Instruments, Inc. Lens meter
US4090790A (en) 1976-07-08 1978-05-23 American Optical Corporation Apparatus for testing the refractive power(s) of lenses
JPS63131042A (ja) 1986-11-20 1988-06-03 Nikon Corp 自動レンズメ−タ
DE4122817B4 (de) 1990-07-11 2004-10-07 Nidek Co., Ltd., Gamagori Automatische Linsenmeßeinrichtung zum automatischen Messen von optischen Kenndaten einer Brechkraft aufweisenden Linse
JP3161787B2 (ja) 1991-11-30 2001-04-25 株式会社ニデック レンズ屈折力分布観察装置
JP3226949B2 (ja) 1992-02-03 2001-11-12 株式会社トプコン レンズメータ
JP3150404B2 (ja) 1992-02-25 2001-03-26 株式会社トーメー 光学系における屈折力の測定方法および測定装置
JP3055836B2 (ja) 1992-03-31 2000-06-26 株式会社ニデック レンズメ−タ
US5379111A (en) 1992-04-30 1995-01-03 Nidek Co., Ltd. Lens meter
US5489978A (en) 1992-11-05 1996-02-06 Canon Kabushiki Kaisha Lens measuring apparatus
JPH07104222A (ja) 1993-10-05 1995-04-21 Mitsubishi Electric Corp 半導体光変調器
US5657710A (en) 1995-07-21 1997-08-19 Sara Lee Corporation Automatic garment manufacture
US5682234A (en) 1995-07-27 1997-10-28 Nidek Co., Ltd. Lens meter
US5684576A (en) 1995-07-27 1997-11-04 Nidek Co., Ltd. Lens meter
DE19632829A1 (de) 1995-08-14 1997-03-20 Max Prof Dr Maier Verfahren und Vorrichtung zur Bestimmung von Linsenparametern
ES2136541B1 (es) 1997-05-06 2000-08-01 Indo Int Sa Aparato para el centrado y bloqueo de un disco de lente oftalmica.
US5855074A (en) 1997-12-07 1999-01-05 Visionix Ltd. Methods and apparatus for measuring and mapping opthalmic elements
IL130465A0 (en) 1999-06-14 2000-06-01 Prolaser Ltd Method and apparatus for measuring power of an optical element for its mapping
EP1299787A4 (en) * 2000-05-18 2005-02-02 Visionix Ltd BRASS ADJUSTMENT SYSTEM AND USEFUL ADAPTATION PROCEDURES
JP3948202B2 (ja) 2000-10-03 2007-07-25 松下電工株式会社 避難仮想体験システム
US7016824B2 (en) 2001-02-06 2006-03-21 Geometrix, Inc. Interactive try-on platform for eyeglasses
EP1231460B1 (en) 2001-02-09 2005-06-08 Hoya Corporation Lens meter for measuring properties of a spectacle lens or a contact lens
JP4646014B2 (ja) 2001-08-09 2011-03-09 株式会社ニデック レンズメータ
JP5362159B2 (ja) 2001-09-04 2013-12-11 株式会社ニデック レンズメータ
US20050190264A1 (en) * 2003-09-12 2005-09-01 Neal Michael R. Method of interactive system for previewing and selecting eyewear
JP4421332B2 (ja) 2004-02-27 2010-02-24 株式会社ニデック レンズメータ
JP4756828B2 (ja) 2004-04-27 2011-08-24 株式会社ニデック レンズメータ
FR2880118B1 (fr) 2004-12-23 2007-03-02 Essilor Int Procede et appareil de mesure locale des caracteristiques de refraction d'une lentille en un ou plusieurs points specifiques de cette lentille
CN101297186B (zh) 2005-11-02 2010-09-22 株式会社尼德克 透镜测量仪
US20110071804A1 (en) 2007-02-21 2011-03-24 Yiling Xie Method And The Associated Mechanism For 3-D Simulation Stored-Image Database-Driven Spectacle Frame Fitting Services Over Public Network
US7733468B2 (en) 2007-02-28 2010-06-08 Nidek Co., Ltd. Lens meter
DE102007057260A1 (de) 2007-11-26 2009-06-04 Stephan Reiß, Michael Conrad GbR (vertretungsberechtigter Gesellschafter: Stephan Reiß, 13125 Berlin Verfahren und Anordnung zur Bestimmung der optischen Abbildungsqualität von Gleitsichtgläsern
JP4793451B2 (ja) 2009-01-21 2011-10-12 ソニー株式会社 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム
FR2945365B1 (fr) * 2009-05-11 2011-06-24 Acep France Procede et systeme de selection en ligne d'une monture de lunettes virtuelle
JP5657266B2 (ja) 2010-04-14 2015-01-21 株式会社メニコン 不正乱視矯正用コンタクトレンズ
US20120105799A1 (en) 2010-10-29 2012-05-03 Stewart Brett B Eyeglass System and Method
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
US20130088490A1 (en) 2011-04-04 2013-04-11 Aaron Rasmussen Method for eyewear fitting, recommendation, and customization using collision detection
TWI433049B (zh) 2011-04-07 2014-04-01 Claridy Solutions Inc 眼鏡虛擬試戴互動服務系統與方法
FR2984565A1 (fr) 2011-12-19 2013-06-21 Thomson Licensing Procede et dispositif d'estimation de la puissance optique des lentilles de verres correcteurs d'une paire de lunettes portee par un spectateur.
WO2013139814A2 (fr) 2012-03-19 2013-09-26 Fittingbox Modèle et procédé de production de modèle 3d photo-réalistes
WO2013168201A1 (ja) 2012-05-11 2013-11-14 株式会社メニコン レンズ度数測定装置及び測定方法
US20130335416A1 (en) 2012-05-23 2013-12-19 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a virtual try-on product
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
KR20140120713A (ko) 2013-04-04 2014-10-14 삼성디스플레이 주식회사 표시 장치 및 그 제조 방법
KR102252090B1 (ko) 2013-06-06 2021-05-14 식스 오버 식스 비젼 엘티디 주관적인 거리측정에 기초한 눈의 굴절 이상 측정 시스템 및 방법
CN105637512B (zh) 2013-08-22 2018-04-20 贝斯普客公司 用于创造定制产品的方法和系统
SG10201801793YA (en) 2013-09-11 2018-04-27 Novartis Ag Contact lens inspection system and method
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
US20150293382A1 (en) * 2014-04-09 2015-10-15 Pro Fit Optix, Inc. Method and System for Virtual Try-On and Measurement
EP3140723A4 (en) 2014-05-08 2017-10-25 Glasses.Com Inc. Systems and methods for scaling an object
CN104217350B (zh) 2014-06-17 2017-03-22 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
EP3218685B1 (en) 2014-11-11 2021-06-16 Brien Holden Vision Institute Systems and methods for determining the quality of a reproduced (manufactured) optic device
KR101528132B1 (ko) 2014-11-13 2015-06-12 윤철주 모바일 디바이스를 이용한 안경렌즈의 도수 측정방법
US20180268458A1 (en) 2015-01-05 2018-09-20 Valorbec Limited Partnership Automated recommendation and virtualization systems and methods for e-commerce
WO2016135078A1 (en) 2015-02-23 2016-09-01 Fittingbox Process and method for real-time physically accurate and realistic-looking glasses try-on
WO2016141333A1 (en) 2015-03-05 2016-09-09 Eyenetra, Inc. Methods and apparatus for small aperture lensometer
US10244175B2 (en) 2015-03-09 2019-03-26 Apple Inc. Automatic cropping of video content
US10670494B2 (en) 2015-05-10 2020-06-02 6 Over 6 Vision Ltd. Apparatus, system and method of determining one or more optical parameters of a lens
RU2724460C2 (ru) 2015-05-10 2020-06-23 6 Овер 6 Вижн Лтд. Устройство, система и способ определения одного или более оптических параметров линзы
CN107847128B (zh) 2015-05-11 2020-11-10 6超越6视觉有限公司 确定瞳孔距离的装置、系统和方法
DE102015211879B4 (de) 2015-06-25 2018-10-18 Carl Zeiss Ag Vermessen von individuellen Daten einer Brille
EP3128362B1 (en) 2015-08-05 2023-10-04 Essilor International Method for determining a parameter of an optical equipment
US10606224B2 (en) 2015-09-14 2020-03-31 Tyco Integrated Security, LLC Device enabled identity authentication
DK3405767T3 (da) 2016-01-23 2022-09-12 6 OVER 6 VISION Ltd Fremgangsmåde til bestemmelse af en eller flere optiske parametre af en linse
US10036685B2 (en) 2016-05-18 2018-07-31 Jand, Inc. Fixtureless lensmeter and methods of operating same
US9990780B2 (en) 2016-10-03 2018-06-05 Ditto Technologies, Inc. Using computed facial feature points to position a product model relative to a model of a face
US10082682B2 (en) 2016-12-08 2018-09-25 Perfect Vision Technology (Hk) Ltd. Methods and systems for measuring human faces for fitting, selecting, and optimizing eyeglasses
WO2018191784A1 (en) * 2017-04-19 2018-10-25 SPEQS Limited Eyeglasses ordering system and digital interface therefor
US10777018B2 (en) 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
EP3410178A1 (de) 2017-06-01 2018-12-05 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
CN109583285B (zh) 2017-09-29 2023-03-07 阿里巴巴集团控股有限公司 对象识别方法
US10643383B2 (en) 2017-11-27 2020-05-05 Fotonation Limited Systems and methods for 3D facial modeling
US10321820B1 (en) 2017-12-21 2019-06-18 Facebook Technologies, Llc Measuring optical properties of an eyewear device
KR20200110771A (ko) * 2018-01-18 2020-09-25 삼성전자주식회사 증강 현실 콘텐츠 조정 방법 및 장치
US10501048B2 (en) 2018-01-19 2019-12-10 Ford Global Technologies, Llc Seatbelt buckling detection
US10825260B2 (en) 2019-01-04 2020-11-03 Jand, Inc. Virtual try-on systems and methods for spectacles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809638A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种基于移动终端的眼镜虚拟试戴方法和系统
CN109983501A (zh) * 2016-06-30 2019-07-05 试戴盒子公司 一种隐藏图像或视频中的对象的方法和相关的增强现实方法
CN109727097A (zh) * 2018-12-29 2019-05-07 上海堃承信息科技有限公司 一种配镜方法、装置与系统

Also Published As

Publication number Publication date
US11676347B2 (en) 2023-06-13
KR20230002738A (ko) 2023-01-05
CN115803750A (zh) 2023-03-14
EP4136563A1 (en) 2023-02-22
IL297252A (en) 2022-12-01
EP4136563A4 (en) 2024-03-20
US20210327148A1 (en) 2021-10-21
WO2021211374A1 (en) 2021-10-21
CA3179919A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
CN115803750B (zh) 使用参考框架的眼镜的虚拟试戴系统
US11783557B2 (en) Virtual try-on systems and methods for spectacles
US9990780B2 (en) Using computed facial feature points to position a product model relative to a model of a face
KR101821284B1 (ko) 커스텀 제품을 생성하기 위한 방법 및 시스템
US9245499B1 (en) Displaying glasses with recorded images
CN114846389A (zh) 用于眼镜的虚拟适配系统和方法
US9418378B2 (en) Method and system for trying out a product in relation to a real world environment
CN112509040A (zh) 对提供镜面反射和反射修改的表面进行基于图像的检测
US10685457B2 (en) Systems and methods for visualizing eyewear on a user
US10679587B2 (en) Display of supplemental information
Welivita et al. Virtual product try-on solution for e-commerce using mobile augmented reality
Cheng et al. Mixed Reality for Virtual Jewellery Fitting
Singh et al. AVATRY: Virtual Fitting Room Solution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant