CN114830162A - 用于情境化设备推荐的装置、方法和计算机可读存储介质 - Google Patents

用于情境化设备推荐的装置、方法和计算机可读存储介质 Download PDF

Info

Publication number
CN114830162A
CN114830162A CN202080087488.XA CN202080087488A CN114830162A CN 114830162 A CN114830162 A CN 114830162A CN 202080087488 A CN202080087488 A CN 202080087488A CN 114830162 A CN114830162 A CN 114830162A
Authority
CN
China
Prior art keywords
user
values
face
criterion
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080087488.XA
Other languages
English (en)
Inventor
P·阿里奥尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EssilorLuxottica SA
Original Assignee
Essilor International Compagnie Generale dOptique SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Essilor International Compagnie Generale dOptique SA filed Critical Essilor International Compagnie Generale dOptique SA
Publication of CN114830162A publication Critical patent/CN114830162A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00—Assembling; Repairing; Cleaning
    • G02C13/003—Measuring during assembly or fitting of spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0621—Item configuration or customization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/024—Methods of designing ophthalmic lenses
    • G02C7/027—Methods of designing ophthalmic lenses considering wearer's parameters

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Eyeglasses (AREA)

Abstract

本公开涉及一种用于向用户提供眼镜架对其面部的适合性的情境化评估的方法。具体地，本公开涉及一种方法，所述方法包括：接收描述所述用户面部的特征的用户数据；接收描述所述眼镜架的特征的设备数据；根据第一模型生成描述所述用户面部与所述眼镜架之间的兼容性的一组特定标准的值，所述第一模型被训练为将用户数据和设备数据与特定标准的值相关联；根据第二模型，基于所述一组特定标准的所生成值来生成全局标准的值，所述第二模型被训练为将所述特定标准的值与全局标准的值相关联；确定关于所述用户面部表征所述眼镜架的消息。

Description

用于情境化设备推荐的装置、方法和计算机可读存储介质
背景技术
技术领域
本公开涉及眼睛配戴物并且具体地涉及视觉设备与用户面部的匹配。
相关技术说明
在选择新的视觉设备或眼睛配戴物的过程中，用户经常需要进行自我审视，以确定他们脸上的新眼睛配戴物的美感。此外，当在多件眼睛配戴物之间做选择时，用户可能会发现很难确定哪件最有吸引力、最实用或最适合他们特定的面部骨骼结构和特征。与此同时，患者可能会纠结于其自己对脸上新眼睛配戴物的看法以及第三方(例如，朋友、家人、专业人士等)关于脸上新眼睛配戴物是否合适的假想看法。
如上所述，考虑到审美吸引力以及眼睛配戴物对正确视力的必要性，眼睛配戴物选择的任务可能是繁重的，没有有效的方法来自信地购买一套用户、用户的医生和用户的朋友一定会满意的眼睛配戴物。本公开提供了此问题的解决方案。
前述“背景”说明是为了总体上介绍本公开的上下文。发明人的工作(在本背景部分中所描述的程度上)、以及说明书中在申请之时可能不被认定为现有技术的方面，既没有明确地也没有隐含地承认是针对本发明的现有技术。
发明内容
本公开涉及一种用于情境化设备推荐的装置、方法和计算机可读存储介质。
根据实施例，本公开进一步涉及一种用于提供对用户面部上的眼镜架的情境评估的方法，所述方法包括：接收描述所述用户面部的特征的用户数据；接收描述所述眼镜架的特征的设备数据；根据第一模型，基于接收到的用户数据和接收到的设备数据来生成描述所述用户面部与所述眼镜架之间的兼容性的一组特定标准的值，所述第一模型被训练为将用户数据和设备数据与特定标准的值相关联；通过处理电路系统并根据第二模型，基于所述一组特定标准的所生成值来生成全局标准的值，所述第二模型被训练为将所述特定标准的值与全局标准的值相关联；确定关于所述用户面部表征所述眼镜架的消息，所述消息与所述全局标准的所生成值和所述一组特定标准的所生成值相关联；以及向所述用户输出所述消息。
根据实施例，本公开进一步涉及一种用于提供对用户面部上的眼镜架的情境评估的装置，所述装置包括处理电路系统，所述处理电路系统被配置为：接收描述所述用户面部的特征的用户数据；接收描述所述眼镜架的特征的设备数据；根据第一模型，基于接收到的用户数据和接收到的设备数据来确定描述所述用户面部与所述眼镜架之间的兼容性的一组特定标准的值，所述第一模型被训练为将用户数据和设备数据与特定标准的值相关联；根据第二模型，基于所述一组特定标准的所生成值来生成全局标准的值，所述第二模型被训练为将所述特定标准的值与全局标准的值相关联；确定关于所述用户面部表征所述眼镜架的消息，所述消息与所述全局标准的所生成值和所述一组特定标准的所生成值相关联；并且向所述用户输出所述消息。
根据实施例，本公开进一步涉及一种存储计算机可读指令的非暂态计算机可读存储介质，所述计算机可读指令在被计算机执行时使所述计算机执行用于提供对用户面部上的眼镜架的情境评估的方法，所述方法包括：接收描述所述用户面部的特征的用户数据；接收描述所述眼镜架的特征的设备数据；根据第一模型，基于接收到的用户数据和接收到的设备数据来生成描述所述用户面部与所述眼镜架之间的兼容性的一组特定标准的值，所述第一模型被训练为将用户数据和设备数据与特定标准的值相关联；根据第二模型，基于所述一组特定标准的所生成值来生成全局标准的值，所述第二模型被训练为将所述特定标准的值与全局标准的值相关联；确定关于所述用户面部表征所述眼镜架的消息，所述消息与所述全局标准的所生成值和所述一组特定标准的所生成值相关联；以及向所述用户输出所述消息。
前面的段落是作为一般性介绍提供的，而不旨在限制以下权利要求的范围。通过参考以下结合附图的详细说明，将最好地理解所描述的实施例以及进一步优点。
附图说明
将容易获得对本公开的更全面了解及其许多的伴随优点，因为这些优点通过参考以下详细说明、在结合附图考虑时将变得更好理解，在附图中：
图1是根据本公开的示例性实施例的配戴眼镜架的用户的图示；
图2是根据本公开的示例性实施例的用于提供对眼镜架的情境评估的方法的流程图；
图3A是根据本公开的示例性实施例的用于提供对眼镜架的情境评估的方法的流程图；
图3B是根据本公开的示例性实施例的用于提供对眼镜架的情境评估的方法的流程图；
图4A是根据本公开的示例性实施例的用户面部的图像的图示；
图4B是根据本公开的示例性实施例的眼镜架的图像的图示；
图4C是根据本公开的示例性实施例的配戴眼镜架的用户的图像的图示；
图5是根据本公开的示例性实施例的包括用户特征、设备特征和配戴设备的用户的对应图像的数据库的示意图；
图6A是根据本公开的示例性实施例的用于提供对眼镜架的情境评估的方法的方面的流程图；
图6B是根据本公开的示例性实施例的对眼睛护理专业人员进行的调查的图示；
图7A是根据本公开的示例性实施例的用于提供对眼镜架的情境评估的方法的方面的流程图；
图7B是根据本公开的示例性实施例的用于确定特定标准的度量的图示；
图7C是根据本公开的示例性实施例的用于确定特定标准的度量的图示；
图7D是根据本公开的示例性实施例的用于确定特定标准的度量的图示；
图7E是根据本公开的示例性实施例的用于确定特定标准的度量的图示；
图7F是根据本公开的示例性实施例的用于确定特定标准的度量的图示；
图7G是根据本公开的示例性实施例的用于确定特定标准的度量的图示；
图7H是根据本公开的示例性实施例的用于确定特定标准的度量的图示；
图7I是根据本公开的示例性实施例的用于确定特定标准的度量的图示；
图7J是根据本公开的示例性实施例的用于确定特定标准的度量的图示；
图7K是根据本公开的示例性实施例的用于确定特定标准的度量的图示；
图7L是根据本公开的示例性实施例的用于确定特定标准的度量的图示；
图8A是根据本公开的示例性实施例的对眼睛护理专业人员进行的调查的响应的图形表示；
图8B是根据本公开的示例性实施例的对眼睛护理专业人员进行的调查的估计响应的图形表示；
图9A是根据本公开的实施例的用于提供对眼镜架的情境评估的方法的方面的流程图；
图9B是根据本公开的实施例的用于提供对眼镜架的情境评估的方法的方面的决策树的流程图；
图10A是根据本公开的实施例的用于提供对眼镜架的情境评估的方法的方面的流程图；
图10B是根据本公开的实施例的用于提供对眼镜架的情境评估的方法的方面的带注释的决策树的流程图；
图11是根据本公开的示例性实施例的镜架适合性评估装置的硬件配置；以及
图12是用于在提供了其他设备数据时提供对设备数据的情境化评估的方法的方面的流程图。
具体实施方式
如本文所使用的术语“一个(a)”或“一个(an)”被定义为一个或多于一个。如本文所使用的术语“多个”被定义为两个或多于两个。如本文所使用的术语“另一个”被定义为至少第二个或更多。如本文所使用的术语“包括(including)”和/或“具有”被定义为“包括(comprising)”(即，开放式语言)。术语“视觉设备(visual equipment)”、“设备(quipment)”、“设备(equipments)”、“眼镜架(eyeglass frame)”、“眼镜架(eyeglassframes)”、“眼镜(eyeglass)”、“眼镜(eyeglasses)”和“视觉设备(visual equipments)”可以互换使用，以指具有镜架和镜片两者的装置。术语“视觉设备(visual equipment)”可以用于指单个视觉设备，而术语“视觉设备(visual equipments)”可以用于指多于一个视觉设备。在整个本文件中提及“一个实施例”、“某些实施例”、“实施例”、“实施方式”、“示例”或类似术语意味着结合实施例描述的具体特征、结构或特性包括在本公开的至少一个实施例中。类似地，术语“面部图像”和“人的面部图像”是可以互换使用的对应术语。因此，在整个说明书中这种短语的出现或在各个地方的出现不一定都指的是同一个实施例。另外，具体特征、结构或特性可以在一个或多个实施例中以任何适当的方式无限制地组合。
今天，寻求眼镜的患者、用户或消费者通常几乎没有关于眼科上合适的和美学上令人满意的指导。对一些患者或用户来说，文化趋势推动其决策。对其他患者或用户来说，朋友和家人的意见最重要。对于优先考虑符合人体工程学和视敏度的仍其他患者或用户来说，训练有素的眼睛护理专业人员(ECP)的意见是必要的。
目前，用户可以使用提供一些但不是所有上述特征的方法。例如，一种方法描述了决策树的实施方式，所述决策树用于将眼镜架与从个体面部的关键特征点检测到的形态特征进行匹配，所述匹配确定与个体最匹配的一副眼镜。在另一种方法中，可以使用用户问卷来将用户的风格偏好与可用眼镜架进行匹配。在任何一种情况下，并且与一般情况一样，这些方法为用户提供了特定副眼镜适合或不适合的知识。然而，这些方法不提供有关确定的背景。例如，尽管这些方法可能能够基于根据畅销排名等风格偏好向用户推荐眼镜架，但是推荐最终反映了单个‘最佳适合性’度量。虽然是基于眼镜架和用户的基本特征，但是单个‘最佳适合性’度量提供了眼镜架‘适合性’的过度简化并且未能向用户传达推荐的眼镜架具有‘最佳适合性’的原因。在某些情况下，过度简化可以是基于眼镜架的全局标记或特定标准的定量度量(例如，介于1与10之间)，将度量的解释留给ECP。以这种方式，虽然向用户提供了特定副眼镜适合或不适合的知识，但是这些方法不能向用户提供关于做出这种确定的原因(例如，根据其特定特征镜架适合或不适合的原因)的文本上下文。
美国专利申请公开号2017/169501描述了包括眼镜模型、用户面部模型和基于适合性评估矩阵的眼镜适合性评估模型的数据库。虽然提供了适合性输出，但是眼镜适合性评估模型在确定特定眼镜与用户面部的适合性时仅生成单个全局度量。
根据实施例，本公开描述了一种用于提供对用户面部上的眼镜架的情境评估的装置、方法和计算机可读存储介质。
在实施例中，本公开为由与眼镜相对于用户面部的合适性的全局或特定属性相关的标准所采用的可能值子集中的每一个提供不同文本描述的关联。
在实施例中，本公开包括用于确定眼镜与用户之间的适合性的自动诊断系统。自动诊断系统可以生成至少一个适合性度量值和解释眼镜适合或不适合用户面部的原因的相关联的文本描述。在示例中，至少一个适合性度量和相关联的文本描述可以基于用户的一张或多张照片、包括眼镜处方、年龄、性别等的用户信息、以及包括大小、颜色、材料等的设备特征。
在实施例中，本公开涉及一种用于根据配戴所述眼镜的所述用户的至少一张照片来提供对描述用户面部特征的用户数据的确定和对描述眼镜架特征的设备数据的确定的装置、方法和计算机可读存储介质。可以使用数字图像处理和其他图像处理方法来将用户特征与镜架特征分开。用户数据可以是用户面部的形态特征、结构特征和美学特征。设备数据可以是包括设备镜架的总宽度、设备镜架的各个方面的尺寸(例如，大小A、大小B、大小D等)、设备镜架顶部的垂直厚度、设备镜架在铰链层处的水平厚度、设备的颜色、设备的材料等的特征。可以用2D或3D相机或被配置为获取用户、眼睛配戴物等的图像的其他图像捕获装置产生用户面部的至少一张照片。可以根据所确定的用户数据和设备数据生成至少一个适合性度量值和解释眼镜适合或不适合用户面部的原因的相关联的文本描述。
根据示例性实施例，本公开描述了用于基于形态和结构特征(即，用户特征和设备特征)、眼科需求(即，视觉处方)和美学吸引力向用户呈现适合的眼镜选择的基于机器学习的镜架适合性评估装置(即，眼镜评估工具)。
根据示例性实施例，本公开包括一种用于基于以下各项进行设备推荐的方法：(1)用户特征、设备特征和配戴设备的位置数据，(2)与设备的适合性相关的一组特定和全局的标准值，(3)基于设备的适合性的全局分数、等级或接受度的全局标准，以及(4)基于特定适合性参数的分数、等级或接受度的特定标准，其中，全局标准可以从特定标准得出。
如上文所介绍的，本公开提供了具有文本上下文的眼镜推荐和评估，从而允许用户理解设备适合或不适合的原因。评估可以基于根据由基于机器学习的方法生成的模型确定的标准值，包括全局的和特定的。基于机器学习的方法中的每种方法都可以包括由ECP注释的数据集，所述注释为对应的用户特征和设备特征对的特定标准和全局标准中的每一个提供标签。
在实施例中，本公开可以提供仅由相关特定标准修改的全局标准。
在实施例中，本公开可以直接向用户提供全局标准、特定标准或文本信息。
在实施例中，可以基于ECP推荐来更新第一模型和第二模型。ECP将镜架模型或其几何特征与用户面部照片相关联并经由网络向中央服务器声明分数。如可以理解的是，网络可以是如因特网等公共网络，或是如LAN或WAN网络等专用网络，或其任何组合，并且还可以包括PSTN或ISDN子网络。网络还可以是有线的(如以太网网络)，或者可以是无线的(如蜂窝网络，包括EDGE、3G、4G和5G无线蜂窝系统)。无线网络还可以是WiFi、蓝牙或已知的任何其他无线通信形式。模型会实时更新并且其他ECP在确定眼镜与用户之间的适合性时会从更新中受益。
在实施例中，可以使用基于机器学习的方法从特定标准的值得出全局标准。基于机器学习的方法可以包括分类和回归树和/或特定标准模型的线性组合或非线性组合。
根据实施例，本公开提供了多标准ECP输入和基于机器学习的多个相关模型。这些基于机器学习的模型不仅限于全局标准，而是提供关于被认为与镜架或设备的整体‘适合性’最相关的特定标准的文本信息。例如，可以确定的是，设备不太适合用户并且这种不适合的主要驱动因素是设备镜架的厚度。因此，用户可以搜索具有厚度减小的镜架的类似相关设备，以便提高其整体‘适合性’。
根据实施例，本公开涉及一种用于在提供了其他设备数据时提供对设备数据的情境化评估的装置、方法和计算机可读存储介质。在图12中展示了这种方法。当在设备数据缺失的情况下呈现第一组设备数据时，本公开的方法将所述一组数据与包括至少一组设备数据的数据库中的一组数据进行比较。然后计算来自数据库中具有类似其他特征的镜架的缺失数据的平均值。例如，在已知镜架是塑料女性镜架的情况下可以计算所述镜架的平均厚度。数据库可以提供具有与所计算的缺失数据的平均值相等或接近的缺失数据值并且具有与第一组设备数据的其他值相等或接近的其他值的设备的建议。用户可以为每个数据单独选择缺失数据值或一个或几个其他数据的公差值。
根据实施例，本公开描述了一种用于提供对设备和用户面部的适合性的情境化评估的装置、方法和计算机可读存储介质。当呈现配戴设备的用户图像时，本公开的方法处理图像，使得可以为全局标准(例如通用适合性度量)提供有助于全局标准(即特定标准)的特征的上下文。换句话说，本文的方法可以确定设备和用户面部的良好匹配，然而，可以通过陈述设备和用户面部的良好匹配来限定推荐，因为设备的镜片中心之间的相对距离和瞳孔间距在美学上是合适的。或者，在实施例中，可以通过陈述设备和用户面部的良好匹配来限定推荐，因为镜片中心之间的距离小于瞳孔间距，用户的瞳孔从而被定位成更靠近设备的镜片的鼻部部件。
根据实施例，上述多标准ECP输入和基于机器学习的多个相关模型为情境化全局标准提供越来越稳健且准确的结果。
现在转到附图，图1是根据本公开的示例性实施例的配戴眼镜架的用户的图示。在示例中，图1的图示可以是本公开的方法的输入。由此可以确定用户的特征和设备的特征。本着这种精神，可以理解的是，本公开的方法的输入可以替代性地或另外地是用户面部的图像、设备的图像、或者先前根据相似的图像确定的用户特征数据和设备特征数据。
类似于图1的输入可以应用于如描述了本公开的方法的实施方式的图2中的本公开的方法。
图2是根据本公开的示例性实施例的用于提供对眼镜架的情境评估的方法的流程图。可以理解的是，方法200可以由镜架适合性评估装置执行，镜架适合性评估装置包括被配置为执行本文所描述的步骤的处理电路系统。将参考图11更详细地描述镜架适合性评估装置。
在方法200的步骤210处，可以接收用户数据。如参考图3A和图3B所讨论的，用户数据可以作为用户特征直接提供或者可以根据包含用户面部的图像确定。
在方法200的步骤220处，可以接收设备数据。如参考图3A和图3B所讨论的，设备数据可以作为设备特征直接提供或者可以根据包含设备的图像确定。
在方法200的步骤230处，可以通过将上述用户特征和设备特征应用于特定标准的基于机器学习的模型来生成特定标准的值。根据特定的形态、美学或视觉考虑，特定标准度量的值可以基于针对设备和用户面部的合适性的一组特定标准度量。在实施例中，特定标准可以是数值和连续量，如概率、量的组合、分数等。例如，特定标准可以定义用户的瞳孔间距。在实施例中，特定标准可以是可以由字母数字值定义的定性量。例如，定性量可以表示ECP对设备镜架宽度相对于用户面部宽度的评估。ECP然后可以决定相对宽度是(a)太宽，(b)可接受，还是(c)太窄。在另一个实例中，定性量可以表示ECP对设备镜架内用户眉毛的存在的评估。ECP然后可以决定(a)眉毛在镜架内是否可见，(b)眉毛定位是否可接受，或者(c)眉毛是否在镜架上方太高。这种示例仅仅表示与镜架适合性相关且可以由ECP评估的各种定性量。
在方法200的步骤240处，可以通过将生成的特定标准的值应用于全局标准的基于机器学习的模型来生成全局标准的值。在实施例中，全局标准的值可以进一步基于上文所定义的用户特征和设备特征。全局标准的值可以是指示设备对用户面部的全局合适性的数值或定性值。在实施例中，基于机器学习的模型可以用于根据生成的特定标准的值生成全局标准的值。基于机器学习的模型可以是由分类和回归树生成的决策树或者可以是特定标准的值的线性回归。
根据实施例，在步骤230和步骤240中的每一个中，可以根据基于来自ECP的输入生成的基于机器学习的方法来确定特定标准的值和全局标准的值。例如，基于机器学习的方法可以基于ECP评估和针对给定的一组穿戴设备图像的特定标准的值和全局标准的输入，如下文将描述的。
在方法200的步骤250处，可以评估在步骤230处生成的特定标准的值和在步骤240处生成的全局标准的值以确定表征适合性的消息。以这种方式，全局标准的值可以通过相关的特定标准的值进行情境化，从而提供全面的、基于文本和语言的输出作为缺乏意义的基于值的输出的替代方案。在实施例中，可以通过决策树执行对全局标准和特定标准的评估，其中，特定标准的值通知在决策树的分支末端找到的全局标准并对其进行情境化。全局标准(例如，“适合”、“不适合”)可以与形成全局标准基础的相关特定标准(例如“颜色不匹配”)一起提供。决策树可以是带注释的决策树并且包括定义不同语义文本模板的分叉，每个分叉或路径由特定标准的值中的评估定义并产生全局标准的值。然后可以使用由特定标准的特征情境化并由定义其路径的ECP通知的描述性术语来描述每个所得全局标准的值(如步骤260中所描述的)。在实施例中，所得文本描述可以包括分叉原因的文本翻译。将参考图10A和图10B进一步描述上文所描述的带注释的决策树。
在方法200的步骤260处，可以向用户输出在步骤250处确定的消息。在实施例中，可以将所确定的消息作为输出直接提供给用户。在另一个实施例中，可以根据自动自然语言生成工具来修改所确定的消息，以根据镜架适合性评估装置的偏好和习惯来产生更自然的消息。例如，修改可能导致以多种方式提供给定消息，以便在不同设备遵循树的相同分叉时不会显得多余和不诚实。在示例中，结果可以是文本消息的改写或特定标准的值对全局标准的值的不同情境化。代替通过设备相对于用户面部的尺寸来定义全局标准的值，可以根据设备相对于用户肤色的颜色来将全局标准的值定义为特定标准的值。在实施例中，自动自然语言生成工具可以考虑某些特定标准对全局标准的值的影响，使得当提供全局标准的值的替代人形解释时，文本上下文可能是有意义的。例如，设备的颜色和设备的尺寸可以是对全局标准的值具有同等影响的特定标准，并且因此可以由自动自然语言生成工具互换使用。
在实施例中，可以通过包括音频、视频、触觉等的多种方式向用户输出消息。在示例中，可以通过说话的方式向用户递送消息。
现在关注方法200的每个步骤，将参考图3A和图3B进一步详细地描述步骤210和步骤220。图3A和图3B各自是根据本公开的示例性实施例的用于提供对眼镜架的情境化评估的方法的流程图。
关于图3A，方法200的步骤210和方法200的步骤220是同时执行的并且各自都在分开的图像和/或数据上执行。例如，用户可以提供其面部图像并且希望请求对图像与来自设备数据库的所选设备之间的假设匹配的情境化评估。
因此，在方法201的步骤311处，可以在步骤312处从用户面部的用户图像或者从存储在用户特征数据库内的用户特征中提取用户特征。用户特征数据库可以包括与用户相关联的用户简档，其中，用户特征已经由用户输入用于存储和访问。用户特征可以是用户面部的形态特征、结构特征、视觉处方和美学特征。在方法201的步骤321处，可以在步骤322处从设备的设备图像或者从存储在设备特征数据库内的设备特征中提取设备特征。设备特征数据库可以包括与存储在在线库存中的多个设备相关联的设备特征，每组设备特征定义设备的结构特征、美学特征和视觉特征。替代性地，如所建议的，可以在步骤311和步骤321处从相应图像中提取用户特征和设备特征。
类似于图2的方法200，在步骤311和步骤321处提取的用户特征和设备特征可以在方法201的步骤331处应用于特定标准的模型。通过应用用户特征和设备特征上的模型，可以根据针对设备相对于用户面部的合适性的一组特定标准度量来生成特定标准度量的值。可以根据特定的形态、美学或视觉考虑来定义设备的合适性。在实施例中，特定标准可以是数值和连续量，如概率、量的组合、分数等。在实施例中，特定标准可以是可以由字母数字值定义的定性量。
类似于图2的方法200，在方法201的步骤331处确定的特定标准的值可以在方法201的步骤341处应用于全局标准的模型。所得全局标准的值可以是指示设备对用户面部的全局合适性的数值或定性值。在实施例中，基于机器学习的模型可以用于根据生成的特定标准的值生成全局标准的值。基于机器学习的模型可以是由分类和回归树生成的决策树或者可以是特定标准的值的线性回归。
在示例中，经由带注释的决策树已经生成了特定标准的值和全局标准的值，方法201可以返回到图2的方法200，其中，可以分别在步骤250和260处确定消息并将其输出给用户。
关于图3B，方法200的步骤210和方法200的步骤220是同时执行的并且各自都在反映配戴设备的用户面部的图像的图像和/或数据上执行。例如，用户可以提供其配戴设备的面部图像并且可能希望请求对其之间的‘适合性’的情境化评估。可以理解的是，当用户在零售店并且正在试戴各种设备时，或者当用户在线购物并且正在虚拟地‘试戴’各种设备时，这种情况可能是相关的。
因此，在方法201的步骤311处，可以在步骤302处从配戴设备的用户面部的用户图像提取用户特征。用户特征可以是用户面部的形态特征、结构特征和美学特征。在方法201的步骤321处，可以在步骤302处从配戴设备的用户面部的用户图像提取设备特征。设备特征可以定义设备的结构特征、美学特征和视觉特征。
类似于图2的方法200，在步骤311和步骤321处提取的用户特征和设备特征可以在方法201的步骤331处应用于特定标准的模型。通过应用针对用户特征和设备特征的模型，可以根据针对设备和用户面部的合适性的一组特定标准度量来生成特定标准度量的值。可以根据特定的形态、美学或视觉考虑来定义设备的合适性。在实施例中，特定标准可以是数值和连续量，如概率、量的组合、分数等。在实施例中，特定标准可以是可以由字母数字值定义的定性量。
类似于图2的方法200，在方法201的步骤331处确定的特定标准的值可以在方法201的步骤341处应用于全局标准的模型。所得全局标准的值可以是指示设备对用户面部的全局合适性的数值或定性值。在实施例中，基于机器学习的模型可以用于根据生成的特定标准的值生成全局标准的值。基于机器学习的模型可以是由分类和回归树生成的决策树或者可以是特定标准的值的线性回归。
在示例中，经由带注释的决策树已经生成了特定标准的值和全局标准的值，方法201可以返回到图2的方法200，其中，可以分别在步骤250和260处确定消息并将其输出给用户。
鉴于以上内容，图4A、图4B和图4C表示图2的方法200的可能输入。在示例中，用户可以独立于设备提供用户图像412。以这种方式，用户可以选择设备422的多个图像中的任何一个，这些图像可以被评估以提供对用户面部和设备的情境化评估。替代性地，或者作为虚拟‘试戴’，用户可以提供用户图像412和设备图像422作为配戴设备的用户的组合图像402。在上文所呈现的任何情况下，可以处理图像以便提取用户特征和设备特征。
以上描述集中在最终用户所体验的流程图上。在本公开的示例性实施例中，最终用户可以提供其配戴设备的面部的图像。为了允许这种操作，必须开发特定标准模型和全局标准模型。
参考图5，可以通过生成用户特征、设备特征和配戴设备的用户的对应图像的数据库来初步开发特定标准模型。为此，原始数据库A533可以包括多个数据集，所述多个数据集包括用户特征511、设备特征521和配戴设备的用户的对应图像502。配戴设备的用户的对应图像502可以是一个图像或多个图像。在实施例中，原始数据库A 533的多个数据集可以是足以生成特定标准的准确模型同时最小化计算负担的多个数据集。
根据示例性实施例，可以从配戴设备的用户的对应图像502、从没有设备的用户图像、从与用户相关联的形态数据等提取用户特征511。可以使用二维成像装置或三维成像装置来获取图像。
根据示例性实施例，可以从配戴设备的用户的对应图像502、从没有用户面部的设备图像、从与根据设备设计的三维渲染的设备相关联的结构数据、从通过使用镜架跟踪装置的测量获取的结构数据、或者从另一个来源提取设备特征521。可以使用二维成像装置或三维成像装置来获取图像。
根据示例性实施例，配戴设备的用户图像502可以是配戴设备的真实用户的图像、配戴虚拟‘试戴’设备的真实用户的图像、配戴虚拟‘试戴’设备的虚拟用户(即，化身)的图像等。根据上文所描述的技术，可以从中获取用户特征511和设备特征521。
返回到方法200，可以基于用户特征和设备特征与ECP协商开发特定标准模型和全局标准模型。特定标准模型和全局标准模型可以基于ECP对配戴设备的用户面部的图像的评估。如图6B所示，通过完成ECP调查，ECP可以根据与‘组合’图像的各个方面相关的一组特定标准以及根据全局标准来评估配戴设备的用户面部的图像。
作为ECP评估过程的概述，并且参考图6A，可以由多个ECP 634根据ECP调查来评估包括配戴设备的用户面部的图像602的原始数据集A 633。如图6B所示，ECP调查可以包括特定标准调查问题和全局标准调查问题。例如，调查可能包括以下特定标准：
特定标准1：提供关于设备相对于用户头部大小的宽度的反馈。高负分数指示设备宽度太小，而高正分数指示设备宽度太大。
特定标准2：提供关于瞳孔相对于设备/镜片形状的位置的反馈。高负分数指示瞳孔太靠近设备/镜片的鼻部，而高正分数指示瞳孔太靠近颞部部件。不包括在ECP调查中，但是应当注意的是，总体来说，瞳孔优选地稍微靠近鼻部部件。
特定标准3：提供关于眉毛外部部件相对于设备形状的水平位置的反馈。
特定标准4：提供关于眉毛相对于设备顶部方面的垂直位置的反馈。
特定标准5：提供关于设备底部方面相对于用户脸颊的垂直位置的反馈。
特定标准3、4和5可以在负值和正值的类似连续体上进行评估。
特定标准6：提供关于设备相对于用户鼻子宽度的鼻梁大小的反馈。高负分数指示鼻梁太窄，而高正分数指示鼻梁太宽。
与用户特征、设备特征和配戴设备的用户的对应图像的数据集相关联的每个ECP调查的结果可以与数据集一起存储在带注释的数据库A中，这将参考图7A进一步详细讨论。因此，每个ECP调查的结果有助于描述特定标准的值的模型和描述全局标准的值的模型，其中，模型基于ECP对用户面部和设备的建议组合的各个方面的评估。
在实施例中，每个ECP调查的结果可以用于为数学表达式、等式和不等式条件以及根据用户特征和设备特征定义特定标准模型和全局标准模型中的每一个的逻辑条件提供约束。可以使用基于机器学习的工具来获得这种表达式中的系数和参数，如将要讨论的。
例如，对于给定的一组特定标准(Sc1、Sc2、...、SCN)，这种表达式可以基于包括用户面部的颞部宽度、用户面部的蝶骨宽度、用户眼睑开口的重心的水平位置、用户眉毛的平均垂直位置、用户鼻子的长度等的用户特征以及包括设备镜架的总宽度、设备镜架的各个方面的尺寸(例如，大小A、大小B、大小D等)、设备镜架顶部方面的垂直厚度、设备镜架在铰链层处的水平厚度、设备的颜色、设备的材料等的设备特征。在与Sc1相关的一个表达式中，表达式可以写为
Sc1＝如果(颞部宽度-总设备宽度
＞20mm)则太小，如果(颞部宽度-总设备宽度
≤20mm并且颞部宽度-总设备宽度
≥-20mm)则可以，否则太长
在与Sc2相关的一个表达式中，表达式可以写为
Sc2＝如果(蝶骨宽度-(2A+D)
＞20mm)则太小，如果(蝶骨宽度-(2A+D)
≤20mm 并且蝶骨宽度-(2A+D)≥-20mm)则可以，
否则太长
其中，A表示‘大小A’，设备镜架的尺寸，并且B表示‘大小B’，设备镜架的尺寸。
在与Sc3相关的一个表达式中，表达式可以写为
Sc3＝如果(max(Y_眉毛)
-(设备镜架的Y顶部)＞10mm)
则眉毛在设备镜架上方太高，如果max(Y_眉毛)
-(设备镜架的Y顶部＜＝-5mm)则在镜架内可以观察到眉毛，否则可以
在上述示例中，可以通过基于机器学习的方法来确定定义例如太小、可以和太大之间的边界的阈值。可以根据所使用的答案等级来确定阈值。例如，答案等级可以是描述三种可能模式的文本仓或描述介于-5与+5之间的适合性等级的数字仓。在实施例中，可以通过应用于图6B所示的ECP调查结果的基于机器学习的方法来定义阈值。还可以理解的是，阈值可以依赖于特定标准之间的关系和相互作用，其中，例如Sc1可以影响Sc3。
替代性地，并且如参考图8A和图8B将更多描述的，也可以根据如应用于关于给定用户数据集的特定标准和全局标准的ECP调查的结果的统计方法或其他基于机器学习的方法来开发特定标准模型和全局标准模型。例如，这种统计方法可以包括线性判别分析。
为此，并且根据示例性实施例，ECP调查可以针对从原始数据库A 533获取的数据集。ECP调查可以包括配戴设备的用户的一系列图像502，并且在每个图像旁边，包括关于设备和人的面部的合适性的特定点的一系列问题。对于每个问题，可以为ECP提供有限数量的可能答案。在示例中，这些有限数量的可能答案可以是介于-5与+5之间的等级、介于0与10之间的等级，或者是一组N个项中的项的选择。下文描述在完成ECP调查期间如提交给ECP的示例性问题和答案。
问题1.相对于用户面部的宽度，如何评估设备的宽度？(a)太小，(b)可以，或(c)太大。
问题2.相对于设备的口径，如何评估用户的瞳孔？(a)太内部，(b)可以，或(c)太外部。
问题3.如何看待用户的眉毛外角相对于设备口径的位置？(a)太内部，(b)可以，或(c)太外部。
问题4.相对于用户的眉毛，如何评估设备镜架顶部的位置？(a)太低，(b)可以，或(c)太高。
问题5.相对于用户的脸颊，如何评估设备镜架底部的位置？(a)太低，(b)可以，或(c)太高。
问题6.相对于配戴者的鼻子，如何评估设备镜架的鼻梁？(a)太窄，(b)可以，或(c)太宽。
上述示例性问题提供了对在开发特定标准模型期间可以考虑的无数特征的介绍，如参考图7B至图7L将示出的。此外，尽管上文参考特定标准模型进行了描述，但是在开发全局标准模型时可以容易地实施类似的方法。
因此，参考图7A，现在将描述生成特定标准模型和全局标准模型的流程图。具体地，图7A描绘了向第一机器学习方法704提交带注释的数据库A 736的用户数据集，以便生成特定标准模型737。在实施例中，向第一机器学习方法704提交带注释的数据库A 736的用户数据集也可以生成全局标准模型747。
带注释的数据库A 736包括图6A所示的原始数据库A的用户特征711和设备特征721以及如图6B所示的获取的对应ECP调查结果735。然后可以向第一机器学习方法704提供带注释的数据库A 736的数据集。
根据实施例，第一机器学习方法704可以是用于确定表征多类对象或事件(包括神经网络等)或将其分开的特征的线性组合的线性判别分析或类似方法。
在示例中，其中，正在生成特定标准模型737，第一机器学习方法704可以是线性判别分析(LDA)，其中，第一机器学习方法704试图通过标识将ECP调查结果735与用户特征711和设备特征721相关联的统计定律来解释ECP调查结果735。例如，根据ECP调查结果735的LDA可以支持给出对应用户和设备处于给定问题i的状态a，b，c的概率(pa，pb，pc)i(i＝1，6)的定律。概率可以重写为(pa+pb+pc＝1，其中，0≤pa≤1，0≤pb≤1，并且0≤pc≤1)，其中，(pa，pb，pc)i的值描述了模型的特定标准。可以理解的是，类似方法可以用于确定全局标准模型。
已经将第一机器学习方法704应用于带注释的数据库A 736的用户数据集，第一机器学习方法704的输出可以视情况被理解为特定标准模型737或全局标准模型747。
图7B至图7L提供了对有助于特定标准模型和全局标准模型的用户特征和设备特征的代表性测量的图示。
图7B是根据本公开的示例性实施例的用户的颞部宽度值的代表性测量的图示。
图7C是根据本公开的示例性实施例的用户的内眼角距离值的代表性测量的图示。
图7D是根据本公开的示例性实施例的用户外眼角距离值的代表性测量的图示。
图7E是根据本公开的示例性实施例的用户的鼻子长度值的代表性测量的图示。
图7F是根据本公开的示例性实施例的基于作为形态特征的基础和原始的用户鼻子长度值的代表性测量的图示。
图7G是根据本公开的示例性实施例的用户右眉毛的最大高度值的代表性测量的图示。
图7H是根据本公开的示例性实施例的用户右眉毛的平均高度值的代表性测量的图示。
图7I是根据本公开的示例性实施例的用户的内侧眼角之间的距离值的代表性测量的图示。
图7J是根据本公开的示例性实施例的用户的侧眼角之间的距离值的代表性测量的图示。
图7K是根据本公开的示例性实施例的用户眼睛的左瞳孔距离和右瞳孔距离的值的代表性测量的图示。
图7L是根据本公开的示例性实施例的用户的内侧眼角之间的距离值的代表性测量的图示。
如上文所介绍的，可以根据第一机器学习方法或示例中的LDA的实施方式来定义ECP调查结果、用户特征与设备特征之间的关系。因此，当应用于包括用户特征和设备特征的未知用户数据集时，LDA训练将确保其准确分类。因此，图8A是根据本公开的示例性实施例的对要被用作训练数据的ECP调查的响应的图形表示。
根据实施例，可以鉴于来自ECP调查的特定问题，如“相对于用户面部的宽度，如何评估设备的宽度？”来理解图8A。对问题的响应可以用数字表征为(0)太小，(1)可以，或(2)太大。图8A表明了对被认为是训练数据的问题的响应。由数字指示的每个响应表示对问题的评估，因为所述每个响应涉及具有对应设备的用户的图像。水平轴线是第一判别轴线(LD1)并且垂直轴线是第二判别轴线(LD2)。每个都是用于模型的变量的线性组合。在图8A的示例中，线性组合可以写为LD1＝0.5291134*大小A+0.4516208*大小D-0.1110664*颞部宽度-0.1571796*铰链厚度-0.0956928*蝶骨宽度和LD2＝0.05257000*大小A+0.64085819*大小D+0.12367100*颞部宽度-0.09174694*铰链厚度-0.15042168*蝶骨宽度，其中，如图7B至图7L所描述的来定义‘大小A’、‘大小D’、‘颞部宽度’、‘铰链厚度’和‘蝶骨宽度’。
如图8A所示并且如由上述表达式定义的LD1和LD2提供了调查问题的答案之间的最大间隔：(0)太小，(1)可以，以及(3)太大。
已经根据ECP调查结果训练了LDA并且标识了最能将其响应分开的LD1和LD2的表达式，LDA可以应用于未分类的用户特征和设备特征。因此，图8B是根据本公开的示例性实施例的对眼睛护理专业人员进行的调查的估计响应的图形表示。如在图8B中，LDA提供了设备镜架被分类为对于用户面部来说(0)太小，(1)可以，或(2)太大的条件概率。图8B中表明的数据反映了最大条件概率。
现在参考图9A的流程图，上文所描述的特定标准模型和全局标准模型可以应用于用户数据集的新数据库的上下文中，以便生成全局标准与特定标准之间的关系。图9A的流程图的输出可以是由特定标准填充的决策树并且决策树的每个分支以全局标准结束，使得全局标准可以由填充决策树的相同分支的特定标准的值解释。
具体地，可以向特定标准模型937和全局标准模型947提交来自具有与原始数据库A和带注释的数据库A的结构类似的结构的原始数据库B 943的用户数据集。然后可以向第二机器学习方法905提供特定标准模型937和全局标准模型947中的每一个的输出，以便生成决策树944。决策树944可以反映由第二机器学习方法905确定的特定标准模型937的输出与全局标准模型947的输出之间的关系。在实施例中，第二机器学习方法905可以是分类和回归树。例如，如果每个特定标准只有几个分立模式(例如，“太小”、“可以”、“太大”)，则可以实施分类树。在另一个实例中，如果每个标准可以由连续体(例如，“-10到+10”)描述，则可以实施回归树。
图9B是根据特定标准模型和全局标准模型的输出确定并应用于第二机器学习方法的示例性决策树。可以理解的是，决策树944的每个分支可以产生全局标准的值942，其中，全局标准的值942由填充决策树944的相同分支的特定标准的值932限定。
现在参考图10A，图9A和图9B中生成的决策树可以被进一步处理，以便提供关于设备相对于用户面部的适合性的文本上下文。为此，由图9A的第二机器学习方法生成的决策树1044可以由ECP注释，ECP注释1045从而对决策树1044进行情境化并生成带注释的决策树1046，如图10B所示。
换句话说，虽然现有方法可以提供位于一至十的等级的全局标准的值，一是差适合性并且十是良好适合性，但是本公开提供了机制，可以通过所述机制根据基于被评估的用户面部和设备生成的特定标准的值来限定全局标准的值。
在实施例中，并且如在图10B中，可以根据ECP意见来注释如图9B中的决策树，从而得到带注释的决策树1046。因此，带注释的决策树1046的每个分支可以包括基于填充相同分支的特定标准的值1032的全局标准的值1042的文本上下文。例如，如由ECP注释的‘文本2’1048可以是“对于您相对窄的面部来说，镜架宽度有一点大”，从而在镜架和用户的特定特征的上下文中提供镜架适合性评估。在另一个实例中，如由ECP注释的“文本3”1049可以是“这个镜架宽度适合您，但是透过它看到您的眼睛有点偏离中心”。类似地，这种注释提供了镜架适合性评估以及关于用户特征相对于镜架的位置的上下文。
在实施例中，并且再次参考图2的方法200，带注释的决策树1046可以提供情境化评估作为适合性消息。然后，可以向用户输出适合性消息以提供镜架适合性评估，如先前所描述的。
根据实施例，本公开的方法200允许用户理解设备如何适合其面部及其原因。为此，用户可以提供配戴设备(即眼镜架)的自身图像，并且可以从中计算出用户特征和设备特征。然后，可以将用户特征和设备特征应用于上文开发的特定标准模型以确定特定标准的值。将特定标准的值应用于图10B的带注释的决策树可以允许确定全局适合性标准，其中，带注释的决策树的路径以适合性消息的形式向用户提供上下文。
现在参考图11，图11是根据本公开的示例性实施例的镜架适合性评估装置的硬件描述。
在图11中，镜架适合性评估装置包括执行上文所描述的过程的CPU 1185。镜架适合性评估装置可以是通用计算机或特定的专用机器。在一个实施例中，当处理器1185被编程为执行视觉设备选择(并且具体地，参考以上公开讨论的任何过程)时，镜架适合性评估装置变成特定的专用机器。
替代性地或另外地，如本领域普通技术人员将认识到的，CPU1185可以在FPGA、ASIC、PLD上或使用分立逻辑电路实施。进一步地，CPU 1185可以被实施为并行协同工作的多个处理器，以执行上文所描述的本发明过程的指令。
镜架适合性评估装置还包括如Intel以太网PRO网络接口卡等网络控制器1188，以用于与网络1199接口连接。如可以理解的是，网络1199可以是如因特网等公共网络，或是如LAN或WAN网络等专用网络，或其任何组合，并且还可以包括PSTN或ISDN子网络。网络1199还可以是有线的(如以太网网络)，或者可以是无线的(如蜂窝网络，包括EDGE、3G和4G无线蜂窝系统)。无线网络还可以是WiFi、蓝牙或已知的任何其他无线通信形式。
镜架适合性评估装置进一步包括如用于与显示器1190(如监视器)接口连接的图形卡或图形适配器等显示控制器1189。通用I/O接口1191与键盘和/或鼠标1192、以及在显示器1190上或与之分开的触控屏面板1193接口连接。通用I/O接口1191还连接到各种外围设备1194，包括打印机和扫描仪。在本公开的实施例中，外围设备1194可以包括2D或3D相机，或者被配置为获取用户、眼睛配戴物等的图像的其他图像捕获装置。
声音控制器1195也设置在镜架适合性评估装置中，以与扬声器/麦克风1196接口连接，从而提供声音和/或音乐。
通用存储控制器1197将存储介质磁盘1187与通信总线1198连接以将镜架适合性评估装置的所有部件互连，所述通信总线可以是ISA、EISA、VESA、PCI等。在此为简洁起见，省略了对显示器1190、键盘和/或鼠标1192、以及显示控制器1189、存储控制器1197、网络控制器1188、声音控制器1195和通用I/O接口1191的一般特征和功能的描述，因为这些特征是已知的。
在本公开的上下文中描述的示例性电路元件可以用其他元件代替，并且以与本文提供的示例不同的方式构造。此外，被配置为执行本文所描述的特征的电路系统可以在多个电路单元(例如，芯片)中实施，或者这些特征可以被组合在单个芯片组上的电路系统中。
本文所描述的功能和特征也可以由系统的各种分布式部件来执行。例如，一个或多个处理器可以执行这些系统功能，其中，处理器分布在用网络通信的多个部件上。除了包括各种人机交互装置和通信装置(例如，显示监视器、智能电话、平板计算机、个人数字助理(PDA))之外，分布式部件还可以包括可以共享处理的一个或多个客户端和服务器机器。网络可以是如LAN或WAN等专用网络，或者可以是如因特网等公共网络。可以经由直接用户输入来接收对系统的输入，并且可以实时或作为批处理远程接收。另外地，可以在与所描述的模块或硬件不同的模块或硬件上执行一些实施方式。因此，其他实施方式在可以要求保护的范围内。
图12是用于在提供了其他设备数据时提供对设备数据的情境化评估的方法的流程图。当在设备数据缺失的情况下呈现第一组设备数据时，将所述一组数据与包括至少一组设备数据的数据库中的一组数据进行比较。然后计算来自数据库中具有类似其他特征的镜架的缺失数据的平均值。数据库然后提供具有与所计算的缺失数据的平均值相等或接近的缺失数据值并且具有与第一组设备数据的其他值相等或接近的其他值的设备的建议。
显然，根据以上教导，许多修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，本发明可以不同于本文具体描述的方式实施。
本公开的实施例也可以如以下括号中所述。
(1)一种用于提供对用户面部上的眼镜架的情境评估的方法，所述方法包括：接收描述所述用户面部的特征的用户数据；接收描述所述眼镜架的特征的设备数据；根据第一模型，基于接收到的用户数据和接收到的设备数据来生成描述所述用户面部与所述眼镜架之间的兼容性的一组特定标准的值，所述第一模型被训练为将用户数据和设备数据与特定标准的值相关联；通过处理电路系统并根据第二模型，基于所述一组特定标准的所生成值来生成全局标准的值，所述第二模型被训练为将所述特定标准的值与全局标准的值相关联；确定关于所述用户面部表征所述眼镜架的消息，所述消息与所述全局标准的所生成值和所述一组特定标准的所生成值相关联；以及向所述用户输出所述消息。
(2)如(1)所述的方法，其中，所述输出通过将自然语言生成器应用于所确定的消息来向所述用户输出所述消息。
(3)如(1)或(2)所述的方法，其中，所述接收到的用户数据基于所述用户面部的图像。
(4)如(1)至(3)中任一项所述的方法，其中，所述接收到的设备数据基于所述眼镜架的图像。
(5)如(1)至(4)中任一项所述的方法，其中，所述第一模型是通过将第一机器学习应用于包括用户数据、设备数据和配戴眼镜架的用户面部的图像的数据库来生成的，所述数据库中的所述用户数据和所述设备数据与所述数据库中配戴眼镜架的用户面部的所述图像中的相应图像相关联，所述第一机器学习被训练为将所述数据库中的所述用户数据和所述设备数据与特定标准的参考值和全局标准的参考值相关联。
(6)如(1)至(5)中任一项所述的方法，其中，所述特定标准的参考值和所述全局标准的参考值是通过对所述数据库中配戴眼镜架的面部的所述图像进行人类评估来确定的。
(7)如(1)至(6)中任一项所述的方法，其中，所述人类评估由眼睛护理专业人员进行。
(8)如(1)至(7)中任一项所述的方法，其中，所述第一机器学习是线性判别分析。
(9)如(1)至(8)中任一项所述的方法，其中，所述第二模型是通过将第二机器学习应用于特定标准的参考值和全局标准的参考值来生成的，所述第二机器学习被训练为将所述特定标准的参考值与所述全局标准的参考值相关联。
(10)如(1)至(9)中任一项所述的方法，其中，所述第二模型是决策树。
(11)一种用于提供对用户面部上的眼镜架的情境评估的装置，所述装置包括处理电路系统，所述处理电路系统被配置为：接收描述所述用户面部的特征的用户数据；接收描述所述眼镜架的特征的设备数据；根据第一模型，基于接收到的用户数据和接收到的设备数据来确定描述所述用户面部与所述眼镜架之间的兼容性的一组特定标准的值，所述第一模型被训练为将用户数据和设备数据与特定标准的值相关联；根据第二模型，基于所述一组特定标准的所生成值来生成全局标准的值，所述第二模型被训练为将所述特定标准的值与全局标准的值相关联；确定关于所述用户面部表征所述眼镜架的消息，所述消息与所述全局标准的所生成值和所述一组特定标准的所生成值相关联；并且向所述用户输出所述消息。
(12)如(11)所述的装置，其中，所述第一模型是通过将第一机器学习应用于包括用户数据、设备数据和配戴眼镜架的用户面部的图像的数据库来生成的，所述数据库中的所述用户数据和所述设备数据与所述数据库中配戴眼镜架的用户面部的所述图像中的相应图像相关联，所述第一机器学习被训练为将所述数据库中的所述用户数据和所述设备数据与特定标准的参考值和全局标准的参考值相关联。
(13)如(11)或(12)所述的装置，其中，所述特定标准的参考值和所述全局标准的参考值是通过对所述数据库中配戴眼镜架的面部的所述图像进行人类评估来确定的，所述人类评估由眼睛护理专业人员进行。
(14)如(11)至(13)中任一项所述的装置，其中，所述第二模型是通过将第二机器学习应用于特定标准的参考值和全局标准的参考值来生成的，所述第二机器学习被训练为将所述特定标准的参考值与所述全局标准的参考值相关联。
(15)一种存储计算机可读指令的非暂态计算机可读存储介质，所述计算机可读指令在被计算机执行时使所述计算机执行用于提供对用户面部上的眼镜架的情境评估的方法，所述方法包括：接收描述所述用户面部的特征的用户数据；接收描述所述眼镜架的特征的设备数据；根据第一模型，基于接收到的用户数据和接收到的设备数据来生成描述所述用户面部与所述眼镜架之间的兼容性的一组特定标准的值，所述第一模型被训练为将用户数据和设备数据与特定标准的值相关联；根据第二模型，基于所述一组特定标准的所生成值来生成全局标准的值，所述第二模型被训练为将所述特定标准的值与全局标准的值相关联；确定关于所述用户面部表征所述眼镜架的消息，所述消息与所述全局标准的所生成值和所述一组特定标准的所生成值相关联；以及向所述用户输出所述消息。
因此，前述讨论仅公开和描述了本发明的示例性实施例。如本领域技术人员将理解的，在不脱离本发明的精神或基本特征的情况下，本发明可以被实施为其他具体形式。因此，本发明的公开旨在是说明性的，而不是限制本发明以及其他权利要求的范围。本公开(包括本文中的教导的任何容易辨别的变型)部分地限定了前述权利要求术语的范围，使得没有创造性的主题致力于公众。

Claims (15)

1.一种用于提供对用户面部上的眼镜架的情境评估的方法，所述方法包括：
接收描述所述用户面部的特征的用户数据；
接收描述所述眼镜架的特征的设备数据；
根据第一模型，基于接收到的用户数据和接收到的设备数据来生成描述所述用户面部与所述眼镜架之间的兼容性的一组特定标准的值，所述第一模型被训练为将用户数据和设备数据与特定标准的值相关联；
通过处理电路系统并根据第二模型，基于所述一组特定标准的所生成值来生成全局标准的值，所述第二模型被训练为将所述特定标准的值与全局标准的值相关联；
确定关于所述用户面部表征所述眼镜架的消息，所述消息与所述全局标准的所生成值和所述一组特定标准的所生成值相关联；以及
向所述用户输出所述消息。
2.如权利要求1所述的方法，其中，所述输出通过将自然语言生成器应用于所确定的消息来向所述用户输出所述消息。
3.如权利要求1所述的方法，其中，所述接收到的用户数据基于所述用户面部的图像。
4.如权利要求1所述的方法，其中，所述接收到的设备数据基于所述眼镜架的图像。
5.如权利要求1所述的方法，其中，所述第一模型是通过将第一机器学习应用于包括用户数据、设备数据和配戴眼镜架的用户面部的图像的数据库来生成的，所述数据库中的所述用户数据和所述设备数据与所述数据库中配戴眼镜架的用户面部的所述图像中的相应图像相关联，所述第一机器学习被训练为将所述数据库中的所述用户数据和所述设备数据与特定标准的参考值和全局标准的参考值相关联。
6.如权利要求5所述的方法，其中，所述特定标准的参考值和所述全局标准的参考值是通过对所述数据库中配戴眼镜架的面部的所述图像进行人类评估来确定的。
7.如权利要求6所述的方法，其中，所述人类评估由眼睛护理专业人员进行。
8.如权利要求5所述的方法，其中，所述第一机器学习是线性判别分析。
9.如权利要求1所述的方法，其中，所述第二模型是通过以下方式来生成的：
将第二机器学习应用于特定标准的参考值和全局标准的参考值，所述第二机器学习被训练为将所述特定标准的参考值与所述全局标准的参考值相关联。
10.如权利要求6所述的方法，其中，所述第二模型是决策树。
11.一种用于提供对用户面部上的眼镜架的情境评估的装置，所述装置包括：
处理电路系统，所述处理电路系统被配置为：
接收描述所述用户面部的特征的用户数据，
接收描述所述眼镜架的特征的设备数据，
根据第一模型，基于接收到的用户数据和接收到的设备数据来确定描述所述用户面部与所述眼镜架之间的兼容性的一组特定标准的值，所述第一模型被训练为将用户数据和设备数据与特定标准的值相关联，
根据第二模型，基于所述一组特定标准的所生成值来生成全局标准的值，所述第二模型被训练为将所述特定标准的值与全局标准的值相关联，
确定关于所述用户面部表征所述眼镜架的消息，所述消息与所述全局标准的所生成值和所述一组特定标准的所生成值相关联，并且向所述用户输出所述消息。
12.如权利要求11所述的装置，其中，所述第一模型是通过以下方式来生成的：
将第一机器学习应用于包括用户数据、设备数据和配戴眼镜架的用户面部的图像的数据库，所述数据库中的所述用户数据和所述设备数据与所述数据库中配戴眼镜架的用户面部的所述图像的相应图像相关联，所述第一机器学习被训练为将所述数据库中的所述用户数据和所述设备数据与特定标准的参考值和全局标准的参考值相关联。
13.如权利要求12所述的装置，其中，所述特定标准的参考值和所述全局标准的参考值是通过对所述数据库中配戴眼镜架的面部的所述图像进行人类评估来确定的，所述人类评估由眼睛护理专业人员进行。
14.如权利要求11所述的装置，其中，所述第二模型是通过以下方式来生成的：
将第二机器学习应用于特定标准的参考值和全局标准的参考值，所述第二机器学习被训练为将所述特定标准的参考值与所述全局标准的参考值相关联。
15.一种存储计算机可读指令的非暂态计算机可读存储介质，所述计算机可读指令在被计算机执行时使所述计算机执行用于提供对用户面部上的眼镜架的情境评估的方法，所述方法包括：
接收描述所述用户面部的特征的用户数据；
接收描述所述眼镜架的特征的设备数据；
根据第一模型，基于接收到的用户数据和接收到的设备数据来生成描述所述用户面部与所述眼镜架之间的兼容性的一组特定标准的值，所述第一模型被训练为将用户数据和设备数据与特定标准的值相关联；
根据第二模型，基于所述一组特定标准的所生成值来生成全局标准的值，所述第二模型被训练为将所述特定标准的值与全局标准的值相关联；
确定关于所述用户面部表征所述眼镜架的消息，所述消息与所述全局标准的所生成值和所述一组特定标准的所生成值相关联；以及
向所述用户输出所述消息。
CN202080087488.XA 2019-12-17 2020-12-16 用于情境化设备推荐的装置、方法和计算机可读存储介质 Pending CN114830162A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19306661.0 2019-12-17
EP19306661 2019-12-17
PCT/EP2020/086448 WO2021122768A1 (en) 2019-12-17 2020-12-16 Apparatus, method, and computer-readable storage medium for contextualized equipment recommendation

Publications (1)

Publication Number Publication Date
CN114830162A true CN114830162A (zh) 2022-07-29

Family

ID=69185180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080087488.XA Pending CN114830162A (zh) 2019-12-17 2020-12-16 用于情境化设备推荐的装置、方法和计算机可读存储介质

Country Status (6)

Country Link
US (1) US20230010378A1 (zh)
EP (1) EP4078498A1 (zh)
KR (1) KR20220114550A (zh)
CN (1) CN114830162A (zh)
BR (1) BR112022010944A2 (zh)
WO (1) WO2021122768A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6921768B2 (ja) * 2018-02-21 2021-08-18 株式会社東芝 仮想試着システム、仮想試着方法、仮想試着プログラム、および情報処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101821284B1 (ko) * 2013-08-22 2018-01-23 비스포크, 인코포레이티드 커스텀 제품을 생성하기 위한 방법 및 시스템
WO2016109884A1 (en) * 2015-01-05 2016-07-14 Valorbec Limited Partnership Automated recommendation and virtualization systems and methods for e-commerce
CN105469072B (zh) 2015-12-14 2019-05-31 依视路国际公司 一种评估眼镜佩戴者和其所佩戴眼镜搭配度的方法和系统
US20170330264A1 (en) * 2016-05-10 2017-11-16 YOURO, Inc. Methods, apparatuses and systems for computer vision and deep learning
US11157985B2 (en) * 2017-11-29 2021-10-26 Ditto Technologies, Inc. Recommendation system, method and computer program product based on a user's physical features

Also Published As

Publication number Publication date
WO2021122768A1 (en) 2021-06-24
US20230010378A1 (en) 2023-01-12
KR20220114550A (ko) 2022-08-17
EP4078498A1 (en) 2022-10-26
BR112022010944A2 (pt) 2022-09-06

Similar Documents

Publication Publication Date Title
US11914226B2 (en) Method and system to create custom, user-specific eyewear
KR20220049600A (ko) 안경용 가상 피팅 시스템 및 방법
US20090119154A1 (en) Determining a demographic characteristic based on computational user-health testing of a user interaction with advertiser-specified content
US20090118593A1 (en) Determining a demographic characteristic based on computational user-health testing of a user interaction with advertiser-specified content
US20120164613A1 (en) Determining a demographic characteristic based on computational user-health testing of a user interaction with advertiser-specified content
KR102649211B1 (ko) 기계 학습에 기반한 시각 장비 선택을 위한 장치
US20230010378A1 (en) Apparatus, method, and computer-readable storage medium for contextualized equipment recommendation
EP4113197A1 (en) A method and system for automatically evaluating the relevance of the design of an eyeglasses frame
KR20240009440A (ko) 컴퓨터-기반 신체 부위 분석 방법들 및 시스템들
KR20240023725A (ko) 도플갱어 패션 상품 추천 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination