CN115668279A - 用于确定面部图像部分的感知吸引力的基于口腔护理的数字成像系统和方法 - Google Patents

Abstract

本发明提供了用于确定数字图像中所描绘的至少一个人的面部图像部分的感知吸引力的基于口腔护理的计算机实现的成像系统和方法。该方法具有以下步骤：a)获得包括至少一个人的至少一个口腔特征的数字图像，其中该数字图像包括该至少一个人的面部图像部分，该面部图像部分既具有如由该数字图像的像素数据所定义的正面属性，也具有由其所定义的负面属性；b)分析该面部图像部分；c)基于所获得数字图像中的所分析面部图像部分，生成指示该面部图像部分的感知吸引力的吸引力得分；d)基于该吸引力得分，进一步生成标识该面部图像部分中的至少一个区域的图像描述；以及e)向用户呈现该图像描述。

Description

用于确定面部图像部分的感知吸引力的基于口腔护理的数字 成像系统和方法

技术领域

本发明涉及基于口腔护理的数字成像系统和方法，用于处理与图像数据相关联的信息，诸如数字图像、由数字图像序列（也称为帧）定义的视频。特别地，本发明涉及用于确定数字图像中所描绘的至少一个人的面部图像部分的感知吸引力的系统和方法。

背景技术

旨在不断改善身体及其对社会关系的影响的身体实践越来越普及，正如此所见，吸引力在人类对自我形象的专注方面起着核心作用。视觉提示会强烈地影响一个人在自我感知时或被一群人感知时的吸引力。一种视觉提示是人的面貌，并且用于描述该面貌的概念会影响一个人是否被感知为相对于另一个人或一群人具有吸引力。然而，吸引力具有很高的主观性。消费者还寻求通过使用各种消费品来提高其吸引力，这些消费品包括但不限于口腔护理产品、牙齿护理品、或皮肤护理产品等。然而，在事先对于吸引力的影响要素一无所知的情况下，要提高吸引力是很困难的。

美国专利6,571,003B1描述了一种设备和方法，用于显示与多项皮肤缺陷相关联的信息，特别地用于确定并显示与人类皮肤的数字图像相关联的一个或多个分析区域和缺陷区域的位置，并且用于确定这些缺陷的严重程度，以及显示缺陷区域的改善和/或恶化。美国专利8,073,212描述了用于分析牙龈组织的方法和产品。美国专利10,405,754描述了使用数字图像进行标准化口腔健康评估和评分。

因此，需要一种确定人的外貌的感知吸引力的方法，该方法然后可以提高人采取措施或做出明智决定以提高其面貌的感知吸引力的能力。

发明内容

本发明涉及一种计算机实现方法，用于确定数字图像中所描绘的至少一个人的面部图像部分的感知吸引力，该方法包括以下步骤：

a)获得至少一个人的数字图像，其中该数字图像包括至少一个人的面部图像部分，其中该面部图像部分既具有正面属性也具有负面属性；

b)分析该面部图像部分；

c)基于所分析的面部图像部分，生成指示面部图像部分的感知吸引力的吸引力得分；

d)基于该吸引力得分，进一步生成标识所述面部图像部分中的至少一个区域的图像描述；以及

e)向用户呈现该图像描述。

附图说明

应当理解，前述一般说明和以下的详细说明均描述了各种实施方案，并且旨在提供用于了解受权利要求书保护的主题的属性和特征的概述或框架。附图用来提供对所述各种实施方案的进一步理解，并且被并入本说明书中并构成本说明书的一部分。附图示出了本文所述的各种实施方案，并且连同说明书一起用来解释受权利要求书保护的主题的原理和操作。

图1是示出了根据本发明的用于通过网络来确定面部图像部分的感知吸引力的示例性系统的示图；

图2是示出了根据本发明的与检测面部图像部分相关联的示例性功能框图的示图；

图3是示出了根据本发明的与生成图像描述相关联的示例性功能框图的示图；

图4是示出了根据本发明的与呈现图像描述相关联的示例性功能框图的示图；

图5是示出了根据本发明的用于确定面部图像部分的感知吸引力的方法的流程图；

图6A是示出了根据本发明的向用户呈现多项图像描述而用于将数字图像中的笑容的感知吸引力可视化的示例性图形用户界面的屏幕截图；

图6B是根据本发明的图6A的数字图像，该数字图像包括在数字图像中所描绘的面部图像部分上以热图形式呈现的图像描述；

图7是示出了根据本发明的系统的软件架构的示意图，该系统使用示例性卷积神经网络（CNN），该卷积神经网络用于对所检测的面部图像部分进行过滤，并且生成图像描述符以确定根据本发明的面部图像部分的感知吸引力；

图8A和图8B是图10的CNN中的示例性过滤器可视化的概念性图示，示出了根据本发明的一个或多个过滤特征图中所描绘的感兴趣特征；

图9A至图9C是示出了根据本发明的获取面部图像部分的数字图像的方法的一系列处理流程图；

图10是示出了根据本发明的获得所检测的面部图像部分的数字数据图像的方法的流程图；

图11A、图11B和图11C是示出了根据本发明的生成面部图像部分的图像描述的方法的一系列处理流程图；

图12A示出了数字图像，其示出了根据本发明的面部图像部分的图像描述向用户的示例性呈现；

图12B是图12A的屏幕截图中所描绘的面部图像部分的详细视图；

图13A示出了数字图像，其示出了根据本发明的面部图像部分的图像描述向用户的示例性呈现的变型；

图13B是在图13A的屏幕截图中所描绘的面部图像部分的详细视图；

图14是示出了根据本发明的提供产品推荐以提高面部图像部分的感知吸引力的方法的流程图；

图15A至图15D是屏幕截图，每幅图均示出了根据本发明的用于确定面部图像部分的感知吸引力的示例性用户界面；

图15E是示出了用于显示产品推荐的细节的示例性用户界面的屏幕截图，该产品推荐用于处理定义了面部图像部分的面部特征，以便提高面部图像部分的感知吸引力；

图16是示出了根据本发明的展示定制口腔护理方案在以下方面的功效的方法的流程图：提高数字图像中所描绘的至少一个人的一个或多个口腔特征的感知吸引力；

图17A和图17B是示出了图16的方法的一系列处理流程图；

图18是示出了根据本发明的展示了口腔护理产品的功效的方法的流程图；

图19A是示出了在用产品推荐进行处理前的预定时段开始之时人的面部图像部分的至少一部分的数字图像，其中按照根据本发明的方法来确定人的面部图像部分的感知吸引力；

图19B是示出了使用产品推荐1周之后人的面部图像部分的至少一部分的数字图像；

图19C是示出了使用产品推荐2周之后人的面部图像部分的至少一部分的数字图像；

图20是示出了根据本发明的对数字图像中所描绘的至少一个人的一个或多个口腔特征的面部图像部分的感知吸引力的提高进行跟踪的方法的流程图；并且

图21是示出了针对多个人的面部图像部分的图像描述的示例性呈现的屏幕截图。

具体实施方式

本发明涉及：用于确定数字图像中的面部图像部分的感知吸引力的方法、设备和系统；以及用于将感知吸引力可视化的图形用户界面。面部图像部分是属于人的，并且可以包括一个或多个面部特征、面部表情、或它们的组合。面部特征可以包括鼻子、嘴、眼睛、面部皮肤、牙齿、牙龈。面部表情可以是笑容。

如本文所述，面部图像部分的感知吸引力提供了多方位的益处，即，感知吸引力既提供了看起来很健康的视觉面部特征（下文称为“气色很好的面部特征”），也提供了看起来有问题或看起来比气色很好的面部特征欠佳的视觉面部特征。特别地，感知吸引力受到数字图像中所描绘的面部图像部分中存在的正面属性和负面属性的影响。正面属性可包括牙齿洁白度、牙龈的粉红度、牙齿表面的光滑度、或者牙齿或牙龈的正面外观。负面属性可包括牙齿色斑、牙龈发红、或牙龈肿胀等。

在详细描述本发明之前，定义了以下术语，并且未定义的术语应被赋予相关领域的技术人员所理解的它们的普通含义。

如本文所用，“感知吸引力”意指：数字图像中所描绘的人的面部图像部分如一群人（以下称为“人群”）所感知的对该人群而言的吸引性。人群可包括专业人员、行业专家、消费者、或他们的组合。感知吸引力可以包括但不限于：对具有数字图像中所描绘的面部图像部分的人的喜爱或喜欢；在人的面部图像部分包括该人想去做点什么以提高该面部图像部分的吸引力的背景下，该面部图像部分的吸引力。

如本文所用，“人”意指数字图像中所描绘的人类。

如本文所用，“面部图像部分”意指基于对所描绘之人的一个面部或人们的多个面部进行检测的任何概念、数字图像或图像数字部分，包括但不限于一个或多个面部特征、一个或多个口腔特征、面部表情、或它们的组合，例如，如通过像素数据或一个或多个对应数字图像的其他像素所确定或所检测。

如本文所用，“面部特征”是面部元素，并且可包括但不限于牙齿、牙龈、鼻子、嘴、眼睛、面部皮肤，包括诸如通过像素数据或一个或多个对应数字图像的其他像素所确定或所检测的特征。

如本文所用，“面部表情”是面部皮肤下的肌肉的一种或多种运动或位置，并且可包括但不限于笑容。

如本文所用，“笑容”由牙齿和/或牙龈组成，但不包括嘴唇，包括例如如通过像素数据或一个或多个对应数字图像的其他像素所确定或所检测。

如本文所用，“口腔特征”是嘴的元素，并且可包括但不限于口腔软组织、牙龈、牙齿，包括例如如通过像素数据或一个或多个对应数字图像的其他像素所确定或所检测。

如本文所用，“吸引力得分（吸引力指数）”意指概率值，该概率值基于面部图像部分（例如牙齿）的正面属性和负面属性而指示数字图像中所描绘的人的面部图像部分对一群人（下文称为“人群”）的吸引程度。可通过模型来确定该概率值，该模型由通过训练数据集所训练的机器学习系统来构造，其中该训练数据集包括(i)包括正面（白色区域）属性和负面（着色区域）属性的面部图像部分（例如牙齿）的多张模拟图像；以及(ii)基于正面属性和负面属性的相关联的类别定义（例如面部着色）。该概率值可以是指示以下项的数值：基于数字图像中的面部图像部分的正面属性和负面属性，本文系统（下文将吸引力模型作为机器学习系统的示例进行描述）所计算的数字图像中所描绘的面部图像部分的感知吸引力。

吸引力模型可以基于训练数据，该训练数据通过以下方式而由原始消费者选择数据所获得：经由分层贝叶斯（HB）估计，估计八个属性的主要效果和有限交互项的局部价值效用。然后，可以由所选属性级别中的局部价值效用的总和来计算针对任何特定训练图像的吸引力得分。

如本文所用，“属性”意指面部图像部分的可测量特性。

如本文所用，“美容牙科属性”意指对口腔区域提供口腔健康效果或影响其外观和/或感觉的所有美容牙科属性。美容牙齿属性的一些非限制性示例可包括牙龈发炎/发红、牙龈紧实、牙龈出血、牙龈敏感、黄度、明度、前表面着色、相邻牙齿之间的邻间（IP）着色、边缘着色（牙龈线周围）、不透明度、光泽度。

“卷积神经网络”是一种前馈人工神经网络的类型，其中各个神经元被覆盖使得它们对视觉领域中的重叠区域作出响应。

如本文所用，“口腔护理产品”是指一种包括口腔护理活性物质并且调节和/或改善美容牙齿属性状况的产品。口腔护理产品可包括但不限于牙膏、漱口水、牙线、或美白牙贴等。

本文使用的“数字图像”是指由成像系统中的像素（包括（但不限于）标准RGB等）并且在不同照明条件和/或模式下获得的图像下形成的数字图像。数字图像的非限制性示例包括彩色图像（RGB）、单色图像、视频、多光谱图像、高光谱图像等。非限制性光条件包括白光、蓝光、UV光、IR光、处于特定波长的光，诸如发射100nm至1000nm、300nm至700nm、400nm至700nm或上述上限和下限的不同组合或以上列出的范围内的任何整数的组合的光的光源。数字图像可以是单张照片或一系列帧中定义了视频的单个帧。

如本文所用，“图像获得装置”是指被配置用于获得图像的装置，包括但不限于数字相机、照片扫描仪、能够存储数字图像的计算机可读存储介质、以及包括拍照能力的任何电子装置。

如本文所用，“用户”是指至少使用本文所提供特征的人，包括例如装置用户、产品用户和系统用户等。

如本文所用，“模块”可以与软件、硬件、或它们的任何组合相关联。在一些实现方式中，模块的一个或多个功能、任务和/或操作可以由软件例程、软件进程、硬件、和/或它们的任何组合来实行或执行。

如本文所用，“热图”是指数字图像中所含的图像数据的图形表示，其中为了标识图像描述中待呈现的分析目标，将数字图像中所描绘的面部图像部分的各部分在视觉上进行突出显示。例如，如果分析目标是面部图像部分的负面属性，则将面部图像部分中包括了该负面属性的区域进行可视化。

如本文所用，“处理”是指提供产品推荐、定制指令、使用推荐产品以提高数字图像中所描绘的对象的面部图像部分的感知吸引力。对象是人。

在以下描述中，所述系统是系统10，用于确定数字图像51中所描绘的人的笑容521的感知吸引力。因此，所述设备14是用于确定人的笑容521的感知吸引力的设备14，并且也描述了一种系统，用于提供产品推荐以提高数字图像中所描绘的人的笑容521的感知吸引力。因此，笑容521的正面属性和负面属性涉及如上文所述的美容牙齿属性，即对口腔区域提供口腔健康效果或影响其外观和/或感觉的所有美容牙齿属性。然而，可以设想，该设备和该方法可以被配置用于各种应用，以确定其他面部图像部分的感知吸引力，其中该面部图像部分是一个或多个面部特征，包括但不限于鼻子、皮肤、嘴唇、眼睛、它们的组合。

系统

图1是示出了根据本发明的用于确定数字图像51中所描绘的人的面部图像部分52的感知吸引力的系统10的示意图。在示例性实施方案中，系统10是基于云的系统，该系统诸如（例如）通过包括图像获得装置18和显示器（未示出）的便携式电子装置12而被配置用于任何地方。便携式电子装置12可以连接到设备14，用于生成图形用户界面以在显示器上显示，该图形用户界面用于通过网络100而将面部图像部分的感知吸引力可视化。然而，可以设想，系统10可以被配置为独立系统。还可设想，便携式电子装置12可以是触敏显示器。

系统10可包括网络100，该网络可体现为广域网（诸如移动电话网络、公共交换电话网络、卫星网络、互联网等）、局域网（诸如无线保真度、Wi-Max、ZigBee^™、Bluetooth^™等）和/或其他形式的联网功能。耦合到网络100的是：便携式电子装置12；和设备14，用于生成图形用户界面30（见图2A）以在显示器上显示，该图形用户界面用于将感知吸引力可视化。设备14位于远程并通过网络100连接到便携式电子装置12。网络100可用于从便携式电子装置12获取数字图像，并且将数字图像传输到设备14，以用于下文参照图7所述的根据本发明的方法200中。输入装置12a可耦合到便携式电子装置12或与该便携式电子装置成一体，以用于接收用于起动处理器14b的用户输入。便携式电子装置12可以包括输出装置12b，用于呈现数字图像51中所描绘的面部图像部分52的图像描述53。输入装置12a可包括（但不限于）鼠标、触摸屏显示器等。输出装置12b可以包括但不限于触摸屏显示器、非触摸屏显示器、打印机、音频输出装置（诸如扬声器）。

便携式电子装置12可以是移动电话、平板计算机、膝上型计算机、个人数字助理和/或被配置为捕获、存储和/或传递诸如数字照片的数字图像的其他计算装置。因此，便携式电子装置12可以包括：图像获得装置18，用于获得图像，诸如与装置12成一体的相机；和输出装置12b，用于显示图像。便携式电子装置12还可被配置为经由网络100与其他计算装置通信。设备14可以包括非暂态计算机可读存储介质14a（下文称为“存储介质”），其存储了图像获得逻辑144a、图像分析逻辑144b和图形用户界面（下文称为“GUI”）逻辑144c。存储介质14a可包括随机存取存储器（诸如SRAM、DRAM等）、只读存储器（ROM）、寄存器和/或其他形式的计算存储硬件。图像获得逻辑144a、图像分析逻辑144b和GUI逻辑144c定义了计算机可执行指令。处理器14b耦合到存储介质14a，其中处理器14b被配置为基于计算机可执行指令来实现根据本发明的方法200，用于确定数字图像51中所描绘的一个或多人的面部图像部分的感知吸引力，如下文参照图2至图4所述以及参照图5的流程图所述。

图2是示出了根据本发明的面部图像部分预处理模块40的示例性功能框图的示图，该模块包含图像获得逻辑144a，用于获得包括面部图像部分52的数字图像51。预处理模块40可以包括：第一预处理子模块40A，用于检测面部图像部分52；和第二预处理子模块40B，用于检测定义了面部图像部分52的一个或多个特征。

图3是示出了根据本发明的包含图像分析逻辑144b的吸引力模型模块42的示例性功能框图的示图，该图像分析逻辑用于分析数字图像51中所描绘的人的面部图像部分52的正面属性和负面属性，生成吸引力得分57和图像描述53。具体地，吸引力模型模块42可以包括：第一吸引力子模块42A，用于生成指示面部图像部分52的感知吸引力的吸引力得分57；和第二吸引力子模块42B，用于生成图像描述53。

图4是示出了根据本发明的包含用于呈现图像描述53的GUI逻辑144c的可视化模块44的示例性功能框图的示图。可视化模块44可以包括：第一可视化子模块44A，用于呈现吸引力得分57；第二可视化子模块44B，用于将图像描述53呈现为热图；和第三可视化子模块44C，用于将图像描述53呈现为替代文本531。

面部图像部分预处理模块40、吸引力模型模块42、或可视化模块44可以部分地或整体地实现为软件、硬件、或它们的任何组合。在一些情况下，吸引力模型模块42可以部分地或整体地实现为在一个或多个计算装置或计算系统上运行的软件，诸如在服务器计算系统或客户机计算系统上运行的软件。例如，吸引力模型模块42或其至少一部分可以实现为以下项或在以下项之内实现：在客户机计算系统（诸如图1的便携式电子装置12）上运行的移动应用（例如APP）、程序或小应用等。计算系统可以与内容服务器通信，该内容服务器被配置为存储所获得的一张数字图像或所获得的多张数字图像。模块40、42、44均可以使用包括一个或多个服务器（诸如网络服务器或云服务器）的一个或多个计算装置或系统来实现。具体地，处理器14b被配置为基于计算机可执行指令来实现根据本发明的方法200，用于确定数字图像51中所描绘的一个或多人的面部图像部分的感知吸引力，如下文参照图5的流程图所述。

系统和方法

因此，下文参考图5，将根据本发明的方法200的步骤202、204、206、208、210、212、214描述为用于执行每个步骤的各个过程。还可将每个过程描述为子例程，即，按照根据本发明的方法200执行对应步骤的一连串程序指令。

当起动了处理器14b时，处理器14b致使例如在步骤202中经由图像获得逻辑144a获得该对象的面部的至少一部分的第一数字图像51。第一数字图像51可以是牙齿图像。面部图像部分52是由如图6B所示的牙齿和牙龈的组合所定义的笑容521，并且该笑容包括正面属性和负面属性。在步骤204中，为了估计感兴趣特征，处理器14b使用经训练的学习机来分析面部图像部分52。

在步骤206中，针对面部图像部分52，生成吸引力得分57。

方法200还可包括：在步骤208中，基于吸引力得分57，生成包括面部图像部分52的图像描述53；并且在步骤210中，将图像描述53呈现给用户以确定面部图像部分52的感知吸引力。具体地，呈现图像描述53可以包括以下中的一项：将数字图像51中的图像描述53显示为替代文本，将数字图像51中的图像描述53显示为热图，提供图像描述53以用于以可听的方式呈现给用户，以及它们的组合。

通过生成用户（消费者）所提供的数字图像中所描绘的面部图像部分的吸引力得分57，基于吸引力得分，进一步生成图像描述53，并且将图像描述53呈现给消费者，用户和/或消费者可以获得与面部图像部分52有关的信息，该信息影响着面部图像部分52的感知吸引力。应当理解，方法200也可适用于其他面部图像部分（诸如面部皮肤）的图像处理方面的应用。

人机用户界面

本发明也涉及一种人机用户界面（下文称为“用户界面”），用于确定数字图像51中的面部图像部分52的感知吸引力。该用户界面可以是便携式电子设备上的图形用户界面，包括具有输入装置和图像获得装置18的触摸屏显示器/显示器。该用户界面可以包括触摸屏显示器的第一区域，其显示了对象面部的至少一部分的第一数字图像，第一数字图像包括从图像获得装置18所获得的面部图像部分以及插在第一数字图像上的第二数字图像，第二数字图像具有该对象面部的至少一部分、所显示的面部图像部分、以及针对所显示的面部图像部分的所显示的图像描述。该用户界面还可以包括与第一区域不同的触摸屏显示器的第二区域，第二区域显示了用于接收用户输入的可选择的图标，其中如果用户激活了该可选择的图标，则在触摸屏显示器上，显示至少一个产品推荐项目的图像以提高面部图像部分的感知吸引力。

用于确定感知吸引力的方法200可以应用于各种不同的应用中，包括但不限于提供产品推荐，向消费者提供个性化的产品使用说明，产品功效的可视化，以及在使用所推荐的产品之后，监测在提高面部图像部分的感知吸引力方面的进展。尽管下文所述的以下示例性应用涉及作为面部图像部分的具体示例的口腔特征，并且此类口腔特征包括牙齿、牙龈以及它们的组合，但是应当理解，该方法可适用于其他面部特征。

图6A是示出了根据本发明的示例性图形用户界面30的屏幕截图，该用户界面向用户呈现了数字图像51中的人的面部图像部分52的图像描述53，用于确定面部图像部分52的感知吸引力。

数字图像51可以包括面部图像部分52，处理器14b已经对该面部图像部分进行了编程，以确定对该面部图像部分的感知吸引力，并且在此由预处理模块40，通过处理器14b来检测面部图像部分52（下文称为“所检测的面部图像部分52”）。面部图像部分52可以包括一个或多个口腔特征、一个或多个面部表情、或它们的组合。口腔特征可包括嘴、牙齿、牙龈、或口腔中的任何特征。面部表情可以包括笑容。

存在对所检测的面部图像部分52的图像描述53、以及设置在图形用户界面30中的可选输入屏幕对象54。

图像描述53可以包括：替代文本531，显示在图形用户界面30中；热图532，显示在数字图像51上，并且标识面部图像部分52中包括面部图像部分52的负面属性的至少一个区域（下文称为“标识区域”）；或替代文本531和热图532的组合。具体地，替代文本531包括指示面部图像部分52中的标识区域对面部图像部分52的感知吸引力的影响的描述。例如，热图532可显示具有不同缺陷的牙齿部分，这些缺陷需要不同的对应口腔护理处理。例如，热图532可以包括一个或多个在与数字图像51中所描绘的人相关联的牙齿图像中突出显示的感兴趣区域。

可选输入屏幕对象54可以包括文本标签，该文本标签包括对可选输入屏幕对象54的特征的描述。可选输入屏幕对象54可以包括文本标签，该文本标签描述了用于处理对面部图像部分52有关附加信息的请求的方向，例如，该文本标签可以包括与前进到不同用户界面相关的描述，该不同用户界面涉及一种用于提供产品推荐以提高感知吸引力的方法。

如图6A所示，可以提高牙齿上的标识区域的洁白度，因此，该描述可以涉及理解用于提高牙齿上的标识区域的洁白度的解决方案，从而提高所检测的面部图像部分52的感知吸引力。

图6B是具有热图532的图6A的数字图像51。参考图6B，所检测的面部图像部分52是由口腔特征、牙齿和牙龈的组合所定义的笑容521。笑容521包括如下所述的正面属性和负面属性。具体地，笑容521的至少一部分由第一口腔特征521A和第二口腔特征521B所定义。

第一口腔特征521A可以是第一牙齿，并且第二口腔特征521B可以是位于面部图像部分52的区域的不同部分中的第二牙齿。第一口腔特征521A包括在牙齿图像中突出显示的热图532的突出显示的感兴趣区域533，由此指示负面口腔属性（黄度）。另一方面，第二口腔特征521B不包括牙齿图像中突出显示的热图532的突出显示的感兴趣区域，从而指示正面口腔属性（洁白度）。

图7是示出了被配置用于实现基于卷积神经网络（CNN）模型的方法200的示例性系统架构80的示意图。图9A和图9B是图8的CNN模型中的示例性过滤器可视化的概念性图示，示出了根据本发明的一个或多个过滤特征图中所描绘的感兴趣特征。

在以下描述中，CNN模型被描述为用于实现根据本发明的方法和系统的机器学习算法的示例，特别是深度学习算法。深度学习算法牵涉到构建更大且更复杂的神经网络，并且如下所述，本发明涉及通过标记模拟数据（诸如数字图像）的非常大的数据集所训练的模型进行分析。因此，可用于实现根据本发明的方法的其他深度学习算法可包括但不限于递归神经网络（RNN）、长期短期记忆网络（LSTM）、堆栈式自动编码器、深度玻尔兹曼机（DBM）、深度信念网络（DBN）。

图7示出了CNN模型的系统架构80、构成该CNN模型的CNN组件、以及用于执行根据本发明的方法200的每个CNN组件之间的交换。一般而言，CNN模型能够通过可允许堆栈的神经层来提取视觉特征的分层结构，这些可允许堆栈的神经层配备有实现卷积核的感受野，这些卷积核将主要视觉特征识别为图像分量的复杂视觉特征。换句话说，CNN模型的每一层提取了表示原始刺激的丰富信息。参考图7，CNN模型的系统架构80包括通过CNN交换而可操作地连接的CNN组件，这些CNN交换经安排以生成吸引力得分57，CNN组件的细节及其相应功能描述于下表1。

表1

在连接了每个上述CNN组件的每次CNN交换中所执行的动作描述于下表2，并且分析步骤204和生成步骤206的顺序是根据如图7所示的CNN交换方向。

表2

参考编号	CNN交换功能	CNN组件之间交换的动作/信息
			801	采样	对数字图像的一个或多个部分进行采样，以在第一层81中创建一个或多个特征图
802	线性修正单元	非线性函数
			803	线性修正单元	非线性函数
804	线性修正单元	非线性函数
			805	得分损失操作	无吸引力得分
806	镜像线性修正单元	非线性负函数
			807	镜像线性修正单元	非线性负函数
808	镜像线性修正单元	非线性负函数
			809	线性修正单元	非线性函数
810	镜像线性修正单元	非线性负函数
			811	1×1卷积。内核：3×1×1×1	特征图到热图的转换

如图7所示，分析可以包括在第一交换90中过滤数字图像51，以获得包括与面部图像部分52相关联的感兴趣特征的一个或多个过滤特征图，并且对这些感兴趣特征进行分析。图8A示出了具有正面属性的第一过滤特征图X，并且图8B示出了具有负面属性的第二过滤特征图Y。正面属性可包括牙齿洁白度、牙龈的粉红度、牙齿表面的光滑度、或者牙齿或牙龈的正面外观。负面属性可包括牙齿色斑、牙龈发红、或牙龈肿胀等。

如图8A和图8B所示，感兴趣的第一特征和第二特征是不同的。具体地，参考图7以及图8A和图8B，可以基于与第一过滤特征图（层Y）中的第一感兴趣特征相关联的第一组特点以及与第二过滤特征图（层Y）中的第二感兴趣特征相关联的第二组特点，生成吸引力得分57。参考图8A，第一感兴趣特征可以包括第一多个口腔特征，包括位于口腔上部的牙龈和牙齿。参考图8B，第二感兴趣特征可以包括第二多个口腔特征，包括位于口腔下部的牙龈和牙齿。

该方法还可以包括：生成指示第二感兴趣特征的异常输出85，第二感兴趣特征包括负面属性，这些负面属性负面地影响了第一感兴趣特征的状况。

获得数字图像

参考示出了如何获得数字图像51的一系列处理流程图的图9A、图9B和图9C，描述了根据本发明的方法200的获得数字图像步骤202。图10是获得与步骤202对应的数字图像51的过程300的流程图。

图9A示出了人的面部的输入图像50a。输入图像50a可以由用户例如使用便携式电子装置12的相机18来拍摄。输入图像50a也可以通过机器学习和计算机视觉技术进行进一步处理，以自动检测出人的面部和/或面部图像部分。例如，方法300可以包括面部检测模块，该面部检测模块采用Dlib面部检测库来检测输入图像50a中所描绘的面部，并且绘制界定了输入图像50a中所检测的面部的第一检测器框55。如何应用Dlib面部检测库来找到面部界标以检测数字图像中的面部的示例可以在以下公开的参考文献中找到，即：D. E. King. Dlib-ml: A machine learning toolkit. J. Mach. Learning Research, 10: 1755–1758, 2009。

图9B示出了使用图9A的检测器框55来裁剪输入图像50a以获得编辑图像50b的步骤302，作为根据本发明的面部图像部分52的示例，该编辑图像包括包含人的笑容的面部的至少一部分。第二预处理子模块40B可以是特征检测模块，其被配置为检测定义了面部图像部分52（笑容）的面部特征，诸如牙齿和/或牙龈，并且绘制界定了面部图像部分52的第二检测器框。在步骤306中并且如图9C所示，可以使用第二检测器框来进一步裁剪编辑图像50b以获得数字图像51。

生成图像描述

参照图11A、图11B和图11C描述了根据本发明生成图像描述53。

图11A示出了数字图像51，其包括在分析之前，数字图像51中所描绘的面部图像部分52。可以根据获得数字图像的方法300来裁剪数字图像51。图11B示出了第二数字图像51b，其包括作为覆盖了数字图像50的热图532而可视地呈现的图像描述53。

将数字图像51中的图像描述53显示为热图532可以包括生成热图532，其中生成热图包括将层120B覆盖到包括面部图像部分的数字图像52的至少一部分上，其中层120B是像素图，该像素图标识包括所述分析的负面属性中的至少一个属性的至少一个区域。

具体地，热图532将正面属性可视化为第二层120A，并且将负面属性可视化为数字图像51中所描绘的面部图像部分52中的至少一个区域中的层120B。图11C示出了包括具有热图532的面部图像部分52的第三数字图像51c，其中层120B仅覆盖到面部图像部分52上，以仅描绘面部图像部分52中存在的负面属性。尽管以上描述仅涉及对面部图像部分52中存在的负面属性的描绘，但应当理解，热图532可以被配置为使层120A仅覆盖到面部图像部分52上，以描绘面部图像部分52中存在的正面属性，如第三数字图像51c所示。

参考图12A、图12B，图像描述53可以呈现为牙齿上的颜色区域130，以指示用于提高人的笑容（面部图像部分52）的感知吸引力的区域。可替换地，参考图13A、图13B，该图像描述可以以彩色边界线131的形式呈现，该彩色边界线框住了牙齿上的区域，以指示用于提高人的笑容的感知吸引力的区域。

产品推荐

图14是示出了用于提供产品推荐以提高数字图像51中所描绘的面部图像部分52的感知吸引力的方法400的流程图。图15A至图15E是屏幕截图，每幅图均示出了根据本发明的彼此协作以提供产品推荐的示例性用户界面。尽管将图15A至图15E描述为响应于前述用户界面而按序提供的一系列用户界面，但是应当理解，图15A至图15E的用户界面可以按多种方式进行编程，以定义整个用户界面而用于根据如上所述的根据本发明的方法来提供产品推荐。优选地，图15A至图15E的所有用户界面都定义了根据本发明的用于提供产品推荐以提高感知吸引力的示例性用户界面。

参考图14，该方法包括：在步骤402中，传输至少一个人的数字图像，其中该数字图像包括该至少一个人的面部图像部分，其中该面部图像部分既具有正面属性也具有负面属性。

在步骤404中，接收图像描述，其中该图像描述标识面部图像部分中的至少一个区域，该至少一个区域包括使用方法200所分析的负面属性中的至少一个负面属性。在步骤406中，呈现图像描述。在步骤408中，向用户呈现产品推荐以提高所分析的正面和/或负面属性中的至少一者的感知吸引力。

图15A是用户界面160A的屏幕截图，用于根据步骤402，将人的面部的输入图像50a传输到图1的设备14。用户界面160A可显示第一文本对象161，其中第一文本对象161可包括任何可用于描述关于以下项的信息的术语和/或短语：根据本发明的用于确定人的面部图像部分的感知吸引力的方法。在示例性实施方案中，第一文本对象161可包括：用户界面160A中所描绘的文本，该文本涉及将人的面部图像部分52的感知吸引力与一群人进行比较的方法；或反问，即“你是否具有迷人的笑容

”具体地，第一文本对象161可包括用于广告（例如与面部图像部分52相关的问题）中以吸引消费者的广告装置。输入图像50a可以由用户捕获，并且（例如）使用移动电话，通过用户界面160上所显示的可选择的图标162，将输入图像50a作为自拍图像传输到设备14。

图15B是向用户显示了第二文本对象163的用户界面160B的屏幕截图，第二文本对象指示方法400的状态。参考图15C，用户界面160C显示了替代文本531，该替代文本指示在步骤404中获得的吸引力得分57。图像描述53还可包括用户界面160D中所显示的替代文本531a，其中替代文本531a与关于吸引力得分的信息相关联。替代文本531a可以是吸引力总分，诸如（例如）根据基于吸引力得分的数学公式所计算出的总分值。

用户界面160C还显示了可选输入图标164，用于如图15D所示，发送以下请求：在步骤406中，以热图532的形式，呈现图像描述53。参考图15D，用户界面160D类似于图6A的用户界面30，并且经示出，以示出一系列形成了上述方法的一部分的用户界面序列。

正在进行确定的面部图像部分52是数字图像51中所描绘的人的笑容，并且因此图15E的用户界面170中所示的产品推荐是用于提高该笑容的感知吸引力的口腔护理产品172。

图像描述53可包括与下述口腔护理信息相关的替代文本531：

1)更仔细刷洗以及/多注意热图中所指示的感兴趣区域（“感兴趣区域”）

2)在感兴趣区域中，洁白没有得到优化

3)感兴趣区域不够白

4)感兴趣区域是刷牙期间用牙刷难以接近的嘴角（下文称为“刷牙死角”）

5)感兴趣区域是需要更仔细刷洗的刷牙死角。

定制口腔护理方案功效的可视化

本发明也涉及一种向用户展示定制口腔护理方案的功效的方法，并且该方法可由牙科专业人员用于为需要处理但不能前往牙科专业人员所在的牙科诊所的用户进行远程口腔护理咨询。图16是示出了根据本发明的展示定制口腔护理方案在以下方面的功效的方法500的流程图：提高数字图像中所描绘的至少一个人的一个或多个口腔特征的感知吸引力。定制口腔护理方案可包括：提供刷牙指导；以及/或者提供与刷牙指导结合使用的口腔护理产品推荐。方法500可用于分析一个或多个口腔特征（例如牙齿和/或牙龈）的每周图像，以将牙齿上的色斑区域可视化。

由于临床方法的专业特异性，将口腔护理方案的临床测量功效转化为消费者相关的益处，这通常很具挑战性，并且因此消费者发现难以比较/记住“前后”状态。因此，通过一种提供了图像描述来解释口腔特征的“前后”状态并使图像“可讲话”和可共享的方法，将口腔护理方案和/或口腔护理产品功效的进展可视化，这很重要。

根据方法500，在刷牙受监督时，用户可以接收具有产品使用说明的个性化口腔护理咨询、以及根据该方法所分析的他们牙齿的图片。方法500的使用可以包括若干关键益处：

•第一数字图像60示出了要注意的区域—着色区域以亮粉色标记（如图17A所示）。

•对于牙科专业人员来说，提供口腔护理诸如刷牙指导更为方便。

•对用户来说，易于在家中使用。

方法500可以包括以下步骤：

a)在用定制口腔护理方案或口腔护理产品进行处理之前，确定502第一数字图像60中的人的面部图像部分的感知吸引力（参见图17A）；

b)获得504第一数字图像中所描绘的人的面部图像部分的第二数字图像61，其中第二数字图像包括人的面部图像部分，其中第二数字图像中的面部图像部分用定制口腔护理方案或口腔护理产品进行预定时段的处理；

c)确定506第二数字图像61中的面部图像部分的感知吸引力（见图17B）；

d)将第二数字图像61中的面部图像部分的感知吸引力与第一数字图像60中的面部图像部分的感知吸引力进行比较。

具体地，图17A是在第0天（即预定时段的开始）针对感知吸引力所确定的对象的口腔特征的第一数字图像60。图17B是在预定时段结束时针对感知吸引力所确定的对象的口腔特征的第二数字图像。预定时段可以是使用消费品（诸如，口腔护理产品）的两周。第一数字图像和第二数字图像中的图像描述标识数字图像中所描绘的口腔特征中的至少一个区域，该至少一个区域包括所分析的负面属性。因此，为了确定口腔特征的负面属性是否减少，可以分析图像描述的像素计数，以展示负面属性是否已经减少。如图17A所示，对第一数字图像60中的口腔护理特征的图像描述具有12714个像素，而对图17B的第二数字图像61中的口腔护理特征的图像描述具有7894个像素。像素数量的减少对应于口腔护理特征的负面属性的减少。负面属性可以是牙齿色斑。第一数字图像60中的面部图像部分可以用参考产品进行处理，用于产品之间的比较分析。

图18是示出了展示消费品或口腔护理方案在产品使用时段内的功效的方法700的流程图。

方法700可以包括以下步骤：

i)在用定制口腔护理指导来处理面部图像部分之前，确定第一数字图像中的人的面部图像部分的感知吸引力；

ii)获得第一数字图像中所描绘的人的第二数字图像，其中第二数字图像包括人的面部图像部分，其中第二数字图像中的面部图像部分用消费品进行了预定时段的处理；

iii)确定第二数字图像中的面部图像部分的感知吸引力；

iv)将第二数字图像中的面部图像部分的感知吸引力与第一数字图像中的面部图像部分的感知吸引力进行比较。

图19A是包括人的面部图像部分52的至少一部分的第一数字图像511。在执行定制口腔护理指导前的预定时段开始之时，按照根据本发明的方法200来分析数字图像511。数字图像511还包括标识面部图像部分52中的多个区域533的图像描述，该多个区域包括至少一个所分析的负面属性。具体地，将图像描述作为热图533来呈现。为了向用户提供与面部图像部分52的感知吸引力相关的信息，在数字图像511中，呈现与数值（例如27）对应的吸引力得分534、与许多标识区域（例如11个标识区域）对应的第一数值535、以及与定义了标识区域的像素总数（例如，9742个像素）对应的第二数值536。

图19B是示出了在使用产品推荐项1周后的人的面部图像部分的至少一部分的第二数字图像512。图19C是示出了在使用产品推荐项2周后的人的面部图像部分的至少一部分的第三数字图像513。下表3描述了图19B、图19C中的吸引力得分相对于图19A中的吸引力得分的提高的概要。

表3

	数字图像511（对照）	数字图象512	数字图象513
				吸引力得分534	27	43	43
与许多标识区域533对应的第一数值535	11	9	8
				与许多标识区域中的像素总数对应的第二数值536	9742	9606	4510

具体地，与口腔特征的负面属性对应的标识区域数量的减少证明了：产品推荐的使用减少了负面属性，从而提高了吸引力得分，并且因此提高了面部图像部分的感知吸引力。

该方法可以包括以下步骤：在预定时段内，重复该确定步骤以及步骤(iv)中的比较。预定时段可以是一周，优选两周，更优选三周。技术效果在于，其实现了对面部图像部分在预定时段内的感知吸引力提高的跟踪，从而允许用户相应地监测进度和产品使用状况。面部图像部分的感知吸引力可以包括数字图像中所描绘的至少一个人的一个或多个口腔特征。一个或多个口腔特征可包括但不限于牙齿，并且感知吸引力是牙齿洁白。

跟踪感知吸引力提高的方法

图20是示出了根据本发明的对数字图像中所描绘的至少一个人的一个或多个口腔特征的面部图像部分的感知吸引力的提高进行跟踪的方法800的流程图。例如，口腔特征可以是牙齿，并且方法800可用于保持对人的牙齿的数字图像和分析结果进行记录与跟踪，使得该方法可以基于计时来重复该分析，以示出在一段时间内其牙齿属性（例如牙齿洁白）和/或吸引力的提高/进展。该功能可用于支持产品广告词，包括但不限于“21天牙齿洁白挑战”，“在预定天数内洁白你的牙齿”，“持久洁白（锁白）”，“长效（24小时）洁白”，或任何牙齿洁白相关属性。

该产品可以是口腔护理产品，包括但不限于牙膏、美白牙贴、漱口水、或任何适用于进行口腔护理处理的形式。尽管在方法800中，将牙齿吸引力描述为与感知吸引力相关的期望属性，但是应当理解，方法800可以应用于其他属性，包括但不限于牙龈健康、牙齿光泽度、或可用于如下文表5中所述的相对于口腔特征属性的图像描述的任何其他消费者相关描述。

方法800可以包括以下步骤：

-获得802例如经由图像获得逻辑144a待获得的对象的面部的至少一部分的数字图像。数字图像51可以是牙齿图像。

-使用经训练的学习机来分析804面部图像部分52，以估计感兴趣特征。

-生成806针对面部图像部分52的分析结果。

-用时间代码来存储808该数字图像和分析结果，该时间代码标识具有分析结果的数字图像。时间代码可以包括但不限于日期、时间、或用户信息等。

-基于产品广告词，选择810时段，或预设该时段。

-基于步骤806中的分析结果，生成812图像描述。任选地，可以在步骤812中呈现图像描述。

-任选地，进一步呈现814产品推荐。

步骤806中的分析结果可以包括吸引力得分、消费者仍需改善的一个或多个口腔特征的至少一个区域、或由上述吸引力模型生成的其他数据。

具体地，在步骤812中生成图像描述可以包括：由来自数据库的分析结果生成图像概要和分析结果数据概要。数据库可以存储在耦合到该系统的服务器上。任选地，方法800还可包括：在步骤814中，呈现产品推荐，包括但不限于持续使用产品（消费者当前使用的产品）预定天数，将新产品添加到消费者的口腔护理方案中以取得更好结果，或用于提高牙齿吸引力的任何合适的处理。

图21是多个人的数字图像51的屏幕截图，其中针对多人中每人的每个所检测面部图像部分52，呈现图像描述53。如图3所示，所检测的面部图像部分52是笑容521，并且在数字图像51中，可视地呈现了吸引力得分57。吸引力得分57可包括但不限于指示笑容521相对于一群人的感知吸引力的数值。吸引力得分57可以是笑容521的笑容得分。

训练数据集

例如，上文所述的CNN模型可以通过模拟牙齿图像的数据集进行训练与评估。

可以如下文所述来构建模拟牙齿图像的训练数据集（“模拟图像数据集”），用于定义吸引力得分。训练数据集设计标准可以基于如下表4所述的八个不同的牙齿属性，并且将范围从0%至100%的不同得分水平分配给属于相同牙齿属性的每组图像。

表4

	口腔特征属性	水平1	水平2	水平3	水平4	水平5
							1	明度	20%	40%	60%	80%	100%
2	黄度	20%	30%	40%	50%	60%
							3	不透明度	20%	40%	60%	80%	100%
4	面部着色	20%	40%	60%	80%	100%
							5	光泽度	20%	40%	60%	80%	100%
6	邻间（IP）着色	20%	40%	60%	80%	100%
							7	边缘着色	20%	40%	60%	80%	100%
8	牙龈发红	20%	40%	60%	80%	100%

可存在一组针对面部着色的模拟图像，每张模拟图像对应于不同的得分水平。模拟图像的准备基于以下假设：与较低得分对应的模拟图像具有预定面积的具有面部着色的前牙表面（负面属性）和较大面积的白色前牙表面（正面属性），并且将被认为，相对于具有相同预定面积的前牙表面但对应于较高得分的另一图像，更具吸引力。面部着色的预定区域从低分到高分是相同的，但是不同图像中面部着色的颜色强度从低分到高分增加。

可以将一组三张不同图像并排示出给消费者，表示所有八个属性的组合。对于每张图像，通过平衡的、设计好的、离散的选择（联合）随机化来确定八个属性的特定级别。因此，在每个选择集内，根据随机化，在三张图像中间，多达所有八个属性的级别都不同。这是为了确定他们真正感觉最具吸引力的内容。

例如，当可以向消费者示出给定的一组三张图像时，这三张图像可以由以下属性组的任何组合构成，包括面部着色，其中在每组牙齿中表示每个属性的给定级别。

基于训练数据的吸引力模型可通过以下方式而由原始消费者选择数据获得：经由分层贝叶斯（HB）估计，估计八个属性的主要效果和有限交互项的局部价值效用。然后，可以由所选属性级别中的局部价值效用的总和来计算针对任何特定训练图像的吸引力得分。

可以基于知道待定义哪些皮肤属性，例如色素沉着或其他皮肤属性，按相同方式来修改模拟图像数据集，并且可以将其构建到吸引力模型中并相应地进行分析。例如，如果面部图像部分是皮肤，则通过基于上文针对牙齿所述的数据集设计标准来修改皮肤图像，可以生成模拟图像数据集，然后将其应用于吸引力模型以确定皮肤吸引力。

模拟图像数据集的优点在于：易于定义与消费者相关的属性的度量水平，从而获得推动了他们对吸引力进行感知的属性的更好且可控的度量。使用模拟图像提供了使用消费者相关数据来生成得分的优点，因此该得分是消费者相关的并且不是由随机库存面部图像所生成的随机结果。

由于每张消费者相关图像可以进行分类和标记，因此使用模拟图像数据集来训练机器模型，这将使机器模型能够生成消费者相关结果。

可替换地，可以收集预定群体规模的真实人物图像，以基于预定群体的真实人物来构建训练数据集，并且可以使用离散选择模型来估计面部图像部分的吸引力。

在一个示例性示例中，用于构建训练数据集的过程可以包括以下步骤：

(1)创建属性图像

(2)在设计中将它们随机化

(3)收集消费者离散选择数据

(4)将属性图像效用估计成训练数据

(5)基于训练数据效用得分，构建机器学习算法

针对可分解为身体属性及其级别的任何系统，均可创建训练数据集。离散选择模型可用于描述这些属性。优选地，离散选择模型是可用于描述固定（受控）属性的组合的联合统计。可替换地，离散选择模型可以是MaxDiff分析，其可以用于描述非固定（非受控）属性图像（例如，一大组临床图像）的集合，针对所标识的属性级别，这些非固定（非受控）属性图像具有已知得分（例如，针对着色、黄度或任何期望的口腔特征属性的临床分级）。

此外，消费者可以解释一个或多个口腔特征的吸引力，并且因此，根据本发明，术语“吸引力”可以具有多个词以用于以下步骤中显示的图像描述：步骤(e)，向用户呈现210图像描述53。下表5是消费者相关描述的非穷举性列表，其可用于下文相对于相关面部图像部分（具体地，口腔特征属性）所述的图像描述。

表5

可如以下段落中所陈述来描述上文描述的本公开的代表性实施方案：

A. 一种用于确定数字图像（51）中所描绘的至少一个人的面部图像部分（52）的感知吸引力的基于口腔护理的数字成像计算机实现方法，该方法包括以下步骤：

a)获得（202）数字图像（51），该数字图像包括至少一个人的至少一个口腔特征，其中数字图像（51）包括至少一个人的面部图像部分（52），其中面部图像部分（52）既具有如由数字图像（51）的像素数据所定义的正面属性，也具有由其所定义的负面属性；

b)分析（204）面部图像部分（52）；

c)基于所获得数字图像（51）中的所分析面部图像部分（52），生成（206）指示面部图像部分（52）的感知吸引力的吸引力得分（57）；

d)进一步生成（208）图像描述（53），该图像描述标识所述面部图像部分（52）中指示吸引力得分（57）的至少一个区域；以及

e)向用户呈现（210）图像描述（53）。

B. 根据段落A所述的方法，其中吸引力得分作为概率值而生成，该概率值基于该面部图像部分的正面属性和负面属性而指示数字图像中所描绘的人的面部图像部分对一群人的吸引程度，优选地通过模型来确定该概率值，该模型由通过训练数据集所训练的机器学习系统来构造，其中该训练数据集包括i)包括正面属性和负面属性的面部图像部分的多张模拟图像；以及(ii)基于正面属性和负面属性的相关联的类别定义。

C. 根据段落A或B所述的方法，还包括：在步骤(c)之后，向用户呈现吸引力得分（57）。

D. 根据段落A-C中任一段所述的方法，其中图像描述（53）还指示所述面部图像部分（52）中的所述标识区域对吸引力得分（57）的影响。

E. 根据段落A-D中任一段所述的方法，其中面部图像部分（52）选自由以下各项组成的组：面部皮肤、一个或多个口腔特征、一个或多个面部表情以及它们的组合。

F. 根据段落A-E中任一段所述的方法，其中面部图像部分（52）包括一个或多个口腔特征，一个或多个口腔特征选自由以下各项组成的组：口腔软组织、牙龈、牙齿以及它们的组合。

G. 根据段落A-E中任一段所述的方法，其中面部图像部分（52）是人的面部表情，其中面部表情是笑容（521）。

H. 根据段落A-E中任一段所述的方法，其中面部图像部分由与面部图像部分相关联的第一口腔特征和第二口腔特征来定义，第一口腔特征和第二口腔特征各自选自由以下各项组成的组：口腔软组织、牙龈、牙齿以及它们的组合。

I. 根据段落H所述的方法，其中第一口腔特征包括指示面部图像部分（52）的正面美容牙齿属性的第一组特点，每个正面美容牙齿属性分配有指示第一口腔特征是健康的正值；其中第二口腔特征包括指示面部图像部分（52）的负面美容牙齿属性的第二组特点，其中第一口腔特征和第二口腔特征位于面部图像部分（52）中的至少一个区域的不同部分中。

J. 根据段落A-I中任一段所述的方法，还包括：在步骤(b)之前，检测所获得的数字图像中的面部图像部分（52）。

K. 根据段落A-J中任一段所述的方法，其中步骤(b)中的分析包括对面部图像部分（52）进行过滤，以获得包括第一感兴趣特征和第二感兴趣特征的一个或多个过滤特征图，第一感兴趣特征和第二感兴趣特征各自与面部图像部分（52）相关联；其中第一感兴趣特征包括指示面部图像部分（52）的正面属性的第一组特点，并且第二感兴趣特征包括指示面部图像部分（52）的负面属性的第二组特点，其中第一感兴趣特征和第二感兴趣特征位于该面部图像部分中的至少一个区域的不同部分中。

L. 根据段落A-K中任一段所述的方法，其中呈现图像描述（53）包括以下中的一项：将数字图像（51）中的图像描述（53）显示为替代文本（531），将数字图像（51）中的图像描述（53）显示为热图（532），提供图像描述（53）以用于以可听的方式呈现给用户，以及它们的组合。

M. 根据段落L所述的方法，其中将数字图像（51）中的图像描述（53）显示为热图（532）包括生成热图（532），其中生成该热图包括将层覆盖到包括该面部图像部分的数字图像的至少一部分上，其中该层是像素图，该像素图标识包括所述分析的正面和/或负面属性中的至少一个属性的该至少一个区域。

N. 根据段落A-M中任一段所述的方法，还包括：接收对关于面部图像部分（52）的附加信息的请求；优选地，附加信息包括提供与吸引力得分的提高相关的信息。

O. 根据段落A-N中任一段所述的方法，还包括：接收向第二用户共享图像描述（53）的请求。

P. 根据段落A-O中任一段所述的方法，其中图像描述（53）包括数字图像（51）中所描绘的人的单个面部。

Q. 根据段落A-P中任一段所述的方法，其中图像描述（53）包括数字图像（51）中所描绘的多人的多个面部，并且针对多人的多个面部中的每个面部，呈现单独的图像描述（53）。

R. 一种用于呈现产品推荐以提高面部图像部分的感知吸引力的方法（400），该方法包括：

传输至少一个人的数字图像（51），其中该数字图像包括至少一个人的面部图像部分，其中该面部图像部分既具有正面属性也具有负面属性；

接收标识面部图像部分中的至少一个区域的图像呈现，该至少一个区域包括使用根据段落A-Q中任一段所述的方法所分析的负面属性中的至少一个属性；

呈现产品推荐以提高所分析的正面和/或负面属性中的至少一者的感知吸引力。

S. 一种展示定制口腔护理方案在提高数字图像中所描绘的至少一个人的一个或多个口腔特征的感知吸引力方面的功效的方法，该方法包括：

获得（202）至少一个人的数字图像（51），其中数字图像（51）包括至少一个人的一个或多个口腔特征，其中一个或多个口腔特征既具有正面属性也具有负面属性；其中一个或多个口腔特征用定制口腔护理方案进行处理；

使用根据段落A-Q中任一段所述的方法来确定一个或多个口腔特征的感知吸引力。

T. 一种用于展示消费品在提高数字图像中所描绘的至少一个人的面部图像部分的感知吸引力方面的功效的方法，该方法包括：

i)使用根据段落A-Q中任一项所述的方法来确定第一数字图像（60）中的人的面部图像部分（52）的感知吸引力；其中第一数字图像（60）中的面部图像部分（52）是未经处理的；

ii)获得第一数字图像（51）中所描绘的人的第二数字图像（61），其中第二数字图像（61）包括该人的面部图像部分（52），其中第二数字图像（61）中的面部图像部分（52）用消费品进行一定处理期的处理；

iii)使用根据段落A-Q中任一段所述的方法，进一步确定第二数字图像（61）中的面部图像部分（52）的感知吸引力；

iv)将第二数字图像（61）中的面部图像部分（52）的感知吸引力与第一数字图像（60）中的面部图像部分（52）的感知吸引力进行比较。

U. 根据段落T所述的方法，其中还包括：基于步骤(ii)的处理期，在步骤(i)之后并且在步骤(ii)之前，用对比性消费品来处理第一数字图像（60）中的面部图像部分（52）。

V. 根据段落T或V所述的方法，其中处理期为两分钟至十分钟，优选两分钟至五分钟，更优选三分钟。

W. 根据段落T-V中任一段所述的方法，还包括：在一定时段内，重复步骤(iii)和步骤(iv)，以跟踪该面部图像部分的感知吸引力的提高；其中该时段为一天至三天，优选三天至七天，更优选七天至十四天。

X. 一种用于确定数字图像中所描绘的至少一个人的面部图像部分的感知吸引力的系统（10），该系统（10）包括：

移动应用，该移动应用能够进行编译以在客户端计算系统上运行而用于获得包括至少一个人的至少一个口腔特征的数字图像，其中该数字图像包括该至少一个人的面部图像部分，其中所述计算系统与被配置为存储所获得的数字图像的内容服务器进行通信；

图像处理装置（14），该图像处理装置通过网络（100）与该移动应用通信；其中所述图像处理装置（14）包括处理器（14b），该处理器被配置为：基于存储在存储器（14a）中用以分析该面部图像部分的计算机可执行指令，基于所获得数字图像中的所分析面部图像部分，生成指示该面部图像部分的感知吸引力的吸引力得分；以及进一步生成图像描述，该图像描述标识所述面部图像部分中指示吸引力得分的至少一个区域；

显示生成单元，该显示生成单元用于生成显示项以显示指示吸引力得分的图像描述。

Y. 一种用于向图形用户界面提供信息以提高数字图像中所描绘的至少一个人的面部图像部分的感知吸引力的基于口腔护理的数字成像方法，该基于口腔护理的数字成像方法包括：

在便携式电子设备上实现图形用户界面（30），该便携式电子设备包括具有输入装置和图像获得装置的触摸屏显示器或显示器，该图像获得装置用于获得包括至少一个人的至少一个口腔特征的数字图像，其中该数字图像包括至少一个人的面部图像部分；

在显示器的第一区域上，显示图像描述（53），该图像描述标识所述面部图像部分中指示吸引力得分的至少一个区域；

在显示器的不同于第一区域的第二区域上，显示可选择的图标（54）以接收用户输入；以及在选择可选择的图标（54）之后，并且通过将该设备数字地耦合到图像处理装置的网络接口，发送对关于面部图像部分（52）的附加信息的请求，其中附加信息与吸引力得分的提高有关。

Z. 根据段落R所述的方法，还包括：

接收与产品推荐对应的选择；以及

基于该选择，执行以下中的至少一项：(1)准备与产品推荐对应的产品以供发运，或(2)将产品发运到实际地址。

除非明确排除或以其他方式限制，否则本文中引用的每一篇文献，包括任何交叉引用或相关专利或专利申请以及本申请对其要求优先权或其有益效果的任何专利申请或专利，均据此全文以引用方式并入本文。对任何文献的引用不是对其作为与本发明的任何所公开或本文受权利要求书保护的现有技术的认可，或不是对其自身或与任何一个或多个参考文献的组合提出、建议或公开任何此类发明的认可。此外，当本发明中术语的任何含义或定义与以引用方式并入的文献中相同术语的任何含义或定义矛盾时，应当服从在本发明中赋予该术语的含义或定义。

虽然已举例说明和描述了本发明的具体实施方案，但是对于本领域技术人员来说显而易见的是，在不脱离本发明的实质和范围的情况下可作出各种其他变化和修改。因此，本文旨在于所附权利要求书中涵盖属于本发明范围内的所有此类变化和修改。

Claims (20)

1.一种用于确定数字图像（51）中所描绘的至少一个人的面部图像部分（52）的感知吸引力的基于口腔护理的数字成像计算机实现方法，所述方法包括以下步骤：

a)获得（202）数字图像（51），所述数字图像包括至少一个人的至少一个口腔特征，其中所述数字图像（51）包括所述至少一个人的面部图像部分（52），其中所述面部图像部分（52）既具有如由所述数字图像（51）的像素数据所定义的正面属性，也具有如由所述数字图像的像素数据所定义的负面属性；

b)分析（204）所述面部图像部分（52）；

c)基于所获得数字图像（51）中的所分析面部图像部分（52），生成（206）指示所述面部图像部分（52）的感知吸引力的吸引力得分（57）；

d)基于所述吸引力得分（57），进一步生成（208）标识所述面部图像部分（52）中的至少一个区域的图像描述（53）；以及

e)向用户呈现（210）所述图像描述（53）。

2.根据权利要求1所述的方法，其中所述吸引力得分作为概率值而生成，所述概率值基于所述面部图像部分的正面属性和负面属性而指示数字图像中所描绘的人的面部图像部分对一群人的吸引程度，其中通过模型来确定所述概率值，所述模型由通过训练数据集所训练的机器学习系统来构造，并且其中所述训练数据集包括：(i)包括正面属性和负面属性的面部图像部分的多张模拟图像；以及(ii)基于正面属性和负面属性的相关联的类别定义。

3.根据权利要求1或权利要求2所述的方法，还包括：在步骤(c)之后，向所述用户呈现所述吸引力得分（57）。

4.根据前述权利要求中任一项所述的方法，其中所述图像描述（53）还指示所述面部图像部分（52）中的所述标识区域对所述吸引力得分（57）的影响，其中所述图像描述（53）包括针对所述面部图像部分的感知吸引力的消费者相关描述。

5.根据前述权利要求中任一项所述的方法，其中所述面部图像部分（52）选自由以下各项组成的组：面部皮肤、一个或多个口腔特征、一个或多个面部表情以及它们的组合，其中所述一个或多个口腔特征选自由以下各项组成的组：口腔软组织、牙龈、牙齿以及它们的组合，并且其中所述一个或多个面部表情包括笑容（521）。

6.根据前述权利要求中任一项所述的方法，其中所述面部图像部分由与所述面部图像部分相关联的第一口腔特征和第二口腔特征来定义，所述第一口腔特征和所述第二口腔特征各自选自由以下各项组成的组：口腔软组织、牙龈、牙齿以及它们的组合。

7.根据权利要求6所述的方法，其中所述第一口腔特征包括指示所述面部图像部分（52）的正面美容牙齿属性的第一组特点，每个正面美容牙齿属性分配有指示所述第一口腔特征是健康的正值；其中所述第二口腔特征包括指示所述面部图像部分（52）的负面美容牙齿属性的第二组特点，其中所述第一口腔特征和所述第二口腔特征位于所述面部图像部分（52）中的所述至少一个区域的不同部分中。

8.根据前述权利要求中任一项所述的方法，还包括：接收对关于所述面部图像部分（52）的附加信息的请求，其中所述附加信息包括提供与所述吸引力得分的提高相关的信息。

9.根据前述权利要求中任一项所述的方法，其中步骤(b)中的分析包括对所述面部图像部分（52）进行过滤，以获得包括第一感兴趣特征和第二感兴趣特征的一个或多个过滤特征图，所述第一感兴趣特征和所述第二感兴趣特征各自与所述面部图像部分（52）相关联，其中所述第一感兴趣特征包括指示所述面部图像部分（52）的正面属性的第一组特点，并且所述第二感兴趣特征包括指示所述面部图像部分（52）的负面属性的第二组特点，并且其中所述第一感兴趣特征和所述第二感兴趣特征位于所述面部图像部分中的所述至少一个区域的不同部分中。

10.根据前述权利要求中任一项所述的方法，其中呈现所述图像描述（53）包括以下中的一项：将所述数字图像（51）中的所述图像描述（53）显示为替代文本（531），将所述数字图像（51）中的所述图像描述（53）显示为热图（532），提供所述图像描述（53）以用于以可听的方式呈现给所述用户，以及它们的组合。

11.根据权利要求10所述的方法，其中将所述数字图像（51）中的所述图像描述（53）显示为热图（532）包括生成所述热图（532），其中生成所述热图包括将层覆盖到包括所述面部图像部分的所述数字图像的至少一部分上，其中所述层是像素图，所述像素图标识包括所述分析的正面和/或负面属性中的至少一个属性的所述至少一个区域。

12.一种用于呈现产品推荐以提高面部图像部分的感知吸引力的方法（400），所述方法包括：

传输至少一个人的数字图像（51），其中所述数字图像包括所述至少一个人的面部图像部分，其中所述面部图像部分既具有正面属性也具有负面属性；

接收标识所述面部图像部分中的至少一个区域的图像呈现，所述至少一个区域包括使用根据前述权利要求中任一项所述的方法所分析的负面属性中的至少一个属性；

呈现产品推荐以提高所分析的正面和/或负面属性中的所述至少一者的感知吸引力。

13.一种展示定制口腔护理方案在提高数字图像中所描绘的至少一个人的一个或多个口腔特征的感知吸引力方面的功效的方法，所述方法包括：

获得（202）所述至少一个人的数字图像（51），其中所述数字图像（51）包括所述至少一个人的一个或多个口腔特征，其中所述一个或多个口腔特征既具有正面属性也具有负面属性；其中一个或多个口腔特征用定制口腔护理方案进行处理；

使用根据前述权利要求中任一项所述的方法来确定所述一个或多个口腔特征的感知吸引力。

14.一种用于展示消费品在提高数字图像中所描绘的至少一个人的面部图像部分的感知吸引力方面的功效的方法，所述方法包括：

i)使用根据权利要求1至13中任一项所述的方法来确定第一数字图像（60）中的人的面部图像部分（52）的感知吸引力；其中所述第一数字图像（60）中的所述面部图像部分（52）是未经处理的；

ii) 获得所述第一数字图像（51）中所描绘的所述人的第二数字图像（61），其中所述第二数字图像（61）包括所述人的所述面部图像部分（52），其中所述第二数字图像（61）中的所述面部图像部分（52）用消费品进行一定处理期的处理；

iii)使用根据权利要求1至13中任一项所述的方法来进一步确定所述第二数字图像（61）中的所述面部图像部分（52）的感知吸引力；

iv) 将所述第二数字图像（61）中的所述面部图像部分（52）的感知吸引力与所述第一数字图像（60）中的所述面部图像部分（52）的感知吸引力进行比较。

15.根据权利要求14所述的方法，其中还包括：基于步骤(ii)的所述处理期，在步骤(i)之后并且在步骤(ii)之前，用对比性消费品来处理所述第一数字图像（60）中的所述面部图像部分（52），其中所述处理期为从两分钟至十分钟。

16.根据权利要求14至15中任一项所述的方法，还包括：在一定时段内，重复步骤(iii)和步骤(iv)，以跟踪所述面部图像部分的所述感知吸引力的提高，其中所述时段为从一天至十四天。

17.根据前述权利要求中任一项所述的方法，其中所述面部图像部分的所述感知吸引力是牙齿洁白。

18.一种用于确定数字图像中所描绘的至少一个人的面部图像部分的感知吸引力的系统（10），所述系统（10）包括：

移动应用，所述移动应用能够进行编译以在客户端计算系统上运行而用于获得包括至少一个人的至少一个口腔特征的数字图像，其中所述数字图像包括所述至少一个人的面部图像部分，其中所述计算系统与被配置为存储所获得的数字图像的内容服务器进行通信；

图像处理装置（14），所述图像处理装置通过网络（100）与所述移动应用通信；其中所述图像处理装置（14）包括处理器（14b），所述处理器被配置为：基于存储在存储器（14a）中用以分析所述面部图像部分的计算机可执行指令，基于所获得数字图像中的所分析面部图像部分，生成指示所述面部图像部分的感知吸引力的吸引力得分；以及进一步生成图像描述，所述图像描述标识所述面部图像部分中指示所述吸引力得分的至少一个区域；

显示生成单元，所述显示生成单元用于生成显示项以显示指示所述吸引力得分的所述图像描述。

19.一种用于向图形用户界面提供信息以提高数字图像中所描绘的至少一个人的面部图像部分的感知吸引力的基于口腔护理的数字成像方法，所述基于口腔护理的数字成像方法包括：

在便携式电子设备上实现图形用户界面（30），所述便携式电子设备包括具有输入装置和图像获得装置的触摸屏显示器或显示器，所述图像获得装置用于获得包括至少一个人的至少一个口腔特征的数字图像，其中所述数字图像包括所述至少一个人的面部图像部分；

在所述显示器的第一区域上，显示图像描述（53），所述图像描述标识所述面部图像部分中指示吸引力得分的至少一个区域；

在所述显示器的不同于所述第一区域的第二区域上，显示可选择的图标（54）以接收用户输入；以及

在选择所述可选择的图标（54）之后，并且通过将所述设备数字地耦合到图像处理装置的网络接口，发送对关于所述面部图像部分（52）的附加信息的请求，其中所述附加信息与所述吸引力得分的提高有关。

20.根据权利要求19所述的方法，还包括：

接收与所述产品推荐对应的选择；以及

基于所述选择，执行以下中的至少一项：(1)准备与所述产品推荐对应的产品以供发运，或(2)将所述产品发运到实际地址。

Images