CN117916779A - 毛发护理监测和反馈 - Google Patents

Abstract

本公开涉及一种用于帮助使用者执行毛发护理的方法，包括：接收毛发护理过程中使用者面部的图像序列；通过确定图像序列中使用者的面部表情来分析毛发护理表现；和基于毛发护理表现为使用者提供反馈。

Description

毛发护理监测和反馈

发明领域

本公开涉及一种用于帮助使用者进行个人梳理的系统和方法，且特别是，虽然不是专门地，用于帮助使用者进行毛发定型的系统和方法。

发明背景

个人的毛发护理流程的效果可能根据多种因素而有相当大的变化，包括毛发护理流程的持续时间、发型师的技艺、毛发的状况和毛发护理技术。已经开发了许多系统来跟踪使用者头部附近的发梳的运动，以便提供关于梳理技术的反馈，并帮助使用者实现最佳的毛发护理流程。

这些梳子跟踪系统中的一些具有需要运动传感器的缺点，如内置在发梳中的加速度计。将这类运动传感器添加到诸如发梳的否则低成本且相对一次性的物品上可能是昂贵的，并且还可能需要相关的信号传输硬件和软件以将来自梳子上或梳子中的传感器的数据传送到合适的处理装置和显示装置。

希望的是能够监测使用者的毛发护理流程，如跟踪使用者头部附近的梳子或其他毛发护理用具的运动，而不需要在发梳本身中内置或将电子传感器应用于发梳本身。还希望的是能够使用相对常规的视频成像系统，如在普遍存在的“智能手机”或其他广泛可用的消费设备(如计算机平板电脑等)上发现的视频成像系统来监测使用者的毛发护理流程。如果要使用的视频成像系统不必是三维成像系统(如那些使用立体成像的系统)，这将是理想的。还希望的是提供梳子或其他护理用具的跟踪系统，该系统可以向使用者提供在头发护理进程期间获得的基于实时反馈的数据。本公开的一些方面可以实现一个或多个上述目标。

发明概述

根据本公开的第一方面，提供了一种用于帮助使用者执行毛发护理的方法，该方法包括：

接收毛发护理过程中使用者的面部的图像序列；

通过确定图像序列中使用者的面部表情来分析毛发护理表现；和

基于毛发护理表现为使用者生成或提供反馈。

在一个或多个实施例中，反馈包括指示、推荐和指导中的一个或多个。

在一个或多个实施例中，分析毛发护理表现可以包括基于使用者的面部表情确定一个或多个表现参数和/或一个或多个毛发护理事件；和

提供反馈可以包括基于一个或多个表现参数和/或一个或多个毛发护理事件提供反馈。

在一个或多个实施例中，反馈可包括用于使用者如何执行毛发护理的指示或适当的化学或热处理的推荐，包括但不限于特定的产品推荐。

在一个或多个实施例中，一个或多个毛发护理事件可包括以下一个或多个：解缠结事件、不充分的器具行程和不充分的器具-毛发接触。

在一个或多个实施例中，一个或多个表现参数可以包括以下一个或多个：所施加的器具力、器具-毛发抓握和使用者满意度。

在一个或多个实施例中，该方法可以包括对于图像序列中的每个图像确定一个或多个面部动作单元。该方法可以包括通过基于一个或多个面部动作单元确定面部表情评分。

在一个或多个实施例中，确定使用者的面部表情可包括确定表观情绪表达，其包括以下的一个或多个：自信、享受、疼痛、沮丧、困惑和快乐。

在一个或多个实施例中，毛发护理器具可包括发梳、梳子、卷发器、直发器或使用者的手。该方法可以包括如果使用者的面部表情包括大于解缠结疼痛阈值的疼痛评分，则确定解缠结事件。

在一个或多个实施例中，毛发护理器具可包括发梳。该方法可以包括在梳理行程开始时基于使用者的面部表情的疼痛评分确定施加的器具力。

在一个或多个实施例中，该方法还可包括基于使用者的面部表情的表观情绪表达评分确定使用者满意度评分。

在一个或多个实施例中，该方法可进一步包括根据检测的表现参数或毛发护理事件识别合适的化学处理，其中提供反馈包括向使用者提供执行所识别的处理的指示。

在一个或多个实施例中，识别合适的化学处理可以包括识别配制的产品或配制产品要使用的时间量。配制的产品可以在产品说明书中由制造商或经销商推荐用于特定的使用条件。确定产品是否合适可以通过用产品说明书来选择设计为解决与确定的毛发护理表现、表现参数或一个或多个毛发护理事件相关的问题的产品。例如，当检测到缠结事件或检测到预定数量的缠结事件时，可以建议配制用于减少缠结的产品

在一个或多个实施例中，提供反馈可包括为使用者提供以特定方式操作毛发护理器具的指示。

在一个或多个实施例中，该方法可进一步包括根据检测的表现参数或毛发护理事件来识别器具技术。提供反馈可以包括向使用者提供执行该器具技术的指示。

在一个或多个实施例中，器具技术可以包括器具路径、器具位置、器具取向和/或施加的器具力。在一个或多个实施例中，所施加的器具力可以通过监测器具的线速度、角速度、线性加速度和角加速度中的一个或多个或者可以是所施加的力的代理的任何其他参数来确定。

在一个或多个实施例中，该方法可以包括通过使用图像序列追踪毛发护理器具的位置和取向确定一个或多个器具参数。该方法可以包括基于使用者的面部表情和器具参数来确定一个或多个表现参数和/或一个或多个毛发护理事件。

在一个或多个实施例中，该方法还可以包括如果存在以下则确定解缠结事件：

使用者的面部表情包括大于解缠结疼痛阈值的疼痛评分；和

以下的一个或多个：线速度、角速度、线性加速度和角加速度小于相应的解缠结运动阈值。

在一个或多个实施例中，毛发护理器具可包括：发梳；梳子；卷发器；直发器；或使用者的手。

在一个或多个实施例中，该方法可以包括通过使用图像序列追踪毛发护理器具的位置和/或取向确定一个或多个器具参数。该方法可以包括基于一个或多个器具参数提供用于使用者执行毛发护理的反馈。

在一个或多个实施例中，该方法可以是计算机实现的方法。

根据本公开的进一步方面，提供了一种包括处理器的毛发护理监测系统，该处理器配置用于：

接收毛发护理过程中使用者的面部的图像序列；

通过确定图像序列中使用者的面部表情分析毛发护理表现；和

基于毛发护理表现向执行毛发护理的使用者提供反馈。

还公开了一种跟踪消费者毛发梳理和毛发定型活动的方法，该方法接收消费者面部和毛发的视频图像，并使用机器学习结合带有跟踪器附连件的梳子来跟踪定型期间的头发解缠结/抓握，并预测关键的毛发损伤和毛发形状消费者益处。

还公开了一种跟踪消费者毛发梳理和定型活动的方法，该方法接收消费者面部和毛发的视频图像，并使用机器学习结合带有跟踪器附连件的梳子来测量头发解缠结/定型事件期间的面部表情，并将面部表情(疼痛、鬼脸)与消费者毛发梳理流程/损伤水平关联，从而进行产品推荐。

还公开了一种用于实时跟踪消费者的发型的方法，其接收视频图像并使用机器学习以将毛发运动与固定的面部特征关联，从而预测自然运动并进行产品推荐。

可以提供一种计算机程序，当在计算机上运行时，该程序使得计算机配置任何设备，包括本文公开的电路或装置，或者执行本文公开的任何方法。计算机程序可以是软件实施方式，并且计算机可以被认为是任何适当的硬件，作为非限制性实例，包括数字信号处理器、微控制器和只读存储器(ROM)或电可擦除可编程只读存储器(EEPROM)中的实施方式。

计算机程序可以在计算机可读介质上提供，该计算机可读介质可以是物理计算机可读介质，如磁盘或存储设备，或者可以体现为瞬时信号。这种瞬时信号可以是网络下载，包括互联网下载。可以提供一个或多个存储计算机可执行指令的非暂时性计算机可读存储介质，当被计算系统执行时，其使得计算系统执行本文公开的任何方法。

本公开的进一步方面涉及一种计算机系统。计算机系统可以由用户设备提供，如移动电话或平板电脑。可以由计算机系统的处理器从计算机系统的照相机接收图像。在一些实施例中，可以在本地执行使用者图像的所有处理以提高使用者隐私和数据安全性。这样，可以确保使用者的图像永远不会离开使用者的手机。捕获的图像一旦被处理就可以被删除。对捕获图像的分析可以从用户设备传输到远程设备。

附图简述

现在将参考附图仅以示例的方式描述一个或多个实施方式，其中：

图1示出了毛发护理监测系统；

图2示出了帮助使用者执行头发护理流程的方法；

图3示出了个人护理器具的示例性标志；

图4A示出了偶联于发梳的图3的标志；

图4B示出了偶联于使用中的另一发梳的图3的标志；

图5示出了示例性发型；

图6示出了检测解缠结事件的方法；

图7示出了通过智能手机相机监测的从头发护理进程收集的研究数据；

图8A示出了图7所示轮廓的第一放大部分；

图8B示出了图7所示轮廓的第二放大部分；

图8C示出了图7所示轮廓的第三放大部分；

图9示出了根据特定训练方案获取的进一步研究数据；

图10显示了根据图9的方案获取的数据的疼痛评分相对于各种力梳参数的图；

图11显示了疼痛评分相对于各种运动参数的图，所述运动参数由梳子运动分类器基于图像数据中的标志位置和取向来确定；

图12示出了过滤后的图11的数据以及角速度的附加标志导出数据；

图13示出了相对于图11的数据点的y位置作图的x位置，具有相关疼痛评分；

图14示出了识别力梳和标志梳的数据的各种参数之间的相关性强度的相关矩阵；

图15示出了疼痛评分相对于由梳子运动分类器基于头发造型分段数据的图像数据中的标志位置和取向确定的各种运动参数的图；

图16示出了过滤后的图15的速度数据；

图17示出了相对于图15的数据点的y位置作图的x位置，具有相关的疼痛评分；

图18示出了施加的梳子力与制剂产品选择的相关性；和

图19示出了根据本公开实施方式的头发护理监测系统的示例方法。

发明详述

所公开的系统可以提供毛发梳理和定型行为跟踪系统。一般而言，该系统可利用以下一项或两项：(i)基于跟踪毛发护理器具上的已知标志的3D运动跟踪组件；以及(ii)面部肌肉/标志点跟踪组件，其用于跟踪面部位置/姿态以及明显情绪(疼痛、快乐等)的量度。

明显情绪是可以通过面部表情模型从面部表情中推断的情绪，面部表情模型获取面部肌肉激活单元(FAUs)上特定点的运动作为输入。面部表情模型可以在用于给定情绪之前使用一组测试对象进行训练。来自测量的情绪识别可以被称为“情感计算”。

明显(或表达的)情绪可能不直接反映个人感受到的情绪。例如，使用者可能表达不同程度的疼痛。然而，所表达的情绪测量可以在对象/使用者间是可比较的，因此提供了自动校准的参数。

在一个实施例中，可以要求使用者提供他们在头发护理进程期间经历的疼痛程度的看法。该反馈可以例如由使用者提供，从而提供表现事件或整个进程在诸如0-10的标度上有多疼痛的输入。然后可以将使用者输入与相应的表观疼痛评分进行比较。可以确定多个这样的比较，以便为使用者创建校正值。例如，如果使用者输入疼痛值为5，且相应的表观疼痛值为8，则值之间的差值为+3。多次这种比较的差值的平均值可以用作用于校准目的的校正值。可以在单次毛发护理进程内或在多个不同的头发护理进程上获得多组输入。在一段延长的时间内的不同进程中获得多组输入的情况下，可以应用加权，以便在使用者的疼痛反应随时间改变的情况下，对于较近的进程给予更多重视。

对系统校准允许系统确定的后续疼痛值更准确地反映使用者的体验，这可以允许向使用者提供更相关的反馈。

此外，在产品测试环境中，可以使用校准程序(如以上所述的)来使参与者之间的反应标准化。或者，这样的校准程序可以允许具有相似疼痛反应的使用者被选择作评估产品的小组的部分。应当理解，这种情况中的产品测试可涉及例如对使用者或其毛发的化学处理，或涉及毛发护理器具。

运动(梳子跟踪)和情绪(面部情绪跟踪)组件都处理接收到的头发梳理和定型过程的图像序列，其可以使用移动设备收集。在一些实施例中，该系统可以利用现代移动电话(或平板电脑、其他边缘计算设备)的感测和计算能力，因为它不需要电话外部的任何感测能力，并且所有图像处理都可以在该设备上进行，从而能够实现向使用者的实时反馈。这样，使用者可以使用他们现有的硬件，用定制的软件升级，并可能与提供的已知标志相结合，以帮助自我监测他们的头发护理流程。

许多人(使用者)一周洗几次毛发(通常一周2-5次，有时每天)。毛发洗涤流程通常包括使用洗发剂。毛发洗涤流程可能还包括使用第二产品—护发素产品。这些“洗去型”产品在淋浴流程中应用，并在洗涤过程结束前洗去。在发型设计或毛发护理流程之前，使用者可以用毛巾从毛发干燥多余的水分。毛发护理流程可以分为两个子过程：梳理过程；和定型过程。

许多使用者在定型前梳理其毛发。梳理过程使用刷子或梳子从毛发去除缠结(解缠结过程)，这对使用者来说可能是疼痛和令人不愉快的经历。

定型过程通常遵循以下两种方式之一：

·热定型–在热定型过程中，使用者可以使用吹风机和发梳对毛发进行热定型。随后可以通过进一步的热定型器具，如直发器或卷发器进行。通常进行热定型以将头发形状从其自然形状“转变”成不同的形状。使用者可试图调节其毛发的丰盈度，例如非常直的毛发(“丰盈降低”或比自然状态小的丰盈度)或者“丰盈增大”(比自然状态更高的丰盈度/体积大)。随着毛发由湿变干，形状转变可以通过“水波”及施加到毛发上的热量和张力来实现(结合吹干或其他加热头发护理器具和梳/梳理动作)。在热定型过程中施加的力可影响头发定型过程的结果，在刷子或梳子上施加最佳水平的力或抓握产生理想的结果。

·自然干燥者—许多使用者让头发自然干燥。在毛巾干燥之后，使用者可以仅梳或梳理掉缠结，然后用梳子或甚至用其手指来定型他们的头发，例如用手指将头发拧成规定的卷曲。这些使用者是“形状增强者”而不是“形状转变者”。他们在解缠结毛发时同样会遇到困难。

使用者可以在毛发护理(毛发定型)流程之前、期间或之后使用第三产品—洗后头发护理产品，例如免洗型调理剂、发胶、发膏、摩丝、精华素、发泥(putty)或喷发胶。其中一些产品可以在定型结束时施用以“固定”发型并使其持久。

在洗涤/处理阶段使用的洗去型产品可对毛发梳理过程中经历的解缠结水平具有重要影响。使用者可能不容易将其产品选择的结果与所经历的解缠结量联系起来。例如，使用者可能使用含少量或不含硅氧烷的洗去型产品，因为他们认为这种产品最适合毛发定型或颜色护理。

在洗涤/处理阶段中使用的洗去型产品也可影响毛发定型过程。对于热定型者，洗发剂和护发素产品的选择可影响梳子上所实现的抓握量。这最终影响实现所需最终外观(丰盈增加、直等)的能力。

希望的是提供一种系统，其可监测使用者的毛发护理流程并提供反馈，该反馈可使得使用者的毛发护理体验不那么疼痛和/或更令人愉快，并帮助使用者更好地达到他们期望的结果。有益的反馈可以包括在洗涤过程中或结束时和/或在毛发护理(梳理/定型)流程中使用的提示和建议和/或产品推荐(例如“你梳得太用力了”；“下次，更温和点”)。

参考图1，用于监测使用者的头发护理活动的毛发护理监测系统1可以包括摄像机2。“摄像机”一词旨在涵盖任何适于获得进行头发护理进程的使用者的一系列图像的图像捕获设备。在一种布置中，摄像机可以是智能手机或其他计算设备中常见的照相机。

摄像机2与数据处理模块3通信。数据处理模块3可以例如设置在智能手机或其他计算设备内，其可以被适当地编程或以其他方式配置以实现如下所述的处理模块。数据处理模块3可以包括头部跟踪模块4，其被配置成接收视频的一系列帧并确定使用者头部和面部的各种特征或参数。例如，头部跟踪模块4可以确定使用者面部或头部上的标志点以及使用者面部或头部与其的取向。作为进一步实施例，头部跟踪模块4可以确定对应于面部肌肉动作的一个或多个面部动作单元。作为再进一步的实施例，头部跟踪模块4可以对使用者的毛发风格进行分类。

数据处理模块3可任选地包括梳子跟踪模块15，其配置成接收视频的一系列帧并确定使用者在进行毛发护理进程时使用的毛发护理器具的位置和运动参数。毛发护理器具可以是例如发梳或直发器，且毛发护理进程可以是例如毛发梳理或直发进程。应该理解的是，在下面讨论的具体实施方式中参照“梳子”(在本文中与发梳同义)描述的实施例也可以同样适用于代替梳子的其它类型的头发护理器具。

梳子跟踪模块15可以包括梳子标志位置检测模块5和梳子标志取向估计模块6。位置检测模块5可以被配置成接收视频的一系列帧，并确定梳子在每一帧内的位置。梳子标志取向估计模块6可被配置成接收视频的一系列帧，并确定/估计每一帧内梳子的取向。

表述“一系列帧”旨在包括通常按时间顺序排列的帧序列，其可以构成或不构成摄像机捕获的各个或每一个帧，并且旨在包含周期性采样的帧和/或一系列集合或平均化的帧。

头部跟踪模块4、梳子标志位置检测模块5和梳子标志取向检测模块6的相应输出7、8、9可以作为输入提供给毛发护理分类器10。毛发护理分类器10被配置成确定毛发护理进程的毛发护理事件和/或毛发护理表现参数。在包括梳子跟踪模块15的实施例中，毛发护理分类器10可包括梳子运动分类器16，其被配置成确定一个或多个梳理参数。梳理参数可包括机械参数，如位置和线速度和/或角速度，速率和加速度。可以参照图像(相机)的帧或参照3D对象本身进行线性运动。旋转特征参照3D对象本身。梳理参数还可包括对应于特定梳子行程的梳子路径或轨迹。在一些实施例中，毛发护理分类器10可包括面部情绪分类器17，其被配置成确定使用者的一种或多种情绪表达，如疼痛、沮丧、困惑或快乐。

头部跟踪模块4可以包括毛发护理表现分析器18，其可以从梳子运动分类器16接收梳理参数和/或从面部情绪分类器17接收一个或多个情绪表达。如下面在第4C节中进一步讨论的，表现分析器18可以处理梳理参数和/或情绪表达以分析使用者的毛发护理表现。表现分析器18可通过检测一个或多个毛发护理事件或一个或多个毛发护理表现参数来分析毛发护理表现。毛发护理事件可包括以下任一种：解缠结事件、不充分的梳子行程、不充分的梳子-毛头接触等。表现参数可包括发梳施加的力、发梳-毛发抓握、使用者满意度或使用者完成构成梳理任务的部分的顺序中的任一种。在一个实施例中，分类器10被配置为能够对使用者梳理动作的每一个视频帧进行分类。

可以为程序和毛发护理数据提供合适的存储设备11。存储设备11可以包括例如智能手机或其他计算设备的内部存储器，和/或可以包括远程存储。合适的显示器12可为使用者提供例如关于毛发护理进程的实时进展的视觉反馈和/或关于当前和历史毛发护理进程的功效的报告。

使用者的表现参数可以在进程之间改变或改善。这样，分析执行毛发护理的使用者的表现可包括基于在当前头发护理进程中获得的数据和在一个或多个先前毛发护理进程中获得的数据来确定表现参数。

诸如扬声器的进一步输出设备13可以向使用者提供声音反馈。声音反馈可以包括关于正在进行的毛发护理进程的实时语音指令，如关于何时移动到另一个头部区域的指示或关于毛发梳理动作的指导。可以提供输入设备14用于使用者输入数据或命令。显示器12、输出设备13和输入设备14可以例如由智能手机的集成触摸屏和音频输出来提供。

现在将参考图2描述上述各种模块4-6和10的功能。

1.头部跟踪模块

头部跟踪模块4可以接收来自摄像机2的每一个系列帧或选定帧作为输入(方框20)。在一种布置中，头部跟踪模块4获取360×640像素的RGB彩色图像，并尝试检测其中的面部(或头部)(方框21)。如果检测到面部(方框22)，面部跟踪模块4估计其中多个人脸标志点(或者更一般地头部标志点)的X-Y坐标(方框23)。图像的分辨率和类型可以根据成像处理的要求而变化和选择。

在一个实施例中，可以检测多达66个面部标志点，包括头部、鼻子、眼睛、脸颊、耳朵和下巴的边缘或其他特征。优选地，标志点包括与使用者鼻子相关的至少两个标志点，和优选地选自头部特征位置(例如，头部的角落、头部的中心)和眼睛特征位置(例如，眼睛的角落、眼睛的中心)的至少一个或多个标志点。头部跟踪模块4还优选地使用标志点来估计一些或全部的头部倾斜、转动和摇摆角度(方框27)。头部跟踪模块4还可以使用面部标志点来确定一个或多个面部动作单元(FAUs)(方框43)。FAUs构成本领域已知的面部动作编码系统(FACS)的部分。在一些实施例中，头部跟踪器模块4可以确定其他FACS参数，如面部动作描述符(FADs)。头部跟踪模块4可以采用常规的面部跟踪技术，如在E.Sánchez-Lozano等.(2016)."Cascaded Regression with Sparsified Feature Covariance Matrix forFacial Landmark Detection",Pattern Recognition Letters中描述的那些技术。

如果头部跟踪模块4未能检测到面部(方框22)，则模块4可以被配置成循环返回(路径25)以获得下一个输入帧和/或传递适当的错误消息。如果没有检测到标志点，或者检测到的标志点数量不足(方框24)，头部跟踪模块4可以循环返回(路径26)以获取下一帧用于处理和/或传递错误消息。如果没有检测到FAUs(方框44)，头部跟踪模块4也可以以类似的方式循环返回(路径45)。在先前帧中已经实现面部检测的情况下，从而定义用于估计标志点的搜索窗口，和可以在后续帧中跟踪标志点(例如，准确预测它们的位置)(方框43)，则可以省略面部检测程序(方框21、22)。

在一些实施例中，头部跟踪模块4可以确定使用者的发型或毛发类型。图5示出了包括直发、波浪卷发、卷曲发、卷缩发、发辫、长发绺(dreadlocks)和男士短发的示例性发型。头部跟踪模块4可以在毛发护理进程之前和之后对图像进行这样的确定。例如，使用者可以在进程开始和结束时记录“自拍”图像。头部跟踪模块4可以对图像执行分割以隔离与使用者的毛发相关的像素。头部跟踪器模块4可以实现卷积神经网络(CNN)，并且可以在由来自具有各种不同头部取向和照明条件的各种使用者的标记发型图像组成的数据集上进行训练，这些图像取自为训练目的而收集的梳理视频。头部跟踪模块4可以向毛发护理分类器10输出分类的毛发类型。应注意，在任一帧中，毛发类型的不同区域可以被给予不同的类别(即一些部分可能是直的，一些部分是波浪的)或一个整体类别，这取决于与什么相关。如果头部跟踪模块4不能确定毛发类型，则头部跟踪模块4可以循环返回以获取下一个图像进行处理。

在一个实施例中，面部检测面部点跟踪(FACS)和表达情感识别模块可以被配置用于：

步骤1)面部检测-在面部周围绘制边界框，并从相机捕获的图像中提取面部斑块。

步骤2)面部点跟踪-将64个面部点适配到面部斑块中，并且每帧更新这些点，直到面部丢失。

步骤3)面部点和视觉外观的面部动作单元系统(FACS)激活的估计。步骤3依赖于步骤1和2。

步骤4)疼痛估计-FACS激活用于估计表达的疼痛<-基于索罗门疼痛强度(PSPI)量表，我们对其进行了修改以使其更加稳健。步骤4依赖于步骤3。

2.梳子标志位置检测模块

所使用的梳子可以设置有可由梳子标志位置检测模块5识别的梳子标志特征。梳子标志特征充当基准标志。例如，梳子标志特征可以是梳子的一部分上的良好限定的形状和/或颜色图案，该部分通常在毛发护理进程期间保持暴露于视野。梳子标志特征可形成梳子的组成部分，或者可例如在制造时应用于梳子或由使用者在购买后应用于梳子。

一种特别有益的方法是在毛发护理器具如发梳的手柄端部(即梳毛的相对端)提供一种结构。该结构可以形成梳子手柄的组成部分，或者可以在制造后作为附连件或“适配器(dongle)”施加。发现为特别成功的结构的形式是大致球形的标志60(图3)，其具有围绕纵向轴(对应于梳子的纵向轴)设置的多个有色象限61a、61b、61c、61d。在如图3所示的一些布置中，象限61a、61b、61c、61d中的每一个通过强烈对比色的条带62a、62b、62c、62d与相邻象限分隔开。大致球形的标志可以具有手柄接收端部64远端的平坦端部63，平坦端部63限定平坦表面，使得梳子可以直立在平坦端部63上。

已经发现特征的这种组合对于在典型的梳理环境中检测毛发护理器具和确定其3D取向都是有利的。不同的颜色增强了结构的性能，并且优选地被选择为具有高色饱和度值，以便在不良和/或不均匀的照明条件下容易地分割。颜色的选择可以针对所用摄像机的特定模式进行优化。对于面向消费者的应用，颜色的选择可以使得其与使用者设备上的一系列消费者图像传感器一起良好地发挥作用。如图4A所示，标志60可以被认为具有附接到梳子手柄70的端部的第一极71和平坦端部63中心的第二极72。象限61可以各自提供从第一极71不间断地延伸到第二极72的均匀颜色或颜色图案，该颜色或颜色图案与至少相邻象限明显区分，并且优选与所有其他象限明显区分。在这种布置中，两个极之间可能没有赤道色变边界。如图4A所示，在第一和第二极71、72之间延伸的标志的轴线优选地与毛发护理器具/梳子手柄70的轴线基本对齐。

图4B示出了附接于发梳70B的标志60B。图4B中示出了梳子旋转的各个不同轴X、Y、Z。可以使用标记的轴在标志(且因此梳子)的3D帧中确定定向运动。标记60B的线性运动可以在相机传感器的帧中确定为2D运动。

每一个区段的对比色的选择可以与使用梳子的使用者的肤色或发色形成最佳对比。在一个实施例中，使用了红色、蓝色、黄色和绿色。还可以针对所使用的摄像机2成像设备(例如智能手机成像设备)优化颜色和颜色区域尺寸。颜色优化可以考虑成像传感器特征以及处理软件特征和限制。

对梳子标志特征的设计进行修改是可能的。原则上可以使用任何设计，只要在视频分辨率下视频帧中标志的视觉外观与标志的取向(至少对于感兴趣的取向)之间进行1-2-1对应，并且有足够的可注释训练数据来训练ML模型以得知取向。在优选实施例中，标志60的直径在25和35mm之间(且在一个具体的实施例中大约28mm)，条带62的宽度可以在2mm和5mm之间(且在该具体实施例中，3mm)。

在一种布置中，梳子标志位置检测模块5从头部跟踪模块4接收面部位置坐标。然后，所得到的图像由梳子标志检测模块5中的CNN使用(方框29)，其返回候选梳子标志检测的边界框坐标列表，每一个伴随有检测评分，例如范围从0到1。

检测评分指示特定边界框包围梳子标志的置信度。在一种布置中，系统可以提供使得具有最高返回置信度的边界框对应于图像内标志的正确位置，条件是检测置信度高于预定义阈值(方框30)。如果最高返回检测置信度小于预定义阈值，则系统可以确定梳子标志不可见。在这种情况下，系统可以跳过当前帧并循环回到下一帧(路径31)和/或传递适当的错误消息。在一般方面，梳子标志位置检测模块例示了用于在视频图像的多个帧的每一帧中识别使用中的梳子的预定标志特征的装置，根据该预定标志特征可以确定梳子的位置和取向。

如果检测到毛发护理器具标志(方框30)，毛发护理器具标志检测模块5检查面部(或头部)标志点和毛发护理器具标志坐标之间的距离(方框32)。如果发现它们彼此相距过远，系统可以跳过当前帧并循环返回到下一帧(路径33)和/或返回适当的错误消息。如下面进一步讨论的，在方框32中测试的梳子到头部的距离可以是通过鼻子长度标准化的距离。

在某人不是正在使用毛发护理器具时，该系统还可以随时间保持跟踪毛发护理器具标志的坐标，从而估计标志移动值(方框34)，用于检测的目的。如果该值低于预定义的阈值(方框35)，则梳子标志检测模块5可以跳过当前帧，循环回到下一帧(路径36)和/或返回适当的错误消息。

优选地，在由从为训练目的而收集的梳子视频中获取的在各种取向和照明条件下的标记真实生活梳子标志图像组成的数据集上训练梳子标志检测模块5，其可以使用机器学习中典型的数据增长技术来扩展。训练数据集中的每个图像可以用梳子标志坐标以半自动方式进行注释。梳子标志检测器可以基于现有的预训练对象检测卷积神经网络，其可以被重新训练以检测梳子标志。这可以通过使用梳子标志数据集图像调整对象检测网络来实现，这种技术称为迁移学习。

3.梳子标志取向估计器

梳子标志坐标或梳子标志边界框坐标(方框37)被传递到梳子取向检测模块6，该模块6可以裁切梳子标志图像并调整其大小(方框38)至可以针对梳子标志方向检测模块6中的神经网络的操作进行优化的像素计数。在一个实施例中，图像被裁切/调整大小到64x64像素。然后，所得的梳子标志图像被传递到梳子标志取向估计器卷积人工神经网络(CNN-方框39)，其返回梳子标志图像的一组倾斜、转动和摇摆角度。类似于梳子标志位置检测CNN，梳子标志取向估计CNN也可以为每个估计角度输出范围0到1的置信水平。

可以在大范围的可能取向和背景变化下，在任何合适的标志图像的数据集上训练梳子标志取向估计CNN。数据集中的每个图像可能伴随相应的标志倾斜、转动和摇摆角度。

在一些实施方式中，可以由硬件和/或软件中的相同功能单元提供梳子标志位置检测器5和梳子取向检测模块6。

4.毛发护理分类器

4A.梳子运动分类器

梳子运动分类器16累积由上述三个模块(面部跟踪模块4、梳子标志位置检测模块5和梳子标志取向检测模块6)产生的数据，以提取一组专门为毛发护理器具分类任务设计的特征(方框40)。

面部标志点坐标(如眼睛、鼻子和嘴的位置)和梳子坐标优选地不直接馈送到分类器10中，而是用于计算梳子相对于面部的各种相对距离和角度，以及如上所述的其他特征。这样，梳子运动分类器16可以相对于使用者头部姿势确定相对梳子位置和相对梳子取向。

梳子运动分类器可以输出一个或多个梳理参数。梳理参数可包括机械参数，其包括以下任一种：绝对和/或相对梳子位置和取向；线速度；角速度；线性加速度；和角加速度。梳子运动分类器可以基于连续帧之间的位置和取向的变化来确定动力学参数(速度、加速度等)。机械参数可以包含沿着一个或多个轴的绝对幅度或值。梳理参数还可包括与单个梳子行程相关的梳子行程参数，如包含梳子行程的平面和曲率的梳子路径或轨迹。梳理参数还可以包括更一般的参数，如梳理的毛发区域(头部右侧和左侧各自的前、中、后)。

梳子长度是投影长度，意味着它作为与相机的距离和相对于相机的角度的函数而变化。头部角度有助于分类器考虑可变的角度，而梳子长度的鼻子长度标准化有助于适应由与相机的距离引起的投影梳子长度的变异性。

梳子运动分类器16可以在捕捉人的梳理的标记视频数据集上进行训练。数据集可以由具有标志的梳子捕获，包括校准的加速度计，使得标记可以包括机械参数。数据集中的每一帧可以用来自加速度计的梳理参数和/或通过帧描述的动作来标记。动作可以包括“空闲”(无梳理)、“标记不可见”、“其他”和梳理动作。以这种方式，分类器可以被训练以理解梳子标志的位置、取向和存在与梳理参数之间的关系。

4B.面部情绪分类器

面部情绪分类器17可以从头部跟踪器4接收FAUs，并基于FAUs确定一个或多个面部表情(方框45)。FAU的值可以是相关面部肌肉运动的强度。在一些实施例中，面部情绪分类器17可以基于一组FAUs来确定评分。面部情绪分类器17可以基于标准化过程在确定评分之前对FAU值标准化，这可以最小化受试对象-特异性的AU输出变化。标准化程序可以基于在校准流程期间捕获的使用者数据。

如以上所概述的，毛发护理流程可能与一种或多种由解缠结和相关的头皮拉扯引起的疼痛体验相关。面部情绪分类器17可以基于FAUs确定使用者的疼痛表情。在一些实施例中，面部情绪分类器可以基于Prkachin和Solomon疼痛强度度量(PSPI)标度来确定疼痛表情。PSPI标度可以根据以下计算：

疼痛_PSPI＝强度(AU4)+Max(强度(AU6，AU7))+Max(强度(AU9，AU10))+强度(AU43)

其中，AU4是FAU“眼眉降低”；AU6是FAU“脸颊抬高”；AU7是FAU“眼睑闭紧”；AU9是FAU“鼻皱”；AU10是FAU“上嘴唇抬高”；和AU43是FAU“闭眼”。在一些实施例中，可以根据该等式确定疼痛评分，但不包括AU4和AU9相关性。在一些实施例中，面部情绪分类器17可以在计算疼痛评分之前过滤图像。例如，面部情绪分类器17可以去除头部大幅度离面旋转的图像；去除其中没有发生梳理或不存在梳子的图像；去除其中毛发遮挡面部显著部分的图像；和去除具有低面部检测置信度的图像。面部情绪分类器17可以接收来自头部跟踪模块4或梳子跟踪模块15的输出7、8、9中的任何一个用于执行过滤过程。

根据上述等式处理包含使用者毛发梳理的智能手机图像序列的研究数据。其中使用者表现出疼痛表情(人工评估)的75％至80％的图像确定PSPI评分显著增加。进一步的分析表明，可以通过去除上述AU4和AU9相关性来减少假阳性(没有相关疼痛表情的高疼痛评分)。发现AU4和AU9更容易出错，并且通常与其他疼痛指征相关。因此，可以在不影响准确性的情况下减少假阳性。用于减少假阳性的其他方法包括：过滤具有大的头部离面旋转的图像；过滤其中没有发生梳理或不存在梳子的图像；过滤其中毛发遮挡面部显著部分的图像；和忽略具有低面部检测置信度的图像。

在一些实施例中，面部情绪分类器17可以基于FAUs确定使用者的快乐表情。在一些实施例中，面部情绪分类器可以基于AU6(“脸颊抬高”)和AU12(“唇角上扬”)强度来确定快乐表情。由于AU6也可以出现在疼痛表情中，面部情绪分类器17还可以通过基于其他疼痛指示(AU4、AU10、AU43)的存在降低快乐评分来确定快乐表情。作为实施例，面部情绪分类器17可以如下确定快乐评分：

快乐＝Max[{0.5×(AU6+AU12)-Max(AU4，AU10，AU43)}，0]

在一些实施例中，面部情绪分类器17可以在计算快乐评分之前过滤图像。例如，面部情绪分类器17可以去除具有大的头部离面旋转的图像；去除其中毛发遮挡面部的显著部分的图像；并去除具有低面部检测置信度的图像。面部情绪分类器17可以接收来自头部跟踪模块4或梳子跟踪模块15的输出7、8、9中的任何一个用于执行过滤过程。

根据上述等式处理包含使用者的毛发梳理的智能手机图像序列的研究数据。其中使用者表现出快乐的表情(人工评估)的80％的图像确定快乐评分的显著增加。

4C.毛发护理表现分析器

毛发护理表现分析器18可以从梳子运动分类器16接收梳理参数和/或从面部情绪分类器17接收一个或多个情绪表达。表现分析器18可处理梳理参数和/或情绪表达来分析使用者的毛发护理表现(方框41)。表现分析器18可通过检测一个或多个毛发护理事件或一个或多个毛发护理表现参数来分析毛发护理表现。毛发护理事件可包括解缠结事件、不充分的梳子行程、不充分的梳子-毛发接触等中的任一种。表现参数可包括发梳施加的力、梳子-毛发抓握或使用者满意度，或任何这些参数在适当校准时的代理测量值中的任一种。表现分析器可包含一个或多个与毛发护理表现相关的表现模型。示例性表现模型包括：用于检测解缠结事件的解缠结模型；用于确定施加到发梳上的力(或施加力的代表(代理))的力模型；以及用于确定使用者对头发护理进程的满意度的满意度模型。表现模型可以包含在人工标记的数据上训练的机器学习算法。表现分析器18可以有利地评估使用者毛发护理流程的表现和使用者毛发的相关健康。系统1可以向使用者提供反馈以改善毛发护理流程和使用者毛发的相关健康。

解缠结模型-检测解缠结事件

如以上所概述的，毛发护理梳理过程中的解缠结过程对使用者可能是疼痛和不愉快的经历。表现分析器18可以基于来自面部情绪分类器17和/或梳子运动分类器18的输出使用解缠结模型来检测解缠结事件。如下所述，然后可以向使用者提供反馈用于减轻或防止未来的解缠结事件。

在一些实施例中，表现分析器18可以基于来自面部情绪分类器17的疼痛指示结合来自梳子运动分类器16的基本为零的速度或加速度来检测解缠结事件。

图6示出了可以由表现分析器18执行的检测解缠结事件的方法。在第一步骤80，表现分析器18从面部情绪分类器17接收正在处理的图像(或图像序列)的疼痛评分。在第二步骤82，表现分析器18将疼痛评分与解缠结疼痛阈值进行比较。如果疼痛评分小于解缠结疼痛阈值，则该过程循环回到第一步骤80以从后续图像接收疼痛数据。如果疼痛评分大于或等于解缠结疼痛阈值，则过程进行到第三步骤84。在一些实施例中，表现分析器18可以对于单个图像将疼痛评分与解缠结疼痛阈值进行比较。在其他实施例中，表现分析器18可以对于对应于较长持续时间的多个图像将疼痛评分与解缠结疼痛阈值进行比较。第二步骤82可能需要对于多个图像中的每一个的疼痛评分超过解缠结疼痛阈值，或者平均疼痛评分超过阈值，以进行到第三步骤84。以这种方式，可以检测到解缠结疼痛事件的更稳健的检测。

在第三步骤86，表现分析器18从梳子运动分类器16接收梳子运动参数。表现分析器18可以将一个或多个梳子运动参数与相应的解缠结阈值进行比较，以检测解缠结运动。如所示的，表现分析器18可以确定是否的以下一项或多项：线速度或角速度；和线性或角加速度基本上等于零。换句话说，是否梳理参数小于相应的解缠结运动阈值。如果一个或多个梳理参数大于它们相应的解缠结运动阈值，则该过程循环回到第一步骤80。如果一个或多个梳理参数(中的每一个或任何一个)小于它们相应的解缠结运动阈值，则表现分析器18进行到步骤88并输出识别的解缠结事件。线速度或角速度/加速度可以包含沿着或围绕一个或多个轴的线速度或角速度/加速度(如前面关于图4B所述)，或者可以与线速度或角速度/加速度的绝对幅度相关。

在图6的实施例中，表现分析器18可以通过联合分析高于阈值的疼痛的疼痛信号和来自低或零速度/加速度的运动参数的速度或加速度信号来识别疼痛的解缠结事件。在其他实施例中，表现分析器18可以省略步骤80和82或者84和86，并且基于来自面部情绪分析器17的疼痛数据或者来自梳子运动分析器16的梳子运动数据来检测解缠结事件。

基于加速度或速度基本为零来确定解缠结事件降低了对系统1的校准要求，因为表现分析器18仅分析加速度或速度的转折点，而不是该转折点之前或之后的参数变化率。因此，解缠结检测方法可以有利地独立于不同使用者之间的梳力变化。此外，PSPI评分为不同的使用者提供了相当的结果，从而进一步降低了校准要求。

在一些实施例中，在步骤86期间，表现分析器18可以分析一个或多个其他梳子运动参数。表现分析器18可以分析一个或多个梳子运动参数，以确定使用者处于梳理其毛发的过程中。例如，表现分析器18可以从梳子运动分类器16或从梳子标志位置检测模块5(如上文关于图2所述)接收这样的指示。在一些实施例中，表现分析器18可以分析梳子的轨迹或与轨迹相关的参数，以识别梳子粘在缠结的头发中时的突然减速和/或顿挫运动。在一些实施例中，表现分析器18可以将梳子位置与一个或多个已知易于缠结的预定位置进行比较，如下面结合图12进一步讨论的。

在一些实施例中，如下面关于图9所讨论的，表现分析器18可以包含机器学习(ML)算法，如人工神经网络，其已经使用包含使用者在已知条件下执行头发护理流程的图像的数据进行训练。训练数据中的图像可以被手动标记以识别解缠结事件。可以选择用于构建ML模型的消费者群体，以使该模型适应特定的人口统计学(例如，具有特定基础头发类型的人群或可能较老(较脆弱/不太灵巧的)人群组)。ML算法然后可以识别与解缠结事件相关的一个或多个梳子运动参数。在图6的过程的步骤86中，表现分析器18可以基于超过相应阈值的这些识别的梳子运动参数中的一个或多个来确定解缠结事件。

在一些实施例中，在识别解缠结事件(步骤88)之后，表现分析器18或分类器模块10可以对解缠结事件周围的时间段(和相关图像)中的一个或多个梳子运动参数执行进一步的分析。以这种方式，分类器可以提取识别对于较少缠结或较少紧密缠结配制的产品的有效性的其他梳子运动参数。例如，解缠结事件后的峰值加速度或梳子保持静止的时间长度可以提供对制剂产品有效性的定量了解。这样，系统1可以跟踪、监测和比较一个或多个产品对于特定使用者的有效性。

图7至14示出了基于疼痛和/或梳子运动支持解缠结事件检测的关系的实验数据。

图7显示了从通过智能手机相机监测的毛发护理进程收集的研究数据。相机捕获了使用者用力梳梳理其毛发的图像序列。力梳包括多个传感器，其包括力传感器、加速度计和陀螺仪，用于测量与梳子运动相关的多个机械参数。该图包括由0度应变数据100、加速度计X轴数据200和陀螺仪Z轴数据300表示的侧向解缠结力的图，其全部从力梳获得。所有数据100、200、300、400相对于时间绘制。

数据100、200、300用取自相应视频数据集的定性描述来注释。定性描述包括第一标志102、第二标志104和第三标志106。三个标志102、104、106各自对应于解缠结事件。第一标志102提供从视频数据中可见的明显疼痛和拖拉的指标(人工评估)。第二标志104展示了来自视频数据的可见拖拉。第三标志106展示了来自视频数据的明显疼痛。该图还包括由来自相应视频图像的通过PSPI评分确定的疼痛数据400的图。疼痛信号400包含对应于第一、第二和第三标志102、104和106的峰，从而指示手动评估的表观疼痛和PSPI评分之间的相关性。

图8A示出了前文相对于图7所示在第一标志102周围的轮廓的放大部分。在该实施例中，解缠结横向力分布包括与疼痛和拖拉事件相关的力的延长期。同时，沿X轴的加速度趋向于0(带有缩放偏移)。此外，在此期间，围绕Z轴的角速度(陀螺仪Z)也降至零。定性地，在解缠结事件期间，梳子的扭转和梳子的加速度趋向于0。

图8B示出了前文相对于图7所示在第三标志106周围的轮廓的放大部分。在该实施例中，解缠结横向力分布包括与图像中明显疼痛相关的力的一个大的延长期。同时，类似于在第一标志104处观察到的效应，沿着X轴的加速度和围绕Z轴的角速度趋向于0。

该数据显示在标志102、104、106处解缠结的存在与以下各项相关：横向力峰的加宽(表示解缠结所需的持续力)；基本零的x轴加速度；基本零的z轴角速度；和PSPI评分的增加。

为了进一步说明这种关系，图8C示出了前文相对于图7描述的数据的另一部分的扩展部分。在28和34秒的时间之间的部分中，解缠结横向力100、X轴上的加速度200和绕Z轴的角速度(陀螺仪Z)300分布指示使用者没有明显感受到疼痛或其头发的拖拉的时间段。在该部分中，梳子动作的周期性从加速度计分布200和围绕Z的角速度(陀螺仪Z)分布300可见，并且具有大约一秒的周期性。类似地，在此期间加速度计X分布200和陀螺仪Z分布300的变化比在其中可见明显的疼痛和/或拖拉的图8A和8B中之前看到的周期性循环期间更大。图8C的分布100、200、300可以被认为说明了成功的解缠结事件。

图9示出了根据特定训练方案捕获的进一步研究数据。该数据可用于训练机器学习(ML)算法以确定与解缠结事件或其他表现分析(如确定施加的力，如下面进一步讨论的)相关的一个或多个参数，如一个或多个梳子运动参数。该数据可以用于训练分类器10，包括面部情绪分类器17、梳子运动分类器16和表现分析器18。

该方案包括梳理/解缠结过程110，随后是六个周期性间隔的热定型段112，其包括梳理和吹干的组合。六个段对应于头部每一侧上的三个不同区域(头部的前、中和后)的梳理。在加热定型段之间，只进行吹干而不梳理。与解缠结过程相关的解缠结数据110可以用作离散数据集用于训练分类器10/表现分析器18来检测解缠结事件。与六个热定型段相关的定型数据112可用作第二离散数据集用于训练分类器/表现分析器18来检测不适当的梳子使用、不适当的毛发抓握和定型期间器具的其他次优使用。

以这种方式，使用在一系列训练方案中使用多个对象获得的数据，可以更一般地对于任何毛发梳理事件的组成部分开发分类器，然后将其应用于将不受控制的梳理事件分解成可管理的部分以进行反馈和推荐。

在这个实施例中，数据是用力梳(如关于图7所述)捕获的，其中标志应用于手柄的端部(如关于图3所述)。用力梳捕获的数据包括：0度(横向)弯曲应变数据500；90度弯曲应变数据600；x轴加速度计数据200；和z轴陀螺仪数据300。

还捕获图像数据以从标志(使用头部跟踪模块4、梳子标志位置检测模块5、梳子取向检测模块6和梳子运动分类器16)和FAUs以及相关的面部表情(使用头部跟踪模块4和面部情绪分类器17)确定运动参数。

图10显示了对于根据图9的方案捕获的解缠结过程数据110相对于各种力梳参数绘制的PSPI疼痛评分的图。该图包括针对以下的疼痛评分：(i)90度弯曲应变600；(ii)0度弯曲应变500；以及(iii)旋转应变800。这些图显示，较高的应变率通常与较高的表现疼痛值相关。应变可以被认为是梳子在使用过程中的“微”线性和旋转变形，因此梳子陷入缠结并发生微小量的物理变形(弹性但随时间滞后)，这些微变形随时间的历史取决于缠结的复杂性和使用者“摆脱缠结”的动作。

图11示出了相对于由梳子运动分类器基于图像数据中的标志位置和取向确定的各种运动参数绘制的PSPI评分的图。该图包括针对以下的疼痛评分：(i)加速度900；x位置1000；y位置1100；和速度1200。对于x和y位置坐标，x＝0，y＝0的值对应于图像的左上像素。梳子运动分类器16可以基于位置值的帧间变化来确定动力学参数—速度1200和加速度900。在此实施例中，如果无法确定值，则运动参数默认为零。在本实施例中，如果无法确定PSPI评分，疼痛值默认为零。

该图说明高疼痛评分与基本上零速度和基本上零加速度相关，而较低疼痛评分通常与较宽范围的加速度和速度相关。类似地，x-位置1000和y-位置1100的固定值与高疼痛评分相关，而较低的疼痛评分与宽范围的位置坐标相关。

图12示出了过滤后的图11的数据以及角速度1300的附加标志导出数据。过滤包括：去除疼痛评分等于0的数据；去除x位置和y位置等于0的数据；对于加速度数据，去除加速度小于22,000像素每平方秒的数据，和对于速度数据，去除速度小于800像素每秒的数据；并添加回疼痛评分大于0.25的数据。图12的过滤数据说明较高的疼痛评分与低的速度和加速度数据点相关。

图13示出了相对于图11的数据点的y位置1100绘制的x位置1000，以及相关的疼痛评分。在本实施例中，X和Y位置对应于相机的像素，且因此与参照相机帧相关。通过特定位置处标志的大小表示表观疼痛的水平。该数据显示高疼痛分值高度集中的三个区域114。以这种方式，表现分析器18可以识别其中发生拖拉和解缠结事件的区域，并且系统1可以提供反馈，如可以应用于疼痛区域114的用于缓解缠结的喷雾/精华素的推荐。

图14示出了识别对于力梳(用于验证)和标志梳的基于图9至13的数据的各种参数之间的相关性强度的相关矩阵。强的相关性可以从以下之间看出：力梳的疼痛和绝对陀螺值；疼痛和角速度，以及疼痛和(线性)速度，均来自标志梳。

图7至14的数据说明了疼痛和梳子运动之间存在的关系，并且两者都可以用于识别解缠结事件。结果，表现分析器18可以基于超过解缠结疼痛阈值的疼痛评分和/或线速度或角速度小于解缠结速度阈值和/或加速度小于解缠结加速度阈值来确定解缠结事件。如下所述，在解缠结事件检测后，系统1可以提供使用者反馈以减轻解缠结疼痛和/或降低未来解缠结事件的发生率。

力模型–确定施加的梳力

毛发护理研究中的长期挑战是估计定型过程的不同点所涉及的力。为实现解缠结事件而施加的梳力可能直接取决于在洗涤和毛发护理过程中使用的一种或多种毛发护理产品的制剂性质。典型的方法是使用力梳(上文关于图7所述)来估计施加的梳理力。然而，这种梳子价格昂贵，将规模扩大到广泛的消费者是不实际的。

在一个或多个实施例中，基于从面部情绪分类器17接收的疼痛评分，表现分析器18可以使用力模型来确定力信号，施加到发梳上的力的相对水平的代表。如下(以及上文关于图7至8C)所述，疼痛评分与施加的梳子力相关，且因此，疼痛评分可用作施加的梳力的代理。以这种方式，所公开的系统1和方法能够报告力的代理量度，而不需要力梳。

在一些实施例中，疼痛评分仅与毛发护理进程的某些阶段期间施加的梳力相关，例如，在新的梳子行程开始时，此时梳子第一次抓住使用者的毛发，并可能由于梳子和毛发之间抓握产生的摩擦导致一些拖拉。例如，如果使用者陷入缠结中，那么可能只有非常有限的方式来摆脱缠结，这将决定所需的力而不考虑其他因素，并且在这些点上，表达的疼痛很可能是力的良好代理。因此，在一些实施例中，表现分析器18可以基于从梳子运动分类器16接收的疼痛评分和梳运动参数来确定力信号。当梳运动参数指示新的梳子行程开始时，表现分析器18可以基于疼痛评分来确定力信号。

以与解缠结模型类似的方式，力模型可以是ML算法，其可以在与关于图7至14描述的数据集类似的数据集上进行训练。也就是说，可以获得使用者使用具有附接的图3的标志的力梳进行毛发护理流程的数据。来自力梳本身的数据和与毛发护理流程期间捕获的图像序列相关的图像数据可用于生成模型。该模型可以基于力梳数据和来自对应于同一时间轴的视频图像的相应PSPI评分进行训练，如图7和图10所示。该模型还可以结合由梳子运动分类器16从图像序列中的梳子标志位置得出的梳子运动数据，例如图11和12所示的数据。

训练数据可以包括图9的训练方案数据的毛发定型段112。图15至18示出了以与图11至14的解缠结过程数据类似的方式呈现的对于定型段112捕获的数据。这些数据可能可用于为力模型补充额外的参数相关性，例如如上所述的梳子行程的开始。

图15示出了以与图11相同的方式，但是用于头发定型段数据针对各种运动参数绘制的PSPI评分的图。该图说明高疼痛评分与基本上零速度和基本上零加速度相关，而较低疼痛评分通常与较宽的加速度和速度范围相关。类似地，x位置1000和y位置1100的固定值与高疼痛评分相关，而较低的疼痛评分与宽范围的位置坐标相关。

图16示出了过滤后的图15的速度数据。过滤包括：去除疼痛评分等于0的数据；去除x位置和y位置等于0的数据；去除速度低于每秒800像素的数据；并添加回疼痛评分大于0.25的数据。图15的过滤数据说明了疼痛评分和梳子速度之间的相关性，R2拟合度为0.75。

图17示出了相对于图15的数据点的y位置1100绘制的x位置1000，具有其相关的疼痛评分。该数据显示了高疼痛评分高度集中的三个区域116。这样，表现分析器18可以识别其中施加的梳力过高的区域。系统1可提供反馈，如推荐可应用于疼痛区域116的用于减少梳子和毛发之间摩擦的喷雾/精华液。

使用力模型，表现分析器18可以从捕获的视频图像中监测疼痛评分和代理力信号。以这种方式，系统1可以基于相应的力信号(其可以是毛发护理进程的平均力信号)来跟踪、监测和比较对于特定使用者的一种或多种制剂产品的有效性。在产品开发或消费者研究期间，或者对于希望比较不同毛发护理产品的特定最终使用者来说，这种产品有效性监测可能特别有利。

在一些实施例中，表现分析器可以结合解缠结模型来应用力模型，以进一步表征特定使用者并提供更个性化的反馈。例如，表现分析器可以基于解缠结事件的数量和力信号指示的力的水平将使用者分为四种使用者类型：“低力，大量缠结”；“大力，大量缠结”；“低力，少量缠结”；和“大力，少量缠结”

在一些实施例中，表现分析器18可以区分与解缠结过程110相关的数据和与定型相关的数据。表现分析器18可以通过确定干燥剂的存在或通过梳子行程的平均轨迹来执行这种区分。通过区分解缠结过程110和头发定型过程112，表现分析器可以选择性地将解缠结模型应用于解缠结过程数据，并将力模型应用于毛发定型数据112。

使用者满意度模型

在一些实施例中，表现分析器18可以基于从面部情绪分类器17接收的快乐评分，应用满意度模型来确定使用者快乐，代表使用者对头发护理流程的满意度水平。表现分析器18可以仅分析与头发护理进程结束相关的图像的使用者满意度。例如，表现分析器17可接收来自梳子标志位置检测模块5或梳子运动分类器16的输出，其指示梳子标志已经静止表明头发护理流程已经完成的阈值时间。通过在毛发护理进程结束时检测使用者的快乐(或不快乐)，面部情绪分类器17可以有利地确定使用者对流程的满意度并提供适当的反馈。反馈可以包括，例如，进一步定型的建议、产品选择建议和正面的信息，如“你今天看起来很棒”，以增强快乐感。

其他表现分析模型

上述表现建模和分析的方法可应用于毛发护理流程的其他重要组成部分，从而产生进一步的分量模型。然后，表现分析器可以应用此类模型，进一步丰富最终使用者情况中的反馈个性化，或在研究用途情况中提供更复杂的方式来展示产品优势/使用表现。

作为本公开的部分设想的一个进一步示例性表现模型是梳子行程模型。可以使用来自使用梳子和标志执行毛发护理流程的使用者的多个视频序列的梳子运动参数数据来训练梳子行程模型。可以对训练数据进行标记，以突出显示哪些流程导致了健康的毛发、不愉快的情绪、大量的解缠结事件等。相对毛发健康可以根据以下任何一项来量化：毛发的光泽水平、毛发的丰盈、发梢分叉的数量、湿度水平、头皮屑水平等。可以针对训练数据人工确定毛发健康的相对水平，或者系统可以通过相应地分析图像来确定健康水平。表现分析器18随后可以使用梳子模型来监测使用者梳子行程，并向使用者提供与特定梳理技术的可能结果相关的反馈。可以根据使用者毛发类型/风格对梳子行程模型进行分类。

其他模型可以包括用于抓握/梳子卷曲的模型。

5.反馈

基于表现分析生成反馈41，并通过例如显示器12、声音反馈和触觉反馈中的一个或多个向使用者输出42。

该至少一个反馈项目可包括以下至少一项：(i)指示应用产品或用具的目标毛发区域；(ii)指示过度应用产品或用具的毛发区域。在毛发护理活动的实施例中，反馈项目可包括指示应用产品或用具的目标毛发区域和/或指示过度应用产品或用具的毛发区域，如吹风机、卷发或直发器具造成的过热。

在一些实施例中，反馈可以针对特定的毛发类型而个性化。该系统可以接收作为使用者输入的毛发类型，或者通过从一个或多个图像(如下面描述的流程前和流程后的图像)确定毛发类型。系统可以通过执行如上所述的分段来确定毛发类型。

即时反馈

在一些实施例中，系统1可在毛发护理流程期间向使用者提供反馈。如果表现分析器18检测到特定事件，可以给出与该事件相关的即时反馈。例如，如果表现分析器18检测到解缠结事件，系统可以提供反馈“缠结时刻”。反馈可以包括在解缠结期间处理疼痛的梳理策略，如用手在发根处抓住头发并用另一只手梳理，或者从头发末端开始以短分区来梳理缠结的头发，或者建议对缠结区域立即应用配制的产品(化学处理)，如解缠结溶液或免洗型调理剂。反馈可以识别高度缠结的区域(如图13所示)，以应用梳理策略或推荐的产品。

在进一步实施例中，如果表现分析器18使用梳子行程模型检测到与不期望的结果相关的梳子行程，则系统1可以提供即时补救反馈。该反馈可包括关于更好的梳理行程的建议，并可包括说明这些行程的动画。

在进一步实施例中，如果表现分析器18应用力模型并检测到梳子和毛发之间的不足抓握(在梳子行程开始时疼痛评分大于阈值)，则系统可以提供即时反馈，如提供关于梳理技术(梳理行程、梳子旋转等)的信息或应用热的建议。

流程反馈的结束

在一些实施例中，系统1可在毛发护理流程完成时向使用者提供反馈。系统1可基于毛发护理器具保持静态或超出图像边界达到阈值时间长度来检测丢发护理流程的完成。在其他实施例中，使用者可以提供手动输入来指示流程已经完成。

在一些实施例中，反馈可包括总结毛发护理流程的报告。例如，该报告可以指示利用解缠结模型检测的解缠结事件的数量和/或位置、基于梳子行程模型输出的关于梳理行程的统计和/或基于力模型输出的梳子与毛发之间的平均抓握。数据可以相对于可比使用者的群体分布或相对于先前为不同产品捕获的类似数据来阐明，从而使得使用者能够将表现的变化归因于产品变化。该数据可以与流程期间捕获的图像、所用产品的记录以及使用者的毛发类型和状况一起呈现。

多进程反馈

在一些实施例中，系统1可以向使用者提供与在多个进程中测量的表现的方面相关的反馈。通常，这种表现的评估是在多个不同的进程中对同一使用者进行的。

在这样的实施例中，分析毛发护理表现包括基于以下确定一个或多个表现参数：

i)当前毛发护理进程中使用者的一个或多个梳理参数和/或一个或多个面部表情；和

ii)来自先前个人护理进程的一个或多个相应的梳理参数和/或使用者的一个或多个面部表情。

通过提供多进程反馈，系统可以允许使用者将他们当前的毛发护理表现与先前进程的毛发护理表现进行比较。例如，反馈可以是“你为什么不像今天早上那样梳得慢一点”。或者，表现的变化可能导致新的化学处理推荐，如“似乎你比平时有更多的缠结。你为什么不尝试应用产品X呢？”，其中产品X是为减少头发缠结而配制的类型。

反馈的类型

在一些实施例中，反馈可包括在未来的毛发洗涤或毛发护理流程中使用的产品推荐。例如，产品推荐可涉及用于减少缠结事件、改善梳子-毛发抓握和/或改善毛发定型或毛发健康结果的制剂产品。图18说明了施加的梳子力可以取决于制剂产品的选择。产品推荐还可以包括器具推荐，如更细的梳子等。

在一些实施例中，可以基于使用者如何实现他们的最终风格来提供反馈，例如定型期间的梳理动作和梳子-毛发抓握。以类似于上述即时反馈的方式，系统1可以以推荐的梳理技术的形式提供反馈。

在一些实施例中，系统1可以基于来自使用者满意度模型的使用者满意度提供反馈，从而指示使用者对其最终外观的满意度。如果快乐评分低于快乐阈值，则反馈可以突出毛发护理流程与导致更高快乐评分的先前毛发护理流程之间的差异(梳理方式、抓握、产品选择)，并为下次提供推荐。如果快乐评分大于快乐阈值，系统可以以正面消息的形式提供反馈，以灌输信心并支持快乐感。

实例应用

图19示出了使用所公开系统的示例性方法。系统1可以部署在智能电话或平板电脑或类似的个人移动设备上的移动应用程序(app)中。

在使用者从应用商店或类似处下载之后，该系统可以有利地应用于面向消费者的应用。该系统还可以有利地用于产品研究和开发。例如，参与研究的使用者可以使用该应用，且表现分析数据可用于证明毛发护理产品的有效性。例如，数据可以量化配制产品在“缓解”解缠结事件(例如，通过减少所需的力)中的表现。

在使用者启动应用后，系统可以执行一些初始设置(步骤120)。例如，系统可以启用设备上的相机并提供指导使用者放置设备的指令，使得可以捕获毛发定型设计事件的良好图像。使用者可以在来自应用的指令指导的距离处(太近、太远、太低、太高等)使用设备作为镜子。

在开始毛发护理流程之前，系统可以向使用者提出多个问题(例如，你的发型是什么？你多久染一次头发？等等)并接收适当的使用者输入作为响应(步骤121)。

系统可以捕获并存储使用者的流程前图像(步骤122)。

当使用者开始他们的毛发护理流程时，系统从设备的相机接收图像序列(步骤123)。然后，系统可以如上面详细描述的分析表现(步骤124)。在一些实施例中，系统可以通过在图像序列中跟踪毛发护理器具的位置来分析毛发护理表现。在一些实施例中，系统可以通过分析使用者的面部表情来分析毛发护理表现。该系统可通过确定一个或多个表现参数(例如，梳子-毛发抓握、梳子行程轨迹)或检测一个或多个毛发护理事件(例如，解缠结事件)来分析毛发护理表现。该系统可以根据毛发护理流程的阶段，如解缠结过程和定型过程，进行不同的表现分析。

响应于表现分析，如上所述，系统可以向使用者提供即时纠正反馈(步骤125)。

在毛发护理流程完成后，系统可以捕获并存储流程后图像(步骤126)。流程前图像和流程后图像可以被分割以将毛发从背景隔离，然后相对于“已知”形状尺度进行分类。图像可以定义使用者的开始和结束毛发类型/风格，并影响反馈，如最适合其毛发类型的产品推荐。

在步骤127，系统可以提供如上所述的流程后反馈。

上面举例说明的梳子跟踪系统可以实现对梳子和面部特征的基于纯视觉的跟踪。梳子上不需要放置传感器。不需要在梳理的个人身上放置传感器。可以在当前可用的移动电话技术上以足够的性能稳健地实施该技术。可以使用常规的2D相机视频图像来执行该技术。

在整个当前说明书中，表述“模块”旨在包含功能系统，其可以包含在通用或定制处理器上执行的计算机代码，或者该功能的硬件机器实现，例如，在专用集成电路上。

尽管，例如，面部跟踪模块4、梳子标志位置检测模块5、梳子标志取向估计器/检测器模块6和分类器10的功能已经被描述为不同的模块，但是其功能可以作为单个或多线程处理被组合在合适的处理器内，或者在不同的处理器和/或处理线程之间被不同地划分。可以在单个处理设备或分布式计算平台上提供该功能，例如，一些过程在远程服务器上实现。

可以通过智能手机应用或在移动电信设备上执行的其他过程实现数据处理系统的至少部分功能。可以在智能手机上提供所描述的某些或全部功能。使用智能手机的远程通信设施(如蜂窝电话网络和/或无线互联网连接)可以通过远程服务器来提供一些功能。

应当理解，本公开的方面可以比毛发护理更广泛地应用。例如，各种实施方案可应用于个人梳理。个人梳理活动可以包括牙齿护理活动、皮肤护理活动和毛发护理活动中的一项。个人梳理活动可以包含刷牙，并且至少一个反馈项目可以包括指示在口腔的多个刷洗区域中刷洗的充分或不充分程度。反馈信息可以包括在使用者面部对应于刷洗区域的位置给出刷洗水平的视觉指示。

其他实施方式也意在所附权利要求的范围内。

在整个本说明书中，与相对取向和位置相关的描述符，如“水平”、“垂直”、“顶部”、“底部”和“侧面”，就表示附图中所示的设备的取向的意义使用。然而，这些描述符并不旨在以任何方式限制所描述或要求保护的发明的预期使用。此外，这里提到的力的确定可以涉及力的代理的确定，例如加速度。

应当理解，根据上下文，对“接近”、“之前”、“之前不久”、“之后”、“之后不久”、“高于”或“低于”等的任何引用可以指所讨论的参数小于或大于阈值，或者在两个阈值之间。

Claims (15)

1.一种用于帮助使用者执行毛发护理的方法，其包括：

接收毛发护理过程中使用者面部的图像序列；

通过确定所述图像序列中所述使用者的面部表情来分析毛发护理表现；和

基于所述毛发护理表现为所述使用者提供反馈。

2.如权利要求1所述的方法，其中：

分析所述毛发护理表现包括基于所述使用者的面部表情确定一个或多个表现参数和/或一个或多个毛发护理事件；和

提供反馈包括基于所述一个或多个表现参数和/或一个或多个毛发护理事件提供反馈。

3.如权利要求2所述的方法，其中所述一个或多个毛发护理事件包括解缠结事件。

4.如权利要求2或3所述的方法，其中所述一个或多个表现参数包括以下的一个或多个：施加的器具力、器具-毛发抓握和使用者满意度。

5.如前述任一项权利要求所述的方法，还包括：

对于所述图像序列中的每个图像确定一个或多个面部动作单元；和

通过基于所述一个或多个面部动作单元确定面部表情评分来确定所述使用者的面部表情。

6.如前述任一项权利要求所述的方法，其中确定所述使用者的面部表情包括确定表观情绪表达，该表观情绪表达包括以下的一项或多项：自信、享受、疼痛、沮丧、困惑和快乐。

7.如权利要求5或6所述的方法，其中所述毛发护理器具包括发梳，且所述方法包括，如果所述使用者的面部表情包括大于解缠结疼痛阈值的面部表情评分，则确定解缠结事件。

8.如权利要求5-7中任一项所述的方法，其中所述毛发护理器具包括发梳，且所述方法包括在梳理行程开始时基于所述使用者的面部表情的所述面部表情评分确定施加的器具力。

9.如前述任一项权利要求所述的方法，还包括基于所述使用者的面部表情的表观情绪表达评分确定使用者满意度评分。

10.如权利要求2或其任一项从属权利要求所述的方法，还包括：

根据检测的表现参数或毛发护理事件识别合适的化学处理，

其中提供所述反馈包括向所述使用者提供执行所识别的处理的指示。

11.如前述任一项权利要求所述的方法，其中提供反馈包括为所述使用者提供以特定方式操作所述毛发护理器具的指示。

12.如权利要求2或其任一项从属权利要求所述的方法，还包括：

根据检测的表现参数或毛发护理事件来识别器具技术，

其中提供所述反馈包括向所述使用者提供执行所述器具技术的指示。

13.如权利要求2或其任一项从属权利要求所述的方法，还包括：

通过使用所述图像序列追踪所述毛发护理器具的位置和取向来确定一个或多个器具参数，和

基于所述使用者的面部表情和所述器具参数来确定所述一个或多个表现参数和/或所述一个或多个毛发护理事件。

14.一种计算机程序产品，其包含计算机可读指令，当在计算机上执行时，所述计算机程序产品使得所述计算机执行前述任一项权利要求所述的方法。

15.一种毛发护理监测系统，其包括被配置用于以下的处理器：

接收毛发护理过程中使用者面部的图像序列；

通过确定所述图像序列中所述使用者的面部表情来分析毛发护理表现；和

基于所述毛发护理表现为执行毛发护理的所述使用者提供反馈。