CN114502061B - 使用深度学习的基于图像的自动皮肤诊断 - Google Patents

使用深度学习的基于图像的自动皮肤诊断 Download PDF

Info

Publication number
CN114502061B
CN114502061B CN201980091094.9A CN201980091094A CN114502061B CN 114502061 B CN114502061 B CN 114502061B CN 201980091094 A CN201980091094 A CN 201980091094A CN 114502061 B CN114502061 B CN 114502061B
Authority
CN
China
Prior art keywords
skin
evidence
neural network
image
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980091094.9A
Other languages
English (en)
Other versions
CN114502061A (zh
Inventor
蒋若为
马俊伟
马赫
艾瑞克·埃尔莫斯尼诺
埃琳娜·克泽勒
艾利克斯·莱文什坦
朱利恩·戴斯伯斯
马修·佩罗特
弗莱德里克·A·R·S·弗拉门特
帕汉姆·阿拉比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ba Lioulaiya
Original Assignee
Ba Lioulaiya
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ba Lioulaiya filed Critical Ba Lioulaiya
Publication of CN114502061A publication Critical patent/CN114502061A/zh
Application granted granted Critical
Publication of CN114502061B publication Critical patent/CN114502061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dermatology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

示出和描述了一种用于皮肤诊断和测试度量的基于深度学习的系统和方法，显示这种基于深度学习的系统在表观皮肤诊断任务上的表现优于人类专家。还示出和描述了一种使用基于深度学习的用于皮肤诊断的系统和方法来监测皮肤治疗方案的系统和方法。

Description

使用深度学习的基于图像的自动皮肤诊断
交叉引用
本申请针对美国要求巴黎公约对2018年12月4日提交的美国临时专利申请第62/775,117号的国内利益和所有其他司法管辖区的优先权，其内容在允许的情况下通过引用结合于此。
技术领域
本文件涉及诸如用于皮肤病学的皮肤诊断以及皮肤治疗监测，并且更具体地涉及用于使用深度学习的基于图像的自动皮肤诊断的系统和方法。
背景技术
精确的皮肤分析是医学和化妆品领域的重要方面。可生成并分析皮肤的图像以确定一个或多个皮肤状况。期望仅仅通过使用计算机技术通过图像观察皮肤(表观皮肤诊断任务)来解决皮肤分析问题。该问题的成功解决方案将使皮肤分析更快且更便宜，因为它将不再需要皮肤科医生亲自检查人们。
诸如面部的图像之类的图像以编码的方式在图像的像素内呈现一个或多个皮肤状况。期望提供使用深度学习来执行基于图像的自动皮肤诊断或使得能够执行基于图像的自动皮肤诊断以从图像解码一个或多个皮肤状况的计算机实现的方法、计算设备和其他方面。
发明内容
示出并描述了一种用于皮肤诊断以及测试度量的基于深度学习的系统和方法，其示出了这种基于深度学习的系统在表观皮肤诊断任务上的表现优于人类专家。还示出和描述了一种使用基于深度学习的用于皮肤诊断的系统和方法来监测皮肤治疗方案的系统和方法。
提供了一种皮肤诊断设备，包括：存储单元，用于存储和提供卷积神经网络(CNN)，该CNN被配置为对图像的像素进行分类以确定针对多个(N个)相应皮肤迹象中的每一皮肤迹象的多个(N个)相应皮肤迹象诊断，其中，CNN包括用于图像分类的深度神经网络，该深度神经网络被配置为生成N个相应的皮肤迹象诊断，并且其中，使用针对N个相应的皮肤迹象中的每个皮肤迹象的皮肤迹象数据来训练CNN；以及处理单元，耦接至存储单元，该处理单元被配置为接收图像并且使用CNN处理图像以生成N个相应的皮肤迹象诊断。
CNN可包括：编码器相位，其由用于图像分类的经预训练的网络定义并且被配置成将特征编码为最终编码器相位特征网；以及解码器相位，被配置成接收最终编码器相位特征网，该最终编码器相位特征网由多个(N个)相应并行皮肤迹象分支进行解码以生成N个相应皮肤迹象诊断中的每个。解码器相位包括全局池化操作以处理最终编码器相位特征网从而将其提供给N个相应并行皮肤迹象分支中的每个并行皮肤迹象分支。CNN可进一步被配置成对像素进行分类以确定族裔向量，并且使用针对N个相应皮肤迹象中的每个皮肤迹象的皮肤迹象数据和多个族裔来训练CNN。解码器相位可包括族裔的另一个并行分支，以生成族裔向量。
N个相应并行皮肤迹象分支中的每个分支依次包括：第一全连接层、接着是第一激活层、第二全连接层、第二激活层和最终激活层，以输出包括N个相应皮肤迹象诊断中的一个和族裔向量的最终值。可根据等式(1)的函数针对从第二激活层接收的输入分数x来定义最终激活层：
其中，针对N个相应皮肤迹象诊断中的每个的相应分数范围，α是斜率，a是下限，b是上限。
可以使用形式为(xi，yi)的多个样本来训练CNN，其中，xi是第i个训练图像并且yi是基础真实皮肤迹象诊断的对应向量；CNN被训练以最小化N个并行皮肤迹象分支的每个相应分支和族裔的另一个并行分支的损失函数。CNN可被进一步训练成根据等式(3)最小化损失函数L，该损失函数包括与族裔的另一个并行分支的标准交叉熵分类损失L族裔的加权组合的用于N个相应皮肤迹象分支中的每个皮肤迹象分支的L2损失函数：
L＝L2+λL族裔 (3)
其中，λ控制分数回归与族裔分类损失之间的平衡。
存储单元可存储面部和界标检测器以预处理图像，且处理单元可被配置为使用面部和界标检测器从图像生成标准化图像并且在使用CNN时使用标准化图像。
CNN最初可包括用于图像分类的经预训练的网络，该经预训练的网络适于通过以下来生成N个相应的皮肤迹象诊断：移除经预训练的网络的全连接层；以及定义N个相应的层组以针对N个相应的皮肤迹象诊断中的每个皮肤迹象诊断对相同的特征网进行并行解码。
皮肤诊断设备可被配置成以下之一：包括移动设备的个人用计算设备；以及经由通信网络提供皮肤诊断服务的服务器。
存储单元可存储代码，该代码在由处理单元执行时提供治疗产品选择器以响应于N个皮肤迹象诊断中的至少一些皮肤迹象诊断来获得针对产品和治疗计划中的至少一个的推荐。
存储单元可存储代码，该代码在由处理单元执行时提供图像获取功能以接收图像。
该存储单元可存储代码，该代码在由该处理单元执行时提供治疗监测器以监测针对至少一个皮肤迹象的治疗。
该处理单元可被配置为进行与针对相应的治疗阶段的产品应用相关联的治疗活动的提醒、指示和/或记录中的至少一项。
处理单元可被配置为使用CNN处理第二图像以生成在治疗期之后接收的后续皮肤诊断。存储单元可存储代码，该代码在由处理单元执行时使用后续皮肤诊断来提供比较结果的呈现。
提供了一种计算机实现的皮肤诊断方法，该方法包括：提供用于存储和提供卷积神经网络(CNN)的存储单元，该卷积神经网络被配置为对图像的像素进行分类以便针对多个(N个)相应皮肤迹象中的每个皮肤迹象确定多个(N个)相应皮肤迹象诊断，其中，CNN包括用于图像分类的深度神经网络，该深度神经网络被配置为生成N个相应的皮肤迹象诊断，并且其中，使用针对N个相应的皮肤迹象中的每个皮肤迹象的皮肤迹象数据来训练CNN；以及由耦接到存储单元的处理单元执行：接收图像；以及使用CNN处理图像以生成N个相应的皮肤迹象诊断。
存在第二方法，该第二方法包括：训练卷积神经网络(CNN)，该卷积神经网络被配置为对图像的像素进行分类以便针对多个(N个)相应皮肤迹象中的每个皮肤迹象确定多个(N个)相应皮肤迹象诊断，其中，CNN包括用于图像分类的深度神经网络，该深度神经网络被配置为生成N个相应的皮肤迹象诊断，并且其中，使用针对N个相应的皮肤迹象中的每个皮肤迹象的皮肤迹象数据来执行训练。
这些和其他方面对本领域普通技术人员而言将是显而易见的，包括计算机程序产品方面，其中(非瞬态)存储单元存储指令，这些指令在由处理单元执行时将计算设备的操作配置成执行本文中的计算机实现的方法方面中的任何方面。
附图说明
图1是示出皮肤迹象的照片合成。
图2是根据本文中的实施方式或示例的深度学习系统的示意图。
图3是图2的深度学习系统的更详细的示意图。
图4是根据本文中的实施方式的提供用于各个方面的环境的计算机网络的图示。
图5是图4的计算机网络的计算设备的框图。
图6A、6B、6C和6D是根据本文的实施方式的计算设备的操作的流程图。
本发明构思通过其某些实施方式得到最好的描述，本文中参考附图来描述这些实施方式，其中：贯穿全文，相同的参考标号指代相同的特征。应当理解，当在本文中使用时，术语“发明”旨在表示作为以下描述的实施方式的基础的发明构思，而不仅仅是实施方式本身。应进一步理解，总体发明构思不限于以下描述的说明性实施方式，并且应鉴于此阅读以下描述。
具体实施方式
介绍
本文中的术语“皮肤迹象”或“迹象”是指特定的皮肤状况，诸如(但不限于)鼻唇褶皱、不同地定位的皱纹；面部的下部的下垂；皮脂毛孔；全脸色素沉着；和血管病症。图1是一个照片合成100，示出了皮肤迹象，诸如前额皱纹102、眉间皱纹104、眼皱纹下面106、鼻唇褶皱108、唇缘的拐角的皱纹110以及面部的下部的下垂112。人脸的外观经历由多种因素引起的结构变化。这些因素包括时间性衰老、光衰老、食物相关的习惯(厌食或肥胖)、生活方式因素(睡眠问题、吸烟、酗酒等)。这些结构变化显然最关注局部皱纹(例如，前额、眉毛、上唇)，但通常伴随面部外观的全局松垂(下垂)(例如，眼睑下垂、眼松垂、颈部下垂)或面颊上扩大的皮肤毛孔的存在。所有这些变化(其可以在几年或几十年中微妙地进展)根据性别和族裔得到不同地表达。并且除了它们对皮肤色素沉着(扁豆素、黑斑、皮肤变暗)或对血管皮肤网络(发红、毛细血管扩张等)的众所周知的影响(与空气污染相关或无关)之外，它们还通过对太阳(UV)的可变暴露而突出。
将一些面部迹象的各种严重程度分级是不同目的的重要需要，这些目的是皮肤学(皮肤剥落、矫正手术等)、美容(皮肤护理、抗衰老产品)或作为对客户的可能帮助/建议。这种需要不仅对主要科学客观性作出响应，它还可以用于检测错误的产品声明。该分级目的是通过来自L’Oreal S.A(R.Bazin,E.Doublet,in:P.E.Med’Com(Ed.),Skin AgingAtlas.Volume 1,Caucasian Type,2007.R.Bazin,F.Flament,in:P.E.Med’Com(Ed.),SkinAging Atlas.Volume 2,Asian Type,2010.R.Bazin,F.Flament,F.Giron,in:P.E.Med’Com(Ed.),Skin Aging Atlas.Volume 3,Afro-American Type,2012.R.Bazin,F.Flament,V.Rubert,in:P.E.Med’Com(Ed.),Skin AgingAtlas.Volume 4,Indian Type,2015.And,F.Flament,R.Bazin,H.Qiu,in:P.E.Med’Com(Ed.),Skin Aging Atlas.Volume 5,Photo-aging Face&Body,2017)的多卷参考皮肤图集的可用性实现的。该皮肤图集通过专业处理的照片标准化了20多个面部迹象的视觉分级(以及它们各自增加的严重程度尺度，即，0到4、5、6或7)，这些面部迹象包括年龄不同的四个族裔的两种性别。在给定迹象上进行缩放，不管整体面部外观，允许皮肤专家盲目地将分级归于面部迹象在其相应的严重程度尺度内。这些皮肤图集表明衰老过程对不同性别的人有不同的影响，但是在相同性别内，效果类似。然而，面部迹象的一些变化是族裔特定的。除了提供对面部迹象随衰老的变化的精确描述之外，在四个族裔的两种性别中，该方法导致确定在白种人或中国女性中一些面部迹象更与由单日工作引起的疲劳有关或相关。然而，仍然有待探索另一个挑战性的且重要的步骤：是否可以开发出一种无需人工评估的自动过程，该自动过程可通过标准化照片或手机在照明的可变的现实条件下和在人类活动(工作、运动、乘坐公共交通等)过程中拍摄的照片(例如，通过“自拍”和自拍视频)对一些结构面部迹象分级，简言之，许多可能的应用希望从“盲/中性”自动系统获得量化数据。
因此，描述了使用不同年龄和族裔的女性的数据开发的皮肤诊断的深度学习方法，包括这种方法的技术方面和所获得的结果。还呈现了与通过专家分级(使用皮肤图集)获得的数据的比较。
将表观皮肤诊断问题(由此仅从图像评估皮肤迹象)投射为使用深度学习的计算机实现的监督回归问题。如示出深度学习系统200的图2的示意图所表示的，在测试或实况运行时间，给出面部图像x202，系统200的神经网络204返回分数的向量y206，其中y＝fθ(x)，并且其中fθ是由θ参数化的神经网络204。y206的每个分量相应于不同的皮肤迹象。如进一步描述的，还可以确定其他皮肤评级或因素，如族裔。
虽然有可能为每个皮肤迹象设计单独的神经网络，但是跨迹象学习的低级特征中的相似性允许实现上述方法，其中，所有迹象由单个网络联合估计。附带益处是更高的计算效率。
不是从头设计神经网络，而是可以采用已被证明适用于各种任务的架构。具体地，可以采用ResNet50(a 50layer Residual Network from Microsoft Research Asia asdescribed by K.He,X.Zhang,S.Ren,J.Sun,Deep Residual Learning for ImageRecognition,in:Proceedings of the IEEE conference on computer vision andpattern recognition,2016,pp.770-778，其全部内容结合于此)和MobileNet V2(thesecond version of the depthwise separable convolutional neural network fromGoogle Inc.as described by M.Sandler,A.Howard,M.Zhu,A.Zhmoginov,L.-C.Chen,Inverted Residuals and Linear Bottlenecks:Mobile Networks for Classification,Detection and Segmentation,arXiv preprint arXiv:1801.04381,13Jan.2018，其全部内容结合于此)架构。
ResNet50和MobileNetV2是在ImageNet(用于分类的图像数据的开源数据库)上训练的卷积神经网络。ResNet50被用作许多最先进系统的主干，并且MobileNetV2是一个更有效的网络，如果运行时间和存储空间是个问题，则MobileNetV2可以以合理的精度降级被使用。当用于分类时，这些网络中的每个网络包含大的完全卷积部分，从而导致低分辨率但强大的CNN特征集(例如，在编码器相位中)，接着是全局最大或平均池化以及具有最终分类层的若干全连接层(在解码器相位中)。每个都是良好的适配候选。
图3是更详细地示出神经网络202的深度学习系统200的示意图，该神经网络202包括由来自诸如ResNEt50或MobileNetV2的源网络的层(例如，具有相应操作的组件)定义的编码器组件302以及解码器组件304。解码器组件304包括全局最大池化层306和相应的并行分支(例如，为了简化而示出的308、310和312，应理解的是，对于N个皮肤迹象，存在N+1个并行分支)，这些并行分支用于对输出向量206中的N个皮肤迹象中的每个皮肤迹象和族裔因子(输出314)进行解码。
不是仅替换最终分类层，而是在池化层之后裁剪源网络中的每个源网络以构建特征网(神经网络204)。具体地，ResNet50在其平均池化层之后被裁剪，并且平均池化层被全局最大池化层(例如，306)替换，从而产生1x1x2048特征向量。类似地，对于MobileNetV2，对全连接层进行裁剪，并且用全局最大池化层替换平均池化层，从而使得新特征网输出1x1x1280特征向量。并行分支308、310和312中的每个从全局最大池化层306接收输出。
由于不同的皮肤迹象对潜在不同的图像特征的依赖性而做出这种早期分支选择，并且通过实验验证该选择。每个皮肤迹象分支(相应并行分支308、310之一)包括两个全连接层，每个全连接层后接激活层。其首先通过全连接层连接特征网(ResNet50或MobileNet)，全连接层的输入大小作为池化之后的特征大小(例如，分别为1x1x2048或1x1x1280)和输出大小50，接着是ReLU激活层(例如，整流线性激活单元)。具有输入大小50和输出大小1的第二全连接层之后接着是输出最终分数的定制的激活层。
该系统符合由欧莱雅维护的国际上接受的皮肤分数图集(如本文上面提到的)，并且因此皮肤迹象具有取决于其类型、人的族裔和性别的个体尺度。由于每个皮肤迹象具有界限。最后一层没有使用纯线性回归层或其他激活函数，而是使用自定义函数，即类LeakyReLU的激活函数(命名为LeakyClamp)。在A.L.Maas,A.Y.Hannun,A.Y.Ng,RectifierNonlinearities Improve Neural Network Acoustic Models,in:Proc.InternationalConference on Machine Learning,Vol.30,2013,p.3,中描述了Leaky ReLU，通过引用结合于此。当x＜0时，Leaky ReLU寻求解决“垂死的ReLU”问题。代替当x＜0时标准ReLU函数为零，leaky ReLU具有小的负斜率(例如，接近零，0.01左右)。
LeakyClamp具有低于最小激活和高于最大激活的接近零的斜率，其中最大激活取决于根据等式1的迹象而不同：
其中，针对分数范围，α是斜率，a是下限，b是上限。在训练中，选择α被选择为0.01，并且a,b被选择为每个迹象的分数范围。
为了训练深度学习网络，如在此在评估部分中进一步描述的，获得并使用形式为(xi，yi)的多个样本，其中，xi是第i个训练图像并且yi是相应的分数向量。为了找到参数θ的最佳集合，将损失函数最小化。使用若干损失函数进行了实验，但没有发现其中一个比另一个更好.
因此，将标准L2损失(等式2)最小化并用于本文所示数据中，其中，L2为：
argθmin∑i||yi-fθ(xi)||2 (2)
此外，由于皮肤分数对族裔的依赖性，定义了单独的族裔预测分支(相应的平行分支312之一)，其具有自己的组件结构和额外的标准交叉熵分类损失L族裔。族裔分支(312)具有输入大小作为特征大小并且输出大小作为族裔数量的一个全连接层。额外损失L族裔帮助在正确方向上引导训练，但是在测试时也有帮助，使得可以通过使用人的族裔群正确地解释输出分数。L2损失和交叉熵分类损失L族裔与权重λ组合成损失L，如在等式3中阐述的：
L＝∑i‖yi-fθ(xi)‖2+θL族裔 (3)
其中，λ控制分数回归与这些族裔分类损失之间的平衡。在训练中，使用λ＝0.002。
按照常见的迁移学习实践，网络在ImageNet上进行预训练，然后使用(例如最小化)上述损失对皮肤诊断数据进行微调。还应用与用于ImageNet的预训练过程相同的图像标准化，以[0.485，0.456，0.406]为中心，标准偏差为[0.229，0.224，0.225]。使用Adam优化器、基于一阶梯度的随机目标函数优化，在微调训练过程中使用学习率0.0001和批量大小16。Adam早于2014年12月22日在D.P.Kingma,J.Ba,Adam:A method for stochasticoptimization,CoRR abs/1412.6980.arXiv:1412.6980中被描述，并且通过引用结合在此。
表观皮肤诊断有许多科学、商业和其他应用，包括客户应用。虽然可以通过在受控照明条件下拍摄图像并利用标准化姿势来控制一些此类应用的成像条件，但这可能不可行，尤其是在客户应用中。因此，可能期望深度学习系统能够处理各种照明条件和面部姿势。仍然参见图3，为了处理后者，在一个示例中，可以使用源输入图像318上的面部界标检测器316(诸如在V.Kazemi,J.Sullivan,One millisecond face alignment with anensemble of regression trees,in:IEEE Conference on Computer Vision andPattern Recognition,2014,pp.1867-1874中描述的，通过引用并入本文)对图像进行预处理以进行标准化，以基于检测到的界标对面部(输出图像202)进行标准化。以这种方式，输入面部图像x总是固定比例的面部正面图像。
在训练期间，训练数据可能会增加不同比例的裁剪(从0.8到1.0随机选择)，以处理任何比例变化，即使在基于界标的裁剪之后。在随机裁剪图像之后，将每一输入图像重新调整大小到448像素乘334像素的分辨率(例如，以匹配源网络的预期输入分辨率)。此外，在训练过程期间，所选图像以0.5的概率随机地水平翻转。为了应对照明变化，如本文评估部分所述，对具有各种照明条件的图像进行训练。
评估
该模型是根据以下九个皮肤迹象在两个女性图像数据集上评估的训练结果：
·鼻唇褶皱；
·眉间皱纹；
·前额皱纹；
·眼皱纹下面；
·唇部皱纹的拐角；
·面部下部的下垂；
·脸颊皮脂毛孔；
·全脸色素沉着；以及
·血管病症。
注意，最后两个皮肤迹象仅针对白种人和亚洲族裔来定义。第一数据集由5834个女性图像组成，这些女性图像使用专业摄像机在受控实验室条件下以理想照明和面部姿势拍摄(随后被称为“临床数据集”)。注意，并非此数据集中的所有图像都包含所有九个迹象的真实数据。该第二数据集由手机在不受控的照明条件下拍摄的自拍图像组成(随后被称为“自拍数据集”)。它包含三个族裔(白种人、亚洲人和非洲人)的380张女性图像，其中每个人在四种不同的照明条件下拍摄：室外日光、室内日光、室内人工漫射光和室内人工直射光。这导致总共4560张图像。对于两个数据集，90％的数据用于训练和10％用于测试。同样，在两种情况下，应用相同的面部标准化框架，尽管临床数据集中的某些图像不需要它。此框架未能检测到一些图像中的面部和面部界标，且因此，训练和测试数据的量稍微减少。
两个数据集都由专业皮肤科医生手动注释，每个图像由十至十二位专家注释。将平均专家预测视为真实数据。
可以对和针对男性图像进行训练。可以施加成像条件，诸如关于没有面部毛发来获得清晰的图像。面部毛发不仅将极大地影响覆盖有面部毛发的皮肤区域中的迹象的分数，而且由于针对所有迹象一起训练特征，因此这也将影响总体训练。男性和女性的皮肤迹象相同。
使用若干测量来评估包括神经网络202的经训练的深度学习系统200。对于族裔预测，测量正确分类的百分比。临床数据集和自拍数据集的测试准确度相应地为99.7％和98.2％。对于皮肤分数，使用两种测量。第一种测量是平均绝对误差(MAE)，其是所有样本上的预测分数与基础真实分数之间的绝对差的平均值。然而，更有意义的误差测量是绝对误差低于某个阈值(％(MAE＜T))的样本比例。取决于应用，该阈值可以是或多或少严格的；因此，针对若干不同阈值报告此误差测量。以下是临床和自拍数据集的结果。
表1示出了临床数据集的结果，表2示出了自拍数据集的结果。例如，观察到虽然典型的分数范围是从0至5–10，但是深度学习系统200能够针对任何皮肤迹象(并且对于一些迹象更加准确)在超过90％的绝对误差1内预测分数。
表1：临床数据集上的自动皮肤诊断准确度
表2：自拍数据集上的自动皮肤诊断准确度
对于自拍数据集(表2)，尽管照明条件控制较少，但在大多数情况下，结果甚至更好。然而，还观察到专家本身在他们之间甚至在同一专家的不同照明条件下的得分差异非常大。因此，基础数据是有偏差的，并且系统200可能内部地学习预测照明条件以更好地预测分数。这可能有助于跨不同照明条件收集更一致的基础数据。
然而，目前，数据显示，即使对于专业皮肤科医生来说，基于“野外”图像对皮肤迹象进行评分也是一项艰巨的任务，并且系统200在这项任务中胜过他们。这在表3中可见，每张图像的绝对误差是通过将每个专家的预测与专家对该图像的平均预测进行比较来计算的，因为每张图像平均由12位专家评分。通过比较表2和表3，可以观察到除了全脸色素沉着之外，系统100对于每个迹象比专家更准确。
表3：自拍数据集上的专家准确度
除了对自拍数据的基于图像的分数的模型验证之外，还对皮肤科医生能够亲自对皮肤状况迹象进行评分的测试对象的子集进行验证。专业的皮肤科医生接受了来自68位受试者的访问(每位受试者大约12位专家)，并且对他们进行现场评估，而不考虑基于受试者图像的分数。与基于图像的分析类似，针对每个皮肤条件迹象计算平均绝对误差，用于：1)系统200中的模型，通过将来自该模型的预测与特定测试受试者的迹象的平均专家分数进行比较，以及2)专家亲自评估，通过将每个专家分数向量与该受试者的平均专家分数向量进行比较。以下示出了涉及模型性能(表4)和专家性能(表5)的两个表。即使在这种专家亲自评分的情况下，类似于基于图像的分数的情况，来自系统200的自动分数预测也比专业的皮肤科医生的预测产生更高的准确度，这里，用于所有迹象。
表4：‘亲自’验证数据集的自动皮肤诊断准确度
表5：‘亲自’验证数据集的专家准确度
为了更好地理解表4和5中的结果，进行与表2和3中相同的验证分析，但是仅使用在亲自评估的68名受试者的子集。结果示于下表6和7中。同样，利用来自系统200的模型分数预测获得比通过专家评分显著更高的准确度。
表6：68名受试者的子集的自动皮肤诊断准确度
表7：68位受试者的子集的专家准确度
图4是示例性计算机网络400的框图，其中，用户404操作的供个人使用的计算设备402经由通信网络404与远程定位的服务器计算设备(即服务器406和服务器408)通信。用户404可以是客户和/或皮肤科医生的患者。还示出了被配置用于经由通信网络404通信的第二用户410和第二计算设备412。第二用户410可以是皮肤科医生。计算设备402供用户个人使用并且对公众不可用，诸如来自服务器的服务。这里，公众包括注册用户和/或客户等。
简言之，计算设备402被配置成执行如本文所述的皮肤诊断。神经网络200可以在计算设备402上存储和利用，或者它可以从服务器406(诸如经由云服务、网络服务等)根据从计算设备402接收的图像来提供。
计算设备402被配置成与服务器408通信，例如以提供皮肤诊断信息并且接收响应于皮肤诊断的产品/治疗推荐和/或关于用户的其他信息，例如年龄、性别等。计算设备402可被配置成将皮肤诊断信息(其可包括图像数据)传送给服务器406和408中的任一者或两者，例如以存储在数据存储(未示出)中。服务器408(或未示出的另一服务器)可提供电子商务服务以销售推荐的产品。
计算设备402被示为手持式移动设备(例如，智能电话或平板电脑)。然而，它可以是另一计算设备，诸如膝上型计算机、台式计算机、工作站等。本文所述的皮肤诊断可在其他计算设备类型上实现。计算设备402可以例如使用一个或多个本地应用或基于浏览器的应用来配置。
计算设备402可包括用户设备，例如，用于获取一个或多个图像(诸如皮肤(特别是面部)的图片)并处理图像以提供皮肤诊断。可以与皮肤治疗计划相关联地执行皮肤诊断，其中周期性地采集并分析图像以确定一个或多个皮肤迹象的皮肤分数。这些分数可以被存储(本地、远程或两者)并且在期间进行比较，例如以示出趋势、改进等。皮肤分数和/或皮肤图像可由计算设备402的用户404访问并且使其可用(例如通过服务器406或通过通信网络404以另一种方式(电子地)传送)给计算机系统400的另一个用户(例如第二用户410)，例如皮肤科医生。第二计算设备412还可执行如所描述的皮肤诊断。其可从远程源(例如，计算设备402、服务器406、服务器408等)接收图像和/或可经由耦接到远程源的光学传感器(例如，相机)或以任何其他方式捕捉图像。如所描述的，神经网络200可从第二计算设备412或从服务器406存储和使用。
可提供一种应用来执行皮肤诊断、建议一种或多种产品并且在产品的一次或多次应用(其可以定义治疗计划中的治疗阶段)之后监测一段时间内的皮肤变化。计算机应用可提供工作流，诸如一系列指导性图形用户界面(GUI)和/或通常是交互式的并且接收用户输入的其他用户界面，以执行任何以下活动：
·皮肤诊断；
·诸如针对治疗计划的产品推荐；
·产品购买或其他获取；
·提醒、指示和/或记录(例如，写入日志)相应治疗阶段的产品应用；
·后续(例如，一次或多次随访)皮肤诊断；并且
·呈现结果(例如，比较结果)；
诸如根据用于监测皮肤治疗计划的进展的治疗计划时间表。这些活动中的任何一个可生成可以远程存储的数据，例如供用户410查看、供另一个人查看、供与其他用户的数据聚合以测量治疗计划疗效等。
无论是在治疗计划期间和/或完成时等，比较结果(例如，在结果之前和之后)都可以通过计算设备402呈现。如上所述，皮肤诊断的各方面可在计算设备400上或由远程耦接的设备(例如，云中的服务器或其他布置)来执行。
图5是根据本公开的一个或多个方面的计算设备402的框图。计算设备402包括一个或多个处理器502、一个或多个输入设备504、基于姿势的I/O设备506、一个或多个通信单元508和一个或多个输出设备510。计算设备402还包括存储一个或多个模块和/或数据的一个或多个存储设备512。模块可包括深度神经网络模型514、具有用于图形用户界面(GUI518)的组件的应用516和/或用于治疗监测(例如，治疗监测器520)的工作流、图像获取522(例如，界面)和治疗/产品选择器530(例如，界面)。数据可包括用于处理的一个或多个图像(例如，图像524)、皮肤诊断数据(例如，相应分数、族裔或其他用户数据)、治疗数据528(诸如与特定治疗相关的日志数据)、具有日程安排的治疗计划(诸如提醒)等。
应用516提供获取诸如视频的一个或多个图像并处理图像以确定如由神经网络模型514提供的深度神经网络的皮肤诊断的功能。网络模型可被配置为图2和3中所示的模型。在另一示例中，网络模型位于远程，并且计算设备402经由应用516可以传送图像以供处理和返回皮肤诊断数据。应用516可被配置为执行先前描述的活动。
存储设备512可存储附加模块，诸如操作系统532和包括通信模块的其他模块(未示出)；图形处理模块(例如，用于处理器502的GPU)；地图模块；联系人模块；日历模块；照片/图库模块；照片(图像/媒体)编辑器；媒体播放器和/或流模块；社交媒体应用；浏览器模块；等。存储设备在本文中可被称为存储单元。
通信信道538可，无论是通信地、物理地和/或操作性地，耦接组件502、504、506、508、510、512中的每个，以及用于组件间通信的任何模块514、516和532。在一些示例中，通信信道538可包括系统总线、网络连接、进程间通信数据结构或用于传送数据的任何其他方法。
一个或多个处理器502可在计算设备402内实现功能和/或执行指令。例如，处理器502可被配置为从存储设备512接收指令和/或数据以执行图5中示出的模块的功能等(例如，操作系统、应用等)。计算设备402可将数据/信息存储到存储设备512。下面进一步描述一些功能。应当理解，操作可能不完全属于图5的模块514、516和532，使得一个模块可以辅助另一个模块的功能。
可以用一种或多种编程语言(例如，面向对象的编程语言，诸如Java、Smalltalk、C++)或常规的过程式编程语言(诸如“C”编程语言或类似的编程语言)的任何组合来编写用于执行操作的计算机程序代码。
计算设备402可生成用于显示在基于手势的I/O设备506的屏幕上的输出，或者在一些示例中，用于由投影仪、监视器或其他显示设备进行显示的输出。应当理解，基于手势的I/O设备506可以使用多种技术(例如，与输入能力相关的技术:电阻式触摸屏、表面声波触摸屏、电容式触摸屏、投射电容式触摸屏、压敏触摸屏，声脉冲识别触摸屏，或其他存在敏感的屏幕技术；以及与输出能力相关的技术：液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器，点阵显示器、电子墨水或类似的单色或彩色显示器)进行配置。
在本文所描述的示例中，基于手势的I/O设备506包括能够从与触摸屏交互的用户接收触觉交互或手势作为输入的触摸屏设备。这种手势可包括轻击手势、拖曳或滑动手势、轻拂手势、暂停手势(例如，其中用户触摸屏幕的相同位置达至少阈值时长)，其中用户触摸或指向基于手势的I/O设备506的一个或多个位置。基于手势的I/O设备506还可以包括非轻击手势。基于手势的I/O设备506可以向用户输出或显示信息，诸如图形用户界面。基于手势的I/O设备506可以呈现计算设备402的不同应用、功能和能力，包括，例如，用于获取图像、查看图像、处理图像以及显示新图像的应用516，消息传送应用、电话通信、联系人和日历应用、网页浏览应用、游戏应用、电子书应用和金融，支付和其他应用或功能等等。
虽然本公开主要以具有I/O能力的显示屏设备(例如，触摸屏)的形式示出并讨论基于手势的I/O设备506，但是可以利用可以检测移动并且可以不包括屏幕本身的基于手势的I/O设备的其他示例。在这样的情况下，计算设备402包括显示屏或者被耦接到显示装置以呈现应用516的新图像和GUI。计算设备402可从跟踪板/触摸板、一个或多个相机、或另一存在或手势敏感输入设备接收基于手势的输入，其中存在意味着用户的存在方面，包括例如用户的全部或部分的运动。
一个或多个通信单元508可以例如出于所描述的目的和/或出于其他目的(例如，打印)经由通信网络404通过在一个或多个网络上传输和/或接收网络信号与外部设备(例如，服务器406、服务器408、第二计算设备412)通信。通信单元可包括各种天线和/或网络接口卡、芯片(例如，全球定位卫星(GPS))，用于无线和/或有线通信。
输入设备504和输出设备510可包括一个或多个按钮、开关、指向设备、相机、键盘、麦克风、一个或多个传感器(例如，生物测定等)、扬声器、铃、一个或多个灯、触觉(振动)设备等中的任一个。它们中的一个或多个可经由通用串行总线(USB)或其他通信信道(例如，538)耦接。相机(输入设备804)可以是面向前方的(即，在与之相同的一侧)以允许用户在注视基于手势的I/O设备506的同时使用相机捕捉图像以进行“自拍”。
一个或多个存储设备512可以采取不同的形式和/或配置，例如，作为短期存储器或长期存储器。存储设备512可以被配置为作为易失性存储器来短期存储信息，其在断电时不保留所存储的内容。易失性存储器示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等。在一些示例中，存储设备512还包括一或多个计算机可读存储介质，例如存储比易失性存储器大的信息量和/或长期存储此类信息，在断电时保留信息。非易失性存储器示例包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。
尽管未示出，但计算设备可被配置成训练环境以例如使用如图3所示的网络连同适当的训练和/或测试数据来训练神经网络模型514。
深度神经网络可被适配成用于计算设备的轻型架构，该计算设备是具有比“较大”设备(如膝上计算机、台式计算机、工作站、服务器或其他可比较的生成计算设备)更少的处理资源的移动设备(例如，智能电话或平板计算机)。
在一个方面，深度神经网络模型可被配置为深度方向可分离的卷积神经网络，其包括卷积，其中各个标准卷积被因子分解成深度方向卷积和逐点卷积。深度方向卷积限于将单个滤波器应用于每个输入通道，而逐点卷积限于组合深度方向卷积的输出。
应当理解，第二计算设备412可以与计算设备402类似地配置。第二计算设备412可以具有GUI，诸如请求并显示来自存储在服务器406处的针对不同用户的数据的图像和皮肤迹象诊断，等。
图6A至图6D分别是根据示例的诸如用于计算设备402(或410)的操作600、610、620和630的流程图。操作600涉及计算设备402的用户使用应用(诸如应用516)来拍摄包括用户的面部的图像的自拍以执行针对多个(N个)相应皮肤迹象的皮肤诊断。在601，诸如经由相机或其他方式(例如，从消息附件)在处理器处接收图像。
在602，对图像进行预处理以定义标准化图像以呈现给CNN。图像可居中并且裁剪成特定大小(分辨率)以根据CNN的训练向CNN呈现类似大小的图像。在603，使用CNN(神经网络模型514)处理+图像以生成N个皮肤迹象诊断。还产生了族裔向量。在604，诸如经由GUI(其还可呈现图像和/或标准化图像)来呈现N个皮肤迹象诊断和族裔向量(或其单个值)。呈现图像可包括针对N个皮肤迹象中的每个(或至少一个)分割图像(或标准化图像)，指示面部的哪个(哪些)区域与哪个皮肤迹象相关。可以从图像中进行提取，例如使用边界框和/或掩模来隔离准备皮肤迹象诊断以在GUI中呈现的区域。CNN可被配置为输出可包括每个(或至少一个)特定区域的边界框和/或掩码的分割相关数据。图像可诸如经由增强现实或虚拟现实技术来注释以突出显示该区域。通过示例的方式，图像中的区域的相关像素可被突出显示。可以提供显示图像(或标准化图像)的GUI。可以诸如从指向设备或手势接收输入以指示或选择由CNN生成皮肤迹象诊断的区域的一个或多个像素。所指示的区域之外的像素可以被模糊以使用该区域的掩模和/或边界框来突出显示所选择的区域的像素。并非模糊，可使用高亮颜色来着色区域外部(诸如，在其边界内(例如，在1与X像素之间))的像素以环绕区域，从而产生光晕效应。紧邻该区域的像素可能更深(颜色更深)并且(在边界内)更远的像素可能颜色更浅。不同的迹象可以具有不同的颜色边界。可显示该区域的皮肤迹象诊断。可以使用颜色来指示与诸如使用缩放因子的皮肤迹象诊断成比例的严重性。单个颜色可用于特定的皮肤迹象诊断，并且其颜色深度(例如，浅到深)与皮肤迹象诊断的尺度成比例地调整。在另一个示例中，不同的颜色可用于皮肤迹象诊断的尺度中的每个水平。可以提供示出与尺度的关系的颜色图例，无论GUI示出通过深度变化的单个颜色还是通过使用不同颜色而变化的单个颜色。可提供用户切换控件来打开和关闭应用于图像的增强现实或虚拟现实，例如，打开和关闭突出显示等。临床示例图像(或特定受影响区域的提取)可以呈现为比较器，并且此类示例可以以遵守其他人的隐私的方式来示出，这些临床示例图像示出其他人的代表性图像，这些图像示出了每个皮肤迹象诊断(例如，针对每个严重性和针对每个皮肤迹象)。如以下进一步描述的，可以呈现产品和/或治疗推荐。如下文进一步描述的，前后图像(例如，其中后图像表示在一次或多次治疗之后拍摄的后续图像，并且可以具有准备作为比较的后续皮肤迹象诊断。虽然经由图像输入的手势被描述为选择或指示区域，但是可以提供，诸如通过接收针对特定皮肤迹象的输入自动选择区域的GUI。例如，GUI可呈现表格或其他形式的输出以呈现每个皮肤迹象和/或皮肤迹象诊断。从表格或其他形式选择特定项目可调用GUI来呈现图像(或标准化图像)，其中与皮肤迹象诊断相关联的区域被突出显示。应当理解，除了或代替手势激活GUI(和/或其他输入激活GUI(例如文本命令))，还可以在本文的任何示例中使用语音激活GUI。
图6B示出操作610。在611，呈现GUI(注意，可以针对操作600、610、620和630中的任一个呈现GUI)以发起产品和/或治疗推荐。可以接收输入以调用性能。在612，接收推荐，并且性能可包括将皮肤诊断信息(例如，分数、族裔向量、图像、用户信息等)传送给远程服务器(诸如服务器408)以接收推荐。该推荐可包括一种或多种产品以及施用到皮肤区域上并且与具有时间表的治疗计划相关联的方案。在613，诸如经由GUI呈现推荐。可以接收并呈现多于一个推荐。在614，做出指示接受推荐的选择。这可以被存储(写入日志)并且可发起例如计算设备402的治疗监测特征或功能。在615，可以诸如经由服务器408或另一服务器来促进产品购买。
图6C示出了诸如用于监测的操作620。监测可以响应于由计算设备402接收的或诸如经由浏览器对其可访问的治疗计划(例如，在数据中描述)。治疗计划可具有时间表(例如，产品的早晨和晚上应用)、第二产品的每周一次应用等。可诸如经由可以是基于本地应用的通知或经由诸如日历应用的另一手段来提醒该时间表(例如，在621)。在622，提供GUI以促进治疗活动，例如记录其发生和/或提供执行活动的指令。在623，接收输入，诸如活动被执行的确认。可以包括图像以记录活动。可以将数据写入日志。监测可以测量治疗计划遵循的紧密程度。在624，可以促进产品回购，例如响应于治疗监测，可以确定手头的产品量可能用完。
图6C示出诸如用于执行比较的操作630，其可作为监视活动来执行。在631，提供用于比较的GUI以指示用户等。在632，存储新图像(例如，与在601接收的初始图像相比)并且(可选地)。在633，使用CNN对新图像执行后续皮肤迹象诊断(例如，如标准化等，类似于操作600)。在634，GUI呈现使用初始和后续皮肤迹象诊断的比较，可选地与第一图像和新图像的比较。
虽然在图6A至图6D中未示出，但是可以将所接收或生成的任何数据传送用于远程存储，例如传送到服务器406。
皮肤迹象诊断、以及后续皮肤迹象诊断(可选地与其他监测一起)以及提供用于聚合的数据可使产品疗效和/或产品和治疗的欺诈性声明研究成为可能。这些数据可被收集、分析并且呈现给皮肤科医生和/或其他专业人员和/或用户。因此，本文的系统和方法可促进用于皮肤治疗的分布式研究模型。
本文中的教导包括：连接局部与全局(例如，在处理整个面部时面部区域中的特定条件)并针对所有关键区域对面部进行详尽的映射，例如，从额头到嘴巴的每一层面部中存在的皱纹。
局部皮肤迹象的组合可用于预测(分类)全局外观(例如，表观年龄、光泽、疲劳等)。还可以通过在化妆品存在下执行皮肤分析来确定和比较外观。本文中的皮肤诊断关于面部迹象的性质和位置是充分穷尽的，以便能够解释当其他人类正在注视受试者时的感知。皮肤迹象的皮肤诊断可用于驱动关于表观年龄的进一步结论，诸如基于95％以上来自其他人的感知。在化妆品存在的情况下，皮肤诊断和关于整体外观或吸引力的进一步预测/分类可用于测量有效性并建立粉底等的影响，以掩盖皮肤衰老迹象以及如何恢复面部的线条和结构。
本文的皮肤诊断方法和技术测量面部的五个临床集群(皱纹/纹理、松垂、色素沉着病症、血管病症、颊孔)，这有利于描述衰老过程、环境条件(太阳暴露、慢性城市污染暴露等)或生活方式(压力、疲劳、睡眠质量、吸烟、酒精等)的所有影响的数据。通过时间推移、在运动中或将它们与客户的平均年龄进行比较来测量这些，该方法、计算设备等可被配置为提供关于衰老的加速、环境的明显影响(一些迹象影响一些集群而不是其他集群…)的信息以及关于以下各项的信息：
·在化妆品和/或治疗或预防产品方面的建议(例如在阳光照射下，就地理位置、某些抗氧化剂、脱屑剂等而言使用哪种过滤器)；
·在饮食、生活方式、运动/锻炼等方面的建议，这些建议可对面部迹象的损害或特异性产生积极影响。例如，已知面部迹象可能受日常活动的影响并且基于此提出一些策略。
可以采用如此描述的皮肤诊断方法和技术来在所有维度上以高度准确的方式动态地跟踪客户/患者。可以在不同时间和/或不同区域采用评估来评估日间/季节性/荷尔蒙/休息影响和治疗/美容/健康益处。这种评估提供了更精确的诊断并且能够更好地推荐解决方案。
可以采用如此描述的皮肤诊断方法和技术来对诸如来自自拍或其他视频的运动中的用户的图像执行评估。方法和计算设备可被配置为对视频的每一帧或选定帧进行评估，且在面部运动时记录面部分数。可定义褶皱或松垂等的动态曲线。视频可捕捉在面部中引起应力的特定面部位置和过渡以辅助特定迹象的分析。
可提供指令以使用户执行特定手势、姿势等以突出显示特征且将应力赋予面部。在一个示例中，指令(例如，经由图形用户界面或其他用户界面)可请求用户执行特定手势以捏，例如脸颊。这种评估提供了更精确的诊断并且能够更好地推荐解决方案。
在身体直立或仰卧时，可通过身体定位等指示其他应力，诸如功能应力。功能应力对于年轻客户记录皱纹是非常重要的，这些皱纹在非常中性的经典身份证图片上不可见。当用户微笑或具有特定情绪时，可以看到眼角上的小皱纹
因此，可以使皮肤诊断方法和技术能够在面部运动时接收视频，然后评估来自其的多个图像，例如。视频具有1、2、…N帧。每帧可为20个迹象生成20个分数。该系统可指示用户执行手势(捏脸)并记录结果。可以分析捏前后的图像，以推断应力前/后的皮肤行为以及例如水流动性(publication DermoTrace:Flament F,Bazin R.Influences of age,ethnic group,and skin sites on a provisory skin marking,experimentallyinduced,in vivo.Skin Res Technol 24,180–186(2018))仅需要使用两帧。
可以采用如此描述的皮肤诊断方法和技术来进一步通过临床特征演化来执行情绪分析。具有面部的全局整体评估可以使得能够评估(例如，分类)情绪、将皮肤迹象的组合与喜悦、恐惧、厌恶等的特定视觉迹象联系起来。
如此描述的皮肤诊断方法和技术可用于进一步执行健康护理，采用将迹象分类为显示特定情绪，如在不能口头沟通或以相同语言沟通的那些情绪。疼痛患者可以表现出相关的情绪，这些情绪可被分析并且使用结果诸如来给予药物。迹象及其严重程度的组合(例如，眉间)可能是健康领域中的重要线索，尤其是在针对沟通困难的疼痛患者的医院中。通过准确地读取面部，可以给予药物并具体地设计治疗。
如此描述的皮肤诊断方法和技术可用于进一步执行环境或生活方式的影响的表征(例如，分类)。通过与数据库比较来定义外在衰老与内在衰老：基于我们的知识数据库，我们在量化(严重程度的百分比)和鉴定(面部的迹象和位置的性质)方面知道暴露的影响，即.环境条件(UV、污染…)或生活方式(压力、饮食、酒精、吸烟、运动…)。可以利用来自数据库的信息来增强本文描述的皮肤诊断评估，以针对城市老龄化的关键化妆品话题向客户提供更准确和个性化的反馈。
可以采用如此描述的皮肤诊断方法和技术来进一步执行针对其他状况的其他医学诊断。基于将某些面部迹象与特定状况或疾病相关的研究，皮肤迹象的组合可以与特定状况相关联。举例来说，前额皱纹与心脏病有关。
将理解的是，可以关于自然地且正常地存在并且不典型地与疾病本身相关联的皮肤迹象(例如，非疾病皮肤迹象，诸如与衰老和/或环境暴露相关的不指示疾病状况的迹象)执行如此描述的皮肤诊断方法和技术(包括产品和/或应用推荐)。然而，此类非疾病皮肤迹象的发作和/或进展可响应于相应的产品和相应的应用计划(广义上为治疗，尽管本身不是医学治疗)。因此，本文提供了用于非疾病皮肤迹象的皮肤诊断设备和方法。提供了一种用于为非疾病皮肤迹象推荐产品的设备和方法。设备可包括：存储单元，用于存储和提供卷积神经网络(CNN)，卷积神经网络被配置为对图像的像素进行分类以针对多个(N个)相应非疾病皮肤迹象的每个非疾病皮肤迹象确定多个(N个)相应皮肤迹象诊断，其中，CNN包括用于图像分类的深度神经网络，深度神经网络被配置为生成N个相应的非疾病皮肤迹象诊断，并且其中使用针对N个相应的非疾病皮肤迹象的每个非疾病皮肤迹象的非疾病皮肤迹象数据来训练CNN；以及处理单元，耦接至存储单元，被配置为接收图像并且使用CNN处理图像以生成N个相应的非疾病皮肤迹象诊断。处理单元可进一步配置成诸如通过使用产品推荐组件(例如，基于规则的系统或选择一个或多个产品的其他系统，以及可选地为与相应非疾病皮肤迹象相关联的相应产品的应用计划)来生成针对N个相应非疾病皮肤迹象诊断中的至少一个的产品推荐。产品推荐组件并且因此产品推荐可以响应于其他因素，诸如性别、族裔等。相关联的训练方法和系统对于训练CNN或者定义具有CNN的系统来说将是显而易见的，以生成N个相应的皮肤迹象诊断也将是显而易见的。
除了计算设备方面之外，普通技术人员将理解，公开了计算机程序产品方面，其中将指令存储在非瞬态存储设备(例如，存储器、CD-ROM、DVD-ROM、盘等)中以配置计算设备来执行在此存储的任何方法方面。
实际的实现方式可包括本文描述的特征中的任何一个或全部。这些和其他方面、特征和不同组合可被表达为方法、装置、系统、用于执行功能的器件、程序产品，和以其他方式组合本文描述的特征。已经描述了多个实施方式。然而，将理解，在不脱离本文描述的过程和技术的精神和范围的情况下，可以做出不同修改。此外，可以提供其他步骤，或者可以从过程消除步骤，并且可以向系统添加其他部件，或者从系统移除其他部件。因此，其他实施方式在所附权利要求的范围内。
贯穿本说明书的描述和权利要求书，词语“包括(comprise)”和“包含(contains)”以及它们的变体意味着“包括但不限于”，并且它们不旨在(并且不)排除其他部件、整体或步骤。贯穿本说明书，除非上下文另有要求，单数包括复数。具体地，在使用不定冠词的情况下，除非上下文另有要求，否则本说明书应被理解为考虑多个以及单一性。
结合本发明的具体方面、实施方式或示例描述的特征、整体特征、化合物、化学部分或基团应理解为适用于任何其他方面、实施方式或示例，除非与其不相容。在此公开的所有特征(包括任何所附权利要求、摘要和附图)、和/或如此公开的任何方法或过程的所有步骤可以按任何组合进行组合，除了以下组合：其中这样的特征和/或步骤中的至少一些是相互排斥的。本发明不限于任何前述示例或实施方式的细节。本发明扩展到本说明书(包括任何所附权利要求、摘要和附图)中所公开的特征的任何新颖特征或任何新颖组合，或者扩展到所公开的任何方法或过程的步骤的任何新颖特征或任何新颖组合。

Claims (38)

1.一种皮肤诊断设备，包括：
存储单元，所述存储单元用于存储和提供卷积神经网络(CNN)，所述卷积神经网络被配置为对图像的像素进行分类以便针对N个相应皮肤迹象中的每个皮肤迹象确定N个相应皮肤迹象诊断，其中，所述卷积神经网络包括用于图像分类的深度神经网络，所述深度神经网络被配置为生成所述N个相应皮肤迹象诊断，并且其中，使用针对所述N个相应皮肤迹象中的每个皮肤迹象的皮肤迹象数据来训练所述卷积神经网络；以及
处理单元，耦合至所述存储单元，所述处理单元被配置为接收所述图像并使用所述卷积神经网络处理所述图像以生成所述N个相应皮肤迹象诊断,
其中，所述卷积神经网络包括：
编码器相位，所述编码器相位根据用于图像分类的预训练网络定义并且被配置为将特征编码至最终编码器相位特征网；以及
解码器相位，所述解码器相位被配置为接收所述最终编码器相位特征网，用于通过N个相应并行皮肤迹象分支进行解码，以生成所述N个相应皮肤迹象诊断中的每个皮肤迹象诊断，
所述卷积神经网络被进一步配置为对所述像素进行分类以确定族裔向量，并且使用针对所述N个相应皮肤迹象中的每个皮肤迹象的皮肤迹象数据和多个族裔来训练所述卷积神经网络，
所述解码器相位包括针对族裔的另一个并行分支，以生成所述族裔向量。
2.根据权利要求1所述的皮肤诊断设备，其中，所述解码器相位包括全局池化操作，所述全局池化操作用于处理所述最终编码器相位特征网以将其提供至所述N个相应并行皮肤迹象分支中的每个皮肤迹象分支。
3.根据权利要求1或2所述的皮肤诊断设备，其中，所述N个相应并行皮肤迹象分支中的每个分支依次包括：第一全连接层，接着是第一激活层、第二全连接层、第二激活层和最终激活层，以输出包括所述N个相应皮肤迹象诊断中的一个和所述族裔向量的最终值。
4.根据权利要求3所述的皮肤诊断设备，其中，根据针对从所述第二激活层接收的输入分数x的等式(1)的函数来定义所述最终激活层：
其中，针对所述N个相应皮肤迹象诊断中的每个皮肤迹象诊断的相应分数范围，α是斜率，a是下限，b是上限。
5.根据权利要求1所述的皮肤诊断设备，
其中，使用形式为(xi，yi)的多个样本来训练所述卷积神经网络，其中，xi是第i个训练图像并且yi是基础真实皮肤迹象诊断的对应向量；并且
其中，对所述卷积神经网络进行训练以最小化针对所述N个并行皮肤迹象分支的每个相应分支和针对所述族裔的所述另一个并行分支的损失函数。
6.根据权利要求5所述的皮肤诊断设备，其中，根据等式(3)，所述卷积神经网络被进一步训练以最小化损失函数L，所述损失函数包括与针对所述族裔的所述另一个并行分支的标准交叉熵分类损失L族裔加权组合的所述N个相应皮肤迹象分支中的每个皮肤迹象分支的L2损失函数：
L＝L2+λL族裔 (3)
其中，λ控制分数回归与族裔分类损失之间的平衡。
7.根据权利要求1或2所述的皮肤诊断设备，其中，所述存储单元存储面部和界标检测器，以对所述图像进行预处理，并且其中，所述处理单元被配置为使用所述面部和界标检测器从所述图像中生成标准化图像，并且在使用所述卷积神经网络时使用所述标准化图像。
8.根据权利要求1或2所述的皮肤诊断设备，其中，所述卷积神经网络包括用于图像分类的预训练网络，所述预训练网络适于生成所述N个相应皮肤迹象诊断，使得：
所述预训练网络的全连接层被移除；并且
N个相应层组被定义为针对所述N个相应皮肤迹象诊断中的每个皮肤迹象诊断对相同的特征网进行并行解码。
9.根据权利要求1或2所述的皮肤诊断设备，被配置为以下之一：
用于个人使用的计算设备，包括移动设备；和
经由通信网络提供皮肤诊断服务的服务器。
10.根据权利要求1或2所述的皮肤诊断设备，其中，所述存储单元存储代码，所述代码在由所述处理单元执行时提供治疗产品选择器，所述治疗产品选择器响应于所述N个相应皮肤迹象诊断中的至少一些皮肤迹象诊断以获得针对产品和治疗计划中的至少一者的推荐。
11.根据权利要求1或2所述的皮肤诊断设备，其中，所述存储单元存储代码，所述代码在由所述处理单元执行时提供图像获取功能以接收所述图像。
12.根据权利要求1或2所述的皮肤诊断设备，其中，所述存储单元存储代码，所述代码在由所述处理单元执行时提供治疗监测器以监测针对至少一种皮肤迹象的治疗。
13.根据权利要求12所述的皮肤诊断设备，其中，所述处理单元被配置为进行与针对相应治疗阶段的产品应用相关联的治疗活动的提醒、指示和/或记录中的至少一者。
14.根据权利要求1或2所述的皮肤诊断设备，其中，所述处理单元被配置为使用所述卷积神经网络处理第二图像以生成在治疗阶段之后接收的后续皮肤诊断。
15.根据权利要求14所述的皮肤诊断设备，其中，所述存储单元存储代码，所述代码在由所述处理单元执行时，使用所述后续皮肤诊断来提供比较结果的呈现。
16.一种皮肤诊断的计算机实现方法，包括：
提供存储单元，以存储和提供卷积神经网络(CNN)，所述卷积神经网络被配置为对图像的像素进行分类以便针对N个相应皮肤迹象中的每个皮肤迹象确定N个相应皮肤迹象诊断，其中，所述卷积神经网络包括用于图像分类的深度神经网络，所述深度神经网络被配置为生成所述N个相应皮肤迹象诊断，并且其中，使用针对所述N个相应皮肤迹象中的每个皮肤迹象的皮肤迹象数据来训练所述卷积神经网络；和
由耦接至所述存储单元的处理单元执行：
接收所述图像；以及
使用所述卷积神经网络处理所述图像以生成所述N个相应皮肤迹象诊断,
其中，所述卷积神经网络包括：
编码器相位，所述编码器相位根据用于图像分类的预训练网络定义并且被配置为将特征编码至最终编码器相位特征网；以及
解码器相位，所述解码器相位被配置为接收所述最终编码器相位特征网，所述最终编码器相位特征网用于通过N个相应并行皮肤迹象分支进行解码以生成所述N个相应皮肤迹象诊断中的每个皮肤迹象诊断，
所述卷积神经网络被进一步配置为对所述像素进行分类以确定族裔向量，并且使用针对所述N个相应皮肤迹象中的每个皮肤迹象的皮肤迹象数据和多个族裔来训练所述卷积神经网络，并且其中，所述卷积神经网络对所述图像的处理生成所述族裔向量，
所述解码器相位包括针对族裔的另一个并行分支，以生成所述族裔向量。
17.根据权利要求16所述的方法，其中，所述解码器相位包括全局池化操作，所述全局池化操作用于处理所述最终编码器相位特征网以将其提供至所述N个相应并行皮肤迹象分支中的每个皮肤迹象分支。
18.根据权利要求16或17所述的方法，其中，所述N个相应并行皮肤迹象分支中的每个分支依次包括：第一全连接层，接着是第一激活层、第二全连接层、第二激活层和最终激活层，以输出包括所述N个相应皮肤迹象诊断中的一个和所述族裔向量的最终值。
19.根据权利要求18所述的方法，其中，根据针对从所述第二激活层接收的输入分数x的等式(1)的函数来定义所述最终激活层：
其中，针对所述N个相应皮肤迹象诊断中的每个皮肤迹象诊断的相应分数范围，α是斜率，a是下限，b是上限。
20.根据权利要求16所述的方法，
其中，使用形式为(xi，yi)的多个样本来训练所述卷积神经网络，其中，xi是第i个训练图像并且yi是基础真实皮肤迹象诊断的对应向量；并且
其中，对所述卷积神经网络进行训练以便最小化针对所述N个并行皮肤迹象分支中的每个相应分支和针对所述族裔的所述另一个并行分支的损失函数。
21.根据权利要求20所述的方法，其中，根据等式(3)，所述卷积神经网络被进一步训练以最小化损失函数L，所述损失函数包括与针对所述族裔的所述另一个并行分支的标准交叉熵分类损失L族裔加权组合的所述N个相应皮肤迹象分支中的每个皮肤迹象分支的L2损失函数：
L＝L2+λL族裔 (3)
其中，λ控制分数回归与族裔分类损失之间的平衡。
22.根据权利要求16或17所述的方法，其中，所述存储单元存储面部和界标检测器，以对所述图像进行预处理，并且其中，所述方法包括由所述处理单元使用所述面部和界标检测器预处理所述图像以从所述图像中生成标准化图像并在使用所述卷积神经网络时使用所述标准化图像。
23.根据权利要求16或17所述的方法，其中，所述卷积神经网络包括用于图像分类的预训练网络，所述预训练网络适于生成所述N个相应皮肤迹象诊断，使得：
所述预训练网络的全连接层被移除；并且
N个相应层组被定义为针对所述N个相应皮肤迹象诊断中的每个皮肤迹象诊断对相同的特征网进行并行解码。
24.根据权利要求16或17所述的方法，其中，所述存储单元和所述处理单元是以下之一的部件：
用于个人使用的计算设备，包括移动设备；以及
经由通信网络提供皮肤诊断服务的服务器。
25.根据权利要求16或17所述的方法，其中，所述存储单元存储代码，所述代码在由所述处理单元执行时提供治疗产品选择器，所述治疗产品选择器响应于所述N个相应皮肤迹象诊断中的至少一些皮肤迹象诊断以获得针对产品和治疗计划中的至少一者的推荐；并且其中，所述方法包括由所述处理单元执行所述处理产品选择器的代码以获得对产品和治疗计划中的至少一者的推荐。
26.根据权利要求16或17所述的方法，其中，所述存储单元存储代码，所述代码在由所述处理单元执行时提供图像获取功能以接收所述图像；并且其中，所述方法包括由所述处理单元执行所述图像获取功能的代码以接收所述图像。
27.根据权利要求16或17所述的方法，其中，所述存储单元存储代码，所述代码在由所述处理单元执行时提供治疗监测器以监测针对至少一种皮肤迹象的治疗；并且其中，所述方法包括由所述处理单元执行所述治疗监测器的代码以监测针对至少一种皮肤迹象的治疗。
28.根据权利要求27所述的方法，其中，所述方法包括经由所述处理单元进行与针对相应治疗阶段的产品应用相关联的治疗活动的提醒、指示和/或记录中的至少一者。
29.根据权利要求16或17所述的方法，包括经由所述处理单元使用所述卷积神经网络处理第二图像以生成在治疗阶段之后接收的后续皮肤诊断。
30.根据权利要求29所述的方法，包括：经由处理单元，使用所述后续皮肤诊断来提供比较结果的呈现。
31.一种非疾病的皮肤诊断方法，包括：
训练卷积神经网络(CNN)，所述卷积神经网络被配置为对图像的像素进行分类以针对N个相应皮肤迹象中的每个皮肤迹象确定N个相应皮肤迹象诊断，其中，所述卷积神经网络包括用于图像分类的深度神经网络，所述深度神经网络被配置为生成所述N个相应皮肤迹象诊断，并且其中，使用针对所述N个相应皮肤迹象中的每个皮肤迹象的皮肤迹象数据来执行所述训练，
其中，所述卷积神经网络包括：
编码器相位，所述编码器相位根据用于图像分类的预训练网络定义并且被配置为将特征编码至最终编码器相位特征网；以及
解码器相位，所述解码器相位被配置为接收所述最终编码器相位特征网，所述最终编码器相位特征网用于通过N个相应并行皮肤迹象分支进行解码以生成所述N个相应皮肤迹象诊断中的每个皮肤迹象诊断，
所述卷积神经网络被进一步配置为对所述像素进行分类以确定族裔向量，并且所述方法包括使用针对所述N个相应皮肤迹象中的每个皮肤迹象的皮肤迹象数据和多个族裔来训练所述卷积神经网络，
所述解码器相位包括族裔的另一个并行分支，以生成所述族裔向量。
32.根据权利要求31所述的方法，其中，所述解码器相位包括全局池化操作，所述全局池化操作用于处理所述最终编码器相位特征网以将其提供至所述N个相应并行皮肤迹象分支中的每个皮肤迹象分支。
33.根据权利要求31或32所述的方法，其中，所述N个相应并行皮肤迹象分支中的每个分支依次包括：第一全连接层，接着是第一激活层、第二全连接层、第二激活层和最终激活层，以输出包括所述N个相应皮肤迹象诊断中的一个和所述族裔向量的最终值。
34.根据权利要求33所述的方法，其中，根据针对从所述第二激活层接收的输入分数x的等式(1)的函数来定义所述最终激活层：
其中，针对所述N个相应皮肤迹象诊断中的每个皮肤迹象诊断的相应分数范围，α是斜率，a是下限，b是上限。
35.根据权利要求31所述的方法，
其中，使用形式为(xi，yi)的多个样本训练卷积神经网络，其中，xi是第i个训练图像并且yi是基础真实皮肤迹象诊断的对应向量；并且
其中，训练所述卷积神经网络以最小化针对所述N个并行皮肤迹象分支中的每个相应分支和所述族裔的所述另一个并行分支的损失函数。
36.根据权利要求35所述的方法，其中，根据等式(3)，训练所述卷积神经网络以最小化损失函数L，所述损失函数包括与针对所述族裔的所述另一个并行分支的标准交叉熵分类损失L族裔加权组合的所述N个相应皮肤迹象分支中的每个皮肤迹象分支的L2损失函数：
L＝L2+λL族裔 (3)
其中，λ控制分数回归与族裔分类损失之间的平衡。
37.根据权利要求31或32所述的方法，其中，所述卷积神经网络被配置为接收通过面部和界标检测预处理的标准化图像。
38.根据权利要求33所述的方法，其中，所述卷积神经网络最初包括用于图像分类的预训练网络，所述预训练网络适于生成所述N个相应皮肤迹象诊断，使得：
所述预训练网络的全连接层均被移除；并且
N个相应层组被定义为针对所述N个相应皮肤迹象诊断中的每个皮肤迹象诊断对相同的特征网进行并行解码。
CN201980091094.9A 2018-12-04 2019-12-03 使用深度学习的基于图像的自动皮肤诊断 Active CN114502061B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862775117P 2018-12-04 2018-12-04
US62/775,117 2018-12-04
PCT/CA2019/051735 WO2020113326A1 (en) 2018-12-04 2019-12-03 Automatic image-based skin diagnostics using deep learning

Publications (2)

Publication Number Publication Date
CN114502061A CN114502061A (zh) 2022-05-13
CN114502061B true CN114502061B (zh) 2024-05-28

Family

ID=70850102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980091094.9A Active CN114502061B (zh) 2018-12-04 2019-12-03 使用深度学习的基于图像的自动皮肤诊断

Country Status (5)

Country Link
US (2) US11553872B2 (zh)
EP (1) EP3890591A4 (zh)
JP (1) JP7395604B2 (zh)
CN (1) CN114502061B (zh)
WO (1) WO2020113326A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10453270B2 (en) * 2015-09-11 2019-10-22 Intel Corporation Scalable real-time face beautification of video images
CN113170016A (zh) * 2018-09-21 2021-07-23 Lg电子株式会社 移动终端及其控制方法
WO2020113326A1 (en) 2018-12-04 2020-06-11 Jiang Ruowei Automatic image-based skin diagnostics using deep learning
CN109793498B (zh) * 2018-12-26 2020-10-27 华为终端有限公司 一种皮肤检测方法及电子设备
US11574405B2 (en) * 2019-01-31 2023-02-07 Dr. Maksym Breslavets Medicine Professional Corp. Analysis of the severity of skin disease through entropy quantification
US12014500B2 (en) 2019-04-14 2024-06-18 Holovisions LLC Healthy-Selfie(TM): methods for remote medical imaging using a conventional smart phone or augmented reality eyewear
US11308618B2 (en) 2019-04-14 2022-04-19 Holovisions LLC Healthy-Selfie(TM): a portable phone-moving device for telemedicine imaging using a mobile phone
EP3959651A1 (en) * 2019-04-23 2022-03-02 The Procter & Gamble Company Apparatus and method for determining cosmetic skin attributes
EP3959724A1 (en) * 2019-04-23 2022-03-02 The Procter & Gamble Company Apparatus and method for visualizing cosmetic skin attributes
WO2020243826A1 (en) * 2019-06-04 2020-12-10 University Of Manitoba Computer-implemented method of analyzing an image to segment article of interest therein
US11151794B1 (en) 2019-06-28 2021-10-19 Snap Inc. Messaging system with augmented reality messages
US11151412B2 (en) * 2019-07-01 2021-10-19 Everseen Limited Systems and methods for determining actions performed by objects within images
US11144790B2 (en) * 2019-10-11 2021-10-12 Baidu Usa Llc Deep learning model embodiments and training embodiments for faster training
US11657481B2 (en) * 2019-11-18 2023-05-23 Shinyfields Limited Systems and methods for selective enhancement of skin features in images
KR20210094692A (ko) * 2020-01-21 2021-07-30 삼성디스플레이 주식회사 잔상 방지 방법 및 이를 포함하는 표시 장치
US11950847B1 (en) 2020-03-24 2024-04-09 Al Optics Inc. Portable medical diagnostics device with integrated artificial intelligence capabilities
USD968441S1 (en) * 2020-04-30 2022-11-01 The Procter & Gamble Company Display screen with graphical user interface
US11589803B2 (en) * 2020-05-04 2023-02-28 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for improving human facial skin conditions by leveraging vehicle cameras and skin data AI analytics
USD962256S1 (en) 2020-05-14 2022-08-30 The Procter & Gamble Company Display screen with graphical user interface
DE102020116304A1 (de) * 2020-06-19 2021-12-23 MetricsCosmetics GmbH Verfahren zur Bestimmung individueller Pflegemittelformulierungen
KR20230028481A (ko) 2020-06-30 2023-02-28 로레알 공간 인식 조건부 gan들을 이용하는 고해상도 제어가능한 얼굴 노화
CN111767858B (zh) 2020-06-30 2024-03-22 北京百度网讯科技有限公司 图像识别方法、装置、设备和计算机存储介质
FR3112633B1 (fr) 2020-06-30 2023-03-03 Oreal Vieillissement du visage contrôlable à haute résolution avec des GAN conditionnels à sensibilité spatiale
US11793451B2 (en) 2020-07-31 2023-10-24 L'oreal Interface and analysis techniques for customized skin care regimen based on skin diagnostics
CA3191566A1 (en) * 2020-08-11 2022-02-17 Cortina Health, Inc. Systems and methods for using artificial intelligence for skin condition diagnosis and treatment options
FR3115907A1 (fr) * 2020-11-04 2022-05-06 L'oreal Interface et techniques d’analyse pour un régime de soins de la peau personnalisé basé sur un diagnostic de la peau
US11551283B2 (en) 2020-12-01 2023-01-10 Capital One Services, Llc Methods and systems for providing a vehicle suggestion based on image analysis
EP4024405A1 (en) * 2020-12-29 2022-07-06 Koninklijke Philips N.V. An apparatus and method for moderating a skin lesion detection model
EP4075385A1 (en) * 2021-04-14 2022-10-19 HautAI OÜ Method and system for anonymizing facial images
WO2022232628A1 (en) * 2021-04-30 2022-11-03 L'oreal Predicting efficacies and improving skincare treatment outcomes based on responder/non-responder information
FR3125406A1 (fr) * 2021-07-23 2023-01-27 L'oreal Prédiction de l'efficacité et amélioration de résultats de traitement du vieillissement sur la base d’une réponse biologique a des ingrédients actifs
FR3125407A1 (fr) * 2021-07-23 2023-01-27 L'oreal Prédiction de résultats de traitement de vieillissement sur la base d’un âgéotype
JP2024515603A (ja) * 2021-04-30 2024-04-10 ロレアル 皮膚エイジオタイプに基づく皮膚エイジングトリートメントの成果の予測
US20220398055A1 (en) * 2021-06-11 2022-12-15 The Procter & Gamble Company Artificial intelligence based multi-application systems and methods for predicting user-specific events and/or characteristics and generating user-specific recommendations based on app usage
US11967031B2 (en) 2021-06-11 2024-04-23 The Procter & Gamble Company Digital imaging analysis of biological features detected in physical mediums
US11875468B2 (en) 2021-06-29 2024-01-16 The Procter & Gamble Company Three-dimensional (3D) image modeling systems and methods for determining respective mid-section dimensions of individuals
FR3129579B1 (fr) * 2021-12-01 2023-12-01 Oreal SYSTÈMES, dispositifs et PROCÉDÉS comportant des substrats À code couleur pour la correction ponctuelle d’imperfections, de l’ACNÉ et de PROBLÈMES de peau secondaires
US20230196550A1 (en) * 2021-12-16 2023-06-22 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining body contour
US20230196816A1 (en) * 2021-12-16 2023-06-22 The Gillett Company LLC Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin hyperpigmentation
US20230196579A1 (en) * 2021-12-16 2023-06-22 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin pore size
JP7175061B1 (ja) 2022-06-29 2022-11-18 株式会社Novera プログラム、情報処理装置、及び方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201112134A (en) * 2009-09-25 2011-04-01 Hewlett Packard Development Co Face recognition apparatus and methods
WO2011087807A2 (en) * 2009-12-22 2011-07-21 Health Discovery Corporation System and method for remote melanoma screening
CN103503029A (zh) * 2011-04-11 2014-01-08 英特尔公司 检测面部特性的方法
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法
CN107123027A (zh) * 2017-04-28 2017-09-01 广东工业大学 一种基于深度学习的化妆品推荐方法及系统
CN107133439A (zh) * 2017-03-14 2017-09-05 广东工业大学 一种皮肤病理图像镜下所见描述文本的生成方法
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN108090408A (zh) * 2016-11-21 2018-05-29 三星电子株式会社 用于执行脸部表情识别和训练的方法和设备
CN108198620A (zh) * 2018-01-12 2018-06-22 洛阳飞来石软件开发有限公司 一种基于深度学习的皮肤疾病智能辅助诊断系统
WO2018182173A1 (ko) * 2017-03-27 2018-10-04 (주)아모레퍼시픽 2차원 피부 이미지 분석 시스템 및 분석 방법
CN108629338A (zh) * 2018-06-14 2018-10-09 五邑大学 一种基于lbp和卷积神经网络的人脸美丽预测方法
CN108710829A (zh) * 2018-04-19 2018-10-26 北京红云智胜科技有限公司 一种基于深度学习的表情分类及微表情检测的方法
CN108806792A (zh) * 2017-05-03 2018-11-13 金波 深度学习面诊系统
CN108876847A (zh) * 2017-11-30 2018-11-23 北京旷视科技有限公司 图像定位方法、装置、系统和存储介质

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128608A (en) 1998-05-01 2000-10-03 Barnhill Technologies, Llc Enhancing knowledge discovery using multiple support vector machines
US20080050836A1 (en) 1998-05-01 2008-02-28 Isabelle Guyon Biomarkers for screening, predicting, and monitoring benign prostate hyperplasia
US6658395B1 (en) 1998-05-01 2003-12-02 Biowulf Technologies, L.L.C. Enhancing knowledge discovery from multiple data sets using multiple support vector machines
US7444308B2 (en) 2001-06-15 2008-10-28 Health Discovery Corporation Data mining platform for bioinformatics and other knowledge discovery
US7617163B2 (en) 1998-05-01 2009-11-10 Health Discovery Corporation Kernels and kernel methods for spectral data
US7805388B2 (en) 1998-05-01 2010-09-28 Health Discovery Corporation Method for feature selection in a support vector machine using feature ranking
US6789069B1 (en) 1998-05-01 2004-09-07 Biowulf Technologies Llc Method for enhancing knowledge discovered from biological data using a learning machine
US7117188B2 (en) 1998-05-01 2006-10-03 Health Discovery Corporation Methods of identifying patterns in biological systems and uses thereof
US6882990B1 (en) 1999-05-01 2005-04-19 Biowulf Technologies, Llc Methods of identifying biological patterns using multiple data sets
WO2002095534A2 (en) 2001-05-18 2002-11-28 Biowulf Technologies, Llc Methods for feature selection in a learning machine
US6760715B1 (en) 1998-05-01 2004-07-06 Barnhill Technologies Llc Enhancing biological knowledge discovery using multiples support vector machines
US7475048B2 (en) 1998-05-01 2009-01-06 Health Discovery Corporation Pre-processed feature ranking for a support vector machine
US20070092917A1 (en) 1998-05-01 2007-04-26 Isabelle Guyon Biomarkers for screening, predicting, and monitoring prostate disease
US7921068B2 (en) 1998-05-01 2011-04-05 Health Discovery Corporation Data mining platform for knowledge discovery from heterogeneous data types and/or heterogeneous data sources
US6996549B2 (en) 1998-05-01 2006-02-07 Health Discovery Corporation Computer-aided image analysis
US7970718B2 (en) 2001-05-18 2011-06-28 Health Discovery Corporation Method for feature selection and for evaluating features identified as significant for classifying data
US7353215B2 (en) 2001-05-07 2008-04-01 Health Discovery Corporation Kernels and methods for selecting kernels for use in learning machines
US7624074B2 (en) 2000-08-07 2009-11-24 Health Discovery Corporation Methods for feature selection in a learning machine
US8463718B2 (en) 2000-08-07 2013-06-11 Health Discovery Corporation Support vector machine-based method for analysis of spectral data
US8543519B2 (en) 2000-08-07 2013-09-24 Health Discovery Corporation System and method for remote melanoma screening
US20090215024A1 (en) 2001-01-24 2009-08-27 Health Discovery Corporation Biomarkers upregulated in prostate cancer
US20090226915A1 (en) 2001-01-24 2009-09-10 Health Discovery Corporation Methods for Screening, Predicting and Monitoring Prostate Cancer
US20090215058A1 (en) 2001-01-24 2009-08-27 Health Discovery Corporation Methods for screening, predicting and monitoring prostate cancer
US20050071140A1 (en) 2001-05-18 2005-03-31 Asa Ben-Hur Model selection for cluster data analysis
US8008012B2 (en) 2002-01-24 2011-08-30 Health Discovery Corporation Biomarkers downregulated in prostate cancer
US8293469B2 (en) 2004-11-12 2012-10-23 Health Discovery Corporation Biomarkers downregulated in prostate cancer
US11105808B2 (en) 2004-11-12 2021-08-31 Health Discovery Corporation Methods for screening, predicting and monitoring prostate cancer
US20140018249A1 (en) 2006-07-26 2014-01-16 Health Discovery Corporation Biomarkers for screening, predicting, and monitoring benign prostate hyperplasia
JP2016148906A (ja) 2015-02-10 2016-08-18 株式会社日立システムズ 肌チェックシステムおよび商品一覧表示方法ならびに商品一覧表示プログラム
US20170246473A1 (en) * 2016-02-25 2017-08-31 Sava Marinkovich Method and system for managing treatments
CA3015492C (en) 2016-03-21 2021-11-23 The Procter & Gamble Company Systems and methods for providing customized product recommendations
US10373312B2 (en) 2016-11-06 2019-08-06 International Business Machines Corporation Automated skin lesion segmentation using deep side layers
US20190392953A1 (en) 2017-02-11 2019-12-26 Dermadetect Ltd. A system and method of diagnosis skin and tissue lesions and abnormalities
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network
US11026634B2 (en) * 2017-04-05 2021-06-08 doc.ai incorporated Image-based system and method for predicting physiological parameters
CN110709856B (zh) * 2017-05-31 2023-11-28 宝洁公司 用于确定表观皮肤年龄的系统和方法
US11244456B2 (en) * 2017-10-03 2022-02-08 Ohio State Innovation Foundation System and method for image segmentation and digital analysis for clinical trial scoring in skin disease
US11419499B2 (en) * 2018-01-19 2022-08-23 The Regents Of The University Of California Optical coherence tomography for cancer screening and triage
WO2020113326A1 (en) 2018-12-04 2020-06-11 Jiang Ruowei Automatic image-based skin diagnostics using deep learning

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201112134A (en) * 2009-09-25 2011-04-01 Hewlett Packard Development Co Face recognition apparatus and methods
WO2011087807A2 (en) * 2009-12-22 2011-07-21 Health Discovery Corporation System and method for remote melanoma screening
CN103503029A (zh) * 2011-04-11 2014-01-08 英特尔公司 检测面部特性的方法
CN108090408A (zh) * 2016-11-21 2018-05-29 三星电子株式会社 用于执行脸部表情识别和训练的方法和设备
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法
CN107133439A (zh) * 2017-03-14 2017-09-05 广东工业大学 一种皮肤病理图像镜下所见描述文本的生成方法
WO2018182173A1 (ko) * 2017-03-27 2018-10-04 (주)아모레퍼시픽 2차원 피부 이미지 분석 시스템 및 분석 방법
CN107123027A (zh) * 2017-04-28 2017-09-01 广东工业大学 一种基于深度学习的化妆品推荐方法及系统
CN108806792A (zh) * 2017-05-03 2018-11-13 金波 深度学习面诊系统
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN108876847A (zh) * 2017-11-30 2018-11-23 北京旷视科技有限公司 图像定位方法、装置、系统和存储介质
CN108198620A (zh) * 2018-01-12 2018-06-22 洛阳飞来石软件开发有限公司 一种基于深度学习的皮肤疾病智能辅助诊断系统
CN108710829A (zh) * 2018-04-19 2018-10-26 北京红云智胜科技有限公司 一种基于深度学习的表情分类及微表情检测的方法
CN108629338A (zh) * 2018-06-14 2018-10-09 五邑大学 一种基于lbp和卷积神经网络的人脸美丽预测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
automated skin disease identification using deep learning algorithm;Patnaik S.K et al;Biomed Pharmacology Journal;第1429-1436页 *
CHiun-Li Chin et al.Facial skin image classification system using Convolutional Neural Networks deep learning algorithm.2019 9th international conference on awareness science and technology.2018,第51-55页. *
Facial skin image classification system using Convolutional Neural Networks deep learning algorithm;CHiun-Li Chin et al;2019 9th international conference on awareness science and technology;第51-55页 *
HD-CNN:Hierarchica lDee pConvolutional Neural Networks for Large Scale Visual Recognition;ZhichengYan et al;IEEE;全文 *
TREE-LOSS FUNCTION FOR TRAINING NEURAL NETWORKS ON WEAKLY-LABELLED DATASETS;Sergey Demyanov et al;2017 IEEE 14TH internatinal symposium on biomedical imaging;全文 *

Also Published As

Publication number Publication date
US20230123037A1 (en) 2023-04-20
JP7395604B2 (ja) 2023-12-11
US11553872B2 (en) 2023-01-17
EP3890591A1 (en) 2021-10-13
EP3890591A4 (en) 2022-08-10
US11832958B2 (en) 2023-12-05
JP2022512044A (ja) 2022-02-01
US20200170564A1 (en) 2020-06-04
WO2020113326A1 (en) 2020-06-11
CN114502061A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN114502061B (zh) 使用深度学习的基于图像的自动皮肤诊断
JPWO2020113326A5 (zh)
US11055762B2 (en) Systems and methods for providing customized product recommendations
US10943156B2 (en) Machine-implemented facial health and beauty assistant
US20210012493A1 (en) Systems and methods to process images for skin analysis and to visualize skin analysis
US11817004B2 (en) Machine-implemented facial health and beauty assistant
KR20200105480A (ko) 머신 구현 안면 건강 및 미용 보조기
KR102427505B1 (ko) 딥러닝에 기반한 아토피 피부염 진단을 수행하는 사용자 단말
Colantonio et al. Computer vision for ambient assisted living: Monitoring systems for personalized healthcare and wellness that are robust in the real world and accepted by users, carers, and society
Hasan et al. Pain level detection from facial image captured by smartphone
KR102495889B1 (ko) 반자동 라벨링에 따라 학습된 딥러닝 기반 주름 검출 모델을 이용하여 얼굴 주름을 검출하기 위한 방법 및 장치
US20220108445A1 (en) Systems and methods for acne counting, localization and visualization
EP4002380A1 (en) Assessing a region of interest of a subject
CN117813661A (zh) 皮肤分析系统和方法具体实施
WO2021003574A1 (en) Systems and methods to process images for skin analysis and to visualize skin analysis
KR20240009440A (ko) 컴퓨터-기반 신체 부위 분석 방법들 및 시스템들
CN116964642A (zh) 用于痤疮计数、定位和可视化的系统和方法
CN117242528A (zh) 处理图像以进行皮肤分析和可视化皮肤分析的系统和方法
KR20230128182A (ko) 인공지능 기반 어깨 회전근 개 근육 지방 변성 질환 판독 방법, 장치 및 프로그램
Han et al. ARTIFICIAL INTELLIGENCE POWERED DYNAMIC SKIN ANALYSIS APPLICATION

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant