CN113160224B - 一种基于人工智能的皮肤老化程度识别方法、系统和装置 - Google Patents

Abstract

本发明公开一种基于人工智能的皮肤老化程度识别方法、系统和装置，属于计算机图像处理技术领域。本发明公开了一种基于人工智能技术自动评估皮肤老化程度的方法，该方法利用计算机自动读取用户上传的面部皮肤图像，然后通过人工智能皮肤老化程度评估模型对面部皮肤的老化程度进行分级，主要方式为通过建立皮肤老化程度检测模型检测皮肤区域是否有明显细皱纹、是否有色素不均、是否有明显粗糙。然后根据Global Score For Photoaging评分方法去计算皮肤老化程度评分。

Description

一种基于人工智能的皮肤老化程度识别方法、系统和装置

技术领域

本发明涉及计算机图像处理技术领域，更具体地说，涉及一种基于人工智能的皮肤老化程度识别方法、系统和装置。

背景技术

随着年龄的增长，皮肤老化也随之而来。皮肤老化是一种皮肤功能衰老性损伤，使皮肤对机体的防护能力，调节能力等减退，因此皮肤不能适应内外环境的变化，出现颜色、色泽、形态、质感等外观整体状况的改变，主要临床表现为皮肤出现明显粗糙、明显的细皱纹或者出现皮肤色素不均的症状。近年来人们的生活质量不断提高，越来越多的人对自身的皮肤状况也越来越关注，皮肤老化更是大多数人关注的重点，所以科学规范精准的评估皮肤老化程度具有重大的社会意义。

目前在临床实践中，根据医生临床经验的不同对同一患者可能会做出不同皮肤老化评估结果，使用不同的皮肤老化治疗方案。这些治疗方案对患者的疗效不一，甚至有可能会对患者造成一些损害。因而科学、规范、准确的对面部皮肤老化进行评估就显得尤为重要。

中国专利申请一种智能人脸皮肤老化程度的识别与评估方法，申请号CN201910508742.8，公开日2019年9月6日，公开了一种智能人脸皮肤老化的识别与评估方法，所述方法包括：图像采集与预处理。采集用于评估人脸皮肤老化程度的人脸图像，将图像从RGB图转化为灰度图，在灰度图像上进行高斯卷积、Hessian矩阵算法计算得到二值图像；皱纹检测与筛选。二值图像中值为1的区域为疑似皱纹区域，根据其最小外接矩形，根据其长边、短边及长边倾斜角，判定疑似皱纹区域是否为真实皱纹，处理得到新的皱纹二值图像；提取皱纹特征。皱纹二值图像中值为1的区域为真实皱纹区域，提取人脸皱纹特征，包括皱纹数量，皱纹最大连通长度、最大宽度，皱纹颜色深度程度，皱纹最小外接矩形面积；评估人脸皮肤老化程度。由人脸皱纹特征加权综合计算得到人脸皮肤老化程度、人脸皮肤视觉老化程度。该方案未提供标准化的图像采集方案，采用的是传统图像处理的方法依据皱纹的图像特征，使用图像灰度化、高斯卷积、Hessian矩阵算法等计算方法直接对面部皮肤图像进处理，检测准确度无法保证，识别检测效果不好，且该方案并未建立患者数据中心，无法对患者数据进行分析。

发明内容

1.要解决的技术问题

针对现有技术中存在的皮肤老化程度的

针对上述问题，本发明提供一种基于人工智能的皮肤老化程度识别方法、系统和装置，基于人工智能技术，为皮肤老化程度的评估提供科学、规范、客观、稳定的评价标准，避免因临床经验的不同导致医生在评估皮肤老化程度的过程中造成的判断误差。同时也可以帮助医生更加准确客观的评估皮肤老化程度，建立用户档案方便有效的对用户皮肤老化程度变化趋势进行跟踪。

2.技术方案

本发明的目的通过以下技术方案实现。

一种基于人工智能的皮肤老化识别方法，包括以下步骤：

步骤一：采集面部图像，对采集的图像数据进行处理，得到第一对象区域、第二对象区域、第三对象区域和第四对象区域人脸图像；

步骤二：使用深度学习神经网络模型建立检测模型，检测第一对象区域、第二对象区域、第三对象区域和第四对象区域人脸图像的皮肤老化状态；

步骤三：根据步骤二中检测模型输出结果，计算面部皮肤老化值；

步骤四：建立用户档案，记录用户面部皮肤老化值及变化情况。

更进一步的，步骤二中检测模型的构建包括以下步骤：

步骤2.1：准备第一角度、第二角度和第三角度的面部图像；

步骤2.2：对面部图像数据进行面部老化程度特征的标注，标注文件内容包括识别并标注出特异区域，以及判断输出特异区域状态参数；

步骤2.3：使用深度学习神经网络模型构建用于目标分类的深度学习神经网络模型；

步骤2.4：将步骤2.1中的面部图像数据和步骤2.2中的标注文件加载进步骤2.3中的深度学习神经网络模型进行训练，得到训练结果，生成模型文件；

步骤2.5：对训练好的模型进行性能测试，如果不能满足性能要求，调整模型训练的参数，重新进行模型的训练，直到训练出符合要求的皮肤老化检测模型。

更进一步的，步骤2.2中的状态参数包括第一状态参数、第二状态参数和第三状态参数。

更进一步的，检测模型的预处理单元将输入图像输入缩放为固定尺寸，对缩放后的图像进行降维计算，对降维后的数据进行不同尺度的卷积计算提取对应特征值，将计算得到特征值与步骤2.4中模型文件的特征值匹配，计算置信度，输出置信度大于设定值的检测结果。

更进一步的，步骤2.4中检测模型训练时，选择训练参数包括输入训练的面部图像数据大小和面部图像数据数量。

更进一步的，检测模型分类器包括第一状态参数分类出、第二状态参数分类层和第三状态参数分类层，每个分类层包括两种类别。

更进一步的，采集面部图像时，先采集人脸的第一角度、第二角度和第三角度的面部图像，然后使用人脸特征点检测模型检测，提取第一对象区域、第二对象区域、第三对象区域和第四对象区域人脸图像。

一种基于人工智能的皮肤老化识别装置，使用所述的一种基于人工智能的皮肤老化识别方法，所述装置包括控制单元、采集单元、光源单元和滤光片单元；控制单元控制采集单元采集面部图像，采集单元包括相机和限位装置；光源单元和滤光片单元用于提供采集单元采集图像时的光源。

一种基于人工智能的皮肤老化识别系统，包括所述的一种基于人工智能的皮肤老化识别装置，系统包括图像采集系统和图像处理系统，图像采集系统采集人脸的第一角度、第二角度和第三角度的面部图像，发送至图像处理系统进行图像处理，进行皮肤老化识别和检测。

更进一步的，图像处理系统包括深度学习神经网络模型，用于对输入图像数据识别检测，输出第一状态参数、第二状态参数和第三状态参数。

本发明基于深度学习进行面部皮肤老化程度的识别和检测，使用深度学习神经网络检测模型进行训练和计算，提高检测效率和准确度，不用依赖传统的人工检测经验，便于用户档案的建立以及数据的管理。识别方法所用系统结构简单易于实现，适合广泛推广。

3.有益效果

相比于现有技术，本发明的优点在于：

本发明则使用基于人工智能的人工智能图像识别的方法建立皮肤皱纹、色素、粗糙度检测识别模型，依据光老化全球评分方法对面部图像进行面部区域划分，再使用建立的人工智能模型分别对每个面部皮肤区域的皮肤皱纹、色素、粗糙度进行检测和识别，最后依据光老化全球评分表去计算面部皮肤老化的评价得分，在评价方法上更加符合临床评价的要求也更加科学客观；建立用户档案管理中心，让用户更直观的看到自己面部皮肤的衰老情况，对用户皮肤数据进行跟踪分析，监测用户的皮肤老化治疗以及发展变化趋势。

在皮肤衰老情况的识别和分析上面，本发明使用了专业皮肤科医生在临床诊断中使用的光老化全球评分方法，在评价方法上更加科学严谨，同时我们在实际计算评价指标的过程中使用了人工智能图像识别的方法建立了皮肤粗糙度、细皱纹、色素识别的模型，在检测识别的流程上更加简单、快速、精确，辅助医生临床判断，提升识别检测效率。

附图说明

图1为本发明系统结构示意图；

图2为本发明系统架构示意图；

图3为本发明皮肤老化程度评估流程示意图；

图4为本发明面部区域划分示意图；

图5为本发明模型标注内容示意图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

实施例1

本实施例公开一种基于人工智能的皮肤老化程度识别方法，如图3所示，将采集到的测试者的左侧脸、正脸、右侧脸图像输入到计算机自动评估皮肤老化严重程度的程序中，程序自动检测皮肤区域是否有明显粗糙、明显细皱纹、色素不均的情况，然后根据光老化全球评分(Global Score For Photoaging)方法去计算皮肤老化程度评分，辅助医生去分析用户的老化程度。

本实施例基于人工智能技术，通过该方法为皮肤老化程度的评估提供科学、规范、客观、稳定的评价标准，避免因临床经验的不同导致医生在评估皮肤老化程度的过程中造成的判断误差，帮助医生更加准确客观的评估皮肤老化程度，在建立用户档案之后也可以有效的对用户的皮肤老化程度变化趋势进行跟踪。

具体的识别和评估方法包括以下步骤：

步骤一、对图像采集模块采集的图像数据进行处理，得到左侧面颊区域、前额区域、口周区域和右侧面颊区域人脸图像。

使用人脸特征点检测模型对输入计算机的左侧脸、正脸、右侧脸三张图像进行检测，该模型可以检测到人面部的轮廓点以及眼睛、鼻子、嘴巴的位置点坐标信息，通过这些位置点的坐标信息进行面部图像区域的划分和提取，分别提取左侧脸图像的左侧面颊区域、右侧脸图像的右侧面颊区域、正脸图像的前额区域和口周区域，区域划分如图4所示。

本步骤中使用的人脸特征点检测模型为通用技术的人脸特征点检测模型，本实施例不局限人脸特征点检测模型的使用，可以为DAN-Deep Alignment Network人脸特征点检测模型、2D and 3D Face alignment人脸特征点检测模型、dlib-68特征点检测算法等。

步骤一中对面部数据的区域划分依据光老化全球评分方法划分的区域，第一对象区域、第二对象区域、第三对象区域和第四对象区域分别对应用户左侧脸图像的左侧面颊区域、右侧脸图像的右侧面颊区域、正脸图像的前额区域和口周区域，便于后续步骤的面部皮肤老化评价和计算。

步骤二、使用深度学习神经网络模型建立皮肤老化检测模型，检测每个区域图像的皮肤老化状态。

皮肤老化检测检测模型是使用深度学习神经网络模型建立的用来检测皮肤老化状况的模型。使用皮肤老化检测模型对步骤一中提取的左侧面颊区域图像、右侧面颊区域图像、前额区域图像、口周区域图像进行检测，判断皮肤老化状态。皮肤老化状态包括是否有明显粗糙、明显细皱纹或色素不均情况。

图像在加载进皮肤老化检测模型之后首先在预处理单元将图像大小统一缩放为128*128的像素尺寸，然后对缩放后的图像进行第一层卷积计算对图像数据进行降维以减小后续的推理计算量，对降维后的数据分别进行5*5、3*3、1*1三个不同尺度的卷积计算核计算以提取到图像上不同尺度的特征信息值，最后根据训练好的模型中记录特征值的权重文件进行不同尺度的特征值信息匹配度计算，匹配度越高则置信度越高(置信度范围0％至100％)。

将模型检测结果和专业医生的判断结果进行对比，得出置信度在50％以上，同时检测结果和医生判断结果一致性大于85％的分类结果，作为最终的分类结果。

建立皮肤老化检测模型的基本流程为：

步骤2.1：准备大量由专业设备采集的正面、右侧面、左侧面三个角度的面部图像。

步骤2.2：由专业皮肤科医生对图像数据进行面部老化程度特征的标注，标注内容包括识别并标注出面部有明显老化临床表现的面部区域，以及该皮肤区域是否有明显粗糙、明显细皱纹、色素不均的情况。

具体标注内容如图5所示，在生成的标注文件中，包括区域、皱纹、粗糙度和色素参数，区域参数包括左侧面颊区域L、右侧面颊区域R、前额区域F和口周区域C；皱纹参数用0表示无明显细皱纹，1表示有明显细皱纹；粗糙度参数用0表示无明显粗糙，1表示有明显粗糙；色素参数用0表示无明显色素不均，1表示有明显色素异常。

步骤2.3：使用ResNet50、DenseNet、ResNext50、Inception-v1、Inception-v2、Inception-v3等模型构建用于目标分类的深度学习神经网络模型。

步骤2.4：将图像数据和标注文件加载进深度学习神经网络模型进行训练，得到训练结果，生成模型文件。

在模型的训练开始时，根据模型需求设置参数，在皮肤老化检测模型中，模型分类器为三层分类器，分别为皱纹情况分类层，粗糙度情况分类层和色素情况分类层，每层需要进行两个类别的区分，类别划分同步骤2.2中标准文件内容划分方式。

根据计算机的计算能力选择适合的图像输入大小以及同时输入训练的图像数据的数量。本实施例中选择的图像输入大小为416*416的像素尺寸，一次加载进模型训练的图像数量为五张。还有一些图像尺度变换、色彩变换、角度变换、学习速率(和模型训练速度相关的参数)、损失值(模型训练精度相关)等参数需要根据模型上次训练后的结果进行分析后做相关调整。训练完成后会生成一个记录皮肤老化检测模型特征值的权重文件，即模型文件。

步骤2.5：对训练好的模型进行性能测试，如果不能满足性能要求，调整模型训练的参数，重新进行模型的训练，直到训练出符合要求的皮肤老化检测模型。

步骤三、根据皮肤老化程度检测模型输出结果，计算面部皮肤老化分值。

根据Global Score For Photoaging评分方法，计算面部皮肤老化评分的分值。计算时将左侧面颊区域和右侧面颊区域合并为一个区域，统称面颊区域。左侧和右侧面颊区域合并，其中皱纹情况、粗糙度情况、色素情况进行或运算。

Global Score For Photoaging具体分值计算方式如表1所示：

表1

步骤四、建立用户档案，记录用户皮肤老化程度及变化情况。

通过计算机程序自动建立用户的病情评估档案，可以有效的记录用户每次进行皮肤衰老评估的情况，直观的让医生和用户看到皮肤衰老的发展情况以及治疗的效果。

实施例2

本实施例公开一种基于人工智能的皮肤老化程度识别系统，所述识别系统使用实施例1所述的识别方法，如图2所示，系统包括图像采集模块和图像处理模块，图像采集模块采集人脸的左侧面、右侧面和正面面部图像信息，发送至图像处理模块进行图像处理，图像处理模块对图像采集模块采集的图像数据进行检测、分割、计算等数据处理，输出皮肤老化评价结果。

图像处理模块包括皮肤老化检测模型，用于对各区域人脸图像数据进行皮肤老化检测，包括粗糙度、皱纹和色素检测。

图像获取模块的硬件实现包括光源单元、滤光片单元、采集单元和控制单元。如图1所示，光源单元包括交叉偏振光光源、平行偏振光光源、标准白光光源和UV光光源；滤光片单元包括交叉偏振光滤光片、平行偏振光光片和UV光滤光片；采集单元包括弧形导轨、光电限位传感器、导轨步进电机和单反相机；控制单元包括驱动控制板、工控机、显示器、键盘和数据等I/O设备。

电源对采集单元和控制单元供电，控制单元中的工控机对系统进行控制，包括部署操作系统、运行图像采集、分析软件、存储数据、控制单反相机拍照同时进行数据传输、控制驱动控制板。工控机可以连接外设设备显示器、鼠标、键盘，操作人员通过外设设备进行设备的日常操作和维护。采集单元使用半圆圆弧形导轨为导轨步进电机的运行轨道，弧形导轨的圆弧角度范围为0度至180度；采集单元中的导轨步进电机用于承载单反相机，带动单反相机进行运动。光电限位传感器在半圆圆弧形导轨两端各设有一个，用于检测相机是否运行到导轨端口极限位置，防止相机脱轨。

滤光片单元切换导轨步进电机与UV光滤光片、平行偏振光滤光片、交叉偏振光滤光片均连接，同时还连接单反相机，用于单反相机采集数据时滤光片的切换。驱动控制板对光源单元、滤光片单元和采集单元进行控制。具体地，控制光源单元中UV光光源、标准白光光源、平行偏振光光源和交叉偏振光光源的开启和关闭以及各开启光源的亮度；控制导轨步进电机转动角度从而实现控制相机在半圆圆弧形导轨上运行的轨迹；控制滤光片切换电机从而实现滤光镜片的切换。本实施例所述图像采集模块实现全自动采集用户多角度多光源的人面部图像，提供高质量高还原度的照片，采集图中角度范围为用户面对方向从左侧到右侧180度角的范围，采集图像时光源种类包括：UV光、标准白光、平行偏振光和交叉偏振光。

图像采集模块工作时，设备操作人员只需要点击拍照按钮，设备就可以按照顺序自动采集UV光光源、标准白光光源、平行偏振光光源和交叉偏振光光源下左侧面、正面、右侧面三个角度，共计十二张面部图像，智能的采集到测试者面部图像。然后将图像数据输入至图像处理模块进行处理分析，程序会自动给出测试者面部皮肤老化程度的评价得分，辅助医生进行治疗和判断。一般来说，左侧面和右侧面角度设定为45度，通过该智能图像采集设备采集的图像面部位置角度标准统一，采集的图像中面部皮肤区域在整张图像的面积占比在80％以上，便于图像处理模块的数据处理。

人工智能技术快速发展以及大量的落地应用为人们的生活带来了极大的便利，在医疗辅助领域也有广泛的应用。将人工智能技术与医学领域的皮肤老化评估方法相结合可以极大的提高病情评估的准确性，同时在评估的速度上也有极大的提升。通过建立用户的病情评估档案可以有效的反映用户的皮肤老化程度变化趋势和抗衰老治疗效果。

以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (8)

1.一种基于人工智能的皮肤老化识别方法，其特征在于，包括以下步骤：

步骤一：采集面部图像，对采集的图像数据进行处理，得到第一对象区域、第二对象区域、第三对象区域和第四对象区域人脸图像；

步骤二：使用深度学习神经网络模型建立检测模型，检测第一对象区域、第二对象区域、第三对象区域和第四对象区域人脸图像的皮肤老化状态；

步骤三：根据步骤二中检测模型输出结果，计算面部皮肤老化值；

步骤四：建立用户档案，记录用户面部皮肤老化值及变化情况；

步骤二中检测模型的构建包括以下步骤：

步骤2.1：准备第一角度、第二角度和第三角度的面部图像；

步骤2.2：对面部图像数据进行面部老化程度特征的标注，标注文件内容包括识别并标注出特异区域，以及判断输出特异区域状态参数；

步骤2.3：使用深度学习神经网络模型构建用于目标分类的深度学习神经网络模型；

步骤2.4：将步骤2.1中的面部图像数据和步骤2.2中的标注文件加载进步骤2.3中的深度学习神经网络模型进行训练，得到训练结果，生成模型文件；

步骤2.5：对训练好的模型进行性能测试，如果不能满足性能要求，调整模型训练的参数，重新进行模型的训练，直到训练出符合要求的皮肤老化检测模型；

采集面部图像时，先采集人脸的第一角度、第二角度和第三角度的面部图像，然后使用人脸特征点检测模型检测，提取第一对象区域、第二对象区域、第三对象区域和第四对象区域人脸图像。

2.根据权利要求1所述的一种基于人工智能的皮肤老化识别方法，其特征在于，步骤2.2中的状态参数包括第一状态参数、第二状态参数和第三状态参数。

3.根据权利要求2所述的一种基于人工智能的皮肤老化识别方法，其特征在于，检测模型的预处理单元将输入图像输入缩放为固定尺寸，对缩放后的图像进行降维计算，对降维后的数据进行不同尺度的卷积计算提取对应特征值，将计算得到特征值与步骤2.4中模型文件的特征值匹配，计算置信度，输出置信度大于设定值的检测结果。

4.根据权利要求1所述的一种基于人工智能的皮肤老化识别方法，其特征在于，步骤2.4中检测模型训练时，选择训练参数包括输入训练的面部图像数据大小和面部图像数据数量。

5.根据权利要求4所述的一种基于人工智能的皮肤老化识别方法，其特征在于，检测模型分类器包括第一状态参数分类层、第二状态参数分类层和第三状态参数分类层，每个分类层包括两种类别。

6.一种基于人工智能的皮肤老化识别装置，其特征在于，使用如权利要求1-5任意一项所述的一种基于人工智能的皮肤老化识别方法，所述装置包括控制单元、采集单元、光源单元和滤光片单元；控制单元控制采集单元采集面部图像，采集单元包括相机和限位装置；光源单元和滤光片单元用于提供采集单元采集图像时的光源。

7.一种基于人工智能的皮肤老化识别系统，其特征在于，包括使用如权利要求6所述的一种基于人工智能的皮肤老化识别装置，系统包括图像采集系统和图像处理系统，图像采集系统采集人脸的第一角度、第二角度和第三角度的面部图像，发送至图像处理系统进行图像处理，进行皮肤老化识别和检测。

8.根据权利要求7所述的一种基于人工智能的皮肤老化识别系统，其特征在于，图像处理系统包括深度学习神经网络模型，用于对输入图像数据识别检测，输出第一状态参数、第二状态参数和第三状态参数。

Images