CN113159227A - 一种基于神经网络的痤疮图像识别方法、系统和装置 - Google Patents

Abstract

本发明公开一种基于神经网络的痤疮图像识别方法、系统和装置，属于计算机图像处理技术领域。针对现有技术中存在的痤疮图像识别判断往需要人工进行，识别效率低，还往往会带有主观因素，识别评价准备度不高的问题，本发明公开了一种基于人工智能技术自动评估痤疮病情的方法，该方法利用计算机自动读取用户上传的面部皮肤图像，然后通过人工智能痤疮病情评估模型对面部痤疮图像的皮损区域进行自动检测、识别与定位，同时自动对用户面部痤疮的严重程度进行等级区分，最后通过计算机程序对检测出的面部痤疮皮损区域以及类型进行统计，操作简单准确率高，不依赖人工判断，适合广泛应用。

Description

一种基于神经网络的痤疮图像识别方法、系统和装置

技术领域

本发明涉及计算机图像处理技术领域，更具体地说，涉及一种基于神经网络的痤疮图像识别方法、系统和装置。

背景技术

痤疮是一种非常常见的皮肤病，主要临床表现为粉刺、丘疹、脓疱、结节、囊肿，患病人群主要为青少年。面部痤疮引起的外貌的损伤也会影响到青少年的身心健康。

目前在临床实践中，根据医生临床经验的不同对同一患者可能会做出不同识别判断结果，进而选择使用不同的治疗方案。这些治疗方案对患者的疗效不一，甚至有可能会对患者造成一些损害。因而科学、规范、准确的对面部痤疮进行识别和评估尤为重要，具有很大意义。

近年来，人工智能技术快速发展以及大量的落地应用为人们的生活带来了极大的便利，同时在医疗领域有了广泛的应用。将人工智能技术与医学领域的痤疮图像识别评估方法相结合可以极大的提高病情评估的准确性，同时在评估的速度上也有极大的提升，降低了痤疮的病情评估对医生专业经验的依赖性。并且通过建立患者的病情评估档案可以有效的反映患者的病情变化趋势和治疗效果。

中国专利申请以具有角度的脸部影像分析脸部缺陷的系统、装置及方法，申请号CN201010569749.X，公开一种以具有角度的脸部影像分析脸部缺陷的系统、装置及方法。该系统包括一储存模块、一影像角度侦测模块、一特征界定模块与皮肤分析模块。储存模块储存有至少一具有角度的脸部影像、至少一皮肤缺陷条件与多个多角度的脸部特征条件的至少其一。影像角度侦测模块侦测具有角度的脸部影像的一角度。特征界定模块根据脸部特征条件分析该具有角度的脸部影像，以取得至少一脸皮区域影像。皮肤分析模块则利用一皮肤缺陷条件判定至少一脸皮区域影像是否存在至少一皮肤缺陷影像，当存在时，标记该至少一脸皮区域影像的该至少一皮肤缺陷影像，该方案在图像采集部分并未对图像角度、灯光等条件进行标准统一，且只采集了自然白光下的单张图像；该方案在面部图像的区域划分上面使用的是较为传统的图像特征匹配的方法直接去匹配识别脸部各区域，检测效果不够精确，该方案使用传统图像的图像特征匹配方法，检测皱纹缺陷、斑点缺陷和疤痕缺陷三种面部疤痕缺陷，只能检测固定的十二个区域是否有这三种面部缺陷，无法识别这三种面部缺陷的严重程度，最后该方案并未建立使用者的数据中心，无法实现其面部缺陷的治疗跟踪功能。

发明内容

1.要解决的技术问题

针对现有技术中存在的痤疮图像识别判断往需要人工进行，识别效率低，还往往会带有主观因素，识别评价准备度不高的问题，本发明提供一种基于神经网络的痤疮图像识别方法、系统和装置，使用人工智能技术，降低痤疮图像识别评价中对医生专业经验的依赖性，提高识别效率和准确度，适于广泛推广。

2.技术方案

本发明的目的通过以下技术方案实现。

一种基于神经网络的痤疮图像识别方法，采集面部图像数据，对采集的面部图像数据进行预处理，得到面部平面图像；将面部平面图像同时输入第一深度学习神经网络模型和第二深度学习神经网络模型，第一深度学习神经网络模型对输入数据进行检测，输出检测结果，第二深度学习神经网络模型对输入数据进行分类，输出分类结果，用检测结果和分类结果建立用户档案。

本发明通过深度学习神经网络模型对面部图像数据进行检测和分类，进行面部痤疮图像的识别和评价，结构简单易于实现，痤疮判断时准确率高，效果好。

优选的，第一深度学习神经网络模型在数据检测时，模型的预处理层将输入图像大小调整为固定值，将调整后的图像分割为大小相同的正方形网格，检测每个网格中图像数据的类别；以当前检测网格的中心点为中心随机生成若干个预选框，比较预选框中图像数据特征值与第一深度学习神经网络模型权重文件中的特征值，得到预选框的置信度，合并每个网格置信度最高的预选框检测结果作为第一深度学习神经网络模型输出检测结果。

优选的，第二深度学习神经网络模型在数据分类时，模型的预处理层将输入图像大小调整为固定值，对调整后的图像进行不同尺度的卷积计算以提取到不同尺度的特征信息值，根据训练好的第二深度学习神经网络模型权重文件中的特征值，得到不同尺度特征信息值的置信度，定义置信度大于设定值的卷积计算结果为第二深度学习神经网络模型输出分类结果。

优选的，深度学习神经网络模型构建过程是：

准备若干经人脸特征点检测模型检测后提取特征点拼接好的痤疮患者面部图像数据；

对获取图像数据进行痤疮区域皮损区域标注或痤疮区域严重等级分类；

使用深度学习神经网络模型构建用于目标检测或用于目标分类的深度学习神经网络模型；将准备的若干拼接好的痤疮患者面部图像数据加载进深度学习神经网络模型进行训练，得到训练结果，生成模型文件；

对训练好的深度学习神经网络模型进行性能测试，如果不能满足性能要求，需要调整模型训练的参数，再重新训练，直到训练出符合性能要求的深度学习神经网络模型。

使用yolo-V3、yolo-V4、yolo-V5、EfficientDet等模型构建用于痤疮皮损目标检测的第一深度学习神经网络模型，即痤疮皮损区域检测模型。使用ResNet50、DenseNet、ResNext50、Inception-v1、Inception-v2、Inception-v3等模型构建用于痤疮严重程度目标分类的第二深度学习神经网络模型，即痤疮严重程度分级模型。

优选的，深度学习神经网络模型训练参数设定时，第一深度学习神经网络模型的检测类别为粉刺区域、丘疹区域、脓疱区域、囊肿区域和正常皮肤区域；第二深度学习神经网络模型的分类类别为Ⅰ级：轻度、Ⅱ级：中度、Ⅲ级：中重度、Ⅳ级：重度和正常皮肤。模型训练时除上述参数，还包括图像输入大小以及同时输入训练的图像数据的数量等参数，根据计算机计算能力自主选择。

优选的，采集不同光源下第一角度、第二角度和第三角度的面部图像数据，其中第一角度和第二角度之间小于等于90度，第三角度和第二角度之间小于等于90度。第一角度和第三角度之间不大于180度，一般来说，第一角度与第三角度以第二角度为中心对称分布，根据有限次的实验所得，当第一角度与第三角度均与第二角度间隔45度时，效果最佳。

优选的，采集到的面部图像数据提取特征后进行区域划分，在第一角度采集到的图像数据提取第一区域，在第二角度采集到的图像数据提取第二区域和第三区域，在第三角度采集到的图像数据提取第四区域；将提取的四个区域图像数据拼接为一幅面部图像，所述面部图像输出到图像处理模块进行图像处理。

使用人脸特征点检测模型识别采集到的面部图像数据，提取识别到的面部坐标和特征点信息，通过这些信息进行图像区域划分和提取，进而实现拼接。拼接为常用的图像拼接方法，因为采集的图像数据为不同角度，即包括不同角度的特征，根据采集图像的角度进行拼接，拼接后的图像数据去除了其他信息带来的干扰，便于在图像处理模块进行后续图像处理的准确性。本发明不局限人脸特征点检测模型或算法的应用，较常使用的是DAN-Deep Alignment Network人脸特征点检测模型、2D and 3D Face alignment人脸特征点检测模型或dlib-68特征点检测算法。

一种基于神经网络的痤疮图像识别系统，所述系统使用所述的一种基于神经网络的痤疮图像识别方法，系统包括图像采集模块和图像处理模块，图像处理模块对图像采集模块采集的面部图像信息进行图像处理。

优选的，图像处理模块包括基于深度学习神经网络模型构建的第一深度学习神经网络模型和第二深度学习神经网络模型。本发明中，第一深度学习神经网络模型为痤疮皮损区域检测模型，用于检测面部痤疮图像上的粉刺、丘疹、脓疱、囊肿区域以及坐标；第二深度学习神经网络模型为痤疮严重程度分级模型，用于面部痤疮图像的严重等级分类。

一种基于神经网络的痤疮图像识别装置，设有所述的一种基于神经网络的痤疮图像识别系统，所述装置包括光源单元、滤光片单元、采集单元和控制单元，光源单元控制图像采集时的光源，滤光片单元控制图像采集时的滤光片，采集单元用于采集图像，控制单元用于各单元之间的控制。

光源单元包括交叉偏振光光源、平行偏振光光源、标准白光光源和UV光光源；滤光片单元包括交叉偏振光滤光片、平行偏振光光片和UV光滤光片；采集单元包括导轨、限位传感器、导轨步进电机和相机；控制单元包括驱动控制板、工控机和I/O设备，I/O设备包括显示器、键盘和鼠标等。

本发明使用基于神经网络进行痤疮图像的识别和评价，在面部图像时，对面部图像的角度、光源等影响成像效果的条件进行了标准统一，可以一次性采集多个固定角度、多种光源模式(平行偏振光、交叉偏振光、UV光、标准白光)下的图像。本发明使用人工智能图像检测的方法先去检测人面部轮廓特征点，然后根据面部轮廓特征点信息去划分前额区域、左侧面颊区域、右侧面颊区域、下颚区域等区域，在面部区域划分上更加精准迅速。

本发明在检测和评价方法上使用了精确度和速度更快的人工智能图像检测方法和人工智能图像分类方法，针对面部痤疮图像提出系统、科学的临床辅助评价方法，能够检测并识别痤疮图像的四种皮损类型，包括：囊肿、脓疱、粉刺、丘疹，并且能够实现对皮损区域的定位和计数，同时也实现了对面部痤疮图像的严重程度进行了分级评价。在检测结果数据统计时，本发明建立用户档案的数据中心用于记录用户每次治疗检测的数据，可以监测用户面部痤疮病情发展以及变化趋势。

3.有益效果

相比于现有技术，本发明的优点在于：

本发明将痤疮图像评价与计算机视觉、深度学习技术结合，使用人工智能技术自动评估痤疮的病情，可以精确的统计出粉刺、丘疹、脓疱、囊肿的数量，并标注出准确的位置，让用户更直观的看到自己面部痤疮情况。本发明识别系统给出痤疮严重等级的评估结果可以快速高效的辅助医生给出准确地评估和处理方案。本发明准确率高，痤疮皮损区域检测模型对粉刺、丘疹、脓疱、囊肿四类痤疮皮损区域的识别与定位上准确率大于95％，痤疮严重程度分级模型对痤疮严重程度分级准确率大于85％。

附图说明

图1为本发明系统结构示意图；

图2为本发明系统架构示意图；

图3为本发明识别方法流程示意图；

图4为本发明面部图像拼接后测试结果。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

实施例1

本实施例公开一种基于神经网络的痤疮图像识别系统，如图2所示，所述系统包括图像采集模块和图像处理模块，图像采集模块采集人脸的左侧面、右侧面和正面面部图像信息，发送至图像处理模块进行图像处理，图像处理模块对图像采集模块采集的图像数据进行检测、分割、计算等数据处理，输出痤疮图像识别评价结果，建立用户档案后还可以有效的对治疗效果进行跟踪。

图像处理模块包括痤疮皮损区域检测模型和痤疮严重程度分级模型，痤疮皮损区域检测模型用于检测面板痤疮图像上的粉刺、丘疹、脓包、囊肿区域以及坐标，痤疮严重程度分级模型用于识别面部痤疮图像的严重等级。

图像获取模块的硬件实现包括光源单元、滤光片单元、采集单元和控制单元。如图1所示，光源单元包括交叉偏振光光源、平行偏振光光源、标准白光光源和UV光光源；滤光片单元包括交叉偏振光滤光片、平行偏振光光片和UV光滤光片；采集单元包括弧形导轨、光电限位传感器、导轨步进电机和单反相机；控制单元包括驱动控制板、工控机、显示器、键盘和数据等I/O设备。

结合图1和图2，电源对采集单元和控制单元供电，控制单元中的工控机对系统进行控制，包括部署操作系统、运行图像采集、分析软件、存储数据、控制单反相机拍照同时进行数据传输、控制驱动控制板。工控机可以连接外设设备显示器、鼠标、键盘，操作人员通过外设设备进行设备的日常操作和维护。采集单元使用半圆圆弧形导轨为导轨步进电机的运行轨道，弧形导轨的圆弧角度范围为0度至180度；采集单元中的导轨步进电机用于承载单反相机，带动单反相机进行运动。光电限位传感器在半圆圆弧形导轨两端各设有一个，用于检测相机是否运行到导轨端口极限位置，防止相机脱轨。

滤光片单元切换导轨步进电机与UV光滤光片、平行偏振光滤光片、交叉偏振光滤光片均连接，同时还连接单反相机，用于单反相机采集数据时滤光片的切换。驱动控制板对光源单元、滤光片单元和采集单元进行控制。具体地，控制光源单元中UV光光源、标准白光光源、平行偏振光光源和交叉偏振光光源的开启和关闭以及各开启光源的亮度；控制导轨步进电机转动角度从而实现控制相机在半圆圆弧形导轨上运行的轨迹；控制滤光片切换电机从而实现滤光镜片的切换。本实施例所述图像采集模块实现全自动采集用户多角度多光源的人面部图像，提供高质量高还原度的照片，采集图中角度范围为用户面对方向从左侧到右侧180度角的范围，采集图像时光源种类包括：UV光、标准白光、平行偏振光和交叉偏振光。

图像采集模块工作时，设备操作人员只需要点击拍照按钮，设备就可以按照顺序自动采集UV光光源、标准白光光源、平行偏振光光源和交叉偏振光光源下左侧面、正面、右侧面三个角度，共计十二张面部图像，智能的采集到测试者面部图像。然后将图像数据输入至图像处理模块进行处理分析，程序会自动给出测试者面部痤疮图像的识别评价结果，辅助医生进行评价和判断。一般来说，左侧面和右侧面角度设定为45度，通过该智能图像采集设备采集的图像面部位置角度标准统一，采集的图像中面部皮肤区域在整张图像的面积占比在80％以上，便于图像处理模块的数据处理。

实施例2

本实施例基于实施例1公开的基于神经网络的痤疮图像识别系统，具体描述该系统的识别检测方法，该方法利用计算机科学、客观、准确、规范的识别痤疮的严重程度和坐标等信息，避免因临床经验的不同导致医生在评估病情严重程度的过程中造成的诊断误差，建立用户病情评估档案数据库，可以有效的对治疗效果进行跟踪。

如图3所示流程，在进行痤疮图像识别前先通过图像采集模块拍摄用户面部图像，采集面部图像包括正脸、左侧脸和右侧脸，拍摄需保证面部清洁无遮挡。在对用户进行面部图像采集时，每次均需采集用户面部分别在四种光源下，每种光源对应三个角度的图像，也就是说，共包括四张正脸面面部图像、四张左侧四十五度面部图像、四张右侧四十五度面部图像。通过该智能图像采集设备采集的图像面部位置角度标准统一，且采集的图像中面部皮肤区域在整张图像的面积占比大于80％。

设备操作人员通过操作在设备操作系统中运行的智能皮肤图像采集软件采集用户面部图像，只需要点击识别系统中拍照按钮，该装置就可以按照顺序自动采集UV光光源、标准白光光源、平行偏振光光源、交叉偏振光光源四种光源下左侧面、正面、右侧面三个角度，共计十二张面部图像。实际应用中根据不同需求，采集照片的角度和数量可以自行定义，弧形导轨和限位器的结合支持180度范围的左侧面和右侧面图像选择。

将采集到的用户的左侧脸、正脸、右侧脸图像输入到图像处理模块，图像处理模块自动评估痤疮的病情，自动检测出粉刺、丘疹、囊肿、脓疱的位置并用小方框标注出来，同时会计算出粉刺、丘疹、囊肿、脓疱的数量以及面部痤疮的严重等级，在显示设备上显示出识别判断结果，其中痤疮严重等级中Ⅰ级表示轻度，Ⅱ级表示中度，Ⅲ级表示中重度，Ⅳ级表示重度。

痤疮图像的识别评估主要包括四个步骤：

步骤一、使用人脸特征点检测模型对输入的人脸图像进行检测，提取识别人脸图像的不同区域，拼接为一幅面部图像。

使用人脸特征点检测模型对输入计算机的左侧脸、正脸、右侧脸三张图像进行检测，该模型可以检测到人面部的轮廓点以及眼睛、鼻子、嘴巴的位置点坐标信息。通过这些位置点的坐标信息进行面部图像区域的划分和提取，具体地，提取左侧脸图像的左侧面颊区域、右侧脸图像的右侧面颊区域、正脸图像的前额和下颚区域，然后如图4所示，将提取的四部分区域拼接为一幅面部图像。

提取的三张不同角度图像数据包括不同数据特征，图像拼接时新建一个空白矩形图像然后将提取到的四个区域图像按照人面部皮肤的位置粘贴到一张图像上。

本步骤中使用的人脸特征点检测模型为通用技术的人脸特征点检测模型，如DAN-Deep Alignment Network人脸特征点检测模型、2D and 3D Face alignment人脸特征点检测模型或dlib-68特征点检测算法等。

步骤二、使用痤疮皮损区域检测模型对步骤一中拼接好的面部图像进行检测，定位痤疮图像状态和坐标。

使用痤疮皮损区域检测模型对步骤一中拼接好的面部图像进行皮损区域检测，痤疮造成的皮损包括粉刺、丘疹、脓疱或囊肿，本实施例所述方法的皮损检测结果如图4所示，可以检测并定位出图像上粉刺(comedone)、丘疹(papule)、脓疱(pustule)或囊肿(noduleand cyst)区域以及坐标。

痤疮皮损区域检测模型使用深度学习神经网络模型构建，皮损区域检测时先将步骤一处理拼接的面部图像输入模型，去除采集图像上面部皮肤区域之外的其他区域的信息干扰，能够让接下来的痤疮皮损区域检测模型的检测更加稳定、检测准确率更高。将拼接的用户面部图像加载到痤疮皮损区域检测模型，模型的预处理层将输入图像大小统一缩放为618*618像素值尺寸，然后将缩放后的图像分割为6*6个网格，每个网格大小为103*103的像素值尺寸，痤疮皮损区域检测模型检测每个网格的类别，具体地，检测网格区域的类别是否是粉刺、丘疹、脓疱、囊肿中的一类，或者均不是，同时模型会以该网格的中心点为中心随机生成五个个不同尺寸矩形区域的预选框，每个预选框都包含宽度w，高度h，中心点横坐标x和中心点纵坐标y位置信息，以及置信度值。

每个预选框的置信度值需要根据模型训练过程中生成的权重文件记录的特征值去计算，权重文件中记录的特征值为训练数据中提取的真实痤疮皮损标注框的数据经过五次下采样，十二层卷积计算层处理后推理出的痤疮皮损区域特征值。预选框的内图像数据同样需要五次下采样，十二层卷积计算层处理后推理出一个预测框的特征值，根据该特征值与权重文件中记录的特征值进行匹配度计算可以计算出该预测框的置信度(范围为0％至100％)。

将模型检测结果和专业医生的判断结果进行对比，得出置信度在50％以上的预测框区域，同时要求该预测框区域检测结果与医生判断得出结果一致性大于95％。每个网格选取五个预选框去计算置信度，然后选取每个网格的置信度最高的预选框作为初始检测结果，最后将该图像上所有的重合度大于50％的初始检测结果合并生成最终的检测结果。

下面具体介绍一下痤疮皮损区域检测模型的构建过程。

步骤2.1：准备大量步骤一中经人脸特征点检测模型检测后提取特征点拼接好的痤疮患者面部图像数据。

步骤2.2：由专业皮肤病医生对步骤2.1中的图像数据进行粉刺、丘疹、脓疱或囊肿区域的皮损区域标注。

步骤2.3：使用yolo-V3、yolo-V4、yolo-V5、EfficientDet等模型构建用于痤疮皮损目标检测的深度学习神经网络模型，即痤疮皮损区域检测模型。

步骤2.4：将步骤一中拼接好的面部图像数据加载进痤疮皮损区域检测模型进行训练，得到训练结果。

在痤疮皮损区域检测模型的训练开始时，根据模型需求设置参数，首先该模型中的模型检测类别为五，分别为粉刺区域、丘疹区域、脓疱区域、囊肿区域和正常皮肤区域，然后根据计算机的计算能力选择适合的图像输入大小以及同时输入训练的图像数据的数量。输入面部图像像素尺寸越大，加载进模型的训练图像越多，得到的计算复杂多越高，计算效果越精确。

本实施例中选择的参数为图像输入大小为618*618的像素尺寸，同时一次加载进模型训练的图像数量为六张，另外进行一些图像尺度变换、色彩变换、角度变换、学习速率(和模型训练速度相关的参数)、损失值(模型训练精度相关)等参数需要根据模型上次训练后的结果进行分析后做相关调整。训练完成后会生成一个记录痤疮检测模型特征值的权重文件，即第一模型文件。

步骤2.5：对训练好的痤疮皮损区域检测模型进行性能测试，如果不能满足性能要求，需要调整模型训练的参数，再重新训练，直到训练出符合要求的痤疮皮损区域检测模型。

测试模型是否满足性能要求时，准备独立于训练数据的额外三百例测试样本数据，同样由专业医生对测试样本数据按照标注流程进行标注工作。使用训练好的模型对该数据进行痤疮皮损区域检测，将检测结果和医生的标注结果进行一致性分析统计，检测结果和医生标注结果的一致性大于95％视为符合要求。

步骤三、使用痤疮严重程度分级模型对步骤一中拼接好的面部图像进行检测，输出痤疮严重等级。

使用痤疮严重程度分级模型对步骤一中拼接好的面部图像进行痤疮严重程度分级，痤疮严重等级包括Ⅰ级、Ⅱ级、Ⅲ级和Ⅳ级，分别对应轻度、中度、中重度和重度。

将拼接的用户面部图像加载到痤疮严重程度分级模型，模型的预处理层将输入图像大小统一缩放为128*128的像素值尺寸，对缩放后的图像进行第一层卷积计算，对缩放后图像数据进行降维以减小后续的推理计算量，对降维后的数据分别进行5*5、3*3和1*1三个不同尺度的卷积计算核计算以提取到图像上不同尺度的特征信息值，最后根据训练好的模型中记录特征值的权重文件，即第二模型文件，进行不同尺度的特征值信息匹配度计算，匹配度越高则置信度越高(置信度范围0％至100％)。

将检测结果和专业医生的判断结果进行对比，经过大量的统计得出置信度在50％以上的分类结果，同时要求该分类结果与医生判断结果一致性在85％以上。在痤疮严重程度分级模型构建时，即要求模型输出结果与医生判断结果一致性大于85％，因此将分类后置信度大于50％的分类结果作为最终的分类结果。

下面具体介绍一下痤疮严重程度分级模型的构建构成。

步骤3.1：如步骤2.1相同，准备大量步骤一中经人脸特征点检测模型检测后提取特征点拼接好的痤疮患者面部图像数据。

步骤3.2：由专业皮肤病医生对步骤3.1中的图像数据进行面部痤疮严重程度等级的区分，严重程度等级分为轻度、中度、中重度和重度。

步骤3.3：使用ResNet50、DenseNet、ResNext50、Inception-v1、Inception-v2、Inception-v3等模型构建用于痤疮严重程度目标分类的深度学习神经网络模型，即痤疮严重程度分级模型。

步骤3.4：将步骤一中拼接好的面部图像数据加载进痤疮严重程度分级模型进行训练，得到训练结果，生成第二模型文件。

在痤疮严重程度分级模型的训练开始时，根据模型需求设置参数，首先该模型中的模型分类类别为为，分别为Ⅰ级：轻度、Ⅱ级：中度、Ⅲ级：中重度、Ⅳ级：重度和正常皮肤类别，然后根据计算机的计算能力选择适合的图像输入大小以及同时输入训练的图像数据的数量。输入面部图像像素尺寸越大，加载进模型的训练图像越多，得到的计算复杂多越高，计算效果越精确。

本实施例中选择的参数为图像输入大小为416*416的像素尺寸，同时一次加载进模型训练的图像数量为十张，另外进行一些图像尺度变换、色彩变换、角度变换、学习速率(和模型训练速度相关的参数)、损失值(模型训练精度相关)等参数需要根据模型上次训练后的结果进行分析后做相关调整。训练完成后会生成一个记录痤疮严重程序模型特征值的权重文件，即第二模型文件。

步骤3.5：对训练好的痤疮严重程度分级模型进行性能测试，如果不能满足性能要求，需要调整模型训练的参数，再重新训练，直到训练出符合要求的痤疮严重程度分级模型。

测试模型是否满足性能要求时，准备独立于训练数据的额外三百例测试样本数据，同样由专业医生按照标注流程进行标注工作。使用训练好的模型对该数据进行分类，最后对分类结果和医生的标注结果进行一致性分析统计，分类结果和医生标注结果的一致性大于85％视为符合要求。

步骤四、建立用户档案，记录用户皮损区域的数量变化和痤疮严重等级的变化情况。

建立用户档案，包括用户的痤疮图像评估信息，有效的记录每次治疗后的面部痤疮的病情变化情况，让医生更直观的看到痤疮患者的皮损区域的数量变化情况和痤疮严重等级的变化情况，辅助医生对治疗状态及痤疮发展趋势进行分析。

本实施例将人工智能技术与医学领域的痤疮图像识别评估方法相结合可以极大的提高病情评估的准确性，同时在评估的速度上也有极大的提升，降低了痤疮的病情评估对医生专业经验的依赖性。并且通过建立用户的病情评估档案可以有效的反映用户的病情变化趋势和治疗效果。

以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种基于神经网络的痤疮图像识别方法，其特征在于，采集面部图像数据，对采集的面部图像数据进行预处理，得到面部平面图像；将面部平面图像同时输入第一深度学习神经网络模型和第二深度学习神经网络模型，第一深度学习神经网络模型对输入数据进行检测，输出检测结果，第二深度学习神经网络模型对输入数据进行分类，输出分类结果，用检测结果和分类结果建立用户档案。

2.根据权利要求1所述的一种基于神经网络的痤疮图像识别方法，其特征在于，第一深度学习神经网络模型在数据检测时，模型的预处理层将输入图像大小调整为固定值，将调整后的图像分割为大小相同的正方形网格，检测每个网格中图像数据的类别；以当前检测网格的中心点为中心随机生成若干个预选框，比较预选框中图像数据特征值与第一深度学习神经网络模型权重文件中的特征值，得到预选框的置信度，合并每个网格置信度最高的预选框检测结果作为第一深度学习神经网络模型输出检测结果。

3.根据权利要求1所述的一种基于神经网络的痤疮图像识别方法，其特征在于，第二深度学习神经网络模型在数据分类时，模型的预处理层将输入图像大小调整为固定值，对调整后的图像进行不同尺度的卷积计算以提取到不同尺度的特征信息值，根据训练好的第二深度学习神经网络模型权重文件中的特征值，得到不同尺度特征信息值的置信度，定义置信度大于设定值的卷积计算结果为第二深度学习神经网络模型输出分类结果。

4.根据权利要求2或3所述的一种基于神经网络的痤疮图像识别方法，其特征在于，深度学习神经网络模型构建过程是：

准备若干经人脸特征点检测模型检测后提取特征点拼接好的痤疮患者面部图像数据；

对获取图像数据进行痤疮区域皮损区域标注或痤疮区域严重等级分类；

使用深度学习神经网络模型构建用于目标检测或用于目标分类的深度学习神经网络模型；将准备的若干拼接好的痤疮患者面部图像数据加载进深度学习神经网络模型进行训练，得到训练结果，生成模型文件；

对训练好的深度学习神经网络模型进行性能测试，如果不能满足性能要求，需要调整模型训练的参数，再重新训练，直到训练出符合性能要求的深度学习神经网络模型。

5.根据权利要求4所述的一种基于神经网络的痤疮图像识别方法，其特征在于，深度学习神经网络模型训练参数设定时，第一深度学习神经网络模型的检测类别为粉刺区域、丘疹区域、脓疱区域、囊肿区域和正常皮肤区域；第二深度学习神经网络模型的分类类别为Ⅰ级：轻度、Ⅱ级：中度、Ⅲ级：中重度、Ⅳ级：重度和正常皮肤。

6.根据权利要求1所述的一种基于神经网络的痤疮图像识别方法，其特征在于，采集不同光源下第一角度、第二角度和第三角度的面部图像数据，其中第一角度和第二角度之间小于等于90度，第三角度和第二角度之间小于等于90度。

7.根据权利要求6所述的一种基于神经网络的痤疮图像识别方法，其特征在于，采集到的面部图像数据提取特征后进行区域划分，在第一角度采集到的图像数据提取第一区域，在第二角度采集到的图像数据提取第二区域和第三区域，在第三角度采集到的图像数据提取第四区域；将提取的四个区域图像数据拼接为一幅面部图像，所述面部图像输出到图像处理模块进行图像处理。

8.一种基于神经网络的痤疮图像识别系统，其特征在于，所述系统使用如权利要求1-7任意一项所述的一种基于神经网络的痤疮图像识别方法，系统包括图像采集模块和图像处理模块，图像处理模块对图像采集模块采集的面部图像信息进行图像处理。

9.根据权利要求8所述的一种基于神经网络的痤疮图像识别系统，其特征在于，图像处理模块包括基于深度学习神经网络模型构建的第一深度学习神经网络模型和第二深度学习神经网络模型。

10.一种基于神经网络的痤疮图像识别装置，其特征在于，设有如权利要求8-9任意一项所述的一种基于神经网络的痤疮图像识别系统，所述装置包括光源单元、滤光片单元、采集单元和控制单元，光源单元控制图像采集时的光源，滤光片单元控制图像采集时的滤光片，采集单元用于采集图像，控制单元用于各单元之间的控制。

Images