CN110148121A - 一种皮肤图像处理方法、装置、电子设备及介质 - Google Patents

Abstract

本发明公开了一种皮肤图像处理方法、装置、电子设备及介质，所述方法包括：获取待处理皮肤图像；确定所述待处理皮肤图像中的至少一个连通区域，每个所述连通区域包括至少一个皮损对象；根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像。实现了对待处理皮肤图像的有效分割，通过连通区域的确定以及连通区域对应的邻域信息提高了分割精度。得到的目标图像中干扰信息的比重降低，这样能够提高后续识别所述目标图像的准确率和效率。对于在普通自然环境下得到的待处理皮肤图像也能够得到很好的分割处理。

Description

一种皮肤图像处理方法、装置、电子设备及介质

技术领域

本发明涉及互联网通信技术领域，尤其涉及一种皮肤图像处理方法、装置、电子设备及介质。

背景技术

随着计算机和互联网技术的快速发展，图像处理开始应用于许多领域中。图像处理可以用于对给定的静态图像或动态视频序列中的图像进行处理，以得到去除了干扰信息的目标图像。

皮肤作为人体的第一道生理防线和最大的器官，时刻参与着机体的功能活动，维持着机体和自然环境的对立统一，机体的异常情况也可以在皮肤表面反映出来。因此，皮肤图像对于确定人体机能正常与否以及进行皮肤纹理研究至关重要。现有的一些皮肤图像处理方法往往基于比较清晰的图片(比如实验室条件下由皮肤镜得到的皮肤图像)设置，因此在对普通自然环境下得到的皮肤图像进行处理时，存在分割效果不好，得到的目标图像仍然存在较多干扰信息的问题。

发明内容

为了解决现有技术应用在对皮肤图像分割效果不佳等问题，本发明提供了一种皮肤图像处理方法、装置、电子设备及介质：

一方面，本发明提供了一种皮肤图像处理方法，所述方法包括：

获取待处理皮肤图像；

确定所述待处理皮肤图像中的至少一个连通区域，每个所述连通区域包括至少一个皮损对象；

根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像。

另一方面提供了一种皮肤图像处理装置，所述装置包括：

图像获取模块：用于获取待处理皮肤图像；

连通区域提取模块：用于确定所述待处理皮肤图像中的至少一个连通区域，每个所述连通区域包括至少一个皮损对象；

图像分割模块：用于根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像。

另一方面提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的皮肤图像处理方法。

另一方面提供了一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的皮肤图像处理方法。

本发明提供的一种皮肤图像处理方法、装置、电子设备及介质，具有如下技术效果：

本发明对获取的待处理皮肤图像进行处理时，确定其中的至少一个连通区域，每个所述连通区域包括至少一个皮损对象，再根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像。实现了对待处理皮肤图像的有效分割，通过连通区域的确定以及连通区域对应的邻域信息提高了分割精度的实现。得到的目标图像中干扰信息的比重降低，这样能够提高后续识别所述目标图像的准确率和效率。对于在普通自然环境下得到的待处理皮肤图像也能够得到很好的分割处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的一种应用环境的示意图；

图2是本发明实施例提供的一种皮肤图像处理方法的流程示意图；

图3是本发明实施例提供的待处理皮肤图像的示意图；

图4是本发明实施例提供的根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像的一种流程示意图；

图5是本发明实施例提供的包含有一个所述连通区域的待处理皮肤图像的示意图；

图6是本发明实施例提供的包含有至少两个所述连通区域的待处理皮肤图像的示意图；

图7也是本发明实施例提供的包含有至少两个所述连通区域的待处理皮肤图像的示意图；

图8是本发明实施例提供的标注有待分割区域的分割样本图像的示意图；

图9也是本发明实施例提供的标注有待分割区域的分割样本图像的示意图；

图10也是本发明实施例提供的标注有待分割区域的分割样本图像的示意图；

图11是本发明实施例提供的一种图像分割模型的应用场景的示意图；

图12也是本发明实施例提供的一种皮肤图像处理方法的流程示意图；

图13是本发明实施例提供的一种图像识别模型的应用场景的示意图；

图14是本发明实施例提供的一种图像分割模型和图像识别模型的应用场景的示意图；

图15是本发明实施例提供的一种皮肤图像处理装置的组成框图；

图16是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本发明实施例提供的一种应用环境的示意图，可以包括客户端01和服务器02，客户端与服务器通过网络连接。用户通过客户端将皮肤图像发送至服务器，服务器对接收到的皮肤图像作图像处理，以得到对应的目标图像。需要说明的是，图1仅仅是一种示例。

具体的，客户端01可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。

具体的，本说明书实施例中，所述服务器02可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器02可以包括有网络通信单元、处理器和存储器等等。具体的，所述服务器02可以为上述客户端提供后台服务。

在实际应用中，经图像处理得到的目标图像可以用于确定人体机能正常与否，比如通过对目标图像的识别来进行皮肤病(比如银屑病、湿疹、红斑狼疮、黑色素瘤)初筛、判断皮肤创伤的愈合情况以及确认暴晒后是否有晒伤出现等。经图像处理得到的目标图像可以用于皮肤纹理研究，皮肤纹理研究的结果可用于评价某护肤品的实验功效、判断对应用户的皮肤健康状况以及进行人类各种族的遗传性分析。

以下介绍本发明一种皮肤图像处理方法的具体实施例，图2是一种皮肤图像处理方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：

S201：获取待处理皮肤图像；

在本发明实施例中，待处理皮肤图像可以是由利用光学原理成像并记录影像的设备采集得到的图像。利用光学原理成像并记录影像的设备可以是医学成像设备(比如皮肤镜)、数码相机、终端设备的摄像头(比如智能眼镜的摄像头、手机的摄像头)。其中，利用终端设备的摄像头的采集方式方便快捷、易于操作。

具体的，采集待处理皮肤图像的场景可以是在存在复杂的背景、受到光照影响的普通自然环境下，比如商超环境、逆光环境等。采集得到的待处理皮肤图像可以尺寸大小各异，相应的，所述待处理皮肤图像的尺寸范围可以相对广泛。

具体的，待处理皮肤图像可以是利用光学原理成像并记录影像的设备直接成像的图像，也可以是对上述直接成像的图像进行预处理后的图像。预处理方式可以包括对图像的去噪处理、灰度处理等。

S202：基于所述待处理皮肤图像进行处理以得到至少一个目标图像；

在本发明实施例中，所述基于所述待处理皮肤图像进行处理以得到至少一个目标图像，包括：

S2021：确定所述待处理皮肤图像中的至少一个连通区域，每个所述连通区域包括至少一个皮损对象；

皮损对象可以是遭受外力(比如外力割、刮、擦)后皮肤出现的伤口，可以是因睡眠不足眼部皮肤出现的色素沉着，可以是暴晒后皮肤出现的晒斑，可以是因气候变化皮肤出现的脱皮，可以是因年龄增长皮肤出现的皱纹，也可以是受到外界的病原微生物感染或者体内的病变影响时皮肤出现的红斑、脓疱、丘疹等。可以根据皮损对象的几何形态学特征，确定连通区域。皮损对象的几何形态学特征可以包括皮损对象的颜色、纹理、形状(包括形状边缘的不规则程度)等。如图3所示，待处理皮肤图像中显示有皮损对象1、皮损对象2和皮损对象3，皮损对象1和皮损对象2对应的损伤类型相同或相似(比如损伤类型都为红斑)，同时皮损对象1的显示位置和皮损对象2的显示位置紧邻，这样可以将皮损对象1和皮损对象2两者所对应的区域确定为连通区域，当然皮损对象3对应的区域也可以作为一个连通区域。

进一步的，可以将待处理皮肤图像中具有相同或相似像素值且位置相邻的前景(与背景相对)像素点组成的区域确定为连通区域。所述连通区域为所述待处理皮肤图像中相邻的至少一个皮损像素点组成的区域，所述相邻的至少一个皮损像素点的平均像素值与标准皮肤像素值的差值的绝对值大于阈值。结合了皮损对象的相关特征来确定连通区域，保证了连通区域中保留有用于后续识别的有效信息。

此外，连通区域的形状可以是包括对应皮损对象的矩形，可以是基于对应皮损对象的形状确定的类似形状，当然连通区域的形状不限于上述。

S2022：根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像。

所述连通区域对应的所述邻域信息包括与所述连通区域相邻的连通区域的的数量信息以及位置分布信息。所述连通区域对应的邻域信息反映了该连通区域有无相邻的其他连通区域；若有相邻的其他连通区域时，其他连通区域的数量以及其他连通区域与该连通区域的相对位置关系。根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像：考虑待识别皮肤图像中的连通区域的数量及位置分布，目标图像并非与连通区域一一对应，提高得到目标图像的效率，保证目标图像包含有用于后续识别的有效信息。

具体的，当所述邻域信息指示所述待处理皮肤图像包含有一个所述连通区域时，从所述待处理皮肤图像中提取所述连通区域，以得到一个所述目标图像。如图5左侧示图所示，待处理皮肤图像中只显示有一个明显的皮损对象，将该皮损对象对应的区域确定为一个连通区域，进而得到一个目标图像。如图5右侧示图所示，待处理皮肤图像中显示多个皮损对象，这些皮损对象对应的损伤类型相同或相似，同时这些皮损对象的显示位置几乎连成一片，可以将这些皮损对象对应的区域确定为一个连通区域，进而得到一个目标图像。当然，如图5右侧示图所示，在待处理皮肤图像中确定的连通区域的尺寸较大时(比如大于用于识别的目标图像的预设最大尺寸)，也可以基于所述连通区域得到两个所述目标图像。

具体的，如图4所示，所述根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像，包括：

S401：当所述邻域信息指示所述待处理皮肤图像包含有至少两个所述连通区域时，在至少两个所述连通区域中选取出相邻的两个所述连通区域；

如图6所示，待处理皮肤图像中包含有四个所述连通区域(连通区域A、连通区域B、连通区域C和连通区域D)。对于相邻的两个所述连通区域：可以根据相邻的两个所述连通区域之间的最小距离(指两个连通区域相邻的边界上的最小距离，比如连通区域A的右侧边界与连通区域B的左侧边界之间的最小距离)的最小值选取出连通区域A与连通区域B，可以从待处理皮肤图像中按从右至左的顺序选取出连通区域C和连通区域B，可以随机选取连通区域B和连通区域D。

S402：当相邻的两个所述连通区域分别为第一连通区域和第二连通区域，所述第一连通区域的直径小于所述第二连通区域的直径时，获取第一距离，所述第一距离为所述第一连通区域与所述第二连通区域之间的最小距离；根据所述第一连通区域的直径获取第二距离；

如图6所示，可以选取连通区域B作为第一连通区域，连通区域C作为第二连通区域，所述第一连通区域的直径(可以取连通区域B的高度，连通区域B的高度小于连通区域B的宽度)小于所述第二连通区域的直径(可以取连通区域C的宽度，连通区域C的宽度小于连通区域C的高度)时，获取第一距离，所述第一距离为所述第一连通区域与所述第二连通区域之间的最小距离(也就是连通区域B的右侧边界与连通区域C的左侧边界之间的最小距离)；根据所述第一连通区域的直径获取第二距离，第二距离可以设置为小于等于连通区域B的高度的二分之一，第二距离大于零。

S403：当所述第一距离小于所述第二距离时，合并所述第一连通区域和所述第二连通区域得到合并区域，从所述待处理皮肤图像中提取所述合并区域，以得到一个所述目标图像；

通过第一距离和第二距离的大小关系，可以确定待处理皮肤图像中连通区域间是否存在较明显的预设距离的分界。如图6所示，可以选取连通区域B作为第一连通区域，连通区域A作为第二连通区域，连通区域A和连通区域B之间不存在较明显的预设距离的分界，合并连通区域A和连通区域B得到合并区域，进而得到一个所述目标图像。

S404：当所述第一距离大于或等于所述第二距离时，从所述待处理皮肤图像中分别提取所述第一连通区域和所述第二连通区域，以得到两个所述目标图像。

如图6所示，可以选取连通区域C作为第一连通区域，连通区域D作为第二连通区域，连通区域C和连通区域D之间存在较明显的预设距离的分界，则从所述待处理皮肤图像中分别提取连通区域C和连通区域D，进而得到两个所述目标图像。

进一步的，如图7所示，待处理皮肤图像中包含有多个所述连通区域，这些连通区域较分散的分布于所述待处理皮肤图像中，同样可以根据连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像，比如可将相对集中的至少两个连通区域进行合并得到合并区域。

上述根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像的几种方式，考虑了皮损对象的显示状态，能够有效的根据连通区域和/或合并区域在待处理皮肤图像中作裁剪，进而得到目标图像。

在一个具体的实施例中，所述基于所述待处理皮肤图像进行处理以得到至少一个目标图像，包括：

将所述待处理皮肤图像输入图像分割模型进行图像分割，得到至少一个所述目标图像；其中，所述图像分割模型是通过使用多个已标注的分割样本图像进行机器学习训练而获得的。使用多个已标注的分割样本图像进行机器学习训练得到图像分割模型，由此得到的图像分割模型具有高泛化能力，在利用图像分割模型进行图像分割时可以提高对采集于不同场景下、对应不同损伤类型的图像的分割适应能力，进而可以大大提高图像分割的可靠性和有效性。

进一步的，所述图像分割模型的训练过程包括如下步骤：

首先，获取所述分割样本图像，每个所述分割样本图像携带有至少一个标注，所述标注指示所述分割样本图像中的待分割区域，所述待分割区域包括有至少一个皮损对象。

对于所述分割样本图像(包括皮损区域和非皮损区域，皮损区域包括皮损对象以及皮损对象之间的间隔区域，非皮损区域包括比如不含皮损对象的边缘区域)的标注，综合考虑皮损对象的显示状态和标注的效率：

(1)如图8左侧示图所示，分割样本图像中只显示有一个明显的皮损对象，将该皮损对象对应的区域可以标注为一个待分割区域。如图8右侧示图所示，分割样本图像中显示多个皮损对象，这些皮损对象对应的损伤类型相同或相似，同时这些皮损对象的显示位置几乎连成一片，可以将这些皮损对象对应的区域标注为一个待分割区域。当然，如图8右侧示图所示，在分割样本图像中标注的待分割区域的尺寸较大时(比如大于识别样本图像的预设最大尺寸)，可以标注两个待分割区域。对于图8所示的分割样本图像的类型，可以只需标注分割样本图像中的皮损区域，标注的待分割区域的面积保证覆盖皮损区域的90％以上。

(2)如图9所示，可以根据分割样本图像中皮损对象间是否存在较明显的预设距离的分界来标注待分割区域。这里可以参考上述步骤S401-S404的描述进行联合(合并)标注或独立标注，不再赘述。

(3)如图10所示，分割样本图像中的皮损对象呈点状或者块状较为分散的显示于图像中，将每个皮损对象都分割出来的工作量较大，此时可以在分割样本图像中标注不同大小的待分割区域，且待分割区域的数量可以在5个以上，标注的待分割区域的总面积保证覆盖皮损区域的80％以上。

对于上述分割样本图像，其中显示的两个皮损对象对应的损伤类型相同或相似，同时两个皮损对象的显示位置紧邻，可以将这两个皮损对象视为一个皮损对象。当然，每个所述分割样本图像携带的标注还可以指示对应的皮肤病类型等。此外，标注的待分割区域的形状可以是包括对应皮损对象的矩形，可以是基于对应皮损对象的形状确定的类似形状，当然待分割区域的形状不限于上述。

然后，将所述分割样本图像输入第一深度学习网络模型进行图像分割训练。所述第一深度学习网络模型基于MaskRCNN(实例分割算法)进行图像分割，MaskRCNN因为很好的结合了FPN(Feature Pyramid Networks，特征金字塔网络算法)/RPN(RegionProposalNetwork，区域候选网络算法)/Classification(分类算法)/Detection(检测算法)的特性，适合作图像的检测与分割。所述第一深度学习网络模型中的基础网络可以选用残差网络ResNet101，以兼顾速度与准确率。

接着，在训练过程中，调整所述第一深度学习网络模型的第一模型参数至所述第一深度学习网络模型输出的图像与输入的所述分割样本图像的所述待分割区域对应的图像相匹配。具体的，在训练过程中，将分割样本图像中被标注的待分割区域作为正例样本，随机抽取分割样本图像中未被标注的区域作为负例样本。可以计算所述第一深度学习网络模型输出的中间值(作为训练中间结果的图像)与所述样本数据的标注值(作为正确答案的待分割区域对应的图像)之间的损失值，根据损失值调整所述第一模型参数。

最后，将所述第一模型参数的当前值对应的所述第一深度学习网络模型作为所述图像分割模型。图11是本发明实施例提供的一种图像分割模型的应用场景的示意图。图11中训练阶段输入分割样本图像，每个所述分割样本图像标注有对应的待分割区域；相应的，后续训练出来的图像分割模型可以从待处理皮肤图像中分割出对应所述待分割区域的目标图像。

如图12所示，所述方法还包括：

S203：基于所述目标图像进行识别以得到所述目标图像对应的识别结果；

在一个具体的实施例中，所述基于所述目标图像进行识别以得到所述目标图像对应的识别结果，包括：

将所述目标图像输入图像识别模型进行图像识别，得到所述目标图像对应的所述识别结果；其中，所述图像识别模型是通过使用多个已标注的识别样本图像进行机器学习训练而获得的。使用多个已标注的识别样本图像进行机器学习训练得到图像识别模型，由此得到的图像识别模型具有高泛化能力，在利用图像识别模型进行图像识别时可以提高对采集于不同场景下、对应不同损伤类型的图像的识别适应能力，进而可以大大提高图像识别的可靠性和有效性。

具体的，所述图像识别模型的训练过程包括如下步骤：

首先，获取所述识别样本图像，每个所述识别样本图像携带有对应的分类标注。识别样本图像可以包括皮损区域(对应皮损对象以及皮损对象之间的间隔)，而不包括非皮损区域(比如不含皮损对象的边缘区域)。识别样本图像中引入的干扰信息(比如杂乱背景信息)少，有助于保证训练得到的图像识别模型具备较强的鲁棒性。用于训练的识别样本图像与预测时所用的目标图像差异较小，能够保证图像识别模型在预测时具有良好效果。具体的，可以将从上述分割样本图像中待分割区域对应的图像作为识别样本图像。此外，识别样本图像携带的分类标注可以指示对应的皮肤病类型。

然后，将所述识别样本图像输入第二深度学习网络模型进行图像识别，得到第一中间结果，所述第一中间结果为所述识别样本图像属于目标类别的概率。其中，所述第二深度学习网络模型中的基础网络可以选用Inception(一种网络模型结构)-ResNet(残差网络)-V2。

比如识别样本图像1对应的第一中间结果为0.6(皮肤病A)，识别样本图像2对应的第一中间结果为0.5(皮肤病A)，识别样本图像3对应的第一中间结果为0.3(皮肤病A)，识别样本图像4对应的第一中间结果为0.4(皮肤病A)。

接着，将属于目标类别的概率大于或等于概率阈值的所述第一中间结果确定为第二中间结果。可以将概率阈值设置为0.5(当然也可以是其他数值)，这样识别样本图像1对应的第一中间结果(0.6)可以确定为第二中间结果，识别样本图像2对应的第一中间结果(0.5)可以确定为第二中间结果。进一步的，也可以得出，识别样本图像3不属于目标类别(皮肤病A)的概率为0.7，识别样本图像4不属于目标类别(皮肤病A)的概率为0.6。

进一步的，在训练过程中，调整所述第二深度学习网络模型的第二模型参数至所述第二深度学习网络模型输出的所述第二中间结果对应的所述目标类别与输入的所述识别样本图像对应的所述分类标注相匹配。此时对于识别样本图像1输出的中间识别结果对应皮肤病A，可以计算该中间识别结果对应的目标类别与识别样本图像1对应的分类标注之间的损失值；对于识别样本图像2输出的中间识别结果对应皮肤病A，可以计算该中间识别结果对应的目标类别与识别样本图像2对应的分类标注之间的损失值；进而根据损失值调整所述第二模型参数。进一步的，识别样本图像3输出的中间识别结果对应不属于皮肤病A的其他皮肤病，可以计算该中间识别结果对应的目标类别与识别样本图像3对应的分类标注之间的损失值；对于识别样本图像4输出的中间识别结果对应不属于皮肤病A的其他皮肤病，可以计算该中间识别结果对应的目标类别与识别样本图像4对应的分类标注之间的损失值；进而根据损失值调整所述第二模型参数。

最后，将所述第二模型参数的当前值对应的所述第二深度学习网络模型作为所述图像识别模型。图13是本发明实施例提供的一种图像识别模型的应用场景的示意图。图13中训练阶段输入识别样本图像，每个所述识别样本图像携带有对应的分类标注；相应的，后续训练出来的图像识别模型可以从目标图像中识别出对应分类标注的识别结果。

在另一个具体的实施例中，如图14所示，可以根据所述目标图像的尺寸与预设尺寸阈值，将所述目标图像输入对应的所述图像识别模型进行图像识别，得到所述目标图像对应的所述识别结果。

对于对应不同尺寸大小的所述图像识别模型，可以分别通过对不同尺寸大小的识别样本图像进行机器学习训练得到。比如，输入上述第二深度学习网络模型1进行训练的识别样本图像的尺寸小于输入上述第二深度学习网络模型2进行训练的识别样本图像的尺寸，可以设置输入第二深度学习网络模型1的识别样本图像的尺寸为M*N像素(其中，M和N的取值可以相等，比如150*150像素)，输入第二深度学习网络模型2的识别样本图像的尺寸为Q*R像素(其中，Q和R的取值可以相等，331*331像素)。可以根据采集得到的图像的尺寸大小与上述两种尺寸(M*N和Q*R)，对采集得到的图像的尺寸大小进行对应的调整。

当训练得到图像识别模型1和图像识别模型2后，根据所述目标图像的尺寸与预设尺寸阈值(可以设置为两个图像识别模型对应的尺寸大小之间的尺寸，比如200*200像素)，将所述目标图像输入对应的所述图像识别模型进行图像识别，比如目标图像的尺寸为180*180像素，该尺寸小于预设尺寸阈值(200*200像素)，可以对目标图像作缩小处理，将其输入图像识别模型1(150*150像素)。

当然，对于对应不同尺寸大小的所述图像识别模型，尺寸大小不局限于上述，相应的，图像识别模型的数量也不局限于上述。当目标图像的尺寸与图像识别模型用于识别的图像尺寸不一致时，对目标图像的处理不局限于放缩处理。

对应不同尺寸大小的所述图像识别模型能够更灵活的、更准确的识别目标图像，提高对不同尺寸大小的目标图像进行识别的适应性。

在另一个具体的实施例中，对于得到的所述目标图像对应的识别结果，可以根据所述目标图像对应的用户信息(比如用户年龄、用户性别、用户的家族疾病史、用户提供的待确认诱发因)和所述目标图像中所述皮损对象的几何形态学特征(比如皮损对象的颜色、皮损对象的所在位置以及皮损对象的分布情况)，获取所述识别结果对应的加权系数；根据所述识别结果和所述加权系数，生成待统计值。比如银屑病对应的皮损对象和湿疹对应的皮损对象在外观上非常相似，但皮损对象是否出水是一个重要的区分指标。综合考虑具有普适性的识别结果和体现对应用户个体因素的内容，获取所述识别结果对应的加权系数，这样得到的统计值能够提高后续的分类判断的准确性。

S204：统计所述待处理皮肤图像对应的各个所述目标图像对应的识别结果，得到预测值；

在一个具体的实施例中，所述统计所述待处理皮肤图像对应的各个所述目标图像对应的识别结果，得到预测值，包括：首先，将所述待处理皮肤图像对应的各个所述目标图像对应的识别结果相加，得到第一待比较值，所述识别结果为每个所述目标图像属于目标类别的概率；然后，计算所述第一待比较值与所述目标图像的总数之间的比值，得到第一预测值。

比如，待处理皮肤图像对应的目标图像包括：目标图像1、目标图像2、目标图像3和目标图像4，目标图像1的识别结果为0.6，目标图像2对应的识别结果为0.5，目标图像3对应的识别结果为0.3，目标图像4对应的识别结果为0.4。那么第一待比较值为1.8(＝0.6+0.5+0.3+0.4)。目标图像的总数为4，第一预测值为1.8/4。

得到的第一预测值可以看作是：待处理皮肤图像对应的各个目标图像属于目标类别的总分数，与待处理皮肤图像对应的各个目标图像属于非目标类别的总分数之间的差值比较。这样体现了待处理皮肤图像就是否属于目标类别的一般水平，以及对应的各个目标图像是否属于目标类别的集中趋势。

在另一个具体的实施例中，所述统计所述待处理皮肤图像对应的各个所述目标图像对应的识别结果，得到预测值，包括：

首先，根据所述待处理皮肤图像对应的各个所述目标图像对应的识别结果，得到属于目标类别的所述目标图像的数量：第二待比较值，所述识别结果为每个所述目标图像属于所述目标类别的概率；然后，计算所述第二待比较值与所述待处理皮肤图像对应的所述目标图像的总数之间的比值，得到第二预测值。

比如，待处理皮肤图像对应的目标图像包括：目标图像1、目标图像2、目标图像3和目标图像4，目标图像1的识别结果为0.6，目标图像2对应的识别结果为0.5，目标图像3对应的识别结果为0.3，目标图像4对应的识别结果为0.4。将识别结果大于或等于概率阈值(比如0.5)对应的目标图像确认为属于目标类别，那么目标图像1和目标图像2属于目标类别，第二待比较值为2。目标图像的总数为4，第二预测值为1/2(2/4)。

得到的第二预测值可以看作是：高概率属于目标类别的目标图像的数量，待处理皮肤图像对应的所述目标图像的总数之间的比值。这样可以防止偏差比较大的识别结果(比如四个识别结果分别为0.5、0.5、0.1、0.2，其中偏差较大的识别结果为0.1和0.2)对后续分类结果的影响。

此外，需要说明的是，本发明实施例中，统计所述待处理皮肤图像对应的各个所述目标图像对应的识别结果，得到预测值的方式并不仅限于上述两种方式，还可以采用其他方式。当然，上述两种方式可以组合使用以得到两个对应的预测值用于后续判断分类。

S205：根据预设判断规则和所述预测值时，得到所述待处理皮肤图像对应的分类结果。

在本发明实施例中，预设判断规则可以是当第一预测值大于0.5时，判断所述待处理皮肤图像属于目标类别。预设判断规则可以是当第二预测值大于等于0.5时，判断所述待处理皮肤图像属于目标类别。在实际应用中，当第一预测值或第二预测值中的一个满足预设判断规则时，可以判断所述待处理皮肤图像属于目标类别。

不受限于待处理皮肤图像的尺寸大小，通过图像分割得到待处理皮肤图像对应的各个目标图像，再分别得到每个目标图像对应的识别结果，利用这些识别结果得到所述待处理皮肤图像的分类结果。根据去除干扰信息的目标图像得到的识别结果更准确。综合考虑各个目标图像对应的识别结果，保证了得到的待处理皮肤图像对应的分类结果的准确性和可靠性。

由以上本说明书实施例提供的技术方案可见，本说明书实施例中，对获取的待处理皮肤图像进行处理时，确定其中的至少一个连通区域，每个所述连通区域包括至少一个皮损对象，再根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像。实现了对待处理皮肤图像的有效分割，通过连通区域的确定以及连通区域对应的邻域信息提高了分割精度，同时提高了对采集于不同场景下、对应不同损伤类型的图像进行分割的鲁棒性和准确性。得到的目标图像中干扰信息的比重降低，这样能够提高后续识别所述目标图像的准确率与效率。

本发明实施例还提供了一种皮肤图像处理装置，如图15所示，所述装置包括：

图像获取模块1510：用于获取待处理皮肤图像；

连通区域提取模块1520：用于确定所述待处理皮肤图像中的至少一个连通区域，每个所述连通区域包括至少一个皮损对象；

图像分割模块1530：用于根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像。所述图像分割单元1522，包括：第一图像分割子单元：用于当所述邻域信息指示所述待处理皮肤图像包含有一个所述连通区域时，从所述待处理皮肤图像中提取所述连通区域，以得到一个所述目标图像。所述图像分割单元1522，包括：相邻连通区域选取子单元：用于当所述邻域信息指示所述待处理皮肤图像包含有至少两个所述连通区域时，在至少两个所述连通区域中选取出相邻的两个所述连通区域；分割参数获取子单元：用于当相邻的两个所述连通区域分别为第一连通区域和第二连通区域，所述第一连通区域的直径小于所述第二连通区域的直径时，获取第一距离，所述第一距离为所述第一连通区域与所述第二连通区域之间的最小距离；根据所述第一连通区域的直径获取第二距离；第二图像分割子单元：用于当所述第一距离小于所述第二距离时，合并所述第一连通区域和所述第二连通区域得到合并区域，从所述待处理皮肤图像中提取所述合并区域，以得到一个所述目标图像；第三图像分割子单元：当所述第一距离大于或等于所述第二距离时，从所述待处理皮肤图像中分别提取所述第一连通区域和所述第二连通区域，以得到两个所述目标图像。

需要说明的，所述装置实施例中的装置与方法实施例基于同样的发明构思。

本发明实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的皮肤图像处理方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

所述电子设备可以为服务器，本发明实施例还提供了一种服务器的结构示意图，请参阅图16，该服务器1600用于实施上述实施例中提供的皮肤图像处理方法。该服务器1600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)1610(例如，一个或一个以上处理器)和存储器1630，一个或一个以上存储应用程序1623或数据1622的存储介质1620(例如一个或一个以上海量存储设备)。其中，存储器1630和存储介质1620可以是短暂存储或持久存储。存储在存储介质1620的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1610可以设置为与存储介质1620通信，在服务器1600上执行存储介质1620中的一系列指令操作。服务器1600还可以包括一个或一个以上电源1660，一个或一个以上有线或无线网络接口1650，一个或一个以上输入输出接口1640，和/或，一个或一个以上操作系统1621，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

本发明的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种皮肤图像处理方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的皮肤图像处理方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种皮肤图像处理方法，其特征在于，所述方法包括：

获取待处理皮肤图像；

确定所述待处理皮肤图像中的至少一个连通区域，每个所述连通区域包括至少一个皮损对象；

根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像，包括：

当所述邻域信息指示所述待处理皮肤图像包含有一个所述连通区域时，从所述待处理皮肤图像中提取所述连通区域，以得到一个所述目标图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像，包括：

当所述邻域信息指示所述待处理皮肤图像包含有至少两个所述连通区域时，在至少两个所述连通区域中选取出相邻的两个所述连通区域；

当相邻的两个所述连通区域分别为第一连通区域和第二连通区域，所述第一连通区域的直径小于所述第二连通区域的直径时，获取第一距离，所述第一距离为所述第一连通区域与所述第二连通区域之间的最小距离；根据所述第一连通区域的直径获取第二距离；

当所述第一距离小于所述第二距离时，合并所述第一连通区域和所述第二连通区域得到合并区域，从所述待处理皮肤图像中提取所述合并区域，以得到一个所述目标图像；

当所述第一距离大于或等于所述第二距离时，从所述待处理皮肤图像中分别提取所述第一连通区域和所述第二连通区域，以得到两个所述目标图像。

4.根据权利要求1所述的方法，其特征在于，所述确定所述待处理皮肤图像中的至少一个连通区域和所述根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像，包括：

将所述待处理皮肤图像输入图像分割模型进行图像分割，得到至少一个所述目标图像；其中，所述图像分割模型是通过使用多个已标注的分割样本图像进行机器学习训练而获得的。

5.根据权利要求4所述的方法，其特征在于，所述图像分割模型的训练过程包括如下步骤：

获取所述分割样本图像，每个所述分割样本图像携带有至少一个标注，所述标注指示所述分割样本图像中的待分割区域，所述待分割区域包括有至少一个皮损对象；

将所述分割样本图像输入第一深度学习网络模型进行图像分割训练；

在训练过程中，调整所述第一深度学习网络模型的第一模型参数至所述第一深度学习网络模型输出的图像与输入的所述分割样本图像的所述待分割区域对应的图像相匹配；

将所述第一模型参数的当前值对应的所述第一深度学习网络模型作为所述图像分割模型。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述目标图像进行识别以得到所述目标图像对应的识别结果；

统计所述待处理皮肤图像对应的各个所述目标图像对应的识别结果，得到预测值；

根据预设判断规则和所述预测值时，得到所述待处理皮肤图像对应的分类结果。

7.根据权利要求6所述的方法，其特征在于，所述基于所述目标图像进行识别以得到所述目标图像对应的识别结果，包括：

将所述目标图像输入图像识别模型进行图像识别，得到所述目标图像对应的所述识别结果；其中，所述图像识别模型是通过使用多个已标注的识别样本图像进行机器学习训练而获得的。

8.根据权利要求7所述的方法，其特征在于，所述图像识别模型的训练过程包括如下步骤：

获取所述识别样本图像，每个所述识别样本图像携带有对应的分类标注；

将所述识别样本图像输入第二深度学习网络模型进行图像识别，得到第一中间结果，所述第一中间结果为所述识别样本图像属于目标类别的概率；

将属于目标类别的概率大于或等于概率阈值的所述第一中间结果确定为第二中间结果；

在训练过程中，调整所述第二深度学习网络模型的第二模型参数至所述第二深度学习网络模型输出的所述第二中间结果对应的所述目标类别与输入的所述识别样本图像对应的所述分类标注相匹配；

将所述第二模型参数的当前值对应的所述第二深度学习网络模型作为所述图像识别模型。

9.根据权利要求6所述的方法，其特征在于，所述统计所述待处理皮肤图像对应的各个所述目标图像对应的识别结果，得到预测值，包括：

将所述待处理皮肤图像对应的各个所述目标图像对应的识别结果相加，得到第一待比较值，所述识别结果为每个所述目标图像属于目标类别的概率；

计算所述第一待比较值与所述目标图像的总数之间的比值，得到第一预测值。

10.根据权利要求6所述的方法，其特征在于，所述统计所述待处理皮肤图像对应的各个所述目标图像对应的识别结果，得到预测值，包括：

根据所述待处理皮肤图像对应的各个所述目标图像对应的识别结果，得到属于目标类别的所述目标图像的数量：第二待比较值，所述识别结果为每个所述目标图像属于所述目标类别的概率；

计算所述第二待比较值与所述待处理皮肤图像对应的所述目标图像的总数之间的比值，得到第二预测值。

11.根据权利要求6所述的方法，其特征在于，所述基于所述目标图像进行识别以得到所述目标图像对应的识别结果，包括：

根据所述目标图像对应的用户信息和所述目标图像中所述皮损对象的几何形态学特征，获取所述识别结果对应的加权系数；

根据所述识别结果和所述加权系数，生成待统计值。

12.根据权利要求7所述的方法，其特征在于，所述将所述目标图像输入图像识别模型进行图像识别，包括：

根据所述目标图像的尺寸与预设尺寸阈值，将所述目标图像输入对应的所述图像识别模型。

13.一种皮肤图像处理装置，其特征在于，所述装置包括：

图像获取模块：用于获取待处理皮肤图像；

连通区域提取模块：用于确定所述待处理皮肤图像中的至少一个连通区域，每个所述连通区域包括至少一个皮损对象；

图像分割模块：用于根据所述连通区域对应的邻域信息，分割所述待处理皮肤图像以得到至少一个所述目标图像。

14.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-12任一所述的皮肤图像处理方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-12任一所述的皮肤图像处理方法。