CN116259096A - 皮肤图像生成方法和装置 - Google Patents

Abstract

本公开的实施例公开了皮肤图像生成方法和装置。该方法的具体实施方式包括：获取不同用户的皮肤病的样本集，其中，所述样本集中每个样本包括人脸图像和人脸图像的皮肤病发展阶段的标注信息；基于所述样本集中相邻的皮肤病发展阶段的人脸图像训练基础生成模型；获取按预定时间间隔采集的目标用户的目标人脸图像集；基于所述目标人脸图像集对所述基础生成模型进行第二次训练，得到个性化的生成模型；将所述目标用户的当前人脸图像输入所述个性化生成模型，输出所述预定时间间隔的人脸图像。该实施方式实现了人脸图像的预测。

Description

皮肤图像生成方法和装置

技术领域

本公开的实施例涉及互联网医疗技术领域，具体涉及皮肤图像生成方法和装置。

背景技术

在互联网医院诊疗服务中，皮肤科问诊和开方是最大需求之一。互联网皮肤科诊断的主要依据是病情描述以及皮肤影像，其中皮肤影像可以直观的展示皮肤病的形态、颜色、发展阶段等。研究实践表明，皮肤影像可以很好的区分常见皮肤病。皮肤影像的来源包括专业的皮肤镜(专用医疗器械)和通用照相机(日常消费品)。随着带有照相机的智能手机越来越普及，皮肤科患者一般使用通用照相机拍摄皮肤影像进行互联网线上问诊。

现有皮肤影像处理技术包括图像增强、目标检测、辅助诊断、生成预测等。皮肤影像的生成预测技术可用于直观展示皮肤的形态变化，常见的如美颜相机可展示化妆、美容或者整容后的效果。

在现有皮肤影像处理方法中，生成预测技术包括两类，一类是指标预测，另一类是图像生成。指标预测方式只能预测指标数值，不够直观，用户感受不到在治疗过程中的效果是否符合预期，使得这种方式难以满足用户需求，对治疗效果改善有限。图像生成方式可以让用户直观地看到治疗效果，但依然难以改善治疗效果。这是因为模型训练所使用的图像来源多种多样，来自不同人、不同部位病灶等等，这使得模型生成的痊愈后效果，并不针对某人、某个时间的痊愈后效果。因此对个体用户而言，这种方法准确性不够，对真实痊愈后效果缺乏实际的对比参考价值，也难以预测不同治疗方案下的治疗效果。

发明内容

本公开的实施例提出了图像生成方法和装置。

第一方面，本公开的实施例提供了一种图像生成方法，包括：获取不同用户的皮肤病的样本集，其中，所述样本集中每个样本包括人脸图像和人脸图像的皮肤病发展阶段的标注信息；基于所述样本集中相邻的皮肤病发展阶段的人脸图像训练基础生成模型；获取按预定时间间隔采集的目标用户的目标人脸图像集；基于所述目标人脸图像集对所述基础生成模型进行第二次训练，得到个性化生成模型；将所述目标用户的当前人脸图像输入所述个性化生成模型，输出所述预定时间间隔的人脸图像。

在一些实施例中，所述获取不同用户的皮肤病的样本集，包括：获取不同用户的标注了皮损区域的人脸图像集；将所述人脸图像集输入预先训练的发展阶段识别模型，得到标注了皮损区域的皮肤病发展阶段的人脸图像集。

在一些实施例中，所述获取不同用户的标注了皮损区域的人脸图像集，包括：获取不同用户的原始人脸图像集；将所述原始人脸图像集输入预先训练的皮损分割模型，得到标注了皮损区域的人脸图像集。

在一些实施例中，所述发展阶段识别模型通过如下步骤训练：获取针对人脸图像的每个皮损区域进行类别标注的发展阶段标注数据集，其中，所述类别包括：萌发期、扩大期、成熟期、康复期、印痕期；分别将所述发展阶段标注数据集中的每个皮损区域作为输入，将每个皮损区域对应的发展阶段作为输出，训练发展阶段识别模型。

在一些实施例中，所述皮损分割模型通过如下步骤训练：获取针对每个人脸图像的皮损区域进行边缘标注的皮损区域标注数据集；分别将所述皮损区域标注数据集中的每个人脸图像作为输入，将每个人脸图像中的皮损区域作为输出，训练皮损分割模型。

在一些实施例中，所述获取针对每个人脸图像的皮损区域进行边缘标注的皮损区域标注数据集，包括：半监督或者弱监督技术对每个人脸图像的皮损区域进行边缘标注，得到皮损区域标注数据集。

在一些实施例中，所述方法还包括：重复执行如下步骤，直到输出没有皮损区域的人脸图像：将所述预定时间间隔的人脸图像作为当前人脸图像输入所述个性化生成模型，输出所述预定时间间隔的人脸图像；根据重复执行的次数与所述预定时间间隔，确定出康复时间。

第二方面，本公开的实施例提供了一种图像生成装置，包括：获取单元，被配置成获取不同用户的皮肤病的样本集，其中，所述样本集中每个样本包括人脸图像和人脸图像的皮肤病发展阶段的标注信息；训练单元，被配置成基于所述样本集中相邻的皮肤病发展阶段的人脸图像训练基础生成模型；采集单元，被配置成获取按预定时间间隔采集的目标用户的目标人脸图像集；微调单元，被配置成基于所述目标人脸图像集对所述基础生成模型进行第二次训练，得到个性化生成模型；预测单元，被配置成将所述目标用户的当前人脸图像输入所述个性化生成模型，输出所述预定时间间隔的人脸图像。

在一些实施例中，所述获取单元进一步被配置成：获取不同用户的标注了皮损区域的人脸图像集；将所述人脸图像集输入预先训练的发展阶段识别模型，得到标注了皮损区域的皮肤病发展阶段的人脸图像集。

在一些实施例中，所述获取单元进一步被配置成：获取不同用户的原始人脸图像集；将所述原始人脸图像集输入预先训练的皮损分割模型，得到标注了皮损区域的人脸图像集。

在一些实施例中，所述训练单元进一步被配置成，通过如下步骤训练所述发展阶段识别模型：获取针对人脸图像的每个皮损区域进行类别标注的发展阶段标注数据集，其中，所述类别包括：萌发期、扩大期、成熟期、康复期、印痕期；分别将所述发展阶段标注数据集中的每个皮损区域作为输入，将每个皮损区域对应的发展阶段作为输出，训练发展阶段识别模型。

在一些实施例中，所述训练单元进一步被配置成，通过如下步骤训练所述皮损分割模型：获取针对每个人脸图像的皮损区域进行边缘标注的皮损区域标注数据集；分别将所述皮损区域标注数据集中的每个人脸图像作为输入，将每个人脸图像中的皮损区域作为输出，训练皮损分割模型。

在一些实施例中，所述获取单元进一步被配置成：半监督或者弱监督技术对每个人脸图像的皮损区域进行边缘标注，得到皮损区域标注数据集。

在一些实施例中，所述装置还包括重复单元，被配置成：重复执行如下步骤，直到输出没有皮损区域的人脸图像：将所述预定时间间隔的人脸图像作为当前人脸图像输入所述个性化生成模型，输出所述预定时间间隔的人脸图像；根据重复执行的次数与所述预定时间间隔，确定出康复时间。

第三方面，本公开的实施例提供了一种用于图像生成的电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一项所述的方法。

第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如第一方面中任一项所述的方法。

本公开的实施例提供的图像生成方法和装置，针对丘疹、水泡等数量多、单个面积小的皮肤疾病症状，提升皮肤病影像生成预测的准确性和直观性，为用户生成基于用户特点的预后效果图像和视频，并能更准确地预测康复时间等指标，让用户可以直观地对比或感受到治疗方案的有益效果，从而提升依从性和治疗积极性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本公开的图像生成方法的一个实施例的流程图；

图3是根据本公开的图像生成方法的又一个实施例的流程图；

图4是根据本公开的图像生成方法的一个应用场景的示意图；

图5是根据本公开的图像生成装置的一个实施例的结构示意图；

图6是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的图像生成方法或图像生成装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如在线问诊类应用、图像处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持拍照功能的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的图像提供支持的后台图像处理服务器。后台图像处理服务器可以对接收到的人脸图像处理请求等数据进行分析等处理，并将处理结果(例如下一阶段的人脸图像)反馈给终端设备。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。

需要说明的是，本公开的实施例所提供的图像生成方法一般由服务器105执行，相应地，图像生成装置一般设置于服务器105中。

需要说明的是，本公开的实施例所提供的图像生成方法可以由终端设备101、102、103执行，也可以由服务器105执行。相应地，图像生成装置可以设置于终端设备101、102、103中，也可以设置于服务器105中。在此不做具体限定。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本公开的图像生成方法的一个实施例的流程200。该图像生成方法，包括以下步骤：

步骤201，获取不同用户的皮肤病的样本集。

在本实施例中，图像生成方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从第三方服务器获取不同用户的皮肤病的样本集，也可直接从终端设备获取用户拍摄的皮肤病的人脸照片，然后再经过机器或人工标注得到皮肤病的样本集。其中，样本集中每个样本包括人脸图像和人脸图像的皮肤病发展阶段的标注信息。人脸图像例如面部痤疮的自拍照片，来源可以是互联网医院在线问诊图片、线下医院医生拍摄照片等。要求人脸图像中皮肤病对应的皮损区域(区域边缘、色泽)清晰可见。预先在人脸图像中标注皮肤病所处发展阶段，由皮肤科医生针对每个皮损区域进行分类标注，类别的典型取值包括萌发期、扩大期、成熟期、康复期、印痕期。

步骤202，基于样本集中相邻的皮肤病发展阶段的人脸图像训练基础生成模型。

在本实施例中，使用深度神经网络模型(例如对抗生成网络)对未来阶段的影像进行建模，构建基础生成模型。基础生成模型的输入为某个阶段的皮损区域影像，基础生成模型的输出为下一阶段的皮损区域影像，其中印痕期的下一阶段皮损区域影像为健康皮肤。

步骤203，获取按预定时间间隔采集的目标用户的目标人脸图像集。

在本实施例中，目标用户为待预测人脸图像的用户，目标用户的人脸图像称之为目标人脸图像。用户输入多个时间点的影像，此处影像需包括用户关注的皮损区域(例如痤疮用户的面部照片，可清晰看到丘疹或在脓疱)，注意这里需要同一部位的多个时间的影像，例如连续3天每天拍摄一张面部照片作为输入。预定时间间隔是多个时间点之间的时间差，需要一致，例如每天、每两天等。

步骤204，基于目标人脸图像集对基础生成模型进行第二次训练，得到个性化生成模型。

在本实施例中，将基础生成模型作为预训练模型，使用目标人脸图像集进一步精调(fine-tune)，让模型更符合当前用户的特征，结果更准确，得到个性化生成模型。注意，生成模型的时间定义，从预测下一阶段改为下一时间点，时间点与用户输入的多个影像采样的时间差一致。生成模型的样本由同一位置的皮损区域在两个相邻时间点采样的影像组成。由于用户采集了多个时间点，针对局部多发性的皮肤病可以产生大量上述样本，这样模型学习到的是经过固定时间后皮损区域的变化情况。

步骤205，将目标用户的当前人脸图像输入个性化生成模型，输出预定时间间隔的人脸图像。

在本实施例中，生成模型可以根据当前人脸图像预测预定时间间隔的人脸图像，即，可以预测预定时间间隔的皮损区域的发展阶段，例如，根据青春痘扩大期的图像预测出成熟期的图像。

本公开的上述实施例提供的方法，能够模拟常见皮肤病的皮损区域在下一阶段的演变状态。针对当前用户进行精调，需要多个位置相似皮损在多个时间点的采样，从而使模型能够更准确地预测出该用户的皮损区域演变过程。

在本实施例的一些可选的实现方式中，所述获取不同用户的皮肤病的样本集，包括：获取不同用户的标注了皮损区域的人脸图像集；将所述人脸图像集输入预先训练的发展阶段识别模型，得到标注了皮损区域的皮肤病发展阶段的人脸图像集。可以由皮肤科医生或者理解皮肤病发作表现的人员进行标注操作，在影像I中标注出每个皮损区域的边缘线，要求这些边缘线是闭合的，包含皮肤病的单一管理单元，对应{D_seg}一个元素，例如痤疮的圆形丘疹区域，或者湿疹的不规则脓疱区域。如果影像中有多个皮损区域，需要逐个标注出来。使用预先产生的发展阶段识别模型，以皮损区域D_seg作为模型的输入，模型的输出为皮损区域的所处发展阶段。

在本实施例的一些可选的实现方式中，所述获取不同用户的标注了皮损区域的人脸图像集，包括：获取不同用户的原始人脸图像集；将所述原始人脸图像集输入预先训练的皮损分割模型，得到标注了皮损区域的人脸图像集。获取不同用户的原始人脸图像集，原始人脸图像集需包括用户关注的皮损区域(例如痤疮用户的面部照片，可清晰看到丘疹或在脓疱)。使用预先产生的分割模型(例如FCN全卷积神经网络)，以用户输入的原始人脸图像集作为模型的输入，模型输出为影像中的皮损区域。该模型可自动将用户新输入的影像进行分割。

在本实施例的一些可选的实现方式中，所述发展阶段识别模型通过如下步骤训练：获取针对人脸图像的每个皮损区域进行类别标注的发展阶段标注数据集，其中，所述类别包括：萌发期、扩大期、成熟期、康复期、印痕期；分别将所述发展阶段标注数据集中的每个皮损区域作为输入，将每个皮损区域对应的发展阶段作为输出，训练发展阶段识别模型。

在本实施例的一些可选的实现方式中，所述皮损分割模型通过如下步骤训练：获取针对每个人脸图像的皮损区域进行边缘标注的皮损区域标注数据集；分别将所述皮损区域标注数据集中的每个人脸图像作为输入，将每个人脸图像中的皮损区域作为输出，训练皮损分割模型。可由皮肤科医生或者理解皮肤病发作表现的人员进行标注操作，在影像I中标注出每个皮损区域的边缘线，要求这些边缘线是闭合的，包含皮肤病的单一管理单元，对应{D_seg}一个元素，例如痤疮的圆形丘疹区域，或者湿疹的不规则脓疱区域。如果影像中有多个皮损区域，需要逐个标注出来。

在本实施例的一些可选的实现方式中，所述获取针对每个人脸图像的皮损区域进行边缘标注的皮损区域标注数据集，包括：半监督或者弱监督技术对每个人脸图像的皮损区域进行边缘标注，得到皮损区域标注数据集。当前新发展的半监督或者弱监督技术可用于减少分割模型对于标注的需求，可作为分割模型的另一种实施例，此处不深入展开。

进一步参考图3，其示出了图像生成方法的又一个实施例的流程300。该图像生成方法的流程300，包括以下步骤：

步骤301，获取不同用户的皮肤病的样本集。

步骤302，基于样本集中相邻的皮肤病发展阶段的人脸图像训练基础生成模型。

步骤303，获取按预定时间间隔采集的目标用户的目标人脸图像集。

步骤304，基于目标人脸图像集对基础生成模型进行第二次训练，得到个性化生成模型。

步骤305，将目标用户的当前人脸图像输入个性化生成模型，输出预定时间间隔的人脸图像。

步骤301-305与步骤201-205基本相同，因此不再赘述。

步骤306，检测预定时间间隔的人脸图像是否有皮损区域。

在本实施例中，可通过预先训练的皮损分割模型来检测预定时间间隔的人脸图像是否有皮损区域。如果没有，则模型的输出结果为空。

步骤307，如果有，则将预定时间间隔的人脸图像作为当前人脸图像，重复执行步骤305-306。

在本实施例中，如果有皮损区域，说明用户的脸还没康复，可继续重复执行步骤305-306。因为每次只能输出预定时间间隔的结果，所以需要多次重复预测，才能得到康复的人脸图像。

步骤308，如果没有，则根据重复执行步骤305的次数与预定时间间隔，确定出康复时间。

在本实施例中，输入人脸图像及其皮损区域，使用上述个性化生成模型生成下一时间点的皮损区域。经过多次迭代，还可预测更长时间的演变情况。具体做法是，在模型中输出皮损区域影像D_seg1，输出为D_seg2，在以D_seg2为输入获得D_seg3，依此类推，经过N次调用后输出变为健康皮肤，N*预定时间间隔即可认为是康复时间。例如，预定时间间隔为2天，如果一共执行步骤305两次，得到无皮损的人脸图像，则康复时间为4天。

继续参见图4，图4是根据本实施例的图像生成方法的应用场景的一个示意图。在图4的应用场景中，主要针对丘疹、水泡等数量多、单个面积小的皮肤疾病。分为横向数据处理(图中第一行对应的步骤)和纵向处理(图中第三行对应的步骤)两个阶段，其中横向数据处理通过模型训练产生三种模型(图中第二行所示)。

(一)横向数据处理

横向数据处理阶段针对不同人、不同部位的皮肤影像，旨在构建基础生成模型，为某个皮肤病症状预测后续发展阶段的影像表现。例如痤疮用户的初期表现为粉刺，逐步形成丘疹、脓疱、结节、囊肿等。

步骤1.1收集皮肤病影像，获得数据集{I}，皮肤病影像例如面部痤疮的自拍照片，来源可以是互联网医院在线问诊图片、线下医院医生拍摄照片等。要求影像中皮肤病对应的皮损区域(区域边缘、色泽)清晰可见。其中涉及用户隐私的内容需要签署用户知情同意和授权，此外通过去除姓名、证件号等身份信息进行信息脱敏，最大限度保护用户的隐私。

步骤1.2皮损区域分割，产生皮损区域分割集合{I,{D_seg}}，其中{D_seg}对应若干个皮损区域，由皮肤科医生或者理解皮肤病发作表现的人员进行标注操作，在影像I中标注出每个皮损区域的边缘线，要求这些边缘线是闭合的，包含皮肤病的单一管理单元，对应{D_seg}一个元素，例如痤疮的圆形丘疹区域，或者湿疹的不规则脓疱区域。如果影像中有多个皮损区域，需要逐个标注出来。

步骤1.3训练分割模型，使用深度神经网络(例如FCN全卷积神经网络)对皮损区域分割集合{I,{D_seg}}进行建模，构建皮损分割模型，模型的输入为皮肤病影像I，模型输出为皮肤区域集合{D_seg}。该模型可自动将用户新输入的影像进行分割。

值得注意的是，当前新发展的半监督或者弱监督技术可用于减少分割模型对于标注的需求，可作为分割模型的另一种实施例，此处不深入展开。

步骤1.4标注皮肤病所处发展阶段，由皮肤科医生针对每个皮损区域进行分类标注，获得发展阶段标注数据集{I,{D_seg,P}}，类别P的典型取值包括萌发期、扩大期、成熟期、康复期、印痕期。

步骤1.5训练阶段识别模型，使用深度神经网络(例如ResNet)对发展阶段数据集{I,{D_seg,P}}进行建模，构建皮损区域的发展阶段识别模型，模型的输入为图像区域D_seg，模型输出为该区域对应的发展阶段，取值范围同步骤1.4一致。

步骤1.6训练生成模型，使用深度神经网络模型(例如对抗生成网络)对未来阶段的影像进行建模，构建基础生成模型。模型的输入为某个阶段的皮损区域影像D_seg_t1，模型的输出为下一阶段的皮损区域影像D_seg_t2，其中印痕期的下一阶段皮损区域影像为健康皮肤。

(二)纵向数据处理

纵向数据处理基于同一用户不同时间点采样的大量相似、但处于不同发展过程的皮损区域特点，以及其多时间点的变化趋势，建立个性化生成模型，预测出更符合用户特征、更准确的皮损区域影像变化。例如痤疮用户的面部常常有多个位置发病，皮损区域表现为丘疹、脓疱、结节、囊肿等，这些皮损区域可以视为该用户的多次采样，用于提升模型对于该用户的适应性。

步骤2.1用户输入多个时间点的影像{I_User，t}，此处影像需包括用户关注的皮损区域(例如痤疮用户的面部照片，可清晰看到丘疹或在脓疱)，注意这里需要同一部位的多个时间的影像，例如连续3天每天拍摄一张面部照片作为输入。多个时间点之间的时间差一致，例如每天、每两天等。

步骤2.2皮损区域分割，使用步骤1.3所产生的分割模型，以用户输入的影像I_User作为模型的输入，模型输出为影像中的皮损区域{D_seg}。

步骤2.3识别个区域所处发展阶段，使用步骤1.5所产生的发展阶段识别模型，以皮损区域D_seg作为模型的输入，模型的输出为皮损区域的所处发展阶段。

步骤2.4训练个性化生成模型，此处的个性化是指利用该用户输入的多个时间点影像及其皮损区域，对在步骤1.6中训练产生的基础生成模型进一步精调(fine-tune)，让模型更符合当前用户的特征，结果更准确。注意，生成模型的时间定义，从预测下一阶段改为下一时间点，时间点与用户输入的多个影像采样的时间差一致。生成模型的样本由同一位置的皮损区域在两个相邻时间点采样的影像{D_seg_t1,D_seg_t2}组成。由于用户采集了多个时间点，针对局部多发性的皮肤病可以产生大量上述样本，这样模型学习到的是经过固定时间后皮损区域的变化情况。

步骤2.5预测影像演变，输入用户影像及其皮损区域，使用上述个性化生成模型生成下一时间点的皮损区域。经过多次迭代，还可预测更长时间的演变情况。具体做法是，在模型中输出皮损区域影像D_seg1，输出为D_seg2，在以D_seg2为输入获得D_seg3，依此类推，经过N次调用后输出变为健康皮肤，N即可认为是恢复时长。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种图像生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的图像生成装置500包括：获取单元501、训练单元502、采集单元503、微调单元504和预测单元505，其中，获取单元，被配置成获取不同用户的皮肤病的样本集，其中，所述样本集中每个样本包括人脸图像和人脸图像的皮肤病发展阶段的标注信息；训练单元，被配置成基于所述样本集中相邻的皮肤病发展阶段的人脸图像训练基础生成模型；采集单元，被配置成获取按预定时间间隔采集的目标用户的目标人脸图像集；微调单元，被配置成基于所述目标人脸图像集对所述基础生成模型进行第二次训练，得到个性化生成模型；预测单元，被配置成将所述目标用户的当前人脸图像输入所述个性化生成模型，输出所述预定时间间隔的人脸图像。

在本实施例中，图像生成装置500的获取单元501、训练单元502、采集单元503、微调单元504和预测单元505的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204和步骤205。

在本实施例的一些可选的实现方式中，获取单元501进一步被配置成：获取不同用户的标注了皮损区域的人脸图像集；将所述人脸图像集输入预先训练的发展阶段识别模型，得到标注了皮损区域的皮肤病发展阶段的人脸图像集。

在本实施例的一些可选的实现方式中，获取单元501进一步被配置成：获取不同用户的原始人脸图像集；将所述原始人脸图像集输入预先训练的皮损分割模型，得到标注了皮损区域的人脸图像集。

在本实施例的一些可选的实现方式中，训练单元502进一步被配置成，通过如下步骤训练所述发展阶段识别模型：获取针对人脸图像的每个皮损区域进行类别标注的发展阶段标注数据集，其中，所述类别包括：萌发期、扩大期、成熟期、康复期、印痕期；分别将所述发展阶段标注数据集中的每个皮损区域作为输入，将每个皮损区域对应的发展阶段作为输出，训练发展阶段识别模型。

在本实施例的一些可选的实现方式中，训练单元502进一步被配置成，通过如下步骤训练所述皮损分割模型：获取针对每个人脸图像的皮损区域进行边缘标注的皮损区域标注数据集；分别将所述皮损区域标注数据集中的每个人脸图像作为输入，将每个人脸图像中的皮损区域作为输出，训练皮损分割模型。

在本实施例的一些可选的实现方式中，获取单元501进一步被配置成：半监督或者弱监督技术对每个人脸图像的皮损区域进行边缘标注，得到皮损区域标注数据集。

在本实施例的一些可选的实现方式中，装置500还包括重复单元(附图中未示出)，被配置成：重复执行如下步骤，直到输出没有皮损区域的人脸图像：将所述预定时间间隔的人脸图像作为当前人脸图像输入所述个性化生成模型，输出所述预定时间间隔的人脸图像；根据重复执行的次数与所述预定时间间隔，确定出康复时间。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的采集、收集、更新、分析、处理、使用、传输、存储等方面，均符合相关法律法规的规定，被用于合法的用途，且不违背公序良俗。对用户个人信息采取必要措施，防止对用户个人信息数据的非法访问，维护用户个人信息安全、网络安全和国家安全。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质。

一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现流程200或300所述的方法。

一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现流程200或300所述的方法。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如图像生成方法。例如，在一些实施例中，图像生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的图像生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。服务器可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种皮肤图像生成方法，包括：

获取不同用户的皮肤病的样本集，其中，所述样本集中每个样本包括人脸图像和人脸图像的皮肤病发展阶段的标注信息；

基于所述样本集中相邻的皮肤病发展阶段的人脸图像训练基础生成模型；

获取按预定时间间隔采集的目标用户的目标人脸图像集；

基于所述目标人脸图像集对所述基础生成模型进行第二次训练，得到个性化生成模型；

将所述目标用户的当前人脸图像输入所述个性化生成模型，输出所述预定时间间隔的人脸图像。

2.根据权利要求1所述的方法，其中，所述获取不同用户的皮肤病的样本集，包括：

获取不同用户的标注了皮损区域的人脸图像集；

将所述人脸图像集输入预先训练的发展阶段识别模型，得到标注了皮损区域的皮肤病发展阶段的人脸图像集。

3.根据权利要求2所述的方法，其中，所述获取不同用户的标注了皮损区域的人脸图像集，包括：

获取不同用户的原始人脸图像集；

将所述原始人脸图像集输入预先训练的皮损分割模型，得到标注了皮损区域的人脸图像集。

4.根据权利要求2所述的方法，其中，所述发展阶段识别模型通过如下步骤训练：

获取针对人脸图像的每个皮损区域进行类别标注的发展阶段标注数据集，其中，所述类别包括：萌发期、扩大期、成熟期、康复期、印痕期；

分别将所述发展阶段标注数据集中的每个皮损区域作为输入，将每个皮损区域对应的发展阶段作为输出，训练发展阶段识别模型。

5.根据权利要求3所述的方法，其中，所述皮损分割模型通过如下步骤训练：

获取针对每个人脸图像的皮损区域进行边缘标注的皮损区域标注数据集；

分别将所述皮损区域标注数据集中的每个人脸图像作为输入，将每个人脸图像中的皮损区域作为输出，训练皮损分割模型。

6.根据权利要求5所述的方法，其中，所述获取针对每个人脸图像的皮损区域进行边缘标注的皮损区域标注数据集，包括：

半监督或者弱监督技术对每个人脸图像的皮损区域进行边缘标注，得到皮损区域标注数据集。

7.根据权利要求1-6中任一项所述的方法，其中，所述方法还包括：

重复执行如下步骤，直到输出没有皮损区域的人脸图像：将所述预定时间间隔的人脸图像作为当前人脸图像输入所述个性化生成模型，输出所述预定时间间隔的人脸图像；

根据重复执行上述步骤的次数与所述预定时间间隔，确定出康复时间。

8.一种皮肤图像生成装置，包括：

获取单元，被配置成获取不同用户的皮肤病的样本集，其中，所述样本集中每个样本包括人脸图像和人脸图像的皮肤病发展阶段的标注信息；

训练单元，被配置成基于所述样本集中相邻的皮肤病发展阶段的人脸图像训练基础生成模型；

采集单元，被配置成获取按预定时间间隔采集的目标用户的目标人脸图像集；

微调单元，被配置成基于所述目标人脸图像集对所述基础生成模型进行第二次训练，得到个性化生成模型；

预测单元，被配置成将所述目标用户的当前人脸图像输入所述个性化生成模型，输出所述预定时间间隔的人脸图像。

9.根据权利要求8所述的装置，其中，所述获取单元进一步被配置成：

获取不同用户的标注了皮损区域的人脸图像集；

将所述人脸图像集输入预先训练的发展阶段识别模型，得到标注了皮损区域的皮肤病发展阶段的人脸图像集。

10.根据权利要求9所述的装置，其中，所述获取单元进一步被配置成：

获取不同用户的原始人脸图像集；

将所述原始人脸图像集输入预先训练的皮损分割模型，得到标注了皮损区域的人脸图像集。

11.根据权利要求9所述的装置，其中，所述发展阶段识别模型通过如下步骤训练：

获取针对人脸图像的每个皮损区域进行类别标注的发展阶段标注数据集，其中，所述类别包括：萌发期、扩大期、成熟期、康复期、印痕期；

分别将所述发展阶段标注数据集中的每个皮损区域作为输入，将每个皮损区域对应的发展阶段作为输出，训练发展阶段识别模型。

12.根据权利要求10所述的装置，其中，所述皮损分割模型通过如下步骤训练：

获取针对每个人脸图像的皮损区域进行边缘标注的皮损区域标注数据集；

分别将所述皮损区域标注数据集中的每个人脸图像作为输入，将每个人脸图像中的皮损区域作为输出，训练皮损分割模型。

13.根据权利要求12所述的装置，其中，所述获取单元进一步被配置成：

半监督或者弱监督技术对每个人脸图像的皮损区域进行边缘标注，得到皮损区域标注数据集。

14.根据权利要求8-13中任一项所述的装置，其中，所述装置还包括重复单元，被配置成：

重复执行如下步骤，直到输出没有皮损区域的人脸图像：将所述预定时间间隔的人脸图像作为当前人脸图像输入所述个性化生成模型，输出所述预定时间间隔的人脸图像；

根据重复执行上述步骤的次数与所述预定时间间隔，确定出康复时间。

15.一种用于皮肤图像生成的电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个计算机程序，

当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。

16.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images