CN110070540B - 图像生成方法、装置、计算机设备及存储介质 - Google Patents

图像生成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110070540B
CN110070540B CN201910350444.0A CN201910350444A CN110070540B CN 110070540 B CN110070540 B CN 110070540B CN 201910350444 A CN201910350444 A CN 201910350444A CN 110070540 B CN110070540 B CN 110070540B
Authority
CN
China
Prior art keywords
image
target
network
original image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910350444.0A
Other languages
English (en)
Other versions
CN110070540A (zh
Inventor
蓝晨曦
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910350444.0A priority Critical patent/CN110070540B/zh
Publication of CN110070540A publication Critical patent/CN110070540A/zh
Application granted granted Critical
Publication of CN110070540B publication Critical patent/CN110070540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像生成方法、装置、计算机设备及存储介质，属于机器学习技术领域。该方法包括：获取至少一个原始图像，将该至少一个原始图像输入条件生成网络，通过该条件生成网络提取该至少一个原始图像的风格信息，基于该至少一个原始图像的风格信息和包括该目标类型的第二对象的至少一个掩图，生成携带有该分类标签的至少一个目标图像。本发明能够对训练中所缺乏的某一类图像进行定制化的增强，增加了DNN训练集中的数据量，提高了DNN的准确度。

Description

图像生成方法、装置、计算机设备及存储介质
技术领域
本发明涉及机器学习技术领域，特别涉及一种图像生成方法、装置、计算机设备及存储介质。
背景技术
我国乳腺疾病筛查主要依赖于超声检查，可以将超声检查拍摄的乳腺图像输入深度神经网络(deep neural network，DNN)，通过DNN对乳腺图像进行乳腺层分割、乳腺癌分类等分析处理，从而实现乳腺疾病的自动筛查。
在上述过程中，乳腺分析的准确度依赖于DNN的准确度，而现阶段基于监督学习的DNN的准确度则严重依赖于训练集所包含乳腺图像的数据量，而由于乳腺疾病患者的数量总是远远小于健康人的数量，使得DNN的训练集中缺乏病变乳腺图像(也即是乳腺疾病患者的超声图像)，导致DNN的训练集中健康乳腺图像与病变乳腺图像比例严重失衡，从而使得DNN的准确度不高，难以满足临床使用要求。
进一步地，医学图像的结构都相对较为固定，如果为了增加病变乳腺图像的数量，在已有病变乳腺图像的基础上进行传统的数据增强处理(例如翻转、随机截取)，会使得增强处理生成的图像不符合医学上的组织结构，如果根据传统数据增强处理生成的图像进行训练，反而会使得训练效果变差，降低DNN的准确度。
发明内容
本发明实施例提供了一种图像生成方法、装置、计算机设备及存储介质,能够解决DNN的训练集中数据量不够，DNN准确度不高的问题。该技术方案如下：
一方面，提供了一种图像生成方法，该方法包括：
获取至少一个原始图像，该至少一个原始图像携带目标类型的第一对象的分类标签；
将该至少一个原始图像输入条件生成网络；
通过该条件生成网络提取该至少一个原始图像的风格信息，基于该至少一个原始图像的风格信息和包括该目标类型的第二对象的至少一个掩图，生成携带有该分类标签的至少一个目标图像；
其中，该至少一个原始图像的风格信息用于表示该第一对象的可视化特征。
一方面，提供了一种图像生成装置，该装置包括：
获取模块，用于获取至少一个原始图像，该至少一个原始图像携带目标类型的第一对象的分类标签；
输入模块，用于将该至少一个原始图像输入条件生成网络；
生成模块，用于通过该条件生成网络提取该至少一个原始图像的风格信息，基于该至少一个原始图像的风格信息和包括该目标类型的第二对象的至少一个掩图，生成携带有该分类标签的至少一个目标图像；
其中，该至少一个原始图像的风格信息用于表示该第一对象的可视化特征。
在一种可能实施方式中，该生成模块用于：
该条件生成网络包括特征提取网络，将该至少一个原始图像输入该特征提取网络，通过该特征提取网络对该至少一个原始图像进行卷积处理，得到该至少一个原始图像的风格信息。
在一种可能实施方式中，该特征提取网络包括编码部分和解码部分，该编码部分用于对该至少一个原始图像进行降采样处理，该解码部分用于对该至少一个原始图像进行上采样处理。
在一种可能实施方式中，该生成模块用于：
根据该至少一个原始图像的风格信息，对该至少一个掩图进行填充，得到至少一个合成图像，每个掩图用于承载一个该目标类型的第二对象的结构信息，每个合成图像具有一个原始图像的风格信息和一个掩图的结构信息；
该条件生成网络包括生成网络，将该至少一个合成图像输入该生成网络，通过该生成网络对该至少一个合成图像进行卷积处理，得到该至少一个目标图像。
在一种可能实施方式中，该生成网络包括编码部分、残差部分和解码部分，该编码部分用于对该至少一个合成图像进行降采样处理，该残差部分用于对该至少一个合成图像进行基于残差连接的卷积处理，该解码部分用于对该至少一个合成图像进行上采样处理。
在一种可能实施方式中，该获取模块包括：
确定单元，用于将多个备选图像输入主动学习模型，根据该多个备选图像的不确定度，从该多个备选图像中确定至少一个待标注图像，该多个备选图像的不确定度用于表示该多个备选图像所承载的信息量；
获取单元，用于将携带有分类标签的该至少一个待标注图像获取为该至少一个原始图像。
在一种可能实施方式中，该确定单元用于：
对每个备选图像，将该备选图像输入该主动学习模型，得到多个分割图像，一个分割图像用于表示对一个备选图像进行图像分割处理的结果；
获取该多个分割图像中两两图像之间的至少一个交并比，对该至少一个交并比进行求和，得到该备选图像的不确定度；
按照该多个备选图像的不确定度从大到小的顺序，对该多个备选图像进行排序，将排序位置位于前目标数量个的备选图像确定为该至少一个待标注图像。
在一种可能实施方式中，该装置还包括：
根据该至少一个原始图像和该至少一个目标图像，对该主动学习模型进行训练。
在一种可能实施方式中，该装置还包括：
根据该至少一个原始图像，对该条件生成网络进行训练。
在一种可能实施方式中，该装置还包括：
训练模块，用于根据该至少一个原始图像和该至少一个目标图像，对深度神经网络进行训练，该深度神经网络用于对包括该目标类型的任一对象的图像进行分类处理。
在一种可能实施方式中，该训练模块包括：
加入单元，用于将该至少一个原始图像加入该深度神经网络的训练集；
筛选加入单元，用于通过第一分割网络和第二分割网络对该至少一个目标图像进行筛选，得到至少一个目标训练图像，将该至少一个目标训练图像加入该深度神经网络的训练集；
训练单元，用于基于该训练集，对该深度神经网络进行训练。
在一种可能实施方式中，该筛选加入单元用于：
对任一目标图像，将该目标图像输入第一分割网络，获取该目标图像的第一交并比；
将该目标图像输入第二分割网络，获取该目标图像的第二交并比；
当该第一交并比大于第五目标阈值且该第二交并比小于第六目标阈值时，将该目标图像确定为一个目标训练图像。
一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条指令，该至少一条指令由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的图像生成方法所执行的操作。
一方面，提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令，该至少一条指令由处理器加载并执行以实现如上述任一种可能实现方式的图像生成方法所执行的操作。
本发明实施例提供的技术方案带来的有益效果至少包括：
通过获取至少一个原始图像，由于该至少一个原始图像携带目标类型的第一对象的分类标签，从而能够获取至少一个经过技术人员标注的图像，将该至少一个原始图像输入条件生成网络，从而通过该条件生成网络提取该至少一个原始图像的风格信息，由于该至少一个原始图像的风格信息能够表示第一对象的可视化特征，那么可以基于该至少一个原始图像的风格信息和包括该目标类型的第二对象的至少一个掩图，生成携带有该分类标签的至少一个目标图像，从而能够实现对该至少一个原始图像进行数据增强，得到了至少一个目标图像，通过控制原始图像的分类标签，从而控制了目标图像的分类标签，使得能够对训练中所缺乏的某一类图像进行定制化的增强，增加了DNN训练集中的数据量，提高了DNN的准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像生成方法的实施环境示意图；
图2是本发明实施例提供的一种图像生成方法的流程图；
图3是本发明实施例提供的一种主动学习模型的架构图；
图4是本发明实施例提供的一种多个分割图像的示意图；
图5是本发明实施例提供的一种获取不确定度概率分布的示意图；
图6是本发明实施例提供的一种条件生成网络的架构示意图；
图7是本发明实施例提供的一种目标图像的示意图；
图8是本发明实施例提供的一种图像生成方法的流程图；
图9是本发明实施例提供的一种迭代训练的示意图；
图10是本发明实施例提供的一种筛选目标图像的流程图；
图11是本发明实施例提供的一种挑选目标训练图像的示意图；
图12是本发明实施例提供的一种图像生成装置的结构示意图；
图13是本发明实施例提供的计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种图像生成方法的实施环境示意图。参见图1，在该实施环境中可以包括服务器101：
服务器101可以分别对初始条件生成网络和初始主动学习模型进行训练，得到条件生成网络和主动学习模型，使得服务器101可以基于主动学习模型，从海量的备选图像中筛选出不确定度符合预设条件的待标注图像，使得技术人员只对筛选出的待标注图像进行标注，得到原始图像，从而降低了人力标注的成本，进一步地，基于原始图像可以生成至少一个目标图像，可以在不破坏原始图像的结构信息的基础上，增大已标注图像的数据量，此外，这些目标图像本身具有标注信息，也就无需技术人员再次标注，从而能够进一步地降低人力标注的成本，还使得服务器101能够进一步地基于各个原始图像和各个目标图像训练DNN，增加了DNN的准确度。
图2是本发明实施例提供的一种图像生成方法的流程图。参见图2，该实施例应用于计算机设备，在本发明实施例中以计算机设备为服务器为例进行说明，该实施例包括：
201、对多个备选图像中的每个备选图像，服务器将该备选图像输入主动学习模型，得到多个分割图像，一个分割图像用于表示对一个备选图像进行图像分割处理的结果。
其中，该多个备选图像可以是一个或多个图像集中的多个携带目标类型的任一对象的图像，其中，该目标类型用于表示对象所属的结构类型，例如，该目标类型可以是乳腺、胃、肺等器官，相应地，当该目标类型为乳腺时，该多个备选图像可以是多个超声检查拍摄得到的乳腺图像(下文中简称为“超声乳腺图像”)，当目标类型为胃时，该多个备选图像可以是多个超声胃镜拍摄得到的胃图像，当目标类型为肺时，该多个备选图像可以是多个电子计算机断层扫描(computed tomography，CT)拍摄得到的肺图像。
在上述过程中，该一个或多个图像集可以是本地存储的，也可以来自云端，可选地，该一个或多个图像集可以为主动学习模型的一个或多个训练集，从而避免了获取新的图像集，节约了图像生成的时长，当然，该一个或多个图像集也可以和主动学习模型的一个或多个训练集不同，本发明实施例不对图像集和训练集是否相同进行具体限定。
可选地，该主动学习(active learning，AL)模型用于根据图像的不确定度来进行筛选图像，该主动学习模型可以是一个全卷积网络(fully convolutional networks，FCN)，该全卷积网络可以用于进行图像分割处理，在该全卷积网络中可以包括多个卷积层，每个卷积层中可以包括至少一个卷积核，该多个卷积层串行连接，上一个卷积层的输出图(feature map，特征图)作为下一个卷积层的输入图(也是feature map，特征图)。需要说明的是，在全卷积网络中不设置全连接层，从而能够保证图像分割处理的结果都是基于没有缺失的上下文图像特征来得到的。
在一些实施例中，为了对备选图像的边界区域进行精确地图像分割处理，此时可以采用重叠平铺(overlap-tile)策略：在备选图像的边界区域的外围，通过镜像平铺的方式填充边界外围缺失的部分，从而基于将镜像填充后的备选图像输入全卷积网络进行图像分割处理，能够增加边界区域的图像分割精度，实现任意大小图像的无缝分割。
可选地，该主动学习模型可以包括编码(encode)部分和解码(decode)部分(因此该主动学习模型也可以视为一个编解码网络)，在编码部分用于对备选图像进行降采样处理，在解码部分用于对备选图像进行上采样处理。可选地，该编码部分和解码部分可以具有对称的结构，也即是编码部分的卷积层数量与解码部分的卷积层数量可以是相同的。
在一些实施例中，上述编码部分的各个卷积层之间可以选择性地嵌入至少一个池化层，每个池化层用于压缩上一个卷积层的输出图，可以认为通过该池化层对上一个卷积层的输出图进行降采样处理，有利于简化主动学习模型的计算复杂度。这里所说的“选择性嵌入”是指可以每隔一个卷积层嵌入一个池化层，也可以每隔两个卷积层嵌入一个池化层，当然，池化层可以嵌入在任一个卷积层之后，池化层的数量可以是大于或等于1且小于或等于编码部分的卷积层数量的任一数值，本发明实施例不对该池化层的数量和嵌入位置进行具体限定。
在一些实施例中，上述解码部分的各个卷积层之间可以选择性地嵌入至少一个上采样层，每个上采样层用于扩张上一个卷积层的输出图，可以认为通过该上采样层对上一个卷积层的输出图进行上采样处理，有利于还原将编码部分处理后的特征图的尺寸还原至备选图像原本的尺寸。这里所说的“选择性嵌入”与上述编码部分池化层的“选择性嵌入”类似，在此不做赘述。
可选地，上述上采样层中所进行的上采样处理可以是上池化(unpooling)、上采样(unsampling)或者反卷积(up-convolution，也称上卷积)中的至少一种，本发明实施例不对具体采用哪种方式以执行上采样处理进行限定。
在一些实施例中，编码部分或者解码部分的各个卷积层之间可以选择性地嵌入至少一个非线性层，每个非线性层用于对上一个卷积层的输出图进行非线性处理，该非线性层可以采用任一能够添加非线性因素的激活函数，例如该激活函数可以是sigmoid函数、tanh函数或者ReLU函数等，从而为全卷积网络引入非线性因素。这里所说的“选择性嵌入”与上述编码部分池化层的“选择性嵌入”类似，在此不做赘述。
在一些实施例中，当编码部分与解码部分具有对称结构时，那么也即是编码部分的各个卷积层可以与解码部分的各个卷积层具有一一对应的关系，此时当解码部分的各个卷积层进行卷积处理时，可以采用跳跃连接(skip connection)的方法，该跳跃连接也即是：对于解码部分的任一卷积层而言，对该卷积层的上一个卷积层的输出图以及编码部分中与该卷积层所对应卷积层的输出图进行叠加(concatenation)，将叠加后得到的扩展图像作为该卷积层的输入，以此类推，从而能够在解码部分引入上下文图像特征，提高了图像分割处理的精确度。
可选地，在上述叠加过程中，先复制(copy)编码部分中对应卷积层的输出图，如果上一个卷积层的输出图与编码部分中对应卷积层的输出图的尺寸不同，此时可以通过裁剪(crop)操作对编码部分中与该卷积层所对应卷积层的输出图进行尺寸裁剪，从而保证了叠加时两个特征图之间尺寸相同。
在一些实施例中，编码部分或者解码部分的各个卷积层之间可以选择性地嵌入至少一个随机失活(dropout)层，该随机失活层用于在每次进行图像分割处理的过程中，使得与该随机失活层相连的上一个卷积层中的每一个卷积核都具有目标几率停止工作，其中，该目标几率可以是任一大于等于0且小于等于1的数值。这里所说的“选择性嵌入”与上述编码部分池化层的“选择性嵌入”类似，在此不做赘述。
例如，在主动学习模型的某一卷积层后面嵌入了一个随机失活层，假设该卷积层中有5个卷积核，并且在每次图像分割处理的过程中，在该随机失活层的作用下上述5个卷积核中的每一个卷积核都有50％的几率停止工作，那么在第1次进行图像分割处理时，第1，3，5个卷积核停止工作，而在第2次进行图像分割处理时，第2，4个卷积核停止工作，其中i为大于等于1的正整数。
需要说明的是，上述随机失活层保证的是每个卷积核都有50％的几率停止工作，而并非用于限定该卷积层中必须要有50％的卷积核停止工作，本发明实施例不对每次停止工作的卷积核的数量进行具体限定，而上述示例中的50％也仅是一种对目标几率的举例说明，不应构成对目标几率的取值的限定。
在上述步骤201中，对任一备选图像而言，服务器将该备选图像输入主动学习模型，该主动学习模型为全卷积网络，服务器通过全卷积网络的编码部分对该备选图像进行降采样处理，提取到该备选图像的特征，通过全卷积网络的解码部分对该备选图像的特征进行上采样处理，在还原该备选图像的特征图的尺寸的同时，避免了分辨率大幅降低，从而能够输出一个分割图像，重复多次执行将该备选图像输入该主动学习模型，那么可以得到与该备选图像所对应的多个分割图像，因此可以灵活地控制分割图像的数量，另外，由于在图像分割处理中嵌入了随机失活层，那么会使得各个分割图像并非是雷同的图像，从而能够根据该多个分割图像的不确定度来获取该备选图像的不确定度，对任一备选图像均可以执行上述步骤，这里不做赘述。
在一些实施例中，图3是本发明实施例提供的一种主动学习模型的架构图，参见图3，该主动学习模型可以是一个U-net(U形网络)，在U-net架构中包括编码部分和解码部分，在编码部分中包括9个卷积层和4个池化层，每间隔2个卷积层后串接一个池化层，而相应地，解码部分与编码部分相对称，也具有9个卷积层和4个上采样层，并且采用了与编码部分进行跳跃连接(copy and crop)的方式，另外，在解码部分的最后一个卷积层之后还串接了一个卷积核尺寸为1×1的卷积层(conv 1×1)，从而能够控制输出分割图像的维度，而无论是在编码部分还是在解码部分，每一个卷积层后面都还串接了一个非线性层(图中未示出)。其中，每个卷积层中采用了尺寸为3×3的卷积核(conv 3×3)，每个池化层中采用了尺寸为2×2的最大池化核(max pool 2×2)，每个上采样层中采用了尺寸为2×2的反卷积核(up-conv 2×2)，每个非线性层采用的ReLU激活函数。
202、服务器获取该多个分割图像中两两图像之间的至少一个交并比，对该至少一个交并比进行求和，得到该备选图像的不确定度。
其中，一个交并比(intersection over union，IOU)用于表示任意两个分割图像的交集区域与并集区域的比值，该交集区域是指两个分割图像的重叠部分所在的区域，而并集区域是指两个分割图像的集合所在的区域。
其中，该备选图像的不确定度用于表示该备选图像所承载的信息量。
在上述过程中，服务器对于多个分割图像中的任意两个分割图像，服务器获取该两个分割图像之间的交集区域，获取该两个分割图像之间的并集区域，将该交集区域与并集区域的比值作为该两个分割图像之间的交并比，重复执行上述获取交并比的步骤，直到得到了多个分割图像中任意两个分割图像之间的至少一个交并比，由于每个交并比能够用来衡量两个分割图像之间的不确定度，对该至少一个交并比进行求和后所得到的数值，即可认为是本次图像分割过程中备选图像的不确定度，从而能够简化了获取不确定度过程的计算量，解决了图像生成的时间。
在一些实施例中，假设全卷积网络对任一个备选图像，输出了n张分割图像，在第i-1个分割图像与第i个分割图像之间的交并比可以用eioui,i-1进行表示，那么该备选图像的不确定度EIOU可以用如下公式进行表示：
Figure BDA0002043758760000101
其中，n为任一大于或等于1的整数，i为任一大于或等于2且小于或等于n的整数。
例如，图4是本发明实施例提供的一种多个分割图像的示意图，参见图4，将一个超声乳腺图像重复10次输入主动学习模型后，可以得到10个乳腺分割图像，在该10个乳腺分割图像中进行两两的排列组合，可以得到45种不同的组合结果，从而对每一种组合结果，获取该组合结果中的两个乳腺分割乳腺之间的交并比，那么得到45个交并比，对该45个交并比进行求和后所得到数值即为该超声乳腺图像的不确定度。
在一些实施例中，还可以不以交并比来衡量备选图像的不确定度，而是采用方差(variance)来衡量备选图像的不确定度，此时上述步骤202可以采用下述方式进行替换：对任一分割图像中多个像素点，获取该多个分割图像与该像素点位置相对应的多个像素点之间的方差，得到该多个像素点的方差，从而可以根据该多个像素点的方差得到备选图像的不确定度的概率分布，进一步地，服务器可以将该多个像素点的方差的平均值获取为该备选图像的不确定度，从而能够更加准确地从像素级别来刻画备选图像的不确定度。
需要说明的是，在上述获取方差的过程中，对于多个分割图像中的每一个坐标相同的像素点，获取多个分割图像中与该坐标相对应的多个像素点的平均值，再获取每个分割图像中与该坐标相对应的像素点与该平均值之间的差值的平方值，对于多个分割图像，能够得到多个平方值，对该多个平方值求平均值所得到的数值即为与该坐标相对应的像素点的方差，对于每一个像素点重复执行上述步骤，从而能够得到每一个像素点的方差。
例如，图5是本发明实施例提供的一种获取不确定度概率分布的示意图，参见图5，将一张风景图像重复多次输入主动学习模型后，可以得到多个分割图像，获取该多个分割图像中多个像素点的方差，得到最右边的不确定度的概率分布图，进一步地，可以将该多个像素点的方差的平均值获取为该风景图像的不确定度。
203、服务器按照多个备选图像的不确定度从大到小的顺序，对该多个备选图像进行排序，将排序位置位于前目标数量个的备选图像确定为至少一个待标注图像。
其中，该目标数量可以是任一大于或等于1且小于或等于备选图像数量的数值。
在上述过程中，由于备选图像的不确定度衡量的是备选图像所承载的信息量，当一个备选图像的不确定度越大，代表该备选图像的信息熵数值越大，也就意味着该备选图像承载的信息量越丰富，而DNN训练时所需求的恰好就信息量丰富的图像，例如，对于乳腺疾病患者的超声乳腺图像的信息量通常比健康人的超声乳腺图像的信息量要大，因此服务器按照不确定度从大到小的顺序，对各个备选图像进行排序，从而可以筛选出将目标数量个不确定度较大的备选图像，将这些备选图像确定为至少一个待标注图像。
在上述在201-203中，服务器将多个备选图像输入主动学习模型，根据该多个备选图像的不确定度，从该多个备选图像中确定至少一个待标注图像，其中，该多个备选图像的不确定度用于表示该多个备选图像所承载的信息量，从而能够通过主动学习模型，对多个备选图像进行筛选，筛选出不确定度较大的至少一个待标注图像。例如，假设有200个备选图像，将这200个备选图像按照不确定度从大到小的顺序进行排序，挑选出不确定度的数值位于前50的备选图像作为待标注图像。
在一些实施例中，上述步骤203还可以采用下述方式进行替换：服务器从多个备选图像中获取不确定度大于第一目标阈值的至少一个备选图像，将该至少一个备选图像确定为至少一个待标注图像。其中，该第一目标阈值可以是任一大于或等于0的数值。
在上述过程中，通过设置第一目标阈值，从而可以对挑选出的待标注图像的不确定度设置一个最低的阈值，从而能够保证每一个待标注图像所承载的信息量不会太低。
204、服务器将携带有分类标签的至少一个待标注图像获取为至少一个原始图像。
在上述过程中，可以由技术人员对该至少一个待标注图像进行人力标注，可以得到该至少一个待标注图像的标注结果，其中，一个标注结果可以包括一个待标注图像的分类标签或者分割区域中的至少一项，该分类标签可以用于表示图像所属的类别，而该分割标签可以用于表示图像中的呈现出类似纹理的像素点所在的区域。
例如，如果待标注图像为超声乳腺图像，那么对于超声乳腺图像而言总共可以包括5种分类标签，分别是健康型、良性病变型、恶性病变型Ⅰ级、恶性病变型Ⅱ级、恶性病变型Ⅲ级，技术人员对某一待标注图像进行标注后，可能将该待标注图像的分类标签标注为“健康型”，进而再对该待标注图像进行分割区域的标注，对于任意的一个超声乳腺图像而言，技术人员需要将该超声乳腺图像中4个分割区域的边界进行标注，这4个分割区域分别是表皮区、乳腺实质区、肌肉区以及背景区，从而得到了一张待标注图像的标注结果。
在上述步骤204中，该至少一个原始图像携带对该目标类型的第一对象的分类标签，例如，当目标类型为乳腺，第一对象为自然人A的乳腺时，那么该原始图像的分类标签可以是自然人A的乳腺为健康型。
在上述过程中，服务器可以仅将携带有分类标签的该至少一个待标注图像获取为该至少一个原始图像，从而能够避免获取冗余数据，当然，服务器还可以将携带有分类标签和分割区域的该至少一个待标注图像获取为该至少一个原始图像，从而能够避免了后续训练过程中重新获取该至少一个待标注图像的分割区域。
在上述步骤201-204中，服务器获取了至少一个原始图像，从而可以基于该至少一个原始图像来生成新的目标图像，进一步地，基于主动学习模型从多个备选图像中挑选出信息量较大的至少一个待标注图像，对该至少一个待标注图像进行人力标注，从而能够避免了技术人员对每一个备选图像进行标注，也就节约了对备选图像进行标注的时长，节约了标注投入的人力成本。
205、服务器将该至少一个原始图像输入条件生成网络中的特征提取网络，通过该特征提取网络对该至少一个原始图像进行卷积处理，得到该至少一个原始图像的风格信息。
其中，该条件生成网络可以包括特征提取网络和生成网络，该特征提取网络用于提取图像风格信息，该生成网络用于基于图像风格信息生成新的图像，在下述步骤207中对生成网络进行详述。
其中，该至少一个原始图像的风格信息用于表示第一对象的可视化特征，例如，一个原始图像的风格信息可以用于表示一个原始图像的纹理信息、材质信息、颗粒度信息、金属信息或者光泽信息中的至少一项，可选地，当该原始图像为生物医学图像时，该原始图像的风格信息还可以用于表示该原始图像的病变信息。
在一些实施例中，该特征提取网络可以是一个全卷积网络，在该全卷积网络中可以包括多个卷积层，每个卷积层中可以包括至少一个卷积核，该多个卷积层串行连接，串行连接的方式与上述主动学习模型相同，这里不做赘述，需要说明的是，在特征提取网络中不设置随机失活层，从而避免了遗漏原始图像中的可视化特征。
可选地，该特征提取网络可以包括编码部分和解码部分，该编码部分用于对原始图像进行降采样处理，该解码部分用于对原始图像进行上采样处理。可选地，该编码部分和解码部分可以具有对称的结构，也即是编码部分的卷积层数量与解码部分的卷积层数量可以是相同的，需要说明的是，该特征提取网络的架构与上述步骤201中主动学习模型的架构类似，但卷积层数量和参数可以不同，这里不做赘述。
在上述步骤205中，服务器将该至少一个原始图像输入条件生成网络，通过该条件生成网络中提取该至少一个原始图像的风格信息，由于该至少一个原始图像的风格信息能够表示第一对象的可视化特征，那么服务器可以通过执行下述步骤206-207来合成新的目标图像。
在一些实施例中，如果各个原始图像只有一个分割区域，对于任一原始图像而言，服务器直接将该原始图像整体输入特征提取网络，由于该特征提取网络为全卷积网络，服务器可以通过全卷积网络的编码部分对该原始图像进行降采样处理，提取到该原始图像的风格特征，通过全卷积网络的解码部分对该原始图像的风格特征进行上采样处理，从而还原了原始图像的特征图的尺寸，得到该原始图像的风格信息。
在一些实施例中，如果各个原始图像包括多个分割区域，由于不同的分割区域通常风格信息差别较大，例如乳腺表皮的风格信息和乳腺肌肉的风格信息是迥异的，因此在这种情况下，服务器需要在对特征提取网络的训练过程中采用携带相同目标类型的对象的样本图像，从而使得特征提取网络具有分区提取原始图像中不同分割区域的风格信息的能力，仍然将原始图像整体输入特征提取网络之后，可以提取到原始图像中多个分割区域的风格信息。
206、服务器根据该至少一个原始图像的风格信息，对至少一个掩图进行填充，得到至少一个合成图像，每个掩图用于承载一个该目标类型的第二对象的结构信息，每个合成图像具有一个原始图像的风格信息和一个掩图的结构信息。
在上述过程中，该生成网络可以预先配置有多个掩图(mask)，一个掩图用于表示携带目标类型的第二对象的一个图像的分割区域，从而能够基于该掩图来承载一个目标类型的第二对象的结构信息，上述第一对象和第二对象的目标类型是相同的，例如，目标类型是乳腺时，第一对象是自然人A的乳腺，原始图像是自然人A的超声乳腺图像，第二对象是自然人B的乳腺，掩图是对自然人B的超声乳腺图像经过图像分割处理后所得到的分割图像。
因此，在给定一张原始图像的情况下，服务器能够基于该原始图像的风格信息，生成与该多个掩图所对应的多个合成图像，从而相较于传统的数据增强方法(例如翻转、随机截取)，本发明实施例能够在保留掩图所承载的结构信息的情况下，实现对原始图像的数据增强，当原始图像为生物医学图像时，能够避免合成图像中丢失了医学上的应有的组织结构信息。
例如，对于超声乳腺图像而言，由于生病的人总是较少的，因此在真实的图像集中病变乳腺图像的数量远远小于健康乳腺图像，为了提升基于该图像集进行训练的DNN的准确度，我们需要平衡病变乳腺图像(正例)和健康乳腺图像(负例)之间的比例，因此可以通过生成网络合成更多的病变乳腺图像，在合成过程中，服务器可以先基于典型的健康乳腺图像得到多个具有典型结构信息的掩图，将该多个掩图配置到生成网络中，从而可以根据病变乳腺图像的风格信息和多个掩图的结构信息，生成多个具有病变纹理和典型结构的合成图像，这些合成图像即可用来当做模拟出的病变乳腺图像，从而可以改善图像集中病变乳腺图像的比例，有利于提升以该图像集为训练集的DNN的准确度。
在一些实施例中，如果各个原始图像只有一个分割区域，那么对每一个原始图像而言，可以直接将该原始图像的风格信息分别填充到至少一个掩图中，得到与该原始图像所对应的至少一个合成图像，使得每个合成图像能够兼具原始图像的风格信息和一个掩图的结构信息，但由于只是简单的填充处理，不能够使得原始图像的风格信息和掩图的结构信息达到无缝风格迁移，因此需要执行下述步骤207。
而在一些实施例中，如果各个原始图像包括多个分割区域，那么在上述步骤206中，对任一个原始图像而言，服务器可以对该原始图像的多个类别区域分别进行实例级别的均值池化处理(instance-wise average pooling)，得到该原始图像中多个分割区域的均值风格信息，从而将各个分割区域的均值风格信息填充到各个掩图中位置相对应的分割区域，例如，服务器获取超声乳腺图像表皮区的均值风格信息，将该表皮区的均值风格信息分别填充到多个掩图中每一个掩图的表皮区中。
207、服务器将该至少一个合成图像输入该条件生成网络中的生成网络，通过该生成网络对该至少一个合成图像进行卷积处理，得到至少一个目标图像。
在一些实施例中，生成网络可以是一个残差网络(residual neural networks)，该生成网络中可以包括编码部分、残差部分和解码部分，该编码部分用于对该至少一个合成图像进行降采样处理，该残差部分用于对该至少一个合成图像进行基于残差连接的卷积处理，该解码部分用于对该至少一个合成图像进行上采样处理。
在上述架构中，该编码部分、残差部分和解码部分中可以分别包括至少一个卷积层，每个卷积层中可以包括至少一个卷积核，该编码部分、残差部分和解码部分串行连接，串行连接的方法与上述步骤201中全卷积网络相同，这里不再赘述。在一些实施例中，该编码部分和解码部分也可以具有对称的结构，也即是编码部分的卷积层数量与解码部分的卷积层数量可以是相同的，当然，该编码部分和解码部分也可以不是对称的，本发明实施例不对编码部分和解码部分的卷积层数量是否相同进行具体限定。
可选地，该编码部分或解码部分的在各个卷积层之间可以选择性地嵌入至少一个非线性层，以引入编码部分的非线性因素。
可选地，该编码部分或解码部分的各个卷积层之间还可以选择性地嵌入至少一个批量归一化(batch normalization，BN)层，在任一BN层中对上一个卷积层所输出的多通道的特征图，获取每一个通道中各个像素点的均值和方差，进而根据该均值和方差，对该通道中的各个像素点进行归一化处理，对于归一化后的多个通道进行线性变换，从而得到BN层所输出的特征图，通过上述BN层中的批量归一化处理，可以使得每一个卷积层的输出图具有类似的分布，从而改善了生成网络的梯度弥散问题。
在一些实施例中，该生成网络中的各个卷积层(不管是编码部分、残差部分还是解码部分)之间可以采用残差连接，该残差连接也即是：对于每个卷积层来说，可以将该卷积层之间的卷积层所输出的任一特征图与当前卷积层所输出的对应的特征图叠加后得到残差块(residual block)，将该残差块作为输入下一卷积层的一个特征图，从而可以解决生成网络的退化问题。
图6是本发明实施例提供的一种条件生成网络的架构示意图，参见图6，在该条件生成网络中包括特征提取网络E和生成网络G，在特征提取网络E中，编码部分包括4个卷积层，每个卷积层中卷积核的尺寸为3×3且卷积步长为2，解码部分与编码部分对称设置，这里不做赘述。而在生成网络G中，编码部分、残差部分和解码部分中的每个卷积层中卷积核的尺寸均为3×3且卷积操作的步长为2，并且每个卷积层后面串接一个BN层，在BN层后面串接一个非线性层，非线性层采用ReLU激活函数，编码部分中包括3个卷积层，解码部分与编码部分对称设置，这里不做赘述，而在生成网络G的残差部分中，可以包括9个残差块，每个残差块中包括2层卷积层，也即是每间隔一个卷积层进行残差连接，例如对第i+3个卷积层而言，是以第i个卷积层的输出图与第i+2个卷积层的输出图叠加后所得到的残差块为输入，其中i为任一大于或等于1的数值。
在上述步骤206-207中，服务器基于该至少一个原始图像的风格信息和包括该目标类型的第二对象的至少一个掩图，生成至少一个携带有分类标签的目标图像，在生物医学领域中，可以通过上述步骤201-207获取更多的符合组织结构的样本图像，增加了DNN训练集中已标注乳腺图像的数据量，进一步地，由于目标图像的风格信息与原始图像的风格信息是相同的，那么目标图像的可视化特征也与原始图像的可视化特征是相同的，使得目标图像的分类标签与原始图像的分类标签是相同的，从而使得条件生成网络输出的目标图像是直接携带有分类标签的，避免了技术人员对目标图像进行标注，也就节约了人力标注所带来的成本。
图7是本发明实施例提供的一种目标图像的示意图，参见图7，以原始图像为超声乳腺图像为例，基于3个超声乳腺图像，与3个不同第二对象的乳腺的掩图分别进行融合后，可以得到3个目标图像，该3个目标图像的分类标签与原始图像的分类标签相同，假如原始图像的分类标签均为恶性病变型Ⅰ级，那么该3个目标图像的分类标签也均为恶性病变型Ⅰ级，此时可以得到更多的病变乳腺图像，以增加DNN训练集中病变乳腺图像的数量。
在一些实施例中，服务器可以在执行上述步骤205之前，先根据上述步骤204得到的该至少一个原始图像，对该条件生成网络进行训练，从而直接将该至少一个原始图像输入训练后的条件生成网络，根据训练后的条件生成网络生成该至少一个目标图像，能够进一步地提升条件生成网络的准确度。
在一些实施例中，服务器还可以在执行上述步骤207之后，根据该至少一个原始图像和该至少一个目标图像，对该主动学习模型进行训练，从而能够在下一次循环执行步骤201时，直接将新一批的多个备选图像输入训练后的主动学习模型，从而能够在一个迭代的过程中，不断对主动学习模型进行训练，实现对主动学习模型的优化，能够进一步地提升主动学习模型的准确度。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本发明实施例提供的方法，通过获取至少一个原始图像，由于该至少一个原始图像携带目标类型的第一对象的分类标签，从而能够获取至少一个经过技术人员标注的图像，将该至少一个原始图像输入条件生成网络，从而通过该条件生成网络提取该至少一个原始图像的风格信息，由于该至少一个原始图像的风格信息能够表示第一对象的可视化特征，那么可以基于该至少一个原始图像的风格信息和包括该目标类型的第二对象的至少一个掩图，生成携带有该分类标签的至少一个目标图像，从而能够实现对该至少一个原始图像进行数据增强，得到了至少一个目标图像，通过控制原始图像的分类标签，从而控制了目标图像的分类标签，使得能够对训练中所缺乏的某一类图像进行定制化的增强，例如在生物医学领域，由于缺乏病变乳腺图像，可以将原始图像设置为病变乳腺图像，那么就可以生成符合医学组织结构的多个病变乳腺图像，并且这些目标图像本身就具有分类标签和分割区域，无需进行人工的二次标注，从而减少了数据标注过程的人力成本，这些目标图像可以用来训练用于进行乳腺分类的DNN，从而增加了DNN的训练速度，提高了DNN的准确度。
进一步地，通过特征提取网络对原始图像进行卷积处理，能够准确地提取出原始图像的风格信息，而特征提取网络中包括编码部分和解码部分，使得能够先对原始图像进行降采样，有利于提取深层次的风格特征，进而再对原始图像进行上采样，有利于在保证分辨率的同时放大特征图的尺寸。
进一步地，根据至少一个原始图像的风格信息填充至少一个掩图，得到至少一个合成图像，使得可以先将风格信息和掩图进行简单地组合，保证了送入生成网络的合成图像是兼具原始图像的风格信息和掩图的结构信息，进一步地，通过生成网络对合成图像进行卷积处理，得到至少一个目标图像，使得生成网络能够基于合成图像，对原始图像的风格信息和掩图的结构信息进行深层次的融合，生成更加自然和逼真的目标图像。
基于上述实施例中提到的图像生成方法，本发明实施例提供了一种对主动学习模型和条件生成网络迭代训练，从而生成目标图像的方法，图8是本发明实施例提供的一种图像生成方法的流程图，参见图8，该方法包括：
801、服务器对初始主动学习模型进行训练，得到第一主动学习模型。
在上述步骤801中，服务器可以将第二训练集中的多个样本图像依次输入初始主动学习模型，对每一个样本图像，其中每个样本图像可以包括一组真实图像和该真实图像的分割区域，对每一个样本图像，通过该初始主动学习模型得到多个分割图像，将该多个分割图像与该真实图像的分割区域的均方误差作为损失函数值，从而当该损失函数值大于第二目标阈值时，基于反向传播算法对该初始主动学习模型进行参数调整，迭代执行上述步骤，直到损失函数值小于或等于该第二目标阈值，得到第一主动学习模型。其中，该第二目标阈值可以是大于或等于0且小于或等于1的任一数值。
在一些实施例中，如果在生物医学类的样本图像中存在互相接触的细胞，由于各个细胞的纹理是相似的，但在训练主动学习模型的分割能力时，又期望能够将相邻的细胞分割开，此时可以通过权重损失(weighted loss)的方式，为相邻的细胞之间的背景区赋予更高的权重值，从而在这种迭代训练的过程中，能够优化主动学习模型分割相邻细胞的能力。
802、服务器对初始条件生成网络进行训练，得到第一条件生成网络。
上述步骤802中，服务器可以在初始条件生成网络中添加一个判别网络，该判别网络用于判断生成网络生成的目标图像的优劣，而在生成图像时不加入该判别网络。
在上述过程中，服务器将第二训练集中的多个样本图像依次输入初始条件生成网络，其中每个样本图像可以包括一组真实图像和该真实图像的分割区域，对每一个样本图像，通过初始条件生成网络中的特征提取网络提取该样本图像的风格信息，通过初始条件生成网络中的生成网络来生成目标图像，再通过判别网络来判断目标图像与真实图像的匹配概率，从而获取本次生成过程的损失函数值，当该损失函数值大于第三目标阈值时，基于反向传播算法对该初始条件生成网络进行参数调整，迭代执行上述步骤，直到损失函数值小于或等于该第三目标阈值，得到第一条件生成网络。其中，该第三目标阈值可以是大于或等于0且小于或等于1的任一数值。
在一些实施例中，在基于反向传播算法进行参数调整时，在前向传播的过程中计算激活值，在反向传播的过程中计算损失函数值和梯度，从而基于Adam的梯度下降法，更新初始条件生成网络的参数。
在一些实施例中，假设第二训练集中包括n个样本图像，其中n为大于或等于1的任一整数，那么可以用{(si,xi′)}表示一个样本图像，其中，xi′表示第i个真实图像，si表示第i个真实图像的分割区域，其中i为大于或等于1且小于或等于n的任一整数，那么生成网络的损失函数可以表示为如下公式：
LGAN(G,D)＝E(s,x)[logD(s,x)]+Es[log(1-D(s,G(s)))]
其中，D(s,x)为判别网络，G(s)为生成网络，s为真实图像的分割区域，x为生成网络所生成的图像。
判别网络的损失函数可以表示为如下公式：
LFM(G,D)＝E(s,x)[||D(s,x)-D(s,G(s))||1]
整个初始条件生成网络的损失函数可以表示为如下公式：
Figure BDA0002043758760000191
其中，判别网络输出的是生成图像x是否为匹配于s所对应的真实图像x′的概率，λ为权重系数。
803、服务器根据第一主动学习模型，获取至少一个原始图像。
上述步骤803与上述步骤201-204类似，这里不做赘述。
804、服务器根据该至少一个原始图像，对第一条件生成网络进行训练，得到第二条件生成网络。
上述步骤804与上述步骤802类似，只是将训练集换为该至少一个原始图像，这里不做赘述。在一些实施例中，上述804中的训练也可以称为是一种微调(finetune)训练。
805、服务器将该至少一个原始图像输入该第二条件生成网络，输出至少一个目标图像。
上述步骤805与上述步骤205-207类似，这里不做赘述。
806、服务器根据该至少一个原始图像和该至少一个目标图像，对该第一主动学习模型进行训练，得到第二主动学习模型。
上述步骤806与上述步骤801类似，只是将训练集换为该至少一个原始图像和该至少一个目标图像，这里不做赘述。在一些实施例中，上述804中的训练也可以称为是一种微调(finetune)训练。
在一些实施例中，服务器可以迭代执行上述步骤803-806，直到主动学习模型或者条件生成网络的损失函数小于或等于第四目标阈值，从而能够在迭代过程中不断提高主动学习模型和条件生成网络的准确度。其中，该第四目标阈值可以是大于或等于0且小于或等于1的任一数值。
在一些实施例中，服务器还可以迭代执行上述步骤801-806，而每次循环执行到步骤801时，更换主动学习模型的训练集，每次循环到步骤802时，更换条件生成网络的训练集，从而能够通过主动学习模型，不断地从未标注数据集中挑选出信息量较大的待标注图像交给技术人员进行标注，进而基于标注后的图像(也即是原始图像)去优化条件生成网络，使得在提升主动学习模型和条件生成网络的准确度的同时，能够对更多的训练集进行筛选，此外还减少了技术人员的工作量，避免了技术人员对无用图像进行标注，节约了图像标注的时间，而原始图像以及目标图像可以用于去训练DNN，从而能够提升DNN进行乳腺分型的准确度。
图9是本发明实施例提供的一种迭代训练的示意图，参见图9，在迭代过程中，以主动学习模型的第一训练集和条件生成网络的第二训练集为相同的训练集为例进行说明，在图9中该第一训练集和第二训练集表示为初始训练集，这样可以避免了对进一步地减少训练时获取训练集的成本，假设初始训练集中包括200个样本图像，基于初始训练集分别对主动学习模型和条件生成网络进行训练后，主动学习模型基于初始训练集筛选出50张待标注图像，对该50张待标注图像经过人力标注后得到50张原始图像，利用该50张原始图像首先对条件生成网络进行训练，再将这50张原始图像输入训练后的条件生成网络，从而生成n张目标图像，那么基于该50张原始图像和n张目标图像可以对主动学习模型进行训练，从而根据训练后的主动学习模型，可以从该50张原始图像和n张目标图像再次筛选出50张待标注图像，重复执行上述过程，直到主动学习模型或者条件生成网络的损失函数小于或等于第四目标阈值，从而可以得到准确度更高的主动学习模型和条件生成网络。
基于上述情况，在一些实施例中，当采用原始图像以及目标图像可以用于去训练DNN时，由于基于同一张原始图像所生成的多张目标图像通常是较为类似的，因此服务器还可以对这些目标图像进而二次筛选，筛选出最有价值的图像去训练DNN，此时可以执行下述实施例中的各个步骤，图10是本发明实施例提供的一种筛选目标图像的流程图，参见图10，该实施例包括：
1001、服务器基于测试集对初始分割网络进行训练，得到第一分割网络。
其中，该测试集可以包括多个样本图像，其中每个样本图像可以包括一组真实图像和该真实图像的分割区域，例如该样本图像可以生物医学图像。
其中，第一分割网络可以是一个全卷积网络，该第一分割网络用于进行图像分割处理，该第一分割网络的架构与上述步骤201中的全卷积网络的架构类似，上述步骤1001中的训练过程与上述步骤801类似，这里不做赘述。
1002、服务器基于测试集和至少一个原始图像对初始分割网络进行训练，得到第二分割网络。
其中，该第二分割网络可以是一个全卷积网络，该第二分割网络用于进行图像分割处理，该第二分割网络的架构与上述步骤201中的全卷积网络的架构类似，上述步骤1002中的训练过程与上述步骤1001类似，只是将训练数据改为了测试集以及至少一个原始图像，该至少一个原始图像可以是主动学习模型在一次或多次筛选过程中得到的图像，这里不做赘述。
1003、服务器对任一目标图像，将该目标图像输入第一分割网络，获取该目标图像的第一交并比。
其中，该目标图像是对应于一个原始图像和一个掩图，该目标图像是条件生成网络基于原始图像和掩图所生成的图像。
在上述步骤1003中，服务器可以将任一目标图像输入第一分割网络，得到第一分割图像，将该目标图像对应的掩图与该第一分割图像之间的交并比获取为该第一交并比。
上述获取第一分割图像的过程与上述步骤201类似，上述获取第一交并比的过程与上述步骤202类似，这里不做赘述。
1004、服务器将该目标图像输入第二分割网络，获取该目标图像的第二交并比。
在上述步骤1004中，服务器可以将该目标图像输入第二分割网络，得到第二分割图像，将该目标图像对应的掩图与该第二分割图像之间交并比获取为该第二交并比。
上述步骤1004与上述步骤1003类似，这里不做赘述。
1005、当第一交并比大于第五目标阈值且第二交并比小于第六目标阈值时，服务器将该目标图像确定为一个目标训练图像。
其中，该第五目标阈值为任一大于或等于0的阈值，该第六目标阈值为任一大于或等于0的阈值。
在上述过程中，服务器可以先获取第一交并比大于第五目标阈值的目标图像，从而保证了目标图像与原本测试集中图像的区别较大(交并比较大，不确定度就较大，从而区别较大)，进一步地在第一交并比大于第五目标阈值的目标图像中，获取第二交并比小于第六目标阈值的目标图像，从而还能够保证了目标图像的分割质量较好，并且目标图像能够代表原始图像的纹理(与原始图像之间的不确定度较小)，将这些目标图像确定为目标训练图像。
在一些实施例中，服务器可以重复执行上述步骤1003-1005中，从而能够确定至少一个目标图像中每一个目标图像是否为目标训练图像，也即是服务器通过第一分割网络和第二分割网络对该至少一个为目标图像进行筛选，得到了至少一个目标训练图像，使得服务器能够获得目标图像中最具有训练价值的目标训练图像，节约了DNN的训练时长，减少了DNN的训练计算量，降低了DNN的训练成本。
图11是本发明实施例提供的一种挑选目标训练图像的示意图，参见图11，基于测试集训练得到FCN1，基于测试集和原始图像训练得到FCN2，将任一目标图像分别输入FCN1和FCN2后，获取第一交并比iou1和第二交并比iou2，假设第五目标阈值为IOU1，第六目标阈值为IOU2，那么最终的目标训练图像需要满足iou1＞IOU1且iou2＜IOU2。
1006、服务器重复执行上述步骤1003-1005，得到至少一个目标训练图像。
上述步骤1006仅仅是循环执行上述步骤1003-1005，这里不做赘述。
1007、服务器将至少一个原始加入深度神经网络的训练集，将至少一个目标训练图像加入该深度神经网络的训练集。
其中，该DNN用于对包括目标类型的任一对象进行分类处理，例如该目标类型为乳腺时，DNN用于对任一超声乳腺图像进行分类，得到该超声乳腺图像的分类标签。
在上述过程中，服务器基于上述实施例中的主动学习模型挑选出了至少一个待标注图像，当技术人员进行人力标注后得到了至少一个原始图像，这些原始图像是原本真实的乳腺图像，并且已经经过了技术人员的标注，所有服务器将所有的原始图像加入到DNN的训练集中，以扩充训练集中的数据量。
而在上述步骤1003-1006中，服务器基于第一分割网络和第二分割网络，先对至少一个目标图像进行筛选，得到了最具有训练价值的至少一个目标训练图像，将该至少一个目标训练图像加入训练集中，进一步地扩充训练集中的数据量。
1008、服务器基于该训练集，对该深度神经网络进行训练。
上述步骤1008中对DNN训练时，也可以将该训练集中的样本图像依次输入DNN，得到该样本图像的分类标签，将该样本图像的分类标签与真实分类标签之间的均方误差作为损失函数值，当该损失函数值大于第七目标阈值时，基于反向传播算法，对DNN的参数进行调整，重复执行上述过程直到损失函数值小于或等于该第七目标阈值，得到训练后的DNN。其中，该第七目标阈值可以任一大于或等于0的数值。
在上述步骤1001-1008中，服务器根据至少一个原始图像和至少一个目标图像，对DNN进行训练，由于扩充了训练集中的数据量，从而提高了DNN对目标类型的对象进行分类的准确度。
在一些实施例中，以目标类型为乳腺为例进行说明，由于DNN的训练集中缺乏病变乳腺图像，因此服务器可以通过上述步骤201-207中的方法，由于病变乳腺图像所包含的信息量通常大于健康乳腺图像，那么根据不确定度从大到小的排序，可以从多个备选图像中筛选出至少一个待标注图像(这些待标注图像大概率是病变乳腺图像)，技术人员对该至少一个待标注图像进行人力标注后，服务器能够得到至少一个原始图像，进而基于该至少一个原始图像和至少一个掩图生成至少一个目标图像，每个目标图像是基于病变乳腺图像的风格和健康乳腺图像的掩图来合成的，从而使得这些目标图像带有与原本的病变乳腺图像相同的分类标签，也就得到了多个无需重新进行人力标注的病变乳腺图像，扩充了DNN的训练集中病变乳腺图像的数据量，平衡了DNN的训练集中病变乳腺图像与健康乳腺图像的比例。
当然，在上述步骤801-806中，服务器可以在筛选待标注图像以及生成目标图像的过程中，迭代训练主动学习模型和条件生成网络，从而能够在迭代过程中不断提高主动学习模型筛选病变乳腺图像的准确度，以及条件生成网络生成目标图像的准确度。
进一步地，在上述步骤1001-1008中，服务器能够将该至少一个原始图像直接添加到DNN的训练集，从该至少一个目标图像筛选出至少一个目标训练图像添加到DNN的训练集，基于添加了原始图像和目标训练图像后的训练集来训练DNN，由于DNN能够用于对包括目标类型的任一对象进行分类处理，使得训练得到的DNN能够辅助技术人员来对包括目标类型的任一对象进行分类处理，当该目标类型是乳腺的时候，对于超声检查拍摄得到的任一乳腺图像，将该乳腺图像输入DNN中，通过DNN内部的处理逻辑(通常是DNN内的多个隐藏层进行卷积处理)输出该乳腺图像的分类标签，由技术人员根据该分类标签进行二次确认和后续诊疗，例如当DNN输出某一乳腺图像的分类标签为良性病变型时，仍需要医生对DNN输出的分类标签进行确认，使得DNN能够辅助医生进行在超声乳腺检查中筛选出病变乳腺图像，缩短了医生的筛查时间。
图12是本发明实施例提供的一种图像生成装置的结构示意图，参见图12，该装置包括获取模块1201、输入模块1202和生成模块1203，下面进行详述：
获取模块1201，用于获取至少一个原始图像，该至少一个原始图像携带目标类型的第一对象的分类标签；
输入模块1202，用于将该至少一个原始图像输入条件生成网络；
生成模块1203，用于通过该条件生成网络提取该至少一个原始图像的风格信息，基于该至少一个原始图像的风格信息和包括该目标类型的第二对象的至少一个掩图，生成携带有该分类标签的至少一个目标图像；
其中，该至少一个原始图像的风格信息用于表示该第一对象的可视化特征。
本发明实施例提供的装置，通过获取至少一个原始图像，由于该至少一个原始图像携带目标类型的第一对象的分类标签，从而能够获取至少一个经过技术人员标注的图像，将该至少一个原始图像输入条件生成网络，从而通过该条件生成网络提取该至少一个原始图像的风格信息，由于该至少一个原始图像的风格信息能够表示第一对象的可视化特征，那么可以基于该至少一个原始图像的风格信息和包括该目标类型的第二对象的至少一个掩图，生成携带有该分类标签的至少一个目标图像，从而能够实现对该至少一个原始图像进行数据增强，得到了至少一个目标图像，通过控制原始图像的分类标签，从而控制了目标图像的分类标签，使得能够对训练中所缺乏的某一类图像进行定制化的增强，增加了DNN训练集中的数据量，提高了DNN的准确度。
在一种可能实施方式中，该生成模块1203用于：
该条件生成网络包括特征提取网络，将该至少一个原始图像输入该特征提取网络，通过该特征提取网络对该至少一个原始图像进行卷积处理，得到该至少一个原始图像的风格信息。
在一种可能实施方式中，该特征提取网络包括编码部分和解码部分，该编码部分用于对该至少一个原始图像进行降采样处理，该解码部分用于对该至少一个原始图像进行上采样处理。
在一种可能实施方式中，该生成模块1203用于：
根据该至少一个原始图像的风格信息，对该至少一个掩图进行填充，得到至少一个合成图像，每个掩图用于承载一个该目标类型的第二对象的结构信息，每个合成图像具有一个原始图像的风格信息和一个掩图的结构信息；
该条件生成网络包括生成网络，将该至少一个合成图像输入该生成网络，通过该生成网络对该至少一个合成图像进行卷积处理，得到该至少一个目标图像。
在一种可能实施方式中，该生成网络包括编码部分、残差部分和解码部分，该编码部分用于对该至少一个合成图像进行降采样处理，该残差部分用于对该至少一个合成图像进行基于残差连接的卷积处理，该解码部分用于对该至少一个合成图像进行上采样处理。
在一种可能实施方式中，基于图12的装置组成，该获取模块1201包括：
确定单元，用于将多个备选图像输入主动学习模型，根据该多个备选图像的不确定度，从该多个备选图像中确定至少一个待标注图像，该多个备选图像的不确定度用于表示该多个备选图像所承载的信息量；
获取单元，用于将人力标注后的该至少一个待标注图像获取为该至少一个原始图像。
在一种可能实施方式中，该确定单元用于：
对每个备选图像，将该备选图像输入该主动学习模型，得到多个分割图像，一个分割图像用于表示对一个备选图像进行图像分割处理的结果；
获取该多个分割图像中两两图像之间的至少一个交并比，对该至少一个交并比进行求和，得到该备选图像的不确定度；
按照该多个备选图像的不确定度从大到小的顺序，对该多个备选图像进行排序，将排序位置位于前目标数量个的备选图像确定为该至少一个待标注图像。
在一种可能实施方式中，基于图12的装置组成，该装置还包括：
根据该至少一个原始图像和该至少一个目标图像，对该主动学习模型进行训练。
在一种可能实施方式中，基于图12的装置组成，该装置还包括：
根据该至少一个原始图像，对该条件生成网络进行训练。
在一种可能实施方式中，基于图12的装置组成，该装置还包括：
训练模块，用于根据该至少一个原始图像和该至少一个目标图像，对深度神经网络进行训练，该深度神经网络用于对包括该目标类型的任一对象的图像进行分类处理。
在一种可能实施方式中，基于图12的装置组成，该训练模块包括：
加入单元，用于将该至少一个原始图像加入该深度神经网络的训练集；
筛选加入单元，用于通过第一分割网络和第二分割网络对该至少一个目标图像进行筛选，得到至少一个目标训练图像，将该至少一个目标训练图像加入该深度神经网络的训练集；
训练单元，用于基于该训练集，对该深度神经网络进行训练。
在一种可能实施方式中，该筛选加入单元用于：
对任一目标图像，将该目标图像输入第一分割网络，获取该目标图像的第一交并比；
将该目标图像输入第二分割网络，获取该目标图像的第二交并比；
当该第一交并比大于第五目标阈值且该第二交并比小于第六目标阈值时，将该目标图像确定为一个目标训练图像。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的图像生成装置在生成图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像生成装置与图像生成方法实施例属于同一构思，其具体实现过程详见图像生成方法实施例，这里不再赘述。
图13是本发明实施例提供的计算机设备的结构示意图，该计算机设备1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)1301和一个或一个以上的存储器1302，其中，该存储器1302中存储有至少一条指令，该至少一条指令由该处理器1301加载并执行以实现上述各个图像生成方法实施例提供的图像生成方法。当然，该计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条指令的存储器，上述至少一条指令可由终端中的处理器执行以完成上述实施例中图像生成方法。例如，该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种图像生成方法，其特征在于，所述方法包括：
对多个备选图像中的每个备选图像，将所述备选图像输入主动学习模型，得到多个分割图像，所述分割图像用于表示对所述备选图像进行图像分割处理的结果；
获取所述多个分割图像中两两图像之间的至少一个交并比，对所述至少一个交并比进行求和，得到所述备选图像的不确定度，所述不确定度用于表示所述备选图像所承载的信息量；
按照所述多个备选图像的不确定度从大到小的顺序，对所述多个备选图像进行排序，将排序位置位于前目标数量个的备选图像确定为至少一个待标注图像；
将携带有目标类型的第一对象的分类标签的所述至少一个待标注图像，获取为至少一个原始图像；
将所述至少一个原始图像输入条件生成网络；
通过所述条件生成网络提取所述至少一个原始图像的风格信息，基于所述至少一个原始图像的风格信息和包括所述目标类型的第二对象的至少一个掩图，生成携带有所述分类标签的至少一个目标图像；
其中，所述至少一个原始图像的风格信息用于表示所述第一对象的可视化特征。
2.根据权利要求1所述的方法，其特征在于，所述通过所述条件生成网络提取所述至少一个原始图像的风格信息包括：
所述条件生成网络包括特征提取网络，将所述至少一个原始图像输入所述特征提取网络，通过所述特征提取网络对所述至少一个原始图像进行卷积处理，得到所述至少一个原始图像的风格信息。
3.根据权利要求2所述的方法，其特征在于，所述特征提取网络包括编码部分和解码部分，所述编码部分用于对所述至少一个原始图像进行降采样处理，所述解码部分用于对所述至少一个原始图像进行上采样处理。
4.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个原始图像的风格信息和包括所述目标类型的第二对象的至少一个掩图，生成携带有所述分类标签的至少一个目标图像包括：
根据所述至少一个原始图像的风格信息，对所述至少一个掩图进行填充，得到至少一个合成图像，每个掩图用于承载一个所述目标类型的第二对象的结构信息，每个合成图像具有一个原始图像的风格信息和一个掩图的结构信息；
所述条件生成网络包括生成网络，将所述至少一个合成图像输入所述生成网络，通过所述生成网络对所述至少一个合成图像进行卷积处理，得到所述至少一个目标图像。
5.根据权利要求4所述的方法，其特征在于，所述生成网络包括编码部分、残差部分和解码部分，所述编码部分用于对所述至少一个合成图像进行降采样处理，所述残差部分用于对所述至少一个合成图像进行基于残差连接的卷积处理，所述解码部分用于对所述至少一个合成图像进行上采样处理。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述至少一个原始图像和所述至少一个目标图像，对所述主动学习模型进行训练。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述至少一个原始图像，对所述条件生成网络进行训练。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述至少一个原始图像和所述至少一个目标图像，对深度神经网络进行训练，所述深度神经网络用于对包括所述目标类型的任一对象的图像进行分类处理。
9.根据权利要求8所述的方法，其特征在于，所述根据所述至少一个原始图像和所述至少一个目标图像，对深度神经网络进行训练包括：
将所述至少一个原始图像加入所述深度神经网络的训练集；
通过第一分割网络和第二分割网络对所述至少一个目标图像进行筛选，得到至少一个目标训练图像，将所述至少一个目标训练图像加入所述深度神经网络的训练集；
基于所述训练集，对所述深度神经网络进行训练。
10.根据权利要求9所述的方法，其特征在于，所述通过第一分割网络和第二分割网络对所述至少一个目标图像进行筛选，得到至少一个目标训练图像包括：
对任一目标图像，将所述目标图像输入第一分割网络，获取所述目标图像的第一交并比；
将所述目标图像输入第二分割网络，获取所述目标图像的第二交并比；
当所述第一交并比大于第五目标阈值且所述第二交并比小于第六目标阈值时，将所述目标图像确定为一个目标训练图像。
11.一种图像生成装置，其特征在于，所述装置包括：
获取模块，包括确定单元和获取单元；
所述确定单元，用于对多个备选图像中的每个备选图像，将所述备选图像输入主动学习模型，得到多个分割图像，所述分割图像用于表示对所述备选图像进行图像分割处理的结果；获取所述多个分割图像中两两图像之间的至少一个交并比，对所述至少一个交并比进行求和，得到所述备选图像的不确定度，所述不确定度用于表示所述备选图像所承载的信息量；按照所述多个备选图像的不确定度从大到小的顺序，对所述多个备选图像进行排序，将排序位置位于前目标数量个的备选图像确定为至少一个待标注图像；
所述获取单元，用于将携带有目标类型的第一对象的分类标签的所述至少一个待标注图像，获取为至少一个原始图像；
输入模块，用于将所述至少一个原始图像输入条件生成网络；
生成模块，用于通过所述条件生成网络提取所述至少一个原始图像的风格信息，基于所述至少一个原始图像的风格信息和包括所述目标类型的第二对象的至少一个掩图，生成携带有所述分类标签的至少一个目标图像；
其中，所述至少一个原始图像的风格信息用于表示所述第一对象的可视化特征。
12.根据权利要求11所述的装置，其特征在于，所述生成模块用于：
所述条件生成网络包括特征提取网络，将所述至少一个原始图像输入所述特征提取网络，通过所述特征提取网络对所述至少一个原始图像进行卷积处理，得到所述至少一个原始图像的风格信息。
13.根据权利要求12所述的装置，其特征在于，所述特征提取网络包括编码部分和解码部分，所述编码部分用于对所述至少一个原始图像进行降采样处理，所述解码部分用于对所述至少一个原始图像进行上采样处理。
14.根据权利要求11所述的装置，其特征在于，所述生成模块用于：
根据所述至少一个原始图像的风格信息，对所述至少一个掩图进行填充，得到至少一个合成图像，每个掩图用于承载一个所述目标类型的第二对象的结构信息，每个合成图像具有一个原始图像的风格信息和一个掩图的结构信息；
所述条件生成网络包括生成网络，将所述至少一个合成图像输入所述生成网络，通过所述生成网络对所述至少一个合成图像进行卷积处理，得到所述至少一个目标图像。
15.根据权利要求14所述的装置，其特征在于，所述生成网络包括编码部分、残差部分和解码部分，所述编码部分用于对所述至少一个合成图像进行降采样处理，所述残差部分用于对所述至少一个合成图像进行基于残差连接的卷积处理，所述解码部分用于对所述至少一个合成图像进行上采样处理。
16.根据权利要求11所述的装置，其特征在于，所述装置还包括：
根据所述至少一个原始图像和所述至少一个目标图像，对所述主动学习模型进行训练。
17.根据权利要求11所述的装置，其特征在于，所述装置还包括：
根据所述至少一个原始图像，对所述条件生成网络进行训练。
18.根据权利要求11所述的装置，其特征在于，所述装置还包括：
训练模块，用于根据所述至少一个原始图像和所述至少一个目标图像，对深度神经网络进行训练，所述深度神经网络用于对包括所述目标类型的任一对象的图像进行分类处理。
19.根据权利要求18所述的装置，其特征在于，所述训练模块包括：
加入单元，用于将所述至少一个原始图像加入所述深度神经网络的训练集；
筛选加入单元，用于通过第一分割网络和第二分割网络对所述至少一个目标图像进行筛选，得到至少一个目标训练图像，将所述至少一个目标训练图像加入所述深度神经网络的训练集；
训练单元，用于基于所述训练集，对所述深度神经网络进行训练。
20.根据权利要求19所述的装置，其特征在于，所述筛选加入单元用于：
对任一目标图像，将所述目标图像输入第一分割网络，获取所述目标图像的第一交并比；
将所述目标图像输入第二分割网络，获取所述目标图像的第二交并比；
当所述第一交并比大于第五目标阈值且所述第二交并比小于第六目标阈值时，将所述目标图像确定为一个目标训练图像。
21.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求10任一项所述的图像生成方法。
22.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求10任一项所述的图像生成方法。
CN201910350444.0A 2019-04-28 2019-04-28 图像生成方法、装置、计算机设备及存储介质 Active CN110070540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910350444.0A CN110070540B (zh) 2019-04-28 2019-04-28 图像生成方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910350444.0A CN110070540B (zh) 2019-04-28 2019-04-28 图像生成方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110070540A CN110070540A (zh) 2019-07-30
CN110070540B true CN110070540B (zh) 2023-01-10

Family

ID=67369456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910350444.0A Active CN110070540B (zh) 2019-04-28 2019-04-28 图像生成方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110070540B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517759B (zh) * 2019-08-29 2022-03-25 腾讯医疗健康(深圳)有限公司 一种待标注图像确定的方法、模型训练的方法及装置
CN110598781A (zh) * 2019-09-05 2019-12-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110694149B (zh) * 2019-10-16 2021-06-22 山东大学齐鲁医院 一种超声辅助肌肉识别方法、系统及辅助注射装置
CN111435437A (zh) * 2019-12-26 2020-07-21 珠海大横琴科技发展有限公司 一种pcb行人重识别模型训练方法及pcb行人重识别方法
WO2021184576A1 (zh) * 2020-03-17 2021-09-23 平安科技（深圳）有限公司 医学图像的生成方法、装置、电子设备及介质
CN111242948B (zh) * 2020-04-29 2020-09-01 腾讯科技（深圳）有限公司 图像处理、模型训练方法、装置、设备和存储介质
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN114120102A (zh) * 2021-11-03 2022-03-01 中国华能集团清洁能源技术研究院有限公司 边界优化的遥感图像语义分割方法、装置、设备及介质
CN115394381B (zh) * 2022-08-24 2023-08-22 哈尔滨理工大学 一种基于机器学习和两步法数据扩充的高熵合金硬度预测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230339A (zh) * 2018-01-31 2018-06-29 浙江大学 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
TWI628625B (zh) * 2017-05-17 2018-07-01 國立臺灣大學 產生針對腦部疾病之影像生物標記之方法
CN109493308A (zh) * 2018-11-14 2019-03-19 吉林大学 基于条件多判别生成对抗网络的医疗图像合成与分类方法
US10242449B2 (en) * 2017-01-04 2019-03-26 Cisco Technology, Inc. Automated generation of pre-labeled training data
CN109583509A (zh) * 2018-12-12 2019-04-05 南京旷云科技有限公司 数据生成方法、装置及电子设备
CN109614983A (zh) * 2018-10-26 2019-04-12 阿里巴巴集团控股有限公司 训练数据的生成方法、装置及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7941000B2 (en) * 2007-05-11 2011-05-10 Koninklijke Philips Electronics N.V. Method for producing an image and system for producing an image
JP5791082B2 (ja) * 2012-07-30 2015-10-07 国立大学法人横浜国立大学 画像合成装置、画像合成システム、画像合成方法およびプログラム
US10311573B2 (en) * 2017-05-02 2019-06-04 Techcyte, Inc. Training and machine learning classification of mold in digital microscopy images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242449B2 (en) * 2017-01-04 2019-03-26 Cisco Technology, Inc. Automated generation of pre-labeled training data
TWI628625B (zh) * 2017-05-17 2018-07-01 國立臺灣大學 產生針對腦部疾病之影像生物標記之方法
CN108230339A (zh) * 2018-01-31 2018-06-29 浙江大学 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
CN109614983A (zh) * 2018-10-26 2019-04-12 阿里巴巴集团控股有限公司 训练数据的生成方法、装置及系统
CN109493308A (zh) * 2018-11-14 2019-03-19 吉林大学 基于条件多判别生成对抗网络的医疗图像合成与分类方法
CN109583509A (zh) * 2018-12-12 2019-04-05 南京旷云科技有限公司 数据生成方法、装置及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Decompose to manipulate: Manipulable Object Synthesis in 3D Medical Images with Structured Image Decomposition;Siqi Liu 等;《arXiv》;20190207;第1-8页 *
Multiple Sclerosis Lesion Synthesis in MRI Using an Encoder-Decoder U-NET;MOSTAFA SALEM 等;《IEEE Access》;20190220;第25171-25184页 *
Synthesizing Chest X-Ray Pathology for Training Deep Convolutional Neural Networks;Hojjat Salehinejad 等;《IEEE Transactions on Medical Imaging》;20181114;第38卷(第5期);第1-10页 *
基于 AI+MRI 的影像诊断的样本增广与批量标注方法;汪红志 等;《波谱学杂志》;20181212;第35卷(第4期);第447-456页 *

Also Published As

Publication number Publication date
CN110070540A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110070540B (zh) 图像生成方法、装置、计算机设备及存储介质
CN109035255B (zh) 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN108615237B (zh) 一种肺部图像处理方法及图像处理设备
Huang et al. Coronary artery segmentation by deep learning neural networks on computed tomographic coronary angiographic images
WO2018120644A1 (zh) 血管提取方法及系统
Sugimori Classification of computed tomography images in different slice positions using deep learning
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
CN107545584A (zh) 医学图像中定位感兴趣区域的方法、装置及其系统
CN109872325B (zh) 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法
CN110008992B (zh) 一种用于前列腺癌辅助诊断的深度学习方法
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN110288611A (zh) 基于注意力机制和全卷积神经网络的冠状血管分割方法
CN112541893B (zh) 一种三维断层扫描图像中树状结构分叉关键点的检测方法
CN112036506A (zh) 图像识别方法及相关装置、设备
JP2022077991A (ja) 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、モデルトレーニング装置、およびトレーニング方法
US11494908B2 (en) Medical image analysis using navigation processing
CN116452618A (zh) 一种三输入脊柱ct图像分割方法
US11935234B2 (en) Method for detecting abnormality, non-transitory computer-readable recording medium storing program for detecting abnormality, abnormality detection apparatus, server apparatus, and method for processing information
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN114066883A (zh) 一种基于特征选择与残差融合的肝肿瘤分割方法
JP2004097535A (ja) 医用３次元画像データの領域分割方法
AU2020223750B2 (en) Method and System for Image Annotation
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
Yang et al. Dual-path network for liver and tumor segmentation in CT images using Swin Transformer encoding approach
CN114340496A (zh) 基于vrds ai医学影像的心脏冠脉的分析方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant