CN110599492A - 图像分割模型的训练方法、装置、电子设备及存储介质 - Google Patents

图像分割模型的训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110599492A
CN110599492A CN201910888527.5A CN201910888527A CN110599492A CN 110599492 A CN110599492 A CN 110599492A CN 201910888527 A CN201910888527 A CN 201910888527A CN 110599492 A CN110599492 A CN 110599492A
Authority
CN
China
Prior art keywords
image
segmentation model
image segmentation
features
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910888527.5A
Other languages
English (en)
Other versions
CN110599492B (zh
Inventor
张剑
史颖欢
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Tencent Technology Shenzhen Co Ltd
Original Assignee
Nanjing University
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University, Tencent Technology Shenzhen Co Ltd filed Critical Nanjing University
Priority to CN201910888527.5A priority Critical patent/CN110599492B/zh
Publication of CN110599492A publication Critical patent/CN110599492A/zh
Application granted granted Critical
Publication of CN110599492B publication Critical patent/CN110599492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像分割模型的训练方法、装置、电子设备及存储介质；其中，方法包括：基于第一代价比例的损失函数训练第一图像分割模型；通过所述第一图像分割模型从图像样本中提取图像特征；通过待训练的第二图像分割模型从所述图像样本中提取图像特征；将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征；基于第二代价比例的损失函数、以及所述融合图像特征，训练所述第二图像分割模型。通过本发明，能够提升图像分割的精度。

Description

图像分割模型的训练方法、装置、电子设备及存储介质
技术领域
本发明涉及人工智能(AI，Artificial Intelligence)中的图像处理技术，尤其涉及一种图像分割模型的训练方法、装置、电子设备及存储介质。
背景技术
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。
图像分割是人工智能在图形图像处理技术领域的重要应用，通过人工智能的机器学习模型，从图像中将目标的包围框识别出来并进行分类，例如，对医学图像的肿瘤或器官区域分割出来，参见图1，图1是本发明实施例提供的基于图像分割模型分割医学图像的示意图，区域11为需要从医学图像中分割出的病灶区域。
相关技术对医学图像分割，主要基于Olaf等人提出的深度卷积神经网络：U-net，参见图2，图2是相关技术提供的U-net的结构示意图，在该医学图像分割模型上有各种改进以提升模型性能。如Tan C等人，参见图3，图3是相关技术提供的同时使用一个分割模型(分类)和一个边界等高图预测网络(回归)的图像分割模型的示意图，通过将这两者的输出相结合来解决分割前景和背景过于相似的问题。参见图4，图4是相关技术提供的CE-Net的结构示意图，由Gu Z等人提出，通过使用类似Inception的结构，来增大网络对不同范围的感受野，并使用Spatial pyramid pooling结构来获取多尺度的信息，将这两者相结合来保证网络能够较好处理形状变化过大的目标。
然而，相关技术提供的图像分割网络仍存在分割目标形状变化大和分割前景背景相似的问题，影响分割精度。
发明内容
本发明实施例提供一种图像分割模型的训练方法、装置、电子设备及存储介质，能够提升图像分割的精度。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种图像分割模型的训练方法，所述方法包括：
基于第一代价比例的损失函数训练第一图像分割模型；
通过所述第一图像分割模型从图像样本中提取图像特征；
通过待训练的第二图像分割模型从所述图像样本中提取图像特征；
将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征；
基于第二代价比例的损失函数、以及所述融合图像特征，训练所述第二图像分割模型。
本发明实施例提供一种图像分割方法，所述方法包括：
通过训练得到的第二图像分割模型，对医学图像进行编码处理，得到医学图像特征；
通过所述第二图像分割模型，对所述医学图像特征进行分类处理和回归处理，确定所述医学图像中病灶所对应的区域；
基于确定的所述区域，对所述医学图像进行病灶区域分割；
其中，所述第二图像分割模型采用本发明实施例提供的图像分割模型的训练方法训练得到，训练第二图像分割模型所采用的图像样本为医学图像样本。
本发明实施例还提供了一种图像分割模型的训练装置，包括：
第一训练模块，用于基于第一代价比例的损失函数训练第一图像分割模型；
第一提取模块，用于通过所述第一图像分割模型从图像样本中提取图像特征；
第二提取模块，用于通过待训练的第二图像分割模型从所述图像样本中提取图像特征；
融合模块，用于将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征；
第二训练模块，用于基于第二代价比例的损失函数、以及所述融合图像特征，训练所述第二图像分割模型。
上述方案中，所述装置还包括：
损失确定模块，用于基于所述图像样本中各个像素点的分类预测代价与对应的代价权重的乘积，分别确定所述第一代价比例的损失函数和所述第二代价比例的损失函数；
其中，所述分类预测代价表示所述像素点的预测分类结果与实际分类结果之间的差异，所述代价权重根据所述差异的程度具有不同的取值，所述第一代价比例和所述第二代价比例均表示不同程度的差异对应代价权重之间的比例。
上述方案中，所述第一提取模块，还用于通过所述第一图像分割模型中编码网络对所述图像样本进行编码处理，并通过所述第一图像分割模型中解码网络对编码结果进行解码处理；
将所述第一图像分割模型中编码网络中多个编码器依次编码得到的图像特征，一一对应输出到所述第二图像分割模型编码网络中的多个编码器所连接的融合模块，以及
将所述连接的多个解码器依次解码得到的图像特征一一对应输出到所述第二图像分割模型中解码网络的多个解码器所连接的融合模块。
上述方案中，所述装置还包括：
特征输出模块，用于通过所述第一图像分割模型中的编码网络与解码网络之间的跳跃连接，将所述第一图像分割模型中编码网络的多个连接的编码器编码得到的图像特征，一一对应输出到所述第一图像分割模型中解码网络的多个连接的解码器，以使
每个所述解码器基于前向连接的解码器输出的图像特征、以及通过所述跳跃连接接收的图像特征进行解码处理。
上述方案中，所述融合模块，还用于通过与第二图像分割模型中多个连接的编码器一一对应连接的多个融合模块，对以下特征进行融合处理：
所述第一图像分割模型中多个连接的编码器一一对应输出到所述多个融合模块的图像特征，以及所述多个融合模块从前向连接的编码器接收的图像特征。
上述方案中，所述融合模块，还用于通过与第二图像分割模型中多个连接的解码器一一对应连接的多个融合模块，对以下特征进行融合处理：
所述第一图像分割模型中多个连接的解码器一一对应输出到所述多个融合模块的图像特征，所述多个融合模块从所述第二图像分割模型中前向连接的解码器接收的图像特征。
上述方案中，所述融合模块，还用于将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征，通过进行卷积操作和最大似然操作，得到概率分布；
将所述第一图像分割模型提取的图像特征、以及所述第二图像分割模型提取的图像特征基于通道叠加形成输入特征，并将所述输入特征与所述概率分布进行矩阵乘操作，得到上下文特征；
将所述上下文特征与所述输入特征进行卷积操作，得到融合图像特征。
上述方案中，所述第二训练模块，还用于将所述融合图像特征在所述第二图像分割模型进行正向传播，得到所述第二图像分割模型针对所述图像样本的预测分类结果；
当所述预测分类结果与实际分类结果的差异大于差异阈值时，通过所述第二代价比例的损失函数在所述第二图像分割模型中进行反向的梯度传播，以更新所述第二图像分割模型的参数。
上述方案中，所述第一训练模块，还用于基于多个不同的第一代价比例的损失函数，对应训练多个第一图像分割模型；
其中，所述多个不同的第一代价比例均与所述第二代价比例不同。
上述方案中，所述融合模块，还用于对于每个所述多个第一图像模型，通过与第二图像分割模型中多个连接的编码器一一对应连接的多个融合模块，进行以下特征的融合处理：
每个所述第一图像分割模型中多个连接的编码器一一对应输出到所述多个融合模块的图像特征，以及所述多个融合模块从前向连接的编码器接收的图像特征。
上述方案中，所述融合模块，还用于对于每个所述第一图像分割模型，通过与第二图像分割模型中多个连接的解码器一一对应连接的多个融合模块，对以下特征进行融合处理：
所述第一图像分割模型中多个连接的解码器一一对应输出到所述多个融合模块的图像特征，所述多个融合模块从所述第二图像分割模型中前向连接的解码器接收的图像特征。
上述方案中，所述装置还包括：
目标识别模块，用于通过所述第二图像分割模型的编码网络对待处理图像进行编码处理，得到图像特征；
通过所述第二图像分割模型的解码网络对所述图像特征进行分类处理和回归处理，得到所述待处理图像中目标的包围框、以及所述目标的类别。
本发明实施例还提供了一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的图像分割模型的训练方法。
本发明实施例还提供了一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的图像分割模型的训练方法。
本发明实施例具有以下有益效果：
应用本发明实施例，第二图像分割模型的训练基于的是第二代价比例的损失函数及融合图像特征；其中，第二代价比例与第一图像分割模型的损失函数的第一代价比例不同，融合图像特征基于第一图像分割模型提取的图像特征及第二图像分割模型提取的图像特征融合得到；如此，使得结合不同的代价比例训练得到的第二图像分割模型的图像分割精度更高，适用于分割目标(即前景)和背景过于相似以及目标大小变化过大等场景，具有理想的分割精度。
附图说明
图1为本发明实施例提供的基于图像分割模型分割医学图像的示意图；
图2为相关技术提供的U-net的结构示意图；
图3为相关技术提供的同时使用一个分割模型和一个边界等高图预测网络的图像分割模型的示意图；
图4为相关技术提供的CE-Net的结构示意图；
图5为本发明实施例提供的图像分割模型的训练系统100的一个可选的架构示意图；
图6为本发明实施例提供的电子设备600的结构示意图；
图7为本发明实施例提供的图像分割模型的训练方法流程示意图；
图8为本发明实施例提供的第一图像分割模型的模型框架示意图；
图9为本发明实施例提供的图像分割模型的训练框架示意图；
图10为本发明实施例提供的图像分割模型的训练框架示意图；
图11为本发明实施例提供的融合模块的结构示意图；
图12为本发明实施例提供的图像分割模型的训练方法流程示意图；
图13为本发明实施例提供的图像分割模型的训练方法流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)图像分割，基于人工智能的图像分割模型(下文中也简称为分割模型)从图像中识别出围绕目标的包围框。
例如，从医学图像中识别出病灶(例如肿瘤或器官)的包围框，从卫星成像中识别出地面的景物的包围框。
2)代价权重，在图像分割模型的损失函数中，表示针对图像的像素点的分类预测结果(例如前景或背景)与实际分类结果的差异对应的权重。
3)代价比例，在图像分割模型的损失函数中，表示针对图像的像素点的分类预测结果(例如前景或背景)与实际分类结果的差异对应的权重之间的比例。例如，将像素点预测成为前景时对应的代价权重与将像素点预测为背景的代价权重之间的比例。
发明人在研究过程中发现，相关技术中，图像分割技术(如医学图像分割技术)大多数都是采用基于U型网络(U-Net)的分割模型，并在该分割模型的基础上进行改进，但是这些分割模型在损失函数的设置上都默认损失函数中的不同错误预测的代价权重是一样的，即同一个损失函数对不同的错误预测的代价权重相同，然而在实际实施时，不同的代价权重可以对应同一个分割模型设定不同的分割目标，不同的分割目标导致不同的分割结果，例如，将前景错误预测成背景的权重变小，则分割结果预测的前景面积就会变大，反之亦然，通过对不同分割模型的结合，可以得到一个更好的分割结果。
在实际实施时，分割模型的目标函数可以为min(∑wiP(i|x))，其中，wi为类别i的权重，P(i|x)为将给定像素x错分为前景的概率，当wi变大时，为了让目标函数变小，P(i|x)就会随之减小，从而在像素x预测错误类别的概率降低，利用降低了预测错误概率的损失函数训练分割模型，分割模型就会更少地进行预测，从而导致分割面积变小，同理，小的权重会导致分割面积变大，而需要分割的区域往往就处于这样一个从小到大的面积变化趋势中，因此可以通过结合这些分割面积大小变化的分割模型来达到一个更好的分割结果。
基于此，提出本发明实施例的图像分割模型的训练方法、装置、电子设备及存储介质，以提高图像分割的精度。图5是本发明实施例提供的图像分割模型的训练系统100的一个可选的架构示意图，参见图5，为实现支撑一个示例性应用，终端(包括终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线或有线链路实现数据传输。
终端(如终端400-1)，用于发送图像分割模型的训练请求给服务器200；
服务器200，用于解析所述训练请求，基于第一代价比例的损失函数训练第一图像分割模型；
通过所述第一图像分割模型从图像样本中提取图像特征；
通过待训练的第二图像分割模型从所述图像样本中提取图像特征；
将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征；
基于第二代价比例的损失函数、以及所述融合图像特征，训练所述第二图像分割模型。
这里，在实际应用中，服务器200既可以为单独配置的支持各种业务的一个服务器，亦可以配置为一个服务器集群；终端可以为智能手机、平板电脑、笔记本电脑等各种类型的用户终端，还可以为可穿戴计算设备、个人数字助理(PDA)、台式计算机、蜂窝电话、媒体播放器、导航设备、游戏机、电视机、或者这些数据处理设备或其他数据处理设备中任意两个或多个的组合。
接下来下面对实施本发明实施例的图像分割模型的训练方法的电子设备进行说明。在一些实施例中，电子设备可以为终端，还可以为服务器。参见图6，图6是本发明实施例提供的电子设备600的结构示意图，图6所示的电子设备600包括：处理器610、存储器650、网络接口620和用户接口630。电子设备600中的各个组件通过总线系统640耦合在一起。可理解，总线系统640用于实现这些组件之间的连接通信。总线系统640除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统640。
处理器610可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口630包括使得能够呈现媒体内容的一个或多个输出装置631，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口630还包括一个或多个输入装置632，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器650可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器650可选地包括在物理位置上远离处理器610的一个或多个存储设备。
存储器650包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Me mory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memor y)。本发明实施例描述的存储器650旨在包括任意适合类型的存储器。
在一些实施例中，存储器650能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统651，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块652，用于经由一个或多个(有线或无线)网络接口620到达其他计算设备，示例性的网络接口620包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块653，用于经由一个或多个与用户接口630相关联的输出装置631(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块654，用于对一个或多个来自一个或多个输入装置632之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的图像分割模型的训练装置可以采用软件方式实现，图6示出了存储在存储器650中的图像分割模型的训练装置655，其可以是程序和插件等形式的软件，包括以下软件模块：第一训练模块6551、第一提取模块6552、第二提取模块6553、融合模块6554及第二训练模块6555，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分，将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的图像分割模型的训练装置可以采用硬件方式实现，作为示例，本发明实施例提供的图像分割模型的训练装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像分割模型的训练方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DS P、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPG A，Field-Programmable Gate Array)或其他电子元件。
基于上述对本发明实施例的图像分割模型的训练系统及电子设备的说明，接下来对本发明实施例提供的图像分割模型的训练方法进行说明，图7为本发明实施例提供的图像分割模型的训练方法的流程示意图，在一些实施例中，该图像分割模型的训练法可由服务器或终端实施，或由服务器及终端协同实施，以服务器实施为例，如通过图5中的服务器200实施，结合图5及图7，本发明实施例提供的图像分割模型的训练方法包括：
步骤701：服务器基于第一代价比例的损失函数训练第一图像分割模型。
在实际实施时，服务器在训练第一图像分割模型之前确定第一代价比例的损失函数，具体地，服务器基于图像样本中各个像素点的分类预测代价与对应的代价权重的乘积，确定第一代价比例的损失函数；
其中，分类预测代价表示像素点的预测分类结果(前景或背景)与实际分类结果之间的差异，代价权重根据差异的程度具有不同的取值，第一代价比例表示不同程度的差异对应代价权重之间的比例。
在一些实施例中，第一图像分割模型的损失函数如(1)式：
在(1)式中，L(pi,yi)为分类预测代价，对于不同的分类结果，分类预测代价如(2)式：
这里，L(pi,yi)表示像素i对应的分类结果(前景/背景)与实际分类结果之间的差异，yi表示像素i对应的分类结果，1表示分类结果为前景，0表示分类结果为背景；pi表示图像分割模型预测图像的像素i的类别为前景的概率。
在(1)式中，ci表示像素i对应的代价权重，具体的如(3)式：
这里，round(pi)为针对标量pi的四舍五入操作；wi和wj为用户定义的在不同差异(预测分类结果与实际分类结果的差异)的情况下的代价权重，wi和wj的比值，即wi:wj即代价比例；通过指定不同的代价比例(如1:5，5:1等)，可以得到多个不同的损失函数。
服务器在确定第一代价比例的损失函数之后，可通过如下方式基于第一代价比例的损失函数训练第一图像分割模型：基于多个不同的第一代价比例的损失函数，对应训练多个第一图像分割模型；其中，多个不同的第一代价比例均与第二代价比例不同。
在实际实施时，可预先设定多个第一代价比例，如1:5，3:5，5:1，基于设定的不同的第一代价比例的损失函数对第一图像分割模型进行训练，具体地，对于每个损失函数，将样本图像输入第一图像分割模型后预测分类结果，基于预测分类结果与实际分类结果之间的差异确定损失函数的值，当该损失函数的值大于预设阈值时，将该损失函数的值在第一图像分割模型中进行反向传播，在传播的过程中更新第一图像分割模型的模型参数；如此，通过多个不同第一代价比例的损失函数实现对多个第一图像分割模型的训练。
这里对第一图像分割模型的模型框架进行说明，图8为本发明实施例提供的第一图像分割模型的模型框架示意图，参见图8，本发明实施例提供的第一图像分割模型包括：编码网络、与编码网络连接的解码网络及分类器；在一些实施例中，编码网络包括多个连接的编码器，第一个编码器对图像进行编码处理后得到的编码结果输出到下一个连接的编码器进行编码处理，以此类推，直至最后一个编码器完成编码处理；解码网络包括与编码网络中编码器一一对应的多个连接的解码器，第一个解码器用于对编码网络的编码结果进行解码处理，并输出到后向连接的解码器进行解码处理；以此类推，直至最后一个解码器完成解码处理。在实际应用中，第一图像分割模型可以为全卷积网络(FCN，Ful ly ConvolutionalNetworks)/U型网络(U-Net)。
参见图8，第一图像分割模型中的编码器及解码器存在一一对应的关系，如图8中编码器1与解码器6对应，编码器2与解码器5对应，编码器3与解码器4对应，编码网络与解码网络之间相应的编码器与解码器之间存在跳跃连接，以实现浅层特征图与深层特征图的连接；接下来以图8为例，对第一图像分割模型的正向传播过程进行说明。
参见图8，图像输入至第一图像分割模型，首先第一图像分割模型的编码网络中的编码器对图像进行特征提取，得到的图像特征一方面输入至下一个编码器，另一方面经跳跃连接输入至与相应的解码器，编码网络提取后的图像特征经中间层卷积处理后输入至解码网络，解码器基于跳跃连接输入的图像特征及中间层输入的图像特征进行解码，经各个解码器解码后得到的图像特征最终输入至分类器输出分类结果；例如，编码器1对输入的图像进行特征提取，得到的图像特征一方面输入至编码器2，另一方面经跳跃连接输入至与相应的解码器6，经各个编码器提取后的图像特征经中间层卷积处理后输入至解码网络，解码器4基于跳跃连接输入的图像特征与中间层输入的图像特征进行解码，经各个解码器解码后的图像特征输入至分类器输出分类结果。
这里，分别对编码网络中的编码器、中间层、解码网络中的解码器、分类器进行说明。
对于编码器，在实际实施时，每个编码器可以包含1个卷积核大小为3x3且步长为1的卷积层(当然也可以包括更多的卷积层，如包括2个卷积层)、ReLU激活层和一个窗口大小为2x2，步长为1x1的池化层；在图8所示的编码网络中，每个编码器的卷积层的卷积核数量分别为64、128、256，在一些实施例中，当编码器的数量为4的时候，每个编码器的卷积层的卷积核数量分别为64、128、256、512。
对于中间层，在实际实施时，中间层可由核大小为3x3、步长为1x1，核数量为1024的卷积层构成。
对于解码器，在实际实施时，每个解码器由一个反卷积层(即上采样层)和1个核空间大小3x3且步长为1x1的卷积层(当然，卷积层的数量也可以更多，如采用2个卷积层)构成，其中反卷积层由双向线性插值操作实现；在图7所示的编码网络中，各个解码器的核数量分别为512、256、128，在一些实施例中，当解码器的数量为4的时候，各个解码器的核数量分别为512、256、128、64。
对于分类器，在实际实施时，分类器可由一个卷积核大小为1x1、步长同样为1x1的卷积层实现。
步骤702：通过第一图像分割模型从图像样本中提取图像特征。
基于上述对第一图像分割模型的说明，这里对本发明实施例提供的图像分割模型的训练框架进行说明。图9为本发明实施例提供的图像分割模型的训练框架示意图，参见图9，训练框架中包括一个第一图像分割模型91及第二图像分割模型92，在一些实施例中，训练框架中可包括多个第一图像分割模型，图9中仅示出了一个第一图像分割模型，第一图像分割模型中的编码器通过跳跃连接与第二图像分割模型中相应的编码器相连，第一图像分割模型中的解码器通过跳跃连接与第二图像分割模型中相应的解码器相连，第二图像分割模型中的编码器(如931、932)连接一个融合模块(如921、922)，解码器(如934、935及936)连接一个融合模块(如924、925及926)，对于编码器931连接的融合模块921来说，融合模块921用于将经跳跃连接输入的第一图像分割模型提取的图像特征、与经第二图像分割模型中的编码器931输出的图像特征进行融合，得到融合图像特征，所得到的融合图像特征一方面输入至下一个编码器932，另一方面输入至与编码器931对应的解码器935，解码器935基于跳跃连接输入的图像特征与融合模块924输出的融合图像特征进行解码。
图10为本发明实施例提供的图像分割模型的训练框架示意图，参见图10，与编码器1相连的融合模块1将编码器1输出的编码结果与第一图像分割模型提取的图像特征进行融合，得到融合图像特征1，融合图像特征1一方面输入至编码器2进行编码，另一方面融合图像特征1输入至解码器2，解码器2基于输入的融合图像特征1，以及融合模块2融合解码器1输出的解码结果1及第一图像分割模型提取的图像特征所得到的融合图像特征2进行解码，得到解码结果2，解码结果2输入至融合模块3。
基于上述对图像分割模型的训练框架的说明，接下来对训练框架中第一图像分割模型所执行的图像特征提取进行说明。在一些实施例中，服务器通过第一图像分割模型从图像样本中提取图像特征可以包括如下操作：
通过第一图像分割模型中编码网络对图像样本进行编码处理，得到编码结果，通过第一图像分割模型中解码网络对编码结果进行解码处理；将第一图像分割模型中编码网络的多个编码器依次编码得到的图像特征，一一对应输出到第二图像分割模型编码网络中的多个编码器所连接的融合模块，以及，将连接的多个解码器依次解码得到的图像特征，一一对应输出到第二图像分割模型中解码网络的多个解码器所连接的融合模块。
在实际实施时，服务器通过第一图像分割模型中编码网络与解码网络之间的跳跃连接，将多个连接的编码器编码得到的图像特征，一一对应输出到多个连接的解码器，以使每个解码器基于前向连接的解码器输出的图像特征、以及通过跳跃连接接收的图像特征进行解码处理。
需要说明的是，对于解码网络中的第一个解码器而言，不存在前向连接的解码器。
步骤703：通过待训练的第二图像分割模型从图像样本中提取图像特征。
在一些实施例中，第二图像分割模型的模型框架和第一图像分割模型的模型框架相同，如图9所示，服务器通过第二图像分割模型中编码网络对图像样本进行编码处理，得到编码结果，通过第二图像分割模型中解码网络对编码结果进行解码处理；第二图像分割模型中与编码网络的编码器(如932)相连的融合模块(如921)，将经跳跃连接传输的图像特征与该编码器(932)的前向编码器(931)输出的特征进行融合，得到融合图像特征，得到的融合图像特征一方面经跳跃连接传输至解码网络中相应的解码器(935)，使得该解码器(935)基于该融合图像特征及前向解码器输出的图像特征进行解码，另一方面将得到的融合图像特征输入至编码器(932)进行编码处理。
基于上述对图像分割模型的训练框架及第二图像分割模型的模型框架的说明，对第二图像分割模型中的融合模块进行说明。图11为本发明实施例提供的融合模块的结构示意图，在实际应用中，融合模块用于将第一图像分割模型提取的图像特征与第二图像分割模型提取的图像特征进行特征融合处理，参见图11，融合模块的输入为训练好的第一图像分割模型的图像特征、以及正在训练的第二图像分割模型的图像特征，可分别称为新特征和旧特征，输出图像特征的通道数大小和新特征的通道数相同；融合模块所执行的特征融合包括：上下文建模单元、变换单元、恢复单元，以下分别进行说明。
对于上下文建模单元，包括一个卷积核大小为1x1且步长为1的卷积层，其通道为输入的两个特征(新特征和旧特征)的通道数之和，然后跟一个soft max层，输出一个概率分布。
对于变换单元，包括一个卷积核大小为1x1且步长为1的卷积层，其通道为输入的两个特征的通道数之和，输出与输入通道数一样。将上下文建模单元输出的概率分布与输入进行矩阵乘来对输入的上下文进行建模，并用1x1卷积层进行变换，输出的通道数和输入的通道数相同。
对于恢复单元，用于将输入的通道数恢复成与新特征相同的通道数，包含一个卷积核大小为1x1且步长为1的卷积层，通道数为输入的新特征的通道数，输出为新特征的通道数。
步骤704：将第一图像分割模型提取的图像特征、与第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征。
在一些实施例中，服务器可通过如下方式将第一图像分割模型提取的图像特征、与第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征：
服务器通过与第二图像分割模型中多个连接的编码器一一对应连接的多个融合模块，对以下特征进行融合处理，得到融合图像特征：
第一图像分割模型中多个连接的编码器一一对应输出到多个融合模块的图像特征，以及多个融合模块从前向连接的编码器接收的图像特征。
在一些实施例中，服务器可通过如下方式将第一图像分割模型提取的图像特征、与第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征：
服务器通过与第二图像分割模型中多个连接的解码器一一对应连接的多个融合模块，对以下特征进行融合处理：
第一图像分割模型中多个连接的解码器一一对应输出到多个融合模块的图像特征，多个融合模块从第二图像分割模型中前向连接的解码器接收的图像特征。
这里基于图9继续对第二图像分割模型进行说明，在一些实施例中，第二图像分割模型包括：
融合模块，数量为多个，设置在编码网络和解码网络中，用于在编码网络中将多个解码器顺序连接，在解码网络中将多个解码器顺序连接；对于连接的两个编码器而言，沿着图像特征的正向传播的方向连接的解码器称为后向连接的编码器，沿着图像特征的反向传播的方向连接的解码器称为前向连接的编码器；解码器同理。
编码网络(也称为下采样路径或编码路径)，包括多个通过融合模块连接的编码器。
解码网络(也称为上采样路径或解码路径)，与编码网络连接，包括多个通过融合模块连接的解码器。
在实际实施时，第二图像分割模型中编码网络的第一个编码器，用于对编码网络的编码结果进行编码处理，并输出到后向连接的融合模块(即编码网络中的第一个融合模块)，以使融合模块将图像样本、以及第一图像分割网络的编码网络中的第一个编码器(即与第二图像分割网络中对应的编码器)输出的图像特征融合，并传输到在第二图像分割网络中编码网络的后向连接的编码器(即第二个编码器)。
第二图像分割模型中编码网络的第二个编码器，用于根据前向连接的融合模块传输的融合特征进行编码处理，并输出到后向连接的融合模块(即编码网络中的第二个融合模块)。
第二图像分割模型中编码网络的第二个融合模块，将第二个编码器输出的图像特征、以及第一图像分割网络中编码网络的第二个编码器输出的图像特征融合，并传输到编码网络中的后向连接的编码器(即第三个编码器)进行编码处理，依次递推，直至编码网络中的最后一个编码器输出编码结果，作为整个编码网络输出的编码结果；
解码网络(也称为上采样路径或解码路径)的处理类似：
第二图像分割模型中解码网络的第一个解码器，用于对解码网络的解码结果进行解码处理，并输出到后向连接的融合模块(即解码网络中的第一个融合模块)，以使融合模块将图像样本、以及第一图像分割网络的解码网络中的第一个解码器(即与第二图像分割网络中对应的解码器)输出的图像特征融合，并传输到在第二图像分割网络中解码网络的后向连接的解码器(即解码网络中的第二个解码器)。
第二图像分割模型中解码网络的第二个解码器，用于根据前向连接的融合模块传输的融合特征进行解码处理，并输出到后向连接的融合模块(即解码网络中的第二个融合模块)。
第二图像分割模型中解码网络的第二个融合模块，将第二个解码器输出的图像特征、以及第一图像分割网络中解码网络的第二个解码器输出的图像特征融合，并传输到解码网络中的后向连接的解码器(即第三个解码器)进行解码处理，依次递推，直至解码网络中的最后一个解码器输出解码结果，作为整个解码网络输出的解码结果。
基于上述对融合模块结构的说明，即对于融合模块包括上下文建模单元、变换单元及恢复单元的情况，在一些实施例中，服务器可通过如下方式将第一图像分割模型提取的图像特征、与第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征：
融合模块中上下文建模单元将第一图像分割模型提取的图像特征、与第二图像分割模型提取的图像特征，通过进行卷积操作和最大似然操作，得到概率分布；
变换单元将第一图像分割模型提取的图像特征、以及第二图像分割模型提取的图像特征基于通道叠加形成输入特征，并将输入特征与概率分布进行矩阵乘操作，得到上下文特征；
恢复单元将上下文特征与输入特征进行卷积操作，得到融合图像特征。
在实际实施时，本发明实施例提供的图像分割模型的训练框架中可以包括多个第一图像模型，相应的，在一些实施例中，服务器可通过如下方式将第一图像分割模型提取的图像特征、与第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征：
对于每个第一图像模型，通过与第二图像分割模型中多个连接的编码器一一对应连接的多个融合模块，对以下特征进行融合处理：
每个第一图像分割模型中多个连接的编码器一一对应输出到多个融合模块的图像特征，以及多个融合模块从前向连接的编码器接收的图像特征。
对于训练框架中包括多个第一图像模型的情况，相应的，在一些实施例中，服务器可通过如下方式将第一图像分割模型提取的图像特征、与第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征：
通过与第二图像分割模型中多个连接的解码器一一对应连接的多个融合模块，对以下特征进行融合处理：
对于每个第一图像分割模型，通过与第二图像分割模型中多个连接的解码器一一对应连接的多个融合模块，进行以下特征的融合处理：
第一图像分割模型中多个连接的解码器一一对应输出到多个融合模块的图像特征，多个融合模块从第二图像分割模型中前向连接的解码器接收的图像特征。
步骤705：基于第二代价比例的损失函数、以及融合图像特征，训练第二图像分割模型。
在实际实施时，第二图像分割模型的损失函数所对应的代价比例可以为1:1；在一些实施例中，服务器可通过如下方式训练第二图像分割模型：
服务器将融合图像特征在第二图像分割模型进行正向传播，得到第二图像分割模型针述图像样本的预测分类结果；当预测分类结果与实际分类结果的差异大于差异阈值时，通过第二代价比例的损失函数在第二图像分割模型中进行反向的梯度传播，以更新第二图像分割模型的参数。
这里对反向的梯度传播进行说明，将训练样本数据输入到神经网络模型的输入层，经过隐藏层，最后达到输出层并输出结果，这是神经网络模型的前向传播过程，由于神经网络模型的输出结果与实际结果有误差，则计算输出结果与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层，在反向传播的过程中，根据误差调整神经网络模型各个层的模型参数的值；不断迭代上述过程，直至收敛。
以损失函数为(1)为例，服务器基于损失函数确定第一误差信号，第一误差信号从第二图像分割模型的输出层反向传播，逐层反向传播第一误差信号，在第一误差信号到达每一层时，结合传导的第一误差信号来求解梯度(也就是Loss函数对该层参数的偏导数)，将该层的参数更新对应的梯度值。
基于上述对图像分割模型的训练的说明，利用训练得到的第二图像分割模型可进行图像分割，在一些实施例中，服务器通过第二图像分割模型的编码网络对待处理图像进行编码处理，得到图像特征；通过第二图像分割模型的解码网络对图像特征进行分类处理和回归处理，得到待处理图像中目标的包围框、以及目标的类别。
在一些实施例中，图像分割模型用于识别医学图像中的病灶，如识别出医学图像中的肿瘤区域，或识别出医学图像中特定的组织器官，相应的，当图像分割模型用于对医学图像进行图像分割时，对于该图像分割模型的训练所采用的图像样本为医学图像样本，相应的训练过程包括：
基于第一代价比例的损失函数训练第一图像分割模型；通过第一图像分割模型从医学图像样本中提取医学图像特征；通过待训练的第二图像分割模型从医学图像样本中提取医学图像特征；将第一图像分割模型提取的医学图像特征、与第二图像分割模型提取的医学图像特征进行融合处理，得到融合图像特征；基于第二代价比例的损失函数、以及融合图像特征，训练第二图像分割模型。
在利用训练得到的第二图像分割模型对待识别的医学图像进行病灶识别，将医学图像输入训练得到的第二图像分割模型，通过第二图像分割模型，对医学图像进行编码处理，得到医学图像特征；通过第二图像分割模型，对医学图像特征进行分类处理和回归处理，得到医学图像中病灶所对应的区域，具体地，包括病灶的包围框以及病灶的类别，进而实现病灶分割，如通过高亮包围框呈现医学图像中病灶对应的区域。
应用本发明实施例，第二图像分割模型的训练基于的是第二代价比例的损失函数及融合图像特征；其中，第二代价比例与第一图像分割模型的损失函数的第一代价比例不同，融合图像特征基于第一图像分割模型提取的图像特征及第二图像分割模型提取的图像特征融合得到；如此，使得结合不同的代价比例训练得到的第二图像分割模型的图像分割精度更高，适用于分割目标(即前景)和背景过于相似以及目标大小变化过大等场景，具有理想的分割精度。
继续对本发明实施例提供的图像分割模型的训练方法进行说明。图12为本发明实施例提供的图像分割模型的训练方法流程示意图，在一些实施例中，该图像分割模型的训练法可由服务器或终端实施，或由服务器及终端协同实施，以服务器与终端协同实施为例，参见图12，本发明实施例提供的图像分割模型的训练方法包括：
步骤801：终端发送第二图像分割模型的训练请求给服务器。
这里，在实际实施时，终端上设置有图像分割客户端，图像分割客户端通过训练得到的第二图像分割模型实现对输入的待处理的图像进行图像分割，相应的，在实施图像分割之前，终端通过图像分割客户端发送第二图像分割模型的训练请求给服务器，该训练请求中携带图像样本，图像样本中标注有目标的包围框及相应的类别。
步骤802：服务器解析训练请求，得到图像样本。
步骤803：服务器通过第一图像分割模型中编码网络对图像样本进行编码，并通过解码网络对编码结果进行解码。
在一些实施例中，第一图像分割模型的数量可以有多个，如2个，当第一图像分割模型的数量为多个时，每个第一图像分割模型的损失函数的代价比例互不相同。
在一些实施例中，第一图像分割模型包括：编码网络、与编码网络连接的解码网络及分类器；其中，编码网络包括多个连接的编码器，解码网络包括多个连接的解码器，相应的编码器与解码器之间通过跳跃连接进行信息传输。
在实际实施时，服务器通过第一图像分割模型中多个连接的编码器对图像样本进行编码，具体地，第一个编码器对图像进行编码处理后得到的编码结果输出到下一个连接的编码器进行编码处理，以此类推，直至最后一个编码器完成编码处理，得到编码结果，编码结果输入至第一图像分割模型中第一个解码器，第一个解码器用于对编码网络的编码结果进行解码处理，并输出到后向连接的解码器进行解码处理；以此类推，直至最后一个解码器完成解码处理。
步骤804：服务器通过第一图像分割模型从图像样本中提取图像特征。
在实际实施时，服务器将第一图像分割模型中多个编码器依次编码得到的图像特征，一一对应输出到第二图像分割模型中多个编码器所连接的融合模块，以及，将连接的多个解码器依次解码得到的图像特征一一对应输出到第二图像分割模型中多个解码器所连接的融合模块。
步骤805：服务器通过第二图像分割模型从图像样本中提取图像特征。
在一些实施例中，第二图像分割模型的模型框架与第一图像分割模型的模型框架相同，第二图像分割模型的损失函数所对应的代价比例为一比一。
步骤806：服务器通过与第二图像分割模型中多个连接的编码器一一对应连接的多个融合模块进行特征融合。
在实际实施时，服务器通过与第二图像分割模型中多个连接的编码器一一对应连接的多个融合模块，对以下特征进行融合处理：
第一图像分割模型中多个连接的编码器一一对应输出到多个融合模块的图像特征，以及多个融合模块从前向连接的编码器接收的图像特征。
步骤807：服务器通过与第二图像分割模型中多个连接的解码器一一对应连接的多个融合模块进行特征融合，得到融合图像特征。
在实际实施时，服务器通过与第二图像分割模型中多个连接的解码器一一对应连接的多个融合模块，对以下特征进行融合处理：
第一图像分割模型中多个连接的解码器一一对应输出到多个融合模块的图像特征，多个融合模块从第二图像分割模型中前向连接的解码器接收的图像特征。
步骤808：服务器基于得到的融合图像特征，通过第二图像分割模型预测对应图像样本的分类结果。
在实际实施时，服务器将第一图像分割模型提取的图像特征、与第二图像分割模型提取的图像特征，通过进行卷积操作和最大似然操作，得到概率分布；将第一图像分割模型提取的图像特征、以及第二图像分割模型提取的图像特征基于通道叠加形成输入特征，并将输入特征与概率分布进行矩阵乘操作，得到上下文特征；将上下文特征与输入特征进行卷积操作，得到融合图像特征。
步骤809：服务器获取预测的分类结果与实际分类结果的差异，并基于差异更新第二图像分割模型的模型参数。
在实际实施时，服务器获取预测的分类结果与实际分类结果的差异后，判断差异是否大于差异阈值，若大于，则通过第二图像分割模型的损失函数在第二图像分割模型中进行反向的梯度传播，并在传播的过程中更新第二图像分割模型各个层的模型参数。
步骤810：服务器返回更新后的第二图像分割模型的模型参数给终端。
在实际实施时，终端基于更新后的第二图像分割模型的模型参数，通过第二图像分割模型对待处理图像进行分类处理和回归处理，得到待处理图像中目标的包围框、以及目标的类别。
接下来以图像分割模型用于医学图像分割，如用于医学图像中的肿瘤分割为例，对本发明实施例提供的图像分割模型的训练方法进行说明。在实际实施时，图像分割模型的训练依赖于深度分割模型(即第一图像分割模型)和一个特征融合模块，在训练过程中，首先使用不同的代价比例的损失函数训练多个深度分割模型，在此基础上，再用代价比例为1:1的损失函数训练一个新的深度分割模型(即第二图像分割模型)；如此，通过特征融合模块结合不同的代价比例的模型以达到更好的图像分割效果，能够克服医学图像分割中目标前景和背景过于相似以及目标大小变化过大等问题，适用于器官和肿瘤的分割任务，相比相关技术的图像分割，本发明实施例具有如下特点：1)基于代价敏感的损失函数；2)多模型的特征融合模块；3)基于代价敏感的训练框架。
相关技术中，医学图像分割技术大多数都是采用基于U-Net的分割模型，并在该分割模型的基础上进行改进，但是这些分割模型在损失函数的设置上都默认损失函数中的不同预测错误的代价权重是一样的，事实上，不同的代价权重可以理解为同一个分割模型设定不同的分割目标，不同的分割目标导致网络最终的分割结果也会不同，网络优化的目标函数为min(∑wiP(i|x))，其中wi为类别i的权重，P(i|x)为将给定像素x错分为前景的概率，当wi变大时，为了让目标函数变小，P(i|x)就会随之减小，从而在像素x预测错误类别的概率降低，利用降低了预测错误的概率的损失函数训练网络，网络就会更少地进行预测，从而导致分割面积变小，同理，小的权重会导致分割面积变大，而需要分割的区域往往就处于这样一个从小到大的面积变化趋势中，因此可以通过结合这些分割面积大小变化的分割模型来达到一个更好的分割结果；由于该方法能够形成一个分割面积从小到大的变化趋势，虽然分割目标出的前景和背景非常相似，但是依然可以从这样一个趋势中找到最优的分割结果，又由于该方法针对不同大小的分割区域都有一个面积更小或面积更大的趋势，因此在一定程度上可以缓解分割目标面积变化过大的问题。
相关技术的图像分割模型中，通常默认认为同一个损失函数对不同的错误预测的代价权重是一样的，然而不同的代价权重可以导致不同的分割结果，比如将前景错误预测成背景的权变小，则分割结果预测的前景面积就会变大，反之亦然，通过对不同分割模型的结合，可以得到一个更好的分割结果；基于此，本发明实施例提出了图像分割模型的训练方法，该方法针对医学图像分割任务设计了一个训练框架，通过在该框架下训练图像分割模型，能够达到较好的分割效果，整体流程图如图13所示，包括如下操作步骤：
1.输入医学图像，重采样。
输入医学图像，对医学图像进行重采样，划分为训练集和测试集。
2.构建图像分割网络。
在深度学习框架Pytorch中，按照图2构建U-net分割模型，图中长方形表示每层的输出特征。
3.构建融合模块。
在深度学习框架Pytorch中，按照图11构建特征融合模型(即上述实施例中融合模块)。
4.根据用户定义的权重，构建损失函数。
使用用户定义好的代价比例(如1:5，5:1等)，构建图像分割模型的损失函数(如式(1))。
5.训练多个不同代价权重比例的模型。
使用不同的损失函数，用训练集对分割模型进行训练与各个损失函数一一对应的多个模型，待模型收敛后，保存模型。其中，使用随机梯度下降和反向传播优化模型的参数。
6.训练新的代价权重比例为1:1的模型。
用代价比例为1:1的损失函数训练一个新的模型(1:1是常规的U-net的损失函数的比例，不能取其他值，新模型的代价比例与预训练的模型的代价比例的取值不能相同)，并固定之前训练好的模型参数。在新模型训练过程中，将新模型与之前训练好的模型的特征进行融合，如图9所示，上下两个模型为U-net模型，上方的模型为训练好的模型(第一图像分割模型)，下方的模型(第二图像分割模型)为正在训练的模型，模型间箭头表示跳跃连接，正在训练模型(第二图像分割模型)内的箭头921、922、924、925及926表示特征融合输出，而训练好的模型(第一图像分割模型)的实线箭头表示不同的卷积操作。
具体地，模型整体流程如下(即模型的正向传播过程)：输入一张待分割图片，将该待分割图片同时输入到之前训练好的模型和当前正在训练的代价权重为1:1的模型，图片经过分割模型的卷积层进行处理，每遇到一个编码器或解码器，都将训练好的模型的输出特征在通道数上进行叠加(叠加为不同通道的特征)，将该叠加后的特征与正在训练的模型的输出特征一起输入到特征融合模块中，得到新的特征作为正在训练的模型的下一个特征。最终，当所有模型都处理完毕后，将正在训练的代价权重为1:1的模型的输出作为整个模型的输出结果。
7.保存训练好的模型并将模型应用在测试图像上。
测试阶段，除了固定之前训练好的模型外，还需将正在训练的代价权重为1:1的模型的参数进行固定，并按照步骤6进行图片的处理，得到最终分割结果。
基于上述实施例对训练图像分割模型的说明可知，本发明实施例对图像分割模型的训练主要包括：分割模型、特征融合模块(即融合模块)、代价敏感损失函数及代价敏感训练框架；接下来分别进行说明。
首先对医学图像分割模型(即分割模型)进行说明。
U-net是医学图像分割领域被广泛使用的一种深度网络结构，本发明实施例以U-net作为基础网络结构，并加以改造，提高其分割性能，如图11所示：
1，分割模型的处理包括编码(对应编码网络)、解码(对应解码网络)和分类(对应分类器，例如采用卷积层实现)三个过程。
2，编码网络包含多个(图8中示出了3个)编码器，每个编码器包含1个卷积核大小为3x3且步长为1的卷积层(也可以包括更多的卷积层，如图2所示的2个卷积层)、ReLU激活层和一个窗口大小为2x2，步长为1x1的池化层。其中，每个编码器的卷积层的卷积核数量分别为64、128、256。编码后，会经过一个中间层，由核大小为3x3、步长为1x1，核数量为1024的卷积层构成。
3，解码网络包含3个解码器，每个解码器由一个反卷积层(上采样层)和1个核空间大小3x3且步长为1x1的卷积层(也可以更多，如图2所示采用2个卷积层)构成，其中反卷积层由双向线性插值操作实现。各个解码器的核数量分别为512、256、128。最终的分类过程由一个卷积核大小为1x1、步长也为1x1的卷积层实现。
4，在编码网络和解码网络之间，采用长程跳跃连接将浅层特征图与深层特征图连接，以达到更精确的分割结果。
接下来对特征融合模块进行说明。特征融合模块主要负责将训练好的和正在训练的分割网络的不同特征进行融合，以使得正在训练的模型与训练好的模型之间进行充分的信息交流，如图11所示。
1，特征融合模块包含上下文建模、变换、恢复三个过程；输入为训练好的模型的特征和正在训练的模型的特征，分别称为新特征和旧特征，输出特征的通道数大小和新特征的通道数相同。
2，上下文建模包括一个卷积核大小为1x1且步长为1的卷积层，其通道为输入的两个特征的通道数之和，后跟一个softmax层，输出一个概率分布。
3，变换单元包括一个卷积核大小为1x1且步长为1的卷积层，其通道为输入的两个特征的通道数之和，输出与输入通道数一样。将上下文建模单元输出的概率分布与输入进行矩阵乘来对输入的上下文进行建模，并用1x1卷积层进行变换，输出的通道数和输入的通道数相同。
4，恢复单元包含一个卷积核大小为1x1且步长为1的卷积层，通道数为输入的新特征的通道数，输出为新特征的通道数。用于将输入的通道数恢复成与新特征相同的通道数。
接下来对代价敏感损失函数进行说明。本发明实施例对于图像分割模型的训练，损失函数定义为：
其中，
其中，Ci表示代价权重，pi为模型网络预测当前图像的像素i的类别为前景的概率，yi为该像素i的真实标记(分类结果，1表示前景，0表示背景)，L(pi,yi)表示像素i的预测分类结果(前景/背景)与实际分类结果之间的差异，round(x)为针对输入标量x的四舍五入操作。ci为代价权重，wi和wj为用户定义的在不同预测差异(预测分类结果与实际分类结果)的情况下的代价权重，wi:wj即代价比例。用户通过指定不同的代价比例(如1:5，5:1等)，可以得到多个不同的损失函数。
接下来对代价敏感训练框架进行说明。
通过对不同代价权重对网络分割结果产生影响的观察，本发明实施例提出通过结合不同代价权重训练的模型来提升整个模型的分割效果，如图9所示。该代价敏感训练框架的流程如下：先通过用户定义的不同的代价比例，得到多个损失函数，使用不同的损失函数来训练分割模型，得到多个不同的模型。在使用代价权重为1:1的损失函数训练一个新的模型，该新模型的特征由该模型和之前训练好的模型的特征通过特征融合模块得到。其中，融合特征的选取为分割模型中编码器和解码器的输出特征，特征融合模块的过程如下：分割模型包含编码器和解码器，将所有训练好的模型的编码器和解码器的输出的特征在通道数上进行叠加(concatenation)得到一个新的特征，将该特征和正在训练的模型的对应位置的特征输入到特征融合模块得到融合后的特征，再将融合后的特征作为正在训练的模型的当前卷积层的输出特征，以继续后续处理。
应用本发明实施例提供的上述图像分割模型的训练方法，在训练时所采用硬件环境可以为：显卡GTX 1080Ti；基于此，训练多个分割模型，不同的分割模型针对不同的损失函数得到不同的输出，之后使用特征融合模块将多个网络的特征结合，用在一个新的分割模型上，使用新的网络的分割结果作为最终的分割结果，与相关技术的分割模型U-Net进行了对比，在kidney数据集上，该基于代价敏感框架的分割模型相对于传统的U-Net在dice准确率上能够提升2.17％。
在一些实施例中，上述医学图像分割模型可被替代，任何一种类似U-Net结构的医学图像分割模型都可通过该训练方法训练。
在一些实施例中，上述特征融合模块也可被替代，该特征融合模块只要能将两个或多个网络的特征通过某种方式进行融合即可。
在一些实施例中，损失函数可替代，损失函数中的代价权重Ci只需要根据pi和yi之间的差异取不同的值即可。
继续对本发明实施例提供的图像分割模型的训练装置行说明。参见图6，本发明实施例提供的图像分割模型的训练装置包括：
第一训练模块，用于基于第一代价比例的损失函数训练第一图像分割模型；
第一提取模块，用于通过所述第一图像分割模型从图像样本中提取图像特征；
第二提取模块，用于通过待训练的第二图像分割模型从所述图像样本中提取图像特征；
融合模块，用于将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征；
第二训练模块，用于基于第二代价比例的损失函数、以及所述融合图像特征，训练所述第二图像分割模型。
在一些实施例中，所述装置还包括：
损失确定模块，用于基于所述图像样本中各个像素点的分类预测代价与对应的代价权重的乘积，分别确定所述第一代价比例的损失函数和所述第二代价比例的损失函数；
其中，所述分类预测代价表示所述像素点的预测分类结果与实际分类结果之间的差异，所述代价权重根据所述差异的程度具有不同的取值，所述第一代价比例和所述第二代价比例均表示不同程度的差异对应代价权重之间的比例。
在一些实施例中，所述第一提取模块，还用于通过所述第一图像分割模型中编码网络对所述图像样本进行编码处理，并通过所述第一图像分割模型中解码网络对编码结果进行解码处理；
将所述第一图像分割模型中编码网络中多个编码器依次编码得到的图像特征，一一对应输出到所述第二图像分割模型编码网络中的多个编码器所连接的融合模块，以及
将所述连接的多个解码器依次解码得到的图像特征一一对应输出到所述第二图像分割模型中解码网络的多个解码器所连接的融合模块。
在一些实施例中，所述装置还包括：
特征输出模块，用于通过所述第一图像分割模型中的编码网络与解码网络之间的跳跃连接，将所述第一图像分割模型中编码网络的多个连接的编码器编码得到的图像特征，一一对应输出到所述第一图像分割模型中解码网络的多个连接的解码器，以使
每个所述解码器基于前向连接的解码器输出的图像特征、以及通过所述跳跃连接接收的图像特征进行解码处理。
在一些实施例中，所述融合模块，还用于通过与第二图像分割模型中多个连接的编码器一一对应连接的多个融合模块，对以下特征进行融合处理：
所述第一图像分割模型中多个连接的编码器一一对应输出到所述多个融合模块的图像特征，以及所述多个融合模块从前向连接的编码器接收的图像特征。
在一些实施例中，所述融合模块，还用于通过与第二图像分割模型中多个连接的解码器一一对应连接的多个融合模块，对以下特征进行融合处理：
所述第一图像分割模型中多个连接的解码器一一对应输出到所述多个融合模块的图像特征，所述多个融合模块从所述第二图像分割模型中前向连接的解码器接收的图像特征。
在一些实施例中，所述融合模块，还用于将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征，通过进行卷积操作和最大似然操作，得到概率分布；
将所述第一图像分割模型提取的图像特征、以及所述第二图像分割模型提取的图像特征基于通道叠加形成输入特征，并将所述输入特征与所述概率分布进行矩阵乘操作，得到上下文特征；
将所述上下文特征与所述输入特征进行卷积操作，得到融合图像特征。
在一些实施例中，所述第二训练模块，还用于将所述融合图像特征在所述第二图像分割模型进行正向传播，得到所述第二图像分割模型针对所述图像样本的预测分类结果；
当所述预测分类结果与实际分类结果的差异大于差异阈值时，通过所述第二代价比例的损失函数在所述第二图像分割模型中进行反向的梯度传播，以更新所述第二图像分割模型的参数。
在一些实施例中，所述第一训练模块，还用于基于多个不同的第一代价比例的损失函数，对应训练多个第一图像分割模型；
其中，所述多个不同的第一代价比例均与所述第二代价比例不同。
在一些实施例中，所述融合模块，还用于对于每个所述多个第一图像模型，通过与第二图像分割模型中多个连接的编码器一一对应连接的多个融合模块，进行以下特征的融合处理：
每个所述第一图像分割模型中多个连接的编码器一一对应输出到所述多个融合模块的图像特征，以及所述多个融合模块从前向连接的编码器接收的图像特征。
在一些实施例中，所述融合模块，还用于对于每个所述第一图像分割模型，通过与第二图像分割模型中多个连接的解码器一一对应连接的多个融合模块，对以下特征进行融合处理：
所述第一图像分割模型中多个连接的解码器一一对应输出到所述多个融合模块的图像特征，所述多个融合模块从所述第二图像分割模型中前向连接的解码器接收的图像特征。
在一些实施例中，所述装置还包括：
目标识别模块，用于通过所述第二图像分割模型的编码网络对待处理图像进行编码处理，得到图像特征；
通过所述第二图像分割模型的解码网络对所述图像特征进行分类处理和回归处理，得到所述待处理图像中目标的包围框、以及所述目标的类别。
这里需要指出的是：以上涉及装置的描述，与上述方法描述是类似的，同方法的有益效果描述，不做赘述，对于本发明实施例所述装置中未披露的技术细节，请参照本发明方法实施例的描述。
本发明实施例还提供了一种电子设备，所述电子设备包括：
存储器，用于存储可执行程序；
处理器，用于执行所述存储器中存储的可执行程序时，实现本发明实施例提供的上述图像分割模型的训练方法。
本发明实施例还提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的图像分割模型的训练方法。
实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种图像分割模型的训练方法，其特征在于，所述方法包括：
基于第一代价比例的损失函数训练第一图像分割模型；
通过所述第一图像分割模型从图像样本中提取图像特征；
通过待训练的第二图像分割模型从所述图像样本中提取图像特征；
将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征；
基于第二代价比例的损失函数、以及所述融合图像特征，训练所述第二图像分割模型。
2.根据权利要求1所述的方法，其特征在于，所述基于第一代价比例的损失函数训练所述第一图像分割模型之前，所述方法还包括：
基于所述图像样本中各个像素点的分类预测代价与对应的代价权重的乘积，分别确定所述第一代价比例的损失函数和所述第二代价比例的损失函数；
其中，所述分类预测代价表示所述像素点的预测分类结果与实际分类结果之间的差异，所述代价权重根据所述差异的程度具有不同的取值，所述第一代价比例和所述第二代价比例均表示不同程度的差异对应代价权重之间的比例。
3.根据权利要求1所述的方法，其特征在于，所述通过所述第一图像分割模型，从图像样本中提取第一图像特征，包括：
通过所述第一图像分割模型中编码网络对所述图像样本进行编码处理，并通过所述第一图像分割模型中解码网络对编码结果进行解码处理；
将所述第一图像分割模型中编码网络中多个编码器依次编码得到的图像特征，一一对应输出到所述第二图像分割模型编码网络中的多个编码器所连接的融合模块，以及，
将所述连接的多个解码器依次解码得到的图像特征一一对应输出到所述第二图像分割模型中解码网络的多个解码器所连接的融合模块。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
通过所述第一图像分割模型中的编码网络与解码网络之间的跳跃连接，将所述第一图像分割模型中编码网络的多个连接的编码器编码得到的图像特征，一一对应输出到所述第一图像分割模型中解码网络的多个连接的解码器，以使每个所述解码器基于前向连接的解码器输出的图像特征、以及通过所述跳跃连接接收的图像特征进行解码处理。
5.根据权利要求1所述的方法，其特征在于，所述将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征，包括：
通过与第二图像分割模型中多个连接的编码器一一对应连接的多个融合模块，对以下特征进行融合处理：
所述第一图像分割模型中多个连接的编码器一一对应输出到所述多个融合模块的图像特征，以及所述多个融合模块从前向连接的编码器接收的图像特征。
6.根据权利要求1所述的方法，其特征在于，所述将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征，包括：
通过与第二图像分割模型中多个连接的解码器一一对应连接的多个融合模块，对以下特征进行融合处理：
所述第一图像分割模型中多个连接的解码器一一对应输出到所述多个融合模块的图像特征，所述多个融合模块从所述第二图像分割模型中前向连接的解码器接收的图像特征。
7.根据权利要求1所述的方法，其特征在于，所述将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征，包括：
将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征，通过进行卷积操作和最大似然操作，得到概率分布；
将所述第一图像分割模型提取的图像特征、以及所述第二图像分割模型提取的图像特征基于通道叠加形成输入特征，并将所述输入特征与所述概率分布进行矩阵乘操作，得到上下文特征；
将所述上下文特征与所述输入特征进行卷积操作，得到融合图像特征。
8.根据权利要求1所述的方法，其特征在于，所述基于第二代价比例的损失函数、以及所述融合图像特征，训练所述第二图像分割模型，包括：
将所述融合图像特征在所述第二图像分割模型进行正向传播，得到所述第二图像分割模型针对所述图像样本的预测分类结果；
当所述预测分类结果与实际分类结果的差异大于差异阈值时，通过所述第二代价比例的损失函数在所述第二图像分割模型中进行反向的梯度传播，以更新所述第二图像分割模型的参数。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述基于第一代价比例的损失函数训练第一图像分割模型，包括：
基于多个不同的第一代价比例的损失函数，对应训练多个第一图像分割模型；
其中，所述多个不同的第一代价比例均与所述第二代价比例不同。
10.根据权利要求9所述的方法，其特征在于，所述将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征，包括：
对于每个所述多个第一图像模型，通过与第二图像分割模型中多个连接的编码器一一对应连接的多个融合模块，对以下特征进行融合处理：
每个所述第一图像分割模型中多个连接的编码器一一对应输出到所述多个融合模块的图像特征，以及所述多个融合模块从前向连接的编码器接收的图像特征。
11.根据权利要求9所述的方法，其特征在于，所述将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征，包括：
对于每个所述第一图像分割模型，通过与第二图像分割模型中多个连接的解码器一一对应连接的多个融合模块，对以下特征进行融合处理：
所述第一图像分割模型中多个连接的解码器一一对应输出到所述多个融合模块的图像特征，所述多个融合模块从所述第二图像分割模型中前向连接的解码器接收的图像特征。
12.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：
通过所述第二图像分割模型的编码网络对待处理图像进行编码处理，得到图像特征；
通过所述第二图像分割模型的解码网络对所述图像特征进行分类处理和回归处理，得到所述待处理图像中目标的包围框、以及所述目标的类别。
13.一种图像分割方法，其特征在于，所述方法包括：
通过训练得到的第二图像分割模型，对医学图像进行编码处理，得到医学图像特征；
通过所述第二图像分割模型，对所述医学图像特征进行分类处理和回归处理，确定所述医学图像中病灶所对应的区域；
基于确定的所述区域，对所述医学图像进行病灶区域分割；
其中，所述第二图像分割模型采用权利要求1至12任一项所述的图像分割模型的训练方法训练得到，训练所述第二图像分割模型所采用的图像样本为医学图像样本。
14.一种图像分割模型的训练装置，其特征在于，所述装置包括：
第一训练模块，用于基于第一代价比例的损失函数训练第一图像分割模型；
第一提取模块，用于通过所述第一图像分割模型从图像样本中提取图像特征；
第二提取模块，用于通过待训练的第二图像分割模型从所述图像样本中提取图像特征；
融合模块，用于将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理，得到融合图像特征；
第二训练模块，用于基于第二代价比例的损失函数、以及所述融合图像特征，训练所述第二图像分割模型。
15.一种存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至12中任一项所述的图像分割模型的训练方法。
CN201910888527.5A 2019-09-19 2019-09-19 图像分割模型的训练方法、装置、电子设备及存储介质 Active CN110599492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910888527.5A CN110599492B (zh) 2019-09-19 2019-09-19 图像分割模型的训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910888527.5A CN110599492B (zh) 2019-09-19 2019-09-19 图像分割模型的训练方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110599492A true CN110599492A (zh) 2019-12-20
CN110599492B CN110599492B (zh) 2024-02-06

Family

ID=68861397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910888527.5A Active CN110599492B (zh) 2019-09-19 2019-09-19 图像分割模型的训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110599492B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091166A (zh) * 2020-03-25 2020-05-01 腾讯科技（深圳）有限公司 图像处理模型训练方法、图像处理方法、设备及存储介质
CN111210382A (zh) * 2020-01-03 2020-05-29 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111325766A (zh) * 2020-02-20 2020-06-23 腾讯科技（深圳）有限公司 三维边缘检测方法、装置、存储介质和计算机设备
CN111507989A (zh) * 2020-04-15 2020-08-07 上海眼控科技股份有限公司 语义分割模型的训练生成方法、车辆外观检测方法、装置
CN111653103A (zh) * 2020-05-07 2020-09-11 浙江大华技术股份有限公司 一种目标对象的识别方法及装置
CN111899848A (zh) * 2020-08-05 2020-11-06 中国联合网络通信集团有限公司 图像识别方法及设备
CN111915612A (zh) * 2020-07-24 2020-11-10 山东大学 一种基于多编码器卷积神经网络的图像分割方法和系统
CN112102251A (zh) * 2020-08-20 2020-12-18 上海壁仞智能科技有限公司 一种分割影像的方法及装置、电子设备和存储介质
CN112132847A (zh) * 2020-09-27 2020-12-25 北京字跳网络技术有限公司 模型训练方法、图像分割方法、装置、电子设备和介质
CN112967322A (zh) * 2021-04-07 2021-06-15 深圳创维－Rgb电子有限公司 运动目标检测模型建立方法和运动目标检测方法
CN113012167A (zh) * 2021-03-24 2021-06-22 哈尔滨理工大学 一种细胞核与细胞质的联合分割方法
CN113344938A (zh) * 2021-05-07 2021-09-03 西安智诊智能科技有限公司 一种肝脏肿瘤图像分割模型训练方法
CN113643318A (zh) * 2021-06-30 2021-11-12 深圳市优必选科技股份有限公司 图像分割方法、图像分割装置及终端设备
US20220044358A1 (en) * 2021-01-20 2022-02-10 Beijing Baidu Netcom Science Technology Co., Ltd. Image processing method and apparatus, device, and storage medium
CN114240954A (zh) * 2021-12-16 2022-03-25 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
WO2022088581A1 (zh) * 2020-10-30 2022-05-05 上海商汤智能科技有限公司 图像检测模型的训练方法及相关装置、设备、存储介质
CN114820584A (zh) * 2022-05-27 2022-07-29 北京安德医智科技有限公司 肺部病灶定位装置
CN115147669A (zh) * 2022-06-24 2022-10-04 北京百度网讯科技有限公司 基于视觉转换器模型的图像处理方法、训练方法和设备
CN116020122A (zh) * 2023-03-24 2023-04-28 深圳游禧科技有限公司 游戏攻略推荐方法、装置、设备及存储介质
CN116129127A (zh) * 2023-04-13 2023-05-16 昆明理工大学 一种结合尺度特征和纹理滤波的视网膜血管分割方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN109410220A (zh) * 2018-10-16 2019-03-01 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
CN109829894A (zh) * 2019-01-09 2019-05-31 平安科技（深圳）有限公司 分割模型训练方法、oct图像分割方法、装置、设备及介质
CN109961442A (zh) * 2019-03-25 2019-07-02 腾讯科技（深圳）有限公司 神经网络模型的训练方法、装置和电子设备
CN110120047A (zh) * 2019-04-04 2019-08-13 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN110163234A (zh) * 2018-10-10 2019-08-23 腾讯科技（深圳）有限公司 一种模型训练方法、装置和存储介质
CN110232690A (zh) * 2019-06-05 2019-09-13 广东工业大学 一种图像分割的方法、系统、设备及计算机可读存储介质
CN110245723A (zh) * 2019-06-27 2019-09-17 南京大学 一种安全可靠的图像分类半监督机器学习方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN110163234A (zh) * 2018-10-10 2019-08-23 腾讯科技（深圳）有限公司 一种模型训练方法、装置和存储介质
CN109410220A (zh) * 2018-10-16 2019-03-01 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
CN109829894A (zh) * 2019-01-09 2019-05-31 平安科技（深圳）有限公司 分割模型训练方法、oct图像分割方法、装置、设备及介质
CN109961442A (zh) * 2019-03-25 2019-07-02 腾讯科技（深圳）有限公司 神经网络模型的训练方法、装置和电子设备
CN110120047A (zh) * 2019-04-04 2019-08-13 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN110232690A (zh) * 2019-06-05 2019-09-13 广东工业大学 一种图像分割的方法、系统、设备及计算机可读存储介质
CN110245723A (zh) * 2019-06-27 2019-09-17 南京大学 一种安全可靠的图像分类半监督机器学习方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YINGHUAN SHI 等: "The Artificial Intelligence-Enabled Medical Imaging: Today and Its Future", 《CHIN MED SCI J》, vol. 34, no. 2, pages 71 - 75, XP085735251, DOI: 10.24920/003615 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210382A (zh) * 2020-01-03 2020-05-29 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111210382B (zh) * 2020-01-03 2022-09-30 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111325766B (zh) * 2020-02-20 2023-08-25 腾讯科技（深圳）有限公司 三维边缘检测方法、装置、存储介质和计算机设备
CN111325766A (zh) * 2020-02-20 2020-06-23 腾讯科技（深圳）有限公司 三维边缘检测方法、装置、存储介质和计算机设备
CN111091166A (zh) * 2020-03-25 2020-05-01 腾讯科技（深圳）有限公司 图像处理模型训练方法、图像处理方法、设备及存储介质
CN111507989A (zh) * 2020-04-15 2020-08-07 上海眼控科技股份有限公司 语义分割模型的训练生成方法、车辆外观检测方法、装置
CN111653103A (zh) * 2020-05-07 2020-09-11 浙江大华技术股份有限公司 一种目标对象的识别方法及装置
CN111915612A (zh) * 2020-07-24 2020-11-10 山东大学 一种基于多编码器卷积神经网络的图像分割方法和系统
CN111899848A (zh) * 2020-08-05 2020-11-06 中国联合网络通信集团有限公司 图像识别方法及设备
CN111899848B (zh) * 2020-08-05 2023-07-07 中国联合网络通信集团有限公司 图像识别方法及设备
CN112102251A (zh) * 2020-08-20 2020-12-18 上海壁仞智能科技有限公司 一种分割影像的方法及装置、电子设备和存储介质
CN112102251B (zh) * 2020-08-20 2023-10-31 上海壁仞智能科技有限公司 一种分割影像的方法及装置、电子设备和存储介质
CN112132847A (zh) * 2020-09-27 2020-12-25 北京字跳网络技术有限公司 模型训练方法、图像分割方法、装置、电子设备和介质
WO2022088581A1 (zh) * 2020-10-30 2022-05-05 上海商汤智能科技有限公司 图像检测模型的训练方法及相关装置、设备、存储介质
US20220044358A1 (en) * 2021-01-20 2022-02-10 Beijing Baidu Netcom Science Technology Co., Ltd. Image processing method and apparatus, device, and storage medium
US11893708B2 (en) * 2021-01-20 2024-02-06 Beijing Baidu Netcom Science Technology Co., Ltd. Image processing method and apparatus, device, and storage medium
CN113012167B (zh) * 2021-03-24 2022-06-21 哈尔滨理工大学 一种细胞核与细胞质的联合分割方法
CN113012167A (zh) * 2021-03-24 2021-06-22 哈尔滨理工大学 一种细胞核与细胞质的联合分割方法
CN112967322A (zh) * 2021-04-07 2021-06-15 深圳创维－Rgb电子有限公司 运动目标检测模型建立方法和运动目标检测方法
CN113344938A (zh) * 2021-05-07 2021-09-03 西安智诊智能科技有限公司 一种肝脏肿瘤图像分割模型训练方法
CN113643318A (zh) * 2021-06-30 2021-11-12 深圳市优必选科技股份有限公司 图像分割方法、图像分割装置及终端设备
CN113643318B (zh) * 2021-06-30 2023-11-24 深圳市优必选科技股份有限公司 图像分割方法、图像分割装置及终端设备
CN114240954A (zh) * 2021-12-16 2022-03-25 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
CN114240954B (zh) * 2021-12-16 2022-07-08 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
CN114820584A (zh) * 2022-05-27 2022-07-29 北京安德医智科技有限公司 肺部病灶定位装置
CN115147669A (zh) * 2022-06-24 2022-10-04 北京百度网讯科技有限公司 基于视觉转换器模型的图像处理方法、训练方法和设备
CN116020122A (zh) * 2023-03-24 2023-04-28 深圳游禧科技有限公司 游戏攻略推荐方法、装置、设备及存储介质
CN116129127A (zh) * 2023-04-13 2023-05-16 昆明理工大学 一种结合尺度特征和纹理滤波的视网膜血管分割方法

Also Published As

Publication number Publication date
CN110599492B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN110599492B (zh) 图像分割模型的训练方法、装置、电子设备及存储介质
CN110347873B (zh) 视频分类方法、装置、电子设备及存储介质
CN108205655B (zh) 一种关键点预测方法、装置、电子设备及存储介质
CN109902767B (zh) 模型训练方法、图像处理方法及装置、设备和介质
US20220198800A1 (en) Video processing method, apparatus and device, and computerreadable storage medium
CN112767329B (zh) 图像处理方法及装置、电子设备
US11153575B2 (en) Electronic apparatus and control method thereof
JP2022534337A (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
CN110837811A (zh) 语义分割网络结构的生成方法、装置、设备及存储介质
CN106663425A (zh) 用于自动语音识别的使用外推的跳帧和按需输出的神经网络
CN112200041B (zh) 视频动作识别方法、装置、存储介质与电子设备
CN106664467A (zh) 实时视频摘要
WO2023174098A1 (zh) 一种实时手势检测方法及装置
CN109784243B (zh) 身份确定方法及装置、神经网络训练方法及装置、介质
CN111667459A (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN114187624A (zh) 图像生成方法、装置、电子设备及存储介质
CN113901909A (zh) 基于视频的目标检测方法、装置、电子设备和存储介质
WO2024083121A1 (zh) 一种数据处理方法及其装置
CN111626134A (zh) 一种基于隐密度分布的密集人群计数方法、系统及终端
CN113689372A (zh) 图像处理方法、设备、存储介质及程序产品
CN111199540A (zh) 图像质量评价方法、装置、电子设备及存储介质
CN113570695A (zh) 一种图像生成方法、装置及电子设备
US11948090B2 (en) Method and apparatus for video coding
CN114332553A (zh) 图像处理方法、装置、设备以及存储介质
CN116704084B (zh) 人脸动画生成网络的训练方法、人脸动画生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant