CN110363296A - 任务模型获取方法和装置、存储介质及电子装置 - Google Patents

任务模型获取方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
CN110363296A
CN110363296A CN201910578723.2A CN201910578723A CN110363296A CN 110363296 A CN110363296 A CN 110363296A CN 201910578723 A CN201910578723 A CN 201910578723A CN 110363296 A CN110363296 A CN 110363296A
Authority
CN
China
Prior art keywords
image
model
training pattern
target
objective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910578723.2A
Other languages
English (en)
Other versions
CN110363296B (zh
Inventor
李悦翔
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910578723.2A priority Critical patent/CN110363296B/zh
Publication of CN110363296A publication Critical patent/CN110363296A/zh
Application granted granted Critical
Publication of CN110363296B publication Critical patent/CN110363296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种任务模型获取方法和装置、存储介质及电子装置。其中,该方法包括:获取对第一训练模型进行模型训练得到的目标模型参数,第一训练模型包括:第一编码器和第一解码器,目标模型参数包括:与第一编码器对应的第一模型参数,第一训练模型的输入为目标光学图像的第一通道的第一图像,训练完成后的第一训练模型的输出为与目标光学图像的第二通道的第二图像对应的预测图像,预测图像与第二图像的图形相似度大于或者等于目标相似度阈值;使用目标模型参数初始化第二训练模型的模型参数,得到初始任务模型,第二训练模型包括与第一编码器结构相同的第二编码器;使用目标光学图像对初始任务模型进行训练,得到目标任务模型。

Description

任务模型获取方法和装置、存储介质及电子装置
技术领域
本发明涉及计算机领域,具体而言,涉及一种任务模型获取方法和装置、存储介质及电子装置。
背景技术
目前,在使用网络模型执行光学图像处理任务时,需要使用样本光学图像对初始网络模型进行模型训练,得到训练好的目标网络模型。例如,可以使用CNN(ConvolutionalNeural Network,卷积神经网络)、FCN(Fully Convolutional Network,全卷积网络)等网络模型进行图像分类、图像分割等任务。
在进行模型训练时,首先为网络模型赋予随机生成的初始模型参数(随机初始化网络模型的模型参数);将样本光学图像输入到随机初始化的网络模型中,根据网络模型的输出结果和目标函数对网络模型的模型参数进行优化,得到训练好的网络模型。
然而,在网络模型的训练过程中,由于网络模型的初始化参数是随机生成的,导致模型训练收敛速度慢,模型性能差。也就是说,相关技术中随机初始化网络模型存在模型训练收敛速度慢,模型性能差的问题。
发明内容
本发明实施例提供一种任务模型获取方法和装置、存储介质及电子装置,以至少解决相关技术中随机初始化网络模型存在模型训练收敛速度慢,模型性能差的技术问题。
根据本发明实施例的一个方面,提供了一种任务模型获取方法,包括:获取对第一训练模型进行模型训练得到的目标模型参数,其中,第一训练模型包括:第一编码器和第一解码器,目标模型参数包括:与第一编码器对应的第一模型参数和与第一解码器对应的第二模型参数,第一训练模型的输入为目标光学图像的第一通道的第一图像,训练完成后的第一训练模型的输出为与目标光学图像的第二通道的第二图像对应的预测图像,预测图像与第二图像的图形相似度大于或者等于目标相似度阈值;使用目标模型参数初始化第二训练模型的模型参数,得到初始任务模型,其中,第二训练模型包括与第一编码器结构相同的第二编码器;使用目标光学图像对初始任务模型进行训练,得到目标任务模型,其中,目标任务模型用于执行目标图像处理任务。
根据本发明实施例的另一方面,还提供了一种任务模型获取方法,包括:利用全卷积网络FCN模型的第一子模型提取光学医学图像的绿色通道的图像特征信息;根据图像特征信息,对光学医学图像的其他通道的颜色分布进行预测,得到颜色分布预测信息,其中,其他通道包括以下至少之一:红色通道,蓝色通道;将图像特征信息和颜色分布预测信息输入到FCN模型的第二子模型中,得到其他通道的各个像素点的预测值;确定目标损失函数的第一函数值,其中,目标损失函数用于表示其他通道的各个像素点的预测值与其他通道的各个像素点的实际值的相近程度,以及其他通道的各个像素点的预测值的分布与其他通道的各个像素点的实际值的分布的相近程度;在第一函数值大于或者等于目标阈值的情况下,对第一子模型的第一模型参数和第二子模型的第二模型参数进行调整,以使将光学医学图像输入到调整后的FCN模型得到的目标损失函数的第二函数值小于第一函数值;在第一函数值小于目标阈值的情况下,使用第一子模型的第一模型参数初始化目标训练模型的第三子模型的模型参数,得到初始任务模型,其中,第三子模型与第一子模型的模型结构相同;使用光学医学图像对初始任务模型进行训练,得到目标任务模型,其中,目标任务模型用于执行目标图像处理任务。
根据本发明实施例的又一方面,还提供了一种任务模型获取装置,包括:获取单元,用于获取对第一训练模型进行模型训练得到的目标模型参数,其中,第一训练模型包括:第一编码器和第一解码器,目标模型参数包括:与第一编码器对应的第一模型参数和与第一解码器对应的第二模型参数,第一训练模型的输入为目标光学图像的第一通道的第一图像,训练完成后的第一训练模型的输出为与目标光学图像的第二通道的第二图像对应的预测图像,预测图像与第二图像的图形相似度大于或者等于目标相似度阈值;初始化单元,用于使用目标模型参数初始化第二训练模型的模型参数,得到初始任务模型,其中,第二训练模型包括与第一编码器结构相同的第二编码器;训练单元,用于使用目标光学图像对初始任务模型进行训练,得到目标任务模型,其中,目标任务模型用于执行目标图像处理任务。
根据本发明实施例的又一方面,还提供了一种任务模型获取装置,包括:提取单元,用于利用全卷积网络FCN模型的第一子模型提取光学医学图像的绿色通道的图像特征信息;预测单元,用于根据图像特征信息,对光学医学图像的其他通道的颜色分布进行预测,得到颜色分布预测信息,其中,其他通道包括以下至少之一:红色通道,蓝色通道;输入单元,用于将图像特征信息和颜色分布预测信息输入到FCN模型的第二子模型中,得到其他通道的各个像素点的预测值;确定单元,用于确定目标损失函数的第一函数值,其中,目标损失函数用于表示其他通道的各个像素点的预测值与其他通道的各个像素点的实际值的相近程度,以及其他通道的各个像素点的预测值的分布与其他通道的各个像素点的实际值的分布的相近程度;调整单元,用于在第一函数值大于或者等于目标阈值的情况下,对第一子模型的第一模型参数和第二子模型的第二模型参数进行调整,以使将光学医学图像输入到调整后的FCN模型得到的目标损失函数的第二函数值小于第一函数值;初始化单元,用于在第一函数值小于目标阈值的情况下,使用第一子模型的第一模型参数初始化目标训练模型的第三子模型的模型参数,得到初始任务模型,其中,第三子模型与第一子模型的模型结构相同;训练单元,用于使用光学医学图像对初始任务模型进行训练,得到目标任务模型,其中,目标任务模型用于执行目标图像处理任务。
根据本发明实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的方法。
在本发明实施例中,通过第一训练模型使用目标光学图像的第一通道的第一图像预测目标光学图像第二通道的第二图像的预测图像,并根据预测图像和第二图像的图像相似度对第一训练模型的模型参数进行调整,从而得到第一训练模型中的第一编码器的第一模型参数和第一解码器的第二模型参数,至少将得到的第一模型参数对具有与第一编码器相同结构的第二编码器、且使用目标光学图像执行目标图像处理任务的第二训练模型进行初始化,可以保留第一训练模型所学习到的图像特征,第二训练模型初始化的合理性,提高模型训练收敛速度,保证得到的目标任务模型的模型性能,进而解决了相关技术中随机初始化网络模型存在模型训练收敛速度慢,模型性能差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种任务模型获取方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的任务模型获取方法的流程示意图;
图3是根据本发明实施例的一种可选的任务模型获取方法的示意图;
图4是根据本发明实施例的另一种可选的任务模型获取方法的示意图;
图5是根据本发明实施例的又一种可选的任务模型获取方法的示意图;
图6是根据本发明实施例的又一种可选的任务模型获取方法的示意图;
图7是根据本发明实施例的又一种可选的任务模型获取方法的示意图;
图8是根据本发明实施例的又一种可选的任务模型获取方法的示意图;
图9是根据本发明实施例的另一种可选的任务模型获取方法的流程示意图;
图10是根据本发明实施例的又一种可选的任务模型获取方法的流程示意图;
图11是根据本发明实施例的一种可选的任务模型获取装置的结构示意图;
图12是根据本发明实施例的一种可选的任务模型获取装置的结构示意图;
图13是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面对本发明实施例中的部分术语进行解释说明。
光学医学图像(optical medical images):是指医学领域的光学图像,可以包括但不限于:包括内镜图像、皮肤镜图像等。
Lab:一种根据CIE(Commission International de L'Eclairage,国际照明委员会)在1931年所制定的测定颜色的国际标准建立的色彩域模式,其中,L(Luminosity)表示照度,相当于亮度,值域为0到100,a表示从红色至绿色的范围,b表示从蓝色到黄色的范围,a和b的值域都是有+120至-120。
RGB:一种颜色标准,通过对红(R,red)、绿(G,green)、蓝(B,blue)三种颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色,RGB代表红、绿、蓝三个通道的颜色。
HSV:一种颜色空间,也成为六角椎体模型,该模型中颜色的参数分别是:色调(H),饱和度(S),明度(V)。
CNN:卷积神经网络(Convolutional Neural Network),广泛使用于图像分类任务中的一种深度学习网络,网络包含卷积层、池化层与全连接层等。
FCN:全卷积网络(Fully Convolutional Network),图像分割技术中最常用的一种卷积网络,完全由卷积层组成。该类网络中包含编码器(降采样环节)与解码器(上采样环节)两个部分。
根据本发明实施例的一个方面,提供了一种任务模型获取方法。可选地,上述任务模型获取方法可以但不限于应用于如图1所示的应用环境中。如图1所示,终端设备102可以将目标光学图像通过网络104发送至服务器106,其中,目标光学图像可以至少包括:第一通道的第一图像,第二通道的第二图像。
服务器106可以获取对第一训练模型进行模型训练得到的目标模型参数,其中,第一训练模型包括:第一编码器和第一解码器,目标模型参数包括:与第一编码器对应的第一模型参数和与第一解码器对应的第二模型参数,第一训练模型的输入为该第一图像,训练完成后的第一训练模型的输出为与该第二图像对应的预测图像,预测图像与第二图像的图形相似度大于或者等于目标相似度阈值;使用目标模型参数初始化第二训练模型的模型参数,得到初始任务模型,其中,第二训练模型包括与第一编码器结构相同的第二编码器;使用目标光学图像对初始任务模型进行训练,得到目标任务模型,其中,目标任务模型用于执行目标图像处理任务。
可选地,在本实施例中,上述终端设备可以包括但不限于以下至少之一:手机、平板电脑、PC机等。上述网络可以包括但不限于:有线网络,无线网络,其中,该有线网络包括:局域网、城域网和广域网,该无线网络包括:蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以包括但不限于以下至少之一:PC机及其他用于提供模型训练功能的设备。上述只是一种示例,本实施例对此不做任何限定。
可选地,在本实施例中,作为一种可选的实施方式,如图2所示,上述任务模型获取方法可以包括:
S202,获取对第一训练模型进行模型训练得到的目标模型参数,其中,第一训练模型包括:第一编码器和第一解码器,目标模型参数包括:与第一编码器对应的第一模型参数和与第一解码器对应的第二模型参数,第一训练模型的输入为目标光学图像的第一通道的第一图像,训练完成后的第一训练模型的输出为与目标光学图像的第二通道的第二图像对应的预测图像,预测图像与第二图像的图形相似度大于或者等于目标相似度阈值;
S204,使用目标模型参数初始化第二训练模型的模型参数,得到初始任务模型,其中,第二训练模型包括与第一编码器结构相同的第二编码器;
S206,使用目标光学图像对初始任务模型进行训练,得到目标任务模型,其中,目标任务模型用于执行目标图像处理任务。
可选地,上述任务模型获取方法可以但不限于应用于使用目标光学图像对用于执行目标图像处理任务的任务模型进行训练的过程中。例如,使用光学医学图像对用于执行图形分类任务或者图像分割任务的任务模型进行训练的过程中。
例如,以图像分类为例,目标光学图像是对用于图像分类的网络模型进行模型训练的样本图像,目标光学图像包括:第一通道的第一图像和第二通道的第二图像。该网络模型具有一个编码器(第二编码器),模型训练的目的是为了得到使用该网络模型执行图像分类任务的模型参数。
首先,可以对该网络模型(网络模型中的第二编码器)进行预训练。构造具有与第二编码器结构相同的编码器(第一编码器)以及解码器(第一解码器)的第一训练模型。第一训练模型的输入为第一图像,输出为第二图像的预测图像,通过使用第二图像作为监督数据对第一训练模型的训练过程进行监督(自监督),并使用预测图像与第二图像的图形相似度对第一训练模型进行优化,从而得到训练好的目标模型参数,目标模型参数包括:与第一编码器对应的第一模型参数和与第一解码器对应的第二模型参数。
然后,可以使用得到的目标模型参数对该网络模型(该网络模型中的第二编码器)进行初始化,进而对该网络模型进行训练。可以使用得到的第一模型参数对第二编码器进行初始化,并使用目标光学图像对该网络模型进行训练,得到需要的图像分类模型。
通过本实施例,通过第一训练模型使用目标光学图像的第一通道的第一图像预测目标光学图像第二通道的第二图像的预测图像,并根据预测图像和第二图像的图像相似度对第一训练模型的模型参数进行调整,从而得到第一训练模型中的第一编码器的第一模型参数和第一解码器的第二模型参数,至少将得到的第一模型参数对具有与第一编码器相同结构的第二编码器、且使用目标光学图像执行目标图像处理任务的第二训练模型进行初始化,解决了相关技术中随机初始化网络模型存在模型训练收敛速度慢,模型性能差的技术问题,提高了模型训练收敛速度,保证了得到的目标任务模型的模型性能。
下面结合图2对上述任务模型获取方法进行说明。
在步骤S202中,服务器可以获取对第一训练模型进行模型训练得到的目标模型参数,其中,第一训练模型包括:第一编码器和第一解码器,目标模型参数包括:与第一编码器对应的第一模型参数和与第一解码器对应的第二模型参数,第一训练模型的输入为目标光学图像的第一通道的第一图像,训练完成后的第一训练模型的输出为与目标光学图像的第二通道的第二图像对应的预测图像,预测图像与第二图像的图形相似度大于或者等于目标相似度阈值。
可以使用目标光学图像对包含第二编码器的第二训练模型进行训练,得到用于执行目标图像处理任务的目标任务模型。在对网络模型(第一训练模型,第二训练模型等)进行训练之前,可以首先获取目标光学图像。为了提高目标光学图像获取的便捷性,可以使用公开的数据集作为目标光学图像。
例如,目标光学图像可以是光学医学图像。模型训练使用的光学医学图像可以为:公开Kaggle Cervix Screening宫颈内镜与ISIC皮肤镜数据集。其中,Kaggle CervixScreening数据集包含1,466张宫颈内镜图像。该数据旨在对宫颈转化区进行分类,其根据转化区可被分为三类:类型1(249张),类型2(772张)及类型3(445张)。ISIC数据集包含2,594张皮肤镜图像。各图像中的皮肤黑色素瘤区域经过人为标注。该数据旨在鼓励研究人员开发自动分割算法高效的分割皮肤镜中的病灶区域。
在进行第二训练模型的模型训练时,可以首先初始化第二训练模型的模型参数,初始化的方式可以有多种,例如,随机初始化。
可选地,服务器可以获取对第一训练模型进行模型训练得到的目标模型参数,并使用得到的目标模型参数对第二训练模型进行初始化。第一训练模型可以认为是第二训练模型的预训练模型,可以将预训练得到的目标模型参数作为第二编码器的初始化模型参数。相比于直接从头开始训练,通过自监督形式的预训练能够让网络在目标任务(目标图像处理任务,例如,图像分类,图像分割)上得到更好的性能表现。
服务器获取目标模型参数的方式可以是从本服务器以外的其他服务器或者数据库接收到目标模型参数,也可以是使用目标光学图像对第一训练模型进行训练得到目标模型参数。
作为一种可选的实施方式,在由服务器从本服务器以外的其他服务器或者数据库接收到目标模型参数的情况下,获取对第一训练模型进行模型训练得到的目标模型参数可以包括:接收本服务器以外的其他服务器或者数据库发送的目标模型参数。
作为另一种可选的实施方式,在由服务器使用目标光学图像对第一训练模型进行训练得到目标模型参数的情况下,获取对第一训练模型进行模型训练得到的目标模型参数可以包括:使用目标光学图像对第一训练模型进行训练,得到目标模型参数。
可选地,在对第一训练模型进行训练时,获取对第一训练模型进行模型训练得到的目标模型参数可以包括:获取到目标光学图像的第一图像和第二图像;将第一图像输入到第一训练模型中,得到第一预测图像;确定第一预测图像与第二图像之间的第一图像相似度;在第一图像相似度小于目标相似度阈值的情况下,调整第一训练模型的模型参数,以使将第一图像输入到调整后的第一训练模型得到的第二预测图像与第二图像的第二图像相似度,大于第一图像相似度。
目标光学图像可以有多个。在目标光学图像包括多个光学图像的情况下,可以依次使用多个光学图像中的各光学图像作为当前光学图像对第一训练模型进行训练,在一次训练完成之后,可以确定得到的第一预测图像,并计算当前光学图像的第二通道的第二图像与第一预测图像之间的图像相似度(第一图像相似度),并基于得到的图像相似度调整第一训练模型的模型参数,以使调整后的第一训练模型输出的与第一图像(当前光学图像的第一通道的图像)对应的第二预测图像与第二图像之间的第二图像相似度,大于第一图像相似度。
例如,可以将光学医学图像的G通道的第一图像输入到FCN网络模型,得到光学医学图像的R通道(和/或B通道)的第一预测图像;确定光学医学图像的R通道(和/或,B通道)的第二图像与第一预测图像之间的图像相似度小于目标相似度阈值时,调整FCN网络模型的模型参数,以使将第一图像输入到调整后的FCN网络模型得到的第二预测图像与第二图像的第二图像相似度,大于第一图像相似度。
通过本实施例,通过服务器使用目标光学图像对第一训练模型进行训练获取目标模型参数,可以提高目标模型参数获取的便捷性。
为了对第一训练模型进行模型训练,可以首先设定模型任务,以及模型优化的目标函数(优化目标)。并基于设定的模型任务以及目标函数对第一训练模型进行训练,得到目标模型参数。设定的预训练模型的模型任务可以是对灰度图像进行涂色的涂色任务,目标函数为预测的涂色结果与实际的图像之间的图像相似度。
作为一种可选的实施方式,对灰度图像进行涂色的方案可以如图3所示。该方案利用CNN(如VGG-16)提取灰度图像中的内容特征并以此预测各像素点的色彩值(hue)与亮度值(Lightness),从而完成灰度图像到彩色图像的涂色操作。
作为另一种可选的实施方式,对灰度图像进行涂色的方案可以如图4所示。该方案利用CNN提取灰度图像的内容特征以预测各像素点在Lab色彩域中的色彩值(Color ab),从而实现对灰度图像的涂色操作。在图4中,conv5和conv6为带洞卷积核/扩展卷积核(atrous/dilated)。
上述两种预训练方案针对的均是自然图像设计,并未将一些特定领域的光学图像的先验知识纳入考虑,因此上述方案运用于特定领域的光学图像处理任务(例如,医学图像处理任务)时,性能往往大大折扣。
上述两种预训练方案都是基于CNN的设计,难以适配到分割任务中。如图3和图4所示,CNN中只包含特征编码(即降采样)部分。因此,其可以被运用于图像分类等任务中。但是,对于特定图像处理领域(例如,医学图像处理领域)往往涉及大量的图像分割任务(例如,病灶分割任务),该类任务需要包含编码器与解码器的网络(全卷积网络,例如,FCN)进行处理。这导致了基于CNN自监督预训练的权重(模型参数)只能适配到网络中的编码器部分,相应的解码器仍然需要随机初始化。该方案容易破坏自监督预训练权重中已学习到的一些特征,从而对预训练模型在分割任务上的性能产生影响。
作为又一种可选的实施方式,可以结合特定领域的光学图像的先验知识,对灰度图像进行涂色任务进行改进。第一训练模型的训练任务可以包括:使用第一训练模型学习目标光学图像的第一通道的第一图像,并以此预测目标光学图像的第二通道的第二图像中各像素点的值。
对于目标光学图像,可以包括:第一通道和第二通道,其中,第二通道可以包括一个或多个通道。例如,对于RGB图像,可以包括:R通道、G通道和B通道。再例如,对于Lab图像,可以包括:L通道,a通道和b通道。又例如,对于HSV图像,可以包括:H通道,S通道和V通道。
对于特定领域的光学图像,其不同通道包含的有用信息可能并不相同。可以将这些先验知识纳入考虑,设计一套涂色自监督框架:可以使用目标光学图像的一个通道(例如,包含有用信息较多的通道)的图像对其他通道的图像进行预测,并使用其他通道的实际图像作为监督信息进行自监督,进行模型训练。
例如,如图5所示的光学医学图像,(a)为宫颈内镜图像及对应的红(R),绿(G),蓝(B)三通道;(b)为皮肤镜图像及对应的红(R),绿(G),蓝(B)三通道;(c)宫颈内镜绿光图像。对于光学医学图像,不同于自然图像,光学医学图像的内容常常包含大面积的人体皮肤区域。这导致与红色通道相比,光学医学图像的绿色与蓝色通道往往包含更多的有用信息。另外,在临床的宫颈内镜检测过程中,医生往往需要打开绿光灯过滤红色通道(如(c)所示),以更好的观察宫颈口的血管形状,辅助相关宫颈疾病的诊断。这些先验知识揭示了光学医学图像中的一些潜在特性。
可选地,在本实施例中,获取到目标光学图像的第一图像和第二图像包括:在目标光学图像为光学医学图像的情况下,获取光学医学图像的G通道的图像,作为第一图像;获取光学医学图像的其他通道的图像,作为第二图像,其中,其他通道包括以下至少之一:R通道,B通道。
例如,可以获取光学医学图像的G通道的图像,作为第一训练模型的输入,获取光学医学图像的R通道、B通道、或者RB通道的图像,作为第一训练模型的监督信息。
通过本实施例,对于光学医学图像,结合光学医学图像的先验知识,将光学医学图像的G通道的图像作为模型输入,将光学医学图像的RB通道的图像作为监督信息,可以提高训练得到的模型的性能,提高获取的目标模型参数的有效性。
在得到第一图像之后,可以将第一图像输入到第一训练模型中,得到第一预测图像,并使用第一预测图像与第二图像之间的图像相似度对第一训练模型的模型参数进行调整。其中,第一训练模型至少包含一个与第二编码器结构相同的第一编码器,还可以包括一个解码器(第一解码器),第一训练模型可以是包括编码器和解码器两部分的网络模型(例如,FCN、改进的FCN等)。
可选地,在本实施例中,确定第一预测图像与第二图像之间的第一图像相似度可以包括:确定出第一预测图像与第二图像的对应像素点之间的第一均方误差,得到第一图像相似度,其中,第一图像相似度与第一均方误差负相关。
可以依据像素差距构建均方误差损失函数作为第一训练模型的目标函数,以指导第一训练模型的优化。
例如,如图6所示,第一训练模型可以为FCN网络模型,包括编码器和解码器。FCN网络模型通过观察光学医学图像的绿色通道以预测相应的红蓝通道中的像素值(FCN网络模型执行的任务)。通过将原图的红蓝通道的像素值除以255实现归一化到[0,1]区间,并用作该任务的监督信息。假设网络预测结果的c通道(x,y)位置上的值为在监督信息相应位置上的像素值为由此可根据像素差距构建Mean-squared error loss(均方误差损失函数),以指导该任务的优化。其中,均方误差损失函数如公式(1)所示:
其中,C为颜色通道数(红蓝),M和N为图像的长和宽。
通过本实施例,通过依据均方误差对预测图像与第二图像的相似度进行评价,可以简化计算过程,提高模型训练的效率。
由于基于第一通道(例如,绿色通道)的第二通道(例如,红蓝通道)预测提供更多的是局部特征。只利用局部特征的方法容易在涂色过程中产生颜色抖动从而导致着色结果不真实。
例如,如图7所示,只利用局部特征的涂色结果在图片上部产生了不真实的颜色抖动(如图7中的(c)所示)。可以设置红蓝通道颜色分布预测的任务,以在自监督框架下提取光学医学图像的全局特征。由图7中的(d)可以看出使用全局与局部特征的自监督涂色框架很好的解决了颜色抖动的问题。其中,在图7中,(a)为原宫颈内镜图片,(b)为宫颈内镜图片的绿色通道,(c)为只使用局部特征的涂色结果,(d)为使用局部特征及全局特征的涂色结果。
为了优化得到的目标模型参数,在第一训练模型训练时,除了设置基于第一通道的第二通道的预测任务外(任务一,第一训练模型的一个子任务),还可以设置第二图像的像素分布的预测任务(任务二,第一训练模型的另一个子任务)。
例如,如图8所示,encoder(编码器)与decoder(解码器)组成了FCN网络模型。Adaptive AP与FC分别代表自适应的平均池化与全连接层。该FCN网络模型包含两个子任务,任务一(第一子任务):利用FCN提取光学医学图像绿色通道的内容信息,并以此预测各像素点的红蓝通道值;任务二(第二子任务):根据编码器提取的特征,对图像的红蓝通道颜色分布进行预测。两个子任务鼓励自监督框架在不同维度进行特征学习。任务一更多的是注重局部特征的学习,而任务二为自监督框架提供了一定的全局信息。因此,上述自监督框架(FCN网络模型)通过融合两个任务学习得到的特征,能够获得更为真实的涂色结果与产生更好的预训练性能提升。
可选地,在本实施例中,将第一图像输入到第一训练模型中,得到第一预测图像可以包括:使用第一编码器从第一图像中提取出目标图像特征;使用目标池化层和目标全连接层对目标图像特征进行处理,得到目标预测信息,其中,目标池化层和目标全连接层位于第一编码器和第一解码器之间,目标预测信息用于表示预测的、第二图像中的各像素点的像素值在多个像素值区间上的分布;将目标图像特征和目标预测信息输入到第一解码器,得到第一预测图像。
为了实现根据编码器提取的特征,对图像的红蓝通道颜色分布进行预测,可以在第一编码器和第一解码器之间设置目标池化层(作用同前述Adaptive AP)和目标全连接层(作用同前述FC)。可以将像素值的整个像素值范围划分为多个像素值区间。通过目标池化层将第一编码器提取出的目标图像特征降维成1×1的向量,并使用全连接层将1×1的向量映射为1×N的向量,其中,N为像素值区间的个数,并使用该1×N的向量指导解码器对目标图像特征的解码过程。
通过本实施例,通过在第一编码器和第一解码器之间设置平均池化层和全连接层来对第二图像的像素值分布进行预测,可以提升第一训练模型的训练性能。
可选地,在本实施例中,确定第一预测图像与第二图像之间的第一图像相似度可以包括:确定出第一预测图像与第二图像的对应像素点之间的第二均方误差;确定与第一预测图像对应的目标散度值,其中,目标散度值用于表示第一概率分布值与第二概率分布值的匹配程度,第一概率分布值为第一预测图像中的各像素的像素值落入到多个像素值区间中的各像素值区间上的概率,第二概率分布值为第二图像中的各像素的像素值落入到多个像素值区间中的各像素值区间上的概率;对第二均方误差与目标散度值进行加权求和,得到第一图像相似度,其中,第一图像相似度与第二均方误差和目标散度值均负相关。
在添加了目标池化层和目标全连接层之后,可以对第一训练模型的目标函数进行调整,可以将其设置为第一预测图像与第二图像的对应像素点之间的第二均方误差,与目标散度值的加权平均。
例如,任务二为红蓝通道颜色分布预测,在该任务中,可以通过统计原图像的红蓝通道颜色分布作为该任务的监督信息。原图像的红蓝通道的像素值落在[0,255]区间内,可以将该区间分为五个子区间,并分别统计落在各子区间的像素点数目,最终得到一个包含10个元素的数据分布(红蓝通道各占5个元素)。假设pi与qi分别表示网络预测分布与监督信息中的第i个元素值,由此可以利用KL散度衡量两个分布之间的差异,从而指导自监督模型的优化。KL散度的公式可以如公式(2)所示:
其中,I为分布中包含的元素数目,这里的I=10。
通过定义两个子任务(任务一和任务二)的优化函数(公式(1)和公式(2)),可以得到任务模型获取方法(自监督涂色方法)的总体优化目标,如公式(3)所示:
L=αLMSE+βLKLD (2)
其中,α与β为损失权重,可以通过调节损失权重以调节两个子任务的重要性。自监督涂色框架在α=β=1条件下可以得到最好的性能表现。
通过本实施例,通过将第二均方误差与目标散度值的加权平均作为第一训练模型的总体优化目标,可以提高训练好的第一训练模型的性能表现。
在步骤S204中,服务器使用目标模型参数初始化第二训练模型的模型参数,得到初始任务模型,其中,第二训练模型包括与第一编码器结构相同的第二编码器。
在得到目标模型参数(包括第一模型参数和第二模型参数)之后,可以使用目标模型参数初始化第二训练模型的模型参数,得到初始任务模型。
对于不同的目标图像处理任务,使用目标模型参数初始化第二训练模型的方式可以不同。例如,对于图像分类任务,第二训练模型不包括解码器部分,可以使用第一模型参数初始化第二训练模型中的第二编码器。又例如,对于图像分割任务,第二训练模型包括解码器部分,可以使用第一模型参数初始化第二训练模型中的第二编码器,并使用第二模型参数初始化第二训练模型中的第二解码器。
可选地,在本实施例中,使用目标模型参数初始化第二训练模型的模型参数,得到初始任务模型包括:使用第一模型参数初始化第二训练模型中的第二编码器,使用第二模型参数初始化第二训练模型中的第二解码器,得到初始任务模型,其中,第二解码器与第一解码器的结构相同。
通过本实施例,使用第一模型参数和第二模型参数分别初始化第二训练模型的第二编码器和第二解码器,可以很好适配到需要解码器的任务(例如,分割任务)中,提高网络模型的适用性。
在步骤S206中,服务器使用目标光学图像对初始任务模型进行训练,得到目标任务模型,其中,目标任务模型用于执行目标图像处理任务。
在得到初始任务模型之后,可以使用目标光学图像对初始任务模型进行训练,得到目标任务模型。第二训练模型(初始任务模型)是基于所要执行的图像处理任务进行模型搭建以及目标函数的选择,初始任务模型的训练可以参考相关的模型训练过程,在此不做赘述。
例如,在使用深度学习模型来进行光学医学图像的分类分割等任务时,可以先使用第一训练模型在未标注的数据集上进行预训练,让网络学习鲁棒的特征表示能力,之后使用预训练好的网络在具有少量标注数据上进行微调,使深度学习网络在目标任务(分类与分割等)上获得更好的性能。
下面结合可选示例对本发明实施例中的任务模型获取方法进行说明。在本示例中,目标光学图像为光学医学图像,第一训练模型为FCN网络模型,第二训练模型为FCN分割模型。服务器通过执行步骤S902获取用于模型训练的光学医学图像;通过执行步骤S904使用光学医学图像对FCN网络模型进行训练,得到训练好的模型参数,其中,FCN网络模型的包含两个子任务,即基于绿色通道的红蓝通道预测与红蓝通道颜色分布预测。两个任务为自监督框架提供不同维度的特征信息;通过执行步骤S906使用训练好的模型参数对FCN分割模型进行初始化;通过执行步骤S908使用光学医学图像对初始化的FCN分割模型进行训练,得到目标任务模型。
根据本发明实施例的另一个方面,还提供了一种任务模型获取方法。可选地,上述任务模型获取方法可以但不限于应用于如图1所示的应用环境中。
可选地,在本实施例中,作为一种可选的实施方式,如图10所示,上述任务模型获取方法可以包括:
S1002,利用FCN模型的第一子模型提取光学医学图像的绿色通道的图像特征信息;
S1004,根据图像特征信息,对光学医学图像的其他通道的颜色分布进行预测,得到颜色分布预测信息,其中,其他通道包括以下至少之一:红色通道,蓝色通道;
S1006,将图像特征信息和颜色分布预测信息输入到FCN模型的第二子模型中,得到其他通道的各个像素点的预测值;
S1008,确定目标损失函数的第一函数值,其中,目标损失函数用于表示其他通道的各个像素点的预测值与其他通道的各个像素点的实际值的相近程度,以及其他通道的各个像素点的预测值的分布与其他通道的各个像素点的实际值的分布的相近程度;
S1010,在第一函数值大于或者等于目标阈值的情况下,对第一子模型的第一模型参数和第二子模型的第二模型参数进行调整,以使将光学医学图像输入到调整后的FCN模型得到的目标损失函数的第二函数值小于第一函数值;
S1012,在第一函数值小于目标阈值的情况下,使用第一子模型的第一模型参数初始化目标训练模型的第三子模型的模型参数,得到初始任务模型,其中,第三子模型与第一子模型的模型结构相同;
S1014,使用光学医学图像对初始任务模型进行训练,得到目标任务模型,其中,目标任务模型用于执行目标图像处理任务。
通过本实施例,在进行任务模型训练之前,进行光学医学图像的自监督学习的预训练,通过利用包含第一子模型(例如,编码器)和第二子模型(例如,解码器)的FCN模型执行根据光学医学图像的绿色通道的内容信息、并以此预测各像素点的其他通道值的任务,以及根据提取的绿色通道的内容信息对光学医学图像的其他通道的颜色分布进行预测的任务,并以光学医学图像的其他通道的各个像素点的实际值和颜色分布作为监督信息进行FCN模型的训练,并将训练得到的第一子模型的模型参数对任务模型中与第一子模型具有相同结构的第三子模型进行初始化,可以在数据量不变的情况下提升相应任务的性能表现,解决了相关技术中随机初始化网络模型存在模型训练收敛速度慢,模型性能差的技术问题,提高了模型训练收敛速度,保证了得到的目标任务模型的模型性能。
可选地,第一子模型可以是编码器,第二子模型可以是解码器。FCN模型的结构可以如图8所示。可以使用位于第一子模型和第二子模型之间的平均池化层和全连接层执行根据图像特征信息,对光学医学图像的其他通道的颜色分布进行预测,得到颜色分布预测信息的步骤。
可选地,其他通道的颜色分布可以通过其他通道的像素值落入像素值区间的不同子区间内的像素点的数目来表示。像素值区间([0,255])可以划分为多个子区间(例如,5个)。颜色分布预测信息用于表示其他通道的像素值落入到各个子区间内的像素点的数目。
可选地,目标损失函数可以为第一损失函数与第二损失函数的加权和,第一损失函数为其他通道的各个像素点的预测值与其他通道的各个像素点的实际值的均方误差(例如,如公式(1)所示),第二损失函数用于表示其他通道的各个像素点的预测值的颜色分布与其他通道的各个像素点的实际值的颜色分布之间的差异(例如,如公式(2)所示)。目标损失函数可以如公式(3)所示。
可选地,进行FCN模型训练的光学医学图像可以有多个,可以将多个光学医学图像依次输入到FCN模型,执行上述步骤S1002至S1010。在进行过多轮迭代之后,调整后的FCN模型可以满足优化目标(目标损失函数的函数值小于目标阈值)。
在FCN模型训练完成之后,可以使用FCN模型中第一子模型的第一模型参数和第二子模型的第二模型参数中的至少之一为目标训练模型进行初始化。
目标训练模型与FCN模型使用相同的训练样本,均为光学医学图像。目标训练模型包含与第一子模型具有相同结构的第三子模型,从而使得可以使用训练好的第一子模型的第一模型参数初始化第三子模型的模型参数。目标训练模型还可以包括与第二子模型具有相同结构的第四子模型,从而使得可以使用训练好的第二子模型的第二模型参数初始化第四子模型的模型参数。
上述目标训练模型、初始任务模型、目标任务模型与前述类似,在此不作赘述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的又一个方面,还提供了一种用于实施上述任务模型获取方法的任务模型获取装置。如图11所示,该装置包括:
(1)获取单元1102,用于获取对第一训练模型进行模型训练得到的目标模型参数,其中,第一训练模型包括:第一编码器和第一解码器,目标模型参数包括:与第一编码器对应的第一模型参数和与第一解码器对应的第二模型参数,第一训练模型的输入为目标光学图像的第一通道的第一图像,训练完成后的第一训练模型的输出为与目标光学图像的第二通道的第二图像对应的预测图像,预测图像与第二图像的图形相似度大于或者等于目标相似度阈值;
(4)初始化单元1104,用于使用目标模型参数初始化第二训练模型的模型参数,得到初始任务模型,其中,第二训练模型包括与第一编码器结构相同的第二编码器;
(3)训练单元1106,用于使用目标光学图像对初始任务模型进行训练,得到目标任务模型,其中,目标任务模型用于执行目标图像处理任务。
可选地,上述任务模型获取装置可以但不限于应用于使用目标光学图像对用于执行目标图像处理任务的任务模型进行训练的过程中。例如,使用光学医学图像对用于执行图形分类任务或者图像分割任务的任务模型进行训练的过程中。
可选地,获取单元1102可以用于执行前述步骤S202,初始化单元1104可以用于执行前述步骤S204,训练单元1106可以用于执行前述步骤S206。
通过本实施例,通过第一训练模型使用目标光学图像的第一通道的第一图像预测目标光学图像第二通道的第二图像的预测图像,并根据预测图像和第二图像的图像相似度对第一训练模型的模型参数进行调整,从而得到第一训练模型中的第一编码器的第一模型参数和第一解码器的第二模型参数,至少将得到的第一模型参数对具有与第一编码器相同结构的第二编码器、且使用目标光学图像执行目标图像处理任务的第二训练模型进行初始化,解决了相关技术中随机初始化网络模型存在模型训练收敛速度慢,模型性能差的技术问题,提高了模型训练收敛速度,保证了得到的目标任务模型的模型性能。
作为一种可选的实施方案,获取单元1102包括:
(1)获取模块,用于获取到所述目标光学图像的所述第一图像和所述第二图像;
(2)输入模块,用于将所述第一图像输入到所述第一训练模型中,得到第一预测图像;
(3)确定模块,用于确定所述第一预测图像与所述第二图像之间的第一图像相似度;
(4)调整模块,用于在所述第一图像相似度小于所述目标相似度阈值的情况下,调整所述第一训练模型的模型参数,以使将所述第一图像输入到调整后的所述第一训练模型得到的第二预测图像与所述第一图像的第二图像相似度,大于所述第一图像相似度。
通过本实施例,通过服务器使用目标光学图像对第一训练模型进行训练获取目标模型参数,可以提高目标模型参数获取的便捷性。
作为一种可选的实施方案,获取模块包括:
(1)第一获取子模块,用于在目标光学图像为光学医学图像的情况下,获取光学医学图像的G通道的图像,作为第一图像;
(2)第二获取子模块,用于获取光学医学图像的其他通道的图像,作为第二图像,其中,其他通道包括以下至少之一:R通道,B通道。
通过本实施例,对于光学医学图像,结合光学医学图像的先验知识,将光学医学图像的G通道的图像作为模型输入,将光学医学图像的RB通道的图像作为监督信息,可以提高训练得到的模型的性能,提高获取的目标模型参数的有效性。
作为一种可选的实施方案,输入模块包括:
(1)提取子模块,用于使用第一编码器从第一图像中提取出目标图像特征;
(2)处理子模块,用于使用目标池化层和目标全连接层对目标图像特征进行处理,得到目标预测信息,其中,目标池化层和目标全连接层位于第一编码器和第一解码器之间,目标预测信息用于表示预测的、第二图像中的各像素的像素值在多个像素值区间上的分布;
(3)输入子模块,用于将目标图像特征和目标预测信息输入到第一解码器,得到第一预测图像。
通过本实施例,通过在第一编码器和第一解码器之间设置平均池化层和全连接层来对第二图像的像素值分布进行预测,可以提升第一训练模型的训练性能。
作为一种可选的实施方案,确定模块包括:
(1)第一确定子模块,用于确定出第一预测图像与第二图像的对应像素点之间的第二均方误差;
(2)第二确定子模块,用于确定与第一预测图像对应的目标散度值,其中,目标散度值用于表示第一概率分布值与第二概率分布值的匹配程度,第一概率分布值为第一预测图像中的各像素的像素值落入到多个像素值区间中的各像素值区间上的概率,第二概率分布值为第二图像中的各像素的像素值落入到多个像素值区间中的各像素值区间上的概率;
(3)求和子模块,用于对第二均方误差与目标散度值进行加权求和,得到第一图像相似度,其中,第一图像相似度与第二均方误差和目标散度值均负相关。
通过本实施例,通过将第二均方误差与目标散度值的加权平均作为第一训练模型的总体优化目标,可以提高训练好的第一训练模型的性能表现。
作为一种可选的实施方案,确定模块包括:
(1)第三确定子模块,用于确定出第一预测图像与第二图像的对应像素点之间的第一均方误差,得到第一图像相似度,其中,第一图像相似度与第一均方误差负相关。
通过本实施例,通过依据均方误差对预测图像与第二图像的相似度进行评价,可以简化计算过程,提高模型训练的效率。
作为一种可选的实施方案,所述初始化单元1104包括:
初始化模块,用于使用所述第一模型参数初始化所述第二训练模型中的所述第二编码器,使用所述第二模型参数初始化所述第二训练模型中的第二解码器,得到所述初始任务模型,其中,所述第二解码器与所述第一解码器的结构相同。
通过本实施例,使用第一模型参数和第二模型参数分别初始化第二训练模型的第二编码器和第二解码器,可以很好适配到需要解码器的任务(例如,分割任务)中,提高网络模型的适用性。
根据本发明实施例的又一个方面,还提供了一种用于实施上述任务模型获取方法的任务模型获取装置。如图12所示,该装置包括:
(1)提取单元1202,用于利用全卷积网络FCN模型的第一子模型提取光学医学图像的绿色通道的图像特征信息;
(2)预测单元1204,用于根据图像特征信息,对光学医学图像的其他通道的颜色分布进行预测,得到颜色分布预测信息,其中,其他通道包括以下至少之一:红色通道,蓝色通道;
(3)输入单元1206,用于将图像特征信息和颜色分布预测信息输入到FCN模型的第二子模型中,得到其他通道的各个像素点的预测值;
(4)确定单元1208,用于确定目标损失函数的第一函数值,其中,目标损失函数用于表示其他通道的各个像素点的预测值与其他通道的各个像素点的实际值的相近程度,以及其他通道的各个像素点的预测值的分布与其他通道的各个像素点的实际值的分布的相近程度;
(5)调整单元1210,用于在第一函数值大于或者等于目标阈值的情况下,对第一子模型的第一模型参数和第二子模型的第二模型参数进行调整,以使将光学医学图像输入到调整后的FCN模型得到的目标损失函数的第二函数值小于第一函数值;
(6)初始化单元1212,用于在第一函数值小于目标阈值的情况下,使用第一子模型的第一模型参数初始化目标训练模型的第三子模型的模型参数,得到初始任务模型,其中,第三子模型与第一子模型的模型结构相同;
(7)训练单元1214,用于使用光学医学图像对初始任务模型进行训练,得到目标任务模型,其中,目标任务模型用于执行目标图像处理任务。
通过本实施例,在进行任务模型训练之前,进行光学医学图像的自监督学习的预训练,通过利用包含第一子模型(例如,编码器)和第二子模型(例如,解码器)的FCN模型执行根据光学医学图像的绿色通道的内容信息、并以此预测各像素点的其他通道值的任务,以及根据提取的绿色通道的内容信息对光学医学图像的其他通道的颜色分布进行预测的任务,并以光学医学图像的其他通道的各个像素点的实际值和颜色分布作为监督信息进行FCN模型的训练,并将训练得到的第一子模型的模型参数对任务模型中与第一子模型具有相同结构的第三子模型进行初始化,解决了相关技术中随机初始化网络模型存在模型训练收敛速度慢,模型性能差的技术问题,提高了模型训练收敛速度,保证了得到的目标任务模型的模型性能。
可选地,提取单元1202可以用于执行前述步骤S1002,预测单元1204可以用于执行前述步骤S1004,输入单元1206可以用于执行前述步骤S1006,确定单元1208可以用于执行前述步骤S1008,调整单元1210可以用于执行前述步骤S1010,初始化单元1212可以用于执行前述步骤S1012,训练单元1214可以用于执行前述步骤S1014。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
根据本发明的实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取对第一训练模型进行模型训练得到的目标模型参数,其中,第一训练模型包括:第一编码器和第一解码器,目标模型参数包括:与第一编码器对应的第一模型参数和与第一解码器对应的第二模型参数,第一训练模型的输入为目标光学图像的第一通道的第一图像,训练完成后的第一训练模型的输出为与目标光学图像的第二通道的第二图像对应的预测图像,预测图像与第二图像的图形相似度大于或者等于目标相似度阈值;
S2,使用目标模型参数初始化第二训练模型的模型参数,得到初始任务模型,其中,第二训练模型包括与第一编码器结构相同的第二编码器;
S3,使用目标光学图像对初始任务模型进行训练,得到目标任务模型,其中,目标任务模型用于执行目标图像处理任务。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,利用FCN模型的第一子模型提取光学医学图像的绿色通道的图像特征信息;
S2,根据图像特征信息,对光学医学图像的其他通道的颜色分布进行预测,得到颜色分布预测信息,其中,其他通道包括以下至少之一:红色通道,蓝色通道;
S3,将图像特征信息和颜色分布预测信息输入到FCN模型的第二子模型中,得到其他通道的各个像素点的预测值;
S4,确定目标损失函数的第一函数值,其中,目标损失函数用于表示其他通道的各个像素点的预测值与其他通道的各个像素点的实际值的相近程度,以及其他通道的各个像素点的预测值的分布与其他通道的各个像素点的实际值的分布的相近程度;
S5,在第一函数值大于或者等于目标阈值的情况下,对第一子模型的第一模型参数和第二子模型的第二模型参数进行调整,以使将光学医学图像输入到调整后的FCN模型得到的目标损失函数的第二函数值小于第一函数值;
S6,在第一函数值小于目标阈值的情况下,使用第一子模型的第一模型参数初始化目标训练模型的第三子模型的模型参数,得到初始任务模型,其中,第三子模型与第一子模型的模型结构相同;
S7,使用光学医学图像对初始任务模型进行训练,得到目标任务模型,其中,目标任务模型用于执行目标图像处理任务。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
根据本发明实施例的又一个方面,还提供了一种用于实施上述任务模型获取方法的电子装置,如图13所示,该电子装置包括:处理器1302、存储器1304、传输装置1306等。该存储器中存储有计算机程序,该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取对第一训练模型进行模型训练得到的目标模型参数,其中,第一训练模型包括:第一编码器和第一解码器,目标模型参数包括:与第一编码器对应的第一模型参数和与第一解码器对应的第二模型参数,第一训练模型的输入为目标光学图像的第一通道的第一图像,训练完成后的第一训练模型的输出为与目标光学图像的第二通道的第二图像对应的预测图像,预测图像与第二图像的图形相似度大于或者等于目标相似度阈值;
S2,使用目标模型参数初始化第二训练模型的模型参数,得到初始任务模型,其中,第二训练模型包括与第一编码器结构相同的第二编码器;
S3,使用目标光学图像对初始任务模型进行训练,得到目标任务模型,其中,目标任务模型用于执行目标图像处理任务。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,利用FCN模型的第一子模型提取光学医学图像的绿色通道的图像特征信息;
S2,根据图像特征信息,对光学医学图像的其他通道的颜色分布进行预测,得到颜色分布预测信息,其中,其他通道包括以下至少之一:红色通道,蓝色通道;
S3,将图像特征信息和颜色分布预测信息输入到FCN模型的第二子模型中,得到其他通道的各个像素点的预测值;
S4,确定目标损失函数的第一函数值,其中,目标损失函数用于表示其他通道的各个像素点的预测值与其他通道的各个像素点的实际值的相近程度,以及其他通道的各个像素点的预测值的分布与其他通道的各个像素点的实际值的分布的相近程度;
S5,在第一函数值大于或者等于目标阈值的情况下,对第一子模型的第一模型参数和第二子模型的第二模型参数进行调整,以使将光学医学图像输入到调整后的FCN模型得到的目标损失函数的第二函数值小于第一函数值;
S6,在第一函数值小于目标阈值的情况下,使用第一子模型的第一模型参数初始化目标训练模型的第三子模型的模型参数,得到初始任务模型,其中,第三子模型与第一子模型的模型结构相同;
S7,使用光学医学图像对初始任务模型进行训练,得到目标任务模型,其中,目标任务模型用于执行目标图像处理任务。
可选地,本领域普通技术人员可以理解,图13所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图13其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图13中所示更多或者更少的组件(如网络接口等),或者具有与图13所示不同的配置。
其中,存储器1304可用于存储软件程序以及模块,如本发明实施例中的任务模型获取方法和装置对应的程序指令/模块,处理器1302通过运行存储在存储器1304内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述任务模型获取方法。存储器1304可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1304可进一步包括相对于处理器1302远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1306用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1306包括一个网络适配器(NetworkInterface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1306为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种任务模型获取方法,其特征在于,包括:
获取对第一训练模型进行模型训练得到的目标模型参数,其中,所述第一训练模型包括:第一编码器和第一解码器,所述目标模型参数包括:与所述第一编码器对应的第一模型参数和与所述第一解码器对应的第二模型参数,所述第一训练模型的输入为目标光学图像的第一通道的第一图像,训练完成后的所述第一训练模型的输出为与所述目标光学图像的第二通道的第二图像对应的预测图像,所述预测图像与所述第二图像的图形相似度大于或者等于目标相似度阈值;
使用所述目标模型参数初始化第二训练模型的模型参数,得到初始任务模型,其中,所述第二训练模型包括与所述第一编码器结构相同的第二编码器;
使用所述目标光学图像对所述初始任务模型进行训练,得到目标任务模型,其中,所述目标任务模型用于执行目标图像处理任务。
2.根据权利要求1所述的方法,其特征在于,获取对所述第一训练模型进行模型训练得到的所述目标模型参数包括:
获取到所述目标光学图像的所述第一图像和所述第二图像;
将所述第一图像输入到所述第一训练模型中,得到第一预测图像;
确定所述第一预测图像与所述第二图像之间的第一图像相似度;
在所述第一图像相似度小于所述目标相似度阈值的情况下,调整所述第一训练模型的模型参数,以使将所述第一图像输入到调整后的所述第一训练模型得到的第二预测图像与所述第二图像的第二图像相似度,大于所述第一图像相似度。
3.根据权利要求2所述的方法,其特征在于,获取到所述目标光学图像的所述第一图像和所述第二图像包括:
在目标光学图像为光学医学图像的情况下,获取所述光学医学图像的G通道的图像,作为所述第一图像;
获取所述光学医学图像的其他通道的图像,作为所述第二图像,其中,所述其他通道包括以下至少之一:R通道,B通道。
4.根据权利要求2所述的方法,其特征在于,确定所述第一预测图像与所述第二图像之间的第一图像相似度包括:
确定出所述第一预测图像与所述第二图像的对应像素点之间的第一均方误差,得到所述第一图像相似度,其中,所述第一图像相似度与所述第一均方误差负相关。
5.根据权利要求2所述的方法,其特征在于,将所述第一图像输入到所述第一训练模型中,得到所述第一预测图像包括:
使用所述第一编码器从所述第一图像中提取出目标图像特征;
使用目标池化层和目标全连接层对所述目标图像特征进行处理,得到目标预测信息,其中,所述目标池化层和目标全连接层位于所述第一编码器和所述第一解码器之间,所述目标预测信息用于表示预测的、所述第二图像中的各像素的像素值在多个像素值区间上的分布;
将所述目标图像特征和所述目标预测信息输入到所述第一解码器,得到所述第一预测图像。
6.根据权利要求5所述的方法,其特征在于,确定所述第一预测图像与所述第二图像之间的第一图像相似度包括:
确定出所述第一预测图像与所述第二图像的对应像素点之间的第二均方误差;
确定与所述第一预测图像对应的目标散度值,其中,所述目标散度值用于表示第一概率分布值与第二概率分布值的匹配程度,所述第一概率分布值为所述第一预测图像中的各像素的像素值落入到所述多个像素值区间中的各像素值区间上的概率,所述第二概率分布值为所述第二图像中的各像素的像素值落入到所述多个像素值区间中的各像素值区间上的概率;
对所述第二均方误差与所述目标散度值进行加权求和,得到所述第一图像相似度,其中,所述第一图像相似度与所述第二均方误差和所述目标散度值均负相关。
7.根据权利要求1至6中任一项所述的方法,其特征在于,使用所述目标模型参数初始化所述第二训练模型的模型参数,得到所述初始任务模型包括:
使用所述第一模型参数初始化所述第二训练模型中的所述第二编码器,使用所述第二模型参数初始化所述第二训练模型中的第二解码器,得到所述初始任务模型,其中,所述第二解码器与所述第一解码器的结构相同。
8.一种任务模型获取方法,其特征在于,包括:
利用全卷积网络FCN模型的第一子模型提取光学医学图像的绿色通道的图像特征信息;
根据所述图像特征信息,对所述光学医学图像的其他通道的颜色分布进行预测,得到颜色分布预测信息,其中,所述其他通道包括以下至少之一:红色通道,蓝色通道;
将所述图像特征信息和所述颜色分布预测信息输入到所述FCN模型的第二子模型中,得到所述其他通道的各个像素点的预测值;
确定目标损失函数的第一函数值,其中,所述目标损失函数用于表示所述其他通道的各个像素点的预测值与所述其他通道的各个像素点的实际值的相近程度,以及所述其他通道的各个像素点的预测值的分布与所述其他通道的各个像素点的实际值的分布的相近程度;
在所述第一函数值大于或者等于目标阈值的情况下,对所述第一子模型的第一模型参数和所述第二子模型的第二模型参数进行调整,以使将所述光学医学图像输入到调整后的所述FCN模型得到的所述目标损失函数的第二函数值小于所述第一函数值;
在所述第一函数值小于目标阈值的情况下,使用所述第一子模型的第一模型参数初始化目标训练模型的第三子模型的模型参数,得到初始任务模型,其中,所述第三子模型与所述第一子模型的模型结构相同;
使用所述光学医学图像对所述初始任务模型进行训练,得到目标任务模型,其中,所述目标任务模型用于执行目标图像处理任务。
9.一种任务模型获取装置,其特征在于,包括:
获取单元,用于获取对第一训练模型进行模型训练得到的目标模型参数,其中,所述第一训练模型包括:第一编码器和第一解码器,所述目标模型参数包括:与所述第一编码器对应的第一模型参数和与所述第一解码器对应的第二模型参数,所述第一训练模型的输入为目标光学图像的第一通道的第一图像,训练完成后的所述第一训练模型的输出为与所述目标光学图像的第二通道的第二图像对应的预测图像,所述预测图像与所述第二图像的图形相似度大于或者等于目标相似度阈值;
初始化单元,用于使用所述目标模型参数初始化第二训练模型的模型参数,得到初始任务模型,其中,所述第二训练模型包括与所述第一编码器结构相同的第二编码器;
训练单元,用于使用所述目标光学图像对所述初始任务模型进行训练,得到目标任务模型,其中,所述目标任务模型用于执行目标图像处理任务。
10.根据权利要求9所述的装置,其特征在于,所述获取单元包括:
获取模块,用于获取到所述目标光学图像的所述第一图像和所述第二图像;
输入模块,用于将所述第一图像输入到所述第一训练模型中,得到第一预测图像;
确定模块,用于确定所述第一预测图像与所述第二图像之间的第一图像相似度;
调整模块,用于在所述第一图像相似度小于所述目标相似度阈值的情况下,调整所述第一训练模型的模型参数,以使将所述第一图像输入到调整后的所述第一训练模型得到的第二预测图像与所述第一图像的第二图像相似度,大于所述第一图像相似度。
11.根据权利要求10所述的装置,其特征在于,所述输入模块包括:
提取子模块,用于使用所述第一编码器从所述第一图像中提取出目标图像特征;
处理子模块,用于使用目标池化层和目标全连接层对所述目标图像特征进行处理,得到目标预测信息,其中,所述目标池化层和目标全连接层位于所述第一编码器和所述第一解码器之间,所述目标预测信息用于表示预测的、所述第二图像中的各像素的像素值在多个像素值区间上的分布;
输入子模块,用于将所述目标图像特征和所述目标预测信息输入到所述第一解码器,得到所述第一预测图像。
12.根据权利要求9至11中任一项所述的装置,其特征在于,所述初始化单元包括:
初始化模块,用于使用所述第一模型参数初始化所述第二训练模型中的所述第二编码器,使用所述第二模型参数初始化所述第二训练模型中的第二解码器,得到所述初始任务模型,其中,所述第二解码器与所述第一解码器的结构相同。
13.一种任务模型获取装置,其特征在于,包括:
提取单元,用于利用全卷积网络FCN模型的第一子模型提取光学医学图像的绿色通道的图像特征信息;
预测单元,用于根据所述图像特征信息,对所述光学医学图像的其他通道的颜色分布进行预测,得到颜色分布预测信息,其中,所述其他通道包括以下至少之一:红色通道,蓝色通道;
输入单元,用于将所述图像特征信息和所述颜色分布预测信息输入到所述FCN模型的第二子模型中,得到所述其他通道的各个像素点的预测值;
确定单元,用于确定目标损失函数的第一函数值,其中,所述目标损失函数用于表示所述其他通道的各个像素点的预测值与所述其他通道的各个像素点的实际值的相近程度,以及所述其他通道的各个像素点的预测值的分布与所述其他通道的各个像素点的实际值的分布的相近程度;
调整单元,用于在所述第一函数值大于或者等于目标阈值的情况下,对所述第一子模型的第一模型参数和所述第二子模型的第二模型参数进行调整,以使将所述光学医学图像输入到调整后的所述FCN模型得到的所述目标损失函数的第二函数值小于所述第一函数值;
初始化单元,用于在所述第一函数值小于目标阈值的情况下,使用所述第一子模型的第一模型参数初始化目标训练模型的第三子模型的模型参数,得到初始任务模型,其中,所述第三子模型与所述第一子模型的模型结构相同;
训练单元,用于使用所述光学医学图像对所述初始任务模型进行训练,得到目标任务模型,其中,所述目标任务模型用于执行目标图像处理任务。
14.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。
15.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至8任一项中所述的方法。
CN201910578723.2A 2019-06-28 2019-06-28 任务模型获取方法和装置、存储介质及电子装置 Active CN110363296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910578723.2A CN110363296B (zh) 2019-06-28 2019-06-28 任务模型获取方法和装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910578723.2A CN110363296B (zh) 2019-06-28 2019-06-28 任务模型获取方法和装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN110363296A true CN110363296A (zh) 2019-10-22
CN110363296B CN110363296B (zh) 2022-02-08

Family

ID=68216105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910578723.2A Active CN110363296B (zh) 2019-06-28 2019-06-28 任务模型获取方法和装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN110363296B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160460A (zh) * 2019-12-27 2020-05-15 联想(北京)有限公司 对象识别方法和装置以及电子设备和介质
CN111199193A (zh) * 2019-12-23 2020-05-26 平安国际智慧城市科技股份有限公司 基于数字切片的图片分类方法、装置和计算机设备
CN111524190A (zh) * 2020-07-01 2020-08-11 北京三快在线科技有限公司 视觉定位网络的训练、无人驾驶设备的控制方法及装置
CN111860485A (zh) * 2020-07-24 2020-10-30 腾讯科技(深圳)有限公司 图像识别模型的训练方法、图像的识别方法、装置、设备
CN112884772A (zh) * 2019-11-29 2021-06-01 北京四维图新科技股份有限公司 语义分割架构
CN116433508A (zh) * 2023-03-16 2023-07-14 湖北大学 一种基于Swin-Unet的灰度图像着色校正方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778785A (zh) * 2016-12-23 2017-05-31 东软集团股份有限公司 构建图像特征提取模型的方法及图像识别的方法、装置
CN107516330A (zh) * 2017-08-31 2017-12-26 上海联影医疗科技有限公司 模型生成方法、图像处理方法及医学成像设备
CN107578435A (zh) * 2017-09-11 2018-01-12 清华-伯克利深圳学院筹备办公室 一种图像深度预测方法及装置
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109272044A (zh) * 2018-09-19 2019-01-25 郑州云海信息技术有限公司 一种图像相似度确定方法、装置、设备及存储介质
US20190050982A1 (en) * 2017-08-09 2019-02-14 Shenzhen Keya Medical Technology Corporation System and method for automatically detecting a physiological condition from a medical image of a patient

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778785A (zh) * 2016-12-23 2017-05-31 东软集团股份有限公司 构建图像特征提取模型的方法及图像识别的方法、装置
US20190050982A1 (en) * 2017-08-09 2019-02-14 Shenzhen Keya Medical Technology Corporation System and method for automatically detecting a physiological condition from a medical image of a patient
CN107516330A (zh) * 2017-08-31 2017-12-26 上海联影医疗科技有限公司 模型生成方法、图像处理方法及医学成像设备
CN107578435A (zh) * 2017-09-11 2018-01-12 清华-伯克利深圳学院筹备办公室 一种图像深度预测方法及装置
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109272044A (zh) * 2018-09-19 2019-01-25 郑州云海信息技术有限公司 一种图像相似度确定方法、装置、设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884772A (zh) * 2019-11-29 2021-06-01 北京四维图新科技股份有限公司 语义分割架构
CN112884772B (zh) * 2019-11-29 2024-03-19 北京四维图新科技股份有限公司 语义分割架构
CN111199193A (zh) * 2019-12-23 2020-05-26 平安国际智慧城市科技股份有限公司 基于数字切片的图片分类方法、装置和计算机设备
CN111199193B (zh) * 2019-12-23 2022-03-18 平安国际智慧城市科技股份有限公司 基于数字切片的图片分类方法、装置和计算机设备
CN111160460A (zh) * 2019-12-27 2020-05-15 联想(北京)有限公司 对象识别方法和装置以及电子设备和介质
CN111524190A (zh) * 2020-07-01 2020-08-11 北京三快在线科技有限公司 视觉定位网络的训练、无人驾驶设备的控制方法及装置
CN111524190B (zh) * 2020-07-01 2020-10-02 北京三快在线科技有限公司 视觉定位网络的训练、无人驾驶设备的控制方法及装置
CN111860485A (zh) * 2020-07-24 2020-10-30 腾讯科技(深圳)有限公司 图像识别模型的训练方法、图像的识别方法、装置、设备
CN111860485B (zh) * 2020-07-24 2024-04-26 腾讯科技(深圳)有限公司 图像识别模型的训练方法、图像的识别方法、装置、设备
CN116433508A (zh) * 2023-03-16 2023-07-14 湖北大学 一种基于Swin-Unet的灰度图像着色校正方法
CN116433508B (zh) * 2023-03-16 2023-10-27 湖北大学 一种基于Swin-Unet的灰度图像着色校正方法

Also Published As

Publication number Publication date
CN110363296B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN110363296A (zh) 任务模型获取方法和装置、存储介质及电子装置
CN109614996B (zh) 基于生成对抗网络的弱可见光与红外图像融合的识别方法
CN106469302B (zh) 一种基于人工神经网络的人脸肤质检测方法
Chakrabarti Learning sensor multiplexing design through back-propagation
Yang et al. Single image haze removal via region detection network
CN109558832A (zh) 一种人体姿态检测方法、装置、设备及存储介质
CN111524205A (zh) 基于循环生成对抗网络的图像着色处理方法及装置
CN108846314A (zh) 一种基于深度学习的食材辨识系统和食材辨识方法
CN110263681A (zh) 面部表情的识别方法和装置、存储介质、电子装置
CN107909008A (zh) 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法
CN110198437A (zh) 图像的处理方法、装置、存储介质和电子装置
CN109223002A (zh) 自闭症患病预测方法、装置、设备及存储介质
CN111145097A (zh) 图像处理方法、装置和图像处理系统
CN109816666B (zh) 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质
CN111275638B (zh) 基于多通道注意力选择生成对抗网络的人脸修复方法
CN110120034B (zh) 一种与视觉感知相关的图像质量评价方法
WO2022221371A1 (en) Digital imaging and learning systems and methods for analyzing pixel data of a scalp region of a user's scalp to generate one or more user-specific scalp classifications
CN109961102A (zh) 图像处理方法、装置、电子设备及存储介质
KR20190015656A (ko) Iot 기반 과수 모니터링 시스템 및 방법
CN112991371A (zh) 一种基于着色溢出约束的图像自动着色方法及系统
CN114360018B (zh) 三维人脸表情的渲染方法及装置、存储介质及电子装置
CN112884118A (zh) 神经网络的搜索方法、装置及设备
Bhise et al. Plant disease detection using machine learning
KR102208685B1 (ko) 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법
Richart et al. Image colorization with neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211009

Address after: 518000 Room 201, building a, No. 1, Qianwan 1st Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong

Applicant after: Tencent medical health (Shenzhen) Co., Ltd

Address before: 518000 35 / F, Tencent building, Keji Zhongyi Road, high tech Zone, Nanshan District, Shenzhen, Guangdong

Applicant before: Tencent Technology (Shenzhen) Co., Ltd

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant