CN111179235A - 图像检测模型的生成方法及装置、应用方法及装置 - Google Patents
图像检测模型的生成方法及装置、应用方法及装置 Download PDFInfo
- Publication number
- CN111179235A CN111179235A CN201911336284.0A CN201911336284A CN111179235A CN 111179235 A CN111179235 A CN 111179235A CN 201911336284 A CN201911336284 A CN 201911336284A CN 111179235 A CN111179235 A CN 111179235A
- Authority
- CN
- China
- Prior art keywords
- image
- value
- deep learning
- network
- learning network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000013135 deep learning Methods 0.000 claims abstract description 193
- 230000009467 reduction Effects 0.000 claims abstract description 115
- 230000002159 abnormal effect Effects 0.000 claims abstract description 83
- 230000006870 function Effects 0.000 claims description 129
- 238000011156 evaluation Methods 0.000 claims description 104
- 238000012549 training Methods 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 10
- 238000007689 inspection Methods 0.000 claims 3
- 230000000875 corresponding effect Effects 0.000 description 127
- 230000008569 process Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 10
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明实施例提供一种图像检测模型的生成方法及装置、应用方法及装置。本发明实施例中,通过设置深度学习网络模型,深度学习网络模型包括降维网络和密度估计网络,降维网络包括降维子网络和重建子网络,重建子网络的输入为降维子网络输出的低维特征,密度估计网络的输入为根据降维网络产生的关联参数生成的数据,以及设置深度学习网络模型的初始参数值,获取若干幅样本图像,利用样本图像对深度学习网络模型进行训练,得到图像检测模型,结合相互关联的降维网络和密度估计网络两种方式共同检测,提高了异常图像的检测准确率。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像检测模型的生成方法及装置、应用方法及装置。
背景技术
随着医学影像技术的不断进步,临床医学图像的质量和数量也在不断的提高。如果在扫描时不能实时检测出质量不符合要求的医学图像,就需要对受检者重新扫描,浪费受检者的时间。因此,对于医学图像的异常检测尤其是对数据量大的高维医学图像的异常检测十分重要。
相关技术中,利用重建误差对图像进行检测。其依据是:正常图像的重建误差小,异常图像的重建误差大。相关技术的检测过程是:对待检测图像进行降维处理,得到低维特征,利用低维特征进行图像重建,得到重建图像,根据重建图像与待检测图像求出重建误差,基于重建误差的大小确定待检测图像是否为异常图像。这种技术对于较复杂的待检测图像或者降维算法的复杂度较高时,容易发生异常图像的重建误差也很低的情况,导致检测准确率降低。
发明内容
为克服相关技术中存在的问题,本发明提供了一种图像检测模型的生成方法及装置、应用方法及装置,提高异常图像的检测准确率。
根据本发明实施例的第一方面,提供一种图像检测模型的生成方法,所述方法包括:
设置深度学习网络模型,所述深度学习网络模型包括降维网络和密度估计网络,所述降维网络包括降维子网络和重建子网络,所述重建子网络的输入为所述降维子网络输出的低维特征,所述密度估计网络的输入为根据所述降维网络产生的关联参数生成的数据;以及设置所述深度学习网络模型的初始参数值;
获取样本图像集,所述样本图像集中包括多幅样本图像;
利用所述样本图像对所述深度学习网络模型进行训练,得到训练完毕的深度学习网络模型,以所述训练完毕的深度学习网络模型作为图像检测模型。
根据本发明实施例的第二方面,提供一种图像检测模型的应用方法,所述方法包括:
接收待检测图像;将所述待检测图像输入图像检测模型,获得所述图像检测模型输出的目标概率值,所述图像检测模型为根据第一方面任一项图像检测模型的生成方法生成的模型;
根据所述目标概率值,确定评价参数的值,评价参数为以概率为自变量的函数;
将所述评价参数的值与所述图像检测模型对应的评价参数的阈值进行比较,根据比较结果确定所述待检测图像是否属于异常图像。
根据本发明实施例的第三方面,提供一种图像检测模型的生成装置,所述装置包括:
设置模块,用于设置深度学习网络模型,所述深度学习网络模型包括降维网络和密度估计网络,所述降维网络包括降维子网络和重建子网络,所述重建子网络的输入为所述降维子网络输出的低维特征,所述密度估计网络的输入为根据所述降维网络产生的关联参数生成的数据;以及设置所述深度学习网络模型的初始参数值;
样本获取模块,用于获取样本图像集,所述样本图像集中包括多幅样本图像;
训练模块,用于利用所述样本图像对所述深度学习网络模型进行训练,得到训练完毕的深度学习网络模型,以所述训练完毕的深度学习网络模型作为图像检测模型。
根据本发明实施例的第四方面,提供一种图像检测模型的应用装置,所述装置包括:
接收模块,用于接收待检测图像;
输入模块,用于将所述待检测图像输入图像检测模型,获得所述图像检测模型输出的目标概率值,所述图像检测模型为根据第一方面任一项图像检测模型的生成方法生成的模型;
确定模块,用于根据所述目标概率值,确定评价参数的值,评价参数为以概率为自变量的函数;
比较模块,用于将所述评价参数的值与所述图像检测模型对应的评价参数的阈值进行比较,根据比较结果确定所述待检测图像是否属于异常图像。
本发明实施例提供的技术方案可以包括以下有益效果:
本发明实施例,通过设置深度学习网络模型,深度学习网络模型包括降维网络和密度估计网络,降维网络包括降维子网络和重建子网络,重建子网络的输入为降维子网络输出的低维特征,密度估计网络的输入为根据降维网络产生的关联参数生成的数据,以及设置深度学习网络模型的初始参数值,获取样本图像集,利用样本图像对深度学习网络模型进行训练,得到图像检测模型,结合相互关联的降维网络和密度估计网络共同检测图像,提高了异常图像的检测准确率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本说明书的实施例,并与说明书一起用于解释本说明书的原理。
图1是本发明实施例提供的图像检测模型的生成方法的流程示例图。
图2是本发明实施例提供的深度学习网络模型的结构示例图。
图3是本发明实施例提供的图像检测模型的应用方法的流程示例图。
图4是本发明实施例提供的图像检测模型的生成装置的功能方块图。
图5是本发明实施例提供的图像检测模型的应用装置的功能方块图。
图6是本发明实施例提供的电子设备的一个硬件结构图。
图7是本发明实施例提供的电子设备的另一个硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。
在本发明实施例使用的术语是仅仅出于描述特定本发明实施例的目的,而非旨在限制本发明实施例。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本文中,利用图像检测模型检测异常图像又称为异常检测。异常检测的目的是在只给定正常图像样本的情况下,检测出异常图像。异常检测不需要大量的有人为标注的数据,因此不受人为判断误差的影响,同时能够自动的挖掘正常图像的形态特征,从而判定图像是否异常。
本文中,正常图像指图像质量符合预设质量要求的医学图像,异常图像指图像质量不符合预设质量要求的医学图像。
其中,预设质量要求可以根据应用需求来设定。例如,在一个示例中,预设质量要求可以是不影响医生诊断、结构清晰,则正常图像为不影响医生诊断的、解剖结构清晰的图像;异常图像包括各种影响医生诊断的图像,例如,存在噪声污染的图像、灰度不均匀的图像、存在运动伪影的图像、存在卷叠伪影的图像等。
图像检测模型的一个典型应用场景是在医学图像的扫描过程中,实时对图像进行检测,如果检测出异常图像,则及时提醒医师重新扫描。以避免在扫描过程之后的诊断阶段发现是异常图像,需要通知受检者重新扫描的情况,为受检者节省时间,提高受检者的满意度。
当然,上述应用场景仅为图像检测模型为图像检测模型可应用的场景的一个示例,并不用于对图像检测模型的应用场景进行限制。除了上述应用场景,利用本发明实施例提供的方法生成的图像检测模型还可以用于其他应用场景。图像检测模型能够检测的图像也不局限于医学图像,还可以对其他图像进行检测。
下面通过实施例分别对图像检测模型的训练过程和应用过程进行说明。
图1是本发明实施例提供的图像检测模型的生成方法的流程示例图。该实施例描述了图像检测模型的训练过程。如图1所示,图像检测模型的生成方法可以包括:
S101,设置深度学习网络模型,深度学习网络模型包括降维网络和密度估计网络,降维网络包括降维子网络和重建子网络,重建子网络的输入为降维子网络输出的低维特征,密度估计网络的输入为根据降维网络产生的关联参数生成的数据;以及设置深度学习网络模型的初始参数值。
S102,获取样本图像集,样本图像集中包括多幅样本图像。
S103,利用样本图像对深度学习网络模型进行训练,得到训练完毕的深度学习网络模型,以训练完毕的深度学习网络模型作为图像检测模型。
本实施例中,深度学习网络模型既包括降维网络,也包括密度估计网络,降维网络包括降维子网络和重建子网络,并且,降维网络和密度估计网络二者之间并不是独立的,而是相互关联的。密度估计网络的输入来自于包括重建子网络的降维网络。本实施例的深度学习网络模型,通过降维网络中的重建子网络检测不出来的异常图像可以通过密度估计网络检测出来,这样就弥补了基于重建误差的异常检测算法针对较复杂的待检测图像或者降维算法的复杂度较高的情况时,因重建误差较小而无法检测出异常图像的缺陷,提高了检测准确率。
本实施例中,样本图像集中可以包括正常图像。样本图像集中也可以既包括正常图像,也包括异常图像。
图2是本发明实施例提供的深度学习网络模型的结构示例图。如图2所示,本实施例中,深度学习网络模型包括降维网络和密度估计网络,其中,降维网络又包括两部分网络,第一部分是从输入(Input)至输出低维特征Zinput,本文中将这部分称为降维子网络;第二部分是降维网络中除第一部分后剩余的部分,即输出低维特征Zinput到输出重建图像(Predict)的部分,本文中将这部分称为重建子网络。
下面对图2所示深度学习网络模型的数据处理过程进行说明。
将输入图像Imageinput输入深度学习网络模型,降维子网络对输入图像Imageinput的高维特征进行降维处理,输出输入图像Imageinput的低维特征Zinput;然后,将低维特征Zinput输入重建子网络,重建子网络利用低维特征Zinput进行图像重建,输出重建图像Predict。利用重建图像Predict和输入图像Imageinput计算重建误差Errorrecons。
将重建图像Predict作为输入图像Imageinput输入深度学习网络模型,经降维子网络输出低维特征Zinput1(图2中未示出),根据低维特征Zinput和低维特征Zinput1计算出低维特征误差ZLoss。
根据重建误差Errorrecons创建重建误差集合,重建误差集合中的每个元素均是根据重建误差Errorrecons生成的。
根据低维特征Zinput创建低维特征集合,低维特征集合中的每个元素均是根据低维特征Zinput生成的。
根据低维特征误差ZLoss创建低维特征误差集合,低维特征误差集合中的每个元素均是根据低维特征误差ZLoss生成的。
从重建误差集合、低维特征集合、低维特征误差集合这三个集合中选择其中的一个集合或任意几个集合,从选择的集合中选择集合中的全部或部分元素,将选择出的各个元素的加权组合作为后续密度估计网络的输入。密度估计网络对输入进行处理后输出概率值Y。
深度学习网络模型的损失函数由两部分组成,一部分是降维网络的第一损失函数,另一部分是密度估计网络的第二损失函数。深度学习网络模型的损失函数可以是第一损失函数与第二损失函数的和。
当输入图像Imageinput为正常图像时,深度学习网络模型的损失函数为正损失函数Losspositive。
当输入图像Imageinput为异常图像时,深度学习网络模型的损失函数负损失函数Lossnegative。负损失函数Lossnegative与正损失函数Losspositive互为相反值,Lossnegative=-Losspositive。
根据密度估计网络采用的模型,可以设置相应的评价参数。评价参数用于评价图像属于异常图像的程度。在训练完深度学习网络模型后,可以根据属于正常图像的样本图像和属于异常图像的样本图像输入训练完毕的深度学习网络模型获得的概率值确定评价参数的阈值。
在应用时,深度学习网络模型中的各个参数值为训练好的确定的值,评价参数的阈值也是确定的值。训练好的深度学习网络模型为图像检测模型。在应用过程中,将待检测图像输入图像检测模型,图像检测模型输出待检测图像对应的概率值。根据该概率值计算出评价参数的值,如果评价参数的值大于或等于评价参数的阈值,则判定待检测图像为异常图像;否则,如果评价参数的值小于评价参数的阈值,则判定待检测图像为正常图像。
图2所示深度学习网络模型将降维处理与密度估计有效的结合在一起,能够获得更鲁棒、更精准的图像检测结果。
在一个示例性的实现过程中,步骤S103可以包括:
从样本图像集中选取若干组样本图像;第1组样本图像对应的深度学习网络模型的参数值为所述初始参数值,第j组样本图像对应的深度学习网络模型的参数值为经第j-1组样本图像训练后调整的参数值,j为自然数,且j≥2;对于每组样本图像,执行如下操作:
对于该组样本图像中的每一幅样本图像,将该样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中降维网络输出的重建图像和密度估计网络输出的概率值;根据所述重建图像和所述概率值,确定所述深度学习网络模型的损失函数的函数值,作为该样本图像对应的损失函数值;
获取该组样本图像中样本图像的损失函数值的平均值,并根据所述平均值调整所述深度学习网络模型的各参数值;
若满足预设的训练停止条件,停止训练,以该组样本图像训练后调整的参数值作为训练完毕的深度学习网络模型的参数值。
本实施例中,每组样本图像中包括的样本图像数量可以根据需要设定。对于每组样本图像中的所有样本图像来说,训练时使用的深度学习网络模型是相同的。调整深度学习网络模型的参数值是在对一组样本图像中的所有样本图像都训练完毕时进行的。
本实施例中,样本图像可以只包括正常图像,即只利用正常图像来训练深度学习网络模型。
本实施例中,样本图像也可以既包括正常图像,也包括异常图像,即利用正常图像和异常图像共同来训练深度学习网络模型。样本图像为正常图像时称为正样本,样本图像为异常图像时称为负样本。在对大量正样本的训练过程中,加入少量负样本的约束,能够使得正样本分布的边界更紧凑。需要指出的是,本发明实施例所需的正样本,是指解剖结构清晰的正常图像,在实际应用中是很容易获取的,同时本发明实施例并不需要大量的负样本。在本发明实施例中,负样本并不是必不可少的,而是作为一种更好的约束,所以本发明实施例所需的样本图像集很容易获得。
在一个示例性的实现过程中,将样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中降维网络输出的重建图像,可以包括:
将该样本图像输入该组样本图像对应的深度学习网络模型,获取降维子网络输出的第一低维特征;
将所述第一低维特征输入该组样本图像对应的深度学习网络模型中的重建子网络,获取所述重建子网络输出的重建图像。
在一个示例性的实现过程中,将该样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中密度估计网络输出的概率值,可以包括:
将该样本图像输入该组样本图像对应的深度学习网络模型,获取降维子网络输出的第一低维特征;
根据所述第一低维特征,确定关联参数值;
根据所述关联参数值,确定所述密度估计网络的输入数据;
将所述输入数据输入所述密度估计网络,得到密度估计网络输出的概率值。
其中,关联参数值是关联参数的参数值。关联参数可以包括前述的重建误差集合、低维特征集合、低维特征误差集合中的至少一个元素。
其中,降维子网络可以利用PCA(Principal Component Analysis,主成分分析)、Auto-encoder(自编码器)等方法,对输入图像的高维特征进行降维处理,得到原始图像的低维特征。
在一个示例性的实现过程中,所述关联参数可以包括第一低维特征集合中的至少一个元素,所述第一低维特征集合中的每个元素均是根据所述第一低维特征生成的;
根据所述第一低维特征,确定关联参数值,可以包括:
获取关联参数与所述第一低维特征的第一对应关系;
根据所述第一对应关系和所述第一低维特征,确定关联参数值。
在一个示例性的实现过程中,所述关联参数包括重建误差集合中的至少一个元素,所述重建误差集合中的每个元素均是根据所述重建误差生成的;
根据所述第一低维特征,确定关联参数值,可以包括:
将所述第一低维特征输入该组样本图像对应的深度学习网络模型,获取重建子网络输出的重建图像;
根据所述重建图像和所述样本图像,确定重建误差值;
获取关联参数与重建误差的第二对应关系;
根据所述第二对应关系和所述重建误差值,确定关联参数值。
在一个示例中,重建误差值可以等于重建图像和样本图像的差值。
其中,重建误差集合中的元素可以包括利用重建误差计算得到的L1范数、L2范数、结构相似性(SSIM,Structural Similarity Index)、余弦相似性(Cosine Similarity)等。
例如,在一个示例中,重建误差集合包括L2范数和结构相似性,结构相似性的计算方式如下面的公式(1)~(4)所示。
SSIM(X,Y)=L(X,Y)*C(X,Y)*S(X,Y) (4)
在一个示例性的实现过程中,所述关联参数包括低维特征误差集合中的至少一个元素,所述低维特征误差中的每个元素均是根据所述低维特征误差生成的;
根据所述第一低维特征,确定关联参数值,可以包括:
将所述第一低维特征输入该组样本图像对应的深度学习网络模型,获取重建子网络输出的重建图像;
将所述重建图像输入该组样本图像对应的深度学习网络模型,获得降维子网络输出的第二低维特征;
根据所述第二低维特征和所述第一低维特征,确定低维特征误差值;
获取关联参数与低维特征误差的第三对应关系;
根据所述第三对应关系和所述低维特征误差值,确定关联参数值。
其中,低维特征误差值可以等于所述第二低维特征与所述第一低维特征的差值。
在一个示例性的实现过程中,根据所述关联参数值,确定所述密度估计网络的输入数据,可以包括:
获取所述关联参数值中各参数值对应的权重系数;
确定所述关联参数值中的各参数值与对应权重系数的乘积,以所述关联参数值中所有参数值对应的乘积作为所述密度估计网络的输入向量中的元素。
假设重建误差集合、第一低维特征集合、低维特征误差集合分别为集合A、B、C。可以从该三个集合中的任意一个或多个集合,从选择的集合中任意选择一个或多个元素作为关联参数。
例如,在一个示例中,从集合A中选择一个元素A1作为关联参数,A1的权重为1,则密度估计网络的输入数据为A1,A1可以看作一个特殊的一维向量。
在另一个示例中,从集合A中选择3个元素A1~A3,从集合B中选择20个元素B1~B20,从集合C中选择2个元素C1~C2,A1~A3、B1~B20、C1~C2这25个元素各自与自己的权重相乘后得到25个乘积,该25个乘积组成一个25行1列的一维向量,该一维向量作为密度估计网络的输入向量。
其中,密度估计网络所采用的密度估计算法可以是高斯混合模型。
在一个示例性的实现过程中,还可以包括:
从所述若干组样本图像中选择第一数量的正常图像和第二数量的异常图像,所述第一数量大于第一数量阈值,所述第二数量大于第二数量阈值;
将所述第一数量的正常图像和所述第二数量的异常图像分别输入训练完毕的深度学习网络模型,获得密度估计网络输出的对应正常图像的第一个数量个第一概率值以及对应异常图像的第二个数量个第二概率值;
根据所述第一个数量个第一概率值确定第一个数量个第一评价参数值,根据所述第二个数量个第二概率值确定第二个数量个第一评价参数值;
根据所述第一个数量个第一评价参数值和所述第二个数量个第一评价参数值确定评价参数的阈值,所述评价参数用于评价图像属于异常图像的程度。
举例说明。假设用于将深度学习网络模型训练完毕用了11000幅样本图像,其中10000幅样本图像属于正常图像,1000幅样本图像属于异常图像。第一数量阈值为5000,第二数量阈值为500,则可以从中选择6000幅正常图像和600幅异常图像。将选择出的图像分别输入到深度学习网络模型中,得到6000个对应于正常图像的第一概率值和600个对应于异常图像的第二概率值,根据6000个第一概率值确定6000个第一评价参数值,根据600个第二概率值确定600个第二评价参数值,根据6000个第一评价参数值和600个第二评价参数值确定评价参数的阈值。例如,确定的评价参数的阈值可以是满足比600个第二评价参数值都小、比6000个第一评价参数值都大的值。
评价参数可以根据具体应用需要确定。例如,当密度估计网络采用高斯混合模型时,可以用能量值E作为评价参数。能量值E可以通过如下的公式(5)~(9)由密度估计网络输出的概p(p为一个向量)计算得到。
γ=softmax(p) (5)
在一个示例性的实现过程中,所述深度学习网络模型的损失函数包括降维网络对应的第一损失函数和密度估计网络对应的第二损失函数;
根据所述重建图像和所述概率值,确定所述深度学习网络模型的损失函数的函数值,包括:
根据所述重建图像,获取所述第一损失函数对应的第一函数值;
根据所述概率值,获取所述第二损失函数对应的第二函数值;
根据所述第一函数值与所述第二函数值,确定所述深度学习网络模型的损失函数的函数值。
举例说明。当密度估计网络采用高斯混合模型时,深度学习网络模型的损失函数可以表示为如下的公式(10):
公式(10)中,等式右侧第一项表示降维网络的损失函数,计算的是降维网络输入和输出两个值之间的误差;等式右侧第二项是密度估计网络的误差,由于密度估计网络已经采用高斯混合模型的形式进行,所以这部分的损失函数值就转换为了能量值,不再是两个值之间的差值。能量值的计算方式请参见前述的公式(5)~(9)。
需要说明的是,公式(10)的损失函数J是针对正样本的损失函数,负样本的损失函数只需在公式(10)的损失函数J的表达式的等式右侧整体前添加一个负号。
通过公式(10)的损失函数J可以看出,本实施例中,整个深度学习网络模型是同时训练和优化降维网络和密度估计网络的,并且密度估计网络的损失函数也是与降维网络相关的,这样就避免了重要信息的丢失,从而使得结果更准确可靠。
在一个示例性的实现过程中,所述训练停止条件包括如下条件中的至少一个条件:
所述平均值的变化量小于或等于预设数值;
已完成训练的样本图像组数量达到预设组数。
其中,预设数值可以根据应用需要设定,或者根据经验值设定。当训练过程中,某一组样本图像中样本图像的损失函数值的平均值的变化量小于或等于预设数值时,停止训练。平均值的变化量是指某一组样本图像中样本图像的损失函数值的平均值与其前一组样本图像中样本图像的损失函数值的平均值的差值。
其中,预设组数也可以根据应用需要设定。
在一个示例性的实现过程中,所述样本图像包括正常图像;或者,所述样本图像包括正常图像和异常图像;所述正常图像指图像质量符合预设质量要求的医学图像;所述异常图像指图像质量不符合预设质量要求的医学图像。
本实施例中,针对样本图像为正常图像和样本图像为异常图像的情况,设计不同的损失函数。这使得本发明实施例可以更全面的约束、调整和利用低维特征,进而提升概率密度估计的准确度,最终提高图像检测的准确率。
本发明实施例提供的图像检测模型的生成方法,通过设置深度学习网络模型,深度学习网络模型包括降维网络和密度估计网络,降维网络包括降维子网络和重建子网络,重建子网络的输入为降维子网络输出的低维特征,密度估计网络的输入为根据降维网络产生的关联参数生成的数据,以及设置深度学习网络模型的初始参数值,获取样本图像集,利用样本图像对深度学习网络模型进行训练,得到图像检测模型,结合相互关联的降维网络和密度估计网络共同检测图像,提高了异常图像的检测准确率。
图3是本发明实施例提供的图像检测模型的应用方法的流程示例图。该实施例描述了图像检测模型的应用过程。如图3所示,图像检测模型的应用方法可以包括:
S301,接收待检测图像。
S302,将待检测图像输入图像检测模型,获得图像检测模型输出的评价参数的值,图像检测模型为前述任一种图像检测模型的生成方法生成的模型。
S303,根据所述目标概率值,确定评价参数的值,评价参数为以概率为自变量的函数。
S304,将评价参数的值与图像检测模型对应的评价参数的阈值进行比较,根据比较结果确定所述待检测图像是否属于异常图像。
在一个示例性的实现过程中,根据比较结果确定所述待检测图像是否属于异常图像,可以包括:
若所述评价参数的值大于或等于所述图像检测模型对应的评价参数的阈值,确定所述待检测图像属于异常图像;或者,
若所述评价参数的值小于所述图像检测模型对应的评价参数的阈值,确定所述待检测图像不属于异常图像。
本发明实施例提供的图像检测模型的应用方法,使用前述的具有降维网络和密度估计网络的图像检测模型进行异常图像的检测,提高了异常图像的检测准确率。
基于上述的方法实施例,本发明实施例还提供了相应的装置、设备及存储介质实施例。
图4是本发明实施例提供的图像检测模型的生成装置的功能方块图。本实施例中,如图4所示,本实施例中,图像检测模型的生成装置可以包括:
设置模块410,用于设置深度学习网络模型,所述深度学习网络模型包括降维网络和密度估计网络,所述降维网络包括降维子网络和重建子网络,所述重建子网络的输入为所述降维子网络输出的低维特征,所述密度估计网络的输入为根据所述降维网络产生的关联参数生成的数据;以及设置所述深度学习网络模型的初始参数值;
样本获取模块420,用于获取样本图像集;
训练模块430,用于利用所述样本图像对所述深度学习网络模型进行训练,得到训练完毕的深度学习网络模型,以所述训练完毕的深度学习网络模型作为图像检测模型。
训练模块430可以具体用于:
从样本图像集中选取若干组样本图像;第1组样本图像对应的深度学习网络模型的参数值为所述初始参数值,第j组样本图像对应的深度学习网络模型的参数值为经第j-1组样本图像训练后调整的参数值,j为自然数,且j≥2;对于每组样本图像,执行如下操作:
对于该组样本图像中的每一幅样本图像,将该样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中降维网络输出的重建图像和密度估计网络输出的概率值;根据所述重建图像和所述概率值,确定所述深度学习网络模型的损失函数的函数值,作为该样本图像对应的损失函数值;
获取该组样本图像中样本图像的损失函数值的平均值,并根据所述平均值调整所述深度学习网络模型的各参数值;
若满足预设的训练停止条件,停止训练,以该组样本图像训练后调整的参数值作为训练完毕的深度学习网络模型的参数值。
在一个示例性的实现过程中,将该样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中降维网络输出的重建图像,包括:
将该样本图像输入该组样本图像对应的深度学习网络模型,获取降维子网络输出的第一低维特征;
将所述第一低维特征输入该组样本图像对应的深度学习网络模型中的重建子网络,获取所述重建子网络输出的重建图像。
在一个示例性的实现过程中,将样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中密度估计网络输出的概率值,包括:
将该组样本图像输入该组样本图像对应的深度学习网络模型,获取降维子网络输出的第一低维特征;
根据所述第一低维特征,确定关联参数值,所述关联参数值为所述关联参数的参数值;
根据所述关联参数值,确定所述密度估计网络的输入数据;
将所述输入数据输入所述密度估计网络,得到所述密度估计网络输出的概率值。
在一个示例性的实现过程中,所述关联参数包括第一低维特征集合中的至少一个元素,所述第一低维特征集合中的每个元素均是根据所述第一低维特征生成的;
根据所述第一低维特征,确定关联参数值,包括:
获取关联参数与所述第一低维特征的对应关系;
根据所述对应关系和所述第一低维特征,确定关联参数值。
在一个示例性的实现过程中,所述关联参数值包括重建误差集合中的至少一个元素,所述重建误差集合中的每个元素均是根据所述重建误差生成的;
根据所述第一低维特征,确定关联参数值,包括:
将所述第一低维特征输入该组样本图像对应的深度学习网络模型,获取重建子网络输出的重建图像;
根据所述重建图像和所述样本图像,确定重建误差值;
获取关联参数与重建误差的第二对应关系;
根据所述第二对应关系和所述重建误差值,确定关联参数值。
在一个示例性的实现过程中,所述关联参数包括低维特征误差集合中的至少一个元素,所述低维特征误差集合中的每个元素均是根据所述低维特征误差生成的;
根据所述第一低维特征,确定关联参数值,包括:
将所述第一低维特征输入该组样本图像对应的深度学习网络模型,获取重建子网络输出的重建图像;
将所述重建图像输入该组样本图像对应的深度学习网络模型,获得降维子网络输出的第二低维特征;
根据所述第二低维特征和所述第一低维特征,确定低维特征误差值;
获取关联参数与低维特征误差的第三对应关系;
根据所述第三对应关系和所述低维特征误差值,确定关联参数值。
在一个示例性的实现过程中,根据所述关联参数值,确定所述密度估计网络的输入数据,包括:
获取所述关联参数值中各参数值对应的权重系数;
确定所述关联参数值中的各参数值与对应权重系数的乘积,以所述关联参数值中所有参数值对应的乘积作为所述密度估计网络的输入向量中的元素。
在一个示例性的实现过程中,还包括:
从所述若干组样本图像中选择第一数量的正常图像和第二数量的异常图像,所述第一数量大于第一数量阈值,所述第二数量大于第二数量阈值;将所述第一数量的正常图像和所述第二数量的异常图像分别输入训练完毕的深度学习网络模型,获得密度估计网络输出的对应正常图像的第一个数量个第一概率值以及对应异常图像的第二个数量个第二概率值;根据所述第一个数量个第一概率值确定第一个数量个第一评价参数值,根据所述第二个数量个第二概率值确定第二个数量个第一评价参数值;根据所述第一个数量个第一评价参数值和所述第二个数量个第一评价参数值确定评价参数的阈值。
在一个示例性的实现过程中,所述深度学习网络模型的损失函数包括降维网络对应的第一损失函数和密度估计网络对应的第二损失函数;
根据所述重建图像和所述概率值,确定所述深度学习网络模型的损失函数的函数值,包括:
根据所述重建图像,获取所述第一损失函数对应的第一函数值;
根据所述概率值,获取所述第二损失函数对应的第二函数值;
根据所述第一函数值与所述第二函数值,确定所述深度学习网络模型的损失函数的函数值。
在一个示例性的实现过程中,所述训练停止条件包括如下条件中的至少一个条件:
所述平均值的变化量小于或等于预设数值;
已完成训练的样本图像组数量达到预设组数。
在一个示例性的实现过程中,所述样本图像包括正常图像;或者,所述样本图像包括正常图像和异常图像;
所述正常图像指图像质量符合预设质量要求的医学图像;
所述异常图像指图像质量不符合预设质量要求的医学图像。
图5是本发明实施例提供的图像检测模型的应用装置的功能方块图。如图5所示,本实施例中,图像检测模型的应用装置可以包括:
接收模块510,用于接收待检测图像;
输入模块520,用于将所述待检测图像输入图像检测模型,获得所述图像检测模型输出的评价参数的值,所述图像检测模型为前述任一种图像检测模型的生成方法生成的模型;
确定模块530,用于根据所述目标概率值,确定评价参数的值,评价参数为以概率为自变量的函数;
比较模块540,用于将所述评价参数的值与所述图像检测模型对应的评价参数的阈值进行比较,根据比较结果确定所述待检测图像是否属于异常图像。
在一个示例性的实现过程中,比较模块540具体用于:
若所述评价参数的值大于或等于所述网络检测模型对应的评价参数的阈值,确定所述待检测图像属于异常图像;或者,
若所述评价参数的值小于所述网络检测模型对应的评价参数的阈值,确定所述待检测图像不属于异常图像。本发明实施例还提供了一种电子设备。图6是本发明实施例提供的电子设备的一个硬件结构图。如图6所示,电子设备包括:内部总线601,以及通过内部总线连接的存储器602,处理器603和外部接口604。
所述处理器603,用于读取存储器602上的机器可读指令,并执行所述指令以实现如下操作:
设置深度学习网络模型,所述深度学习网络模型包括降维网络和密度估计网络,所述降维网络包括降维子网络和重建子网络,所述重建子网络的输入为所述降维子网络输出的低维特征,所述密度估计网络的输入为根据所述降维网络产生的关联参数生成的数据;以及设置所述深度学习网络模型的初始参数值;
获取样本图像集;
利用所述样本图像对所述深度学习网络模型进行训练,得到训练完毕的深度学习网络模型,以所述训练完毕的深度学习网络模型作为图像检测模型。
在一个示例性的实现过程中,从样本图像集中选取若干组样本图像;第1组样本图像对应的深度学习网络模型的参数值为所述初始参数值,第j组样本图像对应的深度学习网络模型的参数值为经第j-1组样本图像训练后调整的参数值,j为自然数,且j≥2;对于每组样本图像,执行如下操作:
对于该组样本图像中的每一幅样本图像,将该样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中降维网络输出的重建图像和密度估计网络输出的概率值;根据所述重建图像和所述概率值,确定所述深度学习网络模型的损失函数的函数值,作为该样本图像对应的损失函数值;
获取该组样本图像中样本图像的损失函数值的平均值,并根据所述平均值调整所述深度学习网络模型的各参数值;
若满足预设的训练停止条件,停止训练,以该组样本图像训练后调整的参数值作为训练完毕的深度学习网络模型的参数值。
在一个示例性的实现过程中,将该样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中降维网络输出的重建图像,包括:
将该样本图像输入该组样本图像对应的深度学习网络模型,获取降维子网络输出的第一低维特征;
将所述第一低维特征输入该组样本图像对应的深度学习网络模型中的重建子网络,获取所述重建子网络输出的重建图像。
在一个示例性的实现过程中,将该样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中密度估计网络输出的概率值,包括:
将该样本图像输入该组样本图像对应的深度学习网络模型,获取降维子网络输出的第一低维特征;
根据所述第一低维特征,确定关联参数值,所述关联参数值为所述关联参数的参数值;
根据所述关联参数值,确定所述密度估计网络的输入数据;
将所述输入数据输入所述密度估计网络,得到密度估计网络输出的概率值。
在一个示例性的实现过程中,所述关联参数包括第一低维特征集合中的至少一个元素,所述第一低维特征集合中的每个元素均是根据所述第一低维特征生成的;
根据所述第一低维特征,确定关联参数值,包括:
获取关联参数与所述第一低维特征的对应关系;
根据所述对应关系和所述第一低维特征,确定关联参数值。
在一个示例性的实现过程中,所述关联参数值包括重建误差集合中的至少一个元素,所述重建误差集合中的每个元素均是根据所述重建误差生成的;
根据所述第一低维特征,确定关联参数值,包括:
将所述第一低维特征输入该组样本图像对应的深度学习网络模型,获取重建子网络输出的重建图像;
根据所述重建图像和所述样本图像,确定重建误差值;
获取关联参数与重建误差的第二对应关系;
根据所述第二对应关系和所述重建误差值,确定关联参数值。
在一个示例性的实现过程中,所述关联参数包括低维特征误差集合中的至少一个元素,所述低维特征误差集合中的每个元素均是根据所述低维特征误差生成的;
根据所述第一低维特征,确定关联参数值,包括:
将所述第一低维特征输入该组样本图像对应的深度学习网络模型,获取重建子网络输出的重建图像;
将所述重建图像输入该组样本图像对应的深度学习网络模型,获得降维子网络输出的第二低维特征;
根据所述第二低维特征和所述第一低维特征,确定低维特征误差值;
获取关联参数与低维特征误差的第三对应关系;
根据所述第三对应关系和所述低维特征误差值,确定关联参数值。
在一个示例性的实现过程中,根据所述关联参数值,确定所述密度估计网络的输入数据,包括:
获取所述关联参数值中各参数值对应的权重系数;
确定所述关联参数值中的各参数值与对应权重系数的乘积,以所述关联参数值中所有参数值对应的乘积作为所述密度估计网络的输入向量中的元素。
在一个示例性的实现过程中,还包括:
从所述若干组样本图像中选择第一数量的正常图像和第二数量的异常图像,所述第一数量大于第一数量阈值,所述第二数量大于第二数量阈值;
将所述第一数量的正常图像和所述第二数量的异常图像分别输入训练完毕的深度学习网络模型,获得密度估计网络输出的对应正常图像的第一个数量个第一概率值以及对应异常图像的第二个数量个第二概率值;
根据所述第一个数量个第一概率值确定第一个数量个第一评价参数值,根据所述第二个数量个第二概率值确定第二个数量个第一评价参数值;
根据所述第一个数量个第一评价参数值和所述第二个数量个第一评价参数值确定评价参数的阈值。
根据训练过程中的最后一组样本图像输入深度学习网络模型后、密度估计网络输出的概率值确定评价参数的阈值,所述评价参数用于评价图像属于异常图像的程度。
在一个示例性的实现过程中,所述深度学习网络模型的损失函数包括降维网络对应的第一损失函数和密度估计网络对应的第二损失函数;
根据所述重建图像和所述概率值,确定所述深度学习网络模型的损失函数的函数值,包括:
根据所述重建图像,获取所述第一损失函数对应的第一函数值;
根据所述概率值,获取所述第二损失函数对应的第二函数值;
根据所述第一函数值与所述第二函数值,确定所述深度学习网络模型的损失函数的函数值。
在一个示例性的实现过程中,所述训练停止条件包括如下条件中的至少一个条件:
所述平均值的变化量小于或等于预设数值;
已完成训练的样本图像组数量达到预设组数。
在一个示例性的实现过程中,所述样本图像包括正常图像;或者,所述样本图像包括正常图像和异常图像;
所述正常图像指图像质量符合预设质量要求的医学图像;
所述异常图像指图像质量不符合预设质量要求的医学图像。
本发明实施例还提供了一种电子设备。图7是本发明实施例提供的电子设备的另一个硬件结构图。如图7所示,电子设备包括:内部总线701,以及通过内部总线连接的存储器702,处理器703和外部接口704,其中,
所述处理器703,用于读取存储器702上的机器可读指令,并执行所述指令以实现如下操作:
接收待检测图像;
将所述待检测图像输入图像检测模型,获得所述图像检测模型输出的评价参数的值,所述图像检测模型为根据前述任一种图像检测模型的生成方法生成的模型;
根据所述目标概率值,确定评价参数的值,评价参数为以概率为自变量的函数;
将所述评价参数的值与所述图像检测模型对应的评价参数的阈值进行比较,根据比较结果确定所述待检测图像是否属于异常图像。
在一个示例性的实现过程中,根据比较结果确定所述待检测图像是否属于异常图像,包括:
若所述评价参数的值大于或等于所述网络检测模型对应的评价参数的阈值,确定所述待检测图像属于异常图像;或者,
若所述评价参数的值小于所述网络检测模型对应的评价参数的阈值,确定所述待检测图像不属于异常图像。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如下操作:
设置深度学习网络模型,所述深度学习网络模型包括降维网络和密度估计网络,所述降维网络包括降维子网络和重建子网络,所述重建子网络的输入为所述降维子网络输出的低维特征,所述密度估计网络的输入为根据所述降维网络产生的关联参数生成的数据;以及设置所述深度学习网络模型的初始参数值;
获取样本图像集;
利用所述样本图像对所述深度学习网络模型进行训练,得到训练完毕的深度学习网络模型,以所述训练完毕的深度学习网络模型作为图像检测模型。
在一个示例性的实现过程中,从样本图像集中选取若干组样本图像;第1组样本图像对应的深度学习网络模型的参数值为所述初始参数值,第j组样本图像对应的深度学习网络模型的参数值为经第j-1组样本图像训练后调整的参数值,j为自然数,且j≥2;对于每组样本图像,执行如下操作:
对于该组样本图像中的每一幅样本图像,将该样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中降维网络输出的重建图像和密度估计网络输出的概率值;根据所述重建图像和所述概率值,确定所述深度学习网络模型的损失函数的函数值,作为该样本图像对应的损失函数值;
获取该组样本图像中样本图像的损失函数值的平均值,并根据所述平均值调整所述深度学习网络模型的各参数值;
若满足预设的训练停止条件,停止训练,以该组样本图像训练后调整的参数值作为训练完毕的深度学习网络模型的参数值。
在一个示例性的实现过程中,将该样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中降维网络输出的重建图像,包括:
将该样本图像输入该组样本图像对应的深度学习网络模型,获取降维子网络输出的第一低维特征;
将所述第一低维特征输入该组样本图像对应的深度学习网络模型中的重建子网络,获取所述重建子网络输出的重建图像。
在一个示例性的实现过程中,将该样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中密度估计网络输出的概率值,包括:
将该样本图像输入该组样本图像对应的深度学习网络模型,获取降维子网络输出的第一低维特征;
根据所述第一低维特征,确定关联参数值,所述关联参数值为所述关联参数的参数值;
根据所述关联参数值,确定所述密度估计网络的输入数据;
将所述输入数据输入所述密度估计网络,得到密度估计网络输出的概率值。
在一个示例性的实现过程中,所述关联参数包括第一低维特征集合中的至少一个元素,所述第一低维特征集合中的每个元素均是根据所述第一低维特征生成的;
根据所述第一低维特征,确定关联参数值,包括:
获取关联参数与所述第一低维特征的对应关系;
根据所述对应关系和所述第一低维特征,确定关联参数值。
在一个示例性的实现过程中,所述关联参数值包括重建误差集合中的至少一个元素,所述重建误差集合中的每个元素均是根据所述重建误差生成的;
根据所述第一低维特征,确定关联参数值,包括:
将所述第一低维特征输入该组样本图像对应的深度学习网络模型,获取重建子网络输出的重建图像;
根据所述重建图像和所述样本图像,确定重建误差值;
获取关联参数与重建误差的第二对应关系;
根据所述第二对应关系和所述重建误差值,确定关联参数值。
在一个示例性的实现过程中,所述关联参数包括低维特征误差集合中的至少一个元素,所述低维特征误差集合中的每个元素均是根据所述低维特征误差生成的;
根据所述第一低维特征,确定关联参数值,包括:
将所述第一低维特征输入该组样本图像对应的深度学习网络模型,获取重建子网络输出的重建图像;
将所述重建图像输入该组样本图像对应的深度学习网络模型,获得降维子网络输出的第二低维特征;
根据所述第二低维特征和所述第一低维特征,确定低维特征误差值;
获取关联参数与低维特征误差的第三对应关系;
根据所述第三对应关系和所述低维特征误差值,确定关联参数值。
在一个示例性的实现过程中,根据所述关联参数值,确定所述密度估计网络的输入数据,包括:
获取所述关联参数值中各参数值对应的权重系数;
确定所述关联参数值中的各参数值与对应权重系数的乘积,以所述关联参数值中所有参数值对应的乘积作为所述密度估计网络的输入向量中的元素。
在一个示例性的实现过程中,还包括:
从所述若干组样本图像中选择第一数量的正常图像和第二数量的异常图像,所述第一数量大于第一数量阈值,所述第二数量大于第二数量阈值;
将所述第一数量的正常图像和所述第二数量的异常图像分别输入训练完毕的深度学习网络模型,获得密度估计网络输出的对应正常图像的第一个数量个第一概率值以及对应异常图像的第二个数量个第二概率值;
根据所述第一个数量个第一概率值确定第一个数量个第一评价参数值,根据所述第二个数量个第二概率值确定第二个数量个第一评价参数值;
根据所述第一个数量个第一评价参数值和所述第二个数量个第一评价参数值确定评价参数的阈值。
在一个示例性的实现过程中,所述深度学习网络模型的损失函数包括降维网络对应的第一损失函数和密度估计网络对应的第二损失函数;
根据所述重建图像和所述概率值,确定所述深度学习网络模型的损失函数的函数值,包括:
根据所述重建图像,获取所述第一损失函数对应的第一函数值;
根据所述概率值,获取所述第二损失函数对应的第二函数值;
根据所述第一函数值与所述第二函数值,确定所述深度学习网络模型的损失函数的函数值。
在一个示例性的实现过程中,所述训练停止条件包括如下条件中的至少一个条件:
所述平均值的变化量小于或等于预设数值;
已完成训练的样本图像组数量达到预设组数。
在一个示例性的实现过程中,所述样本图像包括正常图像;或者,所述样本图像包括正常图像和异常图像;
所述正常图像指图像质量符合预设质量要求的医学图像;
所述异常图像指图像质量不符合预设质量要求的医学图像。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如下操作:
接收待检测图像;
将所述待检测图像输入图像检测模型,获得所述图像检测模型输出的评价参数的值,所述图像检测模型为根据前述任一种图像检测模型的生成方法生成的模型;
根据所述目标概率值,确定评价参数的值,评价参数为以概率为自变量的函数;
将所述评价参数的值与所述图像检测模型对应的评价参数的阈值进行比较,根据比较结果确定所述待检测图像是否属于异常图像。
在一个示例性的实现过程中,根据比较结果确定所述待检测图像是否属于异常图像,包括:
若所述评价参数的值大于或等于所述网络检测模型对应的评价参数的阈值,确定所述待检测图像属于异常图像;或者,
若所述评价参数的值小于所述网络检测模型对应的评价参数的阈值,确定所述待检测图像不属于异常图像。
对于装置和设备实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。
Claims (16)
1.一种图像检测模型的生成方法,其特征在于,所述方法包括:
设置深度学习网络模型,所述深度学习网络模型包括降维网络和密度估计网络,所述降维网络包括降维子网络和重建子网络,所述重建子网络的输入为所述降维子网络输出的低维特征,所述密度估计网络的输入为根据所述降维网络产生的关联参数生成的数据;以及设置所述深度学习网络模型的初始参数值;
获取样本图像集,所述样本图像集中包括多幅样本图像;
利用所述样本图像对所述深度学习网络模型进行训练,得到训练完毕的深度学习网络模型,以所述训练完毕的深度学习网络模型作为图像检测模型。
2.根据权利要求1所述的方法,其特征在于,
利用所述样本图像对所述深度学习网络模型进行训练,得到训练完毕的深度学习网络模型,包括:
从样本图像集中选取若干组样本图像;第1组样本图像对应的深度学习网络模型的参数值为所述初始参数值,第j组样本图像对应的深度学习网络模型的参数值为经第j-1组样本图像训练后调整的参数值,j为自然数,且j≥2;对于每组样本图像,执行如下操作:
对于该组样本图像中的每一幅样本图像,将该样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中降维网络输出的重建图像和密度估计网络输出的概率值;根据所述重建图像和所述概率值,确定所述深度学习网络模型的损失函数的函数值,作为该样本图像对应的损失函数值;
获取该组样本图像中样本图像的损失函数值的平均值,并根据所述平均值调整所述深度学习网络模型的各参数值;
若满足预设的训练停止条件,停止训练,以该组样本图像训练后调整的参数值作为训练完毕的深度学习网络模型的参数值。
3.根据权利要求2所述的方法,其特征在于,将该样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中降维网络输出的重建图像,包括:
将该样本图像输入该组样本图像对应的深度学习网络模型,获取降维子网络输出的第一低维特征;
将所述第一低维特征输入该组样本图像对应的深度学习网络模型中的重建子网络,获取所述重建子网络输出的重建图像。
4.根据权利要求2所述的方法,其特征在于,将该样本图像输入该组样本图像对应的深度学习网络模型,获得所述深度学习网络模型中密度估计网络输出的概率值,包括:
将该样本图像输入该组样本图像对应的深度学习网络模型,获取降维子网络输出的第一低维特征;
根据所述第一低维特征,确定关联参数值,所述关联参数值为所述关联参数的参数值;
根据所述关联参数值,确定所述密度估计网络的输入数据;
将所述输入数据输入所述密度估计网络,得到密度估计网络输出的概率值。
5.根据权利要求4所述的方法,其特征在于,所述关联参数包括第一低维特征集合中的至少一个元素,所述第一低维特征集合中的每个元素均是根据所述第一低维特征生成的;
根据所述第一低维特征,确定关联参数值,包括:
获取关联参数与所述第一低维特征的第一对应关系;
根据所述第一对应关系和所述第一低维特征,确定关联参数值。
6.根据权利要求4所述的方法,其特征在于,所述关联参数值包括重建误差集合中的至少一个元素,所述重建误差集合中的每个元素均是根据所述重建误差生成的;
根据所述第一低维特征,确定关联参数值,包括:
将所述第一低维特征输入该组样本图像对应的深度学习网络模型,获取重建子网络输出的重建图像;
根据所述重建图像和所述样本图像,确定重建误差值;
获取关联参数与重建误差的第二对应关系;
根据所述第二对应关系和所述重建误差值,确定关联参数值。
7.根据权利要求4所述的方法,其特征在于,所述关联参数包括低维特征误差集合中的至少一个元素,所述低维特征误差集合中的每个元素均是根据所述低维特征误差生成的;
根据所述第一低维特征,确定关联参数值,包括:
将所述第一低维特征输入该组样本图像对应的深度学习网络模型,获取重建子网络输出的重建图像;
将所述重建图像输入该组样本图像对应的深度学习网络模型,获得降维子网络输出的第二低维特征;
根据所述第二低维特征和所述第一低维特征,确定低维特征误差值;
获取关联参数与低维特征误差的第三对应关系;
根据所述第三对应关系和所述低维特征误差值,确定关联参数值。
8.根据权利要求4所述的方法,其特征在于,根据所述关联参数值,确定所述密度估计网络的输入数据,包括:
获取所述关联参数值中各参数值对应的权重系数;
确定所述关联参数值中的各参数值与对应权重系数的乘积,以所述关联参数值中所有参数值对应的乘积作为所述密度估计网络的输入向量中的元素。
9.根据权利要求2所述的方法,其特征在于,还包括:
从所述若干组样本图像中选择第一数量的正常图像和第二数量的异常图像,所述第一数量大于第一数量阈值,所述第二数量大于第二数量阈值;
将所述第一数量的正常图像和所述第二数量的异常图像分别输入训练完毕的深度学习网络模型,获得密度估计网络输出的对应正常图像的第一个数量个第一概率值以及对应异常图像的第二个数量个第二概率值;
根据所述第一个数量个第一概率值确定第一个数量个第一评价参数值,根据所述第二个数量个第二概率值确定第二个数量个第一评价参数值;
根据所述第一个数量个第一评价参数值和所述第二个数量个第一评价参数值确定评价参数的阈值,所述评价参数用于评价图像属于异常图像的程度。
10.根据权利要求2所述的方法,其特征在于,所述深度学习网络模型的损失函数包括降维网络对应的第一损失函数和密度估计网络对应的第二损失函数;
根据所述重建图像和所述概率值,确定所述深度学习网络模型的损失函数的函数值,包括:
根据所述重建图像,获取所述第一损失函数对应的第一函数值;
根据所述概率值,获取所述第二损失函数对应的第二函数值;
根据所述第一函数值与所述第二函数值,确定所述深度学习网络模型的损失函数的函数值。
11.根据权利要求2所述的方法,其特征在于,所述训练停止条件包括如下条件中的至少一个条件:
所述平均值的变化量小于或等于预设数值;
已完成训练的样本图像组数量达到预设组数。
12.根据权利要求1所述的方法,其特征在于,所述样本图像包括正常图像;或者,所述样本图像包括正常图像和异常图像;
所述正常图像指图像质量符合预设质量要求的医学图像;
所述异常图像指图像质量不符合预设质量要求的医学图像。
13.一种图像检测模型的应用方法,其特征在于,所述方法包括:
接收待检测图像;
将所述待检测图像输入图像检测模型,获得所述图像检测模型输出的目标概率值,所述图像检测模型为根据权利要求1~12任一项图像检测模型的生成方法生成的模型;
根据所述目标概率值,确定评价参数的值,评价参数为以概率为自变量的函数;
将所述评价参数的值与所述图像检测模型对应的评价参数的阈值进行比较,根据比较结果确定所述待检测图像是否属于异常图像。
14.根据权利要求13所述的方法,其特征在于,根据比较结果确定所述待检测图像是否属于异常图像,包括:
若所述评价参数的值大于或等于所述网络检测模型对应的评价参数的阈值,确定所述待检测图像属于异常图像;或者,
若所述评价参数的值小于所述网络检测模型对应的评价参数的阈值,确定所述待检测图像不属于异常图像。
15.一种图像检测模型的生成装置,其特征在于,所述装置包括:
设置模块,用于设置深度学习网络模型,所述深度学习网络模型包括降维网络和密度估计网络,所述降维网络包括降维子网络和重建子网络,所述重建子网络的输入为所述降维子网络输出的低维特征,所述密度估计网络的输入为根据所述降维网络产生的关联参数生成的数据;以及设置所述深度学习网络模型的初始参数值;
样本获取模块,用于获取样本图像集,所述样本图像集中包括多幅样本图像;
训练模块,用于利用所述样本图像对所述深度学习网络模型进行训练,得到训练完毕的深度学习网络模型,以所述训练完毕的深度学习网络模型作为图像检测模型。
16.一种图像检测模型的应用装置,其特征在于,所述装置包括:
接收模块,用于接收待检测图像;
输入模块,用于将所述待检测图像输入图像检测模型,获得所述图像检测模型输出的目标概率值,所述图像检测模型为根据权利要求1~12任一项图像检测模型的生成方法生成的模型;
确定模块,用于根据所述目标概率值,确定评价参数的值,评价参数为以概率为自变量的函数;
比较模块,用于将所述评价参数的值与所述图像检测模型对应的评价参数的阈值进行比较,根据比较结果确定所述待检测图像是否属于异常图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911336284.0A CN111179235B (zh) | 2019-12-23 | 2019-12-23 | 图像检测模型的生成方法及装置、应用方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911336284.0A CN111179235B (zh) | 2019-12-23 | 2019-12-23 | 图像检测模型的生成方法及装置、应用方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111179235A true CN111179235A (zh) | 2020-05-19 |
CN111179235B CN111179235B (zh) | 2024-03-08 |
Family
ID=70652122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911336284.0A Active CN111179235B (zh) | 2019-12-23 | 2019-12-23 | 图像检测模型的生成方法及装置、应用方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111179235B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112561891A (zh) * | 2020-12-18 | 2021-03-26 | 深圳赛安特技术服务有限公司 | 图像质量检测方法、装置、设备及存储介质 |
CN113129272A (zh) * | 2021-03-30 | 2021-07-16 | 广东省科学院智能制造研究所 | 一种基于去噪卷积自编码器的缺陷检测方法及装置 |
CN113762333A (zh) * | 2021-07-20 | 2021-12-07 | 广东省科学院智能制造研究所 | 一种基于双流联合密度估计的无监督异常检测方法和系统 |
TWI765589B (zh) * | 2021-03-02 | 2022-05-21 | 鴻海精密工業股份有限公司 | 異常檢測方法、電腦裝置及儲存介質 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106372656A (zh) * | 2016-08-30 | 2017-02-01 | 同观科技(深圳)有限公司 | 获取深度一次性学习模型的方法、图像识别方法及装置 |
US20190124045A1 (en) * | 2017-10-24 | 2019-04-25 | Nec Laboratories America, Inc. | Density estimation network for unsupervised anomaly detection |
CN110533610A (zh) * | 2019-08-20 | 2019-12-03 | 东软医疗系统股份有限公司 | 图像增强模型的生成方法及装置、应用方法及装置 |
-
2019
- 2019-12-23 CN CN201911336284.0A patent/CN111179235B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106372656A (zh) * | 2016-08-30 | 2017-02-01 | 同观科技(深圳)有限公司 | 获取深度一次性学习模型的方法、图像识别方法及装置 |
US20190124045A1 (en) * | 2017-10-24 | 2019-04-25 | Nec Laboratories America, Inc. | Density estimation network for unsupervised anomaly detection |
CN110533610A (zh) * | 2019-08-20 | 2019-12-03 | 东软医疗系统股份有限公司 | 图像增强模型的生成方法及装置、应用方法及装置 |
Non-Patent Citations (1)
Title |
---|
于波;方业全;刘闽;董君陶;: "基于深度卷积神经网络的图像重建算法" * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112561891A (zh) * | 2020-12-18 | 2021-03-26 | 深圳赛安特技术服务有限公司 | 图像质量检测方法、装置、设备及存储介质 |
CN112561891B (zh) * | 2020-12-18 | 2024-04-16 | 深圳赛安特技术服务有限公司 | 图像质量检测方法、装置、设备及存储介质 |
TWI765589B (zh) * | 2021-03-02 | 2022-05-21 | 鴻海精密工業股份有限公司 | 異常檢測方法、電腦裝置及儲存介質 |
CN113129272A (zh) * | 2021-03-30 | 2021-07-16 | 广东省科学院智能制造研究所 | 一种基于去噪卷积自编码器的缺陷检测方法及装置 |
CN113762333A (zh) * | 2021-07-20 | 2021-12-07 | 广东省科学院智能制造研究所 | 一种基于双流联合密度估计的无监督异常检测方法和系统 |
CN113762333B (zh) * | 2021-07-20 | 2023-02-28 | 广东省科学院智能制造研究所 | 一种基于双流联合密度估计的无监督异常检测方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111179235B (zh) | 2024-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111179235A (zh) | 图像检测模型的生成方法及装置、应用方法及装置 | |
Shaw et al. | MRI k-space motion artefact augmentation: model robustness and task-specific uncertainty | |
KR102011628B1 (ko) | 검사 장치 및 검사 방법 | |
CN110070935B (zh) | 基于对抗神经网络的医学图像合成方法、分类方法及装置 | |
Shaw et al. | A k-space model of movement artefacts: application to segmentation augmentation and artefact removal | |
Xu et al. | Deformed2self: Self-supervised denoising for dynamic medical imaging | |
CN111445546A (zh) | 图像重建方法、装置、电子设备、存储介质 | |
Mouches et al. | Unifying brain age prediction and age-conditioned template generation with a deterministic autoencoder | |
Pal et al. | SSIQA: Multi-task learning for non-reference CT image quality assessment with self-supervised noise level prediction | |
CN111598966B (zh) | 一种基于生成对抗网络的磁共振成像方法及装置 | |
Ossenberg-Engels et al. | Conditional generative adversarial networks for the prediction of cardiac contraction from individual frames | |
O'Reilly et al. | Pre-trained vs. random weights for calculating fréchet inception distance in medical imaging | |
Nabavi et al. | Automatic multi-class cardiovascular magnetic resonance image quality assessment using unsupervised domain adaptation in spatial and frequency domains | |
CN116128854B (zh) | 一种基于卷积神经网络的髋关节超声图像质量评估方法 | |
WO2020249972A1 (en) | Method and system for confidence estimation of a trained deep learning model | |
CN111724371A (zh) | 一种数据处理方法、装置及电子设备 | |
Abouelaziz et al. | A blind mesh visual quality assessment method based on convolutional neural network | |
CN113222985B (zh) | 一种图像处理方法、装置、计算机设备和介质 | |
Yu et al. | Deep conditional generative model for longitudinal single-slice abdominal computed tomography harmonization | |
Ekmekci et al. | Quantifying Generative Model Uncertainty in Posterior Sampling Methods for Computational Imaging | |
CN111311531A (zh) | 图像增强方法、装置、控制台设备及医学成像系统 | |
CN111612865A (zh) | 一种基于条件生成对抗网络的mri成像方法及装置 | |
CN111080730A (zh) | 基于跨通道和空间加权卷积特征的脑图像解码方法及系统 | |
Langer et al. | Mitigating Unknown Bias in Deep Learning-based Assessment of CT Images DeepTechnome | |
EP4343680A1 (en) | De-noising data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240204 Address after: 110167 No. 177-1 Innovation Road, Hunnan District, Shenyang City, Liaoning Province Applicant after: Shenyang Neusoft Medical Systems Co.,Ltd. Country or region after: China Address before: Room 336, 177-1, Chuangxin Road, Hunnan New District, Shenyang City, Liaoning Province Applicant before: Shenyang advanced medical equipment Technology Incubation Center Co.,Ltd. Country or region before: China |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |