CN110751175A - 损失函数的优化方法、装置、计算机设备和存储介质 - Google Patents

损失函数的优化方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110751175A
CN110751175A CN201910863763.1A CN201910863763A CN110751175A CN 110751175 A CN110751175 A CN 110751175A CN 201910863763 A CN201910863763 A CN 201910863763A CN 110751175 A CN110751175 A CN 110751175A
Authority
CN
China
Prior art keywords
sample
weight
loss function
gradient density
sample set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910863763.1A
Other languages
English (en)
Inventor
刘钦
吴迪嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN201910863763.1A priority Critical patent/CN110751175A/zh
Publication of CN110751175A publication Critical patent/CN110751175A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明涉及一种损失函数的优化方法、装置、计算机设备和存储介质。该方法包括：获取样本集内各样本的权重，再将各样本的权重作为预设的损失函数中的权重变量的值，得到权重更新后的损失函数，实现对损失函数的优化，该优化后的损失函数可以用于训练得到图像处理模型。由于上述样本集内各样本的权重用于表征样本的分类难易程度，因此，本申请提供的损失函数的优化方法可以不进行任何超参数的调节，即可克服传统的深度学习损失函数在解决样本难易程度不均衡时的局限性，即本申请提供的损失函数可以克服在实际训练相关的图像处理模型时经常遇到的因难易样本之间不均衡导致的训练难度大、训练时间长、以及训练效果差的问题。

Description

损失函数的优化方法、装置、计算机设备和存储介质
技术领域
本申请涉及机器学习技术领域，尤其涉及一种损失函数的优化方法、装置、计算机设备和存储介质。
背景技术
随着机器学习技术在医学图像识别应用领域的快速发展，越来越多的医疗诊断依赖于医学图像分割结果，但是在常规图像分割模型的学习过程中，常常面临两类训练样本不均衡，带来图像分割模型学习不准确的问题，从而降低了医学图像分割结果的准确性。
目前，训练样本的不均衡性一般分为两类不均衡，一类是正负样本数量之间的不均衡，另一类则是难易训练样本之间的不均衡。传统的在深度学习过程中，往往通过设置不同类型的损失函数解决训练样本不均衡的问题。例如，常用得到的损失函数包括：加权交叉熵损失函数Weighted Cross Entropy Loss，二分类损失函数Dice Loss，权重自适应交叉熵损失函数Focal Loss，交叉熵损失函数Cross Entropy等。
但是常规的深度学习损失函数在解决这两类不均衡问题具有一定的局限性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够有效克服现有技术中存在的样本不均衡问题的损失函数的优化方法、装置、计算机设备和存储介质。
第一方面，一种损失函数的优化方法，所述方法包括：
获取样本集内各样本的权重；权重用于表征样本的分类难易程度；
将各样本的权重作为预设的损失函数中的权重变量的值，得到新的损失函数；权重更新后的损失函数用于训练得到图像处理模型。
在其中一个实施例中，获取样本集内各样本的权重，包括：
获取样本集的梯度密度分布；
根据样本集的梯度密度分布确定样本集内各样本的权重。
在其中一个实施例中，根据样本集的梯度密度分布确定样本集内各样本的权重，包括：
根据梯度密度分布确定样本集内各样本的梯度密度；梯度密度用于表征所述样本的分类难易程度；
根据各样本的梯度密度，确定样本集内各样本的权重。
在其中一个实施例中，样本的分类难度越大，梯度密度越小；
样本的分类难度越小，梯度密度越大。
在其中一个实施例中，样本的梯度密度越大，样本的权重越小；
样本的梯度密度越小，样本的权重越大。
在其中一个实施例中，根据各样本的梯度密度，确定样本集内各样本的权重，包括：
若样本的梯度密度大于预设梯度密度，则确定样本的权重小于预设权重；
若样本的梯度密度小于预设梯度密度，则确定样本的权重大于或等于预设权重。
在其中一个实施例中，损失函数为Dice损失函数中增加上述样本权重。
第二方面，一种损失函数的优化装置，所述装置包括：
获取模块，用于获取样本集内各样本的权重；权重用于表征样本的分类难易程度；
优化模块，用于将各样本的权重作为预设的损失函数中的权重变量的值，得到权重更新后的损失函数；权重更新后的损失函数用于训练得到图像处理模型。
第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面任一实施例所述的损失函数的优化方法，并根据所述优化方法训练所得到的图像处理模型对医学图像进行处理。
第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一实施例所述的损失函数的优化方法。
本申请提供的一种损失函数的优化方法、装置、计算机设备和存储介质，包括：获取样本集内各样本的权重，再将各样本的权重作为预设的损失函数中的权重变量的值，得到权重更新后的损失函数，实现对损失函数的优化，该优化后的损失函数可以用于训练得到图像处理模型。由于上述样本集内各样本的权重用于表征样本的分类难易程度，因此，本申请提供的损失函数的优化方法可以不进行任何超参数的调节，即可克服传统的深度学习损失函数在解决样本难易程度不均衡时的局限性，即本申请提供的损失函数可以克服在实际训练相关的图像处理模型时经常遇到的因难易样本之间不均衡导致的训练难度大、训练时间长、以及训练效果差的问题。
附图说明
图1为一个实施例提供的一种计算机设备的内部结构示意图；
图2为一个实施例提供的一种损失函数的优化方法的流程图；
图3为图2实施例中S101的另一种实现方式的流程图；
图3A为样本集的梯度密度分布的示意图；
图3B为样本集的权重分布的示意图；
图4为图3实施例中S202的另一种实现方式的流程图；
图5为一个实施例提供的一种样本的梯度密度确定方法的流程图；
图6为一个实施例提供的一种膝关节图像；
图7为一个实施例提供的一种损失函数的优化装置的结构示意图；
图8为一个实施例提供的一种损失函数的优化装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
在现有的医学图像分割任务中，常常面临两类样本不均衡问题的挑战。一类是正负样本之间的不均衡，另一类则是难易样本之间的不均衡。而传统的深度学习损失函数，例如，Weighted Cross Entropy Loss,Dice Loss或者Focal Loss在解决这两类不均衡问题时存在一定的局限性，比如，需要手动调节超参数等。其中，Weighted Cross Entropy Loss通过生成Weighed map来解决这两类不均衡问题，但Weighted map的生成具有一定的主观性，需要根据具体的任务进行调节，因而不是一种通用的解决方案。Dice Loss能有效解决正负样本不均衡问题，但不能解决难易样本之间的不均衡问题。Focal Loss在CrossEntropy的基础上增加了权重调节模块，通过提高难分样本的权重来解决难易样本之间的不均衡问题。然而，其权重调节模块中包含了需要手动调节的超参数，因而无法进行自适应调节。本申请提出的基于梯度自适应的深度学习损失函数能有效解决这两类不均衡问题，并且基于梯度进行样本权重的自适应调节，不需要进行任何超参数的调节。
本申请提供的损失函数的优化方法，可以应用于如图1所示的计算机设备中，该计算机设备可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种损失函数的优化方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为一个实施例提供的一种损失函数的优化方法的流程图，该方法的执行主体为图1中的计算机设备，该方法涉及的是计算机设备优化关于图像处理模型的损失函数的具体过程。如图2所示，该方法具体包括以下步骤：
S101、获取样本集内各样本的权重。
其中，权重用于表征样本的分类难易程度，权重越大表征样本越难分类，权重越小表征样本越容易分类。样本集为训练相应的图像处理模型时采用的样本集，具体包括难分类的样本和易分类的样本。本实施例中，当计算机设备在对关于图像处理模型的损失函数进行优化时，可以先获取待训练的样本集内各样本的权重，从而利用该权重量化样本集内各样本的分类难易程度。具体的，各样本的权重可以通过样本在神经网络进行反向传播时的梯度密度分布确定，可选的，各样本的权重也可以采用其它方法确定，只要计算机设备能够获取到表征样本的分类难易程度的权重即可。
S102、将各样本的权重作为预设的损失函数中的权重变量的值，得到权重更新后的损失函数；权重更新后的损失函数用于训练得到图像处理模型。
其中，预设的损失函数可以为一种梯度自适应损失函数，例如，梯度自适应损失函数(Gradient Harmonized Dice Loss，GHDL)。
可选的，上述损失函数可以为Dice损失函数中增加上述样本集内各样本的权重，具体的，可以采用如下关系式(1)或其变形式表示：
Figure BDA0002200635470000061
其中，p为图像处理模型输出的预测向量，g为样本集对应的金标准向量，w表示样本集内各样本的权重，W为样本集对应的权重矩阵；N表示样本集内样本的数量。
本实施例中，当计算机设备基于S101获取到样本集内各样本的权重时，可以进一步的将各样本的权重作为预设的损失函数中的权重变量的值，代入到如上述关系式(1)中的w，得到权重w更新后的损失函数GHDL，即完成对原有损失函数的优化，然后计算机设备就可以利用优化后的损失函数对图像处理模型进行训练。
本实施例提供的一种损失函数的优化方法，包括：获取样本集内各样本的权重，再将各样本的权重作为预设的损失函数中的权重变量的值，得到权重更新后的损失函数，实现对损失函数的优化，该优化后的损失函数可以用于训练得到图像处理模型。由于上述样本集内各样本的权重用于表征样本的分类难易程度，因此，本申请提供的损失函数的优化方法可以不进行任何超参数的调节，即可克服传统的深度学习损失函数在解决样本难易程度不均衡时的局限性，即本申请提供的损失函数可以克服在实际训练相关的图像处理模型时经常遇到的因难易样本之间不均衡导致的训练难度大、训练时间长、以及训练效果差的问题。
图3为图2实施例中S101的另一种实现方式的流程图，该实施例涉及计算机设备获取各样本权重的具体过程，如图3所示，上述S101“获取样本集内各样本的权重”，包括：
S201、获取样本集的梯度密度分布。
其中，样本集的梯度密度分布用于表示该样本集内各样本的梯度的分布情况。本实施例涉及计算机设备获取样本集的梯度密度分布的方法，具体方法包括：计算机设备可以先采用相应的梯度计算方法，计算样本集内各样本的梯度，再进一步的将各样本的梯度代入到相应的梯度密度函数中，得到该样本集的梯度密度分布。
具体的，上述梯度计算方法可以采用关系式(2)或其变形式得到样本集内各样本的梯度：
Figure BDA0002200635470000081
其中，S＝||p||2+||g||2,I＝PTg。
Figure BDA0002200635470000082
为样本集内各样本的梯度。上述关系式(2)为Dice损失函数在神经网络进行反向传播时的梯度进行归一化后的表达式。本实施例中，当计算机设备获取到各样本通过图像处理模型输出的预测向量p，以及各样本对应的金标准向量g时，可以进一步的将预测向量p和金标准向量g，代入到如上述关系式(2)中，得到样本集内各样本的梯度
Figure BDA0002200635470000083
具体的，上述梯度密度函数可以采用关系式(3)或其变形式表示：
Figure BDA0002200635470000084
其中，是第i个样本的归一化梯度，N是样本集内样本的数量，ε是以梯度
Figure BDA0002200635470000086
为中心的区间长度。其中δε可以通过如下关系式(4)得到：
其中，x具体为上述公式(3)中的
Figure BDA0002200635470000088
本实施例中，计算机设备可以采用关系式(4)计算得到δε参数，再进一步的将该δε参数和根据关系式(2)计算得到的样本集内各样本的梯度
Figure BDA0002200635470000089
代入到(3)中，就可以计算得到样本集的梯度密度，也即得到样本集的梯度密度分布。
例如，采用上述关系式(3)计算得到的一个样本集的梯度密度分布具体可以用如图3A所示的对数曲线表示，图中的横轴为样本集内各样本的梯度，纵轴为样本集内各样本的梯度密度，相当于样本集内各样本的梯度对应的样本数量所占样本总量的比例，在如图3A所示的曲线图中，样本的梯度越大，则该梯度对应的样本数量所占样本总量的比例越小，样本的梯度越小，则该梯度对应的样本数量所占样本总量的比例越大。而在实际应用中，梯度越小的样本意味着其对损失函数的贡献越小，因此可以认为梯度越小的样本为容易分类的样本，相应的，梯度越大的样本意味着其对损失函数的贡献越大，因此可以认为梯度越大的样本为难分类的样本。可见，根据样本集的梯度密度分布(例如，如图3A所示的曲线)，即可得到样本集内各样本的梯度与各样本的分类难易程度之间的对应关系。
S202、根据样本集的梯度密度分布确定样本集内各样本的权重。
当计算机设备获取到上述样本集的梯度密度分布时，可以进一步的根据样本集的梯度密度分布确定该样本集内各样本的分类难易程度，然后即可根据各样本的分类难易程度，给各样本分配相应的权重。例如，若计算机设备得到如图3A所示的梯度密度分布，则计算机设备可以根据该曲线中各样本的分类难易程度，即图中纵轴所表示的数值，进一步的得到如图3B所示的曲线，其中横轴表示各样本梯度，纵轴表示各样本的权重。计算机设备根据如图3B所示的权重分布曲线即可得到样本集内各样本的权重。
上述实施例通过样本集的梯度密度分布得到样本集内各样本的权重的方法，仅需要在得到样本集后，计算该样本集内各样本的梯度，然后再将各样本的梯度代入到相应的梯度密度函数中进行计算，即可得到该样本集的梯度密度分布，该方法简单实用，进而可以提高本申请提出的损失函数的优化方法的普及应用性。
图4为图3实施例中S202的另一种实现方式的流程图，该实施例涉及计算机设备获取各样本权重的另一具体过程，如图4所示，上述S202“根据样本集的梯度密度分布确定样本集内各样本的权重”，包括：
S301、根据梯度密度分布确定样本集内各样本的梯度密度；梯度密度用于表征样本的分类难易程度。
其中，样本集内各样本的梯度密度表示样本集内各样本的梯度对应的样本数量所占样本总量的比例，样本的梯度密度越大，则该样本的梯度对应的样本数量所占样本总量的比例越大，相应的，样本的梯度密度越小，则该样本的梯度对应的样本数量所占样本总量的比例越小。在实际应用中，样本的分类难易程度与样本的梯度密度存在对应关系，即样本的分类难度越大，样本的梯度密度越小；样本的分类难度越小，样本的梯度密度越大。
本实施例中，当计算机设备基于前述的方法获取到样本集的梯度密度分布时，即可根据各样本的梯度获取到各样本的梯度密度，具体的，可以先利用关系式(2)计算得到各样本的梯度，然后再将各样本的梯度代入到关系式(3)中，即可计算得到各样本的梯度密度，也为各样本梯度对应的样本数量所占样本总量的比例。
S302、根据各样本的梯度密度，确定样本集内各样本的权重。
当计算机设备获取到各样本的梯度密度时，可以根据样本的梯度密度与样本的分类难易程度之间的关系，确定各样本的分类难易程度，然后根据各样本的分类难易程度确定样本集内各样本的权重。可选的，样本的梯度密度与样本的权重存在对应关系，即样本的梯度密度越大，样本的权重越小；样本的梯度密度越小，样本的权重越大。在该应用下，当计算机设备获取到各样本的梯度密度时，可以根据上述对应关系，根据样本的梯度密度直接确定各样本的权重。而样本的梯度密度与样本的权重之间的对应关系可以预先由计算机设备根据样本集的梯度密度分布确定。例如，由图3A的样本集的梯度密度分布可以确定出图3B的样本集的权重分布，计算机设备即可根据图3B所示的权重分布确定样本集内各样本的权重。
上述实施例中，由于上述样本集内各样本的梯度密度可以直接反映出各样本的分类难易程度，因此，通过样本集的梯度密度分布得到的各样本的权重可以直接反映各样本的分类难易程度，本申请将具有反映样本分类难易程度的权重加入损失函数，从而在利用该损失函数对相应的图像处理模型进行训练时，可以进一步的克服样本分类难易程度不均衡的问题。
在实际应用中，还存在一种根据样本的梯度密度确定样本的权重的方法，如图5所示，该方法包括：
S401、若样本的梯度密度大于预设梯度密度，则确定样本的权重小于预设权重。
其中，预设梯度密度由计算机设备预先根据实际应用需求确定，用于区分容易分类样本和难分类样本，例如，将大于预设梯度密度的样本确定为容易分类的样本，将小于等于预设梯度密度的样本确定为难分类的样本。预设权重由计算机设备预先根据实际应用需求确定，用于区分容易分类的样本对应的权重和难分类的样本对应的权重。
本实施例中，当计算机设备获取到样本集内各样本的梯度密度时，可以进一步从样本集内选取出大于预设梯度密度的样本，并给大于预设梯度密度的样本分配小于预设权重的权重值。分配的权重值可以由计算机设备随机选取，只要小于预设权重即可，对此本实施例不做限制。具体的，计算机设备可以给大于预设梯度密度的所有样本分配相同的权重值，可选的，计算机设备也可以给大于预设梯度密度的不同样本随机的分配不同的权重值，只要权重值小于预设权重即可。
S402、若样本的梯度密度小于预设梯度密度，则确定样本的权重大于或等于预设权重。
本实施例中，当计算机设备获取到样本集内各样本的梯度密度时，可以进一步从样本集内选取出小于预设梯度密度的样本，并给小于预设梯度密度的样本分配大于或等于预设权重的权重值。分配的权重值可以由计算机设备随机选取，只要大于或等于预设权重即可，对此本实施例不做限制。具体的，计算机设备可以给小于预设梯度密度的所有样本分配相同的权重值，可选的，计算机设备也可以给小于预设梯度密度的不同样本随机的分配不同的权重值，只要权重值大于或等于预设权重即可。
综上，本申请提供的损失函数的优化方法，在优化损失函数的过程中，仅需要计算得到样本集内各样本的梯度，再将各梯度代入到相应的梯度密度函数中进行计算，即可得到样本集的各样本的梯度密度，进一步的根据各样本的梯度密度就可以确定各样本的权重，在得到各样本的权重后即可优化关于图像处理模型的损失函数，然后利用优化后的损失函数实现对图像处理模型的训练，由于优化后的损失函数中的权重可以表征样本的分类难易程度，因此，利用优化后的损失函数对图像处理模型进行训练时，可以减小训练难度和训练时间，以及提高训练效果等。
示例性说明：利用本申请提出的损失函数的优化方法得到的损失函数训练图像处理模型，该图像处理模型用于对膝关节磁共振MR图像进行分割。假设使用上述图像处理模型对输入的原始膝关节磁共振MR图像进行分割，得到如图6所示的图像，其中，第一列图像代表输入的原始膝关节磁共振MR图像，第二列图像代表金标准图像，第三列图像代表训练图像处理模型时的权重分布图像。可见，使用本申请提出的损失函数，权重较大的区域集中在膝关节组织边缘比较难分的区域，基于这样的权重分布的损失函数对图像处理模型进行训练，得到的图像处理模型如果对图6中的第一列所示的膝关节图像进行分割时，得到的分割结果的分割精度较高。
应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行。
在一个实施例中，如图7所示，提供了一种损失函数的优化装置，包括：获取模块11和优化模块12，其中：
获取模块11，用于获取样本集内各样本的权重；所述权重用于表征样本的分类难易程度；
优化模块12，用于将所述各样本的权重作为预设的损失函数中的权重变量的值，得到权重更新后的损失函数；所述权重更新后的损失函数用于训练得到图像处理模型。
在一个实施例中，如图8所示，上述获取模块11，包括：获取单元111和确定单元112，其中：
获取单元111，用于获取所述样本集的梯度密度分布；
确定单元112，用于根据所述样本集的梯度密度分布确定所述样本集内各样本的权重。
在一个实施例中，上述确定单元112具体用于根据所述梯度密度分布确定所述样本集内各样本的梯度密度；所述梯度密度用于表征所述样本的分类难易程度；根据所述各样本的梯度密度，确定所述样本集内各样本的权重。在一个实施例中，所述样本的分类难度越大，所述梯度密度越小；所述样本的分类难度越小，所述梯度密度越大。
在一个实施例中，所述样本的梯度密度越大，所述样本的权重越小；所述样本的梯度密度越小，所述样本的权重越大。
在一个实施例中，上述确定单元112还具体用于在所述样本的梯度密度大于预设梯度密度时，确定所述样本的权重小于预设权重；在所述样本的梯度密度小于所述预设梯度密度时，确定所述样本的权重大于或等于所述预设权重。
在一个实施例中，所述损失函数为Dice损失函数中增加所述样本集内各样本的权重。
关于损失函数的优化装置的具体限定可以参见上文中对于一种损失函数的优化方法的限定，在此不再赘述。上述损失函数的优化装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取样本集内各样本的权重；所述权重用于表征样本的分类难易程度；
将所述各样本的权重作为预设的损失函数中的权重变量的值，得到权重更新后的损失函数；所述权重更新后的损失函数用于训练得到图像处理模型。
上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时还实现以下步骤：
获取样本集内各样本的权重；所述权重用于表征样本的分类难易程度；
将所述各样本的权重作为预设的损失函数中的权重变量的值，得到权重更新后的损失函数；所述权重更新后的损失函数用于训练得到图像处理模型。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种损失函数的优化方法，其特征在于，所述方法包括：
获取样本集内各样本的权重；所述权重用于表征样本的分类难易程度；
将所述各样本的权重作为预设的损失函数中的权重变量的值，得到权重更新后的损失函数；所述权重更新后的损失函数用于训练得到图像处理模型。
2.根据权利要求1所述的方法，其特征在于，所述获取样本集内各样本的权重，包括：
获取所述样本集的梯度密度分布；
根据所述样本集的梯度密度分布确定所述样本集内各样本的权重。
3.根据权利要求2所述的方法，其特征在于，所述根据所述样本集的梯度密度分布确定所述样本集内各样本的权重，包括：
根据所述梯度密度分布确定所述样本集内各样本的梯度密度；所述梯度密度用于表征所述样本的分类难易程度；
根据所述各样本的梯度密度，确定所述样本集内各样本的权重。
4.根据权利要求3所述的方法，其特征在于，所述样本的分类难度越大，所述梯度密度越小；
所述样本的分类难度越小，所述梯度密度越大。
5.根据权利要求4所述的方法，其特征在于，所述样本的梯度密度越大，所述样本的权重越小；
所述样本的梯度密度越小，所述样本的权重越大。
6.根据权利要求4所述的方法，其特征在于，所述根据所述各样本的梯度密度，确定所述样本集内各样本的权重，包括：
若所述样本的梯度密度大于预设梯度密度，则确定所述样本的权重小于预设权重；
若所述样本的梯度密度小于所述预设梯度密度，则确定所述样本的权重大于或等于所述预设权重。
7.根据权利要求1所述的方法，其特征在于，所述损失函数为Dice损失函数中增加所述样本集内各样本的权重。
8.一种损失函数的优化装置，其特征在于，所述装置包括：
获取模块，用于获取样本集内各样本的权重；所述权重用于表征样本的分类难易程度；
优化模块，用于将所述各样本的权重作为预设的损失函数中的权重变量的值，得到权重更新后的损失函数；所述权重更新后的损失函数用于训练得到图像处理模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤，并根据所述方法训练所得到的图像处理模型对医学图像进行处理。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910863763.1A 2019-09-12 2019-09-12 损失函数的优化方法、装置、计算机设备和存储介质 Pending CN110751175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910863763.1A CN110751175A (zh) 2019-09-12 2019-09-12 损失函数的优化方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910863763.1A CN110751175A (zh) 2019-09-12 2019-09-12 损失函数的优化方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN110751175A true CN110751175A (zh) 2020-02-04

Family

ID=69276371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910863763.1A Pending CN110751175A (zh) 2019-09-12 2019-09-12 损失函数的优化方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110751175A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753870A (zh) * 2020-04-16 2020-10-09 杭州海康威视数字技术股份有限公司 目标检测模型的训练方法、装置和存储介质
CN111814835A (zh) * 2020-06-12 2020-10-23 理光软件研究所（北京）有限公司 计算机视觉模型的训练方法、装置、电子设备和存储介质
CN111967492A (zh) * 2020-06-29 2020-11-20 北京百度网讯科技有限公司 分类模型的训练方法、装置、电子设备以及存储介质
CN112785371A (zh) * 2021-01-11 2021-05-11 上海钧正网络科技有限公司 一种共享设备位置预测方法、装置及存储介质
CN113255531A (zh) * 2021-05-31 2021-08-13 腾讯科技（深圳）有限公司 活体检测模型的处理方法、装置、计算机设备和存储介质
CN114330573A (zh) * 2021-12-30 2022-04-12 济南博观智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316061A (zh) * 2017-06-22 2017-11-03 华南理工大学 一种深度迁移学习的不平衡分类集成方法
CN107578061A (zh) * 2017-08-16 2018-01-12 哈尔滨工业大学深圳研究生院 基于最小化损失学习的不平衡样本分类方法
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN109344713A (zh) * 2018-08-31 2019-02-15 电子科技大学 一种姿态鲁棒的人脸识别方法
CN109949276A (zh) * 2019-02-28 2019-06-28 华中科技大学 一种于改进SegNet分割网络的淋巴结检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316061A (zh) * 2017-06-22 2017-11-03 华南理工大学 一种深度迁移学习的不平衡分类集成方法
CN107578061A (zh) * 2017-08-16 2018-01-12 哈尔滨工业大学深圳研究生院 基于最小化损失学习的不平衡样本分类方法
CN109344713A (zh) * 2018-08-31 2019-02-15 电子科技大学 一种姿态鲁棒的人脸识别方法
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN109949276A (zh) * 2019-02-28 2019-06-28 华中科技大学 一种于改进SegNet分割网络的淋巴结检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BUYU LI.ET AL: ""Gradient Harmonized Single-stage Detector"", 《ARXIV》 *
杨建君等: ""基于可靠背景模型的运动目标检测算法"", 《杭州电子科技大学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753870A (zh) * 2020-04-16 2020-10-09 杭州海康威视数字技术股份有限公司 目标检测模型的训练方法、装置和存储介质
CN111753870B (zh) * 2020-04-16 2023-08-18 杭州海康威视数字技术股份有限公司 目标检测模型的训练方法、装置和存储介质
CN111814835A (zh) * 2020-06-12 2020-10-23 理光软件研究所（北京）有限公司 计算机视觉模型的训练方法、装置、电子设备和存储介质
CN111967492A (zh) * 2020-06-29 2020-11-20 北京百度网讯科技有限公司 分类模型的训练方法、装置、电子设备以及存储介质
CN112785371A (zh) * 2021-01-11 2021-05-11 上海钧正网络科技有限公司 一种共享设备位置预测方法、装置及存储介质
CN113255531A (zh) * 2021-05-31 2021-08-13 腾讯科技（深圳）有限公司 活体检测模型的处理方法、装置、计算机设备和存储介质
CN113255531B (zh) * 2021-05-31 2021-11-09 腾讯科技（深圳）有限公司 活体检测模型的处理方法、装置、计算机设备和存储介质
CN114330573A (zh) * 2021-12-30 2022-04-12 济南博观智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110751175A (zh) 损失函数的优化方法、装置、计算机设备和存储介质
US20210295162A1 (en) Neural network model training method and apparatus, computer device, and storage medium
JP5984153B2 (ja) 情報処理装置、プログラム、及び情報処理方法
TWI444844B (zh) 模擬參數校正技術
CN111126668B (zh) 基于图卷积网络的Spark作业时间预测方法和装置
WO2021238262A1 (zh) 一种车辆识别方法、装置、设备及存储介质
CN110334735B (zh) 多任务网络生成方法、装置、计算机设备和存储介质
CN110991649A (zh) 深度学习模型搭建方法、装置、设备和存储介质
CN110390679B (zh) 图像处理方法、计算机设备和可读存储介质
KR20200080391A (ko) 딥 러닝 기반의 금속 미세조직 이미지를 이용한 소재 물성 예측 시스템 및 방법
CN111160531B (zh) 神经网络模型的分布式训练方法、装置及电子设备
CN110866909A (zh) 图像生成网络的训练方法、图像预测方法和计算机设备
CN111598213A (zh) 网络训练方法、数据识别方法、装置、设备和介质
CN112884016B (zh) 云平台可信评估模型训练方法和云平台可信评估方法
CN112132776A (zh) 基于联邦学习的视觉检测方法及系统、存储介质、设备
CN111160394A (zh) 分类网络的训练方法、装置、计算机设备和存储介质
CN115600650A (zh) 基于强化学习的自动化卷积神经网络量化剪枝方法、设备和存储介质
CN114359563A (zh) 模型训练方法、装置、计算机设备和存储介质
CN114266943A (zh) 图像风格迁移方法、装置、设备及存储介质
CN110163151B (zh) 人脸模型的训练方法、装置、计算机设备和存储介质
CN113420370A (zh) 一种高度静不定结构的强度设计载荷获取方法
CN115272152A (zh) 一种对抗医学图像的生成方法、装置、设备及存储介质
CN115048290A (zh) 软件质量的评估方法、装置、存储介质及计算机设备
CN110795255B (zh) 数据批量值调整方法、装置、可读存储介质和设备
CN110766652B (zh) 网络训练方法、装置、分割方法、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination