CN107133626A - 一种基于部分平均随机优化模型的医学影像分类方法 - Google Patents

一种基于部分平均随机优化模型的医学影像分类方法 Download PDF

Info

Publication number
CN107133626A
CN107133626A CN201710325946.9A CN201710325946A CN107133626A CN 107133626 A CN107133626 A CN 107133626A CN 201710325946 A CN201710325946 A CN 201710325946A CN 107133626 A CN107133626 A CN 107133626A
Authority
CN
China
Prior art keywords
mrow
msub
msup
mtd
represent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710325946.9A
Other languages
English (en)
Other versions
CN107133626B (zh
Inventor
程凡
宫成功
周铜
陈叶瀚森
胡友平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN201710325946.9A priority Critical patent/CN107133626B/zh
Publication of CN107133626A publication Critical patent/CN107133626A/zh
Application granted granted Critical
Publication of CN107133626B publication Critical patent/CN107133626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于部分平均随机优化模型的医学影像分类方法，包括：1、利用现有医学影像处理技术构建数据集；2、定义问题的目标函数；3、定义问题的损失函数；4、初始化该分类算法所涉及的相关参数，包括：迭代次数T、多项式衰减平均参数ρ和代价敏感系数Cp,Cn。5、利用COMID框架对目标函数进行迭代求解，得到分类模型；6、利用分类模型对样本进行分类。本发明能提高分类精度，在特定场景下(大规模、不平衡、稀疏)，得到更好的分类结果，并且得到了O(1/T)的最优收敛速度。

Description

一种基于部分平均随机优化模型的医学影像分类方法
技术领域
本发明涉及统计学习分类技术领域，更具体地说是一种基基于部分平均随机优化模型的医学影像分类方法。
背景技术
随着大数据时代的到来，计算机科学与技术迅猛发展。逐渐对生物医疗、文本分类等领域产生了十分深远的影响。这使得人们试图让计算机逐渐代替人类专家从事十分具有挑战性的疾病诊断工作。自1985年伦琴发现X射线，尤其是1979年CT技术的出现以来，医学影像学获得了极大发展。近些年来，新的医学影像技术更是层出不穷。
然而，医学影像由于病人个体差异、影像的模糊和分布不均、存在噪声且数据存在很高的不平衡率等问题，导致医学专家对于一些疾病的诊断遇到了极难突破的瓶颈。而在面对诸如医学影像这类涉及不平衡数据集的学习问题，研究的困难主要来自于不平衡数据本身的特点：不平衡数据集中的少数类样本不足，样本的分布并不能很好的反映整个类的实际分布；多数类通常会夹杂噪声数据，使得两类样本往往会出现不同程度的重叠。传统的机器学习领域的分类方法，在直接应用与不平衡数据的分类问题时，容易对少数类的样本错分，使得少数类的分类准确率非常低。并且面对大量的数据传统的批学习算法运算代价太大，计算速度慢，有时甚至无法使用此类算法。
而近些年的研究表明：很多直接优化不平衡分类问题的方法都可以看成某种形式的代价敏感问题。在这个工作中，包含下列不平衡评测指标：F-measure,JaccardCoefficient，A-mean等。近些年的研究表明，这些评测方法都是伪线性的方法，并可以被简化为代价敏感的问题。并且此类问题更是以算法的稀疏度及收敛速率表现作为评判其优劣性的重要指标。而这些工作大都采用基于L2范数，无法保证训练结果的稀疏性，因此在具有大规模特征的医学影像数据集的分类问题上，上述方法并不适用。
发明内容
本发明为避免上述现有技术存在的不足之处，提供一种基于部分平均随机优化模型的医学影像分类方法，以期能提高分类器对大规模，尤其是不平衡医学影像数据集的分类精度及稀疏度，并利用随机学习的特点加快分类速度，从而能快速、有效的实现医学影像分类，达到辅助诊断的作用。
为了达到上述目的，本发明所采用的技术方案为：
本发明一种基于部分平均随机优化模型的医学影像分类方法的特点是按以下步骤进行：
步骤1、采集由n个带有类标签的医学影像构成的图像集并进行去冗余及直方图均衡化处理，得到灰度图像集；
提取所述灰度图像集中每个灰度图像的灰度共生矩阵，再提取所述灰度共生矩阵的特征向量，由n个特征向量分别作为医学影像样本并构成医学影像数据集，记为xi表示第i个医学影像样本，且xi∈Rd；Rd表示实数的d维空间；yi表示第i个医学影像样本所对应的类标签，且yi∈{+1,-1}；当yi＝+1，表示第i个医学影像xi为相关样本，当yi＝-1，表示第i个医学影像xi为不相关样本；1≤i≤n；
步骤2、基于结构化SVM框架，定义如式(1)所示的目标函数：
式(1)中，Cpos表示相关样本的代价敏感系数，Cneg表示不相关样本的代价敏感系数，并且Cpos+Cneg＝1；R(W)是正则化项；表示所有相关样本，表示所有不相关样本；W为一个d维向量，表示待求解的分类器；l(xi,yi,W)表示损失函数，并有：
步骤3、对式(1)中的损失函数累加和进行求导，得到总梯度g：
式(3)中，n+表示相关样本的总数，n-表示不相关样本的总数，且n++n-＝n；xk表示第k个医学影像相关样本；yk表示第k个医学影像相关样本所对应的类标签；xs表示第s个医学影像不相关样本；ys表示第s个医学影像不相关样本所对应的类标签；1≤k≤n+，1≤s≤n-；
步骤4、初始化分类器的相关参数：
定义迭代次数为t，迭代终止次数为T，步长参数为σ；
在1到n之间随机生成矩阵[r1,r2,...,rt,...,rT]，rt表示第t个随机数所指向的样本序号；
步骤5、初始化t＝1，令
步骤6、利用坐标下降优化算法对所述目标函数进行处理，得到如式(4)所示的第t+1轮的解析解Wt+1：
式(4)中，ηt表示第t轮的步长参数，gt为一个d维向量，表示第t轮的梯度，＜＞表示向量间的内积；Bφ(Wt+1,Wt)表示凸函数的Bregman散度，且Bφ(Wt+1,Wt)＝||Wt+1-Wt||2，|| ||2表示L2范数；P(Wt)表示第t轮的解析解Wt的范数，并有P(Wt)＝|W|，||表示L1范数；
由式(4)经过化简得到式(5)：
式(5)中，λ是正则化项R(W)的参数；
步骤7、抽取第t轮的第rt个医学影像样本并对所述总梯度g进行无偏估计，得到第t轮的梯度gt：
步骤8、利用ηt＝1/σt更新第t轮的步长参数；
步骤9、利用式(7)得到第t+1轮的解析解Wt+1的第j个维度值，从而得到第t+1轮的解析解Wt+1的d个维度值：
式(7)中，表示第t轮的梯度gt的第j个维度值；1≤j≤d；
步骤10、判断是否成立，若成立，则利用式(8)得到第t+1轮的部分平均参数后执行步骤11，否则，直接执行步骤11；
式(8)中，ρ是为所设定的参照系数，表示第t轮的部分平均参数；
步骤11、判断t＜T是否成立，若成立，则将t+1赋值给t，并返回步骤7执行；否则，表示获得第T轮的部分平均参数并利用第T轮的部分平均参数作为最优分类器对其他医学影像数据集进行分类。
与已有技术相比，本发明的有益效果体现在：
1、本发明结合了医学影像分类问题，将医学影像分类这类具有伪线性特征的问题看作代价敏感问题，使用随机优化方法，提高了计算速度，并使用L1正则化构造了代价敏感框架来优化伪线性性能指标，使得对不平衡医学影像数据集的分类结果更加精确。
2、传统医学影像分类方法中，简单在目标函数中添加L1正则化项并不能导致稀疏。因此，本发明使用梯度下降算法作为内部的优化方法，在求解梯度时将正则化项和损失函数分别看待，在步骤7中只对损失函数求导，从而获得有效的稀疏模型比较结果，提高了对医学影像的分类效率。
3、本发明提出一个基于部分平均的方法，传统的平均方法需要保留所有迭代中间值，而本发明方法在内存中只使用了两个变量，在没有增加计算代价的前提下减少了对内存空间的使用，该方法不仅能获得医学影像分类问题最佳的优化速度O(1/T)，并且计算速度也很高。
附图说明
图1是本发明的实现流程图；
图2是本发明与现有技术在不平衡数据集上得到的以F1为评价指标的对比图。
具体实施方式
本实施例中，如图1所示，一种基于部分平均随机优化模型的医学影像分类方法是按以下步骤进行：
步骤1、采集由n个带有类标签的医学影像构成的图像集并进行去冗余及直方图均衡化处理，得到灰度图像集；
提取所述灰度图像集中每个灰度图像的灰度共生矩阵，再提取所述灰度共生矩阵的特征向量，由n个特征向量分别作为医学影像样本并构成医学影像数据集，记为xi表示第i个医学影像样本，且xi∈Rd；Rd表示实数的d维空间；yi表示第i个医学影像样本所对应的类标签，且yi∈{+1,-1}；当yi＝+1，表示第i个医学影像xi为相关样本，当yi＝-1，表示第i个医学影像xi为不相关样本；1≤i≤n；
步骤2、基于结构化SVM框架，定义如式(1)所示的目标函数：
式(1)中，Cpos表示相关样本的代价敏感系数，Cneg表示不相关样本的代价敏感系数，并且Cpos+Cneg＝1；R(W)是正则化项；表示所有相关样本，表示所有不相关样本；W为一个d维向量，表示待求解的分类器；l(xi,yi,W)表示损失函数，并有：
步骤3、对式(1)中的损失函数累加和进行求导，得到总梯度g：
式(3)中，n+表示相关样本的总数，n-表示不相关样本的总数，且n++n-＝n；xk表示第k个医学影像相关样本；yk表示第k个医学影像相关样本所对应的类标签；xs表示第s个医学影像不相关样本；ys表示第s个医学影像不相关样本所对应的类标签；1≤k≤n+，1≤s≤n-；
步骤4、初始化分类器的相关参数：
定义迭代次数为t，迭代终止次数为T，步长参数为σ；
在每次需要时生成一个随机数，面对数据量极大的情况下调用随机函数产生的开销将变得很大，为了加快计算速度，在算法开始前生成随机矩阵。
在1到n之间随机生成矩阵[r1,r2,…,rt,…,rT]，rt表示第t个随机数所指向的样本序号；
步骤5、初始化t＝1，令
步骤6、利用坐标下降优化算法对所述目标函数进行处理，得到如式(4)所示的第t+1轮的解析解Wt+1：
式(4)中，ηt表示第t轮的步长参数，gt为一个d维向量，表示第t轮的梯度，＜＞表示向量间的内积；Bφ(Wt+1,Wt)表示凸函数的Bregman散度，且Bφ(Wt+1,Wt)＝||Wt+1-Wt||2，|| ||2表示L2范数；P(Wt)表示第t轮的解析解Wt的范数，并有P(Wt)＝|W|，||表示L1范数；
由式(4)经过化简得到式(5)：
式(5)中，λ是正则化项R(W)的参数；
步骤7、为了加快计算速度在每次更新时我们只针对随机抽取的样本进行优化，利用该样本更新梯度，这样可以极大的加快计算速度。抽取第t轮的第rt个医学影像样本并对所述总梯度g进行无偏估计，得到第t轮的梯度gt：
步骤8、利用ηt＝1/σt更新第t轮的步长参数；
步骤9、式(5)实质上是一个凸优化问题令式(5)变成
设w*是问题的最优解，所以当上式对w求偏导为零可得到最优解，即满足λξ+γ+βw＝0时，可以得到解析解。
|w|的次微分可以写成：
当|γ|≤λ时，令w*＝0得此时满足偏导为零并且除此之外并无其他解。原因如下：
如果w＞0，则ξ＝1，这时
λξ+γ+βw＝λ+γ+βw＞λ+γ≥0
如果w＜0，则ξ＝-1，这时
λξ+γ+βw＝-λ+γ+βw＜-λ+γ≤0
所以，对于w≠0的情况，λξ+γ+βw＝0均不满足。
当γ＞λ＞0时，一定有w*＞0，则ξ＝-1，从而并且除此之外无其他解。
当γ＜-λ＜0时，此时一定有w*＞0，则ξ＝1，从而
综上可得式(7)。利用式(7)得到第t+1轮的解析解Wt+1的第j个维度值，从而得到第t+1轮的解析解Wt+1的d个维度值：
式(7)中，表示第t轮的梯度gt的第j个维度值；1≤j≤d；
步骤10、判断是否成立，若成立，则利用式(8)得到第t+1轮的部分平均参数后执行步骤11，否则，直接执行步骤11；
式(8)中，ρ是为所设定的参照系数，表示第t轮的部分平均参数；与简单的对所有后半部分的迭代结果求平均相比，式(8)在不增加计算代价的情况下，使得在内存中只使用了两个变量，减少了内存开销并且获得了更高的计算速度和精度。
步骤11、判断t＜T是否成立，若成立，则将t+1赋值给t，并返回步骤7执行；否则，表示获得第T轮的部分平均参数并利用第T轮的部分平均参数作为最优分类器对其他医学影像数据集进行分类。在
本发明的效果可以通过以下仿真实验进一步说明，大量不平衡医学影像数据集上的实践评估说明了本发明所提出方法的高效性和有效性：
一、实验条件和参数设置
实验在MATLAB环境下，基于结构化支持向量机SVMstruct
表1是实验所采用的大规模、不平衡数据集及其特征；
表1实验数据集的特征
表2是实验中不同算法的F1值和稀疏度比较，表中每一项上面一行数据是稀疏度，下面一行数据是F1；有*标记的结果为最优值。
表2不同算法的F1值和稀疏度比较
二、实验内容与结果分析
表1是实验中使用的4个大规模、不平衡数据集。a3a、mnist、shuttle、news20，其不平衡比例从0.36721到0.05161。本发明和现有主流医学影像分类问题所采用的方法：L1+COMID,L2+PolyAvg,L1+COMID-CS和L2+PolyAvg-CS进行了比较。这些算法都是基于SGD的方法。前两个方法和本发明的工作是最相关的，因为本发明的L1+COMID-CS-PolyAvg方法采用了优化框架，并使用了多项式衰减平均技术。然而，L1+COMID和L2+PolyAvg是针对平衡二分类问题的，为了使实验结果更具可信度，本发明也将这两个算法的代价敏感的版本(L1+COMID-CS,L2+PolyAvg-CS)作为另外两个对比算法。和所有的优化伪线性度量方法一样，本发明使用F-measure作为评估指标，并且对比算法的F1值和稀疏度(最终分类结果中的零权重特征比例)。显然，从表2及图2中可以看出，本发明的算法与其他算法相比拥有更高的精度及稀疏度。这使得其与的分类模型与传统分类方法相比分类的结果更为优越，对疾病诊断的辅助作用也更强。

Claims (1)

1.一种基于部分平均随机优化模型的医学影像分类方法，其特征是按以下步骤进行：
步骤1、采集由n个带有类标签的医学影像构成的图像集并进行去冗余及直方图均衡化处理，得到灰度图像集；
提取所述灰度图像集中每个灰度图像的灰度共生矩阵，再提取所述灰度共生矩阵的特征向量，由n个特征向量分别作为医学影像样本并构成医学影像数据集，记为xi表示第i个医学影像样本，且xi∈Rd；Rd表示实数的d维空间；yi表示第i个医学影像样本所对应的类标签，且yi∈{+1,-1}；当yi＝+1，表示第i个医学影像xi为相关样本，当yi＝-1，表示第i个医学影像xi为不相关样本；1≤i≤n；
步骤2、基于结构化SVM框架，定义如式(1)所示的目标函数：
<mrow> <mi>W</mi> <mo>=</mo> <mi>arg</mi> <mo>{</mo> <munder> <mi>min</mi> <mrow> <mi>W</mi> <mo>&amp;Element;</mo> <msup> <mi>R</mi> <mi>d</mi> </msup> </mrow> </munder> <mi>R</mi> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>C</mi> <mrow> <mi>p</mi> <mi>o</mi> <mi>s</mi> </mrow> </msub> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>:</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mo>+</mo> <mn>1</mn> </mrow> </munder> <mi>l</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>C</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>:</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mo>-</mo> <mn>1</mn> </mrow> </munder> <mi>l</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
式(1)中，Cpos表示相关样本的代价敏感系数，Cneg表示不相关样本的代价敏感系数，并且Cpos+Cneg＝1；R(W)是正则化项；表示所有相关样本，表示所有不相关样本；W为一个d维向量，表示待求解的分类器；l(xi,yi,W)表示损失函数，并有：
<mrow> <mi>l</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>C</mi> <mrow> <mi>p</mi> <mi>o</mi> <mi>s</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <mi>max</mi> <msup> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <msub> <mi>Wx</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>C</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <mi>max</mi> <msup> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <msub> <mi>Wx</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mo>+</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
步骤3、对式(1)中的损失函数累加和进行求导，得到总梯度g：
<mrow> <mi>g</mi> <mo>=</mo> <msub> <mi>C</mi> <mrow> <mi>p</mi> <mi>o</mi> <mi>s</mi> </mrow> </msub> <mfrac> <mn>1</mn> <msup> <mi>n</mi> <mo>+</mo> </msup> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>n</mi> <mo>+</mo> </msup> </munderover> <mn>2</mn> <mi>max</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>y</mi> <mi>k</mi> </msub> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mo>-</mo> <msub> <mi>y</mi> <mi>k</mi> </msub> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>C</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> <mfrac> <mn>1</mn> <msup> <mi>n</mi> <mo>-</mo> </msup> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>s</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>n</mi> <mo>-</mo> </msup> </munderover> <mn>2</mn> <mi>max</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>y</mi> <mi>s</mi> </msub> <msub> <mi>x</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mo>-</mo> <msub> <mi>y</mi> <mi>s</mi> </msub> <msub> <mi>x</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
式(3)中，n+表示相关样本的总数，n-表示不相关样本的总数，且n++n-＝n；xk表示第k个医学影像相关样本；yk表示第k个医学影像相关样本所对应的类标签；xs表示第s个医学影像不相关样本；ys表示第s个医学影像不相关样本所对应的类标签；1≤k≤n+，1≤s≤n-；
步骤4、初始化分类器的相关参数：
定义迭代次数为t，迭代终止次数为T，步长参数为σ；
在1到n之间随机生成矩阵[r1,r2,...,rt,...,rT]，rt表示第t个随机数所指向的样本序号；
步骤5、初始化t＝1，令
步骤6、利用坐标下降优化算法对所述目标函数进行处理，得到如式(4)所示的第t+1轮的解析解Wt+1：
<mrow> <msup> <mi>W</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>W</mi> </munder> <mo>{</mo> <msub> <mi>&amp;eta;</mi> <mi>t</mi> </msub> <mo>&lt;</mo> <msup> <mi>g</mi> <mi>t</mi> </msup> <mo>,</mo> <msup> <mi>W</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>-</mo> <msup> <mi>W</mi> <mi>t</mi> </msup> <mo>&gt;</mo> <mo>+</mo> <msub> <mi>B</mi> <mi>&amp;phi;</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>,</mo> <msup> <mi>W</mi> <mi>t</mi> </msup> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;eta;</mi> <mi>t</mi> </msub> <mi>P</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mi>t</mi> </msup> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
式(4)中，ηt表示第t轮的步长参数，gt为一个d维向量，表示第t轮的梯度，＜＞表示向量间的内积；Bφ(Wt+1,Wt)表示凸函数的Bregman散度，且Bφ(Wt+1,Wt)＝||Wt+1-Wt||2，|| ||2表示L2范数；P(Wt)表示第t轮的解析解Wt的范数，并有P(Wt)＝|W|，||表示L1范数；
由式(4)经过化简得到式(5)：
<mrow> <msup> <mi>W</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>W</mi> </munder> <mo>{</mo> <mfrac> <mn>1</mn> <msub> <mi>&amp;eta;</mi> <mi>t</mi> </msub> </mfrac> <msup> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mi>t</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mfrac> <mn>1</mn> <msub> <mi>&amp;eta;</mi> <mi>t</mi> </msub> </mfrac> <mrow> <mo>(</mo> <msup> <mi>g</mi> <mi>t</mi> </msup> <mo>-</mo> <mn>2</mn> <msub> <mi>&amp;eta;</mi> <mi>t</mi> </msub> <msup> <mi>W</mi> <mi>t</mi> </msup> <mo>)</mo> </mrow> <msup> <mi>W</mi> <mi>t</mi> </msup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <msup> <mi>W</mi> <mi>t</mi> </msup> <mo>|</mo> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
式(5)中，λ是正则化项R(W)的参数；
步骤7、抽取第t轮的第rt个医学影像样本并对所述总梯度g进行无偏估计，得到第t轮的梯度gt：
<mrow> <msup> <mi>g</mi> <mi>t</mi> </msup> <mo>=</mo> <mo>{</mo> <mtable> <mtr> <mtd> <mrow> <msub> <mi>C</mi> <mrow> <mi>p</mi> <mi>o</mi> <mi>s</mi> </mrow> </msub> <mn>2</mn> </mrow> </mtd> <mtd> <mrow> <mi>max</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>y</mi> <msub> <mi>r</mi> <mi>t</mi> </msub> </msub> <msub> <mi>x</mi> <msub> <mi>r</mi> <mi>t</mi> </msub> </msub> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mo>-</mo> <msub> <mi>y</mi> <msub> <mi>r</mi> <mi>t</mi> </msub> </msub> <msub> <mi>x</mi> <msub> <mi>r</mi> <mi>t</mi> </msub> </msub> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>y</mi> <msub> <mi>r</mi> <mi>t</mi> </msub> </msub> <mo>=</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>C</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> <mn>2</mn> </mrow> </mtd> <mtd> <mrow> <mi>max</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>y</mi> <msub> <mi>r</mi> <mi>t</mi> </msub> </msub> <msub> <mi>x</mi> <msub> <mi>r</mi> <mi>t</mi> </msub> </msub> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mo>-</mo> <msub> <mi>y</mi> <msub> <mi>r</mi> <mi>t</mi> </msub> </msub> <msub> <mi>x</mi> <msub> <mi>r</mi> <mi>t</mi> </msub> </msub> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>y</mi> <msub> <mi>r</mi> <mi>t</mi> </msub> </msub> <mo>=</mo> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
步骤8、利用ηt＝1/σt更新第t轮的步长参数；
步骤9、利用式(7)得到第t+1轮的解析解Wt+1的第j个维度值，从而得到第t+1轮的解析解Wt+1的d个维度值：
<mrow> <msubsup> <mi>W</mi> <mi>j</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <mrow> <mo>|</mo> <mrow> <mfrac> <msubsup> <mi>g</mi> <mi>j</mi> <mi>t</mi> </msubsup> <msub> <mi>&amp;eta;</mi> <mi>t</mi> </msub> </mfrac> <mo>-</mo> <mn>2</mn> <msubsup> <mi>W</mi> <mi>j</mi> <mi>t</mi> </msubsup> </mrow> <mo>|</mo> </mrow> <mo>&amp;le;</mo> <mi>&amp;lambda;</mi> </mrow> </mtd> </mtr> </mtable> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mfrac> <msub> <mi>&amp;eta;</mi> <mi>t</mi> </msub> <mn>2</mn> </mfrac> <mo>&amp;lsqb;</mo> <mfrac> <msubsup> <mi>g</mi> <mi>j</mi> <mi>t</mi> </msubsup> <msub> <mi>&amp;eta;</mi> <mi>t</mi> </msub> </mfrac> <mo>-</mo> <mn>2</mn> <msubsup> <mi>W</mi> <mi>j</mi> <mi>t</mi> </msubsup> <mo>-</mo> <mi>&amp;lambda;</mi> <mi>sgn</mi> <mrow> <mo>(</mo> <mfrac> <msubsup> <mi>g</mi> <mi>j</mi> <mi>t</mi> </msubsup> <msub> <mi>&amp;eta;</mi> <mi>t</mi> </msub> </mfrac> <mo>-</mo> <mn>2</mn> <msubsup> <mi>W</mi> <mi>j</mi> <mi>t</mi> </msubsup> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>e</mi> <mi>l</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
式(7)中，表示第t轮的梯度gt的第j个维度值；1≤j≤d；
步骤10、判断是否成立，若成立，则利用式(8)得到第t+1轮的部分平均参数后执行步骤11，否则，直接执行步骤11；
<mrow> <msubsup> <mover> <mi>W</mi> <mo>&amp;OverBar;</mo> </mover> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> <mi>&amp;rho;</mi> </msubsup> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <mi>&amp;rho;</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>t</mi> <mo>+</mo> <mi>&amp;rho;</mi> </mrow> </mfrac> <mo>)</mo> </mrow> <msubsup> <mover> <mi>W</mi> <mo>&amp;OverBar;</mo> </mover> <mi>t</mi> <mi>&amp;rho;</mi> </msubsup> <mo>+</mo> <mfrac> <mrow> <mi>&amp;rho;</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>t</mi> <mo>+</mo> <mi>&amp;rho;</mi> </mrow> </mfrac> <msubsup> <mover> <mi>W</mi> <mo>&amp;OverBar;</mo> </mover> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> <mi>&amp;rho;</mi> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
式(8)中，ρ是为所设定的参照系数，表示第t轮的部分平均参数；
步骤11、判断t＜T是否成立，若成立，则将t+1赋值给t，并返回步骤7执行；否则，表示获得第T轮的部分平均参数并利用第T轮的部分平均参数作为最优分类器对其他医学影像数据集进行分类。
CN201710325946.9A 2017-05-10 2017-05-10 一种基于部分平均随机优化模型的医学影像分类方法 Active CN107133626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710325946.9A CN107133626B (zh) 2017-05-10 2017-05-10 一种基于部分平均随机优化模型的医学影像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710325946.9A CN107133626B (zh) 2017-05-10 2017-05-10 一种基于部分平均随机优化模型的医学影像分类方法

Publications (2)

Publication Number Publication Date
CN107133626A true CN107133626A (zh) 2017-09-05
CN107133626B CN107133626B (zh) 2020-03-17

Family

ID=59732139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710325946.9A Active CN107133626B (zh) 2017-05-10 2017-05-10 一种基于部分平均随机优化模型的医学影像分类方法

Country Status (1)

Country Link
CN (1) CN107133626B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022197A (zh) * 2017-11-21 2018-05-11 安徽大学 一种基于多纹理度划分的医学图像可逆信息隐藏方法
CN109522939A (zh) * 2018-10-26 2019-03-26 平安科技（深圳）有限公司 图像分类方法、终端设备及计算机可读存储介质
CN109766443A (zh) * 2019-01-10 2019-05-17 中国人民解放军陆军炮兵防空兵学院 一种基于非光滑函数类型的文本分类方法及系统
CN110110754A (zh) * 2019-04-03 2019-08-09 华南理工大学 基于代价局部泛化误差的不平衡问题的分类方法
CN110942017A (zh) * 2019-11-25 2020-03-31 重庆紫光华山智安科技有限公司 基于自动化的多算法指标对比方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HARIKRISHNA NARASIMHAN ET AL.: "A Structural SVM Based Approach for Optimizing Partial AUC", 《PROCEEDINGS OF THE 30TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 *
周源: "基于代价敏感SVM的直接优化F-measure算法研究", 《万方学位论文》 *
杨康: "基于结构化SVM的直接优化不平衡准则算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
杨芳 等: "基于SVM的新疆哈萨克族食管癌医学图像特征提取及分类研究", 《科技通报》 *
程凡 等: "一种面向不平衡数据集的直接优化G-TR/PR算法", 《小型微型计算机系统》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022197A (zh) * 2017-11-21 2018-05-11 安徽大学 一种基于多纹理度划分的医学图像可逆信息隐藏方法
CN108022197B (zh) * 2017-11-21 2021-03-12 安徽大学 一种基于多纹理度划分的医学图像可逆信息隐藏方法
CN109522939A (zh) * 2018-10-26 2019-03-26 平安科技（深圳）有限公司 图像分类方法、终端设备及计算机可读存储介质
CN109522939B (zh) * 2018-10-26 2024-05-07 平安科技（深圳）有限公司 图像分类方法、终端设备及计算机可读存储介质
CN109766443A (zh) * 2019-01-10 2019-05-17 中国人民解放军陆军炮兵防空兵学院 一种基于非光滑函数类型的文本分类方法及系统
CN109766443B (zh) * 2019-01-10 2020-10-09 中国人民解放军陆军炮兵防空兵学院 一种基于非光滑函数类型的文本分类方法及系统
CN110110754A (zh) * 2019-04-03 2019-08-09 华南理工大学 基于代价局部泛化误差的不平衡问题的分类方法
CN110110754B (zh) * 2019-04-03 2022-03-29 华南理工大学 基于代价局部泛化误差的不平衡问题的分类方法
CN110942017A (zh) * 2019-11-25 2020-03-31 重庆紫光华山智安科技有限公司 基于自动化的多算法指标对比方法及系统
CN110942017B (zh) * 2019-11-25 2022-12-02 重庆紫光华山智安科技有限公司 基于自动化的多算法指标对比方法及系统

Also Published As

Publication number Publication date
CN107133626B (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
Sethy et al. Deep feature based rice leaf disease identification using support vector machine
Hussain et al. Segmentation of glioma tumors in brain using deep convolutional neural network
CN107133626A (zh) 一种基于部分平均随机优化模型的医学影像分类方法
CN106529569B (zh) 基于深度学习的三维模型三角面特征学习分类方法及装置
CN106951499B (zh) 一种基于翻译模型的知识图谱表示方法
CN110197492A (zh) 一种心脏mri左心室分割方法及系统
CN107748900A (zh) 基于区分性卷积神经网络的乳腺肿瘤分类方法和装置
CN106971198A (zh) 一种基于深度学习的尘肺病等级判定方法及系统
CN106991368A (zh) 一种基于深度卷积神经网络的指静脉验证身份识别方法
Zhou et al. Multi-classification of skin diseases for dermoscopy images using deep learning
CN104573699B (zh) 基于中等场强磁共振解剖成像的实蝇识别方法
Ghesu et al. Marginal space deep learning: Efficient architecture for detection in volumetric image data
CN106485259A (zh) 一种基于高约束高分散主成分分析网络的图像分类方法
CN111611851B (zh) 模型生成方法、虹膜检测方法及装置
Chandra et al. Prolificacy Assessment of Spermatozoan via state-of-the-art Deep Learning Frameworks
Fang et al. Identification of apple leaf diseases based on convolutional neural network
CN104573745B (zh) 基于磁共振成像的实蝇分类方法
Alawi et al. Convolutional neural networks model for screening tuberculosis disease
Madhavi et al. COVID-19 infection prediction from CT scan images of lungs using Iterative Convolution Neural Network Model
Zhang et al. Identification of stored grain pests by modified residual network
Cao et al. 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans
Verenich et al. Pulmonary disease classification using globally correlated maximum likelihood: an auxiliary attention mechanism for convolutional neural networks
Cetindag et al. Transfer Learning Methods for Using Textural Features in Histopathological Image Classification
Ahmed et al. Improving prediction of plant disease using k-efficient clustering and classification algorithms
CN104573746B (zh) 基于磁共振成像的实蝇种类识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant