CN109359655B - 基于上下文正则化循环深度学习的图像分割方法 - Google Patents

基于上下文正则化循环深度学习的图像分割方法 Download PDF

Info

Publication number
CN109359655B
CN109359655B CN201811089851.2A CN201811089851A CN109359655B CN 109359655 B CN109359655 B CN 109359655B CN 201811089851 A CN201811089851 A CN 201811089851A CN 109359655 B CN109359655 B CN 109359655B
Authority
CN
China
Prior art keywords
layer
convolution
following
context
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811089851.2A
Other languages
English (en)
Other versions
CN109359655A (zh
Inventor
渠慎明
苏靖
刘颜红
张东生
刘珊
渠梦瑶
王青博
张济仕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN201811089851.2A priority Critical patent/CN109359655B/zh
Publication of CN109359655A publication Critical patent/CN109359655A/zh
Application granted granted Critical
Publication of CN109359655B publication Critical patent/CN109359655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于上下文正则化循环深度学习的图像分割方法，通过卷积操作、上下文正则化操作和循环迭代操作解决了现有同类算法图像区域和非图像区域分割不准确的问题，尤其解决了预测图片大面积错误和边缘分割不清晰的问题，提高了图像分割准确程度。

Description

基于上下文正则化循环深度学习的图像分割方法
技术领域
本发明涉及图像语义分割领域，尤其涉及一种基于上下文正则化循环深度学习的图像分割方法。
背景技术
当今社会，手机、平板电脑等智能移动设备已被广泛使用。显示器作为智能移动设备中人机交互不可或缺的界面，主要分为非自发光显示器和自发光显示器。有机发光二极管(Organic Light-Emitting，OLED)作为一种新兴的自发光显示器技术，不同于传统的非自发光显示器，每一个像素都可以提供光源，可以单独调节，易于有效控制电池消耗。现有的功率约束图像增强算法有个明显的不足之处。现有的方法都是直接将整张图片进行调整，这种操作会损失图像的细节信息，影响视觉感受。
基于视觉心理学，显示器内容中有图像的区域(图像区域)像素亮度值的降低对人类视觉感受的影响比较大，而文本和其他空白等无图像区域(非图像区域)像素亮度值的降低对视觉感受的影响相对较小。根据这一特点，本发明将智能移动设备显示器内容，分成图像区域和非图像区域。目前效果较好的图像语义分割方法是全卷积网络(FullyConvolutionalNetworks，FCN)，但是FCN在进行图像区域和非图像区域的语义分割操作时，出现了预测图片大面积错误和边缘分割不清晰的问题。
发明内容
本发明的目的在于提供基于上下文正则化循环深度学习的图像分割方法，能够解决CN在进行图像区域和非图像区域的语义分割操作时，出现了预测图片大面积错误和边缘分割不清晰的问题。
为了实现上述目的，本发明采用以下技术方案：
基于上下文正则化循环深度学习的图像分割方法，包括以下步骤：
步骤1：对输入图片
Figure GDA0003101394970000011
在VGG19-FCN网络中进行卷积操作，其中，VGG19-FCN网络由18个卷积层、5个池化层和3个反卷积层构成；具体包括以下步骤：
步骤1.1：卷积层操作，采用以下方法：
假设
Figure GDA0003101394970000012
是第1层卷积层的第i层特征映射，定义特征映射
Figure GDA0003101394970000013
为输入量，
Figure GDA0003101394970000014
为输出量，即二值掩膜图，卷积操作如公式(1-1)所示：
Figure GDA0003101394970000021
其中，
Figure GDA0003101394970000022
是第1层卷积层的第i层卷积层的卷积核，
Figure GDA0003101394970000023
是第l层卷积层的第i层卷积层的偏差参数；n是
Figure GDA0003101394970000024
在中特征映射的数量，*表示为卷积操作，f(·)为激活函数；
步骤1.2：池化层最大池化操作，采用以下公式(1-3)表示：
Figure GDA0003101394970000025
其中，Ω(m，n)表示特征向量
Figure GDA0003101394970000026
的空间向量的位置(m，n)，Δ代表
Figure GDA0003101394970000027
在本算法框架的第7层中；
步骤1.3：反卷积层操作，采用以下方法：
将第一层卷积层的第5层的输出量反卷积到原图大小，再将第一层卷积层的第4层的输出和第3层的输出量也依次反卷积，得到
Figure GDA0003101394970000028
反卷积操作用公式(1-4)表示：
Figure GDA0003101394970000029
其中
Figure GDA00031013949700000210
是第l层卷积层的第i层卷积层的卷积核，
Figure GDA00031013949700000211
表示为反卷积操作；
步骤1.4：调整学习率，采用以下方法：
学习率的调整如公式(1-5)所示：
Figure GDA00031013949700000212
其中，Rt为学习率，t为变化计数，t＝0，1，2，3；α为衰减指数；ρ＝0.90；
步骤2：对卷积层输出的二值掩膜图
Figure GDA00031013949700000213
上下文正则化操作，具体包括以下步骤：
步骤2.1：定义
Figure GDA00031013949700000214
为
Figure GDA00031013949700000215
在位置(m，n)的像素，Xg是灰度图，则Xg在位置(m，n)的像素I(m，n)为：
Figure GDA00031013949700000216
其中，η是最原始的误差，η为：
Figure GDA00031013949700000217
其中，
Figure GDA00031013949700000218
为最小化误差参数η，
Figure GDA00031013949700000219
表示Frobenius范数操作；
步骤2.2：定义约束函数：
Figure GDA0003101394970000031
其中，
Figure GDA0003101394970000032
是像素
Figure GDA0003101394970000033
周围8个方向的像素；
步骤2.3：定义权重函数W(m，n)：
Figure GDA0003101394970000034
当w(m，n)＝0时，m和n之间的相应上下文约束将被取消；
步骤2.4：基于两个相邻像素的向量之间的平方差的方法，构造权重函数W(m，n)：
Figure GDA0003101394970000035
其中，σ为规定参数，σ＝0.5，I(m+Δm，n+Δn)为Xg的输入像素周围8个方向的像素；
步骤2.5：在图像域中加入加权上下文约束，改写公式(1-9)为：
Figure GDA0003101394970000036
其中，ω代表8个所在位置的像素的不同方向；
步骤2.6：定义高阶滤波器DΔm，Δn，使DΔm，Δn在每一个位置(Δm，Δn)的值都满足：
Figure GDA0003101394970000037
即使DΔm，Δn在每一个位置(Δm，Δn)的值都满足
Figure GDA0003101394970000038
其中，ω表示指标集，
Figure GDA00031013949700000314
为像素的乘法算子，
Figure GDA0003101394970000039
为卷积算子，DΔm，Δn表示一个一阶微分算子，WΔm，Δn表示像素在(Δm，Δn)的一个加权矩阵，||·||1表示曼哈顿距离的评估；
步骤2.7：定义并最小化下面的目标函数，目标函数(1-14)由公式(1-7)和公式(1-13)得：
Figure GDA00031013949700000310
其中，ξ是平衡两个条件的正则化参数；对于
Figure GDA00031013949700000311
符合以下公式：
Figure GDA00031013949700000312
步骤2.8：定义辅助变量
Figure GDA00031013949700000313
重写公式(1-15)：
Figure GDA0003101394970000041
其中，β为预定义的比例因子，
Figure GDA0003101394970000042
β的初始值β0为1，最大值βmax为22，通过比例因子
Figure GDA0003101394970000043
反复增加β，使其从最小值0到最大值22；
步骤2.9：首先，固定
Figure GDA0003101394970000044
优化
Figure GDA0003101394970000045
Figure GDA0003101394970000046
因此，可以直接在位置(m，n)中最优化
Figure GDA0003101394970000047
Figure GDA0003101394970000048
其中，sign(·)是信号函数；
其次，固定
Figure GDA0003101394970000049
优化
Figure GDA00031013949700000410
Figure GDA00031013949700000411
因为公式(1-19)是
Figure GDA00031013949700000412
的二次方程，因此可以重写公式(1-19)：
Figure GDA00031013949700000413
步骤2.10：使用二维傅里叶变换和假设循环边界条件优化
Figure GDA00031013949700000414
计算出最优解Y*：
Figure GDA00031013949700000415
其中，τ是傅里叶变化，τ(·)-1是反傅里叶变化；
步骤3：循环迭代操作，包括以下步骤：
步骤3.1：在经过上下文正则化计算之后，将得出的最优解Y*与输入的RGB图片
Figure GDA00031013949700000416
做像素值的相乘，得到一张相乘后的图片Y；
步骤3.2：将步骤3.1中的Y作为输入，重复进行步骤1、步骤2和步骤3.1，基于Y的熵值，设置熵值临界值6.92，使迭代从0到6.92进行，直至预测出与真相最为接近的二值掩膜图。
步骤1.1中，所述的激活函数使用的是修正线性单元，如公式(1-2)所示：
f(x)＝max(0，x)；(1-2)
其中x是激活函数的输入值。
步骤1.4中，所述的学习率Rt的初始值R0设为10-4。
步骤3.2中，判断图片Y是否为与真相最为接近的二值掩膜图的方法为：通过查准率、召回率、F1_measure和相似度这4个评价指标判断。
本发明的有益效果：
本发明所述的一种基于上下文正则化的图像语义分割方法，通过卷积操作、上下文正则化操作和循环迭代操作解决了现有同类算法图像区域和非图像区域分割不准确的问题，尤其解决了预测图片大面积错误和边缘分割不清晰的问题，提高了图像分割准确程度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图；
图2为本发明所述高阶滤波器DΔm，Δn的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示：本发明所述的一种基于上下文正则化的图像语义分割方法，包括以下步骤：
步骤1：在VGG19-FCN网络中进行卷积操作，其中，VGG19-FCN网络由18个卷积层、5个池化层和3个反卷积层构成；具体包括以下步骤：
步骤1.1：假设
Figure GDA0003101394970000051
是第I层卷积层的第i层特征映射，特征映射
Figure GDA0003101394970000052
是输入量，
Figure GDA0003101394970000053
是输出量，即二值掩膜图，如公式(1-1)所示：
Figure GDA0003101394970000061
其中，
Figure GDA0003101394970000062
是第I层卷积层的第i层卷积层的卷积核，
Figure GDA0003101394970000063
是第I层卷积层的第i层卷积层的偏差参数；其中n是
Figure GDA0003101394970000064
在中特征映射的数量，*表示为卷积操作，f(·)代表激活函数，激活函数使用的是修正线性单元(Rectified linear unit，ReLU)，如公式(1-2)所示：
f(x)＝max(0，x)；(1-2)
其中x是激活函数的输入值；
步骤1.2：卷积操作之后，接着是池化层，本算法中使用的池化操作是最大池化，就是从特征向量
Figure GDA0003101394970000065
的空间向量中，取最大值保留，其余值舍弃；池化操作可以用公式(1-3)表示为：
Figure GDA0003101394970000066
其中Ω表示在特征向量
Figure GDA0003101394970000067
的空间向量的(m，n)位置，Δ代表变量在本算法框架的第7层中；
步骤1.3：反卷积层操作，采用以下方法：
如果直接对第6层网络的输出进行放大32倍的反卷积操作，得到的结果对比于
Figure GDA0003101394970000068
的真相二值图来说，结果并不精确，有很多错误；因此，按从后向前的顺序，将第4层的输出16倍反卷积之后再根据第3层的输出8倍反卷积，得到的结果比之前未经过此过程的输出结果更加精确；进一步的，反卷积操作用公式(1-4)表示：
Figure GDA0003101394970000069
其中
Figure GDA00031013949700000610
表示第I层卷积层的第i层反卷积层的核的值，
Figure GDA00031013949700000611
表示为反卷积操作；因此，在执行反卷积操作之后，生成一个二值掩膜图
Figure GDA00031013949700000612
(Binary mask)作为显著性映射图(saliency-guided map)，以分离出显示图像中的图像区域和非图像区域；
步骤4，在经过测试得到预测的二值掩膜图
Figure GDA00031013949700000613
之后，本发明做了一个参数的调整，以求得最好的效果；学习率的调整如公式(1-5)所示：
Figure GDA00031013949700000614
其中，t表示变化计数，t＝0，1，2，3；R0是学习率的初始值，初始值设为10-4；α为衰减指数；本发明一共进行了15个纪元的卷积操作，其中，每3个纪元减少为之前的α倍，一共变化了4次；本发明将衰减指数α的值设置为0.90；
步骤2：上下文正则化操作，具体包括以下步骤：
步骤2.1：定义
Figure GDA0003101394970000071
是
Figure GDA0003101394970000072
在位置(m，n)的值，Xg是灰度图，因为Xg是最接近真相的图，I(m，n)是灰度图Xg在位置(m，n)的像素，可以表示为公式(1-6)：
Figure GDA0003101394970000073
其中η是最原始的误差，可以用公式(1-7)表示为：
Figure GDA0003101394970000074
最小化误差参数η，
Figure GDA0003101394970000075
表示Frobenius范数操作；
步骤2.2：定义约束函数：：
Figure GDA0003101394970000076
其中，
Figure GDA0003101394970000077
是像素
Figure GDA0003101394970000078
的周围8个方向的像素；
步骤2.3：设置一个权重函数为W(m，n)：
Figure GDA0003101394970000079
权重函数w(m，n)代表在位置(m，n)处加权函数起到了m和n之间的约束的“开关”作用，当w(m，n)＝0时，m和n之间的相应上下文约束将被取消；一个非常关键的问题是如何选择一个合理的w(m，n)；
步骤2.4：基于两个相邻像素的向量之间的平方差的方法，构造权重函数W(m，n)：
Figure GDA00031013949700000710
其中，σ为一个规定参数，值为0.5，I(m，n)和I(m+Δm，n+Δn)分别为Xg的输入像素和输入像素周围8个方向的像素；
步骤2.5：在图像域中加入加权上下文约束；为了便于计算，公式(1-9)可以表示为：
Figure GDA00031013949700000711
其中，ω代表8个所在位置的像素的不同方向；
步骤2.6：如图2所示：定义高阶滤波器DΔm，Δn；
设置DΔm，Δn在每一个位置(Δm，Δn)的值的计算都满足公式(1-12)：
Figure GDA00031013949700000818
为了方便计算，公式(2-12)使用更合理的表达方法，如公式(1-13)：
Figure GDA0003101394970000081
其中，
Figure GDA0003101394970000082
表示像素的乘法算子，
Figure GDA00031013949700000819
表示卷积算子，WΔm，Δn表示像素在(Δm，Δn)的一个加权矩阵，||·||1表示曼哈顿距离的评估；
本发明根据一个最小滤波器的移动窗口，对输入图片的每个像素通道进行滤波，然后将每个通道的最大值作为Xg的分量的估计值；
步骤2.7：定义并最小化下面的目标函数，从而找到一个最优的函数，由公式(1-7)和公式(1-13)得目标函数为：
Figure GDA0003101394970000083
其中，ξ是平衡两个条件的正则化参数。对于
Figure GDA0003101394970000084
符合以下公式：
Figure GDA0003101394970000085
步骤2.8：为了便于计算，本发明采用了一种基于分离变量的优化方法，该方法的基本思想是引入几个辅助变量，构造一系列简单的子问题，最终解收敛到原问题的最优解；定义辅助变量
Figure GDA0003101394970000086
重写公式(1-15)：
Figure GDA0003101394970000087
其中，β是预定义的比例因子，设置为
Figure GDA0003101394970000088
进一步的，初始值β0为1，最大值βmax为22；通过比例因子
Figure GDA0003101394970000089
反复增加β，使循环从最小值0到最大值22；
步骤2.9：首先，固定
Figure GDA00031013949700000810
化简
Figure GDA00031013949700000811
之后固定
Figure GDA00031013949700000812
化简
Figure GDA00031013949700000813
重复这个过程，直到收敛，可以有效的解决问题；具体做法如下：
首先，固定
Figure GDA00031013949700000814
化简
Figure GDA00031013949700000815
Figure GDA00031013949700000816
因此，可以直接在位置(m，n)中最优化
Figure GDA00031013949700000817
Figure GDA0003101394970000091
其中，sign(·)是信号函数；
其次，固定
Figure GDA0003101394970000092
优化
Figure GDA0003101394970000093
Figure GDA0003101394970000094
因为公式(2-19)是
Figure GDA0003101394970000095
的二次方程，因此可以重写公式(1-19)：
Figure GDA0003101394970000096
步骤2.10：使用二维傅里叶变换(2D FFT)和假设循环边界条件优化
Figure GDA0003101394970000097
可以直接计算出
Figure GDA0003101394970000098
的最优解Y*：
Figure GDA0003101394970000099
其中，τ是傅里叶变化，τ(·)-1是反傅里叶变化，
Figure GDA00031013949700000911
表示像素乘法，在公式(1-21)中，除法也以像素的方式计算；在迭代过程中，通过比例因子
Figure GDA00031013949700000910
反复增加β，使其从最小值0到最大值22。
步骤3：循环迭代操作，包括以下步骤：
步骤3.1：在经过上下文正则化计算之后，将得出的最优解Y*与输入的RGB图片
Figure GDA00031013949700000912
做像素值的相乘，得到一张相乘后的图片Y；图片Y图像区域每一个像素点的值都为0，非图像区域保持不变；
步骤3.2：将步骤3.1中的Y作为输入，重复进行步骤1、步骤2和步骤3.1，基于Y的熵值，设置熵值临界值6.92，使迭代从0到6.92进行，直至预测出与真相最为接近的二值掩膜图。
本发明通过计算查准率(Precision)、召回率(Recall，也叫查全率)、F1-Measure和相似度(Similary)判断最终结果是否是与真相最为接近的二值掩膜图。
其中真正例(True Positive，TP)说明答案为0时，预测结果为0；真反例(TrueNegative，TN)说明答案为1时，预测结果为1；假正例(False Positive，FP)说明答案为0时，预测结果为1；假反例(False Negative,FN)说明答案为1时，预测结果为0。
查准率(Precision)为真正正确的个数占整个结果的比例；即在正确答案应该为0这一标准下，预测正确的个数占所有预测结果出的值是0的个数的比例。
召回率(Recall,也叫查全率)为真正正确的个数占整个数据集中真正正确个数的比例；即在正确答案应该为0这一标准下，预测正确的个数占整个数据集中正确答案为0的个数的比例。
F1-Measure是精准率Precision和召回率Recall加权调和平均。
相似度(Similary)为真正正确的个数占预测错误的个数与误报率和漏报率之和；即在正确答案应该为0这一标准下，预测正确的个数，占整个数据集中正确答案为0的个数和正确答案为1而预测答案为0的个数之和的比例。
查准率、召回率、F1_measure和相似度这4个评价指标的值在0-1之间，其中值越接近1，表明最终结果与真相最为接近。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.基于上下文正则化循环深度学习的图像分割方法，其特征在于，包括以下步骤：
步骤1：对输入图片
Figure FDA0003101394960000011
在VGG19-FCN网络中进行卷积操作，其中，VGG19-FCN网络由18个卷积层、5个池化层和3个反卷积层构成；具体包括以下步骤：
步骤1.1：卷积层操作，采用以下方法：
假设
Figure FDA0003101394960000012
是第l层卷积层的第i层特征映射，定义特征映射
Figure FDA0003101394960000013
为输入量，
Figure FDA0003101394960000014
为输出量，即二值掩膜图，卷积操作如公式(1-1)所示：
Figure FDA0003101394960000015
其中，
Figure FDA0003101394960000016
是第l层卷积层的第i层卷积层的卷积核，
Figure FDA0003101394960000017
是第l层卷积层的第i层卷积层的偏差参数；n是
Figure FDA0003101394960000018
在中特征映射的数量，*表示为卷积操作，f(·)为激活函数；
步骤1.2：池化层最大池化操作，采用以下公式(1-3)表示：
Figure FDA0003101394960000019
其中，Ω(m,n)表示特征向量
Figure FDA00031013949600000110
的空间向量的位置(m,n)，△代表
Figure FDA00031013949600000111
在本算法框架的第7层中；
步骤1.3：反卷积层操作，采用以下方法：
将第一层卷积层的第5层的输出量反卷积到原图大小，再将第一层卷积层的第4层的输出和第3层的输出量也依次反卷积，得到
Figure FDA00031013949600000112
反卷积操作用公式(1-4)表示：
Figure FDA00031013949600000113
其中
Figure FDA00031013949600000114
是第l层卷积层的第i层卷积层的卷积核，
Figure FDA00031013949600000115
表示为反卷积操作；
步骤1.4：调整学习率，采用以下方法：
学习率的调整如公式(1-5)所示：
Figure FDA00031013949600000116
其中，Rt为学习率，t为变化计数，t＝0，1，2，3；α为衰减指数；ρ＝0.90；
步骤2：对卷积层输出的二值掩膜图
Figure FDA00031013949600000117
上下文正则化操作，具体包括以下步骤：
步骤2.1：定义
Figure FDA0003101394960000021
为
Figure FDA0003101394960000022
在位置(m，n)的像素，Xg是灰度图，则Xg在位置(m，n)的像素I(m，n)为：
Figure FDA0003101394960000023
其中，η是最原始的误差，η为：
Figure FDA0003101394960000024
其中，
Figure FDA0003101394960000025
为最小化误差参数η，
Figure FDA0003101394960000026
表示Frobenius范数操作；
步骤2.2：定义约束函数：
Figure FDA0003101394960000027
其中，
Figure FDA0003101394960000028
是像素
Figure FDA0003101394960000029
周围8个方向的像素；
步骤2.3：定义权重函数W(m，n)：
Figure FDA00031013949600000210
当w(m，n)＝0时，m和n之间的相应上下文约束将被取消；
步骤2.4：基于两个相邻像素的向量之间的平方差的方法，构造权重函数W(m，n)：
Figure FDA00031013949600000211
其中，σ为规定参数，σ＝0.5，I(m+Δm，n+Δn)为Xg的输入像素周围8个方向的像素；
步骤2.5：在图像域中加入加权上下文约束，改写公式(1-9)为：
Figure FDA00031013949600000212
其中，ω代表8个所在位置的像素的不同方向；
步骤2.6：定义高阶滤波器DΔm，Δn，使DΔm，Δn在每一个位置(Δm，Δn)的值都满足：
Figure FDA00031013949600000213
即使DΔm，Δn在每一个位置(Δm，Δn)的值都满足
Figure FDA00031013949600000214
其中，ω表示指标集，
Figure FDA00031013949600000215
为像素的乘法算子，
Figure FDA00031013949600000216
为卷积算子，DΔm，Δn表示一个一阶微分算子，WΔm，Δn表示像素在(Δm，Δn)的一个加权矩阵，||·||1表示曼哈顿距离的评估；
步骤2.7：定义并最小化下面的目标函数，目标函数(1-14)由公式(1-7)和公式(1-13)得：
Figure FDA0003101394960000031
其中，ξ是平衡两个条件的正则化参数；对于
Figure FDA0003101394960000032
符合以下公式：
Figure FDA0003101394960000033
步骤2.8：定义辅助变量
Figure FDA0003101394960000034
重写公式(1-15)：
Figure FDA0003101394960000035
其中，β为预定义的比例因子，
Figure FDA0003101394960000036
β的初始值β0为1，最大值βmax为22，通过比例因子
Figure FDA0003101394960000037
反复增加β，使其从最小值0到最大值22；
步骤2.9：首先，固定
Figure FDA0003101394960000038
优化
Figure FDA0003101394960000039
Figure FDA00031013949600000310
因此，可以直接在位置(m，n)中最优化
Figure FDA00031013949600000311
Figure FDA00031013949600000312
其中，sign(·)是信号函数；
其次，固定
Figure FDA00031013949600000313
优化
Figure FDA00031013949600000314
Figure FDA00031013949600000315
因为公式(1-19)是
Figure FDA00031013949600000316
的二次方程，因此可以重写公式(1-19)：
Figure FDA00031013949600000317
步骤2.10：使用二维傅里叶变换和假设循环边界条件优化
Figure FDA0003101394960000041
计算出最优解Y*：
Figure FDA0003101394960000042
其中，τ是傅里叶变化，τ(·)-1是反傅里叶变化；
步骤3：循环迭代操作，包括以下步骤：
步骤3.1：在经过上下文正则化计算之后，将得出的最优解Y*与输入的RGB图片
Figure FDA0003101394960000043
做像素值的相乘，得到一张相乘后的图片Y；
步骤3.2：将步骤3.1中的Y作为输入，重复进行步骤1、步骤2和步骤3.1，基于Y的熵值，设置熵值临界值6.92，使迭代从0到6.92进行，直至预测出与真相最为接近的二值掩膜图。
2.根据权利要求1所述的基于上下文正则化循环深度学习的图像分割方法，其特征在于：步骤1.1中，所述的激活函数使用的是修正线性单元，如公式(1-2)所示：
f(x)＝max(0，x)；(1-2)
其中x是激活函数的输入值。
3.根据权利要求1所述的基于上下文正则化循环深度学习的图像分割方法，其特征在于：步骤1.4中，所述的学习率Rt的初始值R0设为10-4。
4.根据权利要求1所述的基于上下文正则化循环深度学习的图像分割方法，其特征在于：步骤3.2中，判断图片Y是否为与真相最为接近的二值掩膜图的方法为：通过查准率、召回率、F1_measure和相似度这4个评价指标判断。
CN201811089851.2A 2018-09-18 2018-09-18 基于上下文正则化循环深度学习的图像分割方法 Active CN109359655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811089851.2A CN109359655B (zh) 2018-09-18 2018-09-18 基于上下文正则化循环深度学习的图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811089851.2A CN109359655B (zh) 2018-09-18 2018-09-18 基于上下文正则化循环深度学习的图像分割方法

Publications (2)

Publication Number Publication Date
CN109359655A CN109359655A (zh) 2019-02-19
CN109359655B true CN109359655B (zh) 2021-07-16

Family

ID=65351309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811089851.2A Active CN109359655B (zh) 2018-09-18 2018-09-18 基于上下文正则化循环深度学习的图像分割方法

Country Status (1)

Country Link
CN (1) CN109359655B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203781A (zh) * 2017-05-22 2017-09-26 浙江大学 一种基于显著性指导的端到端的弱监督目标检测方法
CN107464228A (zh) * 2017-08-24 2017-12-12 深圳市唯特视科技有限公司 一种基于自适应正则化的图像分析方法
CN107680037A (zh) * 2017-09-12 2018-02-09 河南大学 改进的基于最近特征线流形学习的人脸超分辨率重建方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311973B1 (en) * 2011-09-24 2012-11-13 Zadeh Lotfi A Methods and systems for applications for Z-numbers
CN108171711A (zh) * 2018-01-17 2018-06-15 深圳市唯特视科技有限公司 一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203781A (zh) * 2017-05-22 2017-09-26 浙江大学 一种基于显著性指导的端到端的弱监督目标检测方法
CN107464228A (zh) * 2017-08-24 2017-12-12 深圳市唯特视科技有限公司 一种基于自适应正则化的图像分析方法
CN107680037A (zh) * 2017-09-12 2018-02-09 河南大学 改进的基于最近特征线流形学习的人脸超分辨率重建方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A novel target detection algorithm combining foreground and background manifold-based models;Sebastien Razakarivony et.al;《Machine Vision and Applications》;20150403;第27卷;第363–375页 *
Deep Learning for Object Saliency Detection and Image Segmentation;Hengyue Pan et.al;《ArXiv:1505.01173v1》;20150505;第1-9页 *
基于深度学习的图像语义分割研究;肖旭;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180115;第I138-1011页 *

Also Published As

Publication number Publication date
CN109359655A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
Gao et al. Image super-resolution using knowledge distillation
US20230267730A1 (en) Image abnormality detection model training
CN109343692B (zh) 基于图像分割的移动设备显示器省电方法
US20200117981A1 (en) Data representation for dynamic precision in neural network cores
CN112132149B (zh) 一种遥感影像语义分割方法及装置
CN110728637B (zh) 基于深度学习的用于图像处理的动态调光背光扩散方法
CN116010684A (zh) 物品推荐方法、装置及存储介质
CN106372749A (zh) 基于云变分析的超短期光伏功率预测方法
CN112800915A (zh) 建筑物变化检测方法、装置、电子设备以及存储介质
CN111339724B (zh) 用于生成数据处理模型和版图的方法、设备和存储介质
CN115882454B (zh) 基于多元信息融合的源荷功率预测方法及系统
CN115631396A (zh) 一种基于知识蒸馏的YOLOv5目标检测方法
CN105893590A (zh) 一种用于数字地形分析建模知识案例化自动处理方法
US20220004849A1 (en) Image processing neural networks with dynamic filter activation
Ye et al. Multi-year ENSO forecasts using parallel convolutional neural networks with heterogeneous architecture
CN109359655B (zh) 基于上下文正则化循环深度学习的图像分割方法
CN112288084B (zh) 基于特征图通道重要性的深度学习目标检测网络压缩方法
CN116106909A (zh) 一种雷达回波外推方法、系统及存储介质
CN115205157B (zh) 图像处理方法和系统、电子设备和存储介质
CN114153996B (zh) 多图注意力协同的地学知识图谱更新方法和装置
Li et al. AdaRW training optimization algorithm for deep learning model of marine target detection based on SAR
CN113723712B (zh) 风电功率预测方法、系统、设备及介质
CN113344200B (zh) 用于训练可分离卷积网络的方法、路侧设备及云控平台
CN112598663B (zh) 基于视觉显著性的粮食害虫检测方法和装置
CN107330905A (zh) 一种图像处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant