CN117152023B - 基于结构-纹理分解的压缩图像去噪方法及装置 - Google Patents

基于结构-纹理分解的压缩图像去噪方法及装置 Download PDF

Info

Publication number
CN117152023B
CN117152023B CN202311411855.9A CN202311411855A CN117152023B CN 117152023 B CN117152023 B CN 117152023B CN 202311411855 A CN202311411855 A CN 202311411855A CN 117152023 B CN117152023 B CN 117152023B
Authority
CN
China
Prior art keywords
image
texture
structural
denoising
decomposition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311411855.9A
Other languages
English (en)
Other versions
CN117152023A (zh
Inventor
刘琪琪
张峰
李照川
王冠军
张野
张熠特
常靓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Technology Co Ltd
Original Assignee
Inspur Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Technology Co Ltd filed Critical Inspur Software Technology Co Ltd
Priority to CN202311411855.9A priority Critical patent/CN117152023B/zh
Publication of CN117152023A publication Critical patent/CN117152023A/zh
Application granted granted Critical
Publication of CN117152023B publication Critical patent/CN117152023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开基于结构‑纹理分解的压缩图像去噪方法及装置,涉及图像处理技术领域；包括以下步骤：步骤1：进行图像的二次压缩：使用奇异值分解算法二次压缩图像；步骤2：分解二次压缩的图像；步骤3：进行分解后的图像去噪，包括：步骤31：使用前馈去噪卷积神经网络模型DnCNN对新结构图像去噪，分离隐藏层中观测到的噪声，输出噪声图像，使用新结构图像减去输出的噪声图像获得去噪后的结构图像，步骤32：基于均值滤波的方法，选择滤波器模板和滤波器中心点对纹理图像去噪；步骤4：复合去噪后的结构图像和纹理图像得到去噪后的二次压缩图像；本发明去噪声更加合理，还能很好的保护图像的边缘信息，可应用于大型赛事直播、转播等领域。

Description

基于结构-纹理分解的压缩图像去噪方法及装置
技术领域
本发明公开方法及装置,涉及图像处理技术领域，具体地说是基于结构-纹理分解的压缩图像去噪方法及装置。
背景技术
网络世界迅速发展，进入了一个史无前例的信息大爆炸时代。各种各样的图片每天从社交媒体中快速传播。在传输过程中，同一个图片不可避免地会被多次压缩，使其质量下降，产生了噪声。这些噪声会带来较差视觉效果，也给图片的进一步处理及应用带来阻力。现有深度学习图像去噪方法不能保护图像的边缘信息，而现有的图像分解去噪方法，有对纹理部分进行去噪，去噪不够全面，且去噪类型比较单一，具有针对性，并不适用于真实图像的去噪。
发明内容
本发明针对现有技术的问题，提供基于结构-纹理分解的压缩图像去噪方法及装置，通过结构纹理分解对多次压缩图片分别进行结构部分和纹理部分的去噪处理，得到较清晰画面，可应用于大型赛事直播、转播领域等。
本发明提出的具体方案是：
基于结构-纹理分解的压缩图像去噪方法，包括以下步骤：
步骤1：进行图像的二次压缩：使用奇异值分解算法二次压缩图像；
步骤2：分解二次压缩的图像：利用卡通纹理图像分解低秩先验模型将二次压缩后的图像分解为纹理分量和卡通分量，利用局部并行分裂方法根据纹理分量和卡通分量求解卡通纹理图像分解低秩先验模型，获得纹理图像和结构图像，验证纹理图像和结构图像丢失图像信息情况，根据验证结果放弃结构图像，利用二次压缩后的图像减去纹理图像获得新结构图像；
步骤3：进行分解后的图像去噪，包括：
步骤31：使用前馈去噪卷积神经网络模型DnCNN对新结构图像去噪，分离隐藏层中观测到的噪声，输出噪声图像，使用新结构图像减去输出的噪声图像获得去噪后的结构图像，
步骤32：基于均值滤波的方法，选择滤波器模板和滤波器中心点对纹理图像去噪；
步骤4：复合去噪后的结构图像和纹理图像得到去噪后的二次压缩图像。
进一步，所述的基于结构-纹理分解的压缩图像去噪方法中步骤1中使用奇异值分解算法二次压缩图像，包括：
获取图像的像素值矩阵A，对矩阵A进行奇异值分解，获得左奇异矩阵和右奇异矩阵，根据左奇异矩阵和右奇异矩阵获得左奇异向量和右奇异向量，根据像素值矩阵A、转置矩阵AT、左奇异向量和右奇异向量获得奇异值矩阵，将奇异值从大到小排列，根据需求选取奇异值和奇异值对应的左奇异向量和右奇异向量近似的描述像素值矩阵A，完成图像的二次压缩。
进一步，所述的基于结构-纹理分解的压缩图像去噪方法中步骤2中利用卡通纹理图像分解低秩先验模型使用核范数归纳图像的纹理分量，使用TV范数归纳图像的卡通分量。
进一步，所述的基于结构-纹理分解的压缩图像去噪方法中步骤2中验证纹理图像和结构图像丢失图像信息情况，包括：
复合纹理图像和结构图像，获得复合原图，比较复合原图与所述二次压缩后的图像，求得峰值信噪比和结构相似性的数值，根据所述数值判定复合原图存在丢失信息情况；
判断结构图像的丢失信息情况：将所述二次压缩后的图像减去结构图像，获得验证用的纹理图像，复合所述验证用的纹理图像和结构图像，获得复合原图，比较复合原图与所述二次压缩后的图像，求得峰值信噪比和结构相似性的数值，根据所述数值判定结构图像存在丢失信息情况，根据验证结果放弃结构图像，
判断纹理图像的丢失信息情况：将所述二次压缩后的图像减去纹理图像，获得验证用的结构图像，复合所述验证用的结合图像和纹理图像，获得复合原图，比较复合原图与所述二次压缩后的图像，求得峰值信噪比和结构相似性的数值，根据所述数值判定纹理图像能够忽略丢失信息情况。
进一步，所述的基于结构-纹理分解的压缩图像去噪方法中所述步骤32中，包括：
步骤321：选择纹理图像的滤波器模板（2k+1）2划定像素点的邻域大小，并在纹理图像中选择一个像素点作为滤波器中心点；
步骤322：对滤波器模板内的所有像素点进行排序，计算所有像素点减去滤波器中心点像素值的绝对值；
步骤323：从所有绝对值中从小到大选出[（2k+1）2/2]+1个像素点所对应的像素值；
步骤324：求出步骤323中选出的像素值的均值，以均值代替滤波器中心点的像素值；
步骤325：使滤波器模板在纹理图像上像素点移动，重复步骤322-324直至纹理图像中的像素点全部被处理完，得到去噪后的纹理图像。
本发明还提供基于结构-纹理分解的压缩图像去噪装置，包括压缩模块、分解模块、去噪模块和复合模块，
压缩模块进行图像的二次压缩：使用奇异值分解算法二次压缩图像；
分解模块分解二次压缩的图像：利用卡通纹理图像分解低秩先验模型将二次压缩后的图像分解为纹理分量和卡通分量，利用局部并行分裂方法根据纹理分量和卡通分量求解卡通纹理图像分解低秩先验模型，获得纹理图像和结构图像，验证纹理图像和结构图像丢失图像信息情况，根据验证结果放弃结构图像，利用二次压缩后的图像减去纹理图像获得新结构图像；
去噪模块执行分解后的图像去噪操作，包括：
步骤31：使用前馈去噪卷积神经网络模型DnCNN对新结构图像去噪，分离隐藏层中观测到的噪声，输出噪声图像，使用新结构图像减去输出的噪声图像获得去噪后的结构图像，
步骤32：基于均值滤波的方法，选择滤波器模板和滤波器中心点对纹理图像去噪；
复合模块复合去噪后的结构图像和纹理图像得到去噪后的二次压缩图像。
进一步，所述的基于结构-纹理分解的压缩图像去噪装置中压缩模块使用奇异值分解算法二次压缩图像，包括：
获取图像的像素值矩阵A，对矩阵A进行奇异值分解，获得左奇异矩阵和右奇异矩阵，根据左奇异矩阵和右奇异矩阵获得左奇异向量和右奇异向量，根据像素值矩阵A、转置矩阵AT、左奇异向量和右奇异向量获得奇异值矩阵，将奇异值从大到小排列，根据需求选取奇异值和奇异值对应的左奇异向量和右奇异向量近似的描述像素值矩阵A，完成图像的二次压缩。
进一步，所述的基于结构-纹理分解的压缩图像去噪装置中分解模块利用卡通纹理图像分解低秩先验模型使用核范数归纳图像的纹理分量，使用TV范数归纳图像的卡通分量。
进一步，所述的基于结构-纹理分解的压缩图像去噪装置中分解模块验证纹理图像和结构图像丢失图像信息情况，包括：
复合纹理图像和结构图像，获得复合原图，比较复合原图与所述二次压缩后的图像，求得峰值信噪比和结构相似性的数值，根据所述数值判定复合原图存在丢失信息情况；
判断结构图像的丢失信息情况：将所述二次压缩后的图像减去结构图像，获得验证用的纹理图像，复合所述验证用的纹理图像和结构图像，获得复合原图，比较复合原图与所述二次压缩后的图像，求得峰值信噪比和结构相似性的数值，根据所述数值判定结构图像存在丢失信息情况，根据验证结果放弃结构图像，
判断纹理图像的丢失信息情况：将所述二次压缩后的图像减去纹理图像，获得验证用的结构图像，复合所述验证用的结合图像和纹理图像，获得复合原图，比较复合原图与所述二次压缩后的图像，求得峰值信噪比和结构相似性的数值，根据所述数值判定纹理图像能够忽略丢失信息情况。
进一步，所述的基于结构-纹理分解的压缩图像去噪装置中去噪模块执行步骤32，包括：
步骤321：选择纹理图像的滤波器模板（2k+1）2划定像素点的邻域大小，并在纹理图像中选择一个像素点作为滤波器中心点；
步骤322：对滤波器模板内的所有像素点进行排序，计算所有像素点减去滤波器中心点像素值的绝对值；
步骤323：从所有绝对值中从小到大选出[（2k+1）2/2]+1个像素点所对应的像素值；
步骤324：求出步骤323中选出的像素值的均值，以均值代替滤波器中心点的像素值；
步骤325：使滤波器模板在纹理图像上像素点移动，重复步骤322-324直至纹理图像中的像素点全部被处理完，得到去噪后的纹理图像。
本发明的有益之处是：
本发明提供基于结构-纹理分解的压缩图像去噪方法，针对多次压缩图像进行图像分解，获得纹理图像和结构图像，针对结构图像使用深度学习算法DnCNN对结构图像进行去噪，针对纹理图像在均值滤波的基础上有选择地对纹理图像进行去噪，侧重边缘信息的保留，去噪声更加合理，还能很好的保护图像的边缘信息，可应用于大型赛事直播、转播等领域。
附图说明
图1是本发明方法流程框架示意图。
图2是本发明方法执行流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明提供基于结构-纹理分解的压缩图像去噪方法，包括以下步骤：
步骤1：进行图像的二次压缩：使用奇异值分解算法二次压缩图像；
步骤2：分解二次压缩的图像：利用卡通纹理图像分解低秩先验模型将二次压缩后的图像分解为纹理分量和卡通分量，利用局部并行分裂方法根据纹理分量和卡通分量求解卡通纹理图像分解低秩先验模型，获得纹理图像和结构图像，验证纹理图像和结构图像丢失图像信息情况，根据验证结果放弃结构图像，利用二次压缩后的图像减去纹理图像获得新结构图像；
步骤3：进行分解后的图像去噪，包括：
步骤31：使用前馈去噪卷积神经网络模型DnCNN对新结构图像去噪，分离隐藏层中观测到的噪声，输出噪声图像，使用新结构图像减去输出的噪声图像获得去噪后的结构图像，
步骤32：基于均值滤波的方法，选择滤波器模板和滤波器中心点对纹理图像去噪；
步骤4：复合去噪后的结构图像和纹理图像得到去噪后的二次压缩图像。
本发明方法可应用于大型赛事直播、转播等领域，或同一个图片需要多次转发的应用中。直播或转播过程中可能会造成视频的多次编码，即多次压缩，如果在解码前先进行去噪处理，那么解码后就可以得到较清晰画面。
具体实施中，结合图1和图2，在本发明方法的一些实施例中，基于结构-纹理分解的压缩图像去噪时，过程可参考如下：
步骤1：进行图像的二次压缩：使用奇异值分解算法二次压缩图像。
进一步，步骤1中使用奇异值分解算法二次压缩图像，包括：
获取图像的像素值矩阵A，对矩阵A进行奇异值分解，获得左奇异矩阵和右奇异矩阵，根据左奇异矩阵和右奇异矩阵获得左奇异向量和右奇异向量，根据像素值矩阵A、转置矩阵AT、左奇异向量和右奇异向量获得奇异值矩阵，将奇异值从大到小排列，根据需求选取奇异值和奇异值对应的左奇异向量和右奇异向量近似的描述像素值矩阵A，完成图像的二次压缩。
其中奇异值分解(Singular Value Decomposition, SVD)，可以把一个复杂的矩阵通过几个简单的子矩阵相乘来表示，而且其中的简单子矩阵是复杂矩阵的重要特征，即可以通过一个简单的矩阵来表达复杂矩阵的大部分信息。
例如一张图像有n*m个像素，其像素值矩阵为矩阵A，对矩阵A进行奇异值分解，则：
其中，Q是一个n*n的左奇异方阵，可以表示为Q=[q1,…,qn]，qi是正交向量且被称为左奇异向量；Σ是除了对角线上的元素，其他元素都为零的n*m向量，对角线上的元素值就是奇异值σi且从大到小排列，则Σ可以表示为Σ=diag(σi,…,σm), σi≥…≥σm；
PT表示矩阵P的转置，是一个m*m的右奇异方阵，可以表示为PT=[p1,…,pm]，pi是正交向量且被称为右奇异向量。
让A的转置矩阵AT与矩阵A相乘得到方阵，用这个方阵求特征值，即右奇异向量；同理让矩阵A与其转置矩阵AT相乘也能得到一个方阵，用这个方阵也可求特征值，即左奇异向量。则：
其中，η是特征向量。求出奇异值矩阵
奇异值σi从大到小排列，而且减少的速度很快，所以很多情况下前10%甚至是前1%的奇异值之和几乎占了全部奇异值之和的99%以上。因此，可以取前t大的奇异值和其对应的左右奇异向量来近似的描述矩阵，则矩阵A就可以表示为：
。
其中，t是一个远小于n、m的数。
使用SVD压缩图像可以使用t(n+m+1)个数值来表示原图像中的n*m个像素值。其图像压缩比例为：
。
使用SVD算法对图像进行压缩可以通过选择奇异值的个数，从而控制图像的压缩比例。
步骤2：分解二次压缩的图像：利用卡通纹理图像分解低秩先验模型将二次压缩后的图像分解为纹理分量和卡通分量，利用局部并行分裂方法根据纹理分量和卡通分量求解卡通纹理图像分解低秩先验模型，获得纹理图像和结构图像，验证纹理图像和结构图像丢失图像信息情况，根据验证结果放弃结构图像，利用二次压缩后的图像减去纹理图像获得新结构图像。
进一步，步骤2中利用卡通纹理图像分解低秩先验模型使用核范数归纳图像的纹理分量，使用TV范数归纳图像的卡通分量。
其中卡通纹理图像分解低秩先验模型(Customized Low-rank Prior, CLRP) 使用核范数归纳图像的纹理分量，使用TV范数归纳图像的卡通分量，再利用局部并行分裂方法(Partially Parallel Splitting Method, PPSM)实现图像的分解。
进一步，步骤2中验证纹理图像和结构图像丢失图像信息情况，包括：
通过MATLAB代码复合纹理图像和结构图像，获得复合原图，比较复合原图与所述二次压缩后的图像，求得峰值信噪比和结构相似性的数值，根据所述数值判定复合原图存在丢失信息情况。例如从Google上下载的2K图像的数据集，选取图像进行分解，获得纹理图像和结构图像，通过MATLAB代码复合纹理图像和结构图像，比较复合原图与所述二次压缩后的图像，求得峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)的值为31.7360dB和结构相似性(Structural SIMilarity, SSIM）的值为0.9390，说明复合原图丢失信息较多，需要进一步判断纹理图像和结构图像的信息丢失情况。
判断结构图像的丢失信息情况：将所述二次压缩后的图像减去结构图像，获得验证用的纹理图像，复合所述验证用的纹理图像和结构图像，获得复合原图，比较复合原图与所述二次压缩后的图像，得到的PSNR和SSIM值分别为31.7617dB、0.9418，根据所述数值判定结构图像存在丢失信息情况，根据验证结果放弃结构图像，
判断纹理图像的丢失信息情况：将所述二次压缩后的图像减去纹理图像，获得验证用的结构图像，复合所述验证用的结合图像和纹理图像，获得复合原图，比较复合原图与所述二次压缩后的图像，得到的PSNR和SSIM值分别为Inf dB、1.0000，由此数据可以看出两张图像完全一样，则可以得出纹理图像几乎没有丢失图像的信息，判定纹理图像能够忽略丢失信息情况。
因此，利用局部并行分裂方法根据纹理分量和卡通分量求解卡通纹理图像分解低秩先验模型，获得纹理图像，减去纹理图像获得新结构图像。
具体的迭代方案可参考如下：
设置初始点(v0，y0,z0,λ1 0,λ2 0) ,
其中v表示图像纹理、h表示图像结构的一阶导数、z表示原图、λ表示拉格朗日因子。惩罚参数β＞0，松弛因子γ∈(0,2),常数r和s满足rs＞2，公差ε＞0。
通过下式(6)计算拉格朗日因子和/>。
其中，z=u+v。
通过下式(7)预测。
其中，表示核范数，/>表示标准的/>范数，μ表示平衡纹理和结构的正则化参数。
另，O表示零向量。
分别通过下式(8)和(9)生成和/>。
其中，τ也是平衡纹理和结构的正则化参数。
其中，φ表示先行退化算子，b0表示含噪原图。
可以通过下面的松弛公式(10)更新(vi+1,wi+1,λi+1)。
其中，γ是松弛因子。
根据z=u+v及式(10)得到所用的结构图像ui，即
步骤3：进行分解后的图像去噪，包括：
步骤31：使用前馈去噪卷积神经网络模型DnCNN对新结构图像去噪，分离隐藏层中观测到的噪声，输出噪声图像，使用新结构图像减去输出的噪声图像获得去噪后的结构图像。
其中前馈去噪卷积神经网络(Feed-Forward Denoising Convolutional NeuralNetwork, DnCNN) 将残差网络和批量归一化(Batch Normalization, BatchNor)加入到深度学习框架中，并且引入的残差网络是可以明确学习几个堆叠层的残差映射，这样的残差学习策略可以训练极深的CNN网络。
本发明方法中在DnCNN模型求解过程中，把噪声图像用公式表示为：y=x干+x噪，其中，y表示输入的图像信息，x干表示去噪后的图像信息，x噪表示图像的噪声信息。使用DnCNN模型的残差学习训练函数R(y) ≈x噪,然后求出去噪后的图像x干=y- R(y)。期望得到的残差图像与模型中实际输出的残差图像之间的平均平方误差为：
。
其中，表示模型中的可训练参数。
将未去噪的结构图像与本发明方法中去噪后的结构图像对比，可以看出后者更清晰，不仅去除了噪声，还很好的保留了边缘信息。
步骤32：基于均值滤波的方法，选择滤波器模板和滤波器中心点对纹理图像去噪。
进一步，步骤32中，包括：
步骤321：选择纹理图像的滤波器模板（2k+1）2划定像素点的邻域大小，并在纹理图像中选择一个像素点作为滤波器中心点；
步骤322：对滤波器模板内的所有像素点进行排序，计算所有像素点减去滤波器中心点像素值的绝对值；
步骤323：从所有绝对值中从小到大选出[（2k+1）2/2]+1个像素点所对应的像素值；
步骤324：求出步骤323中选出的像素值的均值，以均值代替滤波器中心点的像素值；
步骤325：使滤波器模板在纹理图像上像素点移动，重复步骤322-324直至纹理图像中的像素点全部被处理完，得到去噪后的纹理图像。
其中例如在有噪声的纹理图像中选择的滤波器中心点为(x,y)，滤波模板的尺寸大小为（2k+1）2，此时取k=1。可以选择和中心点的像素值最接近的五个像素值，包括中心点的像素值时，先求出滤波器模板内所有点像素值与中心点像素值的绝对值，用公式可表示为：
其中，ABS表示模板内所有点像素值与中心点像素值的绝对值；f(x,y)表示点(x,y)的像素值。
通过公式(13)找到和中心点的像素值最接近的五个像素值，求其均值替换中心点的像素值即可。未去噪的纹理图像与本发明方法去噪后的纹理图像对比，可以看出，二次压缩图像中分解出的纹理图像出现了色调分离现象，而在去噪后减少了色调分离，并且去噪后的纹理图像比去噪前的纹理图像视觉效果好。
步骤4：复合去噪后的结构图像和纹理图像得到去噪后的二次压缩图像。可以将去噪后的二次压缩图像与原二次压缩图像进行比较，得到PSNR：37.6878dB、SSIM：0.9604，实现了非常好的去噪效果，且图像信息基本未丢失。
本发明还提供基于结构-纹理分解的压缩图像去噪装置，包括压缩模块、分解模块、去噪模块和复合模块，
压缩模块进行图像的二次压缩：使用奇异值分解算法二次压缩图像；
分解模块分解二次压缩的图像：利用卡通纹理图像分解低秩先验模型将二次压缩后的图像分解为纹理分量和卡通分量，利用局部并行分裂方法根据纹理分量和卡通分量求解卡通纹理图像分解低秩先验模型，获得纹理图像和结构图像，验证纹理图像和结构图像丢失图像信息情况，根据验证结果放弃结构图像，利用二次压缩后的图像减去纹理图像获得新结构图像；
去噪模块执行分解后的图像去噪操作，包括：
步骤31：使用前馈去噪卷积神经网络模型DnCNN对新结构图像去噪，分离隐藏层中观测到的噪声，输出噪声图像，使用新结构图像减去输出的噪声图像获得去噪后的结构图像，
步骤32：基于均值滤波的方法，选择滤波器模板和滤波器中心点对纹理图像去噪；
复合模块复合去噪后的结构图像和纹理图像得到去噪后的二次压缩图像。
上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
同样地，本发明装置针对多次压缩图像进行图像分解，获得纹理图像和结构图像，针对结构图像使用深度学习算法DnCNN对结构图像进行去噪，针对纹理图像在均值滤波的基础上有选择地对纹理图像进行去噪，侧重边缘信息的保留，去噪声更加合理，还能很好的保护图像的边缘信息，可应用于大型赛事直播、转播等领域。
需要说明的是，上述各流程和各装置结构中各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (8)

1.基于结构-纹理分解的压缩图像去噪方法，其特征是包括以下步骤：
步骤1：进行图像的二次压缩：使用奇异值分解算法二次压缩图像；
步骤2：分解二次压缩的图像：利用卡通纹理图像分解低秩先验模型将二次压缩后的图像分解为纹理分量和卡通分量，利用局部并行分裂方法（Partially Parallel SplittingMethod）根据纹理分量和卡通分量求解卡通纹理图像分解低秩先验模型，获得纹理图像和结构图像，验证纹理图像和结构图像丢失图像信息情况，根据验证结果放弃结构图像，利用二次压缩后的图像减去纹理图像获得新结构图像，其中利用卡通纹理图像分解低秩先验模型使用核范数归纳图像的纹理分量，使用TV范数归纳图像的卡通分量；
步骤3：进行分解后的图像去噪，包括：
步骤31：使用前馈去噪卷积神经网络模型DnCNN对新结构图像去噪，分离隐藏层中观测到的噪声，输出噪声图像，使用新结构图像减去输出的噪声图像获得去噪后的结构图像，
步骤32：基于均值滤波的方法，选择滤波器模板和滤波器中心点对纹理图像去噪；
步骤4：复合去噪后的结构图像和纹理图像得到去噪后的二次压缩图像。
2.根据权利要求1所述的基于结构-纹理分解的压缩图像去噪方法，其特征是步骤1中使用奇异值分解算法二次压缩图像，包括：
获取图像的像素值矩阵A，对矩阵A进行奇异值分解，获得左奇异矩阵和右奇异矩阵，根据左奇异矩阵和右奇异矩阵获得左奇异向量和右奇异向量，根据像素值矩阵A、转置矩阵AT、左奇异向量和右奇异向量获得奇异值矩阵，将奇异值从大到小排列，根据需求选取奇异值和奇异值对应的左奇异向量和右奇异向量描述像素值矩阵A，完成图像的二次压缩。
3.根据权利要求1所述的基于结构-纹理分解的压缩图像去噪方法，其特征是步骤2中验证纹理图像和结构图像丢失图像信息情况，包括：
复合纹理图像和结构图像，获得复合原图，比较复合原图与所述二次压缩后的图像，求得峰值信噪比和结构相似性的数值，根据所述数值判定复合原图存在丢失信息情况；
判断结构图像的丢失信息情况：将所述二次压缩后的图像减去结构图像，获得验证用的纹理图像，复合所述验证用的纹理图像和结构图像，获得复合原图，比较复合原图与所述二次压缩后的图像，求得峰值信噪比和结构相似性的数值，根据所述数值判定结构图像存在丢失信息情况，根据验证结果放弃结构图像，
判断纹理图像的丢失信息情况：将所述二次压缩后的图像减去纹理图像，获得验证用的结构图像，复合所述验证用的结构图像和纹理图像，获得复合原图，比较复合原图与所述二次压缩后的图像，求得峰值信噪比和结构相似性的数值，根据所述数值判定纹理图像能够忽略丢失信息情况。
4.根据权利要求1所述的基于结构-纹理分解的压缩图像去噪方法，其特征是所述步骤32中，包括：
步骤321：选择纹理图像的滤波器模板（2k+1）2划定像素点的邻域大小，并在纹理图像中选择一个像素点作为滤波器中心点；
步骤322：对滤波器模板内的所有像素点进行排序，计算所有像素点减去滤波器中心点像素值的绝对值；
步骤323：从所有绝对值中从小到大选出[（2k+1）2/2]+1个像素点所对应的像素值；
步骤324：求出步骤323中选出的像素值的均值，以均值代替滤波器中心点的像素值；
步骤325：使滤波器模板在纹理图像上像素点移动，重复步骤322-324直至纹理图像中的像素点全部被处理完，得到去噪后的纹理图像。
5.基于结构-纹理分解的压缩图像去噪装置，其特征是包括压缩模块、分解模块、去噪模块和复合模块，
压缩模块进行图像的二次压缩：使用奇异值分解算法二次压缩图像；
分解模块分解二次压缩的图像：利用卡通纹理图像分解低秩先验模型将二次压缩后的图像分解为纹理分量和卡通分量，利用局部并行分裂方法（Partially ParallelSplitting Method）根据纹理分量和卡通分量求解卡通纹理图像分解低秩先验模型，获得纹理图像和结构图像，验证纹理图像和结构图像丢失图像信息情况，根据验证结果放弃结构图像，利用二次压缩后的图像减去纹理图像获得新结构图像，其中分解模块利用卡通纹理图像分解低秩先验模型使用核范数归纳图像的纹理分量，使用TV范数归纳图像的卡通分量；
去噪模块执行分解后的图像去噪操作，包括：
步骤31：使用前馈去噪卷积神经网络模型DnCNN对新结构图像去噪，分离隐藏层中观测到的噪声，输出噪声图像，使用新结构图像减去输出的噪声图像获得去噪后的结构图像，
步骤32：基于均值滤波的方法，选择滤波器模板和滤波器中心点对纹理图像去噪；
复合模块复合去噪后的结构图像和纹理图像得到去噪后的二次压缩图像。
6.根据权利要求5所述的基于结构-纹理分解的压缩图像去噪装置，其特征是压缩模块使用奇异值分解算法二次压缩图像，包括：
获取图像的像素值矩阵A，对矩阵A进行奇异值分解，获得左奇异矩阵和右奇异矩阵，根据左奇异矩阵和右奇异矩阵获得左奇异向量和右奇异向量，根据像素值矩阵A、转置矩阵AT、左奇异向量和右奇异向量获得奇异值矩阵，将奇异值从大到小排列，根据需求选取奇异值和奇异值对应的左奇异向量和右奇异向量描述像素值矩阵A，完成图像的二次压缩。
7.根据权利要求5所述的基于结构-纹理分解的压缩图像去噪装置，其特征是分解模块验证纹理图像和结构图像丢失图像信息情况，包括：
复合纹理图像和结构图像，获得复合原图，比较复合原图与所述二次压缩后的图像，求得峰值信噪比和结构相似性的数值，根据所述数值判定复合原图存在丢失信息情况；
判断结构图像的丢失信息情况：将所述二次压缩后的图像减去结构图像，获得验证用的纹理图像，复合所述验证用的纹理图像和结构图像，获得复合原图，比较复合原图与所述二次压缩后的图像，求得峰值信噪比和结构相似性的数值，根据所述数值判定结构图像存在丢失信息情况，根据验证结果放弃结构图像，
判断纹理图像的丢失信息情况：将所述二次压缩后的图像减去纹理图像，获得验证用的结构图像，复合所述验证用的结构图像和纹理图像，获得复合原图，比较复合原图与所述二次压缩后的图像，求得峰值信噪比和结构相似性的数值，根据所述数值判定纹理图像能够忽略丢失信息情况。
8.根据权利要求5所述的基于结构-纹理分解的压缩图像去噪装置，其特征是去噪模块执行步骤32，包括：
步骤321：选择纹理图像的滤波器模板（2k+1）2划定像素点的邻域大小，并在纹理图像中选择一个像素点作为滤波器中心点；
步骤322：对滤波器模板内的所有像素点进行排序，计算所有像素点减去滤波器中心点像素值的绝对值；
步骤323：从所有绝对值中从小到大选出[（2k+1）2/2]+1个像素点所对应的像素值；
步骤324：求出步骤323中选出的像素值的均值，以均值代替滤波器中心点的像素值；
步骤325：使滤波器模板在纹理图像上像素点移动，重复步骤322-324直至纹理图像中的像素点全部被处理完，得到去噪后的纹理图像。
CN202311411855.9A 2023-10-30 2023-10-30 基于结构-纹理分解的压缩图像去噪方法及装置 Active CN117152023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311411855.9A CN117152023B (zh) 2023-10-30 2023-10-30 基于结构-纹理分解的压缩图像去噪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311411855.9A CN117152023B (zh) 2023-10-30 2023-10-30 基于结构-纹理分解的压缩图像去噪方法及装置

Publications (2)

Publication Number Publication Date
CN117152023A CN117152023A (zh) 2023-12-01
CN117152023B true CN117152023B (zh) 2024-02-02

Family

ID=88884658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311411855.9A Active CN117152023B (zh) 2023-10-30 2023-10-30 基于结构-纹理分解的压缩图像去噪方法及装置

Country Status (1)

Country Link
CN (1) CN117152023B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027221A (ja) * 2006-07-21 2008-02-07 Nippon Hoso Kyokai <Nhk> 画像処理装置
CN103049892A (zh) * 2013-01-27 2013-04-17 西安电子科技大学 基于相似块矩阵秩最小化的非局部图像去噪方法
WO2013088183A1 (en) * 2011-12-13 2013-06-20 MTA Számítástechnikai és Automatizálási Kutató Intézet Method for decomposing an image consisting of pixels to cartoon image and/or texture image
CN106683129A (zh) * 2016-12-13 2017-05-17 中山大学 一种基于双边核回归的相对约减纹理分解方法及其装置
CN106934775A (zh) * 2017-03-08 2017-07-07 中国海洋大学 一种基于低秩恢复的非局部图像去噪方法
CN107358589A (zh) * 2017-07-17 2017-11-17 桂林电子科技大学 一种结合梯度直方图与低秩约束的去噪方法
CN108198147A (zh) * 2018-01-02 2018-06-22 昆明理工大学 一种基于判别字典学习的多源图像融合去噪的方法
CN108230325A (zh) * 2018-02-06 2018-06-29 浙江师范大学 基于卡通纹理分解的复合降质图像质量评价方法及系统
CN110490824A (zh) * 2019-08-23 2019-11-22 广东浪潮大数据研究有限公司 图像去噪的方法及装置
CN111598790A (zh) * 2020-04-09 2020-08-28 中国科学院遥感与数字地球研究所 基于对偶深度神经网络的高光谱遥感图像去噪方法
CN113610735A (zh) * 2021-08-25 2021-11-05 华北电力大学（保定） 一种面向电力设备红外图像的混合噪声去除方法
CN114881885A (zh) * 2022-05-25 2022-08-09 南京邮电大学 一种基于解耦深度字典学习的图像去噪方法
CN116012263A (zh) * 2023-03-27 2023-04-25 四川工程职业技术学院 一种图像噪声去除方法、装置、存储介质及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7889950B2 (en) * 2005-08-30 2011-02-15 The Regents Of The University Of California, Santa Cruz Kernel regression for image processing and reconstruction
US9721333B2 (en) * 2010-09-15 2017-08-01 Sharp Laboratories Of America, Inc. Methods and systems for estimation of additive noise

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027221A (ja) * 2006-07-21 2008-02-07 Nippon Hoso Kyokai <Nhk> 画像処理装置
WO2013088183A1 (en) * 2011-12-13 2013-06-20 MTA Számítástechnikai és Automatizálási Kutató Intézet Method for decomposing an image consisting of pixels to cartoon image and/or texture image
CN103049892A (zh) * 2013-01-27 2013-04-17 西安电子科技大学 基于相似块矩阵秩最小化的非局部图像去噪方法
CN106683129A (zh) * 2016-12-13 2017-05-17 中山大学 一种基于双边核回归的相对约减纹理分解方法及其装置
CN106934775A (zh) * 2017-03-08 2017-07-07 中国海洋大学 一种基于低秩恢复的非局部图像去噪方法
CN107358589A (zh) * 2017-07-17 2017-11-17 桂林电子科技大学 一种结合梯度直方图与低秩约束的去噪方法
CN108198147A (zh) * 2018-01-02 2018-06-22 昆明理工大学 一种基于判别字典学习的多源图像融合去噪的方法
CN108230325A (zh) * 2018-02-06 2018-06-29 浙江师范大学 基于卡通纹理分解的复合降质图像质量评价方法及系统
CN110490824A (zh) * 2019-08-23 2019-11-22 广东浪潮大数据研究有限公司 图像去噪的方法及装置
CN111598790A (zh) * 2020-04-09 2020-08-28 中国科学院遥感与数字地球研究所 基于对偶深度神经网络的高光谱遥感图像去噪方法
CN113610735A (zh) * 2021-08-25 2021-11-05 华北电力大学（保定） 一种面向电力设备红外图像的混合噪声去除方法
CN114881885A (zh) * 2022-05-25 2022-08-09 南京邮电大学 一种基于解耦深度字典学习的图像去噪方法
CN116012263A (zh) * 2023-03-27 2023-04-25 四川工程职业技术学院 一种图像噪声去除方法、装置、存储介质及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A customized low-rank prior model for structured cartoon-texture image decomposition;Zhiyuan Zhang等;Signal Processing: Image Communication;第1-11页 *
图像分解和恢复中的新优化模型和算法;赵璐璐;中国优秀硕士学位论文全文数据库信息科技辑;第I138-1498页 *
基于广义奇异值分解的图像去噪算法;杨洁;魏平俊;张旭初;;中原工学院学报(第05期);全文 *
模糊神经网络像素分类的稀疏表示医学CT图像去噪方法;孙云山;张立毅;耿艳香;;信号处理(第10期);全文 *

Also Published As

Publication number Publication date
CN117152023A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN106846268B (zh) 一种高斯-脉冲混合图像噪声去除方法
CN110933429B (zh) 基于深度神经网络的视频压缩感知与重构方法和装置
CN114140353A (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN106447632B (zh) 一种基于稀疏表示的raw图像去噪方法
CN114820352A (zh) 一种高光谱图像去噪方法、装置及存储介质
CN109978772A (zh) 基于深度学习与双域互补的压缩图像复原方法
Yu et al. Quaternion-based sparse representation of color image
CN116012266A (zh) 图像去噪方法、系统、设备及存储介质
CN112906874A (zh) 卷积神经网络特征图数据压缩方法及装置
Chen et al. Reweighted low-rank factorization with deep prior for image restoration
Fan et al. Image defogging algorithm based on sparse representation
CN107369139A (zh) 一种基于混合数据拟合与加权全变差的噪声图像去模糊方法
Wen et al. The power of complementary regularizers: Image recovery via transform learning and low-rank modeling
CN117152023B (zh) 基于结构-纹理分解的压缩图像去噪方法及装置
CN113610735A (zh) 一种面向电力设备红外图像的混合噪声去除方法
Sadreazami et al. Data-adaptive color image denoising and enhancement using graph-based filtering
Li et al. A new algorithm framework for image inpainting in transform domain
Zhang et al. A video watermark algorithm based on tensor feature map
CN115619677A (zh) 一种基于改进的CycleGAN的图像去雾方法
CN114331853B (zh) 基于目标向量更新模块的单幅图像复原迭代框架
CN110415190B (zh) 基于深度学习去除图像压缩噪声的方法、装置及处理器
Arunpandian et al. An effective image compression technique based on burrows wheeler transform with set partitioning in hierarchical trees
CN112001938A (zh) 一种基于鲁棒性主成分分析的背景分离方法
CN112767261A (zh) 一种基于广义非凸张量鲁棒主成分分析模型的针对彩色图像和视频的非局部去噪框架
Oleiwi et al. High frequency coefficient effect on image based on contourlet transformation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant