CN116389771B - 一种结合双域信息和方向特征的多尺度分块压缩感知方法 - Google Patents
一种结合双域信息和方向特征的多尺度分块压缩感知方法 Download PDFInfo
- Publication number
- CN116389771B CN116389771B CN202310627681.3A CN202310627681A CN116389771B CN 116389771 B CN116389771 B CN 116389771B CN 202310627681 A CN202310627681 A CN 202310627681A CN 116389771 B CN116389771 B CN 116389771B
- Authority
- CN
- China
- Prior art keywords
- frequency
- coefficient
- low
- block
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000000903 blocking effect Effects 0.000 title claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 103
- 239000011159 matrix material Substances 0.000 claims abstract description 37
- 230000009466 transformation Effects 0.000 claims abstract description 33
- 238000005259 measurement Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000009467 reduction Effects 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 60
- 230000003044 adaptive effect Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 18
- 238000000354 decomposition reaction Methods 0.000 claims description 15
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 20
- 235000002566 Capsicum Nutrition 0.000 description 12
- 241000758706 Piperaceae Species 0.000 description 12
- 241000282537 Mandrillus sphinx Species 0.000 description 9
- 238000004088 simulation Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种结合双域信息和方向特征的多尺度分块压缩感知方法，属于图像处理技术领域，包括：对原始图像进行三层小波变换，对低频子带系数进行逆变换；将低频近似图像和高频子带系数按比例分块，加权结合全变差和小波系数绝对值，对高频系数块进行采样率预分配；计算各块主方向对高频系数块进行采样率再分配，构造各层各高频系数块的测量矩阵进行降维观测；采用分层分块结构进行SPL重构；将重构的高频子带系数进行逆变换并与低频近似图像叠加得到重构图像；本发明实现总采样率不变的情况下对采样资源的合理分配，图像的纹理复杂区域能够得到更好的重构，有效提高图像重构质量。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种结合双域信息和方向特征的自适应多尺度分块压缩感知图像重构方法。
背景技术
随着多媒体通信的发展，人们对于信息的需求更加迫切。据统计，人们日常生活中获取的信息，大约有70%是图像信息。然而图像作为二维信号，其数据量较大，使得图像信号处理过程中的储存、压缩、传输以及计算等方面压力剧增。因此对图像压缩技术的研究成为信号处理领域中的热点方向，同时对人们现代化生活具有重要意义。
传统图像压缩技术的采样过程遵循Nyquist采样定理，会产生大量的冗余采样数据，大大增加后续储存和计算的复杂度，对采集图像信号的硬件设备来说是一个不小的挑战。
Donoho等人于2006年首次提出的压缩感知理论（Compressed Sensing，CS）解决了上述传统图像压缩处理过程中存在的问题，有效地缓解了高维信号与硬件处理能力之间的矛盾，为处理高维数据提供了新思路，应用场景广阔。多尺度分块压缩感知算法（Multiscale Block Compressed Sensing with Smoothed Projected Landweber，MS-BCS-SPL）作为CS理论的一个重要分支，根据图像多尺度小波分解后各尺度小波系数对重构质量的影响不同，对不同尺度的小波系数块采用不同大小的观测矩阵进行压缩重构，实现不同尺度间的采样率自适应分配，使得图像重构性能得到提升。但MS-BCS-SPL算法没有充分利用小波变换后的高低频信息对同一尺度的不同的高频系数块进行区分，而是使用相同的观测矩阵对其进行采样，浪费采样资源的同时限制了图像重构质量的提升。并且MS-BCS-SPL算法并没有对低频近似图像做任何处理，导致重构图像边缘出现块效应，影响视觉效果。
发明内容
针对上述存在的问题，本发明提供了一种结合双域信息和方向特征的多尺度分块压缩感知方法，在不增加总采样率和算法复杂度的条件下充分挖掘小波高低频系数的先验信息，对不同尺度不同子带间的小波系数进行自适应采样，有效提高了图像的重构质量，减轻块效应。
本发明为解决上述技术问题采用的技术方案如下：
一种结合双域信息和方向特征的多尺度分块压缩感知方法，所述方法包括以下步骤：
步骤1，对原始图像进行三层小波变换，得到高频子带系数和低频子带系数，对低
频子带系数进行逆变换得到低频近似图像；
步骤2，将低频近似图像均匀划分为互不重叠的低频近似图像块；按照小波变换的结构特征对每一层各高频子带系数按比例分块，得到高
频系数块,其中为小波变换层数，为小波变换第层的高频子带系数，为高频子带
系数中的高频系数块编号；
步骤3，计算低频近似图像块的全变差和各层各高频子带系数中第个高频系
数块的小波系数绝对值；加权结合低频近似图像块的全变差和对应位置高频系数块
的小波系数绝对值；对高频系数块进行采样率预分配，计算所有层高频子带系数中位置为
的系数块的总采样率；
步骤4，估计低频近似图像块的主方向，结合小波变换高频子带方向性对高频系数
块进行采样率再分配，得到第层高频子带系数中位置为的高频系数块的自适应采样率，根据自适应采样率构造各层各高频系数块的测量矩阵进行降维观测；
步骤5，在重构端对低频近似图像采用空域自适应加权滤波器重建边缘；对各层各高频系数块采用基于分层分块结构的平滑投影Landweber重构算法进行重构，并将重构的高频系数块重新拼接得到重构的高频子带系数；
步骤6，将重构的高频子带系数进行逆变换并与空域自适应加权滤波处理后的低频近似图像叠加得到最终重构图像。
进一步的，步骤1中对原始图像进行三层小波变换，得到高频子带系数和低频子带
系数，对低频子带系数进行逆变换得到低频近似图像，具体步骤如下：采用9/7正交小波
变换对大小为原始图像进行三层小波分解，分解方式为：首先将原始图像分解为一
个低频子带系数和三个高频子带系数，其中、和分别包含了图像水平、
垂直和对角方向的边缘细节信息；保留高频子带系数，对低频子带系数进行小波分解得到
第二层的低频子带系数和高频子带系数；以此类推，三层小波分解后得到一个
低频子带系数和九个高频子带系数、和，高频子带系数；之后仅提取低频子带系数进行逆变换得到低频近似图像。
进一步的，步骤2中将低频近似图像均匀划分为互不重叠的低频近似图像块；按照小波变换的结构特征对每一层各高频子带系数按比例分块，得到高
频系数块，其中为小波变换层数，为小波变换第层的高频子带系数，为高频子带
系数中的高频系数块编号；具体步骤如下：
将低频近似图像均匀划分为大小为32×32且不重叠的256个低频近似图像块；
将同一层各高频子带系数均匀划分为大小相同且不重叠的256个高频系数块；低频近似图
像分块大小与各层高频子带系数分块大小的关系为。
进一步的，步骤3中计算低频近似图像块的全变差和各层各高频子带系数中第个高频系数块的小波系数绝对值；加权结合低频近似图像块的全变差和对应位置高
频系数块的小波系数绝对值；对高频系数块进行采样率预分配，计算所有层高频子带系数
中位置为的系数块的总采样率，具体步骤为：
步骤3-1：由下式计算低频近似图像块的全变差：
；
；
；
其中，和分别为水平和垂直方向的梯度操作因子；表示图像块位
置像素的灰度值大小；和分别为低频近似图像的长和宽；
步骤3-2：计算各层各高频子带系数中第个高频系数块的小波系数绝对值，其中为第个高频系数块在位置为系数值；为小波变
换层数；为高频系数块编号，；为第层高频子带系数分块大小；
步骤3-3：引入权重因子加权结合和，由下式计算采样率预分配因子：
；
步骤3-4：设总采样率为，并设定采样率下界，由下式计算所有层高频子
带系数中位置为的系数块的总采样率；
；
其中为高频系数块个数。
进一步的，步骤4中估计低频近似图像块的主方向，结合小波变换高频子带方向性
对高频系数块进行采样率再分配，得到第层高频子带系数中位置为的高频系数块的自
适应采样率，根据自适应采样率构造各层各高频系数块的大小为测量矩阵进行降维观测，本文测量矩阵选取高斯随机矩阵，具体步骤包括：
步骤4-1：对低频近似图像块的梯度矩阵进行奇异值分解：
；
其中，是大小为的正交矩阵；为对角矩阵；为正交矩阵；表示梯度场
主方向的能量大小；表示低频近似图像块主方向的能量大小；和分别代表梯度场主
方向和低频近似图像块主方向；、、、分别为特征向量值；
步骤4-2：利用和对低频近似图像块方向显著性判断：
；
其中，为方向显著性参数，越大图像的方向性越明显，当时，低频
近似图像块没有明显的方向性，设置方向性经验阈值，当时说明低频近似图像块有
明显方向性，反之表示低频近似图像块没有明确的主方向；
步骤4-3：求出有明确主方向的低频近似图像块的方向角，并判断低频近似图像
块主方向：
；
；
步骤4-4：将求得的总采样率作为各层对应高频系数块的采样率之和，计算各
层位置为的高频系数块的子采样率以及低频子带系数的采样率：
；
步骤4-5：将结合低频近似图像块主方向，求出第层子带中第个高频系数块的自适应采样率，其中、和分
别包含了图像水平、垂直和对角方向的边缘细节信息；以第个高频系数块主方向为水平方
向为例，对应高频系数块应在其主方向子带多采样
；
步骤4-6：采用大小为的高斯随机矩阵作为测量矩阵；根据自
适应采样率 ，分别确定各层各高频系数块的测量
次数并生成测量矩阵进行降维观测；
其中，为各层高频子带系数分块大小，低频近似图像分块大小与
各层高频子带系数分块大小的关系为。
进一步的，步骤5中在重构端对低频近似图像采用空域自适应加权滤波器重建边缘；对各层各高频系数块采用基于分层分块结构的平滑投影Landweber重构算法进行重构，并将重构的高频系数块重新拼接得到重构的高频子带系数，具体步骤包括：
步骤5-1：对低频近似图像按照以下过程进行空域自适应加权滤波得到滤波后
低频近似图像：
；
；
；
；
；
其中，为待滤波像素，为其八邻域像素，以为中心生成大小
的滤波模板，表示低频近似图像像素值，为像素的滤波结果，表示像素
的八邻域像素值，用于衡量非线性程度，其中取，，为局部方差，为低频近似图像的整体方差；
步骤5-2：对各层各高频系数块采用基于分层分块结构的平滑投影Landweber重构算法进行重构，具体过程为：
设高频系数块测量与重构时的块尺寸分别为，且实现分层分块结构，满足以下关系：
；
分层分块结构首先在测量时将第层各高频子带系数分为256个不重叠的大小为的高频系数块，并将其转化为大小为一维向量；
然后通过构造大小为测量矩阵，其中为各层各高频
系数块总采样数；得到各块大小为测量值向量：
；
在重构端将测量端的测量值向量，测量矩阵以及一维向量进行拼接
和重组成为大尺寸块；重构端设置=1，拼接过程如下：
；
其中是四个测量矩阵构成的对角矩阵；使用拼接后的和作为平滑投
影Landweber重构算法的输入对高频系数块进行重构，得到大尺寸重构高频系数块，并将重
构的高频系数块重新拼接得到重构的高频子带系数。
进一步的，步骤6中将重构得到的高频子带系数进行逆变换并与加权滤波处理后的低频近似图像叠加得到最终重构图像的具体过程为：
将低频子带系数置零，对重构得到的高频子带系数进行逆变换得到边缘纹理图像，并将其与加权滤波处理后的低频近似图像进行归一化叠加，得到最终重构图像。
本发明具有以下有益效果：（1）本发明在MS-BCS-SPL算法的基础上引入权重因子，加权结合低频近似图像块空域全变差以及小波域各子带对应的高频系数用于指导采样率预分配；其次结合图像的方向特性，对高频系数块按照子带主方向进行采样率的进一步精细分配。实现总采样率不变的情况下对采样资源的合理分配，图像的纹理复杂区域能够得到更好的重构，有效提高图像重构质量。
（2）本发明在重构端分别对高低频系数分别进行重建，引入空域自适应加权滤波器对低频近似图像重建，保护边缘的同时滤除锯齿状块效应。针对高频系数采用基于分层分块结构的平滑投影Landweber重构算法进行重构，有效缩短重构耗时，提高重构图像视觉效果。
（3）本发明在保持总采样率不变的情况下提高了重构图像的主观视觉效果和客观重构性能，实现了采样率的合理自适应分配；空域自适应加权滤波器的引入保护图像纹理边缘，有效地缓解了边缘块效应；基于分层分块结构的平滑投影Landweber重构算法有效降低了计算复杂度和储存空间，实现了图像信号的快速采样和重构，具有较强的鲁棒性。在医学成像、气候成像以及雷达成像等方面具有良好的应用性。
附图说明
图1为本发明的结合双域信息和方向特征的多尺度分块压缩感知方法的实现整体流程图；
图2为本发明的Lena图像三层小波变换后图像；
图3为本发明的Lena图像三层小波变换后系数分布图；
图4为本发明实施例所述Lena测试图像集；
图5为本发明实施例所述Barbara测试图像集；
图6为本发明实施例所述Peppers测试图像集；
图7为本发明实施例所述Goldhill测试图像集；
图8为本发明实施例所述Mandrill测试图像集；
图9为本发明Lena测试图像在总采样率时，各图像块采样率预分配因子与固定采样率下MS-BCS-SPL算法重构图像的PSNR关系图；
图10为本发明Barbara测试图像在总采样率时，各图像块采样率预分配因
子与固定采样率下MS-BCS-SPL算法重构图像的PSNR关系图；
图11为本发明Peppers测试图像在总采样率时，各图像块采样率预分配因
子与固定采样率下MS-BCS-SPL算法重构图像的PSNR关系图；
图12为本发明Goldhill测试图像在总采样率时，各图像块采样率预分配
因子与固定采样率下MS-BCS-SPL算法重构图像的PSNR关系图；
图13为本发明Mandrill测试图像在总采样率时，各图像块采样率预分配
因子与固定采样率下MS-BCS-SPL算法重构图像的PSNR关系图；
图14为本发明实施例Lena测试图像自适应采样率预分配结果；
图15为本发明实施例Barbara测试图像自适应采样率预分配结果；
图16为本发明实施例Peppers测试图像自适应采样率预分配结果；
图17为本发明实施例Goldhill测试图像自适应采样率预分配结果；
图18为本发明实施例Mandrill测试图像自适应采样率预分配结果；
图19为本发明的Lena图像方向估计结果；
图20为本发明的Peppers图像方向估计结果；
图21为本发明的空域自适应加权滤波器模板；
图22为本发明的基于分层分块结构的平滑投影Landweber重构算法流程图；
图23为本发明实施例Lena与BCS-SPL算法和MS-BCS-SPL算法在总采样率为0.4时的重构图像局部放大图（其中图23从左到右分别为Lena图像原图、BCS-SPL算法重构图、MS-BCS-SPL算法重构图以及本发明重构图）；
图24为本发明实施例Barbara与BCS-SPL算法和MS-BCS-SPL算法在总采样率为0.4时的重构图像局部放大图（其中图24从左到右分别为Barbara图像原图、BCS-SPL算法重构图、MS-BCS-SPL算法重构图以及本发明重构图）；
图25为本发明实施例Peppers与BCS-SPL算法和MS-BCS-SPL算法在总采样率为0.4时的重构图像局部放大图（其中图25从左到右分别为Peppers图像原图、BCS-SPL算法重构图、MS-BCS-SPL算法重构图以及本发明重构图）；
图26为本发明实施例Goldhill与BCS-SPL算法和MS-BCS-SPL算法在总采样率为0.4时的重构图像局部放大图（图26从左到右分别为Goldhill图像原图、BCS-SPL算法重构图、MS-BCS-SPL算法重构图以及本发明重构图）；
图27为本发明实施例Mandrill与BCS-SPL算法和MS-BCS-SPL算法在总采样率为0.4时的重构图像局部放大图（其中图27从左到右分别为Mandrill图像原图、BCS-SPL算法重构图、MS-BCS-SPL算法重构图以及本发明重构图）。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及对应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
如图1所示，本发明所述的一种结合双域信息和方向特征的多尺度分块压缩感知方法的整体流程如下：
步骤1，对原始图像进行三层小波变换，得到高频子带系数和低频子带系数，对低频子带系数进行逆变换得到低
频近似图像，具体过程如下：
如图2、图3所示，以Lena图像为例采用9/7正交小波变换对大小为的Lena
图像进行三层小波分解，分解方式为：首先将原始图像分解为一个低频子带系数和三个高
频子带系数，其中、和分别包含了图像水平、垂直和对角方向的边缘细
节信息。保留高频子带系数，对低频子带系数进行小波分解得到第二层的低频子带系数和
高频子带系数；以此类推，三层小波分解后得到一个低频子带和九个高频子带、和，每一层小波变换包含三个高频子带系数；为第一层小波变换得到的高频子带系数，为第二层小波变换得到的
高频子带系数，为第三层小波变换得到的高频子带系数，高频子带系数；之后仅提取低频子带系数进行逆变换得到低频近似图像。
步骤2，将低频近似图像均匀划分为互不重叠的低频近似图像块；按照小波变换的结构特征对每一层各高频子带系数按比例分块，得到高
频系数块,其中为小波变换层数，为小波变换第层的高频子带系数，为高频子带
系数中的高频系数块编号；具体过程如下：
本实施例如图4-图8，采用五幅大小均为512×512的标准测试集图像Lenna、
Barbara、Peppers、Goldhill、Mandrill作为原始图像，对原始图像进行三层小波分解，对低
频子带系数进行逆变换得到低频近似图像；本实施例对低频近似图像均匀划分为大小
为32×32且互不重叠的256个低频近似图像块；将同一层各高频子带系数均匀划分为大小
相同且不重叠的256个高频系数块；低频近似图像分块大小与各层高频子带系数分块
大小的关系为。
步骤3，计算低频近似图像块的全变差和各层各高频子带系数中第个高频系
数块的小波系数绝对值；加权结合低频近似图像块的全变差和对应位置高频系数块
的小波系数绝对值；对高频系数块进行采样率预分配，计算所有层高频子带系数中位置为
的系数块的总采样率，具体过程如下：
步骤3-1：由下式计算低频近似图像块的全变差：
；
；
；
其中，和分别为水平和垂直方向的梯度操作因子；表示图像块位
置像素的灰度值大小；和分别为低频近似图像的长和宽；
步骤3-2：计算各层各高频子带系数中第个高频系数块的小波系数绝对值，其中为各层第个高频系数块在位置为系数值；为小
波变换层数；为高频系数块编号，；为第层高频子带系数分块大小；
步骤3-3：引入权重因子加权结合和，由下式计算采样率预分配因子，本实施例的权重因子=0.75：
；
步骤3-4：本实施例设总采样率为=[0.1,0.5]，并设定采样率下界=0.2，
由下式计算所有层高频子带系数中位置为的系数块的总采样率；
；
其中为高频系数块个数。
本实施例采样率预分配结果如图9-图13所示。
步骤4，估计低频近似图像块的主方向，结合小波变换高频子带方向性对高频系数
块进行采样率再分配，得到第层高频子带系数中位置为的高频系数块的自适应采样率，根据自适应采样率构造各层各高频系数块的大小为测量矩阵进行降
维观测，本文测量矩阵选取高斯随机矩阵；具体过程如下：
步骤4-1：对低频近似图像块的梯度矩阵进行奇异值分解：
；
其中，是大小为的正交矩阵；为对角矩阵；为正交矩阵；表示梯度场
主方向的能量大小；表示低频近似图像块主方向的能量大小；和分别代表梯度场主
方向和低频近似图像块主方向；、、、分别为特征向量值；
步骤4-2：利用和对低频近似图像块方向显著性判断：
；
其中，为方向显著性参数，越大图像的方向性越明显，当时，低频
近似图像块没有明显的方向性。设置方向性经验阈值，当时说明低频近似图像块有
明显方向性，反之表示低频近似图像块没有明确的主方向，本实施例中=0.1；
步骤4-3：求出有明确主方向的低频近似图像块的方向角，并判断低频近似图像
块主方向：
；
；
步骤4-4：将求得的总采样率作为各层对应高频系数块的采样率之和，计算各
层位置为的高频系数块的子采样率以及低频子带系数的采样率：
；
步骤4-5：将结合低频近似图像块主方向，求出第层子带中第个高频系数块的自适应采样率；其中、和分
别包含了图像水平、垂直和对角方向的边缘细节信息；以第个高频系数块主方向为水平方
向为例，对应高频系数块应在其主方向子带多采样
；
步骤4-6：采用大小为的高斯随机矩阵作为测量矩阵；根据自
适应采样率 ，分别确定各层各高频系数块的测量
次数并生成测量矩阵进行降维观测；
其中，为各层高频子带系数分块大小，低频近似图像分块大小与
各层高频子带系数分块大小的关系为。
步骤5，在重构端对低频近似图像采用空域自适应加权滤波器重建边缘；对各层各高频系数块采用基于分层分块结构的平滑投影Landweber重构算法进行重构，并将重构的高频系数块重新拼接得到重构的高频子带系数，其具体过程为：
步骤5-1：本实施例的空域自适应加权滤波模板如图21所示。对低频近似图像按
照以下过程进行空域自适应加权滤波得到滤波后低频近似图像：
；
；
；
；
；
其中，为待滤波像素，为其八邻域像素，以为中心生成大小
的滤波模板，表示低频近似图像像素值，为像素的滤波结果， 表示像素
的八邻域像素值，用于衡量非线性程度，其中取，，为局部方差，为低频近似图像的整体方差；
在像素的滤波过程中，首先计算对称像素的平均值，之后对滤波模板加权求和，
其中加权因子与对称像素差值成负相关，对称像素差值越大说明中心像素
位于边缘，此时越小，有助于保护边缘。用于衡量非线性程度，本实施例的中取，，的取值由图像局部方差和整体方差一起决定。若低频近似图像
块像素值相同，则上述滤波器变为线性均值滤波器，反之滤波器的非线性程度会随着的
增大进行自适应调整，达到平滑边缘的目的；
步骤5-2：对各层各高频系数块采用基于分层分块结构的平滑投影Landweber重构算法进行重构，本实施例的分层分块结构的平滑投影Landweber重构算法流程如图22所示，具体过程为：
设高频系数块测量与重构时的块尺寸分别为，且实现分层分块结构，满足以下关系：
；
本实施例中=1。分层分块结构首先在测量时将第层各高频系数分为256个不重
叠的大小为的高频系数块，并将其转化为大小为一维向量；
然后通过构造大小为测量矩阵，其中为各层各高频
系系数块总采样数；得到各块大小为测量值向量：
；
在重构端将测量端的测量值向量，测量矩阵以及一维向量进行拼接
和重组成为大尺寸块；拼接过程如下：
；
其中是四个测量矩阵构成的对角矩阵；使用拼接后的和作为平滑投
影Landweber重构算法的输入对高频系数块进行重构，得到大尺寸重构高频系数块，并将重
构的高频系数块重新拼接得到重构的高频子带系数。
步骤6，将重构得到的高频子带系数进行逆变换并与加权滤波处理后的低频近似图像叠加得到最终重构图像的，其具体过程为：
将低频子带系数置零，对重构得到的高频子带系数进行逆变换得到边缘纹理图像，并将其与低频近似图像进行归一化叠加，得到最终重构图像。
本发明的效果可以通过以下仿真内容和结果进一步说明：
仿真实验中计算机硬件配置为Intel(R) Core(TM) i5-9300HF处理器，2.40GHz，16.0 GB内存，Windows 10系统笔记本电脑，编程语言为Matlab。
仿真1：为本实施例Lena、Barbara、Peppers、Goldhill、Mandrill测试图像在总采
样率为0.4时，各图像块采样率预分配因子与固定采样率下MS-BCS-SPL算法重构图像的
PSNR关系图。为防止过大，对其进行对数处理即。从图9-图13中可以看出，
五幅测试图像各图像块采样率预分配因子与PSNR值之间均呈负相关的变化规律。对于较大的图像块纹理较为复杂，边缘细节丰富，所以其较大，需要较高的采样率才能够
重构出高质量图像，为其分配的固定采样率显然不能满足图像的高质量重构需求。
对于较小的图像块，纹理相对简单，不需要太多采样数就能得到高质量重构图像，已过采样。综上所述，将作为采样率预分配因子是合理的，能够实现有限采样率
的合理分配。
仿真2：图14-图18分别为本实施例各测试图像自适应采样率预分配结果。从中可以看出，结合全变差和小波系数的采样率自适应预分配策略能够在总采样率不变的基础上，合理的分配采样率，使纹理复杂区域多采样（对应浅色块），对纹理简单的平坦块少采样（对应深色块）。并且从中能够看出图像不同区域的采样率分布跨度更大，分配更细致，符合算法预期效果。
仿真3：图19、图20分别为本实施例的Lena和Peppers图像方向估计结果。其中H、V、D分别代表图像块主方向为水平、垂直和对角方向，没有字母的图像块代表其没有明确主方向。
仿真4：表1和表2分别为本实施例相比分块压缩感知（BCS-SPL）算法和MS-BCS-SPL算法重构图像的PSNR和SSIM对比。能够看出在不同的采样率下本实施例的重构图像质量均优于MS-BCS-SPL算法和BCS-SPL算法，尤其是对于纹理较为复杂的图像提升更为显著。如Barbara重构图像的PSNR相比另两种算法分别平均提高1.49dB和2.53dB；Mandrill重构图像的PSNR分别平均提高1.46dB和1.63dB；SSIM值也有一定提升。本发明的方法对于图像的亮度、结构和对比度具有更好的恢复能力，同时对纹理较为复杂的图像具备更好的重构性能，重构图像更接近原图。
表1 五幅图像不同采样率下三种算法重构图像PSNR/dB
表2 五幅图像不同采样率下三种算法重构图像SSIM
仿真5，图23-图27分别为本发明与BCS-SPL算法和MS-BCS-SPL算法在总采样率为0.4时的个测试图像的重构图像局部放大图。从中能够看出，本发明的重构图像在纹理边缘细节、边缘平滑度、亮度和对比度方面均优于其他对比算法，重构图像拥有更好的视觉效果。其中对于Lena图像，本发明重构图像的发丝和睫毛部分更加明显，同时帽檐边缘更加平滑，几乎没有锯齿状块效应，说明空域自适应加权滤波器的引入在保护图像边缘细节的同时起到了很好地平滑作用，缓解了锯齿状块效应；对于Barbara图像，本发明重构图像的围巾和裤子的纹理部分清晰，相互之间界限分明。而MS-BCS-SPL算法重构图像条纹之间相互交叉，裤子部分尤为明显，BCS-SPL算法重构图像在条纹部分出现噪声伪影，视觉效果欠佳；对于Peppers图像，本发明重构图像的两个辣椒的根部纹理更加清晰，同时大辣椒表面光泽明亮细腻，更接近原图。而两种对比算法重构图像表面模糊，影响根部细节和亮度；对于Goldhill图像，本发明重构图像的窗框和房顶的瓦片的界限更加清晰，视觉效果更好；对于Mandrill图像，本发明重构图像的毛发自然纹理部分刻画更加逼真，胡须之间的界限分明，同时鼻子部分的光泽更细腻。
以上详细描述了本发明的较佳具体实施例，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。
Claims (7)
1.一种结合双域信息和方向特征的多尺度分块压缩感知方法，其特征在于，所述方法包括以下步骤：
步骤1，对原始图像进行三层小波变换，得到高频子带系数和低频子带系数，对低频子带系数进行逆变换得到低频近似图像；
步骤2，将低频近似图像均匀划分为互不重叠的低频近似图像块/>；按照小波变换的结构特征对每一层各高频子带系数按比例分块，得到高频系数块/>,其中/>为小波变换层数，/>为小波变换第/>层的高频子带系数，/>为高频子带系数/>中的高频系数块编号；
步骤3，计算低频近似图像块的全变差和各层各高频子带系数中第/>个高频系数块的小波系数绝对值/>；加权结合低频近似图像块的全变差/>和对应位置高频系数块的小波系数绝对值；对高频系数块进行采样率预分配，计算所有层高频子带系数中位置为/>的系数块的总采样率/>；
步骤4，估计低频近似图像块的主方向，结合小波变换高频子带方向性对高频系数块进行采样率再分配，得到第层高频子带系数/>中位置为/>的高频系数块的自适应采样率，根据自适应采样率构造各层各高频系数块的测量矩阵/>进行降维观测；
步骤5，在重构端对低频近似图像采用空域自适应加权滤波器重建边缘；对各层各高频系数块采用基于分层分块结构的平滑投影Landweber重构算法进行重构，并将重构的高频系数块重新拼接得到重构的高频子带系数；
步骤6，将重构的高频子带系数进行逆变换并与空域自适应加权滤波处理后的低频近似图像叠加得到最终重构图像。
2.根据权利要求1所述的一种结合双域信息和方向特征的多尺度分块压缩感知方法，其特征在于，步骤1中对原始图像进行三层小波变换，得到高频子带系数和低频子带系数，对低频子带系数进行逆变换得到低频近似图像，具体步骤如下：采用9/7正交小波变换对大小为/>原始图像进行三层小波分解，分解方式为：首先将原始图像分解为一个低频子带系数和三个高频子带系数/>，其中/>、/>和/>分别包含了图像水平、垂直和对角方向的边缘细节信息；保留高频子带系数，对低频子带系数进行小波分解得到第二层的低频子带系数和高频子带系数/>；以此类推，三层小波分解后得到一个低频子带系数和九个高频子带系数/>、/>和/>，高频子带系数；之后仅提取低频子带系数进行逆变换得到低频近似图像/>。
3.根据权利要求1所述的一种结合双域信息和方向特征的多尺度分块压缩感知方法，其特征在于，步骤2中将低频近似图像均匀划分为互不重叠的低频近似图像块；按照小波变换的结构特征对每一层各高频子带系数按比例分块，得到高频系数块/>，其中/>为小波变换层数，/>为小波变换第/>层的高频子带系数，/>为高频子带系数/>中的高频系数块编号；具体步骤如下：将低频近似图像/>均匀划分为大小为32×32且不重叠的256个低频近似图像块；将同一层各高频子带系数均匀划分为大小相同且不重叠的256个高频系数块；低频近似图像/>分块大小/>与各层高频子带系数分块大小的关系为/>。
4.根据权利要求1所述的一种结合双域信息和方向特征的多尺度分块压缩感知方法，其特征在于，步骤3中计算低频近似图像块的全变差和各层各高频子带系数中第/>个高频系数块的小波系数绝对值/>；加权结合低频近似图像块的全变差/>和对应位置高频系数块的小波系数绝对值；对高频系数块进行采样率预分配，计算所有层高频子带系数中位置为/>的系数块的总采样率/>，具体步骤为：
步骤3-1：由下式计算低频近似图像块的全变差/>：
；
；
；
其中，和/>分别为水平和垂直方向的梯度操作因子；/>表示图像块/>位置像素的灰度值大小；/>和/>分别为低频近似图像的长和宽；
步骤3-2：计算各层各高频子带系数中第个高频系数块的小波系数绝对值，其中/>为第/>个高频系数块在位置为/>系数值；/>为小波变换层数；/>为高频系数块编号，/>；/>为第/>层高频子带系数分块大小；
步骤3-3：引入权重因子加权结合/>和/>，由下式计算采样率预分配因子：
；
步骤3-4：设总采样率为，并设定采样率下界/>，由下式计算所有层高频子带系数中位置为/>的系数块的总采样率/>；
；
其中为高频系数块个数。
5.根据权利要求1所述的一种结合双域信息和方向特征的多尺度分块压缩感知方法，其特征在于，步骤4中估计低频近似图像块的主方向，结合小波变换高频子带方向性对高频系数块进行采样率再分配，得到第层高频子带系数/>中位置为/>的高频系数块的自适应采样率/>，根据自适应采样率构造各层各高频系数块的大小为/>测量矩阵/>进行降维观测，具体步骤包括：
步骤4-1：对低频近似图像块的梯度矩阵/>进行奇异值分解：
；
其中，是大小为/>的正交矩阵；/>为对角矩阵；/>为正交矩阵；/>表示梯度场主方向的能量大小；/>表示低频近似图像块主方向的能量大小；/>和/>分别代表梯度场主方向和低频近似图像块主方向；/>、/>、/>、/>分别为特征向量值；
步骤4-2：利用和/>对低频近似图像块方向显著性判断：
；
其中，为方向显著性参数，/>越大图像的方向性越明显，当/>时，低频近似图像块没有明显的方向性，设置方向性经验阈值/>，当/>时说明低频近似图像块有明显方向性，反之表示低频近似图像块没有明确的主方向；
步骤4-3：求出有明确主方向的低频近似图像块的方向角，并判断低频近似图像块主方向：
；
；
步骤4-4：将求得的总采样率作为各层对应高频系数块的采样率之和，计算各层位置为/>的高频系数块的子采样率/>以及低频子带系数的采样率/>：
；
步骤4-5：将结合低频近似图像块主方向，求出第/>层子带中第/>个高频系数块的自适应采样率/>，其中/>、/>和/>分别包含了图像水平、垂直和对角方向的边缘细节信息；以第/>个高频系数块主方向为水平方向为例，对应高频系数块应在其主方向子带多采样
；
步骤4-6：采用大小为的高斯随机矩阵作为测量矩阵/>；根据自适应采样率/> ，分别确定各层各高频系数块的测量次数并生成测量矩阵/>进行降维观测；
其中，为各层高频子带系数分块大小，低频近似图像/>分块大小/>与各层高频子带系数分块大小/>的关系为/>。
6.根据权利要求1所述的一种结合双域信息和方向特征的多尺度分块压缩感知方法，其特征在于，步骤5中在重构端对低频近似图像采用空域自适应加权滤波器重建边缘；对各层各高频系数块采用基于分层分块结构的平滑投影Landweber重构算法进行重构，并将重构的高频系数块重新拼接得到重构的高频子带系数，具体步骤包括：
步骤5-1：对低频近似图像按照以下过程进行空域自适应加权滤波得到滤波后低频近似图像/>：
；
；
；
；
；
其中，为待滤波像素，/>为其八邻域像素，以/>为中心生成/>大小的滤波模板，/>表示低频近似图像像素值，/>为/>像素的滤波结果，/>表示像素/>的八邻域像素值，/>用于衡量非线性程度，其中取/>，/>，/>为局部方差，/>为低频近似图像的整体方差；
步骤5-2：对各层各高频系数块采用基于分层分块结构的平滑投影Landweber重构算法进行重构，具体过程为：
设高频系数块测量与重构时的块尺寸分别为，且实现分层分块结构，/>满足以下关系：
；
分层分块结构首先在测量时将第层各高频子带系数分为256个不重叠的大小为的高频系数块/>，并将其转化为大小为/>一维向量/>；
然后通过构造大小为测量矩阵/>，其中/>为各层各高频系数块总采样数；得到各块大小为/>测量值向量/>：
；
在重构端将测量端的测量值向量，测量矩阵/>以及一维向量/>进行拼接和重组成为大尺寸块；重构端设置/>=1，拼接过程如下：
；
其中是四个测量矩阵/>构成的对角矩阵；使用拼接后的/>和/>作为平滑投影Landweber重构算法的输入对高频系数块进行重构，得到大尺寸重构高频系数块，并将重构的高频系数块重新拼接得到重构的高频子带系数。
7.根据权利要求1所述的一种结合双域信息和方向特征的多尺度分块压缩感知方法，其特征在于，步骤6中将重构得到的高频子带系数进行逆变换并与加权滤波处理后的低频近似图像叠加得到最终重构图像的具体过程为：将低频子带系数置零，对重构得到的高频子带系数进行逆变换得到边缘纹理图像，并将其与加权滤波处理后的低频近似图像进行归一化叠加，得到最终重构图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310627681.3A CN116389771B (zh) | 2023-05-31 | 2023-05-31 | 一种结合双域信息和方向特征的多尺度分块压缩感知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310627681.3A CN116389771B (zh) | 2023-05-31 | 2023-05-31 | 一种结合双域信息和方向特征的多尺度分块压缩感知方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116389771A CN116389771A (zh) | 2023-07-04 |
| CN116389771B true CN116389771B (zh) | 2023-08-01 |
Family
ID=86967877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310627681.3A Active CN116389771B (zh) | 2023-05-31 | 2023-05-31 | 一种结合双域信息和方向特征的多尺度分块压缩感知方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116389771B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761290A (zh) * | 2016-03-01 | 2016-07-13 | 北京理工大学 | 一种自适应的多尺度分块压缩感知采样方法 |
| CN106023116A (zh) * | 2016-05-30 | 2016-10-12 | 中国科学院深圳先进技术研究院 | 一种基于块加权约束的压缩感知图像重建方法及装置 |
| JP2017199335A (ja) * | 2016-04-28 | 2017-11-02 | 株式会社緑野リサーチ | 改良型画像復元方法及び画像復元装置 |
| CN109982090A (zh) * | 2019-03-21 | 2019-07-05 | 西安电子科技大学 | 一种结合灰度熵和盲反卷积的采样率自适应分块压缩感知方法 |
| CN114125447A (zh) * | 2021-11-02 | 2022-03-01 | 浙江树人学院（浙江树人大学） | 一种基于分块及换位算法的压缩感知快速重构方法 |
-
2023
- 2023-05-31 CN CN202310627681.3A patent/CN116389771B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761290A (zh) * | 2016-03-01 | 2016-07-13 | 北京理工大学 | 一种自适应的多尺度分块压缩感知采样方法 |
| JP2017199335A (ja) * | 2016-04-28 | 2017-11-02 | 株式会社緑野リサーチ | 改良型画像復元方法及び画像復元装置 |
| CN106023116A (zh) * | 2016-05-30 | 2016-10-12 | 中国科学院深圳先进技术研究院 | 一种基于块加权约束的压缩感知图像重建方法及装置 |
| CN109982090A (zh) * | 2019-03-21 | 2019-07-05 | 西安电子科技大学 | 一种结合灰度熵和盲反卷积的采样率自适应分块压缩感知方法 |
| CN114125447A (zh) * | 2021-11-02 | 2022-03-01 | 浙江树人学院（浙江树人大学） | 一种基于分块及换位算法的压缩感知快速重构方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116389771A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Al-Ameen et al. | An innovative technique for contrast enhancement of computed tomography images using normalized gamma-corrected contrast-limited adaptive histogram equalization | |
| Fu et al. | Retinex-based perceptual contrast enhancement in images using luminance adaptation | |
| Zhou et al. | Retinex-based laplacian pyramid method for image defogging | |
| US8542944B2 (en) | Method and apparatus for multi-scale based dynamic range compression and noise suppression | |
| CN110706174B (zh) | 一种图像增强方法、终端设备及存储介质 | |
| Lai et al. | Improved local histogram equalization with gradient-based weighting process for edge preservation | |
| CN106846276B (zh) | 一种图像增强方法及装置 | |
| Hou et al. | Recovering over-/underexposed regions in photographs | |
| Mu et al. | Low and non-uniform illumination color image enhancement using weighted guided image filtering | |
| Al-Juboori | Contrast enhancement of the mammographic image using retinex with CLAHE methods | |
| CN110706180B (zh) | 一种极暗图像视觉质量提升方法、系统、设备及介质 | |
| CN113850744B (zh) | 基于自适应Retinex和小波融合的图像增强方法 | |
| Ein-shoka et al. | Quality enhancement of infrared images using dynamic fuzzy histogram equalization and high pass adaptation in DWT | |
| Paranjape et al. | Adaptive neighborhood mean and median image filtering | |
| CN117830134A (zh) | 基于混合滤波分解和图像融合的红外图像增强方法及系统 | |
| Dixit et al. | A review on image contrast enhancement in colored images | |
| CN116389771B (zh) | 一种结合双域信息和方向特征的多尺度分块压缩感知方法 | |
| Lee | Content-based image enhancement in the compressed domain based on multi-scale α-rooting algorithm | |
| Hu et al. | A region-based video de-noising algorithm based on temporal and spatial correlations | |
| Thai et al. | Performance evaluation of high dynamic range image tone mapping operators based on separable non-linear multiresolution families | |
| CN114450710A (zh) | 用于噪声降低的方法和装置 | |
| CN115456912A (zh) | 一种基于多尺度wls滤波融合的色调映射方法 | |
| Tsai et al. | Multiexposure image fusion using intensity enhancement and detail extraction | |
| WO2020241337A1 (ja) | 画像処理装置 | |
| Mu et al. | Color image enhancement method based on weighted image guided filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |