CN109872302A - 一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法 - Google Patents
一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法 Download PDFInfo
- Publication number
- CN109872302A CN109872302A CN201910034979.7A CN201910034979A CN109872302A CN 109872302 A CN109872302 A CN 109872302A CN 201910034979 A CN201910034979 A CN 201910034979A CN 109872302 A CN109872302 A CN 109872302A
- Authority
- CN
- China
- Prior art keywords
- nosi
- pixel
- image
- jnd
- denoted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法，其对训练集中的高清自然图像进行分不重叠的图像块处理，通过计算图像块中的所有像素点的像素值的平均方差，选择部分图像块构成训练矩阵，将训练矩阵代入K‑VSD算法中进行字典训练得到过完备字典；对待处理的自然图像进行分重叠的图像块处理，将所有图像块和过完备字典代入OMP算法中得到稀疏系数矩阵，根据稀疏系数矩阵获取结构层图像和非结构层图像，利用不同的计算方式获取结构层图像和非结构层图像各自的恰可察觉失真阈值图，进而融合得到待处理的自然图像的恰可察觉失真阈值图；优点是其能估计得到准确的恰可察觉失真阈值图，与人眼主观视觉感知具有更好的一致性。
Description
技术领域
本发明涉及一种图像信号处理方法，尤其是涉及一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法。
背景技术
人类视觉系统作为中枢神经系统的重要组成部分，其能够对外界输入的视觉信息进行高效地感知与处理。现有的研究表明，人眼对于不同自然图像内容具有不同的分辨能力。主观实验研究表明，人眼仅能察觉到处于一定阈值以上的图像内容变化，该临界值(即阈值)通常被称为恰可察觉失真(JND)阈值。图像的JND阈值度量对图像的压缩编码、质量评价以及超分辨率重建等诸多图像处理应用具有重要的指导意义。
经典的像素域JND模型由亮度适应性方程和对比度掩模方程两部分组成，然而，由于该模型主要作用于图像边缘区域，因此导致高估了图像边缘区域的JND阈值。
脑科学和神经科学家们研究提出了自由能量理论，该研究表明作为一个高度智能的视觉信息处理系统，人类视觉系统在理解和感知自然图像时能够积极预测和推导自然图像中蕴含的确定信息(大体结构)而忽略剩余的不确定信息(杂乱细节)。也就是说，给定输入图像，大脑并非对输入的视觉信息进行完全处理，而是具备一种内在推导机制使之能够对图像的大体结构等确定信息进行主动预测，同时忽略残余的杂乱细节等不确定信息，从而实现对图像的理解和感知。由自由能量理论启发，对于自然图像中特征不同的区域，JND阈值差异很大，因此如何可以更加精准地划分图像区域，如何度量不同区域的JND阈值，都是对于恰可察觉失真预测模型需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法，其能够估计得到准确的恰可察觉失真阈值图，与人眼主观视觉感知具有更好的一致性。
本发明解决上述技术问题所采用的技术方案为：一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法，其特征在于包括以下步骤：
步骤一：将待处理的自然图像记为Ses；然后以尺寸大小为8×8像素的滑动窗口，以滑动步长为1像素在Ses中滑动，将Ses划分成多个尺寸大小为8×8像素的重叠的图像块；其中，Ses的宽度为W且高度为H；
步骤二：训练一个过完备字典，记为D；其中，D的维数为64×256；
步骤三：将Ses中的所有图像块和D代入OMP算法中，得到Ses的稀疏系数矩阵，记为X；其中，X的维数为W×H；
步骤四：获取Ses的结构层图像和非结构层图像，对应记为Ses-si和Ses-nosi，将Ses-si中坐标位置为(u,v)的像素点的像素值记为Ses-si(u,v)，Ses-si(u,v)＝X(u,v)；将Ses-nosi中坐标位置为(u,v)的像素点的像素值记为Ses-nosi(u,v)，Ses-nosi(u,v)＝Ses(u,v)-Ses-si(u,v)；其中，1≤u≤W,1≤v≤H，X(u,v)表示X中下标为(u,v)的系数，Ses(u,v)表示Ses中坐标位置为(u,v)的像素点的像素值；
步骤五：利用亮度适应性方程和对比度掩模方程计算得到Ses-si的恰可察觉失真阈值图，记为JNDsi；并利用结构不确定度和亮度适应性方程计算得到Ses-nosi的恰可察觉失真阈值图，记为JNDnosi；再利用NAMM融合模型将JNDsi和JNDnosi相互融合，得到Ses的恰可察觉失真阈值图。
所述的步骤二中D的获取过程为：
a1、随机选取Num1幅不同内容的高清自然图像构成训练集；其中，Num1≥50；
a2、将训练集中的每幅高清自然图像划分成个尺寸大小为8×8像素的互不重叠的图像块；然后计算训练集中的每幅高清自然图像中的每个图像块中的所有像素点的像素值的平均方差，将训练集中的第n1幅高清自然图像中的第i个图像块中的所有像素点的像素值的平均方差记为vern1,i；接着对训练集中的每幅高清自然图像中的所有图像块对应的平均方差按从大到小的顺序进行排列，并从训练集中的每幅高清自然图像中选取出前Num2个平均方差对应的图像块；再将从训练集中的所有高清自然图像中选取出的Num1×Num2个图像块构成训练矩阵，记为Z，其中，符号为向下取整运算符号，n1和i均为正整数，且初始值均为1，1≤n1≤Num1，Num2≥1000，符号为向量或矩阵表示符号，Z1表示从训练集中的第1幅高清自然图像中选取出的Num2个图像块构成的维数为8Num2×8的矩阵，Z2表示从训练集中的第2幅高清自然图像中选取出的Num2个图像块构成的维数为8Num2×8的矩阵，表示从训练集中的第Num1幅高清自然图像中选取出的Num2个图像块构成的维数为8Num2×8的矩阵，Z的维数为8Num2×8Num1；
a3、将Z代入K-VSD算法中进行字典训练，得到过完备字典D。
所述的步骤五中的JNDnosi的获取过程为：
b1、将Ses-nosi中当前待处理的像素点定义为当前像素点；
b2、设当前像素点在Ses-nosi中的坐标位置为(u,v)；
b3、计算当前像素点的灰度值，记为g(u,v)；并计算当前像素点的3×3像素邻域内的每个邻域像素点的灰度值，将当前像素点的3×3像素邻域内的第p个邻域像素点的灰度值记为g(u,v,p)；其中，p为正整数，p的初始值为1，1≤p≤P，P表示当前像素点的3×3像素邻域内的邻域像素点的总个数，P＝2,5,8；
b4、采用亮度适应性方程，计算当前像素点的亮度适应性值，记为LA(u,v)，然后计算当前像素点的空域分布特性，记为LBP(u,v)，再计算LBP(u,v)的概率分布特性，记为Γ(u,v)；其中，B(u,v)表示当前像素点的3×3像素邻域的背景亮度，g(u,v,p)表示当前像素点的3×3像素邻域内的第p个邻域像素点的灰度值，J()表示符号状态函数，
符号“||”为取绝对值符号，g(u,v,p-1)表示当前像素点的3×3像素邻域内的第p-1个邻域像素点的灰度值；
b5、将Ses-nosi中下一个待处理的像素点作为当前像素点，然后返回步骤b2继续执行，直至Ses-nosi中的所有像素点处理完毕，得到Ses-nosi中的每个像素点的空域分布特性的概率分布特性；
b6、根据Ses-nosi中的每个像素点的3×3像素邻域内的各个邻域像素点的空域分布特性的概率分布特性，并利用香浓信息熵，计算Ses-nosi中的每个像素点的结构不确定度，将Ses-nosi中坐标位置为(u,v)的像素点的结构不确定度记为H(u,v)，然后对Ses-nosi中的每个像素点的结构不确定度进行非线性转换，得到Ses-nosi中的每个像素点的结构不确定度的非线性转换值，将H(u,v)的非线性转换值记为H'(u,v)；其中，Γ(u,v,p)表示Ses-nosi中坐标位置为(u,v)的像素点的3×3像素邻域内的第p个邻域像素点的空域分布特性的概率分布特性；
b7、计算Ses-nosi中的每个像素点的亮度对比度，将Ses-nosi中坐标位置为(u,v)的像素点的亮度对比度记为f(u,v)，其中，α和β均为常数，均取正整数，E(u,v)表示Ses-nosi中坐标位置为(u,v)的像素点的边缘亮度高度，E(u,v)＝max(Gradk(Ses-nosi(u,v)))，max()为取最大值函数，Gradk()表示第k个方向的滤波器，k＝1,2,3,4，第1个方向为水平方向，第2个方向为垂直方向，第3个方向为主对角线方向，第4个方向为副对角线方向；
b8、根据Ses-nosi中的每个像素点的结构不确定度的非线性转换值和亮度对比度，计算Ses-nosi中的每个像素点的恰可察觉失真阈值，将Ses-nosi中坐标位置为(u,v)的像素点的恰可察觉失真阈值记为JNDnosi(u,v)，JNDnosi(u,v)＝f(u,v)×τ(u,v)，再根据Ses-nosi中的所有像素点的恰可察觉失真阈值，得到JNDnosi；其中，τ(u,v)表示f(u,v)与H'(u,v)的交互值，k'为比例参数，exp()表示以自然基数e为底的指数函数，δ为f(u,v)与H'(u,v)的交互衰减系数。
与现有技术相比，本发明的优点在于：
本发明方法利用过完备字典对自然图像进行稀疏表示即获取自然图像的稀疏系数矩阵，进而得到自然图像的结构层图像和非结构层图像，针对结构层图像，利用现有的亮度适应性方程和现有的对比度掩模方程来计算结构层图像的恰可察觉失真阈值图；而针对非结构层图像，则利用结构不确定度和现有的亮度适应性方程来计算非结构层图像的恰可察觉失真阈值图，最终利用现有的NAMM融合模型融合两幅恰可察觉失真阈值图得到自然图像的恰可察觉失真阈值图，通过实验表明本发明方法获得的自然图像的恰可察觉失真阈值图与人眼主观视觉感知具有更好的一致性。
附图说明
图1为本发明方法的总体实现框图；
图2a为一幅自然图像；
图2b为图2a所示的自然图像的结构层图像；
图2c为图2a所示的自然图像的非结构层图像；
图3a为图2b所示的结构层图像的恰可察觉失真阈值图；
图3b为图2c所示的非结构层图像的恰可察觉失真阈值图；
图3c为融合图3a所示的恰可察觉失真阈值图和图3b所示的恰可察觉失真阈值图得到的恰可察觉失真阈值图；
图4为Indian图像；
图5a为图4中区域A的放大图；
图5b为噪声通过Liu2010JND计算模型注入图5a后得到的JND噪声污染图；
图5c为噪声通过Wu2013JND计算模型注入图5a后得到的JND噪声污染图；
图5d为噪声通过Wu2017JND计算模型注入图5a后得到的JND噪声污染图；
图5e为噪声通过利用本发明方法对图5a进行处理后得到的恰可察觉失真阈值图注入图5a后得到的JND噪声污染图；
图6a为图4中区域B的放大图；
图6b为噪声通过Liu2010JND计算模型注入图6a后得到的JND噪声污染图；
图6c为噪声通过Wu2013JND计算模型注入图6a后得到的JND噪声污染图；
图6d为噪声通过Wu2017JND计算模型注入图6a后得到的JND噪声污染图；
图6e为噪声通过利用本发明方法对图6a进行处理后得到的恰可察觉失真阈值图注入图6a后得到的JND噪声污染图；
图7a为图4中区域C的放大图；
图7b为噪声通过Liu2010JND计算模型注入图7a后得到的JND噪声污染图；
图7c为噪声通过Wu2013JND计算模型注入图7a后得到的JND噪声污染图；
图7d为噪声通过Wu2017JND计算模型注入图7a后得到的JND噪声污染图；
图7e为噪声通过利用本发明方法对图7a进行处理后得到的恰可察觉失真阈值图注入图7a后得到的JND噪声污染图；
图8为Lena图像；
图9a为图8中区域A的放大图；
图9b为噪声通过Liu2010JND计算模型注入图9a后得到的JND噪声污染图；
图9c为噪声通过Wu2013JND计算模型注入图9a后得到的JND噪声污染图；
图9d为噪声通过Wu2017JND计算模型注入图9a后得到的JND噪声污染图；
图9e为噪声通过利用本发明方法对图9a进行处理后得到的恰可察觉失真阈值图注入图9a后得到的JND噪声污染图；
图10a为图8中区域B的放大图；
图10b为噪声通过Liu2010JND计算模型注入图10a后得到的JND噪声污染图；
图10c为噪声通过Wu2013JND计算模型注入图10a后得到的JND噪声污染图；
图10d为噪声通过Wu2017JND计算模型对图10a进行处理后得到的JND噪声污染图；
图10e为噪声通过利用本发明方法对图10a进行处理后得到的恰可察觉失真阈值图注入图10a后得到的JND噪声污染图；
图11a为图8中区域C的放大图；
图11b为噪声通过Liu2010JND计算模型注入图11a后得到的JND噪声污染图；
图11c为噪声通过Wu2013JND计算模型注入图11a后得到的JND噪声污染图；
图11d为噪声通过Wu2017JND计算模型注入图11a后得到的JND噪声污染图；
图11e为噪声通过利用本发明方法对图11a进行处理后得到的恰可察觉失真阈值图注入图11a后得到的JND噪声污染图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法，其总体实现框图如图1所示，其包括以下步骤：
步骤一：将待处理的自然图像记为Ses；然后以尺寸大小为8×8像素的滑动窗口，以滑动步长为1像素在Ses中滑动，将Ses划分成多个尺寸大小为8×8像素的重叠的图像块；其中，Ses的宽度为W且高度为H。
步骤二：训练一个过完备字典，记为D；其中，D的维数为64×256。
在此具体实施例中，步骤二中D的获取过程为：
a1、随机选取Num1幅不同内容的高清自然图像构成训练集；其中，Num1≥50；实验过程中，为了保证训练的过完备字典更具有普适性，随机选取90(Num1＝90)幅不同内容的高清自然图像构成训练集，可以直接从图像数据库中选取，高清自然图像要求清晰度在720p以上。
a2、将训练集中的每幅高清自然图像划分成个尺寸大小为8×8像素的互不重叠的图像块；然后计算训练集中的每幅高清自然图像中的每个图像块中的所有像素点的像素值的平均方差，将训练集中的第n1幅高清自然图像中的第i个图像块中的所有像素点的像素值的平均方差记为vern1,i；接着对训练集中的每幅高清自然图像中的所有图像块对应的平均方差按从大到小的顺序进行排列，并从训练集中的每幅高清自然图像中选取出前Num2个平均方差对应的图像块；再将从训练集中的所有高清自然图像中选取出的Num1×Num2个图像块构成训练矩阵，记为Z，其中，符号为向下取整运算符号，n1和i均为正整数，且初始值均为1，1≤n1≤Num1，Num2≥1000，符号“[]”为向量或矩阵表示符号，Z1表示从训练集中的第1幅高清自然图像中选取出的Num2个图像块构成的维数为8Num2×8的矩阵，即为从训练集中的第1幅高清自然图像中选取出的Num2个图像块在列向上排列构成，Z2表示从训练集中的第2幅高清自然图像中选取出的Num2个图像块构成的维数为8Num2×8的矩阵，即为从训练集中的第2幅高清自然图像中选取出的Num2个图像块在列向上排列构成，表示从训练集中的第Num1幅高清自然图像中选取出的Num2个图像块构成的维数为8Num2×8的矩阵，即为从训练集中的第Num1幅高清自然图像中选取出的Num2个图像块在列向上排列构成，Z的维数为8Num2×8Num1。
a3、将Z代入现有的K-VSD算法中进行字典训练，得到过完备字典D。
步骤三：将Ses中的所有图像块和D代入现有的OMP(正交匹配追踪)算法中，得到Ses的稀疏系数矩阵，记为X；其中，X的维数为W×H。
步骤四：获取Ses的结构层图像和非结构层图像，对应记为Ses-si和Ses-nosi，将Ses-si中坐标位置为(u,v)的像素点的像素值记为Ses-si(u,v)，Ses-si(u,v)＝X(u,v)；将Ses-nosi中坐标位置为(u,v)的像素点的像素值记为Ses-nosi(u,v)，Ses-nosi(u,v)＝Ses(u,v)-Ses-si(u,v)；其中，1≤u≤W,1≤v≤H，X(u,v)表示X中下标为(u,v)的系数，Ses(u,v)表示Ses中坐标位置为(u,v)的像素点的像素值。
图2a给出了一幅自然图像，图2b给出了图2a所示的自然图像的结构层图像，图2c给出了图2a所示的自然图像的非结构层图像。
步骤五：利用现有的亮度适应性方程和现有的对比度掩模方程计算得到Ses-si的恰可察觉失真阈值图，记为JNDsi；并利用结构不确定度和现有的亮度适应性方程计算得到Ses-nosi的恰可察觉失真阈值图，记为JNDnosi；再利用现有的NAMM融合模型将JNDsi和JNDnosi相互融合，得到Ses的恰可察觉失真阈值图。
在此具体实施例中，步骤五中的JNDnosi的获取过程为：
b1、将Ses-nosi中当前待处理的像素点定义为当前像素点。
b2、设当前像素点在Ses-nosi中的坐标位置为(u,v)。
b3、计算当前像素点的灰度值，记为g(u,v)；并计算当前像素点的3×3像素邻域内的每个邻域像素点的灰度值，将当前像素点的3×3像素邻域内的第p个邻域像素点的灰度值记为g(u,v,p)；其中，p为正整数，p的初始值为1，1≤p≤P，P表示当前像素点的3×3像素邻域内的邻域像素点的总个数，P＝2,5,8。
b4、采用亮度适应性方程，计算当前像素点的亮度适应性值，记为LA(u,v)，然后计算当前像素点的空域分布特性，记为LBP(u,v)，再计算LBP(u,v)的概率分布特性，记为Γ(u,v)；其中，B(u,v)表示当前像素点的3×3像素邻域的背景亮度，g(u,v,p)表示当前像素点的3×3像素邻域内的第p个邻域像素点的灰度值，J()表示符号状态函数，
符号“||”为取绝对值符号，g(u,v,p-1)表示当前像素点的3×3像素邻域内的第p-1个邻域像素点的灰度值。
b5、将Ses-nosi中下一个待处理的像素点作为当前像素点，然后返回步骤b2继续执行，直至Ses-nosi中的所有像素点处理完毕，得到Ses-nosi中的每个像素点的空域分布特性的概率分布特性。
b6、根据Ses-nosi中的每个像素点的3×3像素邻域内的各个邻域像素点的空域分布特性的概率分布特性，并利用香浓信息熵，计算Ses-nosi中的每个像素点的结构不确定度，将Ses-nosi中坐标位置为(u,v)的像素点的结构不确定度记为H(u,v)，然后对Ses-nosi中的每个像素点的结构不确定度进行非线性转换，得到Ses-nosi中的每个像素点的结构不确定度的非线性转换值，将H(u,v)的非线性转换值记为H'(u,v)，其中，Γ(u,v,p)表示Ses-nosi中坐标位置为(u,v)的像素点的3×3像素邻域内的第p个邻域像素点的空域分布特性的概率分布特性，k1、k2、k3均为用于决定非线性转换函数N()形状的三个固定参数，取k1＝2.67、k2＝3.22、k3＝1.19。
b7、计算Ses-nosi中的每个像素点的亮度对比度，将Ses-nosi中坐标位置为(u,v)的像素点的亮度对比度记为f(u,v)，其中，α和β均为常数，均取正整数，在本实施例中取α＝16、β＝26，E(u,v)表示Ses-nosi中坐标位置为(u,v)的像素点的边缘亮度高度，E(u,v)＝max(Gradk(Ses-nosi(u,v)))，max()为取最大值函数，Gradk()表示第k个方向的滤波器，k＝1,2,3,4，第1个方向为水平方向，第2个方向为垂直方向，第3个方向为主对角线方向，第4个方向为副对角线方向。
b8、根据Ses-nosi中的每个像素点的结构不确定度的非线性转换值和亮度对比度，计算Ses-nosi中的每个像素点的恰可察觉失真阈值，将Ses-nosi中坐标位置为(u,v)的像素点的恰可察觉失真阈值记为JNDnosi(u,v)，JNDnosi(u,v)＝f(u,v)×τ(u,v)，再根据Ses-nosi中的所有像素点的恰可察觉失真阈值，得到JNDnosi；其中，τ(u,v)表示f(u,v)与H'(u,v)的交互值，k'为比例参数，在本实施例中取k'＝2.03，exp()表示以自然基数e为底的指数函数，δ为f(u,v)与H'(u,v)的交互衰减系数，在本实施例中取δ＝0.19。
图3a给出了图2b所示的结构层图像的恰可察觉失真阈值图，图3b给出了图2c所示的非结构层图像的恰可察觉失真阈值图，图3c给出了融合图3a所示的恰可察觉失真阈值图和图3b所示的恰可察觉失真阈值图得到的恰可察觉失真阈值图。
为进一步说明本发明方法的有效性和可行性，对本发明方法进行试验。
以下就本发明方法对宁波大学建立的数据图像库中随机抽取的两幅自然图像(Indian图像、Lena图像)进行验证，同时选取三个不同年份的JND计算模型(Liu2010、Wu2013和Wu2017)与本发明方法进行对比。
为了进一步验证本发明方法的性能，从每一副自然图像中分别截取三个具有代表性的局部区域进行更加清晰的实验对比。
图4给出了Indian图像及在该图像中圈出的三个比较明显、容易辨别的区域A、B、C，分别通过四个不同的JND计算模型向Indian图像中注入等量的噪声。图5a给出了图4中区域A的放大图，图5b给出了噪声通过Liu2010JND计算模型注入图5a后得到的JND噪声污染图，图5c给出了噪声通过Wu2013JND计算模型注入图5a后得到的JND噪声污染图，图5d给出了噪声通过Wu2017JND计算模型注入图5a后得到的JND噪声污染图，图5e给出了噪声通过利用本发明方法对图5a进行处理后得到的恰可察觉失真阈值图注入图5a后得到的JND噪声污染图。图6a给出了图4中区域B的放大图，图6b给出了噪声通过Liu2010JND计算模型注入图6a后得到的JND噪声污染图，图6c给出了噪声通过Wu2013JND计算模型注入图6a后得到的JND噪声污染图，图6d给出了噪声通过Wu2017JND计算模型注入图6a后得到的JND噪声污染图，图6e给出了噪声通过利用本发明方法对图6a进行处理后得到的恰可察觉失真阈值图注入图6a后得到的JND噪声污染图。图7a给出了图4中区域C的放大图，图7b给出了噪声通过Liu2010JND计算模型注入图7a后得到的JND噪声污染图，图7c给出了噪声通过Wu2013JND计算模型注入图7a后得到的JND噪声污染图，图7d给出了噪声通过Wu2017JND计算模型注入图7a后得到的JND噪声污染图，图7e给出了噪声通过利用本发明方法对图7a进行处理后得到的恰可察觉失真阈值图注入图7a后得到的JND噪声污染图。
图8给出了Lena图像及在该图像中圈出的三个比较明显、容易辨别的区域A、B、C。图9a给出了图8中区域A的放大图，图9b给出了噪声通过Liu2010JND计算模型注入图9a后得到的JND噪声污染图，图9c给出了噪声通过Wu2013JND计算模型注入图9a后得到的JND噪声污染图，图9d给出了噪声通过Wu2017JND计算模型注入图9a后得到的JND噪声污染图，图9e给出了噪声通过利用本发明方法对图9a进行处理后得到的恰可察觉失真阈值图注入图9a后得到的JND噪声污染图。图10a给出了图8中区域B的放大图，图10b给出了噪声通过Liu2010JND计算模型注入图10a后得到的JND噪声污染图，图10c给出了噪声通过Wu2013JND计算模型注入图10a后得到的JND噪声污染图，图10d给出了利用Wu2017JND计算模型对图10a进行处理后得到的JND噪声污染图，图10e给出了噪声通过利用本发明方法对图10a进行处理后得到的恰可察觉失真阈值图注入图10a后得到的JND噪声污染图。图11a给出了图8中区域C的放大图，图11b给出了噪声通过Liu2010JND计算模型注入图11a后得到的JND噪声污染图，图11c给出了噪声通过Wu2013JND计算模型注入图11a后得到的JND噪声污染图，图11d给出了噪声通过Wu2017JND计算模型注入图11a后得到的JND噪声污染图，图11e给出了噪声通过利用本发明方法对图11a进行处理后得到的恰可察觉失真阈值图注入图11a后得到的JND噪声污染图。
观察图5a至图5e，可以发现图5b、图5c、图5d较原图即图5a，皆已出现了较严重的可视失真。图5a所示的区域A为图4的边缘区域，人类视觉对其较为敏感，失真很容易察觉，因此利用本发明方法时在此处没有注入过量噪声，如图5e所示，没有造成明显的失真效果。故利用本发明方法比其他三个模型的噪声分配更为合理。
观察图6a至图6e，可以发现图6e的失真较不明显，而其他三个模型在该区域注入的噪声稍有过量，如图6b、图6c、图6d所示皆有轻微失真。观察图7a至图7e，发现也是如此。
从图9a至图9e、图10a至图10e、图11a至图11e中也可以看出，利用本发明方法后得到的JND噪声污染图因为考虑到了结构层和非结构层的JND阈值差异，因此能够更好的分配噪声，使JND噪声污染图的失真难以发现。
综上所述，利用本发明方法可在平滑的边缘区域分配少量的噪声，在结构规则的纹理区域分配适量的噪声，在结构不规则的纹理区域分配较多的噪声，从而达到了噪声的合理分配。
Claims (3)
1.一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法，其特征在于包括以下步骤：
步骤一：将待处理的自然图像记为Ses；然后以尺寸大小为8×8像素的滑动窗口，以滑动步长为1像素在Ses中滑动，将Ses划分成多个尺寸大小为8×8像素的重叠的图像块；其中，Ses的宽度为W且高度为H；
步骤二：训练一个过完备字典，记为D；其中，D的维数为64×256；
步骤三：将Ses中的所有图像块和D代入OMP算法中，得到Ses的稀疏系数矩阵，记为X；其中，X的维数为W×H；
步骤四：获取Ses的结构层图像和非结构层图像，对应记为Ses-si和Ses-nosi，将Ses-si中坐标位置为(u,v)的像素点的像素值记为Ses-si(u,v)，Ses-si(u,v)＝X(u,v)；将Ses-nosi中坐标位置为(u,v)的像素点的像素值记为Ses-nosi(u,v)，Ses-nosi(u,v)＝Ses(u,v)-Ses-si(u,v)；其中，1≤u≤W,1≤v≤H，X(u,v)表示X中下标为(u,v)的系数，Ses(u,v)表示Ses中坐标位置为(u,v)的像素点的像素值；
步骤五：利用亮度适应性方程和对比度掩模方程计算得到Ses-si的恰可察觉失真阈值图，记为JNDsi；并利用结构不确定度和亮度适应性方程计算得到Ses-nosi的恰可察觉失真阈值图，记为JNDnosi；再利用NAMM融合模型将JNDsi和JNDnosi相互融合，得到Ses的恰可察觉失真阈值图。
2.根据权利要求1所述的一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法，其特征在于所述的步骤二中D的获取过程为：
a1、随机选取Num1幅不同内容的高清自然图像构成训练集；其中，Num1≥50；
a2、将训练集中的每幅高清自然图像划分成个尺寸大小为8×8像素的互不重叠的图像块；然后计算训练集中的每幅高清自然图像中的每个图像块中的所有像素点的像素值的平均方差，将训练集中的第n1幅高清自然图像中的第i个图像块中的所有像素点的像素值的平均方差记为接着对训练集中的每幅高清自然图像中的所有图像块对应的平均方差按从大到小的顺序进行排列，并从训练集中的每幅高清自然图像中选取出前Num2个平均方差对应的图像块；再将从训练集中的所有高清自然图像中选取出的Num1×Num2个图像块构成训练矩阵，记为Z，其中，符号为向下取整运算符号，n1和i均为正整数，且初始值均为1，1≤n1≤Num1，Num2≥1000，符号“[]”为向量或矩阵表示符号，Z1表示从训练集中的第1幅高清自然图像中选取出的Num2个图像块构成的维数为8Num2×8的矩阵，Z2表示从训练集中的第2幅高清自然图像中选取出的Num2个图像块构成的维数为8Num2×8的矩阵，表示从训练集中的第Num1幅高清自然图像中选取出的Num2个图像块构成的维数为8Num2×8的矩阵，Z的维数为8Num2×8Num1；
a3、将Z代入K-VSD算法中进行字典训练，得到过完备字典D。
3.根据权利要求1或2所述的一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法，其特征在于所述的步骤五中的JNDnosi的获取过程为：
b1、将Ses-nosi中当前待处理的像素点定义为当前像素点；
b2、设当前像素点在Ses-nosi中的坐标位置为(u,v)；
b3、计算当前像素点的灰度值，记为g(u,v)；并计算当前像素点的3×3像素邻域内的每个邻域像素点的灰度值，将当前像素点的3×3像素邻域内的第p个邻域像素点的灰度值记为g(u,v,p)；其中，p为正整数，p的初始值为1，1≤p≤P，P表示当前像素点的3×3像素邻域内的邻域像素点的总个数，P＝2,5,8；
b4、采用亮度适应性方程，计算当前像素点的亮度适应性值，记为LA(u,v)，然后计算当前像素点的空域分布特性，记为LBP(u,v)，再计算LBP(u,v)的概率分布特性，记为Γ(u,v)；其中，B(u,v)表示当前像素点的3×3像素邻域的背景亮度，g(u,v,p)表示当前像素点的3×3像素邻域内的第p个邻域像素点的灰度值，J()表示符号状态函数，
符号“”为取绝对值符号，g(u,v,p-1)表示当前像素点的3×3像素邻域内的第p-1个邻域像素点的灰度值；
b5、将Ses-nosi中下一个待处理的像素点作为当前像素点，然后返回步骤b2继续执行，直至Ses-nosi中的所有像素点处理完毕，得到Ses-nosi中的每个像素点的空域分布特性的概率分布特性；
b6、根据Ses-nosi中的每个像素点的3×3像素邻域内的各个邻域像素点的空域分布特性的概率分布特性，并利用香浓信息熵，计算Ses-nosi中的每个像素点的结构不确定度，将Ses-nosi中坐标位置为(u,v)的像素点的结构不确定度记为H(u,v)，然后对Ses-nosi中的每个像素点的结构不确定度进行非线性转换，得到Ses-nosi中的每个像素点的结构不确定度的非线性转换值，将H(u,v)的非线性转换值记为H'(u,v)；其中，Γ(u,v,p)表示Ses-nosi中坐标位置为(u,v)的像素点的3×3像素邻域内的第p个邻域像素点的空域分布特性的概率分布特性；
b7、计算Ses-nosi中的每个像素点的亮度对比度，将Ses-nosi中坐标位置为(u,v)的像素点的亮度对比度记为f(u,v)，其中，α和β均为常数，均取正整数，E(u,v)表示Ses-nosi中坐标位置为(u,v)的像素点的边缘亮度高度，E(u,v)＝max(Gradk(Ses-nosi(u,v)))，max()为取最大值函数，Gradk()表示第k个方向的滤波器，k＝1,2,3,4，第1个方向为水平方向，第2个方向为垂直方向，第3个方向为主对角线方向，第4个方向为副对角线方向；
b8、根据Ses-nosi中的每个像素点的结构不确定度的非线性转换值和亮度对比度，计算Ses-nosi中的每个像素点的恰可察觉失真阈值，将Ses-nosi中坐标位置为(u,v)的像素点的恰可察觉失真阈值记为JNDnosi(u,v)，JNDnosi(u,v)＝f(u,v)×τ(u,v)，再根据Ses-nosi中的所有像素点的恰可察觉失真阈值，得到JNDnosi；其中，τ(u,v)表示f(u,v)与H'(u,v)的交互值，k'为比例参数，exp()表示以自然基数e为底的指数函数，δ为f(u,v)与H'(u,v)的交互衰减系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910034979.7A CN109872302A (zh) | 2019-01-15 | 2019-01-15 | 一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910034979.7A CN109872302A (zh) | 2019-01-15 | 2019-01-15 | 一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109872302A true CN109872302A (zh) | 2019-06-11 |
Family
ID=66917630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910034979.7A Pending CN109872302A (zh) | 2019-01-15 | 2019-01-15 | 一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109872302A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192083A (zh) * | 2021-05-07 | 2021-07-30 | 宁波大学 | 一种基于纹理掩蔽效应的图像恰可察觉失真阈值估计方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093433A (zh) * | 2013-01-25 | 2013-05-08 | 西安电子科技大学 | 基于区域划分和字典学习的自然图像去噪方法 |
| CN103596006A (zh) * | 2013-12-04 | 2014-02-19 | 西安电子科技大学 | 基于视觉冗余度量的图像压缩方法 |
| CN105321175A (zh) * | 2015-09-23 | 2016-02-10 | 宁波大学 | 一种基于结构纹理稀疏表示的立体图像质量客观评价方法 |
| CN106251361A (zh) * | 2016-08-30 | 2016-12-21 | 兰州交通大学 | 一种钢轨表面缺陷图像自适应分割方法 |
| CN108965879A (zh) * | 2018-08-31 | 2018-12-07 | 杭州电子科技大学 | 一种空时域自适应恰可察觉失真的度量方法 |
-
2019
- 2019-01-15 CN CN201910034979.7A patent/CN109872302A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093433A (zh) * | 2013-01-25 | 2013-05-08 | 西安电子科技大学 | 基于区域划分和字典学习的自然图像去噪方法 |
| CN103596006A (zh) * | 2013-12-04 | 2014-02-19 | 西安电子科技大学 | 基于视觉冗余度量的图像压缩方法 |
| CN105321175A (zh) * | 2015-09-23 | 2016-02-10 | 宁波大学 | 一种基于结构纹理稀疏表示的立体图像质量客观评价方法 |
| CN106251361A (zh) * | 2016-08-30 | 2016-12-21 | 兰州交通大学 | 一种钢轨表面缺陷图像自适应分割方法 |
| CN108965879A (zh) * | 2018-08-31 | 2018-12-07 | 杭州电子科技大学 | 一种空时域自适应恰可察觉失真的度量方法 |
Non-Patent Citations (5)
| Title |
|---|
| "基于人类视觉系统的图像信息感知和图像质量评价": ""基于人类视觉系统的图像信息感知和图像质量评价"", 《中国博士学位论文全文数据库 信息科技辑》 * |
| ANMIN LIU 等: ""Just Noticeable Difference for Images with Decomposition Model for Separating Edge and Textured Regions"", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 * |
| JINJIAN WU 等: ""Just Noticeable Difference Estimation for Images With Free-Energy Principle"", 《IEEE TRANSACTIONS ON MULTIMEDIA》 * |
| JINJIAN WU 等: ""Pattern Masking Estimation in Image With Structural Uncertainty"", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| 郑明魁 等: ""基于纹理分解的变换域JND模型及图像编码方法"", 《通信学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192083A (zh) * | 2021-05-07 | 2021-07-30 | 宁波大学 | 一种基于纹理掩蔽效应的图像恰可察觉失真阈值估计方法 |
| CN113192083B (zh) * | 2021-05-07 | 2023-06-06 | 宁波大学 | 一种基于纹理掩蔽效应的图像恰可察觉失真阈值估计方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102682446B (zh) | 使用自适应联合双边滤波器生成稠密深度图的设备和方法 | |
| CN104581431B (zh) | 一种视频认证方法及装置 | |
| CN102333233B (zh) | 一种基于视觉感知的立体图像质量客观评价方法 | |
| Simone et al. | Measuring perceptual contrast in digital images | |
| CN104036493B (zh) | 一种基于多重分形谱的无参考图像质量评价方法 | |
| CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
| CN106127688B (zh) | 一种超分辨率图像重建方法及其系统 | |
| CN102750695A (zh) | 一种基于机器学习的立体图像质量客观评价方法 | |
| CN103747271B (zh) | 一种基于混合感知哈希的视频篡改检测方法和装置 | |
| CN104361593A (zh) | 一种基于hvs和四元数的彩色图像质量评价方法 | |
| Yue et al. | Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry | |
| CN102595185A (zh) | 一种立体图像质量客观评价方法 | |
| Jiang et al. | Toward top-down just noticeable difference estimation of natural images | |
| CN104240248B (zh) | 一种无参考立体图像质量客观评价方法 | |
| CN108109147A (zh) | 一种模糊图像的无参考质量评价方法 | |
| CN104036501A (zh) | 一种基于稀疏表示的立体图像质量客观评价方法 | |
| Roy et al. | Lacunarity analyses of multifractal and natural grayscale patterns | |
| CN104408716A (zh) | 一种基于视觉保真度的立体图像质量客观评价方法 | |
| CN106548472A (zh) | 基于沃尔什哈达玛变换的无参考图像质量评价方法 | |
| CN106897986A (zh) | 一种基于多尺度分析的可见光图像与远红外图像融合方法 | |
| CN106650615A (zh) | 一种图像处理方法及终端 | |
| CN108805825A (zh) | 一种重定位图像质量评价方法 | |
| CN105898279B (zh) | 一种立体图像质量客观评价方法 | |
| CN111641822A (zh) | 一种重定位立体图像质量评价方法 | |
| CN109872302A (zh) | 一种基于稀疏表示的自然图像恰可察觉失真阈值估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |