CN112437302A - 屏幕内容图像的jnd预测方法、装置、计算机设备及存储介质 - Google Patents

屏幕内容图像的jnd预测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112437302A
CN112437302A CN202011261547.9A CN202011261547A CN112437302A CN 112437302 A CN112437302 A CN 112437302A CN 202011261547 A CN202011261547 A CN 202011261547A CN 112437302 A CN112437302 A CN 112437302A
Authority
CN
China
Prior art keywords
jnd
image
threshold
calculating
predictable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011261547.9A
Other languages
English (en)
Other versions
CN112437302B (zh
Inventor
王妙辉
刘雪芹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011261547.9A priority Critical patent/CN112437302B/zh
Publication of CN112437302A publication Critical patent/CN112437302A/zh
Application granted granted Critical
Publication of CN112437302B publication Critical patent/CN112437302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种屏幕内容图像的JND预测方法、装置、计算机设备及存储介质，其中该方法包括：计算图像的谱残差，并通过提取衡量像素的有序性特征得到图像中每个像素的不确定度；根据不确定度将图像划分为可预测内容部分和不可预测内容部分；通过计算对比度掩蔽度量值得到不可预测内容部分的JND阈值；通过计算亮度对比度掩蔽及模糊掩蔽度量值得到可预测部分的JND阈值；将不可预测内容部分的JND阈值和可预测部分的JND阈值进行非线性叠加，并根据基于方向的权重因子对不同方向的边缘像素赋予不同的权重得到所述图像最终的JND阈值。本发明利用人眼视觉系统对不同方向刺激的敏感性进行调整，可用于获得整张图像恰可察觉失真阈值。

Description

屏幕内容图像的JND预测方法、装置、计算机设备及存储介质
技术领域
本发明涉及图像视频编码技术领域，特别是涉及一种屏幕内容图像的JND预测方法、装置、计算机设备及存储介质。
背景技术
随着互联网技术和多媒体信息技术的快速发展，产生了越来越多的屏幕图像/视频数据，给数据的压缩、传输和存储带来巨大压力。为了进一步提高编码效率，利用人眼视觉特性来去除图像/视频中的视觉冗余是当前学术界和工业界的研究热点。基于生理学和心理学的研究表明，人眼视觉系统在对图像感知过程中存在视觉掩蔽效应，即当图像像素值的变化小于一定的阈值时，人眼感知不到任何像素值的变化，该阈值就是恰可察觉失真(JustNoticeable Difference，简称JND)阈值。JND可以有效地表征人眼视觉冗余，并且已被广泛应用于基于视觉感知的图像/视频处理算法和系统中。
目前，JND模型主要分为两类：像素域JND模型和变换域JND模型。传统的像素域JND模型主要考虑亮度自适应掩蔽和对比度掩蔽，亮度自适应掩蔽指在不同的亮度背景下，物体变化的可见性阈值会不一样，对比度掩蔽是指一个物体在另一个物体存在的情况下，这个物体变化的可见性阈值会降低。亮度自适应掩蔽得到的度量值和对比度掩蔽得到的度量值通过非线性叠加模型得到最终的JND值。
在现有的JND模型中，绝大多数都是针对自然图像场景，少数专门考虑屏幕内容图像的特点。相比于自然图像，屏幕内容图像有更明显的锐利边缘和细线，并且这些边缘和细线往往更容易吸引人的注意。同时，人眼对不同方向的边缘的变化有不同的程度的掩蔽，一般情况下，人眼对水平方向和竖直方向的边缘变化的感知能力最强，对于45°和135°方向的边缘变化的感知能力最弱。现有的JND模型中并没有使用基于方向的权重因子专门针对边缘进行精确的调整。此外，图像模糊小于一定程度时也不会被人眼感知到，人眼对图像模糊的掩蔽也应该被考虑进JND模型中。
发明内容
基于此，有必要针对上述技术问题，提供一种屏幕内容图像的JND预测方法、装置、计算机设备及存储介质。
一种屏幕内容图像的JND预测方法，所述方法包括：
获取输入的待预测图像；
计算所述图像的谱残差，并通过提取衡量像素的有序性特征得到所述图像中每个像素的不确定度；
根据所述不确定度将所述图像划分为可预测内容部分和不可预测内容部分；
通过计算对比度掩蔽度量值得到所述不可预测内容部分的JND阈值；
通过计算亮度对比度掩蔽及模糊掩蔽度量值得到所述可预测部分的JND阈值；
将所述不可预测内容部分的JND阈值和所述可预测部分的JND阈值进行非线性叠加，并根据基于方向的权重因子对不同方向的边缘像素赋予不同的权重得到所述图像最终的JND阈值。
在其中一个实施例中，所述计算所述图像的谱残差的步骤包括：
将获取到的图像进行傅里叶变换，并对幅度值取对数值得到LS(u,v)；
将LS(u,v)与h(u,v)进行卷积得到均值滤波结果AS(u,v)；
将LS(u,v)减去AS(u,v)得到谱残差RS(u,v)；
其中，h(u,v)是一个7x7的矩阵。
在其中一个实施例中，所述通过提取衡量像素的有序性特征得到所述图像中每个像素的不确定度的步骤包括：
计算所述图像中以像素点(x,y)为中心的7x7尺寸大小窗口内像素的标准差σI(x,y)；
根据所述标准差σI(x,y)计算像素点的有序性特征m(x,y)及归一化的有序性特征m′(x,y)；
对RS(u,v)进行傅里叶反变换，并将其归一化，然后结合m′(x,y)计算出每个像素的不确定度值。
在其中一个实施例中，所述通过计算对比度掩蔽度量值得到所述不可预测内容部分的JND阈值的步骤包括：
计算所述不可预测内容部分的JND阈值JNDu；
Figure BDA0002774818570000031
其中，G(x,y)表示像素(x,y)的梯度，F1(x,y)表示不可预测内容部分的像素值，
Figure BDA0002774818570000032
表示5x5窗口内的F1(x,y)平均亮度值，a＝0.0003，b＝0.13，p0＝1，p1＝0.6。
在其中一个实施例中，所述将所述通过计算亮度对比度掩蔽及模糊掩蔽度量值得到所述可预测部分的JND阈值JNDp的步骤包括：
计算亮度对比度掩蔽阈值TLC(x,y)；
Figure BDA0002774818570000033
Figure BDA0002774818570000034
Figure BDA0002774818570000035
其中，F2(x,y)表示可预测内容部分的像素值，
Figure BDA0002774818570000036
表示5x5窗口内的F2(x,y)平均亮度值，l1，l2，l3控制背景亮度与可见性阈值的关系，分别设置为15，2，2/128，c＝0.0004，d＝0.15，f1＝0.5，z1＝0.7，l4＝1，l5＝1，M＝127，p2＝0.6,p3＝1；
计算模糊掩蔽阈值BD(x,y)；
BD(x,y)＝I(x,y)-GF(x,y)
Figure BDA0002774818570000037
Figure BDA0002774818570000038
其中，GF(x,y)表示高斯平滑后的结果，g(x,y)为高斯方程，σg为其标准差，j＝0.9961,h＝-0.0059；
将BD(x,y)和TLC(x,y)进行非线性叠加得到JNDp；
Figure BDA0002774818570000041
其中，z2＝0.6，f2＝0.6，p4＝1。
在其中一个实施例中，所述将所述不可预测内容部分的JND阈值和所述可预测部分的JND阈值进行非线性叠加，并根据基于方向的权重因子对不同方向的边缘像素赋予不同的权重得到所述图像最终的JND阈值的步骤包括：
对所述JNDu和JNDp进行非线性组合，并结合权重因子o(x,y)对不同方向的边缘像素赋予不同的权重，得到输入图片最终的JND；
Figure BDA0002774818570000042
其中，k＝0.3，f3＝0.6，z3＝0.2，p5＝1。
在其中一个实施例中，所述权重因子o(x,y)为：
Figure BDA0002774818570000043
其中，
Figure BDA0002774818570000044
一种屏幕内容图像的JND预测装置，所述装置包括：
图像获取模块，所述图像获取模块用于获取输入的待预测图像；
第一计算模块，所述第一计算模块用于计算所述图像的谱残差，并通过提取衡量像素的有序性特征得到所述图像中每个像素的不确定度；
划分模块，所述划分模块用于根据所述不确定度将所述图像划分为可预测内容部分和不可预测内容部分；
第二计算模块，所述第二计算模块用于通过计算对比度掩蔽度量值得到所述不可预测内容部分的JND阈值；
第三计算模块，所述第三计算模块用于通过计算亮度对比度掩蔽及模糊掩蔽度量值得到所述可预测部分的JND阈值；
最终预测模块，所述最终预测模块用于将所述不可预测内容部分的JND阈值和所述可预测部分的JND阈值进行非线性叠加，并根据基于方向的权重因子对不同方向的边缘像素赋予不同的权重得到所述图像最终的JND阈值。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项方法的步骤。
上述屏幕内容图像的JND预测方法、装置、计算机设备及存储介质，根据像素不确定度将图像分成不可预测部分和可预测部分，对不同的部分考虑不同的掩蔽效应，并在可预测部分中考虑模糊掩蔽，进一步去除视觉冗余，最后结合人眼视觉特性，对不同方向的边缘的阈值进行调整，使得更多的噪声被加在人眼不容易发现的地方，人眼容易关注到的地方添加更少的噪声。
附图说明
图1为一个实施例中屏幕内容图像的JND预测方法的流程示意图；
图2为一个实施例中屏幕内容图像的JND预测方法的整体构思示意图；
图3为一个实施例中屏幕内容图像的JND预测装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种屏幕内容图像的JND预测方法，该方法包括：
步骤102，获取输入的待预测图像；
步骤104，计算图像的谱残差，并通过提取衡量像素的有序性特征得到图像中每个像素的不确定度；
步骤106，根据不确定度将图像划分为可预测内容部分和不可预测内容部分；
步骤108，通过计算对比度掩蔽度量值得到不可预测内容部分的JND阈值；
步骤110，通过计算亮度对比度掩蔽及模糊掩蔽度量值得到可预测部分的JND阈值；
步骤112，将不可预测内容部分的JND阈值和可预测部分的JND阈值进行非线性叠加，并根据基于方向的权重因子对不同方向的边缘像素赋予不同的权重得到图像最终的JND阈值。
针对屏幕内容图像的特性，为了进一步去除人眼的视觉冗余，在本实施例中提出一种屏幕内容图像的JND预测方法。该方法的整体构思参考图2所示，至少包括如下几个发明点：
首先，通过提出一个有序性特征可以有效地衡量像素的有序性。其次，通过提出一种基于谱残差的不确定度估计方法，可用于对输入图像进行内容分类。再次，通过提出一个特征，可用于表达人眼视觉系统对图像模糊的掩蔽能力。通过提出一种符合人眼视觉的权重因子预测方法，可用于表达人眼视觉系统对不同方向的边缘的敏感性。最后，通过提出组合不同类型的内容所对应的视觉阈值，并利用人眼视觉系统对不同方向刺激的敏感性进一步调整，可用于获得整张图像恰可察觉失真阈值。该方法的具体实现步骤如下：
第一步，获取输入的待预测图像数据，然后计算该图像的谱残差。在一个具体的实施例中，计算图像的谱残差的步骤包括：
将获取到的图像进行傅里叶变换，并对幅度值取对数值得到LS(u,v)；将LS(u,v)与h(u,v)进行卷积得到均值滤波结果AS(u,v)；将LS(u,v)减去AS(u,v)得到谱残差RS(u,v)；其中，h(u,v)是一个7x7的矩阵。
具体地，对于一张给定的屏幕内容图像I(x,y)，在本实施例中设计了一个基于谱残差的内容不确定度估计方法，用于计算每个图像像素的不确定度。
首先，将输入图片进行傅里叶变换，并对幅度值取对数值，得到LS(u,v)，相位为PS(u,v)。然后，将LS(u,v)与h(u,v)(其中h(u,v)是一个7x7的矩阵)进行卷积，得到均值滤波结果AS(u,v)，再用LS(u,v)减去AS(u,v)得到谱残差RS(u,v)。
Figure BDA0002774818570000071
Figure BDA0002774818570000072
RS(u,v)＝LS(u,v)-AS(u,v)
其中，n＝7，p17＝1。
接着，计算输入图像以像素点(x,y)为中心的7x7尺寸大小的窗口内像素的标准差σI(x,y)，并得到m(x,y)，将m(x,y)的值归一化到[0,1]得到m′(x,y)，m′(x,y)用于衡量像素的规律性，值越大表示越无序，值越小表示越有序。
Figure BDA0002774818570000073
Figure BDA0002774818570000074
其中，m0,m1,m2分别等于0.5，1，0.83；mmin,mmax分别表示图像中m(x,y)的最小值和最大值。
对RS(u,v)进行傅里叶反变换，并将其归一化至[0,1]，然后结合m′计算出每个像素的不确定度值。
Figure BDA0002774818570000075
其中，F-1表示傅里叶反变换，ffmin,ffmax分别表示傅里叶反变换后的最大值和最小值。
第二步，基于像素的不确定度值，将输入图像可以划分为不可预测内容部分F1(x,y)和可预测内容部分F2(x,y)，具体地，
Figure BDA0002774818570000076
第三步，计算不可预测内容部分的JND阈值JNDu；
Figure BDA0002774818570000077
其中，G(x,y)表示像素(x,y)的梯度，F1(x,y)表示不可预测内容部分的像素值，
Figure BDA0002774818570000081
表示5x5窗口内的F1(x,y)平均亮度值，a＝0.0003，b＝0.13，p0＝1，p1＝0.6。
第四步，通过计算亮度对比度掩蔽及模糊掩蔽度量值得到可预测部分的JND阈值JNDp。具体地，先计算亮度对比度掩蔽阈值TLC(x,y)；
Figure BDA0002774818570000082
Figure BDA0002774818570000083
Figure BDA0002774818570000084
其中，F2(x,y)表示可预测内容部分的像素值，
Figure BDA0002774818570000085
表示5x5窗口内的F2(x,y)平均亮度值，l1，l2，l3控制背景亮度与可见性阈值的关系，分别设置为15，2，2/128，c＝0.0004，d＝0.15，f1＝0.5，z1＝0.7，l4＝1，l5＝1，M＝127，p2＝0.6,p3＝1。
然后，计算模糊掩蔽阈值BD(x,y)；
BD(x,y)＝I(x,y)-GF(x,y)
Figure BDA0002774818570000086
Figure BDA0002774818570000087
其中，GF(x,y)表示高斯平滑后的结果，g(x,y)为高斯方程，σg为其标准差，j＝0.9961,h＝-0.0059；
最后，将BD(x,y)和TLC(x,y)进行非线性叠加得到JNDp；
Figure BDA0002774818570000088
其中，z2＝0.6，f2＝0.6，p4＝1。
第五步，针对人眼视觉特性对不同方向的刺激有不同敏感性，敏感度随刺激的方向变化而变化，敏感度从0°到45°依次降低，从45°到90°依次升高，从90°到135°依次降低，从135°到180°依次升高，对水平方向和竖直方向最高的敏感度，对45°和135°方向的敏感度最低，根据人眼的这个特性，本实施例中提出一种基于边缘方向的权重因子预测方法。
Figure BDA0002774818570000091
其中，
Figure BDA0002774818570000092
第六步：对可预测内容类型和不可预测内容类型的可见性阈值JNDp和JNDu行非线性组合，并结合权重因子o(x,y)，对不同方向的边缘像素赋予不同的权重，得到输入图片最终的JND。
Figure BDA0002774818570000093
其中，k＝0.3，f3＝0.6，z3＝0.2，p5＝1。
在上述实施例中，根据像素不确定度将图像分成不可预测部分和可预测部分，对不同的部分考虑不同的掩蔽效应，并在可预测部分中考虑模糊掩蔽，进一步去除视觉冗余，最后结合人眼视觉特性，对不同方向的边缘的阈值进行调整，使得更多的噪声被加在人眼不容易发现的地方，人眼容易关注到的地方添加更少的噪声。
在一个实施例中，如图3所示，提供了一种屏幕内容图像的JND预测装置300，该装置包括：
图像获取模块301，用于获取输入的待预测图像；
第一计算模块302，用于计算所述图像的谱残差，并通过提取衡量像素的有序性特征得到所述图像中每个像素的不确定度；
划分模块303，用于根据所述不确定度将所述图像划分为可预测内容部分和不可预测内容部分；
第二计算模块304，用于通过计算对比度掩蔽度量值得到所述不可预测内容部分的JND阈值；
第三计算模块305，用于通过计算亮度对比度掩蔽及模糊掩蔽度量值得到所述可预测部分的JND阈值；
最终预测模块306，用于将所述不可预测内容部分的JND阈值和所述可预测部分的JND阈值进行非线性叠加，并根据基于方向的权重因子对不同方向的边缘像素赋予不同的权重得到所述图像最终的JND阈值。
在一个实施例中，第一计算模块302还用于：
将获取到的图像进行傅里叶变换，并对幅度值取对数值得到LS(u,v)；
将LS(u,v)与h(u,v)进行卷积得到均值滤波结果AS(u,v)；
将LS(u,v)减去AS(u,v)得到谱残差RS(u,v)；
其中，h(u,v)是一个7x7的矩阵。
在一个实施例中，第一计算模块302还用于：
计算所述图像中以像素点(x,y)为中心的7x7尺寸大小窗口内像素的标准差σI(x,y)；
根据所述标准差σI(x,y)计算像素点的有序性特征m(x,y)及归一化的有序性特征m′(x,y)；
对RS(u,v)进行傅里叶反变换，并将其归一化，然后结合m′(x,y)计算出每个像素的不确定度值。
在一个实施例中，第二计算模块304还用于：
计算所述不可预测内容部分的JND阈值JNDu；
Figure BDA0002774818570000101
其中，G(x,y)表示像素(x,y)的梯度，F1(x,y)表示不可预测内容部分的像素值，
Figure BDA0002774818570000102
表示5x5窗口内的F1(x,y)平均亮度值，a＝0.0003，b＝0.13，p0＝1，p1＝0.6。
在一个实施例中，第三计算模块305还用于：
计算亮度对比度掩蔽阈值TLC(x,y)；
Figure BDA0002774818570000103
Figure BDA0002774818570000104
Figure BDA0002774818570000111
其中，F2(x,y)表示可预测内容部分的像素值，
Figure BDA0002774818570000112
表示5x5窗口内的F2(x,y)平均亮度值，l1，l2，l3控制背景亮度与可见性阈值的关系，分别设置为15，2，2/128，c＝0.0004，d＝0.15，f1＝0.5，z1＝0.7，l4＝1，l5＝1，M＝127，p2＝0.6,p3＝1；
计算模糊掩蔽阈值BD(x,y)；
BD(x,y)＝I(x,y)-GF(x,y)
Figure BDA0002774818570000113
Figure BDA0002774818570000114
其中，GF(x,y)表示高斯平滑后的结果，g(x,y)为高斯方程，σg为其标准差，j＝0.9961,h＝-0.0059；
将BD(x,y)和TLC(x,y)进行非线性叠加得到JNDp；
Figure BDA0002774818570000115
其中，z2＝0.6，f2＝0.6，p4＝1。
在一个实施例中，最终预测模块306还用于：
对所述JNDu和JNDp进行非线性组合，并结合权重因子o(x,y)对不同方向的边缘像素赋予不同的权重，得到输入图片最终的JND；
Figure BDA0002774818570000116
其中，k＝0.3，f3＝0.6，z3＝0.2，p5＝1。
在一个实施例中，权重因子o(x,y)为：
Figure BDA0002774818570000117
其中，
Figure BDA0002774818570000118
关于屏幕内容图像的JND预测装置的具体限定可以参见上文中对于屏幕内容图像的JND预测方法的限定，在此不再赘述。
在一个实施例中，提供了一种计算机设备，其内部结构图可以如图4所示。该计算机设备包括通过装置总线连接的处理器、存储器以及网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作装置、计算机程序和数据库。该内存储器为非易失性存储介质中的操作装置和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种屏幕内容图像的JND预测方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以上各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上各个方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种屏幕内容图像的JND预测方法，所述方法包括：
获取输入的待预测图像；
计算所述图像的谱残差，并通过提取衡量像素的有序性特征得到所述图像中每个像素的不确定度；
根据所述不确定度将所述图像划分为可预测内容部分和不可预测内容部分；
通过计算对比度掩蔽度量值得到所述不可预测内容部分的JND阈值；
通过计算亮度对比度掩蔽及模糊掩蔽度量值得到所述可预测部分的JND阈值；
将所述不可预测内容部分的JND阈值和所述可预测部分的JND阈值进行非线性叠加，并根据基于方向的权重因子对不同方向的边缘像素赋予不同的权重得到所述图像最终的JND阈值。
2.根据权利要求1所述的屏幕内容图像的JND预测方法，其特征在于，所述计算所述图像的谱残差的步骤包括：
将获取到的图像进行傅里叶变换，并对幅度值取对数值得到LS(u,v)；
将LS(u,v)与h(u,v)进行卷积得到均值滤波结果AS(u,v)；
将LS(u,v)减去AS(u,v)得到谱残差RS(u,v)；
其中，h(u,v)是一个7x7的矩阵。
3.根据权利要求2所述的屏幕内容图像的JND预测方法，其特征在于，所述通过提取衡量像素的有序性特征得到所述图像中每个像素的不确定度的步骤包括：
计算所述图像中以像素点(x,y)为中心的7x7尺寸大小窗口内像素的标准差σI(x,y)；
根据所述标准差σI(x,y)计算像素点的有序性特征m(x,y)及归一化的有序性特征m′(x,y)；
对RS(u,v)进行傅里叶反变换，并将其归一化，然后结合m′(x,y)计算出每个像素的不确定度值。
4.根据权利要求3所述的屏幕内容图像的JND预测方法，其特征在于，所述通过计算对比度掩蔽度量值得到所述不可预测内容部分的JND阈值的步骤包括：
计算所述不可预测内容部分的JND阈值JNDu；
Figure FDA0002774818560000021
其中，G(x,y)表示像素(x,y)的梯度，F1(x,y)表示不可预测内容部分的像素值，
Figure FDA0002774818560000022
表示5x5窗口内的F1(x,y)平均亮度值，a＝0.0003，b＝0.13，p0＝1，p1＝0.6。
5.根据权利要求4所述的屏幕内容图像的JND预测方法，其特征在于，所述将所述通过计算亮度对比度掩蔽及模糊掩蔽度量值得到所述可预测部分的JND阈值JNDp的步骤包括：
计算亮度对比度掩蔽阈值TLC(x,y)；
Figure FDA0002774818560000023
Figure FDA0002774818560000024
Figure FDA0002774818560000025
其中，F2(x,y)表示可预测内容部分的像素值，
Figure FDA0002774818560000026
表示5x5窗口内的F2(x,y)平均亮度值，l1，l2，l3控制背景亮度与可见性阈值的关系，分别设置为15，2，2/128；c＝0.0004，d＝0.15，f1＝0.5，z1＝0.7，l4＝1，l5＝1，M＝127，p2＝0.6,p3＝1；
计算模糊掩蔽阈值BD(x,y)；
BD(x,y)＝I(x,y)-GF(x,y)
Figure FDA0002774818560000027
Figure FDA0002774818560000028
其中，GF(x,y)表示高斯平滑后的结果，g(x,y)为高斯方程，σg为其标准差，j＝0.9961,h＝-0.0059；
将BD(x,y)和TLC(x,y)进行非线性叠加得到JNDp；
Figure FDA0002774818560000031
其中，z2＝0.6，f2＝0.6，p4＝1。
6.根据权利要求5所述的屏幕内容图像的JND预测方法，其特征在于，所述将所述不可预测内容部分的JND阈值和所述可预测部分的JND阈值进行非线性叠加，并根据基于方向的权重因子对不同方向的边缘像素赋予不同的权重得到所述图像最终的JND阈值的步骤包括：
对所述JNDu和JNDp进行非线性组合，并结合权重因子o(x,y)对不同方向的边缘像素赋予不同的权重，得到输入图片最终的JND；
Figure FDA0002774818560000032
其中，k＝0.3，f3＝0.6，z3＝0.2，p5＝1。
7.根据权利要求6所述的屏幕内容图像的JND预测方法，其特征在于，所述权重因子o(x,y)为：
Figure FDA0002774818560000033
其中，
Figure FDA0002774818560000034
p7＝1.5,p8＝0,
Figure FDA0002774818560000035
p10＝-0.5,
Figure FDA0002774818560000036
p13＝3.5,
Figure FDA0002774818560000037
p15＝-2.5,p16＝π。
8.一种屏幕内容图像的JND预测装置，其特征在于，所述装置包括：
图像获取模块，所述图像获取模块用于获取输入的待预测图像；
第一计算模块，所述第一计算模块用于计算所述图像的谱残差，并通过提取衡量像素的有序性特征得到所述图像中每个像素的不确定度；
划分模块，所述划分模块用于根据所述不确定度将所述图像划分为可预测内容部分和不可预测内容部分；
第二计算模块，所述第二计算模块用于通过计算对比度掩蔽度量值得到所述不可预测内容部分的JND阈值；
第三计算模块，所述第三计算模块用于通过计算亮度对比度掩蔽及模糊掩蔽度量值得到所述可预测部分的JND阈值；
最终预测模块，所述最终预测模块用于将所述不可预测内容部分的JND阈值和所述可预测部分的JND阈值进行非线性叠加，并根据基于方向的权重因子对不同方向的边缘像素赋予不同的权重得到所述图像最终的JND阈值。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202011261547.9A 2020-11-12 2020-11-12 屏幕内容图像的jnd预测方法、装置、计算机设备及存储介质 Active CN112437302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011261547.9A CN112437302B (zh) 2020-11-12 2020-11-12 屏幕内容图像的jnd预测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011261547.9A CN112437302B (zh) 2020-11-12 2020-11-12 屏幕内容图像的jnd预测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112437302A true CN112437302A (zh) 2021-03-02
CN112437302B CN112437302B (zh) 2022-09-13

Family

ID=74699540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011261547.9A Active CN112437302B (zh) 2020-11-12 2020-11-12 屏幕内容图像的jnd预测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112437302B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110090951A1 (en) * 2009-10-20 2011-04-21 Dongguk University Industry - Academic Cooperation Foundation Method for selecting content adaptive coding mode
CN103475881A (zh) * 2013-09-12 2013-12-25 同济大学 Dct域内基于视觉注意力机制的图像jnd阈值计算方法
CN109525847A (zh) * 2018-11-13 2019-03-26 华侨大学 一种恰可察觉失真模型阈值计算方法
CN110399886A (zh) * 2019-07-15 2019-11-01 华侨大学 一种屏幕图像jnd模型构建方法
CN110796651A (zh) * 2019-10-29 2020-02-14 杭州阜博科技有限公司 图像质量的预测方法及装置、电子设备、存储介质
WO2020118588A1 (zh) * 2018-12-12 2020-06-18 中国科学院深圳先进技术研究院 图像级jnd阈值的预测方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110090951A1 (en) * 2009-10-20 2011-04-21 Dongguk University Industry - Academic Cooperation Foundation Method for selecting content adaptive coding mode
CN103475881A (zh) * 2013-09-12 2013-12-25 同济大学 Dct域内基于视觉注意力机制的图像jnd阈值计算方法
CN109525847A (zh) * 2018-11-13 2019-03-26 华侨大学 一种恰可察觉失真模型阈值计算方法
WO2020118588A1 (zh) * 2018-12-12 2020-06-18 中国科学院深圳先进技术研究院 图像级jnd阈值的预测方法、装置、设备及存储介质
CN110399886A (zh) * 2019-07-15 2019-11-01 华侨大学 一种屏幕图像jnd模型构建方法
CN110796651A (zh) * 2019-10-29 2020-02-14 杭州阜博科技有限公司 图像质量的预测方法及装置、电子设备、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XUEQIN LIU 等: "A Novel Edge-pattern-based Just Noticeable Difference Model for Screen Content Images", 《2020 IEEE 5TH INTERNATIONAL CONFERENCE ON SIGNAL AND IMAGE PROCESSING (ICSIP)》 *
曾志鹏: "JND模型及其在HEVC感知视频编码的应用", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Also Published As

Publication number Publication date
CN112437302B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN108122234B (zh) 卷积神经网络训练及视频处理方法、装置和电子设备
CN110766639B (zh) 图像增强方法、装置、移动设备及计算机可读存储介质
CN107392975B (zh) 图像自适应多尺度分块压缩感知方法、电子设备
WO2014070489A1 (en) Recursive conditional means image denoising
WO2017185772A1 (zh) 一种视频图像增强的方法、装置和计算机存储介质
Maurya et al. Contrast and brightness balance in image enhancement using Cuckoo Search-optimized image fusion
WO2019091196A1 (zh) 图像处理的方法和装置
CN111986116B (zh) 视频降噪方法和装置、电子设备、计算机可读存储介质
CN112950497A (zh) 图像处理方法、装置、电子设备及存储介质
CN111539895B (zh) 一种视频去噪方法、装置、移动终端和存储介质
CN112419270A (zh) 元学习下的无参考图像质量评价方法、装置及计算机设备
CN110689478B (zh) 图像风格化处理方法、装置、电子设备及可读介质
Banić et al. Puma: A high-quality retinex-based tone mapping operator
CN110517201B (zh) 循环保边平滑滤波的方法、装置和电子设备
CN110689496B (zh) 降噪模型的确定方法、装置、电子设备和计算机存储介质
CN115661008A (zh) 一种图像增强处理方法、装置、设备及介质
CN109447935B (zh) 红外图像处理方法、装置、计算机设备和可读存储介质
CN111415317B (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
CN112437302B (zh) 屏幕内容图像的jnd预测方法、装置、计算机设备及存储介质
CN112435188B (zh) 基于方向权重的jnd预测方法、装置、计算机设备及存储介质
CN112334942A (zh) 图像处理方法和装置
CN113422956B (zh) 一种图像编码方法、装置、电子设备及存储介质
US9686449B1 (en) Methods and systems for detection of blur artifact in digital video due to high quantization
CN113438386B (zh) 一种应用于视频处理的动静判定方法及装置
CN114187639A (zh) 人脸关键点滤波方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant