CN110062236B - 基于空时域恰可感知失真的码率分配方法、系统及介质 - Google Patents
基于空时域恰可感知失真的码率分配方法、系统及介质 Download PDFInfo
- Publication number
- CN110062236B CN110062236B CN201910388948.1A CN201910388948A CN110062236B CN 110062236 B CN110062236 B CN 110062236B CN 201910388948 A CN201910388948 A CN 201910388948A CN 110062236 B CN110062236 B CN 110062236B
- Authority
- CN
- China
- Prior art keywords
- code rate
- frame
- time domain
- weight
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 206010021403 Illusion Diseases 0.000 claims abstract description 47
- 230000000873 masking effect Effects 0.000 claims abstract description 17
- 230000008447 perception Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 36
- 238000001914 filtration Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 6
- 241000282414 Homo sapiens Species 0.000 abstract description 3
- 230000002123 temporal effect Effects 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- RVRCFVVLDHTFFA-UHFFFAOYSA-N heptasodium;tungsten;nonatriacontahydrate Chemical compound O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W] RVRCFVVLDHTFFA-UHFFFAOYSA-N 0.000 description 1
- 239000011541 reaction mixture Substances 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种基于空时域恰可感知失真的码率分配方法、系统及介质，包括：SJND模型建立步骤：根据空域上的掩蔽程度和亮度对比度，建立空域恰可感知失真模型SJND；像素SJND值获取步骤：根据建立的空域恰可感知失真模型，获得图像上每个像素点p(x,y)的SJND值，即空域上每个像素可以允许的最大失真；空域CTU码率权重分配步骤：根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配；本发明根据人类视觉特性，利用空时域恰可感知失真模型实现码率分配，首先利用空域SJND获得每个CTU的空域码率分配权重，然后通过时域TJND模型计算出时域的码率分配权重，提高了码率分配的准确性，大大提升了视频的主观质量。
Description
技术领域
本发明涉及图像/视频编码码率控制技术领域，具体地，涉及基于空时域恰可感知失真的码率分配方法、系统及介质。
背景技术
近年来，随着视频行业的迅猛发展，海量视频数据涌现，如果不对视频数据进行压缩处理，将无法进行传输和存储。我们以高清视频格式为例，假设其分辨率为1920*1080，有Y、U、V三个色彩分量，每个像素使用8bit来表示，帧率为25Hz。如果不对该视频序列进行压缩，则传输一帧图像的数据量为1920*1080*3*8≈5.9(兆字节)，传输一秒的数据量将达到5.9*25＝147.5(兆字节)。假设该视频序列时长90分钟，则传输该视频的数据量将达到796.5G，如果不对其进行压缩编码，将无法在有限的带宽下完成有效的传输。因此，在视频传输中，需要对其进行压缩编码。
随着视频编码技术日新月异的发展，编码参数不断增多，编码复杂度也不断加大，无论哪种码率控制编码方式，都要对码率进行合理的分配和精确的控制。因此，合适的码率分配和参数选择方法，对于提升码率控制性能具有非常重要的作用。
在HEVC编码标准中，λ域的码率控制采用的是自适应分配算法，其主要思想是根据前一参考帧对应参考单元的码控参数来调整当前编码单元的码控参数。但是这种算法没有考虑到人眼对于图像中不同纹理具有不同敏感度的特性，码率分配的结果不精确。因此，提出一种基于空-时域恰可感知失真STJND(Spatial Temporal Just NoticeableDifference)的码率分配方法，在帧内使用空域恰可感知失真(Spatial Just NoticeableDifference,SJND)模型获取每一帧图像在空域上的恰可感知失真临界值，通过这个临界值得到每一个编码树单元的空域视觉敏感度权重；在帧间使用时域恰可感知失真(TemporalJust Noticeable Difference,TJND)模型获取每一个序列的恰可感知失真临界值并得到时域视觉敏感度权重。
专利文献CN105163119A(申请号：201510546437.X)公开了一种基于空时域上下文和运动复杂度的码率控制方法，包括：基于R-λ模型，在C0编码前，对其模型参数α与β进行第一次更新；对当前基本单元C0进行编码；等待C0所在帧的所有基本单元编码完毕，对当前基本单元进行的第二步参数更新；两步参数更新完毕后的模型参数，将用于指导基本单元层的目标比特分配；定义当前基本单元C0的相对运动复杂系数来表征不同基本单元的运动剧烈程度；使用当前基本单元C0的Wi，j来调节当前基本单元的入值，使入值适应不同基本单元的运动剧烈程度，从而实现为运动较剧烈的基本单元分配更多比特的目标。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于空时域恰可感知失真的码率分配方法、系统及介质。
根据本发明提供的一种基于空时域恰可感知失真的码率分配方法，包括：
SJND模型建立步骤：根据空域上的掩蔽程度和亮度对比度，建立空域恰可感知失真模型SJND；
像素SJND值获取步骤：根据建立的空域恰可感知失真模型，获得图像上每个像素点p(x，y)的SJND值，即空域上每个像素可以允许的最大失真；
空域CTU码率权重分配步骤：根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配；
TJND模型建立步骤：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND；
像素TJND值获取步骤：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值，即在时域上每个像素点允许的最大失真值；
权值计算步骤：根据求得的TJND值，获得时域第i帧的权值；
图像码率权重分配步骤：根据获得的时域第i帧的权值，对每帧图像的码率权重进行分配。
优选地，所述SJND模型建立步骤：
空域恰可感知失真模型公式如下：
SJND(x，y)＝max{z1(b(x，y)，m(x，y))，z2(b(x，y)))}
其中，
SJND(x，y)表示像素点(x，y)处的空域恰可感知失真值；
z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度；
b(x，y)和m(x，y)分别表示滤波函数和最大梯度函数；
z1(b(x，y)，m(x，y))＝m(x，y)·α(b(x，y))+β(b(x，y))
α(b(x，y))＝θ·b(x，y)+δ
β(b(x，y))＝μ-γ·b(x，y)
其中，
α(b(x，y))和β(b(x，y))分别表示中间参数；
θ＝0.0001；
δ＝0.115；
μ＝0.25；
γ＝0.01；
其中，
a＝14；
b＝3/128；
ε＝2；
滤波函数b(x，y)为：
其中，
p(x+i，y+j)为图像(x+i，y+j)位置的像素值；
B(i，j)为滤波模板；
最大梯度函数m(x，y)为：
Gk(i，j)为四个梯度方向模板。
优选地，所述空域CTU码率权重分配步骤：
根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配，计算公式如下：
其中，
ωCTU表示空域的CTU码率分配权重；
n表示CTU的大小；
x表示CTU的像素横坐标；
y表示CTU的像素纵坐标；
SJND(x，y)表示(x，y)像素点的空域JND值。
优选地，所述TJND模型建立步骤：
时域恰可感知失真模型公式如下，
其中，
TJND(x，y，t)表示(x，y，t)像素点的时域JND值
τ表示尺度因子；
exp表示指数函数；
Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
p(x，y，t)表示：(x，y，t)像素点的像素值；
p(x，y，t-1)表示：(x，y，t-1)像素点的像素值；
b(x，y，t)表示：(x，y，t)像素点的平均亮度值；
b(x，y，t-1)表示：(x，y，t-1)像素点的平均亮度值。
优选地，所述权值计算步骤：
根据求得的TJND值，获得时域第i帧的权值，计算公式如下：
其中，
T(i)表示(需包含i的含义)T(i)表示第i帧的时域权值，i为帧数；
W表示帧长；
H表示帧宽；
j表示像素坐标；
TJND(i)表示(需包含i的含义)第i帧的TJND值，i为帧数；
W为帧长；
H为帧宽。
优选地，所述图像码率权重分配步骤：
根据获得的时域第i帧的权值T(i)，对每帧图像的码率权重进行分配，计算公式如下：
其中，
W(i)表示第i帧图像的码率分配权重，i为帧数；
T(j)表示第j帧的时域权值，j为帧数；
N为GOP组的帧数。
根据本发明提供的一种基于空时域恰可感知失真的码率分配系统，包括：
SJND模型建立模块：根据空域上的掩蔽程度和亮度对比度，建立空域恰可感知失真模型SJND；
像素SJND值获取模块：根据建立的空域恰可感知失真模型，获得图像上每个像素点p(x，y)的SJND值，即空域上每个像素可以允许的最大失真；
空域CTU码率权重分配模块：根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配；
TJND模型建立模块：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND；
像素TJND值获取模块：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值，即在时域上每个像素点允许的最大失真值；
权值计算模块：根据求得的TJND值，获得时域第i帧的权值；
图像码率权重分配模块：根据获得的时域第i帧的权值，对每帧图像的码率权重进行分配。
优选地，所述SJND模型建立模块：
空域恰可感知失真模型公式如下：
SJND(x，y)＝max{z1(b(x，y)，m(x，y))，z2(b(x，y)))}
其中，
SJND(x，y)表示像素点(x，y)处的空域恰可感知失真值；
z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度；
b(x，y)和m(x，y)分别表示滤波函数和最大梯度函数；
z1(b(x，y)，m(x，y))＝m(x，y)·α(b(x，y))+β(b(x，y))
α(b(x，y))＝θ·b(x，y)+δ
β(b(x，y))＝μ-γ·b(x，y)
其中，
α(b(x，y))和β(b(x，y))分别表示中间参数；
θ＝0.0001；
δ＝0.115；
μ＝0.25；
γ＝0.01；
其中，
a＝14；
b＝3/128；
ε＝2；
滤波函数b(x，y)为：
其中，
p(x+i，y+j)为图像(x+i，y+j)位置的像素值；
B(i，j)为滤波模板；
最大梯度函数m(x，y)为：
Gk(i，j)为四个梯度方向模板；
所述空域CTU码率权重分配模块：
根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配，计算公式如下：
其中，
ωCTU表示空域的CTU码率分配权重；
n表示CTU的大小；
x表示CTU的像素横坐标；
y表示CTU的像素纵坐标；
SJND(x，y)表示(x，y)像素点的空域JND值；
所述TJND模型建立模块：
时域恰可感知失真模型公式如下，
其中，
TJND(x，y，t)表示(x，y，t)像素点的时域JND值
τ表示尺度因子；
exp表示指数函数；
Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
p(x，y，t)表示：(x，y，t)像素点的像素值；
p(x，y，t-1)表示：(x，y，t-1)像素点的像素值；
b(x，y，t)表示：(x，y，t)像素点的平均亮度值；
b(x，y，t-1)表示：(x，y，t-1)像素点的平均亮度值。
优选地，所述权值计算模块：
根据求得的TJND值，获得时域第i帧的权值，计算公式如下：
其中，
T(i)表示(需包含i的含义)T(i)表示第i帧的时域权值，i为帧数；
W表示帧长；
H表示帧宽；
j表示像素坐标；
TJND(i)表示(需包含i的含义)第i帧的TJND值，i为帧数；
W为帧长；
H为帧宽；
所述图像码率权重分配模块：
根据获得的时域第i帧的权值T(i)，对每帧图像的码率权重进行分配，计算公式如下：
其中，
W(i)表示第i帧图像的码率分配权重，i为帧数；
T(j)表示第j帧的时域权值，j为帧数；
N为GOP组的帧数。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述中任一项所述的基于空时域恰可感知失真的码率分配方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
本发明根据人类视觉特性，利用空时域恰可感知失真模型实现码率分配，首先利用空域SJND获得每个CTU的空域码率分配权重，然后通过时域TJND模型计算出时域的码率分配权重，提高了码率分配的准确性，大大提升了视频的主观质量。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明提供的一种基于空时域恰可感知失真的码率分配方法的流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种基于空时域恰可感知失真的码率分配方法，包括：
SJND模型建立步骤：根据空域上的掩蔽程度和亮度对比度，建立空域恰可感知失真模型SJND；
像素SJND值获取步骤：根据建立的空域恰可感知失真模型，获得图像上每个像素点p(x，y)的SJND值，即空域上每个像素可以允许的最大失真；
空域CTU码率权重分配步骤：根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配；
TJND模型建立步骤：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND；
像素TJND值获取步骤：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值，即在时域上每个像素点允许的最大失真值；
权值计算步骤：根据求得的TJND值，获得时域第i帧的权值；
图像码率权重分配步骤：根据获得的时域第i帧的权值，对每帧图像的码率权重进行分配。
具体地，所述SJND模型建立步骤：
空域恰可感知失真模型公式如下：
SJND(x，y)＝max{z1(b(x，y)，m(x，y))，z2(b(x，y)))}
其中，
SJND(x，y)表示像素点(x，y)处的空域恰可感知失真值；
z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度；
b(x，y)和m(x，y)分别表示滤波函数和最大梯度函数；
z1(b(x，y)，m(x，y))＝m(x，y)·α(b(x，y))+β(b(x，y))
α(b(x，y))＝θ·b(x，y)+δ
β(b(x，y))＝μ-γ·b(x，y)
其中，
α(b(x，y))和β(b(x，y))分别表示中间参数；
θ＝0.0001；
δ＝0.115；
μ＝0.25；
γ＝0.01；
其中，
a＝14；
b＝3/128；
ε＝2；
滤波函数b(x，y)为：
其中，
p(x+i，y+j)为图像(x+i，y+j)位置的像素值；
B(i，j)为滤波模板；
最大梯度函数m(x，y)为：
Gk(i，j)为四个梯度方向模板。
具体地，所述空域CTU码率权重分配步骤：
根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配，计算公式如下：
其中，
ωCTU表示空域的CTU码率分配权重；
n表示CTU的大小；
x表示CTU的像素横坐标；
y表示CTU的像素纵坐标；
SJND(x，y)表示(x，y)像素点的空域JND值。
具体地，所述TJND模型建立步骤：
时域恰可感知失真模型公式如下，
其中，
TJND(x，y，t)表示(x，y，t)像素点的时域JND值
τ表示尺度因子；
exp表示指数函数；
Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
p(x，y，t)表示：(x，y，t)像素点的像素值；
p(x，y，t-1)表示：(x，y，t-1)像素点的像素值；
b(x，y，t)表示：(x，y，t)像素点的平均亮度值；
b(x，y，t-1)表示：(x，y，t-1)像素点的平均亮度值。
具体地，所述权值计算步骤：
根据求得的TJND值，获得时域第i帧的权值，计算公式如下：
其中，
T(i)表示(需包含i的含义)T(i)表示第i帧的时域权值，i为帧数；
W表示帧长；
H表示帧宽；
j表示像素坐标；
TJND(i)表示(需包含i的含义)第i帧的TJND值，i为帧数；
W为帧长；
H为帧宽。
具体地，所述图像码率权重分配步骤：
根据获得的时域第i帧的权值T(i)，对每帧图像的码率权重进行分配，计算公式如下：
其中，
W(i)表示第i帧图像的码率分配权重，i为帧数；
T(j)表示第j帧的时域权值，j为帧数；
N为GOP组的帧数。
本发明提供的基于空时域恰可感知失真的码率分配系统，可以通过本发明给的基于空时域恰可感知失真的码率分配方法的步骤流程实现。本领域技术人员可以将所述基于空时域恰可感知失真的码率分配方法，理解为所述基于空时域恰可感知失真的码率分配系统的一个优选例。
根据本发明提供的一种基于空时域恰可感知失真的码率分配系统，包括：
SJND模型建立模块：根据空域上的掩蔽程度和亮度对比度，建立空域恰可感知失真模型SJND；
像素SJND值获取模块：根据建立的空域恰可感知失真模型，获得图像上每个像素点p(x，y)的SJND值，即空域上每个像素可以允许的最大失真；
空域CTU码率权重分配模块：根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配；
TJND模型建立模块：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND；
像素TJND值获取模块：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值，即在时域上每个像素点允许的最大失真值；
权值计算模块：根据求得的TJND值，获得时域第i帧的权值；
图像码率权重分配模块：根据获得的时域第i帧的权值，对每帧图像的码率权重进行分配。
具体地，所述SJND模型建立模块：
空域恰可感知失真模型公式如下：
SJND(x，y)＝max{z1(b(x，y)，m(x，y))，z2(b(x，y)))}
其中，
SJND(x，y)表示像素点(x，y)处的空域恰可感知失真值；
z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度；
b(x，y)和m(x，y)分别表示滤波函数和最大梯度函数；
z1(b(x，y)，m(x，y))＝m(x，y)·α(b(x，y))+β(b(x，y))
α(b(x，y))＝θ·b(x，y)+δ
β(b(x，y))＝μ-γ.b(x，y)
其中，
α(b(x，y))和β(b(x，y))分别表示中间参数；
θ＝0.0001；
δ＝0.115；
μ＝0.25；
γ＝0.01；
其中，
a＝14；
b＝3/128；
ε＝2；
滤波函数b(x，y)为：
其中，
p(x+i，y+j)为图像(x+i，y+j)位置的像素值；
B(i，j)为滤波模板；
最大梯度函数m(x，y)为：
Gk(i，j)为四个梯度方向模板；
所述空域CTU码率权重分配模块：
根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配，计算公式如下：
其中，
ωCTU表示空域的CTU码率分配权重；
n表示CTU的大小；
x表示CTU的像素横坐标；
y表示CTU的像素纵坐标；
SJND(x，y)表示(x，y)像素点的空域JND值；
所述TJND模型建立模块：
时域恰可感知失真模型公式如下，
其中，
TJND(x，y，t)表示(x，y，t)像素点的时域JND值
τ表示尺度因子；
exp表示指数函数；
Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
p(x，y，t)表示：(x，y，t)像素点的像素值；
p(x，y，t-1)表示：(x，y，t-1)像素点的像素值；
b(x，y，t)表示：(x，y，t)像素点的平均亮度值；
b(x，y，t-1)表示：(x，y，t-1)像素点的平均亮度值。
具体地，所述权值计算模块：
根据求得的TJND值，获得时域第i帧的权值，计算公式如下：
其中，
T(i)表示(需包含i的含义)T(i)表示第i帧的时域权值，i为帧数；
W表示帧长；
H表示帧宽；
j表示像素坐标；
TJND(i)表示(需包含i的含义)第i帧的TJND值，i为帧数；
W为帧长；
H为帧宽；
所述图像码率权重分配模块：
根据获得的时域第i帧的权值T(i)，对每帧图像的码率权重进行分配，计算公式如下：
其中，
W(i)表示第i帧图像的码率分配权重，i为帧数；
T(j)表示第j帧的时域权值，j为帧数；
N为GOP组的帧数。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述中任一项所述的基于空时域恰可感知失真的码率分配方法的步骤。
下面通过优选例，对本发明进行更为具体地说明。
优选例1：
本发明提供一种基于空-时域恰可感知失真STJND(Spatial Temporal JustNoticeable Difference)的码率分配方法，在帧内使用空域恰可感知失真(Spatial JustNoticeable Difference，SJND)模型获取每一帧图像在空域上的恰可感知失真临界值，通过这个临界值得到每一个编码树单元的空域视觉敏感度权重；在帧间使用时域恰可感知失真(Temporal Just Noticeable Difference，TJND)模型获取每一个序列的恰可感知失真临界值并得到时域视觉敏感度权重以此提高码率控制的主观编码性能。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面对本发明的具体实施方法做进一步详细的说明。
步骤一：通过空域上的掩蔽程度和亮度对比度建立空域恰可感知失真模型SJND；
步骤1.1：空域恰可感知失真模型公式如下，
SJND(x，y)＝max{z1(b(x，y)，m(x，y)，z2(b(x，y)))} (1)
其中，z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度，b(x，y)和m(x，y)分别为滤波函数和最大梯度函数。它们的定义分别为，
z1(b(x，y)，m(x，y)＝m(x，y)·α(b(x，y))+β(b(x，y)) (2)
其中，
α(b(x，y))＝θ·b(x，y)+δ (3)
β(b(x，y))＝μ-γ·b(x，y) (4)
式(3)和式(4)中，θ＝0.0001，δ＝0.115，μ＝0.25，γ＝0.01。
式(5)中，a＝14，b＝3/128，ε＝2。滤波函数b(x，y)，其定义如式(6)所示，
其中，p(x+i，y+j)为图像(x+i，y+j)位置的像素值，B(i，j)为滤波模板。
最大梯度函数m(x，y)的定义为，
式(7)中，Gk(i，j)为四个梯度方向模板；
步骤二：通过空域恰可感知失真模型得到图像上每个像素点p(x，y)的SJND值，也即每个像素可以允许的最大失真；
步骤三：用得到的SJND模型对空域CTU的码率进行权重分配，计算公式如下，
步骤四：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND；
步骤4.1：时域恰可感知失真模型公式如下，
其中，
δ＝3.2都是模型参数。为了将序列时域静止区域允许的失真最小化，需要将尺度因子τ减小到0.8也即Δ(x，y.t)＜5。Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
步骤五：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值；也即在时域上每个像素点允许的最大失真值；
步骤六：根据求得的TJND值可得时域第i帧的权值计算公式如下，
其中，W为帧长，H为帧宽；
步骤七：根据公式(11)对每帧图像的码率权重进行分配，第i帧图像的权重计算公式如下，
其中，N为GOP组的帧数。
优选例2：
一种基于空时域恰可感知失真的码率分配方法，具体操作步骤如下：
步骤一：通过空域上的掩蔽程度和亮度对比度建立空域恰可感知失真模型SJND(Spatial JND)；
步骤二：通过空域恰可感知失真模型得到图像上每个像素点p(x，y)的SJND值，也即每个像素可以允许的最大失真；
步骤三：用得到的SJND模型对空域CTU的码率进行权重分配，计算公式如下，
其中，
ωCTU表示空域的CTU码率分配权重；
n表示CTU的大小；
x表示CTU的像素横坐标；
y表示CTU的像素纵坐标；
SJND(x，y)表示(x，y)像素点的空域JND值；
步骤四：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND(Temporal JND)；
步骤五：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值；也即在时域上每个像素点允许的最大失真值；
步骤六：根据求得的TJND值可得时域第i帧的权值计算公式如下，
其中，
T(i)表示(需包含i的含义)T(i)表示第i帧的时域权值，i为帧数
W表示帧长
H表示帧宽
j表示像素坐标
TJND(i)表示(需包含i的含义)第i帧的TJND值，i为帧数
W为帧长；
H为帧宽；
步骤七：根据公式(11)对每帧图像的码率权重进行分配，第i帧图像的权重计算公式如下，
其中，
W(i)表示第i帧图像的码率分配权重，i为帧数
T(j)表示(需包含j的含义)第j帧的时域权值，j为帧数
N为GOP组的帧数。
2.根据权利要求1所述的一种基于空时域恰可感知失真的码率分配方法，其特征在于：所述步骤一中，空域恰可感知失真模型公式如下，
SJND(x，y)＝max{z1(b(x，y)，m(x，y)，z2(b(x，y)))} (4)
其中，
SJND(x，y)表示像素点(x，y)处的空域恰可感知失真值；
z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度；
b(x，y)和m(x，y)分别为滤波函数和最大梯度函数。
它们的定义分别为，
z1(b(x，y)，m(x，y))＝m(x，y)·α(b(x，y))+β(b(x，y)) (5)
其中，
α(b(x，y))＝θ·b(x，y)+δ (6)
β(b(x，y))＝μ-γ·b(x，y) (7)
式(6)和式(7)中，
其中，
θ＝0.0001，δ＝0.115，μ＝0.25，γ＝0.01。
式(8)中，
a表示
b表示
ε表示
a＝14，b＝3/128，ε＝2。滤波函数b(x，y)，其定义如式(9)所示，
其中，p(x+i，y+j)为图像(x+i，y+j)位置的像素值，B(i，j)为滤波模板。
最大梯度函数m(x，y)的定义为，
式(7)中，Gk(i，j)为四个梯度方向模板；
3.根据权利要求1所述的一种基于空时域恰可感知失真的码率分配方法，其特征在于：所述步骤四中，时域恰可感知失真模型公式如下，
其中，
δ＝3.2都是模型参数。将尺度因子T减小到0.8并且Δ(x，y.t)＜5时，序列时域静止区域允许的失真最小。Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种基于空时域恰可感知失真的码率分配方法，其特征在于，包括：
SJND模型建立步骤：根据空域上的掩蔽程度和亮度对比度，建立空域恰可感知失真模型SJND；
像素SJND值获取步骤：根据建立的空域恰可感知失真模型，获得图像上每个像素点p(x，y)的SJND值，即空域上每个像素可以允许的最大失真；
空域CTU码率权重分配步骤：根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配；
TJND模型建立步骤：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND；
像素TJND值获取步骤：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值，即在时域上每个像素点允许的最大失真值；
权值计算步骤：根据求得的TJND值，获得时域第i帧的权值；
图像码率权重分配步骤：根据获得的时域第i帧的权值，对每帧图像的码率权重进行分配；
所述SJND模型建立步骤：
空域恰可感知失真模型公式如下：
SJND(x，y)＝max{z1(b(x，y)，m(x，y))，z2(b(x，y)))}
其中，
SJND(x，y)表示像素点(x，y)处的空域恰可感知失真值；
z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度；
b(x，y)和m(x，y)分别表示滤波函数和最大梯度函数；
z1(b(x，y)，m(x，y))＝m(x，y)·α(b(x，y))+β(b(x，y))
α(b(x，y))＝θ·b(x，y)+δ
β(b(x，y))＝μ-γ·b(x，y)
其中，
α(b(x，y))和β(b(x，y))分别表示中间参数；
θ＝0.0001；
δ＝0.115；
μ＝0.25；
γ＝0.01；
其中，
a＝14；
b＝3/128；
ε＝2；
滤波函数b(x，y)为：
其中，
p(x+i，y+j)为图像(x+i，y+j)位置的像素值；
B(i，j)为滤波模板；
最大梯度函数m(x，y)为：
Gk(i，j)为四个梯度方向模板。
2.根据权利要求1所述的基于空时域恰可感知失真的码率分配方法，其特征在于，所述空域CTU码率权重分配步骤：
根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配，计算公式如下：
其中，
ωCTU表示空域的CTU码率分配权重；
n表示CTU的大小；
x表示CTU的像素横坐标；
y表示CTU的像素纵坐标；
SJND(x，y)表示(x，y)像素点的空域JND值。
3.根据权利要求2所述的基于空时域恰可感知失真的码率分配方法，其特征在于，所述TJND模型建立步骤：
时域恰可感知失真模型公式如下，
其中，
TJND(x，y，t)表示(x，y，t)像素点的时域JND值
τ表示尺度因子；
exp表示指数函数；
Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
p(x，y，t)表示：(x，y，t)像素点的像素值；
p(x，y，t-1)表示：(x，y，t-1)像素点的像素值；
b(x，y，t)表示：(x，y，t)像素点的平均亮度值；
自(x，y，t-1)表示：(x，y，t-1)像素点的平均亮度值。
4.根据权利要求3所述的基于空时域恰可感知失真的码率分配方法，其特征在于，所述权值计算步骤：
根据求得的TJND值，获得时域第i帧的权值，计算公式如下：
其中，
T(i)表示第i帧的时域权值，i为帧数；
j表示像素坐标；
TJND(i)表示第i帧的TJND值，i为帧数；
W为帧长；
H为帧宽。
5.根据权利要求4所述的基于空时域恰可感知失真的码率分配方法，其特征在于，所述图像码率权重分配步骤：
根据获得的时域第i帧的权值T(i)，对每帧图像的码率权重进行分配，计算公式如下：
其中，
W(i)表示第i帧图像的码率分配权重，i为帧数；
T(j)表示第j帧的时域权值，j为帧数；
N为GOP组的帧数。
6.一种基于空时域恰可感知失真的码率分配系统，其特征在于，包括：
SJND模型建立模块：根据空域上的掩蔽程度和亮度对比度，建立空域恰可感知失真模型SJND；
像素SJND值获取模块：根据建立的空域恰可感知失真模型，获得图像上每个像素点p(x，y)的SJND值，即空域上每个像素可以允许的最大失真；
空域CTU码率权重分配模块：根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配；
TJND模型建立模块：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND；
像素TJND值获取模块：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值，即在时域上每个像素点允许的最大失真值；
权值计算模块：根据求得的TJND值，获得时域第i帧的权值；
图像码率权重分配模块：根据获得的时域第i帧的权值，对每帧图像的码率权重进行分配；
所述SJND模型建立模块：
空域恰可感知失真模型公式如下：
SJND(x，y)＝max{z1(b(x，y)，m(x，y))，z2(b(x，y)))}
其中，
SJND(x，y)表示像素点(x，y)处的空域恰可感知失真值；
z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度；
b(x，y)和m(x，y)分别表示滤波函数和最大梯度函数；
z1(b(x，y)，m(x，y))＝m(x，y)·α(b(x，y))+β(b(x，y))
α(b(x，y))＝θ·b(x，y)+δ
β(b(x，y))＝μ-γ·b(x，y)
其中，
α(b(x，y))和β(b(x，y))分别表示中间参数；
θ＝0.0001；
δ＝0.115；
μ＝0.25；
γ＝0.01；
其中，
a＝14；
b＝3/128；
ε＝2；
滤波函数b(x，y)为：
其中，
p(x+i，y+j)为图像(x+i，y+j)位置的像素值；
B(i，j)为滤波模板；
最大梯度函数m(x，y)为：
Gk(i，j)为四个梯度方向模板；
所述空域CTU码率权重分配模块：
根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配，计算公式如下：
其中，
ωCTU表示空域的CTU码率分配权重；
n表示CTU的大小；
x表示CTU的像素横坐标；
y表示CTU的像素纵坐标；
SJND(x，y)表示(x，y)像素点的空域JND值；
所述TJND模型建立模块：
时域恰可感知失真模型公式如下，
其中，
TJND(x，y，t)表示(x，y，t)像素点的时域JND值
τ表示尺度因子；
exp表示指数函数；
Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
p(x，y，t)表示：(x，y，t)像素点的像素值；
p(x，y，t-1)表示：(x，y，t-1)像素点的像素值；
b(x，y，t)表示：(x，y，t)像素点的平均亮度值；
b(x，y，t-1)表示：(x，y，t-1)像素点的平均亮度值。
7.根据权利要求6所述的基于空时域恰可感知失真的码率分配系统，其特征在于，所述权值计算模块：
根据求得的TJND值，获得时域第i帧的权值，计算公式如下：
其中，
T(i)表示第i帧的时域权值，i为帧数；
j表示像素坐标；
TJND(i)表示第i帧的TJND值，i为帧数；
W为帧长；
H为帧宽；
所述图像码率权重分配模块：
根据获得的时域第i帧的权值T(i)，对每帧图像的码率权重进行分配，计算公式如下：
其中，
W(i)表示第i帧图像的码率分配权重，i为帧数；
T(j)表示第j帧的时域权值，j为帧数；
N为GOP组的帧数。
8.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的基于空时域恰可感知失真的码率分配方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910388948.1A CN110062236B (zh) | 2019-05-10 | 2019-05-10 | 基于空时域恰可感知失真的码率分配方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910388948.1A CN110062236B (zh) | 2019-05-10 | 2019-05-10 | 基于空时域恰可感知失真的码率分配方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110062236A CN110062236A (zh) | 2019-07-26 |
| CN110062236B true CN110062236B (zh) | 2021-04-23 |
Family
ID=67322669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910388948.1A Active CN110062236B (zh) | 2019-05-10 | 2019-05-10 | 基于空时域恰可感知失真的码率分配方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110062236B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110837842B (zh) * | 2019-09-12 | 2024-09-06 | 腾讯科技（深圳）有限公司 | 一种无参考视频质量评估的方法、模型训练的方法及装置 |
| CN112738518B (zh) * | 2019-10-28 | 2022-08-19 | 北京博雅慧视智能技术研究院有限公司 | 一种基于感知的ctu级视频编码的码率控制方法 |
| CN112911292B (zh) * | 2019-12-04 | 2022-08-05 | 四川大学 | 一种基于空时域联合信息的hevc码率控制优化方法 |
| CN111757112B (zh) * | 2020-06-24 | 2023-04-25 | 重庆大学 | 一种基于恰可察觉失真的hevc感知码率控制方法 |
| CN113422956B (zh) * | 2021-06-17 | 2022-09-09 | 北京金山云网络技术有限公司 | 一种图像编码方法、装置、电子设备及存储介质 |
| CN115604477B (zh) * | 2022-12-14 | 2023-03-31 | 广州波视信息科技股份有限公司 | 一种超高清视频失真优化编码方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101534432A (zh) * | 2009-04-09 | 2009-09-16 | 上海广电（集团）有限公司中央研究院 | 基于人眼感知模型的码率控制方法 |
| CN108063944A (zh) * | 2017-12-14 | 2018-05-22 | 西北工业大学 | 一种基于视觉显著性的感知码率控制方法 |
| CN108965879A (zh) * | 2018-08-31 | 2018-12-07 | 杭州电子科技大学 | 一种空时域自适应恰可察觉失真的度量方法 |
-
2019
- 2019-05-10 CN CN201910388948.1A patent/CN110062236B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101534432A (zh) * | 2009-04-09 | 2009-09-16 | 上海广电（集团）有限公司中央研究院 | 基于人眼感知模型的码率控制方法 |
| CN108063944A (zh) * | 2017-12-14 | 2018-05-22 | 西北工业大学 | 一种基于视觉显著性的感知码率控制方法 |
| CN108965879A (zh) * | 2018-08-31 | 2018-12-07 | 杭州电子科技大学 | 一种空时域自适应恰可察觉失真的度量方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于空-时域视觉敏感度的码率分配算法;杨郑龙，王国中，朱林林;《计算机应用与软件》;20190131;第36卷(第1期);第240-242页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110062236A (zh) | 2019-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110062236B (zh) | 基于空时域恰可感知失真的码率分配方法、系统及介质 | |
| CN107439012B (zh) | 用于环内转换的方法、装置和计算机可读存储介质 | |
| KR101939012B1 (ko) | 하이 다이내믹 레인지 이미지들을 위한 콘텐츠 적응적 지각 양자화기 | |
| CN111709896B (zh) | 一种将ldr视频映射为hdr视频的方法和设备 | |
| US12022096B2 (en) | Human visual system adaptive video coding | |
| CN112399176B (zh) | 一种视频编码方法、装置、计算机设备及存储介质 | |
| CN110662044A (zh) | 一种视频编码方法、视频编码装置及计算机存储介质 | |
| CN104378636B (zh) | 一种视频图像编码方法及装置 | |
| CN113706412A (zh) | 一种sdr到hdr转换方法 | |
| CN104994382A (zh) | 一种感知率失真的优化方法 | |
| CN112598612B (zh) | 一种基于照度分解的无闪烁暗光视频增强方法及装置 | |
| CN107027031A (zh) | 一种用于视频图像的编码方法和装置 | |
| DE102013015821A1 (de) | System und Verfahren zur Verbesserung der Videokodierung unter Verwendung von Inhaltsinformation | |
| CN107105240B (zh) | 一种hevc-scc复杂度控制方法及其系统 | |
| CN114173131B (zh) | 一种基于帧间相关性的视频压缩方法及系统 | |
| CN103414889B (zh) | 一种基于双目恰可察觉失真的立体视频码率控制方法 | |
| US10616585B2 (en) | Encoding data arrays | |
| CN115567712A (zh) | 基于人眼恰可察觉失真的屏幕内容视频编码感知码率控制方法及装置 | |
| CN107592535B (zh) | H.265/hevc图像层码率控制方法 | |
| CN106658010A (zh) | 一种hevc自适应视频码率控制方法及系统 | |
| KR101051564B1 (ko) | 에이치닷264에이브이씨 코덱 시스템의 가중치 예측방법 | |
| KR20210059604A (ko) | 복잡도에 기반하여 비디오 프레임을 적응적으로 인코딩하는 기법 | |
| CN112040246B (zh) | 一种低时延低复杂度的固定码率控制方法 | |
| CN111192210B (zh) | 一种自适应增强的视频去雾方法 | |
| US11979587B2 (en) | Hybrid inter-frame coding using an autoregressive model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |