CN111654701B - 视频编码预处理方法、装置、设备和计算机可读存储介质 - Google Patents
视频编码预处理方法、装置、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111654701B CN111654701B CN202010317855.2A CN202010317855A CN111654701B CN 111654701 B CN111654701 B CN 111654701B CN 202010317855 A CN202010317855 A CN 202010317855A CN 111654701 B CN111654701 B CN 111654701B
- Authority
- CN
- China
- Prior art keywords
- frequency coefficient
- block
- image
- visual sensitivity
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000007781 pre-processing Methods 0.000 title claims abstract description 36
- 230000035945 sensitivity Effects 0.000 claims abstract description 125
- 230000000007 visual effect Effects 0.000 claims abstract description 123
- 230000001629 suppression Effects 0.000 claims abstract description 113
- 230000009466 transformation Effects 0.000 claims abstract description 106
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000004519 manufacturing process Methods 0.000 claims abstract description 31
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 14
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000013441 quality evaluation Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频编码预处理方法、装置、设备和计算机可读存储介质。该方法包括：将视频图像分割为互不重叠的前期拍摄图像块和后期制作图像块；对前期拍摄图像块进行频域变换，得到前期拍摄图像块对应的变换块；确定变换块对应的视觉敏感度和确定变换块中每个频率系数对应的视觉敏感度，根据变换块对应的视觉敏感度和变换块中每个频率系数对应的视觉敏感度，对变换块进行频率系数抑制处理；对频率系数抑制处理后的变换块进行时域变换，根据时域变换后的变换块和后期制作图像块，生成待视频编码的视频图像。本发明将人眼视觉系统的主观感受作为编码质量评价指标，对频域的前期拍摄图像块进行频率系数抑制，降低视频图像在视频编码时的码率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种视频编码预处理方法、装置、设备和计算机可读存储介质。
背景技术
在视频编码领域中，主流的编码质量评价指标为峰值信噪比(Peak Signal toNoise Ratio，简称PSNR)。PSNR是通过对未视频编码的原始图像和重构图像(经过视频编码再解码的原始图像)进行逐像素地比较得到的，进而PSNR能够反应出原始像素与重构像素之间的微小差异。然而，在实现本发明的过程中发现，人眼视觉系统(Human VisualSystem，简称HVS)的视觉敏感度是有限的，只有在原始像素与重构像素之间存在较大差异时才可能会被人眼的HVS察觉，而且原始像素与重构像素之间的差异是否能够被HVS察觉还与许多影响因素有关。比如：影响因素包括图像内容和观测距离，如果图像内容的纹理复杂，则HVS不易察觉像素差异，如果用户与图像之间的观测距离较大，则HVS也不易察觉像素差异。如果原始像素与重构像素之间的差异没有被HVS察觉到，则HVS会判定视频图像质量未发生改变。因此，PSNR并不能衡量HVS对视频图像主观质量的判断。
目前，在视频应用中，高分辨率、高帧率的视频的逐渐盛行。如果视频编码方法以PSNR作为编码质量评价指标，则在对视频图像进行编码时，为了减小原始像素和重构像素之间的差异，会在原始图像中保留许多HVS难以察觉的内容，而这些HVS难以察觉的内容会增加视频编码的码率，而且分辨率、帧率越高，码率就越高，传输编码后的视频图像所需的带宽就越大，这使得码率与带宽之间的矛盾日益凸显，视频服务质量问题频出。
发明内容
本发明的主要目的在于提供一种视频编码预处理方法、装置、设备和计算机可读存储介质，以解决现有的视频编码方法以PSNR作为编码质量评价指标，导致视频编码的码率较高的问题。
针对上述技术问题，本发明实施例是通过以下技术方案来解决的：
本发明实施例提供了一种视频编码预处理方法，包括：将视频图像分割为互不重叠的前期拍摄图像块和后期制作图像块；对所述前期拍摄图像块进行频域变换，得到所述前期拍摄图像块对应的变换块；确定所述变换块对应的视觉敏感度以及确定所述变换块中的每个频率系数对应的视觉敏感度，并根据所述变换块对应的视觉敏感度以及所述变换块中的每个频率系数对应的视觉敏感度，对所述变换块进行频率系数抑制处理；对频率系数抑制处理后的所述变换块进行时域变换，并根据时域变换后的所述变换块和所述后期制作图像块，生成待视频编码的视频图像。
其中，所述确定所述变换块对应的视觉敏感度，包括：根据所述视频图像对应的图像位深，所述变换块对应的前期拍摄图像块的尺寸，所述变换块中的各个频率系数以及所述各个频率系数分别对应的视角空间频率，确定所述变换块的纹理复杂度；根据所述变换块的纹理复杂度，确定所述变换块对应的视觉敏感度。
其中，所述变换块的纹理复杂度为所述变换块的结构性对比指数。
其中，所述确定所述变换块中的每个频率系数对应的视觉敏感度，包括：针对所述变换块中的每个频率系数，根据所述视频图像的高度对应的像素分辨率，预设的观察距离和所述视频图像的高度的比值以及所述频率系数在所述变换块中的坐标，计算所述频率系数对应的视角空间频率；根据所述频率系数对应的视角空间频率，确定所述频率系数对应的视觉敏感度。
其中，所述根据所述变换块对应的视觉敏感度以及所述变换块中的每个频率系数对应的视觉敏感度，对所述变换块进行频率系数抑制处理，包括：针对所述变换块中的每个频率系数，根据所述频率系数对应的视觉敏感度，确定所述频率系数对应的抑制强度；其中，所述频率系数对应的视觉敏感度和所述频率系数对应的抑制量为负相关关系；根据所述变换块对应的视觉敏感度和所述频率系数对应的抑制强度，确定所述频率系数对应的抑制量；根据所述频率系数对应的抑制量，对所述频率系数进行频率系数抑制处理，得到所述频率系数对应的频率系数抑制值。
其中，所述根据所述频率系数对应的视觉敏感度，确定所述频率系数对应的抑制强度，包括：根据所述频率系数对应的视觉敏感度以及所述变换块中的所有频率系数分别对应的视觉敏感度的和，确定所述频率系数对应的抑制强度；或者，根据所述频率系数对应的视觉敏感度所属的视觉敏感度区间，确定所述频率系数对应的抑制强度；其中，预先划分多个视觉敏感度区间，并为每个所述视觉敏感度区间对应设置抑制强度。
其中，所述将视频图像分割为互不重叠的前期拍摄图像块和后期制作图像块，包括：将所述视频图像分割为互不重叠的多个图像块；针对每个所述图像块，确定所述图像块中的最大像素值和最小像素值；如果所述图像块中的最大像素值和最小像素值之间的差值大于预设的识别阈值，则将所述图像块作为前期拍摄图像块；反之，则将所述图像块作为后期制作图像块。
本发明实施例还提供了一种视频编码预处理装置，包括：图像分割模块，用于将视频图像分割为互不重叠的前期拍摄图像块和后期制作图像块；频域转换模块，用于对所述前期拍摄图像块进行频域变换，得到所述前期拍摄图像块对应的变换块；频率系数抑制模块，用于确定所述变换块对应的视觉敏感度以及确定所述变换块中的每个频率系数对应的视觉敏感度，并根据所述变换块对应的视觉敏感度以及所述变换块中的每个频率系数对应的视觉敏感度，对所述变换块进行频率系数抑制处理；时域转换模块，用于对频率系数抑制处理后的所述变换块进行时域变换；图像生成模块，用于根据时域变换后的所述变换块和所述后期制作图像块，生成待视频编码的视频图像。
本发明实施例还提供了一种视频编码预处理设备，所述视频编码预处理设备包括处理器、存储器；所述处理器用于执行所述存储器中存储的视频编码预处理程序，以实现上述任一项所述的视频编码预处理方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的视频编码预处理方法。
本发明实施例的有益效果如下：
在本发明实施例中，先将视频图像划分为容易被HVS察觉到变化的前期拍摄图像块和不容易被HVS察觉到变化的后期制作图像块。对于容易被HVS察觉到变化的前期拍摄图像块，将HVS的主观感受作为编码质量评价指标，根据视觉敏感度对处于频域的前期拍摄图像块进行频率系数抑制处理，降低前期拍摄图像块中HVS难以察觉的频率信号信息，进而可以使视频图像的主观质量不受损害，并且可以降低视频图像在视频编码时的码率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明一实施例的视频编码预处理方法的流程图；
图2是根据本发明一实施例的确定变换块对应的视觉敏感度的流程图；
图3是根据本发明一实施例的确定频率系数对应的视觉敏感度的流程图；
图4是根据本发明一实施例的对频率系数抑制处理的步骤流程图；
图5是根据本发明另一实施例的对频率系数抑制处理的步骤流程图；
图6是根据本发明一实施例的视频编码预处理装置的结构图；
图7是根据本发明一实施例的视频编码预处理设备的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本发明作进一步地详细说明。
根据本发明的实施例，提供了一种视频编码预处理方法。如图1所示，是根据本发明一实施例的视频编码预处理方法的流程图。
步骤S110，将视频图像分割为互不重叠的前期拍摄图像块和后期制作图像块。
视频图像，是指视频流中的一帧图像。可以对视频流中的视频图像顺序执行本实施例所述的视频编码预处理流程，之后，再对视频流执行视频编码。
前期拍摄图像块，是指通过前期拍摄获得的视频图像内容。
后期制作图像块，是指通过后期制作获得的视频图像内容。
进一步地，前期拍摄的视频图像内容一般是自然环境中的人事物，即自然内容的视频图像内容。后期制作的视频图像内容一般是合成在前期拍摄的视频图像内容上的字幕、特效等内容，即非自然内容的视频图像内容。
具体而言，将视频图像分割为互不重叠的多个图像块；针对每个所述图像块，确定所述图像块中的最大像素值和最小像素值；如果所述图像块中的最大像素值和最小像素值之间的差值大于预设的识别阈值，则将所述图像块作为前期拍摄图像块；反之，则将所述图像块作为后期制作图像块。其中，多个图像块的大小可以相同。例如：多个图像块都为8×8像素。通过该分割方式，可以将视频图像分割为一个或者多个前期拍摄图像块，以及一个或者多个后期制作图像块。
步骤S120，对所述前期拍摄图像块进行频域变换，得到所述前期拍摄图像块对应的变换块。
在频域中，HVS具有低通特性，分辨景物的能力是有限度的，所以，可以在频域空间来确定HVS的视觉敏感度。由于前期拍摄图像块为时域中的图形，所以可以通过频域变化，可以将前期拍摄图像块转换到频域中。
可以利用预设的DCT(Discrete Cosine Transform，离散余弦变换)方法，对所述前期拍摄图像块进行频域变换。如果前期拍摄图像块的数量为多个，则需要利用DCT方法，分别对每个前期拍摄图像块进行频率变化，得到每个前期拍摄图像块分别对应的变换块。
当然，频域变换方法并不限于DCT方法，还可以使用其他频域变换方法，例如：小波变换法、DST(Discrete Sine Transform，离散正弦变换)法等。
如果存在多个前期拍摄图像块，则分别对每个前期拍摄图像块进行频域变换，得到每个前期拍摄图像块对应的变换块。在变换块中包括多个频率系数，每个坐标位置的频率系数为对应不同视角空间频率的幅度。在变换块中，横向的坐标点数量和该变换块对应的图像块的长度的像素点个数相同，纵向的坐标点数量和该变换块对应的图像块的宽度的像素点个数相同。
例如：为了得到二维视频图像在频域的表示，可以将一帧视频图像划分为不交叠的多个8×8图像块，这些8×8的图像块为基本处理单元。每个8×8图像块经过DCT变换后，得到的变换块为对应图像块在频域的表示。在变换块中，包括8×8个频率系数，左上角的频率系数对应最低频率分量，右下角的频率系数对应最高频率分量。
步骤S130，确定所述变换块对应的视觉敏感度以及确定所述变换块中的每个频率系数对应的视觉敏感度，并根据所述变换块对应的视觉敏感度以及所述变换块中的每个频率系数对应的视觉敏感度，对所述变换块进行频率系数抑制处理。
视觉敏感度，又称人眼对比灵敏度，是指人眼对图像内容的敏感程度。
针对该变换块中的每个频率系数，根据该频率系数对应的视觉敏感度，确定该频率系数对应的抑制强度；根据该变换块对应的视觉敏感度和该频率系数对应的抑制强度，确定该频率系数对应的抑制量；根据该频率系数对应的抑制量，对该频率系数进行频率系数抑制处理，得到该频率系数对应的频率系数抑制值。其中，频率系数对应的视觉敏感度和频率系数对应的抑制量为负相关关系。这样，视觉敏感度越高，抑制量越小；视觉敏感度越低，抑制量越大。
进一步地，确定该频率系数对应的抑制强度，包括：根据该频率系数对应的视觉敏感度以及该变换块中的所有频率系数分别对应的视觉敏感度的和，确定该频率系数对应的抑制强度；或者，根据该频率系数对应的视觉敏感度所属的视觉敏感度区间，确定该频率系数对应的抑制强度；其中，预先划分多个视觉敏感度区间，并为每个视觉敏感度区间对应设置抑制强度。视觉敏感度区间的终点端值越大，为该视觉敏感度区间对应设置的抑制强度越大。
进一步地，对该频率系数进行频率系数抑制处理，包括：将该频率系数的绝对值减去该抑制量得到的差值，使该差值保留该频率系数的正负符号(正号或者负号)，得到中间频率系数；比较频率系数和中间频率系数；如果频率系数和中间频率系数的正负符号相同，则将中间频率系数确定为频率系数抑制值；如果频率系数和中间频率系数的正负符号不同，或者中间频率系数为零，则将零确定为频率系数抑制值。
对频率系数进行频率系数抑制，可以使频率系数向0的方向趋近。频率系数即是视角空间频率对应的幅度，视角空间频率对应的幅度需要参加视频图像编码，频率系数越向0趋近，视角空间频率对应的幅度越小，在对视频图像编码时的码率也就越小。
在对该变换块中的各个频率系数分别进行频率系数抑制处理之后，达到对该变换块进行频率系数抑制处理的效果。这样，在频率系数抑制处理后的变换块中包括多个频率系数抑制值。
如果存在多个变换块，则分别对每个变换块执行步骤S130，实现分别对变换块进行频率系数抑制处理。
步骤S140，对频率系数抑制处理后的所述变换块进行时域变换，并根据时域变换后的所述变换块和所述后期制作图像块，生成待视频编码的视频图像。
如果存在多个变换块，则对每个变换块而言，将变换块对应的前期拍摄图像块在视频图像中的位置，作为时域变换后的该变换块在视频图像中的位置；根据时域变换后的每个变换块在视频图像中的位置以及每个后期制作图像块在视频图像中的位置，合成新的视频图像。该新的视频图像为待视频编码的视频图像。也即是说，前期拍摄图像块和后期制作图像块在视频图像中的位置保持不变，只是视频图像中的前期拍摄图像块变化成经过频域变换，频率系数抑制和时域变换之后的图像块。
对于非自然内容的视频图像内容(后期制作图像块)，尤其是字幕，由于人眼对这些非自然的视频图像内容过于熟悉，所以HVS对这些非自然的视频图像内容的变化较为敏感，综合考虑复杂度代价和效果，本实施例暂不对后期制作图像块进行频率系数抑制处理。
在本实施例中，先将视频图像划分为容易被HVS察觉到变化的前期拍摄图像块和不容易被HVS察觉到变化的后期制作图像块。对于容易被HVS察觉到变化的前期拍摄图像块，将HVS的主观感受作为编码质量评价指标，根据视觉敏感度对处于频域的前期拍摄图像块进行频率系数抑制处理，降低前期拍摄图像块中HVS难以察觉的频率信号信息，进而可以使视频图像的主观质量不受损害，并且可以降低视频图像在视频编码时的码率。
具体而言，本发明实施例参考HVS对视频图像内容的敏感度，对视频图像进行视频编码前的预处理，可以降低视频图像在视频编码时的码率。
HVS对视觉信号的不同视角空间频率分量的响应(敏感)程度不同。视角空间频率指同一模式在单位视角内反复出现的次数。HVS对空间频率分量的响应程度越高，表示HVS对其越敏感。HVS对高空间频率分量显得十分迟钝，而高空间频率分量对应着视频图像的局部细节内容。因此，本实施例将视频图像进行空间频率域表示，然后抑制视频图像的高空间频率分量，这样既移除视频图像的细节又可以保证视频图像的主观质量。
对于视频图像中的非自然视频内容，如：字幕、特效等，往往具有较高的颜色对比度。由于非自然视频内容往往具有极强的规律性，或者人对这些非自然视频内容十分熟悉，所以，HVS对非自然视频内容的敏感度要高于自然视频内容，本实施例可以保持视频图像中的非自然视频内容不变，以便降低对视频主观质量的损伤。
本发明实施例适用于各类编码器。在客观编码效率提升越来越困难的现状下，在保证主观质量的前提下可以达到降低视频码率的效果。
下面针对上述对变换块进行频率系数抑制的过程进行具体描述：
首先，对确定变换块对应的视觉敏感度进行描述。进一步地，针对每个变换块执行如图2所示的步骤。
步骤S210，根据视频图像对应的图像位深，变换块对应的前期拍摄图像块的尺寸，该变换块中的各个频率系数以及各个频率系数分别对应的视角空间频率，确定该变换块的纹理复杂度。
HVS对视频内容的敏感程度与视频内容本身有关系。一般来说，HVS对杂乱无章的视频内容不敏感，却可以轻易地发现规则内容(如字幕)的细小改变。因此，需要一个特征来表征视频内容的杂乱程度，视频内容越杂乱，对该视频内容的抑制量就可以越大。
在本实施例中，变换块的纹理复杂度为变换块的结构性对比指数(StructuralContrast Index，简称SCI)。
变换块的结构性对比指数SCI的计算公式如下：
其中，B表示图像位深；S表示图像块的尺寸；C(ωij)表示变换块中横坐标为i，纵坐标为j的频率系数；ωij表示变换块中的频率系数对应的视角空间频率。在本实施例中，由于图像块的长和宽相同，所以图像块的尺寸为图像块的长或者图像块的宽。N为变换块中横向的坐标点个数或者纵向的坐标点的个数。例如：图像块为8×8，则N为8。
频率系数对应的视角空间频率ωij可以通过如下公式进行计算：
其中，r为预设的观察距离和视频图像的高度的比值，该比值可以是经验值或者通过实验获得的值，在本实施例中，r值可以设置为1.5；h为视频图像的高度(高度分辨率)。
步骤S220，根据该变换块的纹理复杂度，确定该变换块对应的视觉敏感度。
变换块对应的视觉敏感度M可以被视为关于该变换块的纹理复杂度的一个函数。例如：纹理复杂度与变换块对应的视角敏感度M的关系可以确定为：M＝42.5×SCI0.54。
其次，对确定变换块中的每个频率系数对应的视觉敏感度进行描述。进一步地，针对每个变换块执行如图3所示的步骤。
步骤S310，针对变换块中的每个频率系数，根据视频图像的高度对应的像素分辨率，预设的观察距离和该视频图像的高度的比值以及该频率系数在该变换块中的坐标，计算该频率系数对应的视角空间频率。
其中，所述观察距离是指预设的人眼到所述视频图像的距离。观察距离可以是经验值或者通过实验获得的值。
频率系数对应的视角空间频率ωij的计算可以参照步骤S210中的公式。
步骤S320，根据该频率系数对应的视角空间频率，确定该频率系数对应的视觉敏感度。
例如：基于上述为频率系数计算的视角空间频率ωij，该频率系数对应的视角敏感度H(i，j)可以通过如下公式进行确定：
其中，exp表示自然底数的对数函数；a、b和c都为预设参数，a、b和c的参数值分别为经验值或者通过实验获得的值；
表示第一常数；
表示第二常数；
表示中间变量。
最后，对所述变换块进行频率系数抑制处理进行描述。
在对变换块进行频率系数抑制处理的过程中，由于HVS对视频图像中的前期拍摄图像块具有不同的视觉敏感度，所以，可以将变换块对应的视觉敏感度作为该变换块中各个频率系数对应的抑制强度的权重。
在一个实施例中，可以基于变换块中所有的频率系数确定单个频率系数对应的抑制强度。如图4所示，是根据本发明一实施例的对频率系数抑制处理的步骤流程图。
步骤S410，针对变换块中的每个频率系数，根据该频率系数对应的视觉敏感度以及该变换块中的所有频率系数分别对应的视觉敏感度的和，确定该频率系数对应的抑制强度。
例如：可以通过如下公式计算频率系数对应的抑制强度P(i，j)：
步骤S420，根据该频率系数对应的抑制强度以及该变换块对应的视觉敏感度，确定所述频率系数对应的抑制量。
例如：可以通过如下公式计算频率系数对应的抑制量T(i，j)：
T(i，j)＝M·P(i，j)；
其中，T(i，j)表示变换块对应的视角敏感度。T(i，j)为正数。
步骤S430，利用所述频率系数对应的抑制量，对所述频率系数进行抑制，得到所述频率系数对应的频率系数抑制值。
在本实施例中，在得到频率系数对应的抑制量之后，可以采用如下公式对该频率系数进行抑制，得到该频率系数对应的频率系数抑制值：
其中，C(ωij)′为中间频率系数。比较C(ωij)′和C(ωij)，如果C(ωij)′和C(ωij)一个为正数，一个为负数，或者C(ωij)′为0，则频率系数抑制值为0；如果C(ωij)′和C(ωij)都为正数或者都为负数，则频率系数抑制值为C(ωij)′。
在另一实施例中，可以基于预设的视觉敏感度区间，确定单个频率系数对应的抑制强度。如图5所示，是根据本发明另一实施例的对频率系数抑制处理的步骤流程图。
步骤S510，针对变换块中的每个频率系数，根据该频率系数对应的视觉敏感度所属的视觉敏感度区间，确定该视频系数对应的抑制强度。
其中，预先划分多个视觉敏感度区间，并为每个所述视觉敏感度区间对应设置抑制强度。
步骤S520，根据所述频率系数对应的抑制强度以及所述变换块对应的视觉敏感度，确定所述频率系数对应的抑制量。
步骤S530，利用所述频率系数对应的抑制量，对所述频率系数进行抑制，得到所述频率系数对应的频率系数抑制值。
在本实施例中，可以抑制自然视频内容(前期制作图像块)中的高频分量，保护非自然视频内容(后期制作图像块)，将视频图像中HVS难以察觉的高频分量在编码之前移除，这样可以在保证视频主观质量的情况下降低视频编码的码率，避免无法被HVS察觉的图像块占用不必要带宽资源，缓解码率与带宽的矛盾，提高视频服务质量。
本发明还提供了一种视频编码预处理装置。如图6所示，是根据本发明一实施例的视频编码预处理装置的结构图。
该视频编码预处理装置，包括：图像分割模块610，频域转换模块620，频率系数抑制模块630、时域转换模块640和图像生成模块650。
图像分割模块610，用于将视频图像分割为互不重叠的前期拍摄图像块和后期制作图像块。
频域转换模块620，用于对所述前期拍摄图像块进行频域变换，得到所述前期拍摄图像块对应的变换块。
频率系数抑制模块630，用于确定所述变换块对应的视觉敏感度以及确定所述变换块中的每个频率系数对应的视觉敏感度，并根据所述变换块对应的视觉敏感度以及所述变换块中的每个频率系数对应的视觉敏感度，对所述变换块进行频率系数抑制处理。
时域转换模块640，用于对频率系数抑制处理后的所述变换块进行时域变换。
图像生成模块650，用于根据时域变换后的所述变换块和所述后期制作图像块，生成待视频编码的视频图像。
本发明实施例所述的装置的功能已经在上述方法实施例中进行了描述，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。
本实施例提供一种视频编码预处理设备。如图7所示，为根据本发明一实施例的视频编码预处理设备的结构图。
在本实施例中，所述视频编码预处理设备，包括但不限于：处理器710、存储器720。
所述处理器710用于执行存储器720中存储的视频编码预处理程序，以实现上述的视频编码预处理方法。
具体而言，所述处理器710用于执行存储器720中存储的视频编码预处理程序，以实现以下步骤：将视频图像分割为互不重叠的前期拍摄图像块和后期制作图像块；对所述前期拍摄图像块进行频域变换，得到所述前期拍摄图像块对应的变换块；确定所述变换块对应的视觉敏感度以及确定所述变换块中的每个频率系数对应的视觉敏感度，并根据所述变换块对应的视觉敏感度以及所述变换块中的每个频率系数对应的视觉敏感度，对所述变换块进行频率系数抑制处理；对频率系数抑制处理后的所述变换块进行时域变换，并根据时域变换后的所述变换块和所述后期制作图像块，生成待视频编码的视频图像。
其中，所述确定所述变换块对应的视觉敏感度，包括：根据所述视频图像对应的图像位深，所述变换块对应的前期拍摄图像块的尺寸，所述变换块中的各个频率系数以及所述各个频率系数分别对应的视角空间频率，确定所述变换块的纹理复杂度；根据所述变换块的纹理复杂度，确定所述变换块对应的视觉敏感度。
其中，所述变换块的纹理复杂度为所述变换块的结构性对比指数。
其中，所述确定所述变换块中的每个频率系数对应的视觉敏感度，包括：针对所述变换块中的每个频率系数，根据所述视频图像的高度对应的像素分辨率，预设的观察距离和所述视频图像的高度的比值以及所述频率系数在所述变换块中的坐标，计算所述频率系数对应的视角空间频率；根据所述频率系数对应的视角空间频率，确定所述频率系数对应的视觉敏感度。
其中，所述根据所述变换块对应的视觉敏感度以及所述变换块中的每个频率系数对应的视觉敏感度，对所述变换块进行频率系数抑制处理，包括：针对所述变换块中的每个频率系数，根据所述频率系数对应的视觉敏感度，确定所述频率系数对应的抑制强度；其中，所述频率系数对应的视觉敏感度和所述频率系数对应的抑制量为负相关关系；根据所述变换块对应的视觉敏感度和所述频率系数对应的抑制强度，确定所述频率系数对应的抑制量；根据所述频率系数对应的抑制量，对所述频率系数进行频率系数抑制处理，得到所述频率系数对应的频率系数抑制值。
其中，所述根据所述频率系数对应的视觉敏感度，确定所述频率系数对应的抑制强度，包括：根据所述频率系数对应的视觉敏感度以及所述变换块中的所有频率系数分别对应的视觉敏感度的和，确定所述频率系数对应的抑制强度；或者，根据所述频率系数对应的视觉敏感度所属的视觉敏感度区间，确定所述频率系数对应的抑制强度；其中，预先划分多个视觉敏感度区间，并为每个所述视觉敏感度区间对应设置抑制强度。
其中，所述将视频图像分割为互不重叠的前期拍摄图像块和后期制作图像块，包括：将所述视频图像分割为互不重叠的多个图像块；针对每个所述图像块，确定所述图像块中的最大像素值和最小像素值；如果所述图像块中的最大像素值和最小像素值之间的差值大于预设的识别阈值，则将所述图像块作为前期拍摄图像块；反之，则将所述图像块作为后期制作图像块。
本发明实施例还提供了一种计算机可读存储介质。这里的计算机可读存储介质存储有一个或者多个程序。其中，计算机可读存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。
当计算机可读存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述的视频编码预处理方法。由于上面已经对该视频编码预处理方法进行详细描述，故在此不做赘述。
以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (9)
1.一种视频编码预处理方法，其特征在于，包括：
将视频图像分割为互不重叠的前期拍摄图像块和后期制作图像块；
对所述前期拍摄图像块进行频域变换，得到所述前期拍摄图像块对应的变换块；
确定所述变换块对应的视觉敏感度以及确定所述变换块中的每个频率系数对应的视觉敏感度，并根据所述变换块对应的视觉敏感度以及所述变换块中的每个频率系数对应的视觉敏感度，对所述变换块进行频率系数抑制处理，包括：针对所述变换块中的每个频率系数，根据所述频率系数对应的视觉敏感度，确定所述频率系数对应的抑制强度；其中，所述频率系数对应的视觉敏感度和所述频率系数对应的抑制量为负相关关系；根据所述变换块对应的视觉敏感度和所述频率系数对应的抑制强度，确定所述频率系数对应的抑制量；根据所述频率系数对应的抑制量，对所述频率系数进行频率系数抑制处理；
对频率系数抑制处理后的所述变换块进行时域变换，并根据时域变换后的所述变换块和所述后期制作图像块，生成待视频编码的视频图像。
2.根据权利要求1所述的方法，其特征在于，所述确定所述变换块对应的视觉敏感度，包括：
根据所述视频图像对应的图像位深，所述变换块对应的前期拍摄图像块的尺寸，所述变换块中的各个频率系数以及所述各个频率系数分别对应的视角空间频率，确定所述变换块的纹理复杂度；
根据所述变换块的纹理复杂度，确定所述变换块对应的视觉敏感度。
3.根据权利要求2所述的方法，其特征在于，所述变换块的纹理复杂度为所述变换块的结构性对比指数。
4.根据权利要求1所述的方法，其特征在于，所述确定所述变换块中的每个频率系数对应的视觉敏感度，包括：
针对所述变换块中的每个频率系数，根据所述视频图像的高度对应的像素分辨率，预设的观察距离和所述视频图像的高度的比值以及所述频率系数在所述变换块中的坐标，计算所述频率系数对应的视角空间频率；
根据所述频率系数对应的视角空间频率，确定所述频率系数对应的视觉敏感度。
5.根据权利要求1所述的方法，其特征在于，所述根据所述频率系数对应的视觉敏感度，确定所述频率系数对应的抑制强度，包括：
根据所述频率系数对应的视觉敏感度以及所述变换块中的所有频率系数分别对应的视觉敏感度的和，确定所述频率系数对应的抑制强度；或者，
根据所述频率系数对应的视觉敏感度所属的视觉敏感度区间，确定所述频率系数对应的抑制强度；其中，预先划分多个视觉敏感度区间，并为每个所述视觉敏感度区间对应设置抑制强度。
6.根据权利要求1所述的方法，其特征在于，所述将视频图像分割为互不重叠的前期拍摄图像块和后期制作图像块，包括：
将所述视频图像分割为互不重叠的多个图像块；
针对每个所述图像块，确定所述图像块中的最大像素值和最小像素值；
如果所述图像块中的最大像素值和最小像素值之间的差值大于预设的识别阈值，则将所述图像块作为前期拍摄图像块；反之，则将所述图像块作为后期制作图像块。
7.一种视频编码预处理装置，其特征在于，包括：
图像分割模块，用于将视频图像分割为互不重叠的前期拍摄图像块和后期制作图像块；
频域转换模块，用于对所述前期拍摄图像块进行频域变换，得到所述前期拍摄图像块对应的变换块；
频率系数抑制模块，用于确定所述变换块对应的视觉敏感度以及确定所述变换块中的每个频率系数对应的视觉敏感度，并根据所述变换块对应的视觉敏感度以及所述变换块中的每个频率系数对应的视觉敏感度，对所述变换块进行频率系数抑制处理，包括：针对所述变换块中的每个频率系数，根据所述频率系数对应的视觉敏感度，确定所述频率系数对应的抑制强度；其中，所述频率系数对应的视觉敏感度和所述频率系数对应的抑制量为负相关关系；根据所述变换块对应的视觉敏感度和所述频率系数对应的抑制强度，确定所述频率系数对应的抑制量；根据所述频率系数对应的抑制量，对所述频率系数进行频率系数抑制处理；
时域转换模块，用于对频率系数抑制处理后的所述变换块进行时域变换；
图像生成模块，用于根据时域变换后的所述变换块和所述后期制作图像块，生成待视频编码的视频图像。
8.一种视频编码预处理设备，其特征在于，所述视频编码预处理设备包括处理器、存储器；所述处理器用于执行所述存储器中存储的视频编码预处理程序，以实现权利要求1～6中任一项所述的视频编码预处理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～6中任一项所述的视频编码预处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010317855.2A CN111654701B (zh) | 2020-04-21 | 2020-04-21 | 视频编码预处理方法、装置、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010317855.2A CN111654701B (zh) | 2020-04-21 | 2020-04-21 | 视频编码预处理方法、装置、设备和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111654701A CN111654701A (zh) | 2020-09-11 |
| CN111654701B true CN111654701B (zh) | 2022-02-11 |
Family
ID=72352197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010317855.2A Active CN111654701B (zh) | 2020-04-21 | 2020-04-21 | 视频编码预处理方法、装置、设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111654701B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107241607A (zh) * | 2017-07-18 | 2017-10-10 | 厦门大学 | 一种基于多域jnd模型的视觉感知编码方法 |
| CN110139112A (zh) * | 2019-04-29 | 2019-08-16 | 暨南大学 | 一种基于jnd模型的视频编码方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8077773B2 (en) * | 2008-07-19 | 2011-12-13 | Worldplay (Barbados) Inc. | Systems and methods for highly efficient video compression using selective retention of relevant visual detail |
| CN104683801B (zh) * | 2013-11-29 | 2018-06-05 | 华为技术有限公司 | 图像压缩方法和装置 |
| CN110113606A (zh) * | 2019-03-12 | 2019-08-09 | 佛山市顺德区中山大学研究院 | 一种去除人眼感知冗余视频编码的方法、装置和设备 |
-
2020
- 2020-04-21 CN CN202010317855.2A patent/CN111654701B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107241607A (zh) * | 2017-07-18 | 2017-10-10 | 厦门大学 | 一种基于多域jnd模型的视觉感知编码方法 |
| CN110139112A (zh) * | 2019-04-29 | 2019-08-16 | 暨南大学 | 一种基于jnd模型的视频编码方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111654701A (zh) | 2020-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sandić-Stanković et al. | DIBR synthesized image quality assessment based on morphological wavelets | |
| Bhowmik et al. | Visual attention-based image watermarking | |
| CN113994691A (zh) | 用于对图像执行人工智能编码和人工智能解码的设备和方法 | |
| CN108564597B (zh) | 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法 | |
| CN109584185B (zh) | 图像处理方法 | |
| KR20160102524A (ko) | 이미지의 역 톤 매핑을 위한 방법 | |
| CN101853497A (zh) | 一种图像增强方法和装置 | |
| US8885969B2 (en) | Method and apparatus for detecting coding artifacts in an image | |
| CN110232650B (zh) | 一种彩色图像水印嵌入方法、检测方法及系统 | |
| JPH08186714A (ja) | 画像データのノイズ除去方法及びその装置 | |
| Wan et al. | Image bit-depth enhancement via maximum a posteriori estimation of AC signal | |
| KR20110014067A (ko) | 스테레오 컨텐트의 변환 방법 및 시스템 | |
| Sandić-Stanković et al. | Fast blind quality assessment of DIBR-synthesized video based on high-high wavelet subband | |
| Zhang et al. | Single image dehazing based on fast wavelet transform with weighted image fusion | |
| CN113810654A (zh) | 图像视频的上传方法、装置、存储介质以及电子设备 | |
| WO2016033725A1 (zh) | 视频编码中的块分割方式处理方法和相关装置 | |
| JP2002539657A (ja) | 符号化された画像を評価するための処理、装置及び、使用 | |
| Kumar et al. | A multi-image hiding technique in dilated video regions based on cooperative game-theoretic approach | |
| CN112950491B (zh) | 一种视频处理的方法及设备 | |
| CN111654701B (zh) | 视频编码预处理方法、装置、设备和计算机可读存储介质 | |
| TW201622421A (zh) | 用於圖像及視訊之動態範圍恢復之系統及方法 | |
| CN110570441B (zh) | 一种超高清低延时视频控制方法及系统 | |
| Xia et al. | Visual sensitivity-based low-bit-rate image compression algorithm | |
| Niu et al. | A visual saliency modulated just noticeable distortion profile for image watermarking | |
| Mohan | Adaptive super-resolution image reconstruction with lorentzian error norm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |