CN107027027B - 图像的编码、解码方法及装置、以及图像的编解码系统 - Google Patents

图像的编码、解码方法及装置、以及图像的编解码系统 Download PDF

Info

Publication number
CN107027027B
CN107027027B CN201611111206.7A CN201611111206A CN107027027B CN 107027027 B CN107027027 B CN 107027027B CN 201611111206 A CN201611111206 A CN 201611111206A CN 107027027 B CN107027027 B CN 107027027B
Authority
CN
China
Prior art keywords
value
adjustment factor
video
code stream
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611111206.7A
Other languages
English (en)
Other versions
CN107027027A (zh
Inventor
郑喆坤
于胜韬
柯鹏
李明
吴平
尚国强
吴钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Xidian University
Original Assignee
ZTE Corp
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201610066327.8A external-priority patent/CN105828089A/zh
Application filed by ZTE Corp, Xidian University filed Critical ZTE Corp
Priority to PCT/CN2017/077167 priority Critical patent/WO2017129147A1/zh
Priority to US16/084,065 priority patent/US10681350B2/en
Priority to EP17743762.1A priority patent/EP3410726A4/en
Publication of CN107027027A publication Critical patent/CN107027027A/zh
Application granted granted Critical
Publication of CN107027027B publication Critical patent/CN107027027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种图像的编码、解码方法及装置、以及图像的编解码系统，其中，图像的编码方法包括：根据视频图像像素采样值确定调整因子；根据调整因子对视频图像进行变换处理，并对进行变换处理后的视频图像进行编码；将对调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中。通过本发明，解决了相关技术中在编码具体的HDR视频时无法充分利用量化值，以及存在量化损失缺陷的问题，达到了可以更充分的利用量化值，提高HDR视频编码的准确性，降低量化损失的效果。

Description

图像的编码、解码方法及装置、以及图像的编解码系统
技术领域
本发明涉及视频图像编解码领域，具体而言，涉及一种图像的编码、解码方法及装置、以及图像的编解码系统。
背景技术
随着宽带网络和显示技术的不断发展，人们对视频画面的质量有了更高的期望。与普通视频相比，高动态范围(High-Dynamic Range，简称为HDR)视频可同时大幅度拓展对比度和色彩，画面中明亮的部分会更加明亮，从而能够更好的反映真实环境，提高视觉体验。
相关技术中采用的HDR视频存储格式需要占用许多的存储空间。因此，根据HDR视频的特点设计新的编码方法是HDR视频的关键问题。MPEG标准组织采用了感知量化(Perceptual Quantizer，简称为PQ)对HDR视频进行转换，以适应H.265/HEVC Main 10Profile的编码器。
相关技术中基于PQ的HDR视频编码方法是对固定且很大的亮度范围进行统一编码，而没有考虑HDR视频的实际亮度范围，因此基于PQ的HDR视频编码方法在编码具体的HDR视频时往往无法充分利用量化值(编码比特数固定的情况下)，存在量化损失。
针对相关技术中的上述问题，目前尚未存在有效的解决方案。
发明内容
本发明实施例提供了一种图像的编码、解码方法及装置、以及图像的编解码系统，以至少解决相关技术中在编码具体的HDR视频时无法充分利用量化值，以及存在量化损失缺陷的问题。
根据本发明的一个方面，提供了一种基于自适应感知量化的视频编码方法，基于编码端；所述基于自适应感知量化的视频编码方法，包括：根据待处理的视频图像，确定量化调整因子；根据所述量化调整因子，对所述待处理的视频图像进行处理，得到视频码流；对所述量化调整因子进行处理，结合所述视频码流得到输入码流；将所述输入码流传送至编/解码器进行编码、解码处理。
进一步地，根据待处理的视频图像，确定量化调整因子包括：将所述待处理的视频图像进行色彩空间转换，获取转换后视频图像的亮度分量；提取所述亮度分量中的亮度最大值和亮度最小值；根据所述亮度最大值和所述亮度最小值，确定量化调整因子。
进一步地，根据所述最大值和所述最小值，确定量化调整因子，包括：基于公式一，确定量化调整因子ratio，
Figure BDA0001172551250000021
其中，Ymax为亮度最大值，Ymin亮度最小值。
进一步地，根据所述量化调整因子，对所述待处理的视频图像进行处理，得到视频码流，包括：基于公式二，确定自适应编码函数APQ_TF(L)，
Figure BDA0001172551250000022
其中，
Figure BDA0001172551250000023
其中，系数m1、m2分别为0.1593、78.8438，系数c1、c2和c3分别为0.8359、18.8516和18.6875；
提取所述待处理的视频图像的像素值分量；基于所述自适应编码函数APQ_TF(L)对所述像素值分量进行校正，得到校正分量；对所述校正分量进行处理，得到视频码流。
进一步地，对所述量化调整因子进行处理，结合所述视频码流得到输入码流，包括：对所述量化调整因子进行二值化处理，将处理结构进行编码得到编码码流；将所述编码码流写入到数据单元中，结合所述视频码流，得到带有所述编码码流的输入码流；其中，所述数据单元包括：参数集，或辅助信息单元，或用户自定义数据单元。
根据本发明的另一个方面，提供了一种基于自适应感知量化的视频编码方法，基于解码端；所述基于自适应感知量化的高动态范围视频压缩编码方法，包括：解析输入码流，获取量化调整因子和待恢复视频码流；根据所述量化调整因子，对所述待恢复视频码流进行处理，得到最终视频图像。
进一步地，解析所述输入码流，获取量化调整因子和待恢复视频码流，包括：解析所述输入码流，从所述输入码流中获取待恢复视频码流和数据单元；从所述数据单元中获取编码码流；对所述编码码流进行处理，获取量化调整因子；其中，所述数据单元包括：参数集，或辅助信息单元，或用户自定义数据单元。
进一步地，根据所述量化调整因子，对所述待恢复视频码流进行处理，得到最终视频图像，包括：对所述待恢复视频码流进行处理，得到待恢复视频图像，提取所述待恢复视频图像的像素值分量；根据所述量化调整因子ratio，基于公式三，确定自适应逆编码函数inverseAPQ_TF，
Figure BDA0001172551250000031
其中，
Figure BDA0001172551250000032
其中，系数m1、m2分别为0.1593、78.8438，c1、c2和c3分别为0.8359、18.8516和18.6875，函数max(x,y)表示取两者之间的最大值；基于所述自适应逆编码函数inverseAPQ_TF，对所述待恢复视频图像的像素值分量进行校正，得到校正分量；基于所述校正分量，进行重建，得到最终视频图像。
根据本发明的另一个方面，提供管理一种基于自适应感知量化的视频编码系统，所述基于自适应感知量化的视频编码系统，包括：第一控制单元，用于执行如上述所述的基于自适应感知量化的视频编码方法；第二控制单元，用于执行如上述的基于自适应感知量化的视频编码方法。
根据本发明的再一个方面，提供了一种图像的编码方法，包括：根据视频图像像素采样值确定调整因子；根据所述调整因子对所述视频图像进行变换处理，并对进行变换处理后的视频图像进行编码；将对所述调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中。
进一步地，根据视频图像像素采样值确定调整因子包括：将所述视频图像像素采样值转换为像素亮度值；确定所述像素亮度值中的亮度最大值和亮度最小值；根据所述亮度最大值和所述亮度最小值确定所述调整因子。
进一步地，根据所述亮度最大值和所述亮度最小值确定所述调整因子包括：计算所述亮度最大值和所述亮度最小值之间的差值；将所述差值的对数值的线性加权值设置为第一调整因子；将所述第一调整因子设置为所述调整因子；或，将所述第一调整因子的倒数值设置为所述调整因子。
进一步地，根据所述调整因子对所述视频图像进行变换处理包括：根据所述调整因子对所述视频图像的像素采样值的采样分量进行校正处理；根据进行校正处得到的输出值得到所述采样分量的变换值。
进一步地，对所述视频图像的像素采样值的采样分量进行校正处理的方式包括：对所述采样分量进行以所述调整因子或所述调整因子加权值为幂次的映射。
进一步地，将对所述调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中包括：对所述调整因子取值进行二值化处理；对进行二值化处理的输出进行编码，并将编码比特写入所述视频图像的编码码流中的数据单元；其中，所述数据单元包括以下至少之一：参数集、辅助信息单元、用户自定义数据单元。
进一步地，对所述调整因子取值进行二值化处理的方式至少包括以下之一：将所述调整因子取值转换为二进制表示的数值；将所述调整因子取值转换为一个或多个整数参数的二进制表示的数值。
根据本发明的又一个方面，提供了一种图像的编码装置，包括：确定模块，用于根据视频图像像素采样值确定调整因子；编码模块，用于根据所述调整因子对所述视频图像进行变换处理，并对进行变换处理后的视频图像进行编码；写入模块，用于将对所述调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中。
进一步地，所述确定模块包括：转换单元，用于将所述视频图像像素采样值转换为像素亮度值；第一确定单元，用于确定所述像素亮度值中的亮度最大值和亮度最小值；第二确定单元，用于根据所述亮度最大值和所述亮度最小值确定所述调整因子。
进一步地，所述第二确定单元包括：计算子单元，用于计算所述亮度最大值和所述亮度最小值之间的差值；第一设置子单元，用于将所述差值的对数值的线性加权值设置为第一调整因子；第二设置子单元，用于将所述第一调整因子设置为所述调整因子；或，将所述第一调整因子的倒数值设置为所述调整因子。
进一步地，所述编码模块包括：第一校正单元，用于根据所述调整因子对所述视频图像的像素采样值的采样分量进行校正处理；编码单元，用于根据进行校正处得到的输出值得到所述采样分量的变换值。
进一步地，所述第一校正单元包括：第一映射子单元，用于对所述采样分量进行以所述调整因子或所述调整因子加权值为幂次的映射。
进一步地，所述写入模块包括：二值化单元，用于对所述调整因子取值进行二值化处理；写入单元，用于对进行二值化处理的输出进行编码，并将编码比特写入所述视频图像的编码码流中的数据单元；其中，所述数据单元包括以下至少之一：参数集、辅助信息单元、用户自定义数据单元。
进一步地，所述二值化单元至少包括以下之一：第一转换子单元，用于将所述调整因子取值转换为二进制表示的数值；第二转换子单元，用于将所述调整因子取值转换为一个或多个整数参数的二进制表示的数值。
根据本发明的再一个方面，提供了一种图像的解码方法，包括：对码流进行解析，获取调整因子；根据所述调整因子，对解码恢复图像进行变换；其中，所述解码恢复图像包括：解码所述码流得到的图像，或解码所述码流得到的图像经过后处理的图像。
进一步地，对码流进行解析，并获取解析后码流中的调整因子包括：对所述码流中的数据单元进行解析以获取用于确定所述调整因子的参数；其中，所述数据单元包括以下至少之一：参数集、辅助信息单元、用户自定义数据单元；根据所述参数确定所述调整因子的取值。
进一步地，根据所述参数确定所述调整因子的取值包括：将所述参数的取值设置为所述调整因子的取值；或，对所述参数按照预设运算规则进行计算后的输出值设置为所述调整因子的取值。
进一步地，根据所述调整因子，对解码恢复图像进行变换包括：根据所述调整因子对所述解码恢复图像的像素采样值的采样分量进行校正处理；根据校正处理得到的输出值计算所述采样分量的变换值。
进一步地，对所述解码恢复图像的像素采样值的采样分量进行校正处理的方式包括：对所述采样分量进行以所述调整因子或所述调整因子加权值为幂次的映射。
根据本发明的再一个方面，提供了一种图像的解码装置，包括：解码模块，用于对码流进行解析，获取调整因子；变换模块，用于根据所述调整因子，对解码恢复图像进行变换；其中，所述解码恢复图像包括：解码所述码流得到的图像，或解码所述码流得到的图像经过后处理的图像。
进一步地，所述解码模块包括：解码单元，用于对所述码流中的数据单元进行解析以获取用于确定所述调整因子的参数；其中，所述数据单元包括以下至少之一：参数集、辅助信息单元、用户自定义数据单元；第三确定单元，用于根据所述参数确定所述调整因子的取值。
进一步地，所述第三确定单元包括：第三设置子单元，用于将所述参数的取值设置为所述调整因子的取值；或，第四设置子单元，用于对所述参数按照预设运算规则进行计算后的输出值设置为所述调整因子的取值。
进一步地，所述变换模块包括：第二校正单元，用于根据所述调整因子对所述解码恢复图像的像素采样值的采样分量进行校正处理；计算单元，用于根据校正处理得到的输出值计算所述采样分量的变换值。
进一步地，所述第二校正单元包括：第二映射子单元，用于对所述采样分量进行以所述调整因子或所述调整因子加权值为幂次的映射。
根据本发明的又一个方面，提供了一种图像的编解码系统，其特征在于，包括上述任一项所述的编码装置，和上述任一项所述的图像解码装置。
本发明实施例，采用根据待处理的视频图像，确定量化调整因子；根据所述量化调整因子，对所述待处理的视频图像进行处理，得到视频码流；对所述量化调整因子进行处理，结合所述视频码流得到输入码流；将所述输入码流传送至编/解码器进行编码、解码处理，解决了相关技术中在编码具体的HDR视频时无法充分利用量化值，以及存在量化损失缺陷的问题，达到了可以更充分的利用量化值，提高HDR视频编码的准确性，降低量化损失的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的基于自适应感知量化的视频图像编解码方法的流程图；
图2是根据本发明实施例提供的基于自适应感知量化的视频编码系统的结构示意图；
图3是根据本发明实施例的图像的编码方法流程图；
图4是根据本发明实施例的图像的编码装置结构示意图；
图5是根据本发明实施例的图像的解码方法的流程图；
图6是根据本发明实施例的图像的解码装置的结构示意图；
图7(a)是本发明提供的使用HDR anchor对Market3进行编码得到的重建帧；
图7(b)是本发明提供的使用HDR anchor对Market3进行编码得到的重建帧的局部放大图；
图7(c)是本发明提供的一种基于自适应感知量化的视频编码方法对Market3进行编码得到的重建帧；
图7(d)是本发明提供的一种基于自适应感知量化的视频编码方法对Market3进行编码得到的重建帧的局部放大图；
图8(a)是本发明提供的使用HDR anchor对Balloon进行编码得到的重建帧；
图8(b)是本发明提供的使用HDR anchor对Balloon进行编码得到的重建帧的局部放大图一；
图8(c)是本发明提供的使用HDR anchor对Balloon进行编码得到的重建帧的局部放大图二；
图8(d)是本发明提供的一种基于自适应感知量化的视频编码方法对Balloon进行编码得到的重建帧；
图8(e)是本发明提供的一种基于自适应感知量化的视频编码方法对Balloon进行编码得到的重建帧的局部放大图一；
图8(f)是本发明提供的一种基于自适应感知量化的视频编码方法对Balloon进行编码得到的重建帧的局部放大图二。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例一
本发明提供了一种基于自适应感知量化的视频编码方法，图1是根据本发明实施例的基于自适应感知量化的视频图像编解码方法的流程图，如图1所示，该编解码方法分为编码和解码两部分，以下分别进行描述。
在编码端，该基于自适应感知量化的高动态范围视频压缩编码方法，包括：
步骤S11、根据待处理的视频图像，确定量化调整因子。
步骤S12、根据所述量化调整因子，对所述待处理的视频图像进行处理，得到视频码流。
步骤S13、对所述量化调整因子进行处理，结合所述视频码流得到输入码流。
步骤S14、将所述输入码流传送至编/解码器进行编码、解码处理。
基于上述步骤S11至S14，在本发明的实施中，首先获取量化调整因子，接着根据量化调整因子对待处理的视频进行处理，得到处理后的视频码流。另外，对量化调整因子进行处理，将处理结果结合视频码流得到输入码流，通过上述于自适应感知量化的视频编码方法，可见，在本实施例中对视频的处理使用了自适应的调整方式，而自适应的调整量化区间的大小能够由计算得到的量化调整因子调整，而量化调整因子与待处理图像相关，因此，在编码比特数固定的情况下，可以更充分的利用量化值，提高HDR视频编码的准确性，降低量化损失，从而解决了相关技术中在编码具体的HDR视频时往往无法充分利用量化值，并且存在量化损失的缺陷的问题，
在本发明的实施例中，以16bit HDR视频为例，对本发明中提出的方法进行说明。
本发明提出了一种基于自适应感知量化的视频编码方法，包括根据待处理的视频图像，确定量化调整因子，根据所述量化调整因子，对所述待处理的视频图像进行处理，得到视频码流，对所述量化调整因子进行处理，结合所述视频码流得到输入码流。通过使用感知驱动方法对HDR视频进行编码，不仅能够对人眼可见的亮度范围进行编码，而且有效的减少了编码需要的比特数，并且根据输入HDR视频的亮度范围自适应的调整量化区间的大小，在编码比特数固定的情况下，可以更充分的利用量化值，提高HDR视频编码的准确性，降低量化损失。
可选的，根据待处理的视频图像，确定量化调整因子，包括：
将所述待处理的视频图像进行色彩空间转换，获取转换后视频图像的亮度分量；
提取所述亮度分量中的亮度最大值和亮度最小值；
根据所述亮度最大值和所述亮度最小值，确定量化调整因子。
在实施中，步骤S11的实现方式可以包括：
步骤S101、将所述待处理的视频图像进行色彩空间转换，获取转换后视频图像的亮度分量。
步骤S102、提取所述亮度分量中的亮度最大值和亮度最小值。
步骤S103、根据所述亮度最大值和所述亮度最小值，确定量化调整因子。
在本发明实施例中，为了获取量化调整因子，首先，将待处理的视频图像进行色彩空间转换，即从RGB色彩空间转换至YCbCr色彩空间，并在转换后，提取视频图像中每个像素的亮度分量即Y分量。
可选地的，转换及提取公式为：
Y＝0.262700*R+0.678000*G+0.059300*B，
其中，R为所述待处理的高动态范围视频中单个像素红色分量的数值，G为所述待处理的高动态范围视频中单个像素绿色分量的数值，B为所述待处理的高动态范围视频中单个像素蓝色分量的数值。
接着，在获取到视频图像中每个像素的亮度分量后，提取其中的亮度最大值和亮度最小值。
最后，基于获取到的亮度最大值和亮度最小值，确定与每个像素对应的量化调整因子，具体的确定过程如下。
可选的，根据所述最大值和所述最小值，确定量化调整因子，包括：
基于公式一，确定量化调整因子ratio，
Figure BDA0001172551250000111
其中，Ymax为亮度最大值，Ymin亮度最小值。
在实施中，确定与每个像素对应的量化调整因子，具体的确定过程如公式一所示。
值得注意的是，量化调整因子ratio的表达式还可以为：
Figure BDA0001172551250000112
之所以设置为上述形式，是考虑到在计算机中进行浮点运算处理时，通过两个分式相加的形式，可以提高数据处理精度。
可选的，根据所述量化调整因子，对所述待处理的视频图像进行处理，得到视频码流，包括：
基于公式二，确定自适应编码函数APQ_TF(L)，
Figure BDA0001172551250000121
其中，
Figure BDA0001172551250000122
其中，系数m1、m2分别为0.1593、78.8438，系数c1、c2和c3分别为0.8359、18.8516和18.6875；
提取所述待处理的视频图像的像素值分量；
基于所述自适应编码函数APQ_TF(L)对所述像素值分量进行校正，得到校正分量；
对所述校正分量进行处理，得到视频码流。
在实施中，在获取到量化调整因子后，得到视频码流的方式即步骤S12可以通过如下方式来实现：
步骤S201、基于公式二，确定自适应编码函数APQ_TF(L)，
Figure BDA0001172551250000123
其中，
Figure BDA0001172551250000124
其中，系数m1、m2分别为0.1593、78.8438，系数c1、c2和c3分别为0.8359、18.8516和18.6875。
步骤S202、提取所述待处理的视频图像的像素值分量。
这里提取的像素值分量，即待处理的视频图像中每个像素在RGB色彩空间中三个通道的分量。
步骤S203、基于所述自适应编码函数APQ_TF(L)对所述像素值分量进行校正，得到校正分量。
基于步骤S201中构建的自适应编码函数APQ_TF(L)，对待处理的视频图像中每个像素值在RGB色彩空间中三个通道的分量进行校正，处理具体参照的公式如下：
Figure BDA0001172551250000131
其中，R为待处理的视频图像中单个像素红色分量的数值，G为待处理的视频图像中单个像素绿色分量的数值，B为待处理的视频图像中单个像素蓝色分量的数值，R'为校正后待处理的视频图像中单个像素红色分量的数值，G'为校正后待处理的视频图像中单个像素绿色分量的数值，B'为校正后待处理的视频图像中单个像素蓝色分量的数值，函数max(x,y)表示取两者之间的最大值，min(x,y)表示取两者之间的最小值。
基于上述公式进行校正后，得到与待处理的视频中每个像素对应的新的分量数值。
步骤S204、对所述校正分量进行处理，得到视频码流。
基于步骤S203校正后得到的结果，得到视频码流的处理包含如下步骤：
(1)颜色空间变换：从R'G'B'到Y'CbCr。
其中，从R'G'B'色彩空间向Y'CbCr色彩空间进行转换时使用的转换矩阵。根据上述转换矩阵T为：
Figure BDA0001172551250000132
(2)将颜色变换后的视频量化到10比特范围。
具体需要执行以下步骤：
首先，提取色彩空间变换后的视频中Y’分量的比特深度BitDepthY，提取所述变换后的视频中Cb分量和Cr分量BitDepthC。
在具体实施方式中，由于需要将待处理的高动态范围视频的量化范围从16比特转换为10比特，因此，这里的BitDepthY和BitDepthC均取目标值10。
其次，根据公式五获取量化后视频中与Y’分量对应的量化值DY'，以及与Cb分量对应的量化值DCb，与Cr对应的量化值DCr，
Figure BDA0001172551250000141
其中，Round(x)＝Sign(x)*Floor(Abs(x)+0.5)
为了完成以上中的计算步骤，
第一，根据
Figure BDA0001172551250000142
Figure BDA0001172551250000143
以及Floor(x)取小于或等于x的最大整数的条件确定函数Round(x)的表达式。
第二，根据以上公式的表达式，分别确定与Y’分量对应的量化值DY'，以及与Cb分量对应的量化值DCb，与Cr对应的量化值DCr的数值，其中的＜＜表示左移运算符。
这一过程是由标准的测试框架决定的。解码器输出的视频每个像素是10比特的整数，而最终重构的视频要求每个像素点的比特数是16比特，因此需要进行反量化处理。
(3)通过下采样的处理使得视频格式从4:4:4变换到4:2:0。
该部分的内容在现有技术中存在类似方案，因此不再对其进行赘述。
可选的，对所述量化调整因子进行处理，结合所述视频码流得到输入码流，包括：
对所述量化调整因子进行二值化处理，将处理结构进行编码得到编码码流；
将所述编码码流写入到数据单元中，结合所述视频码流，得到带有所述编码码流的输入码流；
其中，所述数据单元包括参数集，或辅助信息单元，或用户自定义数据单元。
在实施中，步骤S13具体的处理方式可以包括：
S301、对所述量化调整因子进行二值化处理，将处理结构进行编码得到编码码流。
这里的二值化处理，可以为将量化调整因子的取值直接转换为二进制表示的数值，或者基于数据处理精度较高的需求，将量化调整因子取值转换为一个或多个整数参数的二进制表示的数值。详情可以参考前文中对公式一的相关解释。
S302、将所述编码码流写入到数据单元中，结合所述视频码流，得到带有所述编码码流的输入码流。
这里的数据单元包括参数集，或辅助信息单元，或用户自定义数据单元。
本步骤之所以进行如S301至S302所示的处理过程，是考虑到为了能够将视频码流能够准确的进行编码处理，特增加了对视频码流的描述参数这一变量，变量中包含有视频码流的具体参数。
在现有的视频编码协议中，相关的描述参数可以存储在参数集、辅助信息单元、用户自定义数据单元这三者中的任何一个中，在进行实际编码时，可以根据开发者的具体情况，在三者中选取一个进行使用。
在步骤S302执行完毕后，得到包含视频码流和编码码流的输入码流。输入码流输入至HEVC Main 10编/解码器中，进行后续编码和解码处理。
对应的，基于解码端，所述基于自适应感知量化的高动态范围视频压缩编码方法，包括：
步骤S21、从编/解码器中获取输出码流，解析所述输出码流，获取量化调整因子和待恢复视频码流。
步骤S22、根据所述量化调整因子，对所述待恢复视频码流进行处理，得到最终视频图像。
在实施中，编/解码器对输入码流进行编码和解码，得到输出码流。
在解码端，对输出码流进行解析，根据解析出的内容进行处理，并获取到能够降低量化损失的最终视频图像。
可选的，解析所述输入码流，获取量化调整因子和待恢复视频码流，包括：解析所述输入码流，从所述输入码流中获取待恢复视频码流和数据单元；从所述数据单元中获取编码码流；对所述编码码流进行处理，获取量化调整因子；其中，所述数据单元包括参数集，或辅助信息单元，或用户自定义数据单元。
在本发明实施例中，步骤S21中的方式可以通过如下方式来实现：
S401、解析所述输入码流，从所述输入码流中获取待恢复视频码流和数据单元。
解析得到的待恢复视频码流用于后续步骤中处理，得到最终视频图像。
S402、从所述数据单元中获取编码码流。
在步骤S302中提到对视频码流的描述参数的变量存储在参数集、辅助信息单元、用户自定义数据单元这三者中的任何一个中，因此，本步骤从上述三者中提取先前存储的编码码流。
S403、对所述编码码流进行处理，获取量化调整因子。
为了得到量化调整因子，可以将编码码流中的参数取值设置为量化调整因子，或者将编码码流中的参数按照设定运算规则进行计算后的输出值作为量化调整因子。
在获取到量化调整因子后，在后续步骤中基于量化调整因子对待恢复视频码流进行处理。
可选的，根据所述量化调整因子，对所述待恢复视频码流进行处理，得到最终视频图像，包括：
对所述待恢复视频码流进行处理，得到待恢复视频图像，提取所述待恢复视频图像的像素值分量；
根据所述量化调整因子ratio，基于公式三，确定自适应逆编码函数inverseAPQ_TF，
Figure BDA0001172551250000171
其中，
Figure BDA0001172551250000172
其中，系数m1、m2分别为0.1593、78.8438，c1、c2和c3分别为0.8359、18.8516和18.6875，函数max(x,y)表示取两者之间的最大值；
基于所述自适应逆编码函数inverseAPQ_TF，对所述待恢复视频图像的像素值分量进行校正，得到校正分量；
基于所述校正分量，进行重建，得到最终视频图像。
在实施中，即步骤S22的实现方式可以包括：
S501、对所述待恢复视频码流进行处理，得到待恢复视频图像，提取所述待恢复视频图像的像素值分量。
本步骤获取待恢复视频图像的过程包含如下步骤：
(1)通过上采样的处理使得视频格式从4:2:0变换到4:4:4。
这里其实是上述步骤S204中(3)的逆向处理过程，相同的是，该部分的内容在现有技术中存在类似方案，因此不再对其进行赘述。
(2)将色度上采样后的视频反量化。
首先提取上采样处理后的视频中Y’分量的比特深度BitDepthY，提取所述逆变换后的视频中Cb分量和Cr分量BitDepthC，同时获取逆变换后的视频中与Y’分量对应的量化值DY'，以及与Cb分量对应的量化值DCb，与Cr对应的量化值DCr；
根据下边的公式将上采样处理后的视频反量化到原始比特范围，得到由分量Y'、Cb和Cr构成的反量化后的视频
Figure BDA0001172551250000181
其中，函数
Figure BDA0001172551250000182
函数Clip3的具体表达式为
Figure BDA0001172551250000183
经过本步骤处理后，既可以将前一步进行上采样处理后的视频从10比特范围转换为原始的16比特范围，以便于后续步骤的继续处理。
这一过程是由标准的测试框架决定的。解码器输出的视频每个像素是10比特的整数，而最终重构的视频要求每个像素点的比特数是16比特，因此需要进行反量化处理。
(3)颜色空间反变换：从Y'CbCr到R'G'B'。
此时在进行完(2)的处理过程后得到反量化后的视频，还需要将反量化后的视频的色彩空间进行反变换，即从Y'CbCr色彩空间转换至原始的R'G'B'色彩空间。具体反变换依据的公式为
Figure BDA0001172551250000184
根据上述公式对反量化后的视频进行色彩空间反变换，
其中的ClipRGB(x)＝Clip3(0,1,x)。
这里之所以需要进行色彩空间反变换，是由标准的测试框架决定的。解码器输出的视频是YCbCr格式，而最终得到的视频要求是RGB格式。
S502、根据所述量化调整因子ratio，基于公式三，确定自适应逆编码函数inverseAPQ_TF，
Figure BDA0001172551250000191
其中，
Figure BDA0001172551250000192
其中，系数m1、m2分别为0.1593、78.8438，c1、c2和c3分别为0.8359、18.8516和18.6875，函数max(x,y)表示取两者之间的最大值。
S503、基于所述自适应逆编码函数inverseAPQ_TF，对所述待恢复视频图像的像素值分量进行校正，得到校正分量。
根据所述自适应的逆编码函数inverseAPQ_TF，对待恢复视频图像的像素值分量进行校正，校正过程依据的公式为：
Figure BDA0001172551250000193
其中，R'为反变换后的视频中单个像素红色分量的数值，G'为反变换后的视频中单个像素绿色分量的数值，B'为反变换后的视频中单个像素蓝色分量的数值，R为校正后的视频中单个像素红色分量的数值，G为校正后的视频中单个像素绿色分量的数值，B为校正后的视频中单个像素蓝色分量的数值。
校正后，得到与待恢复视频图像中每个像素对应的R、G、B三个通道对应的分量数值。
S504、基于所述校正分量，进行重建，得到最终视频图像。
基于步骤S503处理后得到的与待恢复视频图像中每个像素对应的R、G、B三个通道对应的分量数值，进行图像重建，得到最终的视频图像。
整个处理过程中，在根据输入待处理视频亮度的最大和最小值，计算得到量化调整因子。根据量化调整因子，得到自适应的编码变换函数，对输入的待处理视频进行转换。将量化调整因子写入视频图像的编码码流。对经过自适应编码变换函数转换的视频做预处理，转换为HEVC Main 10支持的格式。使用HEVC Main 10，对预处理后的视频进行编码和解码。对解码后的视频做后处理。解析码流，获得量化调整因子。根据量化调整因子，得到自适应的逆编码变换函数，对经过后处理的视频进行转换，得到重建的HDR视频。
通过使用基于HVS的感知驱动方法对HDR视频进行编码。不仅能够对人眼可见的亮度范围进行编码，而且有效的减少了编码需要的比特数。还根据输入HDR视频的亮度范围自适应的调整量化区间的大小，在编码比特数固定的情况下，可以更充分的利用量化值，提高HDR视频编码的准确性。
在处理过程中对人眼不敏感的区域分配较少的比特，对人眼敏感的区域分配较多的比特，从而在编码比特数固定的情况下得到满意的结果。量化调整因子的计算与输入HDR视频的亮度有关。原来的方法(即PQ)是把亮度范围取为一个固定值，所提的方法是根据视频计算亮度范围。亮度范围越大对应的失真越大，越小对应的失真越小(在相同比特数情况下)，因此所提方法的失真小于原来的方法。详细的结果验证请参考后文中的仿真实验结果。
本发明提出了一种基于自适应感知量化的视频编码方法，包括根据待处理的视频图像，确定量化调整因子，根据所述量化调整因子，对所述待处理的视频图像进行处理，得到视频码流，对所述量化调整因子进行处理，结合所述视频码流得到输入码流。通过使用感知驱动方法对HDR视频进行编码，不仅能够对人眼可见的亮度范围进行编码，而且有效的减少了编码需要的比特数，并且根据输入HDR视频的亮度范围自适应的调整量化区间的大小，在编码比特数固定的情况下，可以更充分的利用量化值，提高HDR视频编码的准确性，降低量化损失。
实施例二
一种基于自适应感知量化的视频编码系统，图2是根据本发明实施例提供的基于自适应感知量化的视频编码系统的结构示意图，图2所示，所述基于自适应感知量化的视频编码系统，包括：
第一控制单元31，用于执行上述基于自适应感知量化的视频编码方法中的编码方法；
第二控制单元32，用于执行上述基于自适应感知量化的视频编码方法中的解码方法。
本发明提出了一种基于自适应感知量化的视频编码系统，包括根据待处理的视频图像，确定量化调整因子，根据所述量化调整因子，对所述待处理的视频图像进行处理，得到视频码流，对所述量化调整因子进行处理，结合所述视频码流得到输入码流。通过使用感知驱动方法对HDR视频进行编码，不仅能够对人眼可见的亮度范围进行编码，而且有效的减少了编码需要的比特数，并且根据输入HDR视频的亮度范围自适应的调整量化区间的大小，在编码比特数固定的情况下，可以更充分的利用量化值，提高HDR视频编码的准确性，降低量化损失。
对应于上述实施例一和实施例二，本发明实施例还提供了一种图像的编码方法和图像的解码方法；
实施例三
本发明实施例提供了一种图像的编码方法对应于实施例一，图3是根据本发明实施例的图像的编码方法流程图，如图3所示，该方法的步骤包括：
步骤S302：根据视频图像像素采样值确定调整因子；
步骤S304：根据调整因子对视频图像进行变换处理，并对进行变换处理后的视频图像进行编码；
步骤S306：将对调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中。
可选地，对于上述步骤S302中根据视频图像像素采样值确定调整因子的方式，可以通过如下方式来实现：
步骤S302-1：将视频图像像素采样值转换为像素亮度值；
步骤S302-2：确定像素亮度值中的亮度最大值和亮度最小值；
步骤S302-3：根据亮度最大值和亮度最小值确定调整因子。
可选地，对于上述步骤S302-3中根据亮度最大值和亮度最小值确定调整因子的方式，可以包括：
S302-31：计算亮度最大值和亮度最小值之间的差值；
S302-32：将差值的对数值的线性加权值设置为第一调整因子；
S302-33：将第一调整因子设置为调整因子；或，将第一调整因子的倒数值设置为调整因子。
可选地，对于本发明实施例中步骤S304根据调整因子对视频图像进行变换处理的方式，可以包括：
步骤S304-1：根据调整因子对视频图像的像素采样值的采样分量进行校正处理；
步骤S304-2：根据进行校正处得到的输出值得到采样分量的变换值。
需要说明的是，上述对视频图像的像素采样值的采样分量进行校正处理的方式包括：对采样分量进行以调整因子或调整因子加权值为幂次的映射。
可选地，在本实施例的步骤S306中将对调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中的方式，可以包括：
步骤S306-1：对调整因子取值进行二值化处理；
步骤S306-2：对进行二值化处理的输出进行编码，并将编码比特写入视频图像的编码码流中的数据单元；其中，数据单元包括以下至少之一：参数集、辅助信息单元、用户自定义数据单元。
可选地，上述对调整因子取值进行二值化处理的方式至少包括以下之一：将调整因子取值转换为二进制表示的数值；将调整因子取值转换为一个或多个整数参数的二进制表示的数值。
基于上述图像的编码方法，本实施例提供了一种图像的编码装置，图4是根据本发明实施例的图像的编码装置结构示意图，如图4所示，该装置包括：确定模块42，用于根据视频图像像素采样值确定调整因子；编码模块44，与确定模块42耦合链接，用于根据调整因子对视频图像进行变换处理，并对进行变换处理后的视频图像进行编码；写入模块46，与编码模块44耦合链接，用于将对调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中。
可选地，确定模块包括：转换单元，用于将视频图像像素采样值转换为像素亮度值；第一确定单元，与转换单元耦合链接，用于确定像素亮度值中的亮度最大值和亮度最小值；第二确定单元，与第一确定单元耦合链接，用于根据亮度最大值和亮度最小值确定调整因子。
可选地，第二确定单元包括：计算子单元，用于计算亮度最大值和亮度最小值之间的差值；第一设置子单元，与计算子单元耦合链接，用于将差值的对数值的线性加权值设置为第一调整因子；第二设置子单元，与第一设置子单元耦合链接，用于将第一调整因子设置为调整因子；或，将第一调整因子的倒数值设置为调整因子。
可选地，该编码模块44包括：第一校正单元，用于根据调整因子对视频图像的像素采样值的采样分量进行校正处理；编码单元，与第一校正单元耦合链接，用于根据进行校正处得到的输出值得到采样分量的变换值。
其中，第一校正单元包括：第一映射子单元，用于对采样分量进行以调整因子或调整因子加权值为幂次的映射。
可选地，该写入模块46包括：二值化单元，用于对调整因子取值进行二值化处理；写入单元，与二值化单元耦合链接，用于对进行二值化处理的输出进行编码，并将编码比特写入视频图像的编码码流中的数据单元；其中，数据单元包括以下至少之一：参数集、辅助信息单元、用户自定义数据单元。
可选地，二值化单元至少包括以下之一：第一转换子单元，用于将调整因子取值转换为二进制表示的数值；第二转换子单元，用于将调整因子取值转换为一个或多个整数参数的二进制表示的数值。
实施例四
对应于上述实施例二，本发明实施例还提供了一种图像的解码方法，图5是根据本发明实施例的图像的解码方法的流程图，如图5所示，该方法的步骤包括：
步骤S502：对码流进行解析，获取调整因子；
步骤S504：根据调整因子，对解码恢复图像进行变换；
其中，解码恢复图像包括：解码码流得到的图像，或解码码流得到的图像经过后处理的图像。
可选地，本发明实施例中，步骤S502对码流进行解析，并获取解析后码流中的调整因子包括：
步骤S502-1：对码流中的数据单元进行解析以获取用于确定调整因子的参数；其中，数据单元包括以下至少之一：参数集、辅助信息单元、用户自定义数据单元；
步骤S502-2：根据参数确定调整因子的取值。
其中，根据参数确定调整因子的取值包括：将参数的取值设置为调整因子的取值；或，对参数按照预设运算规则进行计算后的输出值设置为调整因子的取值。
可选地，上述步骤S504中根据调整因子，对解码恢复图像进行变换的方式可以包括：
步骤S504-1：根据调整因子对解码恢复图像的像素采样值的采样分量进行校正处理；
步骤S504-2：根据校正处理得到的输出值计算采样分量的变换值。
其中，对解码恢复图像的像素采样值的采样分量进行校正处理的方式包括：对采样分量进行以调整因子或调整因子加权值为幂次的映射。
基于上述图像的解码方法还提供了一种图像的解码装置，图6是根据本发明实施例的图像的解码装置的结构示意图，如图6所示，该装置包括：解码模块62，用于对码流进行解析，获取调整因子；变换模块64，与解码模块62耦合链接，用于根据调整因子，对解码恢复图像进行变换；其中，解码恢复图像包括：解码码流得到的图像，或解码码流得到的图像经过后处理的图像。
可选地，该解码模块62包括：解码单元，用于对码流中的数据单元进行解析以获取用于确定调整因子的参数；其中，数据单元包括以下至少之一：参数集、辅助信息单元、用户自定义数据单元；
第三确定单元，用于根据参数确定调整因子的取值。
可选地，第三确定单元包括：第三设置子单元，用于将参数的取值设置为调整因子的取值；或，第四设置子单元，用于对参数按照预设运算规则进行计算后的输出值设置为调整因子的取值。
可选地，该变换模块64包括：第二校正单元，用于根据调整因子对解码恢复图像的像素采样值的采样分量进行校正处理；计算单元，与第二校正单元耦合链接，用于根据校正处理得到的输出值计算采样分量的变换值。
可选地，第二校正单元包括：第二映射子单元，用于对采样分量进行以调整因子或调整因子加权值为幂次的映射。
实施例五
基于上述实施例三和四，本实施例还提供了一种图像的编解码系统，该系统包括上述实施例三中的编码装置，和上述实施例四中的图像解码装置。
本发明实施例的效果可以通过以下仿真实验进一步说明：
1.仿真条件：
在CPU为Intel(R)CoreTM i3核处理器M350：主频2.27GHZ，内存2G，操作系统：WINDOWS 7，仿真平台：HEVC Main 10参考软件HM16.6。
仿真选择2个4:4:4格式的16比特HDR视频测试序列(Market3和Balloon)，分辨率是1920×1080，采用主流画质(Main 10 Profile)编码。HM16.6量化参数QP的值分别设置为21，25，29，33，编码帧数为50帧，GOP结构为I帧+49P帧。
2.仿真内容：
仿真实验中，利用本发明方法与现有的HDR视频压缩编码系统分别在2个视频序列上进行性能测试。
仿真1，利用HDR anchor和本发明方法对Market3视频序列进行编码。表1和表2分别给出了编码Market3序列时HDR anchor和本发明方法的tPSNR和PSNR_DE。
表1 HDR anchor编码结果(Market3序列)
Figure BDA0001172551250000271
表2 本发明方法编码结果(Market3序列)
Figure BDA0001172551250000272
tPSNR值表明了重构视频与原视频之间的差异性，tPSNR越大说明重构视频的质量越好。PSNR_DE值表明重构视频与原始视频之间颜色的差异性，PSNR_DE越大说明重构视频的颜色保持的越好。通过表1和表2可以看出，本发明方法重构的视频质量优于HDR anchor，且能更好的保持颜色。
仿真2，利用HDR anchor和本发明方法对Balloon视频序列进行编码。表3和表4分别给出了编码Balloon序列时HDRanchor和本发明方法的tPSNR和PSNR_DE。
表3 HDR anchor编码结果(Balloon序列)
QP tPSNR_X tPSNR_Y tPSNR_Z tPSNR_XYZ PSNR_DE
33 36.048 37.591 33.154 35.198 32.723
29 38.374 40.221 35.094 37.368 33.734
25 40.977 43.073 37.351 39.813 34.993
21 43.596 46.056 39.523 42.216 36.045
表4 本发明方法编码结果(Balloon序列)
QP tPSNR_X tPSNR_Y tPSNR_Z tPSNR_XYZ PSNR_DE
33 36.170 37.703 33.197 35.276 32.842
29 38.521 40.346 35.169 37.471 33.731
25 41.148 43.193 37.402 39.905 35.166
21 43.733 46.162 39.589 42.305 36.168
通过表3和表4同样可以看出，本发明方法重构的视频质量优于HDR anchor，且能更好的保持颜色(QP＝29时PSNR_DE稍有下降，但下降很小)。
仿真3，在QP＝29情况下，利用HDR anchor和本发明方法对测试序列Market3进行编码，得到测试视频第2帧的重建帧图像如图7(a)～(d)所示，其中：
图7(a)为HDR anchor处理得到的重建帧；
图7(b)为图7(a)的局部放大图；
图7(c)为使用本发明方法处理得到的重建帧；
图7(d)为图7(c)的局部放大图。
由图7(a)～(d)对比可见，本发明方法得到的重建帧图像视觉感知质量优于HDRanchor，不仅保留了原始帧图像中更多的结构信息和细节信息，减少了模糊(图5(d)蓝框)，而且能够更好的保持原始帧图像的颜色(图5(d)红框)。
仿真4，在QP＝29情况下，利用HDR anchor和本发明方法对测试序列Balloon进行编码，得到测试视频第8帧的重建帧图像如图8(a)～(f)所示，其中：
图8(a)为HDR anchor处理得到的重建帧；
图8(b)和(c)为图8(a)在不同区域的局部放大图；
图8(d)为使用本发明方法处理得到的重建帧；
图8(e)和(f)为图8(d)在不同区域的局部放大图。
对比图8(b)和(e)可得本发明方法能够更好的保持原始帧图像的颜色。对比图8(c)和(f)可得本发明方法所得的重建帧图像具有更加清晰的结构和细节。因此，本发明方法得到的重建帧图像视觉感知质量优于HDR anchor。
仿真实验结果表明，本发明使用自适应的感知驱动方法对HDR视频进行编码，对人眼不敏感的区域分配较少的比特，对人眼敏感的区域分配较多的比特，不仅能够对人眼可见的亮度范围进行编码，而且有效的减少了编码需要的比特数。同时根据输入HDR视频的亮度范围自适应的调整量化区间的大小，可以更充分的利用量化值，提高HDR视频编码的准确性。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (24)

1.一种基于自适应感知量化的视频编码方法，基于编码端，其特征在于，所述基于自适应感知量化的视频编码方法，包括：
根据待处理的视频图像，确定量化调整因子ratio；
根据所述量化调整因子，对所述待处理的视频图像进行处理，得到视频码流；
对所述量化调整因子进行处理，结合所述视频码流得到输入码流；
将所述输入码流传送至编/解码器进行编码、解码处理；
其中，根据所述量化调整因子，对所述待处理的视频图像进行处理，得到视频码流，包括：
基于公式二，确定自适应编码函数APQ_TF(L)，
Figure FDA0002820296400000011
其中，
Figure FDA0002820296400000012
其中，L为所述待处理的视频图像的像素值分量，系数m1、m2分别为0.1593、78.8438，系数c1、c2和c3分别为0.8359、18.8516和18.6875；
提取所述待处理的视频图像的所述像素值分量；
基于所述自适应编码函数APQ_TF(L)对所述像素值分量进行校正，得到校正分量；
对所述校正分量进行处理，得到视频码流。
2.根据权利要求1所述的基于自适应感知量化的视频编码方法，其特征在于，根据待处理的视频图像，确定量化调整因子，包括：
将所述待处理的视频图像进行色彩空间转换，获取转换后视频图像的亮度分量；
提取所述亮度分量中的亮度最大值和亮度最小值；
根据所述亮度最大值和所述亮度最小值，确定量化调整因子。
3.根据权利要求2所述的基于自适应感知量化的视频编码方法，其特征在于，根据所述最大值和所述最小值，确定量化调整因子，包括：
基于公式一，确定量化调整因子ratio，
Figure FDA0002820296400000021
其中，Ymax为亮度最大值，Ymin亮度最小值。
4.根据权利要求1所述的基于自适应感知量化的视频编码方法，其特征在于，对所述量化调整因子进行处理，结合所述视频码流得到输入码流，包括：
对所述量化调整因子进行二值化处理，将处理结构进行编码得到编码码流；
将所述编码码流写入到数据单元中，结合所述视频码流，得到带有所述编码码流的输入码流；
其中，所述数据单元包括：参数集，或辅助信息单元，或用户自定义数据单元。
5.一种基于自适应感知量化的视频解码方法，基于解码端，其特征在于，所述基于自适应感知量化的视频压缩解码方法，包括：
解析输入码流，获取量化调整因子和待恢复视频码流，
根据所述量化调整因子，对所述待恢复视频码流进行处理，得到最终视频图像；
其中，根据所述量化调整因子，对所述待恢复视频码流进行处理，得到最终视频图像，包括：
对所述待恢复视频码流进行处理，得到待恢复视频图像，提取所述待恢复视频图像的像素值分量；
根据所述量化调整因子ratio，基于公式三，确定自适应逆编码函数inverseAPQ_TF，
Figure FDA0002820296400000031
其中，
Figure FDA0002820296400000032
其中，N为所述待恢复视频图像的像素值分量，系数m1、m2分别为0.1593、78.8438，c1、c2和c3分别为0.8359、18.8516和18.6875，函数max(x,y)表示取两者之间的最大值；
基于所述自适应逆编码函数inverseAPQ_TF，对所述待恢复视频图像的所述像素值分量进行校正，得到校正分量；
基于所述校正分量，进行重建，得到最终视频图像。
6.根据权利要求5所述的基于自适应感知量化的视频解码方法，其特征在于，解析所述输入码流，获取量化调整因子和待恢复视频码流，包括：
解析所述输入码流，从所述输入码流中获取待恢复视频码流和数据单元；
从所述数据单元中获取解码码流；
对所述解码码流进行处理，获取量化调整因子；
其中，所述数据单元包括：参数集，或辅助信息单元，或用户自定义数据单元。
7.一种基于自适应感知量化的视频编码系统，其特征在于，所述基于自适应感知量化的视频编码系统，包括：
第一控制单元，用于执行如权利要求1所述的基于自适应感知量化的视频编码方法；
第二控制单元，用于执行如权利要求5所述的基于自适应感知量化的视频解码方法。
8.一种图像的编码方法，其特征在于，包括：
根据视频图像像素采样值确定调整因子；
根据所述调整因子对所述视频图像进行变换处理，并对进行变换处理后的视频图像进行编码；
将对所述调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中；
其中，根据所述调整因子对所述视频图像进行变换处理包括：
根据所述调整因子对所述视频图像的像素采样值的采样分量进行校正处理；
根据进行校正处得到的输出值得到所述采样分量的变换值；
对所述视频图像的像素采样值的采样分量进行校正处理的方式包括：对所述采样分量进行以所述调整因子或所述调整因子加权值为幂次的映射。
9.根据权利要求8所述的方法，其特征在于，根据视频图像像素采样值确定调整因子包括：
将所述视频图像像素采样值转换为像素亮度值；
确定所述像素亮度值中的亮度最大值和亮度最小值；
根据所述亮度最大值和所述亮度最小值确定所述调整因子。
10.根据权利要求9所述的方法，其特征在于，根据所述亮度最大值和所述亮度最小值确定所述调整因子包括：
计算所述亮度最大值和所述亮度最小值之间的差值；
将所述差值的对数值的线性加权值设置为第一调整因子；
将所述第一调整因子设置为所述调整因子；或，将所述第一调整因子的倒数值设置为所述调整因子。
11.根据权利要求8所述的方法，其特征在于，将对所述调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中包括：
对所述调整因子取值进行二值化处理；
对进行二值化处理的输出进行编码，并将编码比特写入所述视频图像的编码码流中的数据单元；
其中，所述数据单元包括以下至少之一：参数集、辅助信息单元、用户自定义数据单元。
12.根据权利要求11所述的方法，其特征在于，
对所述调整因子取值进行二值化处理的方式至少包括以下之一：将所述调整因子取值转换为二进制表示的数值；将所述调整因子取值转换为一个或多个整数参数的二进制表示的数值。
13.一种图像的编码装置，其特征在于，包括：
确定模块，用于根据视频图像像素采样值确定调整因子；
编码模块，用于根据所述调整因子对所述视频图像进行变换处理，并对进行变换处理后的视频图像进行编码；
写入模块，用于将对所述调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中；
其中，所述编码模块包括：
第一校正单元，用于根据所述调整因子对所述视频图像的像素采样值的采样分量进行校正处理；
编码单元，用于根据进行校正处得到的输出值得到所述采样分量的变换值；
所述第一校正单元包括：第一映射子单元，用于对所述采样分量进行以所述调整因子或所述调整因子加权值为幂次的映射。
14.根据权利要求13所述的装置，其特征在于，所述确定模块包括：
转换单元，用于将所述视频图像像素采样值转换为像素亮度值；
第一确定单元，用于确定所述像素亮度值中的亮度最大值和亮度最小值；
第二确定单元，用于根据所述亮度最大值和所述亮度最小值确定所述调整因子。
15.根据权利要求14所述的装置，其特征在于，所述第二确定单元包括：
计算子单元，用于计算所述亮度最大值和所述亮度最小值之间的差值；
第一设置子单元，用于将所述差值的对数值的线性加权值设置为第一调整因子；
第二设置子单元，用于将所述第一调整因子设置为所述调整因子；或，将所述第一调整因子的倒数值设置为所述调整因子。
16.根据权利要求13所述的装置，其特征在于，所述写入模块包括：
二值化单元，用于对所述调整因子取值进行二值化处理；
写入单元，用于对进行二值化处理的输出进行编码，并将编码比特写入所述视频图像的编码码流中的数据单元；
其中，所述数据单元包括以下至少之一：参数集、辅助信息单元、用户自定义数据单元。
17.根据权利要求16所述的装置，其特征在于，
所述二值化单元至少包括以下之一：
第一转换子单元，用于将所述调整因子取值转换为二进制表示的数值；
第二转换子单元，用于将所述调整因子取值转换为一个或多个整数参数的二进制表示的数值。
18.一种图像的解码方法，其特征在于，包括：
对码流进行解析，获取调整因子；
根据所述调整因子，对解码恢复图像进行变换；
其中，所述解码恢复图像包括：解码所述码流得到的图像，或解码所述码流得到的图像经过后处理的图像；
其中，根据所述调整因子，对解码恢复图像进行变换包括：
根据所述调整因子对所述解码恢复图像的像素采样值的采样分量进行校正处理；
根据校正处理得到的输出值计算所述采样分量的变换值；
对所述解码恢复图像的像素采样值的采样分量进行校正处理的方式包括：对所述采样分量进行以所述调整因子或所述调整因子加权值为幂次的映射。
19.根据权利要求18所述的方法，其特征在于，对码流进行解析，获取调整因子包括：
对所述码流中的数据单元进行解析以获取用于确定所述调整因子的参数；其中，所述数据单元包括以下至少之一：参数集、辅助信息单元、用户自定义数据单元；
根据所述参数确定所述调整因子的取值。
20.根据权利要求19所述的方法，其特征在于，根据所述参数确定所述调整因子的取值包括：
将所述参数的取值设置为所述调整因子的取值；或，
对所述参数按照预设运算规则进行计算后的输出值设置为所述调整因子的取值。
21.一种图像的解码装置，其特征在于，包括：
解码模块，用于对码流进行解析，获取调整因子；
变换模块，用于根据所述调整因子，对解码恢复图像进行变换；
其中，所述解码恢复图像包括：解码所述码流得到的图像，或解码所述码流得到的图像经过后处理的图像；
其中，所述变换模块包括：
第二校正单元，用于根据所述调整因子对所述解码恢复图像的像素采样值的采样分量进行校正处理；
计算单元，用于根据校正处理得到的输出值计算所述采样分量的变换值；
所述第二校正单元包括：第二映射子单元，用于对所述采样分量进行以所述调整因子或所述调整因子加权值为幂次的映射。
22.根据权利要求21所述的装置，其特征在于，所述解码模块包括：
解码单元，用于对所述码流中的数据单元进行解析以获取用于确定所述调整因子的参数；其中，所述数据单元包括以下至少之一：参数集、辅助信息单元、用户自定义数据单元；
第三确定单元，用于根据所述参数确定所述调整因子的取值。
23.根据权利要求22所述的装置，其特征在于，所述第三确定单元包括：
第三设置子单元，用于将所述参数的取值设置为所述调整因子的取值；或，
第四设置子单元，用于对所述参数按照预设运算规则进行计算后的输出值设置为所述调整因子的取值。
24.一种图像的编解码系统，其特征在于，包括权利要求13至17任一项所述的编码装置，和权利要求21至23任一项所述的图像解码装置。
CN201611111206.7A 2016-01-31 2016-12-01 图像的编码、解码方法及装置、以及图像的编解码系统 Active CN107027027B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2017/077167 WO2017129147A1 (zh) 2016-01-31 2017-03-18 图像的编码、解码方法及装置、以及图像的编解码系统
US16/084,065 US10681350B2 (en) 2016-01-31 2017-03-18 Picture encoding and decoding methods and apparatuses, and picture encoding and decoding system
EP17743762.1A EP3410726A4 (en) 2016-01-31 2017-03-18 METHODS AND DEVICES FOR ENCODING AND DECODING IMAGES, AND IMAGE ENCODING / DECODING SYSTEM

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201610066327.8A CN105828089A (zh) 2016-01-31 2016-01-31 一种基于自适应感知量化的视频编码方法和系统
CN2016100663278 2016-01-31
CN201610875185X 2016-09-30
CN201610875185 2016-09-30

Publications (2)

Publication Number Publication Date
CN107027027A CN107027027A (zh) 2017-08-08
CN107027027B true CN107027027B (zh) 2021-02-12

Family

ID=59525510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611111206.7A Active CN107027027B (zh) 2016-01-31 2016-12-01 图像的编码、解码方法及装置、以及图像的编解码系统

Country Status (3)

Country Link
US (1) US10681350B2 (zh)
EP (1) EP3410726A4 (zh)
CN (1) CN107027027B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020037506A1 (zh) * 2018-08-21 2020-02-27 深圳市汇顶科技股份有限公司 确定cvsd编解码中参数的方法和设备
US11259024B2 (en) * 2020-06-05 2022-02-22 Tencent America LLC Quantizer design

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102388612A (zh) * 2009-03-13 2012-03-21 杜比实验室特许公司 高动态范围、可视动态范围和宽色域视频的分层压缩
CN103262535A (zh) * 2010-10-19 2013-08-21 弗兰霍菲尔运输应用研究公司 利用时间性一致动态范围映射的视频编码技术
CN105009580A (zh) * 2013-02-21 2015-10-28 杜比实验室特许公司 高动态范围视频的显示管理

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090317017A1 (en) 2008-06-20 2009-12-24 The Hong Kong University Of Science And Technology Image characteristic oriented tone mapping for high dynamic range images
CN101511025B (zh) 2009-01-22 2012-05-02 炬力集成电路设计有限公司 图像压缩/解压缩的方法、装置
DK3079055T3 (da) * 2011-12-06 2019-06-03 Dolby Laboratories Licensing Corp Indretning og fremgangsmåde til at forbedre den perceptuelle luminans ikke-lineæritetsbaserede billeddataudveksling på tværs af forskellige displayegenskaber
CN103051901B (zh) 2013-01-14 2015-10-28 北京华兴宏视技术发展有限公司 视频数据编码装置和视频数据编码方法
US9613407B2 (en) 2014-07-03 2017-04-04 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
FR3024314B1 (fr) * 2014-07-25 2017-12-08 Allegro Dvt Codeur de video a faible latence
US10735755B2 (en) * 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
US10116938B2 (en) * 2015-07-22 2018-10-30 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
EP3338243B1 (en) * 2015-09-23 2022-04-20 ARRIS Enterprises LLC High dynamic range adaptation operations at a video decoder
CN105828089A (zh) 2016-01-31 2016-08-03 西安电子科技大学 一种基于自适应感知量化的视频编码方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102388612A (zh) * 2009-03-13 2012-03-21 杜比实验室特许公司 高动态范围、可视动态范围和宽色域视频的分层压缩
CN103262535A (zh) * 2010-10-19 2013-08-21 弗兰霍菲尔运输应用研究公司 利用时间性一致动态范围映射的视频编码技术
CN105009580A (zh) * 2013-02-21 2015-10-28 杜比实验室特许公司 高动态范围视频的显示管理

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Perceptual Singal Coding for More Efficient Usage of Bit Codes;Scott Miller et al;《SMPTE Motion Image Journal》;20130531;第52-59页 *

Also Published As

Publication number Publication date
US20190289289A1 (en) 2019-09-19
US10681350B2 (en) 2020-06-09
CN107027027A (zh) 2017-08-08
EP3410726A4 (en) 2019-01-16
EP3410726A1 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
US20210120253A1 (en) High dynamic range image/video coding
RU2666234C1 (ru) Аппроксимация восстановления формы сигнала
Artusi et al. Overview and evaluation of the JPEG XT HDR image compression standard
US10616497B2 (en) Method and apparatus for processing image signal conversion, and terminal device
RU2589857C2 (ru) Кодирование, декодирование и представление изображений с расширенным динамическим диапазоном
JP5589006B2 (ja) 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
Zhang et al. High dynamic range video compression exploiting luminance masking
CN105828089A (zh) 一种基于自适应感知量化的视频编码方法和系统
CN104702962A (zh) 帧内编解码方法、编码器和解码器
CN104322063B (zh) 视频流压缩的方法、系统和计算机可读存储介质
US8422779B2 (en) Image data processing for more efficient compression
US8340442B1 (en) Lossy compression of high-dynamic range image files
US20160337668A1 (en) Method and apparatus for encoding image data and method and apparatus for decoding image data
EP3035687A1 (en) A device and a method for encoding an image and corresponding decoding method and decoding device
WO2023040600A1 (zh) 图像编码方法、图像解码方法、装置、电子设备及介质
CN117640942A (zh) 一种用于视频图像的编码方法和装置
EP3180910B1 (en) Method for optimized chroma subsampling, apparatus for optimized chroma subsampling and storage device
CN107027027B (zh) 图像的编码、解码方法及装置、以及图像的编解码系统
US20170105012A1 (en) Method and Apparatus for Cross Color Space Mode Decision
EP4037312A1 (en) Image signal conversion method and apparatus, and terminal device
WO2017129147A1 (zh) 图像的编码、解码方法及装置、以及图像的编解码系统
EP3026908A1 (en) Method and device for quantizing and de-quantizing a picture using scaling factors for chrominance based on luminance
US20210321142A1 (en) No-Reference Banding Artefact Predictor
EP2958327A1 (en) Method and device for encoding a sequence of pictures
CN108370442B (zh) 一种高动态范围图像的处理方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant