CN110691227A - 一种视频信号处理方法及装置 - Google Patents

一种视频信号处理方法及装置 Download PDF

Info

Publication number
CN110691227A
CN110691227A CN201910599792.1A CN201910599792A CN110691227A CN 110691227 A CN110691227 A CN 110691227A CN 201910599792 A CN201910599792 A CN 201910599792A CN 110691227 A CN110691227 A CN 110691227A
Authority
CN
China
Prior art keywords
value
brightness
mapping
curve
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910599792.1A
Other languages
English (en)
Other versions
CN110691227B (zh
Inventor
王正
袁乐
吴仁坚
黄芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910599792.1A priority Critical patent/CN110691227B/zh
Publication of CN110691227A publication Critical patent/CN110691227A/zh
Application granted granted Critical
Publication of CN110691227B publication Critical patent/CN110691227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G06T5/92
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6075Corrections to the hue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/06Use of more than one graphics processor to process data before displaying to one or more screens

Abstract

本申请公开了一种视频信号处理方法及装置,能够根据与待处理视频信号的初始亮度值对应的饱和度调节因子,对待处理视频信号进行色度补偿,使得人眼所感知的色度补偿后的视频信号得颜色更加接近进行亮度映射前视频信号的颜色。

Description

一种视频信号处理方法及装置
本申请要求于2018年7月5日提交中国专利局、申请号为201810733132.3、申请名称为“一种显示信号处理方法及装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及显示技术领域,尤其涉及一种视频信号处理方法及装置。
背景技术
高动态范围(High Dynamic Range,HDR)是最近几年视频行业的出现的热门技术,也是未来视频行业发展的方向。相比于传统的标准动态范围(standard dynamic range,SDR)视频信号,HDR视频信号动态范围更大,亮度更高。但大量现有显示设备达不到HDR视频信号的亮度,因此HDR视频信号在显示时,需要根据显示设备能力对HDR信号进行亮度映射处理,使其适合在当前设备上显示;基于红-绿-蓝(red-green-blue,RGB)空间的HDR信号亮度处理方法是较为常用的一种方法,在实际显示设备中有着广泛应用。
基于RGB空间的HDR视频信号亮度映射方法中,较为常用的一种处理方法是利用公式Cout=((Cin/Lin-1)*s+1)*Lout替换亮度映射公式Cout=(Lout/Lin)*Cin,通过引入颜色饱和度调节因子s实现亮度映射,其中,Lin是HDR信号亮度映射前的线性亮度,Lout是HDR信号亮度映射后的线性亮度,Cin是HDR信号亮度映射前的线性信号颜色分量Rin、Gin或Bin,Cout是HDR信号亮度映射后的线性信号颜色分量Rout、Gout或Bout。但根据以上公式,调整后的Rout、Gout以及Bout的颜色饱和度发生变化,会造成比较严重的色调漂移(Hue Shift),即人眼感知的亮度映射后的视频信号的颜色偏离亮度映射前HDR视频信号的颜色。
发明内容
本申请提供一种视频信号处理方法及装置,用以解决基于调整颜色饱和度调节因子的RGB空间的HDR信号亮度映射方法,在进行亮度映射的同时对颜色饱和度进行调整造成的色调漂移的问题。
第一方面,本申请实施例提供一种视频信号处理方法,包括以下步骤:确定与待处理视频信号的初始亮度值对应的饱和度调节因子,饱和度调节因子和初始亮度值的映射关系由饱和度映射曲线确定,饱和度映射曲线由调节亮度值和初始亮度值的比值确定,调节亮度值由根据预设的亮度映射曲线对初始亮度值进行映射获得;基于饱和度调节因子,调节待处理视频信号的色度值。
采用以上方法,能够对待处理视频信号进行色度调节,通过色度补偿使得色度值调节后的视频信号的色彩饱和度得到改善,从而人眼所感知的色度调节后的视频信号的颜色更加接近进行亮度映射前视频信号的颜色。
一种可能的设计中,饱和度映射曲线为以初始亮度值为自变量,以饱和度映射曲线由调节亮度值和初始亮度值的比值为因变量的函数。
从而可以通过函数表示饱和度映射曲线,该函数表示初始亮度值调节亮度值和初始亮度值的比值之间的映射关系。
一种可能的设计中,饱和度调节因子由如下公式确定:
fsmNLTF1(eNLTF1)=ftmNLTF1(eNLTF1)/eNLTF1
其中,eNLTF1为初始亮度值,ftmNLTF1()表示亮度映射曲线,fsmNLTF1()表示饱和度映射曲线,对应的,ftmNLTF1(eNLTF1)表示初始亮度值对应的调节亮度值,fsmNLTF1(eNLTF1)表示初始亮度值对应的饱和度调节因子。
在确定待处理视频信号的初始亮度值对应的饱和度调节因子时,可将待处理视频信号的初始亮度值作为以上公式的自变量,将计算得到的因变量作为待处理视频信号的初始亮度值对应的饱和度调节因子。
一种可能的设计中,饱和度调节因子由映射关系表确定,映射关系表包括饱和度映射曲线上至少一个采样点的横坐标值和纵坐标值。
从而可以根据映射关系表表示饱和度映射曲线;在确定待处理视频信号的初始亮度值对应的饱和度调节因子时,可通过查表结合线性插值方法,确定待处理视频信号的初始亮度值对应的饱和度调节因子。
一种可能的设计中,调节待处理视频信号的色度值,包括:基于预设的色度分量增益系数和饱和度调节因子的乘积,对待处理视频信号的色度值进行调节。
一种可能的设计中,色度值包括待处理视频信号对应的第一色度信号的第一色度值和待处理视频信号对应的第二色度信号的第二色度值,预设的色度分量增益系数包括预设的第一色度分量增益系数和预设的第二色度分量增益系数,可通过以下方法,基于预设的色度分量增益系数和饱和度调节因子的乘积,对待处理视频信号的色度值进行调节:基于预设的第一色度分量增益系数和饱和度调节因子的乘积,对第一色度值进行调节;基于预设的第二色度分量增益系数和饱和度调节因子的乘积,对第二色度值进行调节。
一种可能的设计中,若饱和度映射曲线属于目标非线性空间,预设的第一原始亮度映射曲线为非线性曲线,该方法还包括:对第一原始亮度映射曲线上的至少一个采样点对应的第一横坐标值和第一纵坐标值,分别进行非线性空间到线性空间的转换,以获得第二横坐标值和第二纵坐标值;对第二横坐标值和第二纵坐标值分别进行线性空间到非线性空间的转换,以获得初始亮度值和调节亮度值;根据初始亮度值和调节亮度值的映射关系,确定亮度映射曲线,亮度映射曲线属于目标非线性空间。
从而可根据非线性的第一原始亮度映射曲线确定属于目标非线性空间的饱和度映射曲线。
一种可能的设计中,若饱和度映射曲线属于目标非线性空间,预设的第二原始亮度映射曲线为线性曲线,该方法还包括:对第二原始亮度映射曲线上的至少一个采样点对应的第三横坐标值和第三纵坐标值,分别进行线性空间到非线性空间的转换,以获得初始亮度值和调节亮度值;根据初始亮度值和调节亮度值的映射关系,确定亮度映射曲线,亮度映射曲线属于目标非线性空间。
从而可根据线性的第二原始亮度映射曲线确定属于目标非线性空间的饱和度映射曲线。
一种可能的设计中,该方法还包括:根据亮度映射曲线对初始亮度值进行调节,以获得调节亮度值。
一种可能的设计中,可通过以下方法,根据亮度映射曲线对初始亮度值进行调节,以获得调节亮度值:根据初始亮度值对应的目标第一横坐标值,确定与目标第一横坐标对应的目标第一纵坐标值为调节亮度值。
一种可能的设计中,可通过以下方法,根据亮度映射曲线对初始亮度值进行调节,以获得调节亮度值:根据初始亮度值对应的目标第三横坐标值,确定与目标第三横坐标对应的目标第三纵坐标值为调节亮度值。
第二方面,本申请实施例提供了一种视频信号处理装置,该装置具有实现上述第一方面及第一方面任何一种可能的设计中提供的方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现,也可以通过软件和硬件结合实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
本申请实施例提供的一种视频信号处理装置,可包括第一确定单元、调节单元;其中,第一确定单元,可用于确定与待处理视频信号的初始亮度值对应的饱和度调节因子,所述饱和度调节因子和所述初始亮度值的映射关系由饱和度映射曲线确定,所述饱和度映射曲线由调节亮度值和所述初始亮度值的比值确定,所述调节亮度值由根据预设的亮度映射曲线对所述初始亮度值进行映射获得;调节单元,可用于基于所述饱和度调节因子,调节所述待处理视频信号的色度值。
采用以上结构,视频信号处理装置的第一确定单元可以确定饱和度调节因子,以及,视频信号处理装置的调节单元可根据饱和度调节因子,调节所述待处理视频信号的色度值。
一种可能的设计中,饱和度映射曲线是以所述初始亮度值为自变量,以所述比值为因变量的函数。
一种可能的设计中,所述饱和度调节因子可由如下公式确定:fsmNLTF1(eNLTF1)=ftmNLTF1(eNLTF1)/eNLTF1,其中,eNLTF1为所述初始亮度值,ftmNLTF1()表示所述亮度映射曲线,fsmNLTF1()表示所述饱和度映射曲线,对应的,ftmNLTF1(eNLTF1)表示所述初始亮度值对应的调节亮度值,fsmNLTF1(eNLTF1)表示所述初始亮度值对应的饱和度调节因子。
一种可能的设计中,所述饱和度调节因子可由映射关系表确定,所述映射关系表包括所述饱和度映射曲线上至少一个采样点的横坐标值和纵坐标值。
一种可能的设计中,所述调节单元可基于预设的色度分量增益系数和所述饱和度调节因子的乘积,对所述待处理视频信号的色度值进行调节。
一种可能的设计中,所述色度值包括所述待处理视频信号对应的第一色度信号的第一色度值和所述待处理视频信号对应的第二色度信号的第二色度值,预设的色度分量增益系数包括预设的第一色度分量增益系数和预设的第二色度分量增益系数,所述调节单元可具体用于:基于预设的第一色度分量增益系数和所述饱和度调节因子的乘积,对所述第一色度值进行调节;基于预设的第二色度分量增益系数和所述饱和度调节因子的乘积,对所述第二色度值进行调节。
一种可能的设计中,所述饱和度映射曲线属于目标非线性空间,预设的第一原始亮度映射曲线为非线性曲线,所述视频信号处理装置还可以包括第一转换单元、第二转换单元以及第二确定单元;其中,第一转换单元,用于对所述第一原始亮度映射曲线上的至少一个采样点对应的第一横坐标值和第一纵坐标值,分别进行非线性空间到线性空间的转换,以获得第二横坐标值和第二纵坐标值;第二转换单元,用于对所述第二横坐标值和所述第二纵坐标值分别进行线性空间到非线性空间的转换,以获得所述初始亮度值和所述调节亮度值;第二确定单元,用于根据所述初始亮度值和所述调节亮度值的映射关系,确定所述亮度映射曲线,所述亮度映射曲线属于所述目标非线性空间。
一种可能的设计中,若所述饱和度映射曲线属于目标非线性空间,预设的第二原始亮度映射曲线为线性曲线,所述视频信号处理装置还可包括第三转换单元、第三确定单元:其中,第三转换单元,用于对所述第二原始亮度映射曲线上的至少一个采样点对应的第三横坐标值和第三纵坐标值,分别进行线性空间到非线性空间的转换,以获得所述初始亮度值和所述调节亮度值;第三确定单元,用于根据所述初始亮度值和所述调节亮度值的映射关系,确定所述亮度映射曲线,所述亮度映射曲线属于所述目标非线性空间。
一种可能的设计中,所述视频信号处理装置还可包括亮度调节单元,用于根据所述亮度映射曲线对所述初始亮度值进行调节,以获得所述调节亮度值。
一种可能的设计中,所述亮度调节单元具体用于根据所述初始亮度值对应的目标第一横坐标值,确定与所述目标第一横坐标对应的目标第一纵坐标值为所述调节亮度值。
一种可能的设计中,所述亮度调节单元具体用于根据所述初始亮度值对应的目标第三横坐标值,确定与所述目标第三横坐标对应的目标第三纵坐标值为所述调节亮度值。
第三方面,本申请实施例提供了一种视频信号处理装置,该装置包括处理器和存储器,该存储器用于存储必要的指令和数据,该处理器调用该存储器中的指令以实现上述第一方面所述方法实施例、方法实施例的任意一种可能的设计中所涉及的功能。
第四方面,本申请实施例提供了一种计算机程序产品,包括计算机程序,该计算机程序在某一计算机或处理器上执行时,将会使所述计算机或处理器实现上述第一方面所述方法实施例、方法实施例的任意一种可能的设计中所涉及的功能。
第五方面,本申请实施例提供了一种计算机可读存储介质,用于存储程序、指令,这些程序、指令在计算机中被调用执行时,可以使得计算机执行上述第一方面所述方法实施例、方法实施例的任意一种可能的设计中所涉及的功能。
附图说明
图1-a为本申请实施例提供的一种示例性的PQ EOTF曲线的示意图;
图1-b为本申请实施例提供的一种示例性的PQ EOTF-1曲线的示意图;
图2-a为本申请实施例提供的一种示例性的HLG OETF曲线的示意图;
图2-b为本申请实施例提供的一种示例性的HLG OETF-1曲线的示意图;
图3-a为本申请实施例提供的一种示例性的视频信号处理系统的架构示意图;
图3-b为本申请实施例提供的另一种示例性的视频信号处理系统的架构示意图;
图3-c为本申请实施例提供的一种示例性的视频信号处理装置的结构示意图;
图4为本申请实施例提供的一种示例性的视频信号处理方法的步骤示意图;
图5为本申请实施例提供的一种示例性的饱和度映射曲线的示意图;
图6为本申请实施例提供的一种示例性的亮度映射曲线的示意图;
图7为本申请实施例提供的一种示例性的亮度映射的流程示意图;
图8为本申请实施例提供的一种示例性的视频信号处理方法的流程示意图;
图9为本申请实施例提供的另一种示例性的视频信号处理方法的流程示意图;
图10为本申请实施例提供的另一种示例性的视频信号处理方法的流程示意图;
图11为本申请实施例提供的另一种示例性的视频信号处理装置的结构示意图;
图12-a为本申请实施例提供的另一种示例性的视频信号处理装置的结构示意图;
图12-b为本申请实施例提供的另一种示例性的视频信号处理装置的结构示意图;
图12-c为本申请实施例提供的另一种示例性的视频信号处理装置的结构示意图;
图13为本申请实施例提供的示例性的色域转换方法的流程示意图;
图14为本申请实施例提供的示例性的HDR HLG信号到HDR PQTV的转换方法的流程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述。
本申请涉及的词语“至少一个”,是指一个,或一个以上,即包括一个、两个、三个及以上;“多个”,是指两个,或两个以上,即包括两个、三个及以上。
首先,为了便于理解本申请实施例,对本申请实施例涉及的一些概念或术语进行解释。
基色值(color value):一个对应于特定图像颜色分量(例如R、G、B或Y)的数值。
数字编码值(digital code value):一个图像信号的数字表达值,数字编码值用于表示非线性基色值。
线性基色值(linear color value):线性的基色值,与光强度成正比,在一种可选的情况中,其值应归一化到[0,1],简称E。
非线性基色值(nonlinear color value):非线性的基色值,是图像信息的归一化数字表达值,与数字编码值成正比,在一种可选的情况中,其值应归一化到[0,1],简称E′。
电光转移函数(electro-optical transfer function,EOTF):一种从非线性基色值到线性基色值之间的转换关系。
光电转移函数(optical-electro transfer function,OETF):一种从线性基色值到非线性基色值之间的转换关系。
元数据(Metadata):视频信号中携带的描述视频源信息的数据。
动态元数据(dynamic metadata):与每帧图像相关联的元数据,该元数据随画面不同而改变。
静态元数据(static metadata):与图像序列相关联的元数据,该元数据在图像序列内保持不变。
亮度信号(luma):表示非线性基色信号的组合,符号为Y'。
亮度映射(luminance mapping):源图像的亮度映射到目标系统的亮度。
色度体积(colour volume):显示器在色度空间中所能呈现的色度和亮度形成的体积。
显示适配(display adaptation):对视频信号进行处理,以适配目标显示器的显示特性。
源图像(source picture):HDR前处理阶段输入的图像。
主控监视器(Mastering Display):视频信号在编辑制作时使用的参考显示器,用来确定视频编辑制作的效果;
线性场景光(Linear Scene Light)信号:HDR视频技术中以内容为场景光的HDR视频信号,指的是相机/摄像头传感器捕获到的场景光,一般为相对值;线性场景光信号经过HLG编码之后得到HLG信号,HLG信号为一种场景光信号,HLG信号是非线性的;场景光信号一般需要经过OOTF转换成显示光信号在显示设备上显示;
线性显示光(Linear Display Light)信号:HDR视频技术中以内容为显示光的HDR视频信号,指的是显示设备上发出的显示光,一般为绝对值,单位nits;线性显示光信号经过PQ编码之后得到PQ信号,PQ信号为一种显示光信号,PQ信号为非线性信号;显示光信号一般标准按照其绝对值亮度在显示设备上显示;
光-光转换曲线(OOTF):视频技术中将一种光信号转换成另外一种光信号的曲线;
动态范围(Dynamic Range):视频信号中最大亮度与最小亮度的比值;
亮度-色度-色度(Luma-Chroma-Chroma,LCC),亮色分离视频信号的三个分量;
感知量化(Perceptual Quantizer,PQ):一种HDR标准,也是一种HDR转换方程,PQ根据人的视觉能力决定。显示设备显示的视频信号通常为PQ编码格式的视频信号。
PQ EOTF曲线:将PQ编码的电信号转换成线性光信号,单位nits;转换公式为:
Figure BDA0002118891480000061
其中,E′为输入电信号,取值范围[0,1];固定参数值如下:
m1=2610/16384=0.1593017578125;
m2=2523/4096x128=78.84375;
c1=3424/4096=0.8359375=c3-c2+1;
c2=2413/4096x32=18.8515625;
c3=2392/4096x32=18.6875;
PQ EOTF曲线如图1-a所示:输入是[0,1]范围的电信号,输出是[0,10000]nits的线性光信号;
PQ EOTF-1曲线:PQ EOTF的逆曲线;物理含义是将[0,10000]nits的线性光信号转换成PQ编码的电信号;转换公式为:
Figure BDA0002118891480000062
PQ EOTF-1曲线如图1-b所示:输入是[0,10000]nits的线性光信号,输出是[0,1]范围的电信号;
色域(Color Gamut):某个色彩空间包含颜色的范围,相关色域标准有BT.709,BT.2020。
混合对数伽马(Hybrid Log Gamma,HLG):一种HDR标准,照相机、摄影机、图像传感器或其他种类的图像采集设备采集到的视频信号是HLG编码格式的视频信号。
HLG OETF曲线:对线性场景光信号进行HLG编码转换成非线性电信号的曲线,转换公式如下所示:
Figure BDA0002118891480000063
其中E是输入线性场景光信号,范围[0,1];E′是输出非线性电信号,范围[0,1];
固定参数a=0.17883277,b=0.28466892,c=0.55991073,如图2-a所示,为HLGOETF曲线的一种示例图。
HLG OETF-1曲线:HLG OETF的逆曲线,将HLG编码的非线性电信号的转换成线性场景光信号,示例性的,转换公式如下所示:
Figure BDA0002118891480000071
如图2-b所示,为HLG OETF-1曲线的一种示例图,其中E′是输入的非线性电信号,范围[0,1];E是输出的线性场景光信号,范围[0,1]。
线性空间:本申请中线性空间指的是线性光信号所在的空间;
非线性空间:本申请中非线性空间指的是将线性光信号利用非线性曲线进行转换后所在的空间;HDR常用的非线性曲线有PQ EOTF-1曲线、HLG OETF曲线等,SDR常用的非线性曲线有伽马曲线;一般认为线性光信号经过上述非线性曲线编码之后,相对于人眼是视觉线性的。应当理解,非线性空间可以认为是视觉线性空间。
伽马校正(Gamma Correction):伽马校正是对图像进行非线性色调编辑的方法,可以检出图像信号中的深色部分和浅色部分,并使两者比例增大,从而提高图像对比度效果。目前的显示屏、摄影胶片和许多电子照相机的光电转换特性均可以是非线性的。这些非线性部件的输出与输入之间的关系可以用一个幂函数来表示,即:输出=(输入)γ
设备输出的色彩值进行非线性转换是由于人类的视觉系统不是线性的,人类是通过比较来感知视觉刺激。外界以一定的比例加强刺激,对人来说,这个刺激才是均匀增长的。因此,对人类的感知来说,以等比数列增加的物理量,是均匀的。为了将输入的颜色按照人类视觉规律进行显示,需要经过上述幂函数形式的非线性转换,将线性的色彩值转换为非线性的色彩值。gamma的取值γ可以是根据色彩空间的光电转换曲线确定的。
色彩空间(Color Space):颜色可以是眼睛对于不同频率的光线的不同感受,也可以表示客观存在的不同频率的光。色彩空间是人们建立起用来表示色彩的坐标系统所定义的色彩范围。色域与色彩模型一起定义一个色彩空间。其中,色彩模型是用一组颜色成分表示颜色的抽象数学模型。色彩模型例如可以包括三原色光模式(red green blue,RGB)、印刷四色模式(cyan magenta yellow key plate,CMYK)。色域是指一个系统能够产生的颜色的总合。示例性的,Adobe RGB和sRGB是两个基于RGB模型的不同的色彩空间。
每台设备例如显示器或打印机都有自己的色彩空间,且只能生成其色域内的颜色。将图像从一台设备移至另一台设备时,由于每台设备按照自己的色彩空间转换并显示RGB或CMYK,图像在不同的设备上的颜色可能会发生变化。
本申请实施例所涉及的RGB空间,是指使用红、绿、蓝三原色的亮度来定量表示视频信号的空间;YCC空间是本申请中表示亮色分离的颜色空间,YCC空间视频信号的三个分量分别代表亮度-色度-色度,常见的YCC空间视频信号有YUV、YCbCr、ICtCp等。
本申请实施例所涉及的线性空间,指的是线性光信号所在的空间;
本申请实施例所涉及的非线性空间,指的是将线性光信号利用非线性曲线进行转换后所在的空间;HDR常用的非线性曲线有PQ EOTF-1曲线、HLG OETF曲线等,SDR常用的非线性曲线有伽马曲线。
本申请实施例提供一种视频信号处理方法和装置,根据该方法,能够根据与待处理视频信号的初始亮度值对应的饱和度调节因子,调节待处理视频信号的色度值,从而能够对待处理视频信号进行色度补偿,以补偿待处理视频信号进行RGB可见亮度映射产生的饱和度变化,缓解色调漂移现象。
下面,结合附图对本申请实施例进行详细说明。首先,介绍本申请实施例提供的视频信号处理系统,然后分别介绍本申请实施例提供的视频信号处理装置,最后介绍本申请实施例提供的视频信号处理方法的具体实现方式。
如图3-a所示,本申请实施例提供的视频信号处理系统100可以包括信号源101以及本申请实施例提供的视频信号处理装置102。其中,信号源101用于将待处理视频信号输入视频信号处理装置102,视频信号处理装置102用于对待处理视频信号根据本申请实施例提供的视频信号处理方法进行处理。在一种可选的情况中,如图1所示的视频信号处理装置102可具备显示功能,则本申请实施例提供的视频信号处理系统100还可将经过视频信号处理的视频信号进行显示,此时无须将经过处理的视频信号输出至显示设备,此时视频信号处理装置102可以是电视机或具备视频信号处理功能的显示器等显示设备。
如图3-b所示的另一种视频信号处理系统100的结构中,该系统100还包括显示设备103,这里的显示设备103可以是具备显示功能的设备,例如电视机、显示器,也可以是显示屏,显示设备103用于接收视频信号处理装置102传输的视频信号以及对接收的视频信号进行显示。这里的视频信号处理装置102可以是播放设备,例如机顶盒等。
以上举例的视频信号处理系统100中,若视频信号源101产生的待处理视频信号是尚未经过RGB空间亮度映射的HDR信号,该信号可在视频信号处理装置102中通过本申请实施例提供的视频信号处理方法进行处理,此时视频信号处理装置102可具备针对HDR信号的RGB空间亮度映射功能;若视频信号源101产生的待处理的视频信号,可以是已经过RGB空间亮度映射的视频信号,例如可以是本申请实施例中涉及的已经过RGB空间亮度映射并进行色彩空间转换至非线性NTFL1空间的视频信号,该信号经过视频信号处理装置102进行色彩饱和度补偿。在本申请的实施中,视频信号从YUV空间转换到RGB空间,或者从RGB空间转换到YUV空间,可采用现有技术中的标准转换流程。
具体来说,本申请实施例提供的视频信号处理装置102可具备如图3-c所示的结构,可见,视频信号处理装置102可包括处理单元301,该处理单元301可以用于实现本申请实施例提供的视频信号处理方法中涉及的步骤,例如,确定与待处理视频信号的初始亮度值对应的饱和度调节因子以及基于饱和度调节因子,调节待处理视频信号的色度值等。
示例性的,视频信号处理装置102还可以包括存储单元302,其中存储有计算机程序、指令和数据,存储单元302可以与处理单元301耦合,用于支持处理单元301调用存储单元302中的计算机程序、指令以实现本申请实施例提供的视频信号处理方法中涉及的步骤,另外,存储单元302还可以用于存储数据。在本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或通过其他设备间接相连。例如可以通过各类接口、传输线或总线等耦合。
示例性的,视频信号处理装置102还可以包括发送单元303和/或接收单元304,其中,发送单元303可用于输出处理后的视频信号,接收单元304可以接收视频信号源101产生的待处理的视频信号。示例性的,发送单元303和/或接收单元304可以为视频信号接口,如高清晰度多媒体接口(high definition multimedia interface,HDMI)。
示例性的,视频信号处理装置102还可以包括显示单元305,例如显示屏,用于将处理后的视频信号进行显示。
下面结合图4,介绍本申请实施例提供的视频信号处理方法,该方法包括以下步骤:
步骤S101:确定与待处理视频信号的初始亮度值对应的饱和度调节因子;在一种可选的情况中,饱和度调节因子和初始亮度值的映射关系由饱和度映射曲线确定,饱和度映射曲线由调节亮度值和初始亮度值的比值确定,调节亮度值由根据预设的亮度映射曲线对初始亮度值进行映射获得;
步骤S102:基于饱和度调节因子,调节待处理视频信号的色度值。
采用以上方法,能够根据饱和度调节因子对待处理视频信号进行色度补偿,通过色度补偿使得色度值调节后的视频信号的色彩饱和度得到改善,从而人眼所感知的色度值调节后的视频信号的颜色更加接近进行亮度映射前视频信号的颜色。
若以上方法中,待处理视频信号是根据颜色饱和度调节因子s及公式——Cout=((Cin/Lin-1)*s+1)*Lout对HDR信号进行RGB空间亮度映射后得到的视频信号,或者,待处理视频信号是即将根据颜色饱和度调节因子s及公式——Cout=((Cin/Lin-1)*s+1)*Lout进行RGB空间亮度映射的HDR信号,则基于本申请实施例提供的视频信号处理方法可以缓解以上RGB空间亮度映射造成的HDR信号色调漂移。
具体的,若本申请实施例所涉及的待处理视频信号可以为HDR信号,或者可以为HDR信号经过亮度映射和/或空间转换所得到的视频信号。这里的HDR信号,可以是HDR HLG信号;或者,HDR信号可以是HDRPQ信号。
应理解,本申请实施例所涉及的待处理视频信号的初始亮度值,与待处理视频信号进行亮度映射前的线性亮度值有关。一种可行的实施方式中,若饱和度映射曲线属于目标非线性空间,可对待处理视频信号在亮度映射前的线性亮度值进行线性空间到目标非线性空间的转换,得到的亮度值作为待处理视频信号的初始亮度值。
示例性的,本申请实施例涉及的饱和度映射曲线可以是以初始亮度值为自变量,以调节亮度值和初始亮度值的比值为因变量的函数。举例来说,饱和度映射曲线可以为如图5所示的曲线,其中,饱和度映射曲线的横坐标表示待处理视频信号的初始亮度值,饱和度映射曲线的纵坐标表示饱和度调节因子,示例性的,在本申请实施例中该饱和度调节因子为调节亮度值和初始亮度值的比值。在确定初始亮度值对应的饱和度调节因子时,可根据饱和度映射曲线,将与所述初始亮度值对应的调节亮度值和初始亮度值的比值作为初始亮度值对应的饱和度调节因子。
在一种可行的实施方式中,饱和度调节因子可由如下公式确定:
fsmNLTF1(eNLTF1)=ftmNLTF1(eNLTF1)/eNLTF1(5);
其中,eNLTF1为待处理视频信号的初始亮度值,ftmNLTF1()表示亮度映射曲线,fsmNLTF1()表示饱和度映射曲线,从而对应的,ftmNLTF1(eNLTF1)表示初始亮度值对应的调节亮度值,fsmNLTF1(eNLTF1)表示初始亮度值对应的饱和度调节因子。
示例性的,ftmNLTF1()可用于表示属于非线性的非线性空间NLTF1的亮度映射曲线,fsmNLTF1()表示属于非线性的非线性空间NLTF1的饱和度映射曲线,eNLTF1可以为属于非线性空间NLTF1的待处理视频信号的初始亮度值,fsmNLTF1(eNLTF1)表示饱和度调节因子,该饱和度调节因子用于对属于非线性空间NLTF1,且初始亮度值为eNLTF1的待处理视频信号进行亮度调节。
在实施中,可将待处理视频信号的初始亮度值作为上述公式(5)的自变量(即输入),将确定公式(5)的因变量(即公式(5)的输出)作为初始亮度值对应的饱和度调节因子。
在另一种可行的实施方式中,饱和度调节因子可以由映射关系表确定,映射关系表包括饱和度映射曲线上至少一个采样点的横坐标值和纵坐标值。具体来说,可根据如表1所示的一维映射关系表确定饱和度调节因子,其中,表1为根据饱和度映射曲线SM_Curve生成的,表1中位于同一行的横坐标和纵坐标表示饱和度映射曲线SM_Curve上的一个采样点的横坐标值和纵坐标值。
采样点的横坐标值 采样点的纵坐标值
SM_Curve_x<sub>1</sub> SM_Curve_y<sub>1</sub>
SM_Curve_x<sub>2</sub> SM_Curve_y<sub>2</sub>
…… ……
SM_Curve_x<sub>n</sub> SM_Curve_y<sub>n</sub>
表1根据饱和度映射曲线SM_Curve生成的一维映射关系表
如表1所示,SM_Curve_x1、SM_Curve_x2……SM_Curve_xn分别表示饱和度映射曲线上第1、第2……第n个采样点的横坐标值,SM_Curve_y1、SM_Curve_y2……SM_Curve_yn分别表示饱和度映射曲线上第1、第2……第n个采样点的纵坐标值。在根据表1所示的映射关系表确定与待处理视频信号的初始亮度值对应的饱和度调节因子时,可将待处理视频信号的初始亮度值作为采样点的横坐标值,将与该横坐标值对应的采样点的纵坐标值作为确定的饱和度调节因子。
另外在实施中,还可以通过线性插值或其他插值方法,确定待处理视频信号的初始亮度值对应的饱和度调节因子。举例来说,可根据待处理视频信号的初始亮度值,大于初始亮度值的p个采样点的横坐标值、与该p个采样点的横坐标值对应的采样点的纵坐标值、小于初始亮度值的q个采样点的横坐标值以及与该q个采样点的横坐标值对应的采样点的纵坐标值,通过线性插值方法确定饱和度调节因子,p、q为正整数。
示例性的,本申请实施例中确定步骤S101所涉及的亮度映射曲线的方式有多种,下面举例几种可选的方式予以说明:
方式一、根据预设的非线性的第一原始亮度映射曲线,确定属于目标非线性空间的亮度映射曲线
应理解,本申请实施例所涉及的第一原始亮度映射曲线,是在非线性空间中对视频信号(如HDR信号)进行亮度映射过程中使用的一种特征曲线,用于表征视频信号在非线性空间中进行亮度映射前的亮度值和进行亮度映射后的亮度值之间的对应关系。该第一原始亮度映射曲线可在非线性空间中生成,也可在线性空间中生成后,转换到非线性空间。
如图6所示为一种第一原始亮度映射曲线的示意图,该曲线在非线性空间的PQEOTF的逆曲线PQ EOTF-1上生成,所示第一原始亮度映射曲线的横坐标,表示亮度映射前HDR PQ信号的非线性编码亮度信号,即表示HDR PQ信号进行亮度映射前的亮度值经过非线性PQ编码得到的非线性编码亮度信号,所示亮度映射曲线的纵坐标,表示亮度映射后HDRPQ信号的亮度值对应的经过非线性PQ编码得到的非线性编码亮度信号,即表示HDR PQ信号的亮度映射后的亮度值经过非线性PQ编码得到的非线性编码亮度信号,其中,第一原始亮度映射曲线的横坐标取值范围为[0,1],纵坐标取值范围为[0,1]。
本申请实施例提供的一种确定亮度映射曲线的方式中,若饱和度映射曲线属于目标非线性空间,且预设的第一原始亮度映射曲线为非线性曲线,可以对第一原始亮度映射曲线上的至少一个采样点对应的第一横坐标值和第一纵坐标值,分别进行非线性空间到线性空间的转换,以获得第二横坐标值和第二纵坐标值,此后,对第二横坐标值和所述第二纵坐标值分别进行线性空间到目标非线性空间的转换,以获得初始亮度值和与初始亮度值具有映射关系的调节亮度值,从而可根据初始亮度值和调节亮度值的映射关系,确定亮度映射曲线,此时确定的亮度映射曲线属于目标非线性空间。该亮度映射曲线可以用于确定属于目标非线性空间的饱和度映射曲线。
另外在一种可选的情况中,还可根据亮度映射曲线对待处理视频信号的初始亮度值进行亮度映射,将亮度映射得到的调节亮度值作为待处理信号亮度映射后的亮度值,具体方法为:可以根据亮度映射曲线,确定待处理信号的初始亮度值所对应的目标第一横坐标值对应的目标第一纵坐标值,将该目标第一纵坐标值作为调节亮度值。
方式二、根据预设的线性的第二原始亮度映射曲线,确定属于目标非线性空间的亮度映射曲线
应理解,本申请实施例所涉及的第二原始亮度映射曲线,是在线性空间中对视频信号(如HDR信号)进行亮度映射过程中使用的一种特征曲线,用于表征视频信号在非线性空间中进行亮度映射前的线性亮度值和进行亮度映射后的线性亮度值之间的对应关系。该第二原始亮度映射曲线可在非线性空间中生成后转换到线性空间,也可在线性空间中生成。
本申请实施例提供的一种确定亮度映射曲线的方式中,若饱和度映射曲线属于目标非线性空间,且预设的第二原始亮度映射曲线为线性曲线,可以对第二原始亮度映射曲线上的至少一个采样点所对应的第三横坐标值和第三纵坐标值,分别进行线性空间到非线性空间的转换,以获得初始亮度值和调节亮度值,此后,可根据初始亮度值和调节亮度值的映射关系,确定亮度映射曲线,亮度映射曲线属于目标非线性空间。在实施中,该亮度映射曲线可以用于确定属于目标非线性空间的饱和度映射曲线。
另外在实施中,还可根据亮度映射曲线对待处理视频信号的初始亮度值进行亮度映射,将亮度映射得到的调节亮度值作为待处理信号亮度映射后的亮度值,具体方法为:可以根据亮度映射曲线,确定待处理信号的初始亮度值所对应的目标第三横坐标值对应的目标第三纵坐标值,将该目标第三纵坐标值作为调节亮度值。
下面介绍本申请实施例提供的确定饱和度映射曲线的方式。
若属于非线性空间的第一原始亮度映射曲线TM_Curve,可通过第一原始亮度映射曲线上采样点的横坐标以及纵坐标的集合表示为:
TM_Curve={TM_Curve_xn,TM_Curve_yn} (6);
其中,TM_Curve_xn为第一原始亮度映射曲线上第n个采样点的第一横坐标值,TM1_Curve_yn为第一原始亮度映射曲线上第n个采样点的第一纵坐标值,n为正整数;
假设第一原始亮度映射曲线所属空间为非线性空间PQ EOTF-1,PQ EOTF-1为PQEOTF的逆曲线,对第一横坐标进行非线性空间到线性空间的转换,得到的第二横坐标值为:
TM_Curve_L_xn=PQ_EOTF(TM_Curve_xn) (7);
其中,PQ_EOTF()为PQ EOTF曲线的表达式,TM_Curve_L_xn表示第n个采样点的第二横坐标值,TM_Curve_xn表示第n个采样点的第一纵坐标值;
对第一纵坐标进行非线性空间到线性空间的转换,得到的第二纵坐标值为:
TM_Curve_L_yn=PQ_EOTF(TM_Curve_yn) (8);
其中,TM_Curve_L_yn表示第n个采样点的第二纵坐标值,TM_Curve_yn表示第n个采样点的第一纵坐标值;
若目标非线性空间为非线性的NLTF1空间,其中,NLTF1为伽马曲线,伽马系数取Gmm=2.4,任意线性亮度值转换至非线性的NLTF1空间时的转换表达式为:
NLTF1(E)=(E/MaxL)^(1/Gmm) (9);
公式(9)中,E为线性空间下的线性亮度值,其亮度范围为[0,10000]nits,MaxL为归一化的最大亮度,本实施例中可取MaxL=10000;
对第二横坐标进行线性空间到目标非线性空间的转换,得到的初始亮度值为:
TM_Curve_NLTF1_xn=NLTF1(TM_Curve_L_xn) (10);
其中,TM_Curve_NLTF1_xn为初始亮度值,NLTF1(TM_Curve_L_xn)表示将线性亮度值TM_Curve_L_xn转换至非线性的NLTF1空间后的亮度值,TM_Curve_L_xn为第二横坐标;
对第二纵坐标进行线性空间到目标非线性空间的转换,得到的调节亮度值为:
TM_Curve_NLTF1_yn=NLTF1(TM_Curve_L_yn) (11);
其中,TM_Curve_NLTF1_yn为调节亮度值,NLTF1(TM_Curve_L_yn)表示将线性亮度值TM_Curve_L_yn转换至非线性的NLTF1空间后的亮度值,TM_Curve_L_yn为第二纵坐标;
应注意,根据第一原始亮度映射曲线上任一个采样点确定的初始亮度值,与根据该采样点确定的调节亮度值之间存在映射关系,从而,选取横坐标值为初始亮度值,纵坐标值为初始亮度值对应的调节亮度值的采样点,并根据采样点制定曲线可得到亮度映射曲线;
以曲线上的采样点的横坐标值、纵坐标值表示亮度映射曲线TM_Curve_NLTF1:
TM_Curve_NLTF1={TM_Curve_NLTF1_xn,TM_Curve_NLTF1_yn} (12);
其中,TM_Curve_NLTF1_xn表示初始亮度值,TM_Curve_NLTF1_yn表示初始亮度值对应的调节亮度值,n为正整数。
应注意,根据以上方法确定的亮度映射曲线TM_Curve_NLTF1,属于非线性的NLTF1空间。
根据如公式(12)表示的亮度映射曲线TM_Curve_NLTF1,可通过以下方法确定属于非线性的NLTF1空间的饱和度映射曲线SM_Curve的表达式:
饱和度映射曲线SM_Curve可表示为:
SM_Curve={SM_Curve_NLTF1_xn,SM_Curve_NLTF1_yn} (13);
其中:
SM_Curve_NLTF1_xn=TM_Curve_NLTF1_xn (14);
SM_Curve_NLTF1_yn=TM_Curve_NLTF1_yn/TM_Curve_NLTF1_xn (15);
以上公式(13)至公式(15)中,SM_Curve_NLTF1_xn为饱和度映射曲线上第n个采样点的横坐标,TM_Curve_NLTF1_xn为亮度映射曲线TM_Curve_NLTF1上第n个采样点的横坐标;
SM_Curve_NLTF1_yn为饱和度映射曲线上第n个采样点的纵坐标,TM_Curve_NLTF1_yn为亮度映射曲线TM_Curve_NLTF1上第n个采样点的纵坐标。
下面为本申请提供的另一种确定饱和度映射曲线的方法。
若非线性的第一原始亮度映射曲线TM_Curve的表达式为:
Figure BDA0002118891480000131
其中,e表示第一原始亮度映射曲线的输入,即第一原始亮度映射曲线上一个采样点的第一横坐标值,ftm(e)表示该采样点的第一纵坐标值;
函数hmt()定义如下:
hmt(x)=0.2643×α0(x)+0.5081×α1(x)+β0(x) (17);
其中,
将采样点的第一横坐标值e转换到线性空间,从而,可以以eL表示线性空间下采样点的第二横坐标值;
可以通过以下公式,表示第一纵坐标值ftm(e)转换到线性空间后得到的第二纵坐标值ftmL(eL):
ftmL(eL)=PQ_EOTF(ftm(e))=PQ_EOTF(ftm(PQ_EOTF-1(eL))) (18);
其中,PQ_EOTF()为PQ EOTF曲线的表达式。
若目标非线性空间为非线性的NLTF1空间,其中,NLTF1为伽马曲线,伽马系数取Gmm=2.4,任意线性亮度值转换至非线性的NLTF1空间时的转换表达式可参照前述公式(9),则对第二横坐标值eL进行线性空间到目标非线性空间的转换,得到的初始亮度值可表示为eNLTF1;
对第二纵坐标值ftmL(eL)进行线性空间到目标非线性空间的转换,得到的调节亮度值ftmNLTF1(eNLTF1)可表示为:
ftmNLTF1(eNLTF1)=NLTF1(ftmL(eL))=NLTF1(PQ_EOTF(ftm(PQ_EOTF-1(eL))))=NLTF1(PQ_EOTF(ftm(PQ_EOTF-1(NLTF1-1(eNLTF1))))); (19);
其中,NLTF1()表示任意线性亮度值转换至非线性的NLTF1空间时的转换表达式,NLTF1-1()表示NLTF1()的逆表达式。
从而,可根据以上公式(19)表示亮度映射曲线TM_Curve_NLTF1,该亮度映射曲线TM_Curve_NLTF1属于非线性的NLTF1空间。
根据以上亮度映射曲线TM_Curve_NLTF1确定饱和度映射曲线,则饱和度映射曲线SM_Curve可由以下公式表示:
fsmNLTF1(eNLTF1)=ftmNLTF1(eNLTF1)/eNLTF1 (20);
其中,eNLTF1表示初始亮度值,fsmNLTF1(eNLTF1)表示初始亮度值eNLTF1对应的饱和度调节因子。
下面为本申请提供的另一种确定饱和度映射曲线的方法。若属于线性空间的第二原始亮度映射曲线TM_Curve,通过第一原始亮度映射曲线上采样点的横坐标以及纵坐标的集合表示为:
TM_Curve={TM_Curve_xn,TM_Curve_yn} (21);
其中,TM_Curve_xn为第二原始亮度映射曲线上第n个采样点的第三横坐标值,TM1_Curve_yn为第二原始亮度映射曲线上第n个采样点的第三纵坐标值,n为正整数;
若目标非线性空间为非线性的NLTF1空间,其中,NLTF1为伽马曲线,伽马系数取Gmm=2.4,任意线性亮度值转换至非线性的NLTF1空间时的转换表达式参照公式(9);
对第三横坐标进行线性空间到目标非线性空间的转换,得到的初始亮度值为:
TM_Curve_NLTF1_xn=NLTF1(TM_Curve_xn) (22);
其中,TM_Curve_NLTF1_xn为初始亮度值,NLTF1(TM_Curve_xn)表示将第三横坐标值TM_Curve_xn转换至非线性的NLTF1空间后的亮度值;
对第三纵坐标进行线性空间到目标非线性空间的转换,得到的调节亮度值为:
TM_Curve_NLTF1_yn=NLTF1(TM_Curve_L_yn) (23)
其中,TM_Curve_NLTF1_yn为调节亮度值,NLTF1(TM_Curve_yn)表示将第三纵坐标TM_Curve_yn转换至非线性的NLTF1空间后的亮度值;
应注意,根据第二原始亮度映射曲线上任一个采样点确定的初始亮度值,与根据该采样点确定的调节亮度值之间存在映射关系,从而,选取横坐标值为初始亮度值,纵坐标值为初始亮度值对应的调节亮度值的采样点,并根据采样点制定曲线可得到亮度映射曲线;
以曲线上的采样点的横坐标值、纵坐标值表示亮度映射曲线TM_Curve_NLTF1:
TM_Curve_NLTF1={TM_Curve_NLTF1_xn,TM_Curve_NLTF1_yn} (24);
其中,TM_Curve_NLTF1_xn表示初始亮度值,TM_Curve_NLTF1_yn表示初始亮度值对应的调节亮度值,n为正整数。
应注意,根据以上方法确定的亮度映射曲线TM_Curve_NLTF1,属于非线性的NLTF1空间。
根据如公式(24)表示的亮度映射曲线TM_Curve_NLTF1,可通过以下方法确定属于非线性的NLTF1空间的饱和度映射曲线SM_Curve的表达式:
饱和度映射曲线SM_Curve可表示为:
SM_Curve={SM_Curve_NLTF1_xn,SM_Curve_NLTF1_yn} (25);
其中:
SM_Curve_NLTF1_xn=TM_Curve_NLTF1_xn (26);
SM_Curve_NLTF1_yn=TM_Curve_NLTF1_yn/TM_Curve_NLTF1_xn (27);
以上公式(25)至公式(27)中,SM_Curve_NLTF1_xn为饱和度映射曲线上第n个采样点的横坐标,TM_Curve_NLTF1_xn为亮度映射曲线TM_Curve_NLTF1上第n个采样点的横坐标;
SM_Curve_NLTF1_yn为饱和度映射曲线上第n个采样点的纵坐标,TM_Curve_NLTF1_yn为亮度映射曲线TM_Curve_NLTF1上第n个采样点的纵坐标。
下面为本申请提供的另一种视频信号处理的方法。
若已知第二原始亮度映射曲线上任意一个采样点的第三横坐标为e,第二原始亮度映射曲线上采样点的第三纵坐标为ftm(e),第二原始亮度映射曲线为线性空间下生成的亮度映射曲线;
若目标非线性空间为非线性的NLTF1空间,其中,NLTF1为伽马曲线,伽马系数取Gmm=2.4,任意线性亮度值转换至非线性的NLTF1空间时的转换表达式可参照前述公式(9);
则对第三横坐标值e进行线性空间到目标非线性空间的转换,得到的初始亮度值可表示为eNLTF1;
对第三纵坐标值ftm(e)进行线性空间到目标非线性空间的转换,得到的调节亮度值ftmNLTF1(eNLTF1)可表示为:
ftmNLTF1(eNLTF1)=NLTF1(ftm(e)) (28);
其中,NLTF1()表示任意线性亮度值转换至非线性的NLTF1空间时的转换表达式。
从而,可根据以上公式(28)表示亮度映射曲线TM_Curve_NLTF1,该亮度映射曲线TM_Curve_NLTF1属于非线性的NLTF1空间。
根据以上亮度映射曲线TM_Curve_NLTF1确定饱和度映射曲线,则饱和度映射曲线SM_Curve可由以下公式表示:
fsmNLTF1(eNLTF1)=ftmNLTF1(eNLTF1)/eNLTF1 (29);
其中,eNLTF1表示初始亮度值,fsmNLTF1(eNLTF1)表示初始亮度值eNLTF1对应的饱和度调节因子。
在步骤S102的实施中,在确定饱和度调节因子后,可以基于预设的色度分量增益系数和饱和度调节因子的乘积,对待处理视频信号的色度值进行调节。具体来说,可预先确定待处理视频信号中色度信号与色度分量增益系数的映射关系,在基于本申请实施例提供的视频信号处理方法调节待处理视频信号时,基于待处理视频信号中色度信号对应的色度分量增益系数和饱和度调节因子的乘积,调节待处理视频信号中的色度信号。
在具体实施中,若待处理视频信号包括两个或两个以上的色度信号,可根据每个色度信号所分别对应的色度分量增益系数和饱和度调节因子的乘积,分别调节每个色度信号的色度值。具体来说,若待处理视频信号为一个YCC信号,该YCC信号包括的第一色度信号和第二色度信号,另外,预设的色度分量增益系数包括预设的第一色度分量增益系数和预设的第二色度分量增益系数,其中,第一色度信号对应有第一色度值,第二色度信号对应有第二色度值,在调节YCC信号的色度值时,可根据第一色度分量增益系数和饱和度调节因子的乘积,对第一色度信号对应的第一色度值进行调节,以及,根据预设的第二色度分量增益系数和饱和度调节因子的乘积,对第二色度信号对应的第二色度值进行调节。
举例来说,若根据待处理的视频信号为一个YUV信号YUV0,其中,根据YUV0的初始亮度值确定的饱和度调节因子为SMCoef,YUV0的第一色度分量U对应的第一色度分量增益系数为Ka,YUV0的第二色度分量V对应的第二色度分量增益系数为Kb,YUV0的亮度分量值为Y0,第一色度分量U的色度值为U0,第二色度分量V的色度值为V0,则对该YUV信号的色度值调节过程可以为:
将第一色度分量增益系数Ka以及SMCoef的乘积作为第一色度分量调节因子SMCoefa,以及将第二色度分量增益系数Kb以及SMCoef的乘积作为第二色度分量调节因子SMCoefb,从而:
SMCoefa=SMCoef*Ka (30);
SMCoefb=SMCoef*Kb (31)。
此后,可将第一色度分量调节因子SMCoefa与U0的乘积U0',作为调节后的第一色度分量的色度值,以及,将第二色度分量调节因子SMCoefb与V0的乘积V0',作为调节后的第二色度分量的色度值。
下面介绍本申请实施例提供的一种对YsCbsCrs信号进行处理的过程,其中,YsCbsCrs是终端经过第二代信源编码标准(2ndaudio video coding standard,AVS2)解码重建和色度上采样恢复成的4:4:4 YCbCr非线性视频信号。YsCbsCrs中各分量均为10比特的数字编码值。
(1)根据YsCbsCrs信号计算非线性R`sG`sB`s信号;
Figure BDA0002118891480000161
Figure BDA0002118891480000162
其中的YsCbsCrs信号是10比特限制范围数字编码值,经过该处理得到的R`sG`sB`s是浮点非线性基色值,R`sG`sB`s各分量的数值范围调整到[0,1]区间。
1)根据R`sG`sB`s信号计算线性RsGsBs信号,并计算输入信号RsGsBs线性亮度Ys
Es=HLG_OETF-1(E`s) (34);
等式中的Es表示RsGsBs信号中任一分量,其数值范围在[0,1]区间;E`s指R`sG`sB`s信号中任一分量,函数HLG_OETF-1()根据ITU BT.2100定义如下:
Figure BDA0002118891480000163
其中a=0.17883277,b=1-4a,c=0.5-a*ln(4a);
RsGsBs线性亮度Ys计算如下:
Ys=0.2627Rs+0.6780Gs+0.0593Bs (36);
式中,Ys是实数,其数值在[0,1]区间。
(2)根据线性亮度Ys计算Yt信号;
根据线性亮度Ys计算显示亮度Yd
Yd=1000(Ys)1.2 (37);
根据Yt信号计算视觉线性亮度YdPQ
YdPQ=PQ_EOTF-1(Yd) (38);
其中,
Figure BDA0002118891480000164
m1=2610/16384=0.1593017578125;
m2=2523/4096*128=78.84375;
c1=3424/4096=0.8359375=c3-c2+1;
c2=2413/4096*32=18.8515625;
c3=2392/4096*32=18.6875;
对YdPQ进行亮度映射得到YtPQ
YtPQ=ftm(YdPQ) (39);
等式中的函数ftm()定义如下:
Figure BDA0002118891480000165
其中函数hmt()定义如下:
hmt(x)=0.2643×α0(x)+0.5081×α1(x)+β0(x) (41);
Figure BDA0002118891480000171
根据视觉线性亮度YdPQ计算归一化亮度映射后线性亮度Yt
Yt=PQ_EOTF(YtPQ) (43);
其中,
Figure BDA0002118891480000172
从而,Yt的计算公式为:
Yt=PQ_EOTF(ftm(PQ_EOTF-1(1000(Ys)1.2)) (44);
式中,Yt是实数,其数值在[0,100]区间。
(3)根据Yt、Ys计算亮度映射增益TmGain;
亮度映射增益TmGain的计算如公式所示:
Figure BDA0002118891480000173
(4)根据亮度映射增益TmGain计算饱和度映射增益SmGain
a.计算亮度映射前的非线性显示亮度值:
YdGMM=(Yd/1000)1/γ=(1000(Ys)1.2/1000)1/γ (46);
b.计算亮度映射后的非线性显示亮度值:
YtGMM=(Yt/1000)1/γ (47);
c.计算饱和度映射增益SmGain
(5)计算RtmGtmBtm信号;
Etm=Es×TmGain (49);
式中,Es表示RsGsBs信号中任一分量,Etm表示RtmGtmBtm信号中任一分量。
(6)计算RtGtBt信号(进行色域映射);
Figure BDA0002118891480000175
(7)根据RtGtBt信号计算R`tG`tB`t信号;
E`t=(Et/100)1/γ (51);
(8)根据R`tG`tB`t信号计算YtCbtCrt信号;
Figure BDA0002118891480000176
Figure BDA0002118891480000177
其中的R`tG`tB`t是的非线性基色值,数值在[0,1]区间。经过该处理得到的YtCbtCrt信号是10比特限制范围数字编码值,示例性的,该实施例中的γ可以取2.2或2.4,也可以取其他数值,γ的取值可以根据实际情况选取,本申请实施例对此不做限定。
(9)计算YoCboCro信号(进行饱和度映射);
YoCboCro信号为根据本申请实施例提供的视频信号处理方法调节色度值得到的视频信号;YoCboCro信号是10比特限制范围数字编码值。
示例性的,本申请实施例提供的视频信号处理方法的实施中,还可以根据如图7所示方法对视频信号YUV0进行RGB空间的亮度映射:
步骤701:将视频信号YUV0进行色彩空间转换,得到RGB空间的线性显示光信号RdGdBd;Rd、Gd以及Bd分别表示线性显示光信号RdGdBd的三个分量的亮度值,Rd、Gd以及Bd的取值范围为[0,10000];
步骤702:根据线性显示光信号RdGdBd的色域,计算RdGdBd信号的显示亮度值Yd;其中,Yd=(cr*Rd+cg*Gd+cb*Bd),当RdGdBd信号的色域为BT.2020时,参数cr可取0.2627,cg可取0.6780,cb可取0.0593;当RdGdBd信号的色域为其它色域,cr、cg以及cb可分别取各色域下线性亮度计算参数;
步骤703:将显示亮度值Yd利用PQ EOTF-1曲线转换到视觉线性空间,得到NL_Yd;其中,NL_Yd=PQ_EOTF-1(Yd),PQ_EOTF-1()为PQ_EOTF的逆曲线的表达式;
步骤704:利用非线性的第一原始亮度映射曲线对NL_Yd进行亮度映射,得到映射后亮度值NL_Yt,其中,第一原始亮度映射曲线是在PQ_EOTF-1空间生成的;
步骤705:将映射后亮度值转换到线性空间,得到线性空间亮度值Yt;其中,Yt=PQ_EOTF(NL_Yt);
步骤706:计算线性亮度增益K,K为线性空间亮度值Yt与显示亮度值Yd的比值;
步骤707:根据K以及线性显示光信号RdGdBd,确定亮度映射处理后的线性显示光信号RtGtBt,其中,(Rt,Gt,Bt)=K*(Rd,Gd,Bd)+(BLoffset,BLoffset,BLoffset),BLoffset为显示设备的黑位电平,即显示亮度的最小值,Rd、Gd以及Bd分别为线性显示光信号RdGdBd的三个分量。
在步骤704的实施中,若第一原始亮度映射曲线上采样点的横坐标、纵坐标由表2所示映射关系表表示,可根据NL_Yd,采取查表线性插值方法计算NL_Yt,也可采用其他插值方法计算NL_Yt。其中,表2所示采样点的横坐标值x0、x1……xn,为第一原始亮度映射曲线上多个采样点的横坐标值,采样点的纵坐标值y0、y1……yn,分别为第一原始亮度映射曲线上多个采样点的纵坐标值。
采样点的横坐标值 采样点的纵坐标值
x<sub>0</sub> y<sub>0</sub>
x<sub>1</sub> y<sub>1</sub>
…… ……
x<sub>n</sub> y<sub>n</sub>
表2根据第一原始亮度映射曲线生成的一维映射关系表
示例性的,可通过以下线性插值方法,确定NL_Yd对应的NL_Yt:
若通过查表,确定x0<NL_Yd<x1,则根据表2取采样点(x0,y0)的横坐标值x0和纵坐标值y0以及采样点(x1,y1)的横坐标值x1和纵坐标值y1,确定NL_Yt;
采用线性插值方法,可第一原始亮度映射曲上横坐标在x0与x1之间任一横坐标值x所对应的纵坐标值y可表示为:
Figure BDA0002118891480000181
令式中x取NL_Yd,得到的y即为NL_Yd对应的NL_Yt。
若待处理视频信号为根据如图7所示方法进行亮度映射并转换到非线性的NLTF1空间的YUV信号,其中,若根据步骤702,已知线性显示光信号RdGdBd的显示亮度值Yd,根据步骤705已知映射后亮度在线性空间的亮度值Yt,可根据Yd、Yt确定饱和度调节因子并对待处理视频信号进行色度调节,具体方法如图8所示:
步骤801:根据线性显示光信号RdGdBd的显示亮度值Yd,计算亮度映射前的非线性NLTF1空间的非线性显示亮度值NL1_Yd;其中,NL1_Yd=NLTF1(Yd),NLTF1()表示非线性的NLTF1空间时的转换表达式,该表达式可参见前述公式(9);
步骤802:根据映射后的线性亮度值Yt,计算亮度映射后非线性NLTF1空间的非线性显示亮度值NL1_Yt,其中,NL1_Yt=NLTF1(Yt);
步骤803:根据非线性显示亮度值NL1_Yd和非线性显示亮度值NL1_Yt,确定饱和度映射因子SMCoef,其中,SMCoef=NL1_Yt/NL1_Yd;
步骤804:将YUV信号第一色度分量U对应的第一色度分量增益系数Ka以及SMCoef的乘积,确定为第一色度分量增益系数SMCoefa,以及将YUV信号第二色度分量V对应的第二色度分量增益系数Kb以及SMCoef的乘积,确定为第二色度分量增益系数SMCoefb;
步骤805:保持YUV信号的亮度分量的亮度值不变,将第一色度分量调节因子SMCoefa与第一色度分量的色度值U的乘积U',作为调节后的第一色度分量的色度值,以及,将第二色度分量调节因子SMCoefb与第二色度分量的色度值V的乘积V',作为调节后的第二色度分量的色度值,之后结束本流程。
如图9所示,若待处理视频信号为RGB空间通过原始亮度映射曲线进行亮度映射并转换到非线性的NLTF1空间的YUV信号,本申请实施例提供的一种视频信号处理方法包括以下步骤:
步骤901:根据原始亮度映射曲线,确定属于非线性的NLTF1空间的饱和度映射曲线;这里的原始亮度映射曲线,可以为本申请实施例提供的非线性的第一原始亮度映射曲线,也可以为本申请实施例提供的线性的第二原始亮度映射曲线;步骤901的实施,可以参照本申请实施例一至实施例四的实施;
步骤902:根据饱和度映射曲线,确定与待处理视频信号的初始亮度值对应的饱和度调节因子;若饱和度映射曲线通过映射关系表表示,可根据映射关系表中采样点的横坐标值、纵坐标值通过线性插值方法,确定初始亮度值对应的饱和度调节因子;若饱和度映射曲线通过曲线表达式表示,可将待处理视频信号的初始亮度值作为表达式的输入,将表达式的输出作为初始亮度值对应的饱和度调节因子;
步骤903:基于饱和度调节因子和预设的色度分量增益系数,确定调节待处理视频信号的色度分量调节因子;
步骤904:基于色度分量调节因子,调节待处理视频信号的色度值,之后结束本流程。
采用以上方法,能够根据RGB空间对视频信号进行亮度映射时使用的原始亮度映射曲线,确定属于非线性的NLTF1空间的饱和度映射曲线,根据饱和度映射曲线,确定进行亮度映射后转换到非线性的NLTF1空间的视频信号的饱和度调节因子,实现对视频信号的色度调节,使得人眼所感知的色度值调节后的视频信号的颜色更加接近进行亮度映射前视频信号的颜色。在实施中,图9所示方法中涉及的待处理视频信号,可以是经过图7所示亮度映射方法进行RGB空间亮度映射的视频信号,也可以是经过其他方法进行RGB空间亮度映射的视频信号。
如图10所示,若待处理视频信号为一HDR信号YUV0,该HDR信号需要在RGB空间通过原始亮度映射曲线进行亮度映射,以及需要在亮度映射后转换为非线性的NLTF1空间的YUV信号用于显示,本申请实施例提供的一种视频信号处理方法包括以下步骤:
步骤1001:根据原始亮度映射曲线,确定属于非线性的NLTF1空间的饱和度映射曲线;这里的原始亮度映射曲线,可以为本申请实施例提供的非线性的第一原始亮度映射曲线,也可以为本申请实施例提供的线性的第二原始亮度映射曲线;步骤1001的实施,可以参照本申请实施例一至实施例四的实施;
步骤1002:根据饱和度映射曲线,确定与待处理视频信号的初始亮度值对应的饱和度调节因子;若饱和度映射曲线通过映射关系表表示,可根据映射关系表中采样点的横坐标值、纵坐标值通过线性插值方法,确定初始亮度值对应的饱和度调节因子;若饱和度映射曲线通过曲线表达式表示,可将待处理视频信号的初始亮度值作为表达式的输入,将表达式的输出作为初始亮度值对应的饱和度调节因子;
步骤1003:基于饱和度调节因子和预设的色度分量增益系数,确定调节待处理视频信号HDR信号YUV0对应的色度分量调节因子;
步骤1004:基于色度分量调节因子,调节待处理视频信号HDR信号YUV0的色度值,得到调节色度值后的视频信号YUV1;
步骤1005:对视频信号YUV1进行色彩空间转换,得到RGB空间的视频信号RGB1;
步骤1006:在RGB空间根据原始亮度映射曲线对视频信号RGB1进行亮度映射,得到亮度映射后的视频信号RGB2;
步骤1007:对亮度映射后的视频信号RGB2进行色彩空间转换,得到非线性的NLTF1空间的YUV信号YUV2。
采用以上方法,在YCC空间分别对HDR信号的两个色度分量的色度值进行调整,之后对得到的视频信号进行RGB空间的亮度映射,由于在进行RGB空间的亮度映射之前已经对视频信号的色度进行调整,使得人眼所感知的视频信号YUV2的颜色更加接近进行亮度映射前HDR信号YUV0的颜色。
在步骤1002的具体实施中,可将待处理视频信号YUV0的亮度分量Y0作为初始亮度值计算饱和度映射因子SMCoef;若YUV0中的亮度分量Y0已经在非线性空间NLTF1上(SM_Curve曲线转换到HDR信号YUV0所在的非线性空间NLTF1上),故可将HDR信号YUV0的亮度分量Y0进行归一化后的亮度Y0_Norm作为饱和度映射曲线的输入,从而可进行查表并通过线性插值方法得到饱和度映射因子SMCoef;
或者,若饱和度映射曲线的表达式为fsmNLTF1(eNLTF1)=ftmNLTF1(eNLTF1)/eNLTF1,则可将亮度Y0_Norm作为自变量,计算饱和度映射因子SMCoef,SMCoef=fsmNLTF1(Y0_Norm);
上例中,归一化亮度Y0_Norm=(Y0-minValueY)/(maxValueY-minValueY),对于10bit的Limited Range YUV信号,minValueY=64,maxValueY=940;对于10bit的FullRange YUV信号,minValueY=0,maxValueY=1023。
基于同一发明构思,本申请实施例提供了一种视频信号处理装置,该装置具有实现上述任一方法实施例提供的视频信号处理方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
本申请实施例提供的一种视频信号处理装置,可以具有如图3-c所示的结构,其中,处理单元301可用于执行本申请方法侧实施例所示的步骤S101、S102;示例性的,处理单元301还可用于执行如方法侧实施例中图7、图8、图9以及图10所示各步骤。
一种实施方式中,本申请实施例提供的一种视频信号处理装置102的结构如图11所示,该视频信号处理装置102可包括第一确定单元1101、调节单元1102;其中,第一确定单元1101,可用于执行如本申请实施例方法测S101所述步骤;调节单元1102,可用于执行如本申请实施例方法测S102所述步骤。
采用以上结构,视频信号处理装置102的第一确定单元可以确定饱和度调节因子,以及,视频信号处理装置102的调节单元可根据饱和度调节因子,调节待处理视频信号的色度值。
一种可能的设计中,饱和度映射曲线是以初始亮度值为自变量,以比值为因变量的函数。
一种可能的设计中,饱和度调节因子可根据前述公式(29)确定,其中,eNLTF1为初始亮度值,ftmNLTF1()表示亮度映射曲线,fsmNLTF1()表示饱和度映射曲线,对应的,ftmNLTF1(eNLTF1)表示初始亮度值对应的调节亮度值,fsmNLTF1(eNLTF1)表示初始亮度值对应的饱和度调节因子。
一种可能的设计中,饱和度调节因子可由映射关系表确定,映射关系表包括饱和度映射曲线上至少一个采样点的横坐标值和纵坐标值。
一种可能的设计中,调节单元可基于预设的色度分量增益系数和饱和度调节因子的乘积,对待处理视频信号的色度值进行调节。
一种可能的设计中,色度值包括待处理视频信号对应的第一色度信号的第一色度值和待处理视频信号对应的第二色度信号的第二色度值,预设的色度分量增益系数包括预设的第一色度分量增益系数和预设的第二色度分量增益系数,调节单元1102可具体用于:基于预设的第一色度分量增益系数和饱和度调节因子的乘积,对第一色度值进行调节;基于预设的第二色度分量增益系数和饱和度调节因子的乘积,对第二色度值进行调节。
一种可能的设计中,饱和度映射曲线属于目标非线性空间,预设的第一原始亮度映射曲线为非线性曲线,视频信号处理装置102还可以包括第一转换单元1103、第二转换单元1104以及第二确定单元1105;其中,第一转换单元1103,用于对第一原始亮度映射曲线上的至少一个采样点对应的第一横坐标值和第一纵坐标值,分别进行非线性空间到线性空间的转换,以获得第二横坐标值和第二纵坐标值;第二转换单元1104,用于对第二横坐标值和第二纵坐标值分别进行线性空间到非线性空间的转换,以获得初始亮度值和调节亮度值;第二确定单元1105,用于根据初始亮度值和调节亮度值的映射关系,确定亮度映射曲线,亮度映射曲线属于目标非线性空间。
一种可能的设计中,若饱和度映射曲线属于目标非线性空间,预设的第二原始亮度映射曲线为线性曲线,视频信号处理装置102还可包括第三转换单元1106、第三确定单元1107:其中,第三转换单元1106,用于对第二原始亮度映射曲线上的至少一个采样点对应的第三横坐标值和第三纵坐标值,分别进行线性空间到非线性空间的转换,以获得初始亮度值和调节亮度值;第三确定单元1107,用于根据初始亮度值和调节亮度值的映射关系,确定亮度映射曲线,亮度映射曲线属于目标非线性空间。
一种可能的设计中,视频信号处理装置102还可包括亮度调节单元1108,用于根据亮度映射曲线对初始亮度值进行调节,以获得调节亮度值。
一种可能的设计中,亮度调节单元1108具体用于根据初始亮度值对应的目标第一横坐标值,确定与目标第一横坐标对应的目标第一纵坐标值为调节亮度值。
一种可能的设计中,亮度调节单元1108具体用于根据初始亮度值对应的目标第三横坐标值,确定与目标第三横坐标对应的目标第三纵坐标值为调节亮度值。
示例性的,如图11所示的视频信号处理装置102还可以包括存储单元1109,用于存储计算机程序、指令和相关数据,以支持第一确定单元1101、调节单元1102、第一转换单元1103、第二转换单元1104、第二确定单元1105、第三转换单元1106、第三确定单元1107以及亮度调节单元1108实现以上示例的功能。
应理解,上述图11所示的视频信号处理装置102中的第一确定单元1101、调节单元1102、第一转换单元1103、第二转换单元1104、第二确定单元1105、第三转换单元1106、第三确定单元1107以及亮度调节单元1108,可以是中央处理器单元,通用处理器,数字信号处理器,专用集成电路,现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合,其可以实现或执行结合本申请实施例公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理器和微处理器的组合等等。另外,视频信号处理装置102可能包括的存储单元,可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。
示例性的,如图12-a所示,本申请实施例提供的视频信号处理装置102的另一种可能的结构包括主处理器1201、存储器1202以及视频处理器1203。其中,主处理器1201可用于支持视频信号处理装置102实现视频信号处理以外的相关功能,例如,主处理器1201可用于确定与待处理视频信号的初始亮度值对应的饱和度调节因子,主处理器1201所执行的步骤可参照方法侧步骤S101,主处理器1201还可用于根据亮度映射曲线和/或原始亮度映射曲线确定饱和度映射曲线,其中,亮度映射曲线和/或原始亮度映射曲线可存储于存储器1202中;视频处理器1203可用于支持视频信号处理装置102实现视频信号处理的相关功能,例如,视频处理器1203可用于根据饱和度调节因子调节待处理视频信号的色度值,视频处理器1203还可用于支持视频信号处理装置102对视频信号进行色彩空间转换以及进行RGB空间的亮度映射,如,视频处理器1203可以与支持视频信号处理装置102执行如图7所示方法,视频处理器1203所执行的步骤,具体可参照方法侧步骤S102。
示例性的,如图12-b所示,视频信号处理装置102在对HDR信号进行RGB空间亮度映射,以及在亮度映射之后对得到的YCC空间视频信号的色度值进行调整过程中,视频处理器1203可用于:根据存储器1202所存储的原始亮度映射曲线(如非线性的第一原始亮度映射曲线),对HDR信号在RGB空间进行亮度映射,将经过亮度映射的视频信号转换到进行显示所需的YCC空间,以及,根据存储器1202所存储的饱和度映射曲线,对经过亮度映射后并转换到YCC空间的视频信号的色度分量的色度值进行调节,得到的经过色度调节的YCC空间的视频信号可用于进行显示;主处理器1201可用于生成视频处理器1203对HDR信号进行RGB空间亮度映射所需的原始亮度映射曲线,以及,可用于根据原始亮度映射曲线,生成视频处理器1203对YCC空间的视频信号进行色度值调节所需的饱和度映射曲线;存储器1202可用于存储所述原始亮度映射曲线和/或饱和度映射曲线。
示例性的,如图12-c所示,视频信号处理装置102在对HDR信号的色度进行调节,以及将进行色度调节后的HDR信号进行RGB空间亮度映射并进行色彩空间转换以得到YCC空间视频信号的过程中,视频处理器1203可用于:根据存储器1202所存储的饱和度映射曲线,对HDR信号的色度分量的色度值进行调节,以及,根据存储器1202所存储的原始亮度映射曲线(如非线性的第一原始亮度映射曲线),对色度值调节后的HDR信号进行RGB空间亮度映射,并将亮度映射后的视频信号转换到YCC空间,得到的经过色度调节的YCC空间的视频信号可用于进行显示;主处理器1201可用于生成视频处理器1203对HDR信号进行色度值调节所需的饱和度映射曲线以及,可用于生成视频处理器1203对HDR信号进行RGB空间亮度映射所需的原始亮度映射曲线;存储器1202可用于存储所述原始亮度映射曲线和/或饱和度映射曲线。
应理解,如图12所示的视频信号处理装置102仅示例性地体现了视频信号处理装置102执行本申请实施例所涉及上述视频信号处理方法所需的结构,本申请实施例并不排除视频信号处理装置102还具有其他结构,例如,视频信号处理装置102还可包括显示装置,用于显示视频处理器1203对HDR信号进行处理后得到的经过色度调节的YCC空间的视频信号;又如,视频信号处理装置102还可包括必要的接口,以实现待处理视频信号的输入以及处理后的视频信号的输出。
另外应理解,如图12所示的视频信号处理装置102所执行的全部步骤,均可以由主处理器1201完成,此时,视频信号处理装置102可以只包括主处理器1201和存储器1202。
在具体实现中,主处理器1201、视频处理器1203可以是中央处理器,通用处理器,数字信号处理器,专用集成电路,现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合,其可以实现或执行结合本申请实施例公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理器和微处理器的组合等等。另外在实施中,视频处理器1203所具备的功能也可以全部利用主处理器1201通过软件实现。
示例性的,本申请实施例提供的视频信号处理装置102可应用于机顶盒、电视、手机等智能设备及其他显示设备、图像处理设备中,用于支持以上设备实现本申请实施例提供的视频信号处理方法。
基于同一发明构思,本申请实施例提供了一种计算机程序产品,包括计算机程序,该计算机程序在某一计算机上执行时,将会使所述计算机实现上述任一视频信号处理方法实施例中所涉及的功能。
基于同一发明构思,本申请实施例提供了一种计算机程序,该计算机程序在某一计算机上执行时,将会使所述计算机实现上述任一视频信号处理方法实施例中所涉及的功能。
基于同一发明构思,本申请实施例提供了一种计算机可读存储介质,用于存储程序、指令,这些程序、指令在计算机中被调用执行时,可以使得计算机执行上述任一视频信号处理方法实施例中所涉及的功能。
应理解,本申请实施例提供所涉及的第一原始亮度映射曲线可以是100nits亮度映射曲线、150nits亮度映射曲线、200nits亮度映射曲线、250nits亮度映射曲线、300nits亮度映射曲线、350nits亮度映射曲线或者400nits亮度映射曲线。第一原始亮度映射曲线可用于对视频信号YdPQ的亮度进行映射,得到映射后的视频信号YtPQ,映射公式可参照本申请上述公式(39)。
具体来说,若第一原始亮度映射曲线为100nits亮度映射曲线,第一原始亮度映射曲线可以具有如公式(9)所示的表达式。
若亮度映射前的亮度范围为0-1000nits,亮度映射后的亮度范围为0-150nits,第一原始亮度映射曲线可以具有如下表达式:
Figure BDA0002118891480000241
函数hmt()可定义如下:
hmt(x)=0.3468×α0(x)+0.5493×α1(x)+β0(x) (57);
其中,
Figure BDA0002118891480000242
若亮度映射前的亮度范围为0-1000nits,亮度映射后的亮度范围为0-200nits,第一原始亮度映射曲线可以具有如下表达式:
函数hmt()可定义如下:
hmt(x)=0.4064×α0(x)+0.5791×α1(x)+β0(x) (59);
其中,
Figure BDA0002118891480000244
若亮度映射前的亮度范围为0-1000nits,亮度映射后的亮度范围为0-250nits,第一原始亮度映射曲线可以具有如下表达式:
Figure BDA0002118891480000245
函数hmt()可定义如下:
hmt(x)=0.4533×α0(x)+06026×α1(x)+β0(x) (61);
其中,
Figure BDA0002118891480000251
若亮度映射前的亮度范围为0-1000nits,亮度映射后的亮度范围为0-300nits,第一原始亮度映射曲线可以具有如下表达式:
Figure BDA0002118891480000252
函数hmt()可定义如下:
hmt(x)=0.4919×α0(x)+0.6219×α1(x)+β0(x) (63);
其中,
Figure BDA0002118891480000253
若亮度映射前的亮度范围为0-1000nits,亮度映射后的亮度范围为0-350nits,第一原始亮度映射曲线可以具有如下表达式:
Figure BDA0002118891480000254
函数hmt()可定义如下:
hmt(x)=0.5247×α0(x)+0.6383×α1(x)+β0(x) (65);
其中,
若亮度映射前的亮度范围为0-1000nits,亮度映射后的亮度范围为0-400nits,第一原始亮度映射曲线可以具有如下表达式:
Figure BDA0002118891480000256
函数hmt()可定义如下:
hmt(x)=0.5533×α0(x)+0.6526×α1(x)+β0(x) (67);
其中,
示例性的,下面举例一种对Y`sCbsCrs信号进行处理的过程,假设Y`sCbsCrs是终端经过AVS2解码重建和色度上采样恢复成的4:4:4 YCbCr非线性视频信号,该信号各分量均为10比特的数字编码值:
(1)计算YiCbiCri信号,YiCbiCri信号为经过本申请实施例提供的色度处理方法进行处理的视频信号:
a)根据以下公式计算归一化原始亮度:
Ynorm=(Y-64)/(940-64) (68);
Ynorm应转换(clip)到[0,1]范围内;
b)根据以下公式计算饱和度映射增益SmGain:
SmGain=fsm(Ynorm) (69);
其中fsm()为饱和度映射曲线,根据亮度映射曲线ftm()进行计算得到,其计算步骤为:
i.将亮度映射曲线ftm()转换到线性空间上,得到线性亮度映射曲线:
ftmL(L)=PQ_EOTF(ftm(PQ_EOTF-1(L))) (70);
其中,L为输入线性亮度,单位nit,ftm(L)的结果为线性亮度,单位nit;
ii.将线性亮度映射曲线ftmL()转换到HLG空间上,得到HLG信号上的亮度映射曲线:
Figure BDA0002118891480000262
其中e为归一化HLG信号亮度,ftmHLG(e)结果为归一化HLG信号亮度;
iii.计算饱和度映射曲线fsm():
Figure BDA0002118891480000263
其中饱和度映射曲线输入e,fsm(e)为HLG空间上的饱和度映射增益;
c)计算饱和度映射后信号:
Figure BDA0002118891480000264
YiCbiCri信号是10比特限制范围数字编码值,其中Yi数值应该在[64,940]区间内,而Cbi,Cri数值应该在[64,960]区间内。
(2)计算非线性R`sG`sB`s信号;
Figure BDA0002118891480000265
Figure BDA0002118891480000266
其中的Y`sCbsCrs信号是10比特限制范围数字编码值,经过该处理得到的R`sG`sB`s是浮点非线性基色值,数值应clip到[0,1]区间的。
(3)计算线性RsGsBs信号,并计算输入信号线性亮度Ys
Es=HLG-OETF-1(E`s) (76);
等式中的Es表示RsGsBs信号中任一分量的线性基色值,其数值在[0,1]区间;E`s指R`sG`sB`s信号中任一分量的非线性基色值。函数HLG_OETF-1()根据ITU BT.2100定义如下:
Figure BDA0002118891480000271
其中a=0.17883277,b=1-4a,c=0.5-a*ln(4a);
线性亮度Ys计算如下:
Ys=0.2627Rs+0.6780Gs+0.0593Bs (78);
Ys是实数,其数值在[0,1]区间。
(4)计算Yt信号;
a.计算显示亮度Yd
Yd=1000(Ys)1.2 (79);
b.计算视觉线性亮度YdPQ
YdPQ=PQ-EOTF-1(Yd) (80);
其中,
Figure BDA0002118891480000272
m1=2610/16384=0.1593017578125;
m2=2523/4096*128=78.84375;
c1=3424/4096=0.8359375=c3-c2+1;
c2=2413/4096*32=18.8515625;
c3=2392/4096*32=18.6875;
c.进行亮度映射得到YtPQ
YtPQ=ftm(YdPQ) (82);
等式中的ftm()定义如下:
Figure BDA0002118891480000273
其中函数hmt()定义如下:
hmt(x)=0.4064×α0(x)+0.5791×α1(x)+β0(x) (84);
其中,
d.计算归一化亮度映射后线性亮度Yt
Yt=PQ_EOTF(TtPQ) (85);
其中,
Figure BDA0002118891480000275
因此,Yt的计算公式为:
Yt=PQ_EOTF(ftm(PQ_EOTF-1(1000(Ys)1.2)) (87);
Yt是实数,其数值应clip到[0,200]区间。
(5)计算亮度映射增益TmGain;
亮度映射增益TmGain的计算如下面等式所示:
Figure BDA0002118891480000281
(6)计算RtmGtmBtm信号;
Etm=Es×TmGain (89);
等式中Es表示RsGsBs信号中任一分量,Etm表示RtmGtmBtm信号中任一分量。
(7)计算RtGtBt信号(色域映射);
Figure BDA0002118891480000282
经过该处理得到的RtGtBt是浮点线性基色值,数值应clip到[0,200]区间的。
(8)计算R`tG`tB`t信号;
E`t=(Et/200)1/γ (91);
(9)计算YtCbtCrt信号;
Figure BDA0002118891480000283
其中的R`tG`tB`t是的非线性基色值,数值在[0,1]区间。经过该处理得到的Y`tCbtCrt信号是10比特限制范围数字编码值,其中Y`t数值应该在[64,940]区间内,而Cbt,Crt数值应该在[64,960]区间内。示例性的,该实施例中的γ可以取2.2或2.4,也可以取其他数值,γ的取值可以根据实际情况选取,本申请实施例对此不做限定。
示例性的,本申请提供一种色域转换的方法,该色域转换的方法可以用于BT.2020色域到BT.709色域的转换,该转换方法是HLG信号到SDR信号兼容适配处理的一个环节,由于该处理方法已在BT.2407报告中给予了概念性介绍,因此本节内容引用该国际电信联盟(International Telecommunication Union,ITU)报告内容进行资料性说明。
根据报告BT.2407-02部分,BT.2020广色域信号到BT.709信号的转换可以采用基于线性矩阵转换的方法来实现。这种方法除了将输出信号做hard-clip外,完全就是ITU标准BT.2087的逆过程。该转换过程如图13所示,具体而言有下列步骤:
1)非线性到线性信号的转换(NtoL)
假设一个归一化的BT.2020非线性RGB信号为(E`RE`GE`B),各个分量信号经过一个转换函数实现到线性信号(EREGEB)的转换。在本提案中,该转换函数为HLG EOTF函数(根据ITU BT.2100-1表5,HLG参考EOTF定义)。
2)矩阵(M)
BT.2020色域线性RGB信号转换为BT.709色域线性RGB信号,可以通过下面的矩阵计算完成:
3)线性信号到非线性信号的转换(LtoN)
根据ITU-BT.2087-0标准,BT.709色域线性RGB信号(EREGEB)要用于BT.709显示设备,应该使用ITU BT.1886定义的OETF转换为BT.709色域非线性RGB信号(E`RE`GE`B)。但本提案建议采用2.2作为线性到非线性信号的转换曲线。公式如下所示:
E`=(E)1/γ,0≤E≤1 (95);
应当理解,式(95)中的γ可以取2.2或2.4,也可以取其他数值,γ的取值可以根据实际情况选取,本申请实施例对此不做限定。
示例性的,本申请实施例提供一种HDR HLG信号到HDR PQTV的兼容适配处理过程。
根据ITU报告BT.2390-47.2部分,首先约定从HLG到PQ信号的参考峰值亮度Lw为1000nit,黑位Lb为0nit。
根据该报告,采用如图14所示的过程,当HDR内容在1000nit以下的color volume内,可以生成与HLG图像相同的PQ图像,其具体过程为:
(1)1000nit的HLG源信号经过HLG的OETF反函数可生成线性亮度源信号;
(2)线性亮度源信号经过HLG的OOTF函数可生成线性亮度显示信号;
(3)线性亮度显示信号经过PQ的EOTF反函数可生成1000nit的PQ显示信号;
该场景下完整的处理流程如下所示:
设YsCbsCrs是终端经过AVS2解码重建和色度上采样恢复成的4:4:4 YCbCr非线性视频信号。各分量均为10比特的数字编码值。
1)计算非线性R`sG`sB`s信号;
Figure BDA0002118891480000292
Figure BDA0002118891480000293
其中的YsCbsCrs信号是10比特限制范围数字编码值,经过该处理得到的R`sG`sB`s是浮点化的非线性基色值,数值应clip到[0,1]区间的。
2)计算线性RsGsBs信号,并计算输入信号线性亮度Ys
Es=HLG_OETF-1(E`s) (98);
等式中的Es表示RsGsBs信号中任一分量;E`s指R`sG`sB`s信号中任一分量。函数HLG_OETF-1()根据ITU BT.2100定义如下:
Figure BDA0002118891480000294
其中a=0.17883277,b=1-4a,c=0.5-a*ln(4a)。
线性亮度Ys计算如下:
Ys=0.2627Rs+0.6780Gs+0.0593Bs (100);
3)计算Yd信号;
Yd=1000(Ys)1.2 (101);
4)计算亮度映射增益TmGain
亮度映射增益TmGain的计算如下面等式所示:
Figure BDA0002118891480000301
5)计算RtGtBt信号;
Et=Es×TmGain (103);
等式中Es表示RsGsBs信号中任一分量,Et表示RtGtBt信号中任一分量。
6)计算R`tG`tB`t信号;
E`t=PQ_EOTF-1(Et) (104);
式中函数PQ_EOTF-1(),参考ITU BT.2100表4定义如下:
其中,
Figure BDA0002118891480000302
m1=2610/16384=0.1593017578125;
m2=2523/4096*128=78.84375;
c1=3424/4096=0.8359375=c3-c2+1;
c2=2413/4096*32=18.8515625;
c3=2392/4096*32=18.6875。
7)计算YtCbtCrt信号
Figure BDA0002118891480000303
其中的R`tG`tB`t是浮点化的非线性基色值,数值在[0,1]区间。经过该处理得到的YtCbtCrt信号是10比特限制范围数字编码值,其中Yo数值应该在[64,940]区间内,而Cbo,Cro数值应该在[64,960]区间内。
应理解,本申请实施例中提及的处理器可以是中央处理单元(CentralProcessing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
应注意,本文描述的存储器、存储单元包括但不限于这些和任意其它适合类型的存储器。
还应理解,本文中涉及的第一、第二以及各种数字编号仅为描述方便进行的区分,并不用来限制本申请的范围。
本申请中,“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,“a,b,或c中的至少一项(个)”,或,“a,b,和c中的至少一项(个)”,均可以表示:a,b,c,a-b(即a和b),a-c,b-c,或a-b-c,其中a,b,c分别可以是单个,也可以是多个。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,部分或全部步骤可以并行执行或先后执行,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,网络设备或者终端设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请各方法实施例之间相关部分可以相互参考;各装置实施例所提供的装置用于执行对应的方法实施例所提供的方法,故各装置实施例可以参考相关的方法实施例中的相关部分进行理解。
本申请各装置实施例中给出的装置结构图仅示出了对应的装置的简化设计。在实际应用中,该装置可以包含任意数量的发射器,接收器,处理器,存储器等,以实现本申请各装置实施例中该装置所执行的功能或操作,而所有可以实现本申请的装置都在本申请的保护范围之内。
本申请各实施例中提供的消息/帧/指示信息、模块或单元等的名称仅为示例,可以使用其他名称,只要消息/帧/指示信息、模块或单元等的作用相同即可。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本文中字符“/”,一般表示前后关联对象是一种“或”的关系;若字符“/”出现于本文涉及的公式中,一般表示公式中“/”之前出现的对象除以“/”之后出现的对象;若字符“^”出现于本文涉及的公式中,一般表示乘方运算。
取决于语境,如在此所使用的词语“如果”或“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关硬件来完成,所述的程序可以存储于一个设备的可读存储介质中,该程序在执行时,包括上述全部或部分步骤,所述的存储介质,如:FLASH、EEPROM等。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,不同的实施例可以进行组合,以上所述仅为本申请的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何组合、修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (18)

1.一种视频信号处理方法,其特征在于,包括:
对待处理的视频信号的初始亮度值进行亮度映射,以得到调节亮度值;
根据所述调节亮度值和所述初始亮度值的比值确定饱和度映射曲线;
根据所述饱和度映射曲线确定所述初始亮度值对应的饱和度调节因子;
基于所述饱和度调节因子,调节所述待处理视频信号的色度值。
2.根据权利要求1所述的方法,其特征在于,所述饱和度映射曲线为以所述初始亮度值为自变量,以所述比值为因变量的函数。
3.根据权利要求1或2所述的方法,其特征在于,所述饱和度调节因子由映射关系表确定,所述映射关系表包括所述饱和度映射曲线上至少一个采样点的横坐标值和纵坐标值的对应关系。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述调节所述待处理视频信号的色度值,包括:
基于预设的色度分量增益系数和所述饱和度调节因子的乘积,对所述待处理视频信号的色度值进行调节。
5.根据权利要求4所述的方法,其特征在于,所述色度值包括所述待处理视频信号对应的第一色度信号的第一色度值和所述待处理视频信号对应的第二色度信号的第二色度值,所述预设的色度分量增益系数包括预设的第一色度分量增益系数和预设的第二色度分量增益系数,所述基于预设的色度分量增益系数和所述饱和度调节因子的乘积,对所述待处理视频信号的色度值进行调节,包括:
基于所述预设的第一色度分量增益系数和所述饱和度调节因子的乘积,对所述第一色度值进行调节;
基于所述预设的第二色度分量增益系数和所述饱和度调节因子的乘积,对所述第二色度值进行调节。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述对待处理的视频信号的初始亮度值进行亮度映射,得到调节亮度值,包括:
根据亮度映射曲线对所述初始亮度值进行亮度映射,以获得所述调节亮度值。
7.根据权利要求6所述的方法,其特征在于,所述亮度映射曲线用于指示所述初始亮度值和所述调节亮度值的映射关系,所述亮度映射曲线的横坐标为亮度映射前的所述初始亮度值,所述亮度映射曲线的纵坐标为亮度映射后的所述调节亮度值。
8.根据权利要求7所述的方法,其特征在于,所述饱和度映射曲线属于目标非线性空间,预设的第一原始亮度映射曲线为非线性曲线,在所述根据亮度映射曲线对所述初始亮度值进行亮度映射,以获得所述调节亮度值之前,所述方法还包括:
对所述第一原始亮度映射曲线上的至少一个采样点对应的第一横坐标值和第一纵坐标值,分别进行非线性空间到线性空间的转换,以获得第二横坐标值和第二纵坐标值,其中,所述第一原始亮度映射曲线的横坐标为亮度映射前的亮度值,所述第一原始亮度映射曲线的纵坐标为亮度映射后的亮度值;
对所述第二横坐标值和所述第二纵坐标值分别进行线性空间到非线性空间的转换,以获得所述初始亮度值和所述调节亮度值;
根据所述初始亮度值和所述调节亮度值的映射关系,确定所述亮度映射曲线,所述亮度映射曲线属于所述目标非线性空间。
9.根据权利要求7所述的方法,其特征在于,所述饱和度映射曲线属于目标非线性空间,预设的第二原始亮度映射曲线为线性曲线,还包括:
对所述第二原始亮度映射曲线上的至少一个采样点对应的第三横坐标值和第三纵坐标值,分别进行线性空间到非线性空间的转换,以获得所述初始亮度值和所述调节亮度值,其中,所述第二原始亮度映射曲线的横坐标为亮度映射前的亮度值,所述第二原始亮度映射曲线的纵坐标为亮度映射后的亮度值;
根据所述初始亮度值和所述调节亮度值的映射关系,确定所述亮度映射曲线,所述亮度映射曲线属于所述目标非线性空间。
10.一种视频信号处理装置,其特征在于,包括:处理器和传输接口;
所述传输接口,用于接收或发送视频信号;
所述处理器,用于调用存储器中的软件指令,执行如下步骤:
对待处理的视频信号的初始亮度值进行亮度映射,得到调节亮度值;
根据所述调节亮度值和所述初始亮度值的比值确定饱和度映射曲线;
根据所述饱和度映射曲线确定所述初始亮度值对应的饱和度调节因子;
基于所述饱和度调节因子,调节所述待处理视频信号的色度值。
11.根据权利要求10所述的视频信号处理装置,其特征在于,所述饱和度映射曲线为以所述初始亮度值为自变量,以所述比值为因变量的函数。
12.根据权利要求10或11所述的视频信号处理装置,其特征在于,所述处理器具体用于:
由映射关系表确定所述饱和度调节因子,所述映射关系表包括所述饱和度映射曲线上至少一个采样点的横坐标值和纵坐标值。
13.根据权利要求10至12任一项所述的视频信号处理装置,其特征在于,所述处理器具体用于:
基于预设的色度分量增益系数和所述饱和度调节因子的乘积,对所述待处理视频信号的色度值进行调节。
14.根据权利要求13所述的视频信号处理装置,其特征在于,所述色度值包括所述待处理视频信号对应的第一色度信号的第一色度值和所述待处理视频信号对应的第二色度信号的第二色度值,所述预设的色度分量增益系数包括预设的第一色度分量增益系数和预设的第二色度分量增益系数,所述处理器具体用于:
基于所述预设的第一色度分量增益系数和所述饱和度调节因子的乘积,对所述第一色度值进行调节;
基于所述预设的第二色度分量增益系数和所述饱和度调节因子的乘积,对所述第二色度值进行调节。
15.根据权利要求10至14任一项所述的视频信号处理装置,其特征在于,所述处理器具体用于:根据亮度映射曲线对所述初始亮度值进行亮度映射,以获得所述调节亮度值,所述亮度映射曲线用于指示所述初始亮度值和所述调节亮度值的映射关系,所述亮度映射曲线的横坐标为亮度映射前的所述初始亮度值,所述亮度映射曲线的纵坐标为亮度映射后的所述调节亮度值。
16.根据权利要求15所述的视频信号处理装置,其特征在于,所述饱和度映射曲线属于目标非线性空间,预设的第一原始亮度映射曲线为非线性曲线,在所述根据亮度映射曲线对所述初始亮度值进行亮度映射,以获得所述调节亮度值之前,所述处理器还用于:
对所述第一原始亮度映射曲线上的至少一个采样点对应的第一横坐标值和第一纵坐标值,分别进行非线性空间到线性空间的转换,以获得第二横坐标值和第二纵坐标值,所述第一原始亮度映射曲线的横坐标为亮度映射前的亮度值,所述第一原始亮度映射曲线的纵坐标为亮度映射后的亮度值;
对所述第二横坐标值和所述第二纵坐标值分别进行线性空间到非线性空间的转换,以获得所述初始亮度值和所述调节亮度值;
根据所述初始亮度值和所述调节亮度值的映射关系,确定所述亮度映射曲线,所述亮度映射曲线属于所述目标非线性空间。
17.根据权利要求15所述的视频信号处理装置,其特征在于,所述饱和度映射曲线属于目标非线性空间,预设的第二原始亮度映射曲线为线性曲线,所述处理器还用于:
对所述第二原始亮度映射曲线上的至少一个采样点对应的第三横坐标值和第三纵坐标值,分别进行线性空间到非线性空间的转换,以获得所述初始亮度值和所述调节亮度值,所述第二原始亮度映射曲线的横坐标为亮度映射前的亮度值,所述第二原始亮度映射曲线的纵坐标为亮度映射后的亮度值;
根据所述初始亮度值和所述调节亮度值的映射关系,确定所述亮度映射曲线,所述亮度映射曲线属于所述目标非线性空间。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在计算机或处理器上运行时,使得所述计算机或处理器执行如权利要求1至9任一项所述的方法。
CN201910599792.1A 2018-07-05 2018-07-19 一种视频信号处理方法及装置 Active CN110691227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910599792.1A CN110691227B (zh) 2018-07-05 2018-07-19 一种视频信号处理方法及装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN2018107331323 2018-07-05
CN201810733132 2018-07-05
CN201910599792.1A CN110691227B (zh) 2018-07-05 2018-07-19 一种视频信号处理方法及装置
CN201810799603.0A CN108933933B (zh) 2018-07-05 2018-07-19 一种视频信号处理方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810799603.0A Division CN108933933B (zh) 2018-07-05 2018-07-19 一种视频信号处理方法及装置

Publications (2)

Publication Number Publication Date
CN110691227A true CN110691227A (zh) 2020-01-14
CN110691227B CN110691227B (zh) 2024-04-09

Family

ID=64447520

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810799603.0A Active CN108933933B (zh) 2018-07-05 2018-07-19 一种视频信号处理方法及装置
CN201910599792.1A Active CN110691227B (zh) 2018-07-05 2018-07-19 一种视频信号处理方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810799603.0A Active CN108933933B (zh) 2018-07-05 2018-07-19 一种视频信号处理方法及装置

Country Status (4)

Country Link
US (1) US20210120217A1 (zh)
EP (1) EP3809698A4 (zh)
CN (2) CN108933933B (zh)
WO (1) WO2020007166A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466147A (zh) * 2021-12-23 2022-05-10 阿里巴巴(中国)有限公司 一种视频亮度的调整方法、装置、电子设备以及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108933933B (zh) * 2018-07-05 2019-08-20 华为技术有限公司 一种视频信号处理方法及装置
CN109410877B (zh) * 2018-12-17 2021-02-26 惠科股份有限公司 三色数据到四色数据的转换方法及装置
CN115052137B (zh) * 2019-10-18 2023-09-26 华为技术有限公司 一种饱和度调整的方法及装置
CN113923474B (zh) * 2021-09-29 2023-06-23 北京百度网讯科技有限公司 视频帧处理方法、装置、电子设备以及存储介质
WO2023111608A1 (en) * 2021-12-15 2023-06-22 Fondation B-Com Electronic devices, systems and methods for converting an input image into an output image
CN117440118A (zh) * 2023-10-23 2024-01-23 镕铭微电子(上海)有限公司 图像处理方法、装置、电子设备及存储介质

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5661575A (en) * 1990-10-09 1997-08-26 Matsushita Electric Industrial Co., Ltd. Gradation correction method and device
US20050007497A1 (en) * 2003-05-17 2005-01-13 Stmicroelectronics Asia Pacific Pte Ltd Method and apparatus for compensating for chrominance saturation
US20050017989A1 (en) * 2003-07-21 2005-01-27 Etron Technology, Inc. Gamma correction only gain/offset control system and method for display controller
US20050276470A1 (en) * 2004-06-09 2005-12-15 Moon-Cheol Kim Saturation-adaptive image enhancement apparatus and method
CN101043349A (zh) * 2006-04-29 2007-09-26 华为技术有限公司 一种视频流伽玛特性的校正方法
CN101453661A (zh) * 2007-11-29 2009-06-10 胜华科技股份有限公司 影像处理方法
US20110084981A1 (en) * 2008-05-22 2011-04-14 Sanyo Electric Co., Ltd Signal processing apparatus and projection display apparatus
US20130241931A1 (en) * 2012-03-14 2013-09-19 Dolby Laboratiories Licensing Corporation Efficient Tone-Mapping Of High-Bit-Depth Video To Low-Bit-Depth Display
US20140022460A1 (en) * 2011-04-12 2014-01-23 Dolby Laboratories Licensing Corporation Quality Assessment for Images that Have Extended Dynamic Ranges or Wide Color Gamuts
JP2014033273A (ja) * 2012-08-01 2014-02-20 Nikon Corp 色域変換装置、デジタルカメラ、色域変換プログラムおよび色域変換方法
CN103886852A (zh) * 2013-12-23 2014-06-25 友达光电股份有限公司 控制显示器的方法
US20150070376A1 (en) * 2012-02-08 2015-03-12 Sharp Kabushiki Kaisha Video display device and television receiving device
US9076224B1 (en) * 2012-08-08 2015-07-07 Dolby Laboratories Licensing Corporation Image processing for HDR images
CN105009580A (zh) * 2013-02-21 2015-10-28 杜比实验室特许公司 高动态范围视频的显示管理
JP2015228641A (ja) * 2014-05-07 2015-12-17 株式会社リコー 撮像装置、露光調整方法およびプログラム
CN106101679A (zh) * 2016-08-23 2016-11-09 青岛海信电器股份有限公司 高动态范围信号的处理方法及处理系统
US20170180759A1 (en) * 2014-08-08 2017-06-22 Koninklijke Philips N.V. Methods and apparatuses for encoding hdr images
US20170223367A1 (en) * 2014-10-10 2017-08-03 Koninklijke Philips N.V. Saturation processing specification for dynamic range mappings
US20170358063A1 (en) * 2016-06-13 2017-12-14 Gopro, Inc. Dynamic Global Tone Mapping with Integrated 3D Color Look-up Table
US20180005358A1 (en) * 2015-01-30 2018-01-04 Thomson Licensing A method and apparatus for inverse-tone mapping a picture
CN107657594A (zh) * 2017-09-22 2018-02-02 武汉大学 一种高质量的快速色调映射方法和系统
CN107851421A (zh) * 2015-07-31 2018-03-27 索尼公司 视频信号处理装置、视频信号处理方法和显示装置
CN107872636A (zh) * 2016-09-26 2018-04-03 国基电子(上海)有限公司 一种显示装置及其显示参数的调整方法
CN108090879A (zh) * 2017-12-12 2018-05-29 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
KR20180062129A (ko) * 2016-11-30 2018-06-08 엘지디스플레이 주식회사 표시장치 및 그의 영상 처리방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3629396C2 (de) * 1986-08-29 1993-12-23 Agfa Gevaert Ag Verfahren zur elektronischen Bildverarbeitung
US7038727B2 (en) * 2002-10-30 2006-05-02 The University Of Chicago Method to smooth photometric variations across multi-projector displays
CN101150732B (zh) * 2006-09-20 2010-08-11 王锦峰 用黑白相机拍摄彩色图像的成像方法和装置
CN101325663B (zh) * 2008-07-25 2010-06-09 北京中星微电子有限公司 一种提高图像质量的方法和装置
CN102842288B (zh) * 2011-06-21 2017-03-01 飞思卡尔半导体公司 具有动态亮度缩放的背光视频显示器
KR102105645B1 (ko) * 2012-10-08 2020-05-04 코닌클리케 필립스 엔.브이. 색상 제한들을 통한 루미넌스 변화 이미지 처리
WO2014128586A1 (en) * 2013-02-21 2014-08-28 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
BR112017015790A2 (pt) * 2015-01-30 2018-03-27 Thomson Licensing método e aparelho de codificação e decodificação de uma imagem colorida
US10218952B2 (en) * 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
CN108933933B (zh) * 2018-07-05 2019-08-20 华为技术有限公司 一种视频信号处理方法及装置

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5661575A (en) * 1990-10-09 1997-08-26 Matsushita Electric Industrial Co., Ltd. Gradation correction method and device
US20050007497A1 (en) * 2003-05-17 2005-01-13 Stmicroelectronics Asia Pacific Pte Ltd Method and apparatus for compensating for chrominance saturation
US20050017989A1 (en) * 2003-07-21 2005-01-27 Etron Technology, Inc. Gamma correction only gain/offset control system and method for display controller
US20050276470A1 (en) * 2004-06-09 2005-12-15 Moon-Cheol Kim Saturation-adaptive image enhancement apparatus and method
CN101043349A (zh) * 2006-04-29 2007-09-26 华为技术有限公司 一种视频流伽玛特性的校正方法
CN101453661A (zh) * 2007-11-29 2009-06-10 胜华科技股份有限公司 影像处理方法
US20110084981A1 (en) * 2008-05-22 2011-04-14 Sanyo Electric Co., Ltd Signal processing apparatus and projection display apparatus
US20140022460A1 (en) * 2011-04-12 2014-01-23 Dolby Laboratories Licensing Corporation Quality Assessment for Images that Have Extended Dynamic Ranges or Wide Color Gamuts
US20150070376A1 (en) * 2012-02-08 2015-03-12 Sharp Kabushiki Kaisha Video display device and television receiving device
US20130241931A1 (en) * 2012-03-14 2013-09-19 Dolby Laboratiories Licensing Corporation Efficient Tone-Mapping Of High-Bit-Depth Video To Low-Bit-Depth Display
JP2014033273A (ja) * 2012-08-01 2014-02-20 Nikon Corp 色域変換装置、デジタルカメラ、色域変換プログラムおよび色域変換方法
US9076224B1 (en) * 2012-08-08 2015-07-07 Dolby Laboratories Licensing Corporation Image processing for HDR images
CN105009580A (zh) * 2013-02-21 2015-10-28 杜比实验室特许公司 高动态范围视频的显示管理
CN103886852A (zh) * 2013-12-23 2014-06-25 友达光电股份有限公司 控制显示器的方法
JP2015228641A (ja) * 2014-05-07 2015-12-17 株式会社リコー 撮像装置、露光調整方法およびプログラム
US20170180759A1 (en) * 2014-08-08 2017-06-22 Koninklijke Philips N.V. Methods and apparatuses for encoding hdr images
US20170223367A1 (en) * 2014-10-10 2017-08-03 Koninklijke Philips N.V. Saturation processing specification for dynamic range mappings
US20180005358A1 (en) * 2015-01-30 2018-01-04 Thomson Licensing A method and apparatus for inverse-tone mapping a picture
CN107851421A (zh) * 2015-07-31 2018-03-27 索尼公司 视频信号处理装置、视频信号处理方法和显示装置
US20170358063A1 (en) * 2016-06-13 2017-12-14 Gopro, Inc. Dynamic Global Tone Mapping with Integrated 3D Color Look-up Table
CN106101679A (zh) * 2016-08-23 2016-11-09 青岛海信电器股份有限公司 高动态范围信号的处理方法及处理系统
CN107872636A (zh) * 2016-09-26 2018-04-03 国基电子(上海)有限公司 一种显示装置及其显示参数的调整方法
KR20180062129A (ko) * 2016-11-30 2018-06-08 엘지디스플레이 주식회사 표시장치 및 그의 영상 처리방법
CN107657594A (zh) * 2017-09-22 2018-02-02 武汉大学 一种高质量的快速色调映射方法和系统
CN108090879A (zh) * 2017-12-12 2018-05-29 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHENG LI等: "A luminance rendition method based on local visual adaption", 《2010 3RD INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING》 *
JI WON LEE等: "Tone mapping using color correction function and image decomposition in high dynamic range imaging", 《IEEE TRANSACTIONS ON CONSUMER 》 *
刘颖等: "基于亮度自适应分段的高动态图像色调映射算法", 《电视技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466147A (zh) * 2021-12-23 2022-05-10 阿里巴巴(中国)有限公司 一种视频亮度的调整方法、装置、电子设备以及存储介质
CN114466147B (zh) * 2021-12-23 2024-03-15 阿里巴巴(中国)有限公司 一种视频亮度的调整方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN108933933A (zh) 2018-12-04
CN108933933B (zh) 2019-08-20
EP3809698A4 (en) 2021-08-04
EP3809698A1 (en) 2021-04-21
CN110691227B (zh) 2024-04-09
US20210120217A1 (en) 2021-04-22
WO2020007166A1 (zh) 2020-01-09

Similar Documents

Publication Publication Date Title
US10419689B2 (en) Mapping between linear luminance values and luma codes
CN110691227B (zh) 一种视频信号处理方法及装置
JP6362793B2 (ja) ハイダイナミックレンジ映像のためのディスプレイマネジメント
CN110691277B (zh) 视频信号的处理方法及装置
CN105324997B (zh) 用于增强动态范围信号的分层编码的自适应整形
CN109274985B (zh) 视频转码方法、装置、计算机设备和存储介质
EP3430807B1 (en) A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
CN107409210B (zh) 匹配不同动态范围的彩色图片之间的色彩的方法和设备
KR102367205B1 (ko) 컬러 맵핑 함수들을 이용하여 hdr 픽처 및 상기 hdr 픽처로부터 획득된 sdr 픽처의 양자를 인코딩하기 위한 방법 및 디바이스
US20170324959A1 (en) Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream
JP2018534883A (ja) 映像復号化器における高ダイナミックレンジ適応演算
KR20120107429A (ko) 구역 기반의 톤 매핑
TW201440531A (zh) 擴展影像動態範圍
WO2013131311A1 (zh) 对彩色数字图像进行视觉感知高保真变换的方法及系统
CN107211142A (zh) 对彩色图像进行解码的方法和设备
CN114556910B (zh) 一种视频信号处理方法及装置
EP3453175B1 (en) Method and apparatus for encoding/decoding a high dynamic range picture into a coded bistream
CN113596424A (zh) 动态范围映射的方法和装置
CN116167950B (zh) 图像处理方法、装置、电子设备及存储介质
EP3242481A1 (en) Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream
CN110999300A (zh) 用于图像/视频处理的单通道逆映射

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant