CN114511479A - 图像增强方法和装置 - Google Patents

图像增强方法和装置 Download PDF

Info

Publication number
CN114511479A
CN114511479A CN202111674782.3A CN202111674782A CN114511479A CN 114511479 A CN114511479 A CN 114511479A CN 202111674782 A CN202111674782 A CN 202111674782A CN 114511479 A CN114511479 A CN 114511479A
Authority
CN
China
Prior art keywords
image
dynamic range
brightness
color
color gamut
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111674782.3A
Other languages
English (en)
Inventor
刘国栋
李海丽
徐宇澄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202111674782.3A priority Critical patent/CN114511479A/zh
Publication of CN114511479A publication Critical patent/CN114511479A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

公开了一种图像增强方法和装置。首先,可以在第一色域例如BT709和/或第一亮度动态范围例如SDR内,对具有第一色域和/或第一亮度动态范围的图像进行图像增强处理,得到第一图像。将具有第一色域和/或第一亮度动态范围的第一图像转换为具有第二色域例如BT2020和/或第二亮度动态范围例如HDR的第二图像,并在第二色域和/或第二亮度动态范围内进行图像增强处理。第二色域比第一色域广,第二亮度动态范围的上限比第一亮度动态范围的上限高。然后,再将第二图像转换为具有第一色域和/或第一亮度动态范围的第三图像。由此,利用广色域和/或高亮度动态范围内更大的图像可调节空间,能够得到更好的图像增强效果,显著提升图像画质。

Description

图像增强方法和装置
技术领域
本公开涉及一种图像处理,特别涉及图像的颜色、亮度、对比度等方面的增强方案。
背景技术
随着图像拍摄设备和图像显示设备的飞速发展,以及网络带宽成几何级数的提升,图像行业得到蓬勃发展,使得图像成为当下重要的信息载体。
鉴于图像内容处理重要性的提高、以及图像消费在生活中的占比日渐增加,为了提升用户的图像观看体验,提供一种能够在各种终端设备上显著提升图像画质的框架与算法迫在眉睫。
另一方面,随着图像在生活中的应用场景逐渐增加,为了满足用户对于图像画质越来越高的需求,图像处理算法需要从多个维度提升图像的主观视觉效果。
然而,由于当前的多数存量图像,以及新产生的图像,仍然为标准色域(BT709)下的标准亮度动态范围(SDR)图像。而且,标准色域的SDR播放设备仍然占据市场的主导地位。
因此,设计一种针对标准色域的SDR图像的增强方案,以满足用户对高画质的需求,是非常必要的。
根据人眼的视觉特性,人对于图像颜色、亮度、对比度等方面的变化是最为敏感的。从提升视觉体验的角度出发,优化图像的亮度水平、对比度和色彩这三个方面,能更加有效地提升图像的整体视觉体验。
目前工业界/学术界在亮度、对比度、色彩等方面的增强做了很多尝试。
亮度与对比度的调整方案通常包括:在全局或局部基于直方图进行对比度调整;基于深度学习进行对比度调整。
色彩增强方案通常包括:颜色均衡、调色、饱和度调整等。所使用的方法有基于传统算法的方法,也有基于深度学习的方法。
这些方案的共同缺点在于,它们通常都在小色域(例如BT601色域、BT709色域)、标准亮度动态范围(SDR,0-100nits)上进行处理。受限于小色域以及低动态范围,这类调整方案本身存在一定的局限,主要是处理后效果提升空间有限,或者提升后存在瑕疵,总之在视觉效果上远逊于HDR图像的感受。
因此,仍然需要一种针对标准色域SDR图像的效果优越的亮度、对比度与色彩增强方案,以满足用户当前对于高质量画质提升的需求。
发明内容
本公开要解决的一个技术问题是提供一种改进的图像增强方法,其能够对较低色域和/或较低亮度动态范围的图像进行增强处理,显著提升图像画质。
根据本公开的第一个方面,提供了一种图像增强方法,包括:将具有第一色域和/或第一亮度动态范围的第一图像转换为具有第二色域和/或第二亮度动态范围的第二图像,并在第二色域和/或第二亮度动态范围内进行图像增强处理,第二色域比第一色域广,并且/或者第二亮度动态范围的上限比第一亮度动态范围的上限高;以及将第二图像转换为具有第一色域和/或第一亮度动态范围的第三图像。
可选地,该方法还可以包括:在第一色域和/或第一亮度动态范围内,对具有第一色域和/或第一亮度动态范围的图像进行图像增强处理,得到第一图像。
可选地,对具有第一色域和/或第一亮度动态范围的图像进行图像增强处理的步骤包括:基于局部亮度直方图和/或全局亮度直方图,在图像的RGB色彩空间中进行亮度估计,得到图像的亮度分布信息,亮度分布信息包括图像的多个亮度区域的分布信息,多个亮度区域分别具有互相不重叠的亮度值范围;以及基于亮度分布信息,使用分别对应于多个亮度值范围和/或图像全局的多个映射曲线,对图像的多个亮度区域和/或全局的对比度进行增强处理。
可选地,对具有第一色域和/或第一亮度动态范围的图像进行图像增强处理的步骤还包括:对图像进行基于皮肤颜色保护目的的色彩饱和度增强处理。
可选地,对对比度增强图像进行基于皮肤颜色保护目的的色彩饱和度增强处理的步骤包括:针对对比度增强图像,计算皮肤颜色相似度;基于皮肤颜色相似度,确定图像的至少一个区域的色彩为皮肤颜色的皮肤颜色概率;以及基于皮肤颜色概率,对图像的至少一个区域进行色彩饱和度调整,以实现皮肤颜色保护目的。
可选地,将具有第一色域和/或第一亮度动态范围的第一图像转换为具有第二色域和/或第二亮度动态范围的第二图像、并在第二色域和/或第二亮度动态范围内进行图像增强处理的步骤包括:使用第一亮度动态范围对应的电光转换函数,将第一图像的非线性亮度信号值转换为线性亮度信号值,得到线性亮度图像;将线性亮度图像从第一色域转换到第二色域,得到第二色域图像;将第二色域图像的亮度动态范围转换到第二亮度动态范围,得到第二亮度动态范围图像;基于Lab颜色空间对第二亮度动态范围图像进行色彩增强处理;以及使用第二亮度动态范围对应的光电转换函数,将色彩增强后的第二亮度动态范围图像转换为具有非线性亮度的非线性亮度图像,作为第二图像。
可选地,将第二色域图像的亮度动态范围转换到第二亮度动态范围的步骤包括:将第二色域图像转换到YUV颜色空间;在YUV颜色空间中,对第二色域图像的Y通道进行分解,得到内容部分和噪声部分;基于人眼对内容的感知特性,对内容部分进行亮度调整;基于人眼对噪声的感知特性,对噪声部分进行亮度调整;以及对亮度调整后的内容部分与亮度调整后的噪声部分进行亮度融合;以及将亮度融合后的图像从YUV颜色空间转换回到第二色域,得到第二亮度动态范围图像。
可选地,对内容部分进行亮度调整的步骤包括:将内容部分从YUV颜色空间转换到Yxy颜色空间;在Yxy颜色空间中,利用基于人眼对内容的感知特性的亮度映射曲线,对Y通道进行亮度映射,将亮度范围转换到第二亮度动态范围,基于设定的最大亮度要求,对内容部分的最大亮度以及高亮部分进行修正和/或映射,得到第二亮度动态范围的内容部分;以及将第二亮度动态范围的内容部分从Yxy颜色空间转回到YUV颜色空间。
可选地,将第二图像转换为具有第一色域和/或第一亮度动态范围的第三图像的步骤包括:使用感知量化曲线将第二图像转换到亮度线性空间;在亮度线性空间中,对第二图像的亮度进行线性拉伸;在亮度线性空间中,采用两条hable曲线加权的方式,对第二图像进行非线性反向映射;融合非线性反向映射的结果和线性反向映射的结果,得到第一亮度动态范围的第一亮度动态范围图像;将第一亮度动态范围图像从第二色域转换到第一色域,得到第一色域图像;使用第一亮度动态范围对应的光电转换函数,将第一色域图像转换为具有非线性亮度的非线性亮度图像,作为反向映射结果图像。
可选地,将第二图像转换为具有第一色域和/或第一亮度动态范围的第三图像的步骤还包括:基于第一图像进行皮肤颜色和/或边缘检测;基于皮肤颜色和/或边缘检测的结果,融合第一图像和反向映射结果图像,以修复反向映射结果图像中的皮肤颜色、亮暗区细节、对比度中至少一项,从而得到第三图像。
根据本公开的第二个方面,提供了一种针对标准亮度动态范围视频的增强方法,包括:将具有标准色域和/或标准亮度动态范围的第一视频转换为具有广色域和/或高亮度动态范围的第二视频,在广色域和/或高亮度动态范围内进行视频增强处理;以及将第二视频转换为具有标准色域和/或标准亮度动态范围的第三视频。
根据本公开的第三个方面,提供了一种图像增强装置,包括:第一增强装置,在第一色域和/或第一亮度动态范围内,对具有第一色域和/或第一亮度动态范围的图像进行图像增强处理,得到具有第一色域和/或第一亮度动态范围的第一图像;第二增强装置,用于将第一图像转换为具有第二色域和/或第二亮度动态范围的第二图像,并在第二色域和/或第二亮度动态范围内进行图像增强处理,第二色域比第一色域广,并且/或者第二亮度动态范围的上限比第一亮度动态范围的上限高;以及反向映射装置,用于将第二图像转换为具有第一色域和/或第一亮度动态范围的第三图像。
根据本公开的第四个方面,提供了一种计算设备,包括:处理器;以及存储器,其上存储有可执行代码,当可执行代码被处理器执行时,使处理器执行如上述第一或第二方面所述的方法。
根据本公开的第五个方面,提供了一种计算机程序产品,包括可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如上述第一或第二方面所述的方法。
根据本公开的第六个方面,提供了一种非暂时性机器可读存储介质,其上存储有可执行代码,当可执行代码被电子设备的处理器执行时,使处理器执行如上述第一或第二方面所述的方法。
由此,根据本公开的图像增强方案考虑到传统亮度与颜色增强方案的设计局限性,克服了传统方案下色域以及亮度动态范围较小的限制,能够提供超过传统方案的亮度、对比度与色彩增强效果,并且也提供了一种全新的亮度、对比度与色彩增强算法的设计思路。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。
图1是根据本公开的图像增强装置的示意性框图。
图2是根据本公开的图像增强方法的示意性流程图。
图3是根据本公开实施例的第一次图像增强处理的示意性流程图。
图4是根据本公开实施例基于皮肤颜色保护目的的色彩饱和度增强处理方法的示意性流程图。
图5是根据本公开实施例的第二次图像增强处理的示意性流程图。
图6是根据本公开实施例进行亮度动态范围转换的方法的示意性流程图。
图7是根据本公开实施例进行内容部分亮度调整的方法的示意性流程图。
图8是根据本公开实施例的反向映射方法的示意性流程图。
图9示出了根据本发明一实施例可用于实现上述图像增强方法的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本公开提出了一种图像增强方案,可以通过借助在相对较高的亮度动态范围内的图像增强处理,对具有相对较低的亮度动态范围的图像实现效果优越的亮度、对比度与色彩增强。由此,对于当前仍大量存在的相对较低亮度动态范围的图像,能够以更好的画质呈现在当前仍大量存在的相对较低亮度动态范围的显示设备上。
例如当将本公开的图像增强方案应用于SDR(Standard Dynamic Range,标准亮度动态范围,亮度范围在0-100nits)图像时,可以显著提高SDR图像的亮度水平、全局与局部对比度、以及色彩表现力,使其在效果上接近HDR(High Dynamic Range,高亮度动态范围,亮度范围在0-1000nits或0-10000nits)图像的震撼力和冲击力。
应当理解,本公开上下文中的图像既可以是静态的图片,也可以是动态的视频。换言之,本公开的图像增强方案既可以适用于静态的图片,也可以适用于动态的视频。
特别地,本公开的图像增强方案可以适用于对各种视频,例如可以是短视频,也可以是直播视频、聊天视频、会议视频等。
以SDR(标准亮度动态范围)图像为例,本公开通过执行基于标准色域及标准亮度动态范围的增强,基于广色域及高亮度动态范围的增强,以及色域和亮度的反向映射,可以实现效果优越的亮度、对比度以及色彩增强。
图1是根据本公开的图像增强装置10的示意性框图。
如图1所示,根据本公开的图像增强装置10可以包括第一增强装置100、第二增强装置200和反向映射装置300。
第一增强装置100用于基于第一色域(例如标准色域BT709)和/或第一亮度动态范围(例如标准亮度动态范围SDR)进行图像增强。
这样,可以首先在标准色域及标准亮度动态范围内对图像的亮度、对比度以及颜色进行第一次增强,得到一个初步增强的图像。
这里,针对具体的应用场景,可以选择使用具有良好性能的亮度、对比度以及颜色增强算法。例如,基于第一色域和/或第一亮度动态范围,可以进行全局与局部的对比度增强、颜色增强、颜色校正、调色、去雾等各种图像增强处理。
本公开下文中参考图3和图4给出了一种在第一色域和/或第一亮度动态范围进行图像增强的方法。本领域技术人员应当理解,本公开的图像增强方案不限于此。
另外,还应当理解,本公开的图像增强方案也可以不需要第一增强装置100,即可以不在第一色域和/或第一亮度动态范围内进行图像增强,而直接进行第二增强装置200的图像增强处理。或者,也可以以已经在第一色域和/或第一亮度动态范围内进行了图像增强的图像作为本公开的图像增强方案的输入,而直接进行第二增强装置200的图像增强处理。
第二增强装置200用于基于第二色域和/或第二亮度范围(例如广色域和高亮度动态范围)进行图像增强。
这里,利用转换算法将例如经过了初步增强的图像转换至广色域和高亮度动态范围中,达到大幅度提升图像的亮度、对比度以及色彩的效果。
借助广色域和高亮度动态范围更强的表达能力,对图像进行第二次调整,得到具有更好的亮度、对比度与色彩效果的广色域(例如BT2020色域)和高亮度动态范围(HDR)的图像。
然后,反向映射装置300对经过第二增强装置200转换增强的图像进行色域和/或亮度的反向映射。即反向映射装置300,将第二增强装置200映射得到的更高色域及更高亮度动态范围的图像反向映射回到与原图像相同的标准色域及标准亮度动态范围中。
在反向映射的转换过程中,可以尽可能保持第二增强装置200进行图像增强得到的图像在亮度、对比度与色彩方面的优越性,使得最终结果(例如可以称为“SDR Pro”)与原始图像(SDR)相比,在视觉效果上具有显著的提高,成为一种具有更好的亮度、对比度与色彩表现力的标准亮度动态范围图像。
下面参考图2描述例如本公开的图像增强装置10可以执行的图像增强方法。
图2是根据本公开的图像增强方法的示意性流程图。
如图2所示,在步骤S100,例如可以通过第一增强装置100,在第一色域和/或第一亮度动态范围内,对具有第一色域和/或第一亮度动态范围的图像(初始图像)进行图像增强处理,得到具有第一色域和/或第一亮度动态范围的第一图像。
如上文所述,本公开的图像增强方法也可以不需要执行该步骤S100,而直接进入步骤S200。
如上文所述,针对具体的应用场景,可以选择使用具有良好性能的亮度、对比度以及颜色增强算法。例如,基于第一色域和/或第一亮度动态范围,可以进行全局与局部的对比度增强、颜色增强、颜色校正、调色、去雾等各种图像增强处理。
下面参考图3详细描述本公开实施例的一种基于第一色域和/或第一亮度动态范围的图像增强方案,其特别适用于例如面向互联网视频图像的对比度和色彩增强。
图3是根据本公开实施例的第一次图像增强处理的示意性流程图,其中,初始图像经亮度估计、对比度增强和色彩饱和度增强,得到经过初步增强处理的第一图像。
如图3所示,在步骤S110,基于局部亮度直方图和/或全局亮度直方图,在(初始)图像的RGB色彩空间中进行亮度估计,得到(初始)图像的亮度分布信息。
可以估计出图像的每个像素的亮度估计值,然后对整个图像上大量像素的亮度估计值进行分析,得到上述亮度分布信息。
这里,亮度分布信息可以包括图像的多个亮度区域的分布信息。多个亮度区域例如可以包括图像的暗区、中区、亮区,分别具有互相不重叠的亮度值范围(暗、中、亮)。
采用局部直方图与全局直方图信息相结合的方式,在图像的RGB色彩空间中完成亮度估计。
在步骤S120,基于亮度分布信息,使用分别对应于多个亮度值范围和/或图像全局的多个映射曲线,对图像的多个亮度区域和/或全局的对比度进行增强处理。
这里,多个映射曲线可以具有不同的分工,分别起到调整图像的暗区、中区、亮区以及全局亮度的作用。
另外,考虑到皮肤颜色对饱和度变化较为敏感,还可以进一步设计皮肤颜色保护逻辑。这样,可以在步骤S130,对图像进行基于皮肤颜色保护目的的色彩饱和度增强处理。
图4是根据本公开实施例在步骤S130中基于皮肤颜色保护目的的色彩饱和度增强处理方法的示意性流程图。
如图4所示,在步骤S131,针对对比度增强图像,计算皮肤颜色相似度。
例如,可以通过在HSV空间中基于H参数统计量和S参数统计量来计算第一皮肤颜色相似度。
通过线下训练大量的皮肤颜色图像,得到皮肤颜色的关于HS的几个典型分布,发现它们近似为多元高斯分布。因此,可以利用这些分布的均值与协方差来做分类。
假设得到K个分布,它们的均值为mhs[k],协方差为covhs[k],k=0,1,…,K-1。对于一个输入的hs向量x,其基本皮肤颜色相似度为:
max(exp(-(x-mhs[k])covhs -1(x-mhs[k])T/2)|k=0,1,2…,K-1)。
然后,可以根据(x-mhs[k])covhs -1(x-mhs[k])T的大小对该基本皮肤颜色相似度进行归一化处理,得到归一化的第一皮肤颜色相似度skin_sim_hs,它的范围属于[0,1]。
另外,还可以通过在YCbCr空间中基于Cb参数统计量和Cr参数统计量来计算第二皮肤颜色相似度。
与上面描述的类似,同样通过线下训练大量的皮肤颜色图像,得到皮肤颜色的CbCr的几个典型分布,发现它们也近似为多元高斯分布。因此,可以利用这些分布的均值与协方差来做分类。
假设得到K个分布,它们的均值为mcbcr[k],协方差为covcbcr[k],k=0,1,…,K-1。对于一个输入的cbcr向量x,它的基本皮肤颜色相似度为:
max(exp(-(x-mcbcr[k])covcbcr -1(x-mcbcr[k])T/2)|k=0,1,2…,K-1)。
然后,可以根据(x-mcbcr[k])covcbcr -1(x-mcbcr[k])T的大小对该基本皮肤颜色相似度进行归一化处理,得到归一化的第二皮肤颜色相似度skin_sim_cbcr,它的范围属于[0,1]。
在步骤S132,基于皮肤颜色相似度,确定图像的至少一个区域的色彩为皮肤颜色的皮肤颜色概率。
这里,可以进一步融合第一皮肤颜色相似度和第二皮肤颜色相似度,得到融合后的皮肤颜色相似度,以用于确定最终的皮肤颜色概率。
一种简单的融合方式可以是取第一皮肤颜色相似度和第二皮肤颜色相似度中较小的一个作为融合后的皮肤颜色相似度。即,对于一个像素,它的融合后的皮肤颜色相似度skin_sim可以为:
skin_sim=min(skin_sim_hs,skin_sim_cbcr)。
应当理解,可以在HSV空间和YCbCr空间中分别计算第一皮肤颜色相似度和第二皮肤颜色相似度,以融合二者用于后续的皮肤颜色概率计算。
或者,也可以只在HSV空间中计算第一皮肤颜色相似度,或者只在YCbCr空间中计算第二皮肤颜色相似度。只用其中一个相似度来计算皮肤颜色概率,以进行色彩饱和度调整。
然后,在步骤S133,基于上面计算的皮肤颜色概率,对图像的至少一个区域进行色彩饱和度调整,以实现皮肤颜色保护的目的。这里的色彩饱和度调整可以是自适应的,即适应于皮肤颜色概率。
这里,色彩增强可以仅考虑饱和度增强。增强的基本原则可以是:对于靠近皮肤颜色的高饱和度像素、皮肤颜色像素、很低饱和度的像素,不做很大的调整。
于是,就可以得到并输出色彩饱和度增强处理后的结果。
返回图2,在步骤S200,例如可以通过第二增强装置200,将第一图像转换为具有第二色域和/或第二亮度动态范围的第二图像,并在第二色域和/或第二亮度动态范围内进行图像增强处理。由此,可以对图像画质做进一步增强。
这里,第二色域(例如BT2020色域)比第一色域(例如BT709色域)广。并且/或者,第二亮度动态范围(例如HDR)的上限比第一亮度动态范围(例如SDR)的上限高。
关于基于第二色域及第二亮度动态范围的图像增强,可以采用各种现有解决方案,如现有各种SDR转HDR的方案,例如基于深度学习的方案。或者,除了上面示例中提到的BT202色域和HDR亮度动态范围,还可以在其它高色域及亮度动态范围内进行调整,例如DCI-P3色域、0-10000nits亮度动态范围等。
另外,关于在第二色域和/或第二亮度动态范围内进行的图像增强处理,其可以在将第一图像转换为具有第二色域和/或第二亮度动态范围的第二图像之后进行,也可以在将第一图像转换为具有第二色域和/或第二亮度动态范围的第二图像的过程中实现。
下面参考图5描述本公开实施例给出的基于广色域和高亮度动态范围的图像增强方案,其中,在将第一图像转换为具有第二色域和/或第二亮度动态范围的第二图像的过程中实现在第二色域和/或第二亮度动态范围内进行的图像增强处理。
图5是根据本公开实施例的第二次图像增强处理的示意性流程图,其中,基于广色域(例如BT2020色域)和高亮度动态范围(例如HDR)进行图像增强。
这里,例如可以利用HDR的亮度动态范围优势,以及BT2020色域的广色域优势,将标准色域(BT709)及标准亮度动态范围(SDR)的图像,利用一种基于视觉感知和语义分析的转化算法,转换到广色域(BT2020色域,亮度范围为0-1000nits的HDR范围内),并在此色域与亮度动态范围内,进一步对图像的色彩进行调整。
如图5所示,在步骤S210,使用第一亮度动态范围对应的电光转换函数(EOTF),将第一图像的非线性亮度信号值转换为线性亮度信号值,得到线性亮度图像。
这里,电光转换函数(EOTF)用于将图像的电信号值映射到对应的光亮度信号值。
在步骤S220,将线性亮度图像从第一色域(例如BT709色域)转换到第二色域(例如BT2020色域),得到第二色域图像。
在步骤S230,将第二色域图像的亮度动态范围转换到第二亮度动态范围,得到第二亮度动态范围图像。
这里,可以使用基于视觉感知和语义分析的转化算法,来将图像的亮度范围转换到0-1000nits的HDR范围。
图6是根据本公开实施例在步骤S230中进行亮度动态范围转换的方法的示意性流程图。
在步骤S231,将第二色域图像转换到YUV颜色空间。
在步骤S232,在YUV颜色空间中,对第二色域图像的Y通道进行分解,得到内容部分和噪声部分。
在步骤S233,基于人眼对内容的感知特性,对内容部分进行亮度调整。
图7是根据本公开实施例进行内容部分亮度调整的方法的示意性流程图。
在步骤S2331,将内容部分从YUV颜色空间转换到Yxy颜色空间。
在步骤S2332,在Yxy颜色空间中,利用基于人眼对内容的感知特性的亮度映射曲线,对Y通道进行亮度映射,将亮度范围转换到第二亮度动态范围,
在步骤S2333,基于设定的最大亮度要求,对内容部分的最大亮度以及高亮部分进行修正和/或映射,得到第二亮度动态范围的内容部分。
在步骤S2334,将第二亮度动态范围的内容部分从Yxy颜色空间转回到YUV颜色空间。
返回图6,在步骤S234,基于人眼对噪声的感知特性,对噪声部分进行亮度调整。
应当理解,步骤S233和步骤S234的前后执行顺序可以是任意可调的,或者这两个步骤也可以并行执行。
在步骤S235,对亮度调整后的内容部分与亮度调整后的噪声部分进行亮度融合。
在步骤S236,将亮度融合后的图像从YUV颜色空间转换回到第二色域,得到第二亮度动态范围图像。
在此基础上,可以采用基于Lab颜色空间的色彩增强处理。
返回图5,在步骤S240,基于Lab颜色空间对第二亮度动态范围图像进行色彩增强处理。
然后,再在步骤S250,使用第二亮度动态范围对应的光电转换函数(OETF),将色彩增强后的第二亮度动态范围图像转换为具有非线性亮度的非线性亮度图像,作为第二图像。
这里,光电转换函数OETF,也即逆EOTF,用于将图像的光亮度信号值映射到对应的电信号值。
由此,在第二色域和/或第二亮度动态范围内进行了图像增强处理,将具有第一色域和/或第一亮度动态范围的第一图像转换为具有第二色域和/或第二亮度动态范围的第二图像。
返回图2,在步骤S300,例如可以通过反向映射装置300,将第二图像转换为具有第一色域和/或第一亮度动态范围的第三图像。
这里,可以采用多种现有反向映射方案来进行图像从第二色域和/或第二亮度动态范围到第一色域和/或第一亮度动态范围的映射,例如基于曲线映射或基于深度学习的色调映射(tone mapping)方法、基于ColorLUT的反向映射等。
图8是根据本公开实施例的色域与亮度的反向映射方法的示意性流程图。
在步骤S310,使用感知量化(PQ)曲线,将例如非线性RGB格式的第二图像转换到亮度线性空间。
PQ曲线是EOTF函数曲线的一种。目前大部分SDR显示器峰值显示亮度在100nits左右,其EOTF采用的是伽玛(gamma)曲线。而HDR需要能够显示10000nits的峰值亮度。如果继续采用SDR的EOTF则需要14bit位深的像素来编码,这对于传输和存储都极为不利。考虑到人眼对于高亮度区域不如对暗处敏感,通过模拟人眼的生理特性,提出PQ曲线,可以在不引入伪影的情况下,用10bit或12bit的像素来编码HDR内容。
接下来,为了保证最终输出的结果图像(“SDR Pro”)图像的亮度及对比度的图像效果,可以在步骤S320,在亮度线性空间,对第二图像进行亮度的线性拉伸。
在步骤S330,在亮度线性空间中,采用两条hable曲线加权的方式,对第二图像进行非线性反向映射。
这里,通过采用改进的hable曲线进行映射,即通过两条hable曲线加权的方式来进行反向映射,可以提升非线性映射结果的整体亮度,并拉伸亮区的对比度。
在步骤S340,融合非线性反向映射的结果和线性反向映射的结果,得到第一亮度动态范围的第一亮度动态范围图像。通过融合非线性反向映射的结果和线性反向映射的结果,可以较好地保留色彩和亮区及暗区的细节。
在步骤S350,将第一亮度动态范围图像从第二色域转换到第一色域,得到第一色域图像。
在步骤S360,使用第一亮度动态范围对应的光电转换函数(OETF),将第一色域图像转换为具有非线性亮度的非线性亮度图像,作为反向映射结果图像。
由于反向映射结果会存在一定程度的细节、对比度丢失以及皮肤颜色过饱和的问题,因此本公开可以进一步引入步骤S100输出的第一次增强结果(第一图像),或者说步骤S200的输入图像,对上述反向映射的结果进行修复。
例如,可以首先将第一次增强结果(第一图像)与反向映射结果(反向映射结果图像)变换至HSV颜色空间(图中未示出),以便在HSV颜色空间中执行下述修复操作。
在步骤S370,可以基于第一图像进行皮肤颜色和/或边缘检测。
这里,可以在第一图像的H和V通道分别进行皮肤颜色和/或边缘检测。
然后,在步骤S380,基于皮肤颜色和/或边缘检测的结果,融合第一图像和反向映射结果图像,以修复反向映射结果图像中的皮肤颜色、亮暗区细节、对比度中至少一项,从而得到第三图像。
这里,利用皮肤颜色和/或边缘检测的结果,指导第一图像与反向映射结果图像的融合,可以实现对反向映射结果中的皮肤颜色、亮暗区的细节(例如纹理)、对比度中至少一项的修复效果。
然后,可以再将融合结果从HSV空间转回RGB空间(图中未示出)。
然后,再转换为YUV格式,便得到了本公开经过图像增强的第三图像,即“SDR Pro”图像。
至此,已参考附图详细描述了根据本公开的图像增强方案。
在本公开的实施例中,以视频增强为例,可以提供一种针对标准亮度动态范围(SDR)视频的增强方法。
首先,将具有标准色域(例如BT709)和/或标准亮度动态范围(SDR)的第一视频转换为具有广色域(BT2020)和/或高亮度动态范围(HDR)的第二视频,在广色域(BT2020)和/或高亮度动态范围(HDR)内进行视频增强处理。
然后,再将第二视频转换为具有标准色域(例如BT709)和/或标准亮度动态范围(SDR)的第三视频(SDRPro)。
这样,在标准色域及标准亮度动态范围进行初步调整的基础上,进一步将图像从标准色域及标准亮度动态范围转换到广色域和高亮度动态范围以进一步进行再次增强,克服了前文所描述的现有方案所共有的局限性。
在广色域及高亮度动态范围中,图像增强方案具有更大的可调节空间,能够得到更好的调整效果。而在色域与亮度的反向映射中,可以尽可能保留前一步的调整效果,使得与现有方案相比最终的图像增强结果,能够取得更好的增强效果。
图9示出了根据本发明一实施例可用于实现上述图像增强方法的计算设备的结构示意图。
参见图9,计算设备900包括存储器910和处理器920。
处理器920可以是一个多核的处理器,也可以包含多个处理器。在一些实施例中,处理器920可以包含一个通用的主处理器以及一个或多个特殊的协处理器,例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中,处理器920可以使用定制的电路实现,例如特定用途集成电路(ASIC,Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA,Field Programmable Gate Arrays)。
存储器910可以包括各种类型的存储单元,例如系统内存、只读存储器(ROM),和永久存储装置。其中,ROM可以存储处理器920或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器910可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器910可以包括可读和/或写的可移除的存储设备,例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM,双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器910上存储有可执行代码,当可执行代码被处理器920处理时,可以使处理器920执行上文述及的图像增强方法。
上文中已经参考附图详细描述了根据本发明的图像增强方案。
此外,根据本发明的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
或者,本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质),其上存储有可执行代码(或计算机程序、或计算机指令代码),当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时,使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (13)

1.一种图像增强方法,包括:
将具有第一色域和/或第一亮度动态范围的第一图像转换为具有第二色域和/或第二亮度动态范围的第二图像,并在第二色域和/或第二亮度动态范围内进行图像增强处理,第二色域比第一色域广,并且/或者第二亮度动态范围的上限比第一亮度动态范围的上限高;以及
将第二图像转换为具有第一色域和/或第一亮度动态范围的第三图像。
2.根据权利要求1所述的方法,还包括:
在第一色域和/或第一亮度动态范围内,对具有第一色域和/或第一亮度动态范围的图像进行图像增强处理,得到所述第一图像。
3.根据权利要求2所述的方法,其中,所述对具有第一色域和/或第一亮度动态范围的图像进行图像增强处理的步骤包括:
基于局部亮度直方图和/或全局亮度直方图,在所述图像的RGB色彩空间中进行亮度估计,得到所述图像的亮度分布信息,所述亮度分布信息包括所述图像的多个亮度区域的分布信息,所述多个亮度区域分别具有互相不重叠的亮度值范围;以及
基于所述亮度分布信息,使用分别对应于所述多个亮度值范围和/或图像全局的多个映射曲线,对所述图像的所述多个亮度区域和/或全局的对比度进行增强处理。
4.根据权利要求3所述的方法,其中,所述对具有第一色域和/或第一亮度动态范围的图像进行图像增强处理的步骤还包括:
对所述图像进行基于皮肤颜色保护目的的色彩饱和度增强处理。
5.根据权利要求4所述的方法,其中,对所述对比度增强图像进行基于皮肤颜色保护目的的色彩饱和度增强处理的步骤包括:
针对所述对比度增强图像,计算皮肤颜色相似度;
基于所述皮肤颜色相似度,确定所述图像的至少一个区域的色彩为皮肤颜色的皮肤颜色概率;以及
基于所述皮肤颜色概率,对所述图像的所述至少一个区域进行色彩饱和度调整,以实现皮肤颜色保护目的。
6.根据权利要求1所述的方法,其中,所述将具有第一色域和/或第一亮度动态范围的第一图像转换为具有第二色域和/或第二亮度动态范围的第二图像、并在第二色域和/或第二亮度动态范围内进行图像增强处理的步骤包括:
使用第一亮度动态范围对应的电光转换函数,将第一图像的非线性亮度信号值转换为线性亮度信号值,得到线性亮度图像;
将所述线性亮度图像从第一色域转换到第二色域,得到第二色域图像;
将第二色域图像的亮度动态范围转换到第二亮度动态范围,得到第二亮度动态范围图像;
基于Lab颜色空间对第二亮度动态范围图像进行色彩增强处理;以及
使用第二亮度动态范围对应的光电转换函数,将色彩增强后的第二亮度动态范围图像转换为具有非线性亮度的非线性亮度图像,作为所述第二图像。
7.根据权利要求6所述的方法,其中,所述将第二色域图像的亮度动态范围转换到第二亮度动态范围的步骤包括:
将第二色域图像转换到YUV颜色空间;
在YUV颜色空间中,对所述第二色域图像的Y通道进行分解,得到内容部分和噪声部分;
基于人眼对内容的感知特性,对内容部分进行亮度调整;
基于人眼对噪声的感知特性,对噪声部分进行亮度调整;以及
对亮度调整后的内容部分与亮度调整后的噪声部分进行亮度融合;以及
将亮度融合后的图像从YUV颜色空间转换回到第二色域,得到所述第二亮度动态范围图像。
8.根据权利要求7所述的方法,其中,对内容部分进行亮度调整的步骤包括:
将所述内容部分从YUV颜色空间转换到Yxy颜色空间;
在Yxy颜色空间中,利用基于人眼对内容的感知特性的亮度映射曲线,对Y通道进行亮度映射,将亮度范围转换到第二亮度动态范围,
基于设定的最大亮度要求,对内容部分的最大亮度以及高亮部分进行修正和/或映射,得到第二亮度动态范围的内容部分;以及
将第二亮度动态范围的内容部分从Yxy颜色空间转回到YUV颜色空间。
9.根据权利要求1所述的方法,其中,所述将第二图像转换为具有第一色域和/或第一亮度动态范围的第三图像的步骤包括:
使用感知量化曲线将第二图像转换到亮度线性空间;
在亮度线性空间,对第二图像的亮度进行线性拉伸;
在亮度线性空间中,采用两条hable曲线加权的方式,对第二图像进行非线性反向映射;
融合非线性反向映射的结果和线性反向映射的结果,得到第一亮度动态范围的第一亮度动态范围图像;
将第一亮度动态范围图像从第二色域转换到第一色域,得到第一色域图像;
使用第一亮度动态范围对应的光电转换函数,将第一色域图像转换为具有非线性亮度的非线性亮度图像,作为反向映射结果图像。
10.根据权利要求9所述的方法,其中,所述将第二图像转换为具有第一色域和/或第一亮度动态范围的第三图像的步骤还包括:
基于第一图像进行皮肤颜色和/或边缘检测;
基于皮肤颜色和/或边缘检测的结果,融合第一图像和反向映射结果图像,以修复反向映射结果图像中的皮肤颜色、亮暗区细节、对比度中至少一项,从而得到所述第三图像。
11.一种针对标准亮度动态范围视频的增强方法,包括:
将具有标准色域和/或标准亮度动态范围的第一视频转换为具有广色域和/或高亮度动态范围的第二视频,在广色域和/或高亮度动态范围内进行视频增强处理;以及
将第二视频转换为具有标准色域和/或标准亮度动态范围的第三视频。
12.一种图像增强装置,包括:
第一增强装置,在第一色域和/或第一亮度动态范围内,对具有第一色域和/或第一亮度动态范围的图像进行图像增强处理,得到具有第一色域和/或第一亮度动态范围的第一图像;
第二增强装置,用于将所述第一图像转换为具有第二色域和/或第二亮度动态范围的第二图像,并在第二色域和/或第二亮度动态范围内进行图像增强处理,第二色域比第一色域广,并且/或者第二亮度动态范围的上限比第一亮度动态范围的上限高;以及
反向映射装置,用于将第二图像转换为具有第一色域和/或第一亮度动态范围的第三图像。
13.一种计算设备,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1至11中任何一项所述的方法。
CN202111674782.3A 2021-12-31 2021-12-31 图像增强方法和装置 Pending CN114511479A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111674782.3A CN114511479A (zh) 2021-12-31 2021-12-31 图像增强方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111674782.3A CN114511479A (zh) 2021-12-31 2021-12-31 图像增强方法和装置

Publications (1)

Publication Number Publication Date
CN114511479A true CN114511479A (zh) 2022-05-17

Family

ID=81548510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111674782.3A Pending CN114511479A (zh) 2021-12-31 2021-12-31 图像增强方法和装置

Country Status (1)

Country Link
CN (1) CN114511479A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693567A (zh) * 2022-05-30 2022-07-01 深圳思谋信息科技有限公司 图像颜色调整方法、装置、计算机设备和存储介质
CN114926359A (zh) * 2022-05-20 2022-08-19 电子科技大学 联合双颜色空间恢复和多级解码结构的水下图像增强方法
CN114999363A (zh) * 2022-06-13 2022-09-02 百果园技术(新加坡)有限公司 色偏校正方法、装置、设备、存储介质及程序产品
CN115393228A (zh) * 2022-10-27 2022-11-25 摩尔线程智能科技(北京)有限责任公司 图像处理方法、装置以及图形处理设备
CN115393197A (zh) * 2022-10-27 2022-11-25 摩尔线程智能科技(北京)有限责任公司 图像合成方法、装置以及图形处理设备
CN116167950A (zh) * 2023-04-26 2023-05-26 镕铭微电子(上海)有限公司 图像处理方法、装置、电子设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926359A (zh) * 2022-05-20 2022-08-19 电子科技大学 联合双颜色空间恢复和多级解码结构的水下图像增强方法
CN114926359B (zh) * 2022-05-20 2023-04-07 电子科技大学 联合双颜色空间恢复和多级解码结构的水下图像增强方法
CN114693567A (zh) * 2022-05-30 2022-07-01 深圳思谋信息科技有限公司 图像颜色调整方法、装置、计算机设备和存储介质
CN114693567B (zh) * 2022-05-30 2022-09-20 深圳思谋信息科技有限公司 图像颜色调整方法、装置、计算机设备和存储介质
CN114999363A (zh) * 2022-06-13 2022-09-02 百果园技术(新加坡)有限公司 色偏校正方法、装置、设备、存储介质及程序产品
CN115393228A (zh) * 2022-10-27 2022-11-25 摩尔线程智能科技(北京)有限责任公司 图像处理方法、装置以及图形处理设备
CN115393197A (zh) * 2022-10-27 2022-11-25 摩尔线程智能科技(北京)有限责任公司 图像合成方法、装置以及图形处理设备
CN115393197B (zh) * 2022-10-27 2023-05-05 摩尔线程智能科技(北京)有限责任公司 图像合成方法、装置以及图形处理设备
CN116167950A (zh) * 2023-04-26 2023-05-26 镕铭微电子(上海)有限公司 图像处理方法、装置、电子设备及存储介质
CN116167950B (zh) * 2023-04-26 2023-08-04 镕铭微电子(上海)有限公司 图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Huang et al. Shallow-water image enhancement using relative global histogram stretching based on adaptive parameter acquisition
CN114511479A (zh) 图像增强方法和装置
CN103593830B (zh) 一种低照度视频图像增强方法
CN101951523B (zh) 一种自适应彩色图像处理方法及系统
JP2021521517A (ja) ニューラルネットワークマッピングを用いるhdr画像表現
CN105407296B (zh) 实时视频增强方法和装置
US10003809B2 (en) Method and device for tone-mapping a high dynamic range image
US20090317017A1 (en) Image characteristic oriented tone mapping for high dynamic range images
CN113518185B (zh) 视频转换处理方法、装置、计算机可读介质及电子设备
KR20180002880A (ko) 이미지 변환을 수행하는 전자 장치 및 이의 방법
US10445865B1 (en) Method and apparatus for converting low dynamic range video to high dynamic range video
US20180005358A1 (en) A method and apparatus for inverse-tone mapping a picture
CN115115554B (zh) 基于增强图像的图像处理方法、装置和计算机设备
WO2019205751A1 (zh) 图像增强方法
Jung et al. Optimized perceptual tone mapping for contrast enhancement of images
Trongtirakul et al. Single backlit image enhancement
WO2021093718A1 (zh) 视频处理方法、视频修复方法、装置及设备
CN109146780A (zh) 一种影像质量优化方法、计算机装置及可读存储介质
Abebe et al. Towards an automatic correction of over-exposure in photographs: Application to tone-mapping
Eilertsen The high dynamic range imaging pipeline
Hsia et al. High‐performance high dynamic range image generation by inverted local patterns
CN117611467A (zh) 一种能同时平衡不同区域细节和亮度的低光图像增强方法
CN111754412B (zh) 构建数据对的方法、装置及终端设备
Lin et al. Tri-histogram equalization based on first order statistics
US20230186612A1 (en) Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination