CN113691739A - 高动态范围图像的图像处理方法及图像处理装置 - Google Patents

高动态范围图像的图像处理方法及图像处理装置 Download PDF

Info

Publication number
CN113691739A
CN113691739A CN202111028413.7A CN202111028413A CN113691739A CN 113691739 A CN113691739 A CN 113691739A CN 202111028413 A CN202111028413 A CN 202111028413A CN 113691739 A CN113691739 A CN 113691739A
Authority
CN
China
Prior art keywords
dynamic range
pixel
range image
brightness value
high dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111028413.7A
Other languages
English (en)
Other versions
CN113691739B (zh
Inventor
陈炜
孙淑云
池国泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN202111028413.7A priority Critical patent/CN113691739B/zh
Publication of CN113691739A publication Critical patent/CN113691739A/zh
Application granted granted Critical
Publication of CN113691739B publication Critical patent/CN113691739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

一种高动态范围图像的图像处理方法及图像处理装置,其中,图像处理方法包括:获取高动态范围图像;获取所述高动态范围图像中每个像素的亮度值;获取第一最大亮度值和第一预设亮度值;根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第一类像素和第二类像素;根据各所述第一类像素获取第一映射曲线;根据各所述第二类像素获取第二映射曲线,且所述第二映射曲线与所述第一映射曲线连续;根据所述第一映射曲线和第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像。所述图像处理方法能够使压缩后的目标低动态范围图像能够在显示出高动态范围图像中丰富的细节的同时,降低图像处理对于硬件设备的要求。

Description

高动态范围图像的图像处理方法及图像处理装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种高动态范围图像的图像处理方法及图像处理装置。
背景技术
数字图像所重现出的动态范围是影响图像质量的重要因素。很多数码相机和摄像机等设备无法很好地呈现具有高动态范围(HDR)的场景。例如:对于晴朗白天的室内站在窗前的人,当人像的曝光正确时,窗外的景物通常是过曝的;当窗外的景物曝光正确时,人像是很暗的。
为了同时呈现窗前的人像和窗外的风景,现有技术中提出了一种图像处理的方法:将多帧不同动态范围的低动态范围图像合成为1帧高动态范围图像,该高动态范围图像同时包括亮部和暗部的细节信息;将该高动态范围图像的数据压缩为可以显示的低动态范围图像。
通常,通过色调映射方法将高动态范围图像压缩为低动态范围图像。在现有技术中,直方图均衡是一种常见的全局色调映射方法。具体而言,通过对高动态范围图像的亮度进行直方图调整,并在调整的过程中加入一些限定条件,可以避免对比度过度增强、抑制噪声增强等问题。接着,根据调整后的直方图计算出高动态范围图像的亮度的映射曲线,并根据映射曲线对高动态范围图像的亮度进行映射,即可将高动态范围图像压缩为低动态范围图像。
然而,目前的一些高动态范围图像传感器已经能够记录多达5至6个数量级的动态范围。在对如此高动态范围的图像进行直方图统计时,如果直方图的间隔太小,则数据处理过程中的计算量庞大,对设备的硬件要求很高,对于要求实时性且计算能力较弱的数码相机和摄像机等便携设备,难以满足硬件要求;如果直方图的间隔太大,则压缩后的低动态范围图像将丢失大量暗部细节,造成显示的图像无法保留原本高动态范围图像中丰富的细节。
发明内容
本发明解决的技术问题是提供一种高动态范围图像的图像处理方法及图像处理装置,以使压缩后的目标低动态范围图像能够在显示出高动态范围图像中丰富的细节的同时,降低图像处理对于硬件设备的要求。
为解决上述技术问题,本发明的技术方案提供一种高动态范围图像的图像处理方法,包括:获取高动态范围图像;获取所述高动态范围图像中每个像素的亮度值;获取与所述高动态范围图像对应的第一最大亮度值和第一预设亮度值,所述第一预设亮度值小于所述第一最大亮度值,所述第一最大亮度值大于或等于所述高动态范围图像中任意像素的亮度值;根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第一类像素和第二类像素,包括:当高动态范围图像的任意像素的亮度值小于所述第一预设亮度值时,所述高动态范围图像的任意像素为第一类像素;当高动态范围图像的任意像素的亮度值大于或等于所述第一预设亮度值时,所述高动态范围图像的任意像素为第二类像素;根据各所述第一类像素获取第一映射曲线;根据各所述第二类像素获取第二映射曲线,且所述第二映射曲线与所述第一映射曲线连续;根据所述第一映射曲线和第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像。
可选的,根据各所述第一类像素获取第一映射曲线的方法包括:提供第一直方图阶数hs1;根据所述第一直方图阶数hs1对各所述第一类像素进行第一直方图统计,获取第一统计结果;根据所述第一统计结果获取所述第一映射曲线;根据各所述第二类像素获取第二映射曲线的方法包括:提供第二直方图阶数hs2,并且,第二单位亮度范围SZ2大于第一单位亮度范围SZ1,所述第一单位亮度范围
Figure BDA0003244204100000021
所述第二单位亮度范围
Figure BDA0003244204100000022
所述xmax是所述第一最大亮度值,所述segx是所述第一预设亮度值;根据所述第二直方图阶数hs2对各所述第二类像素进行第二直方图统计,获取第二统计结果;根据所述第二统计结果获取所述第二映射曲线。
可选的,根据所述第一统计结果获取所述第一映射曲线的方法包括:根据所述第一统计结果,获取第一累积直方图曲线cdf1;根据所述第一累积直方图曲线cdf1,获取第一映射曲线;根据所述第二统计结果获取所述第二映射曲线的方法包括:根据所述第二统计结果,获取第二累积直方图曲线cdf2;根据所述第二累积直方图曲线cdf2,获取所述第二映射曲线。
可选的,还包括:在获取第一映射曲线和第二映射曲线之前,获取与所述目标低动态范围图像对应的第二最大亮度值ymax和第二预设亮度值segy,且segy≤ymax
可选的,根据所述第一累积直方图曲线cdf1,获取第一映射曲线的方法包括:根据所述第一累积直方图曲线cdf1和所述第二预设亮度值segy,获取第一映射曲线curve1=cdf1×segy
可选的,根据所述第二累积直方图曲线cdf2,获取所述第二映射曲线的方法包括:根据所述第二累积直方图曲线cdf2、第二预设亮度值segy、以及第二最大亮度值ymax,获取第二映射曲线curve2=segy+(ymax-segy)×cdf2
可选的,(ymax-segy)<segy
可选的,获取与所述目标低动态范围图像对应的第二最大亮度值的方法包括:根据所述目标低动态范围图像的比特位深b2,获取第二最大亮度值ymax=2b2-1。
可选的,获取所述第二预设亮度值的方法包括:根据第一类像素的数量n1在所述高动态范围图像的像素的总数量N中所占的比例、以及所述第二最大亮度值ymax,获取第二预设亮度值
Figure BDA0003244204100000031
k是调节参数,0≤k≤2,floor表示对
Figure BDA0003244204100000032
向下取整数。
可选的,获取与所述高动态范围图像对应的第一最大亮度值的方法包括:根据所述高动态范围图像的比特位深b1,获取第一最大亮度值xmax=2b1-1。
可选的,(xmax-segx)>segx,所述xmax是所述第一最大亮度值,所述segx是所述第一预设亮度值。
可选的,根据所述第一映射曲线和所述第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像的方法包括:根据所述第一映射曲线和各所述第一类像素的亮度值进行第一映射,并根据所述第二映射曲线和各所述第二类像素的亮度值进行第二映射,获取所述目标低动态范围图像各像素的亮度值;根据所述目标低动态范围图像各像素的亮度值,获取目标低动态范围图像。
可选的,还包括:根据预设区域范围,对所述高动态范围图像中每个像素的亮度值进行平滑处理,获取每个像素的平滑亮度值;根据每个像素的亮度值和平滑亮度值,获取每个像素的优化亮度值,包括:当所述高动态范围图像的任意像素的亮度值大于所述像素的平滑亮度值时,获取大于所述亮度值的优化亮度值,且所述优化亮度值小于或等于第一最大亮度值;当所述高动态范围图像的任意像素的亮度值小于所述像素的平滑亮度值时,获取小于所述亮度值的优化亮度值,且所述优化亮度值大于或等于0。
可选的,所述平滑处理的方法包括:以所述高动态范围图像中的每个像素为所述预设区域范围的中心,在所述预设区域范围中获取每个像素周围的多个像素;根据每个像素及每个像素周围的多个像素,对每个像素的亮度值进行滤波,所述滤波包括高斯滤波、中值滤波或双边滤波。
可选的,根据每个像素的亮度值和平滑亮度值,获取每个像素的优化亮度值的方法包括:获取调节参数a,所述a>0;根据所述高动态范围图像的任意像素p的亮度值xhdr(p)、所述像素p的平滑亮度值Fx(p)、以及所述调节参数a,获取所述像素p的优化亮度值
Figure BDA0003244204100000041
且所述xtran(p)∈[0,xmax],a是大于0的调节参数。
可选的,获取调节参数a的方法包括:根据所述高动态范围图像的全部像素的亮度值,获取所述高动态范围图像的平均亮度值xdc;根据所述高动态范围图像的平均亮度值xdc获取调节参数a=ku×xdc,ku是可调参数,并且,ku>0。
可选的,根据所述第一映射曲线和所述第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像的方法包括:根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第三类像素和第四类像素,包括:当高动态范围图像的任意像素的优化亮度值小于所述第一预设亮度值时,所述高动态范围图像的任意像素为第三类像素;当高动态范围图像的任意像素的优化亮度值大于或等于所述第一预设亮度值时,所述高动态范围图像的任意像素为第四类像素;根据所述第一映射曲线和各所述第三类像素的优化亮度值进行第一映射,并根据所述第二映射曲线和各所述第四类像素的优化亮度值进行第二映射,获取所述目标低动态范围图像各像素的亮度值;根据所述目标低动态范围图像各像素的亮度值,获取目标低动态范围图像。
相应的,本发明的技术方案还提供一种高动态范围图像的图像处理装置,包括:图像获取单元,用于获取高动态范围图像;图像处理单元,用于根据高动态范围图像获取目标低动态范围图像,包括:亮度提取模块,用于获取所述高动态范围图像中每个像素的亮度值;图像压缩单元,用于对所述高动态范围图像进行压缩,包括:第一预处理模块,用于获取与所述高动态范围图像对应的第一最大亮度值和第一预设亮度值,所述第一预设亮度值小于所述第一最大亮度值,所述第一最大亮度值大于或等于所述高动态范围图像中任意像素的亮度值;第一像素区分模块,用于根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第一类像素和第二类像素,包括:当高动态范围图像的任意像素的亮度值小于所述第一预设亮度值时,所述高动态范围图像的任意像素为第一类像素;当高动态范围图像的任意像素的亮度值大于或等于所述第一预设亮度值时,所述高动态范围图像的任意像素为第二类像素;第一映射曲线获取单元,用于根据各所述第一类像素获取第一映射曲线;第二映射曲线获取单元,用于根据各所述第二类像素获取第二映射曲线,且所述第二映射曲线与所述第一映射曲线连续;映射单元,用于根据所述第一映射曲线和第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像;图像输出单元,用于输出所述目标低动态范围图像。
可选的,所述第一映射曲线获取单元包括:第一直方图统计模块,用于提供第一直方图阶数hs1,并根据所述第一直方图阶数hs1对各所述第一类像素进行第一直方图统计,获取第一统计结果;第一映射曲线处理单元,用于根据所述第一统计结果获取所述第一映射曲线;所述第二映射曲线获取单元包括:第二直方图统计模块,用于提供第二直方图阶数hs2,并根据所述第二直方图阶数hs2对各所述第二类像素进行第二直方图统计,获取第二统计结果,第二单位亮度范围SZ2大于第一单位亮度范围SZ1,所述第一单位亮度范围
Figure BDA0003244204100000051
所述第二单位亮度范围
Figure BDA0003244204100000052
所述xmax是所述第一最大亮度值,所述segx是所述第一预设亮度值;第二映射曲线处理单元,用于根据所述第二统计结果获取所述第二映射曲线。
可选的,所述映射单元包括:目标低动态范围图像亮度值获取模块,用于根据所述第一映射曲线和各所述第一类像素的亮度值进行第一映射,并根据所述第二映射曲线和各所述第二类像素的亮度值进行第二映射,获取所述目标低动态范围图像各像素的亮度值;目标低动态范围图像获取单元,用于根据所述目标低动态范围图像各像素的亮度值,获取目标低动态范围图像。
可选的,还包括局部像素变换单元,包括:平滑处理单元,用于根据预设区域范围,对所述高动态范围图像中每个像素的亮度值进行平滑处理,获取每个像素的平滑亮度值;亮度值优化单元,用于根据每个像素的亮度值和平滑亮度值,获取每个像素的优化亮度值,包括:当所述高动态范围图像的任意像素的亮度值大于所述像素的平滑亮度值时,获取大于所述亮度值的优化亮度值,且所述优化亮度值小于或等于第一最大亮度值;当所述高动态范围图像的任意像素的亮度值小于所述像素的平滑亮度值时,获取小于所述亮度值的优化亮度值,且所述优化亮度值大于或等于0。
可选的,所述映射单元包括:第二像素区分模块,用于根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第三类像素和第四类像素,包括:当高动态范围图像的任意像素的优化亮度值小于所述第一预设亮度值时,所述高动态范围图像的任意像素为第三类像素;当高动态范围图像的任意像素的优化亮度值大于或等于所述第一预设亮度值时,所述高动态范围图像的任意像素为第四类像素;目标低动态范围图像亮度值获取模块,用于根据所述第一映射曲线和各所述第三类像素的优化亮度值进行第一映射,并根据所述第二映射曲线和各所述第四类像素的优化亮度值进行第二映射,获取所述目标低动态范围图像各像素的亮度值;目标低动态范围图像获取单元,用于根据所述目标低动态范围图像各像素的亮度值,获取目标低动态范围图像。
可选的,所述图像获取单元包括:图像捕捉模块,用于捕捉2帧以上的低动态范围图像;图像合成模块,用于将所述2帧以上的低动态范围图像合成为1帧的所述高动态范围图像。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
本发明的技术方案提供的高动态范围图像的图像处理方法中,第一最大亮度值是所述高动态范围图像能够达到的最大亮度值,第一预设亮度值用于将高动态范围图像中较亮和较暗的像素进行区分。由于根据所述第一预设亮度值,在所述高动态范围图像的像素中获取所述第一类像素和所述第二类像素,因此,对高动态范围图像中每个像素进行了区分,获取了较暗的第一类像素和较亮的第二类像素。在此基础上,由于根据各所述第一类像素获取第一映射曲线,并且,根据各所述第二类像素获取与所述第一映射曲线连续的第二映射曲线,因此,能够根据较暗的像素、以及较亮的像素分别获取针对性更强的第一映射曲线、第二映射曲线。从而,一方面,针对较暗的像素,减少高动态范围图像中暗部细节的丢失。另一方面,对高动态范围图像中的亮部(针对较亮的像素)进行较大的压缩,以减少压缩图像的数据处理时的计算量。由此,在压缩后的目标低动态范围图像能够显示出高动态范围图像中丰富的细节的同时,还降低了图像处理对于硬件设备的要求。
进一步,由于第二单位亮度范围SZ2大于第一单位亮度范围SZ1,使得针对较暗的像素,在进行第一直方图统计时,统计精度更高,而针对较亮的像素,在进行第二直方图统计时,统计精度较低。因此,一方面,第一统计结果中保留了更多的暗部细节,从而,在进行第一映射后,实现减少高动态范围图像中暗部细节的丢失。另一方面,第二统计结果中减少了亮部细节的保留,从而,实现对高动态范围图像中的亮部(针对较亮的像素)进行较大的压缩,以减少压缩图像的数据处理时的计算量。
附图说明
图1是本发明一实施例的高动态范围图像的图像处理方法的流程示意图;
图2是本发明一实施例的获取高动态范围图像的方法的流程示意图;
图3是本发明一实施例的获取第一类像素和第二类像素的方法的流程示意图;
图4是本发明一实施例的获取第一映射曲线的方法的流程示意图;
图5是本发明一实施例的一个具体应用场合下的第一统计结果的示意图;
图6是本发明一实施例的根据第一统计结果获取第一映射曲线的方法的流程示意图;
图7是本发明一实施例的获取第一累积直方图曲线的方法的流程示意图;
图8是本发明一实施例的一个具体应用场合下的第一累积直方图曲线的示意图;
图9是本发明一实施例的一个具体应用场合下的第一映射曲线的示意图;
图10是本发明一实施例的获取第二映射曲线的方法的流程示意图;
图11是本发明一实施例的根据第二统计结果获取第二映射曲线的方法的流程示意图;
图12是本发明一实施例的获取第二累积直方图曲线的方法的流程示意图;
图13是本发明一实施例的一个具体应用场合下的总映射曲线;
图14是本发明一实施例的对高动态范围图像进行映射以获取目标低动态范围图像的方法的流程示意图;
图15至图24是本发明一实施例的高动态范围图像的图像处理装置的结构示意图;
图25是本发明又一实施例的高动态范围图像的图像处理方法的流程示意图;
图26是本发明又一实施例的平滑处理的方法的流程示意图;
图27是本发明又一实施例的获取每个像素的优化亮度值的方法的流程示意图;
图28是本发明又一实施例的获取调节参数a的方法的流程示意图;
图29是本发明又一实施例的对所述高动态范围图像进行映射以获取目标低动态范围图像的方法的流程示意图;
图30是本发明又一实施例的获取第三类像素和第四类像素的方法的流程示意图;
图31至图36是本发明又一实施例的高动态范围图像的图像处理装置的结构示意图。
具体实施方式
如背景技术所述,目前的一些高动态范围图像传感器已经能够记录多达5至6个数量级的动态范围。在对如此高动态范围的图像进行直方图统计时,如果直方图的间隔太小,则数据处理过程中的计算量庞大,对设备的硬件要求很高,对于要求实时性且计算能力较弱的数码相机和摄像机等便携设备,难以满足硬件要求;如果直方图的间隔太大,则压缩后的低动态范围图像将丢失大量暗部细节,造成显示的图像无法保留原本高动态范围图像中丰富的细节。
为解决上述技术问题,本发明的技术方案提供一种高动态范围图像的图像处理方法,在所述高动态范围图像的像素中获取所述第一类像素和所述第二类像素,并且,根据各所述第一类像素获取第一映射曲线,并且,根据各所述第二类像素获取与所述第一映射曲线连续的第二映射曲线。从而,根据第一映射曲线和第二映射曲线对高动态范围图像进行压缩时,一方面,针对较暗的像素,减少高动态范围图像中暗部细节的丢失。另一方面,对高动态范围图像中的亮部(针对较亮的像素)进行较大的压缩,以减少压缩图像的数据处理时的计算量。由此,在压缩后的目标低动态范围图像能够显示出高动态范围图像中丰富的细节的同时,还降低了图像处理对于硬件设备的要求。
为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明一实施例的高动态范围图像的图像处理方法的流程示意图。
请参考图1,所述高动态范围图像的图像处理方法包括:
步骤S100,获取高动态范围图像;
步骤S200,获取所述高动态范围图像中每个像素的亮度值;
步骤S300,获取与所述高动态范围图像对应的第一最大亮度值和第一预设亮度值,所述第一预设亮度值小于所述第一最大亮度值,所述第一最大亮度值大于或等于所述高动态范围图像中任意像素的亮度值;
步骤S400,根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第一类像素和第二类像素,包括:当任意高动态范围图像的像素的亮度值小于所述第一预设亮度值时,所述高动态范围图像的像素为第一类像素;当任意高动态范围图像的像素的亮度值大于或等于所述第一预设亮度值时,所述高动态范围图像的像素为第二类像素;
步骤S500,获取与目标低动态范围图像对应的第二最大亮度值ymax和第二预设亮度值segy,且segy≤ymax
步骤S600,根据各所述第一类像素获取第一映射曲线;
步骤S700,根据各所述第二类像素获取第二映射曲线,且所述第二映射曲线与所述第一映射曲线连续;
步骤S800,根据所述第一映射曲线和第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像。
以下结合附图进行详细说明。
首先,获取高动态范围(High-Dynamic Range,HDR)图像。
请参考图2,图2是本发明一实施例的获取高动态范围图像的方法的流程示意图,针对步骤S100,所述获取高动态范围图像的方法包括:
步骤S110,捕捉2帧以上的低动态范围(Low-Dynamic Range,LDR)图像;
步骤S130,将所述2帧以上的低动态范围图像合成为1帧的高动态范围图像。
本领域技术人员可以根据需要,灵活选择捕捉的低动态范围图像的帧数、以及每个低动态范围图像的曝光时间。
优选的,针对步骤S110,连续捕捉2帧以上曝光时间不同的低动态范围图像。通过连续捕捉2帧以上曝光时间不同的低动态范围图像,能够合成亮部和暗部的细节信息更丰富的高动态范围图像,从而,有助于更好的提高压缩后的低动态范围图像的显示效果。
优选的,在步骤S110和步骤S130之间,针对步骤S100,所述获取高动态范围图像的方法还包括:步骤S120,对所述2帧以上的低动态范围图像进行第一预处理。
具体的,所述第一预处理包括对所述2帧以上的低动态范围图像进行降噪、消除暗电流等。从而,能够合成质量更好的高动态范围图像。
在一个具体实施场合中,图像传感器连续捕捉亮度数据为10bit的2帧低动态范围图像,并且,将所述2帧低动态范围图像存入缓存。所述2帧低动态范围图像的曝光时间不同。具体的,1帧低动态范围图像的曝光时间为18毫秒(长帧曝光),另1帧低动态范围图像的曝光时间为1.125毫秒(短帧曝光),二者之间的曝光时间比为16。接着,对所述2帧低动态范围图像进行降噪、消除暗电流等(第一预处理),并且,在所述降噪、消除暗电流后获取14bit的高动态范围图像。
需要理解的是,所述高动态范围图像的类型根据捕捉低动态范围图像的图像传感器的类型确定。例如,当所述2帧以上的低动态范围图像由黑白图像传感器捕捉时,合成的高动态范围图像为黑白的高动态范围图像;当所述2帧以上的低动态范围图像由彩色图像传感器捕捉时,合成的高动态范围图像为彩色的高动态范围像。
请继续参考图1,获取所述高动态范围图像中每个像素的亮度值。
在本实施例中,针对步骤S200,获取所述高动态范围图像中每个像素的亮度值的方法包括:
当高动态范围图像为黑白的高动态范围图像时,执行:步骤S210,根据所述黑白的高动态范围图像,直接获取高动态范围图像中每个像素的像素值作为像素的亮度值;
当高动态范围图像为彩色的高动态范围图像时,执行:步骤S220,对所述彩色的高动态范围图像进行去马赛克处理;步骤S230,对所述马赛克处理后的彩色的高动态范围图像进行色彩空间转换,获取高动态范围图像中每个像素的亮度分量,所述像素的亮度分量为所述像素的亮度值。
具体而言,由于黑白图像中,每个像素所对应的数据,是直接与每个像素的亮度值对应的,因此,当高动态范围图像为黑白的高动态范围图像时,能够根据所述黑白的高动态范围图像的像素值,直接获取每个像素的亮度值。与此同时,当高动态范围图像是彩色的情况下,需要对所述高动态范围图像进行去马赛克处理,以获取具有完整RGB通道的图像数据,并且,对具有完整RGB通道的图像数据进行色彩空间转换,以获取到每个像素对应的亮度分量。
需要理解的是,本领域技术人员可以根据需要选择对所述高动态范围图像进行去马赛克处理的方法,因此,对所述高动态范围图像进行去马赛克处理的方法不应成为限制本发明的保护范围的特征。
需要理解的是,本领域技术人员可以根据需要选择色彩空间转换的方法。例如,进行YUV色彩空间、HSI色彩空间或CIELab色彩空间等色彩空间的转换,以获取相应的Y分量(YUV色彩空间)、I分量(HSI色彩空间)或L分量(CIELab色彩空间)等亮度分量。因此,色彩空间转换的方法不应成为限制本发明的保护范围的特征。
请继续参考图1,获取与所述高动态范围图像对应的第一最大亮度值和第一预设亮度值,所述第一预设亮度值小于所述第一最大亮度值,所述第一最大亮度值大于或等于所述高动态范围图像中任意像素的亮度值。
所述第一最大亮度值是指:所述高动态范围图像的像素的亮度的最大可能取值。即:高动态范围图像的像素能够达到的最大亮度值。因此,高动态范围图像的任意像素的亮度值在所述第一最大亮度值以下。
在本实施例中,获取与所述高动态范围图像对应的第一最大亮度值的方法包括:根据所述高动态范围图像的比特位深(bit)b1,获取第一最大亮度值xmax=2b1-1。
例如,对于14bit的高动态范围图像,b1=14。因此,所述高动态范围图像的第一最大亮度值xmax=214-1=16383。由此,所述高动态范围图像的亮度值范围是0~16383,同时,在所述高动态范围图像中,任意像素的亮度值大于或等于0,并且,任意像素的亮度值小于或等于16383。
所述第一预设亮度值用于将高动态范围图像中较亮和较暗的像素进行区分。即:第一预设亮度值用于对高动态范围图像的亮度范围进行划分。由此,第一预设亮度值小于所述第一最大亮度值。
具体而言,所述第一预设亮度是经验参数。所述第一预设亮度越小,后续形成的目标低动态范围图像越偏重于更好地显示高动态范围图像中的暗部细节、更大地压缩高动态范围图像中的亮部细节。通常使所述第一预设亮度为2的幂次方,以便于设备的数据处理、计算。
优选的,(xmax-segx)>segx,所述segx是指所述第一预设亮度值。由于(xmax-segx)<segx,因此,可以对暗光细节(暗部细节)进行更精细的第一直方图统计,获得精度更高的第一映射曲线,从而,使最终获得的目标低动态范围图像的暗光细节更为丰富和层次分明;同时,可以对亮光轮廓(亮部轮廓)划分更大的第二单位亮度范围从而节省计算资源。
请继续参考图1,根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第一类像素和第二类像素,包括:当任意高动态范围图像的像素的亮度值小于所述第一预设亮度值时,所述高动态范围图像的像素为第一类像素;当任意高动态范围图像的像素的亮度值大于或等于所述第一预设亮度值时,所述高动态范围图像的像素为第二类像素。
具体的,所述第一类像素是指在所述高动态范围图像的像素中,亮度值小于所述第一预设亮度值的若干像素,即:所述第一类像素是所述高动态范围图像中较暗的像素。所述第二类像素是指在所述高动态范围图像的像素中,亮度值大于或等于所述第一预设亮度值的若干像素,即:所述第二类像素是所述高动态范围图像中较亮的像素。
通过在所述高动态范围图像的像素中,分别获取第一类像素和第二类像素,对所述高动态范围图像的像素进行了区分。
请参考图3,图3是本发明一实施例的获取第一类像素和第二类像素的方法的流程示意图,针对步骤S400,根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第一类像素和第二类像素的方法包括:
步骤S410,对高动态范围图像的每个像素进行抽样;
步骤S420,判断像素p的亮度值xhdr(p)是否小于第一预设亮度值segx,所述像素p是所述高动态范围图像的任意像素;
当高动态范围图像的任意像素的亮度值小于所述第一预设亮度值时,即,xhdr(p)<segx时,执行步骤S421,将所述高动态范围图像的任意像素作为第一类像素;
当高动态范围图像的任意像素的亮度值大于或等于所述第一预设亮度值时,即,xhdr(p)≥segx时,执行步骤S422,将所述高动态范围图像的任意像素作为第二类像素。
由此,将高动态范围图像的任意像素的亮度值、与第一预设亮度值进行比较,实现了第一类像素和第二类像素的获取。
需要理解的是,对高动态范围图像的每个像素进行抽样的方式可以包括逐像素抽样、隔行抽样、隔列抽样等抽样方式。因此,对高动态范围图像的每个像素进行抽样的方式不应成为限制本发明的保护范围的特征。
优选的,在执行步骤S421和步骤S422之后,针对步骤S400,根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第一类像素和第二类像素的方法还包括:
步骤S430,检测是否对高动态范围图像的全部像素进行了第一类像素和第二类像素的分类统计;
当检测到已对高动态范围图像的全部像素进行了第一类像素和第二类像素的分类统计时,执行步骤S600和步骤S700中的至少一者;
当检测到未对高动态范围图像的全部像素进行了第一类像素和第二类像素的分类统计时,继续执行步骤S410。
由此,更好的确保高动态范围图像的全部像素均得到分类,以继续进行后续的第一直方图统计、第二直方图统计步骤,从而,更好的提高了数据的准确性。
请继续参考图1,获取与目标低动态范围图像对应的第二最大亮度值ymax和第二预设亮度值segy,且segy≤ymax
所述目标低动态范围图像是指:通过对所述高动态范围图像进行压缩,获取的适于在显示器等设备上进行显示的低动态范围的图像。
所述第二最大亮度值ymax是指:所述目标低动态范围图像的像素的亮度的最大可能取值。即:目标低动态范围图像的像素能够达到的最大亮度值。因此,目标低动态范围图像的任意像素的亮度值在第二最大亮度值ymax以下。
在本实施例中,获取与所述目标低动态范围图像对应的第二最大亮度值的方法包括:根据所述目标低动态范围图像的比特位深b2,获取第二最大亮度值ymax=2b2-1。
例如,对于8bit的目标低动态范围图像,b2=8。因此,所述目标低动态范围图像的第二最大亮度值ymax=28-1=255。由此,所述目标低动态范围图像的亮度值范围是0~255,同时,在所述目标低动态范围图像中,任意像素的亮度值大于或等于0,并且,任意像素的亮度值小于或等于255。
所述第二预设亮度值segy用于对目标低动态范围图像的亮度范围进行划分,以此,在将高动态范围图像压缩为目标低动态范围图像时,为第一类像素、第二类像素进行针对性的亮度值范围(灰阶数量)的分配。
例如,在需要将高动态范围图像压缩为在亮度范围为0~255的目标低动态范围图像时,通过设置segy=180,第一类像素可以在压缩后获得180个灰阶用于显示或者进一步的图像处理。
需要理解的是,segy越大,映射后的目标低动态范围图像分配给第一类像素的灰阶越多,并且,分配给第二类像素的灰阶越少。相应的,segy越小,映射后的目标低动态范围图像分配给第一类像素的灰阶越少,并且,分配给第二类像素的灰阶越多。
在本实施例中,根据高动态范围图像和目标低动态范围图像获取所述第二预设亮度值segy
具体的,获取所述第二预设亮度值segy的方法包括:根据第一类像素的数量n1在所述高动态范围图像的像素的总数量N中所占的比例、以及所述第二最大亮度值ymax,获取第二预设亮度值
Figure BDA0003244204100000151
k是调节参数,floor表示对
Figure BDA0003244204100000152
向下取整数。
由此,所述第二预设亮度值segy能够根据高动态范围图像中,较亮的像素和较暗的像素之间的比例情况进行自适应调整,以提高压缩形成目标低动态范围图像时,对不同高动态范围图像的适应能力。
需要理解的是,k越大,映射后的目标低动态范围图像分配给第一类像素的灰阶越多,并且,分配给第二类像素的灰阶越少。相应的,k越小,映射后的目标低动态范围图像分配给第一类像素的灰阶越少,并且,分配给第二类像素的灰阶越多。从而,通过对调节参数k的调节,能够使目标低动态范围图像灵活的实现不同的图像显示效果。
所述0≤k≤2。优选的,0≤k≤1。
在其他实施例中,第二预设亮度值segy还可以是由本领域技术人员直接设置的经验参数。优选的,(ymax-segy)<segy。以此,为较暗的像素分配更多的灰阶,以更好的在目标低动态范围图像中实现暗部细节的保留。
请继续参考图1,根据各所述第一类像素获取第一映射曲线。
所述第一映射曲线用于对高动态范围图像中的第一类像素的亮度值进行映射。
具体而言,所述第一映射曲线代表第一类像素的亮度值、以及目标低动态范围图像的像素的亮度值之间的映射关系。通过第一映射曲线,对第一类像素的亮度值进行映射,以对高动态范围图像中的较暗的像素进行压缩,形成目标低动态范围图像中的像素。
请参考图4,图4是本发明一实施例的获取第一映射曲线的方法的流程示意图,针对步骤S600,根据各所述第一类像素获取第一映射曲线的方法包括:
步骤S610,提供第一直方图阶数hs1;
步骤S620,根据所述第一直方图阶数hs1对各所述第一类像素进行第一直方图统计,获取第一统计结果;
步骤S630,根据所述第一统计结果获取所述第一映射曲线。
所述第一直方图阶数hs1是用于进行第一直方图统计的阶数。
在本实施例中,所述第一直方图阶数hs1是经验参数。
具体而言,所述第一直方图阶数hs1根据实际的目标图像处理效果、可进行处理的数据大小等需求进行设置。
在本实施例中,所述第一统计结果是指:对全部第一类像素的亮度值进行第一直方图统计,所获取的第一直方图。
由于直接根据亮度值进行第一直方图统计,因此,对于计算精度要求低,有利于降低对于硬件的要求,从而,特别有利于需要实时输出的摄像机、数码相机等便携设备的应用。
在本实施例中,针对步骤S620,根据所述第一直方图阶数hs1对各所述第一类像素进行第一直方图统计,获取第一统计结果的方法包括:
步骤S621,根据第一预设亮度值segx和第一直方图阶数hs1,获取第一单位亮度范围
Figure BDA0003244204100000171
步骤S622,以第一单位亮度范围SZ1对0~segx进行划分,形成多个连续且不重合的第一亮度范围;
步骤S623,统计每个第一亮度范围对应的第一类像素的数量,以形成第一直方图。
为了便于理解,以一个具体应用场合为例进行说明,请参考图5,图5是本发明一实施例的一个具体应用场合下的第一统计结果的示意图。在该应用场合中,基于14bit的高动态范围图像(其大小为600行×800列),第一预设亮度值segx=1024,提供的第一直方图阶数hs1=64。由此,第一单位亮度范围
Figure BDA0003244204100000172
以第一单位亮度范围SZ1=16对0~1024的亮度范围进行划分,获取多个连续且不重合的第一亮度范围。
具体的,图5所示的第一直方图中,第1个竖条(第1阶)对应的是亮度值在[0,16)的第一亮度范围,第2个竖条(第2阶)对应的是亮度值在[16,31)的第一亮度范围。以此类推,每个竖条对应1个亮度值跨度是16的第一亮度范围,共64个竖条(64阶),即,竖条的总数为所述第一直方图阶数hs1=64阶。与此同时,每一个竖条的高度代表对应的第一亮度范围内的像素数量。具体而言,所述第1个竖条的高度为:第一类像素中,像素值大于或等于0,且像素值小于或等于15的像素的数量。所述第2个竖条的高度为:第一类像素中,像素值大于或等于16,且像素值小于或等于31的像素的数量。由此,对所有的第一类像素进行第一直方图统计,形成第一直方图(第一统计结果)。
需要说明的是,亮度值通常是整数,例如,第一亮度范围[0,16)是指0~15的整数的亮度值。
此外,由于第一类像素的亮度值小于第一预设亮度值segx,因此,图5所示的第一直方图中的最右侧的竖条(第64阶)对应的是亮度值在[1008,1024)的第一亮度范围。
优选的,在步骤S620和步骤S630之间,针对步骤S600,根据各所述第一类像素获取第一映射曲线的方法还包括:步骤S640,检测是否对全部第一类像素进行了第一直方图统计;当检测到已对全部第一类像素进行了第一直方图统计时,执行步骤S630;当检测到未对全部第一类像素进行了第一直方图统计时,继续执行步骤S620。
由此,更好的确保第一直方图统计的准确性。
请参考图6,图6是本发明一实施例的根据第一统计结果获取第一映射曲线的方法的流程示意图,针对步骤S630,根据所述第一统计结果获取所述第一映射曲线的方法包括:
步骤S631,根据所述第一统计结果,获取第一累积直方图曲线cdf1
步骤S632,根据所述第一累积直方图曲线cdf1,获取第一映射曲线。
所述第一累积直方图曲线cdf1是指:根据所述第一统计结果,进行累积直方图计算,所获取的对应的曲线。
请参考图7,图7是本发明一实施例的获取第一累积直方图曲线的方法的流程示意图,针对步骤S631,根据所述第一统计结果,获取第一累积直方图曲线cdf1的方法包括:
步骤S6311,对所述第一统计结果进行直方图调整;
步骤S6312,对进行直方图调整之后的第一统计结果进行累计直方图计算;
步骤S6313,在进行累计直方图计算之后,进行归一化处理,获取第一累积直方图曲线cdf1
在一个具体的应用场合下,在获取如图5所示的第一统计结果(第一直方图)之后,对图5所示的第一统计结果进行直方图调整。例如,提供第一单位亮度范围SZ1内的像素数量的限定数量limit1。在此基础上,在所述第一直方图中,去除各第一单位亮度范围SZ1内超出限定数量limit1的像素数量部分。接着,将所述超出限定数量limit1的像素数量部分的总量,平均增加至每个第一单位亮度范围SZ1内的像素数量。在进行所述直方图调整后,对调整之后的第一直方图进行累计直方图计算、归一化处理,获取第一累积直方图曲线cdf1(如图8所示)。
需要理解的是,本领域技术人员可以根据需要,选择对所述第一统计结果进行直方图调整、累计直方图计算、以及归一化处理的方法。因此,对所述第一统计结果进行直方图调整、累计直方图计算、以及归一化处理的具体方法不应成为限制本发明的保护范围的特征。
在本实施例中,根据所述第一累积直方图曲线cdf1,获取第一映射曲线的方法包括:根据所述第一累积直方图曲线cdf1和所述第二预设亮度值segy,获取第一映射曲线curve1=cdf1×segy
由于根据所述第一累积直方图曲线cdf1和所述第二预设亮度值segy,获取第一映射曲线curve1=cdf1×segy,因此,映射后的图像(目标低动态范围图像)分配给所述第一映射曲线curve1的亮度值范围是可调的。从而,通过增大对所述第一映射曲线curve1分配的亮度值范围,能够在第一映射后,进一步减少高动态范围图像中暗部细节的丢失,使得压缩后的目标低动态范围图像能够显示出更为丰富的细节。
在一个具体的应用场合下,在获取如图8所示的第一累积直方图曲线cdf1后,根据curve1=cdf1×segy,获取相应的第一映射曲线curve1(如图9所示)。
请继续参考图1,根据各所述第二类像素获取第二映射曲线,且所述第二映射曲线与第一映射曲线连续。
所述第二映射曲线用于对高动态范围图像中的第二类像素的亮度值进行映射。
具体而言,所述第二映射曲线代表第二类像素的亮度值、以及目标低动态范围图像的像素的亮度值之间的映射关系。通过第二映射曲线,对第二类像素的亮度值进行映射,以对高动态范围图像中的较亮的像素进行压缩,形成目标低动态范围图像中的像素。
与此同时,由于第一映射曲线和第二映射曲线连续,因此,结合第一映射曲线对第一类像素的亮度值的映射、以及第二映射曲线对第二类像素的亮度值的映射,能够对所述高动态范围图像中所有亮度范围的全部像素进行具有较强针对性的映射,实现对所述高动态范围图像的压缩,形成显示效果更好的目标低动态范围图像。
请参考图10,图10是本发明一实施例的获取第二映射曲线的方法的流程示意图,针对步骤S700,根据各所述第二类像素获取第二映射曲线的方法包括:
步骤S710,提供第二直方图阶数hs2;
步骤S720,根据所述第二直方图阶数hs2对各所述第二类像素进行第二直方图统计,获取第二统计结果;
步骤S730,根据所述第二统计结果获取所述第二映射曲线。
所述第二直方图阶数hs2是用于进行第二直方图统计的阶数。
在本实施例中,所述第二直方图阶数hs2是经验参数。
具体而言,所述第二直方图阶数hs2根据实际的目标图像处理效果、可进行处理的数据大小等需求进行设置。
在本实施例中,所述第二统计结果是指:对全部第二类像素的亮度值进行第二直方图统计,所获取的第二直方图。
由于直接根据亮度值进行第二直方图统计,因此,对于计算精度要求低,有利于降低对于硬件的要求,从而,特别有利于需要实时输出的摄像机、数码相机等便携设备的应用。
在本实施例中,针对步骤S720,根据所述第二直方图阶数hs2对各所述第二类像素进行第二直方图统计,获取第二统计结果的方法包括:
步骤S721,根据第一最大亮度值xmax、第一预设亮度值segx和第二直方图阶数hs2,获取第二单位亮度范围
Figure BDA0003244204100000201
步骤S722,以第二单位亮度范围SZ2对segx~xmax进行划分,形成多个连续且不重合的第二亮度范围;
步骤S723,统计每个第二亮度范围对应的第二类像素的数量,以形成第二直方图。
在本实施例中,具体形成第二直方图的方法,可参考前述形成第一直方图的方法,在此不再赘述。需要理解的是,由于以第一单位亮度范围SZ1对0~segx进行划分,形成多个连续且不重合的第一亮度范围,且以第二单位亮度范围SZ2对segx~xmax进行划分,形成多个连续且不重合的第二亮度范围,因此,多个连续且不重合的第二亮度范围中,所包括的最小亮度值,与多个连续且不重合的第一亮度范围中,所包括的最大亮度值连续。由此,通过第一直方图统计和第二直方图统计,实现对高动态范围图像中所有亮度值的像素的直方图统计。
在其他实施例中,针对步骤S720,根据所述第二直方图阶数hs2对各所述第二类像素进行第二直方图统计,获取第二统计结果的方法包括:根据第一最大亮度值xmax、第一预设亮度值segx和第二直方图阶数hs2,获取第二单位亮度范围
Figure BDA0003244204100000211
以第二单位亮度范围SZ2对0~xmax进行划分,形成多个连续且不重合的第二亮度范围;统计每个第二亮度范围对应的第二类像素的数量,以形成第二直方图。需要理解的是,由于第二类像素的数量在0~segx(亮度值范围)中的数量为0,因此,对最终的直方图统计结果不产生影响。
在本实施例中,第二单位亮度范围SZ2大于第一单位亮度范围SZ1。
由于第二单位亮度范围SZ2大于第一单位亮度范围SZ1,使得针对较暗的像素,在进行第一直方图统计时,统计精度更高,而针对较亮的像素,在进行第二直方图统计时,统计精度较低。因此,一方面,第一统计结果中保留了更多的暗部细节,从而,在进行第一映射后,实现减少高动态范围图像中暗部细节的丢失。另一方面,第二统计结果中减少了亮部细节的保留,从而,实现对高动态范围图像中的亮部(针对较亮的像素)进行较大的压缩,以减少压缩图像的数据处理时的计算量。
需要理解的是,亮部细节的轮廓明显,压缩亮部细节对于轮廓影响较小。因此,即使对高动态范围图像中的亮部(针对较亮的像素)进行较大的压缩,对形成的目标低动态范围图像所实现的显示效果影响较小。因此,通过第二单位亮度范围SZ2大于第一单位亮度范围SZ1,较好的兼顾了暗部细节的保留、亮部细节的保留以及数据处理时的计算量的减少。
优选的,在步骤S720和步骤S730之间,针对步骤S700,根据各所述第二类像素获取第二映射曲线的方法还包括:步骤S740,检测是否对全部第二类像素进行了第二直方图统计;当检测到已对全部第二类像素进行了第二直方图统计时,执行步骤S730;当检测到未对全部第二类像素进行了第二直方图统计时,继续执行步骤S720。
由此,更好的确保第二直方图统计的准确性。
请参考图11,图11是本发明一实施例的根据第二统计结果获取第二映射曲线的方法的流程示意图,针对步骤S730,根据所述第二统计结果获取所述第二映射曲线的方法包括:
步骤S731,根据所述第二统计结果,获取第二累积直方图曲线cdf2
步骤S732,根据所述第二累积直方图曲线cdf2,获取所述第二映射曲线。
所述第二累积直方图曲线cdf2是指:根据所述第二统计结果,进行累积直方图计算,所获取的对应的曲线。
请参考图12,图12是本发明一实施例的获取第二累积直方图曲线的方法的流程示意图,针对步骤S731,根据所述第二统计结果,获取第二累积直方图曲线cdf2的方法包括:
步骤S7311,对所述第二统计结果进行直方图调整;
步骤S7312,对进行直方图调整之后的第二统计结果进行累计直方图计算;
步骤S7313,在进行累计直方图计算之后,进行归一化处理,获取第二累积直方图曲线cdf2
在本实施例中,具体对所述第二统计结果进行直方图调整、累计直方图计算、以及归一化处理的方法,可参考前述对所述第一统计结果进行直方图调整、累计直方图计算、以及归一化处理的方法。在此不再赘述。
在本实施例中,根据所述第二累积直方图曲线cdf2,获取所述第二映射曲线的方法包括:根据第二累积直方图曲线cdf2、第二预设亮度值segy、以及第二最大亮度值ymax,获取第二映射曲线curve2=segy+(ymax-segy)×cdf2
由于第一映射曲线curve1=cdf1×segy,并且,第二映射曲线curve2=segy+(ymax-segy)×cdf2,因此,第一映射曲线与第二映射曲线之间连续。从而,通过第一映射曲线与第二映射曲线能够反映:高动态范围图像对应的完整亮度范围(0~xmax),与目标低动态范围图像对应的完整亮度范围(0~ymax)之间的映射关系。
在一个具体的应用场合下,请结合图9参考图13,图13是本发明一实施例的一个具体应用场合下的总映射曲线。在该应用场合中,基于14bit的高动态范围图像(其大小为600行×800列),提供的第二直方图阶数hs2=60。由此,第二单位亮度范围
Figure BDA0003244204100000231
接着,以第二单位亮度范围SZ2=256对1024~16383的亮度范围进行划分,获取多个连续且不重合的第二亮度范围。具体的,在第二直方图中,第1阶对应的是亮度值为[1024,1280)的第二亮度范围,第2阶对应的是亮度值为[1280,1536)的第二亮度范围。以此类推,第60阶对应的是亮度值为[16128,16384)的第二亮度范围。
需要理解的是,由于亮度值通常是整数,因此,亮度值为[16128,16384)的第二亮度范围,实质对应的是16128~16383的亮度值。
接着,统计每个第二亮度范围对应的第二类像素的数量,以形成第二直方图(第二统计结果)。在此基础上,根据所述第二直方图,获取第二累积直方图曲线cdf2,并且,根据所述第二累积直方图曲线cdf2,获取所述第二映射曲线curve2。由此,将连续的第一映射曲线curve1(如图9所示)和第二映射曲线curve2合并,能够获得对全部第一类像素、第二类像素进行映射的总映射曲线(如图13所示)。
所述hs1=64、SZ1=16,并且,hs2=60、SZ2=256。因此,相比于第二直方图,第一直方图统计时SZ1小,即第一直方图统计的精度较高,从而对暗部细节保留较多。与此同时,针对较亮的像素(第二类像素),第二直方图统计能够大量减少对硬件的需求。具体的,当第一直方图的统计需要64个存储单元以实现时,第二直方图的统计能够以60个存储单元实现。从而,不仅更好的保留暗部细节,同时,大量节省硬件资源,易于在手持设备、实时系统上实现。
需要说明的是,图13中的实线曲线为所述第一映射曲线curve1,虚线曲线为所述第二映射曲线curve2。此外,本实施例中的第一映射曲线curve1、第二映射曲线curve2是由离散的点所构成的非平滑曲线。
请继续参考图1,根据所述第一映射曲线和第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像。
由于根据所述第一预设亮度值,在所述高动态范围图像的像素中获取所述第一类像素和所述第二类像素,因此,对高动态范围图像中每个像素进行了区分,获取了较暗的第一类像素和较亮的第二类像素。在此基础上,由于根据各所述第一类像素获取第一映射曲线,并且,根据各所述第二类像素获取与所述第一映射曲线连续的第二映射曲线,因此,能够根据较暗的像素、以及较亮的像素分别获取针对性更强的第一映射曲线、第二映射曲线。从而,一方面,针对较暗的像素,减少高动态范围图像中暗部细节的丢失。另一方面,对高动态范围图像中的亮部(针对较亮的像素)进行较大的压缩,以减少压缩图像的数据处理时的计算量。由此,在压缩后的目标低动态范围图像能够显示出高动态范围图像中丰富的细节的同时,还降低了图像处理对于硬件设备的要求。
请参考图14,图14是本发明一实施例的对高动态范围图像进行映射以获取目标低动态范围图像的方法的流程示意图,针对步骤800,根据所述第一映射曲线和第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像的方法包括:
步骤S810,根据所述第一映射曲线和各所述第一类像素的亮度值进行第一映射,并根据所述第二映射曲线和各所述第二类像素的亮度值进行第二映射,获取所述目标低动态范围图像各像素的亮度值;
步骤S820,根据所述目标低动态范围图像各像素的亮度值,获取目标低动态范围图像。
优选的,采用线性插值的方式,进行所述第一映射和第二映射。
具体而言,由于在第一映射曲线curve1上的点、第二映射曲线curve2上的点是离散的,因此,通过线性插值的方式进行所述第一映射和第二映射,能够在确保较为准确的根据第一映射曲线curve1、第二映射曲线curve2进行映射的同时,进一步减少映射时的数据计算量,从而,更好的降低了对于硬件设备的要求,有利于要求实时性且计算能力较弱的数码相机和摄像机等便携设备的运行流畅。
在其他实施例中,根据第一映射曲线curve1、第二映射曲线curve2获取相应的平滑曲线。接着,根据所述相应的平滑曲线,进行第一映射和第二映射。
在本实施例中,针对步骤S820,根据所述目标低动态范围图像各像素的亮度值,获取目标低动态范围图像的方法包括:
步骤S821,根据所述目标低动态范围图像各像素的亮度值,获取第一初始目标低动态范围图像;
当所述高动态范围图像为黑白的高动态范围图像时,执行步骤S822,对所述第一初始目标低动态范围图像进行后处理,形成目标低动态范围图像;
当所述高动态范围图像为彩色的高动态范围图像时,执行步骤S823,根据所述高动态范围图像、所述第一初始目标低动态范围图像,进行色彩空间转换步骤,形成第二初始目标低动态范围图像,所述第二初始目标低动态范围图像具有完整的R通道、G通道、B通道;
步骤S824,对所述第二初始目标低动态范围图像进行后处理,形成目标低动态范围图像。
需要理解的是,所述第一初始目标低动态范围图像是1个纯亮度图像。
通过所述后处理能够进一步提高输出的目标低动态范围图像的显示效果。
在本实施例中,所述后处理包括降噪处理、边缘增强处理等。
需要理解的是,本领域技术人员能够根据需求选择所述后处理的方法,因此,所述后处理的方法不应成为限制本发明的保护范围的特征。
图15至图24是本发明一实施例的高动态范围图像的图像处理装置的结构示意图。
相应的,本发明一实施例还提供一种采用上述图像处理方法的高动态范围图像的图像处理装置,请参考图15,图15是本发明一实施例的高动态范围图像的图像处理装置的整体结构示意图,所述高动态范围图像的图像处理装置包括:图像获取单元100,用于获取高动态范围图像;图像处理单元200,用于根据高动态范围图像获取目标低动态范围图像;图像输出单元300,用于输出所述目标低动态范围图像。
本领域技术人员应当理解,本实施例中提供的图像处理装置与图1至图14所示实施例中提供的图像处理方法,两者在具体的实现原理和逻辑上是相辅相成的。因此,本实施例中涉及的名词解释可以参考图1至图14所示实施例中的相关描述,在此不再赘述。
以下结合附图进行具体说明。
请参考图16,图16是本发明一实施例的图像获取单元的结构示意图,所述图像获取单元100包括:图像捕捉模块110,用于捕捉2帧以上的低动态范围图像;图像合成模块120,用于将所述2帧以上的低动态范围图像合成为1帧的高动态范围图像。
请结合图16参考图17,图17是本发明一实施例的图像捕捉模块的结构示意图,所述图像捕捉模块110包括:光学透镜111、图像传感器112、第一图像缓存模块113以及图像捕捉控制模块114。
具体的,所述图像捕捉控制模块114控制图像传感器112经光学透镜111连续捕捉所述2帧以上的低动态范围图像,并且,将所述2帧以上的低动态范围图像存入所述第一图像缓存模块113。
优选的,所述图像捕捉模块110还包括:第一图像预处理模块115,用于对所述2帧以上的低动态范围图像进行第一预处理。
具体的,所述图像捕捉控制模块114控制所述第一图像预处理模块115对所述2帧以上的低动态范围图像进行第一预处理,并且,将预处理后的2帧以上的低动态范围图像传输至所述图像合成模块120。
接着,所述图像合成模块120对预处理后的2帧以上的低动态范围图像合成为1帧的高动态范围图像。
在本实施例中,所述图像传感器112为彩色图像传感器。由此,图像合成模块120合成彩色的高动态范围图像。
在另一实施例中,图像传感器为黑白图像传感器。由此,图像合成模块合成黑白的高动态范围图像。
请参考图18,图18是本发明一实施例的图像处理单元的结构示意图,所述图像处理单元200包括:亮度提取模块210,用于获取所述高动态范围图像中每个像素的亮度值;图像压缩单元220,用于对高动态范围图像进行压缩。
请结合图18参考图19,图19是本发明一实施例的亮度提取模块的结构示意图,所述亮度提取模块210包括:去马赛克模块211,用于对所述彩色的高动态范围图像进行去马赛克处理;第一色彩空间转换模块212,用于对所述马赛克处理后的彩色的高动态范围图像进行色彩空间转换;亮度获取模块213,用于进行色彩空间转换后,获取高动态范围图像中每个像素的亮度分量,所述像素的亮度分量为所述像素的亮度值。
在另一实施例中,亮度提取模块,用于根据黑白的高动态范围图像的像素值,直接获取高动态范围图像中每个像素的亮度值。
请结合图18参考图20,图20是本发明一实施例的图像压缩单元的结构示意图,所述图像压缩单元220包括:第一预处理模块221,用于获取与所述高动态范围图像对应的第一最大亮度值和第一预设亮度值。
所述第一预设亮度值小于所述第一最大亮度值,所述第一最大亮度值大于或等于所述高动态范围图像中任意像素的亮度值。
具体的,第一预处理模块221根据所述高动态范围图像的比特位深(bit)b1,获取第一最大亮度值xmax=2b1-1。
具体的,本领域技术人员通过第一预处理模块221设定第一预设亮度值。
优选的,(xmax-segx)>segx,所述segx是指所述第一预设亮度值。
请继续参考图20,所述图像压缩单元220还包括:第一像素区分模块222,用于根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第一类像素和第二类像素,包括:当任意高动态范围图像的像素小于所述第一预设亮度值时,所述高动态范围图像的像素为第一类像素;当任意高动态范围图像的像素大于或等于所述第一预设亮度值时,所述高动态范围图像的像素为第二类像素。
在本实施例中,第一像素区分模块222包括:第一抽样模块,用于对高动态范围图像的每个像素进行抽样;第一判断模块,用于判断像素p的亮度值xhdr(p)是否小于第一预设亮度值segx,所述像素p是所述高动态范围图像的任意像素。
具体的,当高动态范围图像的任意像素的亮度值小于所述第一预设亮度值时,即,xhdr(p)<segx时,第一判断模块将所述高动态范围图像的任意像素作为第一类像素,并将判断结果传输至第一映射曲线获取单元224;当高动态范围图像的任意像素的亮度值大于或等于所述第一预设亮度值,即,xhdr(p)≥segx时,第一判断模块将所述高动态范围图像的任意像素作为第二类像素,并将判断结果传输至第二映射曲线获取单元225。
优选的,第一像素区分模块222还包括第一抽样检测模块,用于检测是否对高动态范围图像的全部像素进行了第一类像素和第二类像素的分类统计。
具体的,当第一抽样检测模块检测到已对高动态范围图像的全部像素进行了第一类像素和第二类像素的分类统计时,将第一检测结果传输至第一抽样模块,以结束对高动态范围图像的像素抽样;当第一抽样检测模块检测到未对高动态范围图像的全部像素进行了第一类像素和第二类像素的分类统计时,将第二检测结果传输至第一抽样模块,以使第一抽样模块继续对高动态范围图像的像素进行抽样。
请继续参考图20,所述图像压缩单元220还包括:第二预处理模块223,用于获取与目标低动态范围图像对应的第二最大亮度值ymax和第二预设亮度值segy,且segy≤ymax
具体的,第二预处理模块223根据目标低动态范围图像的比特位深b2,获取第二最大亮度值ymax=2b2-1。
此外,在本实施例中,第二预处理模块223自第一像素区分模块222获取第一类像素的数量n1,并且,根据第一类像素的数量n1在所述高动态范围图像的像素的总数量N中所占的比例、以及所述第二最大亮度值ymax,获取第二预设亮度值
Figure BDA0003244204100000281
k是调节参数,floor表示对
Figure BDA0003244204100000282
向下取整数。
所述0≤k≤2。优选的,0≤k≤1。
具体的,k可以由本领域技术人员在第二预设模块223中进行设置。
在一些具体的应用场景中,本领域技术人员在第二预设模块223中预设2个或多个数值不同的k。用户根据想要的图像效果,在2个或多个预设的k中进行选取,以获取相应的第二预设亮度值segy
在其他实施例中,第二预设亮度值segy还可以由本领域技术人员直接在第二预设模块中设置。优选的,(ymax-segy)<segy
请继续参考图20,所述图像压缩单元220还包括:第一映射曲线获取单元224,用于根据各所述第一类像素获取第一映射曲线。
请结合图20参考图21,图21是本发明一实施例的第一映射曲线获取单元的结构示意图,所述第一映射曲线获取单元224包括:第一直方图统计模块2241,用于提供第一直方图阶数hs1,并根据第一直方图阶数hs1对各所述第一类像素进行第一直方图统计,获取第一统计结果;第一映射曲线处理单元2242,用于根据所述第一统计结果获取所述第一映射曲线。
在本实施例中,第一直方图阶数hs1能够通过第一直方图统计模块2241进行设置。所述第一直方图统计模块2241根据第一预设亮度值segx和第一直方图阶数hs1,获取第一单位亮度范围
Figure BDA0003244204100000291
并且,以第一单位亮度范围SZ1对0~segx进行划分,形成多个连续且不重合的第一亮度范围。在此基础上,第一直方图统计模块2241统计每个第一亮度范围对应的第一类像素的数量,以形成第一直方图(第一统计结果)。
在本实施例中,所述第一映射曲线处理单元2242根据所述第一统计结果,获取第一累积直方图曲线cdf1,并且,根据所述第一累积直方图曲线cdf1,获取第一映射曲线。
具体的,所述第一映射曲线处理单元2242对所述第一统计结果进行直方图调整。接着,所述第一映射曲线处理单元2242对进行直方图调整之后的第一统计结果进行累计直方图计算,并且,在进行累计直方图计算之后,进行归一化处理,获取第一累积直方图曲线cdf1。在此基础上,第一映射曲线处理单元2242根据所述第一累积直方图曲线cdf1和所述第二预设亮度值segy,获取第一映射曲线curve1=cdf1×segy
请继续参考图20,所述图像压缩单元220还包括:第二映射曲线获取单元225,用于根据各所述第二类像素获取第二映射曲线,且所述第二映射曲线与所述第一映射曲线连续。
请结合图20参考图22,图22是本发明一实施例的第二映射曲线获取单元的结构示意图,所述第二映射曲线获取单元225包括:第二直方图统计模块2251,用于提供第二直方图阶数hs2,并根据所述第二直方图阶数hs2对各所述第二类像素进行第二直方图统计,获取第二统计结果;第二映射曲线处理单元2252,用于根据所述第二统计结果获取第二映射曲线。
在本实施例中,第二直方图阶数hs2能够通过第二直方图统计模块2251进行设置。所述第二直方图统计模块2251根据第一最大亮度值xmax、第一预设亮度值segx和第二直方图阶数hs2,获取第二单位亮度范围
Figure BDA0003244204100000301
并且,以第二单位亮度范围SZ2对segx~xmax进行划分,形成多个连续且不重合的第二亮度范围。在此基础上,第二直方图统计模块2251统计每个第二亮度范围对应的第二类像素的数量,以形成第二直方图(第二统计结果)。
在本实施例中,第二单位亮度范围SZ2大于第一单位亮度范围SZ1。
在本实施例中,所述第二映射曲线处理单元2252根据所述第二统计结果,获取第二累积直方图曲线cdf2,并且,根据所述第二累积直方图曲线cdf2,获取第二映射曲线。
具体的,所述第二映射曲线处理单元2252对所述第二统计结果进行直方图调整。接着,所述第二映射曲线处理单元2252对进行直方图调整之后的第二统计结果进行累计直方图计算,并且,在进行累计直方图计算之后,进行归一化处理,获取第二累积直方图曲线cdf2。在此基础上,第二映射曲线处理单元2252根据第二累积直方图曲线cdf2、第二预设亮度值segy、以及第二最大亮度值ymax,获取第二映射曲线curve2=segy+(ymax-segy)×cdf2
请继续参考图20,所述图像压缩单元220还包括:映射单元226,用于根据所述第一映射曲线和第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像。
请结合图20参考图23,图23是本发明一实施例的映射单元的结构示意图,所述映射单元226包括:目标低动态范围图像亮度值获取模块2261,用于根据第一映射曲线和各所述第一类像素的亮度值进行第一映射,并根据第二映射曲线和各所述第二类像素的亮度值进行第二映射,获取所述目标低动态范围图像各像素的亮度值;目标低动态范围图像获取单元2262,用于根据所述目标低动态范围图像各像素的亮度值,获取目标低动态范围图像。
请参考图23和图24,图24是本发明一实施例的目标低动态范围图像获取单元的结构示意图,所述目标低动态范围图像获取单元2262包括:亮度图像获取模块2262a,用于根据所述目标低动态范围图像各像素的亮度值,获取第一初始目标低动态范围图像;第二色彩空间转换模块2262b,用于根据所述高动态范围图像、所述第一初始目标低动态范围图像,进行色彩空间转换步骤,形成第二初始目标低动态范围图像,所述第二初始目标低动态范围图像具有完整的R通道、G通道、B通道;第二图像后处理单元2262c,用于对所述第二初始目标低动态范围图像进行后处理,形成目标低动态范围图像。
优选的,所述第二图像后处理单元2262c包括:第二后处理降噪模块,用于对所述第二初始目标低动态范围图像进行降噪处理;第二后处理边缘增强模块,用于对进行降噪处理后的第二初始目标低动态范围图像进行边缘增强处理。
在另一实施例中,高动态范围图像为黑白的高动态范围图像,目标低动态范围图像获取单元包括:亮度图像获取模块,用于根据所述目标低动态范围图像各像素的亮度值,获取第一初始目标低动态范围图像;第一图像后处理单元,用于对所述第一初始目标低动态范围图像进行后处理,形成目标低动态范围图像。
优选的,在另一实施例中,所述第一图像后处理单元包括:第一后处理降噪模块,用于对所述第一初始目标低动态范围图像进行降噪处理;第一后处理边缘增强模块,用于对进行降噪处理后的第一初始目标低动态范围图像进行边缘增强处理。
由此,图像输出单元300(如图5所示)将形成的目标低动态范围图像输出。
图25是本发明又一实施例的高动态范围图像的图像处理方法的流程示意图。
请参考图25,所述高动态范围图像的图像处理方法包括:
步骤S100,获取高动态范围图像;
步骤S200,获取所述高动态范围图像中每个像素的亮度值;
步骤S300,获取与所述高动态范围图像对应的第一最大亮度值和第一预设亮度值,所述第一预设亮度值小于所述第一最大亮度值,所述第一最大亮度值大于或等于所述高动态范围图像中任意像素的亮度值;
步骤S400,根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第一类像素和第二类像素,包括:当任意高动态范围图像的像素的亮度值小于所述第一预设亮度值时,所述高动态范围图像的像素为第一类像素;当任意高动态范围图像的像素的亮度值大于或等于所述第一预设亮度值时,所述高动态范围图像的像素为第二类像素;
步骤S500,获取与目标低动态范围图像对应的第二最大亮度值ymax和第二预设亮度值segy,且segy≤ymax
步骤S600,根据各所述第一类像素获取第一映射曲线;
步骤S700,根据各所述第二类像素获取第二映射曲线,且所述第二映射曲线与所述第一映射曲线连续;
步骤S900,根据预设区域范围,对所述高动态范围图像中每个像素的亮度值进行平滑处理,获取每个像素的平滑亮度值;
步骤S1000,根据每个像素的亮度值和平滑亮度值,获取每个像素的优化亮度值,包括:当所述高动态范围图像的任意像素的亮度值大于所述像素的平滑亮度值时,获取大于所述亮度值的优化亮度值,且所述优化亮度值小于或等于第一最大亮度值;当所述高动态范围图像的任意像素的亮度值小于所述像素的平滑亮度值时,获取小于所述亮度值的优化亮度值,且所述优化亮度值大于或等于0;
步骤S1100,根据所述第一映射曲线和第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像。
需要说明的是,本实施例中的步骤S100至步骤S700涉及的具体实施方法以及名词解释,可以参考图1至图14所示实施例中的相关描述,因此后续不再赘述。
以下结合附图对步骤S900至步骤S1100进行详细说明。
请继续参考图25,根据预设区域范围,对所述高动态范围图像中每个像素的亮度值进行平滑处理,获取每个像素的平滑亮度值。
由于根据预设区域范围,对所述高动态范围图像中每个像素的亮度值进行平滑处理,获取每个像素的平滑亮度值,因此,所述每个像素的平滑亮度值针对该像素周围的小区域获得,并且,所述平滑亮度值基于没有丢失细节信息的高动态范围图像获取。
请结合图25参考图26,图26是本发明又一实施例的平滑处理的方法的流程示意图,针对步骤S900,根据预设区域范围,对所述高动态范围图像中每个像素的亮度值进行平滑处理,获取每个像素的平滑亮度值的方法包括:
步骤S910,以所述高动态范围图像中的每个像素为所述预设区域范围的中心,在所述预设区域范围中获取每个像素周围的多个像素;
步骤S920,根据每个像素及每个像素周围的多个像素,对每个像素的亮度值进行滤波,所述滤波包括高斯滤波、中值滤波或双边滤波。
在本实施例中,所述预设区域范围是一个具有预设大小的滤波窗口。
需要理解的是,本领域技术人员能够根据实际需求选择滤波窗口的大小和形状。因此,选择滤波窗口的方法不应成为限制本发明的保护范围的特征。
在一个实际的应用场合中,预设3×3的滤波窗口,即所述滤波窗口包括3×3阵列排布的像素。接着,以所述滤波窗口对高动态范围图像中的每个像素的亮度值继续滤波。
为了便于理解,以高动态范围图像中的任意像素p,对以所述滤波窗口对高动态范围图像中的每个像素的亮度值继续滤波的方法进行说明。
具体的,将任意像素p作为所述3×3的滤波窗口的中心位置的像素,以定义所述3×3的滤波窗口的当前位置。并且,根据当前位置的滤波窗口中的全部像素,对所述任意像素p(当前位置的滤波窗口的中心位置的像素)的亮度值进行滤波,获取任意像素p的平滑亮度值Fx(p)。
需要说明的是,本实施例中对每个像素的亮度值进行的滤波,不能是起到锐化效果的滤波,例如,不能采用拉普拉斯算子的空间锐化滤波。
请继续参考图25,根据每个像素的亮度值和平滑亮度值,获取每个像素的优化亮度值,包括:当所述高动态范围图像的任意像素的亮度值大于所述像素的平滑亮度值时,获取大于所述亮度值的优化亮度值,且所述优化亮度值小于或等于第一最大亮度值;当所述高动态范围图像的任意像素的亮度值小于所述像素的平滑亮度值时,获取小于所述亮度值的优化亮度值,且所述优化亮度值大于或等于0。
由于根据每个像素的亮度值和平滑亮度值,获取每个像素的优化亮度值,并且,当一个像素的亮度值大于所述像素的平滑亮度值时,所述像素的优化亮度值大于所述像素的亮度值,当一个像素的亮度值小于所述像素的平滑亮度值时,所述像素的优化亮度值小于所述像素的亮度值,因此,一方面,所述每个像素的优化亮度值增强了该像素与周围像素亮度的对比度,使各像素能够亮的更亮、暗的更暗,另一方面,所述优化亮度值也是基于没有丢失细节信息的高动态范围图像获取。
请结合图25参考图27,图27是本发明又一实施例的获取每个像素的优化亮度值的方法的流程示意图,针对步骤S1000,根据每个像素的亮度值和平滑亮度值,获取每个像素的优化亮度值的方法包括:
步骤S1010,获取调节参数a,a>0;
步骤S1020,根据所述高动态范围图像的任意像素p的亮度值xhdr(p)、所述像素p的平滑亮度值Fx(p)、以及所述调节参数a,获取所述像素p的优化亮度值
Figure BDA0003244204100000341
并且,所述优化亮度值xtran(p)∈[0,xmax]。
由此,实现了获取增强对比度的优化亮度值。
为了便于理解,以任意像素p为例进行说明。
当像素p比周围(预设区域范围中)的像素更亮,则Fx(p)<xhdr(p)。由此,基于步骤S1010和步骤S1020所获取的xtran(p)>xhdr(p),从而,达到了使亮的像素变得更亮的对比度提升效果。
当像素p比周围(预设区域范围中)的像素更暗,则Fx(p)>xhdr(p)。由此,基于步骤S1010和步骤S1020所获取的xtran(p)<xhdr(p),从而,达到了使暗的像素变得更暗的对比度提升效果。
需要说明的是,所述调节参数a越小,高动态范围图像的局部对比度的提升程度越明显;所述调节参数a越大,高动态范围图像的局部对比度的提升程度越微弱。
请参考图28,图28是本发明又一实施例的获取调节参数a的方法的流程示意图,针对步骤S1010,获取调节参数a的方法包括:
步骤S1011,根据所述高动态范围图像的全部像素的亮度值,获取所述高动态范围图像的平均亮度值xdc;
步骤S1012,根据所述高动态范围图像的平均亮度值xdc,获取调节参数a=ku×xdc,ku是可调参数,ku>0。
因此,调节参数a能够根据高动态范围图像的平均亮度值xdc进行自适应的调整,从而,实际应用中,获取的优化亮度值xtran(p)对各种不同的高动态范围图像的适应性更好。
需要说明的是,所述可调参数ku越小,高动态范围图像的局部对比度的提升程度越明显;所述可调参数ku越大,高动态范围图像的局部对比度的提升程度越微弱。
在其他实施例中,调节参数a是根据实验确定的经验参数。
在本实施例中,针对步骤S1020,根据所述高动态范围图像的任意像素p的亮度值xhdr(p)、所述像素p的平滑亮度值Fx(p)、以及所述调节参数a,获取所述像素p的优化亮度值xtran(p)的还方法包括:
步骤S1021,对高动态范围图像的每个像素进行抽样;
步骤S1022,获取被抽样的像素的优化亮度值。
本实施例中步骤S1021的抽样方法,请参考图1至图14所示实施例中,步骤S410中的抽样方法,在此不再赘述。
优选的,步骤S1021和步骤S410合并执行。即,对同一抽样的像素进行步骤S420和步骤S1022。从而,有利于进一步简化步骤。
请结合图25参考图29,图29是本发明又一实施例的对所述高动态范围图像进行映射以获取目标低动态范围图像的方法的流程示意图,针对步骤S1100,根据所述第一映射曲线和第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像的方法包括:
步骤S1101,根据第一预设亮度值,在所述高动态范围图像的像素中获取第三类像素和第四类像素,包括:当高动态范围图像的任意像素的优化亮度值小于所述第一预设亮度值时,所述高动态范围图像的任意像素为第三类像素;当高动态范围图像的任意像素的优化亮度值大于或等于所述第一预设亮度值时,所述高动态范围图像的任意像素为第四类像素;
步骤S1102,根据所述第一映射曲线和各所述第三类像素的优化亮度值进行第一映射,并根据所述第二映射曲线和各所述第四类像素的优化亮度值进行第二映射,获取所述目标低动态范围图像各像素的亮度值;
步骤S1103,根据所述目标低动态范围图像各像素的亮度值,获取目标低动态范围图像。
由于根据预设区域范围,对所述高动态范围图像中每个像素的亮度值进行平滑处理,获取每个像素的平滑亮度值,接着,根据每个像素的亮度值和平滑亮度值,获取每个像素的优化亮度值,并且,根据每个像素的优化亮度值进行映射,因此,在获取目标低动态范围图像时,能够更好的保留和增强图像的局部细节。
具体而言,由于所述每个像素的优化亮度值增强了该像素与周围像素亮度的对比度,使各像素能够亮的更亮、暗的更暗,并且,所述优化亮度值也是基于没有丢失细节信息的高动态范围图像获取。因此,根据每个像素的优化亮度值进行映射后,能够使获取的目标低动态范围图像更好的保留和增强高动态范围图像中的局部细节。
请结合图29参考图30,图30是本发明又一实施例的获取第三类像素和第四类像素的方法的流程示意图,针对步骤S1101,根据第一预设亮度值,在高动态范围图像的像素中获取第三类像素和第四类像素的方法包括:
步骤S11011,判断高动态范围图像的任意像素p的优化亮度值xtran(p)是否小于第一预设亮度值segx
当高动态范围图像的任意像素的优化亮度值小于所述第一预设亮度值时,即,xtran(p)<segx时,执行步骤S11011a,将所述高动态范围图像的任意像素作为第三类像素;
当高动态范围图像的任意像素的优化亮度值大于或等于所述第一预设亮度值时,即,xtran(p)≥segx时,执行步骤S11011b,将所述高动态范围图像的任意像素作为第四类像素。
由此,将高动态范围图像的任意像素的优化亮度值、以及第一预设亮度值之间进行比较,实现了第三类像素和第四类像素的获取。
在本实施例中,具体根据所述第一映射曲线和各所述第三类像素的优化亮度值进行第一映射的方法,请参考图1至图14所示实施例中,根据第一映射曲线和各第一类像素的亮度值进行第一映射的方法。具体而言,本实施例中,将第三类像素的优化亮度值替代了图1至图14所示实施例中,第一类像素的亮度值,而进行了第一映射。
同样的,具体根据所述第二映射曲线和各所述第四类像素的优化亮度值进行第二映射的方法,请参考图1至图14所示实施例中,根据第二映射曲线和各第二类像素的亮度值进行第二映射的方法。具体而言,本实施例中,将第四类像素的优化亮度值替代了图1至图14所示实施例中,第二类像素的亮度值,而进行了第二映射。
优选的,步骤S1102和步骤S1103之间,针对步骤S1100,根据所述第一映射曲线和第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像的方法还包括:步骤S1104,检测是否对高动态范围图像的全部像素的优化亮度值进行了映射;当检测到已对全部像素的优化亮度值进行了映射时,执行步骤S1103;当检测到未对全部像素的优化亮度值进行了映射时,继续执行步骤S1102。
由此,更好的确保对所述高动态范围图像进行映射的准确性。
在本实施例中,针对步骤S1103,根据所述目标低动态范围图像各像素的亮度值,获取目标低动态范围图像的方法包括:
步骤S11031,根据所述目标低动态范围图像各像素的亮度值,获取第三初始目标低动态范围图像;
当所述高动态范围图像为黑白的高动态范围图像时,执行步骤S11031a,对所述第三初始目标低动态范围图像进行后处理,形成目标低动态范围图像;
当所述高动态范围图像为彩色的高动态范围图像时,执行步骤S11031b,根据所述高动态范围图像、所述第三初始目标低动态范围图像,进行色彩空间转换步骤,形成第四初始目标低动态范围图像,所述第四初始目标低动态范围图像具有完整的R通道、G通道、B通道;
步骤S11031c,对所述第四初始目标低动态范围图像进行后处理,形成目标低动态范围图像。
需要理解的是,所述第三初始目标低动态范围图像是1个纯亮度图像。
通过所述后处理能够进一步提高输出的目标低动态范围图像的显示效果。
在本实施例中,所述后处理包括降噪处理、边缘增强处理等。
需要理解的是,本领域技术人员能够根据需求选择所述后处理的方法,因此,所述后处理的方法不应成为限制本发明的保护范围的特征。
图31至图36是本发明又一实施例的高动态范围图像的图像处理装置的结构示意图。
相应的,本发明又一实施例还提供一种采用图25至图30中的图像处理方法的高动态范围图像的图像处理装置,请参考图31,图31是本发明又一实施例的高动态范围图像的图像处理装置的整体结构示意图,所述高动态范围图像的图像处理装置包括:图像获取单元100,用于获取高动态范围图像;图像处理单元400,用于根据高动态范围图像获取目标低动态范围图像;图像输出单元300,用于输出所述目标低动态范围图像。
本领域技术人员应当理解,本实施例中提供的图像处理装置与图25至图30所示实施例中提供的图像处理方法,两者在具体的实现原理和逻辑上是相辅相成的。因此,本实施例中涉及的名词解释可以参考图25至图30所示实施例中的相关描述,在此不再赘述。
需要说明的是,本实施例中的图像获取单元100与图像输出单元300与图15至图24所示实施例中的图像获取单元100与图像输出单元300相同,在此不再赘述。
以下结合附图对图像处理单元400进行具体说明。
请参考图32,图32是本发明又一实施例的图像处理单元的结构示意图,所述图像处理单元400包括:亮度提取模块210,用于获取所述高动态范围图像中每个像素的亮度值;图像压缩单元420,用于对高动态范围图像进行压缩。
需要说明的是,本实施例中的亮度提取模块210与图15至图24所示实施例中的亮度提取模块210相同,在此不再赘述。
请参考图33,图33是本发明又一实施例的图像压缩单元的结构示意图,所述图像压缩单元420包括:第一预处理模块221,用于获取与高动态范围图像对应的第一最大亮度值和第一预设亮度值;第一像素区分模块222,用于根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第一类像素和第二类像素;第二预处理模块223,用于获取与目标低动态范围图像对应的第二最大亮度值ymax和第二预设亮度值segy,且segy≤ymax;第一映射曲线获取单元224,用于根据各所述第一类像素获取第一映射曲线;第二映射曲线获取单元225,用于根据各所述第二类像素获取第二映射曲线,且所述第二映射曲线与所述第一映射曲线连续;局部像素变换单元426,用于获取高动态范围图像中每个像素的优化亮度值;映射单元427,用于根据所述第一映射曲线和第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像。
需要说明的是,本实施例中的第一预处理模块221、第一像素区分模块222、第二预处理模块223、第一映射曲线获取单元224、第二映射曲线获取单元225,与图15至图24所示实施例中的第一预处理模块221、第一像素区分模块222、第二预处理模块223、第一映射曲线获取单元224、第二映射曲线获取单元225相同,在此不再赘述。
请参考图34,图34是本发明又一实施例的局部像素变换单元的结构示意图,所述局部像素变换单元426包括:平滑处理单元4261,用于根据预设区域范围,对所述高动态范围图像中每个像素的亮度值进行平滑处理,获取每个像素的平滑亮度值。
在本实施例中,所述平滑处理单元4261以所述高动态范围图像中的每个像素为所述预设区域范围的中心,在所述预设区域范围中获取每个像素周围的多个像素,并且,根据每个像素及每个像素周围的多个像素,对每个像素的亮度值进行滤波,所述滤波包括高斯滤波、中值滤波或双边滤波。
请继续参考图34,所述局部像素变换单元426还包括:亮度值优化单元4262,用于根据每个像素的亮度值和平滑亮度值,获取每个像素的优化亮度值,包括:当所述高动态范围图像的任意像素的亮度值大于所述像素的平滑亮度值时,获取大于所述亮度值的优化亮度值,且所述优化亮度值小于或等于第一最大亮度值;当所述高动态范围图像的任意像素的亮度值小于所述像素的平滑亮度值时,获取小于所述亮度值的优化亮度值,且所述优化亮度值大于或等于0。
在本实施例中,所述局部像素变换单元426获取大于0的调节参数a。并且,所述局部像素变换单元426根据所述高动态范围图像的任意像素p的亮度值xhdr(p)、所述像素p的平滑亮度值Fx(p)、以及所述调节参数a,获取所述像素p的优化亮度值
Figure BDA0003244204100000401
并且,所述优化亮度值xtran(p)∈[0,xmax]。
在本实施例中,所述局部像素变换单元426还根据所述高动态范围图像的全部像素的亮度值,获取所述高动态范围图像的平均亮度值xdc,并且,根据所述高动态范围图像的平均亮度值xdc,获取调节参数a=ku×xdc,ku是可调参数,ku>0。
在其他实施例中,直接于局部像素变换单元426设置调节参数a。
请参考图35,图35是本发明又一实施例的映射单元的结构示意图,所述映射单元427包括:第二像素区分模块4271,用于根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第三类像素和第四类像素,包括:当高动态范围图像的任意像素的优化亮度值小于所述第一预设亮度值时,所述高动态范围图像的任意像素为第三类像素;当高动态范围图像的任意像素的优化亮度值大于或等于所述第一预设亮度值时,所述高动态范围图像的任意像素为第四类像素。
在本实施例中,所述第二像素区分模块4271包括:第二判断模块,用于判断高动态范围图像的任意像素p的优化亮度值xtran(p)是否小于第一预设亮度值segx
具体的,当高动态范围图像的任意像素的优化亮度值小于所述第一预设亮度值时,即,xtran(p)<segx时,第二判断模块将所述高动态范围图像的任意像素作为第三类像素;当高动态范围图像的任意像素的优化亮度值大于或等于所述第一预设亮度值时,即,xtran(p)≥segx时,第二判断模块将所述高动态范围图像的任意像素作为第四类像素。
请继续参考图35,所述映射单元427还包括:目标低动态范围图像亮度值获取模块4272,用于根据所述第一映射曲线和各所述第三类像素的优化亮度值进行第一映射,并根据所述第二映射曲线和各所述第四类像素的优化亮度值进行第二映射,获取所述目标低动态范围图像各像素的亮度值。
优选的,第二像素区分模块4271还包括第二抽样检测模块,用于检测是否对高动态范围图像的全部像素的优化亮度值进行了映射。
具体的,当第二抽样检测模块检测到已对高动态范围图像的全部像素的优化亮度值进行了映射时,将第三检测结果传输至目标低动态范围图像亮度值获取模块4272,以结束第一映射和第二映射;当第二抽样检测模块检测到未对高动态范围图像的全部像素的优化亮度值进行了映射时,将第四检测结果传输至目标低动态范围图像亮度值获取模块4272,以继续第一映射和第二映射中的至少一者。
请继续参考图35,所述映射单元427还包括:目标低动态范围图像获取单元4273,用于根据所述目标低动态范围图像各像素的亮度值,获取目标低动态范围图像。
请继续参考图35和图36,图36是本发明又一实施例的目标低动态范围图像获取单元的结构示意图,所述目标低动态范围图像获取单元4273包括:亮度图像获取模块4273a,用于根据所述目标低动态范围图像各像素的亮度值,获取第三初始目标低动态范围图像;第三色彩空间转换模块4273b,用于根据所述高动态范围图像、所述第三初始目标低动态范围图像,进行色彩空间转换步骤,形成第四初始目标低动态范围图像,所述第四初始目标低动态范围图像具有完整的R通道、G通道、B通道;第三图像后处理单元4273c,用于对所述第四初始目标低动态范围图像进行后处理,形成目标低动态范围图像。
优选的,所述第三图像后处理单元4273c包括:第三后处理降噪模块,用于对所述第四初始目标低动态范围图像进行降噪处理;第三后处理边缘增强模块,用于对进行降噪处理后的第四初始目标低动态范围图像进行边缘增强处理。
在其他实施例中,高动态范围图像为黑白的高动态范围图像,目标低动态范围图像获取单元包括:亮度图像获取模块,用于根据所述目标低动态范围图像各像素的亮度值,获取第三初始目标低动态范围图像;第四图像后处理单元,用于对所述第三初始目标低动态范围图像进行后处理,形成目标低动态范围图像。优选的,所述第四图像后处理单元包括:第四后处理降噪模块,用于对所述第三初始目标低动态范围图像进行降噪处理;第四后处理边缘增强模块,用于对进行降噪处理后的第三初始目标低动态范围图像进行边缘增强处理。
由此,图像输出单元300(如图31所示)将形成的目标低动态范围图像输出。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (23)

1.一种高动态范围图像的图像处理方法,其特征在于,包括:
获取高动态范围图像;
获取所述高动态范围图像中每个像素的亮度值;
获取与所述高动态范围图像对应的第一最大亮度值和第一预设亮度值,所述第一预设亮度值小于所述第一最大亮度值,所述第一最大亮度值大于或等于所述高动态范围图像中任意像素的亮度值;
根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第一类像素和第二类像素,包括:当高动态范围图像的任意像素的亮度值小于所述第一预设亮度值时,所述高动态范围图像的任意像素为第一类像素;当高动态范围图像的任意像素的亮度值大于或等于所述第一预设亮度值时,所述高动态范围图像的任意像素为第二类像素;
根据各所述第一类像素获取第一映射曲线;
根据各所述第二类像素获取第二映射曲线,且所述第二映射曲线与所述第一映射曲线连续;
根据所述第一映射曲线和第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像。
2.如权利要求1所述的高动态范围图像的图像处理方法,其特征在于,根据各所述第一类像素获取第一映射曲线的方法包括:提供第一直方图阶数hs1;根据所述第一直方图阶数hs1对各所述第一类像素进行第一直方图统计,获取第一统计结果;根据所述第一统计结果获取所述第一映射曲线;根据各所述第二类像素获取第二映射曲线的方法包括:提供第二直方图阶数hs2,并且,第二单位亮度范围SZ2大于第一单位亮度范围SZ1,所述第一单位亮度范围
Figure FDA0003244204090000011
所述第二单位亮度范围
Figure FDA0003244204090000012
所述xmax是所述第一最大亮度值,所述segx是所述第一预设亮度值;根据所述第二直方图阶数hs2对各所述第二类像素进行第二直方图统计,获取第二统计结果;根据所述第二统计结果获取所述第二映射曲线。
3.如权利要求2所述的高动态范围图像的图像处理方法,其特征在于,根据所述第一统计结果获取所述第一映射曲线的方法包括:根据所述第一统计结果,获取第一累积直方图曲线cdf1;根据所述第一累积直方图曲线cdf1,获取第一映射曲线;根据所述第二统计结果获取所述第二映射曲线的方法包括:根据所述第二统计结果,获取第二累积直方图曲线cdf2;根据所述第二累积直方图曲线cdf2,获取所述第二映射曲线。
4.如权利要求3所述的高动态范围图像的图像处理方法,其特征在于,还包括:在获取第一映射曲线和第二映射曲线之前,获取与所述目标低动态范围图像对应的第二最大亮度值ymax和第二预设亮度值segy,且segy≤ymax
5.如权利要求4所述的高动态范围图像的图像处理方法,其特征在于,根据所述第一累积直方图曲线cdf1,获取第一映射曲线的方法包括:根据所述第一累积直方图曲线cdf1和所述第二预设亮度值segy,获取第一映射曲线curve1=cdf1×segy
6.如权利要求5所述的高动态范围图像的图像处理方法,其特征在于,根据所述第二累积直方图曲线cdf2,获取所述第二映射曲线的方法包括:根据所述第二累积直方图曲线cdf2、第二预设亮度值segy、以及第二最大亮度值ymax,获取第二映射曲线curve2=segy+(ymax-segy)×cdf2
7.如权利要求4所述的高动态范围图像的图像处理方法,其特征在于,(ymax-segy)<segy
8.如权利要求4所述的高动态范围图像的图像处理方法,其特征在于,获取与所述目标低动态范围图像对应的第二最大亮度值的方法包括:根据所述目标低动态范围图像的比特位深b2,获取第二最大亮度值ymax=2b2-1。
9.如权利要求4所述的高动态范围图像的图像处理方法,其特征在于,获取所述第二预设亮度值的方法包括:根据第一类像素的数量n1在所述高动态范围图像的像素的总数量N中所占的比例、以及所述第二最大亮度值ymax,获取第二预设亮度值
Figure FDA0003244204090000021
k是调节参数,0≤k≤2,floor表示对
Figure FDA0003244204090000022
向下取整数。
10.如权利要求1所述的高动态范围图像的图像处理方法,其特征在于,获取与所述高动态范围图像对应的第一最大亮度值的方法包括:根据所述高动态范围图像的比特位深b1,获取第一最大亮度值xmax=2b1-1。
11.如权利要求1所述的高动态范围图像的图像处理方法,其特征在于,(xmax-segx)>segx,所述xmax是所述第一最大亮度值,所述segx是所述第一预设亮度值。
12.如权利要求1所述的高动态范围图像的图像处理方法,其特征在于,根据所述第一映射曲线和所述第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像的方法包括:根据所述第一映射曲线和各所述第一类像素的亮度值进行第一映射,并根据所述第二映射曲线和各所述第二类像素的亮度值进行第二映射,获取所述目标低动态范围图像各像素的亮度值;根据所述目标低动态范围图像各像素的亮度值,获取目标低动态范围图像。
13.如权利要求1所述的高动态范围图像的图像处理方法,其特征在于,还包括:根据预设区域范围,对所述高动态范围图像中每个像素的亮度值进行平滑处理,获取每个像素的平滑亮度值;根据每个像素的亮度值和平滑亮度值,获取每个像素的优化亮度值,包括:当所述高动态范围图像的任意像素的亮度值大于所述像素的平滑亮度值时,获取大于所述亮度值的优化亮度值,且所述优化亮度值小于或等于第一最大亮度值;当所述高动态范围图像的任意像素的亮度值小于所述像素的平滑亮度值时,获取小于所述亮度值的优化亮度值,且所述优化亮度值大于或等于0。
14.如权利要求13所述的高动态范围图像的图像处理方法,其特征在于,所述平滑处理的方法包括:以所述高动态范围图像中的每个像素为所述预设区域范围的中心,在所述预设区域范围中获取每个像素周围的多个像素;根据每个像素及每个像素周围的多个像素,对每个像素的亮度值进行滤波,所述滤波包括高斯滤波、中值滤波或双边滤波。
15.如权利要求14所述的高动态范围图像的图像处理方法,其特征在于,根据每个像素的亮度值和平滑亮度值,获取每个像素的优化亮度值的方法包括:获取调节参数a,所述a>0;根据所述高动态范围图像的任意像素p的亮度值xhdr(p)、所述像素p的平滑亮度值Fx(p)、以及所述调节参数a,获取所述像素p的优化亮度值
Figure FDA0003244204090000041
且所述xtran(p)∈[0,xmax],a是大于0的调节参数。
16.如权利要求15所述的高动态范围图像的图像处理方法,其特征在于,获取调节参数a的方法包括:根据所述高动态范围图像的全部像素的亮度值,获取所述高动态范围图像的平均亮度值xdc;根据所述高动态范围图像的平均亮度值xdc获取调节参数a=ku×xdc,ku是可调参数,ku>0。
17.如权利要求13所述的高动态范围图像的图像处理方法,其特征在于,根据所述第一映射曲线和所述第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像的方法包括:根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第三类像素和第四类像素,包括:当高动态范围图像的任意像素的优化亮度值小于所述第一预设亮度值时,所述高动态范围图像的任意像素为第三类像素;当高动态范围图像的任意像素的优化亮度值大于或等于所述第一预设亮度值时,所述高动态范围图像的任意像素为第四类像素;根据所述第一映射曲线和各所述第三类像素的优化亮度值进行第一映射,并根据所述第二映射曲线和各所述第四类像素的优化亮度值进行第二映射,获取所述目标低动态范围图像各像素的亮度值;根据所述目标低动态范围图像各像素的亮度值,获取目标低动态范围图像。
18.一种高动态范围图像的图像处理装置,其特征在于,包括:
图像获取单元,用于获取高动态范围图像;
图像处理单元,用于根据高动态范围图像获取目标低动态范围图像,包括:
亮度提取模块,用于获取所述高动态范围图像中每个像素的亮度值;
图像压缩单元,用于对所述高动态范围图像进行压缩,包括:
第一预处理模块,用于获取与所述高动态范围图像对应的第一最大亮度值和第一预设亮度值,所述第一预设亮度值小于所述第一最大亮度值,所述第一最大亮度值大于或等于所述高动态范围图像中任意像素的亮度值;
第一像素区分模块,用于根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第一类像素和第二类像素,包括:当高动态范围图像的任意像素的亮度值小于所述第一预设亮度值时,所述高动态范围图像的任意像素为第一类像素;当高动态范围图像的任意像素的亮度值大于或等于所述第一预设亮度值时,所述高动态范围图像的任意像素为第二类像素;
第一映射曲线获取单元,用于根据各所述第一类像素获取第一映射曲线;
第二映射曲线获取单元,用于根据各所述第二类像素获取第二映射曲线,且所述第二映射曲线与所述第一映射曲线连续;
映射单元,用于根据所述第一映射曲线和第二映射曲线对所述高动态范围图像进行映射,以获取目标低动态范围图像;
图像输出单元,用于输出所述目标低动态范围图像。
19.如权利要求18所述的高动态范围图像的图像处理装置,其特征在于,所述第一映射曲线获取单元包括:第一直方图统计模块,用于提供第一直方图阶数hs1,并根据所述第一直方图阶数hs1对各所述第一类像素进行第一直方图统计,获取第一统计结果;第一映射曲线处理单元,用于根据所述第一统计结果获取所述第一映射曲线;所述第二映射曲线获取单元包括:第二直方图统计模块,用于提供第二直方图阶数hs2,并根据所述第二直方图阶数hs2对各所述第二类像素进行第二直方图统计,获取第二统计结果,第二单位亮度范围SZ2大于第一单位亮度范围SZ1,所述第一单位亮度范围
Figure FDA0003244204090000051
所述第二单位亮度范围
Figure FDA0003244204090000052
所述xmax是所述第一最大亮度值,所述segx是所述第一预设亮度值;第二映射曲线处理单元,用于根据所述第二统计结果获取所述第二映射曲线。
20.如权利要求18所述的高动态范围图像的图像处理装置,其特征在于,所述映射单元包括:目标低动态范围图像亮度值获取模块,用于根据所述第一映射曲线和各所述第一类像素的亮度值进行第一映射,并根据所述第二映射曲线和各所述第二类像素的亮度值进行第二映射,获取所述目标低动态范围图像各像素的亮度值;目标低动态范围图像获取单元,用于根据所述目标低动态范围图像各像素的亮度值,获取目标低动态范围图像。
21.如权利要求18所述的高动态范围图像的图像处理装置,其特征在于,还包括局部像素变换单元,包括:平滑处理单元,用于根据预设区域范围,对所述高动态范围图像中每个像素的亮度值进行平滑处理,获取每个像素的平滑亮度值;亮度值优化单元,用于根据每个像素的亮度值和平滑亮度值,获取每个像素的优化亮度值,包括:当所述高动态范围图像的任意像素的亮度值大于所述像素的平滑亮度值时,获取大于所述亮度值的优化亮度值,且所述优化亮度值小于或等于第一最大亮度值;当所述高动态范围图像的任意像素的亮度值小于所述像素的平滑亮度值时,获取小于所述亮度值的优化亮度值,且所述优化亮度值大于或等于0。
22.如权利要求21所述的高动态范围图像的图像处理装置,其特征在于,所述映射单元包括:第二像素区分模块,用于根据所述第一预设亮度值,在所述高动态范围图像的像素中获取第三类像素和第四类像素,包括:当高动态范围图像的任意像素的优化亮度值小于所述第一预设亮度值时,所述高动态范围图像的任意像素为第三类像素;当高动态范围图像的任意像素的优化亮度值大于或等于所述第一预设亮度值时,所述高动态范围图像的任意像素为第四类像素;目标低动态范围图像亮度值获取模块,用于根据所述第一映射曲线和各所述第三类像素的优化亮度值进行第一映射,并根据所述第二映射曲线和各所述第四类像素的优化亮度值进行第二映射,获取所述目标低动态范围图像各像素的亮度值;目标低动态范围图像获取单元,用于根据所述目标低动态范围图像各像素的亮度值,获取目标低动态范围图像。
23.如权利要求18所述的高动态范围图像的图像处理装置,其特征在于,所述图像获取单元包括:图像捕捉模块,用于捕捉2帧以上的低动态范围图像;图像合成模块,用于将所述2帧以上的低动态范围图像合成为1帧的所述高动态范围图像。
CN202111028413.7A 2021-09-02 2021-09-02 高动态范围图像的图像处理方法及图像处理装置 Active CN113691739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111028413.7A CN113691739B (zh) 2021-09-02 2021-09-02 高动态范围图像的图像处理方法及图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111028413.7A CN113691739B (zh) 2021-09-02 2021-09-02 高动态范围图像的图像处理方法及图像处理装置

Publications (2)

Publication Number Publication Date
CN113691739A true CN113691739A (zh) 2021-11-23
CN113691739B CN113691739B (zh) 2023-04-07

Family

ID=78585079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111028413.7A Active CN113691739B (zh) 2021-09-02 2021-09-02 高动态范围图像的图像处理方法及图像处理装置

Country Status (1)

Country Link
CN (1) CN113691739B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100031A (zh) * 2022-08-23 2022-09-23 摩尔线程智能科技(北京)有限责任公司 图像处理方法以及图像处理装置
CN116152094A (zh) * 2023-01-09 2023-05-23 辉羲智能科技(上海)有限公司 自动驾驶高动态场景图像优化方法、系统、终端及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102497490A (zh) * 2011-12-16 2012-06-13 上海富瀚微电子有限公司 实现图像高动态范围压缩的系统及其方法
CN103024300A (zh) * 2012-12-25 2013-04-03 华为技术有限公司 一种高动态范围图像显示方法及装置
CN103295194A (zh) * 2013-05-15 2013-09-11 中山大学 亮度可控与细节保持的色调映射方法
CN103916669A (zh) * 2014-04-11 2014-07-09 浙江宇视科技有限公司 高动态范围图像压缩方法及装置
CN205809921U (zh) * 2016-05-12 2016-12-14 珠海市杰理科技有限公司 图像宽动态范围压缩装置
JP2018191174A (ja) * 2017-05-09 2018-11-29 キヤノン株式会社 画像符号化装置、画像復号装置、画像符号化方法及びプログラム
CN112634384A (zh) * 2020-12-23 2021-04-09 上海富瀚微电子股份有限公司 一种高动态范围图像压缩的方法及装置
CN113191986A (zh) * 2021-05-28 2021-07-30 浙江大华技术股份有限公司 一种图像处理方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102497490A (zh) * 2011-12-16 2012-06-13 上海富瀚微电子有限公司 实现图像高动态范围压缩的系统及其方法
CN103024300A (zh) * 2012-12-25 2013-04-03 华为技术有限公司 一种高动态范围图像显示方法及装置
CN103295194A (zh) * 2013-05-15 2013-09-11 中山大学 亮度可控与细节保持的色调映射方法
CN103916669A (zh) * 2014-04-11 2014-07-09 浙江宇视科技有限公司 高动态范围图像压缩方法及装置
CN205809921U (zh) * 2016-05-12 2016-12-14 珠海市杰理科技有限公司 图像宽动态范围压缩装置
JP2018191174A (ja) * 2017-05-09 2018-11-29 キヤノン株式会社 画像符号化装置、画像復号装置、画像符号化方法及びプログラム
CN112634384A (zh) * 2020-12-23 2021-04-09 上海富瀚微电子股份有限公司 一种高动态范围图像压缩的方法及装置
CN113191986A (zh) * 2021-05-28 2021-07-30 浙江大华技术股份有限公司 一种图像处理方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100031A (zh) * 2022-08-23 2022-09-23 摩尔线程智能科技(北京)有限责任公司 图像处理方法以及图像处理装置
CN115100031B (zh) * 2022-08-23 2023-03-14 摩尔线程智能科技(北京)有限责任公司 图像处理方法以及图像处理装置
CN116152094A (zh) * 2023-01-09 2023-05-23 辉羲智能科技(上海)有限公司 自动驾驶高动态场景图像优化方法、系统、终端及介质
CN116152094B (zh) * 2023-01-09 2024-02-09 辉羲智能科技(上海)有限公司 自动驾驶高动态场景图像优化方法、系统、终端及介质

Also Published As

Publication number Publication date
CN113691739B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US20230217116A1 (en) Merging multiple exposures to generate a high dynamic range image
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
CN111698434B (zh) 图像处理设备及其控制方法和计算机可读存储介质
EP2368226B1 (en) High dynamic range image combining
US7940311B2 (en) Multi-exposure pattern for enhancing dynamic range of images
RU2542928C2 (ru) Система и способ для обработки данных изображения с использованием процессора сигнала изображения, имеющего логику окончательной обработки
RU2523027C1 (ru) Синхронизация вспышки с использованием сигнала тактирования интерфейса датчика изображения
US20150163414A1 (en) Robust automatic exposure control using embedded data
CN113691739B (zh) 高动态范围图像的图像处理方法及图像处理装置
US8749699B2 (en) Method and device for video processing using a neighboring frame to calculate motion information
CN110266954B (zh) 图像处理方法、装置、存储介质及电子设备
US11017511B2 (en) Method and system of haze reduction for image processing
CN108156369B (zh) 图像处理方法和装置
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
CN110213498B (zh) 图像生成方法和装置、电子设备、计算机可读存储介质
US10999525B2 (en) Image processing apparatus and method for compressing dynamic range of WDR image
CN105578065A (zh) 高动态范围图像的生成方法、拍照装置和终端
CN111355936B (zh) 用于人工智能的采集和处理图像数据的方法及系统
CN110290325B (zh) 图像处理方法、装置、存储介质及电子设备
EP1394742A1 (en) Method for filtering the noise of a digital image sequence
CN115314617A (zh) 图像处理系统及方法、计算机可读介质和电子设备
CN110572585B (zh) 图像处理方法、装置、存储介质及电子设备
US20240179417A1 (en) Adaptive acquisition control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant