CN112258417B - 一种图像生成方法、装置及设备 - Google Patents

一种图像生成方法、装置及设备 Download PDF

Info

Publication number
CN112258417B
CN112258417B CN202011173801.XA CN202011173801A CN112258417B CN 112258417 B CN112258417 B CN 112258417B CN 202011173801 A CN202011173801 A CN 202011173801A CN 112258417 B CN112258417 B CN 112258417B
Authority
CN
China
Prior art keywords
image
frame image
value
pixel position
highlight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011173801.XA
Other languages
English (en)
Other versions
CN112258417A (zh
Inventor
张鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202011173801.XA priority Critical patent/CN112258417B/zh
Publication of CN112258417A publication Critical patent/CN112258417A/zh
Application granted granted Critical
Publication of CN112258417B publication Critical patent/CN112258417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Abstract

本申请提供一种图像生成方法、装置及设备,该方法包括:获取原始图像;对所述原始图像进行第一伽马变换,得到暗帧图像,并对所述原始图像进行第二伽马变换,得到亮帧图像;其中,所述暗帧图像包括高光区域和阴影区域,所述暗帧图像的高光区域的亮度值大于第一亮度阈值且小于第二亮度阈值,所述暗帧图像的阴影区域的亮度值小于第一亮度阈值;所述亮帧图像包括高光区域和阴影区域,所述亮帧图像的高光区域的亮度值大于第一亮度阈值,所述亮帧图像的阴影区域的亮度值大于第一亮度阈值且小于第二亮度阈值;对所述暗帧图像和所述亮帧图像进行融合,得到融合后的宽动态图像。通过本申请的技术方案,能够有效的增加图像的动态范围。

Description

一种图像生成方法、装置及设备
技术领域
本申请涉及监控技术领域,尤其涉及一种图像生成方法、装置及设备。
背景技术
在监控设备(如摄像机等)采集目标场景的图像时,若目标场景存在强光源(如日光、灯具或反光等)照射,则高亮度区域及低亮度区域(如阴影、逆光等相对亮度较低的区域)在图像中同时存在,导致图像出现明亮区域因曝光过度成为白色,而黑暗区域因曝光不足成为黑色,严重影响图像质量。
监控设备在同一目标场景中对最亮区域及较暗区域的表现存在局限,例如,曝光时间短,暗部信息太暗,曝光时间长,明亮区域信息溢出丢失等,这种局限就是通常所讲的“动态范围”,即目标场景中光的最大值和最小值的比值。
为了提高图像质量,监控设备通常需要输出宽动态图像,宽动态图像可以提供更多的动态范围以及图像细节,能够为用户提供更好的视觉体验,从而在视频监控、地理信息系统、医学影像、影视特效等领域中得到了广泛应用。
为了获取宽动态图像,监控设备可以对目标场景进行多次曝光,采集不同曝光时间的低动态图像,即,这些低动态图像的曝光时间存在差异,并将多个低动态图像合成为宽动态图像。但是,在上述方式中,监控设备需要支持对目标场景进行多次曝光,且每次曝光的时间长度不同,若监控设备不支持对目标场景进行多次曝光,则监控设备无法得到宽动态图像,即图像质量较低。
发明内容
本申请提供一种图像生成方法,所述方法包括:
获取原始图像;
对所述原始图像进行第一伽马变换,得到暗帧图像,并对所述原始图像进行第二伽马变换,得到亮帧图像;其中,所述暗帧图像包括高光区域和阴影区域,所述暗帧图像的高光区域的亮度值大于第一亮度阈值且小于第二亮度阈值,所述暗帧图像的阴影区域的亮度值小于第一亮度阈值;所述亮帧图像包括高光区域和阴影区域,所述亮帧图像的高光区域的亮度值大于第一亮度阈值,所述亮帧图像的阴影区域的亮度值大于第一亮度阈值且小于第二亮度阈值;所述暗帧图像的高光区域和所述亮帧图像的阴影区域用于进行融合;
对所述暗帧图像和所述亮帧图像进行融合,得到融合后的宽动态图像。
在一种可能的实施方式中,所述对所述原始图像进行第一伽马变换,得到暗帧图像,并对所述原始图像进行第二伽马变换,得到亮帧图像,包括:
通过第一伽马值和第一增益值对所述原始图像进行第一伽马变换,得到暗帧图像,所述第一伽马值和所述第一增益值均为正数;
通过第二伽马值和第二增益值对所述原始图像进行第二伽马变换,得到亮帧图像,所述第二伽马值和所述第二增益值均为正数;
其中,第一伽马值小于第二伽马值,第一增益值小于第二增益值;或者,第一伽马值小于第二伽马值,第一增益值等于第二增益值;或者,第一伽马值等于第二伽马值,第一增益值小于第二增益值。
在一种可能的实施方式中,所述对所述暗帧图像和所述亮帧图像进行融合,得到融合后的宽动态图像,包括:
获取与所述暗帧图像对应的高光蒙版图像,所述高光蒙版图像包括多个像素位置的权重值;其中,所述高光蒙版图像中的像素位置与所述暗帧图像中的像素位置一一对应,当所述暗帧图像中的像素位置的亮度值越大时,所述高光蒙版图像中与该像素位置对应的像素位置的权重值越大;
获取与所述亮帧图像对应的阴影蒙版图像,所述阴影蒙版图像包括多个像素位置的权重值;其中,所述阴影蒙版图像中的像素位置与所述亮帧图像中的像素位置一一对应,当所述亮帧图像中的像素位置的亮度值越大时,所述阴影蒙版图像中与该像素位置对应的像素位置的权重值越小;
对所述暗帧图像,所述高光蒙版图像,所述亮帧图像和所述阴影蒙版图像进行融合,得到融合后的宽动态图像。
在一种可能的实施方式中,所述获取与所述暗帧图像对应的高光蒙版图像,包括:对所述暗帧图像进行亮度分量提取处理,得到最大值图像;
对所述最大值图像进行膨胀处理,得到膨胀图像;
对所述膨胀图像进行均值滤波处理,得到所述高光蒙版图像。
示例性的,所述最大值图像中的像素位置与所述暗帧图像中的像素位置一一对应,所述对所述暗帧图像进行亮度分量提取处理,得到最大值图像,包括:
针对所述最大值图像中的每个初始像素位置,从所述暗帧图像中确定与初始像素位置对应的目标像素位置;将所述目标像素位置的R通道亮度分量,G通道亮度分量,B通道亮度分量中的最大值,确定为该初始像素位置的亮度值;
基于所有初始像素位置的亮度值获得所述最大值图像。
示例性的,所述膨胀图像中的像素位置与所述最大值图像中的像素位置一一对应,所述对所述最大值图像进行膨胀处理,得到膨胀图像,包括:
针对所述膨胀图像中的每个初始像素位置,从所述最大值图像中确定与初始像素位置对应的目标像素位置,从所述最大值图像中确定以所述目标像素位置为中心的目标区域,所述目标区域包括多个像素位置;将所述目标区域的多个像素位置的亮度值中的最大值,确定为该初始像素位置的亮度值;
基于所有初始像素位置的亮度值获得所述膨胀图像。
示例性的,所述高光蒙版图像中的像素位置与所述膨胀图像中的像素位置一一对应,所述对所述膨胀图像进行均值滤波处理,得到所述高光蒙版图像,包括:针对所述高光蒙版图像中的每个初始像素位置,从所述膨胀图像中确定与初始像素位置对应的目标像素位置,并从所述膨胀图像中确定以所述目标像素位置为中心的目标区域,所述目标区域包括多个像素位置;将所述目标区域的多个像素位置的亮度值的平均值,确定为该初始像素位置的亮度值;
对该初始像素位置的亮度值进行归一化,得到该初始像素位置的权重值;
基于所有初始像素位置的权重值获得所述高光蒙版图像。
示例性的,所述获取与所述亮帧图像对应的阴影蒙版图像,包括:
根据所述高光蒙版图像获取与所述亮帧图像对应的阴影蒙版图像。
本申请提供一种图像生成装置,所述装置包括:
获取模块,用于获取原始图像;处理模块,用于对所述原始图像进行第一伽马变换,得到暗帧图像,并对所述原始图像进行第二伽马变换,得到亮帧图像;其中,所述暗帧图像包括高光区域和阴影区域,所述暗帧图像的高光区域的亮度值大于第一亮度阈值且小于第二亮度阈值,所述暗帧图像的阴影区域的亮度值小于第一亮度阈值;所述亮帧图像包括高光区域和阴影区域,所述亮帧图像的高光区域的亮度值大于第一亮度阈值,所述亮帧图像的阴影区域的亮度值大于第一亮度阈值且小于第二亮度阈值;所述暗帧图像的高光区域和所述亮帧图像的阴影区域用于进行融合;融合模块,用于对所述暗帧图像和所述亮帧图像进行融合,得到融合后的宽动态图像。
本申请提供一种图像生成设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
获取原始图像;
对所述原始图像进行第一伽马变换,得到暗帧图像,并对所述原始图像进行第二伽马变换,得到亮帧图像;其中,所述暗帧图像包括高光区域和阴影区域,所述暗帧图像的高光区域的亮度值大于第一亮度阈值且小于第二亮度阈值,所述暗帧图像的阴影区域的亮度值小于第一亮度阈值;所述亮帧图像包括高光区域和阴影区域,所述亮帧图像的高光区域的亮度值大于第一亮度阈值,所述亮帧图像的阴影区域的亮度值大于第一亮度阈值且小于第二亮度阈值;所述暗帧图像的高光区域和所述亮帧图像的阴影区域用于进行融合;
对所述暗帧图像和所述亮帧图像进行融合,得到融合后的宽动态图像。
由以上技术方案可见,本申请实施例中,通过对原始图像(监控设备对目标场景进行一次曝光得到的图像)进行第一伽马变换和第二伽马变换,可以得到暗帧图像和亮帧图像,并对暗帧图像和亮帧图像进行融合,得到融合后的宽动态图像,即将暗帧图像和亮帧图像的有用信息融合起来,得到清晰明亮的图像,达到扩展图像动态范围的效果。上述方式不需要对目标场景进行多次曝光,只需要对目标场景进行一次曝光,就可以得到融合后的宽动态图像,能够有效的增加图像的动态范围,兼顾明暗区域的信息显示,提高图像质量。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的处理流程示意图;
图2是本申请一种实施方式中的图像生成方法的流程示意图;
图3A是本申请一种实施方式中的暗帧图像的示意图;
图3B是本申请一种实施方式中的亮帧图像的示意图;
图4是本申请一种实施方式中的伽马变换的示意图;
图5是本申请一种实施方式中的图像生成装置的结构示意图;
图6是本申请一种实施方式中的图像生成设备的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例中,在得到原始图像后,对原始图像进行第一伽马变换和第二伽马变换,得到暗帧图像和亮帧图像,对暗帧图像和亮帧图像进行融合,得到融合后的宽动态图像,即将暗帧图像和亮帧图像的有用信息融合起来,得到清晰明亮的图像,达到扩展图像动态范围的效果。与原始图像相比,宽动态图像可以提供更多的动态范围和图像细节,能够为用户提供更好的视觉体验,在视频监控、地理信息系统、医学影像、影视特效等领域中得到了广泛应用。
比如说,参见图1所示,为本申请实施例的处理流程示意图,在得到原始图像(如贝尔格式的原始图像)后,对原始图像进行第一伽马变换,得到暗帧图像,该暗帧图像包括清晰可见的高亮区域信息。以及,对原始图像进行第二伽马变换,得到亮帧图像,该亮帧图像包括明亮可见的阴影区域信息。
然后,将暗帧图像的有用信息(如暗帧图像的高光信息)和亮帧图像的有用信息(如亮帧图像的暗部信息)融合起来,得到清晰明亮的宽动态图像。
在上述方式中,对目标场景进行一次曝光,可以得到原始图像,对原始图像进行两次伽马变换,可以得到暗帧图像和亮帧图像,而后通过融合方式得到融合后的宽动态图像,从而将动态范围最大化,能够有效的增加图像的动态范围,通过宽动态融合算法提升图像的可视性,兼顾明暗区域的信息显示。
以下结合具体实施例,对本申请实施例的技术方案进行说明。
本申请实施例中提出一种图像生成方法,该方法可以应用于监控设备(如模拟摄像机,网络摄像机等),监控设备用于采集目标场景(如道路监控卡口等)的图像,参见图2所示,为该方法的流程示意图,该方法可以包括:
步骤201,获取原始图像。
示例性的,监控设备可以采集目标场景的图像,为了区分方便,可以将该图像称为原始图像。比如说,可以为监控设备设置快门、增益等参数,监控设备基于上述参数抓拍图像。在抓拍图像的过程中,在获取到光信号后,光信号经过光电转换、数模转换等处理后,可以得到贝尔格式(bayer格式)的原始图像。例如,该原始图像可以具有12比特的有效精度位,且高亮区域没有丢失信息,如车辆的车牌区域没有字体发粗,过分曝掉等情况。
步骤202,对原始图像进行第一伽马变换,得到暗帧图像,并对原始图像进行第二伽马变换,得到亮帧图像。示例性的,暗帧图像的亮度值大于或者等于原始图像的亮度值,亮帧图像的亮度值大于暗帧图像的亮度值。
示例性的,暗帧图像包括高光区域和阴影区域,暗帧图像的高光区域的亮度值大于第一亮度阈值且小于第二亮度阈值,暗帧图像的阴影区域的亮度值小于第一亮度阈值;亮帧图像包括高光区域和阴影区域,亮帧图像的高光区域的亮度值大于第一亮度阈值,亮帧图像的阴影区域的亮度值大于第一亮度阈值且小于第二亮度阈值;暗帧图像的高光区域和亮帧图像的阴影区域用于进行融合。
在上述实施例中,高光区域(暗帧图像的高光区域或者亮帧图像的高光区域)包括但不限于:车灯区域和车牌区域。阴影区域(暗帧图像的阴影区域或者亮帧图像的阴影区域)包括但不限于:车身区域,车窗区域和环境区域。
第一亮度阈值和第二亮度阈值可以根据经验进行配置,对此第一亮度阈值和第二亮度阈值不做限制,该第一亮度阈值可以小于该第二亮度阈值。
示例性的,暗帧图像的高光区域的亮度值大于第一亮度阈值且小于第二亮度阈值,其用于表示,暗帧图像的高光区域明亮但不过曝。
示例性的,暗帧图像的阴影区域的亮度值小于第一亮度阈值,其用于表示,暗帧图像的阴影区域黑暗,即暗帧图像的阴影区域的亮度值较小,比较暗。
示例性的,亮帧图像的高光区域的亮度值大于第一亮度阈值(还可能大于第二亮度阈值),其用于表示,亮帧图像的高光区域明亮,且亮帧图像的高光区域可能过曝,也可能不过曝。比如说,若亮帧图像的高光区域的亮度值大于第一亮度阈值且小于第二亮度阈值,则亮帧图像的高光区域不过曝。若亮帧图像的高光区域的亮度值大于第二亮度阈值,则亮帧图像的高光区域过曝。
示例性的,亮帧图像的阴影区域的亮度值大于第一亮度阈值且小于第二亮度阈值,其用于表示,亮帧图像的阴影区域明亮但不过曝。
综上所述,暗帧图像的高光区域明亮但不过曝,是暗帧图像的有用信息,亮帧图像的阴影区域明亮但不过曝,是亮帧图像的有用信息,因此,暗帧图像的高光区域和亮帧图像的阴影区域用于进行融合。
示例性的,伽马变换(也可以称为伽马调整)用于实现图像增强,简单来说,就是通过非线性变换,让图像从曝光强度的线性响应变得更接近人眼感受的响应,即,对漂白(曝光过度)或过暗(曝光不足)的图像进行矫正。
本实施例中,伽马变换的目的是:为了获取动态范围不同的暗帧图像和亮帧图像,暗帧图像优先保证高光区域不过曝,亮帧图像优先保证阴影区域的明亮,暗帧图像和亮帧图像拥有着各自特有的数据信息,而图像风格差异较大。
参见图3A所示,为暗帧图像的示意图,该暗帧图像除了车灯区域、车牌区域比较明亮之外,其它区域(阴影区域)都非常黑暗,有用信息集中在该暗帧图像的高光区域(车灯区域和车牌区域)。显然,该暗帧图像包括清晰可见的高光区域信息,是高光不曝的图像,可以将暗帧图像的高光区域参与融合操作。例如,在该暗帧图像中,车灯光晕较小,车牌底色自然,字体显示正常不发粗。
参见图3B所示,为亮帧图像的示意图,该亮帧图像包括明亮可见的阴影区域,如车身区域,车窗区域和环境区域等,除了明亮可见的阴影区域之外,其它区域(高光区域)可能过曝,也可能未过曝,有用信息集中在该亮帧图像的阴影区域。显然,该亮帧图像包括清晰可见的阴影区域信息,是阴影区域高光不曝的图像,可以将亮帧图像的阴影区域参与融合操作。
本实施例中,通过对原始图像进行第一伽马变换,得到暗帧图像,对此第一伽马变换过程不做限制,只要暗帧图像的亮度值大于或者等于原始图像的亮度值即可。通过对原始图像进行第二伽马变换,得到亮帧图像,对此第二伽马变换过程不做限制,只要亮帧图像的亮度值大于暗帧图像的亮度值即可。
在一种可能的实施方式中,在得到原始图像后,可以对该原始图像进行第一ISP(Image Signal Processing,图像信号处理),得到暗帧图像,该第一ISP可以包括但不限于第一伽马变换。在第一伽马变换的基础上,该第一ISP还可以包括但不限于去马赛克,2D降噪,白平衡等,对此第一ISP不做限制,只要包括第一伽马变换即可。关于第一伽马变换,去马赛克,2D降噪,白平衡的处理顺序,本实施例中不做限制,可以任意配置该处理顺序,比如说,先进行去马赛克,然后进行2D降噪,然后进行白平衡,然后进行第一伽马变换。
在得到原始图像后,可以对该原始图像进行第二ISP,得到亮帧图像,该第二ISP可以包括但不限于第二伽马变换。在第二伽马变换的基础上,该第二ISP还可以包括但不限于去马赛克,2D降噪,白平衡等,对此第二ISP不做限制,只要包括第二伽马变换即可。关于第二伽马变换,去马赛克,2D降噪,白平衡的处理顺序,本实施例中不做限制,可以任意配置该处理顺序,比如说,先进行去马赛克,然后进行2D降噪,然后进行白平衡,然后进行第二伽马变换。
在一种可能的实施方式中,对原始图像进行第一伽马变换,得到暗帧图像,并对原始图像进行第二伽马变换,得到亮帧图像,可以包括但不限于:通过第一伽马值和第一增益值对原始图像进行第一伽马变换,得到暗帧图像,该第一伽马值和该第一增益值均为正数。通过第二伽马值和第二增益值对原始图像进行第二伽马变换,得到亮帧图像,该第二伽马值和该第二增益值均为正数。示例性的,该第一伽马值小于该第二伽马值,该第一增益值小于该第二增益值;或者,该第一伽马值小于该第二伽马值,该第一增益值等于该第二增益值;或者,该第一伽马值等于该第二伽马值,该第一增益值小于该第二增益值。
比如说,第一伽马变换的过程可以参见公式(1)所示,针对原始图像中的每个像素位置,将该像素位置的亮度值x代入公式(1),就可以得到该像素位置的亮度值y,而所有像素位置的亮度值y就能够组成暗帧图像。
y=a1*xγ1+b 公式(1)
在公式(1)中,a1表示第一增益值,第一增益值a1为正常数,γ1表示第一伽马值,第一伽马值γ1为正常数,b是偏移量,在公式(1)中可忽略不计。
又例如,第二伽马变换的过程可以参见公式(2)所示,针对原始图像中的每个像素位置,将该像素位置的亮度值x代入公式(2),就可以得到该像素位置的亮度值y,而所有像素位置的亮度值y就能够组成亮帧图像。
y=a2*xγ2+b 公式(2)
在公式(2)中,a2表示第二增益值,第二增益值a2为正常数,γ2表示第二伽马值,第二伽马值γ2为正常数,b是偏移量,在公式(2)中可忽略不计。
综上所述,可以通过第一伽马值γ1和第一增益值a1对原始图像进行第一伽马变换,得到暗帧图像,变换过程参见公式(1)。通过第二伽马值γ2和第二增益值a2对原始图像进行第二伽马变换,得到亮帧图像,变换过程参见公式(2)。
示例性的,参见公式(1)所示,为了使暗帧图像的亮度值大于或者等于原始图像的亮度值,第一增益值a1为1,第一伽马值γ1大于或等于1,或者,第一增益值a1大于或等于1,第一伽马值γ1为1,或者,第一增益值a1大于或等于1,第一伽马值γ1大于或等于1。当然,上述只是几个示例,对此不做限制,只要通过设置第一增益值a1和第一伽马值γ1,使得亮度值y大于或等于亮度值x即可。
示例性的,参见公式(1)和公式(2)所示,为了使亮帧图像的亮度值大于暗帧图像的亮度值,第一伽马值γ1小于第二伽马值γ2,第一增益值a1小于第二增益值a2,或者,第一伽马值γ1小于第二伽马值γ2,第一增益值a1等于第二增益值a2,或者,第一伽马值γ1等于第二伽马值γ2,第一增益值a1小于第二增益值a2。当然,上述只是几个示例,对此不做限制,只要通过设置第一增益值a1,第一伽马值γ1,第二增益值a2,第二伽马值γ2,使得针对原始图中的同一个亮度值x,亮帧图像中的亮度值y大于暗帧图像中的亮度值y即可。
在一种可能的实施方式中,在对原始图像进行第一伽马变换或者第二伽马变换时,根据不同的伽马值,亮度值y与亮度值x的关系可以为线性关系或者非线性关系,参见图4所示。由于亮度值的取值范围通常为0-255,因此,在对原始图像进行第一伽马变换或者第二伽马变换时,亮度值y不能超出255。
步骤203,对暗帧图像和亮帧图像进行融合,得到融合后的宽动态图像。
示例性的,在得到暗帧图像和亮帧图像后,就可以对暗帧图像和亮帧图像进行融合,从而将暗帧图像的有用信息(如暗帧图像的高光信息)和亮帧图像的有用信息(如亮帧图像的暗部信息)融合起来,得到清晰明亮的宽动态图像,达到扩展图像动态范围的效果,得到高质量的宽动态图像,以提高图像信息的利用率,改善图像质量,提升原始图像的空间分辨率和光谱分辨率。
在一种可能的实施方式中,可以采用如下方式对暗帧图像和亮帧图像进行融合,当然,如下融合方式只是示例,对此融合方式不做限制。
步骤2031、获取与该暗帧图像对应的高光蒙版图像,该高光蒙版图像包括多个像素位置的权重值。示例性的,该高光蒙版图像中的像素位置与该暗帧图像中的像素位置一一对应,当该暗帧图像中的像素位置的亮度值越大时,该高光蒙版图像中与该像素位置对应的像素位置的权重值越大,即,高光蒙版图像中的像素位置的权重值与暗帧图像中的像素位置的亮度值成正比。
比如说,假设暗帧图像的分辨率是10*8(实际应用中的分配率远远大于该数值,这里只是为了方便描述给出的示例),则高光蒙版图像的分辨率也是10*8,即,暗帧图像包括10*8个像素位置,将这些像素位置依次记为像素位置a1-像素位置a80,高光蒙版图像也包括10*8个像素位置,将这些像素位置依次记为像素位置b1-像素位置b80。其中,像素位置b1与像素位置a1对应,像素位置b1表示高光蒙版图像的第1行第1列的像素位置,像素位置a1表示暗帧图像的第1行第1列的像素位置。像素位置b2与像素位置a2对应,像素位置b2表示高光蒙版图像的第1行第2列的像素位置,像素位置a2表示暗帧图像的第1行第2列的像素位置,以此类推,像素位置b80与像素位置a80对应。
在此基础上,基于暗帧图像中的每个像素位置的亮度值,可以确定高光蒙版图像中与该像素位置对应的像素位置的权重值,该权重值的取值范围是0-1之间。例如,当暗帧图像中的像素位置的亮度值越大时,高光蒙版图像中与该像素位置对应的像素位置的权重值越大。比如说,若像素位置a2的亮度值大于像素位置a1的亮度值,则像素位置b2的权重值大于像素位置b1的权重值。
在一种可能的实施方式中,考虑到暗帧图像中除了车灯、车牌比较明亮外,其它区域比较黑暗,有用信息集中在高光区域,因此,可以利用这种亮度差异将高光区域与其它区域进行分离,得到高光蒙版图像。例如,先提取暗帧图像的亮度分量,然后进行小半径膨胀,然后进行均值滤波模糊,最终得到平滑的高光蒙版图像。以下结合具体示例,对高光蒙版图像的获取过程进行说明。
步骤a1、对暗帧图像进行亮度分量提取处理,得到最大值图像。
示例性的,该最大值图像中的像素位置与该暗帧图像中的像素位置一一对应,针对该最大值图像中的每个初始像素位置(为了区分方便,在确定最大值图像时,将最大值图像中的像素位置记为初始像素位置),从该暗帧图像中确定与初始像素位置对应的目标像素位置(为了区分方便,在确定最大值图像时,将暗帧图像中的像素位置记为目标像素位置)。然后,将该目标像素位置的R通道亮度分量,G通道亮度分量,B通道亮度分量中的最大值,确定为该初始像素位置的亮度值。然后,基于所有初始像素位置的亮度值获得最大值图像,即,可以将所有初始像素位置的亮度值组合在一起,得到最大值图像。
比如说,暗帧图像包括10*8个像素位置,将这些像素位置依次记为像素位置a1-像素位置a80,最大值图像包括10*8个像素位置,将这些像素位置依次记为像素位置c1-像素位置c80。像素位置c1与像素位置a1对应,像素位置c1表示最大值图像的第1行第1列的像素位置,像素位置a1表示暗帧图像的第1行第1列的像素位置。像素位置c2与像素位置a2对应,以此类推。
在此基础上,针对最大值图像中的每个初始像素位置(以像素位置c1为例),从暗帧图像中确定与像素位置c1对应的目标像素位置,即像素位置a1。确定像素位置a1的R通道亮度分量,G通道亮度分量,B通道亮度分量中的最大值,假设R通道亮度分量大于G通道亮度分量,R通道亮度分量大于B通道亮度分量,则将像素位置a1的R通道亮度分量作为像素位置c1的亮度值。
在对每个初始像素位置进行上述处理后,可以得到每个初始像素位置的亮度值,然后,将所有初始像素位置的亮度值组合在一起,得到最大值图像。
示例性的,可以通过公式(3)对暗帧图像进行亮度分量提取处理,得到最大值图像,该最大值图像为暗帧图像中每个像素位置的RGB的最大值构成。
Figure BDA0002748129030000121
x表示像素位置,c表示RGB的颜色通道,且c∈{r,g,b},
Figure BDA0002748129030000122
表示对Ir(x)、Ig(x)和Ib(x)取最大值。Ir(x)表示暗帧图像中的像素位置x的R通道亮度分量,Ig(x)表示暗帧图像中的像素位置x的G通道亮度分量,Ib(x)表示暗帧图像中的像素位置x的B通道亮度分量。Imax(x)表示最大值图像中的像素位置x的亮度值。最大值图像中的像素位置x与暗帧图像中的像素位置x对应,最大值图像中像素位置x为初始像素位置,暗帧图像中像素位置x为目标像素位置。
由于暗帧图像的局部区域过渡平缓,通常具有相同或者相似的亮度值,因此,使用局部区域像素的RGB的最大值代表其亮度,统计上具有更好的效果。
步骤a2、对最大值图像进行膨胀处理,得到膨胀图像。
膨胀图像中的像素位置与最大值图像中的像素位置一一对应,针对膨胀图像中的每个初始像素位置(为区分方便,在确定膨胀图像时,将膨胀图像中的像素位置记为初始像素位置),从最大值图像中确定与初始像素位置对应的目标像素位置(为区分方便,在确定膨胀图像时,将最大值图像中的像素位置记为目标像素位置)。从最大值图像中确定以该目标像素位置为中心的目标区域,该目标区域包括多个像素位置,将目标区域的多个像素位置的亮度值中的最大值,确定为该初始像素位置的亮度值。然后,基于所有初始像素位置的亮度值获得膨胀图像,即,将所有初始像素位置的亮度值组合在一起,得到膨胀图像。
比如说,最大值图像包括10*8个像素位置,将这些像素位置依次记为像素位置c1-像素位置c80,膨胀图像包括10*8个像素位置,将这些像素位置依次记为像素位置d1-像素位置d80。像素位置d1与像素位置c1对应,像素位置d1表示膨胀图像的第1行第1列的像素位置,像素位置c1表示最大值图像的第1行第1列的像素位置。像素位置d2与像素位置c2对应,以此类推。
在此基础上,针对膨胀图像中的每个初始像素位置(以像素位置d1为例),从最大值图像中确定与像素位置d1对应的目标像素位置,即像素位置c1。从最大值图像中确定以像素位置c1为中心的目标区域,该目标区域包括多个像素位置,如目标区域为3*3的区域时,目标区域是以像素位置c1为中心的9个像素位置,目标区域为5*5的区域时,目标区域是以像素位置c1为中心的25个像素位置。当目标区域超出最大值图像的边界范围时,对于超出最大值图像的边界范围的像素位置,为该像素位置填充固定亮度值(可以根据经验进行配置)。
确定目标区域包括的多个像素位置的亮度值中的最大值,假设像素位置c1的亮度值是多个像素位置的亮度值中的最大值,则将像素位置c1的亮度值作为像素位置d1的亮度值,假设像素位置c2的亮度值是多个像素位置的亮度值中的最大值,则将像素位置c2的亮度值作为像素位置d1的亮度值,以此类推。
在对每个初始像素位置进行上述处理后,可以得到每个初始像素位置的亮度值,然后,将所有初始像素位置的亮度值组合在一起,得到膨胀图像。
示例性的,可以通过公式(4)对最大值图像进行膨胀处理,得到膨胀图像。
Figure BDA0002748129030000141
在公式(4)中,x表示像素位置,Ω(x)是最大值图像中以像素位置x为中心的局部窗口,也称为最大值滤波窗口,最大值滤波窗口Ω(x)的大小可以根据经验配置,如3*3或者5*5等,y表示最大值图像中以像素位置x为中心的目标区域。
Figure BDA0002748129030000142
表示对目标区域的所有像素位置(如最大值滤波窗口Ω(x)包括的所有像素位置)的亮度值取最大值。Ilight表示膨胀图像中的像素位置x的亮度值。膨胀图像中的像素位置x与最大值图像中的像素位置x对应,膨胀图像中像素位置x为初始像素位置,最大值图像中像素位置x为目标像素位置。
步骤a3、对膨胀图像进行均值滤波处理,得到高光蒙版图像。
高光蒙版图像中的像素位置与膨胀图像中的像素位置一一对应,针对高光蒙版图像中的每个初始像素位置(为区分方便,在确定高光蒙版图像时,将高光蒙版图像中的像素位置记为初始像素位置),从膨胀图像中确定与初始像素位置对应的目标像素位置(在确定高光蒙版图像时,将膨胀图像中的像素位置记为目标像素位置)。从膨胀图像中确定以该目标像素位置为中心的目标区域,该目标区域包括多个像素位置,将目标区域的多个像素位置的亮度值的平均值,确定为该初始像素位置的亮度值。对该初始像素位置的亮度值进行归一化,得到该初始像素位置的权重值。然后,基于所有初始像素位置的权重值获得高光蒙版图像,即将所有初始像素位置的权重值组合在一起,得到高光蒙版图像。
比如说,膨胀图像包括10*8个像素位置,将这些像素位置依次记为像素位置d1-像素位置d80,高光蒙版图像包括10*8个像素位置,将这些像素位置依次记为像素位置b1-像素位置b80。像素位置b1与像素位置d1对应,像素位置b1表示高光蒙版图像的第1行第1列的像素位置,像素位置d1表示膨胀图像的第1行第1列的像素位置。像素位置b2与像素位置d2对应,以此类推。
在此基础上,针对高光蒙版图像中的每个初始像素位置(以像素位置b1为例),从膨胀图像中确定与像素位置b1对应的目标像素位置,即像素位置d1。从膨胀图像中确定以像素位置d1为中心的目标区域,该目标区域包括多个像素位置,如目标区域为3*3的区域时,目标区域是以像素位置d1为中心的9个像素位置,目标区域为5*5的区域时,目标区域是以像素位置d1为中心的25个像素位置。当目标区域超出膨胀图像的边界范围时,对于超出膨胀图像的边界范围的像素位置,为该像素位置填充固定亮度值(可以根据经验进行配置)。
然后,确定目标区域包括的多个像素位置的亮度值的平均值,将多个像素位置的亮度值的平均值作为像素位置b1的亮度值,并对像素位置b1的亮度值进行归一化,得到像素位置b1的权重值。例如,由于亮度值的取值范围是0-255,权重值的取值范围是0-1,因此,可以将像素位置b1的亮度值除以255,得到像素位置b1的权重值。当然,上述只是归一化的示例,对此归一化方式不做限制,只要能够将像素位置的亮度值转换为该像素位置的权重值即可。
在对每个初始像素位置进行上述处理后,可以得到每个初始像素位置的权重值,然后,将所有初始像素位置的权重值组合在一起,得到高光蒙版图像。
可以通过公式(5)对膨胀图像进行均值滤波处理,得到高光蒙版图像。
Figure BDA0002748129030000151
在公式(5)中,x表示像素位置,Ω(x)是膨胀图像中以像素位置x为中心的最大值滤波窗口,如3*3或5*5等,y表示膨胀图像中以像素位置x为中心的目标区域,Ω表示目标区域中的像素位置数量,Ilight(y)表示膨胀图像中的像素位置y的亮度值。
Figure BDA0002748129030000152
表示对目标区域的所有像素位置(如最大值滤波窗口Ω(x)包括的所有像素位置)的亮度值取平均值,α(x)表示像素位置x的亮度值。高光蒙版图像中的像素位置x与膨胀图像中的像素位置x对应,高光蒙版图像中像素位置x为初始像素位置,膨胀图像中像素位置x为目标像素位置。
示例性的,在得到像素位置x的亮度值α(x)后,可以对像素位置x的亮度值α(x)进行归一化,得到像素位置x的权重值,将像素位置x的权重值记为α1(x)。
示例性的,对最大值图像进行膨胀处理时,无法保持图像边缘特性,即Ilight在图像边界并不平滑,因此,可以对膨胀图像进行均值滤波处理,得到平滑的图像边界,基于对膨胀图像进行均值滤波处理后的图像确定高光蒙版图像。
步骤2032、获取与该亮帧图像对应的阴影蒙版图像,该阴影蒙版图像包括多个像素位置的权重值。示例性的,该阴影蒙版图像中的像素位置与该亮帧图像中的像素位置一一对应,当该亮帧图像中的像素位置的亮度值越大时,该阴影蒙版图像中与该像素位置对应的像素位置的权重值越小,即,阴影蒙版图像中的像素位置的权重值与亮帧图像中的像素位置的亮度值成反比。
比如说,假设亮帧图像包括10*8个像素位置,将这些像素位置依次记为像素位置e1-像素位置e80,阴影蒙版图像包括10*8个像素位置,将这些像素位置依次记为像素位置f1-像素位置f80。像素位置f1与像素位置e1对应,像素位置f1表示阴影蒙版图像的第1行第1列的像素位置,像素位置e1表示亮帧图像的第1行第1列的像素位置。像素位置f2与像素位置e2对应,以此类推。
在此基础上,基于亮帧图像中的每个像素位置的亮度值,可以确定阴影蒙版图像中与该像素位置对应的像素位置的权重值,该权重值的取值范围是0-1之间。例如,当亮帧图像中的像素位置的亮度值越大时,阴影蒙版图像中与该像素位置对应的像素位置的权重值越小。比如说,若像素位置e2的亮度值大于像素位置e1的亮度值,则像素位置f2的权重值小于像素位置f1的权重值。
在一种可能的实施方式中,在得到高光蒙版图像后,还可以根据该高光蒙版图像获取与该亮帧图像对应的阴影蒙版图像。比如说,高光蒙版图像包括多个像素位置的权重值,且阴影蒙版图像也包括多个像素位置的权重值,阴影蒙版图像中的像素位置与高光蒙版图像中的像素位置一一对应。
针对阴影蒙版图像中的每个初始像素位置(为区分方便,在确定阴影蒙版图像时,将阴影蒙版图像中的像素位置记为初始像素位置),从高光蒙版图像中确定与初始像素位置对应的目标像素位置(在确定阴影蒙版图像时,将高光蒙版图像中的像素位置记为目标像素位置),且该初始像素位置的权重值与该目标像素位置的权重值之和为固定值(如1)。基于该目标像素位置的权重值确定该初始像素位置的权重值。然后,基于所有初始像素位置的权重值获得阴影蒙版图像,即将所有初始像素位置的权重值组合在一起,得到阴影蒙版图像。
比如说,阴影蒙版图像的像素位置依次记为像素位置f1-像素位置f80,高光蒙版图像的像素位置依次记为像素位置b1-像素位置b80,像素位置f1与像素位置b1对应,像素位置f2与像素位置b2对应,以此类推。在此基础上,针对阴影蒙版图像中的每个初始像素位置(以像素位置f1为例),可以从高光蒙版图像中确定与像素位置f1对应的目标像素位置,即像素位置b1,并将固定值(如1)与像素位置b1的权重值的差值,作为像素位置f1的权重值。
在对每个初始像素位置进行上述处理后,可以得到每个初始像素位置的权重值,然后,将所有初始像素位置的权重值组合在一起,得到阴影蒙版图像。
示例性的,可以通过公式(6)获取与亮帧图像对应的阴影蒙版图像。
Figure BDA0002748129030000171
在公式(6)中,x表示像素位置,α1(x)表示高光蒙版图像中的像素位置x的权重值,
Figure BDA0002748129030000172
表示阴影蒙版图像中的像素位置x的权重值。阴影蒙版图像中的像素位置x与高光蒙版图像中的像素位置x对应,且阴影蒙版图像中像素位置x为初始像素位置,高光蒙版图像中像素位置x为目标像素位置。从公式(6)可以看出,可以通过对高光蒙版图像进行反相处理,得到阴影蒙版图像。比如说,考虑到亮帧图像除去车灯车牌区域外,其余大部分是有用需要保留的信息区域,对暗帧图像得到的高光蒙版图像进行反相,就可以得到阴影蒙版图像。
步骤2033、对暗帧图像,高光蒙版图像,亮帧图像和阴影蒙版图像进行融合,得到融合后的宽动态图像。比如说,将暗帧图像和高光蒙版图像进行融合,得到高光区域图像(如车灯区域和车牌区域的图像);将亮帧图像和阴影蒙版图像进行融合,得到阴影区域图像(如车身区域、车窗区域、环境区域的图像);对高光区域图像和阴影区域图像进行融合处理,得到宽动态图像。
在一种可能的实施方式中,可以通过公式(7)对暗帧图像,高光蒙版图像,亮帧图像和阴影蒙版图像进行融合,得到融合后的宽动态图像。当然,公式(7)只是一个示例,对此融合方式不做限制,只要能够得到宽动态图像即可。
Figure BDA0002748129030000181
x表示像素位置(像素位置x表示各图像中的同一像素位置),α1(x)表示高光蒙版图像中的像素位置x的权重值,
Figure BDA0002748129030000182
表示阴影蒙版图像中的像素位置x的权重值,I0(x)表示暗帧图像中的像素位置x的亮度值,I1(x)表示亮帧图像中的像素位置x的亮度值,J(x)表示融合后的宽动态图像中的像素位置x的亮度值。
示例性的,上述执行顺序只是为了方便描述给出的示例,在实际应用中,还可以改变步骤之间的执行顺序,对此执行顺序不做限制。而且,在其它实施例中,并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其它实施例中可能被分解为多个步骤进行描述;本说明书中所描述的多个步骤,在其它实施例也可能被合并为单个步骤进行描述。
由以上技术方案可见,本申请实施例中,通过对原始图像(监控设备对目标场景进行一次曝光得到的图像)进行第一伽马变换和第二伽马变换,可以得到暗帧图像和亮帧图像,并对暗帧图像和亮帧图像进行融合,得到融合后的宽动态图像,即将暗帧图像和亮帧图像的有用信息融合起来,得到清晰明亮的图像,达到扩展图像动态范围的效果。上述方式不需要对目标场景进行多次曝光,只需要对目标场景进行一次曝光,就可以得到融合后的宽动态图像,能够有效的增加图像的动态范围,兼顾明暗区域的信息显示,提高图像质量。上述方式对监控设备的硬件依赖小,无需监控设备对目标场景进行多次曝光。计算量简单,方便移植到不同平台,且可以满足嵌入式系统的实时处理需求。能同时兼顾画面中明亮、较暗区域,使明亮的部分和暗的部分可以看得清楚。
基于与上述方法同样的申请构思,本申请实施例中提出一种图像生成装置,参见图5所示,为所述图像生成装置的结构示意图,所述装置可以包括:
获取模块51,用于获取原始图像;处理模块52,用于对所述原始图像进行第一伽马变换,得到暗帧图像,并对所述原始图像进行第二伽马变换,得到亮帧图像;其中,所述暗帧图像包括高光区域和阴影区域,所述暗帧图像的高光区域的亮度值大于第一亮度阈值且小于第二亮度阈值,所述暗帧图像的阴影区域的亮度值小于第一亮度阈值;所述亮帧图像包括高光区域和阴影区域,所述亮帧图像的高光区域的亮度值大于第一亮度阈值,所述亮帧图像的阴影区域的亮度值大于第一亮度阈值且小于第二亮度阈值;所述暗帧图像的高光区域和所述亮帧图像的阴影区域用于进行融合;融合模块53,用于对所述暗帧图像和所述亮帧图像进行融合,得到融合后的宽动态图像。
在一种可能的实施方式中,所述处理模块52具体用于:通过第一伽马值和第一增益值对所述原始图像进行第一伽马变换,得到暗帧图像,所述第一伽马值和所述第一增益值均为正数;通过第二伽马值和第二增益值对所述原始图像进行第二伽马变换,得到亮帧图像,所述第二伽马值和所述第二增益值均为正数;其中,第一伽马值小于第二伽马值,第一增益值小于第二增益值;或者,第一伽马值小于第二伽马值,第一增益值等于第二增益值;或者,第一伽马值等于第二伽马值,第一增益值小于第二增益值。
在一种可能的实施方式中,所述融合模块53具体用于:获取与所述暗帧图像对应的高光蒙版图像,所述高光蒙版图像包括多个像素位置的权重值;其中,所述高光蒙版图像中的像素位置与所述暗帧图像中的像素位置一一对应,当所述暗帧图像中的像素位置的亮度值越大时,所述高光蒙版图像中与该像素位置对应的像素位置的权重值越大;以及,获取与所述亮帧图像对应的阴影蒙版图像,所述阴影蒙版图像包括多个像素位置的权重值;其中,所述阴影蒙版图像中的像素位置与所述亮帧图像中的像素位置一一对应,当所述亮帧图像中的像素位置的亮度值越大时,所述阴影蒙版图像中与该像素位置对应的像素位置的权重值越小;以及,对所述暗帧图像,所述高光蒙版图像,所述亮帧图像和所述阴影蒙版图像进行融合,得到融合后的宽动态图像。
示例性的,所述融合模块53获取与所述暗帧图像对应的高光蒙版图像时具体用于:对所述暗帧图像进行亮度分量提取处理,得到最大值图像;
对所述最大值图像进行膨胀处理,得到膨胀图像;
对所述膨胀图像进行均值滤波处理,得到所述高光蒙版图像。
示例性的,所述融合模块53获取与所述亮帧图像对应的阴影蒙版图像时具体用于:根据所述高光蒙版图像获取与所述亮帧图像对应的阴影蒙版图像。
基于与上述方法同样的申请构思,本申请实施例中提出一种图像生成设备(如上述实施例的监控设备),参见图6所示,图像生成设备包括:处理器61和机器可读存储介质62,机器可读存储介质62存储有能够被处理器61执行的机器可执行指令;处理器61用于执行机器可执行指令,以实现如下步骤:
获取原始图像;
对所述原始图像进行第一伽马变换,得到暗帧图像,并对所述原始图像进行第二伽马变换,得到亮帧图像;其中,所述暗帧图像包括高光区域和阴影区域,所述暗帧图像的高光区域的亮度值大于第一亮度阈值且小于第二亮度阈值,所述暗帧图像的阴影区域的亮度值小于第一亮度阈值;所述亮帧图像包括高光区域和阴影区域,所述亮帧图像的高光区域的亮度值大于第一亮度阈值,所述亮帧图像的阴影区域的亮度值大于第一亮度阈值且小于第二亮度阈值;所述暗帧图像的高光区域和所述亮帧图像的阴影区域用于进行融合;
对所述暗帧图像和所述亮帧图像进行融合,得到融合后的宽动态图像。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的图像生成方法。
其中,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种图像生成方法,其特征在于,所述方法包括:
获取原始图像;
对所述原始图像进行第一伽马变换,得到暗帧图像,并对所述原始图像进行第二伽马变换,得到亮帧图像;其中,所述暗帧图像包括高光区域和阴影区域,所述暗帧图像的高光区域的亮度值大于第一亮度阈值且小于第二亮度阈值,所述暗帧图像的阴影区域的亮度值小于第一亮度阈值;所述亮帧图像包括高光区域和阴影区域,所述亮帧图像的高光区域的亮度值大于第一亮度阈值,所述亮帧图像的阴影区域的亮度值大于第一亮度阈值且小于第二亮度阈值;所述暗帧图像的高光区域和所述亮帧图像的阴影区域用于进行融合;
对所述暗帧图像和所述亮帧图像进行融合,得到融合后的宽动态图像;其中,所述对所述暗帧图像和所述亮帧图像进行融合,得到融合后的宽动态图像,包括:获取与所述暗帧图像对应的高光蒙版图像,所述高光蒙版图像包括多个像素位置的权重值;其中,所述高光蒙版图像中的像素位置与所述暗帧图像中的像素位置一一对应,当所述暗帧图像中的像素位置的亮度值越大时,所述高光蒙版图像中与该像素位置对应的像素位置的权重值越大;获取与所述亮帧图像对应的阴影蒙版图像,所述阴影蒙版图像包括多个像素位置的权重值;其中,所述阴影蒙版图像中的像素位置与所述亮帧图像中的像素位置一一对应,当所述亮帧图像中的像素位置的亮度值越大时,所述阴影蒙版图像中与该像素位置对应的像素位置的权重值越小;对所述暗帧图像,所述高光蒙版图像,所述亮帧图像和所述阴影蒙版图像进行融合,得到融合后的宽动态图像。
2.根据权利要求1所述的方法,其特征在于,
所述对所述原始图像进行第一伽马变换,得到暗帧图像,并对所述原始图像进行第二伽马变换,得到亮帧图像,包括:
通过第一伽马值和第一增益值对所述原始图像进行第一伽马变换,得到暗帧图像,所述第一伽马值和所述第一增益值均为正数;
通过第二伽马值和第二增益值对所述原始图像进行第二伽马变换,得到亮帧图像,所述第二伽马值和所述第二增益值均为正数;
其中,第一伽马值小于第二伽马值,第一增益值小于第二增益值;或者,第一伽马值小于第二伽马值,第一增益值等于第二增益值;或者,第一伽马值等于第二伽马值,第一增益值小于第二增益值。
3.根据权利要求1所述的方法,其特征在于,
所述获取与所述暗帧图像对应的高光蒙版图像,包括:
对所述暗帧图像进行亮度分量提取处理,得到最大值图像;
对所述最大值图像进行膨胀处理,得到膨胀图像;
对所述膨胀图像进行均值滤波处理,得到所述高光蒙版图像。
4.根据权利要求3所述的方法,其特征在于,
所述最大值图像中的像素位置与所述暗帧图像中的像素位置一一对应,所述对所述暗帧图像进行亮度分量提取处理,得到最大值图像,包括:
针对所述最大值图像中的每个初始像素位置,从所述暗帧图像中确定与初始像素位置对应的目标像素位置;将所述目标像素位置的R通道亮度分量,G通道亮度分量,B通道亮度分量中的最大值,确定为该初始像素位置的亮度值;
基于所有初始像素位置的亮度值获得所述最大值图像。
5.根据权利要求3所述的方法,其特征在于,
所述膨胀图像中的像素位置与所述最大值图像中的像素位置一一对应,所述对所述最大值图像进行膨胀处理,得到膨胀图像,包括:
针对所述膨胀图像中的每个初始像素位置,从所述最大值图像中确定与初始像素位置对应的目标像素位置,从所述最大值图像中确定以所述目标像素位置为中心的目标区域,所述目标区域包括多个像素位置;将所述目标区域的多个像素位置的亮度值中的最大值,确定为该初始像素位置的亮度值;
基于所有初始像素位置的亮度值获得所述膨胀图像。
6.根据权利要求3所述的方法,其特征在于,
所述高光蒙版图像中的像素位置与所述膨胀图像中的像素位置一一对应,所述对所述膨胀图像进行均值滤波处理,得到所述高光蒙版图像,包括:
针对所述高光蒙版图像中的每个初始像素位置,从所述膨胀图像中确定与初始像素位置对应的目标像素位置,并从所述膨胀图像中确定以所述目标像素位置为中心的目标区域,所述目标区域包括多个像素位置;将所述目标区域的多个像素位置的亮度值的平均值,确定为该初始像素位置的亮度值;
对该初始像素位置的亮度值进行归一化,得到该初始像素位置的权重值;
基于所有初始像素位置的权重值获得所述高光蒙版图像。
7.根据权利要求1所述的方法,其特征在于,
所述获取与所述亮帧图像对应的阴影蒙版图像,包括:
根据所述高光蒙版图像获取与所述亮帧图像对应的阴影蒙版图像。
8.一种图像生成装置,其特征在于,所述装置包括:
获取模块,用于获取原始图像;
处理模块,用于对所述原始图像进行第一伽马变换,得到暗帧图像,并对所述原始图像进行第二伽马变换,得到亮帧图像;其中,所述暗帧图像包括高光区域和阴影区域,所述暗帧图像的高光区域的亮度值大于第一亮度阈值且小于第二亮度阈值,所述暗帧图像的阴影区域的亮度值小于第一亮度阈值;所述亮帧图像包括高光区域和阴影区域,所述亮帧图像的高光区域的亮度值大于第一亮度阈值,所述亮帧图像的阴影区域的亮度值大于第一亮度阈值且小于第二亮度阈值;所述暗帧图像的高光区域和所述亮帧图像的阴影区域用于进行融合;
融合模块,用于对所述暗帧图像和所述亮帧图像进行融合,得到融合后的宽动态图像;其中,所述融合模块对所述暗帧图像和所述亮帧图像进行融合,得到融合后的宽动态图像时具体用于:获取与所述暗帧图像对应的高光蒙版图像,所述高光蒙版图像包括多个像素位置的权重值;其中,所述高光蒙版图像中的像素位置与所述暗帧图像中的像素位置一一对应,当所述暗帧图像中的像素位置的亮度值越大时,所述高光蒙版图像中与该像素位置对应的像素位置的权重值越大;获取与所述亮帧图像对应的阴影蒙版图像,所述阴影蒙版图像包括多个像素位置的权重值;其中,所述阴影蒙版图像中的像素位置与所述亮帧图像中的像素位置一一对应,当所述亮帧图像中的像素位置的亮度值越大时,所述阴影蒙版图像中与该像素位置对应的像素位置的权重值越小;对所述暗帧图像,所述高光蒙版图像,所述亮帧图像和所述阴影蒙版图像进行融合,得到融合后的宽动态图像。
9.一种图像生成设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
获取原始图像;
对所述原始图像进行第一伽马变换,得到暗帧图像,并对所述原始图像进行第二伽马变换,得到亮帧图像;其中,所述暗帧图像包括高光区域和阴影区域,所述暗帧图像的高光区域的亮度值大于第一亮度阈值且小于第二亮度阈值,所述暗帧图像的阴影区域的亮度值小于第一亮度阈值;所述亮帧图像包括高光区域和阴影区域,所述亮帧图像的高光区域的亮度值大于第一亮度阈值,所述亮帧图像的阴影区域的亮度值大于第一亮度阈值且小于第二亮度阈值;所述暗帧图像的高光区域和所述亮帧图像的阴影区域用于进行融合;
对所述暗帧图像和所述亮帧图像进行融合,得到融合后的宽动态图像;其中,所述对所述暗帧图像和所述亮帧图像进行融合,得到融合后的宽动态图像,包括:获取与所述暗帧图像对应的高光蒙版图像,所述高光蒙版图像包括多个像素位置的权重值;其中,所述高光蒙版图像中的像素位置与所述暗帧图像中的像素位置一一对应,当所述暗帧图像中的像素位置的亮度值越大时,所述高光蒙版图像中与该像素位置对应的像素位置的权重值越大;获取与所述亮帧图像对应的阴影蒙版图像,所述阴影蒙版图像包括多个像素位置的权重值;其中,所述阴影蒙版图像中的像素位置与所述亮帧图像中的像素位置一一对应,当所述亮帧图像中的像素位置的亮度值越大时,所述阴影蒙版图像中与该像素位置对应的像素位置的权重值越小;对所述暗帧图像,所述高光蒙版图像,所述亮帧图像和所述阴影蒙版图像进行融合,得到融合后的宽动态图像。
CN202011173801.XA 2020-10-28 2020-10-28 一种图像生成方法、装置及设备 Active CN112258417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011173801.XA CN112258417B (zh) 2020-10-28 2020-10-28 一种图像生成方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011173801.XA CN112258417B (zh) 2020-10-28 2020-10-28 一种图像生成方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112258417A CN112258417A (zh) 2021-01-22
CN112258417B true CN112258417B (zh) 2023-02-28

Family

ID=74261625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011173801.XA Active CN112258417B (zh) 2020-10-28 2020-10-28 一种图像生成方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112258417B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113018856A (zh) * 2021-03-30 2021-06-25 网易(杭州)网络有限公司 图像处理方法、装置、电子设备及存储介质
CN113222869B (zh) * 2021-05-06 2024-03-01 杭州海康威视数字技术股份有限公司 一种图像处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097897A (ja) * 2018-02-08 2018-06-21 株式会社ニコン 画像処理装置および画像処理プログラム
CN108205796A (zh) * 2016-12-16 2018-06-26 大唐电信科技股份有限公司 一种多曝光图像的融合方法及装置
CN109155061A (zh) * 2017-12-20 2019-01-04 深圳市大疆创新科技有限公司 图像融合的方法、装置与无人机

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015072306A1 (ja) * 2013-11-14 2015-05-21 日本電気株式会社 画像処理システム
TWI566206B (zh) * 2015-09-09 2017-01-11 瑞昱半導體股份有限公司 寬動態範圍影像方法
US10313605B2 (en) * 2016-06-15 2019-06-04 Canon Kabushiki Kaisha Image processing apparatus and control method thereof for generating high dynamic range image data
KR102495754B1 (ko) * 2016-10-25 2023-02-02 한화테크윈 주식회사 광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205796A (zh) * 2016-12-16 2018-06-26 大唐电信科技股份有限公司 一种多曝光图像的融合方法及装置
CN109155061A (zh) * 2017-12-20 2019-01-04 深圳市大疆创新科技有限公司 图像融合的方法、装置与无人机
JP2018097897A (ja) * 2018-02-08 2018-06-21 株式会社ニコン 画像処理装置および画像処理プログラム

Also Published As

Publication number Publication date
CN112258417A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
US9712757B2 (en) Image capturing apparatus capable of compositing images generated using the same development parameter and control method therefor
CN111986129B (zh) 基于多摄图像融合的hdr图像生成方法、设备及存储介质
CN105208281B (zh) 一种夜景拍摄方法及装置
JP5761946B2 (ja) 画像処理装置、画像処理方法及び記憶媒体
CN108377343B (zh) 用于高动态范围成像的曝光选择器及其相关的方法
IES20060558A2 (en) Image blurring
JP2008116790A (ja) 多眼撮影装置および多眼撮影装置における露出設定方法並びにプログラム
US20120127336A1 (en) Imaging apparatus, imaging method and computer program
CN112258417B (zh) 一种图像生成方法、装置及设备
JP5804857B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2012235377A (ja) 画像処理装置、画像処理方法及びプログラム
CN111209775B (zh) 信号灯图像处理方法、装置、设备及存储介质
JP5804856B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20220198625A1 (en) High-dynamic-range image generation with pre-combination denoising
JP2015186247A (ja) 画像処理装置及びその制御方法、並びに、プログラム
JP2017011327A (ja) 画像処理装置、画像処理方法及びプログラム
CN111953893B (zh) 一种高动态范围图像生成方法、终端设备及存储介质
US11880963B2 (en) Apparatus and method for image processing
KR101387023B1 (ko) 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법
JP2009200743A (ja) 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
KR101437898B1 (ko) 단일 영상을 이용한 hdr 영상 생성 장치 및 방법
CN110428391B (zh) 用以去除鬼影假象的图像融合方法及装置
JP2018050149A (ja) 画像処理装置
JP2013192057A (ja) 撮像装置、その制御方法、および制御プログラム
JP5952574B2 (ja) 画像処理装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant