CN117014729B - 一种二次曝光图像融合高动态范围图像的方法及系统 - Google Patents

一种二次曝光图像融合高动态范围图像的方法及系统 Download PDF

Info

Publication number
CN117014729B
CN117014729B CN202311253991.XA CN202311253991A CN117014729B CN 117014729 B CN117014729 B CN 117014729B CN 202311253991 A CN202311253991 A CN 202311253991A CN 117014729 B CN117014729 B CN 117014729B
Authority
CN
China
Prior art keywords
image
exposure
value
exposure image
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311253991.XA
Other languages
English (en)
Other versions
CN117014729A (zh
Inventor
张�浩
罗飞
董中飞
鞠春晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Huixi Intelligent Technology Co ltd
Original Assignee
Hefei Huixi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Huixi Intelligent Technology Co ltd filed Critical Hefei Huixi Intelligent Technology Co ltd
Priority to CN202311253991.XA priority Critical patent/CN117014729B/zh
Publication of CN117014729A publication Critical patent/CN117014729A/zh
Application granted granted Critical
Publication of CN117014729B publication Critical patent/CN117014729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了一种二次曝光图像融合高动态范围图像的方法及系统，所述方法包括：获取用于融合的低曝光图像；其中，所述低曝光图像为图像中达到像素最大值的像素数占整幅图像尺寸的比例达到预设阈值的图像；获取用于融合的高曝光图像；其中，所述高曝光图像为图像中过曝区域占整幅图像尺寸的比例不超过预设阈值的图像；基于所述低曝光图像和所述高曝光图像，计算得到曝光比例因子和融合权重；基于所述曝光比例因子和融合权重，对所述低曝光图像和所述高曝光图像进行加权融合，得到最终的高动态范围图像。本发明方案在减少了融合图像数量的同时，提升了融合质量，且便于在硬件上实施。

Description

一种二次曝光图像融合高动态范围图像的方法及系统
技术领域
本发明涉及图像处理技术领域，特别涉及一种二次曝光图像融合高动态范围图像的方法及系统。
背景技术
多曝光融合图像是一种将多张不同曝光水平的图像融合成HDR（High DynamicRange，高动态范围）图像的技术。这种技术通常用于在相机无法捕捉到整个场景动态范围的情况下，生成具有更广泛亮度动态范围的图像。多曝光融合通常使用3-4张不同曝光水平的图像，这些图像中暗部细节在较亮的曝光下可见，而亮部细节在较暗的曝光下可见。通过将这些图像合成在一起，可在图像中获得更广泛的亮度动态范围，从而产生比单个图像更具视觉冲击力的效果。
传统的多曝光融合技术包括基于加权平均的方法、基于区域的方法和基于图像分割的方法等。现有的技术通常会使用其中的一种或者多种融合方案来获取HDR图像。例如Paul Debevec在1997年提出的利用图像的曝光时间，获得相机的响应函数，然后利用响应函数，将图像从像素值反映射回场景辐照域，从而加权平均融合的方式。或者像近些年来提出的一些融合算法，通常使用3-4帧不同曝光的图像进行分区域，或者分割的方式来进行融合。
由上可知，在目前现有的这些方法中，为了使每个曝光都能反应一部分场景的细节，通常都需要对多张图像的曝光进行调节，实现最终的融合。这带来了以下几个问题：1、需要对多张图像进行对齐及加权融合，这会导致误差的累积和影响融合结果的质量；2、多张图像融合在动态场景中，对图像的对齐和融合的要求也会更高；3、多张图像的信息并没有完全利用，造成了一定的信息浪费；4、多张图像的融合所需要处理的算法复杂度和图像数量成正比。
发明内容
本发明提供了一种二次曝光图像融合高动态范围图像的方法及系统，以解决现有技术所存在的复杂度高，易导致误差累积以及造成图像信息浪费的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：
一方面，本发明提供了一种二次曝光图像融合高动态范围图像的方法，包括：
获取用于融合的低曝光图像；其中，所述低曝光图像为图像中达到像素最大值的像素数占整幅图像尺寸的比例达到预设阈值的图像；
获取用于融合的高曝光图像；其中，所述高曝光图像为图像中过曝区域占整幅图像尺寸的比例不超过预设阈值的图像；
基于所述低曝光图像和所述高曝光图像，计算得到曝光比例因子；
基于所述低曝光图像和所述高曝光图像，计算得到融合权重；
基于所述曝光比例因子和所述融合权重，对所述低曝光图像和所述高曝光图像进行加权融合，得到最终的高动态范围图像。
进一步地，所述获取用于融合的低曝光图像，包括：
S11，将探测器可支持的最低曝光量设为初始的低曝光值；
S12，判断在当前的低曝光值下，曝光图像中达到像素最大值的像素数占整幅图像尺寸的比例是否已达到预设阈值，若是，则执行S13，否则，执行S14；
S13，获取当前的低曝光值下的图像，作为所述低曝光图像；
S14，对当前的低曝光值按预设增加幅度进行增加，然后执行S12。
进一步地，所述获取用于融合的高曝光图像，包括：
S21，获取所述低曝光图像的相机响应曲线；
S22，将待获取的高曝光图像的相机响应曲线与所述低曝光图像的相机响应曲线的有效照度值重叠度为10%时所对应的曝光值设为初始的高曝光值；
S23，对当前的高曝光值下所获取的曝光图像进行直方图统计，判断当前曝光图像的过曝区域占整幅图像尺寸的比例是否超过预设阈值，若是，则执行S24，否则，执行S25；
S24，对当前的高曝光值按照预设缩减幅度进行缩减，然后执行S23；
S25，获取当前的高曝光值下的图像，作为所述高曝光图像。
进一步地，所述曝光比例因子的计算公式如下：
；
其中，表示高曝光图像的曝光值；/>表示低曝光图像的曝光值。
进一步地，
所述融合权重的计算公式如下：
；
；
；
其中，表示高曝光图像像素灰度值最大值，/>表示高曝光图像像素灰度值最小值，/>表示高曝光图像像素灰度值均值，/>表示低曝光图像像素灰度值均值，表示高曝光图像像素灰度值方差，/>表示低曝光图像像素灰度值方差，/>表示的最小值，/>和/>分别代表了高曝光图像和低曝光图像中的一个像素点的像素灰度值。
进一步地，基于所述曝光比例因子和所述融合权重，对所述低曝光图像和所述高曝光图像进行加权融合，得到最终的高动态范围图像的公式如下：
；
其中，表示最终的高动态范围图像中的像素点的像素灰度值，/>表示融合权重，/>和/>分别代表了高曝光图像和低曝光图像中的一个像素点的像素灰度值，/>表示曝光比例因子。
另一方面，本发明还提供了一种二次曝光图像融合高动态范围图像的系统，包括：
图像选择模块，用于：
获取用于融合的低曝光图像；其中，所述低曝光图像为图像中达到像素最大值的像素数占整幅图像尺寸的比例达到预设阈值的图像；
获取用于融合的高曝光图像；其中，所述高曝光图像为图像中过曝区域占整幅图像尺寸的比例不超过预设阈值的图像；
图像融合模块，用于：
基于所述低曝光图像和所述高曝光图像，计算得到曝光比例因子；
基于所述低曝光图像和所述高曝光图像，计算得到融合权重；
基于所述曝光比例因子和所述融合权重，对所述低曝光图像和所述高曝光图像进行加权融合，得到最终的高动态范围图像。
进一步地，所述图像选择模块获取用于融合的低曝光图像的过程包括：
S11，将探测器可支持的最低曝光量设为初始的低曝光值；
S12，判断在当前的低曝光值下，曝光图像中达到像素最大值的像素数占整幅图像尺寸的比例是否已达到预设阈值，若是，则执行S13，否则，执行S14；
S13，获取当前的低曝光值下的图像，作为所述低曝光图像；
S14，对当前的低曝光值按预设增加幅度进行增加，然后执行S12；
所述图像选择模块获取用于融合的高曝光图像的过程包括：
S21，获取所述低曝光图像的相机响应曲线；
S22，将待获取的高曝光图像的相机响应曲线与所述低曝光图像的相机响应曲线的有效照度值重叠度为10%时所对应的曝光值设为初始的高曝光值；
S23，对当前的高曝光值下所获取的曝光图像进行直方图统计，判断当前曝光图像的过曝区域占整幅图像尺寸的比例是否超过预设阈值，若是，则执行S24，否则，执行S25；
S24，对当前的高曝光值按照预设缩减幅度进行缩减，然后执行S23；
S25，获取当前的高曝光值下的图像，作为所述高曝光图像。
进一步地，所述曝光比例因子的计算公式如下：
；
其中，表示高曝光图像的曝光值；/>表示低曝光图像的曝光值；
所述融合权重的计算公式如下：
；
；
；
其中，表示高曝光图像像素灰度值最大值，/>表示高曝光图像像素灰度值最小值，/>表示高曝光图像像素灰度值均值，/>表示低曝光图像像素灰度值均值，表示高曝光图像像素灰度值方差，/>表示低曝光图像像素灰度值方差，/>表示的最小值，/>和/>分别代表了高曝光图像和低曝光图像中的一个像素点的像素灰度值。
进一步地，所述图像融合模块基于曝光比例因子和融合权重，对所述低曝光图像和所述高曝光图像进行加权融合，得到最终的高动态范围图像的公式如下：
；
其中，表示最终的高动态范围图像中的像素点的像素灰度值，/>表示融合权重，/>和/>分别代表了高曝光图像和低曝光图像中的一个像素点的像素灰度值，/>表示曝光比例因子。
再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
本发明提供的技术方案带来的有益效果至少包括：
1、相比于现有的多帧图像融合方案为了方便实现，以及算法构建的限制，通常使用3-4张图像进行融合，实际造成了图像信息浪费的问题，本发明提出的通过两张图像进行融合的方案，只需利用两帧曝光图像进行融合，有效利用了两张图像的信息，最大限度地节省了对图像数量的需求，减少了融合图像的数量，从而减少了图像对齐，融合，计算等处理步骤的复杂度，节省了计算时间；
2、本发明中基于直方图及相机响应曲线的计算，有效利用了相机拍摄时的非线性响应区间，从而大大提高了图像信息的利用效率，以此选取的两张曝光合适的LDR（LowDynamic Range，低动态范围）图像即可融合成一张超高动态范围的HDR图像。采用此方式融合成的HDR图像即可达到目前常用算法利用3-4张图片融合HDR图像才能达到的动态范围，或者超过该动态范围；
3、像素级的融合方式在硬件上便于实施，减少了图像对齐和处理的复杂度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的二次曝光图像融合高动态范围图像的方法的执行流程示意图；
图2是本发明实施例提供的二次曝光图像融合高动态范围图像的方法的详细实施流程示意图；
图3是本发明实施例提供的相机响应曲线示意图；
图4是本发明实施例提供的相机响应曲线重叠区间示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
针对现有技术所存在的复杂度高，易导致误差累积以及造成图像信息浪费的问题，本实施例提供了一种二次曝光图像融合高动态范围图像的方法，其包括图像选择和图像融合两部分内容，其执行流程如图1所示，包括以下步骤：
S1，获取用于融合的低曝光图像；其中，低曝光图像为图像中达到像素最大值的像素数占整幅图像尺寸的比例达到预设阈值的图像；
具体地，如图2所示，在本实施例中，上述S1获取低曝光图像的方式为：设探测器曝光值为初始值exp0（即探测器可支持的最低曝光量），统计该曝光值下，是否达到低曝光图像的选择阈值（像素最大值max（探测器支持的最大bit位宽数值）的像素数是否已达到整幅图像尺寸的0.5%）。若否，则继续增加曝光值，直至达到低曝光图像的选择阈值。并将此曝光值作为低曝光图像的曝光值expL，获取所需的用于后续融合的低曝光图像L。其执行流程具体如下：
S11，将探测器可支持的最低曝光量设为初始的低曝光值；
S12，判断在当前的低曝光值下，曝光图像中像素最大值的像素数占整幅图像尺寸的比例是否已达到预设阈值，若是，则执行S13，否则，执行S14；
S13，获取当前的低曝光值下的图像，作为所述低曝光图像；
S14，对当前的低曝光值按预设增加幅度进行增加，然后执行S12。
具体地，在本实施例中，像素最大值（探测器支持的12 bit位宽数值），整幅图像尺寸假设为1920*1080，选择阈值设为0.5%；则低曝光图像需要满足其达到像素最大值的像素数/>。
对此，本实施例将探测器曝光值从初始值，增加到曝光值/>，以满足上述条件。并将此曝光值作为低曝光图像的曝光值。
S2，获取用于融合的高曝光图像；其中，所述高曝光图像为图像中过曝区域占整幅图像尺寸的比例不超过预设阈值的图像；
具体地，如图2所示，在本实施例中，上述S2获取高曝光图像的方式为：根据低曝光图像的相机响应曲线，计算获得目标曝光值expt，并将其设入探测器中。随后对获取的图像进行直方图统计，判断其过曝区域是否超过图像尺寸的0.5%，若不超过，则以该曝光值作为高曝光图像的曝光值expH，并获取所需的用于后续融合的高曝光图像H。若超过，则缩减，重新设入探测器中，进行直方图统计，直到满足上述要求。其执行流程具体如下：
S21，获取所述低曝光图像的相机响应曲线；
其中，相机的响应曲线计算公式为：；其中，为图片像素值，/>为传感器上的辐照度，t为曝光时间（可看为曝光值）。
S22，将待获取的高曝光图像的相机响应曲线与所述低曝光图像的相机响应曲线的有效照度值重叠度为10%时所对应的曝光值设为初始的高曝光值；
其中，需要说明的是，如图3所示，相机的响应曲线通过标定可以获取图像像素值与场景照度以及曝光值的关系。其中，横坐标代表场景照度，纵坐标代表图像像素值。改变图像曝光值可以使曲线左右横移。对此，本实施例将高曝光图像的相机响应曲线设为与低曝光图像的相机响应曲线的有效照度值（未过曝及不为0区间）重叠度设为10%。此时获取的曝光值为expt。如图4所示。
S23，对当前的高曝光值下所获取的曝光图像进行直方图统计，判断当前曝光图像的过曝区域占整幅图像尺寸的比例是否超过预设阈值，若是，则执行S24，否则，执行S25；
S24，对当前的高曝光值按照预设缩减幅度进行缩减，然后执行S23；
S25，获取当前的高曝光值下的图像，作为所述高曝光图像。
基于上述，本实施例最终确定的高曝光图像的曝光值。
S3，基于所述低曝光图像和所述高曝光图像，计算得到曝光比例因子；
其中，曝光比例因子用来调整低曝光图像L的亮度，其计算公式如下：
；
在本实施例中，计算得到的曝光比例因子的值为42。
S4，基于所述低曝光图像和所述高曝光图像，计算得到融合权重；
其中，融合权重用来控制低曝光图像L和高曝光图像H之间的混合比例。其计算公式如下：
；
；
；
其中，表示高曝光图像像素灰度值最大值，/>表示高曝光图像像素灰度值最小值，/>表示高曝光图像像素灰度值均值，/>表示低曝光图像像素灰度值均值，表示高曝光图像像素灰度值方差，/>表示低曝光图像像素灰度值方差，/>表示的最小值，/>和/>分别代表了高曝光图像和低曝光图像中的一个像素点的像素灰度值。
S5，基于所述曝光比例因子和所述融合权重，对所述低曝光图像和所述高曝光图像进行加权融合，得到最终的高动态范围图像；
其中，基于所述曝光比例因子和所述融合权重，对所述低曝光图像和所述高曝光图像进行加权融合，得到最终的高动态范围图像的公式如下：
；
综上，本实施例提供了一种二次曝光图像融合高动态范围图像的方法，该方法只需利用两帧曝光图像进行融合，有效利用了两张图像的信息，最大限度地节省了对图像数量的需求，减少了融合图像的数量，从而减少了图像对齐，融合，计算等处理步骤的复杂度，节省了计算时间；其基于直方图及相机响应曲线的计算，有效利用了相机拍摄时的非线性响应区间，从而大大提高了图像信息的利用效率，以此选取的两张曝光合适的LDR图像即可融合成一张超高动态范围的HDR图像。采用此方式融合成的HDR图像即可达到目前常用算法利用3-4张图片融合HDR图像才能达到的动态范围，或者超过该动态范围；而且，该方法所采用的像素级的融合方式在硬件上便于实施，减少了算法复杂度。
第二实施例
本实施例提供了一种二次曝光图像融合高动态范围图像的系统，包括：
图像选择模块，用于：
获取用于融合的低曝光图像；其中，所述低曝光图像为图像中像素最大值的像素数占整幅图像尺寸的比例达到预设阈值的图像；
获取用于融合的高曝光图像；其中，所述高曝光图像为图像中过曝区域占整幅图像尺寸的比例不超过预设阈值的图像；
图像融合模块，用于：
基于所述低曝光图像和所述高曝光图像，计算得到曝光比例因子；
基于所述低曝光图像和所述高曝光图像，计算得到融合权重；
基于所述曝光比例因子和所述融合权重，对所述低曝光图像和所述高曝光图像进行加权融合，得到最终的高动态范围图像。
本实施例的二次曝光图像融合高动态范围图像的系统与上述第一实施例的二次曝光图像融合高动态范围图像的方法相对应；其中，本实施例的二次曝光图像融合高动态范围图像的系统中的各功能模块所实现的功能与上述二次曝光图像融合高动态范围图像的方法中的各流程步骤一一对应；故，在此不再赘述。
第三实施例
本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
第四实施例
本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (6)

1.一种二次曝光图像融合高动态范围图像的方法，其特征在于，包括：
获取用于融合的低曝光图像；其中，所述低曝光图像为图像中达到像素最大值的像素数占整幅图像尺寸的比例达到预设阈值的图像；
获取用于融合的高曝光图像；其中，所述高曝光图像为图像中过曝区域占整幅图像尺寸的比例不超过预设阈值的图像；
基于所述低曝光图像和所述高曝光图像，计算得到曝光比例因子；
基于所述低曝光图像和所述高曝光图像，计算得到融合权重；
基于所述曝光比例因子和所述融合权重，对所述低曝光图像和所述高曝光图像进行加权融合，得到最终的高动态范围图像；
所述获取用于融合的低曝光图像，包括：
S11，将探测器可支持的最低曝光量设为初始的低曝光值；
S12，判断在当前的低曝光值下，曝光图像中达到像素最大值的像素数占整幅图像尺寸的比例是否已达到预设阈值，若是，则执行S13，否则，执行S14；
S13，获取当前的低曝光值下的图像，作为所述低曝光图像；
S14，对当前的低曝光值按预设增加幅度进行增加，然后执行S12；
所述获取用于融合的高曝光图像，包括：
S21，获取所述低曝光图像的相机响应曲线；
S22，将待获取的高曝光图像的相机响应曲线与所述低曝光图像的相机响应曲线的有效照度值重叠度为10%时所对应的曝光值设为初始的高曝光值；
S23，对当前的高曝光值下所获取的曝光图像进行直方图统计，判断当前曝光图像的过曝区域占整幅图像尺寸的比例是否超过预设阈值，若是，则执行S24，否则，执行S25；
S24，对当前的高曝光值按照预设缩减幅度进行缩减，然后执行S23；
S25，获取当前的高曝光值下的图像，作为所述高曝光图像；
所述融合权重的计算公式如下：
；
；
；
其中，表示高曝光图像像素灰度值最大值，/>表示高曝光图像像素灰度值最小值，/>表示高曝光图像像素灰度值均值，/>表示低曝光图像像素灰度值均值，/>表示高曝光图像像素灰度值方差，/>表示低曝光图像像素灰度值方差，/>表示/>的最小值，/>和/>分别代表了高曝光图像和低曝光图像中的一个像素点的像素灰度值。
2.如权利要求1所述的二次曝光图像融合高动态范围图像的方法，其特征在于，所述曝光比例因子的计算公式如下：
；
其中，表示高曝光图像的曝光值；/>表示低曝光图像的曝光值。
3.如权利要求1所述的二次曝光图像融合高动态范围图像的方法，其特征在于，基于所述曝光比例因子和所述融合权重，对所述低曝光图像和所述高曝光图像进行加权融合，得到最终的高动态范围图像的公式如下：
；
其中，表示最终的高动态范围图像中的像素点的像素灰度值，/>表示融合权重，和/>分别代表了高曝光图像和低曝光图像中的一个像素点的像素灰度值，/>表示曝光比例因子。
4.一种二次曝光图像融合高动态范围图像的系统，其特征在于，包括：
图像选择模块，用于：
获取用于融合的低曝光图像；其中，所述低曝光图像为图像中达到像素最大值的像素数占整幅图像尺寸的比例达到预设阈值的图像；
获取用于融合的高曝光图像；其中，所述高曝光图像为图像中过曝区域占整幅图像尺寸的比例不超过预设阈值的图像；
图像融合模块，用于：
基于所述低曝光图像和所述高曝光图像，计算得到曝光比例因子；
基于所述低曝光图像和所述高曝光图像，计算得到融合权重；
基于所述曝光比例因子和所述融合权重，对所述低曝光图像和所述高曝光图像进行加权融合，得到最终的高动态范围图像；
所述图像选择模块获取用于融合的低曝光图像的过程包括：
S11，将探测器可支持的最低曝光量设为初始的低曝光值；
S12，判断在当前的低曝光值下，曝光图像中达到像素最大值的像素数占整幅图像尺寸的比例是否已达到预设阈值，若是，则执行S13，否则，执行S14；
S13，获取当前的低曝光值下的图像，作为所述低曝光图像；
S14，对当前的低曝光值按预设增加幅度进行增加，然后执行S12；
所述图像选择模块获取用于融合的高曝光图像的过程包括：
S21，获取所述低曝光图像的相机响应曲线；
S22，将待获取的高曝光图像的相机响应曲线与所述低曝光图像的相机响应曲线的有效照度值重叠度为10%时所对应的曝光值设为初始的高曝光值；
S23，对当前的高曝光值下所获取的曝光图像进行直方图统计，判断当前曝光图像的过曝区域占整幅图像尺寸的比例是否超过预设阈值，若是，则执行S24，否则，执行S25；
S24，对当前的高曝光值按照预设缩减幅度进行缩减，然后执行S23；
S25，获取当前的高曝光值下的图像，作为所述高曝光图像；
所述融合权重的计算公式如下：
；
；
；
其中，表示高曝光图像像素灰度值最大值，/>表示高曝光图像像素灰度值最小值，/>表示高曝光图像像素灰度值均值，/>表示低曝光图像像素灰度值均值，/>表示高曝光图像像素灰度值方差，/>表示低曝光图像像素灰度值方差，/>表示/>的最小值，/>和/>分别代表了高曝光图像和低曝光图像中的一个像素点的像素灰度值。
5.如权利要求4所述的二次曝光图像融合高动态范围图像的系统，其特征在于，所述曝光比例因子的计算公式如下：
；
其中，表示高曝光图像的曝光值；/>表示低曝光图像的曝光值。
6.如权利要求4所述的二次曝光图像融合高动态范围图像的系统，其特征在于，所述图像融合模块基于所述曝光比例因子和所述融合权重，对所述低曝光图像和所述高曝光图像进行加权融合，得到最终的高动态范围图像的公式如下：
；
其中，表示最终的高动态范围图像中的像素点的像素灰度值，/>表示融合权重，和/>分别代表了高曝光图像和低曝光图像中的一个像素点的像素灰度值，/>表示曝光比例因子。
CN202311253991.XA 2023-09-27 2023-09-27 一种二次曝光图像融合高动态范围图像的方法及系统 Active CN117014729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311253991.XA CN117014729B (zh) 2023-09-27 2023-09-27 一种二次曝光图像融合高动态范围图像的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311253991.XA CN117014729B (zh) 2023-09-27 2023-09-27 一种二次曝光图像融合高动态范围图像的方法及系统

Publications (2)

Publication Number Publication Date
CN117014729A CN117014729A (zh) 2023-11-07
CN117014729B true CN117014729B (zh) 2023-12-05

Family

ID=88565745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311253991.XA Active CN117014729B (zh) 2023-09-27 2023-09-27 一种二次曝光图像融合高动态范围图像的方法及系统

Country Status (1)

Country Link
CN (1) CN117014729B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010273001A (ja) * 2009-05-20 2010-12-02 Mega Chips Corp 画像処理装置、撮像装置、および合成画像の生成方法
US9204113B1 (en) * 2010-06-28 2015-12-01 Ambarella, Inc. Method and/or apparatus for implementing high dynamic range image processing in a video processing system
CN105933617A (zh) * 2016-05-19 2016-09-07 中国人民解放军装备学院 一种用于克服动态问题影响的高动态范围图像融合方法
CN108718388A (zh) * 2018-08-29 2018-10-30 维沃移动通信有限公司 一种拍照方法及移动终端
US10855931B1 (en) * 2019-11-07 2020-12-01 Novatek Microelectronics Corp. High dynamic range image sensing method for image sensing device
CN112085673A (zh) * 2020-08-27 2020-12-15 宁波大学 一种强鬼影去除多曝光图像融合方法
CN113129391A (zh) * 2021-04-27 2021-07-16 西安邮电大学 基于多曝光图像特征分布权重的多曝光融合方法
CN113628141A (zh) * 2021-08-18 2021-11-09 上海磐启微电子有限公司 一种基于高低曝光图像融合的hdr细节增强方法
CN113676636A (zh) * 2021-08-16 2021-11-19 Oppo广东移动通信有限公司 高动态范围图像的生成方法、装置、电子设备和存储介质
CN113691738A (zh) * 2018-06-07 2021-11-23 杜比实验室特许公司 从单拍摄hdr彩色图像传感器生成hdr图像
CN114189633A (zh) * 2021-12-22 2022-03-15 北京紫光展锐通信技术有限公司 Hdr图像成像方法、装置及电子设备
CN114630053A (zh) * 2020-12-11 2022-06-14 青岛海信移动通信技术股份有限公司 一种hdr图像显示方法及显示设备
CN115150561A (zh) * 2022-05-23 2022-10-04 中国人民解放军国防科技大学 一种高动态成像系统和方法
CN115660968A (zh) * 2022-09-20 2023-01-31 长春理工大学 一种基于相机成像原理的低照度图像增强方法
CN116233607A (zh) * 2021-12-01 2023-06-06 Oppo广东移动通信有限公司 一种多曝光图像处理方法、装置、芯片及电子设备
CN116299341A (zh) * 2023-02-02 2023-06-23 绍兴埃瓦科技有限公司 基于tof的双目深度信息获取系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101633893B1 (ko) * 2010-01-15 2016-06-28 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법
CN106875352B (zh) * 2017-01-17 2019-08-30 北京大学深圳研究生院 一种低照度图像增强方法
KR102314703B1 (ko) * 2017-12-26 2021-10-18 에스케이하이닉스 주식회사 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법
US11128809B2 (en) * 2019-02-15 2021-09-21 Samsung Electronics Co., Ltd. System and method for compositing high dynamic range images

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010273001A (ja) * 2009-05-20 2010-12-02 Mega Chips Corp 画像処理装置、撮像装置、および合成画像の生成方法
US9204113B1 (en) * 2010-06-28 2015-12-01 Ambarella, Inc. Method and/or apparatus for implementing high dynamic range image processing in a video processing system
CN105933617A (zh) * 2016-05-19 2016-09-07 中国人民解放军装备学院 一种用于克服动态问题影响的高动态范围图像融合方法
CN113691738A (zh) * 2018-06-07 2021-11-23 杜比实验室特许公司 从单拍摄hdr彩色图像传感器生成hdr图像
CN108718388A (zh) * 2018-08-29 2018-10-30 维沃移动通信有限公司 一种拍照方法及移动终端
US10855931B1 (en) * 2019-11-07 2020-12-01 Novatek Microelectronics Corp. High dynamic range image sensing method for image sensing device
CN112085673A (zh) * 2020-08-27 2020-12-15 宁波大学 一种强鬼影去除多曝光图像融合方法
CN114630053A (zh) * 2020-12-11 2022-06-14 青岛海信移动通信技术股份有限公司 一种hdr图像显示方法及显示设备
CN113129391A (zh) * 2021-04-27 2021-07-16 西安邮电大学 基于多曝光图像特征分布权重的多曝光融合方法
CN113676636A (zh) * 2021-08-16 2021-11-19 Oppo广东移动通信有限公司 高动态范围图像的生成方法、装置、电子设备和存储介质
CN113628141A (zh) * 2021-08-18 2021-11-09 上海磐启微电子有限公司 一种基于高低曝光图像融合的hdr细节增强方法
CN116233607A (zh) * 2021-12-01 2023-06-06 Oppo广东移动通信有限公司 一种多曝光图像处理方法、装置、芯片及电子设备
CN114189633A (zh) * 2021-12-22 2022-03-15 北京紫光展锐通信技术有限公司 Hdr图像成像方法、装置及电子设备
CN115150561A (zh) * 2022-05-23 2022-10-04 中国人民解放军国防科技大学 一种高动态成像系统和方法
CN115660968A (zh) * 2022-09-20 2023-01-31 长春理工大学 一种基于相机成像原理的低照度图像增强方法
CN116299341A (zh) * 2023-02-02 2023-06-23 绍兴埃瓦科技有限公司 基于tof的双目深度信息获取系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多曝光图像融合关键技术的研究;王春萌;中国优秀硕士学位论文全文数据库（电子期刊）;全文 *

Also Published As

Publication number Publication date
CN117014729A (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
CN106713778B (zh) 曝光控制方法和装置
US9330446B2 (en) Method and apparatus for processing image
CN108337445B (zh) 拍照方法、相关设备及计算机存储介质
US8977073B2 (en) Apparatus and method for blending multiple images
CN101719989B (zh) 一种背光补偿的方法及系统
CN102694981B (zh) 基于自适应阈值分割的直方图均衡化的自动曝光方法
CN105578068A (zh) 一种高动态范围图像的生成方法、装置及移动终端
CN109417605B (zh) 用于执行自动曝光控制aec的方法、设备、计算机可读媒体及系统
JP2015532070A (ja) シーン認識方法および装置
WO2022116989A1 (zh) 图像处理方法、装置、设备和存储介质
WO2017035750A1 (zh) 一种拍摄图片的方法及装置
CN110766639A (zh) 图像增强方法、装置、移动设备及计算机可读存储介质
CN110139020B (zh) 一种图像处理方法及其装置
CN111711767B (zh) 一种自动曝光控制方法及电子设备
CN111601048B (zh) 图像处理方法及装置
WO2017173750A1 (zh) 调整图像曝光度的方法及系统
CN111314622A (zh) 一种多种场景下图像亮度自适应调节方法、装置及系统
CN111369471A (zh) 一种图像处理方法、装置、设备和存储介质
CN111225162A (zh) 图像曝光的控制方法、系统、可读存储介质及摄像设备
CN117014729B (zh) 一种二次曝光图像融合高动态范围图像的方法及系统
CN113840095A (zh) 一种补光灯控制方法及相关装置
CN112653845A (zh) 曝光控制方法、装置、电子设备及可读存储介质
US9210335B2 (en) Method for generating HDR images using modified weight
CN113556468B (zh) 一种图像处理的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant