CN116095502B - 一种多曝光图像融合的方法和装置 - Google Patents

一种多曝光图像融合的方法和装置 Download PDF

Info

Publication number
CN116095502B
CN116095502B CN202310393926.0A CN202310393926A CN116095502B CN 116095502 B CN116095502 B CN 116095502B CN 202310393926 A CN202310393926 A CN 202310393926A CN 116095502 B CN116095502 B CN 116095502B
Authority
CN
China
Prior art keywords
image
exposure
pixel
data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310393926.0A
Other languages
English (en)
Other versions
CN116095502A (zh
Inventor
宋捷
冯雨
李源昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Core Microelectronics Technology Zhuhai Co ltd
Original Assignee
Core Microelectronics Technology Zhuhai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Core Microelectronics Technology Zhuhai Co ltd filed Critical Core Microelectronics Technology Zhuhai Co ltd
Priority to CN202310393926.0A priority Critical patent/CN116095502B/zh
Publication of CN116095502A publication Critical patent/CN116095502A/zh
Application granted granted Critical
Publication of CN116095502B publication Critical patent/CN116095502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及图像处理领域，特别是涉及一种多曝光图像融合的方法和装置。主要包括：获取多组相同场景下不同曝光值的原始图像，所述原始图像的像素位宽和像素尺寸相同；将不同曝光值的原始图像加权归一化到同一亮度等级，对归一化后的图像进行逐像素的混合，再将混合后的图像压缩至原始图像的像素位宽。本发明可以可应用于Bayer图像格式、无需使用由ISP产生的图像曝光增益控信号、且对内存和带宽要求较小，并可以基于该方法完成ISP中多曝光图像融合电路的设计。

Description

一种多曝光图像融合的方法和装置
技术领域
本发明涉及图像处理领域，特别是涉及一种多曝光图像融合的方法和装置。
背景技术
多曝光图像融合（Multi Exposure Fusion，简写为MEF）是将多帧不同曝光的低动态范围图像融合成一张高动态范围图像的技术，广泛用于安防门将、汽车自动驾驶、消费电子等领域。
目前多曝光融合技术主要有以下方向：
1、使用特定空域特征的空域法。该方法直接将源图像在空域上根据特定的规则直接混合，按照空域范围的不同可分为：基于像素、基于区块和基于最优化的方法。
2、基于变换域的方法。该方法首先使用图像分解或图像表示的方法将将图像转换到其它域，然后在该域下混合，最后将混合后的数据反变换或重建成最终的混合图像。相对方向1中的方法，本方法在特征的保持上有更优的性能。按照变换域的不同可分为：基于多尺度分解、基于梯度空间和基于稀疏表示等方法。
3、基于深度学习的方法。卷积神经网络（Convolutional Neural Network，简写为CNN）和生成对抗网络（Generative Adversarial Network，简写为GAN）具有较强的特征表示能力，因此将其应用在图像混合领域也可以得到较好的效果，但是其庞大计算量和内存需求严重限制了该方法的使用。
上述这些方法虽然效果较好，但是无法应用于数字成像系统（Image SignalProcessor，简写为ISP）中，其原因在于：
1、上述方法主要针对RGB图象格式设计，但是ISP中多曝光图像融合的输入格式为Bayer。
2、在量产的ISP芯片中，图像的曝光增益控信号由ISP产生，而上述方法都属于图像后处理方法，其中并不包含该信息。
3、上述方法对内存容量和带宽需求过大，导致很难将其设计为专用集成电路（Application Specific Integrated Circuit，简写为ASIC）形式的流水线（Pipeline）结构，因而无法应用在ISP设计中。
发明内容
针对现有技术的以上缺陷或改进需求，本发明解决了现有多曝光图像融合方式无法应用于ISP中的问题。
本发明实施例采用如下技术方案：
第一方面，本发明提供了一种多曝光图像融合的方法，具体为：获取多组相同场景下不同曝光值的原始图像，所述原始图像的像素位宽和像素尺寸相同；将不同曝光值的原始图像加权归一化到同一亮度等级，对归一化后的图像进行逐像素的混合，再将混合后的图像压缩至原始图像的像素位宽。
优选的，所述获取多组相同场景下不同曝光值的原始图像，具体包括：设定短曝光值，获取短曝光值下逆光场景的原始图像，作为短曝光图像；基于短曝光值，根据不同的曝光比例设置不同的长曝光值，获取每种长曝光值下逆光场景的原始图像，作为长曝光图像。
优选的，所述将不同曝光值的原始图像加权归一化到同一亮度等级，具体包括：将长曝光图像亮度等级归一化到短曝光图像亮度等级上，将归一化后的图像作为第二长曝光图像；对短曝光图像进行逐像素融合获得短曝光权重图，将第二长曝光图像进行逐像素融合获取长曝光权重图；将短曝光权重图和长曝光权重图进行归一化，将归一化后的图像作为第二短曝光权重图和第二长曝光权重图。
优选的，所述对归一化后的图像进行逐像素的混合，还包括：对于短曝光图像、长曝光图像、短曝光权重图和长曝光权重图，分别获取逐像素的低频图像和高频图像；使用低频图像和高频图像加权融合得到高动态图像，将高动态图像作为融合后的图像。
优选的，所述对归一化后的图像进行逐像素的加权融合，还包括：对于图像的细节强度、色彩鲜艳强度和曝光准确度，分别使用不同的计算系数进行加权融合。
另一方面，本发明提供了一种多曝光图像融合的装置，具体为：包括：图像同步单元、归一化单元、混合权重计算单元、混合单元和动态范围控制单元，用于执行第一方面提供的多曝光图像融合的方法，具体地：图像同步单元的第一输出与归一化单元的输入连接，图像同步单元的第二输出与混合权重计算单元的输入连接，归一化单元的输出与混合单元的第一输入连接，混合权重计算单元的输出与混合单元的第二输入连接；其中，图像同步单元用于将外部接口输入的曝光行数据同步到同一组同步信号上；归一化单元用于将不同曝光值的数据归一化到同一亮度等级；混合权重计算单元用于计算不同曝光值的数据融合时的权重；混合单元用于对不同曝光值的数据进行融合；动态范围控制单元用于将融合后的图像压缩至原始图像的像素位宽。
优选的，所述图像同步单元包括：长短曝光行数据判断模块、数据同步状态机和缓存控制模块，具体地：长短曝光行数据判断模块的第一输出与数据同步状态机的第一输入连接，长短曝光行数据判断模块的第二输出与缓存控制模块的输入连接，缓存控制模块的输出与数据同步状态机的第二输入连接；其中，长短曝光行数据判断模块用于判断当前曝光行为长曝光行或短曝光行，并根据判断结果进行相应的输出；数据同步状态机用于接收长曝光行数据，并向缓存控制模块发出同步请求；缓存控制模块用于接收短曝光行数据并进行缓存。
优选的，所述归一化单元包括：求倒模块、乘法器模块和延迟模块，具体地：求倒模块的输出与乘法器模块的输入连接，乘法器模块的输出与延迟模块的输出同步；其中，求倒模块用于计算曝光行数据的倒数；乘法器模块用于将长曝光行数据归一化到短曝光行数据的亮度等级；延迟模块用于通过延迟缓存实现长曝光行数据和短曝光行数据的同步。
优选的，所述混合权重计算单元包括：行缓存模块和至少一个滤波模块，具体地：行缓存模块用于缓存滤波模块需要使用的数据；每个滤波模块分别用于对图像的细节强度、色彩鲜艳强度和曝光准确度进行融合计算。
优选的，所述混合单元包括至少一个乘法器和至少一个加法器，具体地：每个乘法器用于接收一个长曝光行的数据或一个短曝光行数据；加法器和乘法器共同用于完成长曝光行的数据或一个短曝光行数据的融合。
与现有技术相比，本发明实施例的有益效果在于：将不同曝光值的原始图像归一化后逐像素加权融合，以此实现多曝光图像的融合。该方式可应用于Bayer图像格式、无需使用由ISP产生的图像曝光增益控信号、且对内存和带宽要求较小，并可以基于该方法完成ISP中多曝光图像融合电路的设计。
另一方面，本实施例还提供了一种多曝光图像融合的装置，该装置基于第一方面中的方法，在ISP中进行了具体的实现，提供了一种可用于ASIC中的多曝光图像融合硬件电路实现方式。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种多曝光图像融合的方法流程图；
图2为本发明实施例提供的获取多组相同场景下不同曝光时间的原始图像的流程图；
图3为本发明实施例提供的将不同曝光值的原始图像归一化到同一亮度等级的流程图；
图4为本发明实施例提供的对归一化后的图像进行逐像素的加权融合的流程图；
图5为本发明实施例提供的一种多曝光图像融合的装置结构示意图；
图6为本发明实施例中使用的曝光行数据结构示意图；
图7为本发明实施例提供的一种多曝光图像融合的装置图像同步单元结构示意图；
图8为本发明实施例提供的一种多曝光图像融合的装置归一化单元结构示意图；
图9为本发明实施例提供的一种多曝光图像融合的装置混合权重计算单元结构示意图；
图10为本发明实施例使用的行缓存数据结构示意图；
图11为本发明实施例使用的卷积神经网络架构示意图；
图12为本发明实施例使用的卷积神经网络逻辑结构示意图；
图13为本发明实施例使用的卷积神经网络参数示意图；
图14为本发明实施例提供的一种多曝光图像融合的装置混合单元和动态范围控制单元结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明是一种特定功能系统的体系结构，因此在具体实施例中主要说明各结构模组的功能逻辑关系，并不对具体软件和硬件实施方式做限定。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面就参考附图和实施例结合来详细说明本发明。
本实施例提供了一种适用于Bayer域的多曝光图像融合方法，通过此方法可以设计出对应的图像处理专用集成电路芯片知识产权（Intellectual Property，简写为IP），该IP能够放置在已有的ISP芯片中，实现高动态范围、高清晰度的图像输出。
如图1所示，本发明实施例提供的多曝光图像融合的方法具体步骤如下。
步骤101：获取相同场景下不同曝光值的多个原始图像，原始图像的像素位宽和像素尺寸相同。
在实际实施中，可以直接通过移动产业处理器接口（Mobile Industry ProcessorInterface，简写为MIPI）获取图像传感器采集到的原始图像。例如，采用带有宽动态范围（Wide Dynamic Range，简写为WDR）功能的互补金属氧化物半导体（Complementary Metal-Oxide-Semiconductor，简写为CMOS）传感器（Sensor）采集Bayer格式的原始图像。Bayer格式的图像是一个4×4阵列，由8个绿色、4个蓝色和4个红色像素组成，可以表示为（Gr，Gb，R，B）这4个颜色通道。
以下使用Bayer格式的原始图像为例对本实施例提供的方法进行说明，其它图片格式可以转换为Bayer格式图片后作为原始图像使用进行融合，也可以参照本实施例的原理按照对应的格式规定完成图像融合。
进一步的，为了便于使用硬件进行计算，避免为了对齐像素位宽和像素尺寸增加额外的电路元件和电路逻辑，使用的原始图像像素位宽和像素尺寸最好都相同。若获取到的原始图像像素位宽和像素尺寸不同，可以先进行数据预处理，或增加相应的预处理逻辑电路进行对齐。实际实施中，可选的图像像素位宽为12bits，像素尺寸为1080P。可以理解的是，上述图像采集器件/方式和图像尺寸等均为示例性的给出，本发明对此不作限制。
步骤102：将不同曝光值的原始图像加权归一化到同一亮度等级，对归一化后的图像进行逐像素的混合，再将混合后的图像压缩至原始图像的像素位宽。
当一个场景中不同区域光线强度不同的情况下，获取原始图像时，短曝光（低曝光）图像的高光物体曝光合适但暗光物体不清晰，长曝光（高曝光）图像的暗光物体清晰但高光物体可能会过曝。本实施例提供的方法中，为了获取更高清晰度的照片，将同一场景多个不同曝光值的原始图像进行融合，以获取更清晰的图像。
进行图像融合时，首先将原始图像的亮度等级进行归一化，以减轻融合过程中产生的亮度离散效应。再进行逐像素的加权融合，所需的额外参数量少，便于使用硬件流水线实现，也便于和现有的ISP流水线相结合。
在融合计算的过程中，原始图像的像素位宽可能会发生变化。为了避免影响后续的图像处理，或改变图像的总存储大小，因此还需要将融合后的图像的像素位宽压缩回和原始图像一致的像素位宽。具体实施中，可以使用各种压缩计算的方式进行像素位宽的压缩，例如，使用动态范围解码（dynamic range compression，简写为DRC）的方式进行像素位宽的压缩。
经过本实施例中提供的步骤101至步骤102后，通过多个不同曝光度原始图像的融合，实现了融合后图像清晰度的提升。
如图2所示，在具体实施中，可以通过以下方式获取步骤101中所需的多组相同场景下不同曝光时间的原始图像。
步骤201：选取能够进行长曝光图像输出和短曝光图像输出的WDR Sensor作为图像采集装置。
步骤202：设计逆光场景，确保单一曝光无法同时看清高光物体和暗光物体。
步骤203：设定短曝光值，获取短曝光值下逆光场景的原始图像，作为短曝光图像。可以理解的是，设定的短曝光值需要能够确保短曝光图像可以看清高光物体，以作为归一化的基准，本发明对此不做限制。原始图像可以使用sensor输出原始数据。
步骤204：基于短曝光值，根据不同的曝光比例设置不同的长曝光值，获取每种长曝光值下逆光场景的原始图像，作为长曝光图像。可以理解的是，长曝光值需要基于短曝光值，根据不同曝光比进行设置，本发明对此不做限制。原始图像可以使用sensor输出原始数据。
经过本实施例中提供的步骤201至步骤204后，即可获取到步骤101中需要使用的原始图像。
在一些实施方式中，为了进一步提高图片清晰度，或为深度学习网络提供更多训练样本，还可以多次重复步骤201至步骤204，使用不同图像传感器获取多组原始图像，或获取多组不同逆光场景下的原始图像。另一方面，在实际实施中，也可以将多组原始图像按照步骤102中的方法进行融合计算，获取融合后的图像，将融合后的图像对比原始图像数据计算图像质量提高程度，以测试步骤102中融合算法是否能够达到预期效果，当达到预期效果后再进行硬件逻辑设计，避免反复修改硬件导致的开发周期延长和开发成本提高。
以下通过某个场景的具体实例，提供一种步骤102中图像归一化和融合的具体方法。在进行IP设计时，可以参考以下方法的原理完成电路的逻辑设计。也可以针对实际需要，对具体计算过程和电路结构进行调整。
该场景中，原始图像为Bayer格式，高曝光图像表示为H，低曝光图像表示为L，高曝光值和低曝光值之间的曝光比为R，i和j为像素坐标。
原始图像中包含同一光照场景下的长曝光图像和短曝光图像，其亮度等级不一致，直接进行像素混合会造成亮度不连续。使用特征混合虽然可以解决此问题，但是需要缓存整帧数据，从而增大IP的面积且减低整个系统的处理速率。因此，本实施例提供的方法中，首先需要对原始图像的数据进行归一化处理。
如图3所示，将不同曝光值的原始图像归一化到同一亮度等级的具体过程如下。
步骤301：将长曝光图像亮度等级归一化到短曝光图像亮度等级上，将归一化后的图像作为第二长曝光图像。
具体地，可以使用以下公式将长曝光图像亮度等级归一化到短曝光图像亮度等级上，归一化后生成的第二长曝光图像表示为H2L。
。
步骤302：对短曝光图像进行逐像素融合获得短曝光权重图，将第二长曝光图像进行逐像素融合获取长曝光权重图。
具体地，可以使用以下公式求取L和H2L图像的逐像素融合权重图，短曝光权重图表示为WL，长曝光权重图表示为WH2L。
(1)
(2)
(3)
(4)
其中，为正态分布函数。/>为评判图像细节强度的卷积核，/>为评判色彩鲜艳强度的卷积核，/>为评判曝光准确度的卷积核。实际实施中，对于图像的细节强度、色彩鲜艳强度和曝光准确度，分别使用不同的计算系数进行加权融合，各卷积核根据当前像素的通道(Gr，Gb，R，B)选取不同系数。/>、/>为细节强度、色彩鲜艳强度和曝光准确度这三个权重的混合强度。
步骤303：将短曝光权重图和长曝光权重图进行归一化，将归一化后的图像作为第二短曝光权重图和第二长曝光权重图。
具体地，可以根据以下公式对WL和WH2L进行归一化处理，获取第二短曝光权重图WL-N和第二长曝光权重图WH-N。
(5)
(6)
经过本实施例中提供的步骤301至步骤303后，即可完成图像的归一化，获取归一化后的第二长曝光图像、第二短曝光权重图和第二长曝光权重图，用于进行后续的融合计算。
原始图像的长曝光图像和短曝光图像都为低动态范围（Low Dynamic Range，简写LDR）图像，将多张LDR图像混合生成一张WDR图像的过程就是将这些图像进行混合。为了准确计算每一个像素的混合比，可以逐像素进行细节强度、色彩鲜艳强度和曝光准确度着三种度量的混合比，以分配长曝光行数据和短曝光数据的混合权重。本实施例提供的方法中，为了让混合后图像纹理亮度更加一致，将图像分为低频图像和高频图像，同时，将混合时的权重也分为与之配套的两个部分。
如图4所示，可以使用以下步骤对归一化后的图像进行逐像素的加权融合。
步骤401：对于短曝光图像、长曝光图像、第二短曝光权重图和第二长曝光权重图，分别获取逐像素的低频图像和高频图像。
具体地，可以使用以下公式求取L、H、WL-N和WH-N的逐像素低频图像和高频图像，分别为：LFL、HFL、LFH、HFH、WL-N-LF、WL-N-HF、WH-N-LF和WH-N-HF。
(7)
(8)
其中，为计算图像低频信号的卷积核，根据当前像素的通道(Gr，Gb，R，B)选取不同系数。
步骤402：使用低频图像和高频图像加权融合得到高动态图像，将高动态图像作为融合后的图像。
具体地，可以使用以下公式，使用步骤401中求取的归一化后的图像进行混合得到高动态图像FI。
（9）
经过本实施例中提供的步骤401至步骤402后，即可获取到融合后的图像，完成多曝光图像融合。
本实施例提供的多曝光图像融合的方法，与现有技术相比的优点在于：
1、能够应用于Sensor输出的原始Bayer图像域，解决实际应用场景中原始图像为Bayer格式时的多曝光融合问题。
2、通过长曝光值和短曝光值之比，将不同曝光图像归一到同一亮度等级，有效的减轻了融合过程中产生的亮度离散效应。
3、算法流程简洁，参数量少，易于实现数字IP设计并插入现有ISP PipeLine中。
在上述多曝光图像融合的方法的基础上，本实施例中，还基于该方法完成硬件电路IP的逻辑设计，提供了一种可用于实现上述方法的多曝光图像融合的装置。
进行本实施例提供的装置中IP开发时，基于实施例中提供的经过验证达到预期效果的归一化和融合化算法，依据算法流程设计电阻晶体管逻辑（Resistor TransistorLogic，简写为RTL）实现，最后验证RTL输出结果与算法输出是否一致。
本实施例提供装置中，整个IP的数据流PipeLine如图5所示，其中，虚线框中为本实施例提供的设备中包含的硬件单元。包括：图像同步单元、归一化单元、混合权重计算单元、混合单元和动态范围控制单元，用于执行上述实施例中提供的多曝光图像融合的方法，具体地：图像同步单元的第一输出与归一化单元的输入连接，图像同步单元的第二输出与混合权重计算单元的输入连接，归一化单元的输出与混合单元的第一输入连接，混合权重计算单元的输出与混合单元的第二输入连接。
1、图像同步单元（Signal Syntheisi）。用于将外部接口输入的曝光行数据同步到同一组同步信号上。例如，将Sensor获取到的原始图像转换为长曝光行数据和短曝光行数据，并通过MIPI接口输入到图像同步单元中，由图像同步单元将输入的曝光行数据同步到同一组同步信号上。
2、归一化单元（Normalization）。用于将不同曝光值的数据归一化到同一亮度等级。
3、混合权重计算单元（Fusion Weight）。用于计算不同曝光值的数据融合时的权重。
4、混合单元（Fusion）。用于对不同曝光值的数据进行融合，即，利用行缓存模块和归一化单元的输出结果对曝光行数据进行融合。
5.动态范围控制单元（Dynamic Range Control，简写为DRC）。用于将融合后的图像压缩至原始图像的像素位宽，例如，采用动态范围控制方法将16bits的混合图像压缩到12bit后输出给ISP。
在具体实施中，上述各单元可以使用相应的功能芯片实现，或使用FPGA实现，或设计专用电路实现。以下简单提供一些可用的设计逻辑，具体实施中，可以参考以下方式进行实现，或根据需要进行调整。
1、Signal Syntheisi图像同步单元。
以Bayer格式的原始图像为例，外部Sensor获取到的长曝光图像和短曝光图像会以行交错的形式输出，且第一个长曝光行的数据会在第N个曝光行数据之后输出，时序如图6所示。图中，LE_Li表示第i个长曝光行，SE_Li分别表示第i个短曝光行，每两个曝光行的数据之间还有一个空白（blank）帧。
如图7所示，图像同步单元包括：长短曝光行数据判断模块、数据同步状态机和缓存控制模块。长短曝光行数据判断模块的第一输出与数据同步状态机的第一输入连接，长短曝光行数据判断模块的第二输出与缓存控制模块的输入连接，缓存控制模块的输出与数据同步状态机的第二输入连接。
（1）长短曝光行数据判断模块（Long Short Criterion）。用于判断当前曝光行为长曝光行或短曝光行，并根据判断结果进行相应的输出。具体地，根据MIPI端口物理层（Physical layer，简写为PHY）解析到的图像数据信息或者控制信息判断当前曝光行为长曝光行还是短曝光行，并将长曝光行输出给Synthesis Machine，短曝光行输出给BufferController。
（2）数据同步状态机（Synthesis Machin）。用于接收长曝光行数据，并向缓存控制模块发出同步请求。接受到第一个长曝光行数据时，立刻向Buffer Controller请求短曝光行数据，然后将长曝光行和短曝光行同时输出。
（3）缓存控制模块（Buffer Controller）。用于接收短曝光行数据并进行缓存。先将起始的前N-1个短曝光行数据写入到存储器中，当接收到读取请求后将第i行数据覆盖到原来的第i%N行。其中，存储器可以使用读写速度较快的随机读写存储器，例如静态随机存取存储器（Static Random-Access Memory，简写为SRAM）、静态随机存取存储器（DynamicRandom-Access Memory，简写为DRAM）、flash等。
2.Normalization 归一化单元。
原始图像中包含同一光照场景下的长曝光图像和短曝光图像，其亮度等级不一致，直接进行像素混合会造成亮度不连续。使用特征混合虽然可以解决此问题，但是需要缓存整帧数据，从而增大IP的面积且减低整个系统的处理速率。因此，本实施例中引入归一化单元以缓解以上矛盾。
如图8所示，归一化单元包括：求倒模块、乘法器模块和延迟模块，具体地：求倒模块的输出与乘法器模块的输入连接，乘法器模块的输出与延迟模块的输出同步。
（1）求倒模块（Reciprocal）。用于计算曝光行数据的倒数。在某个具体场景中，为16bits U5.11根据senso配置的长短曝光比例Long_Short_Ratio算出对应的倒数Exp_Rec，其中Long_Short_Ratio为16bits U5.11 Exp_Rec为16bits U1.15。求倒模块可以使用通用的求导电路或求导算法，例如采用牛顿插值法的二进制形式，该方法仅使用15个Cycle就可计算出结果
（2）乘法器模块（Mutiplier）。用于将长曝光行数据归一化到短曝光行数据的亮度等级。具体地，可以利用求导模块的结果进行硬件计算，将长曝光行数据归一化到短曝光行数据的亮度等级。
（3）延迟模块（Delay）。用于通过延迟缓存实现长曝光行数据和短曝光行数据的同步。通过对短曝光行数据的延迟缓存操作来同步长短曝光行数据。在实际场景中，在曝光比每一帧更新一次的情况下，因此延迟的时间可以设为Mutiplier模块的计算延迟，同时，为了保证与长曝光行数据的位宽保持一致，需将短曝光数据根据需要进行位移，例如左移5bits。
3、Fusion Weight 混合权重计算单元。
原始图像的长曝光图像和短曝光图像都为LDR图像，将多张LDR图像混合生成一张WDR图像的过程就是将这些图像进行混合，因此准确计算每一个像素的混合比是生成WDR图像的关键，本实施例中，使用滤波模块计算逐个像素的三种度量来分配长曝光行和短曝光行的混合权重，同时，为了使混合后图像纹理亮度更加一致，对图像的低频部分和高频部分使用不同的器件分别处理。
如图9所示，混合权重计算单元包括：行缓存模块和至少一个滤波模块。
（1）行缓存模块（LineBuffer）。用于缓存滤波模块需要使用的数据。由于后续的滤波模块需要使用当前像素5x5区域数据，所以需要缓存4行数据其结构如图10所示。
（2）滤波模块。每个滤波模块分别用于对图像的细节强度、色彩鲜艳强度和曝光准确度进行融合计算。例如：先将两个Nbits的Pixie拼成一个2Nbits的数据写入SRAM，接受到读取请求时将2Nbits的两个Pixie输出，使用该方式，在缓存5行数据时只需要4行Buffer的容量。
在具体实施中，图像的细节强度、色彩鲜艳强度和曝光准确度，以及低频图像和高频图像，可以针对性的使用不同的滤波模块。例如，使用以下的滤波模块。
细节强度：Detail Intensity模块实现公式（1）的功能，同时根据当前像素的颜色通道选取不同计算系数。
色彩鲜艳强度：Color Intensity 模块实现是公式（2）的功能，同时根据当前像素的颜色通道选取不同计算系数。
曝光准确度：Exposure accuracy 模块实现公式（3）的功能，同时根据当前像素的颜色通道选取不同的计算系数，其中指数函数通过。
低频图像和高频图像：Low/Hignt Frequency模块实现公式（7）、（8）的功能，同时根据当前像素的颜色通道选取不同计算系数。
进一步的，在具体实施中，每个滤波模块中都可以包含一个卷积神经网络，使用深度学习的方式提高计算准确度。例如，在某个具体场景中，滤波模块使用如图11所示的7x7卷积神经网络，每个卷积神经网络都可以为如图12所示的逻辑结构。在具体计算中，可以根据原始图像进行仿真调试，得到匹配当前Sensor的各卷积核参数。例如：该结构可以使用16bits并行PipeLine，通过设置X0、Y0和A0-A15的值用来求解exp、sin等复杂函数。例如，某个具体实例中，X0=0x9A41、Y0=0，使用CORDIC算法，A0-A15输入如图13所示的参数值，即可求取exp(in) in=(0,1)。
4、Fusion&DRC 混合单元和动态范围控制单元。
实现公式（9）的功能，按照混合权重计算单元求取混合权重，将归一化单元生成的高频图像和低频图像进行逐像素加权混合，最后将混合后的图像输入到标准DRC模块，作为最终的融合图像。
如图14所示，混合单元包括至少一个乘法器（Mutiplier）和至少一个加法器（ADDER），每个乘法器用于接收一个长曝光行的数据或一个短曝光行数据，加法器和乘法器共同用于完成长曝光行的数据或一个短曝光行数据的融合。
按照上述的电路逻辑结构进行RTL设计，即可得到能够与现有ISP结合的多曝光图像融合IP，使用硬件逻辑实现本实施例中提供的方法，并基于该IP生产出相应的多曝光图像融合的装置。
本实施例提供的装置设计和加工完成后，还可以通过实际测试对其功能和性能进行验证。具体地，将外部Sensor获取到的原始数据通过MIPI接口输入到本实施例提供的装置中，将输出的图像和原始图像进行逐像素比较对RTL设计进行功能验证，并计算图像质量提高程度进行图像融合性能验证。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多曝光图像融合的方法，其特征在于，包括：
获取多组相同场景下不同曝光值的原始图像，所述原始图像的像素位宽和像素尺寸相同，其中，原始图像包括短曝光图像和长曝光图像；
将不同曝光值的原始图像加权归一化到同一亮度等级，对归一化后的图像进行逐像素的混合，再将混合后的图像压缩至原始图像的像素位宽，其中，将不同曝光值的原始图像加权归一化到同一亮度等级具体包括：将长曝光图像亮度等级归一化到短曝光图像亮度等级上，将归一化后的图像作为第二长曝光图像；对短曝光图像进行逐像素融合获得短曝光权重图，将第二长曝光图像进行逐像素融合获取长曝光权重图；将短曝光权重图和长曝光权重图进行归一化，将归一化后的图像作为第二短曝光权重图和第二长曝光权重图；其中，所述对归一化后的图像进行逐像素的混合还包括：对于短曝光图像、长曝光图像、第二短曝光权重图和第二长曝光权重图，分别获取逐像素的低频图像和高频图像；使用低频图像和高频图像加权融合得到高动态图像，将高动态图像作为融合后的图像。
2.根据权利要求1所述的多曝光图像融合的方法，其特征在于，所述获取多组相同场景下不同曝光值的原始图像包括：
设定短曝光值，获取短曝光值下逆光场景的原始图像，作为短曝光图像；
基于短曝光值，根据不同的曝光比例设置不同的长曝光值，获取每种长曝光值下逆光场景的原始图像，作为长曝光图像。
3.根据权利要求1所述的多曝光图像融合的方法，其特征在于，所述对归一化后的图像进行逐像素的混合还包括：
对于图像的细节强度、色彩鲜艳强度和曝光准确度，分别使用不同的计算系数进行加权融合。
4.一种多曝光图像融合的装置，其特征在于，包括：图像同步单元、归一化单元、混合权重计算单元、混合单元和动态范围控制单元，用于执行权利要求1至3中任一项所述的多曝光图像融合的方法，其中：
图像同步单元的第一输出与归一化单元的输入连接，图像同步单元的第二输出与混合权重计算单元的输入连接，归一化单元的输出与混合单元的第一输入连接，混合权重计算单元的输出与混合单元的第二输入连接；
其中，图像同步单元用于将外部接口输入的曝光行数据同步到同一组同步信号上；
归一化单元用于将不同曝光值的数据归一化到同一亮度等级；
混合权重计算单元用于计算不同曝光值的数据融合时的权重；
混合单元用于对不同曝光值的数据进行融合；
动态范围控制单元用于将融合后的图像压缩至原始图像的像素位宽。
5.根据权利要求4所述的多曝光图像融合的装置，其特征在于，所述图像同步单元包括：长短曝光行数据判断模块、数据同步状态机和缓存控制模块，其中：
长短曝光行数据判断模块的第一输出与数据同步状态机的第一输入连接，长短曝光行数据判断模块的第二输出与缓存控制模块的输入连接，缓存控制模块的输出与数据同步状态机的第二输入连接；
其中，长短曝光行数据判断模块用于判断当前曝光行为长曝光行或短曝光行，并根据判断结果进行相应的输出；
数据同步状态机用于接收长曝光行数据，并向缓存控制模块发出同步请求；
缓存控制模块用于接收短曝光行数据并进行缓存。
6.根据权利要求4所述的多曝光图像融合的装置，其特征在于，所述归一化单元包括：求倒模块、乘法器模块和延迟模块，其中：
求倒模块的输出与乘法器模块的输入连接，乘法器模块的输出与延迟模块的输出同步；
其中，求倒模块用于计算曝光行数据的倒数；
乘法器模块用于将长曝光行数据归一化到短曝光行数据的亮度等级；
延迟模块用于通过延迟缓存实现长曝光行数据和短曝光行数据的同步。
7.根据权利要求4所述的多曝光图像融合的装置，其特征在于，所述混合权重计算单元包括：行缓存模块和至少一个滤波模块，其中：
行缓存模块用于缓存滤波模块需要使用的数据；
每个滤波模块分别用于对图像的细节强度、色彩鲜艳强度和曝光准确度进行融合计算。
8.根据权利要求4所述的多曝光图像融合的装置，其特征在于，所述混合单元包括至少一个乘法器和至少一个加法器，其中：
每个乘法器用于接收一个长曝光行的数据或一个短曝光行数据；
加法器和乘法器共同用于完成长曝光行的数据或一个短曝光行数据的融合。
CN202310393926.0A 2023-04-13 2023-04-13 一种多曝光图像融合的方法和装置 Active CN116095502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310393926.0A CN116095502B (zh) 2023-04-13 2023-04-13 一种多曝光图像融合的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310393926.0A CN116095502B (zh) 2023-04-13 2023-04-13 一种多曝光图像融合的方法和装置

Publications (2)

Publication Number Publication Date
CN116095502A CN116095502A (zh) 2023-05-09
CN116095502B true CN116095502B (zh) 2023-07-25

Family

ID=86212440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310393926.0A Active CN116095502B (zh) 2023-04-13 2023-04-13 一种多曝光图像融合的方法和装置

Country Status (1)

Country Link
CN (1) CN116095502B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117097881B (zh) * 2023-10-09 2024-01-02 芯动微电子科技(武汉)有限公司 一种图像处理模块的调试方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107786814B (zh) * 2016-08-24 2023-08-04 杭州海康威视数字技术股份有限公司 一种基于宽动态的图像处理方法、装置及曝光电路
CN108259774B (zh) * 2018-01-31 2021-04-16 珠海市杰理科技股份有限公司 图像合成方法、系统和设备
CN115439384A (zh) * 2022-09-05 2022-12-06 中国科学院长春光学精密机械与物理研究所 一种无鬼影多曝光图像融合方法、装置
CN115578286A (zh) * 2022-10-28 2023-01-06 辉羲智能科技(上海)有限公司 高动态范围的混合曝光成像方法和装置

Also Published As

Publication number Publication date
CN116095502A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
EP3044755B1 (en) Image tone adjustment using local tone curve computation
CN104883504B (zh) 开启智能终端上高动态范围hdr功能的方法及装置
CN116095502B (zh) 一种多曝光图像融合的方法和装置
US11010879B2 (en) Video image processing method and apparatus thereof, display device, computer readable storage medium and computer program product
WO2023010750A1 (zh) 一种图像颜色映射方法、装置、终端设备及存储介质
WO2018045789A1 (zh) 图像灰度值调整方法和装置
CN111107274B (zh) 一种图像亮度统计方法及成像设备
CN115375536A (zh) 图像处理方法及设备
CN110717864B (zh) 一种图像增强方法、装置、终端设备及计算机可读介质
Tan et al. A real-time video denoising algorithm with FPGA implementation for Poisson–Gaussian noise
CN113962859A (zh) 一种全景图生成方法、装置、设备及介质
WO2022127853A1 (zh) 拍摄模式确定方法、装置、电子设备和存储介质
CN113570612B (zh) 一种图像处理方法、装置及设备
Tang et al. A high-dynamic range CMOS camera based on dual-gain channels
WO2023010755A1 (zh) 一种hdr视频转换方法、装置、设备及计算机存储介质
CN112767278B (zh) 基于非均匀大气光先验的图像去雾方法及相关设备
CN112598609A (zh) 一种动态图像的处理方法及装置
CN112991236B (zh) 一种基于模板的图像增强方法及装置
CN113873141B (zh) 电子设备
CN110874816B (zh) 一种图像处理方法、装置、移动终端及存储介质
CN114283100A (zh) 高动态范围图像合成与色调映射方法及电子设备
CN114757843A (zh) 图像处理方法、装置、电子设备及存储介质
KR20220010297A (ko) 엣지 기반 샤프니스 세기 제어 회로, 이미지 센싱 장치 및 그 동작방법
Ke et al. Hardware-efficient virtual high dynamic range image reproduction
Chen et al. Low-light image enhancement and acceleration processing based on ZYNQ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant