CN114638764A - 基于人工智能的多曝光图像融合方法及系统 - Google Patents

基于人工智能的多曝光图像融合方法及系统 Download PDF

Info

Publication number
CN114638764A
CN114638764A CN202210302648.9A CN202210302648A CN114638764A CN 114638764 A CN114638764 A CN 114638764A CN 202210302648 A CN202210302648 A CN 202210302648A CN 114638764 A CN114638764 A CN 114638764A
Authority
CN
China
Prior art keywords
image
exposure
images
weight
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210302648.9A
Other languages
English (en)
Other versions
CN114638764B (zh
Inventor
李志坚
杜尔登
叶宾
王留红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Haiyi Interactive Entertainment Technology Co.,Ltd.
Original Assignee
Jiangsu Yuan Zhen Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yuan Zhen Intelligent Technology Co ltd filed Critical Jiangsu Yuan Zhen Intelligent Technology Co ltd
Priority to CN202210302648.9A priority Critical patent/CN114638764B/zh
Publication of CN114638764A publication Critical patent/CN114638764A/zh
Application granted granted Critical
Publication of CN114638764B publication Critical patent/CN114638764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的多曝光图像融合方法及系统，包括：通过获取N张不同曝光度的图像，进而获取每张图像对应的主成分权重图、自适应曝光权重图和显著性权重图，最终根据N张不同曝光度的图像以及每张图像对应的主成分权重图、自适应曝光权重图和显著性权重图，对N张不同曝光度的图像进行融合，生成HDR图像。本发明通过主成分权重图、自适应曝光权重图和显著性权重图来表征不同曝光度的图像在融合时的权重情况，可以为不同曝光度图像的适应性确定在融合时的权重，提高了最终融合出的HDR图像的质量。

Description

基于人工智能的多曝光图像融合方法及系统
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于人工智能的多曝光图像融合方法及系统。
背景技术
在同一场景不同光线下得到的图像，无论图像的曝光时间长短，都会出现曝光过度或曝光不足的现象，这样会造成图像信息少，重要信息丢失等问题。
高动态范围(HDR)技术目的是产生类似于人类感知的高质量图像，HDR图像获取有三种传统方法：1、使用兼容HDR的捕获和显示设备；2、使用色调映射操作符将HDR映射到LDR显示器上；3、使用多曝光LDR融合(MEF)为LDR屏幕创建类似HDR的内容。前两种方法对于硬件的成本比较高，而第三种方法使用MEF的成本明显低于前两种方法，还可以避免与色调映射相关的问题，如主观对比度低和颜色饱和度低等。
但传统MEF需要通过使用参数设置解决曝光权重的尺度问题，该参数通常为通过一些相关软件或者人为调节制定的一个固定参数。但对于不同图像的不同曝光程度所适用的参数不同，设定的固定参数并不能适用于各个情况下的曝光图像，所融合的图像在图像细节丢失方面仍存在一些问题，导致最终合成的图像质量相对较低。
发明内容
本发明的目的在于提供一种基于人工智能的多曝光图像融合方法及系统，以解决采用现有的图像融合方法导致最终合成的图像质量较差的问题。
为了解决上述技术问题，本发明所采用的技术方案具体如下：
本发明提供了一种基于人工智能的多曝光图像融合方法，该方法包括以下步骤：
获取N张不同曝光度的图像；
分别对每张图像进行主成分分析，得到每张图像对应的主成分权重图；
根据每张图像的曝光时长，分别计算每张图像中各个像素点的曝光权重，得到每张图像对应的自适应曝光权重图；
分别对每张图像进行显著性分析，计算每张图像中各个像素点的显著值，得到每张图像对应的显著性权重图；
根据N张不同曝光度的图像以及每张图像对应的主成分权重图、自适应曝光权重图和显著性权重图，对N张不同曝光度的图像进行融合，生成HDR图像。
进一步地，所述分别对每张图像进行主成分分析，得到每张图像对应的主成分权重图的步骤包括：
分别对每张图像进行矢量化处理，得到每张图像对应的特征矩阵；
利用PCA算法，分别对每张图像对应的特征矩阵进行降维处理，得到降维后的特征矩阵；
利用降维后的特征矩阵，进行图像重构，从而得到每张图像对应的PCA重构图；
获取每张图像的RGB三通道图像以及每张图像对应的PCA重构图的RGB三通道图像，并将每张图像的RGB三通道图像与其对应的PCA重构图的RGB三通道图像进行比较，从而得到每张图像和与其对应的PCA重构图之间的RGB三通道差值图像；
根据每张图像和与其对应的PCA重构图之间的RGB三通道差值图像，得到每张图像对应的主成分权重图；
对每张图像对应的主成分权重图进行极差归一化，从而得到最终的每张图像对应的主成分权重图。
进一步地，所述根据每张图像的曝光时长，分别计算每张图像中各个像素点的曝光权重，得到每张图像对应的自适应曝光权重图的步骤包括：
分别对N张不同曝光度的图像进行颜色空间转换，得到图像中每个像素点对应的L通道亮度值；
对图像中每个像素点对应的L通道亮度值进行归一化，得到归一化处理后的图像中每个像素点对应的L通道亮度值；
根据归一化处理后的图像中每个像素点对应的L通道亮度值，计算图像中所有像素点对应的L通道亮度值的标准差和平均值；
根据归一化处理后的图像中每个像素点对应的L通道亮度值，图像中所有像素点对应的L通道亮度值的标准差和平均值，计算图像中每个像素点对应的曝光权重，从而得到每张图像对应的自适应曝光权重图。
进一步地，所述计算图像中每个像素点对应的曝光权重对应的公式为：
Figure BDA0003566137260000021
其中，An为图像中的第n个像素点对应的曝光权重，μY为图像中所有像素点对应的L通道亮度值的平均值，σY为图像中所有像素点对应的L通道亮度值的标准差，Yn为图像中的第n个像素点对应的L通道亮度值。
进一步地，所述分别对每张图像进行显著性分析，计算每张图像中各个像素点的显著值，得到每张图像对应的显著性权重图的步骤包括：
分别对N张不同曝光度的图像进行高斯平滑，得到平滑后的图像；
对每张平滑后的图像进行颜色空间转换，得到每张图像中各个像素点对应的Lab颜色特征；
计算高斯平滑后的每张图像对应的Lab颜色特征的均值，并根据高斯平滑后的每张图像对应的Lab颜色特征以及均值，计算每张图像中各个像素点的显著值，并对各个像素点的显著值进行归一化处理，从而得到每张图像对应的显著性权重图。
进一步地，所述对N张不同曝光度的图像进行融合，生成HDR图像的步骤包括：
将N张不同曝光度的图像以及每张图像对应的主成分权重图、自适应曝光权重图和显著性权重图输入到预先构建和训练好的融合神经网络中，由融合神经网络输出HDR图像。
进一步地，所述融合神经网络的构建和训练的步骤包括：
构造融合神经网络，所述融合神经网络包括N个编码器和一个解码器，每个编码器均与解码器相连接；
构造融合神经网络的目标函数，所述目标函数包括重构损失函数；
构造融合神经网络的训练数据集，所述训练数据集包括M组训练图像，每组训练图像包括N张不同曝光度的图像以及每张图像对应的主成分权重图、自适应曝光权重图和显著性权重图，并为M组训练图形制作标签；
根据融合神经网络的目标函数，利用融合神经网络的训练数据集对融合神经网络进行训练，从而得到训练好的融合神经网络。
进一步地，所述重构损失函数的公式为：
Loss＝1-SSIM(Image,HDR)
其中，SSIM(Image,HDR)为结构相似函数，Loss为重构损失函数，HDR为标签数据，Image为重构HDR图像。
本发明还提供了一种基于人工智能的多曝光图像融合系统，包括处理器和存储器，处理器用于处理存储在存储器中的指令以实现上述的基于人工智能的多曝光图像融合方法。
本发明具有如下有益效果：
本发明通过计算每一张图像的主成分权重图、自适应曝光权重图和显著性权重图获取多曝光图像的融合权重，这就为不同曝光度的图像确定了不同的融合权重，即根据图像的不同曝光情况，可以自适应确定每张图像不同的融合权重，并根据每张图像各自所对应的融合权重来进行图像融合，这样就避免了现有技术中不同曝光度的图像进行融合时仅仅根据一个固定参数进行融合，进而忽略了图像曝光度的不同对最终获取的融合图像质量的影响，有效提高了最终融合图像的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明基于人工智能的多曝光图像融合方法的流程图；
图2为本发明三张不同曝光图像的示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
步骤1：获取N张不同曝光度的图像。
在感光度、光圈大小一样的情况下，拍摄N张不同快门速度的照片，所拍摄的N张照片的内容一致，但N张照片对应的曝光度有所不同。在本实施例中，设置N＝3，对应的应该获取3张不同曝光度的图像，这三张照片分别称为第一曝光图像、第二曝光图像和第三曝光图像，分别记为图像A、图像B和图像C。
步骤2：分别对每张图像进行主成分分析，得到每张图像对应的主成分权重图。
将三张不同曝光图像在RGB三个通道分量的灰度图进行矢量化，矢量化为三个(w*h)的矩阵，其中，三个矩阵分别为R通道上的灰度图，G通道上的灰度图，B通道上的灰度图，w和h分别表示每个图像矢量化后所得矩阵的行数和列数。利用PCA主成分分析方法对三个(w*h)矩阵进行主成分提取，以便于利用提取的主成分对三个(w*h)矩阵进行降维。由于利用PCA主成分分析方法分别对三个矩阵进行主成分提取的具体过程属于现有技术，此处不再做详细描述。在本实施例中，PCA所提取的主成分维度为1024，即保留每个矩阵的前1024个主成分，然后得到降维后的矩阵。再将降维后的矩阵转换到原空间，那么对应每一张图像，就可以得到该张图像对应的PCA重构图，通过前1024个主成分恢复出的重构图为原图像的主要信息。
通过上述步骤，可以得到三张不同曝光图像所对应的三张PCA重构图，这里将图像A、图像B和图像C所对应的三张PCA重构图分别记为图像A′、图像B′和图像C′。将图像A′、图像B′和图像C′各自在RGB通道上的三张灰度图像与三张不同曝光图像各自在RGB通道上的三张灰度图像一一对应进行差值计算，也就是，将图像A′在RGB通道上的三张灰度图像与图像A在RGB通道上的三张灰度图像一一对应进行差值计算，将图像B′在RGB通道上的三张灰度图像与图像B在RGB通道上的三张灰度图像一一对应进行差值计算，将图像C′在RGB通道上的三张灰度图像与图像C在RGB通道上的三张灰度图像一一对应进行差值计算，每一次差值计算都能够得到三张差值图，对这三张差值图相加求均值，得到一张最终的差值图，对应的计算公式如下：
Figure BDA0003566137260000041
其中，imagei为每一张图像在RGB其中一个通道上所对应的灰度图，i＝R、G或B，也就是，imagei为图像A、图像B或图像C在RGB其中一个通道上所对应的灰度图，image′i为该图像对应的PCA重构图在RGB对应一个通道上所对应的灰度图，也就是，H为最终的差值图，最终的差值图H中，像素点所对应的灰度值越小，表示PCA重构的越好，PCA重构图像的像素越接近主成分。
对三张最终的差值图分别进行极差归一化，计算公式如下：
Figure BDA0003566137260000051
其中，max()为取最大值函数，min()为取最小值函数，hk为最终的差值图H中第k个像素点对应的灰度值，Xk为归一化后的最终的差值图H中第k个像素点对应的灰度值。
通过上述极差归一化，使最终的差值图H中任意一个像素点对应的灰度值范围在[0，1]之间。最终的差值图H经过上述归一化后得到的图像为主成分权重图，主成分权重图中，Xk越大，表示该图像中像素点的灰度值越接近主成分的灰度值。
步骤3：根据每张图像的曝光时长，分别计算每张图像中各个像素点的曝光权重，得到每张图像对应的自适应曝光权重图。
(3-1)对三张不同曝光图像进行颜色空间转换，转换为Lab颜色空间，Lab颜色空间中的L分量用于表示像素的亮度，取值范围为[0,100]，表示从纯黑到纯白，并将Lab颜色空间的L通道进行归一化，需要说明，以下计算均是在L亮度通道上进行。
(3-2)根据归一化处理后的图像中每个像素点对应的L通道亮度值，计算图像中所有像素点对应的L通道亮度值的标准差σY和平均值μY，通过自适应权重高斯曲线对三张不同曝光图像在亮度通道进行曝光权重的计算，自适应权重高斯曲线为：
Figure BDA0003566137260000052
其中，An为图像中的第n个像素点所对应的曝光权重，μY为图像中所有像素点对应的L通道亮度值的平均值，σY为图像中所有像素点对应的L通道亮度值的标准差，Yn为图像中的第n个像素点对应的L通道亮度值。
上述步骤3的目的是，根据曝光图像中每个像素所对应的亮度值，分辨出曝光图像中的暗区域和亮区域，因此可以根据图像曝光度对曝光图像中的暗区域或亮区域赋予更大的权重来权衡整张曝光图像的权重。根据自适应权重高斯曲线可知，图像中越接近(1-μY)的像素其权重值越大，越接近(1-μY)的为黑暗或明亮像素，即长曝光图像中暗区域的曝光权重相对较大，短曝光图像中亮区域的曝光权重相对大。如图2所示，从左往右第一张图像为图像A1，第二张图像为图像B1，第三张图像为图像C1，三张图像的曝光度依次增强，即图像A1为短曝光图像，图像C1为长曝光图像。对于图像A1，由于亮区域的信息更加可靠、失真程度较低，因此对亮区域的曝光权重赋予更大的权重值，即短曝光图像中亮区域的曝光权重相对于暗区域的曝光权重较大；对于图像C1，由于暗区域的信息更加可靠、失真程度较低，因此对暗区域的曝光权重赋予更大的权重值，即长曝光图像中暗区域的曝光权重相对于亮区域的曝光权重较大。
通过上述自适应权重高斯曲线，可以获得三张不同曝光图像的每个像素位置的曝光权重，进而最终得到三张不同曝光图像的自适应曝光权重图。
步骤4：分别对每张图像进行显著性分析，计算每张图像中各个像素点的显著值，得到每张图像对应的显著性权重图。
通过FT算法从频率角度将三张不同曝光图像分为高频部分和低频部分，在本实施例中，显著性区域检测是在曝光图像的低频部分进行的，以下过程大多数是在曝光图像的低频部分进行的。
将三张不同曝光图像进行5*5的高斯平滑，将高斯平滑后的曝光图像的RGB转换到Lab颜色空间，Lab颜色空间中的L分量用于表示像素的亮度，取值范围为[0,100]，表示从纯黑到纯白，a分量和b分量表示颜色对立维度。计算出三张曝光图像的任意一个像素点在L分量上的均值
Figure BDA0003566137260000061
在a分量上的均值
Figure BDA0003566137260000062
在b分量上的均值
Figure BDA0003566137260000063
将Lab分量上的均值
Figure BDA0003566137260000064
和
Figure BDA0003566137260000065
构成一个特征向量Iu，并将三张图像中任意一个像素点p在Lab分量上的值L、a、b分别构成一个特征向量IWCH(p)，计算出特征向量Iu与特征向量IWCH(p)的欧氏距离，对应的计算公式如下：
S(p)＝‖Iu-IWCH(p)‖
其中，Iu为三张曝光图像中的像素点p分别在Lab分量上的均值所构成的特征向量，IWCH(p)为其中一个图像的像素点p分别在Lab分量上的值所构成的特征向量，S(p)为该图像的像素点p所对应的特征向量Iu与特征向量IWCH(p)的欧氏距离。
在得出三个图像中的任意一个像素点的Lab欧氏距离之后，对该Lab欧氏距离值进行极差归一化，得到极差归一化后的欧氏距离，极差归一化后的欧氏距离值即为显著性权重值，根据三张图像中的任意一个像素点所对应的显著性权重值，即可得到每张图像所对应的显著性权重图。
通过显著性权重图，可以为图像中对观察者更具吸引力的区域分配更大的权重，突出图像中的显著区域，提高后续最终生成HDR图像的视觉吸引力和质量。
步骤5：根据N张不同曝光度的图像以及每张图像对应的主成分权重图、自适应曝光权重图和显著性权重图，对N张不同曝光度的图像进行融合，生成HDR图像。
其中，在本实施例中，为了生成HDR图像，将N张不同曝光度的图像以及每张图像对应的主成分权重图、自适应曝光权重图和显著性权重图输入到预先构建和训练好的融合神经网络中，由融合神经网络输出HDR图像。该融合神经网络对应的构建和训练过程如下：
构造融合神经网络，该融合神经网络包括N个编码器和一个解码器，每个编码器均与解码器相连接。在本实施例中，由于曝光图像有三张，所以融合神经网络包括三个编码器和一个解码器，编码器和解码器可采用Unet、FCN等网络结构。
构造融合神经网络的目标函数，该目标函数包括重构损失函数，重构损失函数采用重构损失Loss：
Loss＝1-SSIM(Image,HDR)
其中，SSIM(Image,HDR)为结构相似函数，Loss为重构损失函数，HDR为标签数据，Image为重构HDR图像。
构造融合神经网络的训练数据集，该训练数据集包括多组训练图像，在本实施例中，每组训练图像均包括三张不同曝光图像和三张不同曝光图像对应的主成分权重图、自适应曝光权重图和显著性权重图。人为采集高质量的HDR图像，可以利用数码相机等具有高曝光设置范围的设备，也可以采用基于硬件的HDR图像收集方法来采集该高质量的HDR图像，并将采集到的该高质量的HDR图像作为训练数据集的标签数据。
根据融合神经网络的目标函数，利用构造的训练数据集对融合神经网络进行训练。在进行训练时，将每张曝光图像及其对应的主成分权重图、自适应曝光权重图和显著性权重图三张权重图像分别输入到融合神经网络中，融合神经网络的每一个编码器都会接收到一张图像及该张图像对应的主成分权重图、自适应曝光权重图和显著性权重图三张权重图像，每一个编码器将主成分权重图、自适应曝光权重图和显著性权重图三张权重图像进行Concatenate(联合)，得到一张三通道权重图像，然后将该三通道权重图像与对应的图像(RGB图像)进行Concatenate(联合)，最终得到六通道的权重图像。在得到六通道的权重图像后，编码器对该六通道的权重图像进行特征提取与拟合，并输出相应的特征图。融合神经网络的解码器对三个编码器的输出进行采样和特征拟合，从而重构出HDR图像。需要说明的，对于上述的重构损失函数Loss，由于结构相似函数SSIM综合了亮度、对比度和结构指标，这就考虑人类视觉的感知，可使最终经过融合神经网络重构出来的HDR图像与原始的曝光图像相比更具细节，图像质量更高。
另外，需要强调的是，上述步骤5的目的是利用预先构建和训练好的融合神经网络，以重构出HDR图像，而构建和训练融合神经网络的关键在于根据应用需要，确定出网络的模型结构，本实施例的网络模型的结构为N个编码器和一个解码器，以及确定网络的训练数据集和标签数据，而至于训练过程中的详细细节属于现有技术，此处不再进行详细描述。
本实施例还提供了一种基于人工智能的多曝光图像融合系统，包括处理器和存储器，处理器用于处理存储在存储器中的指令以实现基于人工智能的多曝光图像融合方法，由于基于人工智能的多曝光图像融合方法在上文已做出详细说明，此处不再赘述。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于人工智能的多曝光图像融合方法，其特征在于，包括以下步骤：
获取N张不同曝光度的图像；
分别对每张图像进行主成分分析，得到每张图像对应的主成分权重图；
根据每张图像的曝光时长，分别计算每张图像中各个像素点的曝光权重，得到每张图像对应的自适应曝光权重图；
分别对每张图像进行显著性分析，计算每张图像中各个像素点的显著值，得到每张图像对应的显著性权重图；
根据N张不同曝光度的图像以及每张图像对应的主成分权重图、自适应曝光权重图和显著性权重图，对N张不同曝光度的图像进行融合，生成HDR图像。
2.根据权利要求1所述基于人工智能的多曝光图像融合方法，其特征在于，所述分别对每张图像进行主成分分析，得到每张图像对应的主成分权重图的步骤包括：
分别对每张图像进行矢量化处理，得到每张图像对应的特征矩阵；
利用PCA算法，分别对每张图像对应的特征矩阵进行降维处理，得到降维后的特征矩阵；
利用降维后的特征矩阵，进行图像重构，从而得到每张图像对应的PCA重构图；
获取每张图像的RGB三通道图像以及每张图像对应的PCA重构图的RGB三通道图像，并将每张图像的RGB三通道图像与其对应的PCA重构图的RGB三通道图像进行比较，从而得到每张图像和与其对应的PCA重构图之间的RGB三通道差值图像；
根据每张图像和与其对应的PCA重构图之间的RGB三通道差值图像，得到每张图像对应的主成分权重图；
对每张图像对应的主成分权重图进行极差归一化，从而得到最终的每张图像对应的主成分权重图。
3.根据权利要求1所述基于人工智能的多曝光图像融合方法，其特征在于，所述根据每张图像的曝光时长，分别计算每张图像中各个像素点的曝光权重，得到每张图像对应的自适应曝光权重图的步骤包括：
分别对N张不同曝光度的图像进行颜色空间转换，得到图像中每个像素点对应的L通道亮度值；
对图像中每个像素点对应的L通道亮度值进行归一化，得到归一化处理后的图像中每个像素点对应的L通道亮度值；
根据归一化处理后的图像中每个像素点对应的L通道亮度值，计算图像中所有像素点对应的L通道亮度值的标准差和平均值；
根据归一化处理后的图像中每个像素点对应的L通道亮度值，图像中所有像素点对应的L通道亮度值的标准差和平均值，计算图像中每个像素点对应的曝光权重，从而得到每张图像对应的自适应曝光权重图。
4.根据权利要求3所述基于人工智能的多曝光图像融合方法，其特征在于，所述计算图像中每个像素点对应的曝光权重对应的公式为：
Figure FDA0003566137250000021
其中，An为图像中的第n个像素点对应的曝光权重，μY为图像中所有像素点对应的L通道亮度值的平均值，σY为图像中所有像素点对应的L通道亮度值的标准差，Yn为图像中的第n个像素点对应的L通道亮度值。
5.根据权利要求1所述基于人工智能的多曝光图像融合方法，其特征在于，所述分别对每张图像进行显著性分析，计算每张图像中各个像素点的显著值，得到每张图像对应的显著性权重图的步骤包括：
分别对N张不同曝光度的图像进行高斯平滑，得到平滑后的图像；
对每张平滑后的图像进行颜色空间转换，得到每张图像中各个像素点对应的Lab颜色特征；
计算高斯平滑后的每张图像对应的Lab颜色特征的均值，并根据高斯平滑后的每张图像对应的Lab颜色特征以及均值，计算每张图像中各个像素点的显著值，并对各个像素点的显著值进行归一化处理，从而得到每张图像对应的显著性权重图。
6.根据权利要求1所述基于人工智能的多曝光图像融合方法，其特征在于，所述对N张不同曝光度的图像进行融合，生成HDR图像的步骤包括：
将N张不同曝光度的图像以及每张图像对应的主成分权重图、自适应曝光权重图和显著性权重图输入到预先构建和训练好的融合神经网络中，由融合神经网络输出HDR图像。
7.根据权利要求6所述基于人工智能的多曝光图像融合方法，其特征在于，所述融合神经网络的构建和训练的步骤包括：
构造融合神经网络，所述融合神经网络包括N个编码器和一个解码器，每个编码器均与解码器相连接；
构造融合神经网络的目标函数，所述目标函数包括重构损失函数；
构造融合神经网络的训练数据集，所述训练数据集包括M组训练图像，每组训练图像包括N张不同曝光度的图像以及每张图像对应的主成分权重图、自适应曝光权重图和显著性权重图，并为M组训练图形制作标签；
根据融合神经网络的目标函数，利用融合神经网络的训练数据集对融合神经网络进行训练，从而得到训练好的融合神经网络。
8.根据权利要求7所述基于人工智能的多曝光图像融合方法，其特征在于，所述重构损失函数的公式为：
Loss＝1-SSIM(Image，HDR)
其中，SSIM(Image，HDR)为结构相似函数，Loss为重构损失函数，HDR为标签数据，Image为重构HDR图像。
9.一种基于人工智能的多曝光图像融合系统，其特征在于，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令以实现如权利要求1-8中任一项所述的基于人工智能的多曝光图像融合方法。
CN202210302648.9A 2022-03-25 2022-03-25 基于人工智能的多曝光图像融合方法及系统 Active CN114638764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210302648.9A CN114638764B (zh) 2022-03-25 2022-03-25 基于人工智能的多曝光图像融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210302648.9A CN114638764B (zh) 2022-03-25 2022-03-25 基于人工智能的多曝光图像融合方法及系统

Publications (2)

Publication Number Publication Date
CN114638764A true CN114638764A (zh) 2022-06-17
CN114638764B CN114638764B (zh) 2023-01-24

Family

ID=81949182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210302648.9A Active CN114638764B (zh) 2022-03-25 2022-03-25 基于人工智能的多曝光图像融合方法及系统

Country Status (1)

Country Link
CN (1) CN114638764B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116528058A (zh) * 2023-05-26 2023-08-01 中国人民解放军战略支援部队航天工程大学 一种基于压缩重构的高动态成像方法和系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184748A (zh) * 2015-09-17 2015-12-23 电子科技大学 图像比特深度增强方法
CN108491863A (zh) * 2018-02-27 2018-09-04 南京信息工程大学 基于非负矩阵分解和卷积神经网络的彩色图像处理方法
US20200137290A1 (en) * 2017-07-20 2020-04-30 Samsung Electronics Co., Ltd. Electronic device, and method for electronic device compressing high dynamic range image data
CN111339830A (zh) * 2020-01-20 2020-06-26 清华大学 一种基于多模态数据特征的目标分类方法
CN111553376A (zh) * 2019-12-24 2020-08-18 西安元智系统技术有限责任公司 一种文物轮廓监测方法
CN111626918A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统
US20210201527A1 (en) * 2019-12-30 2021-07-01 Sensetime International Pte. Ltd. Image processing method and apparatus, electronic device, and storage medium
CN113129391A (zh) * 2021-04-27 2021-07-16 西安邮电大学 基于多曝光图像特征分布权重的多曝光融合方法
CN113643214A (zh) * 2021-10-12 2021-11-12 江苏维沛通信科技发展有限公司 一种基于人工智能的图像曝光校正方法及系统
WO2022000397A1 (zh) * 2020-07-02 2022-01-06 潍坊学院 低照度图像增强方法、装置及计算机设备
CN113962884A (zh) * 2021-10-10 2022-01-21 杭州知存智能科技有限公司 Hdr视频获取方法、装置、电子设备以及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184748A (zh) * 2015-09-17 2015-12-23 电子科技大学 图像比特深度增强方法
US20200137290A1 (en) * 2017-07-20 2020-04-30 Samsung Electronics Co., Ltd. Electronic device, and method for electronic device compressing high dynamic range image data
CN108491863A (zh) * 2018-02-27 2018-09-04 南京信息工程大学 基于非负矩阵分解和卷积神经网络的彩色图像处理方法
CN111553376A (zh) * 2019-12-24 2020-08-18 西安元智系统技术有限责任公司 一种文物轮廓监测方法
US20210201527A1 (en) * 2019-12-30 2021-07-01 Sensetime International Pte. Ltd. Image processing method and apparatus, electronic device, and storage medium
CN111339830A (zh) * 2020-01-20 2020-06-26 清华大学 一种基于多模态数据特征的目标分类方法
CN111626918A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统
WO2022000397A1 (zh) * 2020-07-02 2022-01-06 潍坊学院 低照度图像增强方法、装置及计算机设备
CN113129391A (zh) * 2021-04-27 2021-07-16 西安邮电大学 基于多曝光图像特征分布权重的多曝光融合方法
CN113962884A (zh) * 2021-10-10 2022-01-21 杭州知存智能科技有限公司 Hdr视频获取方法、装置、电子设备以及存储介质
CN113643214A (zh) * 2021-10-12 2021-11-12 江苏维沛通信科技发展有限公司 一种基于人工智能的图像曝光校正方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DICLEHAN KARAKAYA等: "PAS-MEF: MULTI-EXPOSURE IMAGE FUSION BASED ON PRINCIPAL COMPONENT ANALYSIS, ADAPTIVE WELL-EXPOSEDNESS AND SALIENCY MAP", 《ARXIV.ORG》 *
JAMSHIYATH TP等: "Hyperspectral Image Visualization Using Multiscale Fusion", 《2020 INTERNATIONAL CONFERENCE ON ELECTRONICS AND SUSTAINABLE COMMUNICATION SYSTEMS (ICESC)》 *
张仙艳等: "修正主成分分析及其在车牌定位中的应用", 《数学的实践与认识》 *
李强等: "基于机器视觉的陶瓷瓦表面裂纹检测方法", 《激光与光电子学进展》 *
李朝奎: "《顾及地质灾害与环境地质条件的环泉州湾土地利用适宜性评价研究》", 31 December 2015, 中国环境出版有限责任公司 *
贾庆轩等: "基于投影仪-相机系统的多投影颜色校正技术", 《系统仿真学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116528058A (zh) * 2023-05-26 2023-08-01 中国人民解放军战略支援部队航天工程大学 一种基于压缩重构的高动态成像方法和系统
CN116528058B (zh) * 2023-05-26 2023-10-31 中国人民解放军战略支援部队航天工程大学 一种基于压缩重构的高动态成像方法和系统

Also Published As

Publication number Publication date
CN114638764B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
CN115442515B (zh) 图像处理方法和设备
US20200234414A1 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN110728633B (zh) 多曝光度高动态范围反色调映射模型构建方法及装置
US20230080693A1 (en) Image processing method, electronic device and readable storage medium
CN112734650B (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN110619593A (zh) 一种基于动态场景的双曝光视频成像系统
CN107895350B (zh) 一种基于自适应双伽玛变换的hdr图像生成方法
CN112508812A (zh) 图像色偏校正方法、模型训练方法、装置及设备
CN113379609B (zh) 一种图像处理方法、存储介质及终端设备
CN112927162A (zh) 一种面向低照度图像的增强方法及系统
CN114638764B (zh) 基于人工智能的多曝光图像融合方法及系统
Zhang et al. A real-time semi-supervised deep tone mapping network
CN113643214B (zh) 一种基于人工智能的图像曝光校正方法及系统
CN114299180A (zh) 图像重建方法、装置、设备及存储介质
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
CN117291851A (zh) 一种基于低秩分解和稀疏表示的多曝光图像融合方法
CN111161189A (zh) 一种基于细节弥补网络的单幅图像再增强方法
CN115661012A (zh) 一种基于全局-局部聚合学习的多曝光图像融合系统
CN115619666A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN114549386A (zh) 一种基于自适应光照一致性的多曝光图像融合方法
CN115170420A (zh) 一种图像对比度的处理方法及系统
CN114862698B (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN111915526B (zh) 一种基于亮度注意力机制低照度图像增强算法的摄影方法
Yang et al. Multi-Exposure Fusion with Adaptive Well-Exposedness Weight Factor and Enhanced Guided Filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240403

Address after: Floor 17, Building 2-2, Tianfu Haichuang Park, No. 619 Jicui Street, Xinglong Street, Tianfu New Area, Chengdu, Sichuan Province, China (Sichuan) Pilot Free Trade Zone, 611230

Patentee after: Chengdu Haiyi Interactive Entertainment Technology Co.,Ltd.

Country or region after: China

Address before: 221000 room 1209, Xuzhou high tech Zone office building, No.11 Zhujiang East Road, Xuzhou high tech Industrial Development Zone, Jiangsu Province

Patentee before: JIANGSU YUAN ZHEN INTELLIGENT TECHNOLOGY Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right