CN107833184A - 一种基于多曝光生成再融合框架的图像增强方法 - Google Patents
一种基于多曝光生成再融合框架的图像增强方法 Download PDFInfo
- Publication number
- CN107833184A CN107833184A CN201710948129.9A CN201710948129A CN107833184A CN 107833184 A CN107833184 A CN 107833184A CN 201710948129 A CN201710948129 A CN 201710948129A CN 107833184 A CN107833184 A CN 107833184A
- Authority
- CN
- China
- Prior art keywords
- image
- exposure
- brightness
- mrow
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 230000002708 enhancing effect Effects 0.000 claims abstract description 5
- 238000005457 optimization Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 7
- 238000007500 overflow downdraw method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 235000008733 Citrus aurantifolia Nutrition 0.000 claims description 3
- 235000011941 Tilia x europaea Nutrition 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 3
- 239000004571 lime Substances 0.000 claims description 3
- 230000002146 bilateral effect Effects 0.000 claims description 2
- 238000003491 array Methods 0.000 claims 1
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000007499 fusion processing Methods 0.000 claims 1
- 238000005303 weighing Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 238000001303 quality assessment method Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000005282 brightening Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 101000941138 Homo sapiens Small subunit processome component 20 homolog Proteins 0.000 description 1
- 102100031321 Small subunit processome component 20 homolog Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公布了一种基于多曝光生成再融合框架的图像增强方法，属于图像处理技术领域。根据图像进行图像亮度估计，得到图像亮度图L；根据图像亮度图L计算最优的曝光比例采样值集合根据相机模型g和采样值集合生成多曝光图像集合；对多曝光图像集合中的每张图像进行视觉质量评估，得到质量灰度图；对多曝光图像集进行融合，得到增强后的图像。本发明能够解决相机拍摄图像过程中单一曝光图像中的过亮过暗问题，得到的增强结果的对比度失真更小、视觉信息真实度指标VIF更大、亮度顺序误差指标LOE更小，没有明显的光圈、描边痕迹，能够得到更好的视觉体验。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于多曝光生成再融合框架的图像增强方法。
背景技术
由于相机的动态范围有限，在高动态场景下拍摄的图像存在着局部过暗的问题。以背对阳光拍摄人物为例：如果采用自动曝光，则背景过亮而人物过暗；如果通过增加曝光时间、增大光圈或增大感光度等方式调亮图像使得人物曝光良好，则背景由于达到图像亮度最大值而成为一片白色；如果通过减小曝光时间、减小光圈或减小感光度等方式调亮图像使得背景曝光良好，则人物由于亮度值过低而成为漆黑一片。现有技术无法解决单一曝光图像中的过亮过暗问题，难以得到更好的视觉体验。
因此，现有相关技术至少存在如下缺陷：由于没有考虑相机响应特性，从而导致处理后的图像可能存在对比度过度增强或者欠增强的问题，进而使得图像失真。此外，现有方法得到的增强结果可能或多或少存在各种不自然的处理痕迹，如图像的物体边缘有光圈，图像颜色失真、图像不自然等问题。
发明内容
为了克服上述现有技术的不足，本发明提供一种基于多曝光生成再融合框架的图像增强方法，通过采用图像增强方法对显示器或其它实体支撑上的图像外观进行修改，解决相机拍摄图像过程中单一曝光图像中的过亮过暗问题，能够得到更好的视觉体验。
本发明提供的技术方案是：
一种基于多曝光生成再融合框架的图像增强方法，通过采用图像增强方法对图像外观进行修改，解决相机拍摄图像过程中单一曝光图像中的过亮过暗问题，包括如下步骤：
第一步，根据图像，估计得到图像亮度图L；
可以采用现有的图像亮度估计技术，如文献LIME:Low-Light Image Enhancementvia Illumination Map Estimation中记载的几种亮度估计方法；包括：采用图像HSV通道中的V通道直接作为亮度图；采用对上述V通道进行局部最大值滤波(local max)的细化结果；采用对上述V通道进行双边滤波的细化结果；亮度图优化问题的精确解求解；亮度图优化问题的近似解求解。
采用亮度估计技术求解图像亮度图，具体实施中，可通过求解一个最优化问题从一个初始的亮度图L′得到最终的亮度图L。亮度估计具体包括三个步骤：
a)亮度图初始化。
该步骤提取图像的亮度分量作为初始的亮度估计图L′。可以采用三通道的算术均值、几何均值或加权平均值，也可以采用三通道的最大值，表示为式1：
其中，x为像素的索引，L′为初始的亮度估计图，P为输入图像，c代表图像的红(R)，绿(G)，蓝(B)通道索引，max表示求最大值运算。
b)优化求解亮度图，求解保边平滑的权值矩阵。
在优化求解亮度图时，需要对非边缘的区域进行平滑，同时保持亮度图边缘不被平滑，该操作通过引入一个保边平滑的权值矩阵Md实现。权值矩阵Md根据初始亮度图，通过式2计算得到：
其中，d为梯度方向(h代表水平方向，v代表垂直方向)；ω(x)表示像素x处的滑动窗口，即x的所有邻居像素；∈为一个非常小的数，用于防止分母为0的情形。
c)亮度图细化。
细化亮度图的优化问题定义如式3：
其中，λ为权衡两个约束项的因子，M为用于保边平滑的权值矩阵，为梯度算子，||*||1和分别代表L1范数和L2范数。用于快速求解，避免迭代，采用该问题的近似形式如式4：
由于该优化问题为二次型，可以给出闭式解，从而得到图像亮度图L。
第二步，根据亮度图L计算最优的曝光比例采样值集合；
最优的曝光比例采样值集合表示为：(N为生成的图像个数，k1,k2,k3,...kN为一系列曝光比例值)，计算方法可以概括为一个最优化问题，表示为式5：
其中，为计算得到的最优的曝光比例采样值集合；P为输入图像；G为增益函数，通常表征多曝光图像可以提供的总信息量；C为代价函数，通常表征多曝光图像集合中的冗余信息量。
第三步，根据相机模型g和采样值集合生成多曝光图像集合：
生成的一系列不同曝光的图像表示为式6:
其中，g为相机模型，Pi为第i张生成图像，对应曝光比例ki。
第四步，对第三步生成的多曝光图像集合中的每张图像的各个像素进行视觉质量良好程度的评估，得到一个质量灰度图。
该灰度图作为合成器合成图像的参考。一个像素的视觉质量越良好，给出的分数越高，参与合成的权重越大。对第i张图像的初步评估结果，即质量灰度图用Wi表示，评估完所有图像后，通过式7对评估结果进行归一化：
其中，为归一化结果，表示逐元素除法。
第五步，参考第四步给出的归一化后的评估结果对多曝光图像集进行融合，得到增强后的图像；
最简单的融合方法可采用加权累加方法，如式8：
其中，c∈R,G,B表示图像的红、绿、蓝三个颜色通道；符号°代表逐元素乘法；R为合成结果；
也可以采用其他多曝光图像融合技术(如多尺度融合技术multi-scale fusion和增强拉普拉斯金字塔融合Boosting Laplacian Pyramid fusion技术)根据质量灰度图对多曝光图像集合中的图像进行融合，得到增强后的图像。
与现有技术相比，本发明的有益效果是：
本发明提供一种基于多曝光生成再融合框架的图像增强方法，包括：估计图像亮度图；根据亮度图计算最优的曝光比例采样值集合；根据相机模型和采样值集合生成多曝光图像集合；对多曝光图像集合中的每一个图像进行视觉质量评估，得到一个质量灰度图用于后期的融合做参考；根据质量灰度图对多曝光图像集合中的图像进行融合，得到增强后的图像。本发明通过采用图像增强方法对显示器或其它实体支撑上的图像外观进行修改，解决相机拍摄图像过程中单一曝光图像中的过亮过暗问题，能够得到更好的视觉体验。本发明方法得到的增强结果的对比度失真更小(对比度失真用动态范围独立的评估指标DRIM评测)视觉信息真实度指标VIF更大，亮度顺序误差指标LOE更小，没有明显的光圈、描边痕迹。
附图说明
图1为本发明提供的建立多曝光生成再融合框架的图像增强方法的流程框图。
图2是本发明实施例二提供采用本发明方法基于双曝光生成再融合图像增强方法的流程框图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种基于多曝光生成再融合框架的图像增强方法，通过采用图像增强方法对显示器或其它实体支撑上的图像外观进行修改，解决相机拍摄图像过程中单一曝光图像中的过亮过暗问题。针对的数据/对象为内容存在局部或全局低照度问题的图像数据，采用本发明方法进行处理，可以得到内容上全局亮度适宜的图像数据。图1为本发明实施例一提供的多曝光生成再融合框架的步骤流程图。如图1所示，实施例一建立多曝光生成再融合的图像增强框架，包含以下步骤：
在步骤101中，估计图像亮度图L，可以采用现有的图像亮度估计技术，如文献LIME:Low-Light Image Enhancement via Illumination Map Estimation中讨论的几个亮度估计方法；
在步骤102中，根据亮度图L计算最优的曝光比例采样值集合(N为生成的图像个数，k1,k2,k3,...kN为一系列曝光比例值，为计算得到的最优的曝光比例采样值集合)。计算方法可以概括为一个最优化问题:
其中P为输入图像；G为增益函数，通常表征多曝光图像可以提供的总信息量；C为代价函数，通常表征多曝光图像集合中的冗余信息量。
在步骤103中，根据相机模型g和采样值集合生成一系列不同曝光的图像:
其中g为相机模型，描述相机拍摄得到的不同曝光图像之间的关系，也称作相机的亮度转换函数(Brightness Transform Function)输入图像和曝光比例，输出对应曝光比例的其他曝光的图像；Pi为第i张生成图像，对应曝光比例ki。
在步骤104中，对步骤103生成的曝光图像集合中的每张图像的各个像素进行视觉质量良好程度的评估，得到一个灰度图。该灰度图作为合成器合成图像的参考。一个像素的视觉质量越良好，给出的分数越高，参与合成的权重越大。对第i张图像的初步评估结果，即质量灰度图用Wi表示，评估完所有图像后，要对评估结果进行归一化：
其中为归一化结果，表示逐元素除法。
在步骤105中，参考步骤104给出的归一化后的评估结果对多曝光图像集进行融合，最简单的融合方法是加权累加：
其中c∈R,G,B表示图像的三个颜色通道，°代表逐元素乘法，R为合成结果)，也可以采用其他多曝光图像融合技术(如multi-scale fusion和Boosting Laplacian Pyramidfusion技术)根据质量灰度图对多曝光图像集合中的图像进行融合，得到增强后的图像。
图2是本发明实施例二提供的基于双曝光生成再融合图像增强方法的流程框图。如图2所示，实施例二提供的双曝光生成再融合的图像增强方法包含以下步骤：
步骤201：图像亮度图估计；
在步骤201中，采用亮度估计技术求解图像亮度图。通过求解一个最优化问题从一个初始的亮度图L′得到最终的亮度图L。
本发明中，采用亮度估计优化方法求解图像亮度图，改进后的优化问题可以在更快地收敛得到最优解，从而更快地在达到类似的增强效果，提高了亮度图估计的效率。亮度估计具体分为三个步骤：
a)亮度图初始化。
该步骤提取图像的亮度分量作为初始的亮度估计图L′。可以采用三通道的算术均值、几何均值或加权平均值，也可以一种采用三通道的最大值：
其中x为像素的索引。
b)保边平滑的权值矩阵求解。
在优化求解亮度图时，需要对非边缘的区域进行平滑，同时保持亮度图边缘不被平滑，该操作通过引入一个保边平滑的权值矩阵Md实现。权值矩阵根据初始亮度图计算：
其中d为梯度方向(h代表水平方向，v代表垂直方向)；ω(x)表示像素x处的滑动窗口，即x的所有邻居像素；∈为一个非常小的数，用于防止分母为0的情形。
c)亮度图细化。
细化亮度图的优化问题定义如下：
其中λ为权衡两个约束项的因子，M为用于保边平滑的权值矩阵，为梯度算子，||*||1和分别代表L1范数和L2范数。用于快速求解，避免迭代，采用该问题的近似形式：
由于该优化问题为二次型，可以给出闭式解。
步骤202：视觉质量评估；
在视觉质量评估中，由于该方法只采用两张不同曝光的图像进行融合，因此只需估计一个质量灰度图W。第二张图为增强曝光的图，所以对于图像中较暗的区域，第二张图的权重应当更大些，同时对于第一张图的权重更小些。也就是说，区域亮度越低，W越小。反之，区域亮度越高，W越大。W与亮度成正比。根据前面的亮度估计图，质量灰度图W通过下式求解：
W＝Lμ
其中，μ为控制参数(μ≥1)。
步骤203：最优曝光比例参数求解；
在最优曝光比例参数求解中，首先选出图像中待增强的像素构成一个集合Q，我们直接选择亮度较暗的：
Q＝{P(x)|T(x)<0.5},
由于曝光主要和亮度相关，不同曝光图像的色彩信息基本不变，所以我们提取出亮度分量B：
曝光最佳的图像信息最丰富。我们通过图像熵衡量图像的信息丰富程度：
其中pi统计亮度值分布在[i-1,i)的像素的个数，表示图像B的图像熵的值。随着曝光的增加，图像熵值先增大(暗处复现)，后减小(亮度溢出)。最优曝光比例通过一维优化求解：
其中为求解得到的最优曝光比例，argmaxk表示求使得后面式子最大的k的值。表示求图像熵，g为相机模型，描述相机拍摄得到的不同曝光图像之间的关系，也称作相机的亮度转换函数(Brightness Transform Function)输入图像和曝光比例，输出对应曝光比例的其他曝光的图像；B为步骤203提取得到的亮度分量，k为曝光比例。
可选地，为了减少优化的耗时，可以先对图像进行尺寸的缩放，例如对尺寸较大的图像缩放到长宽均为50个像素的尺寸可以显著提高优化的速度。
步骤204：双曝光图像生成；
在双曝光图像生成中，通过步骤203得到的最优曝光比例得到另一个曝光，用于步骤203与原图进行融合得到最终结果。曝光模型定义如下：
其中a、b为相机参数，通常取a＝-0.4266,b＝0.7556以适合绝大多数的现代数码相机；P*为根据曝光比例k*生成的图像。未解决图像中过暗问题，通过该曝光模型生成一张增强曝光的图像Penhanced：
可选的，如果需要处理图像中过亮问题，再生成一张减弱曝光的图像Pde-enhanced：
步骤205：双曝光图像融合；
在双曝光图像融合过程中，将两张不同曝光的图像进行融合得到最终的增强图像R。将实施例一中所述的多曝光融合框架简化为双曝光情形:
其中，P1,P2为步骤204生成的两张待融合的图像，W1,W2为融合采用的权重。习惯上P1表示曝光相对较低的图像，P2表示曝光相对较高的图像，融合采用的权重取值如下：
W1＝W,
W2＝1-W,
其中W为步骤202得到的质量灰度图。
具体地，如果仅需要处理图像中的过暗问题，则采用原图P和增强曝光的图像Penhanced进行融合：
如果既需要处理图像中的过暗问题，也要处理图像中的过亮问题，则采用减弱曝光的图像Pde-enhanced和增强曝光的图像Penhanced进行融合：
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (8)
1.一种基于多曝光生成再融合框架的图像增强方法，包括如下步骤：
第一步，根据图像进行图像亮度估计，得到图像亮度图L；
第二步，根据图像亮度图L计算最优的曝光比例采样值集合
最优的曝光比例采样值集合表示为：其中，N为生成的图像个数；k1，k2，k3，...kN为一系列曝光比例值，计算方法表示为式5的最优化问题：
其中，为计算得到的最优的曝光比例采样值集合；P为输入图像；G为增益函数，通常表征多曝光图像可以提供的总信息量；C为代价函数，通常表征多曝光图像集合中的冗余信息量；
第三步，根据相机模型g和采样值集合生成多曝光图像集合，表示为式6：
其中，g为相机模型，Pi为第i张生成图像，对应曝光比例ki；
第四步，对第三步生成的多曝光图像集合中的每张图像的各个像素进行视觉质量良好程度的评估，得到质量灰度图；对第i张图像进行初步评估结果得到的质量灰度图用Wi表示；评估完所有图像后，通过式7对评估结果进行归一化：
其中，为归一化结果，表示逐元素除法；
第五步，参考第四步的归一化后的评估结身对多曝光图像集进行融合，得到增强后的图像。
2.如权利要求1所述图像增强方法，其特征是，第五步中融合的方法采用加权累加方法，如式8：
其中，c∈R，G，B，表示图像的红、绿、蓝三个颜色通道；符号代表逐元素乘法；R为合成结果。
3.如权利要求1所述图像增强方法，其特征是，第五步中融合的方法可采用多曝光图像融合方法，包括多尺度融合方法和增强拉普拉斯金字塔融合方法，得到增强后的图像。
4.如权利要求1所述图像增强方法，其特征是，第一步中采用文献LIME：Low-LightImage Enhancement via Illumination Map Estimation中记载的亮度估计方法获得图像亮度图；方法包括：采用图像HSV通道中的V通道直接作为亮度图；采用对图像HSV通道中的V通道进行局部最大值滤波的细化结果作为亮度图；采用对对图像HSV通道中的V通道进行双边滤波的细化结果作为亮度图；求解亮度图优化问题的精确解作为亮度图；求解亮度图优化问题的近似解作为亮度图。
5.如权利要求1所述图像增强方法，其特征是，第一步中求解图像亮度图，具体通过求解一个最优化问题，从而从一个初始的亮度图L′得到最终的亮度图L；包括如下步骤：
a)亮度图初始化：提取图像的亮度分量作为初始的亮度估计图L′；图像的亮度分量可采用三通道的算术均值、几何均值、加权平均值或三通道的最大值；
b)通过求解保边平滑的权值矩阵优化求解亮度图；
在优化求解亮度图时，通过引入一个保边平滑的权值矩阵Md，实现对非边缘的区域进行平滑，同时保持亮度图边缘不被平滑；权值矩阵Md根据初始亮度图，通过式2计算得到：
其中，d为梯度方向，h代表水平方向，v代表垂直方向；ω(x)表示像素x处的滑动窗口，即x的所有邻居像素；∈为一个非常小的数，用于防止分母为0的情形；
c)细化亮度图；
将细化亮度图的优化问题定义如式3：
其中，λ为权衡两个约束项的因子，M为用于保边平滑的权值矩阵，为梯度算子，||*||1和分别代表L1范数和L2范数；
为快速求解，避免迭代，可采用该问题的近似形式，如式4：
该优化问题可通过给出闭式解得到图像亮度图L。
6.如权利要求1所述图像增强方法，其特征是，所述图像增强方法为基于双曝光生成再融合图像，采用两张不同曝光的图像进行融合；具体地：
201)采用三通道的最大值作为初始的亮度估计图L′；表示为式1：
其中，x为像素的索引；L′为初始的亮度估计图；P为输入图像；c代表图像的红(R)，绿(G)，蓝(B)通道索引；max表示求最大值运算；
202)根据亮度估计图，质量灰度图W通过下式求解：
W＝Lμ
其中，μ为控制参数，μ≥1；
203)在最优曝光比例参数求解中：
首先选出图像中待增强的像素构成集合Q；
再通过下式提取出亮度分量B：
通过图像熵衡量图像的信息丰富程度，表示如下：
其中，pi统计亮度值分布在[i-1，i)的像素的个数，表示图像B的图像熵的值；随着曝光的增加，图像熵值先增大，后减小；最优曝光比例通过下式进行一维优化求解：
其中，为求解得到的最优曝光比例；argmaxk表示求使得后面式子最大的k的值；表示求图像熵；g为相机模型；B为步骤203提取得到的亮度分量；k为曝光比例；
204)双曝光图像生成中：
定义曝光模型如下：
<mrow>
<msub>
<mi>P</mi>
<mo>*</mo>
</msub>
<mo>=</mo>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>P</mi>
<mo>,</mo>
<msub>
<mi>k</mi>
<mo>*</mo>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>e</mi>
<mrow>
<mi>b</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<msubsup>
<mi>k</mi>
<mo>*</mo>
<mi>a</mi>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
</msup>
<msup>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>k</mi>
<mo>*</mo>
<mi>a</mi>
</msubsup>
<mo>)</mo>
</mrow>
</msup>
</mrow>
其中，a、b为相机参数；P*为根据曝光比例k*生成的图像；通过曝光模型生成一张增强曝光的图像Penhanced以处理图像中的过亮问题：
<mrow>
<msub>
<mi>P</mi>
<mrow>
<mi>e</mi>
<mi>n</mi>
<mi>h</mi>
<mi>a</mi>
<mi>n</mi>
<mi>c</mi>
<mi>e</mi>
<mi>d</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>P</mi>
<mo>,</mo>
<mover>
<mi>k</mi>
<mo>^</mo>
</mover>
<mo>)</mo>
</mrow>
</mrow>
可选的，可再生成一张减弱曝光的图像Pde-enhanced，以处理图像中的过亮问题：，
<mrow>
<msub>
<mi>P</mi>
<mrow>
<mi>d</mi>
<mi>e</mi>
<mo>-</mo>
<mi>e</mi>
<mi>n</mi>
<mi>h</mi>
<mi>a</mi>
<mi>n</mi>
<mi>c</mi>
<mi>e</mi>
<mi>d</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>P</mi>
<mo>,</mo>
<mfrac>
<mn>1</mn>
<mover>
<mi>k</mi>
<mo>^</mo>
</mover>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
205)在双曝光图像融合过程中：
将两张不同曝光的图像，通过下式进行融合得到最终的增强图像R：
其中，P1，P2为生成的两张待融合的图像；W1，W2为融合采用的权重；W1＝W，W2＝1-W；其中W为步骤202得到的质量灰度图。
7.如权利要求6所述图像增强方法，其特征是，205)在双曝光图像融合过程中，具体地，当仅需要处理图像中的过暗问题时，将原图P和增强曝光的图像Penhanced通过下式进行融合：
当需要同时处理图像中的过暗问题和过亮问题时，通过下式将减弱曝光的图像Pde-enhanced和增强曝光的图像Penhanced进行融合：
由此得到基于双曝光生成的再融合图像。
8.如权利要求6所述图像增强方法，其特征是，其中，相机参数a、b取值为a＝-0.4266，b＝0.7556。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710948129.9A CN107833184A (zh) | 2017-10-12 | 2017-10-12 | 一种基于多曝光生成再融合框架的图像增强方法 |
| PCT/CN2018/092988 WO2019071981A1 (zh) | 2017-10-12 | 2018-06-27 | 一种基于多曝光生成再融合框架的图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710948129.9A CN107833184A (zh) | 2017-10-12 | 2017-10-12 | 一种基于多曝光生成再融合框架的图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107833184A true CN107833184A (zh) | 2018-03-23 |
Family
ID=61647987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710948129.9A Pending CN107833184A (zh) | 2017-10-12 | 2017-10-12 | 一种基于多曝光生成再融合框架的图像增强方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107833184A (zh) |
| WO (1) | WO2019071981A1 (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596855A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种视频图像质量增强方法、装置以及视频画质增强方法 |
| CN108681989A (zh) * | 2018-03-30 | 2018-10-19 | 国信优易数据有限公司 | 一种图像数据增强方法以及装置 |
| CN108898609A (zh) * | 2018-06-21 | 2018-11-27 | 深圳辰视智能科技有限公司 | 一种图像边缘检测方法、检测装置及计算机存储介质 |
| CN109583324A (zh) * | 2018-11-12 | 2019-04-05 | 武汉大学 | 一种基于单点多盒检测器的指针仪表读数自动识别方法 |
| CN109635877A (zh) * | 2018-12-24 | 2019-04-16 | 余姚市荣大塑业有限公司 | 制音器变形鉴定系统 |
| WO2019071981A1 (zh) * | 2017-10-12 | 2019-04-18 | 北京大学深圳研究生院 | 一种基于多曝光生成再融合框架的图像增强方法 |
| CN110222595A (zh) * | 2019-05-20 | 2019-09-10 | 中国科学院大学 | 一种基于时空卷积神经网络的视频目标分割方法 |
| CN110519527A (zh) * | 2019-09-19 | 2019-11-29 | 天津英田视讯科技有限公司 | 一种基于图像大数据的相机自动曝光参数生成方法 |
| CN110619610A (zh) * | 2019-09-12 | 2019-12-27 | 紫光展讯通信(惠州)有限公司 | 图像处理方法及装置 |
| CN111080565A (zh) * | 2019-12-11 | 2020-04-28 | 九江学院 | 基于图像质量变化规律的曝光融合方法、设备和存储介质 |
| CN111724332A (zh) * | 2020-06-09 | 2020-09-29 | 四川大学 | 一种适用于密闭腔体检测的图像增强方法及系统 |
| CN112381724A (zh) * | 2020-10-16 | 2021-02-19 | 中国科学院西安光学精密机械研究所 | 一种基于多曝光融合框架的图像宽动态增强方法 |
| CN112419181A (zh) * | 2020-11-19 | 2021-02-26 | 中国科学院西安光学精密机械研究所 | 一种宽动态红外图像细节增强方法 |
| CN116342449A (zh) * | 2023-03-29 | 2023-06-27 | 银河航天(北京)网络技术有限公司 | 图像增强方法、装置以及存储介质 |
| CN118279542A (zh) * | 2024-05-31 | 2024-07-02 | 烟台大学 | 一种图像数据分析处理系统 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734650B (zh) * | 2019-10-14 | 2022-09-30 | 武汉科技大学 | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 |
| CN112200743B (zh) * | 2020-10-12 | 2024-09-20 | 中科(厦门)数据智能研究院 | 一种多图片集曝光分布差异的衡量方法 |
| CN114418912B (zh) * | 2021-12-27 | 2024-05-14 | 杭州意象科技有限公司 | 多角度光照消除反光、多帧多角度光照图像融合算法 |
| CN114757897B (zh) * | 2022-03-30 | 2024-04-09 | 柳州欧维姆机械股份有限公司 | 一种改善桥梁缆索锚固区成像效果的方法 |
| CN114998173B (zh) * | 2022-06-07 | 2024-03-15 | 西北工业大学 | 基于局部区域亮度调节的空间环境高动态范围成像方法 |
| CN115375598B (zh) * | 2022-08-22 | 2024-04-05 | 天津大学 | 一种无监督暗光图像增强方法及装置 |
| CN117939307B (zh) * | 2024-03-19 | 2024-06-04 | 四川辰宇微视科技有限公司 | 一种适用于融合相机的自适应亮度调节方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104616273A (zh) * | 2015-01-26 | 2015-05-13 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
| CN106875352A (zh) * | 2017-01-17 | 2017-06-20 | 北京大学深圳研究生院 | 一种低照度图像增强方法 |
| CN107220956A (zh) * | 2017-04-18 | 2017-09-29 | 天津大学 | 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101867727B (zh) * | 2009-04-16 | 2011-12-07 | 华为技术有限公司 | 一种视频处理方法及装置 |
| CN103034986A (zh) * | 2012-11-29 | 2013-04-10 | 奇瑞汽车股份有限公司 | 一种基于曝光融合的夜视图像增强方法 |
| CN107833184A (zh) * | 2017-10-12 | 2018-03-23 | 北京大学深圳研究生院 | 一种基于多曝光生成再融合框架的图像增强方法 |
-
2017
- 2017-10-12 CN CN201710948129.9A patent/CN107833184A/zh active Pending
-
2018
- 2018-06-27 WO PCT/CN2018/092988 patent/WO2019071981A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104616273A (zh) * | 2015-01-26 | 2015-05-13 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
| CN106875352A (zh) * | 2017-01-17 | 2017-06-20 | 北京大学深圳研究生院 | 一种低照度图像增强方法 |
| CN107220956A (zh) * | 2017-04-18 | 2017-09-29 | 天津大学 | 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| JIANBING SHEN,YING ZHAO: "Exposure Fusion Using Boosting Laplacian Pyramid", 《IEEE TRANSACTIONS ON CYBERNETICS》 * |
| T.MERTENS,J.KAUTZ AND F.VAN REETH: "Exposure Fusion:A Simple and Practical Alternative to High Dynamic Range Photography", 《COMPUTER GRAPHICS FORUM》 * |
| XIAOJIE GUO,YU LI AND HAIBIN LING: "LIME: Low-Light Image Enhancement via Illumination Map Estimation", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| ZHENQIANG YING, GE LI, YURUI REN, RONGGANG WANG: "A New Image Contrast Enhancement Algorithm Using Exposure Fusion Framework", 《COMPUTER ANALYSIS OF IMAGES AND PATTERNS:17TH INTERNATIONAL CONFERENCE,CAIP 2017,PT Ⅱ》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019071981A1 (zh) * | 2017-10-12 | 2019-04-18 | 北京大学深圳研究生院 | 一种基于多曝光生成再融合框架的图像增强方法 |
| CN108681989A (zh) * | 2018-03-30 | 2018-10-19 | 国信优易数据有限公司 | 一种图像数据增强方法以及装置 |
| CN108596855A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种视频图像质量增强方法、装置以及视频画质增强方法 |
| CN108898609A (zh) * | 2018-06-21 | 2018-11-27 | 深圳辰视智能科技有限公司 | 一种图像边缘检测方法、检测装置及计算机存储介质 |
| CN109583324A (zh) * | 2018-11-12 | 2019-04-05 | 武汉大学 | 一种基于单点多盒检测器的指针仪表读数自动识别方法 |
| CN109635877B (zh) * | 2018-12-24 | 2021-01-05 | 瑞安市佰乐雅工艺品有限公司 | 制音器变形鉴定系统 |
| CN109635877A (zh) * | 2018-12-24 | 2019-04-16 | 余姚市荣大塑业有限公司 | 制音器变形鉴定系统 |
| CN110222595A (zh) * | 2019-05-20 | 2019-09-10 | 中国科学院大学 | 一种基于时空卷积神经网络的视频目标分割方法 |
| CN110619610A (zh) * | 2019-09-12 | 2019-12-27 | 紫光展讯通信(惠州)有限公司 | 图像处理方法及装置 |
| CN110519527A (zh) * | 2019-09-19 | 2019-11-29 | 天津英田视讯科技有限公司 | 一种基于图像大数据的相机自动曝光参数生成方法 |
| CN111080565B (zh) * | 2019-12-11 | 2023-07-18 | 九江学院 | 基于图像质量变化规律的曝光融合方法、设备和存储介质 |
| CN111080565A (zh) * | 2019-12-11 | 2020-04-28 | 九江学院 | 基于图像质量变化规律的曝光融合方法、设备和存储介质 |
| CN111724332A (zh) * | 2020-06-09 | 2020-09-29 | 四川大学 | 一种适用于密闭腔体检测的图像增强方法及系统 |
| CN111724332B (zh) * | 2020-06-09 | 2023-10-31 | 四川大学 | 一种适用于密闭腔体检测的图像增强方法及系统 |
| CN112381724A (zh) * | 2020-10-16 | 2021-02-19 | 中国科学院西安光学精密机械研究所 | 一种基于多曝光融合框架的图像宽动态增强方法 |
| CN112419181A (zh) * | 2020-11-19 | 2021-02-26 | 中国科学院西安光学精密机械研究所 | 一种宽动态红外图像细节增强方法 |
| CN112419181B (zh) * | 2020-11-19 | 2023-12-08 | 中国科学院西安光学精密机械研究所 | 一种宽动态红外图像细节增强方法 |
| CN116342449A (zh) * | 2023-03-29 | 2023-06-27 | 银河航天(北京)网络技术有限公司 | 图像增强方法、装置以及存储介质 |
| CN116342449B (zh) * | 2023-03-29 | 2024-01-16 | 银河航天(北京)网络技术有限公司 | 图像增强方法、装置以及存储介质 |
| CN118279542A (zh) * | 2024-05-31 | 2024-07-02 | 烟台大学 | 一种图像数据分析处理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019071981A1 (zh) | 2019-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107833184A (zh) | 一种基于多曝光生成再融合框架的图像增强方法 | |
| Ying et al. | A bio-inspired multi-exposure fusion framework for low-light image enhancement | |
| US11882357B2 (en) | Image display method and device | |
| Raman et al. | Bilateral Filter Based Compositing for Variable Exposure Photography. | |
| EP1924966B1 (en) | Adaptive exposure control | |
| CN112734650B (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
| CN100515042C (zh) | 多曝光图像增强方法 | |
| CN101729911B (zh) | 一种基于视觉感知的多视点图像颜色校正方法 | |
| US20140176745A1 (en) | Approach for camera control | |
| US9336578B2 (en) | Interactive tone mapping for high dynamic range video | |
| TWI697867B (zh) | 測光補償方法及其相關監控攝影設備 | |
| CN110852982A (zh) | 自适应的曝光量调整多尺度熵融合的水下图像增强方法 | |
| CN109478316B (zh) | 实时自适应阴影和高光增强 | |
| CN114862698B (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
| Park et al. | High dynamic range and super-resolution imaging from a single image | |
| Pan et al. | Multi-exposure high dynamic range imaging with informative content enhanced network | |
| CN107370910A (zh) | 基于最优曝光的最小包围曝光集合获取方法 | |
| CN115883755A (zh) | 一种多类型场景下多曝光图像融合方法 | |
| Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
| US9466007B2 (en) | Method and device for image processing | |
| CN113298763B (zh) | 一种基于显著性窗口策略的图像质量评估方法 | |
| WO2020107308A1 (zh) | 一种基于Retinex的微光图像快速增强方法及其装置 | |
| CN112381724A (zh) | 一种基于多曝光融合框架的图像宽动态增强方法 | |
| Kim | Low-light image enhancement by diffusion pyramid with residuals | |
| JP4359662B2 (ja) | カラー画像の露出補正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180323 |
|
| WD01 | Invention patent application deemed withdrawn after publication |