CN108122218B - 基于颜色空间的图像融合方法与装置 - Google Patents
基于颜色空间的图像融合方法与装置 Download PDFInfo
- Publication number
- CN108122218B CN108122218B CN201611074602.7A CN201611074602A CN108122218B CN 108122218 B CN108122218 B CN 108122218B CN 201611074602 A CN201611074602 A CN 201611074602A CN 108122218 B CN108122218 B CN 108122218B
- Authority
- CN
- China
- Prior art keywords
- target image
- calculating
- image
- obtaining
- subunit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 39
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 23
- 238000005457 optimization Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 claims description 6
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 claims description 6
- 239000004576 sand Substances 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 abstract description 7
- 238000003786 synthesis reaction Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理领域，公开了一种基于颜色空间的图像融合方法与装置。本发明实施方式中，获取M张不同曝光值的输入图像的亮度分量Yw与色差分量Uw、Vw，其中，w＝1,2,...,M，M为正整数，根据幂次运算，对Yw进行优化，并加权融合输入图像的优化后的Yw，得到目标图像的亮度分量Y"，根据Uw与Vw，计算目标图像的色差分量U"与V"，融合Y"、U"与V"，得到目标图像。本发明实施方式，通过对Yw进行幂次运算，得到优化后的Yw，并通过对优化后的Yw进行加权融合，从而得到目标图像的优化后的亮度分量Y"，最后融合目标图像的Y"、U"与V"，得到目标图像，从而有效改善目标图像的合成质量，提升细节呈现，尤其是能够明显提升暗区域的图像细节呈现。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种基于颜色空间的图像融合方法与装置。
背景技术
现实生活场景有很高的动态范围，但是受到硬件条件的限制，普通相机的标准动态范围与实际场景中的动态范围存在巨大差距，用普通相机所拍摄的视频或者照片，往往只能够得到场景中的一部分动态范围内的信息，这会导致包含有关键信息的部分高动态数据或者被直接舍弃，或者被大幅度削弱，从而无法为深入分析提供有效数据源。在视频处理领域该问题体现为，采集到的图像往往在亮区域和暗区域丢失了很多细节，使得移动设备虽然有很高的空间分辨率，但是成像效果却不理想。近些年来，随着宽动态拍照技术的逐渐普及，出现了很多对此进行后期处理的软件方法，其中，最具有代表性的是Mertens等人提出的多曝光融合算法，该算法是目前最为可靠的方法，该方法无需增加硬件设备，主要通过软件后处理方法拓展传统相机的动态范围，此外，谢骞等人基于多曝光融合算法，提出的将YUV颜色空间中的亮度分量Y和色差分量UV分离处理的HDR(High-Dynamic Range，高动态范围)合成方法，也非常实用。
然而，在实现本发明的过程中，本申请的发明人发现，对于亮度分量的计算，如果采用Mertens等人在RGB颜色空间计算权重因子的方法，虽然能够获得较好的合成效果，但是暗区域细节呈现不理想，对于对比度权重因子的计算，如果采用对像素亮度分量直接做变换的方法，虽然暗区域对比度会拓宽，但是过曝区域的亮度区间会受到挤压，从而导致图像整体不均衡。
发明内容
本发明实施方式的目的在于提供一种基于颜色空间的图像融合方法与装置，有效拓展暗区域的亮度区间，改善目标图像的合成质量，提升细节呈现，尤其是显著提升暗区域HDR的图像细节呈现。
为解决上述技术问题，本发明的实施方式提供了一种基于颜色空间的图像融合方法，包括：
获取M张不同曝光值的输入图像的亮度分量Yw与色差分量Uw、Vw，其中，w＝1,2,...,M，M为正整数；
根据幂次运算，对所述Yw进行优化，并加权融合所述输入图像的优化后的Yw，得到目标图像的亮度分量Y"；
根据所述Uw与所述Vw，计算所述目标图像的色差分量U"与V"；
融合所述Y"、所述U"与所述V"，得到所述目标图像。
本发明的实施方式还提供了一种基于颜色空间的图像融合装置，包括：
获取模块，用于获取M张不同曝光值的输入图像的亮度分量Yw与色差分量Uw、Vw，其中，w＝1,2,...,M，M为正整数；
加权融合模块，用于根据幂次运算，对所述Yw进行优化，并加权融合所述输入图像的优化后的Yw，得到目标图像的亮度分量Y"；
计算模块，用于根据所述Uw与所述Vw，计算所述目标图像的色差分量U"与V"；
图像融合模块，用于融合所述Y"、所述U"与所述V"，得到所述目标图像。
本发明实施方式相对于现有技术而言，通过对亮度分量Yw进行幂次运算，得到优化后的Yw，从而在亮度区间使用优化的亮度分量，通过加权融合所有输入图像的优化后的Yw，得到目标图像的优化后的亮度分量Y"，从而得到目标图像的理想亮度分量，根据Uw与Vw，计算目标图像的色差分量U"与V"，可以准确得到目标图像的较理想的色差分量，最后融合目标图像的Y"、U"与V"，得到目标图像，有效拓展暗区域的亮度区间，改善目标图像的合成质量，提升细节呈现，尤其是显著提升暗区域HDR的图像细节呈现。
另外，所述根据幂次运算，对所述Yw进行优化，并加权融合所述输入图像的优化后的Yw，得到目标图像的亮度分量Y"，具体包括：对所述Yw的每个元素值Yij,w进行幂次运算，得到优化亮度分量Y′ij,w，其中，Y′ij,w＝(Yij,w+pow(Yij,w,0.666666))/2，i＝1,2,...,R，j＝1,2,...,C，R、C分别为第w张输入图像的像素的行数与列数；加权融合所述Y′ij,w，得到所述目标图像的亮度分量Y"。根据Y′ij,w＝(Yij,w+pow(Yij,w,0.666666))/2，逐一对每个像素的亮度值Yij,w进行优化，从而得到所有输入图像的所有像素的理想亮度分量，有效拓展暗区域的亮度区间。
另外，所述加权融合所述Y′ij,w，得到所述目标图像的亮度分量Y"，具体包括：对所述Y′ij,w进行拉普拉斯滤波，得到对比度权重因子Cij,w；根据多曝光融合算法，计算饱和度权重因子Sij,w与曝光适度权重因子Eij,w；根据所述Cij,w、所述Sij,w与所述Eij,w，计算相应的质量权重因子Wij,w，其中，
wC、wS与wE分别为所述Cij,w、所述Sij,w与所述Eij,w的权重系数；根据所述Wij,w，计算所述目标图像的亮度分量Y"。根据优化后的亮度分量Y′ij,w，可以便捷地得到优化后的对比度权重因子Cij,w，从而快速得到优化后的质量权重因子Wij,w，并最终得到目标图像的理想亮度分量Y"，以改善目标图像的合成质量。
另外，所述根据所述Uw与所述Vw，计算所述目标图像的色差分量U"、V"，具体包括：根据U"＝max(U1,U2,...,UM)，得到所述目标图像的U"；根据V"＝max(V1,V2,...,VM)，得到所述目标图像的V"。准确得到目标图像的理想色差分量。
附图说明
图1是根据本发明第一实施方式的一种基于颜色空间的图像融合方法流程图；
图2是根据本发明第二实施方式的一种基于颜色空间的图像融合方法流程图；
图3是根据本发明第三实施方式的一种基于颜色空间的图像融合装置的结构示意图；
图4是根据本发明第四实施方式的一种基于颜色空间的图像融合装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明第一实施方式涉及一种基于颜色空间的图像融合方法。具体流程如图1所示。
在步骤101中，获取输入图像的亮度分量Yw与色差分量Uw、Vw。
具体地说，获取M张不同曝光值的输入图像的亮度分量Yw与色差分量Uw、Vw，其中，w＝1,2,...,M，M为正整数，亮度分量Yw为某一输入图像的所有像素点的亮度分量的集合。
在步骤102中，优化Yw，并根据优化后的Yw计算目标图像的亮度分量Y"。
具体地说，在Mertens等人提出的多曝光融合算法基础上，根据幂次运算，对Yw进行优化，并对所有输入图像的优化后的Yw，进行加权融合处理，得到目标图像的亮度分量Y"。
在步骤103中，计算目标图像的色差分量U"与V"。
具体地说，根据Uw与Vw，计算目标图像的色差分量U"与V"。
在步骤104中，融合Y"、U"与V"，得到目标图像。
具体地说，根据YUV颜色格式，例如：NV12，NV21和YV12等，对数据格式定义的标准，融合Y"、U"与V"，最终将融合结果输出，得到目标图像。
与现有技术相比，在本实施方式中，通过对亮度分量Yw进行幂次运算，得到优化后的Yw，从而在亮度区间使用优化的亮度分量，有效拓展暗区域的亮度区间，通过加权融合所有输入图像的优化后的Yw，得到目标图像的优化后的亮度分量Y"，从而得到目标图像的理想亮度分量，有助于改善目标图像的合成质量，根据Uw与Vw，计算目标图像的色差分量U"与V"，可以准确得到目标图像的较理想的色差分量，最后融合目标图像的Y"、U"与V"，得到目标图像，提升目标图像的细节呈现，尤其是显著提升暗区域HDR的图像细节呈现。
本发明第二实施方式涉及一种基于颜色空间的图像融合方法。第二实施方式在第一实施方式的基础上进行了进一步改进，主要改进之处在于：在本发明第二实施方式中，具体给出了对输入图像的亮度分量Yw进行优化的依据，及根据优化后的Yw计算目标图像的亮度分量Y"的具体过程，同时也给出了计算目标图像的色差分量U"与V"的具体过程，具体流程如图2所示。
在步骤201中，获取输入图像的亮度分量Yw与色差分量Uw、Vw。
具体地说，获取M张不同曝光值的输入图像的亮度分量Yw与色差分量Uw、Vw，其中，w＝1,2,...,M，M为正整数，亮度分量Yw为某一输入图像的所有像素点的亮度分量的集合。
在步骤202中，对Yw的每个元素值进行幂次运算，得到优化亮度分量Y′ij,w。
具体地说，对Yw的每个元素值Yij,w进行幂次运算，得到优化亮度分量Y′ij,w，其中，Y′ij,w＝(Yij,w+pow(Yij,w,0.666666))/2，i＝1,2,...,R，j＝1,2,...,C，R、C分别为第w张输入图像的像素的行数与列数，也就是说，逐一对每张输入图像的每个像素的亮度分量Y′ij,w，按照Y′ij,w＝(Yij,w+pow(Yij,w,0.666666))/2进行优化处理，从而得到优化亮度分量Y′ij,w，从而得到所有输入图像的所有像素的理想亮度分量，有效拓展暗区域的亮度区间。
在步骤203中，根据Yij,w计算对比度权重因子Cij,w。
具体地说，由于图像质量权重因子Wij,w包括对比度权重因子Cij,w、饱和度权重因子Sij,w与曝光适度权重因子Eij,w，因此，需要分别计算出Cij,w、Sij,w与Eij,w，从而最终计算出Wij,w。对于Cij,w的计算，采用对Yij,w进行拉普拉斯滤波的方式得到，即对Yij,w进行拉普拉斯滤波，得到对比度权重因子Cij,w，从而根据优化亮度分量Y′ij,w，便捷地得到优化后的对比度权重因子Cij,w，进而快速得到优化后的质量权重因子Wij,w，并最终得到目标图像的理想亮度分量Y"，以改善目标图像的合成质量。
在步骤204中，计算饱和度权重因子Sij,w与曝光适度权重因子Eij,w。
具体地说，根据多曝光融合算法，计算饱和度权重因子Sij,w与曝光适度权重因子Eij,w，也即仍然采用Mertens等人提出的多曝光融合算法，计算饱和度权重因子Sij,w与曝光适度权重因子Eij,w。
在步骤205中，根据Cij,w、Sij,w与Eij,w，计算质量权重因子Wij,w。
具体地说，根据Cij,w、Sij,w与Eij,w，并采用质量权重因子的通用计算公式：
计算出相应的质量权利因子，其中，wC、wS与wE分别为Cij,w、Sij,w与Eij,w的权重系数，例如，可以取0.5。
在步骤206中，根据Wij,w计算目标图像的亮度分量Y"。
具体地说，首先，需要根据Wij,w获取目标图像的高斯金字塔的第k层序列
其中，0＜k≤N，N为正整数，然后，根据Wij,w获取目标图像的普拉斯金字塔的第r层序列
其中，0≤r＜N，最后，根据
计算目标图像的亮度分量Y"，其中，
进一步地说，目标图像的高斯金字塔的第k层序列
通过公式
计算得到，其中，
为第m张输入图像的高斯金字塔的第k层的像素位置，0＜i≤Ck，0＜j≤Rk，N为正整数，Ck表示第k层的列数，Rk表示第k层的行数。需要说明的是，第w张输入图像的高斯金字塔的第k层序列
可以根据通用高斯金字塔建立方法，通过
计算得到，其中，用G0表示第w张输入图像，也就是源图像，同时将G0作为高斯金字塔的最底层，即第0层，ω(m,n)是一个具有缩减的低通特性的5*5大小的窗函数，用这个低通滤波函数与
卷积，并对得到的结果做隔行隔列的降采样，通常将这一操作过程称为Reduce算子，于是，
就构成了总层数为N+1的高斯金字塔，也就是说，图像的高斯金字塔分解相当于对低层图像进行低通滤波，再对低通滤波的结果进行降采样。
更进一步地说，目标图像的拉普拉斯金字塔的第r层序列
通过公式
计算得到，其中，
为第m张输入图像的拉普拉斯金字塔的第k层的像素位置，0≤r＜N，0＜i≤Cr，0＜j≤Rr，Cr表示第r层的列数，Rr表示第r层的行数。需要说明的是，第m张输入图像的拉普拉斯金字塔的第k层序列
可以根据通用拉普拉斯金字塔建立方法，通过如下所示的公式(1)计算得到，
其中，Expand(·)算子为Reduce(·)算子的逆算子，并且Expand(·)算子的具体计算公式如下式(2)所示：
在公式(2)中，0＜r≤N，0＜i≤Cr，0＜j≤Rr。由此可见，拉普拉斯金字塔是建立在高斯金字塔的基础上，从而可以根据高斯金字塔，快速得到相对应的拉普拉斯金字塔的建立。
特别地说，根据图像的拉普拉斯金字塔分解过程，可以逆推出目标图像的建立过程，在建立的过程中，只需目标图像的高斯金字塔的最高层
及目标图像的拉普拉斯金字塔的各层图像
即可计算出目标图像的亮度分量Y"，其中，
在步骤207中，计算目标图像的色差分量U"与V"。
具体地说，取M张输入图像的色差分量的最大值，作为目标图像的色差分量，其中，U"＝max(U1,U2,...,UM)，V"＝max(V1,V2,...,VM)，U"与V"分别表示目标图像的色差分量。
在步骤208中，融合Y"、U"与V"，得到目标图像。
具体地说，根据YUV颜色格式，例如：NV12，NV21和YV12等，对数据格式定义的标准，融合Y"、U"与V"，最终将融合结果输出，得到目标图像。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种基于颜色空间的图像融合装置，如图3所示，包括：获取模块31、加权融合模块32、计算模块33与图像融合模块34。
获取模块31，用于获取M张不同曝光值的输入图像的亮度分量Yw与色差分量Uw、Vw，其中，w＝1,2,...,M，M为正整数。
加权融合模块32，用于根据幂次运算，对Yw进行优化，并加权融合输入图像的优化后的Yw，得到目标图像的亮度分量Y"。
计算模块33，用于根据Uw与Vw，计算目标图像的色差分量U"与V"。
图像融合模块34，用于融合Y"、U"与V"，得到目标图像。
具体地说，图像融合模块34根据YUV颜色格式，例如：NV12，NV21和YV12等，对数据格式定义的标准，融合Y"、U"与V"，最终将融合结果输出，得到目标图像。
不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明第四实施方式涉及一种基于颜色空间的图像融合装置。第四实施方式在第三实施方式的基础上进行了进一步改进，主要改进之处在于：在本发明第四实施方式中，具体给出了加权融合模块32包括的子模块：优化子模块321、亮度分量计算子模块322，其中，亮度分量计算子模块322具体包括：对比度权重因子计算子单元3221、饱合度权重因子计算子单元3222、曝光适度权重因子计算子单元3223、质量权重因子计算子单元3224与第一计算子单元3225，其中，第一计算子单元3225又进一步包括：第一获取子单元32251、第二获取子单元32252与亮度分量计算子单元32253，计算模块33具体包括：第一色差计算子模块331与第二色差计算子模块332。
获取模块31，用于获取M张不同曝光值的输入图像的亮度分量Yw与色差分量Uw、Vw，其中，w＝1,2,...,M，M为正整数。
加权融合模块32，用于根据幂次运算，对Yw进行优化，并加权融合输入图像的优化后的Yw，得到目标图像的亮度分量Y"。
优化子模块321，用于对Yw的每个元素值Yij,w进行幂次运算，得到优化亮度分量Y′ij,w，其中，Y′ij,w＝(Yij,w+pow(Yij,w,0.666666))/2，i＝1,2,...,R，j＝1,2,...,C，R、C分别为第w张输入图像的像素的行数与列数。
亮度分量计算子模块322，用于加权融合Y′ij,w，得到目标图像的亮度分量Y″。
对比度权重因子计算子单元3221，用于对Y′ij,w进行拉普拉斯滤波，得到对比度权重因子Cij,w。
饱合度权重因子计算子单元3222，用于根据多曝光融合算法，计算饱和度权重因子Sij,w。
曝光适度权重因子计算子单元3223，用于根据多曝光融合算法，计算曝光适度权重因子Eij,w。
质量权重因子计算子单元3224，用于根据Cij,w、Sij,w与Eij,w，计算相应的质量权重因子Wij,w，其中，
wC、wS与wE分别为Cij,w、Sij,w与Eij,w的权重系数。
第一计算子单元3225，用于根据Wij,w，计算目标图像的亮度分量Y"。
第一获取子单元32251，用于根据Wij,w获取目标图像的高斯金字塔的第k层序列
0＜k≤N，N为正整数。
第二获取子单元32252，用于根据Wij,w获取目标图像的普拉斯金字塔的第r层序列
0≤r＜N。
亮度分量计算子单元32253，用于根据
计算目标图像的亮度分量Y"，其中，
计算模块33，用于根据Uw与Vw，计算目标图像的色差分量U"与V"。
第一色差计算子模块331，用于根据U"＝max(U1,U2,...,UM)，得到目标图像的U"。
第二色差计算子模块332，用于根据V"＝max(V1,V2,...,VM)，得到目标图像的V"。
图像融合模块34，用于融合Y"、U"与V"，得到目标图像。
由于第二实施方式与本实施方式相互对应，因此本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，在第二实施方式中所能达到的技术效果在本实施方式中也同样可以实现，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (8)
1.一种基于颜色空间的图像融合方法，其特征在于，包括：
获取M张不同曝光值的输入图像的亮度分量Yw与色差分量Uw、Vw，其中，w＝1,2,...,M，M为正整数；
根据幂次运算，对所述Yw进行优化，并加权融合所述输入图像的优化后的Yw，得到目标图像的亮度分量Y"；
根据所述Uw与所述Vw，计算所述目标图像的色差分量U"与V"；
融合所述Y"、所述U"与所述V"，得到所述目标图像；
其中，所述根据幂次运算，对所述Yw进行优化，并加权融合所述输入图像的优化后的Yw，得到目标图像的亮度分量Y"，具体包括：
对所述Yw的每个元素值Yij,w进行幂次运算，得到优化亮度分量Y′ij,w，其中，Y′ij,w＝(Yij,w+pow(Yij,w,0.666666))/2，i＝1,2,...,R，j＝1,2,...,C，R、C分别为第w张输入图像的像素的行数与列数；
加权融合所述Y′ij,w，得到所述目标图像的亮度分量Y"，具体包括：
对所述Y′ij,w进行拉普拉斯滤波，得到对比度权重因子Cij,w；
根据多曝光融合算法，计算饱和度权重因子Sij,w与曝光适度权重因子Eij,w；
根据所述Cij,w、所述Sij,w与所述Eij,w，计算相应的质量权重因子Wij,w；
根据所述Wij,w，计算所述目标图像的亮度分量Y"。
2.根据权利要求1所述的基于颜色空间的图像融合方法，其特征在于，所述根据所述Cij,w、所述Sij,w与所述Eij,w，计算相应的质量权重因子Wij,w，具体包括：
根据
计算所述Wij,w，其中，wC、wS与wE分别为所述Cij,w、所述Sij,w与所述Eij,w的权重系数。
3.根据权利要求2所述的基于颜色空间的图像融合方法，其特征在于，所述根据所述Wij,w，计算所述目标图像的亮度分量Y"，具体包括：
根据所述Wij,w获取所述目标图像的高斯金字塔的第k层序列Gk 0，0＜k≤N，N为正整数；
根据所述Wij,w获取所述目标图像的普拉斯金字塔的第r层序列LPr 0，0≤r＜N；
根据
计算所述目标图像的亮度分量Y"，其中，
4.根据权利要求1所述的基于颜色空间的图像融合方法，其特征在于，所述根据所述Uw与所述Vw，计算所述目标图像的色差分量U"、V"，具体包括：
根据U"＝max(U1,U2,...,UM)，得到所述目标图像的U"；
根据V"＝max(V1,V2,...,VM)，得到所述目标图像的V"。
5.一种基于颜色空间的图像融合装置，其特征在于，包括：
获取模块，用于获取M张不同曝光值的输入图像的亮度分量Yw与色差分量Uw、Vw，其中，w＝1,2,...,M，M为正整数；
加权融合模块，用于根据幂次运算，对所述Yw进行优化，并加权融合所述输入图像的优化后的Yw，得到目标图像的亮度分量Y"；
计算模块，用于根据所述Uw与所述Vw，计算所述目标图像的色差分量U"与V"；
图像融合模块，用于融合所述Y"、所述U"与所述V"，得到所述目标图像；
其中，所述加权融合模块具体包括：优化子模块与亮度分量计算子模块；
所述优化子模块，用于对所述Yw的每个元素值Yij,w进行幂次运算，得到优化亮度分量Y′ij,w，其中，Y′ij,w＝(Yij,w+pow(Yij,w,0.666666))/2，i＝1,2,...,R，j＝1,2,...,C，R、C分别为第w张输入图像的像素的行数与列数；
所述亮度分量计算子模块，用于加权融合所述Y′ij,w，得到所述目标图像的亮度分量Y"；
其中，所述亮度分量计算子模块具体包括：对比度权重因子计算子单元、饱和度权重因子计算子单元、曝光适度权重因子计算子单元、质量权重因子计算子单元，第一计算子单元；
所述对比度权重因子计算子单元，用于对所述Y′ij,w进行拉普拉斯滤波，得到对比度权重因子Cij,w；
所述饱和度权重因子计算子单元，用于根据多曝光融合算法，计算饱和度权重因子Sij,w；
所述质量权重因子计算子单元，用于根据所述Cij,w、所述Sij,w与所述Eij,w，计算相应的质量权重因子Wij,w；
所述第一计算子单元，用于根据所述Wij,w，计算目标图像的亮度分量Y″。
6.根据权利要求5所述的基于颜色空间的图像融合装置，其特征在于，
所述质量权重因子计算子单元，具体用于根据
计算所述Wij,w，其中，wC、wS与wE分别为所述Cij,w、所述Sij,w与所述Eij,w的权重系数。
7.根据权利要求6所述的基于颜色空间的图像融合装置，其特征在于，所述第一计算子单元具体包括：第一获取子单元、第二获取子单元与第二计算子单元；
所述第一获取子单元，用于根据所述Wij,w获取所述目标图像的高斯金字塔的第k层序列Gk 0，0＜k≤N，N为正整数；
所述第二获取子单元，用于根据所述Wij,w获取所述目标图像的普拉斯金字塔的第r层序列LPr 0，0≤r＜N；
所述第二计算子单元，用于根据
计算所述目标图像的亮度分量Y"，其中，
8.根据权利要求5所述的基于颜色空间的图像融合装置，其特征在于，所述计算模块具体包括：第一色差计算子模块与第二色差计算子模块；
所述第一色差计算子模块，用于根据U"＝max(U1,U2,...,UM)，得到所述目标图像的U"；
所述第二色差计算子模块，用于根据V"＝max(V1,V2,...,VM)，得到所述目标图像的V"。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611074602.7A CN108122218B (zh) | 2016-11-29 | 2016-11-29 | 基于颜色空间的图像融合方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611074602.7A CN108122218B (zh) | 2016-11-29 | 2016-11-29 | 基于颜色空间的图像融合方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108122218A CN108122218A (zh) | 2018-06-05 |
| CN108122218B true CN108122218B (zh) | 2021-11-16 |
Family
ID=62226840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611074602.7A Active CN108122218B (zh) | 2016-11-29 | 2016-11-29 | 基于颜色空间的图像融合方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108122218B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108833803A (zh) * | 2018-09-20 | 2018-11-16 | Oppo广东移动通信有限公司 | 成像方法、装置和电子设备 |
| CN110796629B (zh) * | 2019-10-28 | 2022-05-17 | 杭州涂鸦信息技术有限公司 | 一种图像融合方法及系统 |
| CN112348853B (zh) * | 2020-11-04 | 2022-09-23 | 哈尔滨工业大学（威海） | 基于红外显著性特征融合的粒子滤波跟踪的方法 |
| CN116342449B (zh) * | 2023-03-29 | 2024-01-16 | 银河航天(北京)网络技术有限公司 | 图像增强方法、装置以及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1547387A (zh) * | 2003-12-09 | 2004-11-17 | 北京中星微电子有限公司 | 一种动态帧率条件下的自动曝光装置 |
| CN101052100A (zh) * | 2007-03-29 | 2007-10-10 | 上海交通大学 | 多曝光图像增强方法 |
| CN103295191A (zh) * | 2013-04-19 | 2013-09-11 | 北京航科威视光电信息技术有限公司 | 多尺度视觉自适应图像增强方法及评价方法 |
| CN104616273A (zh) * | 2015-01-26 | 2015-05-13 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
| CN106127718A (zh) * | 2016-06-17 | 2016-11-16 | 中国人民解放军国防科学技术大学 | 一种基于小波变换的多曝光图像融合方法 |
-
2016
- 2016-11-29 CN CN201611074602.7A patent/CN108122218B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1547387A (zh) * | 2003-12-09 | 2004-11-17 | 北京中星微电子有限公司 | 一种动态帧率条件下的自动曝光装置 |
| CN101052100A (zh) * | 2007-03-29 | 2007-10-10 | 上海交通大学 | 多曝光图像增强方法 |
| CN103295191A (zh) * | 2013-04-19 | 2013-09-11 | 北京航科威视光电信息技术有限公司 | 多尺度视觉自适应图像增强方法及评价方法 |
| CN104616273A (zh) * | 2015-01-26 | 2015-05-13 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
| CN106127718A (zh) * | 2016-06-17 | 2016-11-16 | 中国人民解放军国防科学技术大学 | 一种基于小波变换的多曝光图像融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| "Fast Multi-exposure Image Fusion with Median Filter";Shutao Li et al.;《IEEE Transactions on Consumer Electronics》;20120531;第58卷(第2期);第626-632页 * |
| "基于宽动态技术的室内视频监控研究";谢骞 等;《信息技术》;20131231(第5期);第115-117、120页 * |
| "基于曝光适度评价的多曝光图像融合方法";江燊煜 等;《浙江大学学报（工学版）》;20150331;第49卷(第3期);第470-476页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108122218A (zh) | 2018-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yue et al. | Supervised raw video denoising with a benchmark dataset on dynamic scenes | |
| CN111986129B (zh) | 基于多摄图像融合的hdr图像生成方法、设备及存储介质 | |
| CN113992861B (zh) | 一种图像处理方法及图像处理装置 | |
| CN108122218B (zh) | 基于颜色空间的图像融合方法与装置 | |
| Afifi et al. | Cie xyz net: Unprocessing images for low-level computer vision tasks | |
| CN113962884A (zh) | Hdr视频获取方法、装置、电子设备以及存储介质 | |
| CN112651911B (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
| JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
| CN113781318A (zh) | 一种图像颜色映射方法、装置、终端设备及存储介质 | |
| Zhang et al. | Deep motion blur removal using noisy/blurry image pairs | |
| CN113962859A (zh) | 一种全景图生成方法、装置、设备及介质 | |
| US10217193B2 (en) | Image processing apparatus, image capturing apparatus, and storage medium that stores image processing program | |
| CN106296608A (zh) | 一种基于映射表的鱼眼图像处理方法及系统 | |
| CN110717864A (zh) | 一种图像增强方法、装置、终端设备及计算机可读介质 | |
| WO2023246392A1 (zh) | 图像获取方法、装置、设备和非瞬态计算机存储介质 | |
| Yang et al. | Efficient hdr reconstruction from real-world raw images | |
| Silva et al. | A deep learning approach to mobile camera image signal processing | |
| CN113781322A (zh) | 一种色域映射方法、装置、终端设备及存储介质 | |
| JP2018067868A (ja) | 撮像装置 | |
| US20230095184A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| Manne et al. | Asymmetric wide tele camera fusion for high fidelity digital zoom | |
| CN115190226B (zh) | 参数调整的方法、训练神经网络模型的方法及相关装置 | |
| KR102594410B1 (ko) | 히스토그램 기반 변환함수 추정에 기반하여 개선 영상을 획득하는 영상 개선 장치 및 방법 | |
| Marin et al. | Image quality enhancement based on real-time deconvolution and super resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180605 Assignee: Shanghai Li Ke Semiconductor Technology Co., Ltd. Assignor: Leadcore Technology Co., Ltd. Contract record no.: 2018990000159 Denomination of invention: Image interfusion method and device based on color space License type: Common License Record date: 20180615 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |