CN107016647A - 全景图像色调一致性纠正方法及系统 - Google Patents
全景图像色调一致性纠正方法及系统 Download PDFInfo
- Publication number
- CN107016647A CN107016647A CN201710284303.4A CN201710284303A CN107016647A CN 107016647 A CN107016647 A CN 107016647A CN 201710284303 A CN201710284303 A CN 201710284303A CN 107016647 A CN107016647 A CN 107016647A
- Authority
- CN
- China
- Prior art keywords
- image
- tone
- value
- images
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 79
- 230000001186 cumulative effect Effects 0.000 claims abstract description 15
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims description 40
- 239000013598 vector Substances 0.000 claims description 35
- 230000008859 change Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 238000012886 linear function Methods 0.000 claims description 5
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 claims description 5
- 108010050014 systemin Proteins 0.000 claims description 5
- 235000019646 color tone Nutrition 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- ODKSFYDXXFIFQN-UHFFFAOYSA-M argininate Chemical compound [O-]C(=O)C(N)CCCNC(N)=N ODKSFYDXXFIFQN-UHFFFAOYSA-M 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- QERYCTSHXKAMIS-UHFFFAOYSA-M thiophene-2-carboxylate Chemical compound [O-]C(=O)C1=CC=CS1 QERYCTSHXKAMIS-UHFFFAOYSA-M 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
本发明提出的全景图像色调一致性纠正方法及系统，包括对所有相邻图像对的重叠区域提取内容一致区域，并根据内容一致区域的累积概率直方图等概率间隔的提取图像间的颜色对应关系；定义灵活度较高的色调变换模型，设计全局能量函数同时优化全局色调一致性、图像对比度和梯度细节；经求解具有严格全局最优性的模型参数，对所有图像应用各自的色调纠正模型进行色调一致性纠正，输出处理结果。本发明利用相邻影像间重叠区域的色调对应关系，能有效地消除图像间存在的较大的色调差异；能够在纠正色调一致性的同时抑制色调溢出、动态范围缩小以及相对于原始图像的梯度损失问题，全局联合优化的纠正方式无需定义特定的参考图像，能有效降低累积误差问题。
Description
技术领域
本发明属于图像拼接技术领域，特别是涉及用于合成全景和多视图像间色调一致性校正方法及系统。
背景技术
图像拼接是一种利用具有一定重叠部分的多张图像合成高分辨率宽视角全景图像的技术，目前在全景成像、图像渲染、虚拟漫游等领域应用广泛。图像拼接流程中，色调一致性纠正作为色调处理阶段(色调纠正、拼接线选取、边界融合)的第一步，除了能消除由成像环境和设备差异导致的图像间色调不一致，还有助于后续两个步骤的处理效果和效率。目前，处理图像拼接中色调差异的算法主要是几种十几年前提出的经典方法，一方面色调纠正能力有限，另外纠正后的图像容易出现其他质量问题。一般图像的色调一致性纠正涉及的关键技术包括：颜色空间的通道去相关技术、颜色对应提取技术，颜色一致性优化技术。
颜色空间的通道去相关技术：目前描述色彩的颜色空间有很多，用于设备显示的就是经典的RGB空间。由于RGB三个通道之间存在着较大的相关性，这对分通道的图像处理算法带来不便，因此很多图像算法现将图像转到通道间相关性很低的空间，处理完再转回RGB空间。将彩色图像按亮度通道和颜色为通道分开的颜色空间主要有HSV空间、YCbCr和Lαβ空间。其中，Lαβ空间中各通道间的相关性最低，但是通道的颜色值没有固定上下界是一个缺点。由于亮度通道和颜色通道分离并且具有相同的颜色值上下界，YCbCr是一个近几年使用比较广泛的颜色处理空间。
颜色对应提取技术：多视图像的色调一致性纠正一般是基于图像间重叠区域的颜色对应最小化这一基本原理，因此可靠准确颜色对应提取算法对色调纠正结果至关重要。常见的方法有两种，其一是利用图像特征点匹配技术建立少量而精确的颜色对应；其二是基于重叠区域的累积概率直方图统计按等概率建立多而可靠的对应颜色值。第一种方法对重叠区域的变化目标比较鲁棒，而第二种方法通常需要结合变化检测算法提升颜色对应的精确性。
颜色一致性优化技术：现有的颜色一致性优化技术包括两类，一类是基于颜色传递技术的，通过从选取的参考影像级联传递的方式消除图像间的色调差异；另一类是基于统一色调纠正模型的全局优化算法。显然，由于级联传递引起的累积误差能导致色调畸变和失真等问题，基于无参考影像的全局优化的方法能能得到更好的全局色调一致性。然而，现有的全局色调纠正方法在除了关注图像色调一致性之外，没有考虑图像的其他质量属性，比如压缩对比度、损失梯度细节等。此外，选取一个具有一定灵活度的合适的色调变换函数也是研究者的关注重点。针对这些问题，本发明提出了有效的解决方法。
发明内容
本发明针对同一场景的不同图像可能由于成像角度和拍摄设备的不同造成色调不一致，提出多视图像在全景拼接中的色调一致性校正方法及系统。
本发明提供一种全景图像色调一致性纠正方法，包括以下步骤：
步骤1，在RGB空间，对所有相邻图像对的重叠区域提取内容一致区域，包括以下子步骤，
步骤1.1，统计所有相邻图像对的重叠区域像素值集合，设相邻图像对包括图像Ii和Ij，将其重叠区域的对应像素三通道的灰度值分别存入向量Vij和Vji；
步骤1.2，检测向量Vij和Vji中内容发生变化的像素，输出二值掩膜向量0值代表变化区域的像素，1值代表内容一致区域的像素；
步骤2，将各图像分别转至YCbCr空间，在各相邻图像对的内容一致区域分别统计各通道的累积概率直方图，并在等概率间隔的离散点提取相邻图像对的M个灰度对应值，获得图像间的颜色对应关系，其中M是预先设定的灰色对应值数量；设某个相邻图像对包括图像Ii和Ij，在等概率间隔的离散点提取相邻图像对的M个灰度对应值记为
步骤3，定义色调纠正模型，实现如下，
采用包含m个控制点的分段二次的样条曲线，样条曲线决定于均匀分布于坐标系中横轴的控制点坐标系中横轴为影像原始灰度值，纵轴表示表示经函数映射后的灰度值，设Ii在单通道的变换函数表示为作为色调纠正模型；
步骤4，根据所有相邻图像对的灰度对应值，定义全局优化的能量函数如下，
其中，fi是Ii在单通道的变换函数，fj是Ij在单通道的变换函数，n是输入图像张数，wij表示正比于Ii和Ij之间重叠区域面积的权系数，λ表示不同能量项之间的平衡参数；
数据项Edata(fi,fj)表达最小化图像重叠区域的色调差异，如下式，
其中，对于给定灰度值假设落入三个连续的控制点的控制范围，则该灰度值的映射值由样条曲线的差值公式得到，
其中，t为内插系数；
参数正则项Eregulation(fi)约束优化参数的变化规律，保证纠正结果的对比度和稳定性，如下式，
其中，p＝{1,2,...,m-1}表示样条曲线的分段中点；表示影像Ii的累积概率直方图于概率值为α处的灰度值；η为通道相应系数；
构造满足色调纠正模型相应映射函数要求的约束项Crigid(fi)，使单调递增性以及映射范围不超过对应通道的取值范围，如下式，
其中，τb和τu共同定义了映射函数曲率取值的上下界；[vstart,vend]表示对应通道的灰度值取值范围；为色调纠正模型相应映射曲线在处的曲率或一阶导数；
步骤5，对步骤4所得全局优化的能量函数进行优化求解，得到所有图像的色调纠正模型参数，并对所有图像在YCbCr空间应用各自的色调纠正模型进行色调一致性纠正，最后转回RGB空间并输出结果。
而且，步骤1.2中检测向量Vij和Vji中内容发生变化的像素利用加权迭代的多变量变化检测算法实现。
而且，步骤4中，在两个颜色通道Cb/Cr和亮度通道Y分别设置为η＝0和η＝5，仅在亮度通道的能量函数中加入动态范围的约束。
而且，步骤5中，利用凸二次规划算法对步骤4所得全局优化的能量函数进行优化求解，得到所有图像的色调纠正模型参数。
而且，映射曲线在处的曲率或一阶导数表示为。
其中，由于控制点在水平轴上均匀固定分布，则有此时，等价于自由变量内插系数t∈[0,1]的线性函数：
本发明还相应提供一种全景图像色调一致性纠正系统，包括以下模块：
第一模块，用于在RGB空间，对所有相邻图像对的重叠区域提取内容一致区域，包括以下单元，
统计单元，用于统计所有相邻图像对的重叠区域像素值集合，设相邻图像对包括图像Ii和Ij，将其重叠区域的对应像素三通道的灰度值分别存入向量Vij和Vji；
检测单元，用于检测向量Vij和Vji中内容发生变化的像素，输出二值掩膜向量0值代表变化区域的像素，1值代表内容一致区域的像素；
第二模块，用于将各图像分别转至YCbCr空间，在各相邻图像对的内容一致区域分别统计各通道的累积概率直方图，并在等概率间隔的离散点提取相邻图像对的M个灰度对应值，获得图像间的颜色对应关系，其中M是预先设定的灰色对应值数量；设某个相邻图像对包括图像Ii和Ij，在等概率间隔的离散点提取相邻图像对的M个灰度对应值记为
第三模块，用于定义色调纠正模型，实现如下，
采用包含m个控制点的分段二次的样条曲线，样条曲线决定于均匀分布于坐标系中横轴的控制点坐标系中横轴为影像原始灰度值，纵轴表示表示经函数映射后的灰度值，设Ii在单通道的变换函数表示为作为色调纠正模型；
第四模块，用于根据所有相邻图像对的灰度对应值，定义全局优化的能量函数如下，
其中，fi是Ii在单通道的变换函数，fj是Ij在单通道的变换函数，n是输入图像张数，wij表示正比于Ii和Ij之间重叠区域面积的权系数，λ表示不同能量项之间的平衡参数；
数据项Edata(fi,fj)表达最小化图像重叠区域的色调差异，如下式，
其中，对于给定灰度值假设落入三个连续的控制点的控制范围，则该灰度值的映射值由样条曲线的差值公式得到，
其中，t为内插系数；
参数正则项Eregulation(fi)约束优化参数的变化规律，保证纠正结果的对比度和稳定性，如下式，
其中，p＝{1,2,...,m-1}表示样条曲线的分段中点；表示影像Ii的累积概率直方图于概率值为α处的灰度值；η为通道相应系数；
构造满足色调纠正模型相应映射函数要求的约束项Crigid(fi)，使单调递增性以及映射范围不超过对应通道的取值范围，如下式，
其中，τb和τu共同定义了映射函数曲率取值的上下界；[vstart,vend]表示对应通道的灰度值取值范围；为色调纠正模型相应映射曲线在处的曲率或一阶导数；
第五模块，用于对第四模块所得全局优化的能量函数进行优化求解，得到所有图像的色调纠正模型参数，并对所有图像在YCbCr空间应用各自的色调纠正模型进行色调一致性纠正，最后转回RGB空间并输出结果。
而且，检测单元中检测向量Vij和Vji中内容发生变化的像素利用加权迭代的多变量变化检测算法实现。
而且，第四模块中，在两个颜色通道Cb/Cr和亮度通道Y分别设置为η＝0和η＝5，仅在亮度通道的能量函数中加入动态范围的约束。
而且，第五模块中，利用凸二次规划算法对第四模块所得全局优化的能量函数进行优化求解，得到所有图像的色调纠正模型参数。
而且，映射曲线在处的曲率或一阶导数表示为。
其中，由于控制点在水平轴上均匀固定分布，则有此时，等价于自由变量内插系数t∈[0,1]的线性函数：
本发明针对全景拼接技术中完成几何对齐的图像序列的色调不一致问题，提出了一种能有效消除图像间存在的色调差异的技术方案，本技术方案的优势在于：(1)高灵活性变换模型的使用和全局优化的实现方式能够有效地纠正具有较大色调差异的图像序列；(2)色调纠正过程中对图像梯度和动态范围的考虑能够抑制色调纠正结果的色调溢出、低对比度和梯度损失等质量问题；(3)本技术方案定义的能量函数能够转化为凸二次规划问题进行求解，能高效率地计算出严格的全局最优解。因此，本发明具有广泛的应用前景，具有重要的市场价值。
附图说明
图1是本发明实施例中CDF曲线等概率间距取样点示意图；
图2是本发明实施例中单通道的色调纠正模型。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提出的全景图像色调一致性纠正方法及系统，包括在相邻图像间重叠区域进行内容一致区域检测，并根据内容一致区域的CDF等百分位点提取图像间的颜色对应关系；定义灵活度较高的色调变换模型，设计全局能量函数同时优化全局色调一致性、图像对比度和梯度细节；经凸二次规划的高效求解具有严格全局最优性的模型参数，将所有图像纠正为高质量的色调一致图像序列，输出处理结果。本发明利用相邻影像间重叠区域的色调对应关系，能有效地消除图像间存在的较大的色调差异；能够在纠正色调一致性的同时抑制色调溢出、动态范围缩小以及相对于原始图像的梯度损失问题，全局联合优化的纠正方式无需定义特定的参考图像，能有效降低累积误差问题。
本发明实施例采用的技术方案提供一种对序列图像进行匀光匀色处理的方法，用于拼接的图像可以为遥感图、街景图等。如图1所示，将序列图像在各通道间相关性低的YCbCr空间，分别对亮度通道和颜色通道进行一致调整，最后再转回至RGB空间得到最终处理结果图。包括以下处理步骤：
步骤1，在RGB空间，对用于全景图像拼接的图像序列中所有相邻图像对的重叠区域提取内容一致区域(记输入的图像序列中共有n张图像)；
本步骤所称三通道为RGB空间的R、G、B三通道。实施例的步骤1包括以下步骤：
步骤1.1，统计所有相邻图像对的重叠区域像素值集合，设某个相邻图像对包括图像Ii和Ij，将其重叠区域的对应像素(包含三通道的灰度值)分别存入向量Vij和Vji；
步骤1.2，利用加权迭代的多变量变化检测算法(IR-MAD)检测向量Vij和Vji中内容发生变化的像素，输出二值掩膜向量(0值代表变化区域的像素，即内容发生变化的像素；1值代表内容一致区域的像素)；具体实现包括以下步骤：
步骤1.2.1，图像Ii和Ij在重叠区域的对应像素值集合表示为：和其中分别表示图像Ii在重叠区域的各通道的像素值向量(称为单通道图像向量)，则同理，分别表示图像Ij在重叠区域的各通道的像素值向量。IR-MAD算法首先计算一组Vij和Vji各通道图像向量的线性组合系数其线性组合的结果为对应的线性组合图像向量
这组系数通过以下带有约束的公式进行求解：
其中，cov(·)和var(·)分别表示向量方差计算子和向量方差计算子；
步骤1.2.2，余下的2组线性系数向量和可以通过同样的最大化相关系数公式并结合与已存在的系数向量线性独立这一额外约束求解(如下公式所示)，实现以三通道像素值线性组合后的对应像素向量相关系数最大为原则求解满足要求的线性系数和将原始对应像素向量和转化为和
同理，计算得到其余两组新组合的图像向量和
步骤1.2.3，计算代表每个像素属于内容变化区域概率的差分向量其二分阈值由期望最大化(EM)算法经迭代求出，输出对应的二值掩膜向量期望最大化(EM)算法为现有技术，本发明不予赘述。
步骤2，将用于全景图像拼接的序列图像中各图像分别转至YCbCr空间，在具有重叠关系的各相邻图像对的内容一致区域分别统计各通道的累积概率直方图(CDF)，并在等概率间隔的离散点提取各通道的灰度对应值，获得图像间的颜色对应关系，设M是预先设定的灰度对应值数量，优选地取值为16。
本步骤所称三通道为YCbCr空间的两个颜色通道Cb/Cr和亮度通道Y。实施例的步骤2包括以下步骤：
步骤2.1，将图像从RGB转到YCbCr，转换公式为：
步骤2.2，设某个相邻图像对包括图像Ii和Ij，在内容一致区域分别统计各通道的累积概率直方图(CDF)，并在等概率间隔的离散点处提取图像对的M个灰度对应值如图1，图中P表示概率，V表示像素的灰度值，即横轴V表示像素的灰度取值，纵轴P表示小于某个灰度值的像素在影像中出现概率；pk表示等概率(百分位点)间隔选取的第k个概率值，k的取值为1,2,…,M，它对应的灰度值是图像Ii上的图像Ij上的
步骤3，定义色调纠正模型：包含m(实施例中控制点个数m＝5)个控制点的分段二次的样条曲线，如图2，是本发明实施例中单通道的色调纠正模型(映射曲线)，即二次分段样条曲线，其形状完全决定于均匀分布在横轴的控制点，根据控制点采用二次样条插值方式即可得出分段位置，获取样条曲线的分段连接点。图中v表示影像原始灰度值originalintensity value、表示经函数映射后的灰度值remapped intensity value；在该坐标系下图像Ii的m个控制点坐标在横轴上均匀固定分布的范围等于整张图像在单个通道的灰度范围[vmin,vmax]，为控制点的横坐标，而控制点的纵坐标作为实际的自由模型参数控制着映射曲线的形状，Ii在单通道的变换函数可表示为即色调纠正模型，arg()用于表示以为自变量的函数；
在任意颜色通道，每张图像均有m个控制点，均可按此色调纠正模型定义方式处理。
步骤4，根据所有图像对的颜色对应数据(即步骤2所得灰度对应值)，定义全局优化的能量函数：
其中，fi是Ii在单通道的变换函数，fj是Ij在单通道的变换函数，n是输入图像张数，wij表示正比于Ii和Ij之间重叠区域面积的权系数(∑wij＝∑1)，λ表示不同能量项之间的平衡参数，在优选使用计算公式λ＝ξM/m(实施例中M＝16，ξ∈[0.5,5.0]，ξ为系数)。
式中，数据项Edata(fi,fj)、参数正则项Eregulation(fi)约束项Crigid(fi)分别构造如下：
(1)构造数据项Edata(fi,fj)表达最小化图像重叠区域的色调差异：
其中，对于给定灰度值假设它落入三个连续的控制点的控制范围(p是临时索引号，取值范围为[1,m-2])，则该灰度值的映射值可以由2次样条(图2所示样条曲线)的插值公式得到：
其中，只有映射值和内插系数t∈[0,1]是未知数，因此很容易求解
(2)构造参数正则项Eregulation(fi)约束优化参数的变化规律，保证纠正结果的对比度和稳定性：
其中，p＝{1,2,...,m-1}表示表示图2中样条曲线的分段中点，具体是指横轴坐标为相邻两个控制点横轴坐标的均值；表示影像Ii的累积概率直方图于概率值为α处的灰度值；η为通道相应系数；特别地，本发明在两个颜色通道Cb/Cr和亮度通道Y分别设置为η＝0和η＝5，即仅在亮度通道的能量函数中加入动态范围的约束。
(3)构造满足色调纠正模型相应映射函数要求的约束项Crigid(fi)，即单调递增性以及映射范围不超过对应通道的取值范围，以优化梯度细节：
其中，τb和τu共同定义了映射函数曲率取值的上下界；[vstart,vend]表示对应通道的灰度值取值范围；其中，根据(1)中的插值公式，色调纠正模型相应映射曲线在处的曲率或一阶导数可以表示为：
其中，由于控制点在水平轴上均匀固定分布，则有此时，等价于自由变量内插系数t∈[0,1]的线性函数：
步骤5，利用凸二次规划算法对步骤4所得全局优化的能量函数进行优化求解，得到所有图像的色调纠正模型参数并对所有图像在YCbCr空间应用各自的色调纠正模型进行色调一致性纠正，最后转回RGB空间并输出结果。
首先求解参数，得到步骤3中的每个图像的带参函数中的未知数，凸二次规划算法为现有技术，基于步骤4所得全局优化的能量函数即可实现优化求解，本发明不予赘述。然后进行色调一致性纠正，包括以下子步骤：
步骤5.1，利用凸二次规划求解的各图像的色调纠正模型参数，代入纠正模型(即色调纠正模型)纠正每张图像的像素灰度值
步骤5.2，将纠正图像从YCbCr空间转回RGB空间并输出结果，转换公式为：
具体实施时，本发明所提供方法可基于软件技术实现自动运行以上流程，也可采用模块化方式实现相应系统。本发明实施例还提供一种全景图像色调一致性纠正系统，包括以下模块：
第一模块，用于在RGB空间，对所有相邻图像对的重叠区域提取内容一致区域，包括以下单元，
统计单元，用于统计所有相邻图像对的重叠区域像素值集合，设相邻图像对包括图像Ii和Ij，将其重叠区域的对应像素三通道的灰度值分别存入向量Vij和Vji；
检测单元，用于检测向量Vij和Vji中内容发生变化的像素，输出二值掩膜向量0值代表变化区域的像素，1值代表内容一致区域的像素；
第二模块，用于将各图像分别转至YCbCr空间，在各相邻图像对的内容一致区域分别统计各通道的累积概率直方图，并在等概率间隔的离散点提取相邻图像对的M个灰度对应值，获得图像间的颜色对应关系，其中M是预先设定的灰色对应值数量；设某个相邻图像对包括图像Ii和Ij，在等概率间隔的离散点提取相邻图像对的M个灰度对应值记为
第三模块，用于定义色调纠正模型，实现如下，
采用包含m个控制点的分段二次的样条曲线，样条曲线决定于均匀分布于坐标系中横轴的控制点坐标系中横轴为影像原始灰度值，纵轴表示表示经函数映射后的灰度值，设Ii在单通道的变换函数表示为作为色调纠正模型；
第四模块，用于根据所有相邻图像对的灰度对应值，定义全局优化的能量函数如下，
其中，fi是Ii在单通道的变换函数，fj是Ij在单通道的变换函数，n是输入图像张数，wij表示正比于Ii和Ij之间重叠区域面积的权系数，λ表示不同能量项之间的平衡参数；
数据项Edata(fi,fj)表达最小化图像重叠区域的色调差异，如下式，
其中，对于给定灰度值假设落入三个连续的控制点的控制范围，则该灰度值的映射值由样条曲线的差值公式得到，
其中，t为内插系数；
参数正则项Eregulation(fi)约束优化参数的变化规律，保证纠正结果的对比度和稳定性，如下式，
其中，p＝{1,2,...,m-1}表示样条曲线的分段中点；表示影像Ii的累积概率直方图于概率值为α处的灰度值；η为通道相应系数；
构造满足色调纠正模型相应映射函数要求的约束项Crigid(fi)，使单调递增性以及映射范围不超过对应通道的取值范围，如下式，
其中，τb和τu共同定义了映射函数曲率取值的上下界；[vstart,vend]表示对应通道的灰度值取值范围；为色调纠正模型相应映射曲线在处的曲率或一阶导数；
第五模块，用于对第四模块所得全局优化的能量函数进行优化求解，得到所有图像的色调纠正模型参数，并对所有图像在YCbCr空间应用各自的色调纠正模型进行色调一致性纠正，最后转回RGB空间并输出结果。
各模块具体实现可参见相应步骤，本发明不予赘述。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种全景图像色调一致性纠正方法，其特征在于，包括以下步骤：
步骤1，在RGB空间，对所有相邻图像对的重叠区域提取内容一致区域，包括以下子步骤，
步骤1.1，统计所有相邻图像对的重叠区域像素值集合，设相邻图像对包括图像Ii和Ij，将其重叠区域的对应像素三通道的灰度值分别存入向量Vij和Vji；
步骤1.2，检测向量Vij和Vji中内容发生变化的像素，输出二值掩膜向量0值代表变化区域的像素，1值代表内容一致区域的像素；
步骤2，将各图像分别转至YCbCr空间，在各相邻图像对的内容一致区域分别统计各通道的累积概率直方图，并在等概率间隔的离散点提取相邻图像对的M个灰度对应值，获得图像间的颜色对应关系，其中M是预先设定的灰色对应值数量；设某个相邻图像对包括图像Ii和Ij，在等概率间隔的离散点提取相邻图像对的M个灰度对应值记为
步骤3，定义色调纠正模型，实现如下，
采用包含m个控制点的分段二次的样条曲线，样条曲线决定于均匀分布于坐标系中横轴的控制点坐标系中横轴为影像原始灰度值，纵轴表示表示经函数映射后的灰度值，设Ii在单通道的变换函数表示为作为色调纠正模型；
步骤4，根据所有相邻图像对的灰度对应值，定义全局优化的能量函数如下，
其中，fi是Ii在单通道的变换函数，fj是Ij在单通道的变换函数，n是输入图像张数，wij表示正比于Ii和Ij之间重叠区域面积的权系数，λ表示不同能量项之间的平衡参数；
数据项Edata(fi,fj)表达最小化图像重叠区域的色调差异，如下式，
其中，对于给定灰度值假设落入三个连续的控制点的控制范围，则该灰度值的映射值由样条曲线的差值公式得到，
其中，t为内插系数；
参数正则项Eregulation(fi)约束优化参数的变化规律，保证纠正结果的对比度和稳定性，如下式，
其中，表示样条曲线的分段中点；表示影像Ii的累积概率直方图于概率值为α处的灰度值；η为通道相应系数；
构造满足色调纠正模型相应映射函数要求的约束项Crigid(fi)，使单调递增性以及映射范围不超过对应通道的取值范围，如下式，
其中，τb和τu共同定义了映射函数曲率取值的上下界；[vstart,vend]表示对应通道的灰度值取值范围；为色调纠正模型相应映射曲线在处的曲率或一阶导数；
步骤5，对步骤4所得全局优化的能量函数进行优化求解，得到所有图像的色调纠正模型参数，并对所有图像在YCbCr空间应用各自的色调纠正模型进行色调一致性纠正，最后转回RGB空间并输出结果。
2.根据权利要求1所述全景图像色调一致性纠正方法，其特征在于：步骤1.2中检测向量Vij和Vji中内容发生变化的像素利用加权迭代的多变量变化检测算法实现。
3.根据权利要求1所述全景图像色调一致性纠正方法，其特征在于：步骤4中，在两个颜色通道Cb/Cr和亮度通道Y分别设置为η＝0和η＝5，仅在亮度通道的能量函数中加入动态范围的约束。
4.根据权利要求1所述全景图像色调一致性纠正方法，其特征在于：步骤5中，利用凸二次规划算法对步骤4所得全局优化的能量函数进行优化求解，得到所有图像的色调纠正模型参数。
5.根据权利要求1或2或3或4所述全景图像色调一致性纠正方法，其特征在于：映射曲线在处的曲率或一阶导数表示为。
其中，由于控制点在水平轴上均匀固定分布，则有此时，等价于自由变量内插系数t∈[0,1]的线性函数：
6.一种全景图像色调一致性纠正系统，其特征在于，包括以下模块：
第一模块，用于在RGB空间，对所有相邻图像对的重叠区域提取内容一致区域，包括以下单元，
统计单元，用于统计所有相邻图像对的重叠区域像素值集合，设相邻图像对包括图像Ii和Ij，将其重叠区域的对应像素三通道的灰度值分别存入向量Vij和Vji；
检测单元，用于检测向量Vij和Vji中内容发生变化的像素，输出二值掩膜向量0值代表变化区域的像素，1值代表内容一致区域的像素；
第二模块，用于将各图像分别转至YCbCr空间，在各相邻图像对的内容一致区域分别统计各通道的累积概率直方图，并在等概率间隔的离散点提取相邻图像对的M个灰度对应值，获得图像间的颜色对应关系，其中M是预先设定的灰色对应值数量；设某个相邻图像对包括图像Ii和Ij，在等概率间隔的离散点提取相邻图像对的M个灰度对应值记为
第三模块，用于定义色调纠正模型，实现如下，
采用包含m个控制点的分段二次的样条曲线，样条曲线决定于均匀分布于坐标系中横轴的控制点坐标系中横轴为影像原始灰度值，纵轴表示表示经函数映射后的灰度值，设Ii在单通道的变换函数表示为作为色调纠正模型；
第四模块，用于根据所有相邻图像对的灰度对应值，定义全局优化的能量函数如下，
其中，fi是Ii在单通道的变换函数，fj是Ij在单通道的变换函数，n是输入图像张数，wij表示正比于Ii和Ij之间重叠区域面积的权系数，λ表示不同能量项之间的平衡参数；
数据项Edata(fi,fj)表达最小化图像重叠区域的色调差异，如下式，
其中，对于给定灰度值假设落入三个连续的控制点的控制范围，则该灰度值的映射值由样条曲线的差值公式得到，
其中，t为内插系数；
参数正则项Eregulation(fi)约束优化参数的变化规律，保证纠正结果的对比度和稳定性，如下式，
其中，表示样条曲线的分段中点；表示影像Ii的累积概率直方图于概率值为α处的灰度值；η为通道相应系数；
构造满足色调纠正模型相应映射函数要求的约束项Crigid(fi)，使单调递增性以及映射范围不超过对应通道的取值范围，如下式，
其中，τb和τu共同定义了映射函数曲率取值的上下界；[vstart,vend]表示对应通道的灰度值取值范围；为色调纠正模型相应映射曲线在处的曲率或一阶导数；
第五模块，用于对第四模块所得全局优化的能量函数进行优化求解，得到所有图像的色调纠正模型参数，并对所有图像在YCbCr空间应用各自的色调纠正模型进行色调一致性纠正，最后转回RGB空间并输出结果。
7.根据权利要求6所述全景图像色调一致性纠正系统，其特征在于：检测单元中检测向量Vij和Vji中内容发生变化的像素利用加权迭代的多变量变化检测算法实现。
8.根据权利要求6所述全景图像色调一致性纠正系统，其特征在于：第四模块中，在两个颜色通道Cb/Cr和亮度通道Y分别设置为η＝0和η＝5，仅在亮度通道的能量函数中加入动态范围的约束。
9.根据权利要求6所述全景图像色调一致性纠正系统，其特征在于：第五模块中，利用凸二次规划算法对第四模块所得全局优化的能量函数进行优化求解，得到所有图像的色调纠正模型参数。
10.根据权利要求6或7或8或9所述全景图像色调一致性纠正系统，其特征在于：映射曲线在处的曲率或一阶导数表示为。
其中，由于控制点在水平轴上均匀固定分布，则有此时，等价于自由变量内插系数t∈[0,1]的线性函数：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710284303.4A CN107016647B (zh) | 2017-04-26 | 2017-04-26 | 全景图像色调一致性纠正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710284303.4A CN107016647B (zh) | 2017-04-26 | 2017-04-26 | 全景图像色调一致性纠正方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107016647A true CN107016647A (zh) | 2017-08-04 |
| CN107016647B CN107016647B (zh) | 2019-11-22 |
Family
ID=59447373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710284303.4A Active CN107016647B (zh) | 2017-04-26 | 2017-04-26 | 全景图像色调一致性纠正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107016647B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI622019B (zh) * | 2017-08-31 | 2018-04-21 | 元智大學 | 基於保熵的映射先驗的影像增強方法及其影像處理裝置 |
| CN108171767A (zh) * | 2017-12-14 | 2018-06-15 | 华侨大学 | 一种具有曲线纠正功能的图像生成方法 |
| CN108307200A (zh) * | 2018-01-31 | 2018-07-20 | 深圳积木易搭科技技术有限公司 | 一种在线视频拼接方法系统 |
| CN109314773A (zh) * | 2018-03-06 | 2019-02-05 | 香港应用科技研究院有限公司 | 具有颜色、亮度和清晰度平衡的高品质全景图的生成方法 |
| CN109523495A (zh) * | 2018-10-15 | 2019-03-26 | 北京东软医疗设备有限公司 | 图像处理方法及装置、设备和存储介质 |
| CN109754373A (zh) * | 2018-12-18 | 2019-05-14 | 太原理工大学 | 面向移动端的全景图像色彩纠正方法 |
| CN109873957A (zh) * | 2019-02-20 | 2019-06-11 | 南京航空航天大学 | 一种高动态范围图像的处理与显示方法 |
| CN110443771A (zh) * | 2019-08-16 | 2019-11-12 | 同济大学 | 车载环视相机系统中环视图亮度与颜色一致性调整方法 |
| CN110600124A (zh) * | 2019-09-10 | 2019-12-20 | 赵志宇 | 一种灰度图像融合的诊断监控综合医疗系统及其融合方法 |
| WO2021073304A1 (zh) * | 2019-10-18 | 2021-04-22 | 华为技术有限公司 | 一种图像处理的方法及装置 |
| CN112785518A (zh) * | 2021-01-11 | 2021-05-11 | 飞燕航空遥感技术有限公司 | 影像中圆形暗斑纠正方法和纠正系统 |
| CN114418920A (zh) * | 2022-03-30 | 2022-04-29 | 青岛大学附属医院 | 一种内窥镜多焦点图像融合方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1862598A (zh) * | 2006-06-21 | 2006-11-15 | 大连理工大学 | 图像伪造中模糊操作的异常色调率取证方法 |
| CN102819824A (zh) * | 2011-06-10 | 2012-12-12 | 三星电子株式会社 | 用于图像处理的设备和方法 |
| US20140071228A1 (en) * | 2012-09-12 | 2014-03-13 | National University of Sciences & Technology(NUST) | Color correction apparatus for panorama video stitching and method for selecting reference image using the same |
| CN104268559A (zh) * | 2014-09-15 | 2015-01-07 | 中国科学院东北地理与农业生态研究所 | 基于面向对象和中等分辨率遥感图像的水田与旱地区分方法 |
| US20170061703A1 (en) * | 2015-08-27 | 2017-03-02 | Samsung Electronics Co., Ltd. | Image processing device and electronic system including the same |
| US9609176B2 (en) * | 2015-08-27 | 2017-03-28 | Nokia Technologies Oy | Method and apparatus for modifying a multi-frame image based upon anchor frames |
-
2017
- 2017-04-26 CN CN201710284303.4A patent/CN107016647B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1862598A (zh) * | 2006-06-21 | 2006-11-15 | 大连理工大学 | 图像伪造中模糊操作的异常色调率取证方法 |
| CN102819824A (zh) * | 2011-06-10 | 2012-12-12 | 三星电子株式会社 | 用于图像处理的设备和方法 |
| US20140071228A1 (en) * | 2012-09-12 | 2014-03-13 | National University of Sciences & Technology(NUST) | Color correction apparatus for panorama video stitching and method for selecting reference image using the same |
| CN104268559A (zh) * | 2014-09-15 | 2015-01-07 | 中国科学院东北地理与农业生态研究所 | 基于面向对象和中等分辨率遥感图像的水田与旱地区分方法 |
| US20170061703A1 (en) * | 2015-08-27 | 2017-03-02 | Samsung Electronics Co., Ltd. | Image processing device and electronic system including the same |
| US9609176B2 (en) * | 2015-08-27 | 2017-03-28 | Nokia Technologies Oy | Method and apparatus for modifying a multi-frame image based upon anchor frames |
Non-Patent Citations (2)
| Title |
|---|
| DOUTRE C: "《 Fast vignetting correction and color matching for panoramic image stitching》", 《PROCEEDINGS》 * |
| 王文波 等: "《基于小波包的图像拼接算法》", 《激光与红外》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI622019B (zh) * | 2017-08-31 | 2018-04-21 | 元智大學 | 基於保熵的映射先驗的影像增強方法及其影像處理裝置 |
| CN108171767A (zh) * | 2017-12-14 | 2018-06-15 | 华侨大学 | 一种具有曲线纠正功能的图像生成方法 |
| CN108171767B (zh) * | 2017-12-14 | 2021-09-07 | 华侨大学 | 一种具有曲线纠正功能的图像生成方法 |
| CN108307200B (zh) * | 2018-01-31 | 2020-06-09 | 深圳积木易搭科技技术有限公司 | 一种在线视频拼接方法系统 |
| CN108307200A (zh) * | 2018-01-31 | 2018-07-20 | 深圳积木易搭科技技术有限公司 | 一种在线视频拼接方法系统 |
| CN109314773A (zh) * | 2018-03-06 | 2019-02-05 | 香港应用科技研究院有限公司 | 具有颜色、亮度和清晰度平衡的高品质全景图的生成方法 |
| CN109523495A (zh) * | 2018-10-15 | 2019-03-26 | 北京东软医疗设备有限公司 | 图像处理方法及装置、设备和存储介质 |
| CN109754373A (zh) * | 2018-12-18 | 2019-05-14 | 太原理工大学 | 面向移动端的全景图像色彩纠正方法 |
| CN109754373B (zh) * | 2018-12-18 | 2022-12-30 | 太原理工大学 | 面向移动端的全景图像色彩纠正方法 |
| CN109873957A (zh) * | 2019-02-20 | 2019-06-11 | 南京航空航天大学 | 一种高动态范围图像的处理与显示方法 |
| CN110443771A (zh) * | 2019-08-16 | 2019-11-12 | 同济大学 | 车载环视相机系统中环视图亮度与颜色一致性调整方法 |
| CN110443771B (zh) * | 2019-08-16 | 2023-07-21 | 同济大学 | 车载环视相机系统中环视图亮度与颜色一致性调整方法 |
| CN110600124A (zh) * | 2019-09-10 | 2019-12-20 | 赵志宇 | 一种灰度图像融合的诊断监控综合医疗系统及其融合方法 |
| CN110600124B (zh) * | 2019-09-10 | 2023-04-07 | 赵志宇 | 一种灰度图像融合的诊断监控综合医疗系统及其融合方法 |
| WO2021073304A1 (zh) * | 2019-10-18 | 2021-04-22 | 华为技术有限公司 | 一种图像处理的方法及装置 |
| CN112785518A (zh) * | 2021-01-11 | 2021-05-11 | 飞燕航空遥感技术有限公司 | 影像中圆形暗斑纠正方法和纠正系统 |
| CN112785518B (zh) * | 2021-01-11 | 2022-08-30 | 飞燕航空遥感技术有限公司 | 影像中圆形暗斑纠正方法和纠正系统 |
| CN114418920A (zh) * | 2022-03-30 | 2022-04-29 | 青岛大学附属医院 | 一种内窥镜多焦点图像融合方法 |
| CN114418920B (zh) * | 2022-03-30 | 2022-06-28 | 青岛大学附属医院 | 一种内窥镜多焦点图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107016647B (zh) | 2019-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107016647B (zh) | 全景图像色调一致性纠正方法及系统 | |
| US10205924B2 (en) | Method and system of lens shading color correction using block matching | |
| CN107516319B (zh) | 一种高精度简易交互式抠图方法、存储设备及终端 | |
| CN109389555B (zh) | 一种全景图像拼接方法及装置 | |
| CN110197463B (zh) | 基于深度学习的高动态范围图像色调映射方法及其系统 | |
| US7356198B2 (en) | Method and system for calculating a transformed image from a digital image | |
| CN111260543B (zh) | 一种基于多尺度图像融合和sift特征的水下图像拼接方法 | |
| CN110400278B (zh) | 一种图像颜色和几何畸变的全自动校正方法、装置及设备 | |
| Kwok et al. | Simultaneous image color correction and enhancement using particle swarm optimization | |
| US20150138312A1 (en) | Method and apparatus for a surround view camera system photometric alignment | |
| CN111062993B (zh) | 色彩合并的作画图像处理方法、装置、设备及存储介质 | |
| CN108234884B (zh) | 一种基于视觉显著性的相机自动对焦方法 | |
| Xia et al. | Color consistency correction based on remapping optimization for image stitching | |
| CN110930341A (zh) | 一种基于图像融合的低光照图像增强方法 | |
| CN109166076B (zh) | 多相机拼接的亮度调整方法、装置及便携式终端 | |
| CN110378250B (zh) | 用于场景认知的神经网络的训练方法、装置及终端设备 | |
| CN108171735A (zh) | 基于深度学习的十亿像素视频对齐方法及系统 | |
| CN111553940B (zh) | 一种深度图人像边缘优化方法及处理装置 | |
| Lin et al. | Nonuniform lattice regression for modeling the camera imaging pipeline | |
| CN114240767A (zh) | 一种基于曝光融合的图像宽动态范围处理方法及装置 | |
| JP4635975B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3870796B2 (ja) | 画像処理装置及び画像処理方法 | |
| Zhang et al. | Learning a single convolutional layer model for low light image enhancement | |
| CN113706400A (zh) | 图像矫正方法、装置、显微镜图像的矫正方法及电子设备 | |
| CN109672874B (zh) | 一种时空一致的立体视频颜色校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |