CN104954701A - 一种相机响应曲线生成方法 - Google Patents

Abstract

本发明的涉及一种相机响应曲线生成方法，其特征在于：保持相机的其他参数不变，只改变曝光时间，获得A张照片，Xmin为相机最小曝光时间，Xmax为相机最大曝光时间，根据照片曝光时间对照片进行快速排序方法非降次排序，第I张图片的曝光时间为S(I)，其中S(I)的值大于 并且小于

Description

一种相机响应曲线生成方法

技术领域

    本发明涉及一种相机响应曲线生成方法，属于数字图像处理技术领域。

背景技术

高动态范围图像(high dynamic range image)是一种可以表示实际场景中亮度大范围变化的图像类型，相比普通的图像，可以提供更大的动态范围和更多的图像细节。现实场景中的亮度动态范围一般为                                                ，通常人眼在对环境进行观察时，可以察觉到亮度为的星光，也能感受到亮度为的阳光，且人眼在很暗或很亮的情况下都能察觉到现实场景中的各种细节。然而，目前大多数图像的每个颜色通道的深度都是用8位来存储的，但是在一些对质量要求苛刻和精密的传感器领域中，对更高深度的需求正在快速增长。如在数字媒体领域，因为缺乏理想的对比度和亮度范围，通常要使用高动态范围图像，特别是在那些虚拟与真实的素材进行无缝融合的时候。

基于图像的光照，其核心技术是记录真实场景光照信息载体（高动态范围图像）的获取。目前，已经有很多方法合成高动态图像的方法，如Debevec与Malik算法、Nayar算法，以及它们的各种改算法。对于全景高动态范围图像，主要有Debevec等人提出的“light probe”(光探测器)，光探测器实际上就是一个固定在杆子上的镜面球体，把这个球放置在想要记录照明和反射信息的点，然后用普通相机来拍摄一系列的照片，生成高动态范围图像。另外一种方式是拍摄多幅从不同方向观看的图像照片，然后使用图像拼合技术把它们结合起来，每次拍摄较大覆盖区域的一个好办法是使用鱼眼镜头，可以使用最少两幅图像来覆盖全部区域，由此来生成高动态范围图像。但是这两种方法存在操作或算法复杂的缺点。还有一种方式是直接通过相机获取高动态范围图像，但是该方法只能采用相机本身提供的固定方法，相机快门的设置数量固定或者无法直接显示。

目前主要的两种计算相机响应曲线方法：

第一种方法：在计算相机响应曲线的时，不进行选点操作，而是将图片中的所有像素点都用于进行相机响应曲线的计算。对于选取的曝光度不同的图片，假设该组图片中每张图片的大小均为1024x768，即每张图中有1024x768个像素点。由于所有的像素点都用于计算，因此增加了算法的计算复杂度，导致所需的计算时间比较长。

第二种方法(文献l(High Dynamic Range Imaging,E.Reinhard,G.Ward,S.Pattanaik and

P.Debevec,Morgan Kaufmann Publishers,2005)中在第4.6.1章中提出)具体的实现方法如下所述:

、把所获得的曝光度不同的图片按照亮度从亮到暗的顺序进行排列。

②、初始化小块列表,即从上述图像序列中的某一张图像中随机选取足够多的大小合适的小块,并将这些小块存储于该小块列表中。

③、对小块列表进行筛选，筛选过程如下:

l)、在所述小块中随机选取一个像素点，如果该被选取的像素点的灰度值比所述小块所在图像之前的几张图像中对应处的像素点的灰度值大，则把该小块从小块列表中删除；否则，保留该小块。

2)、计算该小块的灰度值的方差或标准差,如果该小块的灰度值的方差或标准差超过预先设定的阈值,则把该小块从小块列表中删除;否则,保留该小块。

④、重复③,直到对小块列表中所有的小块均完成上述的检测。

⑤、根据小块列表中剩下的小块中的像素点,计算相机的响应曲线。

在上述方法中，由于所采集的图像序列中的图像的噪声点一般比较多，因此如果仅仅要求相邻两张图像的对应小块中的像素点灰度值保持单调下降性,则可以找到对应的小块；但是，如果要求图像序列中所有图像的对应小块的灰度值均保持单调下降性，则很难找到满足上述条件的小块，从而将导致无法找到合适的特征点用于计算相机的响应曲线。此外，上述方法中所涉及的计算也比较复杂,将使得运算所需的时间较长。

发明内容

本发明的目的在于提供一种相机响应曲线生成方法，其针对静止场景，通过使用一组曝光度不同的图像并自动选取若干个点的方法，来生成相机响应曲线，具有高效、快速、精准等优点，合成高动态范围图像，光照响应曲线的恢复是关键，其利用成像系统的物理性质，胶卷在曝光量上的反应变化特性曲线记录的是处理过的光密度D和胶片接受的曝光量X的对数值之间的关系。曝光量是由辐射度值E和曝光时间Δt所决定的。这个特性曲线的关键是假设只有EΔt，E减半和Δt时间加倍，将不会改变最终光密度D的值。图像中每个像素点的曝光量X与像素值Z的非线性关系即为要恢复的光照响应曲线。

本发明的技术方案是这样实现的：一种相机响应曲线生成方法，其特征在于：保持相机的其他参数不变，只改变曝光时间，获得A张照片，Xmin为相机最小曝光时间，Xmax为相机最大曝光时间，根据照片曝光时间对照片进行快速排序方法非降次排序，第I张图片的曝光时间为S(I)，其中S(I)的值大于并且小于；I=1,2,…A，其中A的值可以取{3,4,5,6}任意一数；

具体的实现步骤如下：

步骤1、构造向量为向量中的第个元素，

；

；

步骤2、设k= ，将第k张图片上所有像素点按照从左到右，从上到下的顺序构成矩阵Z；将矩阵Z的行数设为m,列数设为n，Z (c,d)=（R（c,d）,G（c,d）,B（c,d））为矩阵Z的第c行第d列元素，其中R（c,d）、G（c,d）、B（c,d）分别为Z（c,d）的RGB值;c=1,2...,m;d=1,2,...,n；

步骤3、构造矩阵Gy，设元素Gy（c,d）是矩阵Gy的第c行第d列元素，

;

设矩阵中的元素最大值用表示，矩阵Gy中的元素最小值用表示。

步骤4、根据图片的张数A，来确定采样点的个数N，只需满足方程：

其中表示为像素值（整数）的最小值和最大值，N表示像素值的数量，A表示图片的数量

步骤5、构造向量为向量中的第t个元素，

令

。

步骤6、构造向量RandNumber，RandNumber (e)为RandNumber的第e个元素，RandNumber (e)的值小于Lrange(e+1)并且大于Lrange(e)，e=1,2….,N-1;

步骤7、设在矩阵Gy中与RandNumber (e)相同的元素的个数为size(e)，e=1,2….,N；构造矩阵Hk，设元素Hk（i,j）是矩阵Hk的第i行第j列元素， i=1,2,…size(k);j=1,2; k=1,2,…,N;构造向量w，w(q)为向量w的第q个元素，w(q)=1,q=1,2,…size(k);按照从上到下，从左到右的顺序，c=1,2,…m;d=1,2,…n,如果Gy(c,d)等于RandNumber (e)，那么Hk (w(k),1)=c; Hk (w(k),2)=d，w(k)=w(k)+1;

步骤8、构造矩阵RandTest，其中RandTest(i,j)是矩阵RandTest中的第i行第j列元素。i=1,2,…N;j=1,2; 构造向量random，random(i)为向量random的第i个值，random(i)的值是大于1并且小于w(i)的一个整数，RandTest(i,1)=Hk(random(i),1); RandTest(i,2)=Hk(random(i),2)。

步骤9、将第L张图片上所有像素点按照从左到右，从上到下的顺序构成矩阵ZL，将矩阵ZL的行数设为m,列数设为n,设元素ZL (i,j)=( RL（i,j）,GL（i,j）,BL( i,j))是矩阵ZL的第i行，第j列元素，其中RL(i,j）、GL(i,j)、BL(i,j)分别为ZL(i,j)的RGB值i=1,2,…,m;j=1,2,…n;L=1,2,…A。

步骤10、构造矩阵OL，OL(i，j)是矩阵OL中的第i行，第j列元素， OL (i,j)=( RL（i,j）+GL（i,j）+BL( i,j))/3，i=1,2,…,m;j=1,2,…n;L=1,2,…A。

步骤11、构造一个向量U,其中U(i)为向量U中的第i个元素;当i对N取余值恒为0时，U(i)=OM(Hi(N,1),Hi(N,2));当i对N取余不为0时，U(i)=OM(Hi(i%N,1),Hi(i%N,2))，其中;

步骤12、构造向量T，T(i)为向量T中的第i个元素，T(i)=L((i/(N+1))+1)，i=1,2,…N*A。

步骤13、令相机相应曲线表示为。求解过程如下：

设函数SS可表示为：

用向量内积形式表示，可得：

其矩阵的形式为：

由矩阵可知，如果向量组是线性无关，则得上式系数行列式,

存在唯一解。由已知可知， ，故，进行多项式拟合时，取，则当v取不同值时，线性无关。于是得到函数的最小二乘解；即为所求的方程：

通过上述步骤可以快速、高精度地生成相机响应曲线。

本发明的积极效果是利用一系列曝光时间不同的图片，通过上述步骤自动选取少量有限采样点的方法生成相机响应曲线，克服了传统方法中将图片的所有像素点都用于进行相机响应曲线的计算所带来的巨大开销，然而本方法根据模板图片等分灰度区间，并在等分的灰度区间内的随机选点，对每幅图片进行采样点的选取，从而大大减少了计算相机响应曲线时的像素点个数，进而降低了生成相机响应曲线所用的开销。

具体实施方式

下面结合实施例对本发明做进一步的描述：

一种相机响应曲线生成方法，其特征在于，该方法所需材料和实现步骤如下：

所需材料：保持相机的其他参数不变，只改变曝光时间，获得A张照片，Xmin为相机最小曝光时间，Xmax为相机最大曝光时间，根据照片曝光时间对照片进行快速排序方法非降次排序，第I张图片的曝光时间为S(I)，其中S(I)的值大于并且小于，其中A的值可以取{3,4,5,6}任意一数。

具体实现步骤如下：

步骤1、构造向量L,L(J)为向量L中的第J个元素，

；

。

步骤2、设，将第k张图片上所有像素点按照从左到右，从上到下的顺序构成矩阵Z；将矩阵Z的行数设为m,列数设为n，Z (c,d)=（R（c,d）,G（c,d）,B（c,d））为矩阵Z的第c行第d列元素，其中R（c,d）、G（c,d）、B（c,d）分别为Z（c,d）的RGB值;c=1,2...,m;d=1,2,...,n。

步骤3、构造矩阵Gy，设元素Gy（c,d）是矩阵Gy的第c行第d列元素，

;

设矩阵Gy中的元素最大值用表示，矩阵Gy中的元素最小值用表示。

步骤4、根据图片的张数A，来确定采样点的个数N，只需满足方程：

其中表示为像素值（整数）的最小值和最大值，N表示像素值的数量，A表示图片的数量

步骤5、构造向量为向量中的第t个元素，

令

。

步骤6、构造向量RandNumber，RandNumber (e)为RandNumber的第e个元素，RandNumber (e)的值小于Lrange(e+1)并且大于Lrange(e)，e=1,2….,N-1;

步骤7、设在矩阵Gy中与RandNumber (e)相同的元素的个数为size(e)，e=1,2….,N；构造矩阵Hk，设元素Hk（i,j）是矩阵Hk的第i行第j列元素， i=1,2,…size(k);j=1,2; k=1,2,…,N;构造向量w，w(q)为向量w的第q个元素，w(q)=1,q=1,2,…size(k);按照从上到下，从左到右的顺序，c=1,2,…m;d=1,2,…n,如果Gy(c,d)等于RandNumber (e)，那么Hk (w(k),1)=c; Hk (w(k),2)=d，w(k)=w(k)+1;

步骤8、构造矩阵RandTest，其中RandTest(i,j)是矩阵RandTest中的第i行第j列元素。i=1,2,…N;j=1,2; 构造向量random，random(i)为向量random的第i个值，random(i)的值是大于1并且小于w(i)的一个整数，RandTest(i,1)=Hk(random(i),1); RandTest(i,2)=Hk(random(i),2)。

步骤9、将第L张图片上所有像素点按照从左到右，从上到下的顺序构成矩阵ZL，将矩阵ZL的行数设为m,列数设为n,设元素ZL (i,j)=( RL（i,j）,GL（i,j）,BL( i,j))是矩阵ZL的第i行，第j列元素，其中RL(i,j）、GL(i,j)、BL(i,j)分别为ZL(i,j)的RGB值i=1,2,…,m;j=1,2,…n;L=1,2,…A。

步骤10、构造矩阵OL，OL(i，j)是矩阵OL中的第i行，第j列元素， OL (i,j)=( RL（i,j）+GL（i,j）+BL( i,j))/3，i=1,2,…,m;j=1,2,…n;L=1,2,…A。

步骤11、构造一个向量U,其中U(i)为向量U中的第i个元素;当i对N取余值恒为0时，U(i)=OM(Hi(N,1),Hi(N,2));当i对N取余不为0时，，其中;

步骤12、构造向量T，T(i)为向量T中的第i个元素，T(i)=L((i/(N+1))+1)，i=1,2,…N*A。

步骤13、令相机相应曲线表示为。求解过程如下：

设函数SS可表示为：

用向量内积形式表示，可得：

其矩阵的形式为：

由矩阵可知，如果向量组是线性无关，则得上式系数行列式,

存在唯一解。由已知可知， ，故 ，进行多项式拟合时，取，则当v取不同值时，线性无关。于是得到函数的最小二乘解；即为所求的方程：

通过上述步骤可以快速、高精度地生成相机响应曲线。

Claims (1)

1.一种相机响应曲线生成方法，其特征在于：保持相机的其他参数不变，只改变曝光时间，获得A张照片，Xmin为相机最小曝光时间，Xmax为相机最大曝光时间，根据照片曝光时间对照片进行快速排序方法非降次排序，第I张图片的曝光时间为S(I)，其中S(I)的值大于                                                并且小于；I=1,2,…A，其中A的值可以取{3,4,5,6}任意一数；

具体的实现步骤如下：

步骤1、构造向量为向量中的第个元素，

；

；

步骤2、设k= ，将第k张图片上所有像素点按照从左到右，从上到下的顺序构成矩阵Z；将矩阵Z的行数设为m,列数设为n，Z (c,d)=（R（c,d）,G（c,d）,B（c,d））为矩阵Z的第c行第d列元素，其中R（c,d）、G（c,d）、B（c,d）分别为Z（c,d）的RGB值;c=1,2...,m;d=1,2,...,n；

步骤3、构造矩阵Gy，设元素Gy（c,d）是矩阵Gy的第c行第d列元素，

;

设矩阵中的元素最大值用表示，矩阵Gy中的元素最小值用表示;

步骤4、根据图片的张数A，来确定采样点的个数N，只需满足方程：

其中表示为像素值（整数）的最小值和最大值，N表示像素值的数量，A表示图片的数量

步骤5、构造向量为向量中的第t个元素，

令

;

步骤6、构造向量RandNumber，RandNumber (e)为RandNumber的第e个元素，RandNumber (e)的值小于Lrange(e+1)并且大于Lrange(e)，e=1,2….,N-1;

步骤7、设在矩阵Gy中与RandNumber (e)相同的元素的个数为size(e)，e=1,2….,N；构造矩阵Hk，设元素Hk（i,j）是矩阵Hk的第i行第j列元素， i=1,2,…size(k);j=1,2; k=1,2,…,N;构造向量w，w(q)为向量w的第q个元素，w(q)=1,q=1,2,…size(k);按照从上到下，从左到右的顺序，c=1,2,…m;d=1,2,…n,如果Gy(c,d)等于RandNumber (e)，那么Hk (w(k),1)=c; Hk (w(k),2)=d，w(k)=w(k)+1;

步骤8、构造矩阵RandTest，其中RandTest(i,j)是矩阵RandTest中的第i行第j列元素;

i=1,2,…N;j=1,2; 构造向量random，random(i)为向量random的第i个值，random(i)的值是大于1并且小于w(i)的一个整数，RandTest(i,1)=Hk(random(i),1); RandTest(i,2)=Hk(random(i),2);

步骤9、将第L张图片上所有像素点按照从左到右，从上到下的顺序构成矩阵ZL，将矩阵ZL的行数设为m,列数设为n,设元素ZL (i,j)=( RL（i,j）,GL（i,j）,BL( i,j))是矩阵ZL的第i行，第j列元素，其中RL(i,j）、GL(i,j)、BL(i,j)分别为ZL(i,j)的RGB值i=1,2,…,m;j=1,2,…n;L=1,2,…A;

步骤10、构造矩阵OL，OL(i，j)是矩阵OL中的第i行，第j列元素， OL (i,j)=( RL（i,j）+GL（i,j）+BL( i,j))/3，i=1,2,…,m;j=1,2,…n;L=1,2,…A;

步骤11、构造一个向量U,其中U(i)为向量U中的第i个元素;当i对N取余值恒为0时，U(i)=OM(Hi(N,1),Hi(N,2));当i对N取余不为0时，U(i)=OM(Hi(i%N,1),Hi(i%N,2))，其中;

步骤12、构造向量T，T(i)为向量T中的第i个元素，T(i)=L((i/(N+1))+1)，i=1,2,…N*A;

步骤13、令相机相应曲线表示为;

求解过程如下：

设函数SS可表示为：

用向量内积形式表示，可得：

其矩阵的形式为：

由矩阵可知，如果向量组是线性无关，则得上式系数行列式,

存在唯一解;

由已知可知， ，故，进行多项式拟合时，取，则当v取不同值时，线性无关;于是得到函数的最小二乘解；即为所求的方程：

通过上述步骤可以快速、高精度地生成相机响应曲线。