CN106973240A - 实现高动态范围图像高清显示的数字照相机成像方法 - Google Patents

Abstract

本发明涉及实现高动态范围图像高清显示的数字照相机成像方法，利用多通道垂直光学分光方法使自然光通过数字照相机的主镜头后以形成主通道透射光，利用立体分光将主通道透射光分为多路光，设置最佳曝光时间，针对相同场景得到具有不同曝光时间的多帧原始图像且并行处理各帧原始图像；预先设定相机响应曲线，建立每帧原始图像亮度与对应曝光时间间的查找表，最终获得相机响应曲线；采用颜色校正处理方法校正处理每帧原始图像；利用已标定好的相机响应曲线设置图像融合方法融合各帧原始图像，采用混合滤波对各帧原始图像降噪处理，利用色调映射并采用16比特表征各帧原始图像中每一个像素点，从而准确显示融合后的高动态范围图像。

Description

实现高动态范围图像高清显示的数字照相机成像方法

技术领域

本发明涉及高清高精度显微成像检测技术领域，尤其涉及一种实现高动态范围图像高清显示的数字照相机成像方法。

背景技术

数字影像已经成为人们生活和社会经济活动不可或缺的重要部分。随着人们对数字影像品质要求的不断提高，数字成像技术也在不断进步，数字成像质量显现出高分辨率、高速、低噪声和高动态范围的发展趋势。

虽然现有的数字照相技术在信号获取和显示方式等方面已经非常先进，但是目前国内和国际市场上的产品存仍然存在着因视频信号采集动态范围不足而导致图像不清的重大技术缺馅。对于许许多多日常遇到的重要情景如太阳光照射下的室内场景，其反射光的强度动态范围，即最强和最弱反射光的强度的比例，大约在10000:1到100000:1之间。现有的数字照相机以及图像视频标准采用8个比特(0～255)来表征每个像素的灰度值，这显然只能代表真实世界色彩范围很小的一部分，这也是现有技术和产品不能把这种高动态场景完全照清楚的根本原因。

高动态范围数字图像技术是目前国际上最前沿的数字图像和视频技术，其集成了相机标定技术、高动态范围图像融合技术、色调映射技术、图像处理加速技术、颜色校正技术于一体的世界前沿技术，它将给数字照相、数字电视、医学图像、交通及治安监控、航天及军事侦察等领域中的高动态场景摄像带来革命性的技术进步。

作为高动态范围数字图像领域中的关键，高动态相机可以实时且逼真地还原出场景的真实色彩和人眼所能分辨的丰富细节，对于今后高清相机的发展起到基础性的作用。为了利用高动态相机拍清高动态范围场景中的细节，实现对图像内容进行客观分析、科学评定和精确测量，需要扩长图像的动态范围，以获得能够反映真实观测场景的丰富而真实的信息。

发明内容

本发明所要解决的技术问题是针对上述现有技术提供一种实现高动态范围图像高清显示的数字照相机成像方法。该数字照相机成像方法能够扩长所拍摄图像的动态范围，反映出该图像所对应观测场景的丰富的真实信息。

本发明解决上述技术问题所采用的技术方案为：实现高动态范围图像高清显示的数字照相机成像方法，其特征在于，包括如下步骤1至步骤5：

步骤1，利用多通道垂直光学分光方法使自然光通过数字照相机的主镜头进入成像光学系统，以形成主通道透射光；

采用立体分光镜将主通道透射光分为多路光，通过利用分光镜中反射膜的不同反射/透射比，改变各路光所对应通道中的光总量；

设置最佳曝光时间，针对相同场景采用不同曝光时间进行处理，以得到针对相同场景具有不同曝光时间的多帧原始图像，采用并行处理加速方法分别处理各帧原始图像；

步骤2，采用相机响应曲线标定方法预先设定相机响应曲线，建立每帧原始图像亮度与对应曝光时间之间的查找表，并通过拟合曝光时间和相机曝光值之间的二维曲线最终获得相机响应曲线；采用颜色校正处理方法针对所述每帧原始图像做颜色校正处理；

步骤3，针对各通道采用自适应方法设定对应每帧原始图像融合时的权重系数，避免噪点被融合进后续所输出的图像；其中，各通道对应的权值系数独立于所述相机响应曲线；

步骤4，利用已经标定好的相机响应曲线设置图像融合方法，以针对相同场景的多帧不同曝光时间的原始图像进行融合，实现扩展动态范围；

步骤5，采用混合滤波方法对各帧原始图像做降噪处理，通过利用色调映射方法并采用16比特表征各帧原始图像中的每一个像素点，从而准确显示所融合后的高动态范围图像。

进一步地，在步骤1中，所述多通道垂直光学分光方法包括：根据数字图像传感器的镜头接口采用C接口作为多通道光学系统的传输接口，并且根据数字图像传感器的镜头接口的尺寸设计分光路径的尺寸；光线通过数字照相机的主镜头之后形成主通道透射光，设置分光镜对主通道透射光进行分光，以使分光镜上反射膜的反射/透射比将主通道透射光分成多路不同光总量的光线，从而达到对于相同场景拍摄多帧具有不同曝光时间的原始图像。

进一步地，在步骤2中，所述颜色校正处理方法采用三点法校正方法；所述三点法校正方法包括如下步骤2-1至步骤2-3：

步骤2-1，针对获取的彩色的原始图像，保持彩色的原始图像的绿色通道不变化；

步骤2-2，通过分别选取所述彩色的原始图像中具有不同亮度的三个像素点，以重新拟合图像中的红色通道和蓝色通道；

步骤2-3，建立三通道查找表，从而以所述重新拟合后的红色通道和蓝色通道对应地替换原始图像的红色通道和蓝色通道。

进一步地，所述重新拟合图像中红色通道和蓝色通道包括如下过程：

针对获取的彩色的原始图像，分别选择具有不同亮度的三个像素点；其中，具有不同亮度的三个像素点分别标记为P₁[R₁，G₁，B₁]、P₂[R₂，G₂，B₂]和P₃[R₃，G₃，B₃]；

针对获取的彩色的原始图像，利用所述三个像素点的RGB三通道，分别建立新的三通道查找表，以替代原始图像的RGB三通道值：其中，RGB三通道包括红色通道、绿色通道和蓝色通道；

建立R-G查找表替代原始图像的红色通道，使用[0，0]、[R₃，G₃]、[R₂，G₂]、[R₁，G₁]以及[255，255]这五个点做3阶拟合并拟合出256个点，通过该256个点建立查找表，用新的R-G值代替原始图像的红色通道值；

建立B-G查找表替代原始图像的蓝色通道，使用[0，0]、[B₃，G₃]、[B₂，G₂]、[B₁，G₁]以及[255，255]这五个点做3阶拟合并拟合出256个点，通过该256个点建立查找表，用新的B-G值代替原始图像的蓝色通道值；

绿色通道使用等差数列{[0，0],[1，1],[2，2]……[255，255]}，不改变原始图像的绿色通道颜色值。

进一步地，在步骤4中，针对相同场景中的多帧不同曝光时间的原始图像融合过程包括：首先，在各帧原始图像的像素值和曝光时间已知的情况下，利用相机响应曲线获得每一帧原始图像中每一个像素点所对应的场景光谱强度；其次，构建自适应曝光系数的权重方程，将三帧具有不同光谱强度的原始图像进行融合，并采用16比特的浮点数据还原真实世界的光谱，以重新生成一张反映真实世界光谱的图像。

进一步地，在步骤5中，所述的色调映射方法包括：将16比特的数据集映射到8比特的数据集中；所述色调映射方法采用局部映射方法或全局映射方法，并同时采用亮度调节方式或饱和度调节方式或对比度调节方式或细节调节方式的图像质量调节方式，以调节输出图像的质量。

进一步地，在步骤5中，采用混合滤波方法对各图像做降噪处理的过程包括步骤5-1至步骤5-3：

步骤5-1，采用局部窗口检测方法，对目标点周围3×3的区域内除目标点外的周围8个邻域点进行加权处理；

步骤5-2，如果局部窗口中心点的亮度值与周围领域8个邻域点的亮度均值之差大于预设阈值，则确定该局部窗口中心点为噪点；其中，th₀＝0.019；p_x(i)表示第i个点的亮度值，p_x(4)表示局部窗口中心点的亮度值，th₀为预设阈值；

步骤5-3，预设两个滤波阈值并设定滤波原则，获取局部窗口中心点的滤波值，并采用自动校正方法在当前局部窗口中确定两个滤波阈值后，根据滤波原则进行滤波判定处理：

如果局部窗口中心点的滤波值处于两个滤波阈值之间，则对该局部窗口中心点进行滤波；否则，该局部窗口中心点不需要进行滤波；局部窗口中心点的滤波值计算如下：

所述滤波原则设置如下：

th₁∈(0.0003,0.0031)，th₂∈(0.0003,0.0031)；

其中，n_ACF为局部窗口中心点的滤波值，k表示局部窗口的移动距离值，p_x(t)表示第t个点的亮度值，p_x(t+k)表示第t个点随局部窗口移动距离k后所对应位置的亮度值；th₁表示预设的第一个滤波阈值，th₂表示预设的第二个滤波阈值，MedianFilter表示滤波处理。

进一步地，所述步骤1中，设置最佳曝光时间的过程包括：

首先，对于一帧给定曝光值的原始图像，假设存在一个分割阈值将该帧原始图像分割为前景区和背景区两个区域；其中，所述分隔阈值标记为r，r＝0,1,···,255；

其次，针对前景区中的灰度阶，计算其灰度阶在该前景区中的分布概率和前景熵值；针对背景区中的灰度阶，计算其灰度阶在该背景区中的分布概率和熵值；

再次，针对前景区和背景区中得到的所述分布概率和熵值，分别对应作熵值差值运算，以得整帧所述原始图像的背景熵值；其中，整帧所述原始图像的熵值标记为H_t：

H_t＝HF_t+HB_t，t＝0,1,···,255；

其中，HF_t为前景区对应的前景熵，HB_t为背景区对应的背景熵；p_i表示在前景区中灰度阶为i时所对应的概率，p_j表示在背景区中灰度阶为j时所对应的概率，N_i表示前景区中的像素个数，N_j表示背景区中的像素个数，W表示该帧原始图像的宽度，H表示该帧原始图像的高度；

最后，计算所得整帧原始图像的最大熵值，并以最大熵值所对应的灰度阶值作为最佳曝光时间；其中，最佳曝光时间标记为to_pt，max(H_t)表示所得整帧原始图像中的最大熵值。

进一步地，在步骤2中，所述预先设定相机响应曲线的过程包括：

首先，设定任一帧原始图像的平均亮度与快门速度之间存在线性对应关系；其中，线性对应关系表示为：I＝H(Δt)；I为所设定一帧原始图像的平均亮度值，Δt为相机的快门速度；

其次，构建拟合模型，对所述原始图像的平均亮度进行多项式拟合处理；其中，构建的拟合模型如下所示：

Δt＝H^-1(I)；

其中，a、b、c和d为拟合模型中的参数常量；H^-1(·)表示逆反运算；

再次，根据相机光圈值和快门速度之间的关系，得到原始图像的像素值；其中，所述原始图像的像素值标记为EV：

其中，AV表示相机光圈值，Δt表示相机的快门速度，log2(·)表示底数为2的对数函数。

进一步地，在步骤3中，所述各帧原始图像在融合时的权重系数计算公式为：

x∈[1,X]；

Z_max＝max(Z_x)，Z_x＝f(EV_xΔt)；

其中，w_x为第x帧原始图像在融合时的权重系数，X表示所述需要融合的原始图像的总帧数；Z_max为所述X帧原始图像中像素最高亮度值，Z_x代表第x帧原始图像中像素亮度值，f(·)为相机响应函数，EV_x表示第x帧原始图像的图像像素值，Δt表示相机的快门速度；a、b、c和d为所述拟合模型中的参数常量，由数字照相机预先设置。

与现有技术相比，本发明的优点在于：

首先，本发明针对进入数字照相机的自然光采用多通道垂直光学分光方法，将通过数字照相机主镜头的主通道透射光分为多路光，并且通过计算设置最佳曝光时间，以获得针对相同场景的具有不同曝光时间的多帧原始图像，从而为后续高动态范围图像的融合提供足够的细节和色彩信息；

通过采用熵值最大化方法获取最佳曝光时间，不仅使得获取的多帧图像在图像细节方面实现了互补，同时使得高动态范围成像实现了自适应曝光调节；当待观测场景的反射属性发生变化时，通过自适应曝光调节，选取不同的曝光时间，在实现高动态范围扩展的同时，保留了真实观测场景的大量细节，从而做到真正地还原真实世界；

其次，本发明针对相机响应曲线的设定过程有效地解决了传统方法计算量庞大、计算时间消耗严重的问题，该方法在恢复出相机响应曲线方面用时少、计算简便，有利于高动态成像技术的实际应用；基于本发明中方法所得到的相机响应曲线，使得后续融合的高动态场景图像在色彩和细节方面更加丰富，图像质量更接近真实世界；

再次，针对各每帧原始图像做颜色校正处理时，本发明采用三点拟合颜色校正方法，可以消除相机固有的颜色偏差，恢复出自然世界中的真实色彩，而且实时输出，不影响相机采图频率；通过本发明方法所建立的三通道查找表，将原有图像中的RGB三通道值改变为新的拟合后的图像颜色值，将有效地消除原有图像的色差，恢复出真实世界中的颜色；

针对各通道采用自适应方法设定对应融合时的权重系数，将图像过曝的像素点弱化，同时增强曝光不足的像素点，使得实现高动态范围图像的融合更为自然，有利于消除重影、减少光晕效应；

最后，利用16比特的浮点数据来表征每个像素点，突破传统的8比特图像标准，使得相机可以真实地还原高动态范围场景而不出现细节的缺失和色彩的偏差。

附图说明

图1为本发明实施例中实现高动态范围图像高清显示的数字照相机成像方法流程示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1所示，本实施例中实现高动态范围图像高清显示的数字照相机成像方法，包括如下步骤1至步骤5：

步骤1，利用多通道垂直光学分光方法使自然光通过数字照相机的主镜头进入成像光学系统，以形成主通道透射光；

采用立体分光镜将主通道透射光分为在不同通道中传播的多路光，通过利用分光镜中反射膜的不同反射/透射比，改变各路光所对应通道中的光总量；每一个通道对应着一路光，每一路光具有对应自己的光总量；

设置最佳曝光时间，针对相同场景采用不同曝光时间进行处理，以得到针对相同场景具有不同曝光时间的多帧原始图像，采用并行处理加速方法分别处理各帧原始图像；针对相同场景，各帧原始图像之间具有不同的曝光时间；例如，将一株鲜花作为所要采集的场景，也就是此处所述的相同场景，通过在设置最佳曝光时间后，针对作为相同场景的这株鲜花，分别设置不同的曝光时间t₁、t₂、t₃和t₄，并以这四个不同的曝光时间分别获取针对这株鲜花的图像，从而可以得到四帧具有不同曝光时间的原始图像；

其中，在本实施例中，多通道垂直光学分光方法包括如下步骤a1和步骤a2：

步骤a1，根据数字图像传感器的镜头接口采用C接口作为多通道光学系统的传输接口，并且根据数字图像传感器的镜头接口的尺寸设计分光路径的尺寸；

步骤a2，光线通过数字照相机的主镜头之后形成主通道透射光，设置分光镜对主通道透射光进行分光，以使分光镜上反射膜的不同反射/透射比将主通道透射光分成多路不同光总量的光线，从而达到对于相同场景拍摄多帧具有不同曝光时间的原始图像。经分光后的每一路光线在各自对应的通道中传播。

为了实现方便，本实施例中采用双通道光学设计，利用一个分光镜，将通过数字照相机主镜头的自然光分为两路光量相同的光流：一组中继镜头分别放置在两路通道内，用以调节焦距和图像尺度；通过调节图像传感器的曝光时间以获得具有不同曝光时间的原始图像，为后续高动态范围图像的融合提供足够的细节和色彩信息。其中，双通道曝光时间的选取基于曝光补偿原则，一路通道选取正常自动曝光时间以获得最多图像细节和最清晰的图像质量；另一路通道作为补偿通道，通常选取比自动曝光时间短的曝光时间，以获得图像中过曝区域的图像细节。具体地，本实施例中采用立方体式分光镜，该分光镜中的分光膜较薄，仅仅为微米级。

具体地，本实施例中设置最佳曝光时间的过程包括如下步骤b1至步骤b4：

步骤b1，对于一帧给定曝光值的原始图像，假设存在一个分割阈值将该帧原始图像分割为前景区和背景区两个区域；其中，分隔阈值标记为r，r＝0,1,···,255；

步骤b2，针对前景区中的灰度阶，计算其灰度阶在该前景区中的分布概率和前景熵值；针对背景区中的灰度阶，计算其灰度阶在该背景区中的分布概率和熵值；其中，HF_t为前景区对应的前景熵，HB_t为背景区对应的背景熵；p_i表示在前景区中灰度阶为i时所对应的概率，p_j表示在背景区中灰度阶为j时所对应的概率；i＝0,1,···,t；j＝t+1,t+2,···,255；t＝0,1,···,255；

步骤b3，针对前景区和背景区中得到的分布概率和熵值，分别对应作熵值差值运算，以得到整帧原始图像的背景熵值；其中，整帧原始图像的熵值标记为H_t：

H_t＝HF_t+HB_t，t＝0,1,···,255；

其中，HF_t为前景区对应的前景熵，HB_t为背景区对应的背景熵；p_i表示在前景区中灰度阶为i时所对应的概率，p_j表示在背景区中灰度阶为j时所对应的概率，N_i表示前景区中的像素个数，N_j表示背景区中的像素个数，W表示该帧原始图像的宽度，H表示该帧原始图像的高度；

步骤b4，计算所得整帧原始图像的最大熵值，并以最大熵值所对应的灰度阶值作为最佳曝光时间；其中，最佳曝光时间标记为t_opt，max(H_t)表示所得整帧原始图像中的最大熵值。其中，熵在图像处理领域表示图像中细节丰富度：熵值越大，说明图像中细节越丰富；反之，说明图像中细节越少。

在本发明中，通过利用熵值最大化方法来选取最佳曝光时间，不仅使得获取的各帧原始图像在图像细节方面实现了互补，同时使得高动态范围成像能够根据所观测场景对应各帧原始图像的熵值进行自适应曝光调节。当观测场景的反射属性发生变化时，通过自适应曝光调节，选取不同的曝光时间，在实现高动态范围扩展的同时，保留了真实观测场景的大量细节，从而做到真正地还原真实世界。

在选取利用最佳曝光时间采集的各帧原始图像之后，需要利用该图像中的信息融合一幅新的高动态范围图像，以恢复出观测场景的真实色彩和细节。

步骤2，采用相机响应曲线标定方法预先设定相机响应曲线，建立每帧原始图像亮度与对应曝光时间之间的查找表，并通过拟合曝光时间和相机曝光值之间的二维曲线最终获得相机响应曲线；采用颜色校正处理方法针对所述每帧原始图像做颜色校正处理；其中，具体地，预先设定相机响应曲线的过程包括步骤c1至步骤c3：

步骤c1，设定任一帧原始图像的平均亮度与快门速度之间存在线性对应关系；其中，线性对应关系表示为：I＝H(Δt)；I为所设定一帧原始图像的平均亮度值，Δt为相机的快门速度；

步骤c2，构建拟合模型，对原始图像的平均亮度进行多项式拟合处理；其中，构建的拟合模型如下所示：

Δt＝H^-1(I)；

其中，a、b、c和d为拟合模型中的参数常量，由数字照相机预先设置；H^-1(·)表示逆反运算；

步骤c3，根据相机光圈值和快门速度之间的关系，得到原始图像的像素值；其中，原始图像的像素值标记为EV：其中，AV表示相机光圈值，Δt表示相机的快门速度，log₂(·)表示底数为2的对数函数。其中，相机光圈值AV可以根据需要进行设定。

原始图像的像素值可以表示为相机光圈值AV与原始图像中的像素值EV之间的函数关系形式。此处所采用的相机响应曲线的设定过程有效地解决了传统方法计算量庞大、计算时间消耗严重的问题，该方法在恢复出相机响应曲线方面用时少、计算简便，有利于高动态成像技术的实际应用。基于该方法得到的相机响应曲线，经融合后的高动态场景图像在色彩和细节方面更加丰富，图像质量更接近真实世界。

具体地，本实施例中的颜色校正处理方法采用三点法校正方法；三点法校正方法包括如下步骤d1至步骤d3：

步骤d1，针对获取的彩色的原始图像，保持彩色的原始图像的绿色通道不变化；

步骤d2，通过分别选取彩色的原始图像中具有不同亮度的三个像素点，以重新拟合图像中的红色通道和蓝色通道；

步骤d3，建立三通道查找表，从而以重新拟合后的红色通道和蓝色通道对应地替换原始图像的红色通道和蓝色通道。三通道是指红色通道、蓝牙通道和绿色通道。其中，重新拟合图像中红色通道和蓝色通道包括步骤e1和步骤e2：

步骤e1，针对获取的彩色的原始图像，分别选择具有不同亮度的三个像素点；其中，具有不同亮度的三个像素点分别标记为P₁[R₁，G₁，B₁]、P₂[R₂，G₂，B₂]和P₃[R₃，G₃，B₃]；

步骤e2，针对获取的彩色的原始图像，利用三个像素点的RGB三通道，分别建立新的三通道查找表，以替代原始图像的RGB三通道值：其中，RGB三通道包括红色通道、绿色通道和蓝色通道；

建立R-G查找表替代原始图像的红色通道，使用[0，0]、[R₃，G₃]、[R₂，G₂]、[R₁，G₁]以及[255，255]这五个点做3阶拟合并拟合出256个点，通过该256个点建立查找表，用新的R-G值代替原始图像的红色通道值；此处所指的原始图像即为获取的彩色的原始图像；

建立B-G查找表替代原始图像的蓝色通道，使用[0，0]、[B₃，G₃]、[B₂，G₂]、[B₁，G₁]以及[255，255]这五个点做3阶拟合并拟合出256个点，通过该256个点建立查找表，用新的B-G值代替原始图像的蓝色通道值；3阶拟合方法属于现有技术，此处不过多赘述；

绿色通道使用等差数列{[0，0],[1，1],[2，2]……[255，255]}，不改变原始图像的绿色通道颜色值。

本发明采用三点拟合颜色校正方法，可以消除相机固有的颜色偏差，恢复出自然世界中的真实色彩，而且实时输出，不影响相机采图频率。本发明所采用的三点拟合颜色校正方法是具有运算简便，可多次计算，可控制图像整体亮度和色彩饱和度，是消除相机固定色差有效的手段。

通过本发明方法所建立的三通道查找表，将原有图像中的RGB三通道值改变为新的拟合后的图像颜色值，拟合后的新图像中的RGB三通道值具有了新的数值，从而将有效地消除原有图像的色差，恢复出真实世界中的颜色。

步骤3，针对各通道采用自适应方法设定对应每帧原始图像融合时的权重系数，避免噪点被融合进后续所输出的图像；其中，各通道对应的权值系数独立于相机响应曲线；

其中，针对各通道采用自适应方法设定对应融合时的权重系数过程为：在高斯函数的基础上，结合相机曝光敏感阶数，设计与相机响应曲线独立的通道之间的权重系数，将图像过曝的像素点弱化，同时增强曝光不足的像素点，使得实现高动态范围图像的融合更为自然，有利于消除重影、减少光晕效应。

具体地，针对需要融合的多帧原始图像中，设定原始图像的总帧数为X，第x帧原始图像在融合时的权重系数标记为w_x：

其中，Z_max为所述X帧原始图像中像素最高亮度值，Z_x代表第x帧原始图像中像素亮度值，f(·)为相机响应函数，EV_x表示第x帧原始图像的图像像素值，Δt表示相机的快门速度；X表示所述需要融合的原始图像的总帧数；a、b、c和d为所述拟合模型中的参数常量，由数字照相机预先设置；

步骤4，利用已经标定好的相机响应曲线设置图像融合方法，以针对相同场景的多帧不同曝光时间的原始图像进行融合，实现扩展动态范围；具体地，本实施例中针对相同场景中的多帧不同曝光时间的图像融合过程包括步骤4-1至步骤4-2：

步骤4-1，在各帧原始图像的像素值和曝光时间已知的情况下，利用相机响应曲线获得每一帧原始图像中每一个像素点所对应的场景光谱强度；

步骤4-2，构建自适应曝光系数的权重方程，将三帧具有不同光谱强度的原始图像进行融合，并采用16比特的浮点数据还原真实世界的光谱，以重新生成一张反映真实世界光谱的图像；

步骤5，采用混合滤波方法对各帧原始图像做降噪处理，通过利用色调映射方法并采用16比特浮点数据表征各帧原始图像中的每一个像素点，从而准确显示所融合后的高动态范围图像。具体地，采用混合滤波方法对各图像做降噪处理的过程包括步骤5-1至步骤5-3：

步骤5-1，采用局部窗口检测方法，对目标点周围3×3的区域内除目标点外的周围8个邻域点进行加权处理；

步骤5-2，如果局部窗口中心点的亮度值与周围领域8个邻域点的亮度均值之差大于预设阈值，则确定该局部窗口中心点为噪点；其中，th₀＝0.019；p_x(i)表示第i个点的亮度值，p_x(4)表示第4个点，也就是局部窗口中心点的亮度值，th₀为预设阈值；

步骤5-3，预设两个滤波阈值并设定滤波原则，获取局部窗口中心点的滤波值，并采用自动校正方法在当前局部窗口中确定两个滤波阈值后，根据滤波原则进行滤波判定处理：

如果局部窗口中心点的滤波值处于两个滤波阈值之间，则对该局部窗口中心点进行滤波；否则，该局部窗口中心点不需要进行滤波；局部窗口中心点的滤波值计算如下：

所述滤波原则设置如下：

th₁∈(0.0003,0.0031)，th₂∈(0.0003,0.0031)；

其中，n_ACF为局部窗口中心点的滤波值，k表示局部窗口的移动距离值，p_x(t)表示第t个点的亮度值，p_x(t+k)表示第t个点随局部窗口移动距离k后所对应位置的亮度值；th₁表示预设的第一个滤波阈值，th₂表示预设的第二个滤波阈值，MedianFilter表示滤波处理。

具体地，本实施例中的色调映射方法包括：将16比特的浮点数据集映射到8比特的数据集中；该色调映射方法采用局部映射方法或全局映射方法，并同时采用亮度调节方式或饱和度调节方式或对比度调节方式或细节调节方式的图像质量调节方式，以调节输出图像的质量。

尽管以上详细地描述了本发明的优选实施例，但是应该清楚地理解，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.实现高动态范围图像高清显示的数字照相机成像方法，其特征在于，包括如下步骤1至步骤5：

步骤1，利用多通道垂直光学分光方法使自然光通过数字照相机的主镜头进入成像光学系统，以形成主通道透射光；

采用立体分光镜将主通道透射光分为在不同通道中传播的多路光，通过利用分光镜中反射膜的不同反射/透射比，改变各路光所对应通道中的光总量；

设置最佳曝光时间，针对相同场景采用不同曝光时间进行处理，以得到针对相同场景具有不同曝光时间的多帧原始图像，采用并行处理加速方法分别处理各帧原始图像；

步骤2，采用相机响应曲线标定方法预先设定相机响应曲线，建立每帧原始图像亮度与对应曝光时间之间的查找表，并通过拟合曝光时间和相机曝光值之间的二维曲线最终获得相机响应曲线；采用颜色校正处理方法针对所述每帧原始图像做颜色校正处理；

步骤3，针对各通道采用自适应方法设定对应每帧原始图像融合时的权重系数，避免噪点被融合进后续所输出的图像；其中，各通道对应的权值系数独立于所述相机响应曲线；

步骤4，利用已经标定好的相机响应曲线设置图像融合方法，以针对相同场景的多帧不同曝光时间的原始图像进行融合，实现扩展动态范围；

步骤5，采用混合滤波方法对各帧原始图像做降噪处理，通过利用色调映射方法并采用16比特浮点数据表征各帧原始图像中的每一个像素点，从而准确显示所融合后的高动态范围图像。

2.根据权利要求1所述的实现高动态范围图像高清显示的数字照相机成像方法，其特征在于，在步骤1中，所述多通道垂直光学分光方法包括：

根据数字图像传感器的镜头接口采用C接口作为多通道光学系统的传输接口，并且根据数字图像传感器的镜头接口的尺寸设计分光路径的尺寸；

光线通过数字照相机的主镜头之后形成主通道透射光，设置分光镜对主通道透射光进行分光，以使分光镜上反射膜的反射/透射比将主通道透射光分成多路不同光总量的光线，从而达到对于相同场景拍摄多帧具有不同曝光时间的原始图像。

3.根据权利要求1所述的实现高动态范围图像高清显示的数字照相机成像方法，其特征在于，在步骤2中，所述颜色校正处理方法采用三点法校正方法；所述三点法校正方法包括如下步骤2-1至步骤2-3：

步骤2-1，针对获取的彩色的原始图像，保持彩色的原始图像的绿色通道不变化；

步骤2-2，通过分别选取所述彩色的原始图像中具有不同亮度的三个像素点，以重新拟合图像中的红色通道和蓝色通道；

步骤2-3，建立三通道查找表，从而以所述重新拟合后的红色通道和蓝色通道对应地替换原始图像的红色通道和蓝色通道。

4.根据权利要求3所述的实现高动态范围图像高清显示的数字照相机成像方法，其特征在于，重新拟合图像中红色通道和蓝色通道包括如下过程：

针对获取的彩色的原始图像，分别选择具有不同亮度的三个像素点；其中，具有不同亮度的三个像素点分别标记为P₁[R₁，G₁，B₁]、P₂[R₂，G₂，B₂]和P₃[R₃，G₃，B₃]；

针对获取的彩色的原始图像，利用所述三个像素点的RGB三通道，分别建立新的三通道查找表，以替代原始图像的RGB三通道值：其中，RGB三通道包括红色通道、绿色通道和蓝色通道；

建立R-G查找表替代原始图像的红色通道，使用[0，0]、[R₃，G₃]、[R₂，G₂]、[R₁，G₁]以及[255，255]这五个点做3阶拟合并拟合出256个点，通过该256个点建立查找表，用新的R-G值代替原始图像的红色通道值；

建立B-G查找表替代原始图像的蓝色通道，使用[0，0]、[B₃，G₃]、[B₂，G₂]、[B₁，G₁]以及[255，255]这五个点做3阶拟合并拟合出256个点，通过该256个点建立查找表，用新的B-G值代替原始图像的蓝色通道值；

绿色通道使用等差数列{[0，0],[1，1],[2，2]……[255，255]}，不改变原始图像的绿色通道颜色值。

5.根据权利要求1所述的实现高动态范围图像高清显示的数字照相机成像方法，其特征在于，在步骤4中，针对相同场景中的多帧不同曝光时间的原始图像融合过程包括：

首先，在各帧原始图像的像素值和曝光时间已知的情况下，利用相机响应曲线获得每一帧原始图像中每一个像素点所对应的场景光谱强度；

其次，构建自适应曝光系数的权重方程，将三帧具有不同光谱强度的原始图像进行融合，并采用16比特的浮点数据还原真实世界的光谱，以重新生成一张反映真实世界光谱的图像。

6.根据权利要求1所述的实现高动态范围图像高清显示的数字照相机成像方法，其特征在于，在步骤5中，所述的色调映射方法包括：将16比特的数据集映射到8比特的数据集中；所述色调映射方法采用局部映射方法或全局映射方法，并同时采用亮度调节方式或饱和度调节方式或对比度调节方式或细节调节方式的图像质量调节方式，以调节输出图像的质量。

7.根据权利要求1所述的实现高动态范围图像高清显示的数字照相机成像方法，其特征在于，在步骤5中，采用混合滤波方法对各图像做降噪处理的过程包括步骤5-1至步骤5-3：

步骤5-1，采用局部窗口检测方法，对目标点周围3×3的区域内除目标点外的周围8个邻域点进行加权处理；

步骤5-2，如果局部窗口中心点的亮度值与周围领域8个邻域点的亮度均值之差大于预设阈值，则确定该局部窗口中心点为噪点；其中，th₀＝0.019；p_x(i)表示第i个点的亮度值，p_x(4)表示局部窗口中心点的亮度值，th₀为预设阈值；

步骤5-3，预设两个滤波阈值并设定滤波原则，获取局部窗口中心点的滤波值，并采用自动校正方法在当前局部窗口中确定两个滤波阈值后，根据滤波原则进行滤波判定处理：

如果局部窗口中心点的滤波值处于两个滤波阈值之间，则对该局部窗口中心点进行滤波；否则，该局部窗口中心点不需要进行滤波；局部窗口中心点的滤波值计算如下：

$n_{ACF}{|}_{k=4}=\frac{1}{6}\underset{t=0}{\overset{5}{\mathrm{\Σ}}}{p}_x(t+k)p_x\left(t\right);$

所述滤波原则设置如下：

$p_x\left(t\right)=\left\{\begin{array}{cc}MedianFilter& {\mathrm{th}}_1<n_{ACF}{|}_{k=4}<{\mathrm{th}}_2\\ p_x\left(t\right)& otherwise\end{array}\right.;$

th₁∈(0.0003,0.0031)，th₂∈(0.0003,0.0031)；

其中，n_ACF为局部窗口中心点的滤波值，k表示局部窗口的移动距离值，p_x(t)表示第t个点的亮度值，p_x(t+k)表示第t个点随局部窗口移动距离k后所对应位置的亮度值；th₁表示预设的第一个滤波阈值，th₂表示预设的第二个滤波阈值，MedianFilter表示滤波处理。

8.根据权利要求1所述的实现高动态范围图像高清显示的数字照相机成像方法，其特征在于，所述步骤1中，设置最佳曝光时间的过程包括：

首先，对于一帧给定曝光值的原始图像，假设存在一个分割阈值将该帧原始图像分割为前景区和背景区两个区域；其中，所述分隔阈值标记为r，r＝0,1,…,255；

其次，针对前景区中的灰度阶，计算其灰度阶在该前景区中的分布概率和前景熵值；针对背景区中的灰度阶，计算其灰度阶在该背景区中的分布概率和熵值；

再次，针对前景区和背景区中得到的所述分布概率和熵值，分别对应作熵值差值运算，以得整帧所述原始图像的背景熵值；其中，整帧所述原始图像的熵值标记为H_t：

H_t＝HF_t+HB_t，t＝0,1,…,255；

${\mathrm{HF}}_t=-\underset{i}{\mathrm{\&Sigma;}}\left(p_{i}log\right(p_i\left)\right),p_i=\frac{N_i}{W\&times;H},i=0,1,...,t;$

${\mathrm{HB}}_t=-\underset{j}{\mathrm{\&Sigma;}}\left(\right(1-p_j\left)log\right(1-p_j\left)\right),p_j=\frac{N_j}{W\&times;H},j=t+1,t+2,...,255;$

其中，HF_t为前景区对应的前景熵，HB_t为背景区对应的背景熵；p_i表示在前景区中灰度阶为i时所对应的概率，p_j表示在背景区中灰度阶为j时所对应的概率，N_i表示前景区中的像素个数，N_j表示背景区中的像素个数，W表示该帧原始图像的宽度，H表示该帧原始图像的高度；

最后，计算所得整帧原始图像的最大熵值，并以最大熵值所对应的灰度阶值作为最佳曝光时间；其中，最佳曝光时间标记为t_opt，max(H_t)表示所得整帧原始图像中的最大熵值。

9.根据权利要求1所述的实现高动态范围图像高清显示的数字照相机成像方法，其特征在于，在步骤2中，预先设定相机响应曲线的过程包括：

首先，设定任一帧原始图像的平均亮度与快门速度之间存在线性对应关系；其中，线性对应关系表示为：I＝H(Δt)；I为所设定一帧原始图像的平均亮度值，Δt为相机的快门速度；

其次，构建拟合模型，对所述原始图像的平均亮度进行多项式拟合处理；其中，构建的拟合模型如下所示：

Δt＝H^-1(I)；

其中，a、b、c和d为拟合模型中的参数常量；H^-1(·)表示逆反运算；

再次，根据相机光圈值和快门速度之间的关系，得到原始图像的像素值；其中，所述原始图像的像素值标记为EV：

其中，AV表示相机光圈值，Δt表示相机的快门速度，log₂(·)表示底数为2的对数函数。

10.根据权利要求9所述的实现高动态范围图像高清显示的数字照相机成像方法，其特征在于，在步骤3中，所述各帧原始图像在融合时的权重系数计算公式为：

$w_x=Z_{max}{e}^{-\frac{{(x-Z_{med})}^2}{3}};x\&Element;\&lsqb;1,X\&rsqb;;$

Z_max＝max(Z_x)，Z_x＝f(EV_xΔt)；

$Z_{med}=H({\mathrm{EV}}_{x^{\&prime;}}-1),x^{\&prime;}=x{|}_{Z_{max}=max\left(Z_x\right)};H\left({\mathrm{EV}}_x\right)=\frac{a+b\&CenterDot;{\mathrm{EV}}_x}{1+c\&CenterDot;{\mathrm{EV}}_x+d\&CenterDot;{\left({\mathrm{EV}}_x\right)}^2};$

其中，w_x为第x帧原始图像在融合时的权重系数，X表示所述需要融合的原始图像的总帧数；Z_max为所述X帧原始图像中像素最高亮度值，Z_x代表第x帧原始图像中像素亮度值，f(·)为相机响应函数，EV_x表示第x帧原始图像的图像像素值，Δt表示相机的快门速度；a、b、c和d为所述拟合模型中的参数常量，由数字照相机预先设置。