CN103873781A - 一种宽动态摄像机实现方法及装置 - Google Patents

Abstract

本发明公布了一种宽动态摄像机实现方法及装置，实现方法，包括以下步骤：步骤A：获取N帧原始图像的步骤，N≥2；步骤B：将N帧原始图像与N个图像信号处理器一一对应分别送至N个图像信号处理器的步骤；步骤C：N帧原始图像分别在对应图像信号处理器中进行图像处理的步骤；步骤D：将经过图像处理后的N帧图像进行宽动态合成获得更高动态范围图像的步骤。本发明具有如下优点：能够在场景光照对比度较大的情况下，为用户提供含有更多细节的图像，使图像中亮区域和暗区域同时能够看清晰细节，有效解决普通摄像机曝光过量和曝光过暗不能看清图像细节的问题，也为宽动态摄像机的实现提供了新的思路和方法，采用多个图像信号处理器来实现。

Description

一种宽动态摄像机实现方法及装置

技术领域

本发明涉及摄像机及视频监控领域，具体是指一种宽动态摄像机实现方法及装置。

背景技术

传统的摄像机当在光线对比非常强烈的情况下，摄像机输出的图像高亮区域会曝光过度，画面变成白色，而低亮区域会因曝光不足而变成黑色，严重影响图像质量。为了改善上述问题，宽动态摄像机概念被提出并推出了相应产品。

典型宽动态摄像机的实现方法主要有两类：一类是通过对图像的增强变换来增加图像的动态范围，一类是在一个图像信号处理器中利用不同曝光获取明暗区域的图像信息，然后在该图像信号处理器中通过数字图像合成的方式实现。基于增强变换的方法即数字宽动态，是将原始数据通过相关映射达到增强图像动态范围的目的，因此，图像的细节信息也会相应受到损失。基于一个图像信号处理器利用不同曝光实现宽动态的方法，由于图像信号处理器芯片中要采取双通道图像处理模式，其芯片设计逻辑结构复杂，资源开销大，对于高清摄像机具有较高的带宽和工作频率，即功耗高，芯片可实现性较低。

发明内容

本发明的目的在于提供一种宽动态摄像机实现方法及装置，其采用多个图像信号处理器结构来实现摄像机的宽动态技术，由于图像信号处理器中图像处理单元占用了95%以上的资源，而单个图像信号处理器中图像处理单元是单通道的，因此，本发明采用多芯片结构实现宽动态的优点是：单个芯片逻辑结构更简单，可实现性更强；资源开销小，功耗更低；频率更地，带宽低，提高了一体机机芯处理的能力和速度；同时保留了单芯片使用时的低成本等优势，且通过多芯片的结构能获得很好的宽动态效果。

本发明的目的通过下述技术方法实现：

一种宽动态摄像机实现方法，包括以下步骤：

步骤A：获取N帧原始图像的步骤，N≥2；

步骤B：将N帧原始图像与N个图像信号处理器一一对应分别送至N个图像信号处理器的步骤；

步骤C：N帧原始图像分别在对应图像信号处理器中进行图像处理的步骤；

步骤D：将经过图像处理后的N帧图像进行宽动态合成获得更高动态范围图像的步骤；

步骤A获取的 N帧原始图像存在以下两种情形：

情形1：在N帧原始图像中，所有原始图像的曝光均相同；

情形2：在N帧原始图像中，至少存在一帧原始图像的曝光与其余帧原始图像的曝光不同；

步骤B的具体过程为：将N帧原始图像全部送至第一个图像信号处理器，其中一帧原始图像在第一个图像信号处理器中进行图像处理，将第一余下帧原始图像送至第二个图像信号处理器，第一余下帧原始图像中的一帧原始图像在第二个图像信号处理器中进行图像处理，将第二余下帧原始图像送至下一个图像信号处理器，依次类推，直到最后一帧原始图像送至最后一个图像信号处理器中进行处理；

步骤C中的图像处理需要经过曝光处理、白平衡处理、色彩插值和色彩分离步骤；

步骤D的具体过程存在以下2种情形：

情形1：将第N个图像信号处理器处理后的图像数据与第N-1个图像信号处理器处理后的图像数据通过宽动态合成的方法合成，然后将该合成后的图像与第N-2个图像信号处理器处理后的图像数据合成更高动态范围的图像，依次类推，直到与第一个图像信号处理器处理后的图像合成，将得到最终的宽动态范围图像；

情形2：将第1个图像信号处理器处理后的图像数据与第2个图像信号处理器处理后的图像数据通过宽动态合成的方法合成，然后将该合成后的图像与第3个图像信号处理器处理后的图像数据合成更高动态范围的图像，依次类推，直到与第N个图像信号处理器处理后的图像合成，将得到最终的宽动态范围图像。

 

依照上述方法，本发明利用将图像信号分为N帧原始图像，再利用与N帧原始图像一一对应的单通道图像信号处理器对原始图像进行处理，主要处理原始图像的曝光信息，将原始图像逐一处理，调节后在进行逐级依次两两式的合成处理，最终处理后的图像达到宽动态范围图像的目的。依照上述原理，可以利用图像信号处理器对单一的图像信息进行快速的处理，这样利用单个芯片逻辑结构更简单，可实现性更强；资源开销小，功耗更低；频率更地，带宽低，可以提高了一体机机芯处理的能力和速度；同时保留了单芯片使用时的低成本等优势，且通过多芯片的结构能获得很好的宽动态效果。

由于不易采用过度的处理器，为了节约成本，同时保证系统的简单逻辑原理，因此N的取值为2至8。 

 

一般的步骤A获取的 N帧原始图像存在以下两种情形：

情形1：在N帧原始图像中，所有原始图像的曝光均相同；

情形2：在N帧原始图像中，至少存在一帧原始图像的曝光与其余帧原始图像的曝光不同；

优选的，在N帧原始图像中， N帧原始图像的曝光均各不相同。这样每帧原始图像均会得到处理后然后进行合成处理，这样处理出来的图像具备宽动态效果，图像更加清晰，该技术条件为最佳实施参数。

优选的，两帧之间通过图像合成的方式得到更宽动态范围图像的方法为：两帧图像分别用FA和FB表示，合成后的宽动态图像为FW，则有，其中                                                

和

要求是归一的。

 

具体的：当N帧原始图像的曝光各不相同时，原始图像的获取是由图像传感器获取不同曝光时间的原始图像。

当N=2时，获取两帧曝光时间不同的原始图像，一帧为长帧曝光图像，一帧为短帧曝光图像；

在经过步骤C进行曝光处理的具体过程为：将长帧曝光图像和短帧曝光图像送至第一图像信号处理器，由第一图像信号处理器处理长帧曝光图像，将短帧曝光图像送至第二图像信号处理器，由第二图像信号处理器处理短帧曝光图像；

对于长帧曝光图像：

利用第一图像信号处理器取得长帧曝光图像的长帧亮度直方图HistA，

统计长帧亮度直方图HistA中最小10%的像素均值MinP，

然后判断MinP是否在设定范围内，该设定范围是可调的，如果在该范围内，则将得到正常的长帧曝光图像，如果不在范围内，则通过调低曝光时间或调高曝光时间来调整曝光时间，使MinP在该范围内即可；

对于短帧曝光图像：

利用第二图像信号处理器取得短帧曝光图像的短帧亮度直方图HistA，

统计短帧亮度直方图HistA中最大10%的像素均值MaxP，

然后判断MaxP是否在设定范围内，该设定范围是可调的，如果在该范围内，则将得到正常的长帧曝光图像，如果不在范围内，则通过调低曝光时间或调高曝光时间来调整曝光时间，使MaxP在该范围内即可；

第一图像信号处理器处理后的图像和第二图像信号处理器处理后的图像合成方法为：

将第二图像信号处理器处理后的图像数据B为YCbCr_a，YCbCr_a以YCbCr的格式通过输出接口送至第一图像信号处理器，并与第一图像信号处理器中的图像数据BYCbCr_b进行宽动态合成，

由第一图像信号处理器的合成系数kA与第二图像信号处理器的合成系数kB分别与其图像数据相乘，然后通过加法器相加，系数kA和kB要求是归一的，设合成后的宽动态图像为YCbCr_w，要合成的数据为YCbCr_a和YCbCr_b，则有：

；

其中，系数kA由以下公式计算得到，

；

这里，k1、k2和阈值YAT1和YAT2为可配置参数，YAT1和YAT2为亮度预值可配置参数，其中k1、k2是根据阈值YAT1和YAT2来计算的，计算公式为：

；

；

其中，

。

以上为N=2时的简单图像处理过程。

当N帧原始图像的曝光各不相同时，不同曝光时间的判断方法为：

当N为3时，

存在最长曝光时间原始图像和最短曝光时间原始图像以及中间曝光时间原始图像，中间曝光时间原始图像的时间为最长曝光时间原始图像的曝光时间和最短曝光时间原始图像的曝光时间的中间值；

当N大于3时，

设第一帧曝光时间为T1，T1为最长曝光时间，第n帧曝光时间Tn，Tn为最短曝光时间，那么第二到第n-1中任一帧的曝光时间Ti计算公式为：

。

所获得的装置，其特征在于：

包括图像采集单元，图像采集单元是通过单个图像传感器分时获取N帧不同曝光时间的原始图像数据；

包括N个图像信号处理器，

图像信号处理器中包括输入接口单元，输入接口单元将所述图像传感器获得的N帧原始图像数据分别送至所对应的N个图像信号处理器；

图像信号处理器中包括图像处理单元，图像处理单元对该图像信号处理器中的原始图像进行相关处理，获得更符合人眼视觉的图像数据；

图像信号处理器中包括图像合成单元，图像合成单元将本图像处理器中图像处理单元处理后的图像数据与下一级图像信号处理器处理后的图像数据，通过宽动态合成技术合成更宽动态范围的摄像机图像；

图像信号处理器中包括输出接口单元，将图像数据输出用于在另一个图像信号处理器合成宽动态图像，或者将宽动态合成后的图像输出用于显示。

图像信号处理器中包括CPU控制单元，CPU控制单元用于控制N个图像信号处理器之间的相互通信。

所述图像处理单元包括曝光处理子单元、白平衡处理子单元、色彩插值子单元和色彩分离子单元。

本发明具有如下优点：能够在场景光照对比度较大的情况下，为用户提供含有更多细节的图像，使图像中亮区域和暗区域同时能够看清晰细节，能够有效解决普通摄像机曝光过量和曝光过暗不能看清图像细节的问题，也为宽动态摄像机的实现提供了一种新的思路和方法，即采用多个图像信号处理器来实现。

附图说明

图1是本发明所述宽动态摄像机的实现方法一个实施例的流程图； 

图2是本发明所述宽动态摄像机的实现装置一个实施例中曝光控制流程图；

图3是本发明所述宽动态摄像机的实现装置一个实施例的原理结构图。

具体实施方式

下面结合实施例对本发明作进一步的详细说明，但本发明的实施方式不限于此。

实施例1：

一种宽动态摄像机实现方法，包括以下步骤：

步骤A：获取N帧原始图像的步骤，N≥2；

步骤B：将N帧原始图像与N个图像信号处理器一一对应分别送至N个图像信号处理器的步骤；

步骤C：N帧原始图像分别在对应图像信号处理器中进行图像处理的步骤；

步骤D：将经过图像处理后的N帧图像进行宽动态合成获得更高动态范围图像的步骤；

步骤A获取的 N帧原始图像存在以下两种情形：

情形1：在N帧原始图像中，所有原始图像的曝光均相同；

情形2：在N帧原始图像中，至少存在一帧原始图像的曝光与其余帧原始图像的曝光不同；

步骤B的具体过程为：将N帧原始图像全部送至第一个图像信号处理器，其中一帧原始图像在第一个图像信号处理器中进行图像处理，将第一余下帧原始图像送至第二个图像信号处理器，第一余下帧原始图像中的一帧原始图像在第二个图像信号处理器中进行图像处理，将第二余下帧原始图像送至下一个图像信号处理器，依次类推，直到最后一帧原始图像送至最后一个图像信号处理器中进行处理；

步骤C中的图像处理需要经过曝光处理、白平衡处理、色彩插值和色彩分离步骤；

步骤D的具体过程存在以下2种情形：

情形1：将第N个图像信号处理器处理后的图像数据与第N-1个图像信号处理器处理后的图像数据通过宽动态合成的方法合成，然后将该合成后的图像与第N-2个图像信号处理器处理后的图像数据合成更高动态范围的图像，依次类推，直到与第一个图像信号处理器处理后的图像合成，将得到最终的宽动态范围图像；

情形2：将第1个图像信号处理器处理后的图像数据与第2个图像信号处理器处理后的图像数据通过宽动态合成的方法合成，然后将该合成后的图像与第3个图像信号处理器处理后的图像数据合成更高动态范围的图像，依次类推，直到与第N个图像信号处理器处理后的图像合成，将得到最终的宽动态范围图像。

依照上述方法，本发明利用将图像信号分为N帧原始图像，再利用与N帧原始图像一一对应的单通道图像信号处理器对原始图像进行处理，主要处理原始图像的曝光信息，将原始图像逐一处理，调节后在进行逐级依次两两式的合成处理，最终处理后的图像达到宽动态范围图像的目的。依照上述原理，可以利用图像信号处理器对单一的图像信息进行快速的处理，这样利用单个芯片逻辑结构更简单，可实现性更强；资源开销小，功耗更低；频率更地，带宽低，可以提高了一体机机芯处理的能力和速度；同时保留了单芯片使用时的低成本等优势，且通过多芯片的结构能获得很好的宽动态效果。

由于不易采用过度的处理器，为了节约成本，同时保证系统的简单逻辑原理，因此N的取值为2至8。 

一般的步骤A获取的 N帧原始图像存在以下两种情形：

情形1：在N帧原始图像中，所有原始图像的曝光均相同；

情形2：在N帧原始图像中，至少存在一帧原始图像的曝光与其余帧原始图像的曝光不同；

优选的，在N帧原始图像中， N帧原始图像的曝光均各不相同。这样每帧原始图像均会得到处理后然后进行合成处理，这样处理出来的图像具备宽动态效果，图像更加清晰，该技术条件为最佳实施参数。

优选的，两帧之间通过图像合成的方式得到更宽动态范围图像的方法为：两帧图像分别用FA和FB表示，合成后的宽动态图像为FW，则有

，其中和要求是归一的。

实施例2

图1给出了本发明所述宽动态摄像机的实现方法的一个实施例的流程图。

如图1所示，该实施例的基本流程为：

具体的：当N帧原始图像的曝光各不相同时，原始图像的获取是由图像传感器获取不同曝光时间的原始图像。

当N=2时，获取两帧曝光时间不同的原始图像，一帧为长帧曝光图像，一帧为短帧曝光图像；

在经过步骤C进行曝光处理的具体过程为：将长帧曝光图像和短帧曝光图像送至第一图像信号处理器，由第一图像信号处理器处理长帧曝光图像，将短帧曝光图像送至第二图像信号处理器，由第二图像信号处理器处理短帧曝光图像；

对于长帧曝光图像：

利用第一图像信号处理器取得长帧曝光图像的长帧亮度直方图HistA，

统计长帧亮度直方图HistA中最小10%的像素均值MinP，

然后判断MinP是否在设定范围内，该设定范围是可调的，如果在该范围内，则将得到正常的长帧曝光图像，如果不在范围内，则通过调低曝光时间或调高曝光时间来调整曝光时间，使MinP在该范围内即可；

对于短帧曝光图像：

利用第二图像信号处理器取得短帧曝光图像的短帧亮度直方图HistA，

统计短帧亮度直方图HistA中最大10%的像素均值MaxP，

然后判断MaxP是否在设定范围内，该设定范围是可调的，如果在该范围内，则将得到正常的长帧曝光图像，如果不在范围内，则通过调低曝光时间或调高曝光时间来调整曝光时间，使MaxP在该范围内即可；

第一图像信号处理器处理后的图像和第二图像信号处理器处理后的图像合成方法为：

将第二图像信号处理器处理后的图像数据B为YCbCr_a，YCbCr_a以YCbCr的格式通过输出接口送至第一图像信号处理器，并与第一图像信号处理器中的图像数据BYCbCr_b进行宽动态合成，

由第一图像信号处理器的合成系数kA与第二图像信号处理器的合成系数kB分别与其图像数据相乘，然后通过加法器相加，系数kA和kB要求是归一的，设合成后的宽动态图像为YCbCr_w，要合成的数据为YCbCr_a和YCbCr_b，则有：

；

其中，系数kA由以下公式计算得到，

；

这里，k1、k2和阈值YAT1和YAT2为可配置参数，YAT1和YAT2为亮度预值可配置参数，其中k1、k2是根据阈值YAT1和YAT2来计算的，计算公式为：

；

；

其中，。

以图1和图2为例其中，获取两帧原始Bayer图像是通过CMOS图像传感器获取不同曝光条件下的原始Bayer图像数据，一帧为长帧曝光图像，一帧为短帧曝光图像；具体曝光时间由图像合成单元根据图像内容分析来控制。

CPU通过485串口通信控制，将长帧曝光图像和短帧曝光图像分别通过处理器A中的输入接口单元送至图像信号处理器A和图像信号处理器B中进行图像处理。

其中图像处理单元主要包括基本曝光控制模块，白平衡处理模块，色彩插值和色彩分离等模块。基本曝光控制模块根据当前图像的平均亮度来控制曝光；白平衡处理模块主要是通过RGB三分量的增益来调节白平衡；色彩插值采用线性插值方法还原Bayer数据为RGB；色彩分离是通过一个3×4的矩阵来实现的。

曝光控制模块如图2所示，对于长帧的曝光如图2（A）流程所示，首先统计图像信号处理A长帧的亮度直方图HistA，再根据HistA来统计该直方图中最小10%的像素均值MinP，然后判断MinP是否在设定范围内，该设定范围是可调的，如果在该范围内，则将得到正常的长帧曝光图像，如果不在范围内，则调整曝光时间，使MinP在该范围内即可；对于短帧的曝光如图如图2（B）流程所示，同样，在图像信号处理器B中统计直方图HistB，然后判断直方图HistB中最大10%的像素均值MaxP，再判断MaxP是否在设定范围内，该设定范围是可调的，如果在该范围内，则将得到正常的长帧曝光图像，如果不在范围内，则调整曝光时间，使MaxP在该范围内即可。

将图像信号处理器B处理后的图像数据以YCbCr的格式通过输出接口送至图像信号处理器A，并与A中的YCbCr进行宽动态合成，由Ａ的合成系数kA与Ｂ的合成系数kB分别与其图像数据相乘，然后通过加法器相加，系数kA和kB要求是归一的。设合成后的宽动态图像为YCbCr_w，要合成的数据为YCbCr_a和YCbCr_b，则有：

；

这样就计算出了合成后的图像YCbCr_w，然后通过图像信号处理器的输出接口将其输出，送至显示设备。

实施例3

图3是本发明所述宽动态摄像机的实现装置一个实施例的原理结构图，该宽动态实现装置由三个图像信号处理器来实现宽动态摄像机。该实施例的具体步骤如下：

获取三帧原始Bayer图像。通过CMOS图像传感器获取不同曝光条件下的原始Bayer图像数据，分别为三次曝光时间获取的原始图像，具体曝光时间由图像合成单元根据图像内容分析来控制。

ISP A接受图像传感器发来的原始数据，将一帧送给本ISP的图像处理单元，然后由CPU控制将其它两帧送至ISP B的输入接口，ISP B将其中一帧直接送至图像处理单元，另一帧原始数据发送至ISP C，然后三个图像信号处理器ISP在其图像处理单元中分别对其进行相关图像处理，处理方式与上述实施例2原理一致。

然后，根据上述实施例的方式将ISP A和ISP B中处理后的数据在ISP B的图像合成单元中进行宽动态合成，在将合成后的图像数据送至ISP C，然后再在ISP C中进行最终的宽动态合成，合成方式同实施例2原理一致，最后，通过ISP C的输出接口输出最终合成后的宽动态图像，由摄像机输出进行显示及后续处理。

当N帧原始图像的曝光各不相同时，不同曝光时间的判断方法为：

当N为3时，

存在最长曝光时间原始图像和最短曝光时间原始图像以及中间曝光时间原始图像，中间曝光时间原始图像的时间为最长曝光时间原始图像的曝光时间和最短曝光时间原始图像的曝光时间的中间值；

当N大于3时，

设第一帧曝光时间为T1，T1为最长曝光时间，第n帧曝光时间Tn，Tn为最短曝光时间，那么第二到第n-1中任一帧的曝光时间Ti计算公式为：

。

通过上述实施例，能够在场景光照对比度较大的情况下，为用户提供含有更多细节的图像，使图像中亮区域和暗区域同时能够看清晰细节，能够有效解决普通摄像机曝光过量和曝光过暗不能看清图像细节的问题，也为宽动态摄像机的实现提供了一种新的思路和方法，即采用多个图像信号处理器来实现。

实施例4

如图1和图3所示，所获得的装置， 

包括图像采集单元，图像采集单元是通过单个图像传感器分时获取N帧不同曝光时间的原始图像数据；

包括N个图像信号处理器，

图像信号处理器中包括输入接口单元，输入接口单元将所述图像传感器获得的N帧原始图像数据分别送至所对应的N个图像信号处理器；

图像信号处理器中包括图像处理单元，图像处理单元对该图像信号处理器中的原始图像进行相关处理，获得更符合人眼视觉的图像数据；

图像信号处理器中包括图像合成单元，图像合成单元将本图像处理器中图像处理单元处理后的图像数据与下一级图像信号处理器处理后的图像数据，通过宽动态合成技术合成更宽动态范围的摄像机图像；

图像信号处理器中包括输出接口单元，将图像数据输出用于在另一个图像信号处理器合成宽动态图像，或者将宽动态合成后的图像输出用于显示。

图像信号处理器中包括CPU控制单元，CPU控制单元用于控制N个图像信号处理器之间的相互通信。

所述图像处理单元包括曝光处理子单元、白平衡处理子单元、色彩插值子单元和色彩分离子单元。

所述图像采集单元包括图像传感器和镜头。

所述输入接口单元包括将多帧原始图像数据送至第一个图像信号处理器，该处理器将一帧曝光数据在本图像信号处理器中的图像处理单元进行相关处理，并将其它帧送至第二个图像信号处理器；然后第二个图像信号处理器将其中一帧原始数据在其内部图像处理单元进行处理，将剩余帧送至下一个图像信号处理器，依次类推，就将多帧数据分别送至对应的多个图像信号处理器的输入接口单元，并在图像处理单元中进行相关处理。

所述图像处理单元包括曝光处理子单元、白平衡处理子单元、色彩插值子单元和色彩分离子单元等。

所述图像合成单元包括，假设总共有N帧原始不同帧曝光图像，那么将需要N个图像信号处理器对其进行宽动态合成，具体是将第N个处理器中图像处理单元处理后的图像数据与第N-1个图像信号处理器中图像处理单元处理后的图像数据通过在第N-1个处理器的图像合成单元合成宽动态图像；然后将该合成后的宽动态图像通过输出接口单元送至第N-2个图像信号处理器，并在该处理器的图像合成单元中合成更高动态范围的图像，直到与第一个图像信号处理器处理后的图像合成，将得到最终的宽动态范围图像通过第一个图像信号处理器中的输出接口单元输出。

所述输出接口单元用于直接输出该图像信号处理器中图像处理后的数据，或者该图像处理器中宽动态合成的宽动态图像数据，这两种模式可通过串口来选择。

所述CPU控制单元用于控制图像信号处理器之间的相互通信以及内部相关控制。

所述多个图像信号处理器之间合成宽动态图像的顺序可以是从第N个开始到第一个，从第一个图像信号处理器输出接口单元输出宽动态图像，也可以反过来，送第N个图像信号处理器中输出宽动态图像。

上述实施例中获取的原始图像数据分别为2帧和3帧，但本发明并不局限于2帧或3帧，可以是多帧，原则上帧数越多，宽动态效果越好，但考虑到实际情况，实际帧数最好不大于8帧，其他技术人员可以进行修改或参考，但只要是采用多图像处理器芯片结构实现的宽动态摄像机都属于本技术方案的保护范围。

上述实施例中在图像信号处理器中进行图像合成的顺序，并不限制于此，最后的合成图像可以在任何一个图像信号处理器输出接口输出。

以上实施例仅用于说明本发明的技术方案，而非对其进行限制；对于本领域来的研究人员和技术开发人员来说，可以根据本发明的技术方案进行修改或替换；但这些修改或替换，都属于本发明所要求保护的技术方案的保护范围内。 

Claims (10)

1.一种宽动态摄像机实现方法，其特征在于，包括以下步骤：

步骤A：获取N帧原始图像的步骤，N≥2；

步骤B：将N帧原始图像与N个图像信号处理器一一对应分别送至N个图像信号处理器的步骤；

步骤C：N帧原始图像分别在对应图像信号处理器中进行图像处理的步骤；

步骤D：将经过图像处理后的N帧图像进行宽动态合成获得更高动态范围图像的步骤；

步骤A获取的 N帧原始图像存在以下两种情形：

情形1：在N帧原始图像中，所有原始图像的曝光均相同；

情形2：在N帧原始图像中，至少存在一帧原始图像的曝光与其余帧原始图像的曝光不同；

步骤B的具体过程为：将N帧原始图像全部送至第一个图像信号处理器，其中一帧原始图像在第一个图像信号处理器中进行图像处理，将第一余下帧原始图像送至第二个图像信号处理器，第一余下帧原始图像中的一帧原始图像在第二个图像信号处理器中进行图像处理，将第二余下帧原始图像送至下一个图像信号处理器，依次类推，直到最后一帧原始图像送至最后一个图像信号处理器中进行处理；

步骤C中的图像处理需要经过曝光处理、白平衡处理、色彩插值和色彩分离步骤；

步骤D的具体过程存在以下2种情形：

情形1：将第N个图像信号处理器处理后的图像数据与第N-1个图像信号处理器处理后的图像数据通过宽动态合成的方法合成，然后将该合成后的图像与第N-2个图像信号处理器处理后的图像数据合成更高动态范围的图像，依次类推，直到与第一个图像信号处理器处理后的图像合成，将得到最终的宽动态范围图像；

情形2：将第1个图像信号处理器处理后的图像数据与第2个图像信号处理器处理后的图像数据通过宽动态合成的方法合成，然后将该合成后的图像与第3个图像信号处理器处理后的图像数据合成更高动态范围的图像，依次类推，直到与第N个图像信号处理器处理后的图像合成，将得到最终的宽动态范围图像。

2.根据权利要求1所述的一种宽动态摄像机实现方法，其特征在于：N的取值为2至8。

3.根据权利要求1所述的一种宽动态摄像机实现方法，其特征在于：在N帧原始图像中， N帧原始图像的曝光均各不相同。

4.根据权利要求1所述的一种宽动态摄像机实现方法，其特征在于：两帧之间通过图像合成的方式得到更宽动态范围图像的方法为：两帧图像分别用FA和FB表示，合成后的宽动态图像为FW，则有                                                

，其中

和

要求是归一的。

5.根据权利要求1所述的一种宽动态摄像机实现方法，其特征在于：当N帧原始图像的曝光各不相同时，原始图像的获取是由图像传感器获取不同曝光时间的原始图像。

6.根据权利要求5所述的一种宽动态摄像机实现方法，其特征在于：

当N=2时，获取两帧曝光时间不同的原始图像，一帧为长帧曝光图像，一帧为短帧曝光图像；

在经过步骤C进行曝光处理的具体过程为：将长帧曝光图像和短帧曝光图像送至第一图像信号处理器，由第一图像信号处理器处理长帧曝光图像，将短帧曝光图像送至第二图像信号处理器，由第二图像信号处理器处理短帧曝光图像；

对于长帧曝光图像：

利用第一图像信号处理器取得长帧曝光图像的长帧亮度直方图HistA，

统计长帧亮度直方图HistA中最小10%的像素均值MinP，

然后判断MinP是否在设定范围内，该设定范围是可调的，如果在该范围内，则将得到正常的长帧曝光图像，如果不在范围内，则通过调低曝光时间或调高曝光时间来调整曝光时间，使MinP在该范围内即可；

对于短帧曝光图像：

利用第二图像信号处理器取得短帧曝光图像的短帧亮度直方图HistA，

统计短帧亮度直方图HistA中最大10%的像素均值MaxP，

然后判断MaxP是否在设定范围内，该设定范围是可调的，如果在该范围内，则将得到正常的长帧曝光图像，如果不在范围内，则通过调低曝光时间或调高曝光时间来调整曝光时间，使MaxP在该范围内即可。

7.根据权利要求6所述的一种宽动态摄像机实现方法，其特征在于：

第一图像信号处理器处理后的图像和第二图像信号处理器处理后的图像合成方法为：

将第二图像信号处理器处理后的图像数据B为YCbCr_a，YCbCr_a以YCbCr的格式通过输出接口送至第一图像信号处理器，并与第一图像信号处理器中的图像数据BYCbCr_b进行宽动态合成，

由第一图像信号处理器的合成系数kA与第二图像信号处理器的合成系数kB分别与其图像数据相乘，然后通过加法器相加，系数kA和kB要求是归一的，设合成后的宽动态图像为YCbCr_w，要合成的数据为YCbCr_a和YCbCr_b，则有：

；

其中，系数kA由以下公式计算得到，

；

这里，k1、k2和阈值YAT1和YAT2为可配置参数，YAT1和YAT2为亮度预值可配置参数，其中k1、k2是根据阈值YAT1和YAT2来计算的，计算公式为：

；

；

其中，。

8.根据权利要求5所述的一种宽动态摄像机实现方法，其特征在于：

当N帧原始图像的曝光各不相同时，不同曝光时间的判断方法为：

当N为3时，

存在最长曝光时间原始图像和最短曝光时间原始图像以及中间曝光时间原始图像，中间曝光时间原始图像的时间为最长曝光时间原始图像的曝光时间和最短曝光时间原始图像的曝光时间的中间值；

当N大于3时，

设第一帧曝光时间为T1，T1为最长曝光时间，第n帧曝光时间Tn，Tn为最短曝光时间，那么第二到第n-1中任一帧的曝光时间Ti计算公式为：

。

9.根据权利要求1-8所获得的装置，其特征在于：

包括图像采集单元，图像采集单元是通过单个图像传感器分时获取N帧不同曝光时间的原始图像数据；

包括N个图像信号处理器，

图像信号处理器中包括输入接口单元，输入接口单元将所述图像传感器获得的N帧原始图像数据分别送至所对应的N个图像信号处理器；

图像信号处理器中包括图像处理单元，图像处理单元对该图像信号处理器中的原始图像进行相关处理，获得更符合人眼视觉的图像数据；

图像信号处理器中包括图像合成单元，图像合成单元将本图像处理器中图像处理单元处理后的图像数据与下一级图像信号处理器处理后的图像数据，通过宽动态合成技术合成更宽动态范围的摄像机图像；

图像信号处理器中包括输出接口单元，将图像数据输出用于在另一个图像信号处理器合成宽动态图像，或者将宽动态合成后的图像输出用于显示；

图像信号处理器中包括CPU控制单元，CPU控制单元用于控制N个图像信号处理器之间的相互通信。

10.根据权利要求9所述的装置，其特征在于：所述图像处理单元包括曝光处理子单元、白平衡处理子单元、色彩插值子单元和色彩分离子单元。

Images