CN111885312B - Hdr图像的成像方法、系统、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种HDR图像的成像方法、系统、电子设备及存储介质，成像方法包括以下步骤：通过N合一图像传感器采集高动态场景下的一帧raw格式的原始数据；对原始数据进行N合一binning处理后生成M帧不同亮度的raw格式的亮度数据；对M帧亮度数据进行ISP和曝光融合处理，以生成一帧HDR图像的yuv格式的图像数据；其中，N为大于等于2的整数的平方数，M为大于等于2的整数。本发明提供了一种能够提升高亮逆光、暗光或弱光下图像的成像质量的基于普通的多合一sensor的HDR图像的成像方式，可以得到更高精度的数据，最终生成高质量的HDR图像。

Description

HDR图像的成像方法、系统、电子设备及存储介质

技术领域

本发明涉及图像处理领域，特别涉及一种HDR(High Dynamic Range，高动态范围)图像的成像方法、系统、电子设备及存储介质。

背景技术

如今，人们对于图像拍摄设备的成像质量要求越来越高。相比普通的图像，HDR图像可以提供更多的动态范围和图像细节，能够满足人们对于图像成像质量的要求。

现有的图像拍摄设备如手机的厂商使用多合一图像传感器如普通的4in1 sensor(四合一图像传感器)来提升暗光或弱光下图像的信噪比，并提升暗区域图像细节和亮度，进而提升图像质量，但无法保证高亮区域细节，尤其在暗光高动态场景下无法解决高亮区域过曝或低亮区域偏暗的问题。其中，普通的4in1 sensor如图1所示，其由8个绿色(Gr0～3，Gb0～3)、4个蓝色(B0～3)和4个红色(R0～3)像素组成。公布号为CN111294522A的专利文献公开了一种基于4in1 sensor提升HDR图像质量的实现方式，其先将4个cell(像素点)的10bit(比特)raw(原始)数据求和得到一个12bit数据，再通过tone mapping(色调映射)方式将动态范围调整至10bit，做到HDR的效果。因为在作从raw域tone mapping时做了非线性变换，这会导致RGB(红绿蓝)域CMC(color matrix correction，颜色矩阵矫正)颜色校正不准，影响HDR图像的成像质量。

为了解决普通的4in1 sensor在HDR场景下存在的问题，sensor厂已研发出了如图2所示的4in1 HDR sensor，其4个cell左上角pixel(像素)(Low)为欠曝数据、右下角pixel(Long)为长曝数据，其余两个pixels(Mid)为中曝数据。其能够解决在暗光高动态场景下高亮区域过曝或低亮区域偏暗问题。目前该sensor还没有得到广泛应用，最先可能会在安防车载领域得到应用，不过目前已有第三方解决方案厂商开始提供4in1 HDR sensor融合算法转接板。无论是4in1 HDR sensor，还是对应的转接板，都因为不同曝光数据之间存在运动现象导致曝光融合过程产生鬼影现象。另外，由于4in1 HDR sensor的pixel size(尺寸)较小，导致在低亮场景下噪声偏大，无法有效平衡噪声和细节。

发明内容

本发明要解决的技术问题是为了克服现有技术中在暗光高动态场景下高亮区域过曝或低亮区域偏暗，存在颜色校正不准，采用不同曝光数据会产生鬼影现象且噪声偏大，最终导致HDR图像的成像质量较低的缺陷，提供一种能够提升高亮逆光、暗光或弱光下图像的成像质量的基于普通的多合一sensor的HDR图像的成像方法、系统、电子设备及存储介质。

本发明是通过下述技术方案来解决上述技术问题：

本发明第一方面提供了一种HDR图像的成像方法，包括以下步骤：

通过N合一图像传感器采集高动态场景下的一帧raw格式的原始数据；

对所述原始数据进行N合一binning(一种图像读出模式)处理后生成M帧不同亮度的raw格式的亮度数据；

对M帧所述亮度数据进行ISP(图像信号处理)和曝光融合处理，以生成一帧HDR图像的yuv(一种颜色编码方法)格式的图像数据；

其中，N为大于等于2的整数的平方数，M为大于等于2的整数。

本方案中，生成的一帧HDR图像的yuv格式的图像数据进行编码处理后即可输出yuv格式或者rgb(一种色彩模式)格式的HDR图像。

本方案中不限制ISP和曝光融合的处理顺序，具体如何进行ISP处理和曝光融合处理均可按照现有的实现方式执行。

本方案提供了一种能够提升高亮逆光、暗光或弱光下图像的成像质量的基于普通的多合一sensor的HDR图像的成像方法，其中多合一sensor可以为4in1 sensor，也可以为9in1 sensor或16in1 sensor等其他多合一sensor。其将一帧raw格式的原始数据通过不同binning方式保留不同亮度下图像细节，再通过ISP及曝光融合处理保留不同曝光强度下的图像细节和精度，可以得到更高精度的数据，最终生成高质量的HDR图像。

本方案通过不同binning方式提升了高亮逆光、暗光或弱光下图像质量，保留高亮区域细节的同时提升了暗区域细节、亮度及提升图像信噪比，同时颜色校正准确；此外，因为不同曝光数据均出自于同一帧raw格式的原始数据，所以不存在运动现象，曝光融合过程不会产生鬼影现象。

较佳地，所述对M帧所述亮度数据进行ISP和曝光融合处理，以生成一帧HDR图像的yuv格式的图像数据的步骤包括：

对M帧所述亮度数据进行ISP处理以得到M帧yuv格式的第一中间数据；

使用HDR曝光融合算法对M帧所述第一中间数据进行处理，以生成一帧HDR图像的yuv格式的所述图像数据。

较佳地，所述对M帧所述亮度数据进行ISP和曝光融合处理，以生成一帧HDR图像的yuv格式的图像数据的步骤包括：

使用HDR曝光融合算法对M帧所述亮度数据进行处理以得到一帧raw格式的第二中间数据；

对一帧所述第二中间数据进行ISP处理，以生成一帧HDR图像的yuv格式的所述图像数据。

较佳地，所述N合一图像传感器包括按拜耳阵列排布的多个像素块，每个所述像素块包括N个同色的像素点，N个所述像素点呈

阵列排布；

所述对所述原始数据进行N合一binning处理后生成M帧不同亮度的raw格式的亮度数据的步骤包括：

将所述原始数据中的每个所述像素块中的N个所述像素点对应的数据进行累加求和后合并为一个与所述像素块一一对应的数据，以得到raw格式的第三中间数据；

将所述第三中间数据中与每个所述像素块一一对应的数据分别除以1～N中的M个不同大小的系数，以得到M帧不同亮度的raw格式的所述亮度数据。

较佳地，N为4，M为3，M个不同大小的系数分别为1、2和4；所述原始数据的位宽为10；

在将所述第三中间数据中与每个所述像素块一一对应的数据分别除以1～N中的M个不同大小的系数，以得到M帧不同亮度的raw格式的所述亮度数据时，若与所述像素块一一对应的数据除以所述系数后的结果大于1023，则将所述像素块对应的所述亮度数据更新为1023。

本方案中N合一sensor为4in1 sensor，原始数据的位宽为10，在累加求和后合并为一个与所述像素块一一对应的数据时可能会超过10位，达到12位，对于该种情况，在将第三中间数据中与每个像素块一一对应的数据分别除以1～N中的M个不同大小的系数时得到的结果可能会超过10位，即大于1023，本方案针对该种情况会将像素块对应的亮度数据设置为1023，以使得binning处理后得到的数据不失真。

较佳地，所述通过N合一图像传感器采集高动态场景下的一帧raw格式的原始数据的步骤中通过调整AE(自动曝光)参数使得所述原始数据保留高亮区域细节且暗区域非全黑。

本方案中，对于普通的N合一sensor在高动态场景下，通过调整AE参数，使得该sensor抓取的raw格式的原始数据在高亮处不过曝，保留高亮区域细节，同时暗区域非全黑，这样的raw格式数据在后续生成HDR图像的yuv格式的图像数据时得到的数据的精度更高，最终能够提升输出的HDR图像的质量。

本发明第二方面提供了一种HDR图像的成像系统，包括：

图像采集模块，用于通过N合一图像传感器采集高动态场景下的一帧raw格式的原始数据；

图像读取模块，用于对所述原始数据进行N合一binning处理后生成M帧不同亮度的raw格式的亮度数据；

图像生成模块，用于对M帧所述亮度数据进行ISP和曝光融合处理，以生成一帧HDR图像的yuv格式的图像数据；

其中，N为大于等于2的整数的平方数，M为大于等于2的整数。

较佳地，所述图像生成模块包括：

第一图像信号处理单元，用于对M帧所述亮度数据进行ISP处理以得到M帧yuv格式的第一中间数据；

第一曝光融合单元，用于使用HDR曝光融合算法对M帧所述第一中间数据进行处理，以生成一帧HDR图像的yuv格式的所述图像数据。

较佳地，所述图像生成模块包括：

第二曝光融合单元，用于使用HDR曝光融合算法对M帧所述亮度数据进行处理以得到一帧raw格式的第二中间数据；

第二图像信号处理单元，用于对一帧所述第二中间数据进行ISP处理，以生成一帧HDR图像的yuv格式的所述图像数据。

较佳地，所述N合一图像传感器包括按拜耳阵列排布的多个像素块，每个所述像素块包括N个同色的像素点，N个所述像素点呈

阵列排布；

所述图像读取模块包括：

累和合并单元，用于将所述原始数据中的每个所述像素块中的N个所述像素点对应的数据进行累加求和后合并为一个与所述像素块一一对应的数据，以得到raw格式的第三中间数据；

亮度处理单元，用于将所述第三中间数据中与每个所述像素块一一对应的数据分别除以1～N中的M个不同大小的系数，以得到M帧不同亮度的raw格式的所述亮度数据。

较佳地，N为4，M为3，M个不同大小的系数分别为1、2和4；所述原始数据的位宽为10；

所述累和合并单元在将所述第三中间数据中与每个所述像素块一一对应的数据分别除以1～N中的M个不同大小的系数，以得到M帧不同亮度的raw格式的所述亮度数据时，若与所述像素块一一对应的数据大于1023，则将所述像素块一一对应的数据更新为1023。

较佳地，所述图像采集模块中通过调整AE参数使得所述原始数据保留高亮区域细节且暗区域非全黑。

本发明第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的HDR图像的成像方法。

本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的HDR图像的成像方法的步骤。

本发明的积极进步效果在于：与现有技术相比，本发明提供的HDR图像的成像方法、系统、电子设备及存储介质，通过不同binning方式提升了高亮逆光、暗光或弱光下图像质量，能够在保留HDR图像的高亮区域细节的同时，提升暗区域细节、亮度及提升图像信噪比，同时颜色校正准确；在曝光融合过程中不产生鬼影现象。本发明提供了一种能够提升高亮逆光、暗光或弱光下图像的成像质量的基于普通的多合一sensor的HDR图像的成像方式，可以得到更高精度的数据，最终生成高质量的HDR图像。

附图说明

图1为现有的普通的4in1 sensor的四通道像素示意图。

图2为现有的4in1 HDR sensor的四通道像素示意图。

图3为本发明实施例1的HDR图像的成像方法的流程图。

图4为图3中步骤103的流程图。

图5为图3中步骤102的流程图。

图6为图3中步骤102中数据的变化过程示意图。

图7为本发明实施例1中涉及的数据处理流程示意图。

图8为本发明实施例2中步骤103的流程图。

图9为本发明实施例2中涉及的数据处理流程示意图。

图10为本发明实施例3的HDR图像的成像系统的模块示意图。

图11为本发明实施例5的电子设备的结构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

如图3所示，本实施例提供了一种HDR图像的成像方法，具体包括以下步骤：

步骤101、通过N合一图像传感器采集高动态场景下的一帧raw格式的原始数据，原始数据的位宽为n；采集过程中通过调整AE参数使得原始数据保留高亮区域细节且暗区域非全黑。

步骤102、对原始数据进行N合一binning处理后生成M帧不同亮度的raw格式的亮度数据，亮度数据的位宽为n。

步骤103、对M帧亮度数据进行ISP和曝光融合处理，以生成一帧HDR图像的yuv格式的图像数据，图像数据的位宽为m。

其中，N为大于等于2的整数的平方数，如4、9或16等，M为大于等于2的整数。n的取值与sensor有关，可以是8bit、10bit、12bit或14bit等。m的取值范围取决于具体的应用需求，可以等于n，也可以小于n，例如n＝10时，m＝10或8。

本实施例中，N合一图像传感器包括按拜耳阵列排布的多个像素块，每个像素块包括N个同色的像素点，N个像素点呈

阵列排布。

如图4所示，本实施例中，步骤103具体包括：

步骤1031、对M帧亮度数据进行ISP处理以得到M帧yuv格式的第一中间数据，第一中间数据的位宽为m；

步骤1032、使用HDR曝光融合算法对M帧第一中间数据进行处理，以生成一帧HDR图像的yuv格式的图像数据。其中HDR曝光融合算法为现有的算法，比如基于光流的方法，基于块匹配的方法等。

如图5所示，本实施例中，步骤102具体包括：

步骤1021、将原始数据中的每个像素块中的N个像素点对应的数据进行累加求和后合并为一个与像素块一一对应的数据，以得到raw格式的第三中间数据。其中，第三中间数据的位宽可能会大于n，当N为4时，第三中间数据的位宽最大会达到n+2，当N为9或者16时，第三中间数据的位宽可能会达到n+4。

步骤1022、将第三中间数据中与每个像素块一一对应的数据分别除以1～N中的M个不同大小的系数，以得到M帧不同亮度的raw格式的亮度数据。本步骤中，与像素块一一对应的数据除以系数后的结果如果大于1023，则将该像素块对应的亮度数据更新为1023。

本实施例提供的成像方法基于N合一图像传感器实现，该N合一图像传感器可以为4in1 sensor，也可以为9in1 sensor或16in1 sensor，本实施例中采用4in1 sensor实现。也就是说，本实施例中N为4，n＝10，m＝8。

本实施例中M取3，M个不同大小的系数分别为1、2和4。步骤101抓取的4cell 10bit原始数据经四合一binning处理后生成三帧10bit的亮度数据，分别为4cell累和数据(亮图)、4cell累和并除2得到的数据(中亮图)、4cell求平均得到数据(即累和并除4)(暗图)。步骤102中数据的变化过程参考图6所示，其中不同亮度图计算公式如下所示(以R channel(通道)为例，其他channel同理)。

亮图：R＝R0+R1+R2+R3；

中亮图：R＝(R0+R1+R2+R3)/2；

暗图：R＝(R0+R1+R2+R3)/4；

针对binning处理的结果，若R大于1023，则将R设置为1023，其他channel相同方式处理。

本实施例中，将步骤102产生的三帧10bit位宽的亮度数据分别经过步骤1031中10bit ISP pipeline(链路)处理后得到三帧8bit位宽的yuv格式的第一中间数据，这三帧8bit位宽的yuv格式的第一中间数据分别保留了不同亮度信息下图像细节。针对三帧不同binning强度的图像，去噪处理时需要配置不同的去噪参数，Lens(镜头)、AWB(Automaticwhite balance，自动白平衡)、CMC等非去噪处理时可以采用相同的参数控制。三帧8bit位宽的yuv格式的第一中间数据经过步骤1032的HDR曝光融合算法处理后得到一帧高动态的8bit位宽的yuv格式的图像数据，该图像数据保留高亮区域细节同时可以提升暗区域亮度和细节，同时图像信噪比较高。最后对一帧8bit位宽的yuv格式的图像数据进行编码处理后即可输出得到最后yuv格式或rgb格式的HDR图像。

本实施例提供了一种基于普通的多合一sensor在低精度pipeline上能够提升高亮逆光、暗光或弱光下图像的成像质量的HDR图像的成像方法，涉及的数据处理流程如图7所示，AE控制后4in1 sensor采集得到1frame(帧)10bit位宽的raw格式的原始数据，经4in1binning处理后得到3frame的10bit位宽的raw格式的亮度数据，然后经ISP pipeline处理后得到3frame的8bit位宽的yuv格式的第一中间数据，再经过Expfusion(曝光融合)后生成1frame的8bit位宽的yuv格式的图像数据，最后进行编码处理后即可Output(输出)得到最后的HDR图像。

本实施例提供了一种基于普通的多合一sensor在低精度pipeline上能够高亮逆光、提升暗光或弱光下图像的成像质量的HDR图像的成像方法。其将一帧raw格式的原始数据通过不同binning方式保留不同亮度下图像细节，再通过ISP及曝光融合处理可以保留不同曝光强度下的图像细节和精度，可以得到更高精度的数据，最终生成高质量的HDR图像。

本实施例通过不同binning方式，在低精度pipeline上提升了高亮逆光、暗光或弱光下图像质量，保留高亮区域细节的同时提升了暗区域细节、亮度及提升图像信噪比，同时颜色校正准确；此外，因为不同曝光数据均出自于同一帧raw格式的原始数据，所以不存在运动现象，曝光融合过程不会产生鬼影现象。

实施例2

本实施例与实施例1基本相同，不同之处在于步骤103的实现方式。如图8所示，本实施例中，步骤103具体包括：

步骤1031’、使用HDR曝光融合算法对M帧亮度数据进行处理以得到一帧raw格式的第二中间数据，第二中间数据的位宽为n；

步骤1032’、对一帧第二中间数据进行ISP处理，以生成一帧HDR图像的yuv格式的图像数据。

本实施例提供了一种基于普通的多合一sensor在低精度pipeline上能够提升高亮逆光、暗光或弱光下图像的成像质量的HDR图像的成像方法，涉及的数据处理流程如图9所示，AE控制后4in1 sensor采集得到1frame 10bit位宽的raw格式的原始数据，经4in1binning处理后得到3frame的10bit位宽的raw格式的亮度数据，然后经过Expfusion后生成1frame的10bit位宽的raw格式的第二中间数据，再经ISP pipeline处理后得到1frame的8bit位宽的yuv格式的图像数据，最后进行编码处理后即可Output得到最后的HDR图像。

本实施例提供了一种基于普通的多合一sensor在低精度pipeline上能够提升高亮逆光、暗光或弱光下图像的成像质量的HDR图像的成像方法。其将一帧raw格式的原始数据通过不同binning方式保留不同亮度下图像细节，再通过ISP及曝光融合处理可以保留不同曝光强度下的图像细节和精度，可以得到更高精度的数据，最终生成高质量的HDR图像。

本实施例通过不同binning方式，在低精度pipeline上提升了高亮逆光、暗光或弱光下图像质量，保留高亮区域细节的同时提升了暗区域细节、亮度及提升图像信噪比，同时颜色校正准确；此外，因为不同曝光数据均出自于同一帧raw格式的原始数据，所以不存在运动现象，曝光融合过程不会产生鬼影现象。

实施例3

如图10所示，本实施例提供了一种HDR图像的成像系统，包括图像采集模块1、图像读取模块2和图像生成模块3。

图像采集模块1用于通过N合一图像传感器采集高动态场景下的一帧raw格式的原始数据，原始数据的位宽为n；采集过程中通过调整AE参数使得原始数据保留高亮区域细节且暗区域非全黑。

图像读取模块2用于对原始数据进行N合一binning处理后生成M帧不同亮度的raw格式的亮度数据，亮度数据的位宽为n。

图像生成模块3用于对M帧亮度数据进行ISP和曝光融合处理，以生成一帧HDR图像的yuv格式的图像数据，图像数据的位宽为m。

其中，N为大于等于2的整数的平方数，如4、9或16等，M为大于等于2的整数。n的取值与sensor有关，可以是8bit、10bit、12bit或14bit等。m的取值范围取决于具体的应用需求，可以等于n，也可以小于n，例如n＝10时，m＝10或8。

本实施例中，N合一图像传感器包括按拜耳阵列排布的多个像素块，每个像素块包括N个同色的像素点，N个像素点呈

阵列排布。

其中，图像生成模块3包括第一图像信号处理单元31和第一曝光融合单元32。第一图像信号处理单元31用于对M帧亮度数据进行ISP处理以得到M帧yuv格式的第一中间数据，第一中间数据的位宽为m。第一曝光融合单元32用于使用HDR曝光融合算法对M帧第一中间数据进行处理，以生成一帧HDR图像的yuv格式的图像数据。

其中，图像读取模块2包括累和合并单元21和亮度处理单元22。累和合并单元21用于将原始数据中的每个像素块中的N个像素点对应的数据进行累加求和后合并为一个与像素块一一对应的数据，以得到raw格式的第三中间数据。其中，第三中间数据的位宽可能会大于n，当N为4时，第三中间数据的位宽最大会达到n+2，当N为9或者16时，第三中间数据的位宽可能会达到n+4。亮度处理单元22用于将第三中间数据中与每个像素块一一对应的数据分别除以1～N中的M个不同大小的系数，以得到M帧不同亮度的raw格式的亮度数据。亮度处理单元22在将第三中间数据中与每个像素块一一对应的数据分别除以1～N中的M个不同大小的系数时，若与像素块一一对应的数据除以系数后的结果大于1023，则将该像素块对应的亮度数据更新为1023。

本实施例提供的成像系统基于N合一图像传感器实现，该N合一图像传感器可以为4in1 sensor，也可以为9in1 sensor或16in1 sensor，本实施例中采用4in1 sensor实现。也就是说，本实施例中N为4，n＝10，m＝8。本实施例中M取3，M个不同大小的系数分别为1、2和4。

本实施例提供了一种基于普通的多合一sensor在低精度pipeline上能够提升高亮逆光、暗光或弱光下图像的成像质量的HDR图像的成像系统。其将一帧raw格式的原始数据通过不同binning方式保留不同亮度下图像细节，再通过ISP及曝光融合处理可以保留不同曝光强度下的图像细节和精度，可以得到更高精度的数据，最终生成高质量的HDR图像。

本实施例通过不同binning方式，在低精度pipeline上提升了高亮逆光、暗光或弱光下图像质量，保留高亮区域细节的同时提升了暗区域细节、亮度及提升图像信噪比，同时颜色校正准确；此外，因为不同曝光数据均出自于同一帧raw格式的原始数据，所以不存在运动现象，曝光融合过程不会产生鬼影现象。

实施例4

本实施例与实施例3基本相同，不同之处在于图像生成模块3的实现方式。本实施例中，图像生成模块3具体包括第二曝光融合单元和第二图像信号处理单元。第二曝光融合单元用于使用HDR曝光融合算法对M帧亮度数据进行处理以得到一帧raw格式的第二中间数据，第二中间数据的位宽为n；第二图像信号处理单元用于对一帧第二中间数据进行ISP处理，以生成一帧HDR图像的yuv格式的图像数据。

本实施例提供了一种基于普通的多合一sensor在低精度pipeline上能够提升高亮逆光、暗光或弱光下图像的成像质量的HDR图像的成像系统。其将一帧raw格式的原始数据通过不同binning方式保留不同亮度下图像细节，再通过ISP及曝光融合处理可以保留不同曝光强度下的图像细节和精度，可以得到更高精度的数据，最终生成高质量的HDR图像。

本实施例通过不同binning方式，在低精度pipeline上提升了高亮逆光、暗光或弱光下图像质量，保留高亮区域细节的同时提升了暗区域细节、亮度及提升图像信噪比，同时颜色校正准确；此外，因为不同曝光数据均出自于同一帧raw格式的原始数据，所以不存在运动现象，曝光融合过程不会产生鬼影现象。

实施例5

图11为本发明实施例6提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现实施例1-2中任一项的HDR图像的成像方法。图11显示的电子设备60仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图11所示，电子设备60可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备60的组件可以包括但不限于：上述至少一个处理器61、上述至少一个存储器62、连接不同系统组件(包括存储器62和处理器61)的总线63。

总线63包括数据总线、地址总线和控制总线。

存储器62可以包括易失性存储器，例如随机存取存储器(RAM)621和/或高速缓存存储器622，还可以进一步包括只读存储器(ROM)623。

存储器62还可以包括具有一组(至少一个)程序模块624的程序/实用工具625，这样的程序模块624包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器61通过运行存储在存储器62中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1-2中任一项的HDR图像的成像方法。

电子设备60也可以与一个或多个外部设备64(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口65进行。并且，模型生成的设备60还可以通过网络适配器66与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器66通过总线63与模型生成的设备60的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备60使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例6

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1-2中任一项的HDR图像的成像方法的步骤。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1-2中任一项的HDR图像的成像方法的步骤。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (12)

1.一种HDR图像的成像方法，其特征在于，包括以下步骤：

通过N合一图像传感器采集高动态场景下的一帧raw格式的原始数据；

对所述原始数据进行N合一binning处理后生成M帧不同亮度的raw格式的亮度数据；

对M帧所述亮度数据进行ISP和曝光融合处理，以生成一帧HDR图像的yuv格式的图像数据；

其中，N为大于等于2的整数的平方数，M为大于等于2的整数；

针对不同binning强度的图像，去噪处理时配置不同的去噪参数，非去噪处理时采用相同的参数控制；

所述N合一图像传感器包括按拜耳阵列排布的多个像素块，每个所述像素块包括N个同色的像素点，N个所述像素点呈

阵列排布；

所述对所述原始数据进行N合一binning处理后生成M帧不同亮度的raw格式的亮度数据的步骤包括：

将所述原始数据中的每个所述像素块中的N个所述像素点对应的数据进行累加求和后合并为一个与所述像素块一一对应的数据，以得到raw格式的第三中间数据；

将所述第三中间数据中与每个所述像素块一一对应的数据分别除以1～N中的M个不同大小的系数，以得到M帧不同亮度的raw格式的所述亮度数据。

2.如权利要求1所述的HDR图像的成像方法，其特征在于，所述对M帧所述亮度数据进行ISP和曝光融合处理，以生成一帧HDR图像的yuv格式的图像数据的步骤包括：

对M帧所述亮度数据进行ISP处理以得到M帧yuv格式的第一中间数据；

使用HDR曝光融合算法对M帧所述第一中间数据进行处理，以生成一帧HDR图像的yuv格式的所述图像数据。

3.如权利要求1所述的HDR图像的成像方法，其特征在于，所述对M帧所述亮度数据进行ISP和曝光融合处理，以生成一帧HDR图像的yuv格式的图像数据的步骤包括：

使用HDR曝光融合算法对M帧所述亮度数据进行处理以得到一帧raw格式的第二中间数据；

对一帧所述第二中间数据进行ISP处理，以生成一帧HDR图像的yuv格式的所述图像数据。

4.如权利要求1所述的HDR图像的成像方法，其特征在于，N为4，M为3，M个不同大小的系数分别为1、2和4；所述原始数据的位宽为10；

在将所述第三中间数据中与每个所述像素块一一对应的数据分别除以1～N中的M个不同大小的系数，以得到M帧不同亮度的raw格式的所述亮度数据时，若与所述像素块一一对应的数据除以所述系数后的结果大于1023，则将所述像素块对应的所述亮度数据更新为1023。

5.如权利要求1所述的HDR图像的成像方法，其特征在于，所述通过N合一图像传感器采集高动态场景下的一帧raw格式的原始数据的步骤中通过调整AE参数使得所述原始数据保留高亮区域细节且暗区域非全黑。

6.一种HDR图像的成像系统，其特征在于，包括：

图像采集模块，用于通过N合一图像传感器采集高动态场景下的一帧raw格式的原始数据；

图像读取模块，用于对所述原始数据进行N合一binning处理后生成M帧不同亮度的raw格式的亮度数据；

图像生成模块，用于对M帧所述亮度数据进行ISP和曝光融合处理，以生成一帧HDR图像的yuv格式的图像数据；

其中，N为大于等于2的整数的平方数，M为大于等于2的整数；

针对不同binning强度的图像，去噪处理时配置不同的去噪参数，非去噪处理时采用相同的参数控制；

所述N合一图像传感器包括按拜耳阵列排布的多个像素块，每个所述像素块包括N个同色的像素点，N个所述像素点呈

阵列排布；

所述图像读取模块包括：

累和合并单元，用于将所述原始数据中的每个所述像素块中的N个所述像素点对应的数据进行累加求和后合并为一个与所述像素块一一对应的数据，以得到raw格式的第三中间数据；

亮度处理单元，用于将所述第三中间数据中与每个所述像素块一一对应的数据分别除以1～N中的M个不同大小的系数，以得到M帧不同亮度的raw格式的所述亮度数据。

7.如权利要求6所述的HDR图像的成像系统，其特征在于，所述图像生成模块包括：

第一图像信号处理单元，用于对M帧所述亮度数据进行ISP处理以得到M帧yuv格式的第一中间数据；

第一曝光融合单元，用于使用HDR曝光融合算法对M帧所述第一中间数据进行处理，以生成一帧HDR图像的yuv格式的所述图像数据。

8.如权利要求6所述的HDR图像的成像系统，其特征在于，所述图像生成模块包括：

第二曝光融合单元，用于使用HDR曝光融合算法对M帧所述亮度数据进行处理以得到一帧raw格式的第二中间数据；

第二图像信号处理单元，用于对一帧所述第二中间数据进行ISP处理，以生成一帧HDR图像的yuv格式的所述图像数据。

9.如权利要求6所述的HDR图像的成像系统，其特征在于，N为4，M为3，M个不同大小的系数分别为1、2和4；所述原始数据的位宽为10；

所述累和合并单元在将所述第三中间数据中与每个所述像素块一一对应的数据分别除以1～N中的M个不同大小的系数，以得到M帧不同亮度的raw格式的所述亮度数据时，若与所述像素块一一对应的数据除以所述系数后的结果大于1023，则将所述像素块对应的所述亮度数据更新为1023。

10.如权利要求6所述的HDR图像的成像系统，其特征在于，所述图像采集模块中通过调整AE参数使得所述原始数据保留高亮区域细节且暗区域非全黑。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的HDR图像的成像方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的HDR图像的成像方法的步骤。

Images