CN110611750B

CN110611750B - 一种夜景高动态范围图像生成方法、装置和电子设备

Info

Publication number: CN110611750B
Application number: CN201911055568.2A
Authority: CN
Inventors: 王涛; 陈雪琴
Original assignee: Beijing Megvii Technology Co Ltd
Current assignee: Beijing Megvii Technology Co Ltd
Priority date: 2019-10-31
Filing date: 2019-10-31
Publication date: 2022-03-22
Anticipated expiration: 2039-10-31
Also published as: WO2021082580A1; CN110611750A

Abstract

本发明提供了一种夜景高动态范围图像生成方法、装置和电子设备，所述方法包括：获取多帧正常曝光图像和一帧欠曝图像；对所述多帧正常曝光图像进行去噪，得到正常曝光结果图像；对所述欠曝图像进行去噪，得到欠曝结果图像；将所述正常曝光结果图像和所述欠曝结果图像进行融合，得到HDR图像。这样，仅通过一帧欠曝图像和多帧正常曝光图像生成夜景HDR图像，一方面减少了需求的合成图像的帧数，从而减少了图像的采集时间，另一方面，欠曝图像仅需要通过简单的去噪，不需要多帧去噪，从而节省了大量的去噪时间；这样，可以仅通过复杂度较低的多帧去噪就可以实现夜景高动态范围图像生成，且整个生成过程更加简单、快速提高了用户的体验效果。

Description

一种夜景高动态范围图像生成方法、装置和电子设备

技术领域

本发明涉及图像融合技术领域，具体而言，涉及一种夜景高动态范围图像生成方法、装置和电子设备。

背景技术

现有的拍摄设备，主要的发展趋势是简单化、集成化，也即是将拍摄功能集成在其他如手机、pad等手持设备上，但是这种简单、集成也带来了硬件性能较差，图像处理速度较慢的缺点。HDR图像(High-Dynamic Range，简称HDR)，根据不同的曝光时间的图像，并利用每个曝光时间相对应最佳细节的图像来合成的，相比普通的图像，可以提供更多的动态范围和图像细节，能够更好的反映出真实环境中的视觉效果。这种HDR图像合成方法，可以在不增加额外硬件的基础上，大幅度提高拍摄图像的质量，对提升用户的拍摄体验起到了很大的帮助。但是这种方案在夜景拍摄时，由于夜景环境下，相同场景亮暗差异更大，并且不同曝光图像噪声差异严重，因此整体拍摄效果不是很好。

为了达到更好的拍摄效果，一般的处理方式是采用去噪效果更良好的如深度网络去噪等算法对图像进行去噪，或者增加进行合成的图像帧数。但是，深度网络去噪等去噪效果良好的算法，对硬件的要求过高，目前很难应用到手机等设备上，而增加图像帧数，去噪算法运行的时间和图像采集时间就会变得很长，非常影响用户体验。

因此，迫切需要一种合成快速且夜间HDR图像融合效果好的方法及装置。

发明内容

本发明解决的问题是如何从样本数据中快速确定困难样本。

为解决上述问题，本发明首先提供一种夜景高动态范围图像生成方法，其包括：

获取多帧正常曝光图像和一帧欠曝图像；

对所述多帧正常曝光图像进行去噪，得到正常曝光结果图像；

对所述欠曝图像进行去噪，得到欠曝结果图像；

将所述正常曝光结果图像和所述欠曝结果图像进行融合，得到HDR图像。

这样，仅通过一帧欠曝图像和多帧正常曝光图像生成夜景HDR图像，一方面减少了需求的合成图像的帧数，从而减少了图像的采集时间，另一方面，欠曝图像仅需要通过简单的去噪，不需要多帧去噪，从而节省了大量的去噪时间；这样，可以仅通过复杂度较低的多帧去噪就可以实现夜景高动态范围图像生成，且整个生成过程更加简单、快速提高了用户的体验效果。

可选的，所述对所述多帧正常曝光图像进行去噪，得到正常曝光结果图像中，通过多帧去噪算法对所述多帧正常曝光图像进行去噪。该算法的复杂度较低，可以流畅运行在硬件较差的电子设备中，增加了适用范围；且通过多帧去噪算法，可以达到良好的去噪效果。

可选的，所述对所述欠曝图像进行去噪，得到欠曝结果图像中，通过单帧去噪算法对所述欠曝图像进行去噪。从而可以快速实现欠曝图像的去噪，提高HDR图像生成的速度。

可选的，所述将所述正常曝光结果图像和所述欠曝结果图像进行融合，得到HDR图像，包括：

确定所述正常曝光结果图像中各个像素点的过曝掩码；

根据所述欠曝图像调整所述正常曝光结果图像的亮度；

根据所述过曝掩码将所述欠曝图像和调整后的所述正常曝光结果图像融合为结果图像；

将所述结果图像的亮度增加，得到所述HDR图像。

这样，降低正常曝光结果图像的亮度后与欠曝融合，可以避免欠曝图像提高亮度出现的过曝情况，达到更好的融合效果，且通过提高结果图像的亮度，达到更好的显示效果。可选的，所述根据所述欠曝图像调整所述正常曝光结果图像的亮度，包括：

获取所述欠曝图像和所述正常曝光图像的感光度和曝光时间；

根据所述感光度和所述曝光时间确定所述正常曝光图像对所述欠曝图像的亮度倍数；

根据所述亮度倍数调整所述正常曝光结果图像的亮度。

这样，通过容易获取的感光度和曝光时间确定正常曝光图像的整体亮度与欠曝图像的亮度倍数，简单快速，可以迅速对正常曝光结果图像的亮度进行调整，从而加快整个夜景HDR图像的生成速度。

可选的，所述亮度倍数的确定公式为：

式中，L为所述正常曝光图像对所述欠曝图像的亮度倍数，i₀为所述正常曝光图像的感光度，t₀为所述正常曝光图像的曝光时间，i_-为所述欠曝图像的感光度，t_-为所述欠曝图像的曝光时间。

可选的，所述将所述结果图像的亮度增加，得到所述HDR图像，包括：

根据所述正常曝光图像对所述欠曝图像的亮度倍数确定所述结果图像中每个像素点的亮度提高比例；

根据所述亮度提高比例确定所述HDR图像中每个像素点的亮度值，得到所述HDR图像。

通过确定亮度提高比例后进行提亮，一方面可以避免亮度提高后产生过曝情况，另一方面，也可以使得亮度值较低的像素点，可以保持与正常曝光结果图像中的亮度值较为接近的状态；从而避免因亮度提高造成的HDR图像的图像质量下降。

可选的，所述亮度提高比例的确定公式为：

式中，s为所述结果图像中像素点的亮度提高比例，p为该像素点的亮度，L为所述正常曝光图像对所述欠曝图像的亮度倍数。

可选的，所述过曝掩码的确定公式为：

式中，E为正常曝光结果图像中像素点的过曝掩码，p为该像素点的亮度，p_t为亮度阈值。

这样，通过设置亮度阈值，可以判断像素点是否过曝，使得对过曝区域且的检测结果更加过渡自然平滑，不存在截断分成，更便于融合。

可选的，所述根据所述过曝掩码将所述欠曝图像和调整后的所述正常曝光结果图像融合为结果图像，包括：

根据所述过曝掩码确定所述欠曝图像和调整后的所述正常曝光结果图像中各个像素点的融合权重；

根据所述融合权重，将所述欠曝图像和调整后的所述正常曝光结果图像融合为结果图像。

这样，通过分配权重的方式进行图像融合，且通过过曝掩码进行权重分配，使得融合图像时欠曝图像在过曝区域的权重更高，正常曝光结果图像在其余区域的权重更高，从而减少噪声强度大对融合图像的干扰，使得融合图像的图像质量更高。

可选的，所述欠曝图像中各个像素点的融合权重为所述正常曝光结果图像中对应像素点的过曝掩码。

可选的，调整后的所述正常曝光结果图像中各个像素点的融合权重的确定公式为：

w₀＝1-E

式中，w₀为调整后的所述正常曝光结果图像中像素点的融合权重，E为该像素点的过曝掩码。

其次提供一种夜景高动态范围图像生成装置，其包括：

获取单元，用于获取多帧正常曝光图像和一帧欠曝图像；

去噪单元，对所述多帧正常曝光图像进行去噪，得到正常曝光结果图像；

还用于对所述欠曝图像进行去噪，得到欠曝结果图像；

融合单元，用于将所述正常曝光结果图像和所述欠曝结果图像进行融合，得到HDR图像。

从次再提供一种电子设备，包括处理器以及存储器，所述存储器存储有控制程序，所述控制程序被处理器执行时实现上述所述的夜景高动态范围图像生成方法。

最后提供一种计算机可读存储介质，存储有指令，所述指令被处理器加载并执行时实现上述所述的夜景高动态范围图像生成方法。

附图说明

图1将根据本发明实施例的夜景高动态范围图像生成方法的流程图；

图2A为本发明实施例同一夜景场景下的正常曝光图像；

图2B为本发明实施例同一夜景场景下的欠曝图像；

图3为根据本发明实施例的夜景高动态范围图像生成方法步骤S40的流程图；

图4为根据本发明实施例的夜景高动态范围图像生成方法步骤S42的流程图；

图5为根据本发明实施例的夜景高动态范围图像生成方法步骤S44的流程图；

图6为根据本发明实施例的夜景高动态范围图像生成方法步骤S43的流程图；

图7为根据本发明实施例的夜景高动态范围图像生成装置的结构框图；

图8为根据本发明实施例的一种电子设备的结构框图；

图9为根据本发明实施例的另一种电子设备的框图。

附图标记说明：

1-获取单元，2-去噪单元，3-融合单元，12-电子设备，14-外部设备，16-处理单元，18-总线，20-网络适配器，22-输入/输出(I/O)接口，24-显示器，28-系统存储器，30-随机存取存储器，32-高速缓存存储器，34-存储系统，40-实用工具，42-程序模块。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

显然，所说明的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解，在本发明中，需要对其中的技术问题进行详细阐述。

HDR图像(High-Dynamic Range，简称HDR)，相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的LDR(Low-Dynamic Range，低动态范围图像)，并利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像。它能够更好的反映出真实环境中的视觉效果。

根据曝光时间的不同，LDR图像的名称也不同。若曝光时间不足，则得到的LDR图像为欠曝图像；若曝光时间处于正常范围，则得到的LDR图像为正常曝光图像；若曝光时间过长，则得到的LDR图像为过曝图像。为了便于撰写及理解，本申请中，会将正常曝光图像记为ev0，欠曝图像记为ev-，过曝图像记为ev+。

在此，需要说明的是，对于单反相机，其通过调整镜头的光圈大小来控制进光量，从而通过曝光时间来获取欠曝图像、正常曝光图像和过曝图像。但是，其他拍摄设备如手机等，其摄像头并不能调整光圈大小，所以是通过调整ISO(感光度)值和/或曝光时间来获取欠曝图像、正常曝光图像和过曝图像。

现有的拍摄设备，主要的发展趋势是简单化、集成化，也即是将拍摄功能集成在其他如手机、pad等手持设备上，但是这种简单、集成也带来了硬件性能较差，图像处理速度较慢的缺点。HDR图像合成方法，可以在不增加额外硬件的基础上，大幅度提高拍摄图像的质量，对提升用户的拍摄体验起到了很大的帮助。但是这种方案在夜景拍摄时，由于夜景环境下，相同场景亮暗差异更大，并且不同曝光图像噪声差异严重，因此整体拍摄效果不是很好。

为了达到更好的拍摄效果，一般的处理方式是采用去噪效果更良好的如深度网络去噪等算法对图像进行去噪，或者增加进行合成的图像帧数。

也即是说，可以采用深度网络去噪算法或者类似算法来对图像进行去噪处理，这样去噪效果良好，从而使得合成的HDR图像具有更高的图像质量，但是深度网络去噪算法及其类似算法的算法复杂度很高，手机等设备的硬件性能较差，很难运行该种去噪方法；因此主要是采用多帧去噪方法来进行去噪，这种方法要达到比较好的去噪效果，就需要增加进行合成的图像帧数来提高合成的HDR图像的图像质量。

以某个夜景场景为例，假设该场景需要使用4张ev0和4张ev-进行多帧去噪方案，因为ev0和ev-图像亮度差异较大，噪声形态也会差异较大，不能得到良好的去噪效果；那么为了得到良好的去噪效果，就需要增加帧数，也即是需要得到8张ev0和8张ev-图像，分别进行多帧去噪，得到去噪后的ev0，ev-图像，再进行hdr算法处理，得到最终的夜景HDR图像。这就需要进行16张图像采集，2次的多帧去噪和一次的hdr算法处理操作，需要的时间会相当长，对用户体验很不友好。

在此需要说明的是，由于部分拍摄设备如手机等，其摄像头并不能调整光圈大小，所以是通过调整ISO(感光度)值和/或曝光时间来获取欠曝图像、正常曝光图像和过曝图像；对于这类设备来说，要得到过曝图像，需要增加ISO值或者曝光时间，但是对于ISO值，如果过高的话，会大幅度增加图像的噪声，导致去噪效果不理想；对于增加曝光时间，由于这类设备一般为手持，一旦曝光时间过长，会由于手臂的晃动导致图像模糊，因此这类设备的HDR图像合成，一般采集ev0和ev-图像进行图像合成，而不采集ev+图像。

另外，对于通过ev0和ev-图像进行图像合成，在多帧去噪时，ev0和ev-图像之间的差异较大，因此需要对ev0和ev-图像单独进行多帧去噪，也即是上述所述的两次的多帧去噪，这就会使得去噪的时间增加了一倍，增加了整个HDR图像融合的时间，对用户的体验很不友好。

本公开实施例提供了一种夜景高动态范围图像生成方法，该方法可以由夜景高动态范围图像生成装置来执行，该夜景高动态范围图像生成装置可以集成在手机、笔记本、服务器、摄像机、照相机、PAD等电子设备中。如图1所示，其为根据本发明实施例的夜景高动态范围图像生成方法的流程图；其中，所述夜景高动态范围图像生成方法，包括：

步骤S10，获取多帧正常曝光图像和一帧欠曝图像；

其中，多帧正常曝光图像和所述欠曝图像均是对同一场景同一角度的拍摄图像，其获取方式可以是通过电子设备拍摄，也可以是通过电子设备或其他设备传输，也可以为其他获取方式。

其中，所述正常曝光图像的帧数，可以根据实际情形确定，以能够通过多帧去噪达到较好的去噪效果为准，例如前述所述的夜景场景的示例，4帧正常曝光图像的多帧去噪，不能达到良好的去噪效果，则可以获取8帧正常曝光图像，以达到通过多帧去噪后的良好去噪效果。如果其余帧数的正常曝光图像也可以获得良好的去噪效果，则也可以选择该其余帧数。

步骤S20，对所述多帧正常曝光图像进行去噪，得到正常曝光结果图像；

对多帧正常曝光图像，可以按照多帧去噪方法进行去噪的方法进行去噪，通过多帧叠加，消除正常曝光图像的噪声，得到一张叠加后的噪声很小的正常曝光结果图像。

步骤S30，对所述欠曝图像进行去噪，得到欠曝结果图像；

如图2A、图2B所示，其分别为同一个夜景场景下的正常曝光图像和欠曝图像；从两个图中我们可以看出，以正常曝光图像为基准，我们可以发现，正常曝光图像区域中可以分为正常亮度区域、过暗区域和过亮区域；其中，过暗区域由于亮度很暗，进光量不足，产生的噪声较大；过亮区域，由于图中像素点本身的亮度值最高仅能为255，一旦亮度超过该数值，也仅能记作该数值255，也即是说，过亮区域中，会产生一个或多个亮度值均为255的区域，称之为过曝区域，该区域中，亮度值无法给出有价值信息。

将正常曝光图像和欠曝图像进行比对，我们会发现，由于欠曝图像的亮度低于正常曝光图像，正常曝光图像中的过暗区域在欠曝图像中的对应位置亮度更暗，噪声更大；正常曝光图像中的正常曝光区域在欠曝图像中的对应位置也存在亮度较暗，噪声很大的区域；只有正常曝光图像中的过亮区域在欠曝图像中的对应位置由于整体亮度变弱，反映出了更多有价值信息，特别是过曝区域，其在欠曝图像中的对应位置具有对应的清晰图像，且由于亮度较高，噪声反而很小。

这样，在将正常曝光图像和过曝图像进行融合时，由于正常曝光图像的正常曝光区域和过暗区域在欠曝图像中对应的位置噪声更大，因此在融合时，会降低该部分位置欠曝图像的权重，反而是过亮区域尤其是过曝区域，由于欠曝图像该区域的噪声强度更低，会增加该部分位置欠曝图像的权重，甚至在过曝区域分配全部的权重。也即是说，欠曝图像中亮度越高的地方，其噪声强度越低，且对图像融合时的贡献越大。

这样，在对欠曝图像进行去噪时，仅需要考虑亮度高的部分的去噪效果即可；这部分区域由于亮度高，噪声强度本身很小，则仅需要简单的去噪方法即可达到欠曝图像的去噪要求。这样，该去噪步骤，相对于正常曝光图像的多帧去噪，不仅可以采用算法复杂度更小的去噪方法，还可以节约大量的去噪时间。

步骤S40，将所述正常曝光结果图像和所述欠曝结果图像进行融合，得到HDR图像。

通过对去噪后的正常曝光结果图像和所述欠曝结果图像进行HDR图像融合，从而得到融合后的HDR图像。

在进行图像融合时，欠曝图像中过曝区域(也即是与正常曝光结果图像中的过曝区域对应的区域，对于欠曝图像的这部分区域称为过曝区域，仅仅是一种近似称呼，并不是说欠曝图像的该区域过曝了)对融合图像的贡献最大，权重最大，在其余部分的权重很小；而欠曝图像中过曝区域的亮度很高，噪声很小，仅仅是通过简单的去噪方法也能很容易过滤掉该区域的噪声，因此对该区域来说，获取8帧欠曝图像，通过多帧去噪算法去噪得到的结果和仅获取一帧欠曝图像，通过简单算法去噪得到的结果是几乎相同的，并不会导致最后融合图像的图像质量下降(最多仅仅下降一点点，甚至不会下降)。

这样，通过对欠曝图像在夜景HDR图像的贡献研究，仅通过一帧欠曝图像和多帧正常曝光图像生成夜景HDR图像，一方面减少了需求的合成图像的帧数，从而减少了图像的采集时间，另一方面，欠曝图像仅需要通过简单的去噪，不需要多帧去噪，从而节省了大量的去噪时间；这样，可以仅通过复杂度较低的多帧去噪就可以实现夜景高动态范围图像生成，且整个生成过程更加简单、快速提高了用户的体验效果。

可选的，所述步骤S20，对所述多帧正常曝光图像进行去噪，得到正常曝光结果图像中，通过多帧去噪算法对所述多帧正常曝光图像进行去噪。

该多帧去噪算法可以为多帧叠加去噪算法、也可以为单参考块的多图去噪算法、可以为基于叠加平均和BM3D的混合多帧图像去噪算法或其他形式的多帧去噪算法。

这样，通过多帧去噪算法，该算法的复杂度较低，可以流畅运行在硬件较差的电子设备中，增加了适用范围；且通过多帧去噪算法，可以达到良好的去噪效果。

可选的，所述步骤S30，对所述欠曝图像进行去噪，得到欠曝结果图像中，通过单帧去噪算法对所述欠曝图像进行去噪。

该单帧去噪算法，可以为中值滤波算法，或者其他与其具有相似的复杂度的去噪算法，从而可以快速实现欠曝图像的去噪，提高HDR图像生成的速度。

可选的，如图3所示，所述步骤S40，将所述正常曝光结果图像和所述欠曝结果图像进行融合，得到HDR图像，包括：

步骤S41，确定所述正常曝光结果图像中各个像素点的过曝掩码；

其中，正常曝光结果图像中包含多个像素点(也可以说正常曝光结果图像由像素点组成，比如一个4000像素×3000像素的图像，其由4000×3000个像素点组成)，本步骤即是分别计算各个像素点的过曝掩码。

所述过曝掩码是用以反映对应的像素点是否位于过曝区域，也即是说，0值和0-1之间的其他数值的过曝掩码代表对应的像素点没有过曝，不位于过曝区域；1值的过曝掩码代表对应的像素点过曝，位于过曝区域。

可选的，所述过曝掩码的确定公式为：

通过该获取公式，可以看出，若亮度小于等于亮度阈值时，过曝掩码为0；若亮度大于亮度阈值，过曝掩码为大于0小于等于1的正值，若亮度为最高亮度255，过曝掩码为1。

这样，通过设置亮度阈值，可以判断像素点是否过曝，使得对过曝区域且(过曝掩码为1值的像素点构成的区域)的检测结果更加过渡自然平滑，不存在截断分成，更便于融合。

其中，所述过曝掩码体现像素点的过曝程度；上述过曝掩码的计算公式，仅为一种具体的计算方式，只要可以体现像素点的过曝程度，也可以采取其他公式或方式来计算或确定像素点的过曝掩码。

步骤S42，根据所述欠曝图像调整所述正常曝光结果图像的亮度；

欠曝图像和正常曝光结果图像的整体亮度是不一致的，如果直接进行融合，会导致由于亮度不一致造成的图像融合误差；将正常曝光结果图像调整为与欠曝图像亮度近似的图像，可以减少图像融合过程中因亮度不一致造成的图像融合误差，达到更好的融合结果。

另外，如果将欠曝图像的亮度调亮后与正常曝光结果图像融合，则欠曝图像中较亮的部分区域会由于亮度增加而出现过曝情况，损失有价值信息，导致最终图像融合后过曝部分的融合出现错误；因此通过降低正常曝光结果图像的亮度后与欠曝融合，可以避免欠曝图像提高亮度出现的过曝情况，达到更好的融合效果。

步骤S43，根据所述过曝掩码将所述欠曝图像和调整后的所述正常曝光结果图像融合为结果图像；

该融合过程中，欠曝图像中与所述正常曝光结果图像的过曝区域对应的像素点的融合权重增加，其余部分的融合权重减小，从而可以提高最终的结果图像的图像质量。

步骤S44，将所述结果图像的亮度增加，得到所述HDR图像。

结果图像的亮度与欠曝图像较为接近，亮度较低，通过增加亮度，可以提高结果图像的图像质量和显示效果，提高用户的体验。

这样，通过步骤S41-44，降低正常曝光结果图像的亮度后与欠曝融合，可以避免欠曝图像提高亮度出现的过曝情况，达到更好的融合效果，且通过提高结果图像的亮度，达到更好的显示效果。

可选的，如图4所示，所述步骤S42，根据所述欠曝图像调整所述正常曝光结果图像的亮度，包括：

步骤S421，获取所述欠曝图像和所述正常曝光图像的感光度和曝光时间；

拍摄设备如手机等，是通过调整ISO(感光度)值和/或曝光时间来获取欠曝图像、正常曝光图像和过曝图像；其是在实际拍摄行为之前预先设定的，因此感光度和曝光时间可以通过直接从设备上去读获得，也可以通过查询设备的惯有设置(一般设备的说明书等会注明默认设置)来获取，也可以通过其他方式获取。

其中，多帧所述正常曝光图像的感光度和曝光时间一般是相同的，若不相同，可以通过求平均值或中位值等来确定多帧所述正常曝光图像的感光度和曝光时间。

步骤S422，根据所述感光度和所述曝光时间确定所述正常曝光图像对所述欠曝图像的亮度倍数；

该亮度倍数，反映的是所述正常曝光图像的整体亮度与欠曝图像的比例关系。

可选的，所述亮度倍数的确定公式为：

这样，通过容易获取的感光度和曝光时间确定正常曝光图像的整体亮度与欠曝图像的亮度倍数，相对于通过统计所有像素点的亮度后再确定比例，简单快速，且结果更接近真实比例。

步骤S423，根据所述亮度倍数调整所述正常曝光结果图像的亮度。

其中，该调整方式可以为将所述正常曝光结果图像的每个像素点的亮度值分别处以该亮度倍数来实现亮度调整，这样简单、方便、快捷。

也可以采取其他基于亮度倍数的调整方式，具体及调制过程或实际情况为准。

可选的，如图5所示，所述步骤S44，将所述结果图像的亮度增加，得到所述HDR图像，包括：

步骤S441，根据所述正常曝光图像对所述欠曝图像的亮度倍数确定所述结果图像中每个像素点的亮度提高比例；

所述结果图像的亮度与所述正常曝光结果图像降低亮度后相近，若仍然通过亮度倍数提高亮度，则过曝区域会仍然出现过曝情况，从而导致亮度增加后结果图像中出现过曝，降低了图像质量。

可选的，所述亮度提高比例的确定公式为：

该比例通过像素点的亮度与255的差值来确定，像素点的亮度越接近255，该比例约接近于1；像素点的亮度越远离255，该比例约接近于亮度倍数。

步骤S442，根据所述亮度提高比例确定所述HDR图像中每个像素点的亮度值，得到所述HDR图像。

该亮度值的确定方式，即为结果图像中每个像素点的亮度值与对应的亮度提高比例相乘，从而得到HDR图像中每个像素点的亮度值。

可选的，如图6所示，所述步骤S43，根据所述过曝掩码将所述欠曝图像和调整后的所述正常曝光结果图像融合为结果图像，包括：

步骤S431，根据所述过曝掩码确定所述欠曝图像和调整后的所述正常曝光结果图像中各个像素点的融合权重；

过曝掩码中，若正常曝光结果图像中像素点的亮度小于等于亮度阈值时，过曝掩码为0；若亮度大于亮度阈值，过曝掩码为大于0小于等于1的正值，若亮度为最高亮度255，过曝掩码为1。

将过曝掩码作为欠曝图像的融合权重，可以使得在正常曝光结果图像中亮度值大于阈值的各个像素点，亮度越高，欠曝图像的权重越高(实际上欠曝图像的噪声强度也越小)，过曝区域欠曝图像具有完全的权重，从而可以达到更好的融合效果，且过曝掩码可以使得过曝区域不会出现明显边沿。

w₀＝1-E

这样，在整个图像融合过程中，针对每个像素点的融合，其需要融合的正常曝光结果图像和欠曝图像中，噪声强度越小，干扰越小，其分配的权重越大，从而使得融合图像与实际越接近，提高用户的体验感。

步骤S432，根据所述融合权重，将所述欠曝图像和调整后的所述正常曝光结果图像融合为结果图像。

本步骤中，融合方式即为结果图像中每个像素点的亮度值，均为所述欠曝图像和调整后的所述正常曝光结果图像中对应像素点的亮度值与融合权重的乘积之和。其中，需要说明的是，所述欠曝图像和调整后的所述正常曝光结果图像中对应像素点的融合权重之和为1。

本公开实施例提供了一种夜景高动态范围图像生成装置，用于执行本发明上述内容所述的夜景高动态范围图像生成方法，以下对所述夜景高动态范围图像生成装置进行详细描述。

如图7所示，一种夜景高动态范围图像生成装置，包括：

获取单元1，用于获取多帧正常曝光图像和一帧欠曝图像；

去噪单元2，对所述多帧正常曝光图像进行去噪，得到正常曝光结果图像；

还用于对所述欠曝图像进行去噪，得到欠曝结果图像；

融合单元3，用于将所述正常曝光结果图像和所述欠曝结果图像进行融合，得到HDR图像。

可选的，通过多帧去噪算法对所述多帧正常曝光图像进行去噪。

可选的，通过单帧去噪算法对所述欠曝图像进行去噪。

可选的，所述融合单元3还用于：

确定所述正常曝光结果图像中各个像素点的过曝掩码；根据所述欠曝图像调整所述正常曝光结果图像的亮度；根据所述过曝掩码将所述欠曝图像和调整后的所述正常曝光结果图像融合为结果图像；将所述结果图像的亮度增加，得到所述HDR图像。

可选的，所述融合单元3还用于：

获取所述欠曝图像和所述正常曝光图像的感光度和曝光时间；根据所述感光度和所述曝光时间确定所述正常曝光图像对所述欠曝图像的亮度倍数；根据所述亮度倍数调整所述正常曝光结果图像的亮度。

可选的，所述亮度倍数的确定公式为：

式中，L为所述正常曝光图像对所述欠曝图像的亮度倍数，i₀为所述正常曝光图像的感光度，t₀为所述正常曝光图像的曝光时间，i_{_}为所述欠曝图像的感光度，t_{_}为所述欠曝图像的曝光时间。

可选的，所述融合单元3还用于：

根据所述正常曝光图像对所述欠曝图像的亮度倍数确定所述结果图像中每个像素点的亮度提高比例；根据所述亮度提高比例确定所述HDR图像中每个像素点的亮度值，得到所述HDR图像。

可选的，所述亮度提高比例的确定公式为：

可选的，所述过曝掩码的确定公式为：

可选的，所述融合单元3还用于：

根据所述过曝掩码确定所述欠曝图像和调整后的所述正常曝光结果图像中各个像素点的融合权重；根据所述融合权重，将所述欠曝图像和调整后的所述正常曝光结果图像融合为结果图像。

w₀＝1-E

需要说明的是，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上描述了夜景高动态范围图像生成装置的内部功能和结构，如图8所示，实际中，该夜景高动态范围图像生成装置可实现为电子设备，包括：处理器以及存储器，所述存储器存储有控制程序，所述控制程序被处理器执行时实现上述所述的夜景高动态范围图像生成方法。

图9是根据本发明实施例示出的另一种电子设备的框图。图9显示的电子设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图9所示，电子设备12可以通用电子设备的形式实现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性的计算机可读存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图中未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它电子设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。要说明的是，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。

本发明的电子设备可以是服务器，也可以有限算力的终端设备，本发明的轻量级网络结构尤其适用于后者。所述终端设备的基体实现包括但不限于：智能移动通信终端、无人机、机器人、便携式图像处理设备、安防设备等等。本公开实施例提供了一种计算机可读存储介质，存储有指令，所述指令被处理器加载并执行时实现上述所述的夜景高动态范围图像生成方法。

本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims

1.一种夜景高动态范围图像生成方法，其特征在于，包括：

获取多帧正常曝光图像和一帧欠曝图像；

对所述欠曝图像进行去噪，得到欠曝结果图像；

将所述正常曝光结果图像和所述欠曝结果图像进行融合，得到HDR图像；

所述将所述正常曝光结果图像和所述欠曝结果图像进行融合，得到HDR图像，包括：

确定所述正常曝光结果图像中各个像素点的过曝掩码，所述过曝掩码体现像素点的过曝程度；

根据所述欠曝图像调整所述正常曝光结果图像的亮度；

根据所述过曝掩码将所述欠曝结果图像和调整后的所述正常曝光结果图像融合为结果图像；

将所述结果图像的亮度增加，得到所述HDR图像；

所述将所述结果图像的亮度增加，得到所述HDR图像，包括：

2.根据权利要求1所述的夜景高动态范围图像生成方法，其特征在于，所述对所述多帧正常曝光图像进行去噪，得到正常曝光结果图像中，通过多帧去噪算法对所述多帧正常曝光图像进行去噪。

3.根据权利要求1所述的夜景高动态范围图像生成方法，其特征在于，所述对所述欠曝图像进行去噪，得到欠曝结果图像中，通过单帧去噪算法对所述欠曝图像进行去噪。

4.根据权利要求1-3中任一所述的夜景高动态范围图像生成方法，其特征在于，所述根据所述欠曝图像调整所述正常曝光结果图像的亮度，包括：

根据所述亮度倍数调整所述正常曝光结果图像的亮度。

5.根据权利要求4所述的夜景高动态范围图像生成方法，其特征在于，所述亮度倍数的确定公式为：

6.根据权利要求4所述的夜景高动态范围图像生成方法，其特征在于，所述亮度提高比例的确定公式为：

7.根据权利要求1-3中任一所述的夜景高动态范围图像生成方法，其特征在于，所述过曝掩码的确定公式为：

8.根据权利要求7所述的夜景高动态范围图像生成方法，其特征在于，所述根据所述过曝掩码将所述欠曝结果图像和调整后的所述正常曝光结果图像融合为结果图像，包括：

根据所述过曝掩码确定所述欠曝结果图像和调整后的所述正常曝光结果图像中各个像素点的融合权重；

根据所述融合权重，将所述欠曝结果图像和调整后的所述正常曝光结果图像融合为结果图像。

9.根据权利要求8所述的夜景高动态范围图像生成方法，其特征在于，所述欠曝结果图像中各个像素点的融合权重为所述正常曝光结果图像中对应像素点的过曝掩码。

10.根据权利要求8所述的夜景高动态范围图像生成方法，其特征在于，调整后的所述正常曝光结果图像中各个像素点的融合权重的确定公式为：

w₀＝1-E

11.一种夜景高动态范围图像生成装置，其特征在于，包括：

获取单元(1)，用于获取多帧正常曝光图像和一帧欠曝图像；

去噪单元(2)，对所述多帧正常曝光图像进行去噪，得到正常曝光结果图像；

还用于对所述欠曝图像进行去噪，得到欠曝结果图像；

融合单元(3)，用于将所述正常曝光结果图像和所述欠曝结果图像进行融合，得到HDR图像；

所述融合单元(3)还用于：确定所述正常曝光结果图像中各个像素点的过曝掩码，所述过曝掩码体现像素点的过曝程度；根据所述欠曝图像调整所述正常曝光结果图像的亮度；根据所述过曝掩码将所述欠曝结果图像和调整后的所述正常曝光结果图像融合为结果图像；将所述结果图像的亮度增加，得到所述HDR图像；

所述融合单元(3)还用于：根据所述正常曝光图像对所述欠曝图像的亮度倍数确定所述结果图像中每个像素点的亮度提高比例；根据所述亮度提高比例确定所述HDR图像中每个像素点的亮度值，得到所述HDR图像。

12.一种电子设备，包括处理器以及存储器，其特征在于，所述存储器存储有控制程序，所述控制程序被处理器执行时实现如权利要求1-10中任一所述的夜景高动态范围图像生成方法。

13.一种计算机可读存储介质，存储有指令，其特征在于，所述指令被处理器加载并执行时实现如权利要求1-10中任一所述的夜景高动态范围图像生成方法。