CN108391060A - 一种图像处理方法、图像处理装置和终端 - Google Patents

Abstract

一种图像处理方法、图像处理装置以及终端，该方法包括：获取N张图像的图像数据，其中，N为大于1的整数；分别将该N张图像的图像数据进行基于第一尺度的像素合并处理，得到N张合并后的第一图像的图像数据；基于超分辨率重建算法，将该N张合并后的第一图像的图像数据进行上采样，得到第一超分辨率图像的图像数据，该第一超分辨率图像的分辨率大于该N张合并后的图像的分辨率。基于上述方案可以实现在保证图像分辨率的前提下获得更优的动态范围和更多的细节。

Description

一种图像处理方法、图像处理装置和终端

技术领域

本发明实施例涉及计算机领域，尤其涉及一种图像处理的方法、图像处理装置和终端。

背景技术

手机拍照的需求日益增长，但是在拍摄环境为低照度场景下，比如环境的亮度低于30lux(勒克斯)，比如电影院、酒吧、KTV等，若没有其他辅助设备，由于环境光线太暗，摄像头的进光亮小，则拍摄出的影像黑暗，无法拍摄出清晰可辨的影像。

为解决这个问题，有些厂商为手机的后置指摄像头增加闪光灯，以改善暗光环境下的拍摄效果。但是拍摄时，闪光灯往往闪的人眼睛发花，用户的眼睛会出现短暂的看不清事物的情况。还有一些手机为前置摄像头增加了柔光灯功能，在拍照时候同时开启前置柔光灯以增加环境亮度，但开灯后较为晃眼，同样存在用户体验不理想的情况。还有厂商采用LED补光方案，在拍照的一瞬间，提高屏幕的亮度。此种方式的问题在于预览上没有效果，而且随着用户和手机的距离发生远近改变，拍摄时会造成脸部不均匀、提亮不起作用或者过曝等问题。

发明内容

本发明实施例提供了一种图像处理的方法、图像处理装置和终端，能够提升图像的亮度，改善暗光下拍摄的图像质量不高的问题。

第一方面，提供一种图像处理方法，该方法包括：获取N张图像的图像数据，其中，N为大于1的整数；分别将该N张图像的图像数据进行基于第一尺度的像素合并处理，得到N张合并后的第一图像的图像数据；基于超分辨率重建算法，将该N张合并后的第一图像的图像数据进行上采样，得到第一超分辨率图像的图像数据，该第一超分辨率图像的分辨率大于该N张合并后的图像的分辨率。

基于上述方案可以实现在保证图像分辨率的前提下获得更优的动态范围和更多的细节。

其中，该图像数据可以通过摄像头获取，图像数据可以是RAW图像数据。

其中，该方法可以发生在接收到打开摄像头指令时，也可以发生在接收到拍摄指令时。其中，如果该方法是发生在接收到拍摄指令时，该方法还可以包括：将该第一超分辨率图像存储，或者将该第一超分辨率图像处理后(例如通过图像信号处理器(Image SignalProcessor，ISP)处理)进行存储。如果该方法是发生在接收到拍摄指令时，该方法还可以包括：将该第一超分辨率图像进行显示，或者将该第一超分辨率图像处理后(例如通过图像信号处理器处理)通过显示器进行显示。

结合第一方面，在第一方面的第一种可能的实现方式中，该方法还包括：分别将该N张图像的图像数据进行基于第二尺度的像素合并处理，得到N张合并后的第二图像的图像数据，该第二尺度不同于该第一尺度；基于超分辨率重建算法，将该N张合并后的第二图像的图像数据进行上采样，得到第二超分辨率图像的图像数据，该第二超分辨率图像的分辨率等于该第一超分辨率图像的分辨率；基于HDR合成算法，根据该第一超分辨率图像的图像数据和该第二超分辨率图像的图像数据，合成出高动态范围图像的图像数据。基于该方案使得图像的动态范围进一步优化。

其中，如果该方法是发生在接收到拍摄指令时，该方法还可以包括：将该高动态范围图像的图像数据存储，或者将该高动态范围图像的图像数据处理后(例如通过图像信号处理器进行存储。如果该方法是发生在接收到拍摄指令时，该方法还可以包括：将该高动态范围图像通过显示器进行显示，或者将该高动态范围图像的图像数据处理后(例如通过图像信号处理器处理)通过显示器进行显示。

其中，与获得第一超分辨率图像和第二超分辨率图像的方法类似，该方法还可以获得更多的对应于不同尺度的超分辨率图像，从而基于这些高分辨率图像(可以包括第一超分辨率图像和第二超分辨率图像)合成出该高动态范围图像。

其中，HDR指的是高动态范围，全程为High Dynamic Range。

其中，高动态范围图像每个颜色通道需要比传统图像更多的数据位，这是因为它的线性编码以及需要表示人眼可见亮度范围甚至是更大范围的数值。经常使用16位“halfprecision”或者32位浮点数表示高动态范围像素。但是，如果使用合适的传递函数进行变换，一些应用中的高动态范围像素可以用10-12位表示亮度，用8位表示色度，并且不会带来任何可见的量化误差。

其中，动态范围可以图像中最亮的亮度与最暗区域亮度的比值来衡量。反映在图像上的效果是图像暗区很黑，亮区很亮，但是因为表示图像的比特位宽有限，所以并不能单纯从比值上完整反映出场景动态范围，所以还会加入暗区像素占图像像素的比例和过曝像素占图像像素的比例来辅助判断，比如比例越高表示动态范围越小。

结合第一方面第一种可能的实现方式，在第一方面的第二种可能的实现方式中，该方法还包括：将该N张图像的图像数据进行配准，获得N张配准后的图像的图像数据；将该N张配准后的图像的图像数据的加权和作为多帧降噪图像的图像数据；该基于HDR合成算法，根据该第一超分辨率图像的图像数据和该第二超分辨率图像的图像数据，合成出高动态范围图像的图像数据包括：基于HDR合成算法，根据该第一超分辨率图像的图像数据、该第二超分辨率图像的图像数据和该多帧降噪图像的图像数据，合成出高动态范围图像的图像数据。基于该方案，可以进一步抑制图像的噪声。

其中，如果该方法是发生在接收到拍摄指令时，该方法还可以包括：将该高动态范围图像的图像数据存储，或者将该高动态范围图像的图像数据处理后(例如通过图像信号处理器(Image Signal Processor，ISP)处理)进行存储。如果该方法是发生在接收到拍摄指令时，该方法还可以包括：将该高动态范围图像通过显示器进行显示，或者将该高动态范围图像的图像数据处理后(例如通过图像信号处理器处理)通过显示器进行显示。

结合第一方面第一种可能的实现方式或第一方面第二种可能的实现方式，在第一方面的第三种可能的实现方式中，该方法还包括：将该高动态范围图像的图像数据进行LSC补偿，得到补偿后的高动态范围图像的图像数据；基于HDR合成算法，根据该高动态范围图像的图像数据和该补偿后的高动态范围图像的图像数据，合成出第一目标高动态范围图像的图像数据。基于该方案，使得图像的动态范围进一步被优化。

其中，合成时，该高动态范围图像和该补偿后的高动态范围图像的用于合成的权重可以是自适应的。

其中，LSC为镜头阴影校正(Lens Shading Correction)。

其中，如果该方法是发生在接收到拍摄指令时，该方法还可以包括：将该第一目标高动态范围图像的图像数据存储，或者将该第一目标高动态范围图像的图像数据处理后(例如通过图像信号处理器(Image Signal Processor，ISP)处理)进行存储。如果该方法是发生在接收到拍摄指令时，该方法还可以包括：将该第一目标高动态范围图像通过显示器进行显示，或者将该第一目标高动态范围图像的图像数据处理后(例如通过图像信号处理器处理)通过显示器进行显示。

结合第一方面第三种可能的实现方式，在第一方面的第四种可能的实现方式中，该基于HDR合成算法，根据该高动态范围图像的图像数据和该补偿后的高动态范围图像的图像数据，合成出第一目标高动态范围图像的图像数据，包括：基于X种不同的系数，对该高动态范围图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；基于Y种不同的系数，对该补偿后的高动态范围图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；基于HDR合成算法，根据该X张增强后的图像的图像数据和该Y张增强后的图像的图像数据，合成出该第一目标高动态范围图像的图像数据。该方案实现了从多种程度下对图像进行亮度增强。

结合第一方面，在第一方面第五种可能的实现方式中，该方法还包括：将该第一超分辨率图像的图像数据进行LSC补偿，得到补偿后的超分辨率图像的图像数据；基于HDR合成算法，根据该第一超分辨率图像的图像数据和该补偿后的超分辨率图像的图像数据，合成出第二目标高动态范围图像的图像数据。基于该方案，使得图像的动态范围进一步被优化。

其中，如果该方法是发生在接收到拍摄指令时，该方法还可以包括：将该第二目标高动态范围图像的图像数据存储，或者将该第二目标高动态范围图像的图像数据处理后(例如通过图像信号处理器(Image Signal Processor，ISP)处理)进行存储。如果该方法是发生在接收到拍摄指令时，该方法还可以包括：将该第二目标高动态范围图像通过显示器进行显示，或者将该第二目标高动态范围图像的图像数据处理后(例如通过图像信号处理器处理)通过显示器进行显示。

结合第一方面第五种可能的实现方式，在第一方面的第六种可能的实现方式中，该基于HDR合成算法，根据该第一超分辨率图像的图像数据和该补偿后的超分辨率图像的图像数据，合成出第二目标高动态范围图像的图像数据，包括：基于X种不同的系数，对该第一超分辨率图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；基于Y种不同的系数，对该补偿后的超分辨率图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；基于HDR合成算法，根据该X张增强后的图像的图像数据和该Y张增强后的图像的图像数据，合成出该第二目标高动态范围图像的图像数据。

结合第一方面或者以上第一方面任一种可能的实现方式，在第一方面第七种可能的实现方式中，该N张图像的图像数据为N个摄像头分别在同一时刻捕获得到的图像数据，其中，该N个摄像头中的每个摄像头捕获一张图像的图像数据；或者，该N张图像的图像数据为同一个摄像头在在不同时刻捕获得到的图像数据。

其中，对于不同的摄像头获得的图像，可以投影变换、仿射变换实现图像的对齐。从而进一步增强图像的高动态范围的效果。

其中，N个摄像头位置可以紧邻，且拍摄的朝向可以基本一致，以在同一角度下针对同一内容进行拍摄。其中，该图一摄像头在拍摄过程中可以位置不变，可以朝向不变，其中，相邻捕获时刻之间的时间间隔可以小于1秒，或者小于100毫秒，或者小于10毫秒。

第二方面，提供一种图像处理方法，该方法包括：获取当前图像的图像数据；将该当前图像的图像数据进行LSC补偿，得到补偿后的图像的图像数据；基于HDR合成算法，根据该当前图像的图像数据和该补偿后的图像的图像数据，合成出目标图像的图像数据。

其中，该图像数据可以通过摄像头获取。

其中，该图像数据可以是RAW图像数据。

其中，如果该方法是发生在接收到拍摄指令时，该方法还可以包括：将该目标图像的图像数据存储，或者将该目标图像的图像数据处理后(例如通过图像信号处理器(ImageSignal Processor，ISP)处理)进行存储。如果该方法是发生在接收到拍摄指令时，该方法还可以包括：将该目标图像通过显示器进行显示，或者将该目标图像的图像数据处理后(例如通过图像信号处理器处理)通过显示器进行显示。

结合第二方面，在第二方面的第一种可能的实现方式中，该基于HDR合成算法，根据该当前图像的图像数据和该补偿后的图像的图像数据，合成出目标图像的图像数据，包括：基于X种不同的系数，对该当前图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；基于Y种不同的系数，对该补偿后的图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；基于HDR合成算法，根据该X张增强后的图像的图像数据和该Y张增强后的图像的图像数据，合成出该目标图像的图像数据。

结合第二方面或第二方面第一种可能的实现方式，在第二方面的第二种可能的实现方式中，该获取当前图像的图像数据包括：获取N张图像的图像数据，其中，N为大于1的整数；将该N张图像的图像数据进行配准，获得N张配准后的图像的图像数据；将该N张配准后的图像的图像数据的加权和作为该当前图像的图像数据。其中，该图像数据可以是RAW图像数据。通过配准，使得图像的高动态范围效果更优。

结合第二方面的第二种可能的实现方式，在第二方面第三种可能的实现方式中，该N张图像的图像数据为N个摄像头分别在同一时刻捕获得到的图像数据，其中，该N个摄像头中的每个摄像头捕获一张图像的图像数据；或者，该N张图像的图像数据为同一个摄像头在在不同时刻捕获得到的图像数据。

第三方面，提供一种图像处理装置，该装置包括：

获取单元，用于获取N张图像的图像数据，其中，N为大于1的整数；

处理单元，用于分别将该N张图像的图像数据进行基于第一尺度的像素合并处理，得到N张合并后的第一图像的图像数据；基于超分辨率重建算法，将该N张合并后的第一图像的图像数据进行上采样，得到第一超分辨率图像的图像数据，该第一超分辨率图像的分辨率大于该N张合并后的图像的分辨率。

其中，获取单元可以是拍摄单元，例如相机或者摄像头。获取单元也可以包括拍摄单元、处理器，可以还包括与处理器耦合的存储器，以用于在拍摄单元得到图像数据后由处理器进行处理，从而获取N张图像的图像数据。获取单元也可以包括拍摄单元和处理电路。

其中，处理单元可以是处理电路，也可以是处理器，也可以是处理器和存储器。

其中，图像处理装置还可以包括显示单元或者存储单元，存储单元用于将该第一超分辨率图像存储，或者将该第一超分辨率图像处理后(例如通过图像信号处理器(ImageSignal Processor，ISP)处理)进行存储。显示单元用于将该第一超分辨率图像进行显示，或者将该第一超分辨率图像处理后(例如通过图像信号处理器处理)进行显示。其中，存储单元可以是存储器，显示单元可以是显示器。

结合第三方面，在第三方面的第一种可能的实现方式中，该处理单元还用于：分别将该N张图像的图像数据进行基于第二尺度的像素合并处理，得到N张合并后的第二图像的图像数据，该第二尺度不同于该第一尺度；基于超分辨率重建算法，将该N张合并后的第二图像的图像数据进行上采样，得到第二超分辨率图像的图像数据，该第二超分辨率图像的分辨率等于该第一超分辨率图像的分辨率；基于HDR合成算法，根据该第一超分辨率图像的图像数据和该第二超分辨率图像的图像数据，合成出高动态范围图像的图像数据。

其中，存储单元还可以用于将该高动态范围图像存储，或者将该高动态范围图像处理后(例如通过图像信号处理器(Image Signal Processor，ISP)处理)进行存储。显示单元还可以用于将该高动态范围图像进行显示，或者将该高动态范围图像处理后(例如通过图像信号处理器处理)进行显示。

结合第三方面第一种可能的实现方式，在第三方面的第二种可能的实现方式中，该处理单元还用于：将该N张图像的图像数据进行配准，获得N张配准后的图像的图像数据；将该N张配准后的图像的图像数据的加权和作为多帧降噪图像的图像数据；

该处理单元用于：基于HDR合成算法，根据该第一超分辨率图像的图像数据、该第二超分辨率图像的图像数据和该多帧降噪图像的图像数据，合成出高动态范围图像的图像数据。

其中，存储单元还可以用于将该高动态范围图像存储，或者将该高动态范围图像处理后(例如通过图像信号处理器(Image Signal Processor，ISP)处理)进行存储。显示单元还可以用于将该高动态范围图像进行显示，或者将该高动态范围图像处理后(例如通过图像信号处理器处理)进行显示。

结合第三方面第一种可能的实现方式或第三方面第二种可能的实现方式，在第三方面的第三种可能的实现方式中，该处理单元还用于：将该高动态范围图像的图像数据进行LSC补偿，得到补偿后的高动态范围图像的图像数据；基于HDR合成算法，根据该高动态范围图像的图像数据和该补偿后的高动态范围图像的图像数据，合成出第一目标高动态范围图像的图像数据。

其中，存储单元还可以用于将该第一目标高动态范围图像存储，或者将该第一目标高动态范围图像处理后(例如通过图像信号处理器(Image Signal Processor，ISP)处理)进行存储。显示单元还可以用于将该第一目标高动态范围图像进行显示，或者将该第一目标高动态范围图像处理后(例如通过图像信号处理器处理)进行显示。

结合第三方面第三种可能的实现方式，在第三方面的第四种可能的实现方式中，该处理单元用于：基于X种不同的系数，对该高动态范围图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；基于Y种不同的系数，对该补偿后的高动态范围图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；基于HDR合成算法，根据该X张增强后的图像的图像数据和该Y张增强后的图像的图像数据，合成出该第一目标高动态范围图像的图像数据。

结合第三方面，在第三方面第五种可能的实现方式中，该处理单元还用于：将该第一超分辨率图像的图像数据进行LSC补偿，得到补偿后的超分辨率图像的图像数据；基于HDR合成算法，根据该第一超分辨率图像的图像数据和该补偿后的超分辨率图像的图像数据，合成出第二目标高动态范围图像的图像数据。

其中，存储单元还可以用于将该第二目标高动态范围图像存储，或者将该第二目标高动态范围图像处理后(例如通过图像信号处理器(Image Signal Processor，ISP)处理)进行存储。显示单元还可以用于将该第二目标高动态范围图像进行显示，或者将该第二目标高动态范围图像处理后(例如通过图像信号处理器处理)进行显示。

结合第三方面第五种可能的实现方式，在第三方面的第六种可能的实现方式中，该处理单元用于：基于X种不同的系数，对该第一超分辨率图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；基于Y种不同的系数，对该补偿后的超分辨率图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；基于HDR合成算法，根据该X张增强后的图像的图像数据和该Y张增强后的图像的图像数据，合成出该第二目标高动态范围图像的图像数据。

结合第三方面或者以上第三方面任一种可能的实现方式，在第三方面第七种可能的实现方式中，该N张图像的图像数据为N个摄像头分别在同一时刻捕获得到的图像数据，其中，该N个摄像头中的每个摄像头捕获一张图像的图像数据；或者，该N张图像的图像数据为同一个摄像头在在不同时刻捕获得到的图像数据。

第四方面，提供一种图像处理装置，该装置包括：

获取单元，用于获取当前图像的图像数据；

处理单元，用于将该当前图像的图像数据进行LSC补偿，得到补偿后的图像的图像数据；基于HDR合成算法，根据该当前图像的图像数据和该补偿后的图像的图像数据，合成出目标图像的图像数据。

其中，获取单元可以是拍摄单元，例如相机或者摄像头。获取单元也可以包括拍摄单元、处理器，可以还包括与处理器耦合的存储器，以用于在拍摄单元得到图像数据后由处理器进行处理，从而获取当前图像的图像数据。获取单元也可以包括拍摄单元和处理电路。

其中，处理单元可以是处理电路，也可以是处理器，也可以是处理器和存储器。

其中，图像处理装置还可以包括显示单元或者存储单元，存储单元用于将该目标图像存储，或者将该目标图像处理后(例如通过图像信号处理器(Image SignalProcessor，ISP)处理)进行存储。显示单元用于将该目标图像进行显示，或者将该目标图像处理后(例如通过图像信号处理器处理)进行显示。其中，存储单元可以是存储器，显示单元可以是显示器。

结合第四方面，在第四方面的第一种可能的实现方式中，该处理单元用于：基于X种不同的系数，对该当前图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；基于Y种不同的系数，对该补偿后的图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；基于HDR合成算法，根据该X张增强后的图像的图像数据和该Y张增强后的图像的图像数据，合成出该目标图像的图像数据。

结合第四方面或第四方面第一种可能的实现方式，在第四方面的第二种可能的实现方式中，该获取单元用于：

获取N张图像的图像数据，其中，N为大于1的整数；

将该N张图像的图像数据进行配准，获得N张配准后的图像的图像数据；

将该N张配准后的图像的图像数据的加权和作为该当前图像的图像数据。

第五方面，提供一种终端，该终端包括：处理器、存储器和摄像头；

该存储器用于存储一组可执行代码；

该处理器用于执行该存储器中存储的可执行代码以执行：

获取N张图像的图像数据，其中，N为大于1的整数；分别将该N张图像的图像数据进行基于第一尺度的像素合并处理，得到N张合并后的第一图像的图像数据；基于超分辨率重建算法，将该N张合并后的第一图像的图像数据进行上采样，得到第一超分辨率图像的图像数据，该第一超分辨率图像的分辨率大于该N张合并后的图像的分辨率。

其中，处理器可以用过摄像头获取N张图像的图像数据。也可以在通过摄像头获得图像数据后进行处理得到N张图像的图像数据。

其中，该终端还可以包括显示器，用于显示执行第一方面，或者第一方面的任意一种可能的实现方式得到的图像数据。

其中，存储器还可以用于存储执行第一方面，或者第一方面的任意一种可能的实现方式得到的图像数据。

其中，处理器还用于执行第一方面的任意一种可能的实现方式。

第六方面，提供一种终端，该终端包括：处理器、存储器和摄像头；

该存储器用于存储一组可执行代码；

该处理器用于执行该存储器中存储的可执行代码以执行：

获取当前图像的图像数据；将该当前图像的图像数据进行LSC补偿，得到补偿后的图像的图像数据；基于HDR合成算法，根据该当前图像的图像数据和该补偿后的图像的图像数据，合成出目标图像的图像数据。

其中，处理器可以用过摄像头获取当前图像的图像数据。也可以在通过摄像头获得图像数据后进行处理得到当前图像的图像数据。

其中，该终端还可以包括显示器，用于显示执行第二方面，或者第二方面的任意一种可能的实现方式得到的图像数据。

其中，存储器还可以用于存储执行第二方面，或者第二方面的任意一种可能的实现方式得到的图像数据。

其中，处理器还用于执行第二方面的任意一种可能的实现方式。

本发明第七方面提供了一种存储介质，该存储介质存储有可执行代码，该可执行代码被执行时可执行第一方面，或者第一方面的任意一种可能的实现方式。

本发明第八方面提供了一种计算机程序，该计算机程序可执行第一方面，或者第一方面的任意一种可能的实现方式。

本发明第九方面提供了一种计算机程序产品，该计算机程序铲平包括可执行第一方面，或者第一方面的任意一种可能的实现方式的指令。

本发明第十方面提供了一种存储介质，该存储介质存储有可执行代码，该可执行代码被执行时可执行第二方面，或者第二方面的任意一种可能的实现方式。

本发明第十一方面提供了一种计算机程序，该计算机程序可执行第二方面，或者第二方面的任意一种可能的实现方式。

本发明第十二方面提供了一种计算机程序产品，该计算机程序铲平包括可执行第二方面，或者第二方面的任意一种可能的实现方式的指令。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种电子装置的网络环境；

图2是本发明实施例提供的一种包括电子装置的网络环境；

图3是摄像头一般结构的示意图；

图4是bayer格式的图像像素的排列模式示意图；

图5是binning原理的示意图；

图6是水平方向l/2binning操作的示意图；

图7是竖直方向l/2binning操作的示意图；

图8是本发明实施例提供的一种图像处理方法的流程示意图；

图9是本发明实施例提供的一种图像处理方法的流程示意图；

图10是本发明实施例提供的一种图像处理装置的示意性框图；

图11是本发明实施例提供的一种图像处理装置的示意性框图；

图12是本发明实施例提供的一种电子装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明实施例提供的图像处理装置，可以如下所示的电子装置，用于执行本发明实施例提供的图像处理方法，电子装置可以是包括通信功能的装置。例如，电子装置可包括以下项中的至少一个：终端、智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗装置、相机或可穿戴装置(例如，头戴式装置(HMD)(诸如电子眼镜)、电子服装、电子手链、电子项链、电子应用配件、电子纹身、智能手表等)。

根据本公开的各种实施例，电子装置可以是具有通信功能的智能家用电器。智能家用电器可包括以下项中的至少一个：例如，电视机(TV)、数字视频光盘(DVD)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、电炉、洗衣机、空气净化器、机顶盒、TV盒子(例如，三星HomeSync TM、苹果TV TM或谷歌TV TM)、游戏控制台、电子词典、电子钥匙、摄像机或电子相框。

根据本发明公开的各种实施例，电子装置可包括以下项中的至少一个：各种医疗装置(例如，磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、拍摄装置、超声装置等)、导航装置、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐装置、用于船舶的电子装置(例如，用于船舶的导航装置、陀螺罗经等)、航空电子装置、安全装置、用于车辆的机头单元、用于工业用途或家庭用途的机器人、金融机构的自动柜员机(ATM)或者商店的销售点。

根据本发明公开的各种实施例，电子装置可包括以下项中的至少一个：包括通信功能的家具或建筑/结构的一部分、电子图板、电子签名接收装置、投影仪或者各种测量装置(例如，自来水厂、电力、燃气或无线电波测量装置等)。电子装置可以是上述装置中的一个或多个的组合。此外，电子装置可以是柔性装置。另外，对本领域技术人员而言明显的是，该电子装置不限于上述装置。

在下文中，将参照附图来描述电子装置。在本公开的各种实施例中使用的术语“用户”可指示使用电子装置的人或使用该电子装置的装置(例如，人工智能电子装置)。

图1为本发明实施例提供的一种电子装置的网络环境。

参照图1，电子装置101可包括总线110、处理器120、存储器130、输入/输出(I/O)接口140、显示器150、通信接口160、第一相机170和第二相机171等。第一相机170和第二相机171可被不同地称为第一相机模块和第二相机模块或者第一图像拍摄模块和第二图像拍摄模块等。应理解，电子装置101也可以仅包括第一相机170，而不包括第二相机171。

第一相机170可以是从显示器150拍摄前面的前置相机，第二相机171可以是拍摄后面的后置相机并且可与处理器120进行协作。总线110可以是将上述元件彼此连接并在上述元件之间传输通信(例如，控制消息)的电路。作为另一种实现方式第一相机170和第二相机171也可以都是后置相机且可以处理器120进行协作。

处理器120可经由总线110从上述其它元件(例如，存储器130、I/O接口140、显示器150、通信接口160等)接收(例如)指令，破译接收到的指令，并执行与破译后的指令相应的操作或数据处理。处理器120可以包括中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、数字信号处理器(digital signal processor，DSP)和图像信号处理器(Image Signal Processor，ISP)中至少一项，例如可以包括CPU、GPU、DSP和ISP。

存储器130可存储从处理器120或其它元件(例如，I/O接口140、显示器150、通信接口160等)接收到的或由处理器120或其它元件产生的指令或数据。存储器130可包括(例如)编程模块，诸如内核131、中间件132、应用编程接口(API)133、应用134等。该编程模块均可使用软件、固件、硬件或者软件、固件、硬件中的两个或更多个的组合配置。

内核131可控制或管理用于执行在其余的该编程模块(例如，中间件132、API 133或应用134)中实施的操作或功能的系统资源(例如，总线110、处理器120或存储器130等)。此外，内核131可提供允许中间件132、API 133或应用134接入电子装置101的各个元件并对其进行控制或管理的接口。

中间件132可执行中介作用使得API 133或应用134可与内核131进行通信以提供和获取数据。此外，与从应用134接收到的任务请求相关联，中间件132可使用(例如)向应用134中的至少一个分配可使用该电子装置的系统资源(例如，总线110、处理器120或存储器130等)的优先级的方法来执行针对任务请求的控制(例如，调度或负载均衡)。

API 133是允许应用134控制由内核131或中间件132提供的功能的接口，并且可包括用于文件控制、窗口控制、图像处理或字符控制等的至少一个接口或功能(例如，指令)。

根据本公开的各种实施例，应用134可包括短消息服务(SMS)/多媒体消息服务(MMS)应用、电子邮件应用、日历应用、闹钟应用、健康护理应用(例如，用于测量运动量或血糖的应用等)或环境信息应用(例如，提供大气压、湿度或温度信息的应用等)。附加地或可选地，应用134可以是与在电子装置101与外部电子装置(例如，电子装置104)之间的信息交换相关的应用。与该信息交换相关的应用可包括(例如)用于向外部电子装置传输特定信息的通知中继应用或用于管理外部电子装置的装置管理应用。

例如，通知中继应用可包括用于向外部电子装置(例如，电子装置104)传输从电子装置101的不同应用(例如，SMS/MMS应用、电子邮件应用、健康护理应用或环境信息应用)产生的通知信息的功能。附加地或可选地，例如，通知中继应用可从外部电子装置(例如，电子装置104)接收通知信息并将该通知信息提供给用户。装置管理应用可管理(例如，安装、删除或更新)在该外部电子装置中运行的功能(例如，外部电子装置本身(或一些构成部件)的开启或关闭或者显示器的亮度(或分辨率)控制)和应用或者由该外部电子装置提供的服务(例如，通信服务或消息服务)。

根据本公开的各种实施例，应用134可包括根据外部电子装置(例如，电子装置104)的属性(例如，电子装置的类型)的指定应用。例如，在外部电子装置是MP3播放器的情况下，应用134可包括与音乐再现相关的应用。类似地，在外部电子装置是移动医疗健康护理装置的情况下，应用134可包括与健康护理相关的应用。根据本公开的实施例，应用134可包括在电子装置101中指定的应用和从外部电子装置(例如，服务器106或电子装置104)接收到的应用中的至少一个。

I/O接口140可经由(例如)总线110向处理器120、存储器130及通信接口160传输由用户经由I/O单元(例如，传感器、键盘或触摸屏)输入的指令或数据。例如，I/O接口140可向处理器120提供有关经由触摸屏输入的用户触摸的数据。此外，例如，I/O接口140可经由I/O单元(例如，扬声器或显示器)输出经由总线110从处理器120、存储器130及通信接口160接收到的指令或数据。例如，I/O接口140可经由扬声器向用户输出由处理器120处理的语音数据。

显示器150可向用户显示各种信息(例如，多媒体数据或文本数据等)。通信接口160可连接电子装置101与外部装置(例如，电子装置104或服务器106)之间的通信。例如，可经由无线通信或有线通信将通信接口160与网络162连接以与外部装置进行通信。无线通信可包括(例如)无线保真(Wi-Fi)、蓝牙(BT)、近场通信(NFC)、GPS或蜂窝通信(例如，长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)等)中的至少一个。有线通信可包括通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)以及普通老式电话服务(POTS)中的至少一个。

根据本公开的实施例，网络162可以是电信网络。电信网络可包括计算机网络、互联网、物联网以及电话网络中的至少一个。根据本公开的实施例，可由应用134、应用编程接口133、中间件132、内核131或通信接口160中的至少一个支持针对在电子装置101与外部装置之间的通信的协议(例如，传输层协议、数据链路层协议或物理层协议)。

图2是本发明实施例提供的一种电子装置的结构示意图。例如，电子装置可配置图1中示出的电子装置101的全部或一部分。

参照图2，电子装置201可包括一个或多个应用处理器(AP)210、通信模块220、用户识别模块(SIM)卡224、存储器230、传感器模块240、输入单元250、显示器260、接口270、音频模块280、第一相机模块290、第二相机模块291、电能管理模块295、电池296、指示器297以及电机298。

AP 210可驱动操作系统(OS)或应用以控制连接到AP 210的多个硬件或软件元件，并且执行包括多媒体数据的各种数据处理以及操作。例如，可将AP 210实施为片上系统(SoC)。根据本公开的实施例，AP 210可还包括图形处理单元(GPU)和DSP(未示出)中至少一项。

通信模块220(例如，通信接口160)可执行在电子装置201(例如，电子装置101)与经由网络连接的其它电子装置(例如，电子装置104或服务器106)之间的通信中的数据发送/接收。根据本公开的实施例，通信模块220可包括蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227、NFC模块228以及射频(RF)模块229。

蜂窝模块221可经由通信网络(例如，LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro或GSM等)提供语音通信、图像通信、短消息服务或互联网服务等。此外，蜂窝模块221可使用(例如)用户识别模块(例如，SIM卡224)对通信网络内的电子装置执行识别和认证。根据本公开的实施例，蜂窝模块221可执行AP 210可提供的功能中的至少一部分。例如，蜂窝模块221可执行多媒体控制功能中的至少一部分。

根据本公开的实施例，蜂窝模块221可包括通信处理器(CP)。另外，例如，可将蜂窝模块221实施为SoC。虽然在图2中将元件(诸如蜂窝模块221(例如，通信处理器)、存储器230、电能管理模块295等)示为独立于AP 210的元件，但是可将AP 210实施为包括上述元件中的至少一部分(例如，蜂窝模块221)。

根据本公开的实施例，AP 210或蜂窝模块221(例如，通信处理器)可将从与其连接的非易失性存储器以及其它元件中的至少一个接收到的指令或数据加载到易失性存储器上并对其进行处理。此外，AP 210或蜂窝模块221可在非易失性存储器中存储从其它元件中的至少一个接收到的数据或由其它元件中的至少一个产生的数据。

Wi-Fi模块223、BT模块225、GPS模块227或NFC模块228均可包括(例如)用于处理经由相关模块发送/接收的数据的处理器。虽然在图2中将蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227或NFC模块228示为单独的块，但是蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227或NFC模块228中的至少一部分(例如，两个或更多个元件)可被包括在一个集成电路(IC)或IC封装中。例如，可将与蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227或NFC模块228中的每个相应的处理器中的至少一部分(例如，与蜂窝模块221相应的通信处理器以及与Wi-Fi模块223相应的Wi-Fi处理器)实施为一个SoC。

RF模块229可执行数据的发送/接收，例如，RF信号的发送/接收。虽然未示出，但是RF模块229可包括(例如)收发器、功率放大器模块(PAM)、频率滤波器或低噪声放大器(LNA)等。此外，RF模块229可还包括用于在无线通信中通过自由空间发送/接收电磁波的部件(例如，导体、导线等)。虽然图2示出蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227以及NFC模块228共享一个RF模块229，但是蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227或NFC模块228中的至少一个可经由单独的RF模块执行RF信号的发送/接收。

SIM卡224可以是包括用户识别模块的卡，并且可被插入到在该电子装置的特定位置中形成的插槽中。SIM卡224可包括唯一识别信息(例如，集成电路卡识别码(ICCID))或用户信息(例如，国际移动用户识别码(IMSI))。

存储器230(例如，存储器130)可包括嵌入式存储器232或外部存储器234。嵌入式存储器232可包括(例如)易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM))以及非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩膜ROM、闪存ROM、与非(NAND)闪存、或非(NOR)闪存等)中的至少一个。

根据本公开的实施例，嵌入式存储器232可以是固态驱动器(SSD)。外部存储器234可还包括闪存驱动器(例如，紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(xD)或记忆棒)。可经由各种接口将外部存储器234功能性地与电子装置201连接。根据本公开的实施例，电子装置201可还包括存储装置(或存储介质)，诸如硬盘驱动器。

传感器模块240可测量物理量或检测电子装置201的操作状态，并且将测量出或检测到的信息转换为电信号。传感器模块240可包括(例如)以下项中的至少一个：手势传感器240A、陀螺仪传感器240B、大气压传感器240C、磁性传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、色彩传感器240H(例如，红绿蓝(RGB)传感器)、活体传感器240I、温度/湿度传感器240J、照度传感器240K或紫外(UV)传感器240M。附加地或可选地，传感器模块240可包括(例如)电子鼻传感器(未示出)、肌电图(EMG)传感器(未示出)、脑电图(EEG)传感器(未示出)、心电图(ECG)传感器(未示出)、红外(IR)传感器(未示出)、虹膜传感器(未示出)或指纹传感器(未示出)等。传感器模块240可还包括用于控制属于其的至少一个传感器的控制电路。

输入装置250可包括触摸面板252、(数字)笔传感器254、键256或超声输入装置258。触摸面板252可使用电容、电阻、红外或超声方法中的至少一种检测触摸输入。另外，触摸面板252可还包括控制电路。电容触摸面板可执行物理接触检测或接近检测。触摸面板252可还包括触觉层。在这种情况下，触摸面板252可向用户提供触觉反应。

例如，可使用与接收用户的触摸输入的方法相同或相似的方法或使用单独用于检测的面板实施(数字)笔传感器254。键256可包括(例如)物理按钮、光学键或键区。超声输入单元258是经由产生超声信号的输入工具通过使用电子装置201中的麦克风(例如，麦克风288)检测声波来识别数据的单元,并且能够进行无线检测。根据本公开的实施例，电子装置201可使用通信模块220从连接到通信模块220的外部装置(例如，计算机或服务器)接收用户输入。

显示器260(例如，显示器150)可包括面板262、全息图装置264或投影仪266。面板262可以是(例如)液晶显示器(LCD)或有源矩阵有机发光二极管(AM-OLED)等。例如，可将面板262实施为柔性的、透明的或可穿戴的。可将面板262连同触摸面板252配置为一个模块。全息图装置264可使用光的干扰在空气中显示三维图像。投影仪266可将光投射到屏幕上以显示图像。例如，屏幕可位于电子装置201的内部或外部。根据本公开的实施例，显示器260可还包括用于控制面板262、全息图装置264或投影仪266的控制电路。

接口270可包括(例如)HDMI 272、USB 274、光学接口276或D-超小型(D-sub)278。接口270可被包括在(例如)图1中示出的通信接口160中。附加地或可选地，接口270可包括移动高清链接(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。

音频模块280可双向地转换声音和电信号。音频模块280的至少一部分可被包括在(例如)图1中示出的I/O接口140中。音频模块280可处理经由(例如)扬声器282、接收器284、耳机286或麦克风288等输入或输出的声音信息。

第一相机模块290和第二相机模块291是可拍摄静止图像和运动画面的装置，并且可被制造为一个模块，可以分别是图1中的第一相机170和第二相机171。根据本公开的实施例，第一相机模块290和第二相机模块291可包括一个或多个图像传感器(例如，正面传感器或背面传感器)、镜头(未示出)、图像信号处理器(ISP)(未示出)、DSP(未示出)或闪光灯(例如，LED或氙气灯)。ISP或者DSP可以独立于AP 210的元件，但是可将AP 210实施为包括ISP或者DSP至少一项。

电能管理模块295可管理电子装置201的电能。虽然未示出，但是电能管理模块295可包括(例如)电能管理集成电路(PMIC)、充电器集成电路(IC)或者电池量表或燃料计。

例如，可将PMIC安装在集成电路或SoC半导体内部。可将充电方法分类为有线充电方法和无线充电方法。充电IC可对电池进行充电并且可防止来自充电器的过电压或过电流的引入。根据本公开的实施例，充电IC可包括用于有线充电方法和无线充电方法中的至少一种的充电IC。无线充电方法可以是(例如)磁共振方法、磁感应方法或电磁波方法等，并且可额外包括用于无线充电的附加电路，例如，电路(诸如线圈环、共振电路或整流器等)。

电池量表可测量(例如)电池296的剩余量以及充电时的电压、电流或温度。电池296可存储或产生电，并且使用存储或产生的电向电子装置201供电。电池296可包括(例如)可再充电电池或太阳能电池。

指示器297可显示电子装置201或其一部分(例如，AP 210)的特定状态，例如，启动状态、消息状态或充电状态等。电机298可将电信号转换为机械振动。虽然未示出，但是电子装置201可包括用于支持移动TV的处理器(例如，GPU)。用于支持移动TV的处理器可处理与标准(例如，诸如数字多媒体广播(DMB)、数字视频广播(DVB)、媒体流等)相应的媒体数据。

可使用一个或多个组件配置该电子装置的上述元件中的每个，并且相关元件的名称可根据该电子装置的类型而改变。电子装置可包括上述元件中的至少一个，并且可省略该元件中的一部分，或可还包括附加的其它元件。此外，该电子装置的该元件中的一部分可组合以形成一个实体并且同样地执行在该组合之前的相关元件的功能。

需要说明的是，以上相机或者相机模块也可以称为摄像头、镜头模组或者镜头，其中，相机或者相机模块还可以包括对焦马达或者防抖马达至少一项。

图3是摄像头一般结构的示意图，具体可以是第一相机170、第二相机171、第一相机模块290和第二相机模块291中任一种的结构示意图。图3中的结构只是一种示例，例如摄像头还可以是潜望式镜头模组。如图2所示，摄像头一般包括镜筒301、镜头302(lens)、滤色片303(Color Filter)、图像传感器304和电路板305。其中，图像传感器是摄像头的核心器件，图像传感器也可以叫做感光元件，它是一种用来接收通过镜头的光线，并且将这些光信号转换成为电信号的装置。常见的摄像头图像传感器主要有两种，CCD(Charge-CoupledDevice，电荷耦合器件)传感器和CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)传感器。

滤色片也即“分色滤色片”，目前主要有两种分色方式，一种是RGB原色分色法，另一种是CMYK补色分色法。滤色片103可以是红外滤波片。电路板105可以是印刷电路板(Printed Circuit Board，简称PCB)，PCB一般可以分为硬板、软板、软硬结合板三种。不同的图像传感器，采用的PCB的种类会有不同，比如，CMOS传感器可以使用三种中的任一种，CCD传感器多采用软硬结合板。

摄像头一般的工作原理为：拍摄景物通过镜头，将生成的光学图像投射到图像传感器上，然后光学图像被转换成电信号，电信号再经过模数转换变为数字信号，数字信号经过加工处理，再被送到手机处理器中进行处理，最终转换成手机屏幕上能够看到的图像。目前，大多数的CCD、CMOS图像传感器(或者叫感光元件)输出的数据可以称为RAW数据，作为RAW数据的一个例子，bayer格式数据，用一种称作bayer的滤光片排列格式记录图像的三基色(红绿蓝，RGB)信息，这种图案是一种红绿滤光片间隔行和蓝绿滤光片间隔行循环交替的排列方式，因此bayer格式是最常见的CCD、CMOS图像传感器的数据输出格式。

bayer格式的图像像素一般有四种排列模式，在bayer格式中，每个像素只有一种颜色值，如图4所示，以其中的左上图为例：奇数扫描行输出RGRG......偶数扫描行输出GBGB......。因此，数据采样时，可以采用如下方式，奇数扫描行的第1,2,3,4,...像素分别采样和输出R,G,R,G,...数据；偶数扫描行的第1,2,3,4,...像素分别采样和输出G,B,G,B,...数据。在实际处理时，为了还原一个真正图像，需要每一个像素点都有RGB三种颜色，所以RAW数据可以被传输到ISP，ISP会将传感器采集到的数据进行插值和特效处理，例如：如果传感器上一个感光点感应的颜色是R，那么，ISP模块就会根据这个感光点周围的G、B感光点的数值来计算出此点的G、B值，那么，这一像素点的RGB值就被还原了。

对于bayer格式的图像可以采用binning(像素合并)方法。基于Binning，相邻的像素会被相加，或者被相加后求平均，将该加和值或均值作为一个新的像素输出。其中，将相邻的像素相加，将加和值作为一个新的像素输出的方式，叫做sum binning或add binning或求和像素合并；将相邻的像素相加后求平均，将该均值作为一个新的像素输出的方式，叫做average binning或平均像素合并。Binning可以在水平方向上进行，也可以在竖直方向上进行，还可以在两个方向上同时进行。这样可以减小图像尺寸，减少图像数据量。此外，由于采用多个像素的平均值来表示一个新像素的值，对图像噪声也有一定的抑制效果。若采用多个像素的和值来表示一个新像素的值，不仅可以缩小图像尺寸，而且可以提高图像的亮度。

binning方法如图5所示，以l/2尺度的binning为例，展示了binning的原理，其中R、G和B分别代表bayer格式图像中的红色、绿色和蓝色像素。图中上边和左边的数字分别代表横坐标和纵坐标，以方便对像素的引用。图5的左边部分是图像传感器输出的原始bayer图像，右边是做了水平和竖直方向l/2尺度的binning的bayer图像。l/2尺度的Binning后的坐标为(0,0)的红色像素，其值等于原图中坐标为(0,0)，(0,2),(2,0)和(2,2)的四个像素的和或者平均值，即：[R(0,0)+R(0,2)+R(2,0)+R(2,2)]或者[R(0,0)+R(0,2)+R(2,0)+R(2,2)]/4。这几个像素的对应关系用圆圈和箭头标出。类似的，左边用正方形标注的绿色像素，用三角形标注的绿色像素，以及没有图形标注的蓝色像素，他们的和或者均值将分别是右边l/2尺度的binning后图像中具有相同标注的像素值。这样，原图中4乘4的区域经过l/2尺度的binning操作后得到了2乘2的区域。

下面以求和像素合并模式为例，说明在水平方向和竖直方向的binning原理。平均像素合并模式的原理，与求和像素合并模式的原理类似。

图6给出了只进行水平方向l/2尺度的binning操作的示意图，其中右边的每个像素是左边原始图像上水平相邻的两个像素的和值，即l/2尺度的binning后的第一个红色像素的值为[R(0,0)+R(2,0)]。l/2尺度的binning之后的图像在水平方向上的尺寸为原图的1/2,竖直方向上保持不变。

图7给出了只进行竖直方向l/2尺度的binning操作的示意图，其中右边的每个像素是左边原始图像上竖直相邻的两个像素的和值，即l/2尺度的binning后的第一个红色像素的值为[R(0,0)+R(0,2)]。l/2尺度的binning之后的图像在竖直方向上的尺寸为原图的1/2,水平方向上保持不变。

其他尺度的binning和l/2尺度的binning原理相同，只是参与和值或平均值计算的像素更多。具体的，1/n尺度的某方向上的binning，将会有n个像素参与和值或平均值计算，binning后的图像在该方向的尺寸变为原来的l/n。应理解，在本发明实施例采用的像素合并处理中，如果没有特别说明，基于某一尺度的像素合并处理指的是在一定的方向下进行该尺度的像素合并，方向不同，则尺度不同。例如，只进行竖直方向l/2尺度的binning和只进行水平方向l/2尺度的binning可以理解为不同尺度的像素合并处理。

在下文中，描述一种图像处理方法、图像处理装置和终端。图像处理装置或者终端可以是电子装置(诸如智能电话、平板PC等)并且可包括在图1、图2和图3中示出的全部或者部分元件。

图8为一种图像处理方法的流程示意图，该方法可以由上文中的图像处理装置(例如电子装置)或者终端执行，该图像处理装置或者终端包括相机。该相机可以用于将射入该相机的镜头的光进行转换，从而获取(或者称为拍摄得到)图像数据，其中该相机可以是手机中的摄像头、摄像头模块或者镜头模组，也可以是第一相机170或者第二相机171中至少一个。或者是第一相机模块290和第二相机模块291中至少一种。该方法步骤如下：

S801，获取N张图像的图像数据，其中，N为大于1的整数。

在一种可能的实现方式中，该N张图像的图像数据为N个摄像头分别在同一时刻捕获得到的图像数据，其中，该N个摄像头中的每个摄像头捕获一张图像的图像数据；或者，该N张图像的图像数据为同一个摄像头在在不同时刻捕获得到的图像数据。

在一种可能的实现方式中，该N张图像的图像数据为M个摄像头分别在不同时刻捕获得到的图像数据，其中，M为小于N且大于0(或者大于1，或者大于2)的整数。

其中，上述图像数据为用于指示图像的图像内容的数据，例如，可以为RAW数据，RAW数据可以从摄像头中的图像传感器获得。具体的，可以是bayer格式的图像数据。

S802，分别将该N张图像的图像数据进行基于第一尺度的像素合并处理，得到N张合并后的第一图像的图像数据。

其中，第一尺度可以是1/2,1/3或者1/4。

S803，基于超分辨率重建算法，将该N张合并后的第一图像的图像数据进行上采样，得到第一超分辨率图像的图像数据，该第一超分辨率图像的分辨率大于该N张合并后的图像的分辨率。其中，得到的第一超分辨率的图像数据依然可以是RAW数据。

其中，超分辨率重建指的是就是利用一组低质量、低分辨率图像(或运动序列)来产生单幅高质量、高分辨率图像。其中超分辨率重建可以包括基于重建的方法或者基于学习的方法。

基于重建的超分辨率方法基于均衡及非均衡采样定理。可以包括频域法或者空域法。频率域方法可以包括消混叠重建方法。消混叠重建方法是通过解混叠而改善图像的空间分辨率实现超分辨率复原，最早的研究工作是由Tsai和Huang在1984年进行的。在消混叠重建方法中，利用离散傅立叶变换和连续傅立叶变换之间的平移、混叠性质，给出了一个由一系列欠采样观察图像数据复原高分辨率图像的公式。多幅观察图像经混频而得到的离散傅立叶变换系数与未知场景的连续傅立叶变换系数以方程组的形式联系起来，方程组的解就是原始图像(也就是得到的超分辨率图像)的频率域系数，再对频率域系数进行傅立叶逆变换就可以实现原始图像的准确复原。

在空域类方法中，其线性空域观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样等内容。空域方法具有很强的包含空域先验约束的能力，可以包括非均匀空间样本内插、迭代反投影方法、凸集投影法、最大后验概率以及混合MAP/POCS方法、最优和自适应滤波方法、确定性重建方法等。

基于学习的方法采用大量的高分辨率图像构造学习库产生学习模型，在对低分辨率图像进行恢复的过程中引入由学习模型获得的先验知识，以得到图像的高频细节，获得较好的图像恢复效果。具体步骤可以为：将高分辨率图像按照降质模型进行降质，产生训练集。根据高分辨率图像的低频部分和高频部分对应关系对图像分块，通过一定算法进行学习，获得先验知识，建立学习模型。以输入的低分辨率块为依据，在建立好的训练集中搜索最匹配的高频块。学习模型可以马尔科夫随机场模型、图像金字塔模型、神经网络模型、主成分分析模型等。基于学习的方法充分利用了图像本身的先验知识，在不增加输入图像样本数量的情况下仍能产生高频细节。

在一种可能的实现方式中，该方法还可以包括：分别将该N张图像的图像数据进行基于第二尺度的像素合并处理，得到N张合并后的第二图像的图像数据，该第二尺度不同于该第一尺度；基于超分辨率重建算法，将该N张合并后的第二图像的图像数据进行上采样，得到第二超分辨率图像的图像数据，该第二超分辨率图像的分辨率等于该第一超分辨率图像的分辨率；基于HDR合成算法，根据该第一超分辨率图像的图像数据和该第二超分辨率图像的图像数据，合成出高动态范围图像的图像数据。

其中，第二尺度可以不同于第一尺度。在可能的实现方式中，

基于上述实现方式，进一步的，在一种可能的实现方式中，该方法还可以包括：将该N张图像的图像数据进行配准，获得N张配准后的图像的图像数据；将该N张配准后的图像的图像数据的加权和作为多帧降噪图像的图像数据；该基于HDR合成算法，根据该第一超分辨率图像的图像数据和该第二超分辨率图像的图像数据，合成出高动态范围图像的图像数据包括：基于HDR合成算法，根据该第一超分辨率图像的图像数据、该第二超分辨率图像的图像数据和该多帧降噪图像的图像数据，合成出高动态范围图像的图像数据。

其中，将该N张图像的图像数据进行配准，获得N张配准后的图像的图像数据具体可以包括：将该N张图像的图像数据先进行全局配准，再进行布局配准，获得N张配准后的图像的图像数据。

其中，多帧降噪为Multi Frame Noise Reduction。简称MFNR。多帧降噪的过程包括将该N张图像的图像数据进行配准，获得N张配准后的图像的图像数据；将该N张配准后的图像的图像数据的加权和作为多帧降噪图像的图像数据。

其中，HDR指的是高动态范围成像(High Dynamic Range Imaging)，也可以称为HDRI。是用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的一组技术。具体的，可以根据该第一超分辨率图像的图像数据，确定第一超分辨率图像的加权系数；根据该第二超分辨率图像的图像数据，确定第二超分辨率图像的加权系数；根据两张图像各自的加权系数，将该第一超分辨率图像的图像数据和该第二超分辨率图像的图像数据的加权和，作为高动态范围图像的图像数据。本发明实施例中，其余实施例的HDR合成可以参考该HDR合成的过程，不再赘述。

基于上述任一种实现方式，进一步的，在一种可能的实现方式中，该方法还可以包括：将该高动态范围图像的图像数据进行LSC补偿，得到补偿后的高动态范围图像的图像数据；基于HDR合成算法，根据该高动态范围图像的图像数据和该补偿后的高动态范围图像的图像数据，合成出第一目标高动态范围图像的图像数据。

其中，LSC为镜头校正(lens shading correction)。在进行LSC补偿是具体可以调用ISP中的LSC补偿功能模块，也可以不调用ISP中的LSC补偿功能模块，独立进行LSC补偿。

其中，该基于HDR合成算法，根据该高动态范围图像的图像数据和该补偿后的高动态范围图像的图像数据，合成出第一目标高动态范围图像的图像数据，可以包括：基于X种不同的系数，对该高动态范围图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；基于Y种不同的系数，对该补偿后的高动态范围图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；基于HDR合成算法，根据该X张增强后的图像的图像数据和该Y张增强后的图像的图像数据，合成出该第一目标高动态范围图像的图像数据。

其中，上述亮度增强可以通过伽马校正实现亮度增强，也可以通过乘以系数进行线性增强。在通过伽马校正进行亮度增强是，上述系数为伽马校正中使用的指数系数。

其中，上述亮度增强也可以通过如下方式得到，以一次亮度增强获得一张增强后的图像数据为例，首先获得该待增强图像的高频信息图像和低频信息图像，具体可以通过保边滤波(例如可以是双边滤波，引导滤波等)获取低频信息图像，再将待增强图像和低频信息图像的差值作为高频信息图像，可以使用系数将低频信息图像进行伽马校正，以提升图像整体亮度，再将亮度增强后的图像与高频信息图像相加得到增强后的图像。对低频信息图像的伽马校正可以包括：首先对低频信息图像进行滤波，该滤波包括将图像中某一像素点周围亮度值最大的点的像素值作为该某一像素点的像素值，然后对滤波后的图像进行不同尺度的保边滤波得到至少两张图像，将该至少两张图像进行加权和，得到加权和后的图像，并对该加权和后的图像进行相应系数的伽马校正。本发明实施例中涉及到的亮度增强方案均可参考该亮度增强方案，因此不再赘述。

在一种可能的实现方式中，该方法还可以包括：将该第一超分辨率图像的图像数据进行LSC补偿，得到补偿后的超分辨率图像的图像数据；基于HDR合成算法，根据该第一超分辨率图像的图像数据和该补偿后的超分辨率图像的图像数据，合成出第二目标高动态范围图像的图像数据。

其中，该基于HDR合成算法，根据该第一超分辨率图像的图像数据和该补偿后的超分辨率图像的图像数据，合成出第二目标高动态范围图像的图像数据，可以包括：基于X种不同的系数，对该第一超分辨率图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；基于Y种不同的系数，对该补偿后的超分辨率图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；基于HDR合成算法，根据该X张增强后的图像的图像数据和该Y张增强后的图像的图像数据，合成出该第二目标高动态范围图像的图像数据。

图9为一种图像处理方法的流程示意图，该方法可以由上文中的图像处理装置(例如电子装置)或者终端执行，该图像处理装置或者终端包括相机。该相机可以用于将射入该相机的镜头的光进行转换，从而获取(或者称为拍摄得到)图像数据，其中该相机可以是手机中的摄像头、摄像头模块或者镜头模组，也可以是第一相机170或者第二相机171中至少一个。或者是第一相机模块290和第二相机模块291中至少一种。该方法步骤如下：

S901，获取当前图像的图像数据。

在具体实现方式中，该获取当前图像的图像数据可以包括：获取N张图像的图像数据，其中，N为大于1的整数；将该N张图像的图像数据进行配准，获得N张配准后的图像的图像数据；将该N张配准后的图像的图像数据的加权和作为该当前图像的图像数据。其中，具体的实现细节可以参考多帧降噪算法。

在具体实现方式中，当前图像的图像数据也可以来自于相机的图像传感器。

在具体实现方式中，当前图像的图像数据也可以是图8实施例中任一种图像数据。

S902，将该当前图像的图像数据进行LSC补偿，得到补偿后的图像的图像数据。

S903，基于HDR合成算法，根据该当前图像的图像数据和该补偿后的图像的图像数据，合成出目标图像的图像数据。

在具体实现方式中，该基于HDR合成算法，根据该当前图像的图像数据和该补偿后的图像的图像数据，合成出目标图像的图像数据，可以包括：基于X种不同的系数，对该当前图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；基于Y种不同的系数，对该补偿后的图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；基于HDR合成算法，根据该X张增强后的图像的图像数据和该Y张增强后的图像的图像数据，合成出该目标图像的图像数据。

可以理解的是，更多实现细节(相同的或类似的(例如同一类的算法))，可以参照图8实施例以及发明内容中的相关描述，此处不再赘述。

如图10所示，本发明实施例提供一种图像处理装置1000，该图像处理装置1000可以为之前描述的电子装置或图像处理装置，或者，该图像处理装置1000可以包括之前描述的电子装置或图像处理装置中的部分元件或者模块，该装置1000包括获取单元1001和处理单元1002，其中，该装置中的单元所执行的操作可以通过软件实现，可以作为软件模块位于图像处理装置1000的存储器中并用于处理器调用并执行。该装置中的单元所执行的操作也可以通过硬件芯片实现。其中，

获取单元1001，用于获取N张图像的图像数据，其中，N为大于1的整数.

处理单元1002，用于分别将该N张图像的图像数据进行基于第一尺度的像素合并处理，得到N张合并后的第一图像的图像数据；基于超分辨率重建算法，将该N张合并后的第一图像的图像数据进行上采样，得到第一超分辨率图像的图像数据，该第一超分辨率图像的分辨率大于该N张合并后的图像的分辨率。

在具体实现过程中，该处理单元1002还可以用于：分别将该N张图像的图像数据进行基于第二尺度的像素合并处理，得到N张合并后的第二图像的图像数据，该第二尺度不同于该第一尺度；基于超分辨率重建算法，将该N张合并后的第二图像的图像数据进行上采样，得到第二超分辨率图像的图像数据，该第二超分辨率图像的分辨率等于该第一超分辨率图像的分辨率；基于HDR合成算法，根据该第一超分辨率图像的图像数据和该第二超分辨率图像的图像数据，合成出高动态范围图像的图像数据。

在具体实现过程中，该处理单元1002还可以用于：将该N张图像的图像数据进行配准，获得N张配准后的图像的图像数据；将该N张配准后的图像的图像数据的加权和作为多帧降噪图像的图像数据。相应的，该处理单元1002可以用于：基于HDR合成算法，根据该第一超分辨率图像的图像数据、该第二超分辨率图像的图像数据和该多帧降噪图像的图像数据，合成出高动态范围图像的图像数据。

在具体实现过程中，该处理单元1002还可以用于：将该高动态范围图像的图像数据进行LSC补偿，得到补偿后的高动态范围图像的图像数据；基于HDR合成算法，根据该高动态范围图像的图像数据和该补偿后的高动态范围图像的图像数据，合成出第一目标高动态范围图像的图像数据。

关于如何合成出第一目标高动态图像的图像数据，在具体实现过程中，该处理单元1002可以用于：基于X种不同的系数，对该高动态范围图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；基于Y种不同的系数，对该补偿后的高动态范围图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；基于HDR合成算法，根据该X张增强后的图像的图像数据和该Y张增强后的图像的图像数据，合成出该第一目标高动态范围图像的图像数据。

在具体实现过程中，该处理单元1002还可以用于：将该第一超分辨率图像的图像数据进行LSC补偿，得到补偿后的超分辨率图像的图像数据；基于HDR合成算法，根据该第一超分辨率图像的图像数据和该补偿后的超分辨率图像的图像数据，合成出第二目标高动态范围图像的图像数据。

关于如何合成出第二目标高动态图像的图像数据，在具体实现过程中，该处理单元1002可以用于：基于X种不同的系数，对该第一超分辨率图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；基于Y种不同的系数，对该补偿后的超分辨率图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；基于HDR合成算法，根据该X张增强后的图像的图像数据和该Y张增强后的图像的图像数据，合成出该第二目标高动态范围图像的图像数据。

在具体实现过程中，该N张图像的图像数据为N个摄像头分别在同一时刻捕获得到的图像数据，其中，该N个摄像头中的每个摄像头捕获一张图像的图像数据；或者，该N张图像的图像数据为同一个摄像头在在不同时刻捕获得到的图像数据。

可以理解的是，本实施例的图像处理装置1000的各个单元的更多的执行操作，以及图像处理装置1000进一步包括显示单元和/或存储单元的实现细节，可以参照上述方法实施例以及发明内容中的相关描述，此处不再赘述。

如图11所示，本发明实施例提供一种图像处理装置1100，该图像处理装置1100可以为之前描述的电子装置或图像处理装置，或者，该图像处理装置1100可以包括之前描述的电子装置或图像处理装置中的部分元件或者模块，该装置1100包括获取单元1101和处理单元1102，其中，该装置中的单元所执行的操作可以通过软件实现，可以作为软件模块位于图像处理装置1100的存储器中并用于处理器调用并执行。该装置中的单元所执行的操作也可以通过硬件芯片实现。其中，

获取单元1101，用于获取当前图像的图像数据。

其中，该当前图像可以为图10实施例中的第一超分辨率图像、高动态范围图像、第一目标高动态范围图像或者第二目标高动态范围图像。相应的，获取单元1101可以包括图10实施例中的获取单元1001和处理单元1002。

处理单元1102，用于将该当前图像的图像数据进行LSC补偿，得到补偿后的图像的图像数据；基于HDR合成算法，根据该当前图像的图像数据和该补偿后的图像的图像数据，合成出目标图像的图像数据。

关于如何合成出目标图像的图像数据，在具体实现过程中，该处理单元1102可以用于：基于X种不同的系数，对该当前图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；基于Y种不同的系数，对该补偿后的图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；基于HDR合成算法，根据该X张增强后的图像的图像数据和该Y张增强后的图像的图像数据，合成出该目标图像的图像数据。

在具体实现过程中，该获取单元1101可以用于：获取N张图像的图像数据，其中，N为大于1的整数；将该N张图像的图像数据进行配准，获得N张配准后的图像的图像数据；将该N张配准后的图像的图像数据的加权和作为该当前图像的图像数据。

可以理解的是，本实施例的图像处理装置1100的各个单元的更多的执行操作，以及图像处理装置1100进一步包括显示单元和/或存储单元的实现细节，可以参照上述方法实施例以及发明内容中的相关描述，此处不再赘述。

图12是本发明实施例提供的图像处理装置1200的硬件结构示意图，图像处理装置1200作为一种电子装置，可以包括电子装置101和电子装置201中全部或者部分元件或者模块。如图12所示，图像处理装置1200可以作为图像处理装置1000或者图像处理装置1100的一种实现方式，图像处理装置1200包括处理器1202、存储器1204、输入/输出接口1206、通信接口1208和总线1210。其中，处理器1202、存储器1204、输入/输出接口1206和通信接口1208通过总线1210实现彼此之间的通信连接。

处理器1202可以采用通用的中央处理器(Central Processing Unit，CPU)，微处理器，应用专用集成电路(Application Specific Integrated Circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本发明实施例所提供的图像处理装置1000或者图像处理装置1100中包括的单元所需执行的功能，或者执行本发明方法实施例和发明内容提供的图像处理方法。处理器1202可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1202中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1202可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1204，处理器1202读取存储器1204中的信息，结合其硬件完成上述方法的步骤。

存储器1204可以是只读存储器(Read Only Memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(Random Access Memory，RAM)。存储器1204可以存储操作系统以及其他应用程序。在通过软件或者固件来实现本发明实施例提供的图像处理装置1000或者图像处理装置1100中包括的单元所需执行的功能，或者执行本发明方法实施例和发明内容提供的图像处理方法时，用于实现本发明实施例提供的技术方案的程序代码保存在存储器1204中，并由处理器1202来执行图像处理装置1000或者图像处理装置1100中包括的单元所需执行的操作，或者执行本发明方法实施例提供的图像处理方法。

输入/输出接口1206用于接收输入的数据和信息，输出操作结果等数据。

通信接口1208使用例如但不限于收发器一类的收发装置，来实现图像处理装置1200与其他设备或通信网络之间的通信。

总线1210可包括在图像处理装置1200各个部件(例如处理器1202、存储器1204、输入/输出接口1206和通信接口1208)之间传送信息的通路。

应注意，尽管图12所示的图像处理装置1200仅仅示出了处理器1202、存储器1204、输入/输出接口1206、通信接口1208以及总线1210，但是在具体实现过程中，本领域的技术人员应当明白，图像处理装置1200还包含实现正常运行所必须的其他器件，例如显示器，相机。同时，根据具体需要，本领域的技术人员应当明白，图像处理装置1200还可包含实现其他附加功能的硬件器件。此外，本领域的技术人员应当明白，图像处理装置1200也可仅仅包含实现本发明实施例所必须的器件，而不必包含图12中所示的全部器件。

可以理解的是，本实施例的图像处理装置1200的更多的执行操作可以参照上述实施例以及发明内容中的相关描述，此处不再赘述。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所涉及的动作和单元并不一定是本发明所必须的。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一种计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(ROM：Read-Only Memory)或随机存储记忆体(RAM：RandomAccess Memory)等。

尽管在此结合各实施例对本发明进行了描述，然而，在实施所要保护的本发明的过程中，本领域技术人员通过查看该附图、公开内容、以及所附权利要求书，可理解并实现该公开实施例的其它变化。在权利要求中，“包括”(comprising)一词不排除其它组成部分或步骤，“一”或“一个”不排除多个的可能性。单个处理器或其它单元可以实现权利要求中列举的若干项功能。互相不同的从属权利要求中记载了某些措施，但这并不代表这些措施不能组合起来产生良好的效果。计算机程序可以存储/分布在合适的介质中，例如：光存储介质或固态介质，与其它硬件一起提供或作为硬件的一部分，也可以采用其它分布形式，如通过Internet或其它有线或无线电信系统。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上该，本说明书内容不应理解为对本发明的限制。

Claims (22)

1.一种图像处理方法，其特征在于，所述方法包括：

获取N张图像的图像数据，其中，N为大于1的整数；

分别将所述N张图像的图像数据进行基于第一尺度的像素合并处理，得到N张合并后的第一图像的图像数据；

基于超分辨率重建算法，将所述N张合并后的第一图像的图像数据进行上采样，得到第一超分辨率图像的图像数据，所述第一超分辨率图像的分辨率大于所述N张合并后的图像的分辨率。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

分别将所述N张图像的图像数据进行基于第二尺度的像素合并处理，得到N张合并后的第二图像的图像数据，所述第二尺度不同于所述第一尺度；

基于超分辨率重建算法，将所述N张合并后的第二图像的图像数据进行上采样，得到第二超分辨率图像的图像数据，所述第二超分辨率图像的分辨率等于所述第一超分辨率图像的分辨率；

基于HDR合成算法，根据所述第一超分辨率图像的图像数据和所述第二超分辨率图像的图像数据，合成出高动态范围图像的图像数据。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

将所述N张图像的图像数据进行配准，获得N张配准后的图像的图像数据；

将所述N张配准后的图像的图像数据的加权和作为多帧降噪图像的图像数据；

所述基于HDR合成算法，根据所述第一超分辨率图像的图像数据和所述第二超分辨率图像的图像数据，合成出高动态范围图像的图像数据包括：

基于HDR合成算法，根据所述第一超分辨率图像的图像数据、所述第二超分辨率图像的图像数据和所述多帧降噪图像的图像数据，合成出高动态范围图像的图像数据。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

将所述高动态范围图像的图像数据进行LSC补偿，得到补偿后的高动态范围图像的图像数据；

基于HDR合成算法，根据所述高动态范围图像的图像数据和所述补偿后的高动态范围图像的图像数据，合成出第一目标高动态范围图像的图像数据。

5.根据权利要求4所述的方法，其特征在于，所述基于HDR合成算法，根据所述高动态范围图像的图像数据和所述补偿后的高动态范围图像的图像数据，合成出第一目标高动态范围图像的图像数据，包括：

基于X种不同的系数，对所述高动态范围图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；

基于Y种不同的系数，对所述补偿后的高动态范围图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；

基于HDR合成算法，根据所述X张增强后的图像的图像数据和所述Y张增强后的图像的图像数据，合成出所述第一目标高动态范围图像的图像数据。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述第一超分辨率图像的图像数据进行LSC补偿，得到补偿后的超分辨率图像的图像数据；

基于HDR合成算法，根据所述第一超分辨率图像的图像数据和所述补偿后的超分辨率图像的图像数据，合成出第二目标高动态范围图像的图像数据。

7.根据权利要求6所述的方法，其特征在于，所述基于HDR合成算法，根据所述第一超分辨率图像的图像数据和所述补偿后的超分辨率图像的图像数据，合成出第二目标高动态范围图像的图像数据，包括：

基于X种不同的系数，对所述第一超分辨率图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；

基于Y种不同的系数，对所述补偿后的超分辨率图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；

基于HDR合成算法，根据所述X张增强后的图像的图像数据和所述Y张增强后的图像的图像数据，合成出所述第二目标高动态范围图像的图像数据。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述N张图像的图像数据为N个摄像头分别在同一时刻捕获得到的图像数据，其中，所述N个摄像头中的每个摄像头捕获一张图像的图像数据；或者，所述N张图像的图像数据为同一个摄像头在在不同时刻捕获得到的图像数据。

9.一种图像处理方法，其特征在于，所述方法包括：

获取当前图像的图像数据；

将所述当前图像的图像数据进行LSC补偿，得到补偿后的图像的图像数据；

基于HDR合成算法，根据所述当前图像的图像数据和所述补偿后的图像的图像数据，合成出目标图像的图像数据。

10.根据权利要求9所述的方法，其特征在于，所述基于HDR合成算法，根据所述当前图像的图像数据和所述补偿后的图像的图像数据，合成出目标图像的图像数据，包括：

基于X种不同的系数，对所述当前图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；

基于Y种不同的系数，对所述补偿后的图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；

基于HDR合成算法，根据所述X张增强后的图像的图像数据和所述Y张增强后的图像的图像数据，合成出所述目标图像的图像数据。

11.根据权利要求9或10所述的方法，其特征在于，所述获取当前图像的图像数据包括：

获取N张图像的图像数据，其中，N为大于1的整数；

将所述N张图像的图像数据进行配准，获得N张配准后的图像的图像数据；

将所述N张配准后的图像的图像数据的加权和作为所述当前图像的图像数据。

12.一种图像处理装置，其特征在于，所述装置包括：

获取单元，用于获取N张图像的图像数据，其中，N为大于1的整数；

处理单元，用于分别将所述N张图像的图像数据进行基于第一尺度的像素合并处理，得到N张合并后的第一图像的图像数据；基于超分辨率重建算法，将所述N张合并后的第一图像的图像数据进行上采样，得到第一超分辨率图像的图像数据，所述第一超分辨率图像的分辨率大于所述N张合并后的图像的分辨率。

13.根据权利要求12所述的装置，其特征在于，所述处理单元还用于：

分别将所述N张图像的图像数据进行基于第二尺度的像素合并处理，得到N张合并后的第二图像的图像数据，所述第二尺度不同于所述第一尺度；

基于超分辨率重建算法，将所述N张合并后的第二图像的图像数据进行上采样，得到第二超分辨率图像的图像数据，所述第二超分辨率图像的分辨率等于所述第一超分辨率图像的分辨率；

基于HDR合成算法，根据所述第一超分辨率图像的图像数据和所述第二超分辨率图像的图像数据，合成出高动态范围图像的图像数据。

14.根据权利要求13所述的装置，其特征在于，所述处理单元还用于：

将所述N张图像的图像数据进行配准，获得N张配准后的图像的图像数据；

将所述N张配准后的图像的图像数据的加权和作为多帧降噪图像的图像数据；

所述处理单元用于：基于HDR合成算法，根据所述第一超分辨率图像的图像数据、所述第二超分辨率图像的图像数据和所述多帧降噪图像的图像数据，合成出高动态范围图像的图像数据。

15.根据权利要求13或14所述的装置，其特征在于，所述处理单元还用于：

将所述高动态范围图像的图像数据进行LSC补偿，得到补偿后的高动态范围图像的图像数据；

基于HDR合成算法，根据所述高动态范围图像的图像数据和所述补偿后的高动态范围图像的图像数据，合成出第一目标高动态范围图像的图像数据。

16.根据权利要求15所述的装置，其特征在于，所述处理单元用于：

基于X种不同的系数，对所述高动态范围图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；

基于Y种不同的系数，对所述补偿后的高动态范围图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；

基于HDR合成算法，根据所述X张增强后的图像的图像数据和所述Y张增强后的图像的图像数据，合成出所述第一目标高动态范围图像的图像数据。

17.根据权利要求12所述的装置，其特征在于，所述处理单元还用于：

将所述第一超分辨率图像的图像数据进行LSC补偿，得到补偿后的超分辨率图像的图像数据；

基于HDR合成算法，根据所述第一超分辨率图像的图像数据和所述补偿后的超分辨率图像的图像数据，合成出第二目标高动态范围图像的图像数据。

18.根据权利要求17所述的装置，其特征在于，所述处理单元用于：

基于X种不同的系数，对所述第一超分辨率图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；

基于Y种不同的系数，对所述补偿后的超分辨率图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；

基于HDR合成算法，根据所述X张增强后的图像的图像数据和所述Y张增强后的图像的图像数据，合成出所述第二目标高动态范围图像的图像数据。

19.根据权利要求12至18任一项所述的装置，其特征在于，所述N张图像的图像数据为N个摄像头分别在同一时刻捕获得到的图像数据，其中，所述N个摄像头中的每个摄像头捕获一张图像的图像数据；或者，所述N张图像的图像数据为同一个摄像头在在不同时刻捕获得到的图像数据。

20.一种图像处理装置，其特征在于，所述装置包括：

获取单元，用于获取当前图像的图像数据；

处理单元，用于将所述当前图像的图像数据进行LSC补偿，得到补偿后的图像的图像数据；基于HDR合成算法，根据所述当前图像的图像数据和所述补偿后的图像的图像数据，合成出目标图像的图像数据。

21.根据权利要求20所述的装置，其特征在于，所述处理单元用于：

基于X种不同的系数，对所述当前图像的图像数据进行亮度增强，得到X张增强后的图像的图像数据，X为大于1的整数；

基于Y种不同的系数，对所述补偿后的图像的图像数据进行亮度增强，得到Y张增强后的图像的图像数据，Y为大于1的整数；

基于HDR合成算法，根据所述X张增强后的图像的图像数据和所述Y张增强后的图像的图像数据，合成出所述目标图像的图像数据。

22.根据权利要求20或21所述的装置，其特征在于，所述获取单元用于：

获取N张图像的图像数据，其中，N为大于1的整数；

将所述N张图像的图像数据进行配准，获得N张配准后的图像的图像数据；

将所述N张配准后的图像的图像数据的加权和作为所述当前图像的图像数据。