CN112381743A - 图像处理方法、装置、设备和存储介质 - Google Patents

图像处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112381743A
CN112381743A CN202011378491.5A CN202011378491A CN112381743A CN 112381743 A CN112381743 A CN 112381743A CN 202011378491 A CN202011378491 A CN 202011378491A CN 112381743 A CN112381743 A CN 112381743A
Authority
CN
China
Prior art keywords
image
target
brightness
brightness correction
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011378491.5A
Other languages
English (en)
Inventor
姜文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202011378491.5A priority Critical patent/CN112381743A/zh
Publication of CN112381743A publication Critical patent/CN112381743A/zh
Priority to PCT/CN2021/134712 priority patent/WO2022116988A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取待处理的Raw图像，对所述待处理Raw图像进行降噪处理后再进行转换处理，得到RGB图像，对RGB图像进行亮度修正处理，得到目标亮度修正图像，对目标亮度修正图像进行像素动态范围映射处理，得到目标动态图像，其中，其中，目标动态图像的像素动态范围小于所述RGB图像的像素动态范围。通过上述过程，先针对Raw图像进行降噪处理，然后通过高动态范围图像到低动态范围的像素动态范围映射处理，保证输出图像的噪声低且在有限动态范围的显示设备上保留了较多图像细节，提高了输出图像的图像品质。

Description

图像处理方法、装置、设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、设备和存储介质。
背景技术
Raw格式的图片是最原始的图像数据信息，而我们日常生活中看到的JPEG 图片来自于Raw格式图片进行图像压缩后得到的照片，其会丢掉许多重要的信息。
现有技术中，一般针对JPEG图像进行降噪处理，但由于JPEG现有降噪算法的限制及JPEG图像由于压缩处理导致的信息丢失，目前输出的JPEG图像还是存在噪声较大的问题。
随着图像处理技术的发展，高动态图像因能够提供更多的动态范围和图像细节，被广泛应用。但是在部分应用中，往往要显示图像的显示设备的动态范围为有限动态范围或者低动态范围，低动态范围是相对于高动态来说的，例如， CRT(Cathode Ray Tube)显示器、LCD显示器或者投影仪等，只有有限的动态范围。经常存在需要在上述有限动态范围设备上显示高动态图像的情景，此时，就需要将高动态图像处理成能够在有限的动态范围设备上显示，并且能够保留图像细节的图像，以便于用户在有限动态范围的显示设备上显示和高动态图像一样的效果。
鉴于以上图像处理中存在的局限性，目前输出的JPEG图像存在噪声大且不能在有限动态范围的显示设备上较好保留图像细节的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够降低现有输出图像噪声且能在有限动态范围的显示设备上保留较多图像细节的图像处理方法、装置、计算机设备和存储介质。
第一方面，本发明提供一种图像处理方法，所述方法包括：
获取待处理Raw图像；
对所述待处理Raw图像进行降噪处理，得到降噪Raw图像；
对所述降噪Raw图像进行转换处理，得到RGB图像；
对所述RGB图像进行亮度修正处理，得到目标亮度修正图像；
对所述目标亮度修正图像进行像素动态范围映射处理，得到目标动态图像，所述目标动态图像的像素动态范围小于所述RGB图像的像素动态范围。
在其中一个实施例中，所述对所述待处理Raw图像进行降噪处理，得到降噪Raw图像，具体包括：
将所述待处理Raw图像输入预设图像降噪模型进行降噪处理，得到降噪Raw 图像。
在其中一个实施例中，所述对所述降噪Raw图像进行转换处理，得到RGB 图像，具体包括：
采用插值算法对所述降噪Raw图像进行处理，得到RGB图像。
在其中一个实施例中，所述对所述RGB图像进行亮度修正处理，得到亮度修正图像，具体包括：
获取所述RGB图像对应的图像亮度统计值；
获取环境光照强度统计值，根据所述环境光照强度统计值获取拍摄环境对应的目标亮度统计值；所述环境光照强度统计值为所述RGB图像所在拍摄环境的光照强度统计值；
根据所述目标亮度统计值与所述图像亮度统计值确定目标亮度修正系数；
根据所述目标亮度修正系数对所述RGB图像进行亮度修正，得到目标亮度修正图像。
在其中一个实施例中，所述根据所述目标亮度统计值与所述图像亮度统计值确定目标亮度修正系数包括以下步骤的至少一个：
当所述目标亮度统计值大于所述图像亮度统计值时，获取亮度增强系数，作为目标亮度修正系数；
当所述目标亮度统计值小于所述图像亮度统计值时，获取亮度减弱系数，作为目标亮度修正系数。
在其中一个实施例中，所述目标亮度修正系数包括第一亮度修正系数，所述根据所述目标亮度统计值与所述图像亮度统计值确定目标亮度修正系数包括：
计算所述目标亮度统计值与所述图像亮度统计值的亮度比值；
将所述亮度比值作为对数函数中的对数进行对数计算，得到第一亮度修正系数，其中所述对数函数的指数大于1。
在其中一个实施例中，所述目标亮度修正系数还包括第二亮度修正系数以及第三亮度修正系数；所述根据所述目标亮度统计值与所述图像亮度统计值确定目标亮度修正系数包括：
对所述第一亮度修正系数进行减少处理，得到第二亮度修正系数；
对所述第二亮度修正系数进行增加处理，得到第三亮度修正系数；
所述根据所述目标亮度修正系数对所述RGB图像进行亮度修正，得到目标亮度修正图像包括：
分别根据所述第一亮度修正系数、所述第二亮度修正系数、所述第三亮度修正系数对所述RGB图像进行亮度修正，得到所述第一亮度修正系数修正得到的第一亮度修正图像、所述第二亮度修正系数修正得到的第二亮度修正图像以及所述第三亮度修正系数修正得到的第三亮度修正图像；
所述对所述目标亮度修正图像进行像素动态范围映射，得到目标动态图像包括：
分别对所述第一亮度修正图像、所述第二亮度修正图像以及所述第三亮度修正图像进行像素动态范围映射，得到所述第一亮度修正图像对应的第一映射动态图像、所述第二亮度修正图像对应的第二映射动态图像以及所述第三亮度修正图像对应的第三映射动态图像；
对所述第一映射动态图像、所述第二映射动态图像以及所述第三映射动态图像进行融合处理，得到目标动态图像。
在其中一个实施例中，所述对所述第一映射动态图像、所述第二映射动态图像以及所述第三映射动态图像进行融合处理，得到目标动态图像包括：
对所述第一映射动态图像、所述第二映射动态图像以及所述第三映射动态图像进行融合处理，得到融合处理图像；
获取所述融合处理图像的图像区域；
获取参考图像区域；
计算所述融合图像的图像区域相对于参考图像区域的局部映射增益值；
根据所述局部映射增益值对所述RGB图像进行色调映射处理，得到目标动态图像。
第二方面，本发明提供一种图像处理装置，所述装置包括：
图像获取模块，用于获取待处理Raw图像；
降噪模块，用于对所述待处理Raw图像进行降噪处理，得到降噪Raw图像；
转换处理模块，用于对所述降噪Raw图像进行转换处理，得到RGB图像；
亮度修正模块，用于对所述RGB图像进行亮度修正处理，得到目标亮度修正图像；
动态映射模块，用于对所述目标亮度修正图像进行像素动态范围映射，得到目标动态图像。
第三方面，本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下步骤：
获取待处理Raw图像；
对所述待处理Raw图像进行降噪处理，得到降噪Raw图像；
对所述降噪Raw图像进行转换处理，得到RGB图像；
对所述RGB图像进行亮度修正处理，得到目标亮度修正图像；
对所述目标亮度修正图像进行像素动态范围映射处理，得到目标动态图像，所述目标动态图像的像素动态范围小于所述RGB图像的像素动态范围。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：
获取待处理Raw图像；
对所述待处理Raw图像进行降噪处理，得到降噪Raw图像；
对所述降噪Raw图像进行转换处理，得到RGB图像；
对所述RGB图像进行亮度修正处理，得到目标亮度修正图像；
对所述目标亮度修正图像进行像素动态范围映射处理，得到目标动态图像，所述目标动态图像的像素动态范围小于所述RGB图像的像素动态范围。
上述图像处理方法、装置、计算机设备和存储介质，通过获取待处理的Raw 图像，对所述待处理Raw图像进行降噪处理后再进行转换处理，得到RGB图像，对RGB图像进行亮度修正处理，得到目标亮度修正图像，对目标亮度修正图像进行像素动态范围映射处理，得到目标动态图像，其中，目标动态图像的像素动态范围小于所述RGB图像的像素动态范围。通过上述过程，先针对Raw图像进行降噪处理，然后通过高动态范围图像到低动态范围的像素动态范围映射处理，保证输出图像的噪声低且在有限动态范围的显示设备上保留了较多图像细节，提高了输出图像的图像品质。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为另一个实施例中图像降噪模型生成方法的流程示意图；
图4为另一个实施例中根据目标亮度统计值与图像亮度统计值确定目标亮度修正系数步骤的流程示意图；
图5为另一个实施例中第一映射动态图像、第二映射动态图像以及第三映射动态图像进行融合处理，得到目标动态图像方法的流程示意图；
图6为另一个实施例中获取环境光照强度统计值的流程示意图；
图7为一个实施例中图像处理装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。应用环境包括图像采集设备102与终端104，其中，图像采集设备102与终端104通信连接。图像采集设备102采集到动态图像后，传输给终端104，终端104获取待处理的Raw图像，终端104可以先对待处理Raw图像进行降噪和转换处理，得到RGB图像，然后通过获取到的Raw图像获取RGB图像对应的图像亮度统计值和环境光照强度统计值，根据环境光照强度统计值获取拍摄环境对应的目标亮度统计值；其中，环境光照强度统计值为RGB图像所在拍摄环境的光照强度统计值；终端104根据目标亮度统计值与图像亮度统计值确定目标亮度修正系数；根据目标亮度修正系数对RGB图像进行亮度修正，得到目标亮度修正图像；对目标亮度修正图像进行像素动态范围映射，得到目标动态图像。其中，目标动态图像的像素动态范围小于RGB图像的像素动态范围。其中，图像采集设备 102可以但不限于是各种有图像采集功能的设备，可以分布于终端104的外部，也可以分布于终端104的内部。例如：分布于终端104的外部的各种摄像头、扫描仪、各种相机、图像采集卡。终端104可以但不限于是各种相机、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
可以理解，本申请实施例提供的方法，也可以是由服务器执行的。
在一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S201，获取待处理的Raw图像。
其中，Raw图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据，是无损的，包含了物体原始的颜色信息等。Raw图像的数据格式一般采用的是Bayer阵列排列方式，通过滤波光片，产生彩色滤波阵列 (CFA)，鉴于人眼对绿色波段的色彩比较敏感，Bayer阵列数据格式中包含了50％的绿色信息，以及各25％的红色和蓝色信息。Bayer阵列是一个4×4阵列，由8 个绿色、4个蓝色和4个红色像素组成，在将灰度图形转换为彩色图片时会以2 ×2矩阵进行9次运算，最后生成一幅彩色图形。Bayer阵列一般有四种格式： RGGB(a)，BGGR(b)，GBRG(c)，GRBG(d)。
具体地，当终端接收到图像处理指令后，图像处理指令中携带有待处理图像的图像标识，通过此图像标识，终端可以从存储的图像中获取到待处理Raw 图像。终端获取待处理Raw图像以便于对待处理Raw图像做后续的处理工作。
其中，可以通过任意具有拍摄功能的设备拍摄获取该待处理Raw图像，比如数码相机、全景相机、手机、平板电脑、运动相机等。此外，该待处理Raw 图像也可以是通过任意图像处理方式得到的Raw图像，比如图像变换、图像拼接、图像分割、图像合成、图像压缩、图像增强、图像复原等。此外，该待处理Raw图像可以是全景图像，也可以是普通平面图像。
S202，对所述待处理Raw图像进行降噪处理，得到降噪Raw图像。
其中，针对待处理Raw图像进行降噪处理，可以采用多种降噪方法进行降噪处理，在一个实施例中，可以将待处理Raw图像输入预设图像降噪模型进行降噪处理，得到降噪Raw图像。
在一个实施例中，如图3所示，提供一种预设图像降噪模型生成方法，包括如下步骤：
S301、获取同一场景下的N张不同Bayer阵列的第一Raw图像。
其中，可以通过任意具有拍摄功能的设备拍摄获取该第一Raw图像，比如数码相机、全景相机、手机、平板电脑、运动相机等。此外，该第一Raw图像也可以是通过任意图像处理方式得到的Raw图像，比如图像变换、图像拼接、图像分割、图像合成、图像压缩、图像增强、图像复原等。此外，该第一Raw 图像可以是全景图像，也可以是普通平面图像。
其中，为了获取同一场景下的N张不同Bayer阵列的第一Raw图像，可以使用多种方式，例如：第一种方式，可以通过一个拍摄设备连续拍摄多张同一场景下的Raw图像，或者多个拍摄设备拍摄多张同一场景下的Raw图像，然后从多张Raw图像中挑选出Bayer阵列一致的N张第一Raw图像；第二种方式，也可以通过一个拍摄设备连续拍摄N张同一场景下的Raw图像，或者多个拍摄设备拍摄多张同一场景下的Raw图像，然后通过Bayer阵列转换方法得到Bayer 阵列一致的N张第一Raw图像；第三种方式，还可以通过一个拍摄设备或者多个拍摄设备连续拍摄N张同一场景下不同Bayer阵列的第一Raw图像。应该理解，采取以上列举方式的不同组合或者采用任何其他方式，也可以获取同一场景下的N张不同Bayer阵列的第一Raw图像，在此不进行一一列举。
S302、将所述N张不同Bayer阵列的第一Raw图像分别进行融合处理，得到相对应的N张第二Raw图像。
在一个实施例中，S302具体包括如下步骤：
S3021，依次选择所述N张第一Raw图像中任一张图像作为基准图像；
S3022，分别检测所述基准图像与其他N-1张第一Raw图像的差异点；
S3023，根据所述差异点，对所述基准图像进行相应处理，得到待融合图像；
S3024，将所述待融合图像进行逐像素加权融合处理，得到相应的第二Raw 图像。
在一个实施例中，步骤S3021中，依次选择所述N张第一Raw图像中任一张Raw图像作为基准图像，可以采用的一种方式为：将N张第一Raw图像依次标记为第1图像、第2图像、第3图像......第N图像，然后依次分别选择第1 图像、第2图像、第3图像......第N图像作为基准图像。
在一个实施例中，步骤S3022中，分别检测所述基准图像与其他N-1张第一Raw图像的差异点，具体包括如下步骤：
将所述N张第一Raw图像均划分为G个网格，其中，G为大于等于2的整数；
采用对齐算法，计算所述基准图像的每一个网格内容与其他N-1张第一Raw 图像相对应网格内容的差异点。
在一个实施例中，将所述N张第一Raw图像均划分为G个网格，其中，G为大于等于2的整数，可以采用多种方式将图像划分为多个网格，常见的网格可以分为两类：结构化网格和非结构化网格；结构化网格：单元结点之间的连接方式只有有限的几种，所生成的网格体区域内的所以内部结点都有相同数量的相邻单元和相同数量的相邻结点，对应二维平面或三维曲面，结构化网格生成的网格单元一般都是四边形，三维实体空间则主要是六面体；非结构化网格，网格单元节点之间可以以任意的形式连接，不需要具有相同的相邻单元，网格区域内的不同节点之间的连接数目可以不同，对应二维平面或三维曲面，非结构化网格生成的网格单元一般都是三角形，三维实体空间则主要是四面体。常见的结构化网格生成方法，一般有映射法、几何分解法等；非结构性网格的生成方法，一般有八叉树法、四叉树法、Delaunay三角化法等。
应当理解，上述只是列举常见的一些网格生成方法，本发明实施例并不局限于此，本发明实施例可以采用上述的任一种或者多种方法将所述N张第一Raw 图像均划分为G个网格，也可以采用现有技术中的其他网格生成方法，在此不再赘述。
进一步地，应当理解，划分成的G个网格可以是任意形状，比如可以是AXA 的网格，或者是AXB的网格，其中A和B不相等，且均为大于等于2的整数。
在一个实施例中，采用对齐算法，计算所述基准图像的每一个网格内容与其他N-1张第一Raw图像相对应网格内容的差异点，其中，对齐算法可以是任意的图像对齐算法，例如：基于像素值互相关的方法、序贯相似检测算法、基于傅里叶变换的相位相关算法、基于互信息的对齐算法、基于最优化的图像对齐方法是Lucas-Kanade算法及其改进算法。
在一个实施例中，步骤S3023中，根据所述差异点，对所述基准图像进行相应处理，得到待融合图像，具体包括如下步骤：
若检测到所述差异点为杂乱方向上移动造成的差异，则删除所述N张第一 Raw图像中的相应网格，得到N张待融合图像；
若检测到所述差异点为单一方向上移动造成的差异，则将所述N-1张第一 Raw图像对应的网格相对于所述基准图像在所述单一方向的反方向上进行平移，将N-1张平移后图像和所述基准图像作为N张待融合图像。
在一个实施例中，所述杂乱方向上移动造成的差异，是相对于单一方向上移动造成的差异而言的，即所述杂乱方向上移动造成的差异包含至少在两个方向上存在移动差异。进一步地，所述移动造成的差异，指的是在两个网格在设定的方向上存在偏移差，比如，网格1和网格2，网格1为对应的第一Raw图像上的一个网格，网格2为基准图像上对应的网格，均设定为在X和Y两个方向上检测差异点，若网格1与网格2在X和Y方向均上存在偏移差，则表示网格1 和网格2之间的差异点为杂乱方向上移动造成的差异，则删除网格1和网格2。进一步地，如上所述，若网格1和网格2仅仅在X或者Y方向上存在偏移差，则表示网格1和网格2之间的差异点为单一方向上移动造成的差异，则将网格2 相对于网格1在所述单一偏移方向的反方向上做一个平移，确保平移后的网格1 和网格2之间不存在任意方向上的差异点。
在一个实施例中，步骤3024中，将所述待融合图像进行逐像素加权融合处理，得到相应的第二Raw图像，其中，所述逐像素加权融合处理，一般是直接对图像的像素点加权计算，权值选取的算法直接影响融合图像的效果，基于如何有效地选择融合权值系数，一般还可以分为平均加权融合算法(直接将两幅图像对应像素取均值处理)、多尺度加权梯度的融合算法、、主成分分析 (Principal Component Analysis，PCA)等。
应当理解，步骤S3024中的逐像素加权融合处理，并不是步骤S302中融合处理的唯一方式，只是其中一种可选方式而已，所述逐像素加权融合处理也可以用其他像素级图像融合方法来替代，例如，简单点逐像素相加融合处理及基于多尺度变换的融合方法等，其中，所述逐像素相加融合处理，一般是指两幅或者多幅大小相同的图像对应位置像素的相加运算，以产生一副新的含有两幅或者多幅图像信息的图像的方法。应该理解，两幅或者多幅255灰度级图像对应坐标位置像素值的相加，其结果必然会超过其最大的灰度表示范围255，显然对图像相加运算的结果都需要进行处理，基本方法有三种：一种是将两像素或者多像素灰度值相加后的平均值作为相加结果；一种是根据两幅图像或者多幅图像所有像素灰度值相加结果的最小值和最大值情况，作等比例缩小，使其结果灰度值符合O至255的灰度值范围；还有一种是当两像素或者多像素灰度值相加后的值超过255时，取255即可。
进一步地，在本发明实施例中，可以将多张待融合图像进行逐像素平均加权融合处理，然后取多像素灰度值相加后的平均值作为相加结果，即作为相应的第二Raw图像的像素灰度值，这个过程中，因为采取了多像素灰度值相加的平均值作为相应的第二Raw图像的像素灰度值，可以有效减少待融合图像之间的随机噪声。
S303、将所述第一Raw图像逐像素减去相对应的所述第二Raw图像，得到相对应的残差噪声图像。
在一个实施例中，将所述第一Raw图像逐像素减去相对应的所述第二Raw 图像，得到相对应的残差噪声图像，其中，所述逐像素相减，一般是指两幅大小相同的图像对应位置像素的相减运算，以产生一副新的含有两幅图像信息的图像的方法。当两幅255灰度级图像对应坐标位置像素值相减的结果大于或等于零时，则取其为结果图像中对应位置像素的灰度值，当相减结果小于零时，一般都是取负值为结果值。当然，对于某些特殊的应用目的，也可以取其绝对值为结果值。进一步地，在本发明实施例中，将所述第一Raw图像逐像素减去相对应的所述第二Raw图像，得到相对应的残差噪声图像，其中，所述残差噪声图像包含所述第一Raw图像与所述第二Raw图像的差异信息。
S304、基于所述第一Raw图像及所述残差噪声图像，建立样本图像数据库。
在一个实施例中，所述基于所述第一Raw图像及所述残差噪声图像，建立样本图像数据库，具体包括：
若所述第一Raw图像及所述残差噪声图像的Bayer阵列不一致，则对所述第一Raw图像及所述残差噪声图像进行转换处理，得到Bayer阵列一致的第一 Raw图像及残差噪声图像。
其中，因为Raw图像Bayer阵列一般有四种格式：RGGB(a)，BGGR(b)， GBRG(c)，GRBG(d)。在一个实施例中，所述转换处理，即将所述第一Raw 图像与相对应的残差噪声图像进行Bayer阵列格式的转换，目的是使得样本图像数据库中，第一Raw图像及相对应的残差噪声图像的Bayer阵列格式保持一致；进一步地，为了清楚说明如何进行所述转换处理，举例如下：若第一Raw 图像的Bayer阵列格式为“RGGB”，当第一Raw图像相对应的残差噪声图像的 Bayer阵列格式不是“RGGB”时，可以采取如下方式进行转换处理，当相对应残差噪声图像的Bayer阵列格式为“GBRG”时，则在相对应残差噪声图像的上下边界各扩充一个像素；当相对应残差噪声图像的Bayer阵列格式为“GRBG”时，则在相对应残差噪声图像的左右边界各扩充一个像素；当相对应残差噪声图像的Bayer阵列格式为“BGGR”时，则在相对应残差噪声图像的上下左右边界各扩充一个像素。
进一步地，为了建立样本图像数据库，可以通过上述获取同一场景下N张图像的方法来分别获取M组场景下的图像数据集合，在此不再赘述，其中，M为大于等于2的整数。
S305、基于所述样本图像数据库进行模型训练，得到图像降噪模型。
在一个实施例中，基于所述样本图像数据库进行模型训练，得到图像降噪模型，具体包括：
将所述Bayer阵列一致的第一Raw图像作为输入图像数据，将与所述第一 Raw图像相对应的Bayer阵列一致的残差噪声图像作为对应的输出图像数据，进行模型训练，得到图像降噪模型。
在一个实施例中，在完成样本图像数据集合的构建之后，即可将第一Raw 图像集合作为训练输入、将对应的残差噪声图像集合作为目标输出，按照预先设定的训练算法来进行模型训练，以训练得到用于进行图像降噪处理的图像降噪模型。
其中，训练算法为机器学习算法，机器学习算法可以通过不断特征学习来对数据进行处理。机器学习算法可以包括：决策树算法、逻辑回归算法、贝叶斯算法、神经网络算法(可以包括深度神经网络算法、卷积神经网络算法以及递归神经网络算法等)、聚类算法等等。
需要说明的是，对于选取何种训练算法进行图像降噪模型的训练，可由本领域技术人员根据实际需要进行选取，比如，本申请实施例可以选取卷积神经网络算法来进行模型训练，以此来得到图像降噪模型。
应当理解，样本图像数据可以包含M组场景下的图像数据集合，此时每一组场景下包含N张Bayer阵列不一致的第一Raw图像，此时的样本图像数据包含M组场景下的第一Raw图像及对应的残差噪声图像，进一步地，当M和N的取值越来越大时，样本图像数据库中包含海量的训练数据，此时得到的图像降噪模型也会越来越精准。
在一个实施例中，先判断待处理Raw图像与上述S301-S305步骤得到的预设图像降噪模型的Bayer阵列是否一致，如果不一致，则采用步骤S304中的转换处理(在此不再赘述)，使得待处理Raw图像的Bayer阵列与上述图像降噪模型的Bayer阵列保持一致，然后将待处理Raw图像输入上述S301-S305步骤得到的预设图像降噪模型，得到待处理Raw图像对应的残差噪声图像，将残差噪声图像的Bayer阵列转换成与待处理Raw图像一致，然后通过逐像素加权融合处理，得到最终降噪Raw图像。
在一个实施例中，经过上述步骤S301-S302后，将得到的第二Raw图像作为输出图像，将对应的第一Raw图像作为输入图像，按照预先设定的训练算法来进行模型训练，以训练得到用于进行图像降噪处理的图像降噪模型，应当理解，此处的模型训练与步骤S305中的相同，在此不再赘述。仍然先判断待处理 Raw图像与本实施例中得到的图像降噪模型的Bayer阵列是否一致，如果不一致，则采用步骤S304中的转换处理(在此不再赘述)，使得待处理Raw图像的Bayer 阵列与上述预设图像降噪模型的Bayer阵列保持一致，然后将待处理Raw图像输入本实施例中得到的预设图像降噪模型，可以直接得到待处理Raw图像的最终降噪Raw图像。
应当理解，图像降噪模型的生成方法多种多样，上述实施例只是列举其中的两种图像降噪模型生成方法及对应的Raw图像降噪方法，但S202中的预设图像降噪模型并不局限于上述实施例，即S202中的Raw图像降噪方法并不局限于上述实施例中的降噪方法，本领域技术人员也可以采用其他Raw图像降噪方法来实现Raw图像降噪目的。
S203，对所述降噪Raw图像进行转换处理，得到RGB图像。
在一个实施例中，采用插值算法对所述降噪Raw图像进行处理，得到RGB 图像；
在一个实施例中，采用插值算法对降噪Raw图像进行处理，得到RGB图像，这里的插值算法可以是最近邻插值法、双线性插值、双三次、立体插值、Demosaic 算法等，因为原始Raw图像中的每个像素只包含R/G/B三个分量中的一个，为了得到RGB图像，需要将每个像素缺少的另两个分量通过插值算法进行补充，从而得到RGB图像。
S204，对所述RGB图像进行亮度修正处理，得到目标亮度修正图像。
在一个实施例中，对所述RGB图像进行亮度修正处理，得到目标亮度修正图像，具体可以采用如下步骤：
S2041，获取所述RGB图像的图像亮度统计值；
S2042，获取环境光照强度统计值，根据所述环境光照强度统计值获取拍摄环境对应的标准亮度统计值；所述环境光照强度统计值为所述RGB图像所在拍摄环境的光照强度统计值；
S2043，根据所述标准亮度统计值与所述图像亮度统计值确定目标亮度修正系数；
S2044，根据所述目标亮度修正系数对所述RGB图像进行亮度修正，得到目标亮度修正图像。
在一个实施例中，步骤S2041中，图像亮度统计值是指图像亮度的综合数量表现，从图像亮度统计值中可以获得图像亮度的整体情况，统计值是经过统计得到的，例如可以是平均值或者是中位数。
具体的，终端在获取RGB图像之后，通过将RGB图像转换成灰度图之后统计得到亮度直方图，亮度直方图可以表示图像的每个亮度级别的像素数量，通过亮度直方图获取到RGB图像的平均亮度。
在一个实施例中，步骤S2042中，环境光照强度统计值是指环境光照强度的综合数量表现，通过环境光照强度统计值可以获知环境光照强度的整体情况，统计值是经过统计得到的，例如可以是平均值或者是中位数。
具体的，终端在获取RGB图像对应的图像亮度统计值和环境光照强度统计值之后，根据环境光照强度统计值和目标亮度统计值之间的对应关系，可以获取到环境光照强度统计值对应的目标亮度统计值。
在一个实施例中，可以根据感光度、快门速度以及光圈值得到曝光参数，将图像亮度统计值除以曝光参数，作为对数函数的真数，进行对数计算，得到环境光照强度统计值。环境光照强度统计值表示为EE，图像亮度统计值表示为 V0，目标亮度统计值表示为V，I表示感光度，s为快门速度单位为秒，a为光圈值，环境光照强度统计值与图像亮度统计值之间的关系可以表示为：
EE＝log2(V0/(I*s/a2)
不同的环境光照强度统计值有不同的目标亮度统计值，假设目标亮度统计值为V，则环境光照强度统计值EE与目标亮度统计值为V之间有一一对应关系。可以理解的，不同的环境光照强度下拍摄的图像，用户喜欢的图像亮度也不同。比如光照充足的晴天日间拍摄的照片，人们就更喜欢画面偏亮的图片，所以此环境光照强度统计值EE对应的目标亮度统计值V就偏大，而对于夜间室外拍摄的图像，合适亮度的图像的环境光照强度统计值EE对应的目标亮度统计值V相对较小。
在一个实施例中，环境光照强度统计值EE与目标亮度统计值为V之间有一一对应关系可以记作f。例如，假设以图像像素点亮度值范围在0到1之间，f 可以是映射表，如表1所示，为映射表f中部分数据：
EE(cd/m<sup>2</sup>) -12 -10 -8 -4 -2 3 5
V(cd/m<sup>2</sup>) 0.025 0.05 0.2 0.25 0.375 0.5 0.5
表1环境光照强度统计值与目标亮度统计值映射表
从表1中可以得到不同的环境光照强度统计值EE与相对应的目标亮度统计值V之间的数值关系，并且数值关系唯一。基于这种一一对应关系，目标亮度统计值V可以表示为f(EE),可以通过调整此对应关系中的值，来调整某个光照强度下的目标亮度统计值f(EE)，从而使图像能够实现更亮或者更暗的效果。
在一个实施例中，步骤S2043中，亮度修正系数为对图像进行亮度修正的参数。可以通过亮度修正系数把图像调到合适亮度，例如调亮或者调暗。
具体的，在终端已经获取到目标亮度统计值与图像亮度统计值之后，通过目标亮度统计值与图像亮度统计值之间的函数关系，例如，目标亮度统计值与图像亮度统计值之间存在比值类型的函数关系，可以确定目标亮度修正系数。
在一个实施例中，目标亮度统计值表示为f(EE),图像亮度统计值表示为 V0，通过目标亮度修正系数、目标亮度统计值以及图像亮度统计值之间的函数关系，得到目标亮度修正系数。例如，目标亮度修正系数为β，β可表示为：β＝log2(f(EE)/V0)。
在一个实施例中，步骤S2044中，具体的，终端根据确定的目标亮度修正系数对RGB图像进行亮度修正，获取修正后的RGB图像，作为目标亮度修正图像。例如，可以通过将RGB图像每个像素值与目标亮度修正系数相乘，得到亮度修正后的像素值，修正后的像素值组成的图像为目标亮度修正图像。
在一个实施例中，可以直接利用目标亮度修正系数对RGB图像进行亮度修正，使修正后的RGB图像的图像亮度统计值接近目标亮度统计值。例如，假设R GB图像中每个像素值为X，利用目标亮度修正系数e1对RGB图像进行亮度修正，则得到的目标亮度修正图像相对应位置的像素值为X*e1；也可以通过与目标亮度修正系数有对应关系的函数进行计算，得到最终的修正系数，利用该最终的修正系数对RGB图像进行亮度修正。例如，与目标亮度修正系数相关的函数为指数函数，可以亮度修正系数作为指数，将预设值作为底数，进行指数计算，预设值为大于1的数。例如，假设预设值为2，则最终得到的修正系数为2e1，则得到的目标亮度修正图像相对应位置的像素值为X*2e1。
S205，对目标亮度修正图像进行像素动态范围映射，得到目标动态图像，目标动态图像的像素动态范围小于RGB图像的像素动态范围。
具体的，动态范围映射是指将图像由一个动态范围映射到另一个动态范围。 RGB图像的像素动态范围是大于目标动态图像的像素动态范围的，为了能够使图像的像素动态范围适应有限动态或者低动态的显示设备，需要将终端得到的目标亮度修正图像进行像素动态范围映射，将高动态图像转换成低动态图像，以便于映射后的图像能够适应低动态的显示设备。
在一个实施例中，当利用亮度修正系数对RGB图像进行修正得到目标亮度修正图像之后，此时的目标亮度修正图像仍然为高动态图像，需要将其通过动态范围映射方式转换为低动态图像，以便于低动态图像作为目标动态图像，能够适用于低动态设备。
在一个实施例中，可以利用伽马变换实现从高动态图像到低动态图像之间的变换。例如，从像素值范围为0到65535的高动态图像转换为像素值范围为0 到255的低动态图像。
上述图像处理方法中，通过获取待处理的RGB图像，获取该RGB图像的图像亮度统计值；通过获取环境光照强度统计值，根据该环境光照强度统计值获取拍摄环境对应的目标亮度统计值，通过上述的目标亮度统计值与图像亮度统计值确定目标亮度修正系数，通过该目标亮度修正系数对RGB图像进行亮度修正，得到目标亮度修正图像。可以通过环境光照强度确定图像的修正参数，并利用修正参数对RGB图像进行亮度修正，可以得到合适亮度、保留更多细节的图像。通过对目标亮度修正图像进行像素动态范围映射，得到目标动态图像，其中目标动态图像的像素动态范围小于RGB图像的像素动态范围，从而实现了从高动态图像转换为低动态图像。通过上述过程，实现了通过拍摄图像时的环境光照强度和图像亮度统计值确定图像修正参数，并利用图像修正参数对图像进行修正，在保留更多细节和合适亮度的基础上，从高动态图像到低动态图像的图像处理过程，提高了图像处理效果。
在一个实施例中，根据目标亮度统计值与图像亮度统计值确定目标亮度修正系数包括以下步骤的至少一个：当目标亮度统计值大于图像亮度统计值时，获取亮度增强系数，作为目标亮度修正系数；当目标亮度统计值小于图像亮度统计值时，获取亮度减弱系数，作为目标亮度修正系数。
具体的，亮度增强系数使得亮度增强，当目标亮度统计值大于图像亮度统计值时，目标亮度修正系数会对图像有亮度增强用，此时的目标亮度修正系数可以称为亮度增强系数。亮度增强系数可以对图像亮度线性增强，也可以对图像亮度非线性增强。亮度增强系数以及亮度减弱系数可以是预设的，也可是通过预设的算法计算得到。例如可以计算目标亮度统计值与所述图像亮度统计值的亮度比值；将亮度比值作为对数函数中的对数进行对数计算，得到第一亮度修正系数，其中对数函数的指数大于1。
在一个实施例中，目标亮度统计值可以表示为f(EE),图像亮度统计值为 V0，目标亮度修正系数为α，α可表示为：
α＝2e
其中，e可表示为：
e＝log2(f(EE)/V0)
当目标亮度统计值大于图像亮度统计值时，f(EE)/V0为大于1的正数，此时e为大于0的正数，则α为大于1的正数，将α乘以图像的像素值，将会使亮度增大，此时e可以称为亮度增强系数，可以对图像亮度进行增强调整。当目标亮度统计值小于图像亮度统计值时，f(EE)/V0为小于1的正数，此时e为小于0的负数，则α为小于1的正数，此时e可以称为亮度减弱系数，可以对图像亮度进行减弱。
本实施例中，通过目标亮度统计值与图像亮度统计值，能够达到确定目标亮度参数的目的，利用目标亮度参数可以对图像进行亮度增强或者衰减。
在一个实施例中，目标亮度修正系数包括第一亮度修正系数，根据目标亮度统计值与图像亮度统计值确定目标亮度修正系数包括：计算目标亮度统计值与图像亮度统计值的亮度比值；将亮度比值作为对数函数中的对数进行对数计算，得到第一亮度修正系数。
具体的，终端可以通过目标亮度统计值与图像亮度统计值能够得到第一亮度修正系数，例如先计算目标亮度统计值与图像亮度统计值的亮度比值。例如，目标亮度统计值表示为f(EE),图像亮度统计值为V0，计算比值表示为a，则a 可表示为：
a＝f(EE)/V0
第一亮度修正系数可表示为e1，其中对数函数的指数大于1，例如，e1是以某种整数为底的指数函数，e1能够随着指数函数的指数的变化而变化。例如， e1为以2为底，单调递增的对数函数。
e1＝log2a；
本实施例中，对数函数的指数大于1，则使得亮度比值与第一亮度修正系数成正相关关系，通过目标亮度统计值与图像亮度统计值的亮度比值计算得到第一亮度修正系数，使得亮度比值反映目标亮度统计值与图像亮度统计值的大小关系，当目标亮度统计值大于所述图像亮度统计值时，第一亮度增强系数为亮度增强系数。当目标亮度统计值小于所述图像亮度统计值时，第一亮度增强系数为亮度减弱系数。因此使得调整后的图像，与拍摄环境所在的环境亮度是匹配的。
在一个实施例中，如图4所示，目标亮度修正系数还包括第二亮度修正系数以及第三亮度修正系数；根据目标亮度统计值与图像亮度统计值确定目标亮度修正系数包括：
S401，对第一亮度修正系数进行减少处理，得到第二亮度修正系数。
具体的，在得到第一亮度修正系数之后，可以以第一亮度修正系数为基础，对第一亮度修正系数进行减少处理，可以得到第二亮度修正系数。
在一个实施例中，对第一亮度修正系数进行减少处理可以通过减少相应的百分比形式。例如，原有修正参数为b，可以通过减少0.1b的形式，得到减少后得到的第二亮度修正系数b1＝b-0.1b＝0.9b。
在一个实施例中，对第一亮度修正系数进行减少处理可以通过减少相应的系数数值形式。例如，原有修正参数为b，可以通过减少数值m的形式，得到减少后得到的第二亮度修正系数b1＝b-m，其中m可以为任意正数，例如为3。
S402，对第一亮度修正系数进行增加处理，得到第三亮度修正系数。
具体的，在得到第一亮度修正系数之后，可以以第一亮度修正系数为基础，对第一亮度修正系数进行增加处理，可以得到第三亮度修正系数。
在一个实施例中，可以通过增加相应的百分比形式对第一亮度修正系数进行增加处理。例如，原有修正参数为b，可以通过增加0.1b的形式，得到减少后得到的第三亮度修正系数b1＝b+0.1b＝1.1b。
在一个实施例中，对第一亮度修正系数进行增加处理可以通过增加相应的系数数值形式。例如，原有修正参数为b，可以通过增加数值n的形式，得到增加后得到的第三亮度修正系数b1＝b+n，其中n为任意正数，例如为3。
S403，分别根据第一亮度修正系数、第二亮度修正系数、第三亮度修正系数对RGB图像进行亮度修正，得到第一亮度修正系数修正得到的第一亮度修正图像、第二亮度修正系数修正得到的第二亮度修正图像以及第三亮度修正系数修正得到的第三亮度修正图像。
具体的，在终端获取到第一亮度修正系数、第二亮度修正系数、第三亮度修正系数之后，利用第一亮度修正系数、第二亮度修正系数和第三亮度修正系数分别对RGB图像进行处理后，得到第一亮度修正图像、第二亮度修正图像以及第三亮度修正图像。例如，第一亮度修正系数作为目标修正系数，相对应的第一亮度修正图像作为目标修正图像，因第二亮度修正图像为对亮度修正系数进行减少处理对应的修正图像，则第二亮度修正图像为较暗的图像；同理，第三亮度修正图像为较亮的图像。
在一个实施例中，第一亮度修正系数较大时，第三亮度修正系数可以配置为更接近于第一亮度修正系数；第一亮度修正系数较小时，第二亮度修正系数可以配置为更接近于第一亮度修正系数。因此可以更好的平衡画面中各个亮度等级的细节，以便于经过修正系数修正后的图像能够体现出目标图像的更多细节。
S404，分别对第一亮度修正图像、第二亮度修正图像以及第三亮度修正图像进行像素动态范围映射，得到第一亮度修正图像对应的第一映射动态图像、第二亮度修正图像对应的第二映射动态图像以及第三亮度修正图像对应的第三映射动态图像。
在一个实施例中，可以通过伽马变换方式，分别对第一亮度修正图像、第二亮度修正图像以及第三亮度修正图像进行像素动态范围映射，得到第一亮度修正图像对应的第一映射动态图像、第二亮度修正图像对应的第二映射动态图像以及第三亮度修正图像对应的第三映射动态图像。从而实现高动态的亮度修正图像变换为低动态范围的映射动态图像，并且得到的是不同亮度的低动态范围映射动态图像。
在一个实施例中，低动态范围图像可以是八位的低动态范围图像，高动态的修正图像可以是十六位的高动态范围图像，高动态图像是红绿蓝三通道、像素值范围是0到65535之间的图像，低动态范围图像是红绿蓝三通道、像素值范围是0到255之间的图像。
S405，对第一映射动态图像、第二映射动态图像以及第三映射动态图像进行融合处理，得到目标动态图像。
其中，融合处理是指根据一定的图像融合方法对不同亮度的图像进行融合，以便于使处理后的图像具有更丰富的图像细节。
具体的，首先对第一映射动态图像、第二映射动态图像以及第三映射动态图像进行降采样；根据降采样后的第一映射动态图像、第二映射动态图像以及第三映射动态图像，获取第一映射动态图像对应的第一权值图、第二映射动态图像对应的第二权值图和第三映射动态图像对应的第三权值图；将降采样后的第一映射动态图像、第二映射动态图像以及第三映射动态图像分别转换成灰度图像，对三张灰度图像及第一权值图、第二权值图和第三权值图做多分辨率融合得到多分辨率融合灰度图像；根据此灰度图像，和降采样后的第一映射动态图像、第二映射动态图像以及第三映射动态图像转换成的三张灰度图像和第一权值图、第二权值图和第三权值图，通过如下公式得到新的权值图，分别为第四权值图、第五权值图和第六权值图。假设新的权值图表示为wi'，第一权值图、第二权值图和第三权值图表示为wi，其中，i∈(1,2,3)，多分辨率融合灰度图像表示为If，第一映射动态图像、第二映射动态图像以及第三映射动态图像分别转换成的灰度图像分别表示为I1、I2和I3，则新的权值图表示为wi'可以通过如下公式求得：
wi'＝kwi
Figure RE-GDA0002896006080000211
If'＝w1I1+w2I2+w3I3,i∈(1,2,3)
再将新的权值图第四权值图、第五权值图和第六权值图分别上采样后，形成和第一映射动态图像、第二映射动态图像以及第三映射动态图像尺寸相同的图像，将第四权值图、第五权值图和第六权值图和第一映射动态图像、第二映射动态图像以及第三映射动态图像加权融合后，得到最终的融合后的目标动态图像。可以理解的，上述图像融合的方法可以使用其他能实现相同效果的融合方法。
在一个实施例中，多分辨率融合方法也可以采用双正交小波变换的多分辨率融合方法，可以利用多张图像的冗余及互补信息，使融合后的图像可以包含更加丰富、全面的信息。
在一个实施例中，可以通过拉普拉斯金字塔加权融合方法对第一映射动态图像、第二映射动态图像以及第三映射动态图像进行融合处理，得到目标动态图像。
本实施例中，通过利用第一亮度修正系数分别得到第二亮度修正系数和第三亮度修正系数，再利用上述三种修正系数得到第一亮度修正图像、第二亮度修正图像以及第三亮度修正图像，并通过第一亮度修正图像、第二亮度修正图像以及第三亮度修正图像得到相应的映射动态图像，将上述三张映射动态图像进行融合处理，得到目标动态图像。能够达到通过不同亮度图像之间细节互补，使亮度较高的图像更多使用亮度较低的图像的值，使亮度较低的图像更多使用亮度较高的图像的值，使目标动态图像能够保留更多图像细节，提高图像处理效果的目的。
在一个实施例中，如图5所示，对第一映射动态图像、第二映射动态图像以及第三映射动态图像进行融合处理，得到目标动态图像包括：
S501，对第一映射动态图像、第二映射动态图像以及第三映射动态图像进行融合处理，得到融合处理图像。
具体的，为了保留更多的图像细节，分别利用第一映射动态图像、第二映射动态图像以及第三映射动态图像做融合处理，得到融合处理图像。
在一个实施例中，第一映射动态图像、第二映射动态图像以及第三映射动态图像分别都是像素值处在0到255之间的低动态图像，对上述三张映射动态图像进行融合处理后，得到融合处理图像也为像素值处在0到255之间的低动态图像。
S502，获取融合处理图像的图像区域。
具体的，融合处理图像虽然保留了高动态范围图像中的高光和阴影细节，但是由于在一些原本有色彩信息的高光区域，如彩色招牌灯箱，不同亮度修正后的修正图像会因为高光截断而呈现不同的颜色。如较亮图像会因为亮度修正而过曝，导致该处画面变白。因此，融合处理方法得到的图像，在高光出的色彩经常会有偏色的现象。其中，图像区域可以是融合图像中的部分区域，也可以是融合图像的全部区域。
S503，获取参考图像区域。
具体的，融合后的图像与第二映射动态图像尺寸是相同的，在第二映射动态图像中，有与融合后的图像相对应的图像区域，获取参考图像区域。其中，参考图像区域可以是第二映射动态图像中的部分区域，也可以是第二映射动态图像中的全部区域。
S504，计算融合图像的图像区域相对于参考图像区域的局部映射增益值。
其中，局部映射增益值是指该映射值是图像区域对应的映射增益值。
在一个实施例中，局部映射增益值为融合后的图像中图像区域与第二映射动态图像中参考图像区域做逆伽马变换，对逆伽马变换后的两个亮度值做比值计算，得到融合后图像每个像素的亮度值相对第二映射动态图像对应像素亮度值的线性增益值。
在一个实施例中，可以通过对逆伽马变换后的融合后的图像中待处理图像区域与第二映射动态图像中参考图像区域的两个亮度值做差值计算，得到融合后图像每个像素的亮度值相对第二映射动态图像对应像素亮度值的线性增益值。
S505，根据局部映射增益值对RGB图像进行色调映射处理，得到目标动态图像。
具体的，在获取局部映射增益值之后，对RGB图像进行色调映射处理，做伽马变换之后，将RGB图像转换为像素值为0到255之间的八位低动态范围图像。
在一个实施例中，将RGB图像待处理图像区域的像素值和对应的第二映射动态图像像素对应的第二亮度参数修正系数的乘积，再与对应像素位置的局部映射增益值进行倍数运算，再对增益之后的像素值做伽马变换，转换为像素值为0到255之间，八位低动态的目标动态图像。经过以上处理，可以保留图像的更多细节，提高图像处理的效果，使高光处颜色更准确。
在一个实施例中，当增益后的像素值超过预设的像素值时，限制为预设像素值。例如，预设像素值限制为65535时，增益后的像素值超过65535的部分都限制为65535。
本实施例中，通过第一映射动态图像、第二映射动态图像以及第三映射动态图像得到融合处理图像，通过局部映射增益值可以对融合处理图像中的待处理图像区域进行处理，处理后的融合图像再经过伽马变化，得到目标动态图像，能够达到在图像处理之后得到保留图像细节更多的目标图像。
在一个实施例中，如图6所示，获取环境光照强度统计值包括：
S601，获取RGB图像对应的感光度、快门速度以及光圈值。
其中，感光度是指获取RGB图像时相机对光的敏感程度，感光度过高会影响图像质量，虽然获取的图像亮度会偏亮，但是感光度过高会使感光度过高，图像噪点更多；快门速度是指使用相机获取图像时，快门的开启时间，快门速度越快，开启时间越短，进入相机的光线越少，图像越暗；反之，快门速度越慢，开启时间越长，进入相机的光线越多，图像越亮。光圈值是指相机镜头通光的相对值，光圈值越小，同一单位时间内进光量越大；反之，光圈值越大，同一单位时间内进光量越大。
具体的，环境光照强度统计值与感光度、快门速度以及光圈值存在函数关系，获取环境光照强度统计值，需要首先获取到上述感光度、快门速度以及光圈值参数。
S602，根据感光度、快门速度以及光圈值得到第一参数值。
具体的，在获取到感光度、快门速度以及光圈值之后，通过感光度、快门速度以及光圈值得到第一参数值，因快门速度提高一倍，例如，按1秒、1/2秒、 1/4秒、1/8秒的序列排列，镜头通光量会减少一半；光圈值每增加一档，例如， 1.4、2.0、4.0、5.6、8.0等，通光量也会减少一半；快门速度是按照倍数增加或者减少，光圈值是按照固定数值的平方根成倍增加或者减少的；感光度增加一倍，通光量减少一半。曝光不足时，可以通过设置更大的光圈、更慢的快门速度和更高的感光值来调整。避免曝光过度，可以通过设置更小的光圈、更快的快门速度和更低的感光值来调整。
在一个实施例中，第一参数值可以利用公式来表示，公式中包括感光度、快门速度和光圈值。其中感光度表示为I，快门速度表示为s，光圈值表示为a，第一参数值表示为c，则c可以表示为：
c＝I*s/a2
S603，计算图像亮度统计值与第一参数的参数比值。
具体的，图像亮度统计值表示为V0，可以计算出图像亮度统计值与第一参数的参数比值，通过该比值可以初步判断出图像亮度统计值与获取到图像参数值之间的函数关系。
在一个实施例中，图像亮度统计值与第一参数的参数比值可以用b来表示：
b＝V0/I*s/a2
步骤S604，将参数比值作为对数函数的真数进行对数计算，得到环境光照强度统计值。
具体的，将上述参数比值作为对数函数的真数进行对数计算，可以得到环境光照强度统计值。环境光照强度统计值可以表示为EE，则EE使用公式表示为：
EE＝log2b
环境光照强度EE为大于0的数值，所以作为对数函数的真数的b大于1，预处理的图像亮度统计值大于第一参数的参数值。
本实施例中，通过RGB图像对应的感光度、快门速度以及光圈值，以及三者与图像亮度统计值之间的函数关系，能够达到获取环境光照强度统计值的目的。
在一个实施例中，终端先获取到待处理的RGB图像；通过RGB图像对应的图像亮度统计值和环境光照强度统计值获取拍摄环境对应的目标亮度统计值，通过目标亮度统计值与图像亮度统计值确定目标亮度修正系数，把此目标亮度修正系数作为第一亮度修正系数；再通过在此第一亮度修正系数的基础上增加或者减少亮度形成其他两种亮度修正系数，分别是第二亮度修正系数和第三亮度修正系数，通过三种亮度修正系数对高动态范围图像进行处理，得到三种亮度修正之后的图像，分别是经过第一亮度修正系数修正后的正常图像；第二亮度修正系数修正后的较暗的图像和经过第三亮度修正系数修正后的较亮的图像。三张图像经过伽马变换之后，将图像像素值映射到像素值范围为0到255之间的红绿蓝三通道低动态图像。映射后的三张低动态图像，再通过图像融合，得到融合后的单张图像。融合后的图像虽然保留了原高动态范围图像中的高光和阴影细节，但是由于在一些原本有色彩信息的高光区域，如彩色招牌灯箱，不同亮度修正系数修正后的图像会因为高光截断而呈现不同的颜色。如较亮图像会因为亮度修正而过曝，导致该处画面变白。融合后的图像，在高光处的色彩经常会有偏色的现象。以融合后的画面的局部亮度信息作为参考，结合较暗图相对应的局部亮度信息，得到局部色调映射增益图。提取融合后图像的像素亮度值，和三张低动态范围中较暗图的像素亮度值。对两个亮度值作逆伽马变换，对逆伽马变换后的两个亮度值做比值运算，例如除法运算，得到融合后图像每个像素的亮度值，相对于较暗图对应像素亮度值的线性增益值。RGB图像的像素值乘以较暗图所对应的亮度修正系数，再乘以对应像素位置的局部色调映射增益值，得到增益图像。增益图像中的像素值超过预设像素值时，限制为预设像素值，再对增益图像的像素值做伽马变换，转换为像素值为0～255之间，红绿蓝三通道的八位低动态范围图像。
应该理解的是，虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种图像处理装置700，包括：图像获取模块701、降噪模块702、转换处理模块703、亮度修正模块704、动态图像映射模块705，其中：
图像获取模块701，用于获取待处理Raw图像；
降噪模块702，用于对所述待处理Raw图像进行降噪处理，得到降噪Raw图像；
转换处理模块703，用于对所述降噪Raw图像进行转换处理，得到RGB图像；
亮度修正模块704，用于对所述RGB图像进行亮度修正处理，得到目标亮度修正图像；
动态映射模块705，用于对所述目标亮度修正图像进行像素动态范围映射，得到目标动态图像。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待处理Raw图像；
对所述待处理Raw图像进行降噪处理，得到降噪Raw图像；
对所述降噪Raw图像进行转换处理，得到RGB图像；
对所述RGB图像进行亮度修正处理，得到目标亮度修正图像；
对所述目标亮度修正图像进行像素动态范围映射处理，得到目标动态图像，所述目标动态图像的像素动态范围小于所述RGB图像的像素动态范围。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：
获取待处理Raw图像；
对所述待处理Raw图像进行降噪处理，得到降噪Raw图像；
对所述降噪Raw图像进行转换处理，得到RGB图像；
对所述RGB图像进行亮度修正处理，得到目标亮度修正图像；
对所述目标亮度修正图像进行像素动态范围映射处理，得到目标动态图像，所述目标动态图像的像素动态范围小于所述RGB图像的像素动态范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM) 或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理Raw图像；
对所述待处理Raw图像进行降噪处理，得到降噪Raw图像；
对所述降噪Raw图像进行转换处理，得到RGB图像；
对所述RGB图像进行亮度修正处理，得到目标亮度修正图像；
对所述目标亮度修正图像进行像素动态范围映射处理，得到目标动态图像，所述目标动态图像的像素动态范围小于所述RGB图像的像素动态范围。
2.根据权利要求1所述的方法，其特征在于，所述对所述待处理Raw图像进行降噪处理，得到降噪Raw图像，具体包括：
将所述待处理Raw图像输入预设图像降噪模型进行降噪处理，得到降噪Raw图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述降噪Raw图像进行转换处理，得到RGB图像，具体包括：
采用插值算法对所述降噪Raw图像进行处理，得到RGB图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述RGB图像进行亮度修正处理，得到亮度修正图像，具体包括：
获取所述RGB图像对应的图像亮度统计值；
获取环境光照强度统计值，根据所述环境光照强度统计值获取拍摄环境对应的目标亮度统计值；所述环境光照强度统计值为所述RGB图像所在拍摄环境的光照强度统计值；
根据所述目标亮度统计值与所述图像亮度统计值确定目标亮度修正系数；
根据所述目标亮度修正系数对所述RGB图像进行亮度修正，得到目标亮度修正图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标亮度统计值与所述图像亮度统计值确定目标亮度修正系数包括以下步骤的至少一个：
当所述目标亮度统计值大于所述图像亮度统计值时，获取亮度增强系数，作为目标亮度修正系数；
当所述目标亮度统计值小于所述图像亮度统计值时，获取亮度减弱系数，作为目标亮度修正系数。
6.根据权利要求4或5所述的方法，其特征在于，所述目标亮度修正系数包括第一亮度修正系数，所述根据所述目标亮度统计值与所述图像亮度统计值确定目标亮度修正系数包括：
计算所述目标亮度统计值与所述图像亮度统计值的亮度比值；
将所述亮度比值作为对数函数中的对数进行对数计算，得到第一亮度修正系数，其中所述对数函数的指数大于1。
7.根据权利要求6所述的方法，其特征在于，所述目标亮度修正系数还包括第二亮度修正系数以及第三亮度修正系数；所述根据所述目标亮度统计值与所述图像亮度统计值确定目标亮度修正系数包括：
对所述第一亮度修正系数进行减少处理，得到第二亮度修正系数；
对所述第二亮度修正系数进行增加处理，得到第三亮度修正系数；
所述根据所述目标亮度修正系数对所述RGB图像进行亮度修正，得到目标亮度修正图像包括：
分别根据所述第一亮度修正系数、所述第二亮度修正系数、所述第三亮度修正系数对所述RGB图像进行亮度修正，得到所述第一亮度修正系数修正得到的第一亮度修正图像、所述第二亮度修正系数修正得到的第二亮度修正图像以及所述第三亮度修正系数修正得到的第三亮度修正图像；
所述对所述目标亮度修正图像进行像素动态范围映射，得到目标动态图像包括：
分别对所述第一亮度修正图像、所述第二亮度修正图像以及所述第三亮度修正图像进行像素动态范围映射，得到所述第一亮度修正图像对应的第一映射动态图像、所述第二亮度修正图像对应的第二映射动态图像以及所述第三亮度修正图像对应的第三映射动态图像；
对所述第一映射动态图像、所述第二映射动态图像以及所述第三映射动态图像进行融合处理，得到目标动态图像。
8.根据权利要求7所述的方法，其特征在于，所述对所述第一映射动态图像、所述第二映射动态图像以及所述第三映射动态图像进行融合处理，得到目标动态图像包括：
对所述第一映射动态图像、所述第二映射动态图像以及所述第三映射动态图像进行融合处理，得到融合处理图像；
获取所述融合处理图像的图像区域；
获取参考图像区域；
计算所述融合图像的图像区域相对于参考图像区域的局部映射增益值；
根据所述局部映射增益值对所述RGB图像进行色调映射处理，得到目标动态图像。
9.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取待处理Raw图像；
降噪模块，用于对所述Raw图像进行降噪处理，得到降噪Raw图像；
转换处理模块，用于对所述降噪Raw图像进行转换处理，得到RGB图像；
亮度修正模块，用于对所述RGB图像进行亮度修正处理，得到目标亮度修正图像；
动态映射模块，用于对所述目标亮度修正图像进行像素动态范围映射，得到目标动态图像。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202011378491.5A 2020-12-01 2020-12-01 图像处理方法、装置、设备和存储介质 Pending CN112381743A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011378491.5A CN112381743A (zh) 2020-12-01 2020-12-01 图像处理方法、装置、设备和存储介质
PCT/CN2021/134712 WO2022116988A1 (zh) 2020-12-01 2021-12-01 图像处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011378491.5A CN112381743A (zh) 2020-12-01 2020-12-01 图像处理方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN112381743A true CN112381743A (zh) 2021-02-19

Family

ID=74589333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011378491.5A Pending CN112381743A (zh) 2020-12-01 2020-12-01 图像处理方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN112381743A (zh)
WO (1) WO2022116988A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837254A (zh) * 2021-02-25 2021-05-25 普联技术有限公司 一种图像融合方法、装置、终端设备及存储介质
CN113674231A (zh) * 2021-08-11 2021-11-19 宿迁林讯新材料有限公司 基于图像增强的轧制过程中氧化铁皮检测方法与系统
CN113852759A (zh) * 2021-09-24 2021-12-28 豪威科技(武汉)有限公司 图像增强方法及拍摄装置
WO2022116988A1 (zh) * 2020-12-01 2022-06-09 影石创新科技股份有限公司 图像处理方法、装置、设备和存储介质
WO2022116989A1 (zh) * 2020-12-01 2022-06-09 影石创新科技股份有限公司 图像处理方法、装置、设备和存储介质
WO2023051143A1 (zh) * 2021-09-28 2023-04-06 北京地平线信息技术有限公司 数据脱敏方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117799A1 (en) * 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
US8786625B2 (en) * 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
CN105335933B (zh) * 2014-05-27 2017-11-17 上海贝卓智能科技有限公司 一种图像对比度增强方法和装置
CN105469375B (zh) * 2014-08-28 2021-09-07 北京三星通信技术研究有限公司 处理高动态范围全景图的方法和装置
WO2018146558A2 (en) * 2017-02-07 2018-08-16 Mindmaze Holding Sa Systems, methods and apparatuses for stereo vision and tracking
CN111885312B (zh) * 2020-07-27 2021-07-09 展讯通信（上海）有限公司 Hdr图像的成像方法、系统、电子设备及存储介质
CN112381743A (zh) * 2020-12-01 2021-02-19 影石创新科技股份有限公司 图像处理方法、装置、设备和存储介质
CN112565636B (zh) * 2020-12-01 2023-11-21 影石创新科技股份有限公司 图像处理方法、装置、设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116988A1 (zh) * 2020-12-01 2022-06-09 影石创新科技股份有限公司 图像处理方法、装置、设备和存储介质
WO2022116989A1 (zh) * 2020-12-01 2022-06-09 影石创新科技股份有限公司 图像处理方法、装置、设备和存储介质
CN112837254A (zh) * 2021-02-25 2021-05-25 普联技术有限公司 一种图像融合方法、装置、终端设备及存储介质
CN113674231A (zh) * 2021-08-11 2021-11-19 宿迁林讯新材料有限公司 基于图像增强的轧制过程中氧化铁皮检测方法与系统
CN113852759A (zh) * 2021-09-24 2021-12-28 豪威科技(武汉)有限公司 图像增强方法及拍摄装置
CN113852759B (zh) * 2021-09-24 2023-04-18 豪威科技(武汉)有限公司 图像增强方法及拍摄装置
WO2023051143A1 (zh) * 2021-09-28 2023-04-06 北京地平线信息技术有限公司 数据脱敏方法和装置

Also Published As

Publication number Publication date
WO2022116988A1 (zh) 2022-06-09

Similar Documents

Publication Publication Date Title
WO2022116988A1 (zh) 图像处理方法、装置、设备和存储介质
CN111418201B (zh) 一种拍摄方法及设备
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
US11882357B2 (en) Image display method and device
CN108898567B (zh) 图像降噪方法、装置及系统
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP4234195B2 (ja) 画像分割方法および画像分割システム
CN112565636B (zh) 图像处理方法、装置、设备和存储介质
JP5319415B2 (ja) 画像処理装置、画像処理方法
WO2017101561A1 (zh) 高动态范围图像的生成方法、拍照装置和终端、成像方法
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112118388B (zh) 图像处理方法、装置、计算机设备和存储介质
WO2022000397A1 (zh) 低照度图像增强方法、装置及计算机设备
CN111242860B (zh) 超级夜景图像的生成方法、装置、电子设备及存储介质
WO2023030139A1 (zh) 图像融合方法、电子设备和存储介质
CN110266954A (zh) 图像处理方法、装置、存储介质及电子设备
Moriwaki et al. Hybrid loss for learning single-image-based HDR reconstruction
Lv et al. Low-light image enhancement via deep Retinex decomposition and bilateral learning
TWI694722B (zh) 用於高動態範圍成像的曝光位準控制、系統和方法
CN113379609A (zh) 一种图像处理方法、存储介质及终端设备
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
US11640654B2 (en) Image processing method and apparatus
CN111383171B (zh) 一种图片处理方法、系统及终端设备
CN114554106B (zh) 自动曝光方法、装置、图像获取方法、介质及设备
CN117934301A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination