CN113112428A - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents

图像处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113112428A
CN113112428A CN202110412069.5A CN202110412069A CN113112428A CN 113112428 A CN113112428 A CN 113112428A CN 202110412069 A CN202110412069 A CN 202110412069A CN 113112428 A CN113112428 A CN 113112428A
Authority
CN
China
Prior art keywords
image
layer
point data
neural network
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110412069.5A
Other languages
English (en)
Inventor
聂嘉栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202110412069.5A priority Critical patent/CN113112428A/zh
Publication of CN113112428A publication Critical patent/CN113112428A/zh
Priority to PCT/CN2022/086050 priority patent/WO2022218245A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种图像处理方法、装置、电子设备及可读存储介质，属于通信技术领域。方法包括：获取经校正处理后的RAW图像；将RAW图像输入深度卷积神经网络；通过深度卷积神经网络将RAW图像转换为RGB图像；其中，深度卷积神经网络中包含RAW图像和RGB图像的映射关系。本申请实施例中，将深度卷积神经网络融入ISP流程，通过深度卷积神经网络中训练的RAW图像和RGB图像的映射关系，进行RAW图像和RGB图像的转换，有效提升图像的质量，有较强的场景适应性，并且减少了繁杂庞大的ISP图像参数调节工作，将调参工作替换为深度卷积神经网络模型的训练工作。

Description

图像处理方法、装置、电子设备及可读存储介质
技术领域
本申请实施例涉及通信技术领域，具体涉及一种图像处理方法、装置、电子设备及可读存储介质。
背景技术
传统的图像信号处理(Image Signal Process，ISP)对传感器采集的原始(RAW)图像的处理已经达到一个很成熟的阶段，但随着用户对图像质量的要求不断提高，传统ISP的处理效果已经难以满足用户需求。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置、电子设备及可读存储介质，能够解决传统ISP的图像处理难以满足用户需求的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供一种图像处理方法，所述方法由电子设备执行，所述方法包括：
获取经校正处理后的RAW图像；
将所述RAW图像输入深度卷积神经网络；
通过所述深度卷积神经网络将所述RAW图像转换为RGB图像；
其中，所述深度卷积神经网络中包含所述RAW图像和所述RGB图像的映射关系。
第二方面，本申请实施例提供一种图像处理装置，所述装置应用于电子设备，所述装置包括：
获取模块，用于获取经校正处理后的RAW图像；
输入模块，用于将所述RAW图像输入深度卷积神经网络；
处理模块，用于通过所述深度卷积神经网络将所述RAW图像转换为RGB图像；
其中，所述深度卷积神经网络中包含所述RAW图像和所述RGB图像的映射关系。
第三方面，本申请实施例提供一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述图像处理方法的步骤。
第四方面，本申请实施例提供一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述图像处理方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品被存储在非易失的存储介质中，所述计算机程序产品被配置成被至少一个处理器执行以实现上文所述的方法的步骤。
第七方面，本发明实施例还提供一种执行装置，所述执行装置被配置成用于执行上文所述的方法。
本申请实施例中，将深度卷积神经网络融入ISP流程，通过深度卷积神经网络中训练的RAW图像和RGB图像的映射关系，进行RAW图像和RGB图像的转换，有效提升图像的质量，有较强的场景适应性，并且减少了繁杂庞大的ISP图像参数调节工作，将调参工作替换为深度卷积神经网络模型的训练工作。
附图说明
图1a为现有的图像处理方法的流程示意图；
图1b为本申请实施例提供的图像处理方法的流程示意图之一；
图2为本申请实施例提供的图像处理方法的流程示意图之二；
图3为本申请实施例提供的应用场景示意图；
图4为反卷积层的结构示意图；
图5为残差结构的示意图；
图6为本申请实施例提供的图像处理装置的结构示意图；
图7为本申请实施例提供的电子设备的结构示意图之一；
图8为本申请实施例提供的电子设备的结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
参见图1a和图1b，其中图1a示出一种传统ISP流程，图1b示出本申请实施例的ISP流程，相比较图1a和图1a，在使用深度卷积神经网络(Deep Convolutional NeuralNetwork)之前，本申请实施例ISP方法与传统ISP方法相同，在RAW域仅进行黑电平校正(Black Level Subtract)、坏点矫正(Defect Pixel Correction)、FPN校正(Fix PatternNoise Subtract)、绿失衡矫正(Green imbalance correction)、白平衡(Whiteimbalance)等容易通过标定方式修复图像的校正，同时采集必要的统计信息用于自动曝光和自动对焦，其他的RAW域图像处理和红绿蓝彩色(Red-Green-Blue，RGB)域图像处理全部用一个深度卷积神经网络代替。深度卷积神经网络的输入是RAW图像，输出是RGB图像。
本申请实施例的图像处理方法，将深度卷积神经网络融合到传统的ISP流程中，改善传统的ISP对于图像信号处理的效果，例如噪声、细节纹理、白平衡、色彩等。传统的ISP降噪，通常基于纹理和边缘检测，对不同的区域分别进行不同的滤波处理，在降低噪声的同时也牺牲了一定的细节纹理信息。深度卷积神经网络的降噪和细节纹理恢复的效果，在客观指标和主观感受上，都比传统的图像信号处理方法更佳。传统的ISP的白平衡算法，通常是参考模拟太阳光(D50)、国际标准人工日光(Artificial Daylight)(D65)、美国冷白商店光源(Cool White Fluorescent)(CWF)、美式厨窗射灯(A)等标准光源，并针对性地对蓝天、草地、混合光源等进行特殊策略处理实现。深度卷积神经网络可以通过训练RAW图和白平衡恢复后的RGB图的映射关系，实现自动白平衡恢复，取得比传统算法适应性更强的白平衡算法。最后深度卷积神经网络还可以实现图像的自动上色。
参见图2，本申请实施例提供一种图像处理方法，所述方法由电子设备执行，所述方法包括：
步骤201：获取经校正处理后的RAW图像；
在本申请实施例中，经校正处理后的RAW图像，指的是对从图像传感器或者其他图像接收装置获取的RAW图像进行校正处理后的RAW图像，具体校正处理过程可以包括如图1a和图1b中所示的：黑电平校正、坏点矫正、FPN校正、绿失衡矫正、白平衡等处理步骤。
步骤202：将RAW图像输入深度卷积神经网络；
在本申请实施例中，RAW图像作为深度卷积神经网络的输入值，通过深度卷积神经网络执行RAW图像向RGB图像的转换。
参见图3，在一些实施方式中，向深度卷积神经网络输入4×(W/2)×(H/2)的第一浮点数据；其中，W为RAW图像的宽，H为RAW图像的高。
需要说明的是，由于人眼对绿色更敏感,所以RAW图像中绿色的分量更重，具体地，RAW图像中一般是RGGB、BGGR等格式，例如一张1920×1080的RAW图，每四个像素中包含有一个R、两个G、一个B。
本申请实施例中，原始的RAW数据是宽和高为W和H的图像，由于如上所述，不同颜色的像素在图像中的数目有所差异，因此，R像素的个数占全画面的1/4，G像素的个数占全画面的1/2，B像素的个数占全画面的1/4。每个像素10bit～16bit不等，根据不同的互补金属氧化物半导体传感器(Complementary Metal-Oxide-Semiconductor sensor，CMOSsensor)有所不同，均转换成0～1的浮点值，即每个像素都对应一个浮点值。具体地，将RAW中的RGGB数据(或者BGGR)拆成4个通道(Channel)，对应深度卷积神经网络的输入是4*(H/2)*(W/2)的浮点数据，例如：1920×1080的图像可以拆分成960×540×4的图像，以减少数据计算量，将该拆分的图像作为深度卷积神经网络的输入。
步骤203：通过深度卷积神经网络将RAW图像转换为RGB图像；
在本申请实施例中，深度卷积神经网络中包含RAW图像和RGB图像的映射关系，即深度卷积神经网络可以通过训练RAW图和白平衡恢复后的RGB图的映射关系，实现自动白平衡恢复，取得比传统算法适应性更强的白平衡算法，并且还可以实现图像的自动上色。
在一些实施方式中，深度卷积神经网络包括多个第一网络层和一个第二网络层，其中第一网络层包括卷积层(Convolution，Conv)、归一化层(也可称为批量标准化层(Batch Normalization，BN))和激活单元层(也可称为线性整流函数(Rectified LinearUnit,ReLU))中至少一项，第二网络层包括反卷积层(Deconvolution，Deconv)、归一化层和激活单元层中至少一项；
参见图4，图中示出一种反卷积层的结构，反卷积层可以将W×H的图像反卷积成2W×2H的图像。
继续参见图3，在一些实施方式中，通过深度卷积神经网络将RAW图像转换为RGB图像，具体包括：
(1)通过多个第一网络层，将第一浮点数据转换为Channel×(W/2)×(H/2)的第二浮点数据，其中Channel＝32、64、128或192；
在本申请实施例中，深度卷积神经网络的基本单元组合是卷积、归一化和/或激活单元的结构，例如Conv、BN、ReLU，经过若干层卷积、归一化和/或激活单元，得到细节足够好，噪声足够少，白平衡和色彩被恢复的图像之后，这时的输出浮点数据是Channel×(W/2)×(H/2)，此时的Channel的通常值例如32、64、128、192等。
(2)通过第二网络层将第二浮点数据转换为RGB图像。
在本申请实施例中，经过一层反卷积、归一化和/或激活单元，将图像宽高放大，并最终得到RGB图像。
具体地，通过第二网络层将第二浮点数据转换为RGB图像，包括：
(a)通过第二网络层将第二浮点数据转换为3×W×H的第三浮点数据；
(b)将第三浮点数据转换为RGB图像。
在本申请实施例中，经过一层反卷积、归一化和/或激活单元，将图像宽高放大，得到3×H×W的图像，并最终将浮点数据转换为RGB图像数据，该RGB图像数据的值为0～2n-1，其中n表示该RGB数据是几比特的数据，例如RGB图像数据为8bit数据，则对应的值为0～255，从而完成ISP中的RAW图像处理和RGB图像处理的任务，例如：最终得到1920×1080×3的输出，最终输出1920×1080分辨率的图像，图像的每个像素点是RGB三个分量。
在一些实施方式中，深度卷积神经网络还包括一个第三网络层，第三网络层包括反卷积层、归一化层和激活单元层中至少一项；
在通过第二网络层将第二浮点数据转换为3×W×H的第三浮点数据之后，方法还包括：
(1)通过第三网络层将第三浮点数据转换为3×(2W)×(2H)的第四浮点数据；
(2)将第四浮点数据转换为RGB图像。
在本申请实施例中，对于有更高分辨率要求的场景，可以再增加一层反卷积归一化和/或激活单元，将图像的宽高再次放大，得到3×(2H)×(2W)的图像。
在一些实施方式中，深度卷积神经网络可以支持残差结构等组合方式，以加深网络深度，提高网络的表达效果，该残差结构可以采用现有残差结构来实现，例如：参见图5，图中示出一种现有的残差结构。
本申请实施例中，将深度卷积神经网络融入ISP流程，通过深度卷积神经网络中训练的RAW图像和RGB图像的映射关系，进行RAW图像和RGB图像的转换，有效提升图像的质量，有较强的场景适应性，并且减少了繁杂庞大的ISP图像参数调节工作，将调参工作替换为深度卷积神经网络模型的训练工作。
需要说明的是，本申请实施例提供的图像处理，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。
参见图6，本申请实施例提供一种图像处理装置600，所述装置应用于电子设备，所述装置包括：
获取模块601，用于获取经校正处理后的RAW图像；
输入模块602，用于将所述RAW图像输入深度卷积神经网络；
处理模块603，用于通过所述深度卷积神经网络将所述RAW图像转换为RGB图像；
其中，所述深度卷积神经网络中包含所述RAW图像和所述RGB图像的映射关系。
在一些实施方式中，所述输入模块602，进一步用于：
向所述深度卷积神经网络输入4×(W/2)×(H/2)的第一浮点数据；
其中，W为所述RAW图像的宽，H为所述RAW图像的高。
在一些实施方式中，所述深度卷积神经网络包括多个第一网络层和一个第二网络层，所述第一网络层包括卷积层、归一化层和激活单元层中至少一项，所述第二网络层包括反卷积层、归一化层和激活单元层中至少一项；
所述处理模块603，进一步用于：
通过所述多个第一网络层，将所述第一浮点数据转换为Channel×(W/2)×(H/2)的第二浮点数据，其中Channel＝32、64、128或192；
通过所述第二网络层将所述第二浮点数据转换为所述RGB图像。
在一些实施方式中，所述处理模块603，进一步用于：
通过所述第二网络层将所述第二浮点数据转换为3×W×H的第三浮点数据；
将所述第三浮点数据转换为所述RGB图像。
在一些实施方式中，所述深度卷积神经网络还包括一个第三网络层，所述第三网络层包括反卷积层、归一化层和激活单元层中至少一项；
所述处理模块603，还用于：
通过所述第三网络层将所述第三浮点数据转换为3×(2W)×(2H)的第四浮点数据；
将所述第四浮点数据转换为所述RGB图像。
本申请实施例中，将深度卷积神经网络融入ISP流程，通过深度卷积神经网络中训练的RAW图像和RGB图像的映射关系，进行RAW图像和RGB图像的转换，有效提升图像的质量，有较强的场景适应性，并且减少了繁杂庞大的ISP图像参数调节工作，将调参工作替换为深度卷积神经网络模型的训练工作。
本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1b和图2的方法实施例实现的各个过程，为避免重复，这里不再赘述
可选的，如图7所示，本申请实施例还提供一种电子设备700，包括存储器701，处理器702，存储在存储器701上并可在所述处理器702上运行的程序或指令，该程序或指令被处理器702执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括移动电子设备和非移动电子设备。
图8为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。
本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图x中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器810，用于：
获取经校正处理后的原始RAW图像；
将所述RAW图像输入深度卷积神经网络；
通过所述深度卷积神经网络将所述RAW图像转换为红绿蓝彩色RGB图像；
其中，所述深度卷积神经网络中包含所述RAW图像和所述RGB图像的映射关系。
可选地，所述处理器810，进一步用于：
向所述深度卷积神经网络输入4×(W/2)×(H/2)的第一浮点数据；
其中，W为所述RAW图像的宽，H为所述RAW图像的高。
可选地，所述深度卷积神经网络包括多个第一网络层和一个第二网络层，所述第一网络层包括卷积层、归一化层和激活单元层中至少一项，所述第二网络层包括反卷积层、归一化层和激活单元层中至少一项；
所述处理器810，进一步用于：
通过所述多个第一网络层，将所述第一浮点数据转换为Channel×(W/2)×(H/2)的第二浮点数据，其中Channel＝32、64、128或192；
通过所述第二网络层将所述第二浮点数据转换为所述RGB图像。
可选地，所述处理器810，进一步用于：
通过所述第二网络层将所述第二浮点数据转换为3×W×H的第三浮点数据；
将所述第三浮点数据转换为所述RGB图像。
可选地，所述深度卷积神经网络还包括一个第三网络层，所述第三网络层包括反卷积层、归一化层和激活单元层中至少一项；
所述处理器810，还用于：
通过所述第三网络层将所述第三浮点数据转换为3×(2W)×(2H)的第四浮点数据；
将所述第四浮点数据转换为所述RGB图像。
本申请实施例中，将深度卷积神经网络融入ISP流程，通过深度卷积神经网络中训练的RAW图像和RGB图像的映射关系，进行RAW图像和RGB图像的转换，有效提升图像的质量，有较强的场景适应性，并且减少了繁杂庞大的ISP图像参数调节工作，将调参工作替换为深度卷积神经网络模型的训练工作。
应理解的是，本申请实施例中，输入单元804可以包括图形处理器(GraphicsProcessing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器809可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器810可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器810中
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，所述计算机程序产品被存储在非易失的存储介质中，所述计算机程序产品被配置成被至少一个处理器执行以实现上文所述的方法的步骤。
本申请实施例提供一种执行装置，所述执行装置被配置成用于执行上文所述的方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：
获取经校正处理后的原始RAW图像；
将所述RAW图像输入深度卷积神经网络；
通过所述深度卷积神经网络将所述RAW图像转换为红绿蓝彩色RGB图像；
其中，所述深度卷积神经网络中包含所述RAW图像和所述RGB图像的映射关系。
2.根据权利要求1所述的方法，其特征在于，所述将所述RAW图像输入深度卷积神经网络，包括：
向所述深度卷积神经网络输入4×(W/2)×(H/2)的第一浮点数据；
其中，W为所述RAW图像的宽，H为所述RAW图像的高。
3.根据权利要求2所述的方法，其特征在于，
所述深度卷积神经网络包括多个第一网络层和一个第二网络层，所述第一网络层包括卷积层、归一化层和激活单元层中至少一项，所述第二网络层包括反卷积层、归一化层和激活单元层中至少一项；
所述通过所述深度卷积神经网络将所述RAW图像转换为RGB图像，包括：
通过所述多个第一网络层，将所述第一浮点数据转换为Channel×(W/2)×(H/2)的第二浮点数据，其中Channel＝32、64、128或192；
通过所述第二网络层将所述第二浮点数据转换为所述RGB图像。
4.根据权利要求3所述的方法，其特征在于，所述通过所述第二网络层将所述第二浮点数据转换为所述RGB图像，包括：
通过所述第二网络层将所述第二浮点数据转换为3×W×H的第三浮点数据；
将所述第三浮点数据转换为所述RGB图像。
5.根据权利要求4所述的方法，其特征在于，
所述深度卷积神经网络还包括一个第三网络层，所述第三网络层包括反卷积层、归一化层和激活单元层中至少一项；
在所述通过所述第二网络层将所述第二浮点数据转换为3×W×H的第三浮点数据之后，所述方法还包括：
通过所述第三网络层将所述第三浮点数据转换为3×(2W)×(2H)的第四浮点数据；
将所述第四浮点数据转换为所述RGB图像。
6.一种图像处理装置，其特征在于，所述装置应用于电子设备，所述装置包括：
获取模块，用于获取经校正处理后的RAW图像；
输入模块，用于将所述RAW图像输入深度卷积神经网络；
处理模块，用于通过所述深度卷积神经网络将所述RAW图像转换为RGB图像；
其中，所述深度卷积神经网络中包含所述RAW图像和所述RGB图像的映射关系。
7.根据权利要求6所述的装置，其特征在于，所述输入模块，进一步用于：
向所述深度卷积神经网络输入4×(W/2)×(H/2)的第一浮点数据；
其中，W为所述RAW图像的宽，H为所述RAW图像的高。
8.根据权利要求7所述的装置，其特征在于，
所述深度卷积神经网络包括多个第一网络层和一个第二网络层，所述第一网络层包括卷积层、归一化层和激活单元层中至少一项，所述第二网络层包括反卷积层、归一化层和激活单元层中至少一项；
所述处理模块，进一步用于：
通过所述多个第一网络层，将所述第一浮点数据转换为Channel×(W/2)×(H/2)的第二浮点数据，其中Channel＝32、64、128或192；
通过所述第二网络层将所述第二浮点数据转换为所述RGB图像。
9.根据权利要求8所述的装置，其特征在于，所述处理模块，进一步用于：
通过所述第二网络层将所述第二浮点数据转换为3×W×H的第三浮点数据；
将所述第三浮点数据转换为所述RGB图像。
10.根据权利要求9所述的装置，其特征在于，
所述深度卷积神经网络还包括一个第三网络层，所述第三网络层包括反卷积层、归一化层和激活单元层中至少一项；
所述处理模块，还用于：
通过所述第三网络层将所述第三浮点数据转换为3×(2W)×(2H)的第四浮点数据；
将所述第四浮点数据转换为所述RGB图像。
11.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至5中任一项所述图像处理方法的步骤。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5中任一项所述图像处理方法的步骤。
CN202110412069.5A 2021-04-16 2021-04-16 图像处理方法、装置、电子设备及可读存储介质 Pending CN113112428A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110412069.5A CN113112428A (zh) 2021-04-16 2021-04-16 图像处理方法、装置、电子设备及可读存储介质
PCT/CN2022/086050 WO2022218245A1 (zh) 2021-04-16 2022-04-11 图像处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110412069.5A CN113112428A (zh) 2021-04-16 2021-04-16 图像处理方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN113112428A true CN113112428A (zh) 2021-07-13

Family

ID=76717884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110412069.5A Pending CN113112428A (zh) 2021-04-16 2021-04-16 图像处理方法、装置、电子设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN113112428A (zh)
WO (1) WO2022218245A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638348A (zh) * 2022-05-20 2022-06-17 福思(杭州)智能科技有限公司 网络模型调整方法、装置、感知设备和存储介质
WO2022218245A1 (zh) * 2021-04-16 2022-10-20 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557584B (zh) * 2018-05-31 2022-04-26 杭州海康威视数字技术股份有限公司 图像处理方法及装置、计算机可读存储介质
CN109379572B (zh) * 2018-12-04 2020-03-06 北京达佳互联信息技术有限公司 图像转换方法、装置、电子设备及存储介质
US10997690B2 (en) * 2019-01-18 2021-05-04 Ramot At Tel-Aviv University Ltd. Method and system for end-to-end image processing
CN112529775A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种图像处理的方法和装置
CN110992272B (zh) * 2019-10-18 2023-03-14 深圳大学 基于深度学习的暗光图像增强方法、装置、设备及介质
CN111127336B (zh) * 2019-11-18 2023-05-02 复旦大学 一种基于自适应选择模块的图像信号处理方法
CN111818318B (zh) * 2020-06-12 2022-01-11 北京阅视智能技术有限责任公司 图像处理器的白平衡调谐方法、装置、设备及存储介质
CN113112428A (zh) * 2021-04-16 2021-07-13 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022218245A1 (zh) * 2021-04-16 2022-10-20 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN114638348A (zh) * 2022-05-20 2022-06-17 福思(杭州)智能科技有限公司 网络模型调整方法、装置、感知设备和存储介质

Also Published As

Publication number Publication date
WO2022218245A1 (zh) 2022-10-20

Similar Documents

Publication Publication Date Title
EP4024323A1 (en) Image processing method and apparatus
US11430209B2 (en) Image signal processing method, apparatus, and device
CN104076928B (zh) 一种调整文字显示区域色调的方法
CN111510698A (zh) 图像处理方法、装置、存储介质及移动终端
CN105450923A (zh) 图像处理方法、图像处理装置以及电子设备
CN113112428A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN103546730A (zh) 基于多摄像头的图像感光度增强方法
CN113132696B (zh) 图像色调映射方法、装置、电子设备和存储介质
CN106165392B (zh) 图像处理装置、摄影装置以及图像处理方法
CN112541868B (zh) 图像处理方法、装置、计算机设备和存储介质
CN113014803A (zh) 滤镜添加方法、装置及电子设备
CN113132695B (zh) 镜头阴影校正方法、装置及电子设备
CN107222686A (zh) 一种图像数据的处理方法和装置
CN112037160A (zh) 图像处理方法、装置及设备
CN105933616A (zh) 一种图像处理的方法及设备
CN115314617A (zh) 图像处理系统及方法、计算机可读介质和电子设备
CN113870100A (zh) 图像处理方法和电子设备
CN111901519B (zh) 屏幕补光方法、装置及电子设备
CN112437237B (zh) 拍摄方法及装置
KR20150128168A (ko) 화이트 밸런싱 장치 및 이의 구동 방법
US8462171B2 (en) Saturation contrast image enhancement
CN110838088A (zh) 一种基于深度学习的多帧降噪方法、装置及终端设备
CN112419218A (zh) 图像处理方法、装置及电子设备
CN112508820A (zh) 图像处理方法、装置及电子设备
CN112489144A (zh) 图像处理方法、图像处理装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination