CN109379572B - 图像转换方法、装置、电子设备及存储介质 - Google Patents
图像转换方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN109379572B CN109379572B CN201811473815.6A CN201811473815A CN109379572B CN 109379572 B CN109379572 B CN 109379572B CN 201811473815 A CN201811473815 A CN 201811473815A CN 109379572 B CN109379572 B CN 109379572B
- Authority
- CN
- China
- Prior art keywords
- training
- network model
- format image
- raw format
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 419
- 238000004458 analytical method Methods 0.000 claims abstract description 158
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种图像转换方法、装置、电子设备及存储介质，其中，该方法包括：获取RAW格式图像；将RAW格式图像输入至预先训练的第一网络模型，得到RAW格式图像的语义分析结果；其中，第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，第一训练样本为RAW格式的图像，第一标记训练样本为标记对应第一训练样本的语义分析结果的图像；基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。如此，能够提高图像转换的质量。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像转换方法、装置、电子设备及存储介质。
背景技术
互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)或者电荷耦合器件(charge coupled device，CCD)相机等获取到初始图像为RAW格式，且RAW格式的图像的位宽(bitwidth)一般为12bit，可以理解为RAW格式的图像每个像素点通过12bit来表示。高端相机可以达到16甚至24bit，但目前计算机系统的处理普遍位宽为8bit，相关技术中，一般是针对RGB格式的图像进行处理。如此，在对图像进行处理的过程中，需要将RAW格式的图像转换为RGB格式的图像。
RAW格式的图像位宽较大，而RGB格式的位宽较小，则将RAW格式的图像转换为RGB格式的图像过程中，需要对RAW格式的图像中的信息进行取舍。而对信息的取舍对最终转换的图像质量有直接影响。
发明内容
为克服相关技术中存在的问题，本申请提供一种图像转换方法、装置、电子设备及存储介质。
根据本申请实施例的第一方面，提供一种图像转换方法，包括：
获取RAW格式图像；
将所述RAW格式图像输入至预先训练的第一网络模型，得到所述RAW格式图像的语义分析结果；其中，所述第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，所述第一训练样本为RAW格式的图像，所述第一标记训练样本为标记对应第一训练样本的语义分析结果的图像；
基于所述RAW格式图像的语义分析结果，确定所述RAW格式图像对应的RGB格式图像。
可选的，所述基于所述RAW格式图像的语义分析结果，确定所述RAW格式图像对应的RGB格式图像，包括：
将所述RAW格式图像和所述RAW格式图像的语义分析结果，输入至预先训练的第二网络模型，得到所述RAW格式图像对应的RGB格式图像；其中，所述第二网络模型是根据多个第二训练样本以及多个第二训练样本对应的第二训练样本转换样本训练得到的，所述第二训练样本为RAW格式的图像，所述第二训练样本转换样本为对应第二训练样本的RGB格式的图像。
可选的，在将所述RAW格式图像输入至预先训练的第一网络模型，得到所述RAW格式图像的语义分析结果之后，所述方法还包括：
基于所述RAW格式图像的语义分析结果，对用户进行辅助拍摄。
可选的，训练所述第一网络模型的步骤，包括：
获取多个第一训练样本；
针对各个第一训练样本，标记出该第一训练样本的语义分析结果，得到该第一训练样本对应的第一标记训练样本；
分别将各个第一标记训练样本，输入至第一预设卷积网络模型，对所述第一预设卷积网络模型进行训练，得到训练好的第一网络模型。
可选的，所述第一预设卷积网络模型包括：预处理层、编码层、解码层和连接层。
可选的，训练所述第二网络模型的步骤，包括：
获取多个第二训练样本；
针对各个第二训练样本，确定该第二训练样本对应的第二训练样本转换样本，所述第二训练样本转换图像为RGB格式的图像；
分别将各个第二训练样本以及对应的各个第二训练样本转换样本，输入至第二预设卷积网络模型，对所述第二预设卷积网络模型进行训练，得到训练好的第二网络模型。
根据本申请实施例的第二方面，提供一种图像转换装置，包括：
第一获取模块，被配置为获取RAW格式图像；
第一确定模块，被配置为将所述RAW格式图像输入至预先训练的第一网络模型，得到所述RAW格式图像的语义分析结果；其中，所述第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，所述第一训练样本为RAW格式的图像，所述第一标记训练样本为标记对应第一训练样本的语义分析结果的图像；
第二确定模块，被配置为基于所述RAW格式图像的语义分析结果，确定所述RAW格式图像对应的RGB格式图像。
可选的，所述第二确定模块，被配置为将所述RAW格式图像和所述RAW格式图像的语义分析结果，输入至预先训练的第二网络模型，得到所述RAW格式图像对应的RGB格式图像；其中，所述第二网络模型是根据多个第二训练样本以及多个第二训练样本对应的第二训练样本转换样本训练得到的，所述第二训练样本为RAW格式的图像，所述第二训练样本转换样本为对应第二训练样本的RGB格式的图像。
可选的，所述装置还包括：
辅助拍摄模块，被配置为基于所述RAW格式图像的语义分析结果，对用户进行辅助拍摄。
可选的，所述装置还包括：
第二获取模块，被配置为获取多个第一训练样本；
标记模块，被配置为针对各个第一训练样本，标记出该第一训练样本的语义分析结果，得到该第一训练样本对应的第一标记训练样本；
第一训练模块，被配置为分别将各个第一标记训练样本，输入至第一预设卷积网络模型，对所述第一预设卷积网络模型进行训练，得到训练好的第一网络模型。
可选的，所述第一预设卷积网络模型包括：预处理层、编码层、解码层和连接层。
可选的，所述装置还包括：
第三获取模块，被配置为获取多个第二训练样本；
确定转换样本模块，被配置为针对各个第二训练样本，确定该第二训练样本对应的第二训练样本转换样本，所述第二训练样本转换图像为RGB格式的图像；
第二训练模块，被配置为分别将各个第二训练样本以及对应的各个第二训练样本转换样本，输入至第二预设卷积网络模型，对所述第二预设卷积网络模型进行训练，得到训练好的第二网络模型。
根据本申请实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取RAW格式图像；
将所述RAW格式图像输入至预先训练的第一网络模型，得到所述RAW格式图像的语义分析结果；其中，所述第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，所述第一训练样本为RAW格式的图像，所述第一标记训练样本为标记对应第一训练样本的语义分析结果的图像；
基于所述RAW格式图像的语义分析结果，确定所述RAW格式图像对应的RGB格式图像。
可选的，所述电子设备被配置为将所述RAW格式图像和所述RAW格式图像的语义分析结果，输入至预先训练的第二网络模型，得到所述RAW格式图像对应的RGB格式图像；其中，所述第二网络模型是根据多个第二训练样本以及多个第二训练样本对应的第二训练样本转换样本训练得到的，所述第二训练样本为RAW格式的图像，所述第二训练样本转换样本为对应第二训练样本的RGB格式的图像。
可选的，所述电子设备还被配置为基于所述RAW格式图像的语义分析结果，对用户进行辅助拍摄。
可选的，所述电子设备还被配置为：
获取多个第一训练样本；
针对各个第一训练样本，标记出该第一训练样本的语义分析结果，得到该第一训练样本对应的第一标记训练样本；
分别将各个第一标记训练样本，输入至第一预设卷积网络模型，对所述第一预设卷积网络模型进行训练，得到训练好的第一网络模型。
可选的，所述第一预设卷积网络模型包括：预处理层、编码层、解码层和连接层。
可选的，所述电子设备还被配置为：
获取多个第二训练样本；
针对各个第二训练样本，确定该第二训练样本对应的第二训练样本转换样本，所述第二训练样本转换图像为RGB格式的图像；
分别将各个第二训练样本以及对应的各个第二训练样本转换样本，输入至第二预设卷积网络模型，对所述第二预设卷积网络模型进行训练，得到训练好的第二网络模型。
根据本申请实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种图像转换方法，所述方法包括：
获取RAW格式图像；
将所述RAW格式图像输入至预先训练的第一网络模型，得到所述RAW格式图像的语义分析结果；其中，所述第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，所述第一训练样本为RAW格式的图像，所述第一标记训练样本为标记对应第一训练样本的语义分析结果的图像；
基于所述RAW格式图像的语义分析结果，确定所述RAW格式图像对应的RGB格式图像。
可选的，所述基于所述RAW格式图像的语义分析结果，确定所述RAW格式图像对应的RGB格式图像，包括：
将所述RAW格式图像和所述RAW格式图像的语义分析结果，输入至预先训练的第二网络模型，得到所述RAW格式图像对应的RGB格式图像；其中，所述第二网络模型是根据多个第二训练样本以及多个第二训练样本对应的第二训练样本转换样本训练得到的，所述第二训练样本为RAW格式的图像，所述第二训练样本转换样本为对应第二训练样本的RGB格式的图像。
可选的，在将所述RAW格式图像输入至预先训练的第一网络模型，得到所述RAW格式图像的语义分析结果之后，所述方法还包括：
基于所述RAW格式图像的语义分析结果，对用户进行辅助拍摄。
可选的，训练所述第一网络模型的步骤，包括：
获取多个第一训练样本；
针对各个第一训练样本，标记出该第一训练样本的语义分析结果，得到该第一训练样本对应的第一标记训练样本；
分别将各个第一标记训练样本，输入至第一预设卷积网络模型，对所述第一预设卷积网络模型进行训练，得到训练好的第一网络模型。
可选的，所述第一预设卷积网络模型包括：预处理层、编码层、解码层和连接层。
可选的，训练所述第二网络模型的步骤，包括：
获取多个第二训练样本；
针对各个第二训练样本，确定该第二训练样本对应的第二训练样本转换样本，所述第二训练样本转换图像为RGB格式的图像；
分别将各个第二训练样本以及对应的各个第二训练样本转换样本，输入至第二预设卷积网络模型，对所述第二预设卷积网络模型进行训练，得到训练好的第二网络模型。
根据本申请实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品由电子设备的处理器执行时，使得电子设备能够执行一种图像转换方法，所述方法包括：
获取RAW格式图像；
将所述RAW格式图像输入至预先训练的第一网络模型，得到所述RAW格式图像的语义分析结果；其中，所述第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，所述第一训练样本为RAW格式的图像，所述第一标记训练样本为标记对应第一训练样本的语义分析结果的图像；
基于所述RAW格式图像的语义分析结果，确定所述RAW格式图像对应的RGB格式图像。
可选的，所述基于所述RAW格式图像的语义分析结果，确定所述RAW格式图像对应的RGB格式图像，包括：
将所述RAW格式图像和所述RAW格式图像的语义分析结果，输入至预先训练的第二网络模型，得到所述RAW格式图像对应的RGB格式图像；其中，所述第二网络模型是根据多个第二训练样本以及多个第二训练样本对应的第二训练样本转换样本训练得到的，所述第二训练样本为RAW格式的图像，所述第二训练样本转换样本为对应第二训练样本的RGB格式的图像。
可选的，在将所述RAW格式图像输入至预先训练的第一网络模型，得到所述RAW格式图像的语义分析结果之后，所述方法还包括：
基于所述RAW格式图像的语义分析结果，对用户进行辅助拍摄。
可选的，训练所述第一网络模型的步骤，包括：
获取多个第一训练样本；
针对各个第一训练样本，标记出该第一训练样本的语义分析结果，得到该第一训练样本对应的第一标记训练样本；
分别将各个第一标记训练样本，输入至第一预设卷积网络模型，对所述第一预设卷积网络模型进行训练，得到训练好的第一网络模型。
可选的，所述第一预设卷积网络模型包括：预处理层、编码层、解码层和连接层。
可选的，训练所述第二网络模型的步骤，包括：
获取多个第二训练样本；
针对各个第二训练样本，确定该第二训练样本对应的第二训练样本转换样本，所述第二训练样本转换图像为RGB格式的图像；
分别将各个第二训练样本以及对应的各个第二训练样本转换样本，输入至第二预设卷积网络模型，对所述第二预设卷积网络模型进行训练，得到训练好的第二网络模型。
本申请的实施例提供的技术方案可以包括以下有益效果：通过预先训练的第一网络模型，得到RAW格式图像的语义分析结果，并基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。如此，通过预先训练的第一网络模型，更加准确地确定RAW格式图像的语义分析结果，进而在RAW格式图像的语义分析结果的基础上，更加准确地将RAW格式图像转换为RGB格式图像，提高图像转换的质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种图像转换方法的流程图。
图2是根据一示例性实施例示出的训练第一网络模型的流程图。
图3是根据一示例性实施例示出的训练第二网络模型的流程图。
图4是根据一示例性实施例示出的一种图像转换装置的框图。
图5是根据一示例性实施例示出的一种电子设备的框图。
图6是根据一示例性实施例示出的一种装置的框图。
图7是根据一示例性实施例示出的另一种装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种图像转换方法的流程图，如图1所示，图像转换方法可以用于电子设备中，包括以下步骤。其中，电子设备可以包括摄像机、照相机、移动终端等等。
在步骤S11中，获取RAW格式图像。
RAW格式图像，可以理解为RAW格式的图像。
RAW格式的图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据，是无损的，包含了物体原始的颜色信息等。RAW格式一般采用的是Bayer排列方式，通过滤波光片，产生彩色滤波阵列(Color Filter Array，CFA)。
RAW格式的图像的位宽一般为12bit，简单即可以理解为每个像素点通过12bit来表示，也可以理解为每个像素点包含12bit的信息。同时，也可以超过12bit，如16bit或更多。
在步骤S12中，将RAW格式图像输入至预先训练的第一网络模型，得到RAW格式图像的语义分析结果。
其中，第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，第一训练样本为RAW格式的图像，第一标记训练样本为标记对应第一训练样本的语义分析结果的图像。
语义分析结果可以包括RAW格式图像中每个像素点的属性信息，如像素点的颜色信息、亮度信息；以及像素点之间的关系属性信息，如像素点的密度，连续性，平滑性，噪声水平，边缘的锐利程度等等。
第一标记训练样本标记第一训练样本的语义分析结果。通过多个第一训练样本对应的第一标记训练样本进行训练，使得第一网络模型能够学习得到确定RAW格式图像的语义分析结果的方式。如此，将RAW格式图像输入至预先训练的第一网络模型，可以得到RAW格式图像的语义分析结果。具体地，训练第一网络模型的过程在下面的实施例中会进行详细描述，这里暂不赘述。
在步骤S13中，基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。
具体地，可以根据RAW格式图像的语义分析结果，分析包含信息较多的RAW格式图像中像素点之间的关系，进而对RAW格式图像中的信息进行取舍，如保留RAW格式图像中包含相同信息的多个像素点中的一个像素点包含的信息，等等。
本申请实施例一种可实现方式中，可以将RAW格式图像的语义分析结果提供给专业用户，如摄影师，以接收摄影师反馈的对RAW格式图像中信息的取舍结果，以将RAW格式图像转换为RGB格式图像。
本申请实施例另一种可实现方式中，可以通过深度学习的方式，基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。如预先训练网络模型，进而通过网络模型，将RAW格式图像转换为RGB格式图像，即确定RAW格式图像对应的RGB格式图像。
本申请实施例中，通过预先训练的第一网络模型，得到RAW格式图像的语义分析结果，并基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。如此，通过预先训练的第一网络模型，能够更加准确地确定RAW格式图像的语义分析结果，进而在RAW格式图像的语义分析结果的基础上，更加准确地将RAW格式图像转换为RGB格式图像，提高图像转换的质量。
本申请一种可选的实施例中，还包括了训练第一网络模型的步骤，如图2所示，可以包括：
S21，获取多个第一训练样本。
第一训练样本为RAW格式的图像。
为了提高训练的网络模型的准确性，可以获取多个第一训练样本。如5000个、1000个等等。
获取多个第一训练样本，也可以理解为构建训练集。
具体地，可以通过照相机采集多个RAW格式的图像，作为第一训练样本。
S22，针对各个第一训练样本，标记出该第一训练样本的语义分析结果，得到该第一训练样本对应的第一标记训练样本。
一种可实现方式中，可以通过人工标注的方式，分别标记出各个第一训练样本的语义分析结果，得到各个第一训练样本分别对应的第一标记训练样本。
一种可实现方式中，可以通过图像信号处理(Image Signal Processing，ISP)的方式，分别标记出各个第一训练样本的语义分析结果，得到各个第一训练样本分别对应的第一标记训练样本。具体地，在已有相关技术中增加像素级的图像几何对应关系，即RAW格式的图像上的像素点，与RGB格式的图像的对应关系；根据RAW格式的图像与RGB格式的图像的pixel对应关系，得到RAW图像的语义分析结果。
已有相关技术中成熟的ISP是由多个模块组成，如用于自动白平衡(Auto WhiteBalance，AWB)的模块，用于自动曝光(Auto Exposure，AE)的模块，用于denoising(去噪)的模块，用于sharpening(锐化)的模块，等等，且每一个模块，都可能有多种方式组合而成。
S23，分别将各个第一标记训练样本，输入至第一预设卷积网络模型，对第一预设卷积网络模型进行训练，得到训练好的第一网络模型。
其中，第一预设卷积网络模型包括：预处理层、编码层、解码层和连接层。
预设卷积神经网络模型可以采用全卷积网络，如U-Net/Hourglass结构的卷积网络，输入为已标注的RAW图像，经过预处理层，编码层：encoder层，解码层：decoder层和连接层：skip connection层，输出为RAW图像每个像素点的语意信息，即语义分析结果，可以包括局部语意信息和全局语意信息。
如此，可以使得在RAW层面对图像进行分析，在CFA层作语义理解，节约计算量
本申请实施例还提供了训练第二网络模型的步骤，如图3所示，可以包括：
S31，获取多个第二训练样本。
为了提高第二网络模型训练的准确性，可以获取多个第二训练样本。如5000个、1000个等等。
S32，针对各个第二训练样本，确定该第二训练样本对应的第二训练样本转换样本，第二训练样本转换图像为RGB格式的图像。
获取多个第二训练样本，也可以理解为构建训练集。
具体地，训练集的构建方式可以有如下两种：
一种可实现方式中，可采用监督方式，利用专业人士，如摄影师对图像转换的结果，由摄影师进行RAW到RGB图像的转换，将转换之前的RAW格式的图像作为训练样本，转换得到的RGB格式的图像作为监督图像。
另一种可实现方式中，可采用半监督方式：收集已有的，具有较高评价的RGB格式的图像，然后将当前的RAW格式的图像通过已有技术中ISP方式转换为RGB格式的图像，即为目标图像，并将目标图像与收集到的图像进行比对，将具有相似内容的所收集到的图像作为现有RAW图像的监督信息。
S33，分别将各个第二训练样本以及对应的各个第二训练样本转换样本，输入至第二预设卷积网络模型，对第二预设卷积网络模型进行训练，得到训练好的第二网络模型。
简单理解，在构建的训练集基础上，设计机器学习算法。即针对多个第二训练样本以及对应的多个第二训练样本转换样本，使得第二预设卷积网络模型学习将RAW格式的图像转换为RGB格式的图像的方式。
且本申请实施例一种可实现方式中，在对第二预设卷积网络模型进行训练，以训练得到第二网络模型的过程中，当第二预设卷积网络模型输出RGB格式的图像后，可以将该输出结果发送至用户，使得用户根据该输出结果进行打分，并将打分结果反馈给第二预设卷积网络模型，以使逐渐训练而强化网络模型的性能。
训练得到第二网络模型后，一种可实现方式中，步骤S13：基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像，可以包括：
将RAW格式图像和RAW格式图像的语义分析结果，输入至预先训练的第二网络模型，得到RAW格式图像对应的RGB格式图像。
其中，第二网络模型是根据多个第二训练样本以及多个第二训练样本对应的第二训练样本转换样本训练得到的，第二训练样本为RAW格式的图像，第二训练样本转换样本为对应第二训练样本的RGB格式的图像。
针对RAW层面的语义理解，也可以将传统ISP的各个模块机器学习化，但是这种方式，模块间可能有冗余信息而造成计算量的浪费。或者可以将RAW格式的图像经过一个较简单的ISP，获得RGB格式的图像，再施加机器学习算法进行语义分析，将分析的结果用于较复杂ISP的处理过程，来提升最终RGB格式的图像的质量，但是这种方式需要进行两次RAW格式到RGB格式的转换，使得计算复杂度较高，且如果较简单ISP处理能力较弱，也会降低机器学习算法进行语义分析的有效性，从而对最终结果产生负面影响。而本申请实施例中通过预先训练的网络模型，直接对RAW格式的图像进行语义分析，且可以基于预先训练的网络模型，对RAW格式的图像进行转换，降低计算量。同时，能够提高对图像分析的准确性。
另外，在本申请实施例一种可选的实施例中，在步骤S12：将RAW格式图像输入至预先训练的第一网络模型，得到RAW格式图像的语义分析结果之后，该方法还可以包括：
基于RAW格式图像的语义分析结果，对用户进行辅助拍摄。
一般的用户都不具备专业的摄影知识，本申请实施例在对RAW格式的图像进行语义分析后，可以在拍摄前的取景阶段，不通过生成RGB格式图像就能够根据当前的所拍摄的内容进行语意理解，并在构图，光线，内容等方面给予用户拍摄建议，辅助用户进行拍摄，提高用户拍摄的图像的质量，自动化的生成更好的图像质量与意境，且能够提高用户的体验。同时，可以针对不同的用户可以进行偏好的设置和适配。
一种具体的应用场景中，在夕阳中的沙滩上拍摄人像，摄影师了解场景信息，即夕阳与沙滩，了解拍摄的主题目标，即人，因此可以在光照色温上选择暖色调，同时排除不受夕阳光线影响的部分图像内容，如较远蓝天，大海，也即对图像内容的语意分割。同时，对人像部分，能够与背景分离单独做处理。因此，在此例中，就涉及到了对图像不同语意内容的分割和理解，并单独对其中的每个语意内容进行不同的颜色亮度调整。本申请实施例提供的方案可以代替摄影师的决策，对RAW格式的图像中的信息进行取舍。
图4是根据一示例性实施例示出的一种图像转换装置框图。参照图4，该装置包括第一获取模块401，第一确定模块402和第二确定模块403。
该第一获取模块401，被配置为获取RAW格式图像；
该第一确定模块402，被配置为将RAW格式图像输入至预先训练的第一网络模型，得到RAW格式图像的语义分析结果；其中，第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，第一训练样本为RAW格式的图像，第一标记训练样本为标记对应第一训练样本的语义分析结果的图像；
该第二确定模块403，被配置为基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。
本申请实施例中，通过预先训练的第一网络模型，得到RAW格式图像的语义分析结果，并基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。如此，通过预先训练的第一网络模型，能够更加准确地确定RAW格式图像的语义分析结果，进而在RAW格式图像的语义分析结果的基础上，更加准确地将RAW格式图像转换为RGB格式图像，提高图像转换的质量。
可选的，第二确定模块403，被配置为将RAW格式图像和RAW格式图像的语义分析结果，输入至预先训练的第二网络模型，得到RAW格式图像对应的RGB格式图像；其中，第二网络模型是根据多个第二训练样本以及多个第二训练样本对应的第二训练样本转换样本训练得到的，第二训练样本为RAW格式的图像，第二训练样本转换样本为对应第二训练样本的RGB格式的图像。
可选的，该装置还包括：
辅助拍摄模块，被配置为基于RAW格式图像的语义分析结果，对用户进行辅助拍摄。
可选的，该装置还包括：
第二获取模块，被配置为获取多个第一训练样本；
标记模块，被配置为针对各个第一训练样本，标记出该第一训练样本的语义分析结果，得到该第一训练样本对应的第一标记训练样本；
第一训练模块，被配置为分别将各个第一标记训练样本，输入至第一预设卷积网络模型，对第一预设卷积网络模型进行训练，得到训练好的第一网络模型。
可选的，第一预设卷积网络模型包括：预处理层、编码层、解码层和连接层。
可选的，该装置还包括：
第三获取模块，被配置为获取多个第二训练样本；
确定转换样本模块，被配置为针对各个第二训练样本，确定该第二训练样本对应的第二训练样本转换样本，第二训练样本转换图像为RGB格式的图像；
第二训练模块，被配置为分别将各个第二训练样本以及对应的各个第二训练样本转换样本，输入至第二预设卷积网络模型，对第二预设卷积网络模型进行训练，得到训练好的第二网络模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种电子设备的框图。参照图5，可以包括：
处理器501；
用于存储处理器501可执行指令的存储器503；
其中，处理器501被配置为：
获取RAW格式图像；
将RAW格式图像输入至预先训练的第一网络模型，得到RAW格式图像的语义分析结果；其中，第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，第一训练样本为RAW格式的图像，第一标记训练样本为标记对应第一训练样本的语义分析结果的图像；
基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。
还可以包括通信接口502，通信总线504；其中，处理器501、通信接口502和存储器503通过通信总线504完成相互间的通信。
可选的，电子设备被配置为将RAW格式图像和RAW格式图像的语义分析结果，输入至预先训练的第二网络模型，得到RAW格式图像对应的RGB格式图像；其中，第二网络模型是根据多个第二训练样本以及多个第二训练样本对应的第二训练样本转换样本训练得到的，第二训练样本为RAW格式的图像，第二训练样本转换样本为对应第二训练样本的RGB格式的图像。
可选的，电子设备还被配置为基于RAW格式图像的语义分析结果，对用户进行辅助拍摄。
可选的，电子设备还被配置为：
获取多个第一训练样本；
针对各个第一训练样本，标记出该第一训练样本的语义分析结果，得到该第一训练样本对应的第一标记训练样本；
分别将各个第一标记训练样本，输入至第一预设卷积网络模型，对第一预设卷积网络模型进行训练，得到训练好的第一网络模型。
可选的，第一预设卷积网络模型包括：预处理层、编码层、解码层和连接层。
可选的，电子设备还被配置为：
获取多个第二训练样本；
针对各个第二训练样本，确定该第二训练样本对应的第二训练样本转换样本，第二训练样本转换图像为RGB格式的图像；
分别将各个第二训练样本以及对应的各个第二训练样本转换样本，输入至第二预设卷积网络模型，对第二预设卷积网络模型进行训练，得到训练好的第二网络模型。
本申请实施例中，通过预先训练的第一网络模型，得到RAW格式图像的语义分析结果，并基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。如此，通过预先训练的第一网络模型，能够更加准确地确定RAW格式图像的语义分析结果，进而在RAW格式图像的语义分析结果的基础上，更加准确地将RAW格式图像转换为RGB格式图像，提高图像转换的质量。
根据本申请实施例的又一方面，提供一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种图像转换方法，该方法包括：
获取RAW格式图像；
将RAW格式图像输入至预先训练的第一网络模型，得到RAW格式图像的语义分析结果；其中，第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，第一训练样本为RAW格式的图像，第一标记训练样本为标记对应第一训练样本的语义分析结果的图像；
基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。
可选的，基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像，包括：
将RAW格式图像和RAW格式图像的语义分析结果，输入至预先训练的第二网络模型，得到RAW格式图像对应的RGB格式图像；其中，第二网络模型是根据多个第二训练样本以及多个第二训练样本对应的第二训练样本转换样本训练得到的，第二训练样本为RAW格式的图像，第二训练样本转换样本为对应第二训练样本的RGB格式的图像。
可选的，在将RAW格式图像输入至预先训练的第一网络模型，得到RAW格式图像的语义分析结果之后，该方法还包括：
基于RAW格式图像的语义分析结果，对用户进行辅助拍摄。
可选的，训练第一网络模型的步骤，包括：
获取多个第一训练样本；
针对各个第一训练样本，标记出该第一训练样本的语义分析结果，得到该第一训练样本对应的第一标记训练样本；
分别将各个第一标记训练样本，输入至第一预设卷积网络模型，对第一预设卷积网络模型进行训练，得到训练好的第一网络模型。
可选的，第一预设卷积网络模型包括：预处理层、编码层、解码层和连接层。
可选的，训练第二网络模型的步骤，包括：
获取多个第二训练样本；
针对各个第二训练样本，确定该第二训练样本对应的第二训练样本转换样本，第二训练样本转换图像为RGB格式的图像；
分别将各个第二训练样本以及对应的各个第二训练样本转换样本，输入至第二预设卷积网络模型，对第二预设卷积网络模型进行训练，得到训练好的第二网络模型。
本申请实施例中，通过预先训练的第一网络模型，得到RAW格式图像的语义分析结果，并基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。如此，通过预先训练的第一网络模型，能够更加准确地确定RAW格式图像的语义分析结果，进而在RAW格式图像的语义分析结果的基础上，更加准确地将RAW格式图像转换为RGB格式图像，提高图像转换的质量。
根据本申请实施例的又一方面，提供一种计算机程序产品，当计算机程序产品由电子设备的处理器执行时，使得电子设备能够执行一种图像转换方法，该方法包括：
获取RAW格式图像；
将RAW格式图像输入至预先训练的第一网络模型，得到RAW格式图像的语义分析结果；其中，第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，第一训练样本为RAW格式的图像，第一标记训练样本为标记对应第一训练样本的语义分析结果的图像；
基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。
可选的，基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像，包括：
将RAW格式图像和RAW格式图像的语义分析结果，输入至预先训练的第二网络模型，得到RAW格式图像对应的RGB格式图像；其中，第二网络模型是根据多个第二训练样本以及多个第二训练样本对应的第二训练样本转换样本训练得到的，第二训练样本为RAW格式的图像，第二训练样本转换样本为对应第二训练样本的RGB格式的图像。
可选的，在将RAW格式图像输入至预先训练的第一网络模型，得到RAW格式图像的语义分析结果之后，该方法还包括：
基于RAW格式图像的语义分析结果，对用户进行辅助拍摄。
可选的，训练第一网络模型的步骤，包括：
获取多个第一训练样本；
针对各个第一训练样本，标记出该第一训练样本的语义分析结果，得到该第一训练样本对应的第一标记训练样本；
分别将各个第一标记训练样本，输入至第一预设卷积网络模型，对第一预设卷积网络模型进行训练，得到训练好的第一网络模型。
可选的，第一预设卷积网络模型包括：预处理层、编码层、解码层和连接层。
可选的，训练第二网络模型的步骤，包括：
获取多个第二训练样本；
针对各个第二训练样本，确定该第二训练样本对应的第二训练样本转换样本，第二训练样本转换图像为RGB格式的图像；
分别将各个第二训练样本以及对应的各个第二训练样本转换样本，输入至第二预设卷积网络模型，对第二预设卷积网络模型进行训练，得到训练好的第二网络模型。
本申请实施例中，通过预先训练的第一网络模型，得到RAW格式图像的语义分析结果，并基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。如此，通过预先训练的第一网络模型，能够更加准确地确定RAW格式图像的语义分析结果，进而在RAW格式图像的语义分析结果的基础上，更加准确地将RAW格式图像转换为RGB格式图像，提高图像转换的质量。
图6是根据一示例性实施例示出的一种用于图像转换的装置600的框图。例如，装置600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，装置600可以包括以下一个或多个组件：处理组件602，存储器604，电力组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。
处理组件602通常控制装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件606为装置600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为装置600生成、管理和分配电力相关联的组件。
多媒体组件608包括在装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当装置600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为装置600提供各个方面的状态评估。例如，传感器组件614可以检测到设备600的打开/关闭状态，组件的相对定位，例如组件为装置600的显示器和小键盘，传感器组件614还可以检测装置600或装置600一个组件的位置改变，用户与装置600接触的存在或不存在，装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
本申请实施例中，通过预先训练的第一网络模型，得到RAW格式图像的语义分析结果，并基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。如此，通过预先训练的第一网络模型，能够更加准确地确定RAW格式图像的语义分析结果，进而在RAW格式图像的语义分析结果的基础上，更加准确地将RAW格式图像转换为RGB格式图像，提高图像转换的质量。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由装置600的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请实施例中，通过预先训练的第一网络模型，得到RAW格式图像的语义分析结果，并基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。如此，通过预先训练的第一网络模型，能够更加准确地确定RAW格式图像的语义分析结果，进而在RAW格式图像的语义分析结果的基础上，更加准确地将RAW格式图像转换为RGB格式图像，提高图像转换的质量。
图7是根据一示例性实施例示出的一种用于图像转换的装置700的框图。例如，装置700可以被提供为一服务器。参照图7，装置700包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理组件722的执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件722被配置为执行指令，以执行上述图像转换方法。
装置700还可以包括一个电源组件726被配置为执行装置700的电源管理，一个有线或无线网络接口750被配置为将装置700连接到网络，和一个输入输出(I/O)接口758。装置700可以操作基于存储在存储器732的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
本申请实施例中，通过预先训练的第一网络模型，得到RAW格式图像的语义分析结果，并基于RAW格式图像的语义分析结果，确定RAW格式图像对应的RGB格式图像。如此，通过预先训练的第一网络模型，能够更加准确地确定RAW格式图像的语义分析结果，进而在RAW格式图像的语义分析结果的基础上，更加准确地将RAW格式图像转换为RGB格式图像，提高图像转换的质量。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (24)
1.一种图像转换方法，其特征在于，包括：
获取RAW格式图像；
将所述RAW格式图像输入至预先训练的第一网络模型，得到所述RAW格式图像的语义分析结果；其中，所述第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，所述第一训练样本为RAW格式的图像，所述第一标记训练样本为标记对应第一训练样本的语义分析结果的图像；
基于所述RAW格式图像的语义分析结果，确定所述RAW格式图像对应的RGB格式图像；其中，所述语义分析结果包括所述RAW格式图像中每个像素点的属性信息，以及像素点之间的关系属性信息。
2.根据权利要求1所述的方法，其特征在于，所述基于所述RAW格式图像的语义分析结果，确定所述RAW格式图像对应的RGB格式图像，包括：
将所述RAW格式图像和所述RAW格式图像的语义分析结果，输入至预先训练的第二网络模型，得到所述RAW格式图像对应的RGB格式图像；其中，所述第二网络模型是根据多个第二训练样本以及多个第二训练样本对应的第二训练样本转换样本训练得到的，所述第二训练样本为RAW格式的图像，所述第二训练样本转换样本为对应第二训练样本的RGB格式的图像。
3.根据权利要求1所述的方法，其特征在于，在将所述RAW格式图像输入至预先训练的第一网络模型，得到所述RAW格式图像的语义分析结果之后，所述方法还包括：
基于所述RAW格式图像的语义分析结果，对用户进行辅助拍摄。
4.根据权利要求1所述的方法，其特征在于，训练所述第一网络模型的步骤，包括：
获取多个第一训练样本；
针对各个第一训练样本，标记出该第一训练样本的语义分析结果，得到该第一训练样本对应的第一标记训练样本；
分别将各个第一标记训练样本，输入至第一预设卷积网络模型，对所述第一预设卷积网络模型进行训练，得到训练好的第一网络模型。
5.根据权利要求4所述的方法，其特征在于，所述第一预设卷积网络模型包括：预处理层、编码层、解码层和连接层。
6.根据权利要求2所述的方法，其特征在于，训练所述第二网络模型的步骤，包括：
获取多个第二训练样本；
针对各个第二训练样本，确定该第二训练样本对应的第二训练样本转换样本，所述第二训练样本转换图像为RGB格式的图像；
分别将各个第二训练样本以及对应的各个第二训练样本转换样本，输入至第二预设卷积网络模型，对所述第二预设卷积网络模型进行训练，得到训练好的第二网络模型。
7.一种图像转换装置，其特征在于，包括：
第一获取模块，被配置为获取RAW格式图像；
第一确定模块，被配置为将所述RAW格式图像输入至预先训练的第一网络模型，得到所述RAW格式图像的语义分析结果；其中，所述第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，所述第一训练样本为RAW格式的图像，所述第一标记训练样本为标记对应第一训练样本的语义分析结果的图像；
第二确定模块，被配置为基于所述RAW格式图像的语义分析结果，确定所述RAW格式图像对应的RGB格式图像；其中，所述语义分析结果包括所述RAW格式图像中每个像素点的属性信息，以及像素点之间的关系属性信息。
8.根据权利要求7所述的装置，其特征在于，所述第二确定模块，被配置为将所述RAW格式图像和所述RAW格式图像的语义分析结果，输入至预先训练的第二网络模型，得到所述RAW格式图像对应的RGB格式图像；其中，所述第二网络模型是根据多个第二训练样本以及多个第二训练样本对应的第二训练样本转换样本训练得到的，所述第二训练样本为RAW格式的图像，所述第二训练样本转换样本为对应第二训练样本的RGB格式的图像。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
辅助拍摄模块，被配置为基于所述RAW格式图像的语义分析结果，对用户进行辅助拍摄。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第二获取模块，被配置为获取多个第一训练样本；
标记模块，被配置为针对各个第一训练样本，标记出该第一训练样本的语义分析结果，得到该第一训练样本对应的第一标记训练样本；
第一训练模块，被配置为分别将各个第一标记训练样本，输入至第一预设卷积网络模型，对所述第一预设卷积网络模型进行训练，得到训练好的第一网络模型。
11.根据权利要求10所述的装置，其特征在于，所述第一预设卷积网络模型包括：预处理层、编码层、解码层和连接层。
12.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第三获取模块，被配置为获取多个第二训练样本；
确定转换样本模块，被配置为针对各个第二训练样本，确定该第二训练样本对应的第二训练样本转换样本，所述第二训练样本转换图像为RGB格式的图像；
第二训练模块，被配置为分别将各个第二训练样本以及对应的各个第二训练样本转换样本，输入至第二预设卷积网络模型，对所述第二预设卷积网络模型进行训练，得到训练好的第二网络模型。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取RAW格式图像；
将所述RAW格式图像输入至预先训练的第一网络模型，得到所述RAW格式图像的语义分析结果；其中，所述第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，所述第一训练样本为RAW格式的图像，所述第一标记训练样本为标记对应第一训练样本的语义分析结果的图像；
基于所述RAW格式图像的语义分析结果，确定所述RAW格式图像对应的RGB格式图像；其中，所述语义分析结果包括所述RAW格式图像中每个像素点的属性信息，以及像素点之间的关系属性信息。
14.根据权利要求13所述的电子设备，其特征在于，所述电子设备被配置为将所述RAW格式图像和所述RAW格式图像的语义分析结果，输入至预先训练的第二网络模型，得到所述RAW格式图像对应的RGB格式图像；其中，所述第二网络模型是根据多个第二训练样本以及多个第二训练样本对应的第二训练样本转换样本训练得到的，所述第二训练样本为RAW格式的图像，所述第二训练样本转换样本为对应第二训练样本的RGB格式的图像。
15.根据权利要求13所述的电子设备，其特征在于，所述电子设备还被配置为基于所述RAW格式图像的语义分析结果，对用户进行辅助拍摄。
16.根据权利要求13所述的电子设备，其特征在于，所述电子设备还被配置为：
获取多个第一训练样本；
针对各个第一训练样本，标记出该第一训练样本的语义分析结果，得到该第一训练样本对应的第一标记训练样本；
分别将各个第一标记训练样本，输入至第一预设卷积网络模型，对所述第一预设卷积网络模型进行训练，得到训练好的第一网络模型。
17.根据权利要求16所述的电子设备，其特征在于，所述第一预设卷积网络模型包括：预处理层、编码层、解码层和连接层。
18.根据权利要求14所述的电子设备，其特征在于，所述电子设备还被配置为：
获取多个第二训练样本；
针对各个第二训练样本，确定该第二训练样本对应的第二训练样本转换样本，所述第二训练样本转换图像为RGB格式的图像；
分别将各个第二训练样本以及对应的各个第二训练样本转换样本，输入至第二预设卷积网络模型，对所述第二预设卷积网络模型进行训练，得到训练好的第二网络模型。
19.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种图像转换方法，所述方法包括：
获取RAW格式图像；
将所述RAW格式图像输入至预先训练的第一网络模型，得到所述RAW格式图像的语义分析结果；其中，所述第一网络模型是根据多个第一训练样本分别对应的第一标记训练样本训练得到的，所述第一训练样本为RAW格式的图像，所述第一标记训练样本为标记对应第一训练样本的语义分析结果的图像；
基于所述RAW格式图像的语义分析结果，确定所述RAW格式图像对应的RGB格式图像；其中，所述语义分析结果包括所述RAW格式图像中每个像素点的属性信息，以及像素点之间的关系属性信息。
20.根据权利要求19所述的存储介质，其特征在于，所述基于所述RAW格式图像的语义分析结果，确定所述RAW格式图像对应的RGB格式图像，包括：
将所述RAW格式图像和所述RAW格式图像的语义分析结果，输入至预先训练的第二网络模型，得到所述RAW格式图像对应的RGB格式图像；其中，所述第二网络模型是根据多个第二训练样本以及多个第二训练样本对应的第二训练样本转换样本训练得到的，所述第二训练样本为RAW格式的图像，所述第二训练样本转换样本为对应第二训练样本的RGB格式的图像。
21.根据权利要求19所述的存储介质，其特征在于，在将所述RAW格式图像输入至预先训练的第一网络模型，得到所述RAW格式图像的语义分析结果之后，所述方法还包括：
基于所述RAW格式图像的语义分析结果，对用户进行辅助拍摄。
22.根据权利要求19所述的存储介质，其特征在于，训练所述第一网络模型的步骤，包括：
获取多个第一训练样本；
针对各个第一训练样本，标记出该第一训练样本的语义分析结果，得到该第一训练样本对应的第一标记训练样本；
分别将各个第一标记训练样本，输入至第一预设卷积网络模型，对所述第一预设卷积网络模型进行训练，得到训练好的第一网络模型。
23.根据权利要求22所述的存储介质，其特征在于，所述第一预设卷积网络模型包括：预处理层、编码层、解码层和连接层。
24.根据权利要求20所述的存储介质，其特征在于，训练所述第二网络模型的步骤，包括：
获取多个第二训练样本；
针对各个第二训练样本，确定该第二训练样本对应的第二训练样本转换样本，所述第二训练样本转换图像为RGB格式的图像；
分别将各个第二训练样本以及对应的各个第二训练样本转换样本，输入至第二预设卷积网络模型，对所述第二预设卷积网络模型进行训练，得到训练好的第二网络模型。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811473815.6A CN109379572B (zh) | 2018-12-04 | 2018-12-04 | 图像转换方法、装置、电子设备及存储介质 |
| PCT/CN2019/111077 WO2020114087A1 (zh) | 2018-12-04 | 2019-10-14 | 图像转换方法、装置、电子设备及存储介质 |
| US17/084,946 US11470294B2 (en) | 2018-12-04 | 2020-10-30 | Method, device, and storage medium for converting image from raw format to RGB format |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811473815.6A CN109379572B (zh) | 2018-12-04 | 2018-12-04 | 图像转换方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109379572A CN109379572A (zh) | 2019-02-22 |
| CN109379572B true CN109379572B (zh) | 2020-03-06 |
Family
ID=65375777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811473815.6A Active CN109379572B (zh) | 2018-12-04 | 2018-12-04 | 图像转换方法、装置、电子设备及存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11470294B2 (zh) |
| CN (1) | CN109379572B (zh) |
| WO (1) | WO2020114087A1 (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109379572B (zh) * | 2018-12-04 | 2020-03-06 | 北京达佳互联信息技术有限公司 | 图像转换方法、装置、电子设备及存储介质 |
| CN109934125B (zh) * | 2019-02-26 | 2022-11-25 | 中国科学院重庆绿色智能技术研究院 | 一种半监督手术视频流程识别方法 |
| CN110189354B (zh) * | 2019-04-18 | 2021-12-28 | 北京迈格威科技有限公司 | 图像处理方法与图像处理器、图像处理设备及介质 |
| CN110458763A (zh) * | 2019-07-08 | 2019-11-15 | 深圳中兴网信科技有限公司 | 基于深度学习的夜间彩色图像的还原方法、系统、介质 |
| CN113261012B (zh) * | 2019-11-28 | 2022-11-11 | 华为云计算技术有限公司 | 处理图像的方法、装置及系统 |
| CN113744125A (zh) * | 2020-05-29 | 2021-12-03 | Oppo广东移动通信有限公司 | 图像处理方法、存储介质及电子设备 |
| CN114257730A (zh) * | 2020-09-22 | 2022-03-29 | 阿里巴巴集团控股有限公司 | 图像数据的处理方法、装置、存储介质及计算机设备 |
| CN113052772A (zh) * | 2021-03-23 | 2021-06-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113112428A (zh) * | 2021-04-16 | 2021-07-13 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| CN115238884A (zh) * | 2021-04-23 | 2022-10-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质、设备以及模型训练方法 |
| CN113744167B (zh) * | 2021-09-02 | 2024-04-30 | 厦门美图之家科技有限公司 | 一种图像数据转换方法及装置 |
| CN116402724B (zh) * | 2023-06-08 | 2023-08-11 | 江苏游隼微电子有限公司 | 一种ryb格式的raw图像色彩还原方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1288598C (zh) * | 2004-12-27 | 2006-12-06 | 北京中星微电子有限公司 | 一种实现图像缩放的方法 |
| CN101902650B (zh) * | 2009-05-27 | 2012-06-27 | 中国科学院微电子研究所 | 一种适用于Bayer图像格式的无损压缩方法 |
| JP2011171885A (ja) * | 2010-02-17 | 2011-09-01 | Renesas Electronics Corp | 画像処理装置及び画像処理方法 |
| US9076152B2 (en) * | 2010-10-20 | 2015-07-07 | Microsoft Technology Licensing, Llc | Semantic analysis of information |
| US9332239B2 (en) * | 2012-05-31 | 2016-05-03 | Apple Inc. | Systems and methods for RGB image processing |
| CN104427349B (zh) * | 2013-08-20 | 2017-09-29 | 清华大学 | 一种Bayer图像压缩方法 |
| CN103731154B (zh) * | 2013-11-01 | 2017-01-11 | 陕西理工学院 | 一种基于语义分析的数据压缩算法 |
| CN104732506B (zh) * | 2015-03-27 | 2018-04-10 | 浙江大学 | 一种基于人脸语义分析的人物照片颜色风格转换方法 |
| JP6639113B2 (ja) * | 2015-06-05 | 2020-02-05 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
| CN107016415B (zh) * | 2017-04-12 | 2019-07-19 | 合肥工业大学 | 一种基于全卷积网络的彩色图像色彩语义分类方法 |
| US10255693B2 (en) * | 2017-05-02 | 2019-04-09 | Techcyte, Inc. | Machine learning classification and training for digital microscopy images |
| CN107833194A (zh) * | 2017-11-21 | 2018-03-23 | 长沙全度影像科技有限公司 | 一种结合raw图像去噪的简单透镜图像复原方法 |
| CN109379572B (zh) * | 2018-12-04 | 2020-03-06 | 北京达佳互联信息技术有限公司 | 图像转换方法、装置、电子设备及存储介质 |
-
2018
- 2018-12-04 CN CN201811473815.6A patent/CN109379572B/zh active Active
-
2019
- 2019-10-14 WO PCT/CN2019/111077 patent/WO2020114087A1/zh active Application Filing
-
2020
- 2020-10-30 US US17/084,946 patent/US11470294B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20210058595A1 (en) | 2021-02-25 |
| WO2020114087A1 (zh) | 2020-06-11 |
| CN109379572A (zh) | 2019-02-22 |
| US11470294B2 (en) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109379572B (zh) | 图像转换方法、装置、电子设备及存储介质 | |
| CN108419016B (zh) | 拍摄方法、装置及终端 | |
| CN109257645B (zh) | 视频封面生成方法及装置 | |
| KR101727169B1 (ko) | 이미지 필터를 생성하기 위한 방법 및 장치 | |
| CN108154465B (zh) | 图像处理方法及装置 | |
| CN107944447B (zh) | 图像分类方法及装置 | |
| CN109859144B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN109784164B (zh) | 前景识别方法、装置、电子设备及存储介质 | |
| CN106131441A (zh) | 拍照方法及装置、电子设备 | |
| CN105528765B (zh) | 处理图像的方法及装置 | |
| CN109509195B (zh) | 前景处理方法、装置、电子设备及存储介质 | |
| CN112927122A (zh) | 水印去除方法、装置及存储介质 | |
| CN112634160A (zh) | 拍照方法及装置、终端、存储介质 | |
| WO2023071933A1 (zh) | 相机拍摄参数调整方法、装置及电子设备 | |
| CN112258380A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111953904A (zh) | 拍摄方法、装置、电子设备及存储介质 | |
| CN110956063A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112069951A (zh) | 视频片段提取方法、视频片段提取装置及存储介质 | |
| CN106469446B (zh) | 深度图像的分割方法和分割装置 | |
| US11989863B2 (en) | Method and device for processing image, and storage medium | |
| WO2023236209A1 (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| US20230385993A1 (en) | Image processing method and apparatus, electronic device, storage medium and chip | |
| CN109948689B (zh) | 一种视频生成方法、装置、电子设备及存储介质 | |
| WO2023231009A1 (zh) | 一种对焦方法、装置及存储介质 | |
| US20220405896A1 (en) | Image processing method and apparatus, model training method and apparatus, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |