CN110557584B - 图像处理方法及装置、计算机可读存储介质 - Google Patents
图像处理方法及装置、计算机可读存储介质 Download PDFInfo
- Publication number
- CN110557584B CN110557584B CN201810571963.5A CN201810571963A CN110557584B CN 110557584 B CN110557584 B CN 110557584B CN 201810571963 A CN201810571963 A CN 201810571963A CN 110557584 B CN110557584 B CN 110557584B
- Authority
- CN
- China
- Prior art keywords
- image
- data format
- neural network
- convolutional neural
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 127
- 238000012545 processing Methods 0.000 claims abstract description 65
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 38
- 238000012937 correction Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 8
- 230000007547 defect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像处理方法及装置、计算机可读存储介质及电子设备，用以提升卷积神经网络对于成像设备、光照环境等因素的适应性，该图像处理方法包括：采集数据格式为第一数据格式的第一图像；对所述第一图像进行域处理得到第二图像；将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络将所述第二图像的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述第二图像显示和/或传输。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种图像处理方法及装置、计算机可读存储介质及电子设备。
背景技术
目前，采用卷积神经网络(Convolutional Neural Network,CNN)进行图像处理，一般是将成像设备采集的图像直接输入卷积神经网络，由卷积神经网络对该图像进行图像质量属性调整并输出，卷积神经网络学习的是成像设备采集的图像与对应的符合质量期望的输出图像之间的映射关系，由于成像设备、光照环境等因素会直接影响该设备所采集的图像的分布特性，例如图像中可能会存在坏点、黑电平、低信噪比等问题，对于不同的成像设备、不同的光照环境，采集的图像的分布特性一般是不同的，而上述映射关系又是由有限的图像集训练出来的，这样卷积神经网络就会受到成像设备、光照环境等因素的影响，并不是所有成像设备在任何光照环境下采集的图像输入到该卷积神经网络，由该卷积神经网络对输入的图像进行图像质量属性调整后，都能得到符合质量期望的输出图像，也就是说现有的卷积神经网络对于成像设备、光照环境等因素的适应性不佳。
基于此，如何提升卷积神经网络对于成像设备、光照环境等因素的适应性，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本申请提供一种图像处理方法及装置、计算机可读存储介质及电子设备，用以提升卷积神经网络对于成像设备、光照环境等因素的适应性。
第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
采集数据格式为第一数据格式的第一图像；
对所述第一图像进行域处理得到第二图像；
将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络将所述第二图像从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述第二图像显示和/或传输。
上述方法，先采集数据格式为第一数据格式的第一图像，再对第一图像进行域处理得到第二图像，然后将第二图像输入到已训练的卷积神经网络中，以由该卷积神经网络将第二图像的数据格式从第一数据格式转换为适于第二图像显示和/或传输的第二数据格式，由于在将采集的第一图像输入到已训练的卷积神经网络之前，在数据格式不变的情况下，先对该第一图像进行域处理，以对成像设备、光照环境等因素产生的影响进行校正，这样卷积神经网络就不易受到成像设备、光照环境等因素的影响，从而可以提升卷积神经网络对于成像设备、光照环境等因素的适应性。
在一可能的实现方式中，所述域处理包括：黑电平校正、坏点校正、固定模式噪声校正、绿通道失衡校正、白平衡、宽动态合成、视频降噪中的至少一种处理。
在一可能的实现方式中，所述将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络将所述第二图像从所述第一数据格式转换为第二数据格式，包括：
将所述第二图像输入到已训练的第一卷积神经网络中，以由所述第一卷积神经网络对所述第二图像进行至少一个图像质量属性调整，并将完成调整后的第二图像的数据格式从所述第一数据格式转换为所述第二数据格式。
在一可能的实现方式中，所述将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络将所述第二图像从所述第一数据格式转换为第二数据格式，包括：
先将所述第二图像进行色彩特征提取，得到N个单通道图像，所述N个单通道图像互不相同，N为大于1的正整数；
将所述N个单通道图像输入到已训练的第二卷积神经网络中，以由所述第二卷积神经网络对所述N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式。
该方法中，在将第二图像输入到已训练的卷积神经网络时，通过提取第二图像的色彩特征，可以提升第二图像的色彩信息量，这样有利于后续由卷积神经网络对第二图像进行去马赛克。
在一可能的实现方式中，所述将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络将所述第二图像从所述第一数据格式转换为第二数据格式，包括：
将所述第二图像输入到已训练的第三卷积神经网络中，以由所述第三卷积神经网络先对所述第二图像进行色彩特征提取，再对色彩特征提取得到的N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式，N为大于1的正整数。
该方法中，在将第二图像输入到已训练的第三卷积神经网络后，先对第二图像进行色彩特征提取，再对色彩特征提取得到的N个单通道图像进行图像质量属性调整，通过提取第二图像的色彩特征，可以提升第二图像的色彩信息量，这样有利于后续由卷积神经网络对第二图像进行去马赛克。
在一可能的实现方式中，所述将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络将所述第二图像从所述第一数据格式转换为第二数据格式，包括：
将所述第二图像输入到已训练的第四卷积神经网络，以由所述第四卷积神经网络先对所述第二图像进行图像质量属性的初次调整；
然后对完成初次调整后的第二图像进行色彩特征提取，将色彩特征提取得到的N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式，N为大于1的正整数。
该方法中，在将第二图像输入到已训练的第四卷积神经网络后，先对第二图像进行图像质量属性的初次调整，然后对完成初次调整后的第二图像进行色彩特征提取，将色彩特征提取得到的N个单通道图像进行图像质量属性调整，通过提取完成初次调整后的第二图像的色彩特征，可以提升该第二图像的色彩信息量，这样有利于后续由卷积神经网络对该第二图像进行去马赛克。
在一可能的实现方式中，所述图像质量属性包括马赛克、亮度、色彩、对比度、动态范围、清晰度、锐度和噪声平滑中的至少一种。
在一可能的实现方式中，所述色彩特征的提取由所述卷积神经网络的指定卷积层执行，所述指定卷积层的卷积核包括用于颜色通道分离的4个固定滤波核；或者包括训练得到的M个滤波核，M≥1；
所述指定卷积层的滤波步长为所述第二图像的色彩阵列的最小重复单元的宽度的整数倍。
该方法中，通过将指定卷积层的滤波步长设置为所述第二图像的色彩阵列的最小重复单元的宽度的整数倍，从而可以不破坏第二图像的色彩空间信息。
第二方面，本申请实施例还提供了一种图像处理装置，包括用于执行第一方面或第一方面的任意可能的实现方式中的图像处理方法的模块。
第三方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面或第一方面的任意可能的实现方式中的图像处理方法的步骤。
第四方面，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面或第一方面的任意可能的实现方式中的图像处理方法的步骤。
附图说明
图1为本申请实施例提供的一种图像处理方法的流程示意图；
图2a-图2d为本申请实施例中传感器采集的图像的色彩阵列示意图；
图3为本申请实施例中卷积神经网络的第一种结构示意图；
图4为本申请实施例中一种卷积神经网络训练样本集的生成过程示意图；
图5为本申请实施例中不同曝光时间的第一数据格式的图像宽动态合成示意图；
图6为本申请实施例中第一数据格式的图像序列视频降噪示意图；
图7为本申请实施例提供的一种图像序列视频降噪处理流程示意图；
图8为本申请实施例提供的第一种色彩特征提取过程示意图；
图9为本申请实施例中卷积神经网络的第二种结构示意图；
图10为本申请实施例中卷积神经网络的第三种结构示意图；
图11为本申请实施例提供的第二种色彩特征提取过程示意图；
图12为本申请实施例提供的第三种色彩特征提取过程示意图；
图13为本申请实施例提供的图像处理装置的第一种结构示意图；
图14为本申请实施例提供的图像处理装置的第二种结构示意图；
图15为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
为了更清楚的理解本申请，首先对本申请中使用的术语进行说明，“第一数据格式”指图像传感器将捕捉到的光源信号转化为数字信号采用的数据格式。例如可以为Bayer格式、RGBIR格式、RGBW格式、黑白格式等。
“第二数据格式”指适于显示和/或传输的任意一种图像格式。例如可以为RGB格式、YUV格式等。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
参见图1，本申请实施例提供了一种图像处理方法，该方法可以应用于具有图像处理功能的电子设备，例如智能手机，该方法可以包括如下步骤：
S101、采集数据格式为第一数据格式的第一图像；
其中，第一图像的采集例如可以采用Bayer传感器、RGBIR传感器、RGBW传感器、Mono传感器等。Bayer传感器采集的图像的数据格式为Bayer格式，其图像的色彩阵列如图2a所示；RGBIR传感器采集的图像的数据格式为RGBIR格式，其图像的色彩阵列如图2b所示；RGBW传感器采集的图像的数据格式为RGBW格式，其图像的色彩阵列如图2c所示；Mono传感器采集的图像的数据格式为黑白格式，其图像的色彩阵列如图2d所示。
S102、对所述第一图像进行域处理得到第二图像；
其中，域处理可以包括：黑电平校正、坏点校正、固定模式噪声校正、绿通道失衡校正、白平衡、宽动态合成、视频降噪中的至少一种处理。
S103、将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络将所述第二图像的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述第二图像显示和/或传输。
在一可能的实现方式中，步骤S103中将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络将所述第二图像从所述第一数据格式转换为第二数据格式，可以包括：
将所述第二图像输入到已训练的第一卷积神经网络中，以由所述第一卷积神经网络对所述第二图像进行至少一个图像质量属性调整，并将完成调整后的第二图像的数据格式从所述第一数据格式转换为所述第二数据格式。
其中，图像质量属性可以包括：马赛克、亮度、色彩、对比度、动态范围、清晰度、锐度、噪声平滑等。
上述卷积神经网络可以对输入图像进行至少一种图像质量属性调整。如图3所示，该卷积神经网络一般可以包括：输入层31、多个卷积层32、输出层33。卷积层32可以用于对输入图像的图像质量属性进行调整。
上述卷积神经网络训练采用的样本集获取方式可以如下：
从各图片网站收集大量图像，构成第二数据格式图像集set(O)，对于set(O)中的所有图像可以按图4所示流程进行处理，先对R、G、B三通道图像进行降采样，然后R、G、B三通道图像进行通道合成得到第一数据格式的图像，再在第一数据格式的图像上叠加噪声，处理完set(O)中的所有图像后，就可得到第一数据格式的图像集set(J)。
由于set(O)中的图像包含了对于set(J)中图像去马赛克、以及噪声平滑两种图像质量属性的调整，因此采用上述样本集完成训练后的卷积神经网络便能拟合上述去马赛克及噪声平滑两种图像质量属性调整的过程。
在另一示例中，上述卷积神经网络训练采用的样本集获取方式也可以如下：
摄像机采集第一数据格式图像，且在同一帧时刻捕获用于预览显示的第二数据格式的图像(预览显示的第二数据格式图像即为采用现有的ISP处理方式处理的图像)。经过若干次采集后，可以形成第一数据格式的图像集set(I)、及第二数据格式的图像集set(O)，对第一数据格式的图像集set(I)中的所有图像，需进行黑电平、白平衡等校正处理，得到第一数据格式的图像集set(J)。于是，set(J)与set(O)即构成卷积神经网络端到端训练的样本对集合。
由于set(O)中的图像包含了对于set(J)中图像去马赛克、亮度、色彩、对比度、动态范围、清晰度、锐度、噪声平滑等各种图像质量属性的调整，因此采用上述样本集完成训练后的卷积神经网络便能拟合上述各种图像质量属性调整的过程。
接下来对上述域处理中提到的各种处理方式进行简单的介绍：
1、黑电平校正
不同型号的传感器具有不同大小的黑电平值，黑电平校正可以采用如下公式(1)：
out＝in-blackVal (1)
其中，out为黑电平校正结果，in为输入图像，blackVal为采集该图像的传感器的黑电平值。
2、坏点校正
坏点校正例如可以采用中值滤波。
3、固定模式噪声校正
固定模式噪声校正的方法例如可以是：检测固定模式噪声的位置，该位置像素点的像素值用其周围像素点的像素值插值得到的值替代。
4、绿通道失衡校正
绿通道失衡校正例如可以采用绿通道均值滤波。
需要指出的是，上述校正方法1-4主要是针对传感器的校正，这是因为传感器在生产过程中，由于工艺限制会存在某些物理缺陷，导致传感器成像时会出现黑电平、坏点、固定模式噪声、绿通道失衡等问题。而可对这些成像问题进行校正，可以使得校正后的图像能消除由于传感器的生产工艺导致的成像问题，也就是说，校正后的图像可以消除成像设备相关性，让后续卷积神经网络适应不同型号传感器。
5、白平衡
白平衡的主要作用是：降低偏色问题对卷积神经网络的影响，提升卷积神经网络输入图像的质量。
白平衡方法可以是：对图像不同颜色通道的灰度值乘以各自颜色通道的白平衡增益值而得到该图像白平衡校正后的各颜色通道的灰度值。
以Bayer格式图像为例，该图像的色彩阵列为‘RGGB’，其相应的白平衡方法可以采用如下公式：
outR＝inR×gainR (2)
outG1＝inG1×gainG1 (3)
outG2＝inG2×gainG2 (4)
outB＝inB×gainB (5)
其中inR、inG1、inG2、inB为图像不同颜色通道的灰度值，gainR、gainG1、gainG2、gainB为不同颜色通道的白平衡增益值，outR、outG1、outG2、outB为图像白平衡校正后的各颜色通道的灰度值。
6、宽动态合成
宽动态合成的主要作用是：能用一个卷积神经网络同时兼容宽动态模式和线性模式的图像信号处理(Image Signal Processing,ISP)。
宽动态合成是将同一时刻下采集到的不同曝光时间的图像进行宽动态合成处理。
例如：参见图5，图5为不同曝光时间的第一数据格式的图像宽动态合成示意图，该图中I1 t，……IN t(其中N≥2)分别表示在时刻t下采集的不同曝光时间的第一数据格式的图像。对输入的不同曝光时间的第一数据格式图像进行宽动态合成处理，输出合成后的第一数据格式图像Jt。
7、视频降噪
视频降噪的主要作用是：充分利用图像序列帧间的差异信息，对噪声进行时域平滑，提升处理后图像的信噪比。
视频降噪一般有两种处理方式，方式一：基于当前时刻的图像It和当前时刻前k帧图像It-1、It-2、……、It-k(其中k≥1)计算当前时刻的视频降噪处理后的图像Jt，如图6所示，图6为第一数据格式的图像序列视频降噪示意图。
方式二：基于当前时刻的图像It和当前时刻前1帧视频降噪处理后的图像Jt-1计算当前时刻的输出图像Jt。
具体的，参见图7，图7为本申请实施例提供的一种图像序列视频降噪处理流程示意图。
1)运动估计可采用如下方法：
对于任意像素点(i,j)，计算当前时刻的图像It与当前时刻前1帧视频降噪处理后的图像Jt-1的残差dif(i,j)；
dif(i，j)＝It(i，j)-Jt-1(i，j) (6)
运动权重图w(i,j)可以采用下式进行计算：
其中，K为比例参数，th为运动判决阈值，abs表示绝对值。
2)高斯滤波可采用如下方法：
其中，Its表示当前时刻的图像It经高斯滤波后得到的图像，H为高斯滤波器，例如，H可以用下式表示：
3)混合滤波可采用如下方法：
Jt(i，j)＝Jt-1(i，j)×(1-w(i，j))+Its(i，j)×w(i，j) (10)
为了提升第二图像的色彩信息量，便于后续由卷积神经网络(该卷积神经网络一般可以进行至少去马赛克的图像质量属性调整)对第二图像进行去马赛克，可以对第二图像进行色彩特征的提取，下面介绍三种色彩特征提取的方式。
实现方式一：
步骤S103中将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络将所述第二图像从所述第一数据格式转换为第二数据格式，可以包括：
先将所述第二图像进行色彩特征提取，得到N个单通道图像，所述N个单通道图像互不相同，N为大于1的正整数；
将所述N个单通道图像输入到已训练的第二卷积神经网络中，以由所述第二卷积神经网络对所述N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式。
例如：第一图像为Bayer格式的图像，第二图像也为Bayer格式的图像，其提取色彩特征的主要步骤为：将Bayer图像(或称输入数据)处于同一颜色平面的像素进行通道分离，获得R、G、B三通道图像，并满足分离后各通道图像的像素点坐标与Bayer图像对应像素点坐标一致。对于各通道缺失的像素的灰度值，R通道、B通道采用最近邻插值，G通道采用双线性插值(即缺失的像素的灰度值可以用周围4个像素的灰度值的平均值来替代)。Bayer图像经上述色彩提取处理后，输出的色彩特征如图8所示。
实现方式二：
步骤S103中将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络将所述第二图像从所述第一数据格式转换为第二数据格式，可以包括：
将所述第二图像输入到已训练的第三卷积神经网络中，以由所述第三卷积神经网络先对所述第二图像进行色彩特征提取，再对色彩特征提取得到的N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式，N为大于1的正整数。
该实施例中，如图9所示，卷积神经网络中第一层卷积层可以用于执行色彩特征的提取(可将该卷积层称为色彩提取层321)，后续的卷积层可以用于执行图像质量属性调整。
实现方式三：
步骤S103中将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络将所述第二图像从所述第一数据格式转换为第二数据格式，可以包括：
将所述第二图像输入到已训练的第四卷积神经网络，以由所述第四卷积神经网络先对所述第二图像进行图像质量属性的初次调整；
然后对完成初次调整后的第二图像进行色彩特征提取，将色彩特征提取得到的N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式，N为大于1的正整数。
该实施例中，如图10所示，卷积神经网络中指定卷积层可以用于执行色彩特征的提取(可将该卷积层称为色彩提取层321)，该色彩提取层321的前面有至少一层用于执行图像质量属性的初次调整的卷积层。
需要指出的是，第四卷积神经网络对第二图像进行初次调整的图像质量属性与对N个单通道图像进行调整的图像质量属性可以相同，也可以不同，本申请实施例对此并不进行限定。
实现方式二和实现方式三中，色彩特征的提取由卷积神经网络的指定卷积层执行。
其中，指定卷积层(或称色彩提取层)的卷积核可以包括用于颜色通道分离的4个固定滤波核；或者可以包括训练得到的M个滤波核，M≥1。
指定卷积层的滤波步长可以设置为第二图像的色彩阵列的最小重复单元的宽度的整数倍。
例如：第一图像(或称输入数据)为Bayer格式的图像，指定卷积层(或称色彩提取层)的卷积核可以采用4个固定滤波核w1、w2、w3、w4，滤波步长(stride)可以设置为2(Bayer图像的色彩阵列的最小重复单元的宽度为2)。
其中，
经上述色彩提取层处理后，输出如图11所示的4通道色彩特征。
在另一示例中，指定卷积层的卷积核可以采用N个4×4大小的滤波核w1、w2、……、wN(N≥1)，滤波步长(stride)可以设置为2。
其中，
上述滤波核w1、w2、……、wN的模板参数在整个卷积神经网络训练完成后可得到。经上述色彩提取层处理后，输出的色彩特征如图12所示。
基于同一发明构思，参见图13，本申请实施例提供的一种图像处理装置，可以包括：图像采集模块11、域处理模块12和第一处理模块13。
图像采集模块11，用于采集数据格式为第一数据格式的第一图像；
域处理模块12，用于对所述第一图像进行域处理得到第二图像；
其中，域处理可以包括：黑电平校正、坏点校正、固定模式噪声校正、绿通道失衡校正、白平衡、宽动态合成、视频降噪中的至少一种处理。
第一处理模块13，用于将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络将所述第二图像从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述第二图像显示和/或传输。
其中，卷积神经网络可以集成在第一处理模块13中作为第一处理模块13的一部分，也可以设置在第一处理模块13外部，可由第一处理模块13来调度。
在一可能实施方式中，上述第一处理模块13可以包括：已训练的第一卷积神经网络；
所述卷积神经网络将所述第二图像从所述第一数据格式转换为第二数据格式，可以包括：
所述第一卷积神经网络对所述第二图像进行至少一个图像质量属性调整，并将完成调整后的第二图像的数据格式从所述第一数据格式转换为所述第二数据格式。
其中，图像质量属性可以包括马赛克、亮度、色彩、对比度、动态范围、清晰度、锐度和噪声平滑中的至少一种。
在一可能实施方式中，如图14所示，上述第一处理模块13可以包括：色彩提取模块131和已训练的第二卷积神经网络132。
将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络将所述第二图像从所述第一数据格式转换为第二数据格式，可以包括：
色彩提取模块131将所述第二图像进行色彩特征提取，得到N个单通道图像，所述N个单通道图像互不相同，N为大于1的正整数；并将所述N个单通道图像输出给第二卷积神经网络132；
第二卷积神经网络132对所述N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式。
在一可能实施方式中，上述第一处理模块13可以包括：已训练的第三卷积神经网络；
所述卷积神经网络将所述第二图像从所述第一数据格式转换为第二数据格式，可以包括：
第三卷积神经网络先对所述第二图像进行色彩特征提取，再对色彩特征提取得到的N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式，N为大于1的正整数。
在另一可能实施方式中，上述第一处理模块13可以包括：已训练的第四卷积神经网络；
所述卷积神经网络将所述第二图像从所述第一数据格式转换为第二数据格式，可以包括：
第四卷积神经网络先对所述第二图像进行图像质量属性的初次调整；然后对完成初次调整后的第二图像进行色彩特征提取，将色彩特征提取得到的N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式，N为大于1的正整数。
需要指出的是，当第一处理模块13用于从第二图像中提取色彩特征时，卷积神经网络可以包括执行色彩特征的提取的指定卷积层；指定卷积层的卷积核包括用于颜色通道分离的4个固定滤波核；或者包括训练得到的M个滤波核，M≥1；指定卷积层的滤波步长为所述第二图像的色彩阵列的最小重复单元的宽度的整数倍。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任意可能的实现方式中的图像处理方法的步骤。
可选地，该存储介质具体可以为存储器。
基于同一发明构思，参见图15，本申请实施例还提供了一种电子设备，包括存储器61(例如非易失性存储器)、处理器62及存储在存储器61上并可在处理器62上运行的计算机程序，处理器62执行所述程序时实现上述任意可能的实现方式中的图像处理方法的步骤。该电子设备例如可以为智能手机、数码相机。
如图15所示，该电子设备一般还可以包括：内存63、网络接口64、以及内部总线65。除了这些部件外，还可以包括其他硬件，对此不再赘述。
需要指出的是，上述图像处理装置可以通过软件实现，其作为一个逻辑意义上的装置，是通过其所在的电子设备的处理器62将非易失性存储器中存储的计算机程序指令读取到内存63中运行形成的。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (16)
1.一种图像处理方法，其特征在于，所述方法包括：
采集数据格式为第一数据格式的第一图像；所述第一图像为图像传感器采集的传感器信号；
对所述第一图像进行域处理得到第二图像；所述域处理至少用于对所述图像传感器的工艺限制而导致采集的所述传感器信号存在的成像缺陷进行校正，至少包括：黑电平校正、坏点校正、固定模式噪声校正、和/或绿通道失衡校正；
将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络对所述第二图像的至少一个图像质量属性进行调整，并将完成调整后的所述第二图像从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述第二图像显示和/或传输。
2.根据权利要求1所述的图像处理方法，其特征在于，所述域处理包括：黑电平校正、坏点校正、固定模式噪声校正、绿通道失衡校正、白平衡、宽动态合成、视频降噪中的至少一种处理。
3.根据权利要求1或2所述的图像处理方法，其特征在于，所述将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络对所述第二图像的至少一个图像质量属性进行调整，并将完成调整后的所述第二图像从所述第一数据格式转换为第二数据格式，包括：
将所述第二图像输入到已训练的第一卷积神经网络中，以由所述第一卷积神经网络对所述第二图像进行至少一个图像质量属性调整，并将完成调整后的第二图像的数据格式从所述第一数据格式转换为所述第二数据格式。
4.根据权利要求1或2所述的图像处理方法，其特征在于，所述将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络对所述第二图像的至少一个图像质量属性进行调整，并将完成调整后的所述第二图像从所述第一数据格式转换为第二数据格式，包括：
先将所述第二图像进行色彩特征提取，得到N个单通道图像，所述N个单通道图像互不相同，N为大于1的正整数；
将所述N个单通道图像输入到已训练的第二卷积神经网络中，以由所述第二卷积神经网络对所述N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式。
5.根据权利要求1所述的图像处理方法，其特征在于，所述将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络对所述第二图像的至少一个图像质量属性进行调整，并将完成调整后的所述第二图像从所述第一数据格式转换为第二数据格式，包括：
将所述第二图像输入到已训练的第三卷积神经网络中，以由所述第三卷积神经网络先对所述第二图像进行色彩特征提取，再对色彩特征提取得到的N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式，N为大于1的正整数。
6.根据权利要求1所述的图像处理方法，其特征在于，所述将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络对所述第二图像的至少一个图像质量属性进行调整，并将完成调整后的所述第二图像从所述第一数据格式转换为第二数据格式，包括：
将所述第二图像输入到已训练的第四卷积神经网络，以由所述第四卷积神经网络先对所述第二图像进行图像质量属性的初次调整；
然后对完成初次调整后的第二图像进行色彩特征提取，将色彩特征提取得到的N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式，N为大于1的正整数。
7.根据权利要求5或6所述的图像处理方法，其特征在于，所述图像质量属性包括马赛克、亮度、色彩、对比度、动态范围、清晰度、锐度和噪声平滑中的至少一种。
8.根据权利要求5或6所述的图像处理方法，其特征在于，所述色彩特征的提取由所述卷积神经网络的指定卷积层执行，所述指定卷积层的卷积核包括用于颜色通道分离的4个固定滤波核；或者包括训练得到的M个滤波核，M≥1；
所述指定卷积层的滤波步长为所述第二图像的色彩阵列的最小重复单元的宽度的整数倍。
9.一种图像处理装置，其特征在于，所述装置包括：
图像采集模块，用于采集数据格式为第一数据格式的第一图像；所述第一图像为图像传感器采集的传感器信号；
域处理模块，用于对所述第一图像进行域处理得到第二图像；所述域处理至少用于对所述图像传感器的工艺限制而导致采集的所述传感器信号存在的成像缺陷进行校正，至少包括：黑电平校正、坏点校正、固定模式噪声校正、和/或绿通道失衡校正；
第一处理模块，用于将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络对所述第二图像的至少一个图像质量属性进行调整，并将完成调整后的所述第二图像从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述第二图像显示和/或传输。
10.根据权利要求9所述的装置，其特征在于，所述第一处理模块包括：已训练的第一卷积神经网络；
所述卷积神经网络对所述第二图像的至少一个图像质量属性进行调整，并将完成调整后的所述第二图像从所述第一数据格式转换为第二数据格式，包括：
所述第一卷积神经网络对所述第二图像进行至少一个图像质量属性调整，并将完成调整后的第二图像的数据格式从所述第一数据格式转换为所述第二数据格式。
11.根据权利要求9所述的装置，其特征在于，所述第一处理模块包括：色彩提取模块和已训练的第二卷积神经网络；
所述将所述第二图像输入到已训练的卷积神经网络，由所述卷积神经网络对所述第二图像的至少一个图像质量属性进行调整，并将完成调整后的所述第二图像从所述第一数据格式转换为第二数据格式，包括：
所述色彩提取模块将所述第二图像进行色彩特征提取，得到N个单通道图像，所述N个单通道图像互不相同，N为大于1的正整数；并将所述N个单通道图像输出给所述第二卷积神经网络；
所述第二卷积神经网络对所述N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式。
12.根据权利要求9所述的装置，其特征在于，所述第一处理模块包括：已训练的第三卷积神经网络；
所述卷积神经网络对所述第二图像的至少一个图像质量属性进行调整，并将完成调整后的所述第二图像从所述第一数据格式转换为第二数据格式，包括：
所述第三卷积神经网络先对所述第二图像进行色彩特征提取，再对色彩特征提取得到的N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式，N为大于1的正整数。
13.根据权利要求9所述的装置，其特征在于，所述第一处理模块包括：已训练的第四卷积神经网络；
所述卷积神经网络对所述第二图像的至少一个图像质量属性进行调整，并将完成调整后的所述第二图像从所述第一数据格式转换为第二数据格式，包括：
所述第四卷积神经网络先对所述第二图像进行图像质量属性的初次调整；然后对完成初次调整后的第二图像进行色彩特征提取，将色彩特征提取得到的N个单通道图像进行图像质量属性调整，并将完成调整的N个单通道图像的数据格式从所述第一数据格式转换为所述第二数据格式，N为大于1的正整数。
14.根据权利要求12或13所述的装置，其特征在于，所述卷积神经网络包括执行所述色彩特征的提取的指定卷积层；
所述指定卷积层的卷积核包括用于颜色通道分离的4个固定滤波核；或者包括训练得到的M个滤波核，M≥1；
所述指定卷积层的滤波步长为所述第二图像的色彩阵列的最小重复单元的宽度的整数倍。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-8任一所述方法的步骤。
16.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810571963.5A CN110557584B (zh) | 2018-05-31 | 2018-05-31 | 图像处理方法及装置、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810571963.5A CN110557584B (zh) | 2018-05-31 | 2018-05-31 | 图像处理方法及装置、计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110557584A CN110557584A (zh) | 2019-12-10 |
| CN110557584B true CN110557584B (zh) | 2022-04-26 |
Family
ID=68736270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810571963.5A Active CN110557584B (zh) | 2018-05-31 | 2018-05-31 | 图像处理方法及装置、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110557584B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674364A (zh) * | 2020-05-14 | 2021-11-19 | 索尼公司 | 信息处理设备和方法、计算机可读存储介质 |
| CN113873141B (zh) * | 2020-06-30 | 2023-07-25 | Oppo广东移动通信有限公司 | 电子设备 |
| CN111970509B (zh) * | 2020-08-10 | 2022-12-23 | 杭州海康威视数字技术股份有限公司 | 一种视频图像的处理方法、装置与系统 |
| WO2022032666A1 (zh) * | 2020-08-14 | 2022-02-17 | 华为技术有限公司 | 处理图像的方法和相关装置 |
| CN112085682B (zh) * | 2020-09-11 | 2023-08-22 | 成都国科微电子有限公司 | 图像降噪方法、装置、电子设备及存储介质 |
| RU2764395C1 (ru) | 2020-11-23 | 2022-01-17 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети |
| CN112766277A (zh) * | 2021-02-07 | 2021-05-07 | 普联技术有限公司 | 卷积神经网络模型的通道调整方法、装置和设备 |
| CN113112428A (zh) * | 2021-04-16 | 2021-07-13 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| CN113115112B (zh) * | 2021-06-16 | 2021-09-21 | 上海齐感电子信息科技有限公司 | 验证平台和验证方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5351079A (en) * | 1991-11-21 | 1994-09-27 | Shiro Usui | Color balance adjusting apparatus using a decorrelating neural network |
| CN107066942A (zh) * | 2017-03-03 | 2017-08-18 | 上海斐讯数据通信技术有限公司 | 一种活体人脸识别方法及系统 |
| CN107424184A (zh) * | 2017-04-27 | 2017-12-01 | 厦门美图之家科技有限公司 | 一种基于卷积神经网络的图像处理方法、装置及移动终端 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7221807B2 (en) * | 2002-03-29 | 2007-05-22 | Sharp Laboratories Of America, Inc. | Methods and systems for digital image characteristic adjustment using a neural network |
| EP1580976A3 (en) * | 2004-03-19 | 2010-04-21 | Ricoh Company, Ltd. | Image processing apparatus, image data generation and transmission method and image data generation and transmission program |
| US10311560B2 (en) * | 2016-09-07 | 2019-06-04 | Huazhong University Of Science And Technology | Method and system for estimating blur kernel size |
-
2018
- 2018-05-31 CN CN201810571963.5A patent/CN110557584B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5351079A (en) * | 1991-11-21 | 1994-09-27 | Shiro Usui | Color balance adjusting apparatus using a decorrelating neural network |
| CN107066942A (zh) * | 2017-03-03 | 2017-08-18 | 上海斐讯数据通信技术有限公司 | 一种活体人脸识别方法及系统 |
| CN107424184A (zh) * | 2017-04-27 | 2017-12-01 | 厦门美图之家科技有限公司 | 一种基于卷积神经网络的图像处理方法、装置及移动终端 |
Non-Patent Citations (1)
| Title |
|---|
| COLOR IMAGE DEMOSAICKING VIA DEEP RESIDUAL LEARNING;Runjie Tan 等;《2017 IEEE》;20171231;正文1-6页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110557584A (zh) | 2019-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110557584B (zh) | 图像处理方法及装置、计算机可读存储介质 | |
| US11625815B2 (en) | Image processor and method | |
| JP7362284B2 (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
| JP5220677B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| CN110930301B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US9344638B2 (en) | Constant bracket high dynamic range (cHDR) operations | |
| JP7297470B2 (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
| US20220138964A1 (en) | Frame processing and/or capture instruction systems and techniques | |
| JP5744614B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
| JP2013066146A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| TW201003566A (en) | Interpolation system and method | |
| EP3953896B1 (en) | High-dynamic-range image generation with pre-combination denoising | |
| JP2010011072A (ja) | 撮像システム、画像処理方法および画像処理プログラム | |
| CN110555805B (zh) | 图像处理的方法、装置、设备及存储介质 | |
| CN113168671A (zh) | 噪点估计 | |
| JP5919086B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| JP5682443B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| CN112241670B (zh) | 图像处理方法及装置 | |
| JP6245847B2 (ja) | 画像処理装置および画像処理方法 | |
| US20230095184A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP2017130168A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| TW202422469A (zh) | 利用多域運動校正的高動態範圍（ｈｄｒ）圖像產生 | |
| JP2023116364A (ja) | 画像処理方法、画像処理装置、画像処理システム、およびプログラム | |
| JP2014086957A (ja) | 画像処理装置及び画像処理方法 | |
| CN117041745A (zh) | 智能影像处理中的颜色插值方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |