CN111010504A - 图像处理方法、装置和系统、摄像装置及存储介质 - Google Patents

Abstract

本发明提供图像处理方法、装置和系统、摄像装置及存储介质。该图像处理方法被构造为使用神经网络来校正拍摄图像，所述图像处理方法包括：第一步骤，其根据作为拍摄图像的一部分的部分图像在拍摄图像中的位置，确定部分图像的反转轴或神经网络的滤波器；第二步骤，其确定输入到与反转轴相对应的神经网络的图像中的各颜色分量的像素间的位置关系；以及第三步骤，其通过使用神经网络对基于位置关系而根据拍摄图像生成的输入图像进行处理，来生成通过对输入图像进行校正而获得的校正图像。

Description

图像处理方法、装置和系统、摄像装置及存储介质

技术领域

本发明涉及一种对拍摄图像的光学性能劣化进行校正的图像处理方法。

背景技术

传统上已经提出了一种通过深度学习来解决回归问题并且基于输入图像估计各种输出图像的技术。深度学习是使用多层神经网络的机器学习。通过多层而引入的强非线性以及通过使用大量学习图像进行学习而实现的高泛化性能，使得能够对未知输入图像进行高精度估计。

X.Mao,C.Shen,Y.Yang,“Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections(使用具有对称跳跃连接的卷积自动编码器的图像恢复)”,https://arxiv.org/abs/1606.08921.(“Mao et al.”)公开了一种适用于各种回归问题的卷积神经网络(convolutional neural network,CNN)的构造。Mao等人公开了使用卷积神经网络对输入图像的上采样、JPEG去块(去除压缩噪声)、去噪、非盲模糊校正和修复。

然而，在Mao等人公开的方法校正拍摄图像的光学性能劣化的情况下，保留的滤波器的数据量增加或校正精度降低。光学性能劣化是指，由用于对拍摄图像进行拍摄的摄像光学系统的像差和衍射而引起的模糊、由光学低通滤波器或图像传感器中的像素孔径而引起的模糊等。在下文中，光学性能劣化将被简称为模糊。

摄像光学系统的像差根据变焦、F数(光圈值)、对焦距离、图像高度和方位而改变。因此，Mao等人公开的只校正单个模糊的方法不能校正由摄像光学系统拍摄的所有拍摄图像。尽管可以针对具有不同变焦、F数、对焦距离、图像高度或方位的多个模糊中的各个单独地学习并校正滤波器，但是要存储的滤波器数据量变得巨大。

另一种可想到的方法是共同地学习具有不同变焦、F数、对焦距离、图像高度和方位的所有多个模糊。这可以通过为所有多个模糊准备地面真实图像和模糊图像、并通过将它们进行混合以学习CNN来实现。然而，如果多个模糊包括非常不同的模糊，则不能获得高校正效果。

发明内容

本发明提供各自可以在减少数据量的同时以高精度校正拍摄图像的光学性能劣化的图像处理方法、图像处理装置、摄像装置、程序及存储介质。

根据本发明的一方面的图像处理方法被构造为使用神经网络来校正拍摄图像，并且包括：第一步骤，其根据作为拍摄图像的一部分的部分图像在拍摄图像中的位置，确定部分图像的反转轴或神经网络的滤波器；第二步骤，其确定输入到与反转轴相对应的神经网络的图像中的各颜色分量的像素间的位置关系；以及第三步骤，其通过使用神经网络对基于位置关系而根据拍摄图像生成的输入图像进行处理，来生成通过对输入图像进行校正而获得的校正图像。

根据本发明的另一方面的图像处理装置包括：反转确定器，其被构造为根据作为拍摄图像的一部分的部分图像在拍摄图像中的位置，确定部分图像的反转轴或神经网络的滤波器；颜色确定器，其被构造为确定输入到与反转轴相对应的神经网络的图像中的各颜色分量的像素间的位置关系；以及发送器，其被构造为向使用神经网络来校正拍摄图像的其他处理装置发送，基于位置关系而根据拍摄图像生成的输入图像。所述其他处理装置通过使用神经网络处理接收的输入图像，来通过校正输入图像生成校正图像。

根据本发明的另一方面的摄像装置包括：摄像部，其被构造为拍摄被摄体图像；以及上述图像处理装置。

根据本发明的另一方面的图像处理系统包括第一装置和第二装置。第一装置包括发送器，所述发送器被构造为发送用于使第二装置执行用于校正拍摄图像的处理的请求。第二装置包括：接收器，其被构造为接收所述请求；反转确定器，其被构造为根据作为拍摄图像的一部分的部分图像在拍摄图像中的位置，确定部分图像的反转轴或神经网络的滤波器；颜色确定器，其被构造为确定输入到与反转轴相对应的神经网络的图像中的各颜色分量的像素间的位置关系；以及生成器，其被构造为通过使用神经网络对基于位置关系而根据拍摄图像生成的输入图像进行处理，来生成通过对输入图像进行校正而获得的校正图像。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是根据第一实施例和第三实施例的卷积神经网络的说明图。

图2是根据第一实施例的摄像系统的框图。

图3是根据第一实施例的摄像系统的概观。

图4是根据第一实施例至第三实施例的学习步骤的流程图。

图5是根据第一实施例和第三实施例的镜头状态划分的说明图。

图6A和图6B是根据第一实施例的方位划分和部分图像提取的说明图。

图7是根据第一实施例的图像传感器的像素布置图。

图8是根据第一实施例的校正步骤的流程图。

图9例示了根据第一实施例的各个方位范围(azimuth range)的反转处理与彩色滤波器阵列的布置之间的关系。

图10是根据第二实施例的图像处理系统的框图。

图11是根据第二实施例的图像处理系统的概观。

图12是根据第二实施例的方位划分的说明图。

图13是根据第二实施例的卷积神经网络的说明图。

图14是第二实施例中的校正步骤的流程图。

图15是根据第二实施例的部分图像提取位置的说明图。

图16A至图16C是根据第二实施例的卷积运算的参照顺序的说明图。

图17是根据第三实施例的图像处理摄像系统的框图。

图18是根据第三实施例的图像处理摄像系统的概观。

图19是根据第三实施例的方位划分的说明图。

图20是根据第三实施例的改变颜色分量间的位置关系的说明图。

具体实施方式

现在将参照附图给出根据本发明的实施例的描述。各图中的相应元件将由相同的附图标记表示，并且将省略其重复描述。

现在将描述术语的定义和本发明的概述。多层卷积神经网络(CNN)用于校正光学性能劣化(模糊)。通过CNN的模糊校正包括用于学习神经网络(下文中也简称为“网络”)的滤波器(权重)的处理步骤和用于使用学习的滤波器对未知输入校正模糊的处理步骤。前者将被称为学习步骤，后者将被称为校正步骤。接下来，在学习步骤和校正步骤中确定图像的名称。将要输入到网络的图像称为输入图像，并且将具有用于学习步骤的已知地面真实图像的输入图像称为训练图像。将从网络输出的图像称为输出图像，并且将校正步骤中的输出图像特别地称为校正图像。地面真实图像将是与在训练图像中模糊被校正的理想输出图像相对应的图像。

在本发明中，输入图像和地面真实图像是具有多个颜色分量的RAW图像。多个颜色分量各自具有关于被摄体空间中的不同位置的信息，诸如拜耳阵列。RAW图像表示未显像的图像数据。由于输出图像也通过校正根据地面真实图像而被生成为图像，因此它具有RAW图像的特性。使输入图像和输出图像成为RAW图像不需要显像处理，因此用户可以立即编辑模糊已经被校正的拍摄图像。此外，通过同时向网络输入多个颜色分量，可以将不同颜色分量中的被摄体信息(诸如边缘)用于模糊校正。因此，各个颜色分量的模糊校正可以在减少(抑制)滤波器的数据量的同时提高校正精度。

本发明考虑在使用CNN对RAW图像的模糊校正中像差围绕光轴的旋转对称性。由此，可以减小针对方位的模糊的自由度。另外，使用不引起插值劣化的反转并抵消由反转引起的颜色分量位置关系(彩色滤波器阵列的布置)的改变，即使针对未学习的方位，也可以高度精确地校正模糊。此外，可以减少要存储的滤波器的数据量。

第一实施例

现在将描述根据本发明第一实施例的图像处理方法。该实施例将讨论使用摄像装置执行图像处理方法的摄像系统。在该实施例中，除了执行校正步骤的摄像装置之外，还存在执行学习步骤的学习装置。

现在参照图2和图3，将描述根据该实施例的摄像系统10。图2是摄像系统10的框图。图3是摄像系统10的概观。摄像系统10包括摄像装置100和学习装置110。

摄像装置100拍摄被摄体空间中的图像，并且通过CNN校正拍摄图像中的模糊。针对校正，使用通过学习装置110学习的滤波器。拍摄图像由摄像部101拍摄。摄像部101包括摄像光学系统101a、光学低通滤波器101b和图像传感器101c。然而，光学低通滤波器101b不是必需的。在该实施例中，摄像装置100是可互换镜头型摄像装置，并且摄像光学系统101a(可互换镜头)可附装到包括图像传感器101c的相机主体并且可从该相机主体拆卸，并且各种类型的可互换镜头可附装到相机主体上。

从被摄体空间进入摄像部101的光穿过摄像光学系统101a和光学低通滤波器101b，然后由图像传感器101c接收。因摄像光学系统101a、光学低通滤波器101b、及图像传感器101c的像素孔径的像差和衍射中的各个，而使被摄体空间的接收图像模糊。拍摄图像被输入到图像处理器102。图像处理器102包括反相器(反转确定器)102a、改变器(颜色确定器)102b和生成器102c，并通过根据该实施例的图像处理方法进行模糊校正。图像处理器102进行其他显像处理。针对模糊校正，使用通过学习装置110学习的滤波器。学习装置110通过学习单元111针对可以附装到摄像装置100的多个摄像光学系统101a中的各个预先学习CNN滤波器，并将CNN滤波器存储在存储器(存储单元)112中。

摄像装置100和学习装置110通过有线或无线方式连接。摄像装置100可以在任意定时从存储器112读出与摄像光学系统101a的类型对应的滤波器。读取的滤波器信息存储在存储器(存储单元)103中。稍后将参照流程图描述关于由图像处理器102执行的模糊校正和由学习单元111执行的滤波器学习的细节。模糊校正的拍摄图像(校正的拍摄图像)存储在记录介质105中，并在用户观看图像时显示在显示单元104上。图像处理器102可以读取存储在记录介质105中并且还没有接收到模糊校正的拍摄图像，并且可以进行上述的模糊校正。上述处理由系统控制器106控制。

现在参照图4，将给出学习单元111执行的学习步骤的描述。图4是学习步骤的流程图。图4中的各个步骤主要由学习单元111执行。

首先，在步骤S101中，学习单元111设置用于批量学习的模糊条件。学习条件是指可以改变模糊的因素。更具体地说，学习条件可以包括：镜头(摄像光学系统101a)的类型、摄像期间摄像光学系统的镜头状态、图像高度和方位、像素间距、图像传感器的像素孔径和图像传感器的彩色滤波器阵列的布置、及光学低通滤波器的存在/不存在和光学低通滤波器的类型。镜头状态是指变焦、F数和对焦距离。由于摄像装置100是可互换镜头型摄像装置，因此可以附装不同类型的摄像光学系统101a。该实施例学习用于校正各个类型的摄像光学系统101a的模糊的CNN滤波器。

针对一个类型的摄像光学系统101a，镜头状态被划分成多个类型，并且针对各个划分的镜头状态单独地进行学习。例如，如图5中对镜头状态的划分的说明图中所示的，镜头状态空间以如下方式被划分，其将变焦(在单个聚焦镜头的情况下是不必要的)Z、F数F和对焦距离D中的各个设置为轴。例如，通过设置i，j，k＝1,2，在以8个点(Zi，Fj，Dk)作为顶点的镜头状态的子空间中的模糊被共同学习。针对以属于镜头状态的子空间的变焦、F数和对焦距离拍摄的拍摄图像，使用相同的滤波器来校正模糊。

当摄像光学系统101a包括相对于光轴旋转对称的镜头和基本上圆形的光阑时，由像差和衍射引起的模糊具有围绕光轴的旋转对称性。因此，只针对视角学习图像高度变化，并且可以通过使学习结果(滤波器)或输入图像旋转来处理方位变化。然而，在深度学习的学习结果中可能存在具有高频分量的滤波器，并且由于旋转引起的插值劣化成为问题。当旋转输入图像时，类似地发生插值劣化。因此，使用没有内插劣化的反转。针对相对于光轴旋转对称的模糊，一旦仅在图像圆中的八分之一区域(总图像高度或方位的45°)中学习模糊变化，则剩余的八分之七区域可以通过反转滤波器或输入图像来校正。换句话说，通过对滤波器或输入图像进行反转处理，可以使用相同的滤波器来校正拍摄图像中的不同位置。

光学低通滤波器的作用可能不具有四重对称性。例如，仅将垂直方向或水平方向上的两个点分离的光学低通滤波器的点扩散函数(point spread function，PSF)只具有双重对称性。在这种情况下，只需要学习对应于图像圆中的四分之一区域而不是八分之一区域的模糊。

由于根据该实施例的光学低通滤波器101b是四点分离(针对垂直方向和水平方向中的各个的两点分离)，因此学习图像圆中的八分之一区域中的模糊变化。由此，减小了针对模糊方位的模糊变化的自由度，并且可以减小滤波器的数据量。

图6A例示了要学习的模糊的图像高度和方位范围。在图6A中，交替的长短虚线表示图像圆，实线表示拍摄图像221，黑点222表示与摄像光学系统101a的光轴对应的点(基准点)。在该实施例中，学习由阴影部分224指示的图像高度和方位范围的模糊。拍摄图像221内的有限范围可以最小化学习中包括的模糊变化。图像高度和方位的范围不限于图6A中阴影部分224的位置，并且可以是其他位置，只要该位置是图像圆的八分之一的区域即可。然而，在只学习落入拍摄图像221内的范围时，方位选自0°≤θ≤45°、-45°≤θ≤0°、135°≤θ≤180°和-180°≤θ≤-135°中的一者。所有作用于拍摄图像的模糊都不能在其他范围内学习。方位的原点位于x轴(拍摄图像的纵向)上的正区域中。

接下来描述像素间距和像素孔径、彩色滤波器阵列的布置以及光学低通滤波器。在该实施例中，摄像装置100中的光学低通滤波器101b和图像传感器101c不改变。光学低通滤波器101b符合如上所述的四点分离方法。图像传感器101c的彩色滤波器阵列具有图7所示的像素布置。图7中的阴影部分150是光学黑区域。形成在由光学黑区域围绕的区域中的光接收区域具有拜耳阵列结构，其中左上像素是R(红色)。G1和G2表示绿色，B表示蓝色。在光接收区域中摄像的信号是拍摄图像。

当使用行索引和列索引将像素在光接收区域中的位置表示为(i，j)时，通过按(1,1)、(1,2)、(2,1)和(2,2)顺序描述像素的彩色滤波器来描述彩色滤波器阵列的布置。本实施例中的彩色滤波器阵列的布置是R、G1、G2和B。因此，设置模糊条件，使得像素间距和像素孔径被设置为图像传感器101c所采用的值，并且彩色滤波器阵列的布置和光学低通滤波器通过四点分离被固定到R、G1、G2和B。彩色滤波器阵列不限于拜耳阵列。本发明同样适用于其它布置，例如通过空间划分获取多个颜色分量的蜂窝结构。

接下来，在图4中的步骤S102中，学习单元111获取多个训练图像和地面真实图像。由于拍摄图像是RAW图像，因此训练图像和地面真实图像也是RAW图像。训练图像和地面真实图像是拍摄了相同被摄体的图像，并且在存在或不存在模糊的情况下彼此不同。例如，可以通过将模糊凭借模拟添加到受模糊影响较小的RAW图像(地面真实图像)来生成训练图像。在随后的校正步骤中不能精确地校正未包括在学习步骤中的模糊或被摄体的结构(诸如边缘)。因此，准备了拍摄有各种被摄体的大量地面真实图像，并且通过将所设置的镜头状态中的部分空间、图像高度和方位的模糊应用于这些地面真实图像来生成训练图像。

例如，可以通过以下方法生成模糊。确定镜头状态、图像高度和方位，根据摄像光学系统101a的设计值计算光学传递函数(OTF)，并且计算光学低通滤波器和像素孔径的频率特性的乘积。可以通过使用彩色滤波器的光谱特性计算各个波长的权重和并且通过以各个颜色的奈奎斯特频率(Nyquist frequency)折回，来生成模糊的OTF。如果包括红外线截止滤波器等，则还考虑其特性。此外，可以将由图像传感器101c生成的噪声添加到训练图像。可以针对各个噪声强度学习不同的滤波器，并且可以基于拍摄图像的噪声水平(其可以基于ISO速度等确定)来适当地选择校正滤波器。

接下来，在步骤S103中，学习单元111使用多个训练图像和地面真实图像优化CNN并计算滤波器。图1是CNN的说明图。CNN具有多个卷积层。针对作为训练图像的输入图像201，利用第一卷积层202计算与多个滤波器的卷积和偏差之和。第一特征映射203是针对各个滤波器计算的结果的概要。第一特征映射203被输入到第二卷积层204，并且类似地，计算与多个新滤波器的卷积和偏差之和。通过重复该运算并通过将第(N-1)特征映射211输入到第N卷积层212来获得输出图像213。这里，N是3或更大的自然数。通常，可以说具有三个或更多个卷积层的CNN对应于深度学习。在各个卷积层中，除了卷积之外，还执行使用激活函数的非线性转换。激活函数的示例包括S形函数和ReLU(Rectified Linear Unit，整流线性单元)。然而，非线性变换不需要在最后的第N卷积层中执行。

例如，通过随机数确定各个卷积层的滤波器和偏差的初始值。计算输出图像与地面真实图像之间的误差，并且通过使用误差反向传播方法(error back propagationmethod)等来更新滤波器和偏差，以减小误差。在滤波器和偏差收敛之后，学习单元111在假设学习结束的情况下确定滤波器和偏差的值。可以通过更新量、更新次数等来确定收敛。可以使用去卷积层代替卷积层，并且可以根据需要添加池化层(pooling layer)等。输出图像可以被设置为第N卷积层的输出和输入图像的总和。学习输出图像与输入图像之间差异的网络称为残差网络(residual network)。此时，偏差可以被固定为零。此外，GAN(Generative Adverbial Network，生成状语网络)等可以被用于网络。

接下来，在图4中的步骤S104中，学习单元111确定是否针对所有预定模糊条件完成了滤波器的计算。当针对所有模糊条件完成了滤波器的计算时，流程前进到步骤S105。另一方面，当尚未完成滤波器的计算时，流程返回到步骤S101。由于该实施例将镜头状态空间划分为多个部分，因此学习单元111新选择不计算滤波器的镜头状态。接下来，在步骤S105中，学习单元111输出滤波器。由学习单元111计算并输出的滤波器存储在存储器112中。

现在参照图8，将给出由图像处理器102执行的拍摄图像的校正步骤(模糊校正)的描述。图8是拍摄图像校正步骤的流程图。图8中的各个步骤是主要由图像处理器102基于来自系统控制器106的命令而执行的。

首先，在步骤S201中，图像处理器102获取拍摄图像，并从存储器103中读出与所获取的拍摄图像对应的滤波器。在该实施例中，图像处理器102基于关于当获得拍摄图像时的镜头状态的信息，来指定要读取的滤波器。可以例如从拍摄图像的标头信息获取关于镜头状态的信息。

接下来，在步骤S202中，图像处理器102从拍摄图像中提取部分图像(拍摄图像中要校正的部分区域)。部分图像的大小不一定与训练图像匹配。图6A和图6B例示了部分图像的提取示例。在通过将图像圆划分成八个部分而形成的区域当中的、拍摄图像221的面积大的区域中，如图6A所示，提取部分图像223a或223b。部分图像223a是包括整个阴影部分224的一个部分图像。部分图像223b是包括被划分的整个阴影部分224的多个部分图像。部分图像223b的数量可以是任何数量。

类似地，在拍摄图像221的面积小的区域中，如图6B所示，提取部分图像225a或225b。部分图像225a是包括所有阴影部分226的一个部分图像。部分图像225b包括以划分方式包括整个阴影部分226的多个部分图像。在部分图像225a的情况下，可以通过CNN的单次计算来校正八分之一区域，但是额外区域的面积(不进行阴影部分226之外的正确校正的区域)增加。需要针对各个部分图像计算部分图像225b，但是额外区域的面积小。可以根据计算时间和存储器容量来确定选择哪一个。在步骤S208中的组合期间，删除部分图像的未进行正确校正的额外区域。可以基于由部分图像的各个方位范围占据的面积来确定部分图像对应于哪个方位范围。

接下来，在步骤S203中，图像处理器102(反相器102a)基于拍摄图像中的部分图像的位置来设置(控制)部分图像的反转处理。换句话说，图像处理器102基于针对滤波器学习的方位范围与对应于步骤S202中提取的部分图像的方位范围之间的位置关系来确定反转轴(反转处理中的轴)(也可以说切换反转处理的类型)。在本实施例中，由于学习单元111在135°≤θ≤180°的方位范围进行学习，因此各个方位范围的反转轴如图9所示。图9例示各个方位范围的反转处理与反转处理后的彩色滤波器阵列的布置之间的关系。针对-45°轴、0°轴、45°轴和90°轴中的各个控制反转处理(切换反转处理的存在/不存在和反转处理的类型(-45°轴反转、0°轴反转、45°轴反转、90°轴反转))。

接下来，在图8的步骤S204中，图像处理器102(改变器102b)基于在步骤S203中切换的反转处理设置(反转的存在/不存在或反转类型)进行部分图像的反转处理。然后，基于反转处理(反转轴)，将颜色分量间的位置关系改变为与反转处理(反转轴)对应的位置关系。通过进行部分图像的反转处理，135°≤θ≤180°的方位范围的学习的滤波器可应用于整个方位范围，但是部分图像的彩色滤波器阵列的布置可能由于反转而改变。由于彩色滤波器阵列的学习的布置是R、G1、G2和B，因此除非输入图像与该阵列匹配，否则不能进行正确的模糊校正。因此，基于应用于部分图像的反转处理的反转轴，改变彩色滤波器阵列的布置。

在图9中，由于不必将G1和G2彼此区分开，因此不必改变90°≤θ≤135°的方位范围中的彩色滤波器阵列的布置。换句话说，彩色滤波器阵列的布置可以维持在第二象限中。接下来，在0°≤θ≤90°的第一象限中，可以通过删除部分图像的第一列和最后一列来改变R、G1、G2和B的彩色滤波器阵列的布置。在第三象限中，可以通过删除第一行和最后一行来改变R、G1、G2和B的彩色滤波器阵列的布置。在第四象限中，可以通过删除第一行、最后一行、第一列和最后一列来改变R、G1、G2和B的彩色滤波器阵列的布置。

可以使用移位来代替删除行分量和列分量。例如，代替删除第一列和最后一列，可以通过将第一列移位到最后一列的后面来改变彩色滤波器阵列的布置。相对地，可以将最后一列移位到第一列的前面。这同样适用于行。另外，在使用删除或移位时，在部分图像的边缘处不能获得正确的模糊校正结果。因此，从拍摄图像提取的部分图像(多个部分图像)可以具有交叠部分(彼此公共的部分)。多个部分图像中的至少两个可以具有公共部分。例如，针对没有交叠的拍摄图像中的最极端像素，可以使用在模糊校正之后原样的拍摄图像的像素值。本实施例中的步骤S204在反转处理之后进行颜色分量位置关系的改变处理，但是可以进行颜色分量位置关系的改变处理，然后可以进行反转处理。该实施例基于应用于部分图像的反转处理的反转轴来确定输入图像中的颜色分量间的位置关系。然而，本发明不限于该实施例。由于在拍摄图像中要校正的区域的位置对应于反转轴，因此可以直接从拍摄图像中的要校正区域的位置确定颜色分量间的位置关系。在任何情况下，步骤S204可以以消除因与步骤S203中确定的反转轴对应的反转所引起的颜色分量间的位置关系的变化的方式，来确定输入图像的颜色分量间的位置关系。

接下来，在图8的步骤S205中，图像处理器102向CNN输入通过对部分图像进行反转处理和用于改变彩色滤波器阵列的布置的处理而生成的输入图像，并计算校正图像。校正图像对应于具有校正的模糊的部分图像。CNN与学习期间使用的网络相同，并使用在步骤S201中获取的滤波器。可以在步骤S205之前的任何时间获取滤波器。

接下来，在步骤S206中，图像处理器102返回校正图像的反转。换句话说，图像处理器102进行与步骤S204中进行的反转处理相反的校正图像的反转处理。如果使用移位来改变彩色滤波器阵列的布置，则返回移位。代替反转部分图像，可以对在步骤S205中要进行卷积的滤波器进行反转。在这种情况下，步骤S206是不必要的。然而，即使当滤波器被反转时，也需要改变在步骤S204中执行的彩色滤波器阵列的布置。部分图像或滤波器的反转包括在卷积运算中反转一个阵列的参照顺序。

接下来，在步骤S207中，图像处理器102确定是否针对整个拍摄图像完成了校正图像的计算。如果校正图像的计算尚未完成，则流程返回到步骤S202，并且图像处理器102提取新的部分图像。另一方面，当校正图像的计算已经完成时，流程前进到步骤S208。

在步骤S208中，图像处理器102(生成器102c)组合多个校正图像，并生成校正了拍摄图像的模糊的校正的拍摄图像。换句话说，图像处理器102通过对通过校正拍摄图像的各个方位范围而获得的八个校正图像进行连接，来生成校正的拍摄图像。

上述图像处理方法可以抑制要存储的滤波器的数据量的增加，并且以高精度校正拍摄图像的光学性能劣化。不必一直从拍摄图像中实际提取部分图像。例如，通过对整个拍摄图像进行不同的反转处理并且通过改变颜色分量间的位置关系而获得的各个输入图像，接收根据本实施例的模糊校正，以获得多个校正图像。此后，可以通过只切出如下区域(与在各个输入图像中要校正的部分(对应于部分图像)对应的区域)来生成校正的拍摄图像，该区域在各个所获得的校正图像中被正确地校正。然而，在这种情况下，计算负荷增加，因此可以考虑计算负荷。

第二实施例

现在将描述根据本发明第二实施例的图像处理方法和图像处理系统。本实施例提供学习单元，学习单元执行与执行校正步骤(模糊校正)的图像处理装置分开的学习步骤。校正步骤不仅使用CNN，还使用基于反转滤波器的校正步骤。

现在参照图10和图11，将给出根据该实施例的图像处理系统300的描述。图10是图像处理系统300的框图。图11是图像处理系统300的概观。图像处理系统300包括学习装置301、图像处理装置311、摄像装置321、记录介质322、显示装置323和输出装置324。

学习装置301包括存储器302和学习单元303。学习单元303执行学习步骤以计算校正步骤所需的滤波器。此时，使用存储在存储器302中的多个训练图像和地面真实图像。该实施例针对一个地面真实图像使用两个训练图像。这两个训练图像是模糊被应用于地面真实图像的模糊图像和模糊图像通过维纳滤波器被校正的中间校正图像。在生成后者时，可以使用诸如RL(Richardson-Lucy)方法和MAP(Maximum a posteriori，最大后验概率)方法等的其他方法。学习的滤波器存储在存储器302中。

图像处理装置311是执行校正步骤的装置，并且包括存储器312和校正器313。校正器313用作第一实施例中的反相器102a、改变器102b和生成器102c。图像处理装置311从通过有线或无线方式连接的摄像装置321或诸如半导体存储器等的记录介质322获取作为RAW图像的拍摄图像，并将拍摄图像存储在存储器312中。图像处理装置311获取的拍摄图像是由可互换镜头型摄像装置拍摄的图像。存在多个类型的摄像装置作为摄像装置321。校正器313从拍摄图像获取关于用于获得拍摄图像的摄像装置321和摄像光学系统的信息，并从存储器312读取关于对应的光学传递函数(OTF)的信息。校正器313根据OTF计算维纳滤波器，并生成通过将维纳滤波器应用于拍摄图像而获得的中间校正的拍摄图像。校正器313使用CNN基于中间校正的拍摄图像和拍摄图像来生成校正的拍摄图像。

图像处理装置311和学习装置301通过有线或无线方式连接。图像处理装置311读取存储在存储器302中的滤波器，并且校正器313使用该滤波器。还使用关于用于获得拍摄图像的摄像装置321和摄像光学系统的信息，以选择要读取的滤波器。校正图像被输出到记录介质322、显示装置323和输出装置324中的至少一个。显示装置323例如是液晶显示器或投影仪。用户可以在经由显示装置323确认正在编辑的图像的同时工作。输出装置324是打印机等。图像处理装置311可以用于进行显像处理等。

现在参照图4，将给出由学习单元303执行的学习步骤的描述。将省略与第一实施例类似的描述。首先，在步骤S101中，学习单元303设置用于批量学习的模糊条件。在该实施例中，不仅摄像光学系统而且摄像装置321的类型不固定，因此模糊自由度高于第一实施例中的模糊自由度。除了摄像光学系统的类型、镜头状态、图像高度和方位之外，像素间距、像素孔径、彩色滤波器阵列的布置、以及光学低通滤波器存在/不存在和光学低通滤波器的类型也是可变的。因此，模糊变化的范围很宽，并且为了用CNN校正所有模糊，需要具有大量数据量的滤波器。

因此，不仅将拍摄图像(学习中的模糊图像)而且还将由维纳滤波器校正的图像输入到CNN。由于CNN进行模糊校正所需的信息增加，因此即使针对大范围的模糊变化，也可以稳健地进行高度精确的校正。因此，该实施例仅通过摄像光学系统的类型来划分学习，并且共同学习关于镜头状态、图像高度、方位、像素间距、像素孔径和光学低通滤波器的所有变化。通过仅学习特定布置并设计拍摄图像的提取位置来处理彩色滤波器阵列的布置。在该实施例中，要学习的彩色滤波器阵列的布置是G1、R、B和G2。

镜头状态使用图5中所示的整个ZFD空间。图像高度和方位学习对应于拍摄图像431的第一象限的范围(阴影部分433)，如图12所示，图12是方位划分的说明图。这里，黑点432表示与摄像光学系统的光轴对应的点(基准点)。在该实施例中，方位范围比第一实施例中宽的原因在于，存在在光学低通滤波器中采用水平(垂直)两点分离的摄像装置。像素间距也是可以采用在多个类型的摄像装置中使用的像素间距的选项。当没有光学低通滤波器时，像素间距是可以采用水平(垂直)两点分离或四点分离的选项。

接下来，在图4的步骤S102中，学习单元303获取多个训练图像和地面真实图像。在步骤S101中设置的条件内随机选择的模糊被应用于各个地面真实图像，以生成模糊图像。如有必要，还会添加噪声。将根据上述模糊计算的维纳滤波器应用于生成的模糊图像，以生成模糊被校正的中间校正图像。在中间校正图像中，因模糊而变得非常弱(或消失)的高频分量未被校正，并且发生振铃和噪声放大。两个图像，即中间校正图像和模糊图像，被用作训练图像。

接下来，在步骤S103中，学习单元303基于多个训练图像和地面真实图像确定CNN滤波器。该实施例使用图13中所示的网络构造。图13是根据该实施例的CNN的说明图。作为训练图像的模糊图像401和中间校正图像402被重新布置并被输入到R、G1、G2和B的四通道图像中。模糊图像401和中间校正图像402在通道方向上堆叠，并且总共八个通道的图像作为训练图像输入到第一卷积层403。第一卷积层403计算与多个滤波器的卷积和偏差之和。第一特征映射404是针对各个滤波器计算的结果的概要。第一特征映射404被输入到第二卷积层405，以类似地计算与多个新滤波器的卷积和偏差之和。通过重复该运算并通过将第(N-1)特征映射411输入到第N卷积层412而获得的结果是校正分量413。校正图像414通过模糊图像401和校正分量413的和来获得。计算校正图像414与地面真实图像之间的误差，并且更新CNN滤波器和偏差。

接下来，在图4的步骤S104中，学习单元303确定是否针对要由图像处理装置311进行模糊校正的所有摄像光学系统完成了滤波器的计算。当针对所有模糊条件完成了滤波器的计算时，流程前进到步骤S105。另一方面，如果还没有完成滤波器的计算，则流程返回到步骤S101，并且针对新的摄像光学系统学习滤波器。在步骤S105中，学习单元303输出滤波器。通过学习单元303计算并输出的滤波器被存储在存储器302中。

现在参照图14，将给出由图像处理装置311中的校正器313执行的拍摄图像校正步骤(模糊校正)的描述。图14是拍摄图像校正步骤的流程图。图14中的各个步骤主要由校正器313执行。在图14中，将省略与参照图8描述的第一实施例类似的描述。

首先，在步骤S301中，校正器313获取拍摄图像，并从存储器312中读出与所获取的摄像光学系统相对应的滤波器。接下来，在步骤S302中，校正器313将维纳滤波器应用于拍摄图像，以生成中间校正的拍摄图像。例如，为了用存储有小数据量的维纳滤波器校正模糊，可以应用日本专利第5274623号公报或第5541750号公报中公开的方法。由于后面描述的CNN抑制了与维纳滤波器的校正相关联的诸如振铃和噪声放大的不利影响，因此可以使维纳滤波器的增益更高。

接下来，在步骤S303中，校正器313选择在步骤S304中提取的部分图像的提取位置(区域)，并设置与部分图像对应的反转处理的反转轴(切换反转处理设置)。由于针对第一象限中的模糊学习滤波器，因此当部分图像处于第一象限时，不进行反转处理。对于第二象限到第四象限，分别进行横向反转(90°轴反转)，进行纵向和横向反转(0°轴反转和90°轴反转)，以及进行纵向反转(0°轴反转)。本实施例设计了部分图像的提取位置的选择，以处理学习与拍摄图像的彩色滤波器阵列布置之间的不一致、以及部分图像的彩色滤波器阵列布置因反转的变化。

参照图15，将描述S303中的部分图像的提取位置的选择示例。图15是部分图像的提取位置的说明图，并且例示了拍摄图像的彩色滤波器阵列的布置是R、G1、G2和B。由于彩色滤波器阵列的学习布置是G1、R、B和G2，因此拍摄图像的第一象限不能按原样进行校正。因此，在第一象限中选择提取位置421。换句话说，该实施例确定输入图像中的颜色分量间的位置关系，使得部分图像中的颜色分量间的位置关系是与反转轴相对应的位置关系，并且通过基于位置关系在提取位置切出拍摄图像来提取部分图像。因此，提取的部分图像中的彩色滤波器阵列的布置变为G1、R、B和G2，并且可以使用学习的滤波器。类似地，分别为第二象限至第四象限选择提取位置422至424。该构造可以消除学习与输入图像的彩色滤波器阵列布置之间的不一致、以及由反转处理引起的部分图像的彩色滤波器阵列布置的变化。在图15中，选择整个第n(n＝1至4)象限作为部分图像的提取位置，但是本发明不限于该实施例并且允许第n象限被划分为多个部分以将各个部分设置为提取位置。

接下来，在图14的步骤S304中，从拍摄图像和中间校正的拍摄图像的各个中提取部分图像。从在步骤S303中选择的提取位置提取部分图像。可以在步骤S304之前的任何时间生成中间拍摄的校正图像。

接下来，在步骤S305中，校正器313将两个部分图像作为输入图像输入到CNN，并计算校正图像。此时，可以使用参照图13描述的网络。图13中的模糊图像401对应于拍摄图像的部分图像，中间校正图像402对应于中间校正图像的部分图像。各个部分图像布置在R、G1、G2和B的四通道图像中。作为滤波器，可以使用在步骤S301中获取的滤波器。

在该实施例中，校正器313在进行输入图像和从CNN的各个卷积层输出的特征映射与滤波器的之间的卷积运算时，反转滤波器的参照顺序。

图16A至图16C是根据该实施例的卷积运算的参照顺序的说明图。图16A例示输入图像或特征映射。图16B和图16C均例示了3×3滤波器。然而，滤波器的大小不限于该实施例。正常卷积运算计算图16A和图16B中以相同数字存储的值的乘积。如果在步骤S303中确定的反转处理是90°轴反转，则滤波器参照顺序也被90°轴反转。因此，在此时的卷积中，计算在图16A和图16C中以相同数字存储的值的乘积。

接下来，在图14中的步骤S306中，校正器313确定是否针对整个拍摄图像完成了校正图像的计算。如果校正图像的计算尚未完成，则流程返回到步骤S303。然后，校正器313新选择未计算校正图像的区域作为提取位置。另一方面，当校正图像的计算完成时，流程前进到步骤S307。在步骤S307中，校正器313通过组合多个校正图像来生成校正的拍摄图像。

本实施例可以提供一种图像处理系统，该系统能够在减少要存储的滤波器的数据量的同时，以高精度校正拍摄图像的光学性能劣化。该实施例使用两个图像，即拍摄图像和中间校正的拍摄，作为CNN的输入图像。然而，通过仅从中间校正的拍摄图像的各个获得输入图像，可以获得更精确的模糊校正。

当输入图像被重新布置在如图13中的网络所示的诸如R、G1、G2和B的各颜色的通道图像中时，有必要将G1和G2彼此区分开。因此，当如第一实施例中那样存在±45°轴反转并且G1和G2的相对位置相对于RB改变时，输入图像的通道必须按照R、G2、G1和B的顺序布置。如果顺序不变，则颜色分量间的位置关系丢失，使得CNN不能正确识别诸如边缘等的结构，并且校正精度劣化。

当在学习期间彩色滤波器阵列的布置(颜色分量间的位置关系)和方位范围可以改变时，关于它们的信息可以与学习的滤波器相关联(标记)。在模糊校正期间获取信息，并且基于该信息，可以控制部分图像中的颜色分量间的位置关系的变化及反转处理。在该实施例中，由于图像传感器的类型改变，因此光学黑信号值等可以改变。因此，可以通过减去光学黑信号值来归一化CNN的输入图像。

第三实施例

接下来是根据本发明第三实施例的图像处理系统的描述。根据该实施例的图像处理系统包括：摄像装置500(用户终端)，作为基本上控制图像处理的第一装置；以及图像处理装置(服务器)，作为基于来自摄像装置500的指令进行图像处理的第二装置。

现在参照图17和图18，将给出根据该实施例的图像处理系统50的描述。图17是图像处理系统50的框图。图18是图像处理系统50的概观。图像处理系统50包括摄像装置500和图像处理装置510。

摄像装置500包括摄像部501，其拍摄被摄体空间的图像。摄像部501包括摄像光学系统501a和图像传感器501b。拍摄图像被输入到图像处理单元502，被转换成以拜尔阵列中的R、G1、G2和B作为通道分量的四通道图像，并被存储在存储器503中。此外，摄像装置500将图像与用于使图像处理装置510执行与存储器503中存储的图像有关的校正步骤的请求一起发送到图像处理装置510。图像处理装置510包括存储器511、学习单元512和校正器513。图像处理装置510响应于接收到从摄像装置500发送的请求，对发送的图像执行校正步骤。

校正器513具有与第一实施例中的反相器102a、改变器102b和生成器102c相同的功能，并校正在摄像期间发生的拍摄图像的模糊。在模糊校正期间，校正器513读出并使用存储在存储器511中的滤波器。滤波器是先前由学习单元512学习的滤波器。经历模糊校正的校正的拍摄图像再次被发送到摄像装置500并被记录在记录介质505中。当用户观看校正的拍摄图像时，校正的拍摄图像显示在显示单元504上。系统控制器506进行一系列控制。

现在参照图4，将给出由学习单元512执行的学习步骤的描述。将省略与第一实施例或第二实施例类似的描述。首先，在步骤S101中，学习单元512设置用于批量学习的模糊条件。摄像装置500不是镜头可互换型摄像装置，而是镜头集成型摄像装置。因此，只有一个类型的摄像光学系统需要被校正。图像传感器501b也没有改变，也没有光学低通滤波器。因此，可变条件包括镜头状态、图像高度和方位。以与第一实施例中相同的方式划分镜头状态。关于图像高度和方位，如图19所示(其是方位划分的说明图)，第一象限(阴影部分533)被划分为四个，并且学习是针对各个区域单独进行的。然而，划分的数量不限于该实施例。

接下来，在图4的步骤S102中，学习单元512获取多个训练图像和地面真实图像。学习单元512通过将在步骤S101中确定的条件内的模糊应用于地面真实图像来生成训练图像。训练图像和地面真实图像是均以拜尔阵列中的R、G1、G2和B作为通道分量的四通道图像。后续步骤S103至S105与第一实施例中的相同，因此将省略其描述。作为CNN，可以使用类似于图1中的网络。然而，输入图像和输出图像是四通道图像。

现在参照图8，将给出由校正器513执行的校正步骤的描述。将省略类似于第一实施例的描述。当图像处理装置510从摄像装置500接收到用于执行与图像有关的校正步骤的请求时，进行本实施例中的校正步骤。在步骤S201中获取的拍摄图像是在拜尔阵列中以R、G1、G2和B作为通道分量的四通道图像。该实施例根据拍摄图像中的部分图像的位置而需要不同的滤波器。因此，在随后的步骤S202中获取滤波器。

接下来，在步骤S202中，校正器513从拍摄图像中提取部分图像。换句话说，校正器513提取通过将第n象限划分为四个而获得的区域中的一个。校正器513从存储器511中读取并获取与提取的区域相对应的滤波器。在步骤S204中，与第一实施例不同，使用像素移位而不是删除来改变颜色分量间的位置关系。将参照图20描述该步骤。

图20是改变颜色分量间的位置关系的说明图，并且例示了如下示例：当学习和图像传感器501b的彩色滤波器阵列的布置二者都是R、G1、G2和B的示例时，从拍摄图像的第二象限中提取部分图像。图20例示并排的各个通道。由于学习是针对第一象限进行的，因此针对第二象限设置90°轴反转。因此，反转处理之后的部分图像是G1、R、B和G2。因此，在四通道图像中，相同位置处的颜色分量间的相对位置关系改变。为了校正这个问题，G1和B通道图像如图20所示地在水平方向上移位了一个像素。这对应于第一实施例中第一列被移位到拜尔阵列部分图像中的最后一列的后面的操作。图8中的步骤S205至步骤S208与第一实施例中的步骤类似，因此将省略其描述。图像处理装置510将在步骤S208中生成的校正的摄像图像发送到摄像装置500。

本实施例可以提供一种图像处理系统，其能够抑制要存储的滤波器的数据量的增加，并且以高精度校正拍摄图像的光学性能劣化。在本实施例中，由于服务器(图像处理装置510)进行具有较大处理负荷的生成器102c的处理，因此即使用户终端(摄像装置500)的处理能力不高也可以实现高性能图像处理服务。

变型例

在根据第三实施例的图像处理系统中，图像处理装置510包括校正器513，该校正器513具有与第一实施例中的反相器102a、改变器102b和生成器102c相同的功能，但是本发明不限于该实施例。摄像装置500可以包括反相器102a和改变器102b，并且图像处理装置510可以包括生成器102c。在这种情况下，摄像装置500可以将经受了通过反相器102a和改变器102b对颜色分量间的位置关系的反转处理和改变处理的输入图像，连同图像处理请求一起发送到图像处理装置510。类似于第三实施例，即使用户终端(摄像装置500)的处理能力不那么高，该构造也可以由此实现复杂的图像处理服务。这是因为生成器102c中的处理具有比反相器102a和改变器102b中的处理更高的负荷。

如上所述，在各个实施例中，图像处理装置(图像处理器102、图像处理装置311或510)使用多层神经网络来基于拍摄图像生成校正了光学性能劣化的校正的拍摄图像。反相器102a将反转处理设置给神经网络的拍摄图像或滤波器的至少一部分(S203，S303)。改变器102b针对输入到神经网络的拍摄图像的至少一部分，基于反转处理改变颜色分量间的位置关系(S204，S304)。生成器102c针对不同的反转处理计算从神经网络输出的校正图像，并通过组合多个校正图像来生成校正的摄像图像(S205至S208，S305至S307)。在设置反转处理的步骤中，反相器可以基于以基准点为中心的位置来切换反转处理的类型。反相器可以基于通过绕基准点针对45°的各整数倍划分拍摄图像而获得的多个区域当中的、具有占据部分图像的最大面积的区域(最大区域)，来设置与多个提取的部分图像中的各个相对应的反转处理。

其他实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

本发明各个实施例，可以提供可以在抑制数据量增加的同时以高精度校正拍摄图像的光学性能劣化的图像处理方法、图像处理装置、摄像装置、程序及存储介质。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (18)

1.一种图像处理方法，其被构造为使用神经网络来校正拍摄图像，所述图像处理方法包括：

第一步骤，其根据作为拍摄图像的一部分的部分图像在拍摄图像中的位置，确定部分图像的反转轴或神经网络的滤波器；

第二步骤，其确定输入到与反转轴相对应的神经网络的图像中的各颜色分量的像素间的位置关系；以及

第三步骤，其通过使用神经网络对基于位置关系而根据拍摄图像生成的输入图像进行处理，来生成通过对输入图像进行校正而获得的校正图像。

2.根据权利要求1所述的图像处理方法，所述图像处理方法还包括：

组合步骤，其通过组合针对多个部分图像而计算的多个校正图像，来生成通过校正拍摄图像而获得的校正的拍摄图像，

其特征在于，所述多个部分图像包括第一部分图像和第二部分图像，在第二部分图像中，在第一步骤中确定与第一部分图像的反转轴不同的反转轴。

3.根据权利要求2所述的图像处理方法，其特征在于，反转轴是部分图像的反转轴，

其中，神经网络对第一部分图像和第二部分图像是公共的。

4.根据权利要求2所述的图像处理方法，其特征在于，第一部分图像包括第二部分图像的一部分。

5.根据权利要求1所述的图像处理方法，其特征在于，第三步骤通过在基于位置关系确定的区域中切出拍摄图像的一部分，来生成输入图像。

6.根据权利要求1所述的图像处理方法，其特征在于，第三步骤基于位置关系，通过删除部分图像中的部分像素或通过改变部分图像的部分像素的位置，来生成输入图像。

7.根据权利要求1所述的图像处理方法，所述图像处理方法还包括从拍摄图像提取多个部分图像的步骤，

其特征在于，第一步骤基于多个区域当中的、作为部分图像占据的最大面积的最大区域，确定多个提取出的部分图像中的各个的反转轴，所述多个区域是通过绕基准点针对45°的各整数倍角度对拍摄图像进行划分而成的。

8.根据权利要求7所述的图像处理方法，其特征在于，所述基准点是与用于生成拍摄图像的摄像光学系统的光轴相对应的点。

9.根据权利要求7所述的图像处理方法，其特征在于，第一步骤基于所述多个区域当中的、包括部分图像的区域在拍摄图像中的位置，进行反转处理。

10.根据权利要求1所述的图像处理方法，其特征在于，第二步骤基于在用于神经网络的学习的训练图像中的各颜色分量间的位置关系，来确定位置关系。

11.根据权利要求1至10中任意一项权利要求所述的图像处理方法，其特征在于，校正图像是拍摄图像中的光学劣化被校正的图像。

12.一种图像处理装置，其被构造为使用神经网络来校正拍摄图像，所述图像处理装置包括：

反转确定器，其被构造为，根据作为拍摄图像的一部分的部分图像在拍摄图像中的位置，确定部分图像的反转轴或神经网络的滤波器；

颜色确定器，其被构造为，确定输入到与反转轴相对应的神经网络的图像中的各颜色分量的像素间的位置关系；以及

生成器，其被构造为，通过使用神经网络对基于位置关系而根据拍摄图像生成的输入图像进行处理，来生成通过对输入图像进行校正而获得的校正图像。

13.根据权利要求12所述的图像处理装置，所述图像处理装置还包括：

存储器，其被构造为存储在神经网络中使用的滤波器。

14.一种图像处理装置，其包括：

反转确定器，其被构造为，根据作为拍摄图像的一部分的部分图像在拍摄图像中的位置，确定部分图像的反转轴或神经网络的滤波器；

颜色确定器，其被构造为，确定输入到与反转轴相对应的神经网络的图像中的各颜色分量的像素间的位置关系；以及

发送器，其被构造为，向使用神经网络来校正拍摄图像的其他处理装置发送，基于位置关系而根据拍摄图像生成的输入图像，

其特征在于，所述其他处理装置通过使用神经网络处理接收的输入图像，来通过校正输入图像生成校正图像。

15.一种摄像装置，所述摄像装置包括：

摄像部，其被构造为拍摄被摄体图像；以及

根据权利要求12所述的图像处理装置。

16.一种摄像装置，所述摄像装置包括：

摄像部，其被构造为拍摄被摄体图像；以及

根据权利要求14所述的图像处理装置。

17.一种图像处理系统，所述图像处理系统包括第一装置和第二装置，

其特征在于，第一装置包括发送器，所述发送器被构造为发送用于使第二装置执行用于校正拍摄图像的处理的请求，

其中，第二装置包括：

接收器，其被构造为接收所述请求；

反转确定器，其被构造为，根据作为拍摄图像的一部分的部分图像在拍摄图像中的位置，确定部分图像的反转轴或神经网络的滤波器；

颜色确定器，其被构造为，确定输入到与反转轴相对应的神经网络的图像中的各颜色分量的像素间的位置关系；以及

生成器，其被构造为，通过使用神经网络对基于位置关系而根据拍摄图像生成的输入图像进行处理，来生成通过对输入图像进行校正而获得的校正图像。

18.一种非暂时性计算机可读存储介质，其存储用于使计算机执行图像处理方法的程序，所述图像处理方法被构造为使用神经网络来校正拍摄图像，

其特征在于，所述图像处理方法包括：

第一步骤，其根据作为拍摄图像的一部分的部分图像在拍摄图像中的位置，确定部分图像的反转轴或神经网络的滤波器；

第二步骤，其确定输入到与反转轴相对应的神经网络的图像中的各颜色分量的像素间的位置关系；以及

第三步骤，其通过使用神经网络对基于位置关系而根据拍摄图像生成的输入图像进行处理，来生成通过对输入图像进行校正而获得的校正图像。

Images