CN109644230A - 图像处理方法、图像处理装置、图像拾取装置、图像处理程序和存储介质 - Google Patents
图像处理方法、图像处理装置、图像拾取装置、图像处理程序和存储介质 Download PDFInfo
- Publication number
- CN109644230A CN109644230A CN201680088585.4A CN201680088585A CN109644230A CN 109644230 A CN109644230 A CN 109644230A CN 201680088585 A CN201680088585 A CN 201680088585A CN 109644230 A CN109644230 A CN 109644230A
- Authority
- CN
- China
- Prior art keywords
- image
- image processing
- partial region
- processing method
- control information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 title claims description 36
- 238000012937 correction Methods 0.000 claims abstract description 96
- 230000003287 optical effect Effects 0.000 claims abstract description 70
- 230000015556 catabolic process Effects 0.000 claims abstract description 44
- 238000006731 degradation reaction Methods 0.000 claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 claims abstract description 25
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 238000012886 linear function Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 24
- 230000004075 alteration Effects 0.000 claims description 23
- 230000006866 deterioration Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 239000004615 ingredient Substances 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 230000002542 deteriorative effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 13
- 230000002401 inhibitory effect Effects 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 28
- 238000003384 imaging method Methods 0.000 description 15
- 230000004913 activation Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 101001109518 Homo sapiens N-acetylneuraminate lyase Proteins 0.000 description 9
- 102100022686 N-acetylneuraminate lyase Human genes 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003339 best practice Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- NRNCYVBFPDDJNE-UHFFFAOYSA-N pemoline Chemical compound O1C(N)=NC(=O)C1C1=CC=CC=C1 NRNCYVBFPDDJNE-UHFFFAOYSA-N 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/60—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
Abstract
提供高度精确地校正图像捕获装置的光学劣化、同时抑制不利效果的图像处理方法。该图像处理方法包括：获取通过使用图像获取装置获取的输入图像的部分区域的步骤；获取根据部分区域的位置不同的预先学习的校正信息的步骤；以及产生通过使用部分区域和校正信息校正由于图像获取装置引起的部分区域的光学劣化而得到的校正部分区域的校正步骤。图像处理方法的特征在于，校正步骤包含：关于部分区域，通过依次执行使用基于校正信息的多个线性函数中的每一个的第n线性转换和使用非线性函数的第n非线性转换来产生中间数据，其中n从1增加到N，N为高于或等于2的整数且n为1～N之间的包含1和N的整数；以及关于中间数据，通过使用基于校正信息的一个或更多个线性函数执行第(N+1)线性转换来产生校正部分区域。
Description
技术领域
本发明涉及关于通过使用图像拾取装置拍摄的图像校正由图像拾取装置的光学系统产生的诸如像差或衍射的光学劣化的图像处理方法。
背景技术
伴随显示装置的清晰度的提高，希望进一步提高通过使用图像拾取装置拍摄的图像(拍摄图像)的图像质量。但是，在拍摄图像中产生由图像拾取装置中的光学系统产生的诸如像差或衍射的光学劣化(模糊)。出于这种原因，被照体空间的信息丢失，这导致图像质量的下降。
到目前为止，已提出大量的用于校正拍摄图像的光学劣化(模糊)并获得具有更高清晰度的图像的技术。PTL 1提出用于通过使用维纳(Wiener)滤波器校正像差的技术。由于像差根据像高而改变，因此使用分别对多个像高设定的模糊校正滤波器。PTL 2提出使用理查德森露西(Richardson-Lucy，RL)方法而不是Wiener滤波器的技术。
引文列表
专利文献
PTL 1：日本专利公开No.2015-216576
PTL 2：日本专利公开No.2013-025473
非专利文献
NPL 1：Y.LeCun，et al.″Gradient-based Learning Applied to DocumentRecognition″，Proc.of The IEEE，1998.
NPL 2：G.E.Hinton，et al.″A fast learning algorithm for deep beliefnets″，Neural Comput.2006Jul；18(7)：1527-54.
NPL 3：G.E.Hinton&R.R.Salakhutdinov(2006-07-28).″Reducing theDimensionality of Data with Neural Networks″，Science 313(5786)：504-507.
NPL 4：P.Y.Simard，et al.″Best Practices for Convolutional NeuralNetworks Applied toVisual Document Analysis″，ICDAR 2003.
NPL 5：A.Krizhevsky，″Learning Multiple Layers of Features from TinyImages″，2009，https：//www.cs.toronto.edu/～kriz/learning-features-2009-TR.pdf
发明内容
技术问题
由于PTL 1中的技术是使用所谓的逆滤波器的技术，因此在原理上不可能重构光学劣化的MTF(调制传递函数)接近0的频率成分。另一方面，根据PTL 2，由于RL方法是包含估计的超分辨率处理，因此还能够重构MTF接近0的频率成分。但应注意，在PTL 1和PTL 2中均出现作为不利效果产生噪声放大和环化(ringing)(包含过冲和下冲)的问题。因此，即使当分辨率感得到提高时，这些不利效果也降低图像质量。
问题的解决方案
根据本发明的一个实施例的图像处理方法包括：获得通过使用图像拾取装置拍摄的输入图像的部分区域的步骤；获得根据部分区域的位置改变的预先学习的校正信息的步骤；和产生由图像拾取装置引起的部分区域的光学劣化通过使用部分区域和校正信息被校正的校正部分区域的校正步骤，图像处理方法的特征在于，当N被设定为高于或等于2的整数且n被设定为1～N的整数时，校正步骤包含：关于部分区域，通过依次执行基于根据校正信息的多个线性函数中的每一个的第n线性转换和基于非线性函数的第n非线性转换直到n从1变为N来产生中间数据，以及关于中间数据，通过基于校正信息的一个或更多个线性函数执行第(N+1)线性转换来产生校正部分区域。
另外，包括执行上述的图像处理方法的图像处理单元的图像处理装置、图像拾取装置、使计算机执行上述的图像处理方法的程序和存储程序的存储介质也是本发明的实施例中的一个。
本发明的有利效果
根据本发明，能够以高的精度校正拍摄图像中的光学劣化、同时还抑制不利效果。
附图说明
图1示出根据第一实施例的模糊校正的网络结构。
图2是根据第一实施例的图像拾取装置的框图。
图3是根据第一实施例的图像拾取装置的外观图。
图4示出根据第一实施例的模糊校正的流程。
图5示出根据第一和第二实施例的校正信息的学习流程。
图6是根据第二实施例的图像处理系统的框图。
图7是根据第二实施例的图像处理系统的外观图。
图8示出根据第二实施例的模糊校正的流程。
图9示出根据第二实施例的模糊校正的网络结构。
图10是用于描述根据第二实施例的激活函数的说明图。
具体实施方式
以下，将参照附图详细描述本发明的实施例。在各个附图中，相同的附图标记被分配给相同的组件，并且将省略重复的描述。
首先，在描述具体实施例之前，将描述本发明的主旨。根据本发明，通过使用深度学习来校正通过使用图像拾取装置拍摄的图像(拍摄图像)中的光学劣化。这里的光学劣化是指在图像拾取装置中的光学系统中产生的像差或衍射或由散焦引起的劣化。应当注意，图像拾取装置中的光学系统不仅包括透镜，还包括诸如低通滤波器的光学元件。
这里，将简单描述根据本发明的使用深度学习的图像处理方法与根据PTL 1和PTL2的图像处理方法之间的差异。根据Wiener滤波器(PTL 1)，模糊图像被输入到单个函数以获得模糊校正图像。根据RL方法(PTL 2)，模糊图像被输入到单个函数，其输出作为新的输入被输入到同一函数，并且进行重复以获得模糊校正图像。与这些相对照，根据深度学习，重复如下处理：在该处理中，模糊图像被输入到大量不同的函数，并且那些输出被进一步输入到与上述函数不同的大量函数。下面将描述处理的细节。由于深度学习以这种方式与在PTL 1和PTL 2中使用的技术相比使用多个函数，因此模型的表现性高。出于这种原因，也可以表现不能由Wiener滤波器或RL方法描述的解。
并且，根据深度学习，通过学习将在各个函数中使用的参数自动设定为最佳值。根据PTL 1和PTL 2中的技术，必须手动确定参数，并且不容易在各个解空间中获得最佳值。
由于这些原因，可以通过使用深度学习，执行难以通过在PTL 1和PTL 2中描述的技术实现的、具有很小的不利效果和高的校正效果的光学劣化校正处理。
[第一实施例]
将描述本发明的图像处理方法被应用于图像拾取装置的第一实施例。图2示出根据第一实施例的图像拾取装置100的基本构成。图3示出根据第一实施例的图像拾取装置100的外观。根据第一实施例，由光学系统的像差和衍射引起的光学劣化被设定为校正目标。根据第二实施例将描述散焦的校正。
图像拾取装置100包括获得被照体空间的信息作为图像的图像获得单元101。图像获得单元101包括收集来自被照体空间的光的成像光学系统101a和包括多个像素的图像拾取元件101b。图像拾取元件101b为例如CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器等。成像光学系统101a的像差或衍射或者图像拾取时的散焦等影响由图像拾取元件101b获得的图像，并且，被照体空间的部分信息丢失。出于这种原因，由图像拾取元件101b获得的图像将被称为模糊图像。
图像处理单元102通过将根据本发明的图像处理方法应用于模糊图像(输入图像)来执行模糊校正。图像处理单元102包括学习单元102a和校正单元102b。在模糊校正时，调用存储在存储单元103中的成像光学系统101a的光学劣化(像差和衍射)所对应的校正信息。下面将描述该处理的细节。已经执行了模糊校正的图像(校正图像)可以显示在诸如液晶显示器的显示单元104上或者保存在记录介质105中。
应当注意，可以在通过图像获得单元101拍摄模糊图像的定时执行模糊校正，或者可以在模糊图像保存在记录介质105中的同时在任意的定时执行模糊校正。在任意的定时校正模糊的情况下，与拍摄时的成像光学系统101a的孔径值或拍摄距离有关的信息或焦距(拍摄条件信息)连同模糊图像一起保存在记录介质105中。当读出拍摄条件信息时，可以获得对应于模糊图像的像差和衍射的信息。
在成像光学系统101a是单焦点透镜而不是变焦透镜的情况下，由于焦距是恒定的，因此可以获得不包括与焦距有关的信息的拍摄条件信息。在校正散焦的情况下，还需要包括被照体空间的距离信息的拍摄条件信息。在图像拾取装置100是透镜可互换类型的情况下，需要包括用于识别在拍摄时安装了哪个透镜的透镜识别信息的拍摄条件信息。应当注意，拍摄图像可以是运动图像，并且，可以对各个帧执行模糊校正。上述一系列控制由系统控制器106执行。
接下来，将描述由图像处理单元102执行的模糊校正。虽然在模糊校正中使用先前学习的校正信息，但是将在下面描述该学习方法。
图4是由校正单元102b执行的模糊校正的流程图。在步骤S101中，获得模糊图像(输入图像)和模糊图像的拍摄条件信息。根据第一实施例，由于成像光学系统101a是变焦透镜，因此除了孔径值(孔径状态)和拍摄距离(聚焦状态)之外，还获得焦距(可变光焦度状态，变焦状态)作为拍摄条件信息。这里，孔径状态、聚焦状态和可变光焦度状态统称为透镜状态。另外，在图像拾取元件101b被构造为RGB(红色、绿色、蓝色)的拜尔(Bayer)阵列的情况下，模糊图像可以是去马赛克之前的图像或去马赛克之后的图像。
在步骤S102中，获得与模糊图像的一部分对应的部分区域。在将部分区域设置为单元的同时执行模糊校正。
在步骤S103中，从拍摄条件信息和部分区域的位置获得用于校正部分区域的光学劣化的校正信息。由于由成像光学系统101a中的像差和衍射引起的要根据本实施例校正的光学劣化根据成像光学系统101a的透镜状态和像高而改变，因此校正信息也根据该改变而改变。因此，为了获得对应于部分区域的校正信息，需要拍摄条件信息和与部分区域的位置有关的信息。
在步骤S104中，通过使用校正信息产生部分区域中的光学劣化被校正的校正部分区域。将通过使用图1描述模糊校正的细节。图1示出对应于深度学习之一的CNN(卷积神经网络)的网络结构。然而，应当注意，本发明不仅限于CNN。例如，也可以使用DBN(深度信任网络)等。然而，应当注意，由于通过卷积描述对于被照体的光学劣化的作用，因此使用卷积的CNN具有令人满意的模型匹配。在NPL1和NPL 2中分别描述了CNN和DBN的细节。
CNN具有多层结构，并且，在各层中执行使用校正信息的线性转换和非线性转换。这里，当n被设定为从1到N的整数时，第n级的层是第n层，并且第n层中的线性转换和非线性转换分别被称为第n线性转换和第n非线性转换。然而，应当注意，N是大于或等于2的整数。在部分区域201中，与第一层中的多个滤波器202中的每一个的卷积(第一线性转换)被运算，此后，通过称为激活函数的非线性函数执行转换(第一非线性转换)。在图1中示出多个部分区域201的原因是部分区域具有多个通道。根据第一实施例，部分区域具有RGB三个通道。然而，应当注意，通道的数量不限于此。另外，即使当部分区域具有RGB三个通道时，各通道也可以被逐个单独地输入到CNN。在这种情况下，由于像差和衍射根据光的波长而变化，因此使用在各通道中不同的校正信息。在共同输入多个通道的情况下，同时使用不同的校正信息。
存在多个滤波器202，并且单独地计算部分区域201和每个滤波器的卷积。从校正信息确定构成滤波器202的系数。校正信息可以是滤波器本身的系数，或者也可以是当滤波器通过预定函数进行拟合时的系数。各滤波器202的通道数量与部分区域201匹配，并且，在部分区域201的通道数量为2或更多的情况下，滤波器变为三维滤波器(第三维度表示通道数量)。另外，可以关于卷积的结果加上从校正信息确定的常数(可以取负值)。
在通过滤波器202进行线性转换之后，执行基于激活函数的线性转换(由图1中的AF指示)。以下表达式(1)～(3)被列为激活函数f(x)的例子。
[数学式1]
[数学式2]
f(x)＝tanh x…(2)
[数学式3]
f(x)＝max(x，0)…(3)
表达式(1)被称为S形函数，表达式(2)被称为双曲正切函数，并且表达式(3)被称为ReLU(整流线性单元)。表达式(3)中的Max表示用于输出自变量之中的最大值的MAX函数。表达式(1)～(3)均为单调递增函数。另外，max out可以用作激活函数，而将根据第二实施例描述使用max out的例子。已经执行了第一层中的线性转换和非线性转换的部分区域被称为第一转换部分区域203。这里，第一转换部分区域203的各个通道成分是从关于部分区域201和滤波器202中的每一个的卷积产生的。出于这种原因，第一转换部分区域203的通道数量与滤波器202的数量相同。
在第二层中，与第一层中类似，关于第一转换部分区域203，执行与从校正信息确定的多个滤波器204的卷积(第二线性转换)和基于激活函数的非线性转换(第二非线性转换)。在第二层中使用的滤波器204通常与在第一层中使用的滤波器202不同。即使当滤波器的尺寸和数量彼此不匹配时也是足够的。然而，应当注意，滤波器204的通道数量和第一转换部分区域203的通道数量彼此匹配。当重复类似的运算直到第N层时，获得中间数据210。最后，在第(N+1)层中从关于中间数据210和至少一个滤波器211的卷积和常数的添加(第(N+1)线性转换)获得光学劣化被校正的校正部分区域212。还从校正信息确定滤波器211和常数。校正部分区域212的通道数量与部分区域201的通道数量相同，并且，出于这种原因，滤波器211的数量与部分区域201的数量相同。从包括关于中间数据210和滤波器211中的每一个(或者，在一些情况下，也是一个滤波器)的卷积的运算获得校正部分区域212的各通道的成分。应当注意，即使当部分区域201和校正部分区域212的尺寸彼此不匹配时也是足够的。在卷积时，由于数据不存在于部分区域的外侧，因此当仅在存在数据的区域中执行运算时，卷积结果的尺寸变小。然而，应当注意，也可以通过设定周期性边界条件等维持尺寸。
由于CNN包括激活函数(非线性函数)，因此可以获得不能通过线性运算的逆滤波器获得的解。另外，由于相对于传统神经网络，深度学习的层数高，因此可以产生更高的性能。通常，在包括3个或更多个层的情况(线性转换和非线性转换被依次执行两次或更多次的情况)下，这被称为深度学习。特别地，激活函数的存在对于深度学习呈现出性能是重要的。这是因为，如果激活函数不存在或函数是线性函数，则无论网络多层化多少，都会存在其等效的单层线性转换。
在步骤S105中，关于模糊图像中的预定区域执行关于是否完成模糊校正的确定。在预定区域中存在未执行模糊校正的部分区域的情况下，流程返回到步骤S102，并且获得未执行模糊校正的部分区域以执行产生校正部分区域的处理(步骤S103和S104)。在预定区域的整个区域中完成模糊校正的情况下，流程前进到步骤S106，并且，输出校正图像。可以通过上述处理获得成像光学系统101a的光学劣化被校正的图像。
接下来，将通过使用图5的流程图描述校正信息的学习。学习可以在模糊校正之前由图像拾取装置100的图像处理单元102执行，或者也可以由与图像拾取装置100不同的运算装置执行。根据本实施例，作为例子将对由学习单元102a执行学习的情况进行描述。通过产生通过成像光学系统101a的光学劣化使参照图像劣化的模糊图像并且利用它们之间的对应关系，执行校正信息的学习。
在步骤S201中，获得成像光学系统101a中的光学劣化(根据第一实施例，为像差和衍射)的信息。如上所述，由像差和衍射引起的劣化根据透镜状态、像高或光的波长而变化。出于这种原因，选择希望获得校正信息的透镜状态、像高或波长，并且获得与选择的一个对应的光学劣化的信息。根据本实施例，光学劣化的信息存储在存储单元103中。光学劣化的信息为例如与PSF(点扩展函数)或OTF(光学传递函数)等有关的信息。
在步骤S202中，获得参照图像。参照图像的数量可以是单个或多个。为了从参照图像和通过模糊参照图像获得的图像学习校正信息，希望参照图像包括各种频率成分。例如，在参照图像不包括边缘的情况下，由于不存在将模糊边缘恢复到锐利边缘的学习数据，因此存在不充分获得关于边缘的模糊校正效果的可能性。另外，希望在模糊校正等中可能产生环化的亮度饱和部分也包括在参照图像中。此时，为了获得正确的模糊图像，希望参照图像具有高于或等于饱和值(其为动态范围)的亮度值。即，具有比输入图像的动态范围高的动态范围的参照图像优选地用于学习。这是因为，即使当PSF关于亮度已经饱和的图像被卷积时，它也不与通过拾取被照体空间(不存在亮度饱和)获得的图像匹配。当学习亮度饱和部分的模糊之前和之后的关系时，存在在模糊校正时不太可能产生环化的优点。
在步骤S203中，通过使用光学劣化的信息从参照图像产生劣化参照图像。当光学劣化的信息是PSF时，取得关于参照图像的卷积，使得可以获得劣化参照图像。在OTF的情况下，取得与参照图像的空间频谱的乘积，并且可以通过执行逆傅里叶变换获得劣化参照图像。另外，此时，希望在必要时将噪声添加到劣化参照图像。这是因为在由图像拾取元件101b获得的实际模糊图像中存在拍摄噪声等。当噪声被添加到劣化参照图像时，能够抑制在模糊校正时噪声被放大的不利效果。在参照图像的数量是多个的情况下，关于参照图像中的每一个产生劣化参照图像。
在步骤S204中，获得多对(组)学习部分区域和学习劣化部分区域。从参照图像获得学习部分区域，并且尺寸与步骤S104中的校正部分区域相同。以区域的中心关于学习部分区域和图像被设定为处于相同位置的方式从劣化参照图像获得学习劣化部分区域。该尺寸与步骤S102中的模糊图像的部分区域的尺寸相同。
在步骤S205中，从多对学习部分区域和学习劣化部分区域(统称为学习对)学习校正信息。在学习中，使用与模糊校正相同的网络结构。根据本实施例，关于图1所示的网络结构输入学习劣化部分区域，并且计算其输出结果与学习部分区域之间的误差。例如，在使用误差反向传播方法(反向传播)等的同时，更新并且优化在第一层到第n层中使用的各个滤波器的系数和要添加的常数(校正信息)，使得误差被最小化。任何初始值可以被用作相应的滤波器和常数。例如，可以从随机数确定初始值。作为替代方案，可以执行用于预先学习各层的初始值的预训练，诸如自动编码器(Auto Encoder)。NPL 3描述了自动编码器。
用于将所有的学习对输入到网络结构并且通过使用所有这些信息更新校正信息的技术被称为批量学习。然而，应当注意，该学习方法的缺点在于，随着学习对的数量增加，计算负荷变得更加巨大。相反，仅使用单个学习对来更新校正信息并对每个更新使用不同学习对的学习技术被称为在线学习。该技术的优点在于，即使当学习对的数量增加时计算量也不增加，但是又出现存在于单个学习对中的噪声的影响受到很大影响的问题。出于这种原因，希望通过使用位于这两种技术中间的小批量方法执行学习。根据小批量方法，从所有学习对之中提取几对，并且通过使用这些对执行校正信息的更新。在下一个更新中，提取并使用不同的几个学习对。当对此进行重复时，可以减少批量学习和在线学习的缺点，并且可能获得高的模糊校正效果。
在步骤S206中，输出学习的校正信息。根据本实施例，校正信息存储在存储单元103中。
当关于成像光学系统101a中的所有透镜状态、像高和波长的光学劣化执行步骤S201～S206时，产生关于成像光学系统101a的校正信息。
通过上述处理可以学习具有很小不利效果和高校正效果的光学劣化的校正信息。
应当注意，根据本实施例，通过图像处理产生劣化参照图像，但是这也可以由通过使用图像拾取装置100实际拍摄的图像代替。例如，当通过图像拾取装置100打印和拍摄参照图像时，可以获得受光学劣化影响的参照图像。然而，应当注意，由于关于由图像拾取装置100的布置误差等引起的图像的未对准和通过单次拍摄获得的特定光学劣化(例如，轴上的PSF)的学习对的数量少，因此希望通过图像处理产生劣化参照图像。
另外，希望步骤S102中的模糊图像的部分区域的尺寸基于影响部分区域的光学劣化的信息被确定。例如，当假设PSF具有约m×m像素的扩展时，被照体空间的点图像被模糊并扩展到约m×m像素。即，由于原始点图像的信息包括在约m×m像素的区域中，因此希望确定部分区域的尺寸使得包括这些信息。
类似地，由于滤波器在各层中被卷积以校正CNN(图1中的网络结构)中的光学劣化，因此当那些滤波器的受影响范围彼此匹配的范围小于光学劣化的模糊量时，不可能准确地执行校正。例如，在总层数为2、第一层的滤波器尺寸为5×5且第二层的滤波器尺寸为3×3的情况下，在某个像素被设定为中心的同时，可用于校正该像素的范围为7×7像素。出于这种原因，利用该网络结构，除非光学劣化的扩展小于或等于7个像素，否则不可能执行高精度校正。因此，希望基于光学劣化的扩展来确定用于校正某个像素的范围(由各层中的滤波器的尺寸确定)。
更详细地，可以确定各层中的滤波器的尺寸，以满足以下条件表达式(4)。
[数学式4]
这里，d表示关于模糊图像的像素的PSF(对应于光学劣化)的扩展，并且N+1表示总层数。另外，sm表示在第m线性转换中使用的滤波器的尺寸，并且各个第一至第(N+1)线性转换中的滤波器的一维尺寸被设定为s1～sN+1。在第m线性转换中以混合方式使用具有多个尺寸的滤波器的情况下，sm表示最大滤波器尺寸。表达式(4)的上限表示可用于校正某个像素的范围大于或等于劣化的尺寸。理论上不可能超过下限。这里，通过将从PSF的重心起直到PSF的值衰减到低于或等于阈值的位置的宽度除以像素的长度，获得PSF的扩展d。
并且，在成像光学系统101a关于光轴具有旋转对称性的情况下，像差和衍射的形状不通过方位角改变(PSF通过方位角旋转)。因此，可以关于具有相同像高的部分区域使用相同的校正信息，并且获得学习负荷减轻和校正信息容量减少的优点。为了实现这一点，可以想到以下两种方法。第一种方法是旋转部分区域以在模糊校正之前消除方位角。第二种方法是根据要校正的部分区域的方位角在第一层到第n层中旋转滤波器。
另外，希望在学习时使用的光学劣化的信息不包含畸变成分。这是因为图1的模糊校正模型不假定部分区域中的被照体在校正之前和之后离开区域或者区域外的被照体进入区域。因此，除了畸变像差关于部分区域的尺寸足够小的情况之外，希望在学习和模糊校正中忽略畸变像差，并且在执行根据本发明的模糊校正之后单独地执行畸变校正处理的应用。此时，在学习和模糊校正中使用的像高被视为包括畸变像差的状态下的图像。即，当畸变为负时，100％像高表示在畸变校正之后大于100％的位置。应当注意，在学习时不必预先将畸变像差添加到参照图像。另外，尽管可以在模糊校正之前执行畸变校正处理，但是由于在这种情况下在模糊校正之前插入内插处理，因此希望在模糊校正之后执行畸变校正处理。
在部分区域包括多个通道并且那些通道被共同输入到网络结构的情况下，类似地希望在学习时的光学劣化的信息中不包括倍率色差。该原因是，与畸变相同，被照体被移入或移出部分区域。然而，应当注意，在使用根据本发明的模糊校正之前，从模糊图像校正倍率色差，这与畸变像差不同。即，优选地在部分区域中的倍率色差被校正之后执行第一线性转换。这是因为，如果没有预先校正倍率色差，则存在边缘变成双边缘等的可能性。应当注意，在即使当部分区域包括多个通道时也在各通道中单独执行模糊校正的情况下，也不出现上述问题。
另外，用于提高CNN性能的设计可以与本发明一起组合使用。例如，在参照图像的数量不足的情况下，可以使用其中对参照图像应用各种修改以增加学习数据的数据论证(argumentation)。作为替代方案，为了提高学习精度，可以组合使用参照图像的像素的平均值被归一化为0并且色散被归一化为1以消除相邻像素的冗余等的ZCA白化。分别在NPL 4和NPL 5中详细描述数据论证和ZCA白化。
根据用于使图像拾取装置100用作执行根据本实施例的图像处理方法的计算机的程序，执行根据本实施例的图像处理方法。应当注意，程序可以记录在例如计算机可读记录介质中。
利用上述的配置，能够提供可以高精度地校正通过使用图像拾取装置拍摄的图像的光学劣化、同时还抑制不利效果的图像拾取装置。
[第二实施例]
将描述根据本发明的图像处理方法应用于图像处理系统的第二实施例。根据第二实施例，执行本发明的模糊校正的图像处理装置、获得模糊图像的图像拾取装置和执行学习的服务器单独地存在。另外，散焦作为要校正的光学劣化来处理。
图6示出根据第二实施例的图像处理系统的基本配置。图7示出了根据第二实施例的图像处理系统的外观。图像拾取装置300包括获得被照体空间的深度图(与被照体距离的分布有关的信息)的深度图获取单元。作为用于获得深度图的配置，例如，使用视差的具有多个视点的图像拾取系统(诸如多透镜照相机或全光照相机)、ToF(飞行时间)或DFD(到散焦的深度)等是熟悉的。除了与模糊校正和学习有关的图像处理单元之外，图像拾取装置300的其他基本配置与图2中所示的基本配置类似。
由图像拾取装置300拍摄的模糊图像(输入图像)和拍摄条件信息(包括深度图)存储在图像处理装置301中的存储单元302中。图像处理装置301以有线或无线的方式连接到网络304，并且访问类似地连接的服务器305。服务器305包括学习用于校正由图像拾取装置300产生的光学劣化的校正信息的学习单元307和存储校正信息的存储单元306。图像处理装置301从服务器305的存储单元306获得校正信息，并通过校正单元303校正模糊图像的光学劣化。
产生的校正图像被输出到显示单元308、记录介质309和输出装置310中的至少任一个。显示单元308为例如液晶显示器或投影仪等。用户可以在经由显示单元308检查过程中图像的同时执行操作。记录介质309为例如半导体存储器、硬盘或网络上的服务器等。输出装置310是打印机等。图像处理装置301可以具有在必要时执行显影处理或其他图像处理的功能。
接下来，将通过使用图8的流程图描述由校正单元303执行的模糊校正处理。
在步骤S301中，获得由图像拾取装置300拍摄的模糊图像和包括模糊图像的深度图的拍摄条件信息。另外，根据本实施例，由于图像拾取装置300是透镜可互换型照相机，因此在拍摄时安装的透镜的识别信息也包括在拍摄条件信息中。
在步骤S302中，在使用在步骤S301中获得的深度图的同时，从距离被认为基本上相同的区域(可以通过使用相同的校正信息执行校正的区域)获得部分区域。
在步骤S303中，从拍摄时的拍摄距离(聚焦状态)和部分区域中的被照体的距离信息(深度信息)，获得根据部分区域的散焦量的校正信息。由于被照体距离根据部分区域的位置而变化，因此校正信息根据部分区域的位置而变化。另外，由于包括在图像拾取装置300中的成像光学系统的渐晕根据像高而改变，因此模糊图像根据像高即使在相同散焦量下也改变。出于这种原因，基于像高确定校正信息。
在步骤S304中，通过使用图9所示的网络结构来产生由散焦引起的模糊被校正的校正图像。图9所示的根据本实施例的网络结构与根据第一实施例的图1所示的网络结构之间的差异在于，max out被用作激活函数。与部分区域401和第一层中的多个滤波器402中的每一个的卷积被运算，并且进一步加上常数(第一线性转换)。滤波器402的各个系数和常数由校正信息确定。各个线性转换的结果被输入到激活函数(max out)。将通过使用图10描述max out的描述。max out是用于关于线性转换结果421～423的像素中的每一个输出最大值的激活函数。例如，在第一层中的max out的输出(第一转换部分区域)403中，像素441在线性转换结果421～423中的相同位置处的像素431～433中取最大值。即，max out是线性转换结果421～423被设定为自变量、自变量中的最大值被输出到各像素的MAX函数。另外，根据其性质，第一转换部分区域403的通道数量变为1。图9中的第二层和后续层的描述类似于图1。
在步骤S305中，关于模糊图像中的预定区域确定是否完成模糊校正。在预定区域中存在未执行模糊校正的部分区域的情况下，流程返回到步骤S302，并且获得未执行模糊校正的部分区域，并且执行产生校正的部分区域的处理(步骤S303和S304)。在预定区域的整个区域中完成模糊校正的情况下，流程前进到步骤S306。
在步骤S306中，输出焦点偏差通过散焦校正被校正的校正图像或者场深扩展的校正图像。
与第一实施例中类似，根据图5所示的流程图，学习在模糊校正中使用的校正信息。根据本实施例，由散焦引起的模糊被设定为校正目标。出于这种原因，在光学劣化的信息的获得(步骤S201)中，获得焦距(可变光焦度状态)、孔径值(孔径状态(包括渐晕))、拍摄距离(焦点状态)、基于被照体的距离信息确定的散焦的模糊相关的信息。由于步骤S202～S206与第一实施例类似，因此将省略其描述。
根据用于使图像处理装置301用作执行根据本实施例的图像处理方法的计算机的程序，执行根据本实施例的图像处理方法。应当注意，程序可以记录在例如计算机可读记录介质中。
利用上述配置，能够提供可以高度精确地校正图像拾取装置的光学劣化、同时抑制不利效果的图像拾取系统。
以上已经描述了本发明的优选实施例，但是本发明不限于这些实施例，并且可以在其要旨的范围内进行各种修改和变更。
即，可以在根据第二实施例所示的图像处理系统中执行根据第一实施例所示的校正像差和衍射的图像处理方法，并且，也可以在根据第一实施例所示的图像拾取装置中执行根据第二实施例的图像处理方法。另外，由像差和衍射以及散焦引起的所有模糊可以作为光学劣化被校正。
另外，由图像拾取装置拍摄的模糊图像和拍摄条件信息可以以有线或无线方式从图像拾取装置或连接到图像拾取装置的图像处理装置传送到网络上的服务器，并且，可以在网络上的服务器中执行根据本发明的图像处理方法。在图像拾取装置或图像处理装置访问服务器的同时，可以获得由网络上的服务器产生的校正图像。
本发明不限于上述实施例，并且，在不脱离本发明的精神和范围的情况下，可以进行各种修改和变更。因此，所附权利要求以使本发明的范围公开。
201、401 部分区域
202、402 滤波器
203、403 第一转换部分区域
204、404 滤波器
210、410 中间数据
211、411 滤波器
212、412 校正部分区域
421、422、423 线性转换结果
431、432、433 输入到max out的像素
441从max out 输出的像素
Claims (22)
1.一种图像处理方法，包括：
获得通过使用图像拾取装置拍摄的输入图像的部分区域的步骤；
获得根据部分区域的位置改变的预先学习的校正信息的步骤；以及
产生由图像拾取装置引起的部分区域的光学劣化通过使用部分区域和校正信息被校正的校正部分区域的校正步骤，
图像处理方法的特征在于，当N被设定为高于或等于2的整数且n被设定为1～N的整数时，校正步骤包含：关于部分区域，通过依次执行基于根据校正信息的多个线性函数中的每一个的第n线性转换和基于非线性函数的第n非线性转换直到n从1变为N来产生中间数据，以及关于中间数据，通过基于校正信息的一个或更多个线性函数执行第(N+1)线性转换来产生校正部分区域。
2.根据权利要求1所述的图像处理方法，其特征在于，第一到第n线性转换包含与基于校正信息的多个滤波器中的每一个的卷积。
3.根据权利要求2所述的图像处理方法，其特征在于，每当执行转换时使用不同的滤波器。
4.根据权利要求2或3所述的图像处理方法，其特征在于：
第(N+1)线性转换是与一个或更多个滤波器的卷积，以及
各个第一到第(N+1)线性转换中的滤波器的尺寸基于光学劣化的信息被确定。
5.根据权利要求2～4中的任一项所述的图像处理方法，其特征在于：
第(N+1)线性转换是与一个或更多个滤波器的卷积；以及
当对应于光学劣化的点扩展函数的扩展被设定为d、并且各个第一到第(N+1)线性转换中的滤波器的一维尺寸被为设定为s1～sN+1时，满足以下的条件式：
[数学式1]
6.根据权利要求1～5中的任一项所述的图像处理方法，其特征在于：
在中间数据中使用的滤波器的数量与部分区域的通道的数量相同；以及
通过包含与中间数据和每个滤波器的卷积的运算，计算校正部分区域的各通道成分。
7.根据权利要求1～6中的任一项所述的图像处理方法，其特征在于，非线性函数包含用于输出自变量中的最大值的MAX函数或单调递增函数。
8.根据权利要求1～7中的任一项所述的图像处理方法，其特征在于，部分区域的尺寸由光学劣化的信息确定。
9.根据权利要求1～8中的任一项所述的图像处理方法，其特征在于：
校正信息关于像高相同的部分区域获得相同的值；以及
在部分区域旋转之后执行校正步骤。
10.根据权利要求2～8中的任一项所述的图像处理方法，其特征在于：
校正信息关于像高相同的部分区域获得相同的值；以及
在基于校正信息的多个滤波器旋转之后执行校正步骤。
11.根据权利要求1～10中的任一项所述的图像处理方法，其特征在于，通过使用参照图像和光学劣化的信息进行学习，获得校正信息。
12.根据权利要求11所述的图像处理方法，其特征在于，用于学习的参照图像包含具有比输入图像的动态范围高的动态范围的图像。
13.根据权利要求11或12所述的图像处理方法，其特征在于，通过使用光学劣化的信息从参照图像产生劣化参照图像、并且使用参照图像的部分区域和劣化参照图像的部分区域的多个组进行学习，获得校正信息。
14.根据权利要求13所述的图像处理方法，其特征在于，通过使用参照图像的部分区域和添加噪声的劣化参照图像的部分区域的多个组进行学习，获得校正信息。
15.根据权利要求11～14中的任一项所述的图像处理方法，其特征在于，用于学习的光学劣化的信息不包含畸变像差。
16.根据权利要求15所述的图像处理方法，其特征在于，关于通过对输入图像的各个部分区域产生校正部分区域而获得的校正图像，执行畸变像差的校正处理。
17.根据权利要求1～16中的任一项所述的图像处理方法，其特征在于：
部分区域具有多个通道；以及
校正步骤包含在部分区域的倍率色差被校正之后执行第一线性转换。
18.根据权利要求1～16中的任一项所述的图像处理方法，其特征在于：
部分区域具有多个通道；
校正信息是依赖于通道的不同值；以及
对部分区域的各通道执行校正步骤。
19.一种图像处理装置，其特征在于，包括：
执行根据权利要求1～18中的任一项所述的图像处理方法的图像处理单元；以及
存储校正信息的存储单元。
20.一种图像拾取装置，其特征在于，包括：
获得被照体空间的图像作为输入图像的图像获得单元；
执行根据权利要求1～18中的任一项所述的图像处理方法的图像处理单元；以及
存储校正信息的存储单元。
21.一种用于使计算机执行图像处理的程序，
其中，作为图像处理，执行根据权利要求1～18中的任一项所述的图像处理方法。
22.一种存储根据权利要求21所述的程序的计算机可读记录介质。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/074723 WO2018037521A1 (ja) | 2016-08-25 | 2016-08-25 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109644230A true CN109644230A (zh) | 2019-04-16 |
| CN109644230B CN109644230B (zh) | 2020-10-30 |
Family
ID=61243063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680088585.4A Active CN109644230B (zh) | 2016-08-25 | 2016-08-25 | 图像处理方法、图像处理装置、图像拾取装置和存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10354369B2 (zh) |
| JP (1) | JP6728365B2 (zh) |
| CN (1) | CN109644230B (zh) |
| WO (1) | WO2018037521A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932462A (zh) * | 2020-08-18 | 2020-11-13 | Oppo（重庆）智能科技有限公司 | 图像降质模型的训练方法、装置和电子设备、存储介质 |
| CN112053288A (zh) * | 2019-06-06 | 2020-12-08 | 佳能株式会社 | 图像处理方法、图像处理装置与图像处理系统 |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10365606B2 (en) * | 2017-04-07 | 2019-07-30 | Thanh Nguyen | Apparatus, optical system, and method for digital holographic microscopy |
| DE102018201794B3 (de) * | 2018-02-06 | 2019-04-11 | Heidelberger Druckmaschinen Ag | Adaptive Bildglättung |
| JP6476531B1 (ja) * | 2018-03-06 | 2019-03-06 | 株式会社ツバサファクトリー | 処理装置、処理方法、コンピュータプログラム及び処理システム |
| JP7169768B2 (ja) * | 2018-05-08 | 2022-11-11 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP7129229B2 (ja) * | 2018-06-07 | 2022-09-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 |
| US11195257B2 (en) * | 2018-08-24 | 2021-12-07 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system |
| TWI820194B (zh) * | 2018-08-31 | 2023-11-01 | 日商索尼半導體解決方案公司 | 電子機器及固體攝像裝置 |
| US11030724B2 (en) | 2018-09-13 | 2021-06-08 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring image |
| US11080832B2 (en) * | 2018-09-26 | 2021-08-03 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, imaging apparatus, and storage medium |
| US11308592B2 (en) * | 2018-10-04 | 2022-04-19 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network |
| JP7414430B2 (ja) * | 2018-10-04 | 2024-01-16 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体 |
| DE102018222147A1 (de) | 2018-12-18 | 2020-06-18 | Leica Microsystems Cms Gmbh | Optikkorrektur durch Maschinenlernen |
| WO2020176007A1 (en) * | 2019-02-27 | 2020-09-03 | Huawei Technologies Co., Ltd. | An image processing apparatus and method |
| WO2020187425A1 (en) * | 2019-03-21 | 2020-09-24 | Huawei Technologies Co., Ltd. | Depth of field image refocusing |
| JPWO2021060445A1 (zh) * | 2019-09-27 | 2021-04-01 | ||
| JP7455542B2 (ja) * | 2019-09-27 | 2024-03-26 | キヤノン株式会社 | 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム |
| KR102212964B1 (ko) * | 2019-10-10 | 2021-02-08 | 주식회사 인트로메딕 | 디블러링 영상 처리 방법 및 장치 |
| JP6804613B1 (ja) * | 2019-10-15 | 2020-12-23 | エヌエイチエヌ コーポレーション | サーバ、プログラム、方法及びシステム |
| JPWO2021095256A1 (zh) * | 2019-11-15 | 2021-05-20 | ||
| JP7365204B2 (ja) | 2019-11-18 | 2023-10-19 | 株式会社東海理化電機製作所 | 学習装置、および学習方法 |
| CN113139911A (zh) * | 2020-01-20 | 2021-07-20 | 北京迈格威科技有限公司 | 图像处理方法及装置、图像处理模型的训练方法及装置 |
| JP2021149473A (ja) * | 2020-03-18 | 2021-09-27 | 株式会社リコー | 画像処理装置、画像処理方法および画像処理プログラム |
| CN111968052B (zh) * | 2020-08-11 | 2024-04-30 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070182830A1 (en) * | 2006-01-31 | 2007-08-09 | Konica Minolta Holdings, Inc. | Image sensing apparatus and image processing method |
| US20080137947A1 (en) * | 2006-12-08 | 2008-06-12 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
| US20100283874A1 (en) * | 2007-06-05 | 2010-11-11 | Uri Kinrot | Non-Linear Transformations for Enhancement of Images |
| CN102576453A (zh) * | 2009-07-31 | 2012-07-11 | 富士胶片株式会社 | 图像处理装置和方法、数据处理装置和方法、程序和记录介质 |
| CN102957845A (zh) * | 2011-08-25 | 2013-03-06 | 佳能株式会社 | 图像处理程序、方法、装置和图像拾取装置 |
| US20160027157A1 (en) * | 2013-03-18 | 2016-01-28 | Fujifilm Corporation | Restoration filter generation device and image processing device |
| CN105657248A (zh) * | 2014-12-01 | 2016-06-08 | 佳能株式会社 | 控制设备及方法、图像处理设备、系统及方法和镜头设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04200081A (ja) * | 1990-11-29 | 1992-07-21 | Olympus Optical Co Ltd | 撮像装置 |
| JPH1131214A (ja) * | 1997-07-10 | 1999-02-02 | Hitachi Medical Corp | 画像処理装置 |
| EP1104180B1 (de) * | 1999-11-26 | 2011-01-19 | INB Vision AG | Verfahren und Einrichtung zur Bestimmung und mindestens teilweisen Korrektur der Fehler eines Bildwiedergabesystems |
| JP5809865B2 (ja) | 2011-07-19 | 2015-11-11 | 株式会社 日立産業制御ソリューションズ | 画像処理装置及び画像処理方法 |
| JP2015216576A (ja) | 2014-05-13 | 2015-12-03 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置、電子機器、並びにプログラム |
| US11144785B2 (en) * | 2016-03-17 | 2021-10-12 | Imagia Cybernetics Inc. | Method and system for processing a task with robustness to missing input information |
-
2016
- 2016-08-25 CN CN201680088585.4A patent/CN109644230B/zh active Active
- 2016-08-25 JP JP2018535995A patent/JP6728365B2/ja active Active
- 2016-08-25 WO PCT/JP2016/074723 patent/WO2018037521A1/ja active Application Filing
-
2017
- 2017-08-23 US US15/684,468 patent/US10354369B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070182830A1 (en) * | 2006-01-31 | 2007-08-09 | Konica Minolta Holdings, Inc. | Image sensing apparatus and image processing method |
| US20080137947A1 (en) * | 2006-12-08 | 2008-06-12 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
| US20100283874A1 (en) * | 2007-06-05 | 2010-11-11 | Uri Kinrot | Non-Linear Transformations for Enhancement of Images |
| CN102576453A (zh) * | 2009-07-31 | 2012-07-11 | 富士胶片株式会社 | 图像处理装置和方法、数据处理装置和方法、程序和记录介质 |
| CN102957845A (zh) * | 2011-08-25 | 2013-03-06 | 佳能株式会社 | 图像处理程序、方法、装置和图像拾取装置 |
| US20160027157A1 (en) * | 2013-03-18 | 2016-01-28 | Fujifilm Corporation | Restoration filter generation device and image processing device |
| CN105657248A (zh) * | 2014-12-01 | 2016-06-08 | 佳能株式会社 | 控制设备及方法、图像处理设备、系统及方法和镜头设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112053288A (zh) * | 2019-06-06 | 2020-12-08 | 佳能株式会社 | 图像处理方法、图像处理装置与图像处理系统 |
| CN111932462A (zh) * | 2020-08-18 | 2020-11-13 | Oppo（重庆）智能科技有限公司 | 图像降质模型的训练方法、装置和电子设备、存储介质 |
| CN111932462B (zh) * | 2020-08-18 | 2023-01-03 | Oppo（重庆）智能科技有限公司 | 图像降质模型的训练方法、装置和电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018037521A1 (ja) | 2018-03-01 |
| US20180061020A1 (en) | 2018-03-01 |
| US10354369B2 (en) | 2019-07-16 |
| JP6728365B2 (ja) | 2020-07-22 |
| CN109644230B (zh) | 2020-10-30 |
| JPWO2018037521A1 (ja) | 2019-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109644230A (zh) | 图像处理方法、图像处理装置、图像拾取装置、图像处理程序和存储介质 | |
| RU2716843C1 (ru) | Цифровая коррекция аберраций оптической системы | |
| CN102625043B (zh) | 图像处理设备、成像设备和图像处理方法 | |
| RU2523028C2 (ru) | Устройство обработки изображения, устройство захвата изображения и способ обработки изображения | |
| CN102970459B (zh) | 图像处理设备、摄像设备和图像处理方法 | |
| JP5188651B2 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
| US8659672B2 (en) | Image processing apparatus and image pickup apparatus using same | |
| US8849055B2 (en) | Image processing apparatus and method | |
| CN102833461B (zh) | 图像处理设备和图像处理方法 | |
| CN111010504B (zh) | 图像处理方法、装置和系统、摄像装置及存储介质 | |
| CN110221503A (zh) | 摄像设备 | |
| JP2017108377A (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム、記憶媒体 | |
| WO2016111175A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| JP2019016975A (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム | |
| JP2020030569A (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
| JP2019212132A (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
| JP6436840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
| JP7009219B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
| JP2020061129A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体 | |
| JP2012156714A (ja) | プログラム、画像処理装置、画像処理方法および撮像装置。 | |
| JP7319840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
| JP7129229B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
| WO2011121761A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
| JP2006050155A (ja) | 画像の鮮鋭化装置および方法、画像の鮮鋭化装置を用いた電子機器及び鮮鋭化プログラム、及びそのプログラムを記録した記録媒体 | |
| JP2015076685A (ja) | 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |