CN112053288A - 图像处理方法、图像处理装置与图像处理系统 - Google Patents

图像处理方法、图像处理装置与图像处理系统 Download PDF

Info

Publication number
CN112053288A
CN112053288A CN202010487417.0A CN202010487417A CN112053288A CN 112053288 A CN112053288 A CN 112053288A CN 202010487417 A CN202010487417 A CN 202010487417A CN 112053288 A CN112053288 A CN 112053288A
Authority
CN
China
Prior art keywords
image
optical system
captured image
input data
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010487417.0A
Other languages
English (en)
Inventor
日浅法人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN112053288A publication Critical patent/CN112053288A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及图像处理方法、图像处理装置与图像处理系统。一种图像处理方法包括：第一步骤，获取包括被捕获图像和与用于捕获所述被捕获图像的光学系统的状态有关的光学系统信息的输入数据；以及第二步骤，将所述输入数据输入到机器学习模型，并生成通过对所述被捕获图像进行锐化或通过对所述被捕获图像中包括的模糊进行整形而获取的估计图像。

Description

图像处理方法、图像处理装置与图像处理系统
技术领域
本发明涉及一种图像处理方法，该图像处理方法用于对由用于捕获被捕获图像的光学系统引起的模糊进行锐化或整形。
背景技术
日本专利公开号(“JP”)2011-123589公开了使用基于Wiener滤波器的处理来校正由被捕获图像中的像差引起的模糊并且获取经锐化的图像的方法。JP 2017-199235公开了使用卷积神经网络(CNN)校正由被捕获图像中的散焦引起的模糊的方法。
然而，JP 2011-123589中公开的方法使用基于Wiener滤波器的处理(线性处理)，因此不能以高精度对模糊的图像进行锐化。例如，无法恢复关于其中模糊使空间频谱为零或使被摄体的强度与噪声的强度相同的被摄体的信息。此外，由于需要针对不同的像差使用不同的Wiener滤波器，因此在生成各种像差的光学系统中，用于锐化被捕获图像的存储数据量(指示多个Wiener滤波器的数据容量)增加。
另一方面，在JP 2017-199235中，由于使用CNN的方法是非线性处理，因此可以估计已经减小到零附近的被摄体的空间频谱。然而，使用CNN的方法在锐化由生成各种像差的光学系统捕获的被捕获图像时可能降低锐化精度，或者可能增加学习负荷和存储数据量。CNN不能正确地锐化具有CNN尚未学习的模糊的图像。在光学系统中，所生成的模糊由于变焦、F数、被摄体距离(焦点距离)等的状态而变化，并且能想到以下两种方法来锐化所有模糊的图像。
第一种方法使用包括光学系统中可能出现的所有模糊的学习数据来使CNN学习。但是，在第一种方法中，由于CNN进行学习以平均学习数据中包括的所有模糊，因此在具有不同形状的每个模糊中各自的锐化精度降低。第二种方法将光学系统中可能出现的模糊分为多个相似的组，并基于每个组的学习数据来使CNN单独学习。然而，在第二种方法中，当光学系统是例如高倍率变焦透镜并生成各种像差时，组的数量大大增加，从而增加了学习负荷和存储数据量(学习到的CNN权重的数据容量)。因此，难以在抑制学习负荷和存储数据量的同时确保对模糊的图像进行锐化的精度。
发明内容
本发明提供了图像处理方法、图像处理装置、图像处理系统和学习到的权重的制造方法，它们均在抑制机器学习模型的学习负荷和存储数据量的同时高度精确地对被捕获图像进行锐化或对被捕获图像中的模糊进行整形。
根据本发明的一个方面的一种图像处理方法包括：第一步骤，获取包括被捕获图像和与用于捕获所述被捕获图像的光学系统的状态有关的光学系统信息的输入数据；以及第二步骤，将所述输入数据输入到机器学习模型，并生成通过对所述被捕获图像进行锐化或通过对所述被捕获图像中包括的模糊进行整形而获取的估计图像。
一种存储计算机程序的非暂时性计算机可读存储介质还构成本发明的另一个方面，所述计算机程序使计算机执行上面的图像处理方法。
作为本发明的一个方面的一种图像处理装置包括：获取单元，被配置为获取包括被捕获图像和与用于捕获所述被捕获图像的光学系统的状态有关的光学系统信息的输入数据；以及生成单元，被配置为将所述输入数据输入到机器学习模型，并生成通过对所述被捕获图像进行锐化或通过对所述被捕获图像中包括的模糊进行整形而获取的估计图像。
作为本发明的一个方面的一种图像处理系统具有第一装置和第二装置。第一装置包括：发送单元，被配置为向所述第二装置发送与对被捕获图像的处理的执行有关的请求，并且所述第二装置：包括：接收单元，被配置为接收所述请求；获取单元，被配置为获取包括所述被捕获图像和与用于捕获所述被捕获图像的光学系统的状态有关的光学系统信息的输入数据；以及生成单元，被配置为将所述输入数据输入到机器学习模型，并生成通过对所述被捕获图像进行锐化或通过对所述被捕获图像中包括的模糊进行整形而获取的估计图像。
作为本发明的一个方面的一种图像处理方法包括：第一步骤，获取包括训练图像和与对应于所述训练图像的光学系统的状态有关的光学系统信息的输入数据；第二步骤，将所述输入数据输入到机器学习模型，并生成通过对所述训练图像进行锐化或通过对所述训练图像中包括的模糊进行整形而获取的输出图像；以及第三步骤，基于所述输出图像和标准答案图像来更新所述机器学习模型的权重。
一种存储计算机程序的非暂时性计算机可读存储介质还构成本发明的另一个方面，所述计算机程序使计算机执行上面的图像处理方法。
作为本发明的一个方面的一种学习到的权重的制造方法包括：第一步骤，获取包括训练图像和与对应于所述训练图像的光学系统的状态有关的光学系统信息的输入数据；第二步骤，将所述输入数据输入到机器学习模型，并生成通过对所述训练图像进行锐化或通过对所述训练图像中包括的模糊进行整形而获取的输出图像；以及第三步骤，基于所述输出图像和标准答案图像来更新所述机器学习模型的权重。
作为本发明的一个方面的一种图像处理装置包括：获取单元，被配置为获取包括训练图像和与对应于所述训练图像的光学系统的状态有关的光学系统信息的输入数据；生成单元，被配置为将所述输入数据输入到机器学习模型，并生成通过对所述训练图像进行锐化或通过对所述训练图像中包括的模糊进行整形而获取的输出图像；以及更新单元，被配置为基于所述输出图像和标准答案图像来更新所述机器学习模型的权重。
通过参考附图对示例性实施例的以下描述，本发明的进一步特征将变得清楚。
附图说明
图1是示出根据第一实施例的机器学习模型的配置图。
图2是示出根据第一实施例的图像处理系统的框图。
图3是示出根据第一实施例的图像处理系统的外观图。
图4是根据第一和第二实施例的与权重学习有关的流程图。
图5是根据第一实施例的与估计图像的生成有关的流程图。
图6是示出根据第二实施例的图像处理系统的框图。
图7是示出根据第二实施例的图像处理系统的外观图。
图8是示出根据第二实施例的机器学习模型的配置图。
图9是示出根据第二实施例的图像传感器与光学系统的像圈(image circle)之间的关系的图。
图10是示出根据第二实施例的位置图的示例的图。
图11是根据第二实施例的与估计图像的生成有关的流程图。
图12是示出根据第二实施例的锐化被捕获图像的效果的图。
图13是示出根据第二实施例的制造变化图的示例的图。
图14是示出根据第三实施例的图像处理系统的框图。
图15是示出根据第三实施例的图像处理系统的外观图。
图16是根据第三实施例的与权重学习有关的流程图。
图17是示出根据第三实施例的机器学习模型的配置图。
图18是根据第三实施例的与估计图像的生成有关的流程图。
具体实施方式
现在参考附图，将给出根据本发明的实施例的详细描述。各个附图中的对应要素将由相同的附图标记标出，并且将省略其重复描述。
在给出每个实施例的具体描述之前，将描述本发明的要旨。本发明使用机器学习模型来对被捕获图像进行锐化或对被捕获图像中的模糊进行整形。光学系统用于捕获图像并引起模糊(生成模糊)。如本文所使用的术语“光学系统”是指对图像捕获具有光学效果的那些。即，“光学系统”不仅包括成像光学系统，还包括例如光学低通滤波器和图像传感器的微透镜阵列。因此，由光学系统引起的模糊包括由像差、衍射和散焦、光学低通滤波器的动作、图像传感器的像素孔径劣化等引起的模糊。
机器学习模型包括例如神经网络、遗传编程、贝叶斯网络等。神经网络包括CNN(卷积神经网络)、GAN(生成式对抗网络)、RNN(最近神经网络)等。
锐化是指用于恢复由于模糊而已减少或丢失的被摄体的频率分量的处理。整形是指在不恢复频率分量的情况下对模糊形状的转换。例如，整形包括从两线模糊到高斯或盘(平坦的圆形分布)的转换、从具有渐晕的散焦模糊到圆形散焦模糊的转换等。
输入到机器学习模型的输入数据包括被捕获图像和与在捕获该被捕获图像时的光学系统的状态有关的信息(以下称为光学系统信息)。光学系统的状态是指可以改变与图像捕获有关的光学动作的装置状态。光学系统的状态包括例如光学系统的变焦、F数、被摄体距离等的状态。光学系统信息可包括关于光学低通滤波器的存在与否(或光学低通滤波器的类型)以及附接到光学系统的配件(例如，转换器透镜)的存在与否(或类型)的信息。
光学系统信息在学习期间和在学习之后的估计期间输入到机器学习模型，使得机器学习模型可以确定光学系统的哪个状态引起被捕获图像中的模糊。由此，即使在要学习的图像包括各种形状的模糊时，机器学习模型也可以针对光学系统的每个状态学习用于对图像进行锐化(或对模糊进行整形)的权重，而不是学习用于均匀地对图像进行锐化(或用于对模糊进行整形)的权重。
因此，本发明可以对具有每个模糊的图像执行高度精确的锐化(或整形)。此外，可以统一学习包括各种形状的模糊的学习数据，同时抑制对被捕获图像进行锐化(或对模糊进行整形)的精度下降。因此，本发明可以在抑制学习负荷和存储数据量的同时，以高精度对具有由光学系统引起的模糊的被捕获图像的模糊进行整形或对被捕获图像进行锐化。将在第二实施例中定量地描述本发明的效果。在以下描述中，学习阶段是指机器学习模型中的权重学习的步骤，并且估计阶段是指在机器学习模型中使用学习到的权重来对被捕获图像进行锐化或对模糊进行整形的步骤。
第一实施例
首先，将给出根据本发明的第一实施例的图像处理系统的描述。本实施例对被捕获图像进行锐化，但是本发明类似地适用于模糊的整形。本实施例描述了对具有由像差和衍射引起的模糊的图像的锐化，但是本发明可以应用于具有由散焦引起的模糊的图像。
图2是示出本实施例中的图像处理系统100的框图。图3是示出图像处理系统100的外观图。图像处理系统100包括学习装置(图像处理装置)101、图像捕获装置102和网络103。学习装置101和图像捕获装置102经由网络103有线或无线连接。学习装置101包括存储器111、获取器(获取单元)112、计算器(生成单元)113和更新器(更新单元)114，并且被配置为学习在机器学习模型中用于对被捕获图像进行锐化的权重。图像捕获装置102被配置为通过捕获被摄体空间来获取被捕获图像，并且通过使用关于在图像捕获之前或之后读出的权重的信息来对具有模糊的被捕获图像进行锐化。稍后将给出学习装置101中的权重学习和图像捕获装置102中的被捕获图像的锐化的详细描述。
图像捕获装置102包括光学系统(成像光学系统)121和图像传感器122。光学系统121收集已从被摄体空间进入图像捕获装置102的光。图像传感器122接收(电转换)经由光学系统121形成的光学图像(被摄体图像)，并生成被捕获图像。图像传感器122例如是CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器。
图像处理器(图像处理装置)123包括获取器(获取单元)123a和锐化器(生成单元)123b，并且被配置为通过对被捕获图像进行锐化来从被捕获图像生成估计图像(经锐化的图像)。使用关于由学习装置101学习的已学习到的权重的信息来生成估计图像。权重信息已经预先经由有线或无线网络103从学习装置101读取，并存储在存储器124中。所存储的权重信息可以是权重的数值本身或其编码形式。记录介质125被配置为存储估计图像。可替代地，可以将被捕获图像存储在记录介质125上，并且图像处理器123可以读取被捕获图像以生成估计图像。显示器126被配置为根据用户的指令来显示存储在记录介质125上的估计图像。系统控制器127被配置为控制上述一系列操作。
接下来，将参考图4来给出本实施例中的由学习装置101执行的权重学习(学习阶段，制造学习到的模型的方法)的描述。图4是与权重学习有关的流程图。图4的每个步骤主要由学习装置101中的获取器112、计算器113或更新器114执行。在本实施例中，使用CNN作为机器学习模型，但是本发明可以类似地应用于其他模型。
首先，在步骤S101中，获取器112从存储器111获取一组或多组标准答案图像(ground truth image)和训练输入数据。训练输入数据是用于CNN的学习阶段的输入数据。训练输入数据包括训练图像和与训练图像对应的光学系统信息(以下称为训练光学系统信息)。训练图像和标准答案图像是包括相同被摄体并且区别在于模糊的存在与否的一对图像。标准答案图像不包括模糊，而训练图像包括模糊。模糊是通过组合由光学系统121引起的像差和衍射与图像传感器122的像素孔径劣化而生成的。一个训练图像包括通过组合由具有变焦、F数和焦距的特定状态的光学系统121引起的像差和衍射与像素孔径劣化而生成的模糊。训练光学系统信息是指示变焦、F数和焦距的特定状态中的至少一个的信息。换句话说，光学系统信息是指定训练图像中包括的模糊的信息。在本实施例中，光学系统信息包括变焦、F数和焦距的所有状态。训练图像不限于被捕获图像，并且可以是由CG等生成的图像。
以下是用于生成存储在存储器111中的标准答案图像和训练输入数据的方法的示例。第一种生成方法是使用原始图像作为被摄体来执行图像捕捉模拟。原始图像是真实世界中捕获的图像、CG(计算机图形)图像等。原始图像可以包括具有各种强度和方向的边缘、纹理、渐变、平坦部分等，使得可以正确地锐化各种被摄体。可以使用一个或多个原始图像。通过对未应用模糊的原始图像执行图像捕获模拟来获取标准答案图像。通过对应用了要学习的模糊(模糊化)的原始图像进行图像捕捉模拟来获取训练图像。
本实施例使用由在光学系统121的状态(Z，F，D)下生成的像差和衍射以及像素孔径劣化所生成的模糊。在此，Z、F和D分别表示变焦、F数和被摄体距离的状态。当图像传感器122获取多个颜色分量时，将每个颜色分量的模糊应用于原始图像。可以通过将原始图像与点扩展函数(PSF)卷积或通过将原始图像的频率特性与OTF(光学传递函数)相乘来应用模糊。当将状态(Z，F，D)下的模糊应用于训练图像时，训练光学系统信息是用于指定(Z，F，D)的信息。标准答案图像和训练图像可以是未显影的RAW图像或显影后的图像。将多个不同的(Z，F，D)的模糊应用于一个或多个原始图像，以生成多组标准答案图像和训练图像。
本实施例统一学习对于光学系统121中生成的所有模糊的校正。因此，对于光学系统121的所有可能的(Z，F，D)生成了多组标准答案图像和训练图像。由于取决于图像高度和方位，可能在相同的(Z，F，D)中出现多个模糊，因此针对每个不同的图像高度和方位生成标准答案图像和训练图像的组。
原始图像可以具有高于图像传感器122的亮度饱和度值的信号值。这是因为，当图像捕获装置102在特定曝光条件下捕获实际的被摄体时，亮度可能不落在亮度饱和度值之内。通过用图像传感器122的亮度饱和度值对信号进行修剪来生成标准答案图像。通过应用模糊并然后使用亮度饱和度值对信号进行修剪来生成训练图像。
当生成标准答案图像和训练图像时，原始图像的尺寸可以减小(缩小)。当将真实图像用作原始图像时，由于像差或衍射而出现了模糊。原始图像的尺寸被减小以用于抑制原始图像中的模糊的影响并生成具有高分辨率的标准答案图像。在这种情况下，训练图像的尺寸也要减小，以便使比例与标准答案图像相匹配。可以首先执行缩小或模糊化以生成训练图像。当首先执行模糊化时，出于缩小考虑，需要降低模糊的采样率。在PSF的情况下，可以使空间中的采样点更精细，而在OTF的情况下，可以使最大频率更大。当原始图像包含足够的高频分量时，可以在不缩小的情况下对原始图像进行高度精确的锐化，因此缩小不必执行。
在训练图像的生成中，要应用的模糊不包括失真。如果失真大，则被摄体的位置改变，并且图像中的被摄体在标准答案图像和训练图像中可能有所不同。因此，在本实施例中被使得学习的CNN不校正失真。估计阶段使用双线性插值、双三次插值等在锐化被捕获图像之后校正失真。类似地，在训练图像的生成中，要应用的模糊不包括倍率色像差。通过使用每个颜色分量的偏移，估计阶段在锐化被捕获图像之前校正倍率色像差。
标准答案图像和训练输入数据的第二种生成方法是使用由光学系统121和图像传感器122捕获的真实图像的方法。光学系统121在(Z，F，D)的状态下捕获图像以获取训练图像。训练光学系统信息是用于指定(Z，F，D)的信息。例如，通过使用具有比光学系统121更高性能的光学系统捕获与训练图像的被摄体相同的被摄体来获取标准答案图像。可以在上述两种方法中生成的训练图像和标准答案图像中针对预定数量的像素提取部分区域，并可以将其用于学习。
随后，在图4的步骤S102中，计算器113将训练输入数据输入到CNN并生成输出图像。将参考图1给出关于本实施例中的输出图像的生成的描述。图1是示出本实施例中的机器学习模型的配置图。
训练输入数据包括训练图像201和光学系统信息(z，f，d)202。训练图像201可以是灰度级或具有多个通道分量。标准答案图像也是如此。(z，f，d)是规范化的(Z，F，D)。对于变焦、F数和被摄体距离中的每个，基于光学系统121的可能范围来执行规范化。例如，Z表示焦距，F表示孔径值(f数)，并且D表示从图像捕获装置102到对焦的被摄体的距离的绝对值的倒数。Zmin和Zmax是光学系统121的焦距的最小值和最大值，Fmin和Fmax是孔径值的最小值和最大值，Dmin和Dmax是可聚焦距离的绝对值的倒数的最小值和最大值。当最大可聚焦距离为无穷远时，Dmin＝1/|∞|＝0。通过以下表达式(1)获取规范化的(z，f，d)。
Figure BDA0002519697360000101
在表达式(1)中，x和X是分别指示(z，f，d)中的任何一个和(Z，F，D)中的任何一个的伪变量。在Xmin＝Xmax的情况下，x为常数。可替代地，在Xmin＝Xmax的情况下，由于x没有自由度，所以可以将x从光学系统信息中排除。通常，被摄体距离越近，光学系统121的性能变化就变得越大。因此，D是距离的倒数。
在本实施例中，CNN 211具有第一子网络221和第二子网络223。第一子网络221具有一个或多个卷积层或完全连接层。第二子网络223具有一个或多个卷积层。在第一次学习时，CNN 211的权重(滤波器的每个元素以及偏置的值)通过随机数生成。第一子网络221接收光学系统信息(z，f，d)202作为输入，并生成被转换为特征图的状态图203。状态图203是指示光学系统的状态的图，并且具有与训练图像201的一个通道分量的元素相同数量的元素(像素数量)。连结层222将训练图像201和状态图203在通道方向上以预定顺序连结。可以在训练图像201和状态图203之间连结其他数据。第二子网络223使用连结的训练图像201和状态图203作为输入，并生成输出图像204。当在图4的步骤S101中获取了多组训练输入数据时，针对每个组生成输出图像204。训练图像201可以通过第三子网络转换为特征图，并且特征图和状态图203可以通过连结层222连结。
随后，在图4的步骤S103中，更新器114根据输出图像和标准答案图像之间的误差来更新CNN的权重。本实施例使用输出图像和标准答案图像的信号值之间的差异的欧几里得范数作为损失函数。然而，损失函数不限于此。当在步骤S101中获取了多组训练输入数据和标准答案图像时，针对每组计算损失函数的值。使用损失函数的计算值通过反向传播等来更新权重。
随后在步骤S104中，更新器114确定权重学习是否已完成。基于学习(权重更新)的迭代次数是否已达到预定次数、更新时的权重变化量是否小于预定值等，可以确定完成。当在步骤S104中确定权重学习尚未完成时，过程返回到步骤S101，并且获取器112获取一组或多组新的训练输入数据和标准答案图像。另一方面，当确定权重学习已完成时，更新器114终止学习并将权重信息存储在存储器111中。
接下来，将参考图5给出本实施例中由图像处理器123执行的被捕获图像的锐化(估计阶段)的描述。图5是与本实施例中的被捕获图像的锐化(估计图像的生成)有关的流程图。图5中的每个步骤主要由图像处理器123中的获取器123a或锐化器123b执行。
首先，在步骤S201中，获取器123a获取输入数据和权重信息。输入数据包括被捕获图像和捕获被捕获图像的光学系统121的光学系统信息。要获取的被捕获图像可以是整个被捕获图像的一部分。光学系统信息是指示光学系统121的变焦、F数和被摄体距离的状态的(z，f，d)。权重信息被从存储器124读出并获取。
随后在步骤S202中，锐化器123b将输入数据输入到CNN并生成估计图像。通过对具有由光学系统121的像差和衍射以及图像传感器122的像素孔径劣化引起的模糊的被捕获图像进行锐化来获取估计图像。以与学习相同的方式，使用图1中所示的CNN来生成估计图像。所获取的学习到的权重被用于CNN。对于光学系统121的所有可能的(z，f，d)，本实施例统一学习对被捕获图像进行锐化的权重。因此，使用相同的权重，CNN对具有各种(z，f，d)的模糊的所有被捕获图像进行锐化。
本实施例可以提供被配置为对被捕获图像中包括的模糊进行整形的整形单元，代替被配置为对被捕获图像进行锐化的锐化器123b。在后面所述的第二实施例中同样如此。在本实施例中，图像处理装置(图像处理器123)包括获取单元(获取器123a)和生成单元(锐化器123b或整形单元)。获取单元被配置为在捕获被捕获图像时获取包括被捕获图像和光学系统信息的输入数据。生成单元被配置为将输入数据输入到机器学习模型，并生成通过对被捕获图像进行锐化而获取的估计图像或通过对被捕获图像中包括的模糊进行整形而获取的图像。在本实施例中，图像处理装置(学习装置101)包括获取单元(获取器112)、生成单元(计算器113)和更新单元(更新器114)。获取单元被配置为获取包括训练图像和训练光学系统信息的输入数据。生成单元被配置为将输入数据输入到机器学习模型，并生成通过对训练图像进行锐化而获取的输出图像或通过对训练图像中包括的模糊进行整形而获取的输出图像。更新单元被配置为基于输出图像和标准答案图像来更新机器学习模型的权重。
本实施例可以提供图像处理装置和图像处理系统，它们均可以在抑制机器学习模型的学习负荷和存储数据量的同时以高精度对包括由光学系统引起的模糊的被捕获图像进行锐化。
第二实施例
接下来，将给出本发明的第二实施例中的图像处理系统的描述。本实施例对被捕获图像执行锐化处理，但是本发明可以应用于对模糊的整形处理。
图6是示出本实施例中的图像处理系统300的框图。图7是示出图像处理系统300的外观图。图像处理系统300包括学习装置(图像处理装置)301、透镜装置302、图像捕获装置303、图像估计装置(图像处理装置)304、显示装置305、记录介质306、输出装置307和网络308。学习装置301包括存储器301a、获取器(获取单元)301b、计算器(生成单元)301c和更新器(更新单元)301d，并且被配置为学习用于对被捕获图像进行锐化的机器学习模型的权重。稍后将给出关于权重学习和使用权重对被捕获图像的锐化处理的详细描述。
透镜装置302和图像捕获装置303能可拆卸地附接，并能连接不同类型的透镜装置302和图像捕获装置303。取决于类型，透镜装置302采取焦距、F数和被摄体距离的不同状态。取决于类型，由于透镜的配置有所不同，透镜装置302生成由像差或衍射引起的模糊的不同形状。图像捕获装置303包括图像传感器303a。不同类型的图像捕获装置在光学低通滤波器的存在与否以及类型(分离方法、截止频率等)、像素间距(包括像素孔径)、滤色器阵列等方面有所不同。
图像估计装置304包括存储器304a、获取器(获取单元)304b和锐化器(生成单元)304c。图像估计装置304被配置为通过对具有模糊的被捕获图像(或其至少一部分)进行锐化来生成估计图像。被捕获图像由图像捕获装置303捕获，并且模糊由光学系统引起。图像估计装置304可以连接到透镜装置302和图像捕获装置303的多个组合。为了对被捕获图像进行锐化，学习装置301使用学习到的权重来使用机器学习模型。学习装置301和图像估计装置304经由网络308连接，并且图像估计装置304在对被捕获图像进行锐化期间或之前从学习装置301读出关于学习到的权重的信息。估计图像被输出到显示装置305、记录介质306或输出装置307中的至少一个。显示装置305例如是液晶显示器或投影仪。用户可以在经由显示装置305检查正在处理的图像的同时执行编辑工作等。记录介质306例如是半导体存储器、硬盘或网络上的服务器。输出装置307是例如打印机。
接下来，将参考图4来给出由学习装置301执行的权重学习(学习阶段)的描述。本实施例使用CNN作为机器学习模型，但是本发明可以类似地应用于其他模型。与第一实施例类似的描述将被省略。
首先，在步骤S101中，获取器301b从存储器301a获取一组或多组标准答案图像和训练输入数据。存储器301a存储与透镜装置302和图像捕获装置303的多个组合对应的训练图像。本实施例针对每种类型的透镜装置302统一学习对被捕获图像进行锐化的权重。因此，本实施例首先确定用于学习权重的透镜装置302的类型，然后从与该类型对应的一组训练图像中获取训练图像。与某种类型的透镜装置302对应的每组训练图像是这样的一组图像：每个图像具有变焦、F数、被摄体距离、图像高度和方位、光学低通滤波器、像素间距、滤色器阵列等的不同状态的模糊。
本实施例通过使用图8中给出的CNN的配置来执行学习。图8是示出本实施例中的机器学习模型的配置图。训练输入数据404包括训练图像401、状态图402和位置图403。该步骤生成状态图402和位置图403。状态图402和位置图403是分别指示与作用在所获取的训练图像上的模糊对应的(Z，F，D)和(X，Y)。(X，Y)是图9中所示的图像平面的坐标(水平方向和垂直方向)，并且对应于极坐标显示中的图像高度和方位。
在本实施例中，坐标(X，Y)包括透镜装置302的光轴作为原点位置。图9示出了透镜装置(光学系统)302的像圈501、图像传感器303a的第一有效像素区域502和第二有效像素区域503与坐标(X，Y)之间的关系。由于图像传感器303a根据图像捕获装置303的类型而具有不同的尺寸，图像捕获装置303根据类型可以具有第一有效像素区域502或可以具有第二有效像素区域503。在能连接到透镜装置302的所有类型的图像捕获装置303中，包括最大图像传感器303a的图像捕获装置303具有第一有效像素区域502。
位置图403是基于通过对坐标(X，Y)进行规范化而获取的(x，y)生成的。通过将(X，Y)除以基于透镜装置302的像圈501的长度(像圈的半径)511来进行规范化。可替代地，可以通过将X除以从原点位置起的第一有效像素区域的水平长度512以及将Y除以从原点起的第一有效像素区域的垂直长度513来进行规范化。如果(X，Y)被规范化为使得被捕获图像的边缘始终为1，则当通过不同尺寸的图像传感器303a捕获图像时，具有相同值的(x，y)可以指示不同的位置(X，Y)，导致(x，y)的值和模糊之间的对应关系复杂化。结果，在锐化被捕获图像时精度降低。位置图403是具有(x，y)的每个值作为通道分量的两通道图。极坐标可以用于位置图403，并且原点位置不限于图9。
状态图402是具有规范化的值(z，f，d)作为通道分量的三通道图。训练图像401、状态图402和位置图403中的每个所具有的每通道元素数量(像素数量)相同。位置图403和状态图402的配置不限于本实施例。例如，作为图10中所示的位置图，可以将第一有效像素区域502划分为多个部分区域，并且可以将数值分配给每个部分区域，从而可以由一个通道来表示位置图。划分的部分区域的数量和分配数值的方法不限于图10所示的那些。类似地，(Z，F，D)可以围绕每个轴在三维空间中被划分为多个部分区域并可以被分配数值，并且状态图可以由一个通道表示。图8中的连结层411将训练图像401、状态图402和位置图403在通道方向上以预定顺序连结，并且生成训练输入数据404。
随后在图4的步骤S102中，计算器301c将训练输入数据404输入到CNN 412，并生成输出图像405。随后在步骤S103中，更新器301d根据输出图像和标准答案图像之间的误差来更新CNN的权重。随后在步骤S104中，更新器301d确定学习是否已完成。关于学习到的权重的信息被存储在存储器301a中。
接下来，参考图11，将给出由图像估计装置304执行的被捕获图像的锐化(估计阶段)的描述。图11是与被捕获图像的锐化(估计图像的生成)有关的流程图。图11中的每个步骤主要由图像估计装置304的获取器304b或锐化器304c执行。
首先在步骤S301中，获取器304b获取被捕获图像(或其至少一部分)。随后在步骤S302中，获取器304b获取与被捕获图像对应的权重信息。在第二实施例中，用于每种类型的透镜装置302的权重信息已经预先从存储器301a读取并存储在存储器304a中。获取器304b从存储器304a获取与用于捕获被捕获图像的透镜装置302的类型对应的权重信息。用于捕获的透镜装置302的类型是从例如被捕获图像文件中的元数据指定的。
随后在步骤S303中，获取器304b基于被捕获图像生成状态图和位置图，并生成输入数据。基于被捕获图像的像素数量和关于在捕获被捕获图像时透镜装置302的状态(Z，F，D)的信息来生成状态图。状态图所具有的每通道的元素数量(像素数量)与被捕获图像相同。(Z，F，D)是从例如被捕获图像的元数据指定的。基于被捕获图像的像素数量和关于被捕获图像的每个像素的位置信息来生成位置图。位置图所具有的每通道的元素数量(像素数量)与被捕获图像相同。通过使用被捕获图像的元数据等指定用于捕获被捕获图像的图像传感器303a的有效像素区域的尺寸，并且通过使用例如类似地使用元数据等指定的透镜装置302的像圈的长度对位置图执行规范化，生成规范化的位置图。通过将被捕获图像、状态图和位置图在通道方向上以预定顺序连结来生成输入数据，与如图8中所示的类似。在本实施例中，步骤S302和步骤S303的顺序无关紧要。状态图和位置图可以在捕获被捕获图像时生成，并且可以与被捕获图像一起存储。
随后在步骤S304中，与图8中所示的类似，锐化器304c将输入数据输入到CNN，并生成估计图像。图12是描述对被捕获图像进行锐化的效果的图，并且指示在特定(Z，F，D)下在特定变焦透镜的图像高度的90％中对被捕获图像进行锐化的效果。在图12中，横轴指示空间频率，并且纵轴指示SFR(空间频率响应)的测量值。SFR对应于某个横截面中的MTF(调制传递函数)。用于捕获的图像传感器的奈奎斯特频率为76[lp/mm]。实线601表示被捕获图像，并且虚线602、单点链线603和两点链线604表示来自CNN的经锐化的被捕获图像(锐化图像)。虚线602、单点链线603和两点链线604所表示的锐化图像是由CNN获取的，该CNN已经使用通过混合由变焦透镜的像差和衍射生成的所有模糊而获取的学习数据来学习被捕获图像的锐化。
虚线602表示在估计阶段(或学习阶段)中通过仅使用被捕获图像(或训练图像)用作输入数据而获取的锐化图像。单点链线603表示通过使用被捕获图像(或训练图像)和位置图作为输入数据而获取的锐化图像。两点链线604表示通过使用被捕获图像(或训练图像)、位置图和状态图作为输入数据而获取的锐化图像，输入数据具有与本实施例相同的配置。用于获取由虚线602、单点链线603和两点链线604表示的每个锐化图像的CNN仅在第一层滤波器的通道数量上有所不同(因为输入数据的通道数量不同)，并且在滤波器尺寸、滤波器数量、层数等上相同。因此，在获取由虚线602、单点链线603和两点链线604表示的锐化图像时，学习负荷和存储数据量(CNN的权重信息的数据容量)基本相同。在图12中，表明本实施例的配置具有高锐化效果，如两点链线604所示。
本实施例可以提供图像处理装置和图像处理系统，它们均可以在抑制机器学习模型中的学习负荷和存储数据量的同时，以高精度对具有由所使用的光学系统引起的模糊的被捕获图像进行锐化。
接下来，将给出可以增强本实施例的效果的条件的描述。
输入数据可以还包括指示关于用于捕获被捕获图像的图像捕获装置303的光学低通滤波器的存在与否以及类型的信息。这可以提高对被捕获图像进行锐化的效果。取决于类型，光学低通滤波器具有不同的分离方法(垂直两点分离、水平两点分离、四点分离等)和截止频率。具有可以指定存在与否以及类型的数值的图可以基于被捕获图像的像素数量来生成，并且可以被包括在输入数据中。
输入数据可以还包括关于用于捕获被捕获图像的透镜装置302的制造变化的信息。由此，可以精确地锐化具有由于制造变化导致的模糊的图像。在学习阶段，可以通过将包括由于制造变化导致的模糊的模糊应用于原始图像来生成训练图像，并且机器学习模型可以学习包括指示制造变化的信息的训练输入数据。指示制造变化的信息例如可以是表示包括制造变化的实际性能相对于设计性能的程度的数值。例如，当实际性能等于设计性能时，将数值设置为0，并且当实际性能劣于设计性能时，数值在负方向上变化，而当实际性能优于设计性能时，数值在正方向上变化。在估计阶段中，如图13中所示，对于被捕获图像中的多个部分区域(或对于每个像素)，输入数据可以包括具有表示实际性能相对于设计性能的程度的数值的图(制造变化图)。图13是示出制造变化图的示例的图。基于被捕获图像的像素数量来生成制造变化图。可以通过例如在制造透镜装置302时测量包括透镜装置302的制造误差的实际性能来获取制造变化图。制造变化可以分为几个类别，诸如整个图像的性能劣化(球面像差的劣化)和由于方位导致的性能变化(单面散焦)，并且制造变化可以用表示类别的数值表示。
输入数据可以还包括关于在捕获被捕获图像时被摄体空间中的距离的分布信息。由此，可以精确地锐化具有由于散焦导致的性能变化所引起的模糊的图像。由于轴向色差和像场弯曲，散焦的被摄体平面可能导致比焦平面的光学性能更好的光学性能。如果不考虑这一点并且使用仅学习了焦平面上的模糊的机器学习模型来锐化被捕获图像，则感知分辨率可能过高并且可能会获得不自然的图像。因此，首先在学习阶段，可以使用其中散焦模糊被应用于原始图像的训练图像执行学习。此时，训练输入数据还包括表示散焦量(对应于被摄体空间中的距离)的数值。例如，将焦平面设置为0，并且将距离图像捕获装置的远方向设置为负方向，将近方向设置为正方向。在估计阶段，被捕获图像的散焦图(指示关于被摄体空间中的距离的分布的信息)可以通过使用DFD(Depth from Defocus)等捕获视差图像来获取，并且可以被包括在输入数据中。散焦图可以基于被捕获图像的像素数量来生成。
输入数据可以还包括关于用于捕获被捕获图像的图像传感器303a的像素间距或滤色器阵列的信息。由此，不管图像传感器303a的类型如何，都可以精确地锐化具有模糊的图像。像素孔径劣化的强度和每个像素的模糊的尺寸根据像素间距而变化。模糊形状根据构成滤色器阵列的颜色分量而变化。颜色分量是例如RGB(红色、绿色、蓝色)和互补的CMY(青色、品红色、黄色)。当训练图像和被捕获图像是未显影的拜耳图像等时，取决于滤色器阵列的布置顺序，即使在相同位置的像素中，模糊的形状也有所不同。在学习阶段，训练输入数据可以包括用于指定与训练图像对应的像素间距和滤色器阵列的信息。例如，训练输入数据包括具有像素间距的规范化的数值作为元素的图。规范化可以使用多种类型的图像捕获装置303的像素间距中的最大像素间距作为除数。训练输入数据可以包括具有表示滤色器阵列的颜色分量的数值作为元素的图(颜色图)。在估计阶段，可以通过在输入数据中包括颜色图来提高锐化精度。颜色图可以基于被捕获图像的像素数量来生成。
输入数据可以还包括指示透镜装置302的配件的存在与否以及类型的信息(配件信息)。配件是例如广角转换器、望远转换器、近摄透镜、波长截止滤波器。因为模糊的形状根据配件的类型而变化，所以当输入数据包括配件信息时，可以对包括配件的影响的图像进行锐化。在学习阶段，向训练图像应用的模糊可以包括配件的影响，并且训练输入数据可以包括指定配件的信息，例如，具有表示配件的存在与否以及类型的数值作为元素的图(配件图)。在估计阶段，输入数据可以包括配件信息(图)。配件图可以基于被捕获图像的像素数量来生成。
第三实施例
接下来，将给出根据本发明的第三实施例的图像处理系统的描述。本实施例执行针对模糊的整形处理，但是本发明可以类似地应用于被捕获图像的锐化处理。
图14是示出图像处理系统700的框图。图15是示出图像处理系统700的外观图。图像处理系统700包括学习装置701、透镜装置(光学系统)702、图像捕获装置703、控制装置(第一装置)704、图像估计装置(第二装置)705以及网络706和707。学习装置701和图像估计装置705例如是服务器。控制装置704是由用户操作的装置，诸如个人计算机或移动终端。学习装置701包括存储器701a、获取器(获取单元)701b、计算器(生成单元)701c和更新器(更新单元)701d，并且被配置为学习用于对使用透镜装置702和图像捕获装置703捕获的被捕获图像的模糊进行整形的机器学习模型的权重。稍后将关于学习给出详细描述。在本实施例中，要整形的模糊是由散焦引起的，但是本发明可以类似地应用于像差和衍射。
图像捕获装置703包括图像传感器703a。图像传感器703a被配置为对由透镜装置702形成的光学图像进行光电转换并获取被捕获图像。透镜装置702和图像捕获装置703能可拆卸地附接，并且能与多种类型的透镜装置702和图像捕获装置703组合。控制装置704包括通信器704a、存储器704b和显示器704c，并且被配置为根据用户的操作来控制要对从有线或无线连接的图像捕获装置703获取的被捕获图像执行的处理。可替代地，控制装置704可以已经将由图像捕获装置703捕获的被捕获图像预先存储在存储器704b上，并且可以读出被捕获图像。
图像估计装置705包括通信器705a、存储器705b、获取器(获取单元)705c和整形单元(生成单元)705d。图像估计装置705被配置为响应于来自经由网络707连接的控制装置704的请求，对被捕获图像执行整形处理。图像估计装置705被配置为在模糊的整形期间或之前从经由网络706连接的学习装置701中获取学习到的权重的信息，并将该信息用于对被捕获图像中的模糊进行整形。在对模糊进行整形之后的估计图像再次被发送到控制装置704，存储在存储器704b中，并显示在显示器704c上。
接下来，将参考图16给出本实施例中由学习装置701执行的权重学习(学习阶段，制造学习好的模型的方法)的描述。图16是与权重学习有关的流程图。图16中的每个步骤主要由学习装置701的获取器701b、计算器701c或更新器701d执行。本实施例使用GAN作为机器学习模型，但是本实施例可以类似地应用于其他模型。GAN包括：生成器，其被配置为生成具有经整形的散焦模糊的输出图像；以及辨别器，其被配置为在标准答案图像和由生成器生成的输出图像之间进行辨别。在学习中，如在第一实施例中所描述的学习那样，执行仅使用生成器的第一学习，然后当生成单元的权重已经收敛到一定程度时，执行使用生成器和辨别器的第二学习。在下文中，将省略与第一实施例中描述的相同部分的描述。
首先在步骤S401中，获取器701b从存储器701a获取一组或多组标准答案图像和训练输入数据。在本实施例中，标准答案图像和训练图像是具有不同的散焦模糊形状的一对图像。训练图像是在其上应用了要整形的散焦模糊的图像。例如，要整形的模糊包括双线模糊、由于渐晕导致的碎裂、由于折反射透镜的瞳孔闭塞引起的环形模糊、以及由不均匀地削刮非球形透镜的模子引起的环状图案等。标准答案图像是在对模糊进行整形之后的散焦模糊已起作用的图像。在对模糊进行整形之后的散焦模糊形状可以根据用户的偏好来确定，诸如高斯或盘(具有平坦强度的圆形分布)。在第三实施例中，存储器701a存储通过向原始图像应用模糊而生成的多个训练图像和标准答案图像。通过应用各种散焦量的模糊来生成多个训练图像和标准答案图像，从而对于各种散焦量可以确保在对模糊进行整形时的精度。因为在焦平面上对模糊进行整形之前和之后图像可能不改变，所以也会生成散焦量为零的训练图像和对应的标准答案图像。
本实施例针对多种类型的透镜装置702统一学习对模糊进行整形的权重。因此，光学系统信息包括用于指定透镜装置702的类型的信息。存储器701a提供具有与要统一学习的透镜装置702的类型对应的模糊的训练图像。光学系统信息还包括用于指定与作用在训练图像上的模糊对应的透镜装置702的变焦、F数和被摄体距离的状态的信息。
图17是示出机器学习模型(GAN)的配置图。基于训练图像801的像素数量生成透镜状态图802。透镜状态图802包括用于分别指定透镜装置702的类型以及变焦、F数和被摄体距离的状态的数值(L，z，f，d)作为通道分量。连结层811以预定顺序在通道方向上连结训练图像801和透镜状态图802，并生成训练输入数据803。
随后在图16的步骤S402中，计算器701c将训练输入数据803输入到生成器812，并生成输出图像804。生成器812是例如CNN。随后在步骤S403中，更新器701d根据输出图像804和标准答案图像805之间的误差来更新生成器812的权重。每个像素处的差异的欧几里得范数用于损失函数。
随后在步骤S404中，更新器701d确定第一学习是否已完成。当第一学习尚未完成时，过程返回到步骤S401。另一方面，当第一学习已完成时，过程继续进行到步骤S405，并且更新器701d执行第二学习。
在步骤S405中，获取器701b从存储器701a获取一组或多组标准答案图像805和训练输入数据803，如步骤S401中所述的那样。随后在步骤S406中，计算器701c将训练输入数据803输入到生成器812，并生成输出图像804，如步骤S402中所述的那样。随后在步骤S407中，更新器701d根据输出图像804和标准答案图像805来更新辨别器813的权重。辨别器813确定输入图像是由生成器812生成的假图像还是作为标准答案图像805的真图像。将输出图像804或标准答案图像805输入到辨别器813，并且生成辨别标签(假或真)。更新器701d基于辨别标签和真实答案标签之间的误差(输出图像804为假并且标准答案图像805为真)来更新辨别器813的权重。本实施例使用S形交叉熵作为损失函数，但是本发明可以使用其他损失函数。
随后在步骤S408中，更新器701d根据输出图像804和标准答案图像805来更新生成器812的权重。损失函数是步骤S403的欧几里德范数以下两项的加权和。第一项称为内容损失(Content Loss)，它通过将输出图像804和标准答案图像805转换为特征图并对每个元素取差异的欧几里得范数来获取。通过将特征图中的差异添加到损失函数，可以使输出图像804的更抽象的性质更接近标准答案图像805。第二项称为对抗损失(Adversarial Loss)，它是通过将输出图像804输入到辨别器813而获取的辨别标签的S形交叉熵。随着辨别器813学习将被摄体识别为真，可以获得看起来更像标准答案图像805的输出图像804。
随后在步骤S409中，更新器701d确定第二学习是否已完成。如步骤S404中所述，如果第二学习尚未完成，则过程返回到步骤S405。另一方面，当第二学习已完成时，更新器701d将学习到的生成器812的权重信息存储在存储器701a中。
接下来，将参考图18来给出由控制装置704和图像估计装置705执行的对模糊(估计阶段)进行整形的描述。图18是与模糊的整形(估计图像的生成)有关的流程图。图18中的每个步骤主要由控制装置704或图像估计装置705的每个单元执行。
首先，在步骤S501中，控制装置704的通信器704a将被捕获图像和用于执行对模糊的整形处理的请求(处理请求)传送到图像估计装置705。随后在步骤S601中，图像估计装置705的通信器705a接收并获取从控制装置704传送的被捕获图像和处理请求。随后在步骤S602中，图像估计装置705的获取器705c从存储器705b获取关于与被捕获图像对应的学习到的权重的信息。权重信息已经从存储器701a中读出并预先存储在存储器705b中。
随后在步骤S603中，获取器705c获取被捕获图像的光学系统信息并生成输入数据。从被捕获图像的元数据中，获取器705c获取指定透镜装置(光学系统)702的类型及其在捕获被捕获图像时的变焦、F数和被摄体距离的状态的信息，并生成透镜状态图，如图17中所示。通过以预定顺序在通道方向上连结被捕获图像和透镜状态图来生成输入数据。本实施例可以在输入到机器学习模型之前或期间在通道方向上连结被捕获图像或基于被捕获图像的特征图以及状态图。
随后在步骤S604中，整形单元705d将输入数据输入到生成器，并生成具有经整形的模糊的估计图像。生成器使用权重信息。随后在步骤S605中，通信器705a将估计图像传送到控制装置704。随后在步骤S502中，控制装置704的通信器704a获取从图像估计装置705传送的估计图像。
本实施例可以提供被配置为对被捕获图像进行锐化的锐化器，以代替用于对被捕获图像中包括的模糊进行整形的整形单元705d。在本实施例中，图像处理系统700包括可以彼此通信的第一装置(控制装置704)和第二装置(图像估计装置705)。第一装置包括被配置为向第二装置发送用于对被捕获图像执行处理的请求的传送单元(通信器704a)。第二装置包括接收单元(通信器705a)、获取单元(获取器705c)和生成单元(整形单元705d或锐化器)。接收单元被配置为接收请求。获取单元被配置为获取包括被捕获图像和在捕获被捕获图像时的光学系统信息的输入数据。生成单元被配置为基于请求将输入数据输入到机器学习模型，并且通过对被捕获图像进行锐化或通过对被捕获图像中包括的模糊进行整形来生成估计图像。
本实施例可以提供图像处理装置和图像处理系统，它们均可以在抑制机器学习模型的学习负荷和存储数据量的同时以高精度对由被捕获图像的光学系统引起的模糊进行整形。
本实施例已经描述了在步骤S501中控制装置704的通信部704a将被捕获图像与对被捕获图像的处理请求一起发送给图像估计装置705的示例，但是控制装置704不一定传送被捕获图像。例如，控制装置可以仅将对被捕获图像的处理请求发送到图像估计装置705，并且图像估计装置705响应于该请求而可以被配置为从另一个图像存储服务器等获取与该请求对应的被捕获图像。
其他实施例
本发明的(一个或多个)实施例还可以通过读出并执行记录在存储介质(也可以更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行一个或多个上述实施例的功能和/或包括用于执行一个或多个上述实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，以及通过由系统或装置的计算机例如通过从存储介质读出并执行计算机可执行指令以执行一个或多个上述实施例的功能和/或控制一个或多个电路执行一个或多个上述实施例的功能而执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独的计算机或单独的处理器的网络以读出并执行计算机可执行指令。可以例如从网络或存储介质将计算机可执行指令提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如紧凑盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM))、闪存设备、存储卡等中的一个或多个。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
根据实施例，本发明可以提供图像处理方法、图像处理装置、图像处理系统以及学习到的权重的制造方法，它们均可以在抑制机器学习模型的学习负荷和存储数据量的同时高精度地对被捕获图像进行锐化或对被捕获图像中的模糊进行整形。
尽管已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims (20)

1.一种图像处理方法，包括：
第一步骤，获取包括被捕获图像和与用于捕获所述被捕获图像的光学系统的状态有关的光学系统信息的输入数据；以及
第二步骤，将所述输入数据输入到机器学习模型，并生成通过对所述被捕获图像进行锐化或通过对所述被捕获图像中包括的模糊进行整形而获取的估计图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述光学系统的状态包括所述光学系统的变焦、F数和被摄体距离的状态中的至少一个。
3.根据权利要求1所述的图像处理方法，其特征在于，所述第二步骤对于在所述光学系统的第一状态下捕获的第一被捕获图像和在所述光学系统的第二状态下捕获的第二被捕获图像使用相同权重的机器学习模型，所述第二状态不同于所述第一状态。
4.根据权利要求1所述的图像处理方法，其特征在于，所述光学系统信息包括指示所述光学系统的变焦、F数和被摄体距离的状态中的至少一个的数值，并且
所述数值基于所述光学系统对于变焦、F数和被摄体距离的状态中的所述至少一个可能采取的范围而被规范化。
5.根据权利要求1所述的图像处理方法，其特征在于，所述输入数据包括指示所述光学系统的状态的状态图，并且
所述状态图是基于所述被捕获图像的像素数量和所述光学系统信息而生成的。
6.根据权利要求5所述的图像处理方法，其特征在于，所述状态图中的相同通道的每个元素具有相同的数值。
7.根据权利要求1所述的图像处理方法，其特征在于，所述输入数据还包括关于所述被捕获图像的每个像素的位置信息。
8.根据权利要求7所述的图像处理方法，其特征在于，所述位置信息具有按基于所述光学系统的像圈的长度被规范化的数值。
9.根据权利要求1所述的图像处理方法，其特征在于，所述光学系统信息包括关于所述光学系统的类型的信息。
10.根据权利要求1所述的图像处理方法，其特征在于，所述光学系统信息包括关于光学低通滤波器的存在与否或者所述光学低通滤波器的类型的信息。
11.根据权利要求1所述的图像处理方法，其特征在于，所述光学系统信息包括关于所述光学系统的配件的存在与否或者所述配件的类型的信息。
12.根据权利要求1所述的图像处理方法，其特征在于，所述输入数据还包括关于在捕获所述被捕获图像时到被摄体空间的距离的分布信息。
13.根据权利要求1至12所述的图像处理方法，其特征在于，所述输入数据包括关于用于捕获所述被捕获图像的图像传感器的像素间距或滤色器阵列的信息。
14.一种存储计算机程序的非暂时性计算机可读存储介质，所述计算机程序使计算机执行根据权利要求1至13中任一项所述的图像处理方法。
15.一种图像处理装置，包括：
获取单元，被配置为获取包括被捕获图像和与用于捕获所述被捕获图像的光学系统的状态有关的光学系统信息的输入数据；以及
生成单元，被配置为将所述输入数据输入到机器学习模型，并生成通过对所述被捕获图像进行锐化或通过对所述被捕获图像中包括的模糊进行整形而获取的估计图像。
16.一种图像处理系统，该图像处理系统具有第一装置和第二装置，其特征在于，
所述第一装置包括
发送单元，被配置为向所述第二装置发送与对被捕获图像的处理的执行有关的请求，并且
所述第二装置包括：
接收单元，被配置为接收所述请求；
获取单元，被配置为获取包括所述被捕获图像和与用于捕获所述被捕获图像的光学系统的状态有关的光学系统信息的输入数据；以及
生成单元，被配置为将所述输入数据输入到机器学习模型，并生成通过对所述被捕获图像进行锐化或通过对所述被捕获图像中包括的模糊进行整形而获取的估计图像。
17.一种图像处理方法，包括：
第一步骤，获取包括训练图像和与对应于所述训练图像的光学系统的状态有关的光学系统信息的输入数据；
第二步骤，将所述输入数据输入到机器学习模型，并生成通过对所述训练图像进行锐化或通过对所述训练图像中包括的模糊进行整形而获取的输出图像；以及
第三步骤，基于所述输出图像和标准答案图像来更新所述机器学习模型的权重。
18.一种存储计算机程序的非暂时性计算机可读存储介质，所述计算机程序使计算机执行根据权利要求17所述的图像处理方法。
19.一种学习到的权重的制造方法，包括：
第一步骤，获取包括训练图像和与对应于所述训练图像的光学系统的状态有关的光学系统信息的输入数据；
第二步骤，将所述输入数据输入到机器学习模型，并生成通过对所述训练图像进行锐化或通过对所述训练图像中包括的模糊进行整形而获取的输出图像；以及
第三步骤，基于所述输出图像和标准答案图像来更新所述机器学习模型的权重。
20.一种图像处理装置，包括：
获取单元，被配置为获取包括训练图像和与对应于所述训练图像的光学系统的状态有关的光学系统信息的输入数据；
生成单元，被配置为将所述输入数据输入到机器学习模型，并生成通过对所述训练图像进行锐化或通过对所述训练图像中包括的模糊进行整形而获取的输出图像；以及
更新单元，被配置为基于所述输出图像和标准答案图像来更新所述机器学习模型的权重。
CN202010487417.0A 2019-06-06 2020-06-02 图像处理方法、图像处理装置与图像处理系统 Pending CN112053288A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019105850A JP7016835B2 (ja) 2019-06-06 2019-06-06 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
JP2019-105850 2019-06-06

Publications (1)

Publication Number Publication Date
CN112053288A true CN112053288A (zh) 2020-12-08

Family

ID=70975767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010487417.0A Pending CN112053288A (zh) 2019-06-06 2020-06-02 图像处理方法、图像处理装置与图像处理系统

Country Status (4)

Country Link
US (2) US11694310B2 (zh)
EP (1) EP3786879A1 (zh)
JP (3) JP7016835B2 (zh)
CN (1) CN112053288A (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195257B2 (en) * 2018-08-24 2021-12-07 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system
JP7016835B2 (ja) * 2019-06-06 2022-02-07 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
JP7455542B2 (ja) * 2019-09-27 2024-03-26 キヤノン株式会社 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム
FR3103045B1 (fr) * 2019-11-07 2021-10-15 Idemia Identity & Security France Procédé d’augmentation d’une base d’images d’apprentissage représentant une empreinte sur un arrière-plan au moyen d’un réseau antagoniste génératif
KR20210067699A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111401138B (zh) * 2020-02-24 2023-11-07 上海理工大学 生成对抗神经网络训练过程的对抗优化方法
JP2023056056A (ja) * 2020-03-05 2023-04-19 ソニーセミコンダクタソリューションズ株式会社 データ生成方法、学習方法及び推定方法
EP3879483A1 (en) * 2020-03-09 2021-09-15 Canon Kabushiki Kaisha Learning data manufacturing method, learning method, learning data manufacturing apparatus, learning apparatus, program, and memory medium
JP7225316B2 (ja) * 2021-06-17 2023-02-20 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、およびプログラム
JP7225315B2 (ja) * 2021-06-17 2023-02-20 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、およびプログラム
CN117769838A (zh) * 2021-08-31 2024-03-26 富士胶片株式会社 数据生成方法、学习方法、摄像装置及程序
TW202407640A (zh) * 2022-07-20 2024-02-16 日商索尼半導體解決方案公司 資訊處理裝置、資訊處理方法、及程式
WO2024053046A1 (ja) * 2022-09-08 2024-03-14 オリンパスメディカルシステムズ株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030147102A1 (en) * 2002-01-25 2003-08-07 Umax Data Systems Inc. Two-directions scanning method
CN101387734A (zh) * 2007-09-14 2009-03-18 三星电子株式会社 用于自动聚焦的方法和设备
CN102256056A (zh) * 2010-05-17 2011-11-23 索尼公司 图像处理装置、图像处理方法和程序
CN105530407A (zh) * 2014-10-21 2016-04-27 佳能株式会社 图像处理装置、图像捕获装置和图像处理方法
US20180158175A1 (en) * 2016-12-01 2018-06-07 Almalence Inc. Digital correction of optical system aberrations
CN109644230A (zh) * 2016-08-25 2019-04-16 佳能株式会社 图像处理方法、图像处理装置、图像拾取装置、图像处理程序和存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5546229B2 (ja) 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
US8330825B2 (en) * 2010-02-22 2012-12-11 Eastman Kodak Company Zoom lens system characterization for image sharpening
WO2014148074A1 (ja) 2013-03-18 2014-09-25 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体
JP2015103902A (ja) 2013-11-22 2015-06-04 キヤノン株式会社 撮像装置
JP6576174B2 (ja) 2014-10-17 2019-09-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2017123532A (ja) 2016-01-06 2017-07-13 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
JP6727642B2 (ja) 2016-04-28 2020-07-22 株式会社朋栄 学習型アルゴリズムによるフォーカス補正処理方法
JP6910780B2 (ja) 2016-09-30 2021-07-28 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP6833466B2 (ja) 2016-11-14 2021-02-24 キヤノン株式会社 画像処理装置、撮像装置および制御方法
EP3535755A4 (en) * 2017-02-01 2020-08-05 Hewlett-Packard Development Company, L.P. ADAPTIVE SPEECH INTELLIGIBILITY CONTROL FOR VOICE DATA PROTECTION
JP6628908B2 (ja) 2017-02-17 2020-01-15 富士フイルム株式会社 画像処理装置、画像処理方法、およびカメラシステム
JP6440766B2 (ja) 2017-04-06 2018-12-19 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP2019016275A (ja) 2017-07-10 2019-01-31 キヤノン株式会社 画像処理方法、画像処理プログラム、記憶媒体、画像処理装置、および撮像装置
JP7051365B2 (ja) 2017-10-17 2022-04-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11537868B2 (en) * 2017-11-13 2022-12-27 Lyft, Inc. Generation and update of HD maps using data from heterogeneous sources
KR102459221B1 (ko) * 2018-02-20 2022-10-27 삼성전자주식회사 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US11379992B2 (en) * 2019-05-14 2022-07-05 Matterport, Inc. Patch expansion for segmentation network training
JP7016835B2 (ja) * 2019-06-06 2022-02-07 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030147102A1 (en) * 2002-01-25 2003-08-07 Umax Data Systems Inc. Two-directions scanning method
CN101387734A (zh) * 2007-09-14 2009-03-18 三星电子株式会社 用于自动聚焦的方法和设备
CN102256056A (zh) * 2010-05-17 2011-11-23 索尼公司 图像处理装置、图像处理方法和程序
CN105530407A (zh) * 2014-10-21 2016-04-27 佳能株式会社 图像处理装置、图像捕获装置和图像处理方法
CN109644230A (zh) * 2016-08-25 2019-04-16 佳能株式会社 图像处理方法、图像处理装置、图像拾取装置、图像处理程序和存储介质
US20180158175A1 (en) * 2016-12-01 2018-06-07 Almalence Inc. Digital correction of optical system aberrations

Also Published As

Publication number Publication date
JP7016835B2 (ja) 2022-02-07
JP7439145B2 (ja) 2024-02-27
JP2022048221A (ja) 2022-03-25
US20200388014A1 (en) 2020-12-10
US20230289927A1 (en) 2023-09-14
US11694310B2 (en) 2023-07-04
JP2020201540A (ja) 2020-12-17
EP3786879A1 (en) 2021-03-03
JP2024040255A (ja) 2024-03-25

Similar Documents

Publication Publication Date Title
JP7439145B2 (ja) 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの生成方法、および、プログラム
CN109644230B (zh) 图像处理方法、图像处理装置、图像拾取装置和存储介质
CN110858871B (zh) 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统
JP6168794B2 (ja) 情報処理方法および装置、プログラム。
JP7362284B2 (ja) 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法
US11508038B2 (en) Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system
JP5535053B2 (ja) 画像処理装置、及び画像処理方法
EP2164268A1 (en) Image processing for aberration correction
EP2785047B1 (en) Image pickup apparatus, image processing system, image pickup system, image processing method, image processing program, and storage medium
JP2020144489A (ja) 画像処理方法、画像処理装置、プログラム、学習済みモデルの製造方法、および、画像処理システム
JP2020036310A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
US20220368877A1 (en) Image processing method, image processing apparatus, storage medium, manufacturing method of learned model, and image processing system
CN115496673A (zh) 图像处理方法、图像处理装置、图像处理系统、以及存储介质
JP2015115733A (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP2020030569A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
EP3629284A1 (en) Image processing method, image processing apparatus, imaging apparatus, program, and storage medium
JP2020061129A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
US20240029321A1 (en) Image processing method, image processing apparatus, storage medium, image processing system, method of generating machine learning model, and learning apparatus
US20230146844A1 (en) Image processing apparatus and image processing method
JP6552375B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
US20240144536A1 (en) Image processing device, image processing method, and storage medium
JP7451443B2 (ja) 画像処理方法および装置、機械学習モデルの訓練方法および装置、並びにプログラム
JP6694626B1 (ja) 画像処理装置、画像処理方法、プログラム及び撮像装置
JP2022121775A (ja) 画像処理方法、プログラム、画像処理装置、および学習済みモデルの製造方法
JP2023116364A (ja) 画像処理方法、画像処理装置、画像処理システム、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination