CN115496704A - 图像处理方法、图像处理装置、图像处理系统、以及存储介质 - Google Patents

Abstract

本发明公开了图像处理方法、图像处理装置、图像处理系统、以及存储介质。图像处理方法包括通过将已通过使用光学系统进行成像而获取的捕获图像输入到机器学习模型中来生成第一图像，获取关于光学系统的光学性能的信息，以及基于捕获图像、第一图像和第一权重信息生成第二图像。第一权重信息基于关于光学性能的信息和关于捕获图像中的饱和区域的信息而生成。

Description

图像处理方法、图像处理装置、图像处理系统、以及存储介质

技术领域

本发明涉及用于锐化(sharp)使用光学系统捕获的图像中的模糊的图像处理方法，该模糊由光学系统造成。

背景技术

日本专利特开No.(“JP”)2020-166628公开了通过使用作为机器学习模型中的一个的卷积神经网络(CNN)来锐化捕获图像中的模糊的方法。通过使用训练数据集(其通过对包括大于或等于捕获图像的辉度饱和值的信号值的图像进行模糊来生成)来训练CNN，在即使在辉度饱和区域周围也减小副作用的同时，模糊可以被锐化。JP 2020-166628还公开了通过基于辉度饱和区域获得捕获图像和估计图像(去模糊图像)的加权平均来调整锐化的强度的方法。

利用在JP 2020-166628中公开的方法，依赖于输入图像可能无法抑制下冲、成环等，并且这些副作用可能在估计图像中发生。具体地，在被摄体由于光学系统的像差而被严重地模糊的情况下，副作用有可能发生。尽管可以通过基于辉度饱和区域获得输入图像和估计图像的加权平均来控制模糊的锐度(sharpness)和副作用，但是这个方法不能根据光学系统的性能控制模糊的锐度和副作用，因此不能执行合适的控制。

发明内容

本发明提供了图像处理方法、图像处理装置、图像处理系统和存储介质，它们中的每一个可以根据光学系统的性能控制图像模糊的锐度和副作用。

根据本公开的一个方面的图像处理方法包括：通过将捕获图像输入到机器学习模型中来生成第一图像，所述捕获图像已通过使用光学系统来获取；获取关于所述光学系统的光学性能的信息；以及基于所述捕获图像、所述第一图像、以及第一权重信息生成第二图像。所述第一权重信息基于关于所述光学性能的信息和关于所述捕获图像中的饱和区域的信息而生成。

根据本公开的一个方面的图像处理装置包括：第一生成单元，所述第一生成单元被配置为通过将捕获图像输入到机器学习模型中来生成第一图像，所述捕获图像已通过使用光学系统进行成像来获取；获取单元，所述获取单元被配置为获取关于所述光学系统的光学性能的信息；以及第二生成单元，所述第二生成单元被配置为基于所述捕获图像、所述第一图像、以及第一权重信息生成第二图像。所述第一权重信息基于关于所述光学性能的信息和关于所述捕获图像中的饱和区域的信息而生成。

根据本公开的一个方面的图像处理系统包括第一装置和第二装置，所述第一装置和所述第二装置能够彼此通信。所述第一装置包括发送单元，所述发送单元被配置为向所述第二装置发送用于对捕获图像执行处理的请求，所述捕获图像通过使用光学系统进行成像来获取。所述第二装置包括：接收单元，所述接收单元被配置为接收所述请求；获取单元，所述获取单元被配置为获取所述捕获图像和关于所述光学系统的光学性能的信息；第一生成单元，所述第一生成单元被配置为基于所述请求通过将所述捕获图像输入到机器学习模型中来从所述捕获图像生成第一图像；以及第二生成单元，所述第二生成单元被配置为基于所述捕获图像、所述第一图像、以及第一权重信息生成第二图像。所述第一权重信息基于关于所述光学性能的信息和关于所述捕获图像中的饱和区域的信息而生成。

存储使得计算机能够执行以上图像处理方法的计算机程序的存储介质也构成本公开的另一个方面。

本发明的另外的特征从以下参考附图对示例性实施例的描述将变得清楚。

附图说明

图1是图示根据第一实施例的机器学习模型的配置的图。

图2是图示根据第一实施例的图像处理系统的框图。

图3是图示根据第一实施例的图像处理系统的外观图。

图4A至4C是图示根据第一至第三实施例的由锐化造成的副作用的解释图。

图5是根据第一至第三实施例的机器学习模型训练的流程图。

图6是根据第一和第二实施例的模型输出生成的流程图。

图7是根据第一实施例的锐化强度调整的流程图。

图8是图示根据第一至第三实施例的光学性能指标的划分点的解释图。

图9是图示根据第一至第三实施例的光学性能指标所位于的成像状态空间的示意图。

图10是图示根据第一至第三实施例的光学性能指标与权重之间的关系表达式的图。

图11A和11B是图示根据第一实施例的第二权重图和第三权重图的解释图。

图12A和12B是图示根据第一实施例的捕获图像和饱和影响图的解释图。

图13是图示根据第一实施例的第一权重图的解释图。

图14是图示根据第二实施例的图像处理系统的框图。

图15是图示根据第二实施例的图像处理系统的外观图。

图16是图示根据第二实施例的锐化强度调整的流程图。

图17是图示根据第三实施例的图像处理系统的框图。

图18是图示根据第三实施例的图像处理系统的外观图。

图19是根据第三实施例的模型输出生成和锐化强度调整的流程图。

具体实施方式

现在参考附图，将给出根据本发明的实施例的描述。相应的图中的对应元素将由相同的参考数字标示，并且将省略重复的描述。

在给出实施例的具体描述之前描述本发明的主旨。本发明从通过使用光学系统捕获的图像生成估计图像，在该估计图像中由光学系统(图像拾取光学系统)造成的模糊通过使用机器学习模型被锐化。本发明基于光学系统的性能(光学性能)和辉度饱和区域生成权重图(权重信息)，并且获得捕获图像和估计图像的加权平均。这里，由光学系统造成的模糊包括由像差、衍射、以及散焦、光学低通滤波器的作用、图像传感器的像素开口劣化等造成的模糊。

机器学习模型是指例如神经网络、遗传编程、贝叶斯网络等。神经网络是指卷积神经网络(CNN)、生成对抗网络(GAN)、循环神经网络(RNN)等。

模糊锐化是指恢复由于模糊而已减少或丢失的被摄体的频率成分的过程。在模糊锐化期间，依赖于捕获图像可能无法抑制下冲(边缘下降)、成环等，并且这些副作用可能在估计图像中发生。具体地，在被摄体由于光学系统的像差而被严重地模糊的情况下，或者在图像中存在辉度饱和区域的情况下，副作用发生。依赖于图像传感器的动态范围、成像期间的曝光等，在图像中可以发生辉度饱和区域。在辉度饱和区域中，不可能获取关于被摄体空间的结构的信息，因此副作用有可能发生。

因此，每个实施例通过使用基于光学系统的性能和辉度饱和区域生成的权重图来获得捕获图像和估计图像的加权平均。这使得可以控制模糊的锐度和副作用。

在以下描述中，学习机器学习模型的权重的阶段被称为学习阶段，并且利用使用学习的权重的机器学习模型对模糊进行锐化的阶段被称为估计阶段。

第一实施例

首先，给出根据本发明的第一实施例的图像处理系统100的描述。在这个实施例中，机器学习模型对包括辉度饱和捕获图像执行模糊锐化。要被锐化的模糊包括由光学系统中发生的像差和衍射造成的模糊和由光学低通滤波器造成的模糊。然而，在由像素开口、散焦或抖动造成的模糊被锐化的情况下也可以获取本发明的效果。另外，在执行模糊锐化以外的任务的情况下，也可以实施本发明并且获取本发明的效果。

图2是图示图像处理系统100的框图。图3是图像处理系统100的外观图。图像处理系统100包括经由有线或无线网络连接的训练装置101和图像处理装置103。图像处理装置103经由有线或无线网络连接到图像拾取装置102、显示装置104、记录介质105和输出装置106中的每一个。通过使用图像拾取装置102对被摄体空间进行成像而获取的捕获图像被输入到图像处理装置103。捕获图像因图像拾取装置102的光学系统(图像拾取光学系统)102a的像差和衍射以及图像拾取装置102的图像传感器102b的光学低通滤波器而被模糊，并且关于被摄体的信息减少。

通过使用机器学习模型，图像处理装置103对捕获图像执行模糊锐化并且生成饱和影响图和去模糊图像(模型输出，第一图像)。稍后将给出饱和影响图的详细描述。机器学习模型已由训练装置101训练，并且图像处理装置103已预先从训练装置101获取关于机器学习模型的信息并且已将它存储在存储器103a中。图像处理装置103还具有通过获得捕获图像和去模糊图像的加权平均来调整模糊锐化的强度的功能。稍后将给出通过机器学习模型的训练和估计、以及模糊锐化的强度调整的详细描述。用户可以在检查显示装置104上显示的图像的同时调整模糊锐化的强度。强度调整的去模糊图像被存储在存储器103a或记录介质105中，并且根据需要被输出到诸如打印机的输出装置106。捕获图像可以是灰度的或者可以具有多个颜色成分。替代地，可以使用未显影的RAW图像或已显影的图像。

接下来，参考图4A至4C，给出在通过机器学习模型执行模糊锐化时发生的估计准确度的降低的描述。图4A至4C是由锐化造成的副作用的解释图，并且图示图像的信号值的空间改变。这里，图像是8位的显影图像，因此饱和值是255。在图4A至4C中的每一个中，实线表示捕获图像(模糊图像)，并且点线表示捕获图像的模糊通过使用机器学习模型被锐化的去模糊图像。

图4A是对因光学系统的像差而被严重地模糊的非辉度饱和被摄体执行的锐化的结果，图4B是对因光学系统的像差而被轻微地模糊的非辉度饱和被摄体执行的锐化的结果，并且图4C是对因光学系统的像差而被轻微地模糊的辉度饱和被摄体执行的锐化的结果。在图像因光学系统的像差而被严重地模糊的情况下，在边缘的暗侧发生下冲。而且，即使在图像因光学系统的像差而被轻微地模糊的情况下，如果辉度饱和被摄体被锐化，那么也存在在非辉度饱和被摄体中不发生的下冲、以及副作用(原本饱和的像素值因该副作用而降低)的发生。在辉度饱和的区域(下文中称为“辉度饱和区域”)中，关于被摄体空间的结构的信息丢失，并且在每个区域的边界处可以出现伪边缘，从而使得不可能提取被摄体的正确的特征量。作为结果，机器学习模型的估计准确度降低。这些结果指示由锐化造成的副作用依赖于光学系统的性能和辉度饱和区域。

上述校正使用已通过并入使用捕获图像和与捕获图像对应的辉度饱和图作为机器学习模型的输入数据的方法以及生成饱和影响图的方法来执行学习的机器学习模型。即，尽管通过使用这些方法可以减小副作用，但是难以完全消除副作用。给出使用辉度饱和图的方法和生成饱和影响图的方法的详细描述。

给出辉度饱和图的描述。辉度饱和图是指示(表示、说明或识别)捕获图像中的辉度饱和区域的图。在辉度饱和的区域(下文中也称为“辉度饱和区域”)中，关于被摄体空间的结构的信息丢失，并且在每个区域的边界处可以出现伪边缘，从而使得不可能提取被摄体的正确的特征值。通过输入辉度饱和图，神经网络可以识别如上所述的有问题的区域并且阻止估计准确度劣化。

接下来，给出饱和影响图的描述。即使在使用辉度饱和图时，机器学习模型也可能没有正确地做出确定。例如，如果目标区域在辉度饱和区域的邻近，那么机器学习模型可能确定目标区域是受辉度饱和影响的区域，因为在目标区域附近存在辉度饱和区域。另一方面，如果目标区域位于远离辉度饱和区域的位置，那么不容易确定目标区域是否受辉度饱和影响，并且模棱两可性变高。作为结果，机器学习模型可能在远离辉度饱和区域的位置处做出错误的确定。因此，在任务是模糊锐化的情况下，对不饱和的模糊图像执行用于饱和的模糊图像的锐化处理。此时，在去模糊图像中发生伪影，这降低了任务的准确度。因此，机器学习模型可以从模糊的捕获图像生成饱和影响图。

饱和影响图是指示(表示、说明或识别)捕获图像的辉度饱和区域中的模糊和扩展的被摄体的信号值的大小和范围的图(信号序列的空间布置)。换句话说，饱和影响图是基于捕获图像中的饱和区域的信息。通过使得生成饱和影响图，机器学习模型可以准确地估计捕获图像中的辉度饱和的影响的存在或不存在以及程度。通过生成饱和影响图，机器学习模型可以对相应的合适区域执行要对受辉度饱和影响的区域执行的处理以及要对其它区域执行的处理。因此，在使机器学习模型生成饱和影响图的情况下，与不涉及饱和影响图的生成的情况(即，从捕获图像仅直接生成辨识标签和去模糊图像的情况)相比，任务的准确度被提高。

尽管上述两个方法是有效的，但是难以完全消除参考图4A至4C所描述的副作用。因此，通过获得捕获图像和去模糊图像的加权平均来减小副作用。图4A中的交替的长短虚线表示通过获得捕获图像和去模糊图像的加权平均而获取的信号值。通过获得加权平均，在维持模糊锐化效果的同时暗部的下冲减少。这个实施例基于光学系统的性能和辉度饱和区域生成要用于获得捕获图像和去模糊图像的加权平均的权重图(权重信息)。在基于光学系统的性能和辉度饱和区域生成权重图的情况下，仅在其中的每一个中发生副作用的图4A和4C的情况下可以执行副作用的减小，同时在没有发生副作用的图4B的情况下维持锐度，这使得可以控制模糊的锐度和副作用。

接下来，参考图5，给出由训练装置101执行的机器学习模型的训练的描述。图5是机器学习模型的训练的流程图。训练装置101包括存储器101a、获取单元101b、计算单元101c和更新单元101d，并且这些单元执行以下步骤。

首先，在步骤S101中，获取单元101b从存储器101a获取一个或多个原始图像。原始图像是包括高于第二信号值的信号值的图像。第二信号值是与捕获图像的辉度饱和值对应的信号值。信号值在被输入到机器学习模型时可以被规范化，因此第二信号值和捕获图像的辉度饱和值可以不是一定必须匹配。机器学习模型的训练基于原始图像执行，因此原始图像可以是包括各种频率成分(具有不同朝向和强度的边缘、渐变、平坦部分等)的图像。原始图像可以是实景图像或计算机图形(CG)。

随后，在步骤S102中，计算单元101c通过对原始图像进行模糊来生成模糊图像。模糊图像是在训练期间要输入到机器学习模型的图像并且与估计期间的捕获图像对应。所应用的模糊是作为锐化的目标的模糊。在这个实施例中，模糊可以是指由光学系统102a的像差和衍射以及图像传感器102b的光学低通滤波器造成的模糊。由光学系统102a的像差和衍射造成的模糊的形状依赖于图像平面坐标(图像高度和方位角)而改变。形状还依赖于光学系统102a的倍率变化、光圈和焦点的状态而改变。如果要在锐化所有这些类型的模糊的机器学习模型中一次执行训练，那么可以通过使用在光学系统102a中发生的多个类型的模糊来生成多个模糊图像。在模糊图像中，超过第二信号值的信号值被修剪，使得再现辉度饱和，在捕获图像的成像过程期间发生的辉度饱和。如果有必要，那么可以将由图像传感器102b生成的噪声应用到模糊图像。

随后，在步骤S103中，计算单元101c基于信号值的阈值和基于原始图像的图像设置第一区域。在这个实施例中，使用模糊图像作为基于原始图像的图像，但是可以使用原始图像本身。第一区域通过将模糊图像的信号值与信号值的阈值进行比较来设置。更具体地，第一区域是模糊图像的信号值等于或大于信号值的阈值的区域。在第一实施例中，信号值的阈值是第二信号值。因此，第一区域指示(表示、包括、说明或识别)模糊图像的辉度饱和区域。然而，信号值的阈值和第二信号值可以不匹配。信号值的阈值可以被设置为稍微小于第二信号值的值(例如，第二信号值的0.9倍)。

随后，在步骤S104中，计算单元101c生成第一区域图像，在该第一区域图像中第一区域中的信号值与原始图像的第一区域中的信号值相同。在第一区域图像中，第一区域以外的区域中的信号值与原始图像的第一区域以外的区域中的信号值不同。第一区域图像可以在第一区域以外的区域中具有第一信号值。在这个实施例中，第一信号值是0，但是本发明不限于此。在第一实施例中，在第一区域图像中，模糊图像仅在辉度饱和区域中具有原始图像的信号值，并且在其它区域中信号值是0。

随后，在步骤S105中，计算单元101c通过对第一区域图像进行模糊来生成饱和影响真值(ground truth)图。所应用的模糊与应用到模糊图像的模糊相同。由此，基于模糊图像的辉度饱和区域中的被摄体生成饱和影响真值图，饱和影响真值图是指示(表示、说明或识别)因成像期间的劣化而已扩展的信号值的大小和范围(饱和区域中的被摄体因捕获图像的模糊成分而已扩展的区域的范围与和该区域对应的信号值之间的关系)的图(空间布置的信号序列)。在第一实施例中，饱和影响真值图在第二信号值处以与模糊图像的修剪类似的方式被修剪，但是可以不被修剪。

随后，在步骤S106中，获取单元101b获取真值模型输出。在这个实施例中，由于任务是模糊锐化，因此真值模型输出是具有比模糊图像少的模糊的图像。在第一实施例中，真值模型输出通过在第二信号值处修剪原始图像来生成。如果原始图像没有包括足够的高频成分，那么通过缩小原始图像获取的图像可以用作真值模型输出。在这种情况下，在步骤S102中的模糊图像的生成中也类似地执行缩小。步骤S106可以在步骤S101之后且步骤S107之前的任何时间执行。

随后，在步骤S107中，通过使用机器学习模型，计算单元101c基于模糊图像生成饱和影响图和模型输出。图1是机器学习模型的配置图。在这个实施例中，使用图1中所示的机器学习模型，但是本发明不限于此。模糊图像201和辉度饱和图202被输入到机器学习模型。辉度饱和图202是指示(表示、说明或识别)模糊图像201的辉度饱和区域的图，辉度饱和区域是信号值等于或大于第二信号值的区域。辉度饱和图202可以通过例如利用第二信号值对模糊图像201进行二值化来生成。然而，辉度饱和图202不是必需的。模糊图像201和辉度饱和图202在通道方向上级联并且输入到机器学习模型。然而，本发明不限于此。例如，可以将模糊图像201和辉度饱和图202中的每一个转换成特征图，并且特征图可以在通道方向上级联。辉度饱和图202以外的信息可以被添加到输入。

机器学习模型包括多个层并且获得对层的输入与每个层中的权重的线性和。权重的初始值可以由随机数等确定。在第一实施例中，机器学习模型是使用输入和滤波器的卷积(滤波器的每个元素的值与权重对应，并且卷积可以包括与偏置的和)作为线性和的CNN，但是本发明不限于此。在每个层中，根据需要，使用诸如修正线性单元(ReLU)和sigmoid函数的激活函数来执行非线性转换。另外，如果有必要，机器学习模型可以包括残差块或跳跃连接(也被称为快捷连接)。在输入经过多个层(在这个实施例中为16个卷积层)之后，生成饱和影响图203。在这个实施例中，饱和影响图203通过获得每个元素的辉度饱和图202与层211的输出之和来获取，但是本发明不限于此。饱和影响图可以直接生成为层211的输出。替代地，对层211的输出执行的任意处理的结果可以用作饱和影响图203。

随后，饱和影响图203和模糊图像201在通道方向上级联并且输入到后续层并通过多个层(在第一实施例中为16个卷积层)。作为结果，生成模型输出204。模型输出204通过获得每个元素的模糊图像201与层212的输出之和来生成，但是配置不限于此。在第一实施例中，在每个层中，执行与64种3×3滤波器的卷积(然而，层211和212中的滤波器类型的数量与模糊图像201的通道的数量相同)，但是本发明不限于此。

随后，在步骤S108中，更新单元101d基于误差函数更新机器学习模型的权重。在第一实施例中，误差函数是饱和影响图203与饱和影响真值图之间的误差和模型输出204与真值模型输出之间的误差的加权和。均方误差(MSE)被用于计算误差。对于每一个权重为1。然而，误差函数和权重不限于这些。反向传播等可以用于更新权重。可以相对于残差成分获得误差。在残差成分的情况下，要使用的误差是饱和影响图203与辉度饱和图202之间的差异成分和饱和影响真值图与辉度饱和图202之间的差异成分之间的误差。类似地，使用模型输出204与模糊图像201之间的差异成分和真值模型输出与模糊图像201之间的差异成分之间的误差。

随后，在步骤S109中，更新单元101d确定机器学习模型的训练是否已完成。可以通过权重更新的重复次数是否已达到预定次数、更新时权重的改变量是否小于预定值等来确定完成。如果在步骤S109中确定训练尚未完成，那么过程返回到步骤S101，并且获取单元101b获取一个或多个新的原始图像。另一方面，如果确定训练已完成，那么更新单元101d结束训练并且将关于机器学习模型的配置和权重的信息存储在存储器101a中。

利用以上训练方法，机器学习模型可以估计指示(表示、说明或识别)模糊图像(估计时的捕获图像)的辉度饱和区域中的模糊和扩展的被摄体的信号值的大小和范围的饱和影响图。通过显式地估计饱和影响图，机器学习模型可以对相应的合适区域执行针对饱和的模糊图像和针对不饱和的模糊图像的模糊锐化，这使得可以阻止伪影的发生。

接下来，参考图6，给出使用经训练的机器学习模型的对于捕获图像的模糊锐化的描述，模糊锐化由图像处理装置103执行。图6是模型输出生成的流程图。图像处理装置103包括存储器103a、获取单元(获取任务)103b和锐化单元(第一生成单元、第二生成单元、第一生成任务、第二生成任务)103c，并且这些单元执行以下步骤。

首先，在步骤S201中，获取单元103b获取机器学习模型和通过光学系统102a获取的捕获图像。从存储器103a获取关于机器学习模型的配置和权重的信息。随后，在步骤S202中，通过使用机器学习模型，锐化单元(第一生成单元、第一生成任务)103c从捕获图像生成去模糊图像(模型输出、第一图像)，在该去模糊图像(模型输出、第一图像)中捕获图像的模糊被锐化。即，锐化单元103c通过校正捕获图像的模糊成分来生成第一图像。机器学习模型如训练的情况那样具有图1中所示的配置。如训练时那样，通过生成并且输入指示(表示、说明或识别)捕获图像的辉度饱和区域的辉度饱和图来生成饱和影响图和模型输出。

接下来，参考图7，给出由图像处理装置103执行的组合捕获图像和模型输出(调整锐化强度)的描述。图7是锐化强度调整的流程图。

首先，在步骤S211中，获取单元103b从捕获图像获取成像状态。成像状态是图像传感器102b的像素间距以及表示光学系统102a的变焦位置、光学系统102a的光圈孔径直径和被摄体距离的相应状态的(z，f，d)。

随后，在步骤S212中，基于在步骤S211中获取的成像状态，获取单元103b获取关于光学系统102a的光学性能的信息(光学性能指标)。光学性能指标被存储在存储器103a中。光学性能指标是独立于用于对捕获图像进行成像的光学系统102a的被摄体空间的关于光学性能的信息，并且不包括不独立于被摄体空间的信息(诸如饱和影响图)。在这个实施例中，光学性能指标是点扩展函数(PSF)的大小(峰值)和范围(扩展程度)(关于点扩展函数的信息)。峰值是PSF的最大信号值，并且范围是指具有等于或高于某个阈值的值的像素的数量。在要通过机器学习模型执行模糊锐化的情况下，即使峰值相同，模糊包括的具有等于或高于某个阈值的值的像素的数量越小，生成的副作用的量也越小，因此这个实施例使用光学性能指标。PSF的峰值和范围依赖于图像拾取装置102的像素间距，因此多个像素间距下的光学性能指标被存储，并且通过插值创建中间值。另一个数值可以用作光学性能指标，只要该光学性能指标反映光学性能即可。

图8是光学性能指标的划分点的解释图，并且图示了光学系统102a的图像圈111、图像传感器102b的有效像素区域112以及存储在存储器103a中的光学性能指标114。在这个实施例中，对从轴上到最轴外的10个点获取光学性能指标114(PSF的峰值)。在这个实施例中，要获取的光学性能指标的数量被设置为10个点，但是可以增加或减少划分的数量。在小于图像传感器102b的有效像素区域112的有效像素区域113的情况下，可以根据有效像素区域113的大小获取所需的光学性能指标。替代地，可以获取到最轴外的光学性能指标，然后可以根据有效像素区域生成并且切割权重图。

这里，存储器103a仅存储离散地选择的成像状态(与其对应)的光学性能指标，以便减少光学性能指标的数量(数据的条数)。因此，如果存储器103a没有存储与在步骤S211中获取的成像状态对应的光学性能指标或与接近获取的成像状态的成像状态对应的光学性能指标，那么选择与尽可能接近获取的成像状态的成像状态对应的光学性能指标。然后，通过对选择的光学性能指标进行校正来创建要实际使用的光学性能指标，使得选择的光学性能指标对于在步骤S211中获取的成像状态被最优化。

图9是部署有光学性能指标的成像状态空间的示意图，并且示意性地图示了与离散地选择的成像状态对应并且存储在存储器103a中的光学性能指标。如上所述，存储在存储器103a中的光学性能指标离散地部署在其轴是变焦位置(状态A)、光圈孔径直径(状态B)和被摄体距离(状态C)的三个成像状态的成像状态空间中。成像状态空间中的每个点(黑色圆)的坐标表示存储在存储器103a中的光学性能指标。在图9中，光学性能指标部署在与每个成像状态正交的线上的网格点处，但是光学性能指标可以部署在网格点以外的点处。

成像状态的类型不限于变焦位置、光圈孔径直径和被摄体距离。另外，成像状态的类型的数量可以不是三个，并且可以使用四个或更多个成像状态以配置四个或更多个维度的成像状态空间，并且可以在那个空间中离散地部署光学性能指标。替代地，成像状态的类型可以是变焦位置、光圈孔径直径和被摄体距离中的一个或两个。

接下来，给出选择和创建(校正)光学性能指标的具体方法的描述。在图9中，假设由大的白色圆表示的成像状态是在步骤S211中获取的实际的成像状态。如果在存储器103a中存储有处于或接近实际的成像状态的光学性能指标，那么选择那个光学性能指标。如果不存在处于或接近实际的成像状态的光学性能指标，那么通过以下方法选择或创建(校正)光学性能指标。

首先，获取单元103b计算实际的成像状态与和多个光学性能指标对应的成像状态中的每一个之间的成像状态空间中的距离。然后，选择与计算的距离中的最短距离处的成像状态对应的光学性能指标。选择这样的光学性能指标使得实际的成像状态与和光学性能指标对应的成像状态之间的差异量(下文中也称为“状态差异量”)最小。在图9中，假设与由小的白色圆表示的成像状态对应的存储滤波器被选择。

接下来，获取单元103b计算与选择的光学性能指标对应的成像状态与实际的成像状态之间的状态差异量ΔA、ΔB和ΔC。此后，获取单元103b基于状态差异量ΔA、ΔB和ΔC计算状态校正系数。然后，获取单元103b通过使用状态校正系数对选择的光学性能指标进行校正。这使得可以创建与实际的成像状态对应的光学性能指标。替代地，可以通过选择位于实际的成像状态附近的多个光学性能指标并且根据状态差异量对多个光学性能指标进行插值来创建适合实际的成像状态的光学性能指标。

随后，在步骤S213中，锐化单元103c通过使用光学性能指标来生成第二权重图(第二权重信息)和第三权重图(第三权重信息)。即，锐化单元103c基于关于光学性能的信息生成第二权重图和第三权重图，并且由第二权重图指示的权重和由第三权重信息指示的权重彼此不同。这里，详细描述权重图的生成。权重图用于确定在要获取捕获图像和去模糊图像的加权平均时每个图像的比例，并且具有从0到1的连续信号值。例如，在权重图的值确定去模糊图像的比例的情况下，如果该值为0，那么加权平均图像是捕获图像，并且如果权重图的值为0.5，那么加权平均图像是捕获图像的像素值的50％和去模糊图像的像素值的50％相加的图像。在这个实施例中，权重图的值表示去模糊图像的权重。

当要在第二权重图和第三权重图中的每一个中确定权重时，基于在步骤S212中获取的光学性能指标通过使用图10中所示的关系表达式对每个图像高度确定去模糊图像的权重。图10是光学性能指标与权重之间的关系表达式的图。在图10中，水平轴表示光学性能指标，并且垂直轴表示去模糊图像的权重。

实线121用于不饱和区域，并且点线122用于饱和区域。即使在光学性能指标相同的情况下，去模糊图像的权重也在副作用有可能发生的饱和区域中减小。在这个实施例中，关系表达式是线性表达式，但是不限于线性表达式。另外，可以自由地改变关系表达式。对于光学性能指标没有被存储的图像高度，通过使用光学性能指标被存储的图像高度点进行插值来生成光学性能指标。根据实线121生成用于不饱和区域的第二权重图，并且根据点线122生成用于饱和区域的第三权重图。作为示例，图11A图示了第二权重图，并且图11B图示了第三权重图。权重图越明，输出图像中的权重越大，并且权重图越暗，输出图像中的权重越小。在一般的光学系统中，位置越靠近离轴侧，光学性能越小，因此渐变有可能如图11A和11B中所示。

随后，在步骤S214中，锐化单元103c基于第二权重图、第三权重图和饱和影响图生成第一权重图(第一权重信息)。即，第一权重图基于关于光学性能的信息(第二权重图、第三权重图)和关于捕获图像的饱和区域的信息(基于饱和区域的信息，即，饱和影响图)生成。在这个实施例中，关于饱和区域的信息是指饱和影响图，并且RGB可以不全部饱和。饱和影响图通过第二信号值进行规范化并且用于组合第二权重图和第三权重图。即，如果规范化之后的值在0与1之间，那么第二权重图和第三权重图两者都做出贡献。

作为示例，图12A图示了捕获图像，并且图12B图示了饱和影响图。图13图示了第一权重图。第一权重图通过基于规范化的饱和影响图(关于饱和区域的信息)组合第二权重图和第三权重图来生成。这使得可以减小副作用有可能发生的饱和影响区域中去模糊图像的权重。通过第二信号值对由机器学习模型输出的饱和影响图进行规范化不是必需的，并且可以通过改变或模糊要被规范化的信号值来调整模糊锐化效果和副作用的平衡。替代地，可以通过使用由光学系统造成的模糊并且作用于捕获图像来对每个图像高度模糊辉度饱和图。

随后，在步骤S215中，锐化单元(第二生成单元、第二生成任务)103c通过基于第一权重图获得(组合)捕获图像和去模糊图像(模型输出、第一图像)的加权平均来生成强度调整的图像(第二图像)205。通过基于第一权重图组合捕获图像和去模糊图像，仅在副作用有可能发生的区域周围增加捕获图像的权重，同时抑制模糊锐化效果的降低。

利用以上配置，可以提供一种图像处理系统，该图像处理系统可以在对模糊图像使用机器学习的回归任务中控制模糊的锐度和副作用。

第二实施例

接下来，给出根据本发明的第二实施例的图像处理系统300的描述。在这个实施例中，不生成第三权重图，而是通过降低饱和影响区域中第二权重图的权重来生成第一权重图。此外，模糊锐化的强度不仅基于光学系统的性能和饱和影响区域、而且还基于被摄体距离和ISO灵敏度进行调整。

图14是图像处理系统300的框图。图15是图像处理系统300的外观图。图像处理系统300包括训练装置301、图像拾取装置302和图像处理装置303。有线或无线网络连接训练装置301和图像处理装置303、以及图像处理装置303和图像拾取装置302。图像拾取装置302包括光学系统321、图像传感器322、存储器323、通信单元324和显示单元325。捕获图像经由通信单元324被发送到图像处理装置303。

图像处理装置303经由通信单元332接收捕获图像，并且通过使用存储在存储器331中的关于机器学习模型的配置和权重的信息来执行模糊锐化。关于机器学习模型的配置和权重的信息已通过由训练装置301执行的训练获取、预先从训练装置301获取并且存储在存储器331中。图像处理装置303具有调整模糊锐化的强度的功能。捕获图像的模糊已被锐化的去模糊图像(模型输出)和包括经调整的强度的加权平均图像被发送到图像拾取装置302、存储在存储器323中、并且显示在显示单元325上。

由训练装置301执行的生成学习数据和学习权重(学习阶段)、由图像处理装置303执行的使用经训练的机器学习模型对捕获图像进行模糊锐化(估计阶段)以及组合捕获图像和模型输出与第一实施例中的类似。因此，省略其描述。

接下来，参考图16，给出由图像处理装置303执行的组合捕获图像和模型输出(锐化强度调整)的描述。图16是锐化强度调整的流程图。

首先，在步骤S311中，获取单元333从捕获图像获取成像状态。随后，在步骤S312中，获取单元333基于在步骤S311中获取的成像状态获取光学性能指标。光学性能指标被存储在存储器331中。在这个实施例中，使用PSF的峰值作为光学性能指标。

随后，在步骤S313中，锐化单元334基于光学性能指标生成第二权重图(第二权重信息)。随后，在步骤S314中，锐化单元334从饱和影响图和第二权重图生成第一权重图(第一权重信息)。在这个实施例中，生成第一权重图而不生成第三权重图。具体地，通过仅降低第二权重图的区域当中的饱和影响区域的强度来生成第一权重图。第一权重图可以通过生成第三权重图(第三权重信息)并且增加饱和影响区域以外的区域的强度来生成。

随后，在步骤S315中，锐化单元334根据被摄体距离和ISO灵敏度调整第一权重图。这里，给出根据被摄体距离和ISO灵敏度执行调整的原因的描述。首先，在被摄体距离接近光学系统的最短成像距离的情况下，可以根据被摄体距离执行调整。在一般的光学系统中，在最短成像距离附近性能低，因此在锐化期间应用的校正量大。在用户手动执行聚焦的情况下，可能重视感知的分辨率或可能重视色差。如果在通过机器学习模型学习的模糊与实际的捕获图像的模糊之间发生差异，那么副作用比其它被摄体距离的情况更有可能发生。因此，如果被摄体距离接近光学系统的最短成像距离，那么可以通过减小锐化的强度来阻止副作用的发生。

接下来，描述根据ISO灵敏度的调整。如果通过机器学习模型执行模糊锐化，那么因为不能区分被摄体和噪声，所以噪声可能被放大。因此，在以可能发生大量噪声的高ISO捕获图像的情况下，可以通过减小锐化的强度来减少副作用的发生。根据被摄体距离和ISO灵敏度的调整不是必需的。

随后，在步骤S316中，锐化单元334通过基于第一权重图组合捕获图像和去模糊图像(模型输出、第一图像)来生成强度调整的图像(第二图像)。

利用以上配置，可以提供一种图像处理系统，该图像处理系统可以在对模糊图像使用机器学习的回归任务中控制模糊的锐度和副作用。

第三实施例

接下来，给出根据本发明的第三实施例的图像处理系统400的描述。图17是图像处理系统400的框图。图18是图像处理系统400的外观图。图像处理系统400包括学习装置401、镜头装置402、图像拾取装置403、控制装置(第一装置)404、图像估计装置(第二装置)405以及网络406和407。学习装置401和图像估计装置405是例如服务器。控制装置404是诸如个人计算机和移动终端的由用户操作的设备。学习装置401和图像估计装置405可以彼此通信，并且控制装置404和图像估计装置405可以彼此通信。

学习装置401包括存储器401a、获取单元401b、计算单元401c和更新单元401d，并且学习机器学习模型的权重，该机器学习模型对已使用镜头装置402和图像拾取装置403成像的捕获图像执行模糊锐化。学习方法与第一实施例的学习方法类似，因此省略其描述。图像拾取装置403包括图像传感器403a，并且图像传感器403a对由镜头装置402形成的光学图像进行光电转换以便获取捕获图像。镜头装置402和图像拾取装置403彼此可拆卸地附接，并且可以彼此以多个类型组合。

控制装置404包括通信单元404a、显示单元404b、存储器404c和获取单元404d，并且根据用户的操作控制要对从有线或无线连接的图像拾取装置403获取的捕获图像执行的处理。替代地，由图像拾取装置403成像的捕获图像可以预先存储在存储器404c中，并且控制装置404可以读取捕获图像。

图像估计装置405包括通信单元405a、获取单元405b、存储器405c和锐化单元405d。图像估计装置405根据来自经由网络406连接的控制装置404的请求对捕获图像执行模糊锐化处理。图像估计装置405在模糊锐化的估计时或预先从经由网络406连接的学习装置401获取关于学习的权重的信息，并且将它用于对捕获图像的模糊锐化的估计。模糊锐化的估计之后的估计图像在锐化强度被调整之后再次被发送到控制装置404、存储在存储器404c中，并且显示在显示单元404b上。由学习装置401执行的生成学习数据和学习权重(学习阶段)如第一实施例中那样，因此省略其描述。

接下来，参考图19，给出由控制装置404和图像估计装置405执行的对捕获图像的模糊锐化的描述。图19是模型输出和锐化强度调整的流程图。

首先，在步骤S401中，获取单元404d获取捕获图像和由用户指定的锐化的强度。随后，在步骤S402中，通信单元(发送单元、发送任务)404a将捕获图像和与模糊锐化估计处理的执行相关的请求发送到图像估计装置405。

随后，在步骤S403中，通信单元(接收单元、接收任务)405a接收并且获取从控制装置404发送的捕获图像和与处理相关的请求。随后，在步骤S404中，获取单元405b从存储器405c获取关于对应于(适合于)捕获图像的学习的权重的信息。权重信息预先从存储器401a读取并且存储在存储器405c中。

随后，在步骤S405中，锐化单元405d通过使用机器学习模型从捕获图像生成去模糊图像(模型输出)，在该去模糊图像(模型输出)中捕获图像的模糊被锐化。机器学习模型如训练的情况那样具有图1中所示的配置。如训练时那样，通过生成并且输入指示(表示、说明或识别)捕获图像的辉度饱和区域的辉度饱和图来生成饱和影响图和模型输出。

随后，在步骤S406中，锐化单元405d基于从控制装置404发送的请求生成第一权重图(第一权重信息)。使用如第一实施例中的方法生成第一权重图。可以通过根据由用户指定的锐化的强度改变图10中所示的关系表达式来调整强度。随后，在步骤S407中，锐化单元405d基于第一权重图组合捕获图像和去模糊图像(模型输出)。随后，在步骤S408中，通信单元405a将组合图像发送到控制装置404。

随后，在步骤S409中，通信单元404a获取从图像估计装置405发送的估计图像(组合图像)。

利用以上配置，可以提供一种图像处理系统，该图像处理系统可以在对模糊图像使用机器学习的回归任务中控制模糊的锐度和副作用。

其它实施例

本发明的实施例还可以通过读出并且执行记录在存储介质(其也可以被更完整地称为‘非暂时性计算机可读存储介质’)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能和/或包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机、以及通过由系统或装置的计算机通过例如读出并且执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能和/或控制一个或更多个电路以执行上述实施例中的一个或更多个的功能而执行的方法来实现。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独的计算机或单独的处理器的网络，以读出并且执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储设备、光盘(诸如紧凑盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)^TM)、闪存设备、存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

根据每个实施例，可以提供图像处理方法、图像处理装置、图像处理系统和存储介质，它们中的每一个可以根据光学系统的性能控制图像模糊的锐度和副作用。

虽然已参考示例性实施例描述了本发明，但是要理解的是，本发明不限于所公开的示例性实施例。以下权利要求的范围要被赋予最广泛的解释以便涵盖所有这样的修改以及等同的结构和功能。

Claims (13)

1.一种图像处理方法，包括：

通过将捕获图像输入到机器学习模型中来生成第一图像，所述捕获图像已通过使用光学系统进行成像来获取；

获取关于所述光学系统的光学性能的信息；以及

基于所述捕获图像、所述第一图像、以及第一权重信息生成第二图像，

其特征在于所述第一权重信息基于关于所述光学性能的信息和关于所述捕获图像中的饱和区域的信息而生成。

2.根据权利要求1所述的图像处理方法，其中所述第一图像是通过校正所述捕获图像的模糊成分来获取的图像。

3.根据权利要求1所述的图像处理方法，其中关于所述饱和区域的信息是指示(i)所述饱和区域中的被摄体已因所述捕获图像的模糊成分而扩展的区域的范围和(ii)与所述区域对应的信号值之间的关系的饱和影响图。

4.根据权利要求1所述的图像处理方法，其中关于所述光学性能的信息基于(i)关于所述光学系统的变焦位置、所述光学系统的孔径直径、以及被摄体距离中的至少一个的信息和(ii)关于针对所述光学系统的每个图像高度的点扩展函数的信息而计算。

5.根据权利要求1所述的图像处理方法，其中所述第一权重信息通过基于关于所述饱和区域的信息组合第二权重信息和第三权重信息来生成，并且

其中所述第二权重信息和所述第三权重信息基于关于所述光学性能的信息而获取。

6.根据权利要求5所述的图像处理方法，其中由所述第二权重信息指示的所述第一图像的权重和由所述第三权重信息指示的所述第一图像的权重彼此不同。

7.根据权利要求5所述的图像处理方法，其中所述第二权重信息确定所述捕获图像中的不饱和区域的权重，并且

其中所述第三权重信息确定所述捕获图像中的饱和区域的权重。

8.根据权利要求5所述的图像处理方法，其中由所述第二权重信息和所述第三权重信息中的每一个指示的所述第一图像的权重对于每个图像高度不同。

9.根据权利要求1所述的图像处理方法，其中所述第一权重信息通过基于关于所述饱和区域的信息调整第二权重信息来生成，所述第二权重信息基于关于所述光学性能的信息而获取。

10.根据权利要求1至9中的任一项所述的图像处理方法，其中在生成所述第二图像时，所述第二图像通过基于所述第一权重信息获得所述捕获图像和所述第一图像的加权平均来生成。

11.一种图像处理装置，包括：

第一生成单元，所述第一生成单元被配置为通过将捕获图像输入到机器学习模型中来生成第一图像，所述捕获图像已通过使用光学系统进行成像来获取；

获取单元，所述获取单元被配置为获取关于所述光学系统的光学性能的信息；以及

第二生成单元，所述第二生成单元被配置为基于所述捕获图像、所述第一图像、以及第一权重信息生成第二图像，

其特征在于所述第一权重信息基于关于所述光学性能的信息和关于所述捕获图像中的饱和区域的信息而生成。

12.一种图像处理系统，所述图像处理系统包括第一装置和第二装置，所述第一装置和所述第二装置能够彼此通信，

其特征在于所述第一装置包括发送单元，所述发送单元被配置为向所述第二装置发送用于对捕获图像执行处理的请求，所述捕获图像通过使用光学系统进行成像来获取，并且

其中所述第二装置包括：

接收单元，所述接收单元被配置为接收所述请求；

获取单元，所述获取单元被配置为获取所述捕获图像和关于所述光学系统的光学性能的信息；

第一生成单元，所述第一生成单元被配置为基于所述请求通过将所述捕获图像输入到机器学习模型中来从所述捕获图像生成第一图像；以及

第二生成单元，所述第二生成单元被配置为基于所述捕获图像、所述第一图像、以及第一权重信息生成第二图像，

其中所述第一权重信息基于关于所述光学性能的信息和关于所述捕获图像中的饱和区域的信息而生成。

13.一种存储计算机程序的非暂时性计算机可读存储介质，所述计算机程序使计算机执行根据权利要求1至10中的任一项所述的图像处理方法。

Images