CN115496673A - 图像处理方法、图像处理装置、图像处理系统、以及存储介质 - Google Patents

Abstract

本发明公开了图像处理方法、图像处理装置、图像处理系统、以及存储介质。图像处理方法包括获取通过成像获得的捕获图像，通过校正捕获图像的模糊成分来生成第一图像，以及基于捕获图像、第一图像和权重信息生成第二图像。权重信息基于(i)关于捕获图像的亮度的信息或关于捕获图像的场景的信息和(ii)关于捕获图像中的饱和区域的信息而生成。

Description

图像处理方法、图像处理装置、图像处理系统、以及存储介质

技术领域

本发明涉及用于对图像进行去模糊的图像处理方法。

背景技术

日本专利特开No.(“JP”)2020-166628公开了通过使用作为机器学习模型中的一个的卷积神经网络(CNN)来锐化(sharp)捕获图像中的模糊的方法。通过使用训练数据集(其通过对包括大于或等于捕获图像的辉度饱和值的信号值的图像进行模糊来生成)来训练CNN，在即使在辉度饱和区域周围也减小副作用的同时，模糊可以被锐化。JP 2020-166628还公开了通过基于辉度饱和区域获得捕获图像和估计图像(去模糊图像)的加权平均来调整锐化的强度的方法。

JP 2018-201137公开了通过利用反卷积校正捕获图像的模糊并且组合获得的校正图像和捕获图像来减少与饱和像素对应的位置周围的称为成环的条纹图案伪影的方法。在JP 2018-201137中，作为组合中的权重，对于饱和像素将捕获图像的组合比例设置为1，并且对于其它像素将捕获图像的组合比例设置为0。

利用在JP 2020-166628中公开的方法，依赖于输入图像可能无法抑制边缘下降、成环等，并且这些副作用可能在估计图像(去模糊图像)中发生。具体地，在被摄体由于光学系统的像差而被严重地模糊的情况下，副作用有可能发生。在辉度饱和区域周围发生的边缘下降的明显性依赖于图像的亮度而不同。例如，在白天期间在室外捕获的亮图像中，饱和区域周围的边缘下降明显，但是在诸如夜景的暗图像中，边缘下降不明显。

利用在JP 2020-166628或JP 2018-201137中公开的方法，根据确定的权重执行平均化，而不管依赖于图像的亮度(或场景)而不同的边缘下降的明显性如何。换句话说，如果获得输入图像和估计图像的加权平均，那么在饱和区域周围明显的边缘下降在亮图像(亮场景)中减少，但是在暗图像(暗场景)中，校正效果在饱和区域周围的区域中减小太多。

发明内容

本发明提供了图像处理方法、图像处理装置、图像处理系统和存储介质，它们中的每一个可以根据图像的亮度或场景恰当地执行去模糊。

根据本公开的一个方面的图像处理方法包括：获取通过成像获得的捕获图像；通过校正所述捕获图像的模糊成分来生成第一图像；以及基于所述捕获图像、所述第一图像、以及权重信息生成第二图像。所述权重信息基于(i)关于所述捕获图像的亮度的信息或关于所述捕获图像的场景的信息和(ii)关于所述捕获图像中的饱和区域的信息而生成。

根据本公开的一个方面的图像处理装置包括：获取单元，所述获取单元被配置为获取通过成像获得的捕获图像；第一生成单元，所述第一生成单元被配置为通过校正所述捕获图像的模糊成分来生成第一图像；以及第二生成单元，所述第二生成单元被配置为基于所述捕获图像、所述第一图像、以及权重信息生成第二图像。所述权重信息基于(i)关于所述捕获图像的亮度的信息或关于所述捕获图像的场景的信息和(ii)关于所述捕获图像中的饱和区域的信息而生成。

根据本公开的一个方面的图像处理系统包括第一装置和第二装置，所述第一装置和所述第二装置能够彼此通信。所述第一装置包括发送单元，所述发送单元被配置为向所述第二装置发送与对通过成像获得的捕获图像的处理的执行相关的请求。所述第二装置包括：接收单元，所述接收单元被配置为接收所述请求；获取单元，所述获取单元被配置为获取所述捕获图像；第一生成单元，所述第一生成单元被配置为基于所述请求通过校正所述捕获图像的模糊成分来生成第一图像；以及第二生成单元，所述第二生成单元被配置为基于所述捕获图像、所述第一图像、以及权重信息生成第二图像。所述权重信息基于(i)关于所述捕获图像的亮度的信息或关于所述捕获图像的场景的信息和(ii)关于所述捕获图像中的饱和区域的信息而生成。

存储使得计算机能够执行以上图像处理方法的计算机程序的存储介质也构成本公开的另一个方面。

本发明的另外的特征从以下参考附图对示例性实施例的描述将变得清楚。

附图说明

图1是根据第一实施例的机器学习模型的配置图。

图2是图示根据第一实施例的图像处理系统的框图。

图3是图示根据第一实施例的图像处理系统的外观图。

图4A至4C是图示根据第一至第四实施例的由锐化造成的副作用的解释图。

图5是根据第一、第三和第四实施例的机器学习模型训练的流程图。

图6是根据第一或第三实施例的模型输出生成的流程图。

图7是根据第一至第四实施例的锐化强度调整的流程图。

图8是图示根据第一至第四实施例的相对于平均信号值的权重图的调整值的解释图。

图9A和9B是图示根据第一实施例的捕获图像和饱和影响图的解释图。

图10A和10B是根据第一实施例的捕获图像和饱和影响图的解释图。

图11是根据第一实施例的权重图的解释图。

图12是根据第一实施例的权重图的解释图。

图13是根据第二实施例的图像恢复滤波器的解释图。

图14是根据第二实施例的图像恢复滤波器的解释图(截面图)。

图15A和15B是根据第二实施例的点扩展函数PSF的解释图。

图16A和16B是根据第二实施例的光学传递函数的幅度成分MTF和相位成分PTF的解释图。

图17是根据第二实施例的图像处理系统的框图。

图18是根据第二实施例的去模糊图像生成的流程图。

图19是根据第三实施例的图像处理系统的框图。

图20是根据第三实施例的图像处理系统的外观图。

图21是根据第四实施例的图像处理系统的框图。

图22是根据第四实施例的图像处理系统的外观图。

图23是根据第四实施例的模型输出和锐化强度调整的流程图。

具体实施方式

现在参考附图，将给出根据本发明的实施例的描述。相应的图中的对应元素将由相同的参考数字标示，并且将省略重复的描述。

在给出实施例的具体描述之前描述本发明的主旨。本发明从通过使用光学系统捕获的图像生成估计图像(去模糊图像、第一图像)，在该估计图像(去模糊图像、第一图像)中由光学系统(图像拾取光学系统)造成的模糊被锐化。估计图像通过例如使用机器学习模型来生成。然后，本发明基于关于捕获图像的亮度的信息或关于捕获图像的场景的信息以及基于捕获图像中的饱和区域(辉度饱和区域)的信息生成权重图(权重信息)，并且获得捕获图像和估计图像的加权平均。这里，由光学系统造成的模糊包括由像差、衍射、以及散焦、光学低通滤波器的作用、图像传感器的像素开口劣化等造成的模糊。

机器学习模型是指例如神经网络、遗传编程、贝叶斯网络等。神经网络是指卷积神经网络(CNN)、生成对抗网络(GAN)、循环神经网络(RNN)等。

模糊锐化是指恢复由于模糊而已减少或丢失的被摄体的频率成分的过程。在模糊锐化期间，依赖于捕获图像可能无法抑制下冲(边缘下降)、成环等，并且这些副作用可能在估计图像中发生。具体地，在被摄体由于光学系统的像差而被严重地模糊的情况下，或者在图像中存在辉度饱和区域的情况下，副作用发生。依赖于图像传感器的动态范围、成像期间的曝光等，在图像中可以发生辉度饱和区域。在辉度饱和区域中，不可能获取关于被摄体空间的结构的信息，因此副作用有可能发生。在亮度饱和的区域周围生成的下冲的明显性依赖于图像的亮度而不同。例如，在白天在室外捕获的亮图像中，在辉度饱和区域周围下冲明显，但是在诸如夜景的暗图像中，下冲不明显。

因此，每个实施例通过使用基于关于捕获图像的亮度的信息或关于捕获图像的场景的信息以及基于捕获图像中的饱和区域的信息生成的权重图来获得捕获图像和估计图像的加权平均。这使得可以在抑制在饱和区域周围发生并且依赖于捕获图像的亮度或场景而不同的副作用的同时维持去模糊效果(模糊校正效果)。

在以下描述中，学习机器学习模型的权重的阶段被称为学习阶段，并且利用使用学习的权重的机器学习模型对模糊进行锐化的阶段被称为估计阶段。

第一实施例

首先，给出根据本发明的第一实施例的图像处理系统100的描述。在这个实施例中，机器学习模型对包括辉度饱和捕获图像执行模糊锐化。要被锐化的模糊包括由光学系统中发生的像差和衍射造成的模糊和由光学低通滤波器造成的模糊。然而，在由像素开口、散焦或抖动造成的模糊被锐化的情况下也可以获取本发明的效果。另外，在执行模糊锐化以外的任务的情况下，也可以实施本发明并且获取本发明的效果。

图2是图示图像处理系统100的框图。图3是图像处理系统100的外观图。图像处理系统100包括经由有线或无线网络连接的训练装置101和图像处理装置103。图像处理装置103经由有线或无线网络连接到图像拾取装置102、显示装置104、记录介质105和输出装置106中的每一个。通过使用图像拾取装置102对被摄体空间进行成像而获取的捕获图像被输入到图像处理装置103。捕获图像因图像拾取装置102的光学系统(图像拾取光学系统)102a的像差和衍射以及图像拾取装置102的图像传感器102b的光学低通滤波器而被模糊，并且关于被摄体的信息减少。

通过使用机器学习模型，图像处理装置103对捕获图像执行模糊锐化并且生成饱和影响图和去模糊图像(模型输出，第一图像)。稍后将给出饱和影响图的详细描述。机器学习模型已由训练装置101训练，并且图像处理装置103已预先从训练装置101获取关于机器学习模型的信息并且已将它存储在存储器103a中。图像处理装置103还具有通过获得捕获图像和去模糊图像的加权平均来调整模糊锐化的强度的功能。稍后将给出通过机器学习模型的训练和估计、以及模糊锐化的强度调整的详细描述。用户可以在检查显示装置104上显示的图像的同时调整模糊锐化的强度。强度调整的去模糊图像被存储在存储器103a或记录介质105中，并且根据需要被输出到诸如打印机的输出装置106。捕获图像可以是灰度的或者可以具有多个颜色成分。替代地，可以使用未显影的RAW图像或已显影的图像。

接下来，参考图4A至4C，给出在通过机器学习模型执行模糊锐化时发生的估计准确度的降低的描述。图4A至4C是由锐化造成的副作用的解释图，并且图示图像的信号值的空间改变。这里，图像是8位的显影图像，因此饱和值是255。在图4A至4C中的每一个中，实线表示捕获图像(模糊图像)，并且点线表示捕获图像的模糊通过使用机器学习模型被锐化的去模糊图像。

图4A是对因光学系统的像差而被严重地模糊的非辉度饱和被摄体执行的锐化的结果，图4B是对因光学系统的像差而被轻微地模糊的非辉度饱和被摄体执行的锐化的结果，并且图4C是对因光学系统的像差而被轻微地模糊的辉度饱和被摄体执行的锐化的结果。在图像因光学系统的像差而被严重地模糊的情况下，在边缘的暗侧发生下冲。而且，即使在图像因光学系统的像差而被轻微地模糊的情况下，如果辉度饱和被摄体被锐化，那么也存在在非辉度饱和被摄体中不发生的下冲、以及副作用(原本饱和的像素值因该副作用而降低)的发生。在辉度饱和的区域(下文中称为“辉度饱和区域”)中，关于被摄体空间的结构的信息丢失，并且在每个区域的边界处可以出现伪边缘，从而使得不可能提取被摄体的正确的特征量。作为结果，机器学习模型的估计准确度降低。这些结果指示由锐化造成的副作用依赖于光学系统的性能和辉度饱和区域。

上述校正使用已通过并入使用捕获图像和与捕获图像对应的辉度饱和图作为机器学习模型的输入数据的方法以及生成饱和影响图的方法来执行学习的机器学习模型。即，尽管通过使用这些方法可以减小副作用，但是难以完全消除副作用。给出使用辉度饱和图的方法和生成饱和影响图的方法的详细描述。

给出辉度饱和图的描述。辉度饱和图是指示(表示、说明或识别)捕获图像中的辉度饱和区域的图。在辉度饱和的区域(下文中也称为“辉度饱和区域”)中，关于被摄体空间的结构的信息丢失，并且在每个区域的边界处可以出现伪边缘，从而使得不可能提取被摄体的正确的特征值。通过输入辉度饱和图，神经网络可以识别如上所述的有问题的区域并且阻止估计准确度劣化。

接下来，给出饱和影响图的描述。即使在使用辉度饱和图时，机器学习模型也可能没有正确地做出确定。例如，如果目标区域在辉度饱和区域的邻近，那么机器学习模型可能确定目标区域是受辉度饱和影响的区域，因为在目标区域附近存在辉度饱和区域。另一方面，如果目标区域位于远离辉度饱和区域的位置，那么不容易确定目标区域是否受辉度饱和影响，并且模棱两可性变高。作为结果，机器学习模型可能在远离辉度饱和区域的位置处做出错误的确定。因此，在任务是模糊锐化的情况下，对非饱和的模糊图像执行用于饱和的模糊图像的锐化处理。此时，在去模糊图像中发生伪影，这降低了任务的准确度。因此，机器学习模型可以从模糊的捕获图像生成饱和影响图。

饱和影响图是指示(表示、说明或识别)捕获图像的辉度饱和区域中的模糊和扩展的被摄体的信号值的大小和范围的图(信号序列的空间布置)。换句话说，饱和影响图是基于捕获图像中的饱和区域的信息。通过使得生成饱和影响图，机器学习模型可以准确地估计捕获图像中的辉度饱和的影响的存在或不存在以及程度。通过生成饱和影响图，机器学习模型可以对相应的合适区域执行要对受辉度饱和影响的区域执行的处理以及要对其它区域执行的处理。因此，在使机器学习模型生成饱和影响图的情况下，与不涉及饱和影响图的生成的情况(即，从捕获图像仅直接生成辨识标签和去模糊图像的情况)相比，任务的准确度被提高。

尽管上述两个方法是有效的，但是难以完全消除参考图4A至4C所描述的副作用。因此，通过获得捕获图像和去模糊图像的加权平均来减小副作用。图4A中的交替的长短虚线表示通过获得捕获图像和去模糊图像的加权平均而获取的信号值。通过获得加权平均，在维持模糊锐化效果的同时暗部的下冲减少。这个实施例基于关于捕获图像的亮度的信息或关于捕获图像的场景的信息以及基于饱和区域的信息(关于饱和区域的信息)生成要用于获得捕获图像和去模糊图像的加权平均的权重图(权重信息)。由此，校正效果在下冲不明显的暗图像中被维持，并且在下冲明显的亮图像中被减小，使得副作用减小。即，可以在饱和区域周围发生并且依赖于场景而不同的副作用减小的同时维持模糊校正效果(去模糊效果)。

接下来，参考图5，给出由训练装置101执行的机器学习模型的训练的描述。图5是机器学习模型的训练的流程图。训练装置101包括存储器101a、获取单元101b、计算单元101c和更新单元101d，并且这些单元执行以下步骤。

首先，在步骤S101中，获取单元101b从存储器101a获取一个或多个原始图像。原始图像是包括高于第二信号值的信号值的图像。第二信号值是与捕获图像的辉度饱和值对应的信号值。信号值在被输入到机器学习模型时可以被规范化，因此第二信号值和捕获图像的辉度饱和值可以不是一定必须匹配。机器学习模型的训练基于原始图像执行，因此原始图像可以是包括各种频率成分(具有不同朝向和强度的边缘、渐变、平坦部分等)的图像。原始图像可以是实景图像或计算机图形(CG)。

随后，在步骤S102中，计算单元101c通过对原始图像进行模糊来生成模糊图像。模糊图像是在训练期间要输入到机器学习模型的图像并且与估计期间的捕获图像对应。所应用的模糊是作为锐化的目标的模糊。在这个实施例中，模糊可以是指由光学系统102a的像差和衍射以及图像传感器102b的光学低通滤波器造成的模糊。由光学系统102a的像差和衍射造成的模糊的形状依赖于图像平面坐标(图像高度和方位角)而改变。形状还依赖于光学系统102a的倍率变化、光圈和焦点的状态而改变。如果要在锐化所有这些类型的模糊的机器学习模型中一次执行训练，那么可以通过使用在光学系统102a中发生的多个类型的模糊来生成多个模糊图像。在模糊图像中，超过第二信号值的信号值被修剪，使得再现辉度饱和，在捕获图像的成像过程期间发生的辉度饱和。如果有必要，那么可以将由图像传感器102b生成的噪声应用到模糊图像。

随后，在步骤S103中，计算单元101c基于信号值的阈值和基于原始图像的图像设置第一区域。在这个实施例中，使用模糊图像作为基于原始图像的图像，但是可以使用原始图像本身。第一区域通过将模糊图像的信号值与信号值的阈值进行比较来设置。更具体地，第一区域是模糊图像的信号值等于或大于信号值的阈值的区域。在第一实施例中，信号值的阈值是第二信号值。因此，第一区域指示(表示、包括或识别)模糊图像的辉度饱和区域。然而，信号值的阈值和第二信号值可以不匹配。信号值的阈值可以被设置为稍微小于第二信号值的值(例如，第二信号值的0.9倍)。

随后，在步骤S104中，计算单元101c生成第一区域图像，在该第一区域图像中第一区域中的信号值与原始图像的第一区域中的信号值相同。在第一区域图像中，第一区域以外的区域中的信号值与原始图像的第一区域以外的区域中的信号值不同。第一区域图像可以在第一区域以外的区域中具有第一信号值。在这个实施例中，第一信号值是0，但是本发明不限于此。在第一实施例中，在第一区域图像中，模糊图像仅在辉度饱和区域中具有原始图像的信号值，并且在其它区域中信号值是0。

随后，在步骤S105中，计算单元101c通过对第一区域图像进行模糊来生成饱和影响真值(ground truth)图。所应用的模糊与应用到模糊图像的模糊相同。由此，基于模糊图像的辉度饱和区域中的被摄体生成饱和影响真值图，饱和影响真值图是指示(表示、说明或识别)因成像期间的劣化而已扩展的信号值的大小和范围(饱和区域中的被摄体因模糊成分而已扩展的区域的范围与和该区域对应的信号值之间的关系)的图(空间布置的信号序列)。在第一实施例中，饱和影响真值图在第二信号值处以与模糊图像的修剪类似的方式被修剪，但是可以不被修剪。

随后，在步骤S106中，获取单元101b获取真值模型输出。在这个实施例中，由于任务是模糊锐化，因此真值模型输出是具有比模糊图像少的模糊的图像。在第一实施例中，真值模型输出通过在第二信号值处修剪原始图像来生成。如果原始图像没有包括足够的高频成分，那么通过缩小原始图像获取的图像可以用作真值模型输出。在这种情况下，在步骤S102中的模糊图像的生成中也类似地执行缩小。步骤S106可以在步骤S101之后且步骤S107之前的任何时间执行。

随后，在步骤S107中，通过使用机器学习模型，计算单元101c基于模糊图像生成饱和影响图和模型输出。图1是机器学习模型的配置图。在这个实施例中，使用图1中所示的机器学习模型，但是本发明不限于此。模糊图像201和辉度饱和图202被输入到机器学习模型。辉度饱和图202是指示(表示、说明或识别)模糊图像201的辉度饱和区域的图，辉度饱和区域是信号值等于或大于第二信号值的区域。辉度饱和图202可以通过例如利用第二信号值对模糊图像201进行二值化来生成。然而，辉度饱和图202不是必需的。模糊图像201和辉度饱和图202在通道方向上级联并且输入到机器学习模型。然而，本发明不限于此。例如，可以将模糊图像201和辉度饱和图202中的每一个转换成特征图，并且特征图可以在通道方向上级联。辉度饱和图202以外的信息可以被添加到输入。

机器学习模型包括多个层并且获得对层的输入与每个层中的权重的线性和。权重的初始值可以由随机数等确定。在第一实施例中，机器学习模型是使用输入和滤波器的卷积(滤波器的每个元素的值与权重对应，并且卷积可以包括与偏置的和)作为线性和的CNN，但是本发明不限于此。在每个层中，根据需要，使用诸如修正线性单元(ReLU)和sigmoid函数的激活函数来执行非线性转换。另外，如果有必要，机器学习模型可以包括残差块或跳跃连接(也被称为快捷连接)。在输入经过多个层(在这个实施例中为16个卷积层)之后，生成饱和影响图203。在这个实施例中，饱和影响图203通过获得每个元素的辉度饱和图202与层211的输出之和来获取，但是本发明不限于此。饱和影响图可以直接生成为层211的输出。替代地，对层211的输出执行的任意处理的结果可以用作饱和影响图203。

随后，饱和影响图203和模糊图像201在通道方向上级联并且输入到后续层并通过多个层(在第一实施例中为16个卷积层)。作为结果，生成模型输出204。模型输出204通过获得每个元素的模糊图像201与层212的输出之和来生成，但是配置不限于此。在第一实施例中，在每个层中，执行与64种3×3滤波器的卷积(然而，层211和212中的滤波器类型的数量与模糊图像201的通道的数量相同)，但是本发明不限于此。

随后，在步骤S108中，更新单元101d基于误差函数更新机器学习模型的权重。在第一实施例中，误差函数是饱和影响图203与饱和影响真值图之间的误差和模型输出204与真值模型输出之间的误差的加权和。均方误差(MSE)被用于计算误差。对于每一个权重为1。然而，误差函数和权重不限于这些。反向传播等可以用于更新权重。可以相对于残差成分获得误差。在残差成分的情况下，要使用的误差是饱和影响图203与辉度饱和图202之间的差异成分和饱和影响真值图与辉度饱和图202之间的差异成分之间的误差。类似地，使用模型输出204与模糊图像201之间的差异成分和真值模型输出与模糊图像201之间的差异成分之间的误差。

随后，在步骤S109中，更新单元101d确定机器学习模型的训练是否已完成。可以通过权重更新的重复次数是否已达到预定次数、更新时权重的改变量是否小于预定值等来确定完成。如果在步骤S109中确定训练尚未完成，那么过程返回到步骤S101，并且获取单元101b获取一个或多个新的原始图像。另一方面，如果确定训练已完成，那么更新单元101d结束训练并且将关于机器学习模型的配置和权重的信息存储在存储器101a中。

利用以上训练方法，机器学习模型可以估计指示(表示、说明或识别)模糊图像(估计时的捕获图像)的辉度饱和区域中的模糊和扩展的被摄体的信号值的大小和范围的饱和影响图。通过显式地估计饱和影响图，机器学习模型可以对相应的合适区域执行针对饱和的模糊图像和针对非饱和的模糊图像的模糊锐化，这使得可以阻止伪影的发生。

接下来，参考图6，给出使用经训练的机器学习模型的对于捕获图像的模糊锐化的描述，模糊锐化由图像处理装置103执行。图6是模型输出生成的流程图。图像处理装置103包括存储器103a、获取单元(获取任务)103b和锐化单元(第一生成单元、第二生成单元、第一生成任务、第二生成任务)103c，并且这些单元执行以下步骤。

首先，在步骤S201中，获取单元103b获取机器学习模型和通过光学系统102a获取的捕获图像。从存储器103a获取关于机器学习模型的配置和权重的信息。随后，在步骤S202中，通过使用机器学习模型，锐化单元(第一生成单元、第一生成任务)103c从捕获图像生成去模糊图像(模型输出、第一图像)，在该去模糊图像(模型输出、第一图像)中捕获图像的模糊被锐化。即，锐化单元103c通过校正捕获图像的模糊成分来生成第一图像。机器学习模型如训练的情况那样具有图1中所示的配置。如训练时那样，通过生成并且输入指示(表示、说明或识别)捕获图像的辉度饱和区域的辉度饱和图来生成饱和影响图和模型输出。

接下来，参考图7，给出由图像处理装置103执行的组合捕获图像和模型输出(调整锐化强度)的描述。图7是锐化强度调整的流程图。

首先，在步骤S211中，锐化单元103c基于饱和影响图生成在组合捕获图像和模型输出时使用的权重图。详细描述权重图的生成。权重图确定在要获取捕获图像和去模糊图像的加权平均时每个图像的比例，并且具有从0到1的连续信号值。例如，在权重图的值确定捕获图像的比例的情况下，如果该值为1，那么加权平均图像是捕获图像。如果权重图的值为0.5，那么加权平均图像是捕获图像的像素值的50％和去模糊图像区域的像素值的50％相加的图像。在这个实施例中，权重图的值表示捕获图像的权重。当要确定权重时，饱和影响图通过设置的信号值进行规范化，并且这被用作捕获图像的权重图。改变饱和影响图通过其进行规范化的信号值可以调整模糊锐化效果与副作用之间的平衡。

在捕获图像中，辉度饱和区域周围的区域包括由辉度饱和造成的被摄体信息的减少，因此与对其它区域的模糊锐化相比，对那个区域的模糊锐化(减少的被摄体信息的估计)是困难的。因此，在辉度饱和区域周围，模糊锐化有可能造成副作用(成环、下冲等)。为了抑制这个副作用，将模型输出和捕获图像组合。此时，通过基于饱和影响图将它们组合，可以通过仅在有可能发生副作用的辉度饱和区域周围增加捕获图像的权重来减小副作用，同时在非饱和的模糊图像中减小模糊锐化效果的降低。

随后，在步骤S212中，获取单元103b获取关于捕获图像的亮度的信息或关于捕获图像的场景的信息。这里，关于捕获图像的亮度的信息是与捕获图像的信号值相关的统计量，并且是基于捕获图像的信号值的均值、中值、方差和直方图中的至少一个的信息。与捕获图像的信号值相关的统计量(其是关于捕获图像的亮度的信息)可以与整个捕获图像相关，或者可以使用捕获图像(或下面描述的第三图像)中的每个划分区域的统计量(与每个划分区域相关的统计量)。

关于捕获图像的场景的信息是关于捕获图像的场景的类型和关于在对捕获图像进行成像时使用的成像模式的信息。这里，信息是关于诸如“白天”和“夜景”的场景的类型或关于诸如“夜景成像模式”的成像模式的信息，使得可以确定捕获图像的亮度的差异。可以通过确定捕获图像的场景(确定场景的类型)、或者通过获取在捕获图像中写入的关于场景的类型或关于成像模式的信息来获取关于捕获图像的场景的信息。

在这个实施例中，获取捕获图像的平均信号值作为关于捕获图像的亮度的信息。然而，在获取捕获图像的平均信号值的情况下，如果捕获图像包括许多饱和区域，那么获取大的值作为平均信号值(即使在使用诸如夜景的暗图像时)，并且该图像可以被确定为亮图像。因此，可以从通过从捕获图像移除饱和影响图(使用关于饱和区域的信息和捕获图像的相减)而获取的第三图像获取平均信号值。在使用第三图像并且从捕获图像中的非饱和区域获取平均信号值的情况下，可以恰当地确定捕获图像是亮场景还是暗场景。

随后，在步骤S213中，锐化单元103c基于关于捕获图像的亮度的信息或关于捕获图像的场景的信息调整捕获图像的权重图。即，权重图基于关于捕获图像的亮度的信息或关于捕获图像的场景的信息、以及基于捕获图像中的饱和区域的信息生成。

在使用捕获图像(或第三图像)的平均信号值作为关于捕获图像的亮度的信息的情况下，权重图被调整使得平均信号值(即，捕获图像(或第三图像)越亮)越大，捕获图像的权重越大。具体地，将平均信号值与权重图的调整值之间的关系存储为线性函数，获取与捕获图像的平均信号值对应的调整值，并且将获取的调整值应用到权重图(权重图乘以调整值)。

图8是相对于平均信号值的权重图的调整值的解释图。在图8中，水平轴表示平均信号值，并且垂直轴表示权重图的调整值。例如，使用与平均信号值对应并且从如图8中所示的关系121获取的调整值。然而，平均信号值与权重图调整值之间的关系不限于此。在对捕获图像的每个划分区域获取平均信号值的情况下，可以将区域的相应的平均信号值的分布转换成表示分别与捕获图像的像素对应的平均信号值的平均信号值图，并且可以通过获取根据像素中的相应的平均信号值的调整值来调整权重图。

在步骤S203中获取关于捕获图像的场景的信息的情况下，基于例如捕获图像是否是暗图像调整权重图。例如，如果捕获图像是亮图像，那么按原样使用权重图，并且如果捕获图像是诸如夜景的暗图像，那么通过将值减半来调整权重图。

在获取捕获图像的信号值的均值、中值、方差或直方图作为与捕获图像的信号值相关的统计量的情况下，权重图被调整使得统计量越大，捕获图像的权重越大。例如，在使用捕获图像的信号值的直方图的情况下，权重图被调整使得直方图的重心或峰越高，捕获图像的权重越大。

图9A图示了作为亮场景的白天的捕获图像，并且图9B图示了对于图9A中所示的捕获图像的饱和影响图。图10A图示了作为暗场景的夜景的捕获图像，并且图10B图示了对于图10A中所示的捕获图像的饱和影响图。图11是基于作为亮场景的白天的捕获图像的图9B中所示的饱和影响图的权重根据图像的平均信号值被调整的权重图，并且权重图根据图像的平均信号值被大幅地调整。通过大幅地调整权重图，可以减小亮场景中的明显副作用。图12是基于作为暗场景的夜景的捕获图像的图10B中所示的饱和影响图的权重根据图像的平均信号值被调整的权重图，并且权重图根据图像的平均信号值被轻微地调整。由于在暗场景中副作用不明显，因此可以通过轻微地调整权重图来维持效果。

在这个实施例中，由于权重图基于饱和影响图生成，因此将权重图应用到饱和区域和饱和区域周围，但是可以使用用于非饱和区域的第二权重图，第二权重图不同于基于饱和影响图(第一权重图)的权重图(第一权重图)。另外，可以将用于饱和区域的第三权重图应用到从饱和影响图计算的权重图(第一权重图)。通过使用第二权重图和第三权重图，可以对饱和区域和非饱和区域中的每一个调整强度。在那种情况下，权重图可以被计算为(1-第一权重图)×第二权重图+第一权重图×调整值×第三权重图的权重图。另外，获取的权重图可以根据用户的指令调整。例如，通过将整个权重图乘以系数来调整强度。

随后，在步骤S214中，锐化单元(第二生成单元、第二生成任务)103c通过基于在步骤S213中调整的权重图获得捕获图像和去模糊图像(模型输出、第一图像)的加权平均来生成强度调整的图像(第二图像)205。即，锐化单元103c基于捕获图像、第一图像和权重图生成第二图像。这个实施例对于去模糊图像使用通过从所有值为1的图减去用于捕获图像的权重图而获取的权重图。

利用以上配置，可以提供一种图像处理系统，该图像处理系统可以在使用机器学习模型进行模糊锐化时根据亮度或场景生成在饱和区域周围具有合适的校正效果的图像。

第二实施例

接下来，给出根据本发明的第二实施例的图像处理系统的描述。在这个实施例中，给出通过作为与机器学习不同的方法的图像恢复处理执行的模糊锐化的描述。

首先，描述图像恢复处理的概要。当假设捕获图像(劣化图像)为g(x,y)、原始图像为f(x,y)、以及作为光学传递函数OTF的傅立叶对的点扩展函数PSF为h(x,y)时，以下等式(1)建立。

g(x,y)＝h(x,y)*f(x,y) (1)

这里，*表示卷积(卷积、相乘累加)，并且(x,y)表示捕获图像上的坐标。

当等式(1)进行傅立叶变换并且转换成频率平面上的显示格式时，获取由每个频率的乘积表示的等式(2)。

G(u,v)＝H(u,v)·F(u,v) (2)

这里，H表示通过对点扩展函数PSF(h)进行傅立叶变换而获得的光学传递函数OTF，并且G和F表示通过对劣化图像g和原始图像f分别进行傅立叶变换而获得的函数。(u,v)表示二维频率平面上的坐标，即，频率。

为了从捕获的劣化图像g获取原始图像f，可以如以下等式(3)中那样将两边除以光学传递函数H。

G(u,v)/H(u,v)＝F(u,v) (3)

然后，通过对F(u,v)(即，G(u,v)/H(u,v))执行傅立叶逆变换，并且使其返回到实平面，可以获取原始图像f(x,y)作为恢复图像。

当假设通过对H-1执行傅立叶逆变换来获取R时，可以类似地如以下等式(4)中那样通过对实平面上的图像执行卷积过程来获取原始图像f(x,y)。

g(x,y)*R(x,y)＝f(x,y) (4)

这里，R(x,y)被称为图像恢复滤波器。在图像是二维图像的情况下，图像恢复滤波器R一般变为具有分别与图像的像素对应的抽头(单元格)的二维滤波器。另外，一般而言，图像恢复滤波器R的抽头的数量(单元格的数量)越大，恢复准确度越好。因此，可以实现的抽头的数量根据所要求的图像质量、图像处理能力、像差特性等设置。由于图像恢复滤波器R需要至少反映像差特性，因此图像恢复滤波器R与对于水平和垂直方向中的每一个具有大约三个抽头的传统边缘增强滤波器不同。图像恢复滤波器R基于光学传递函数OTF设置，这使得可以以高的准确度校正幅度成分的劣化和相位成分的劣化两者。

实际的图像包括噪声成分，因此如果使用通过获得如上所述的光学传递函数OTF的倒数而创建的图像恢复滤波器R，那么噪声成分随着劣化图像的恢复而被大大地放大。这是因为在噪声的幅度被添加到图像的幅度成分的状态下，光学系统的MTF(幅度成分)增加，使得MTF在所有的频率上恢复为1。作为由光学系统造成的幅度劣化的MTF恢复为1，但是同时噪声的功率谱也增加，作为结果，噪声根据增加MTF的程度(即，恢复增益)被放大。

因此，如果包括噪声，那么不能获取用于观看的良好图像。这由以下等式(5-1)和(5-2)表达。

G(u,v)＝H(u,v)·F(u,v)+N(u,v) (5-1)

G(u,v)/H＝F(u,v)+N(u,v)/H(u,v) (5-2)

这里，N表示噪声成分。

对于包括噪声成分的图像，存在如在例如由以下等式(6)表示的维纳滤波器中那样根据图像信号和噪声信号的强度比SNR控制恢复的程度的方法。

这里，M(u,v)表示维纳滤波器的频率特性，并且|H(u,v)|表示光学传递函数OTF的绝对值，即，MTF。在这个方法中，对于每个频率，MTF越小，恢复增益(恢复的程度)越小，并且MTF越大，恢复增益越大。一般而言，图像拾取光学系统的MTF在低频侧高并且在高频侧低，因此这个方法实质上减小了图像的高频侧的恢复增益。

随后，参考图13和14描述图像恢复滤波器。图13和14是图像恢复滤波器的解释图。图像恢复滤波器的抽头的数量根据图像拾取光学系统的像差特性和所要求的恢复准确度确定。图13中的图像恢复滤波器是作为示例包括11×11抽头的二维滤波器。在图13中，省略了每个抽头的值(系数)。在图14中图示了这个图像恢复滤波器的一截面。理想地，图像恢复滤波器的抽头的相应值(系数值)的分布具有将因像差在空间上扩展的信号值(PSF)恢复到原始的一点的功能。

图像恢复滤波器的抽头在分别与图像的像素相关联的同时在图像恢复处理的过程中经受卷积过程(卷积、相乘累加)。在卷积过程中，为了改善预定像素的信号值，那个像素与图像恢复滤波器的中心对准。然后，对于图像和图像恢复滤波器的每个对应(相关联)的像素，图像的信号值和滤波器的系数值相乘，并且中心像素的信号值利用乘积的和替换。

随后，参考图15A至16B，给出实空间和频率空间中的图像恢复的特性的描述。图15A和15B是点扩展函数PSF的解释图，图15A图示了图像恢复之前的点扩展函数PSF，并且图15B图示了图像恢复之后的点扩展函数PSF。图16A和16B是光学传递函数OTF的幅度成分MTF((M)，图16A)和相位成分PTF((P)，图16B)的解释图。在图16A的(M)中，断线(a)表示图像恢复之前的MTF，并且交替的长短虚线(b)表示图像恢复之后的MTF。在图16B的(P)中，断线(a)表示图像恢复之前的PTF，并且交替的长短虚线(b)表示图像恢复之后的PTF。如图15A中所示，图像恢复之前的点扩展函数PSF具有不对称的扩展，这造成相位成分PTF相对于频率具有非线性值。由于图像恢复处理执行校正使得幅度成分MTF被放大并且相位成分PTF变为零，因此图像恢复之后的点扩展函数PSF具有对称且锐利的形状。

如上所述，可以通过对基于图像拾取光学系统的光学传递函数OTF的逆函数设计的函数执行傅立叶逆变换来获取图像恢复滤波器。在这个实施例中使用的图像恢复滤波器可以适当地改变，例如可以使用如上所述的维纳滤波器。在使用维纳滤波器的情况下，如果对等式(6)执行傅立叶逆变换，那么可以创建要与图像实际卷积的实空间图像恢复滤波器。

由于像差产生的光学传递函数(OTF)即使在一个成像状态下也依赖于图像拾取光学系统的图像高度(图像位置)而改变，因此需要根据图像高度改变要使用的图像恢复滤波器。另一方面，在光学系统的渐晕的影响小的情况下，由于其影响随着F数增加而变为主导的衍射产生的光学传递函数(OTF)可以视为相对于图像高度统一的OTF。

在图像恢复处理的校正目标不包括像差而是衍射(衍射模糊)的情况下，图像恢复滤波器仅依赖于孔径值和光的波长，并且不依赖于图像高度(图像位置)。因此，统一(相同)的图像恢复滤波器可以用于一个图像。即，用于校正衍射模糊的图像恢复滤波器基于由于根据孔径值生成的衍射模糊产生的光学传递函数而生成。相对于波长，可以通过计算多个波长处的光学传递函数并且基于假设的光源的光谱或关于图像传感器的光接收灵敏度的信息对每个波长进行加权来生成每个颜色成分的光学传递函数。替代地，可以对每个颜色成分使用预定的代表性波长来执行计算。然后，可以基于每个颜色成分的光学传递函数生成图像恢复滤波器。

因此，在校正目标仅为衍射的情况下，通过预先存储依赖于孔径值的多个图像恢复滤波器，可以通过根据关于孔径值的成像条件对图像使用统一(相同)的图像恢复滤波器来执行处理。还可以考虑由像素开口的形状造成的开口劣化成分和光学低通滤波器的特性。

接下来，参考图17描述根据这个实施例的图像处理系统200。图17是图像处理系统200的框图。图像处理系统200的外观图如第一实施例中描述的图3中所示。图像处理系统200包括经由有线或无线网络连接的图像处理装置203。图像处理装置203经由有线或无线网络连接到图像拾取装置202、显示装置204、记录介质205和输出装置206中的每一个。

通过使用图像拾取装置202对被摄体空间进行成像而获取的捕获图像被输入到图像处理装置203。捕获图像因图像拾取装置202中的光学系统202a的像差和衍射以及因图像拾取装置202中的图像传感器202b的光学低通滤波器而被模糊，并且关于被摄体的信息减少。图像处理装置203通过利用图像恢复处理对捕获图像执行模糊锐化来生成去模糊图像。另外，图像处理装置203获取饱和影响图。稍后将描述饱和影响图的细节。图像处理装置203还具有通过获得捕获图像和去模糊图像的加权平均来调整模糊锐化的强度的功能。用户可以在检查显示装置204上显示的图像的同时调整模糊锐化的强度。强度调整的去模糊图像被存储在存储器203a或记录介质205中，并且根据需要被输出到诸如打印机的输出装置206。捕获图像可以是灰度的或者可以包括多个颜色成分。捕获图像可以是未显影的RAW图像或已显影的图像。

接下来，参考图18，给出由图像处理装置203执行的对捕获图像的模糊锐化的描述。图18是去模糊图像生成的流程图。图像处理装置203包括存储器203a、获取单元203b和锐化单元203c，并且这些构件执行以下步骤。

首先，在步骤S301中，获取单元203b获取捕获图像。随后，在步骤S302中，图像处理装置203获取要用于稍后描述的图像恢复处理的图像恢复滤波器。在这个实施例中，给出基于成像条件获取像差信息(光学信息)并且基于像差信息获取图像恢复滤波器的示例的描述。

首先，图像处理装置获取在图像拾取装置通过成像生成捕获图像时使用的成像条件(成像条件信息)。成像条件除了图像拾取光学系统的焦距、孔径值(F数)和成像距离之外还包括关于图像拾取装置的识别信息(相机ID)。另外，在其图像拾取光学系统可更换的图像拾取装置的情况下，成像条件可以包括关于图像拾取光学系统(可更换镜头)的识别信息(镜头ID)。如上所述，成像条件信息可以获取为附到捕获图像的信息，或者可以经由有线或无线通信或存储介质获取。

随后，图像处理装置203获取适合于成像条件的像差信息。在这个实施例中，像差信息是光学传递函数OTF。图像处理装置根据成像条件从预先存储的多个光学传递函数OTF选择并且获取合适的光学传递函数OTF。替代地，在孔径值、成像距离、变焦镜头的焦距等的成像条件是特定的成像条件的情况下，与那个成像条件对应的光学传递函数OTF可以通过插值过程从预先存储并且与其它成像条件对应的光学传递函数OTF生成。在这种情况下，可以减少要存储的光学传递函数OTF的数据的量。作为插值过程，例如使用双线性插值(线性插值)、双三次插值等，但是插值过程不限于此。

在这个实施例中，图像处理装置203获取光学传递函数OTF作为像差信息，但是像差信息不限于此。代替光学传递函数OTF，可以获取诸如点扩展函数PSF的像差信息。替代地，在这个实施例中，图像处理装置可以通过将像差信息拟合和近似到预定的函数来获取系数数据，并且可以从系数数据重构光学传递函数OTF或点扩展函数PSF。例如，可以通过使用Legendre多项式进行拟合来获取光学传递函数OTF。替代地，在拟合中可以使用其它函数，诸如Chebushev多项式。在这个实施例中，光学传递函数OTF离散地部署在捕获图像中的多个位置处。

随后，图像处理装置203将光学传递函数OTF转换成图像恢复滤波器，即，通过使用部署在多个位置处的光学传递函数OTF来生成图像恢复滤波器。图像恢复滤波器通过基于光学传递函数OTF创建频率空间中的恢复滤波器特性并且通过傅立叶逆变换将它转换成实空间滤波器(图像恢复滤波器)来生成。

在图像恢复处理的校正目标是不包括像差并且不依赖于图像高度(图像位置)的模糊(诸如衍射(衍射模糊))的情况下，统一(相同)的光学传递函数OTF或统一(相同)的图像恢复滤波器可以用于一个图像。

以上描述了图像恢复滤波器的生成和获取，但是本发明不限于此，并且图像恢复滤波器可以预先生成和存储并且基于成像条件获取。

随后，在步骤S303中，锐化单元203c通过对捕获图像执行图像恢复处理来生成去模糊图像(第一图像)，在该模糊图像(第一图像)中捕获图像的模糊被锐化。图像恢复处理基于在步骤S302中获取的图像恢复滤波器执行。

在图像恢复滤波器的卷积中，放置图像恢复滤波器的位置以外的位置处的像素可以通过使用放置在邻近的多个滤波器进行插值来生成。此时，图像恢复滤波器包括捕获图像中的第一位置处的第一图像恢复滤波器和捕获图像中的第二位置处的第二图像恢复滤波器。第一图像恢复滤波器使用展开的光学传递函数生成。第二图像恢复滤波器通过使用第一图像恢复滤波器执行插值来生成。通过执行这样的插值过程，可以对例如每个像素改变图像恢复滤波器。

随后，在步骤S304中，锐化单元203c估计饱和影响图。在这个实施例中，饱和影响图基于捕获图像中的辉度饱和区域和图像拾取光学系统的像差信息生成。即，饱和影响图通过将表示图像拾取光学系统的模糊的PSF与作为指示(表示、说明或识别)捕获图像中的辉度饱和区域的图的辉度饱和图进行卷积来估计。在辉度饱和的区域(辉度饱和区域)中关于被摄体空间的结构的信息丢失，因此可以使用通过估计辉度饱和区域中的原始信号值而获取的辉度饱和图。

接下来，图像处理装置203组合捕获图像和去模糊图像。组合捕获图像和去模糊图像如图7的流程图中所示，因此省略其详细描述。在这个实施例中，作为模糊锐化的方法使用图像恢复处理，但是方法不限于此，并且可以是诸如锐化和非锐化掩模的各种锐化方法。

利用以上配置，可以提供一种图像处理系统，该图像处理系统可以在模糊锐化时根据亮度或场景生成在饱和区域周围具有合适的校正效果的图像。

第三实施例

接下来，给出根据本发明的第三实施例的图像处理系统300的描述。图19是图像处理系统300的框图。图20是图像处理系统300的外观图。图像处理系统300包括训练装置301、图像拾取装置302和图像处理装置303。有线或无线网络连接训练装置301和图像处理装置303、以及图像处理装置303和图像拾取装置302。图像拾取装置302包括光学系统321、图像传感器322、存储器323、通信单元324和显示单元325。捕获图像经由通信单元324被发送到图像处理装置303。

图像处理装置303经由通信单元332接收捕获图像，并且通过使用存储在存储器331中的关于机器学习模型的配置和权重的信息来执行模糊锐化。关于机器学习模型的配置和权重的信息已通过由训练装置301执行的训练获取、预先从训练装置301获取并且存储在存储器331中。图像处理装置303具有调整模糊锐化的强度的功能。捕获图像的模糊已被锐化的去模糊图像(模型输出)和包括经调整的强度的加权平均图像被发送到图像拾取装置302、存储在存储器323中、并且显示在显示单元325上。

由训练装置301执行的生成学习数据和学习权重(学习阶段)、由图像处理装置303执行的使用经训练的机器学习模型对捕获图像进行模糊锐化(估计阶段)以及组合捕获图像和模型输出与第一实施例中的类似。因此，省略其描述。

利用以上配置，可以提供一种图像处理系统，该图像处理系统可以在使用机器学习模型进行模糊锐化时根据亮度或场景生成在饱和区域周围具有合适的校正效果的图像。

第四实施例

接下来，给出根据本发明的第四实施例的图像处理系统400的描述。图21是图像处理系统400的框图。图22是图像处理系统400的外观图。图像处理系统400包括学习装置401、镜头装置402、图像拾取装置403、控制装置(第一装置)404、图像估计装置(第二装置)405以及网络406和407。学习装置401和图像估计装置405是例如服务器。控制装置404是诸如个人计算机和移动终端的由用户操作的设备。学习装置401和图像估计装置405可以彼此通信，并且控制装置404和图像估计装置405可以彼此通信。

学习装置401包括存储器401a、获取单元401b、计算单元401c和更新单元401d，并且学习机器学习模型的权重，该机器学习模型对已使用镜头装置402和图像拾取装置403成像的捕获图像执行模糊锐化。学习方法与第一实施例的学习方法类似，因此省略其描述。图像拾取装置403包括图像传感器403a，并且图像传感器403a对由镜头装置402形成的光学图像进行光电转换以便获取捕获图像。镜头装置402和图像拾取装置403彼此可拆卸地附接，并且可以彼此以多个类型组合。

控制装置404包括通信单元404a、显示单元404b、存储器404c和获取单元404d，并且根据用户的操作控制要对从有线或无线连接的图像拾取装置403获取的捕获图像执行的处理。替代地，由图像拾取装置403成像的捕获图像可以预先存储在存储器404c中，并且控制装置404可以读取捕获图像。

图像估计装置405包括通信单元405a、获取单元405b、存储器405c和锐化单元405d。图像估计装置405根据来自经由网络406连接的控制装置404的请求对捕获图像执行模糊锐化处理。图像估计装置405在模糊锐化的估计时或预先从经由网络406连接的学习装置401获取关于学习的权重的信息，并且将它用于对捕获图像的模糊锐化的估计。模糊锐化的估计之后的估计图像在锐化强度被调整之后再次被发送到控制装置404、存储在存储器404c中，并且显示在显示单元404b上。由学习装置401执行的生成学习数据和学习权重(学习阶段)如第一实施例中那样，因此省略其描述。

接下来，参考图23，给出由控制装置404和图像估计装置405执行的对捕获图像的模糊锐化的描述。图23是模型输出和锐化强度调整的流程图。

首先，在步骤S401中，获取单元404d获取捕获图像和由用户指定的锐化的强度。随后，在步骤S402中，通信单元404a将捕获图像和与模糊锐化估计处理的执行相关的请求发送到图像估计装置405。

随后，在步骤S403中，通信单元405a接收并且获取发送的捕获图像和与处理相关的请求。随后，在步骤S404中，获取单元405b从存储器405c获取关于对应于(适合于)捕获图像的学习的权重的信息。权重信息预先从存储器401a读取并且存储在存储器405c中。随后，在步骤S405中，锐化单元405d通过使用机器学习模型从捕获图像生成去模糊图像(模型输出、第一图像)，在该去模糊图像(模型输出、第一图像)中捕获图像的模糊被锐化。机器学习模型如训练的情况那样具有图1中所示的配置。如训练时那样，通过生成并且输入指示(表示、说明或识别)捕获图像的辉度饱和区域的辉度饱和图来生成饱和影响图和模型输出。

随后，在步骤S406中，锐化单元405d生成权重图。通过使用如第一实施例中的方法，生成权重图并且组合捕获图像和去模糊图像(模型输出)。可以通过根据由用户指定的锐化的强度调整权重图来调整强度。例如，可以通过改变图8中所示的平均信号值和调整值的关系表达式来调整饱和区域中的强度。替代地，在使用与非饱和区域中的强度相关的第二权重图和与饱和区域中的强度相关的第三图的情况下，可以通过调整第二和第三图来调整非饱和区域和饱和区域中的强度。替代地，可以调整整个权重图。

随后，在步骤S407中，锐化单元405d基于权重图组合捕获图像和去模糊图像(模型输出)。随后，在步骤S408中，通信单元405a将组合图像发送到控制装置404。随后，在步骤S409中，通信单元404a获取发送的组合图像。

利用以上配置，可以提供一种图像处理系统，该图像处理系统可以在使用机器学习模型进行模糊锐化时根据亮度或场景生成在饱和区域周围具有合适的校正效果的图像。

其它实施例

本发明的实施例还可以通过读出并且执行记录在存储介质(其也可以被更完整地称为‘非暂时性计算机可读存储介质’)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能和/或包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机、以及通过由系统或装置的计算机通过例如读出并且执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能和/或控制一个或更多个电路以执行上述实施例中的一个或更多个的功能而执行的方法来实现。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独的计算机或单独的处理器的网络，以读出并且执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储设备、光盘(诸如紧凑盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)^TM)、闪存设备、存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

根据每个实施例，可以提供图像处理方法、图像处理装置、图像处理系统和存储介质，它们中的每一个可以根据图像的亮度或场景恰当地执行去模糊。

虽然已参考示例性实施例描述了本发明，但是要理解的是，本发明不限于所公开的示例性实施例。以下权利要求的范围要被赋予最广泛的解释以便涵盖所有这样的修改以及等同的结构和功能。

Claims (19)

1.一种图像处理方法，包括：

获取通过成像获得的捕获图像；

通过校正所述捕获图像的模糊成分来生成第一图像；以及

基于所述捕获图像、所述第一图像、以及权重信息生成第二图像，

其特征在于所述权重信息基于(i)关于所述捕获图像的亮度的信息或关于所述捕获图像的场景的信息和(ii)关于所述捕获图像中的饱和区域的信息而生成。

2.根据权利要求1所述的图像处理方法，其中在生成所述第一图像时，所述模糊成分通过将所述捕获图像输入到机器学习模型中来校正。

3.根据权利要求1所述的图像处理方法，其中关于所述捕获图像的亮度的信息是与所述捕获图像的信号值相关的统计量。

4.根据权利要求3所述的图像处理方法，其中所述统计量是所述信号值的均值、中值、方差、以及直方图中的至少一个。

5.根据权利要求1所述的图像处理方法，其中关于所述捕获图像的场景的信息是关于所述捕获图像的场景的类型的信息或关于在所述成像中使用的成像模式的信息。

6.根据权利要求1所述的图像处理方法，其中关于所述饱和区域的信息是指示(i)所述饱和区域中的被摄体已因所述模糊成分而扩展的区域的范围和(ii)与所述区域对应的信号值之间的关系的信息。

7.根据权利要求6所述的图像处理方法，其中关于所述饱和区域的信息通过将所述捕获图像输入到机器学习模型中来获取。

8.根据权利要求6所述的图像处理方法，其中关于所述饱和区域的信息基于所述饱和区域和关于在所述成像中使用的光学系统的光学信息而获取。

9.根据权利要求6所述的图像处理方法，其中所述权重信息基于第三图像而生成，所述第三图像通过使用所述捕获图像和关于所述饱和区域的信息的相减来获得。

10.根据权利要求9所述的图像处理方法，其中所述权重信息基于所述第三图像中的多个像素当中的像素的信号值而生成，所述像素与所述捕获图像中的非饱和区域中的像素对应。

11.根据权利要求9所述的图像处理方法，其中所述权重信息基于与所述第三图像中的每个划分区域的信号值相关的统计量而生成。

12.根据权利要求9所述的图像处理方法，其中，随着所述第三图像的亮度增加，由所述权重信息指示的所述捕获图像的权重增加。

13.根据权利要求12所述的图像处理方法，其中所述第三图像的亮度基于所述第三图像的平均信号值而确定。

14.根据权利要求1所述的图像处理方法，其中，随着所述捕获图像的亮度增加，由所述权重信息指示的所述捕获图像的权重增加。

15.根据权利要求1所述的图像处理方法，其中所述模糊成分基于关于在所述成像中使用的光学系统的光学信息。

16.根据权利要求1至15中的任一项所述的图像处理方法，其中在生成所述第二图像时，所述第二图像通过基于所述权重信息获得所述捕获图像和所述第一图像的加权平均来生成。

17.一种图像处理装置，包括：

获取单元，所述获取单元被配置为获取通过成像获得的捕获图像；

第一生成单元，所述第一生成单元被配置为通过校正所述捕获图像的模糊成分来生成第一图像；以及

第二生成单元，所述第二生成单元被配置为基于所述捕获图像、所述第一图像、以及权重信息生成第二图像，

其特征在于所述权重信息基于(i)关于所述捕获图像的亮度的信息或关于所述捕获图像的场景的信息和(ii)关于所述捕获图像中的饱和区域的信息而生成。

18.一种图像处理系统，所述图像处理系统包括第一装置和第二装置，所述第一装置和所述第二装置能够彼此通信，

其特征在于所述第一装置包括发送单元，所述发送单元被配置为向所述第二装置发送与对通过成像获得的捕获图像的处理的执行相关的请求，

其中所述第二装置包括：

接收单元，所述接收单元被配置为接收所述请求；

获取单元，所述获取单元被配置为获取所述捕获图像；

第一生成单元，所述第一生成单元被配置为基于所述请求通过校正所述捕获图像的模糊成分来生成第一图像；以及

第二生成单元，所述第二生成单元被配置为基于所述捕获图像、所述第一图像、以及权重信息生成第二图像，

其中所述权重信息基于(i)关于所述捕获图像的亮度的信息或关于所述捕获图像的场景的信息和(ii)关于所述捕获图像中的饱和区域的信息而生成。

19.一种存储计算机程序的非暂时性计算机可读存储介质，所述计算机程序使计算机执行根据权利要求1至16中的任一项所述的图像处理方法。

Images