CN117795974A - 支持图像数据去模糊的电子装置和方法 - Google Patents

Abstract

根据本公开实施例的电子装置包括：相机模块，其用于生成图像数据；处理器，其接收图像数据并基于图像数据生成重建的图像数据；显示模块，其显示重建的图像数据。处理器识别图像数据的类别，选择与该类别相对应的滤波器，并将所选择的滤波器应用于图像数据以生成重建的图像数据。

Description

支持图像数据去模糊的电子装置和方法

技术领域

本公开涉及一种电子装置，并且更具体地，涉及一种支持图像数据去模糊的电子装置和方法。

背景技术

电子装置可以使用相机模块来获取图像数据。由于各种原因，由相机模块获得的图像数据会模糊。模糊可能会降低图像数据的质量，有时可能会使图像数据无效。模糊的一些原因可能包括捕获图像数据时的条件。例如，对焦不清晰、捕获对象的突然运动以及校准范围外的手抖动都会导致图像数据模糊。由于捕获图像数据时的条件而发生的模糊可以通过重新捕获图像数据来克服。模糊的其他原因可能来自电子装置或相机模块的物理特性。由于电子装置或相机模块的物理特性而导致的模糊，可能会在捕获图像数据的任何时间产生。即使通过重新捕获图像数据也无法解决由电子装置或相机模块的物理特性引起的模糊。

发明内容

技术问题

本公开旨在提供一种支持高速去模糊的电子装置和方法，以去除由电子装置或相机模块的物理特性引起的模糊。

技术方案

根据本公开的实施例，一种电子装置包括：相机模块，所述相机模块被配置为生成图像数据；处理器，所述处理器被配置为接收图像数据并基于所述图像数据生成修复的图像数据；以及显示模块，所述显示模块用于显示修复的图像数据。所述处理器还被配置为识别所述图像数据的类别、选择与所述类别相对应的滤波器、以及通过将所选择的滤波器应用到所述图像数据来生成所述修复的图像数据。

根据本公开的实施例，一种电子装置包括：存储装置，所述存储装置用于存储图像数据和劣化的图像数据；处理器，所述处理器被配置为接收所述图像数据和所述劣化的图像数据，识别所述劣化的图像数据的类别，并且选择分别与将所述劣化的图像数据修复为所述图像数据的所述类别相对应的滤波器；以及存储器，所述存储器用于存储查找表，所述查找表包括所述类别和所选择的滤波器之间的关联信息。

根据本公开的实施例，一种用于图像数据去模糊的方法包括：接收原始图像数据和第一劣化的图像数据；从所述第一劣化的图像数据识别类别；识别分别对应于所述类别的滤波器，以将所述第一劣化的图像数据修复为接近所述原始图像数据；接收第二劣化的图像数据；从所述第二劣化的图像数据识别所述类别；并且通过将分别对应于所述类别的所述滤波器应用于所述第二劣化的图像数据来生成修复的图像数据。

有益效果

根据本公开，实时识别图像数据的类别，并且使用与该类别相对应的滤波器来执行去模糊。因此，提供了一种用于实时去模糊的电子装置和方法，以去除由于电子装置或相机模块的物理特性而导致的模糊。

附图说明

图1示出了根据本公开的第一实施例的电子装置；

图2a、图2b、图2c、图2d和图2e示出了根据第一实施例的将本公开的电子装置实现为智能手机的示例；

图3a、图3b、图3c、图3d和图3e示出了根据第二实施例的将本公开的电子装置实现为智能手机的示例；

图4是示出根据本公开的实施例的执行滤波器训练的电子装置的框图；

图5示出了由图4的电子装置的处理器执行的学习模块的示例；

图6示出了由学习模块生成查找表的过程的示例；

图7示出了根据图6的方法识别劣化的图像数据的类别并选择滤波器的示例；

图8示出了学习模块通过重复应用滤波器为类别选择滤波器的过程的示例；

图9示出了通过基于深度学习的去模糊模块计算参考误差的示例；

图10示出了通过滤波器检测器基于深度学习来选择滤波器的示例；

图11示出了用于修复图3e的点扩散函数的滤波器的3D滤波的示例；

图12示出了缩小尺寸的滤波器的3D建模的示例；

图13示出了通过学习模块减小每个类别的滤波器的尺寸的过程的示例；

图14是示出根据各种实施例的网络环境中的电子装置的框图；

图15示出了通过图14的电子装置使用滤波器执行去模糊的处理的示例；

图16示出了由处理器执行的基于滤波器的去模糊模块的示例；以及

图17是示出根据各种实施例的相机模块的示例的框图。

具体实施方式

在下文中，将以详细、清楚的方式描述本公开的实施例，使得本公开所属领域的技术人员可以容易地实现本公开。

图1示出了根据本公开的第一实施例的电子装置100。参照图1，电子装置100包括处理器110、存储器120、相机模块130和显示模块140。处理器110可以执行电子装置100的操作系统、中间件或应用。处理器110可以包括主处理器111和辅处理器113。主处理器111可以包括中央处理单元(CPU)或应用处理器(AP)。

辅处理器113可以包括图形处理器(GPU)、神经处理器(NPU)、神经形态处理器、图像信号处理器(ISP)、数字信号处理器(DSP)、传感器集线器处理器或通信处理器。辅处理器113可以在主处理器111的请求下替代处理主处理器111的一些任务。

存储器120可以用于存储数据。存储器120可以包括易失性存储器122和非易失性存储器124。易失性存储器122可以包括各种存储器，例如静态随机存取存储器、动态随机存取存储器、相变随机存取存储器、铁电随机存取存储器、磁性随机存取存储器或电阻式随机存取存储器。易失性存储器122可以用作电子装置100的主存储器。例如，易失性存储器122可以临时存储由操作系统、中间件或应用执行的代码。易失性存储器122可以临时存储由操作系统、中间件或应用生成的数据。非易失性存储器124可以包括各种非易失性存储器，诸如NAND闪存、相变存储器、铁电存储器、磁存储器或电阻存储器。非易失性存储器124可以用作电子装置100的辅存储器。例如，非易失性存储器可以存储由操作系统、中间件或应用执行的原始代码。非易失性存储器可以存储由操作系统、中间件或应用生成的原始数据。

相机模块130可以捕获静止图像或运动图像。相机模块130可以包括至少一个透镜，并且可以基于通过至少一个透镜入射的光来产生与预定分辨率相对应的图像数据。图像数据可以通过处理器110存储在存储器120中。

显示模块140可以通过处理器110从存储器120接收图像数据。显示模块140可以显示接收到的图像数据。例如，显示模块140可以与诸如触摸板的输入装置结合实现。

例如，电子装置100可以被实现为移动装置，诸如智能手机、智能手表或智能平板。在下文中，参考电子装置100被实现为智能手机的示例来描述本公开的技术精神，但是本公开不限于应用于智能手机。

图2a、图2b、图2c、图2d和图2e示出了根据第一实施例的将本公开的电子装置100实现为智能手机100a的示例。图2a示出了智能手机100a的前表面，并且图2b示出了智能手机100a的后表面。图2b示出了智能手机100a的后表面。图2c是智能手机100a的分解立体图。图2d是沿着图2e的线I-I'截取的示例性截面图。图2e示出了当智能手机100a捕获图像数据时应用的物理特性。

参照图1和图2a，与电子装置100的显示模块140相对应的显示模块140可以设置在智能手机100a的前表面上。与图1的电子装置100的相机模块130的至少一部分相对应的第一相机模块131，可以设置为穿透显示模块140的至少一部分。

参照图1和图2b，与电子装置100的相机模块130的至少剩余部分相对应的第二相机模块132可以设置在智能手机100a的后表面上。例如，第二相机模块132可以被实现为包括各种组件，诸如广角相机、超广角相机、长焦相机、测距相机、红外相机或闪光灯。

参照图1和图2c，处理器110、存储器120和第一相机模块131可以设置在智能手机100a的显示模块140和后盖101之间。第二相机模块132可以被隐藏，但是以虚线示出以供参考。第二部分102的显示模块140可以具有孔140h。孔140h的位置可以对应于第一相机模块131的透镜的位置。

参照图1、图2c和图2d，显示模块140可以包括窗口W和下构件LM。下构件LM可以包括抗反射膜、触摸传感器、显示面板、功能构件等。例如，显示面板的像素PX如图2d所示。孔140h可以是穿过下构件LM的空的空间。例如，孔140h可以与第一相机模块131的镜头对准。

图2e示出了第一相机模块131的点扩散函数(PSF)的示例。点扩散函数可以表示代表当使用第一相机模块131捕获点时一个点的扩散程度的数据。点扩散函数可以基于相机模块131的物理特性。

例如，可以基于各种物理特性来确定点扩散函数，例如填充孔140h的材料的类型和特性、第一相机模块131的透镜的类型和特性、第一相机模块131的透镜的结构，或者第一相机模块131的图像传感器的类型和特性。

如图2e所示，当使用第一相机模块131捕获点时，可以获得围绕该点的圆形图像数据。点扩散函数可能引起使用第一相机模块131生成的图像数据的模糊。由于点扩散函数是基于第一相机模块131的物理特性，因此由于点扩散函数而导致的模糊可能在图像数据中的任何时间引起。

点扩散函数引起的模糊也可能同样发生在第二相机模块132以及第一相机模块131中。换句话说，在使用第二相机模块132生成的图像数据中也可能在任何时间出现模糊。

参照图1和图3a，与电子装置100的显示模块140相对应的显示模块140可以设置在智能手机100b的前表面上。显示模块140可以包括光透射区域140t。光透射区域140t可以透射从外部入射的光。参考图1和图3b，与电子装置100的相机模块130的至少剩余部分相对应的第二相机模块132可以设置在智能手机100b的后表面上。例如，第二相机模块132可以被实现为包括各种组件，诸如广角相机、超广角相机、长焦相机、测距相机、红外相机或闪光灯。

参照图1和图3c，处理器110、存储器120和第一相机模块131可以设置在智能手机100b的显示模块140和后盖101之间。第二相机模块132可以被隐藏，但是以虚线示出以供参考。光透射区域140t的位置可以对应于第一相机模块131的透镜的位置。例如，第一相机模块131可以被实现为显示器下相机(UDC)。

参照图1、图3c和图3d，显示模块140可以包括窗口W和下构件LM。下构件LM可以包括抗反射膜、触摸传感器、显示面板、功能构件等。例如，显示面板的像素PX如图3d所示。布置在光透射区域140t中的像素PX的数量或密度可以小于布置在除了光透射区域140t之外的区域中的像素PX的数量或密度。光可以通过其中像素PX未布置在光透射区域140t内的区域而被传输到第一相机模块131。用于阻挡光的底部金属层(BML)可以设置在光透射区域140t的像素PX下方。BML阻挡晶体管的光传输，从而防止晶体管发生故障。BML可能是光衍射的原因。

图3e示出了第一相机模块131的点扩散函数(PSF)的示例。点扩散函数可以表示代表当使用第一相机模块131捕获点时一个点的扩散程度的数据。点扩散函数可以基于第一相机模块131的物理特性。

例如，可以基于各种物理特性来确定点扩散函数，例如设置在光透射区域140t中的材料的类型和特性、第一相机模块131的透镜的类型和特性、第一相机模块131的透镜的结构、或者第一相机模块131的图像传感器的类型和特性。

如图3e所示，当使用第一相机模块131捕获点时，可以获得这样的图像数据形状，即从该点沿第一方向(例如，水平方向)和第二方向(例如，垂直方向)突出并且在第一方向和第二方向之间散射。点扩散函数可能导致使用第一相机模块131生成的图像数据模糊。由于点扩散函数是基于第一相机模块131的物理特性，因此由于点扩散函数而导致的模糊可能在图像数据中的任何时间引起。

与图2e的点扩散函数相比，图3e的点扩散函数可以具有沿着第一方向D1和垂直于第一方向的第二方向D2突出的形状。与图2d的显示模块140的孔140h(其主要被实现为空的空间)不同，图3d的显示模块140的透光区域140t可以包括像素，并且可以包括与像素相关联的BML。透射通过光透射区域140t的光在穿过显示模块140的光透射区域140t的组件(诸如像素)和BML之间时可以被衍射。因此，实现为UDC的第一相机模块131的点扩散函数可以占据比实现为非UDC的第一相机模块131的点扩散函数更大的范围。由实现为UDC的第一相机模块131生成的图像数据通常会比由实现为非UDC的第一相机模块131生成的图像数据具有更大的模糊。

为了去除点扩散函数引起的模糊，即，为了执行去模糊，可以使用深度学习。例如，可以基于深度学习来训练用于去除点扩散函数引起的模糊的去模糊模块。图1的处理器110可以通过将去模糊模块应用于由相机模块130生成的图像数据来去除点扩散函数模糊。

然而，基于深度学习的去模糊模块的缺点是运算速度低。去模糊模块可以执行多个卷积计算和调整大小计算，因此可能无法执行实时去模糊。去模糊模块可以延迟电子装置100生成图像数据的时间，并且特别是，当电子装置100生成视频时导致大的延迟。

本公开提供了一种用于去除(或修复)点扩散函数引起的模糊的装置或方法，其具有与基于深度学习的去模糊模块类似的质量，同时允许高速、实时处理。

图4是示出根据本公开的实施例的用于执行滤波器训练的电子装置200的框图。电子装置200可以执行滤波器学习以搜索适合于图像数据的类型的去模糊滤波器。例如，电子装置200可以包括高性能固定装置，诸如计算机或工作站。

参照图4，电子装置200可以包括处理器210、存储器220、装置驱动器230、存储装置240、调制解调器250、用户输出接口260和用户输入接口270。

处理器210可以执行电子装置200的操作系统、中间件或应用。处理器210可以包括主处理器211和辅处理器213。主处理器211可以包括中央处理单元(CPU)或应用处理器(AP)。

辅处理器213可以包括图形处理器(GPU)、神经处理器(NPU)、神经形态处理器、图像信号处理器(ISP)、数字信号处理器(DSP)、传感器集线器处理器或通信处理器。辅处理器213可以在主处理器211的请求下替代处理主处理器211的一些任务。

存储器220可以用作处理器210的操作存储器，并且可以用作电子装置200的主存储器或系统存储器。存储器220可以包括：易失性存储器，诸如静态随机存取存储器或动态随机存取存储器；或非易失性存储器，诸如相变随机存取存储器、铁电随机存取存储器、磁性随机存取存储器或电阻式随机存取存储器。

装置驱动器230可以根据处理器210的请求来控制外围装置，诸如存储装置240、调制解调器250、用户输出接口260和用户输入接口270。存储装置240可以包括：固定存储器装置，诸如硬盘驱动器或固态驱动器；或者可移动存储装置，诸如外部硬盘驱动器、外部固态驱动器或可移动存储卡。

调制解调器250可以提供与外部装置的远程通信。调制解调器250可以与外部装置执行无线或有线通信。调制解调器250可以通过诸如以太网、Wi-Fi、LTE、5G移动通信等的各种通信类型中的至少一种与外部装置通信。

用户输出接口260可以包括向用户提供信息的装置，诸如显示装置261和扬声器262。用户输入接口270可以包括从用户接收信息的装置，诸如鼠标271、键盘272等等。

图5示出了由图4的电子装置200的处理器210执行的学习模块300的示例。例如，学习模块300可以执行滤波器训练以搜索适合图像数据的特征的滤波器。

参照图4和图5，学习模块300可以接收图像数据ID、劣化的图像数据DID、元数据MD和捕获数据CD。图像数据ID可以是去除了点扩散函数引起的模糊的数据。例如，可以通过将去卷积滤波器(或去模糊模块)应用于由图2a、图2b和图2c的智能手机100a捕获的图像数据来获得图像数据ID。

可以通过使图像数据ID劣化来产生劣化的图像数据DID。例如，电子装置200可以接收图像数据ID并且然后可以使图像数据ID劣化，从而生成劣化的图像数据DID。电子装置200可以通过对图像数据ID应用(例如，卷积运算)图2e的点扩散函数或图3e的点扩散函数来生成劣化的图像数据DID。或者，使用相机模块130获得的原始图像数据(例如，尚未校正点扩散函数影响的图像数据)可以用作劣化的图像数据DID。

元数据MD可以包括关于图像数据ID或劣化的图像数据DID的信息。元数据MD可以包括以下至少一者：是否已从图像数据ID或劣化的图像数据DID识别出面部、关于图像数据ID或劣化的图像数据DID的亮度信息、关于图像数据ID或劣化的图像数据DID的噪声信息，以及图像数据ID或劣化的图像数据DID是否包含霾、薄雾或雾。例如，元数据MD可以与图像数据ID一起由相机模块生成。

捕获数据CD可以包括捕获图像数据ID时的状态信息。例如，捕获数据CD可以包括以下信息中的至少一者：关于图像数据ID的尺寸信息、关于图像数据ID的场景分类信息、关于图像数据ID的边缘方向信息、捕获图像数据ID时的自动对焦(AF)信息、捕获图像数据ID时的自动白平衡(AWE)信息，以及捕获图像数据ID时的自动曝光(AE)信息。例如，场景分类信息可以包括诸如远景、近景、人、夜间、白天、室内或室外的信息。

图像数据ID、劣化的图像数据DID、元数据MD和捕获数据CD可以存储在存储装置240中并且被传送到处理器210(例如，由处理器210执行的学习模块300)。

处理器210(例如，由处理器210执行的学习模块300)可以基于图像数据ID、劣化的图像数据DID、元数据MD和捕获数据CD来识别一个或更多个图像数据的类别，并选择(或检测或学习)分别对应于该类别的滤波器。学习模块300可以包括类别检测器310、滤波器检测器320和滤波器查找表330。

类别检测器310可以接收劣化的图像数据DID、元数据MD和捕获数据CD。类别检测器310可以基于劣化的图像数据DID、元数据MD和捕获数据CD中的至少一者来识别劣化的图像数据DID的类别。类别检测器310可以实时识别劣化的图像数据DID的类别，并将识别的类别信息CI传送到滤波器检测器320。

作为示例，类别检测器310可以基于元数据MD或捕获数据CD中包括的信息的值来识别类别。类别检测器310可以根据元数据MD或捕获数据CD中包括的信息的值属于什么范围来识别劣化的图像数据DID的类别。

作为另一示例，类别检测器310可以使用基于深度学习训练的模块来识别劣化的图像数据DID的类别。类别检测器310可以将劣化的图像数据DID、元数据MD或捕获数据CD输入到基于深度学习的模块。基于深度学习的模块可以输出类别信息CI。

滤波器检测器320可以接收图像数据ID、劣化的图像数据DID和类别信息CI。滤波器检测器320可以包括多个滤波器或关于多个滤波器的信息。滤波器检测器320可以检测(或学习)将劣化的图像数据DID修复为最接近图像数据ID的滤波器。滤波器检测器320可以将类别信息CI和滤波器信息FI输出到滤波器查找表330。

滤波器查找表330可以彼此相关联地存储类别信息CI和与类别信息CI相对应的滤波器信息FI。例如，滤波器查找表330可以存储在存储器220或存储装置240中，并且可以通过调制解调器250与外部装置通信。

图6示出了由学习模块300生成查找表330的过程的示例。参照图5和图6，在步骤S110中，学习模块300可以接收图像数据ID和劣化的图像数据DID。例如，学习模块300还可以接收元数据MD，其包括关于图像数据ID或劣化的图像数据DID或包括捕获信息的捕获数据CD的信息。

在步骤S120中，学习模块300的类别检测器310可以根据第一特征将图像数据ID分类成多个组。第一特征可以从元数据MD或捕获数据CD中选择，或者可以从元数据MD或捕获数据CD中生成。

在步骤S130中，类别检测器310可以根据每组中的第二特征将图像数据ID分类为多个类别。第二特征可以从元数据MD或捕获数据CD中选择，或者可以从元数据MD或捕获数据CD中生成。

在步骤S140中，滤波器检测器320可以搜索适合于每个类别的滤波器。在步骤S150中，滤波器检测器320可以将每类滤波器信息存储在滤波器查找表330中。

作为示例，类别可以对应于不同的内容。例如，当图像数据包括不同的内容时，诸如面部、室内、室外、白天、夜间、市中心或自然，在不同的内容中由点扩散函数引起的模糊的方面可能不同。由于模糊的方面不同，适合去模糊的滤波器类型也可能不同。本公开的滤波器检测器320可以通过为每个类别搜索适当的滤波器来自适应地抑制(或修复)图像数据的模糊。因此，可以以接近基于深度学习的去模糊模块的性能来执行去模糊。

图7示出了根据图6的方法识别劣化的图像数据DID的类别并选择滤波器的示例。参照图5、图6和图7，根据第一特征，可以将劣化的图像数据DID分类为第一组、第二组和第三组。根据第二特征，可以将第一组识别为属于第一类别和第二类别。根据第二特征，可以将第二组识别为属于第三类别和第四类别。根据第二特征，可以将第三组识别为属于第五类别和第六类别。

作为示例，可以从元数据MD和捕获数据CD中选择第一特征作为劣化的图像数据DID的内容类型，例如场景分类信息。属于不同内容(诸如面部、室内、室外、白天、夜间、市中心或自然)的劣化的图像数据DID可以被识别为属于不同的组。例如，可以从场景分类信息中选择第一特征作为诸如面部的特定场景分类信息。

可以从元数据MD或捕获数据CD的剩余信息中选择第二特征。例如，第二特征可以从以下信息中选择：关于劣化的图像数据DID或劣化的图像数据DID中包括的对象的尺寸信息、关于劣化的图像数据DID的亮度级别信息、关于劣化的图像数据DID的噪声级别信息、指示劣化的图像数据DID是否包括霾、薄雾或雾的信息、关于劣化的图像数据DID的边缘信息、捕获劣化的图像数据DID时的自动对焦信息、捕获劣化的图像数据DID时的自动白平衡信息或捕获劣化的图像数据DID时的自动曝光信息。例如，第二特征可以被选择为场景分类信息中未被选择为第一特征的剩余场景分类信息。

作为另一示例，第一特征可以被选择为以下信息之一：关于劣化的图像数据DID或在劣化的图像数据DID中包括的对象的尺寸信息、关于劣化的图像数据DID的亮度级别信息、关于劣化的图像数据的噪声级别信息、指示劣化的图像数据DID是否包括霾、薄雾或雾的信息、关于劣化的图像数据DID的边缘信息、捕获劣化的图像数据DID时的自动对焦信息、捕获劣化的图像数据DID时的自动白平衡信息、或者捕获劣化的图像数据DID时的自动曝光信息之一。可以从未被选择为第一特征的元数据MD或捕获数据CD的剩余信息中选择第二特征。

可以分别为第一类别至第六类别选择第一滤波器至第六滤波器。在第一滤波器至第六滤波器中，一些滤波器可以不同。例如，如果劣化的图像数据DID的类别发生变化，则滤波器的类型可以发生变化。在第一滤波器至第六滤波器中，其他滤波器可以是相同的。例如，尽管劣化的图像数据DID的类别发生变化，但是滤波器的类型可以不变。即使在不同的类别中使用相同类型的滤波器时，应用于不同类别的滤波系数也可以不同。作为示例，第一滤波器至第六滤波器中的每一者可以从滤波器池中的各种滤波器中选择，包括反卷积滤波器、韦纳滤波器或城市光抑制(CLS)滤波器。

例如，包括面部的图像数据可以与其他图像数据分开管理。尽管场景分类信息不被用作第一特征或第二特征，但是包括面部的图像数据可以作为一个组或类别来管理。换句话说，包括面部的图像数据可以被分配优先级。

图8示出了学习模块300通过重复应用滤波器为一个类别选择滤波器的过程的示例。参照图5、图7和图8，在步骤S210中，学习模块300的滤波器检测器320可以选择组。例如，滤波器检测器320可以从第一组至第三组中选择一个组。

在步骤S220中，滤波器检测器320可以选择类别。例如，滤波器检测器320可以从属于所选择的组的类别中选择一个。在步骤S230中，滤波器检测器320可以执行滤波器池的各种滤波器中的一种滤波器。在步骤S240中，滤波器检测器320可以通过将选择的滤波器应用到所选择的组的所选择类别的劣化的图像数据DID来执行滤波。

在步骤S250中，滤波器检测器320可以计算误差。例如，滤波器检测器320可以计算与劣化的图像数据DID相关联的图像数据ID和经滤波的图像数据之间的差，作为误差。例如，滤波器检测器320可以基于结构相似性图像度量(SSIM)来计算误差。滤波器检测器320可以计算属于同一类别的多个劣化的图像数据和与多个劣化的图像数据相对应的多个图像数据之间的平均误差。

在步骤S260中，滤波器检测器320可以确定所选择的滤波器是否是滤波器池的最后一个滤波器。例如，滤波器检测器320可以确定是否已经对滤波器池中的所有滤波器执行了步骤S230至S250。除非已经对滤波器池中的所有滤波器执行了步骤S230至S250，否则滤波器检测器320可以选择在步骤S230中未选择的滤波器，并且执行步骤S240和S250。

如果已经对滤波器池中的所有滤波器执行了步骤S230至S250，则滤波器检测器320可以执行步骤S270。在步骤S270中，滤波器检测器320可以从平均误差小于参考误差的滤波器中选择平均误差最小的滤波器，作为所选择的组的所选择类别的滤波器。例如，当使用滤波器执行去模糊时，参考误差可以是目标误差。参考误差可以用作阈值，在该阈值处可以使用滤波器来替代基于深度学习的去模糊模块。可以基于目标性能任意地确定参考误差，或者基于基于深度学习的去模糊模块的性能(例如，误差)来确定参考误差。例如，参考误差可以被确定为基于深度学习的去模糊模块的误差的实数倍。

在步骤S280中，滤波器检测器320可以确定所选择的类别是否是所选择的组的最后一个类别。例如，滤波器检测器320可以确定是否已经对所选择的组的所有类别执行了步骤S220至S270。除非已经对所选择的组的所有类别执行了步骤S220至S270，否则滤波器检测器320可以在步骤S220中从所选择的组的类别中选择尚未选择的类别，并且执行步骤S230和S270。如果已经对所选择的组的所有类别执行了步骤S220至S270，则滤波器检测器320可以执行步骤S290。

在步骤S290中，滤波器检测器320可以确定所选择的组是否是最后一个组。例如，滤波器检测器320可以确定是否已经对所有组执行了步骤S220至S280。除非已经对所有组执行了步骤S220至S280，否则滤波器检测器320可以选择在步骤S210中尚未选择的组，并且执行步骤S220和S280。如果已经对所有组执行了步骤S210至S280，则学习模块300可以终止滤波器检测。

如上所述，学习模块300可以将滤波器池的滤波器顺序地应用到属于每个类别的劣化的图像数据DID，并选择最小误差小于参考误差(例如，平均误差)的滤波器作为对应类别的滤波器。因此，可以根据劣化的图像数据DID的特征(例如，第一特征和第二特征)自适应地选择去模糊滤波器，并且可以增强去模糊的效果。

图9示出了基于深度学习的去模糊模块计算参考误差的示例。参照图4和图9，处理器210可以执行被训练为基于深度学习执行去模糊的去模糊模块。在步骤S310中，处理器210可以选择劣化的图像数据DID。

在步骤S320中，处理器210可以执行基于深度学习的去模糊。在步骤S330中，处理器210可以执行误差检查。例如，处理器210可以计算与劣化的图像数据DID相对应的去模糊图像数据和图像数据ID之间的差，作为误差。可以基于SSIM来执行误差检查。

在步骤S340中，处理器210可以确定所选择的图像数据是否是最后的图像数据。例如，处理器210可以确定是否已经对所有劣化的图像数据DID执行了步骤S310至S330。除非已经对所有劣化的图像数据DID执行了步骤S310至S330，否则处理器210可以选择在步骤S310中尚未选择的图像数据，并且执行步骤S320和S330。

如果已经对所有劣化的图像数据DID执行了步骤S310至S330，则处理器210可以在步骤S350中计算平均误差作为参考误差。例如，处理器210可以计算整个劣化的图像数据DID的平均误差作为参考误差。处理器210可以计算劣化的图像数据DID的每组平均误差作为每组参考误差。处理器210可以计算劣化的图像数据DID的每类平均误差作为每类参考误差。计算出的参考误差可以用作图8中选择滤波器的参考。

图10示出了滤波器检测器320基于深度学习选择滤波器的示例。参考图5和图10，在步骤S410中，学习模块300的滤波器检测器320可以接收图像数据ID、劣化的图像数据DID和类别信息CI。

在步骤S420中，滤波器检测器320可以使用基于深度学习训练的模块来搜索每个类别误差最小的滤波器。例如，滤波器检测器320可以为每个类别搜索用于将劣化的图像数据DID校准为最接近图像数据ID的滤波器。滤波器检测器320可以为每个类别搜索最接近参考误差的滤波器。在步骤S430中，滤波器检测器320可以将类别信息CI和滤波器信息FI彼此相关联地存储在滤波器查找表330中。

如上所述，滤波器检测器320可以使用基于深度学习训练的模块，为每个类别选择滤波器，以搜索滤波器。例如，滤波器信息FI可以包括滤波器的类型和应用于滤波器的滤波系数的值。

图11示出了用于修复图3e的点扩散函数的滤波器的3D滤波的示例。如图3e所示，点扩散函数可以在第一方向D1和垂直于第一方向的第二方向D2上突出。为了修复点扩散函数，滤波器的内核尺寸可以在第一方向D1和第二方向D2上增加，如图11所示。例如，在图11中，滤波器的内核可以在与图像数据相对应的整个区域中值为V。如果滤波器的内核尺寸增加，则滤波的计算时间可能增加。

图12示出了缩小尺寸的滤波器的3D建模的示例。图11的滤波器的内核在整个区域内具有有效值。相反，参照图12，除了用框BX标记的部分之外的内核的值V可以是“0”。因此，可以减少滤波的计算时间，并且可以启用实时滤波。

图13示出了通过学习模块300减小每个类别的滤波器的尺寸的过程的示例。参照图5、图7和图13，在步骤S510中，学习模块300的滤波器检测器320可以选择组。例如，滤波器检测器320可以从第一组至第三组中选择一个组。

在步骤S520中，滤波器检测器320可以选择类别。例如，滤波器检测器320可以从属于所选择的组的类别中选择一个。在步骤S530中，滤波器检测器320可以减小所选择的类别的滤波器尺寸。例如，滤波器检测器320可以将所选类别的滤波器的内核的一些值改变为“0”。例如，滤波器检测器320可以将与内核的有效值的最外位置相对应的部分的值改变为“0”。或者，滤波器检测器320可以用距离内核的中心具有不同宽度的同心圆来划分区域。滤波器检测器320可以将最外面区域中的内核的值改变为“0”。在步骤S540中，滤波器检测器320可以通过将调整尺寸的滤波器应用到所选择的组的所选择类别的劣化的图像数据DID来执行滤波。

在步骤S550中，滤波器检测器320可以计算误差。例如，滤波器检测器320可以计算与劣化的图像数据DID相关联的图像数据ID和经滤波的图像数据之间的差，作为误差。例如，滤波器检测器320可以基于结构相似性图像度量(SSIM)来计算误差。

在步骤S560中，滤波器检测器320可以确定平均误差是否为阈值或更大，或者滤波器检测器320可以确定平均误差与参考误差之间的差是否为阈值或更大。除非平均误差大于参考误差，或者除非平均误差比参考误差大第二阈值或更多，否则滤波器检测器320可以在步骤S530中进一步减小滤波器的尺寸。例如，滤波器检测器可以将内核中具有有效值的最外层区域的值改变为“0”。此后，滤波器检测器S520可以再次执行步骤S550和S560。在步骤S560中，如果平均误差为参考误差或更大，或者如果平均误差比第二阈值大参考误差或更多，则滤波器检测器320可以在步骤S570中选择紧接在之前的尺寸作为滤波器的尺寸。第二阈值可以对应于为了加速并简化去模糊而可能牺牲的图像数据的质量。第二阈值可以基于电子装置100的规格来确定，例如，相机模块130的性能和物理特性、处理器110的性能、存储器120的性能或显示模块140的性能。

在步骤S580中，滤波器检测器320可以确定所选择的类别是否是所选择的组的最后一个类别。例如，滤波器检测器320可以确定是否已经对所选择的组的所有类别执行了步骤S520至S570。除非已经对所选择的组的所有类别执行了步骤S520至S570，否则滤波器检测器320可以在步骤S520中从所选择的组的类别中选择尚未选择的类别，并且执行步骤S530和S570。如果已经对所选择的组的所有类别执行了步骤S520至S570，则滤波器检测器320可以执行步骤S590。

在步骤S590中，滤波器检测器320可以确定选择的组是否是最后一个组。例如，滤波器检测器320可以确定是否已经对所有组执行了步骤S520至S580。除非已经对所有组执行了步骤S510至S580，否则滤波器检测器320可以选择在步骤S510中尚未选择的组，并且执行步骤S520和S580。如果已经对所有组执行了步骤S510至S580，则学习模块300可以终止滤波器检测。

如上所述，学习模块300可以被视为在平均误差的增加小于第二阈值的范围内逐步减小滤波器的内核尺寸。因此，可以选择滤波计算时间减小并且误差在允许范围内的滤波器。如图13所示的减小滤波器尺寸的方法可以既适用于通过图9的重复滤波来选择滤波器，也适用于使用图10的基于深度学习的模块来选择滤波器。

图14是示出根据各种实施例的网络环境400中的电子装置401的框图。例如，电子装置401示出了图1的电子装置100的扩展实施示例。例如，电子装置401可以接收由图4的电子装置200执行滤波器学习的结果。电子装置401可以从图4的电子装置200接收图像数据的类别和关于分别对应于这些类别的滤波器的信息。电子装置401可以基于接收到的信息执行去模糊。例如，电子装置401可以使用相机模块480产生图像数据，识别图像数据的类别，使用接收到的信息选择滤波器，并且使用所选择的滤波器对图像数据执行去模糊。

参考图14，网络环境400中的电子装置401可以经由第一网络498(例如，短距离无线通信网络)与电子装置402进行通信，或者经由第二网络499(例如，长距离无线通信网络)与电子装置404或服务器408中的至少一者进行通信。根据实施例，电子装置401可以经由服务器408与电子装置404进行通信。根据实施例，电子装置401可以包括处理器420、存储器430、输入模块450、声音输出模块455、显示模块460、音频模块470、传感器模块476、接口477、连接端子478、触觉模块479、相机模块480、电力管理模块488、电池489、通信模块490、用户识别模块(SIM)496或天线模块497。在一些实施例中，可以从电子装置401中省略上述部件中的至少一者(例如，连接端子478)，或者可以将一个或更多个其它部件添加到电子装置401中。在一些实施例中，可以将上述部件中的一些部件(例如，传感器模块476、相机模块480或天线模块497)实现为单个集成部件(例如，显示模块460)。

处理器420可以运行例如软件(例如，程序440)来控制电子装置401的与处理器420连接的至少一个其它部件(例如，硬件部件或软件部件)，并可以执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器420可以将从另一部件(例如，传感器模块476或通信模块490)接收到的命令或数据存储到易失性存储器432中，对存储在易失性存储器432中的命令或数据进行处理，并将结果数据存储在非易失性存储器434中。根据实施例，处理器420可以包括主处理器421(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器421在操作上独立的或者相结合的辅处理器423(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置401包括主处理器421和辅处理器423时，辅处理器423可以被配置为比主处理器421耗电更少，或者被指定用于特定的功能。可以将辅处理器423实现为与主处理器421分离，或者实现为主处理器421的部分。

在主处理器421处于未激活(例如，睡眠)状态时，辅处理器423(而非主处理器421)可以控制与电子装置401的部件之中的至少一个部件(例如，显示模块460、传感器模块476或通信模块490)相关的功能或状态中的至少一些，或者在主处理器421处于激活状态(例如，运行应用)时，辅处理器423可以与主处理器421一起来控制与电子装置401的部件之中的至少一个部件(例如，显示模块460、传感器模块476或通信模块490)相关的功能或状态中的至少一些。根据实施例，可以将辅处理器423(例如，图像信号处理器或通信处理器)实现为在功能上与辅处理器423相关的另一部件(例如，相机模块480或通信模块490)的部分。根据实施例，辅处理器423(例如，神经处理单元)可以包括专用于人工智能模型处理的硬件结构。可以通过机器学习来生成人工智能模型。例如，可以通过人工智能被执行之处的电子装置401或经由单独的服务器(例如，服务器408)来执行这样的学习。学习算法可以包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可以包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可以包括除了硬件结构以外的软件结构。

例如，处理器420可以对应于图1的电子装置100的处理器110。主处理器421和辅处理器423可以分别对应于图1的主处理器111和辅处理器113。

存储器430可以存储由电子装置401的至少一个部件(例如，处理器420或传感器模块476)使用的各种数据。所述各种数据可以包括例如软件(例如，程序440)以及针对与其相关的命令的输入数据或输出数据。存储器430可以包括易失性存储器432或非易失性存储器434。

例如，存储器430可以对应于图1的电子设备100的存储器120。易失性存储器432和非易失性存储器434可以分别对应于图1的易失性内存122和非易失性内存124。

可以将程序440作为软件存储在存储器430中，并且程序440可以包括例如操作系统(OS)442、中间件444或应用446。

输入模块450可以从电子装置401的外部(例如，用户)接收将由电子装置401的其它部件(例如，处理器420)使用的命令或数据。输入模块450可以包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。

声音输出模块455可以将声音信号输出到电子装置401的外部。声音输出模块455可以包括例如扬声器或接收器。扬声器可以用于诸如播放多媒体或播放唱片的通用目的。接收器可以用于接收呼入呼叫。根据实施例，可以将接收器实现为与扬声器分离，或实现为扬声器的部分。

显示模块460可以向电子装置401的外部(例如，用户)视觉地提供信息。显示装置460可以包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块460可以包括被配置为检测触摸的触摸传感器或被配置为测量由触摸引起的力的强度的压力传感器。例如，显示模块460可以对应于图1的电子装置100的显示模块140。

音频模块470可以将声音转换为电信号，反之亦可。根据实施例，音频模块470可以经由输入模块450获得声音，或者经由声音输出模块455或与电子装置401直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置402)的耳机输出声音。

传感器模块476可以检测电子装置401的操作状态(例如，功率或温度)或电子装置401外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块476可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。

接口477可以支持将用来使电子装置401与外部电子装置(例如，电子装置402)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口477可以包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。

连接端子478可以包括连接器，其中，电子装置401可以经由所述连接器与外部电子装置(例如，电子装置402)物理连接。根据实施例，连接端子478可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。

触觉模块479可以将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块479可以包括例如电机、压电元件或电刺激器。

相机模块480可以捕获静止图像或运动图像。根据实施例，相机模块480可以包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。例如，相机模块480可以对应于图1的电子装置100的相机模块130。

电力管理模块488可以管理对电子装置401的供电。根据一个实施例，可以将电力管理模块488实现为例如电力管理集成电路(PMIC)的至少部分。

电池489可以对电子装置401的至少一个部件供电。根据实施例，电池489可以包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。

通信模块490可以支持在电子装置401与外部电子装置(例如，电子装置402、电子装置404或服务器408)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块490可以包括能够与处理器420(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块490可以包括无线通信模块492(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块494(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可以经由第一网络498(例如，短距离通信网络，诸如蓝牙^TM、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络499(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，局域网(LAN)或广域网(WAN)))与外部电子装置进行通信。可以将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可以将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块492可以使用存储在用户识别模块496中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络498或第二网络499)中的电子装置401。

无线通信模块492可以支持在4G网络之后的5G网络以及下一代通信技术(例如，新无线电(NR)接入技术)。NR接入技术可以支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块492可以支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块492可以支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块492可以支持在电子装置401、外部电子装置(例如，电子装置404)或网络系统(例如，第二网络499)中指定的各种要求。根据实施例，无线通信模块492可以支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。

天线模块497可以将信号或电力发送到电子装置401的外部(例如，外部电子装置)或者从电子装置401的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块497可以包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电或导电图案构成。根据实施例，天线模块497可以包括多个天线(例如，阵列天线)。在这种情况下，可以由例如通信模块490从所述多个天线中选择适合于在通信网络(诸如第一网络498或第二网络499)中使用的通信方案的至少一个天线。随后可以经由所选择的至少一个天线在通信模块490和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可以进一步形成为天线模块497的一部分。

根据各种实施例，天线模块497可以形成毫米波天线模块。根据实施例，毫米波天线模块可以包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。

上述部件中的至少一些可以经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。

根据实施例，可以经由与第二网络499连接的服务器408在电子装置401和外部电子装置404之间发送或接收命令或数据。外部电子装置402均可以是与电子装置401相同类型的装置，或者是与电子装置401不同类型的装置。根据实施例，将在电子装置401运行的全部操作或一些操作可以在外部电子装置402中的一个或更多个运行。例如，如果电子装置401应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置401可以请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置401除了运行所述功能或服务以外，还可以请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可以执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置401。电子装置401可以在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可以使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置401可以使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置404可以包括物联网(IoT)装置。服务器408可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置404或服务器408可以被包括在第二网络499中。电子装置401可以应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。

图15示出了由图14的电子装置401使用滤波器执行去模糊的处理的示例。参照图14和图15，在步骤S610中，相机模块480可以捕获图像，产生图像数据、元数据和捕获数据。

例如，当相机模块480被实现为如结合图2a、图2b、图2c和图2d描述的非UDC时，图像数据可能受到结合图2e描述的点扩散函数的影响。当相机模块480被实现为如结合图3a、图3b、图3c和图3D描述的UDC时，图像数据可能受到结合图3e描述的点扩散函数的影响。图像数据、元数据或捕获数据可以通过处理器420存储在存储器430中。

在步骤S620中，处理器420可以从存储器403读取图像数据、元数据或捕获数据。处理器420可以基于元数据和捕获数据来选择图像数据的滤波器。例如，处理器420可以根据图像数据的内容的类型来选择不同的滤波器。

在步骤S630中，处理器420可以使用所选择的滤波器对图像数据执行滤波。所选择的滤波器可以从图像数据中去除(或抑制)点扩散函数。经滤波的图像数据可以被存储在存储器430中。此后，显示模块460可以从存储器430接收经滤波的图像数据，并且显示经滤波的图像数据。

图16示出了由图14的处理器420执行的基于滤波器的去模糊模块500的示例。参照图14和图16，基于滤波器的去模糊模块500可以包括类别检测器510、滤波器查找表520和去模糊模块530。

类别检测器510可以接收图像数据ID、元数据MD和捕获数据CD。类别检测器510可以基于图像数据ID、元数据MD或捕获数据CD来识别图像数据ID的类别。类别检测器510可以输出关于所识别的类别的信息作为类别信息CI。

例如，类别检测器510可以以与图5的类别检测器310相同的方式进行操作和配置。类别检测器510可以实时识别图像数据ID的类别。类别检测器510可以使用基于深度学习或基于关于元数据MD或捕获数据CD的信息的值训练的模块来识别类别。

例如，类别检测器510可能无法识别图像数据ID的部分。如果分类失败，则类别检测器510可以输出指示分类失败或没有类别信息，作为类别信息CI。

滤波器查找表520可以对应于图5的滤波器查找表330。滤波器查找表520可以彼此关联地存储基于学习模块300的学习结果生成的滤波器信息FI和类别信息CI。如果从类别检测器510传送类别信息CI，则滤波器查找表520可以输出与类别信息CI相对应的滤波器信息FI。滤波器信息FI可以包括滤波器的类型和滤波系数的值。

例如，当类别信息CI指示分类失败或者没有类别时，滤波器查找表520可以输出关于默认滤波器的信息，作为滤波器信息FI。例如，默认滤波器可以是与类别相对应的滤波器之一。作为另一示例，默认滤波器可以是与对应于类别的滤波器类型不同或者具有不同滤波系数的滤波器。

去模糊模块530可以基于滤波器信息FI来实现滤波器。例如，去模糊模块530可以包括不同的滤波器模块。去模糊模块530可以基于滤波器信息FI从滤波器模块中选择一个并设置滤波系数。去模糊模块530可以基于配置的滤波器来对图像数据ID进行滤波。

如上所述，电子装置401可以实时从图像数据ID中识别类别，并且根据类别实时地实现滤波器。通过使用实时实现的滤波器执行滤波，可以实时去除点扩散函数引起的模糊。

图17是示出根据各种实施例的图14的相机模块480的框图600。参考图17，相机模块480可以包括镜头组件610、闪光灯620、图像传感器630、图像稳定器640、存储器650(例如，缓冲存储器)或图像信号处理器660。镜头组件610可以收集从将被拍摄图像的物体发出或反射的光。镜头组件610可以包括一个或更多个透镜。根据实施例，相机模块480可以包括多个镜头组件610。在这种情况下，相机模块480可以形成例如双相机、360度相机或球形相机。多个镜头组件610中的一些镜头组件610可以具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可以具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件610可以包括例如广角镜头或长焦镜头。

闪光灯620可以发光，其中，发出的光用于增强从物体反射的光。根据实施例，闪光灯620可以包括一个或更多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器630可以通过将从物体发出或反射并经由镜头组件610透射的光转换为电信号来获取与物体相应的图像。根据实施例，图像传感器630可以包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可以使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器630中的每个图像传感器。

图像稳定器640可以沿特定方向移动图像传感器630或包括在镜头组件610中的至少一个透镜，或者响应于相机模块480或包括相机模块480的电子装置401的移动来控制图像传感器630的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕获的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施例，图像稳定器640可以使用布置在相机模块480之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块480或电子装置401的这样的移动。根据实施例，可以将图像稳定器640实现为例如光学图像稳定器。存储器650可以至少暂时地存储经由图像传感器630获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕获了多个图像或者由于快门时滞而导致图像捕获延迟，则可以将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器650中，并且可以经由显示模块460来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可以由例如图像信号处理器660来获取和处理存储在存储器650中的原始图像的至少一部分。根据实施例，可以将存储器650配置为存储器430的至少一部分，或者可以将存储器650配置为独立于存储器430进行操作的分离的存储器。

图像信号处理器660可以对经由图像传感器630获取的图像或存储在存储器650中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可以包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，图像信号处理器660可以对包括在相机模块480中的部件中的至少一个部件(例如，图像传感器630)执行控制(例如，曝光时间控制或读出时序控制)。可以将由图像信号处理器660处理的图像存储回存储器650以用于进一步处理，或者可以将该图像提供给在相机模块480之外的外部部件(例如，存储器430、显示模块460、电子装置402、电子装置404或服务器408)。根据实施例，可以将图像信号处理器660配置为处理器420的至少一部分，或者可以将图像信号处理器660配置为独立于处理器420进行操作的分离的处理器。如果将图像信号处理器660配置为与处理器420分离的处理器，则可以由处理器420经由显示模块460将由图像信号处理器660处理的至少一个图像按照其原样显示，或者可以将所述至少一个图像在被进一步处理后进行显示。

根据实施例，电子装置401可以包括具有不同属性或功能的多个相机模块480。在这种情况下，所述多个相机模块480中的至少一个相机模块480可以形成例如广角相机，并且所述多个相机模块480中的至少另一个相机模块480可以形成长焦相机。类似地，所述多个相机模块480中的至少一个相机模块480可以形成例如前置相机(参考图2a、图2b、图2c、图3a、图3b和图3c的131)，并且所述多个相机模块480中的至少另一个相机模块480可以形成后置相机(参考图2a、图2b、图2c、图3a、图3b和图3c的132)。

根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可以包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。

应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的附图标记可以用来指代相似或相关的元件。将理解的是，与项相对应的单数形式的名词可以包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一者”、“A或B中的至少一者”、“A、B或C”、“A、B和C中的至少一者”以及“A、B或C中的至少一者”的短语中的每一个短语可以包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可以用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可以与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。

如这里所使用的，术语“模块”可以包括以硬件、软件或固件实现的单元，并可以与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以集成电路(IC)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或复杂可编程逻辑器件(CPLD)的形式来实现模块。

可以将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器436或外部存储器438)中的可以由机器(例如，电子装置401)读取的一个或更多个指令的软件(例如，程序440)。例如，在处理器的控制下，所述机器(例如，电子装置401)的处理器(例如，处理器420)可以在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可以包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。

根据实施例，可以在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可以作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可以经由应用商店(例如，Play Store^TM)在线发布(例如，下载或上传)计算机程序产品，或者可以直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可以将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。

根据各种实施例，上述部件中的每个部件(例如，模块或程序)可以包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可以省略上述部件中的一个或更多个部件，或者可以添加一个或更多个其它部件。可选择地或者另外地，可以将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可以仍旧按照与所述多个部件中的对应一者部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可以顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可以按照不同的顺序来运行或被省略，或者可以添加一个或更多个其它操作。

以上描述的是用于实施本公开的具体实施例。本公开不仅包括上述实施例，还包括可以对其进行简单或容易的改变的实施例。本公开还包括可以使用实施例容易地修改和实践的技术。因此，本公开的范围不应限于上述实施例，而是应由所附权利要求及其等同物来限定。

Claims (15)

1.一种电子装置，所述电子装置包括：

相机模块，所述相机模块被配置为生成图像数据；

处理器，所述处理器被配置为接收所述图像数据并基于所述图像数据生成修复的图像数据；以及

显示模块，所述显示模块用于显示所述修复的图像数据，

其中，所述处理器通过以下方式生成修复的图像数据：

识别所述图像数据的类别；

选择与所述类别相对应的滤波器；以及

通过将所选择的滤波器应用到所述图像数据来生成所述修复的图像数据。

2.根据权利要求1所述的电子装置，其中，所述滤波器被配置为补偿所述相机模块的点扩散函数PSF。

3.根据权利要求1所述的电子装置，其中，所述处理器被配置为基于确定出所述图像数据的所述类别发生了变化，改变所选择的滤波器。

4.根据权利要求1所述的电子装置，

其中，所述处理器被配置为基于所述图像数据的元数据来识别所述类别，并且

其中，所述元数据包括以下信息中的至少一者：关于是否从所述图像数据识别到面部的信息、关于所述图像数据的亮度信息、关于所述图像数据的噪声信息，以及关于所述图像数据是否包括霾、薄雾和雾之一的信息。

5.根据权利要求1所述的电子装置，

其中，所述处理器被配置为基于所述图像数据的捕获数据来识别所述类别，并且

其中，所述捕获数据包括以下信息中的至少一者：关于所述图像数据的尺寸信息、关于所述图像数据的场景分类信息、关于所述图像数据的边缘方向信息、捕获所述图像数据时的自动白平衡AWE信息、捕获所述图像数据时的自动对焦AF信息，以及捕获所述图像数据时的自动曝光AE信息。

6.根据权利要求1所述的电子装置，其中，至少部分地基于由基于机器学习的学习生成并且由所述处理器执行的模块来识别所述类别。

7.根据权利要求1所述的电子装置，其中，至少部分地基于由基于机器学习的学习生成并且由所述处理器执行的模块，来识别所述类别并且选择所述滤波器。

8.根据权利要求1所述的电子装置，

其中，所述相机模块包括第一区域和第二区域，并且

其中，所述相机模块被配置为通过所述第二区域生成所述图像数据。

9.根据权利要求8所述的电子装置，其中，所述相机模块具有点扩散函数PSF，所述点扩散函数具有在第一方向和垂直于所述第一方向的第二方向上突出的形状。

10.根据权利要求1所述的电子装置，其中，所述处理器被配置为从包括反卷积滤波器、韦纳滤波器和城市光抑制CLS滤波器的滤波器中选择一种。

11.根据权利要求1所述的电子装置，其中，所述处理器被配置为基于未能识别所述图像数据的所述类别来选择默认滤波器。

12.一种电子装置，所述电子装置包括：

存储装置，所述存储装置用于存储图像数据和劣化的图像数据；

处理器，所述处理器被配置为接收所述图像数据和所述劣化的图像数据，识别所述劣化的图像数据的类别，并且选择分别与将所述劣化的图像数据修复为所述图像数据的类别相对应的滤波器；以及

存储器，所述存储器用于存储查找表，所述查找表包括所述类别和所选择的滤波器之间的关联信息。

13.根据权利要求12所述的电子装置，其中，基于确定出所述劣化的图像数据的类别发生了变化，改变所选择的滤波器。

14.根据权利要求12所述的电子装置，其中，所述处理器被配置为通过将相机模块的点扩散函数PSF应用到所述图像数据来生成所述劣化的图像数据。

15.根据权利要求12所述的电子装置，其中，从所述劣化的图像数据修复的所述图像数据是至少部分地基于由基于机器学习的学习生成并且由所述处理器执行的模块来生成的。