CN111885297B - 图像清晰度的确定方法、图像对焦方法及装置 - Google Patents

Abstract

本发明提供了一种图像清晰度的确定方法、图像对焦方法及装置，涉及图像处理技术领域，图像清晰度的确定方法包括：获取待确定清晰度的目标图像；将目标图像输入至预先训练得到的去模糊模型，通过去模糊模型得到目标图像的残差信息；根据残差信息确定目标图像的清晰度。本发明简化了图像清晰度的确定方式，而且具有较强的泛化性，可以适用于各种拍摄场景。

Description

图像清晰度的确定方法、图像对焦方法及装置

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像清晰度的确定方法、图像对焦方法及装置。

背景技术

现有相机在对焦时都需要对图像进行清晰度分析，当前确定图像清晰度的方法主要依赖于人为设计的数学公式，通过数学公式计算用于表征图像清晰度的统计量，但是这种方式需要相机工程师针对各种场景分别设计相应的清晰度计算公式，不仅复杂繁琐，而且泛化能力较差。

发明内容

有鉴于此，本发明的目的在于提供一种图像清晰度的确定方法、图像对焦方法及装置，简化了图像清晰度的确定方式，而且具有较强的泛化性，可以适用于各种拍摄场景。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种图像清晰度的确定方法，包括：获取待确定清晰度的目标图像；将所述目标图像输入至去模糊模型，通过所述去模糊模型得到所述目标图像的残差信息；根据所述残差信息确定所述目标图像的清晰度。

进一步，所述去模糊模型的训练步骤包括：获取多个训练图像对；其中，每个所述训练图像对包括针对同一拍摄场景的一张清晰训练图像和一张模糊训练图像；不同所述训练图像对针对的拍摄场景相同或不同；不同所述训练图像对中的清晰训练图像相同或不同；对于包含有相同清晰训练图像的不同训练图像对中的模糊训练图像的模糊程度和/或模糊区域不同；通过所述多个训练图像对训练所述去模糊模型，直至训练结束，得到训练后的去模糊模型。

进一步，所述获取多个训练图像对的步骤包括：针对同一拍摄场景，利用图像采集设备基于不同对焦位置和/或不同光圈大小进行拍摄，得到多张原始图像；对多张所述原始图像进行景深合成操作，得到全景对焦图像，将所述全景对焦图像作为清晰训练图像；对所述清晰训练图像进行后期模糊处理，得到模糊程度和/或模糊区域不同的多张模糊训练图像；基于所述清晰训练图像和多张所述模糊训练图像组成多个训练图像对。

进一步，所述残差信息包括用于表征所述目标图像与所述目标图像对应的全景对焦图像之间差异的残差图；所述根据所述残差信息确定所述目标图像的清晰度的步骤，包括：对所述残差图进行聚合处理，得到所述残差图的标量值；基于所述残差图的标量值确定所述目标图像的清晰度。

进一步，所述方法还包括：将所述残差图与所述目标图像进行叠加处理，得到所述目标图像对应的清晰图。

第二方面，本发明实施例还提供一种图像对焦方法，所述方法应用于图像采集设备，包括：采用第一方面任一项所述的图像清晰度的确定方法确定所述图像采集设备的当前预览图像的清晰度；根据所述当前预览图像的清晰度执行对焦操作。

进一步，所述根据所述当前预览图像的清晰度执行对焦操作的步骤，包括：根据所述当前预览图像的清晰度调整所述图像采集设备的像距，直至所述当前预览图像的清晰度高于预设阈值；将停止调整像距时所对应的当前预览图像作为对焦图像。

第三方面，本发明实施例提供了一种图像清晰度的确定装置，包括：图像获取模块，用于获取待确定清晰度的目标图像；残差确定模块，用于将所述目标图像输入至去模糊模型，通过所述去模糊模型得到所述目标图像的残差信息；清晰度确定模块，用于根据所述残差信息确定所述目标图像的清晰度。

第四方面，本发明实施例提供了一种图像对焦装置，所述装置应用于图像采集设备，包括：图像清晰度确定模块，用于采用第一方面任一项所述的图像清晰度的确定方法确定所述图像采集设备的当前预览图像的清晰度；对焦执行模块，用于根据所述当前预览图像的清晰度执行对焦操作。

第五方面，本发明实施例提供了一种处理器，所述处理器用于执行如第一方面任一项所述的方法或第二方面任一项所述的方法。

进一步，所述处理器为嵌入式神经网络处理器。

第六方面，本发明实施例提供了一种图像采集设备，所述图像采集设备包括如第五方面所述的处理器。

第七方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤或者第二方面任一项所述的方法的步骤。

本发明实施例提供的上述图像清晰度的确定方法及装置，能够将待确定清晰度的目标图像输入至去模糊模型，通过该去模糊模型得到目标图像的残差信息，进而根据残差信息确定目标图像的清晰度。这种方式可以无需人为针对各种场景分别设计相应的清晰度计算公式，直接通过去模糊模型输出的目标图像的残差信息即可确定图像清晰度，不仅简化了图像清晰度确定方式，避免了繁琐的计算，而且适用于各种场景，具有较强的泛化性。

本发明实施例提供的上述图像对焦方法，能够采用前述图像清晰度的确定方法确定当前预览图像的清晰度，从而执行对焦操作，由于前述图像清晰度确定方式更为简便，因此也有助于加速图像采集设备的对焦操作，也便于图像采集设备在各种场景下都可以执行对焦操作。

本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种图像清晰度的确定方法的流程图；

图3示出了本发明实施例所提供的一种图像对焦方法的流程图；

图4示出了本发明实施例所提供的一种对焦流程示意图；

图5示出了本发明实施例所提供的一种图像清晰度的确定装置的结构示意图；

图6示出了本发明实施例所提供的一种图像对焦装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

现有技术中，针对不同场景需要人为设计数学公式来描述图像清晰度，非常复杂繁琐，公式泛化能力不足，此外，每次对公式进行更新迭代时还可能会引入新的计算量以及可能需要额外的硬件处理区域，还容易限如局部最值点，为改善以上问题至少之一，本发明实施例提出了一种新的方式来确定图像清晰度，参见本发明实施例提供的一种图像清晰度的确定方法、图像对焦方法及装置，该技术可应用于任何需要确定图像清晰度的场合，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的一种图像清晰度的确定方法、图像对焦方法及装置的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备可以具有图1示出的部分组件，也可以具有图1未示出的其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像清晰度的确定方法、图像对焦方法及装置的示例电子设备可以被实现为诸如具有拍照功能的智能手机、可穿戴式电子设备、平板电脑、相机等图像采集设备，此外，图像清晰度的确定方法可以单独应用于诸如处理器、计算机等具有处理功能的电子设备。

实施例二：

参见图2所示的一种图像清晰度的确定方法的流程图，该方法可以由前述实施例提及的电子设备执行，诸如图像处理器或者其它具有处理功能的设备执行，也可以直接由诸如相机等图像采集设备执行，该方法主要包括如下步骤S202～步骤S206：

步骤S202，获取待确定清晰度的目标图像。

在实际应用中，上述目标图像可以为用于执行图像清晰度的确定方法的电子设备通过图像传感器直接采集到的图像，也可以是用户上传给该电子设备的图像，当然还可以是其它设备通过有线/无线方式传送给该电子设备的图像等，在此不进行限定。

步骤S204，将目标图像输入至预先训练得到的去模糊模型，通过去模糊模型得到目标图像的残差信息。

上述去模糊模型(又可称为deblur模型)是一种神经网络模型，能够对模糊图像进行去模糊处理，得到模糊图像的清晰图。现有的去模糊模型通常具有残差网络结构，为便于理解，本实施例示意性提供一种去模糊模型的具体实现方式，诸如可以包括依次连接的两个下采样卷积模块、9个残差模块以及两个上采样转置卷积模块。本实施例对去模糊模型的结构不进行限定。通过对去模糊模型进行训练，训练好的去模糊模型可以输出图像的残差信息。残差在数理统计中可表征误差的观测值，目标图像的残差信息可用于表征目标图像与其对应的清晰图之间的差异性，在一种具体的实施方式中，残差信息包括用于表征目标图像与目标图像对应的全景对焦图像(也即清晰图)之间差异的残差图。在实际应用中，残差图与目标图像可以直接合成清晰图，因此该去模糊模型可以先生成残差图，然后将残差图与目标图像叠加后得到清晰图。此外，在另一种实现方式中，也可以由去模糊模型直接生成清晰图，然后基于清晰图与目标图像的差异得到残差图。在实际应用中，上述残差信息也可以称为去模糊模型的残差分支。

步骤S206，根据残差信息确定目标图像的清晰度。

由于残差信息可以用于表征目标图像与目标图像对应的清晰图之间的差异性，差异性越大，表明目标图像越模糊，也即目标图像的清晰度越差。

在一种具体的实施方式中，以残差信息为残差图为例，可以对残差图进行聚合处理，得到残差图的标量值；然后基于残差图的标量值确定目标图像的清晰度。聚合处理操作包括但不限于采用mean运算等能够将图像用标量表达的方式。通过这种将残差图转换为标量的方式，可以直观便捷地判断目标图像与清晰图之间的差异性，残差图的标量值可以直接用于表征目标图像的模糊程度，诸如，标量值越高表明目标图像与清晰图之间的差异越大，目标图像的模糊程度越大，也即目标图像的清晰度越低，反之，标量值越低标明目标图像与清晰图之间的差异越小，目标图像越清晰，诸如当残差图的标量值逼近于0时，表明目标图像近乎所需的清晰图。

本发明实施例提供的上述图像清晰度的确定方法，可以无需人为针对各种场景分别设计相应的清晰度计算公式，直接通过去模糊模型输出的目标图像的残差信息即可确定图像清晰度，不仅简化了图像清晰度确定方式，避免了繁琐的计算，而且适用于各种场景，具有较强的泛化性。

本实施例提供了一种训练去模糊模型的具体实施方式，也即，该去模糊模型的训练步骤包括：首先获取多个训练图像对(又可称为图像训练集)；其中，每个训练图像对包括针对同一拍摄场景的一张清晰训练图像和一张模糊训练图像；不同训练图像对针对的拍摄场景相同或不同；不同训练图像对中的清晰训练图像相同或不同；对于包含有相同清晰训练图像的不同训练图像对中的模糊训练图像的模糊程度和/或模糊区域不同；然后通过多个训练图像对训练去模糊模型，直至训练结束，得到训练后的去模糊模型。诸如，在去模糊模型训练的前向传播过程中基于预设的目标损失函数来计算各个训练图像对所对应的损失值，然后基于损失值通过反向传播的方式对去模糊模型进行参数调整，直至去模糊模型的损失收敛，得到训练好的去模糊模型，训练好的去模糊模型可以直接输出目标图像的残差信息(诸如残差图)，后续可以基于残差图来调整相机像距，执行对焦操作直至拍摄得到清晰图，当然也可以直接将残差图与目标图像进行叠加合成，得到清晰图。

可以理解的是，为了能够得到鲁棒性较强的去模糊模型，在采用数据集(也即前述多个训练图像对组成)对去模糊模型进行训练时，可以选取数量较大的训练图像对，在实际应用中，在该数据集中包含有多张(诸如成千上万张)针对不同拍摄场景的清晰图像，每张清晰图像都对应有多张与其针对同一拍摄场景的模糊图像，然后一张清晰图像与一张模糊图像可组成一对训练图像对。也即，对于同一拍摄场景的清晰图像而言，该清晰图像可以和多张不同(诸如模糊位置/模糊程度不同)的模糊图像组成多对训练图像对。为便于理解，在一种具体的实施方式中，在获取包含有相同清晰训练图像的不同训练图像对时，可以参照如下步骤a～步骤d实现：

步骤a：针对同一拍摄场景，利用图像采集设备基于不同对焦位置和/或不同光圈大小进行拍摄，得到多张原始图像。可以理解的是，采用不同对焦位置和/或不同光圈大小进行拍摄得到的图像效果不同，图像对焦区域不同，诸如对准近景对焦则会导致远景模糊，对准远景对焦则会导致近景模糊，而光圈的大小也会影响到图像的模糊表现形式。图像画面的清晰与否主要取决于该画面区域是否位于景深范围内，由于景深是有范围的，所以通过拍摄多张对焦点不同的图像，可以得到针对同一个场景下的清晰区域/程度不同的原始图像。

步骤b：对多张原始图像进行景深合成操作，得到全景对焦图像，将全景对焦图像作为清晰训练图像。通过上述针对同一场景下使用不同的对焦位置和/或不同光圈大小拍摄得到的图像进行景深合成，可以得到全景对焦图像，该图像的整体画面都是清晰的，可以作为该场景下对应的清晰图。

步骤c：对清晰训练图像进行后期模糊处理，得到模糊程度和/或模糊区域不同的多张模糊训练图像。诸如，可以通过图像处理软件或者神经网络模型基于模糊位置和模糊程度对清晰训练图像进行随机模糊处理，从而得到多张模糊训练图像。

步骤d：基于清晰训练图像和多张模糊训练图像组成多个包含有相同清晰训练图像的不同训练图像对。每个训练图像对均包括一张清晰训练图像和一张模糊训练图像。

通过上述方式，可以获取去模糊模型的多个训练图像对，通过对清晰训练图像进行后期模糊处理的方式可以随机得到大量模糊训练图像，方便快捷而且也有助于提升去模糊模型的鲁棒性。针对不同拍摄场景都可以分别采用上述步骤a～步骤c，从而得到不同拍摄场景下的清晰训练图像以及相应的模糊训练图像，在此不再赘述。

进一步，本实施例在得到残差图后，还可以将残差图与目标图像进行叠加处理，得到目标图像对应的清晰图，实现了图像去模糊操作，诸如用户通过手机等图像采集设备拍摄得到模糊图后，图像采集设备可以通过这种方式直接为用户提供与模糊图对应同一场景的清晰图，有效提升用户体验。

本发明实施例提供的上述图像清晰度的确定方法，可以无需人为针对各种场景分别设计相应的清晰度计算公式，直接通过去模糊模型输出的目标图像的残差信息即可明确的确定图像清晰度，不仅简化了图像清晰度确定方式，避免了繁琐的计算，而且适用于各种场景，具有较强的泛化性，而且上述方法还可以直接应用于图像采集设备中所包含的处理器，诸如直接应用于嵌入式神经网络处理器，因此在图像采集设备中不需要额外增加处理现有技术中通过数学公式计算图像清晰度所需的硬件，有效降低了设备硬件成本；此外，通过神经网络确定残差信息的方式来衡量图像清晰度，也可以进一步避免现有数学公式容易导致的陷入局部最值点的问题，可以有效提升图像清晰度的确定准确性。

实施例三：

在前述实施例的基础上，本实施例进一步提供了一种图像对焦方法，该方法应用于图像采集设备，参见图3所示的一种图像对焦方法的流程图，包括如下步骤S302～步骤S304：

步骤S302：采用图像清晰度的确定方法确定图像采集设备的当前预览图像的清晰度；其中，图像清晰度的确定方法参照实施例二实现，在此不再赘述，当前预览图像也即对应前述实施例二中的目标图像。

步骤S304：根据当前预览图像的清晰度执行对焦操作。

本发明实施例提供的上述图像对焦方法，能够采用前述图像清晰度的确定方法确定当前预览图像的清晰度，从而执行对焦操作，由于前述图像清晰度确定方式更为简便，因此也有助于加速图像采集设备的对焦操作，也便于图像采集设备在各种场景下都可以执行对焦操作。

在根据当前预览图像的清晰度执行对焦操作时，可以首先根据当前预览图像的清晰度调整图像采集设备的像距，直至当前预览图像的清晰度高于预设阈值，然后将停止调整像距时所对应的当前预览图像作为对焦图像。可以理解的是，图像采集设备在根据当前预览图像的清晰度调整像距的过程中，当前预览图像的清晰度是随着像距的调整而发生变化的。

具体实现时，可以参见如图4所示的一种对焦流程示意图，在该示意图中示意出了执行对焦操作时图像采集设备所涉及的功能单元，分别为：图像传感器、去模糊模型、驱动单元以及镜头组电机。用户在通过图像采集设备拍照时，可以开启图像采集设备的自动对焦功能，然后图像采集设备会开始执行如下步骤1～步骤3：

步骤1：图像传感器采集当前预览图像，并将当前预览图像输入至去模糊模型(deblur模型)。

步骤2：去模糊模型对当前预览图像进行处理，得到当前预览图像的残差值，将残差值输入至相机驱动单元；具体实现时，去模糊模型可以生成当前预览图像的残差图，然后通过对残差图执行mean运算等聚合操作，得到预览图像的残差值。

步骤3：相机驱动单元基于当前预览图像的残差值驱动镜头组电机运动来调整相机像距。

然后重复执行上述步骤1～步骤3，也即相机像距调整的过程中图像传感器也在实时采集当前预览图像，当前预览图像的清晰度会随着相机像距的变化而发生改变，直至去模糊模型输出的当前预览图像的残差值低于预设模糊阈值时确认对焦完毕，停止调整相机相距，并将此时的当前预览图像作为图像采集设备最终拍摄得到的清晰图。可以理解的是，残差值表示了当前预览图像与清晰图的差异程度，残差值越大表明当前预览图像的失焦程度越严重，但失焦程度与焦平面有关,焦平面可能靠前或靠后,因此相机像距的调整方向可以进行尝试,假设第一次是向前调整后发现失焦程度更严重,则表明需要向后调整,直接残差值越来越小,当残差值小于预设残差阈值则确定是像距调整结束，也即对焦操作完成。

以上仅为一种实现方式，在实际应用中，步骤2也可以先基于残差值得到对应的清晰度值，然后步骤3中的相机驱动单元基于当前预览图像的清晰度值驱动镜头电机运动来调整相机像距，直至清晰度值越来越大且高于预设清晰度值时确定像距调整结束。

本发明实施例提供的上述图像对焦方法，所采用的图像清晰度确定方式更为简便，因此也有助于加速图像采集设备对焦，而且也便于图像采集设备在各种场景下都可以执行对焦操作。而且，本发明实施例提供的上述方法，还可以直接应用于图像采集设备中所包含的处理器，诸如直接应用于嵌入式神经网络处理器，因此在图像采集设备中不需要额外增加处理现有技术中通过数学公式计算图像清晰度所需的硬件，有效降低了设备硬件成本。

实施例四：

对应于前述实施例二，本实施例进一步提供了一种图像清晰度的确定装置，参见图5所示的一种图像清晰度的确定装置的结构示意图，包括：

图像获取模块52，用于获取待确定清晰度的目标图像；

残差确定模块54，用于将目标图像输入至预先训练得到的去模糊模型，通过去模糊模型得到目标图像的残差信息；

清晰度确定模块56，用于根据残差信息确定目标图像的清晰度。

本发明实施例提供的上述图像清晰度的确定装置，可以无需人为针对各种场景分别设计相应的清晰度计算公式，直接通过去模糊模型输出的目标图像的残差信息即可确定图像清晰度，不仅简化了图像清晰度确定方式，避免了繁琐的计算，而且适用于各种场景，具有较强的泛化性。

在一种实施方式中，上述装置还包括模型训练模块，用于：获取多个训练图像对；其中，每个训练图像对包括针对同一拍摄场景的一张清晰训练图像和一张模糊训练图像；不同所述训练图像对针对的拍摄场景相同或不同；不同所述训练图像对中的清晰训练图像相同或不同；对于包含有相同清晰训练图像的不同训练图像对中的模糊训练图像的模糊程度和/或模糊区域不同；通过多个训练图像对训练去模糊模型，直至训练结束，得到训练后的去模糊模型。

上述模型训练模块进一步用于：针对同一拍摄场景，利用图像采集设备基于不同对焦位置和/或不同光圈大小进行拍摄，得到多张原始图像；对多张原始图像进行景深合成操作，得到全景对焦图像，将全景对焦图像作为清晰训练图像；对清晰训练图像进行后期模糊处理，得到模糊程度和/或模糊区域不同的多张模糊训练图像；基于清晰训练图像和多张模糊训练图像组成多个包含有相同清晰训练图像的不同训练图像对。

在一种实施方式中，上述残差信息包括用于表征目标图像与目标图像对应的全景对焦图像之间差异的残差图；清晰度确定模块56用于：对残差图进行聚合处理，得到残差图的标量值；基于残差图的标量值确定目标图像的清晰度。

在一种实施方式中，上述装置还包括叠加模块，用于将残差图与目标图像进行叠加处理，得到目标图像对应的清晰图。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例五：

对应于前述实施例三，本实施例进一步提供了一种图像对焦装置，该装置应用于图像采集设备，参见图6所示的一种图像对焦装置的结构示意图，包括：

图像清晰度确定模块62，用于采用前述实施例二提供的图像清晰度的确定方法确定图像采集设备的当前预览图像的清晰度；

对焦执行模块64，用于根据当前预览图像的清晰度执行对焦操作。

本发明实施例提供的上述图像对焦装置，能够采用前述图像清晰度的确定方法确定当前预览图像的清晰度，从而执行对焦操作，由于前述图像清晰度确定方式更为简便，因此也有助于加速图像采集设备的对焦操作，也便于图像采集设备在各种场景下都可以执行对焦操作。

在一种实施方式中，上述对焦执行模块64用于根据当前预览图像的清晰度调整图像采集设备的像距，直至当前预览图像的清晰度高于预设阈值；将停止调整像距时所对应的当前预览图像作为对焦图像。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例六：

本实施例提供了一种处理器，该处理器用于执行如前述任一项的图像清晰度的确定方法或图像对焦方法。

进一步，上述处理器可以为嵌入式神经网络处理器。

本实施例提供了一种图像采集设备，图像采集设备包括前述处理器。

进一步，本实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述图像清晰度的确定方法或图像对焦方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的处理器、图像采集设备和计算机可读存储介质的具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

本发明实施例所提供的图像清晰度的确定方法、图像对焦方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种图像清晰度的确定方法，其特征在于，包括：

获取待确定清晰度的目标图像；

将所述目标图像输入至去模糊模型，通过所述去模糊模型得到所述目标图像的残差信息；其中，所述目标图像的残差信息用于表征所述目标图像与所述目标图像对应的全景对焦图像之间的差异性；所述去模糊模型是基于不同拍摄场景所对应的训练图像对进行训练得到的，每个所述训练图像对包括针对同一拍摄场景的一张清晰训练图像和一张模糊训练图像；

根据所述残差信息确定所述目标图像的清晰度。

2.根据权利要求1所述的方法，其特征在于，所述去模糊模型的训练步骤包括：

获取多个训练图像对；其中，不同所述训练图像对针对的拍摄场景相同或不同；不同所述训练图像对中的清晰训练图像相同或不同；对于包含有相同清晰训练图像的不同训练图像对中的模糊训练图像的模糊程度和/或模糊区域不同；

通过所述多个训练图像对训练所述去模糊模型，直至训练结束，得到训练后的去模糊模型。

3.根据权利要求2所述的方法，其特征在于，所述包含有相同清晰训练图像的不同训练图像对的获取步骤包括：

针对同一拍摄场景，利用图像采集设备基于不同对焦位置和/或不同光圈大小进行拍摄，得到多张原始图像；

对多张所述原始图像进行景深合成操作，得到全景对焦图像，将所述全景对焦图像作为清晰训练图像；

对所述清晰训练图像进行后期模糊处理，得到模糊程度和/或模糊区域不同的多张模糊训练图像；

基于所述清晰训练图像和多张所述模糊训练图像组成多个包含有相同清晰训练图像的不同训练图像对。

4.根据权利要求1所述的方法，其特征在于，所述残差信息包括用于表征所述目标图像与所述目标图像对应的全景对焦图像之间差异的残差图；

所述根据所述残差信息确定所述目标图像的清晰度的步骤，包括：

对所述残差图进行聚合处理，得到所述残差图的标量值；

基于所述残差图的标量值确定所述目标图像的清晰度。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将所述残差图与所述目标图像进行叠加处理，得到所述目标图像对应的清晰图。

6.一种图像对焦方法，其特征在于，所述方法应用于图像采集设备，包括：

采用权利要求1至5任一项所述的图像清晰度的确定方法确定所述图像采集设备的当前预览图像的清晰度；

根据所述当前预览图像的清晰度执行对焦操作。

7.根据权利要求6所述的方法，其特征在于，所述根据所述当前预览图像的清晰度执行对焦操作的步骤，包括：

根据所述当前预览图像的清晰度调整所述图像采集设备的像距，直至所述当前预览图像的清晰度高于预设阈值；

将停止调整像距时所对应的当前预览图像作为对焦图像。

8.一种图像清晰度的确定装置，其特征在于，包括：

图像获取模块，用于获取待确定清晰度的目标图像；

残差确定模块，用于将所述目标图像输入至去模糊模型，通过所述去模糊模型得到所述目标图像的残差信息；其中，所述目标图像的残差信息用于表征所述目标图像与所述目标图像对应的全景对焦图像之间的差异性；所述去模糊模型是基于不同拍摄场景所对应的训练图像对进行训练得到的，每个所述训练图像对包括针对同一拍摄场景的一张清晰训练图像和一张模糊训练图像；

清晰度确定模块，用于根据所述残差信息确定所述目标图像的清晰度。

9.一种图像对焦装置，其特征在于，所述装置应用于图像采集设备，包括：

清晰度确定模块，用于采用权利要求1至5任一项所述的图像清晰度的确定方法确定所述图像采集设备的当前预览图像的清晰度；

对焦模块，用于根据所述当前预览图像的清晰度执行对焦操作。

10.一种处理器，其特征在于，所述处理器用于执行如权利要求1至5任一项所述的方法或权利要求6或7所述的方法。

11.根据权利要求10所述的处理器，其特征在于，所述处理器为嵌入式神经网络处理器。

12.一种图像采集设备，其特征在于，所述图像采集设备包括如权利要求10或11所述的处理器。

13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至5任一项所述的方法的步骤或者权利要求6或7所述的方法的步骤。

Images