CN115796267A - 神经网络模型的训练方法及装置、自动聚焦方法 - Google Patents

Abstract

本发明提供了一种神经网络模型的训练方法及装置、自动聚焦方法，所述神经网络模型的训练方法，包括：获取训练数据集，所述训练数据集包含与所述训练图像相对应的第一评分结果；采用所述训练数据集训练神经网络模型；获取每个维度下所述训练图像与所述参照图像的子特征图像的欧式距离，根据全部所述欧式距离的和获取第二评分结果；获取所述第二评分结果与所述第一评分结果的对比交叉熵损失；判断对比交叉熵损失是否满足预设条件，若是，则得到训练完成的神经网络模型，否则，对神经网络模型中的参数进行调整，直至对比交叉损失熵满足所述预设条件。本发明能够得到适用于高精度微尺度成像设备的准确且稳定的清晰度的评估结果。

Description

神经网络模型的训练方法及装置、自动聚焦方法

技术领域

本发明涉及基于机器视觉的图像处理技术领域，尤其涉及一种神经网络模型的训练方法及装置、自动聚焦方法。

背景技术

通常地，高精度微尺度成像设备，包括：扫描电子显微镜(SEM)、聚焦离子束(FIB)设备、以及以SEM为核心成像手段的电子束缺陷检测设备、缺陷复查设备、关键尺寸测量设备等在内的带电粒子成像设备，其相比基于光学成像的设备具有更高的分辨率，因此可以观察到更加细微的物体，例如纳米级别的物体，广泛应用于科研和半导体集成电路制造等领域。SEM成像的景深较浅，由于被检对象表面的高度变化有时会超过设备景深，采集到的图像会出现过焦或欠焦现象。现有的高精度微尺度成像设备，基于梯度、频率的算法，对采集的图像的聚焦效果进行调整，所得到的聚焦效果不稳定，且适用场景有限，普适性差。

因此，本发明提出了一种神经网络模型的训练方法及装置、自动聚焦方法，以训练出能够对图像的清晰度进行准确地评估的神经网络模型，进而得到准确的清晰度的评估结果，以实现高精度微尺度成像设备的自动聚焦。

发明内容

本发明提供了一种神经网络模型的训练方法及装置、自动聚焦方法，以解决现有技术中的高精度微尺度成像设备的聚焦效果稳定的技术问题。

第一方面，本发明提供一种神经网络模型的训练方法，包括：S1、获取训练数据集，所述训练数据集包含若干训练图像、参照图像以及与所述训练图像相对应的第一评分结果，所述第一评分结果根据所述训练图像与所述参照图像的清晰度的相似程度获得；S2、采用所述训练数据集训练神经网络模型，所述神经网络模型对所述训练图像和所述参照图像分别进行多个维度的特征提取，以分别得到各维度下所述训练图像和所述参照图像的子特征图像；S3、获取每个维度下所述训练图像与所述参照图像的子特征图像的欧式距离，根据全部所述欧式距离的和获取第二评分结果；S4、获取所述第二评分结果与所述第一评分结果的对比交叉熵损失；S5、判断所述对比交叉熵损失是否满足预设条件，若是，执行S6，否则，执行S7；S6、得到训练完成的神经网络模型；S7、对所述神经网络模型中的参数进行调整，并重复S2～S5，直至获取到的对比交叉损失熵满足所述预设条件。

其有益效果在于：通过本发明所提供的神经网络模型的训练方法所得到的训练好的神经网络模型，基于第一评分结果去调整神经网络模型所生成的第二评分结果，能够得到准确且稳定的清晰度的评估结果，所得到的训练好的神经网络模型具有泛化性和鲁棒性。

可选地，在所述S1中，所述获取训练数据集，包括：S11、获取若干清晰度不同的训练图像和已知清晰度的参照图像；S12、对若干清晰度不同的训练图像进行两两组合，以得到若干训练图像组；S13、在每个所述训练图像组内，基于所述训练图像与所述参照图像的清晰度的相似程度，对所述训练图像组中的每个训练图像分别评分，获取第一评分结果。其有益效果在于：本发明在保证评分结果准确的前提下，可以仅需要一张参照图就可完成对于训练数据集的获取。

可选地，在S11中，所述参照图像为完全模糊的图像；在S13中，越高的所述第一评分结果所对应的训练图像的相似程度越低。

可选地，所述多个维度的特征提取包括：由图像的浅层特征到深层特征的提取。其有益效果在于：通过综合考虑不同维度下的所述训练图像、所述参照图像的特征图像，能够获取更加准确的第二评分结果。

可选地，所述由图像的浅层特征到深层特征的提取，包括：依次进行五个不同维度的特征提取，包括：在第一个维度下，分别对所述训练图像和所述参照图像的角点信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的n张第一子特征图像；在第二个维度下，分别对所述训练图像和所述参照图像对应的n张所述第一子特征图像的边缘信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的2n张第二子特征图像；在第三个维度下，分别对所述训练图像和所述参照图像对应的2n张所述第二子特征图像的纹理信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的4n张第三子特征图像；在第四个维度下，分别对所述训练图像和所述参照图像对应的4n张所述第三子特征图像的结构信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的8n张第四子特征图像；在第五个维度下，分别对所述训练图像和所述参照图像对应的8n张所述第四子特征图像的语义信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的8n张第五子特征图像；其中，n为大于1的整数。其有益效果在于：本发明通过综合考虑角点信息、边缘信息、纹理信息、结构信息以及语义信息，能够得到更加准确的第二评分结果。

可选地，在所述S3中，通过公式

获取每个维度下所述训练图像与所述参照图像的子特征图像的欧式距离，其中，d_hwl(x,x₀)为第l个维度所对应的欧氏距离，

为所述训练图像在第l个维度下所对应的子特征图像，

为所述参照图像在第l个维度下所对应的子特征图像，且

均

w_l为在第l个维度下所述训练图像或所述参照图像所对应的子特征图像的压缩系数，且在同一个维度下所述训练图像或所述参照图像所对应的子特征图像的压缩系数相同，H_l、W_l、C_l分别为所述训练图像或所述参照图像在第l个维度下所对应的子特征图像的高度、宽度和深度，x表示所述训练图像，x₀表示所述参照图像；通过公式

根据全部所述欧式距离的和获取第二评分结果。其有益效果在于：本发明所提供的获得所述欧式距离和所述第二评分结果的方式简单易行，节省时间成本。

可选地，在所述S4中，通过公式CrossEntropyLoss＝-(ylogP+(1-y)log(1-P))，获取所述第二评分结果与所述第一评分结果的对比交叉熵损失，其中，CrossEntropyLoss为所述对比交叉熵损失，y为所述第一评分结果，且y∈{0,1}，P为所述第二评分结果，且P∈[0,1]；在所述S5中，判断所述对比交叉熵损失是否满足预设条件，包括：当所述对比交叉熵损失小于或等于预设阈值时，所述对比交叉熵损失满足所述预设条件，否则，所述对比交叉熵损失不满足所述预设条件。其有益效果在于：本发明所提供的获得所述对比交叉熵损失的方式简单易行，节省时间成本,采用反向传播方法更新网络权重，不断优化网络权重，可以得到最优的模型。所述预设阈值能够根据实际情况，具体调整，进一步保证了所述神经网络模型的训练过程的灵活性、准确性。

第二方面，本发明还提供一种自动聚焦方法，包括：调整成像设备的成像参数，获取清晰度不同的多个待聚焦图像；采用所述成像设备，获取已知清晰度的参照图像；将所述多个待聚焦图像和所述参考图像输入神经网络模型，所述神经网络模型由第一方面中的训练方法训练得到；通过所述神经网络模型对每个所述待聚焦图像分别进行评分；基于所述评分，在多个所述待聚焦图像中挑选成像清晰度最高的待聚焦图像，并确定所述最高的待聚焦图像所对应的所述成像设备的成像参数，以完成所述成像设备的自动聚焦。其有益效果在于：本发明所提供的图像清晰度的评分方法，基于上述实施例所提供的训练好的神经网络模型，能够得到准确的关于清晰度的评分结果，以完成所述成像设备的自动聚焦，能够在多种应用场景、工况条件下，能够实现高精度微尺度成像设备的自动聚焦，该方法具有良好的迁移性、鲁棒性。

可选地，所述参照图像为完全模糊的图像；所述清晰度最高的待聚焦图像所对应的评分最高。

第三方面，本发明还提供一种神经网络模型的训练装置，用于执行如第一方面中任一项所述的神经网络模型的训练方法，包括：第一获取单元、第二获取单元、第三获取单元、第四获取单元、判断单元、控制单元；所述第一获取单元用于获取训练数据集，所述训练数据集包含若干训练图像、参照图像以及与所述训练图像相对应的第一评分结果，所述第一评分结果根据所述训练图像与所述参照图像的清晰度的相似程度获得；所述第二获取单元用于采用所述训练数据集训练神经网络模型，所述神经网络模型对所述训练图像和所述参照图像分别进行多个维度的特征提取，以分别得到各维度下所述训练图像和所述参照图像的子特征图像；所述第三获取单元用于获取每个维度下所述训练图像与所述参照图像的子特征图像的欧式距离，根据全部所述欧式距离的和获取第二评分结果；所述第四获取单元用于获取所述第二评分结果与所述第一评分结果的对比交叉熵损失；所述判断单元用于判断所述对比交叉熵损失是否满足预设条件，若是，则得到训练完成的神经网络模型；否则，所述控制单元对所述神经网络模型中的参数进行调整，并控制所述第二获取单元、所述第三获取单元、所述第四获取单元以及所述判断单元重复工作，直至获取到的对比交叉损失熵满足所述预设条件。

其有益效果在于：通过本发明所提供的神经网络模型的训练装置所得到的训练好的神经网络模型，基于第一评分结果去调整神经网络模型所生成的第二评分结果，能够得到最优的神经网络模型，将训练好的神经网络模型应用于高精度微尺度成像设备的自动聚焦，能快速、准确的对该成像设备成像获取的图像的清晰度进行评分，挑出清晰度最高的图像，从而完成自动聚焦；并且本发明的方法具有良好的迁移性/普适性、鲁棒性，能够在多种应用场景、工况条件下得到准确且稳定的清晰度的评估结果，以完成自动聚焦。

附图说明

图1为本发明提供的一种神经网络模型的训练方法实施例流程示意图；

图2为本发明提供的一种图像实施例示意图；

图3为本发明提供的一种CNN网络结构实施例示意图；

图4为本发明提供的训练图像及其所对应的子特征图像的实施例示意图；

图5为本发明所提供的欧氏距离分布以及距离热度图实施例示意图；

图6为本发明提供的一种图像清晰度的评分方法实施例示意图；

图7为本发明提供的一种神经网络模型的训练装置实施例结构示意图。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“该”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

在本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

图像虚焦现象包括欠焦现象和过焦现象，若在设备运行过程中频繁出现，会影响整台设备的成像质量。因此，本发明提供了一种神经网络模型的训练方法及装置、自动聚焦方法，以解决现有技术中的高精度微尺度成像设备的聚焦效果稳定的技术问题。

本发明提供一种神经网络模型的训练方法，其流程如图1所示，包括：

S1、获取训练数据集，所述训练数据集包含若干训练图像、参照图像以及与所述训练图像相对应的第一评分结果，所述第一评分结果根据所述训练图像与所述参照图像的清晰度的相似程度获得；

在本步骤中，所述训练图像如图2中的“SEM图1”或“SEM图2”所示，所述训练数据集中的所述训练图像的数目不做具体限定。所述训练图像的数量足够大，以能够很好的训练神经网络模型。

S2、采用所述训练数据集训练神经网络模型，所述神经网络模型对所述训练图像和所述参照图像分别进行多个维度的特征提取，以分别得到各维度下所述训练图像和所述参照图像的子特征图像；

在本步骤中，所述参照图像如图2中的“参照图”所示，该“参照图”的清晰度是非常模糊的，当实际上，该图仅作为一种示例，本发明可以将任意一种已知清晰度的图像作为参照图像。

S3、获取每个维度下所述训练图像与所述参照图像的子特征图像的欧式距离，根据全部所述欧式距离的和获取第二评分结果；

S4、获取所述第二评分结果与所述第一评分结果的对比交叉熵损失；

S5、判断所述对比交叉熵损失是否满足预设条件，若是，执行S6，否则，执行S7；

S6、得到训练完成的神经网络模型；

S7、对所述神经网络模型中的参数进行调整，并重复S2～S5，直至获取到的对比交叉损失熵满足所述预设条件。

其有益效果在于：通过本发明所提供的神经网络模型的训练方法所得到的训练好的神经网络模型，基于第一评分结果去调整神经网络模型所生成的第二评分结果，能够得到最优的神经网络模型，将训练好的神经网络模型应用于高精度微尺度成像设备的自动聚焦，能快速、准确的确定该成像设备成像最清晰的条件，从而完成自动聚焦；并且本发明的方法具有良好的迁移性/普适性、鲁棒性，能够在多种应用场景、工况条件下得到准确且稳定的清晰度的评估结果，以完成自动聚焦。

在一些实施例中，在执行S1之前，还包括：获取参照图像，根据所述参照图像的像素尺寸获取所述参照图像的清晰度；获取若干训练图像，并根据所述训练图像的像素尺寸获取所述训练图像的清晰度；分析所述训练图像的清晰度与所述参照图像的清晰度的相似程度，以获取第一评分结果；根据若干训练图像以及与所述训练图像相对应的所述第一评分结果，建立所述训练数据集。其有益效果在于：通过像素尺寸获取准确的所述训练图像、所述参照图像的清晰度，并根据所述训练图像的清晰度与所述参照图像的清晰度的相似程度，能够获取准确的第一评分结果。

在一些实施例中，在所述S1中，所述获取训练数据集，包括：S11、获取若干清晰度不同的训练图像和已知清晰度的参照图像；S12、对若干清晰度不同的训练图像进行两两组合，以得到若干训练图像组；S13、在每个所述训练图像组内，基于所述训练图像与所述参照图像的清晰度的相似程度，对所述训练图像组中的每个训练图像分别评分，获取第一评分结果。示例性地，假设如图2所示的“SEM图1”或“SEM图2”为一个训练图像组，那么将该训练图像组中的训练图像的清晰度与如图2所示的“参照图”的清晰度的相似程度，如果很相似，那么评分结果可以是“Yes”，也可以是具体分值，记为1，如果很不相似，那么评分结果可以是“No”，也可以是具体分值，记为0。

在一些实施例中，在S11中，所述参照图像为完全模糊的图像；在S13中，越高的所述第一评分结果所对应的训练图像的相似程度越低。

在一些实施例中，所述多个维度的特征提取包括：由图像的浅层特征到深层特征的提取。

在一些实施例中，所述由图像的浅层特征到深层特征的提取，包括：依次进行五个不同维度的特征提取，包括：在第一个维度下，分别对所述训练图像和所述参照图像的角点信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的n张第一子特征图像；所述角点信息为所述输入图像的像素之间的边界交点的像素值；在第二个维度下，分别对所述训练图像和所述参照图像对应的n张所述第一子特征图像的边缘信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的2n张第二子特征图像；所述边缘信息为所述第一子特征图像中对应在所述输入图像中的图案的边缘的像素值；在第三个维度下，分别对所述训练图像和所述参照图像对应的2n张所述第二子特征图像的纹理信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的4n张第三子特征图像；所述纹理信息为所述第二子特征图像中对应在所述输入图像中的图案的纹理的像素值；在第四个维度下，分别对所述训练图像和所述参照图像对应的4n张所述第三子特征图像的结构信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的8n张第四子特征图像；所述结构信息为所述第三子特征图像中对应在所述输入图像中的所述图案的像素值；在第五个维度下，分别对所述训练图像和所述参照图像对应的8n张所述第四子特征图像的语义信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的8n张第五子特征图像；所述语义信息为所述第四子特征图像中对应在所述输入图像中的前景信息和后景信息。其中，n为大于1的整数。。其有益效果在于：本发明通过综合考虑角点信息、边缘信息、纹理信息、结构信息以及语义信息，能够得到更加准确的第二评分结果。

示例性地，参照图3，图3中的“输入图”指代所述训练图像，图3中的“参照图”指代所述参照图像。CNN网络结构如图3所示，按照五个维度分别对“输入图”和“参照图”进行特征提取，即网络采用分层卷积的方式抽取了图像和参照图不同层次/深度的特征，计算不同层特征所对应的欧氏距离并叠加，叠加之后的结果作为第二评分结果，即图3中的“清晰度分值”。该网络能够学会不同层语义，能够提取图像浅层到深层的信息，并根据这些信息来计算“输入图”与“参照图”之间的差异，从而相比现有的仅利用浅层信息进行计算的方法，具有更好的鲁棒性。在参照图像很模糊的前提下，所得到的欧氏距离越大，相对应的训练图像越清晰，反之，越模糊；在参照图像很清晰的前提下，所得到的欧氏距离越大，相对应的训练图像越模糊，反之，越清晰。

图3中所示的CNN网络由数层神经元节点构成，以5层CNN网络为例，各神经元节点通过权重连接，用于由浅而深地抽取“输入图”和“参照图”的特征。网络抽取并输出“输入图”和“参照图”的5层特征。第一层抽取/提取n个特征，第二层抽取/提取2n个特征，第三层抽取/提取4n个特征，第四层抽取/提取8n个特征，第五层抽取/提取8n个特征，n为正整数。n越大，抽取/提取的特征越多，可以根据数据集的复杂度，进行调整，该实施例网络结构具有扩充性，适应各种复杂度的数据，覆盖尽可能多的应用场景，提高神经网络的迁移性和鲁棒性。其中，第一层对应第一个维度，第二层对应第二个维度，第三层对应第三个维度，第四层对应第四个维度，第五层对应第五个维度。

在一些实施例中，在所述S3中，通过公式

获取每个维度下所述训练图像与所述参照图像的子特征图像的欧式距离，其中，d_hwl(,x₀)为第l个维度所对应的欧氏距离，

为所述训练图像在第l个维度下所对应的子特征图像，

为所述参照图像在第l个维度下所对应的子特征图像，且

均

w_l为在第l个维度下所述训练图像或所述参照图像所对应的子特征图像的压缩系数，且在同一个维度下所述训练图像或所述参照图像所对应的子特征图像的压缩系数相同，H_l、W_l、C_l分别为所述训练图像或所述参照图像在第l个维度下所对应的子特征图像的高度、宽度和深度，x表示所述训练图像，x₀表示所述参照图像。其有益效果在于：本发明所提供的获得所述欧式距离的方式简单易行，节省时间成本。值得注意的是，在计算欧式距离的时候，将全部维度下的所述训练图像或所述参照图像所对应的子特征图像的深度均压缩为1。通过公式

根据全部所述欧式距离的和获取第二评分结果，其中，d_hwl(,x₀)为第l个维度所对应的欧氏距离，H_l、W_l分别为所述训练图像或所述参照图像在第l个维度下所对应的子特征图像的高度和宽度，x表示所述训练图像，x₀表示所述参照图像。其有益效果在于：本发明所提供的获得所述第二评分结果的方式简单易行，节省时间成本。值得注意的是，对所述训练图像或所述参照图像所对应的子特征图像的欧氏距离进行空间求均，即在空间角度求子特征图像的平均值，最后将各层结果叠加，得到第二评分结果。

进一步地，对于训练图像的处理过程，参照图4中的(a)和(b)，具体地，参照图4中的(a)，在第一个维度下，对训练图像401的角点信息进行特征提取，以得到n张第一子特征图像，将该n张第一子特征图像的深度压缩为1，得到第一子图像402；在第二个维度下，对n张所述第一子特征图像的边缘信息进行特征提取，以得到2n张第二子特征图像，将该2n张第二子特征图像的深度压缩为1，得到第二子图像403；在第三个维度下，对2n张所述第二子特征图像的纹理信息进行特征提取，以得到4n张第三子特征图像，将该4n张第三子特征图像的深度压缩为1，得到第三子图像404；在第四个维度下，对4n张所述第三子特征图像的结构信息进行特征提取，以得到8n张第四子特征图像，将该8n张第四子特征图像的深度压缩为1，得到第四子图像405；在第五个维度下，对8n张所述第四子特征图像的语义信息进行特征提取，以得到8n张第五子特征图像，将该8n张第五子特征图像的深度压缩为1，得到第五子图像406。在图4中的(b)中，对训练图像407进行上述同样地操作，分别得到的第一子图像408、第二子图像409、第三子图像410、第四子图像411、第五子图像412。对参考SEM图像也进行同样的操作，在此不再赘述。在同一维度下，通过计算训练图像的子特征图像所对应的子图像、与参照图像的子特征图像所对应的子图像的欧式距离，获取这些欧式距离在空间上的平均值，并将这些平均值累加求和得到第二评分结果。

在一些实施例中，在所述S4中，通过公式CrossEntropyLoss＝-(ylogP+(1-y)log(1-P))，获取所述第二评分结果与所述第一评分结果的对比交叉熵损失，其中，CrossEntropyLoss为所述对比交叉熵损失，y为所述第一评分结果，且y∈{0,1}，P为所述第二评分结果，且P∈[0,1]。在所述S5中，判断所述对比交叉熵损失是否满足预设条件，包括：当所述对比交叉熵损失小于或等于预设阈值时，所述对比交叉熵损失满足所述预设条件，否则，所述对比交叉熵损失不满足所述预设条件。其有益效果在于：本发明所提供的获得所述对比交叉熵损失的方式简单易行，节省时间成本，采用反向传播方法更新网络权重，不断优化网络权重，可以得到最优的模型。其有益效果在于：所述预设阈值能够根据实际情况，具体调整，进一步保证了所述神经网络模型的训练过程的灵活性。

示例性地，如图5所示，将图4中的训练图像401输入神经网络模型，对所述训练图像401在每一层的欧式距离在空间上的平均值分别为：1.308、1.203、1.95、0.906、0.625，,所以对于“训练图像401”的第二评分结果为5.991，所述“训练图像401”所对应的第五子图像如图5中的“距离热度图1”所示；同样地，将图4中的训练图像407输入神经网络模型，对所述训练图像407在每一层的欧式距离在空间上的平均值分别为：1.332、1.21、1.934、0.784、0.519，所以对于“训练图像407”的第二评分结果为5.788，所述“训练图像407”所对应的第五子图像如图5中的“距离热度图2”所示。第二评分结果越高，说明图像的清晰度越高，所以“训练图像401”的清晰度更高。

上述实施的方法，训练数据集中的一组数据包括两个训练图像、一个参照图像、基于清晰度分别对两个训练图像的评分，采用大量训练组图像训练神经网络模型，训练后的神经网络模型能够对输入的图像的清晰度进行准确的评分，具有良好的迁移性/普适性、鲁棒性。

此外，可以根据真实场景(比如基于实际的应用场景、成像特点等)，采用与上述实施例公开的获取训练数据相同的方法，可以对上述实施例中的训练数据集进行扩展；根据新增的训练数据集对原始训练后的神经网络模型进行训练微调，即让神经网络模型具备更强的真实场景的环境迁移能力，进一步提高普适性、鲁棒性。

基于上述任一项实施例所述的神经网络模型的训练方法，本发明还提供一种自动聚焦方法，其流程如图6所示，包括：

S601、调整成像设备的成像参数，获取清晰度不同的多个待聚焦图像；

S602、采用所述成像设备，获取已知清晰度的参照图像；

S603、将所述多个待聚焦图像和所述参考图像输入神经网络模型，所述神经网络模型由上述任一项实施例所述的训练方法训练得到；

S604、通过所述神经网络模型对每个所述待聚焦图像分别进行评分；

S605、基于所述评分，在多个所述待聚焦图像中挑选成像清晰度最高的待聚焦图像，并确定所述最高的待聚焦图像所对应的所述成像设备的成像参数，以完成所述成像设备的自动聚焦。

其有益效果在于：本发明所提供的图像清晰度的评分方法，基于上述实施例所提供的训练好的神经网络模型，能够快速、准确的对高精度微尺度成像设备获取的图像的清晰度进行评分，挑出清晰度最高的图像，从而确定成像设备对应的成像参数，以完成所述成像设备的自动聚焦。其中，成像设备对应的成像参数是指成像设备的成像条件。

在一些实施例中，所述参照图像为完全模糊的图像；所述清晰度最高的待聚焦图像所对应的评分最高。

基于上述任一项实施例所述的神经网络模型的训练方法，本发明还提供一种神经网络模型的训练装置，用于执行如上述任一项实施例所述的神经网络模型的训练方法，所述神经网络模型的训练装置如图7所示，包括：第一获取单元701、第二获取单元702、第三获取单元703、第四获取单元704、判断单元705、控制单元706；所述第一获取单元701用于获取训练数据集，所述训练数据集包含若干训练图像、参照图像以及与所述训练图像相对应的第一评分结果，所述第一评分结果根据所述训练图像与所述参照图像的清晰度的相似程度获得；所述第二获取单元702用于采用所述训练数据集训练神经网络模型，所述神经网络模型对所述训练图像和所述参照图像分别进行多个维度的特征提取，以分别得到各维度下所述训练图像和所述参照图像的子特征图像；所述第三获取单元703用于获取每个维度下所述训练图像与所述参照图像的子特征图像的欧式距离，根据全部所述欧式距离的和获取第二评分结果；所述第四获取单元704用于获取所述第二评分结果与所述第一评分结果的对比交叉熵损失；所述判断单元705用于判断所述对比交叉熵损失是否满足预设条件，若是，则得到训练完成的神经网络模型；否则，所述控制单元706对所述神经网络模型中的参数进行调整，并控制所述第二获取单元702、所述第三获取单元703、所述第四获取单元704以及所述判断单元705重复工作，直至获取到的对比交叉损失熵满足所述预设条件。

上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应单元模块的功能描述，在此不再赘述。

其有益效果在于：通过本发明所提供的神经网络模型的训练装置所得到的训练好的神经网络模型，基于第一评分结果去调整神经网络模型所生成的第二评分结果，能够得到准确且稳定的清晰度的评估结果。

以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述的权利要求的保护范围为准。

Claims (10)

1.一种神经网络模型的训练方法，其特征在于，包括：

S1、获取训练数据集，所述训练数据集包含若干训练图像、参照图像以及与所述训练图像相对应的第一评分结果，所述第一评分结果根据所述训练图像与所述参照图像的清晰度的相似程度获得；

S2、采用所述训练数据集训练神经网络模型，所述神经网络模型对所述训练图像和所述参照图像分别进行多个维度的特征提取，以分别得到各维度下所述训练图像和所述参照图像的子特征图像；

S3、获取每个维度下所述训练图像与所述参照图像的子特征图像的欧式距离，根据全部所述欧式距离的和获取第二评分结果；

S4、获取所述第二评分结果与所述第一评分结果的对比交叉熵损失；

S5、判断所述对比交叉熵损失是否满足预设条件，若是，执行S6，否则，执行S7；

S6、得到训练完成的神经网络模型；

S7、对所述神经网络模型中的参数进行调整，并重复S2～S5，直至获取到的对比交叉损失熵满足所述预设条件。

2.根据权利要求1所述的神经网络模型的训练方法，其特征在于，在所述S1中，所述获取训练数据集，包括：

S11、获取若干清晰度不同的训练图像和已知清晰度的参照图像；

S12、对若干清晰度不同的训练图像进行两两组合，以得到若干训练图像组；

S13、在每个所述训练图像组内，基于所述训练图像与所述参照图像的清晰度的相似程度，对所述训练图像组中的每个训练图像分别评分，获取第一评分结果。

3.根据权利要求2所述的神经网络模型的训练方法，其特征在于，在S11中，所述参照图像为完全模糊的图像；在S13中，越高的所述第一评分结果所对应的训练图像的相似程度越低。

4.根据权利要求2所述的神经网络模型的训练方法，其特征在于，所述多个维度的特征提取包括：由图像的浅层特征到深层特征的提取。

5.根据权利要求3所述的神经网络模型的训练方法，其特征在于，所述由图像的浅层特征到深层特征的提取，包括：

依次进行五个不同维度的特征提取，包括：

在第一个维度下，分别对所述训练图像和所述参照图像的角点信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的n张第一子特征图像；

在第二个维度下，分别对所述训练图像和所述参照图像对应的n张所述第一子特征图像的边缘信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的2n张第二子特征图像；

在第三个维度下，分别对所述训练图像和所述参照图像对应的2n张所述第二子特征图像的纹理信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的4n张第三子特征图像；

在第四个维度下，分别对所述训练图像和所述参照图像对应的4n张所述第三子特征图像的结构信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的8n张第四子特征图像；

在第五个维度下，分别对所述训练图像和所述参照图像对应的8n张所述第四子特征图像的语义信息进行特征提取，以分别得到所述训练图像和所述参照图像对应的8n张第五子特征图像；

其中，n为大于1的整数。

6.根据权利要求5所述的神经网络模型的训练方法，其特征在于，在所述S3中，通过公式

获取每个维度下所述训练图像与所述参照图像的子特征图像的欧式距离，其中，d_hwl(x,x₀)为第l个维度所对应的欧氏距离，

为所述训练图像在第l个维度下所对应的子特征图像，

为所述参照图像在第l个维度下所对应的子特征图像，且

均

w_l为在第l个维度下所述训练图像或所述参照图像所对应的子特征图像的压缩系数，且在同一个维度下所述训练图像或所述参照图像所对应的子特征图像的压缩系数相同，H_l、W_l、C_l分别为所述训练图像或所述参照图像在第l个维度下所对应的子特征图像的高度、宽度和深度，x表示所述训练图像，x₀表示所述参照图像；

通过公式

根据全部所述欧式距离的和获取第二评分结果。

7.根据权利要求6所述的神经网络模型的训练方法，其特征在于，在所述S4中，通过公式CrossEntropyLoss＝-(ylogP+(1-y)log(1-P))，获取所述第二评分结果与所述第一评分结果的对比交叉熵损失，其中，CrossEntropyLoss为所述对比交叉熵损失，y为所述第一评分结果，且y∈{0,1}，P为归一化后的所述第二评分结果，且P∈[0,1]；

在所述S5中，判断所述对比交叉熵损失是否满足预设条件，包括：

当所述对比交叉熵损失小于或等于预设阈值时，所述对比交叉熵损失满足所述预设条件，否则，所述对比交叉熵损失不满足所述预设条件。

8.一种自动聚焦方法，其特征在于，包括：

调整成像设备的成像参数，获取清晰度不同的多个待聚焦图像；

采用所述成像设备，获取已知清晰度的参照图像；

将所述多个待聚焦图像和所述参考图像输入神经网络模型，所述神经网络模型由权利要求1-7中任一项所述的训练方法训练得到；

通过所述神经网络模型对每个所述待聚焦图像分别进行评分；

基于所述评分，在多个所述待聚焦图像中挑选成像清晰度最高的待聚焦图像，并确定所述最高的待聚焦图像所对应的所述成像设备的成像参数，以完成所述成像设备的自动聚焦。

9.根据权利要求8所述的自动聚焦方法，其特征在于，所述参照图像为完全模糊的图像；所述清晰度最高的待聚焦图像所对应的评分最高。

10.一种神经网络模型的训练装置，其特征在于，用于执行如权利要求1～7中任一项所述的神经网络模型的训练方法，包括：第一获取单元、第二获取单元、第三获取单元、第四获取单元、判断单元、控制单元；

所述第一获取单元用于获取训练数据集，所述训练数据集包含若干训练图像、参照图像以及与所述训练图像相对应的第一评分结果，所述第一评分结果根据所述训练图像与所述参照图像的清晰度的相似程度获得；

所述第二获取单元用于采用所述训练数据集训练神经网络模型，所述神经网络模型对所述训练图像和所述参照图像分别进行多个维度的特征提取，以分别得到各维度下所述训练图像和所述参照图像的子特征图像；

所述第三获取单元用于获取每个维度下所述训练图像与所述参照图像的子特征图像的欧式距离，根据全部所述欧式距离的和获取第二评分结果；

所述第四获取单元用于获取所述第二评分结果与所述第一评分结果的对比交叉熵损失；

所述判断单元用于判断所述对比交叉熵损失是否满足预设条件，若是，则得到训练完成的神经网络模型；否则，所述控制单元对所述神经网络模型中的参数进行调整，并控制所述第二获取单元、所述第三获取单元、所述第四获取单元以及所述判断单元重复工作，直至获取到的对比交叉损失熵满足所述预设条件。

Images