CN113808069A - 图像中的分层多类曝光缺陷分类 - Google Patents

Abstract

本公开的实施例涉及图像中的分层多类曝光缺陷分类。本发明的实施例提供了用于使用经由有限量的标记的训练图像而被训练的神经网络来检测和分类图像中的曝光缺陷的系统、方法和计算机存储介质。图像可以被应用于第一神经网络，以确定图像是否包括曝光缺陷。检测到的缺陷图像可以被应用于第二神经网络，以确定图像的曝光缺陷分类。曝光缺陷分类可以包括严重曝光不足、中度曝光不足、轻度曝光不足、轻度曝光过度、中度曝光过度、严重曝光过度等。图像可以与曝光缺陷分类一起被呈现给用户。

Description

图像中的分层多类曝光缺陷分类

技术领域

本公开的实施例一般地涉及神经网络，并且更具体地涉及使用神经网络来检测和分类图像中的曝光缺陷(exposure defect)。

背景技术

随着数字内容(图像、视频、动画)在其上被创建和消耗的频道(例如手机、便携式相机、膝上型电脑、平板电脑)的数量激增，在消耗之前高效地检测和组织缺陷内容已经变得极为重要。用以捕获和存储数字介质的具有传感器的便携式和方便设备(例如相机)的越来越多的使用已经允许用户收集大量的介质。附加地，各种应用(诸如但不限于

Stock、

等)提供了大型的图像存储库以供用户消耗。在这种应用中，图像可以被应用的用户上载。

被新手和专业摄影师两者捕获的数字图像通常可能遭受曝光缺陷，诸如曝光过度和曝光不足。随着数字介质的收集越来越大，为了维持针对介质收集的某些质量，检测这种曝光缺陷已经变得越来越重要。然而，曝光缺陷检测通常需要在准确检测的需求与效率的需求之间取得平衡。当大量介质被用户存储或被存储在应用存储库中时，检测数字介质中的曝光缺陷变得特别麻烦。当前的曝光缺陷检测解决方案不足以提供这种平衡。通常，利用现有解决方案，用户必须手动检测具有曝光缺陷的介质。在一些情况下，手动检测的成本和乏味可能导致用户沮丧或用户接受低于标准的内容，从而限制了数字介质存储库的可用性。

发明内容

本发明的实施例涉及用以使用经由有限量的标记的训练数据而被训练的神经网络来高效且准确地检测和分类图像中的曝光缺陷的曝光缺陷分类系统。就这一点而言，图像可以被应用于所训练的第一神经网络以确定图像是否包括曝光缺陷。然后，如果图像被确定包括曝光缺陷，则图像可以被应用于第二神经网络。第二神经网络可以被训练以将图像分类为包括曝光过度缺陷或曝光不足缺陷。在一些实施例中，第二神经网络可以输出指示输入图像中的曝光不足水平和/或曝光过度水平的曝光分数。水平可以对应于曝光缺陷分类类型，诸如但不限于中度曝光过度、严重曝光过度、轻度曝光过度、中度曝光不足、严重曝光不足和/或轻度曝光不足。然后，具有曝光缺陷的图像可以基于分类和/或分数而被呈现和/或存储。

如此，用户可以被高效地、有效地并且自动地提供有关于曝光缺陷存在图像的相关信息。这种情况使得用户能够容易地描绘关于基础图像的相关信息，而不必在视觉上搜索整个图像图库以找到可能遭受曝光缺陷的图像，从而允许用户高效地去除和/或修复缺陷图像。

提供本发明内容以按照简化形式介绍构思的选择，在下文具体实施方式中会进一步描述这些构思。本发明内容既不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在被用于辅助确定所要求保护的主题的范围。

附图说明

下文参考附图详细描述本发明，在附图中：

图1是根据本发明的实施例的适合用于实现本发明的实施例的示例性环境的框图；

图2是图示针对根据本发明的实施例的使用神经网络的图像的曝光缺陷分类的示例过程的数据流程图；

图3图示了根据本发明的实施例的用于训练二进制模型的示例过程；

图4图示了根据本发明的实施例的缺陷检测系统的示例输出；

图5是示出了根据本发明的实施例的用于检测和分类图像中的曝光缺陷的方法的流程图；以及

图6是适合用于实现本发明的实施例的示例性计算设备的框图。

具体实施方式

概述

多年来，在其上数字介质可以被创建和消耗的频道的数量的激增已经显著增加，从而产生大量的数字内容。例如，数字介质(诸如图像)可以被具有传感器的各种电子设备(包括数码相机、无人机、便携式摄像机等)捕获。所捕获的数字介质(诸如图像、视频等)可以被存储在存储库(诸如数字相册、

Stock、

等)中。

然而，这种捕获的数字介质通常遭受曝光缺陷，诸如曝光过度和曝光不足。具体地，当比所需要的更多的光落在捕获数字图像的传感器上时，诸如当捕获的物体太亮时，图像遭受曝光过度。曝光过度导致数字图像中细节的损失。如此，曝光过度的图像通常可以包括遇到过多光的(多个)亮的或白色区域。进一步地，当比所需要较少的光落在捕获数字图像的传感器上时，会发生曝光不足，使得物体在数字图像中显得非常暗。曝光不足会导致对应于物体的细节的损失。结果，曝光不足的图像通常可以包括遇到很少光的(多个)暗的或黑色区域。

当曝光缺陷与数字介质相关联地发生时，检测具有这种曝光缺陷的数字介质对于用户来说可以是有价值的，以实现更优和高效的用户体验，尤其是随着数字内容的数量增加。作为一个示例，大量的数字介质内容可以经由数字相册(例如

Stock)可访问。用户可能期望访问和/或利用数字相册中具有良好曝光的图像，使得图像中的细节量对于观看者而言是最佳的。因此，个人或实体可以选择性地去除或标示具有不良曝光的数字介质，以增加或提高经由数字相册可访问的数字介质的质量。

当前，为了检测数字介质中的曝光缺陷，一种方法需要用户手动检测具有曝光缺陷的介质。例如，该常规方法需要用户手动确定哪些图像或帧(例如视频帧、动画帧)包括曝光缺陷，并且标示或删除那些图像或帧。随着收集变得越大，这种手动检测可能变得越来越麻烦。进一步地，该方法需要用户任意检测图像或帧中的曝光缺陷。这种任意手动检测通常可以是主观的，并且导致介质的错误分类。

另一常规方法包括使用图像编辑软件以使用直方图来检测每个图像或帧中的曝光缺陷。就这一点而言，图像编辑软件可以生成表示图表(graph)中的数字图像或帧的色调值的直方图。具体地，直方图表示图像或帧中特定亮度的色调量，其范围随着亮度的增加而从黑色变回白色。例如，曝光过度的图像或帧的直方图可以包括具有高的白色色调值的图表。类似地，曝光不足的图像可以在具有高的黑色色调值的图表中被表示。图像编辑软件的用户可以对每个数字图像或帧执行直方图分析，以确定在任何图像/帧中是否存在曝光缺陷。然而，针对每个图像或帧的这种单独分析可能是耗时的。进一步地，直方图中的色调值也可能受传感器设置、拍摄的场景、用户的视力等影响。如此，直方图可能不会始终提供对图像的曝光的准确分析，并且通常会导致将图像或帧不正确地分类为良好、曝光过度和/或曝光不足。

因此，本文中所描述的实施例涉及支持数字图像的曝光缺陷的高效和准确的检测和分类。特别地，本文中所描述的实施例一般在不依赖于色调直方图或广泛的手动分类和/或标记的情况下检测和分类曝光缺陷。为此，实施例涉及使用训练后的神经网络来自动检测和分类数字介质(例如图像、视频帧、动画帧)中的曝光缺陷。一般地，自动分类的数字介质被准确地分类为包括曝光良好的介质、曝光过度的介质、曝光不足的介质等。然后，这种分类可以例如被用于提高图像的质量、策展(curate)图像、组织图像的呈现等。

在实现中，(多个)神经网络首先确定图像是否包括曝光缺陷，并且如果图像包括曝光缺陷，则(多个)相同或不同的神经网络基于图像中曝光缺陷的水平来确定曝光缺陷分类。在高水平时，在实施例中，(多个)神经网络被用于检测曝光缺陷并在图像中提供其分类。(多个)神经网络可以被训练并被用于预测针对每个数字图像的曝光水平(例如曝光过度、曝光不足、良好曝光)，这些曝光水平可以被用于对在设备中、云中和/或数字介质存储库中所存储的图像进行分类。本系统可以将图像分类为不同的曝光水平，诸如严重曝光过度、轻度曝光过度、中度曝光过度、严重曝光不足、轻度曝光不足、中度曝光不足、良好曝光(例如曝光良好、没有曝光缺陷)等。与需要用户对每个图像执行直方图分析或对每个图像进行主观分类的常规解决方案相反，本系统自动使用在有限量的手动标记的训练数据和/或噪声数据上被训练的(多个)神经网络来预测图像中所表示的曝光缺陷。本系统允许预测数字图像内的曝光缺陷的更鲁棒和高效的方式，然后该方式可以被用于执行各种功能，诸如按曝光水平组织数字图像、删除缺陷图像、标示缺陷图像、改变缺陷图像的曝光等。

在一些示例中，针对任何接收到的介质(例如图像、视频、动画)，第一神经网络可以被用于确定介质是否包括曝光缺陷。神经网络可以被训练以将介质的一个或多个帧(例如图像、视频帧)分类为良好或不良的曝光帧或图像。然后，被确定为包括曝光缺陷的帧或图像(例如不良的曝光帧)可以被应用于第二神经网络，以确定针对每个图像的曝光水平。曝光水平可以包括针对被确定为包括曝光缺陷的每个帧或图像的曝光分数和/或曝光缺陷分类。例如，每个帧或图像的分数可以在0与1之间，其中0指示严重曝光不足水平，而1指示严重曝光过度水平。在这种示例中，曝光缺陷分类可以包括严重曝光过度、轻度曝光过度、中度曝光过度、严重曝光不足、轻度曝光不足、中度曝光不足等。以此方式，如果对应帧被确定为不包括曝光缺陷，则每个帧或图像可以被分类为曝光良好(例如良好的曝光)，并且被分类为上文曝光缺陷分类中的一个。

然后，帧或图像可以基于分类被呈现给用户。分类可以被用于执行各种功能，诸如按曝光水平组织数字帧或图像、删除缺陷图像、标示缺陷图像、改变缺陷图像的曝光等。在一个示例中，用户可以被呈现缺陷图像或帧和/或对应的曝光水平。用户可以被呈现关于去除/删除缺陷帧或图像中的一个或多个、修复缺陷帧或图像中的一个或多个中的曝光等的选项。在其他示例中，缺陷帧或图像可以基于曝光水平被呈现不同的标签或旗标。在一些其他示例中，用户可以被呈现被检测为在一组图像中包括曝光缺陷的帧或图像的数量的鲁棒图形表示。例如，曝光良好的帧或图像与缺陷的帧或图像的比率可以被呈现。曝光良好分类与其他分类的比率也可以被呈现。

在一些示例中，第一神经网络可以使用弱监督学习算法被训练，以使得一小组标记的训练图像可以被用于从噪声数据集生成更多的训练图像。首先，神经网络可以使用一小组标记的图像而被初始训练以检测图像是否包括曝光缺陷。然后，通过使用训练后的神经网络来确定针对噪声数据集中的每个图像的推断分数，初始训练的神经网络可以使用图像的噪声数据集被重新训练。然后，噪声数据集的推断分数可以被用于确定用于将每个图像分类为曝光良好或缺陷的图像的阈值分数。阈值分数可以基于标记的训练图像中的曝光良好图像与缺陷图像的分布比率而被确定，以使得阈值分数提供噪声数据集中的曝光良好图像与缺陷图像的相同分布比率。低于阈值分数的图像可以被分类为曝光良好的图像，而高于阈值分数的图像可以被分类为缺陷图像。在一些示例中，一个或多个错误分类的图像可以从噪声数据集被去除。错误分类的图像可以是在缺陷图像分类中被错误分类为曝光良好的图像的图像。然后，具有分类的新的噪声数据集可以被用于重新训练神经网络。然后，重新训练后的神经网络可以在推断时被用作第一神经网络，以检测(多个)图像或(多个)帧是否包括曝光缺陷。以此方式，第一神经网络可以使用较大的数据集而被训练，而无需手动标记噪声数据集中的每个图像。

在一些示例中，第一神经网络和第二神经网络可以共享多个顶层，但是分别包括被训练用于二进制缺陷检测和缺陷检测水平的一个或多个底层(例如完全连接层)。每个网络可以针对每个层使用不同的学习速率(例如权重)被训练。在一些示例中，第二神经网络的(多个)完全连接层可以使用被标记有从0到1的五个分类或分类分数(包括0、0.25、0.5、0.75和1)的训练图像而被训练。分类可以分别指示曝光水平，诸如严重曝光不足、轻度曝光不足、中度曝光过度/曝光不足、轻度曝光过度和严重曝光过度。以此方式，第一神经网络可以被训练以检测图像中曝光缺陷的存在，并且第二神经网络可以被训练以检测缺陷图像中的曝光水平。

本文中所公开的技术的方面提供了优于先前解决方案的多个优点。例如，一种先前的方法涉及手动标记介质。然而，该方法没有考虑贴标者(labeler)的主观偏见以自动且准确的方式智能且一致地确定遭受曝光缺陷的图像。随着收集变得越大并且遭受图像的错误分类，这种手动检测或确定变得越来越麻烦，从而无法提供准确地标记的图像。进一步地，另一种先前的方法要求用户对每个图像执行直方图分析，从而使过程耗时。该先前的方法还受到以下假设的约束：直方图始终提供对图像的曝光的准确分析并且通常可以导致将图像不正确地分类为良好、曝光过度和/或曝光不足的图像。

为了避免对本系统的这种约束，例如，本文中所描述的技术的实施例系统地开发一种算法以使用一个或多个神经网络来检测和分类图像中的曝光缺陷，以生成图像的自动、一致和准确的分类，而无需手动标记大量的训练数据(例如训练图像)。与常规系统不同，本技术的实施例利用标记的训练图像的小数据集来从图像的噪声的数据集生成大的分类或标记的数据集，以训练神经网络来检测图像中曝光缺陷的存在。进一步地，本技术的实施例通过将缺陷图像应用于另一神经网络来利用训练后的神经网络的结果来检测图像中的缺陷水平。本技术的实施例可以通过使用神经网络(其使用有限的训练数据被专门训练)来针对数字介质对基础曝光缺陷进行准确和高效的确定和分类，以自动检测数字介质中的曝光缺陷和/或其对应水平。

数字介质曝光缺陷检测环境

现在参考图1，适合用于实现本发明的实施例的示例性环境100的框图被示出。一般地，环境100适合于支持数字介质中的曝光缺陷检测，并且除其他外，使用被训练以检测和分类数字介质中的曝光缺陷的(多个)神经网络来支持数字介质的曝光缺陷分类。

环境100包括网络120、客户端设备110、数据存储库140和缺陷检测系统130。在图1中所图示的实施例中，客户端设备110包括数字介质图库115。一般地，数字介质图库115包括介质集合。如本文中所描述，在一些实施例中，数字介质图库115可以呈现介质集合的基于曝光的组织。客户端设备110可以是能够(例如经由基于曝光的介质组织)收集和/或呈现介质的任何种类的计算设备。例如，在实施例中，客户端设备110可以是计算设备，诸如计算设备600，如下文参考图6所描述。在实施例中，客户端设备110可以是个人计算机(PC)、膝上型计算机、工作站、移动计算设备、PDA、蜂窝电话等。环境100的组件可以经由网络120彼此通信，该网络可以包括但不限于一个或多个局域网(LAN)和/或广域网(WAN)。这种联网环境在办公室、企业范围计算机网络、内部网和因特网中是常见的。

一般地，响应于获得数字介质图库中的介质集合，针对每种介质的曝光分类的检测和确定可以使用算法来进行，以预测利用使用有限量的标记数据被训练的(多个)神经网络的曝光缺陷类型。通过采用本公开的这种算法来检测和分类介质中的曝光缺陷，介质集合可以以上下文和智能的方式被分类，以便向用户提供有关于基础介质的曝光的相关信息。

数字介质图库115可以被合并或整合到应用中，或可以添加到应用程序的附件或插件中。应用一般可以是能够支持数字介质组织的任何应用，并且可以是独立应用、移动应用、web应用等。在一些实现中，应用包括web应用，该web应用可以在web浏览器中运行，并且可以至少部分地被托管在服务器侧。附加地或替代地，应用可以包括专用应用。在一些情况下，应用可以被整合到操作系统中(例如作为服务)。尽管在本文中一般讨论了数字介质图库115与应用相关联，但是在一些情况下，数字介质图库115或其一部分可以附加地或备选地被整合到操作系统中(例如作为服务)或服务器(例如远程服务器)。在一些示例中，数字介质图库115可以被存储在云计算环境中。

客户端设备110的数字介质图库115可以包括允许用户存储或提交介质的用户界面或应用。任何适合的用户界面和输入组件可以被使用，诸如相对于图6的I/O组件620所描述的用户界面和输入组件。各种数量和/或类型的介质可以被接收以用于曝光缺陷检测。例如，数字介质图库115可以接受图像、视频、动画、幻灯片等。在一些实施例中，数字介质图库115可以接收介质集合以用于曝光缺陷检测。一般地，数字介质图库115经由网络120与缺陷检测系统130通信，并且可以将介质或介质集合从客户端设备110发送到缺陷检测系统130以供处理。尽管介质集合被描述为被发送到缺陷检测系统130，但这不是必需的，因为缺陷检测系统130的任何或所有组件可以被定位在客户端设备110、数据存储库140或其他处上。进一步地，介质集合可以与缺陷检测系统130相关联地被存储，并且经由在客户端设备上操作的数字介质图库应用可访问。

数据存储库140可以存储多种介质和对应的曝光缺陷分类。在一些示例中，数据存储库140可以包括分类类型(例如良好曝光、严重曝光过度、轻度曝光过度、中度曝光过度、严重曝光不足、轻度曝光不足、中度曝光不足等)和关于分类类型的其对应特征(例如分数、分数范围)的存储库。在一些示例中，数据存储库140还可以包括被用于训练缺陷检测系统130的一个或多个神经网络(诸如但不限于二进制模型134和分类模型136)的训练数据集。训练数据集可以包括标记的数据集、未标记的数据集、噪声数据集、再训练数据集等。每种分类类型可以与对应的分数和/或分数范围相关联。例如，严重曝光不足分类可以与0的曝光分数(例如阈值分数)和/或0-0.25的曝光分数范围相关联，中度曝光不足分类可以与0.25的曝光分数和/或0.25-0.5的曝光分数范围相关联，轻度曝光不足分类可以与0.5的曝光分数和/或0.45-0.5的曝光范围相关联等。在一个示例中，分类类型可以与0到1之间的曝光分数相关联，以使得更接近0的分数指示严重曝光不足，而更接近1的分数指示严重曝光过度。

缺陷检测系统130一般被配置成检测和分类曝光缺陷。一般地，并且在高水平下，缺陷检测系统130获得(例如接收或获取)介质或介质集合，并确定最优地表示在介质中遇到的曝光水平的每种介质的曝光缺陷分类。缺陷检测系统130可以从客户端设备110的数字介质图库115接收(多个)图像或(多个)帧(例如视频帧、动画帧)。在一些示例中，缺陷检测系统130可以从数据存储库140接收(多个)图像。在一些示例中，缺陷检测系统130或其一部分可以是数字介质图库115的一部分。在其他示例中，缺陷检测系统130可以被定位于远程服务器上，以使得数字介质图库115可以经由网络120与缺陷检测系统130通信。在图1中所图示的实施例中，缺陷检测系统130包括图像接收器132、二进制模型134、分类模型136和呈现器138。尽管本文中给出的示例一般涉及图像，但这仅出于示例目的。例如，本系统也可以类似地起作用以检测呈其他形式的数字介质中的曝光缺陷，诸如但不限于视频、动画等。

缺陷检测系统130一般被配置成基于每个图像中的检测到的曝光水平来检测和分类图像。具体地，缺陷检测系统130可以确定图像是否遭受曝光缺陷和/或图像中的曝光缺陷的类型(例如水平)。系统130使用(多个)神经网络对图像评分，以指示图像中的曝光水平。缺陷检测系统130可以使用两个神经网络来首先确定图像是否遭受曝光缺陷，并且响应于确定图像包括曝光缺陷，然后确定图像中的曝光缺陷水平并将图像分类为曝光缺陷类型。曝光缺陷水平可以被用于确定图像的分类以呈现给客户端设备110。

图像接收器132可以例如从客户端设备110的数字介质图库115接收、获取、访问或获得图像或图像集合(“(多个)图像”)。在一些实施例中，(多个)接收到的图像可以对应于(多个)图像、表示视频的(多个)帧(例如视频的快照)和/或表示传感器的感测场的表示的传感器数据(例如用于LIDAR传感器的深度图或点云、用于超声传感器的值图(valuegraph)等)。图像可以呈多种格式中的任一种，诸如例如但不限于诸如呈联合图像专家组(JPEG)或亮度/色度(YUV)格式的压缩图像、如来源于压缩的视频格式(诸如H.264/高级视频编码(AVC)或H.265/高效视频编码(HEVC))的帧的压缩图像、原始图像(诸如源自红白蓝(RCCB)、红白(RCCC)或其他类型的成像传感器)和/或其他格式。附加地，在一些示例中，(多个)图像可以呈原始或捕获的格式(例如无需任何预处理，而在其他示例中，(多个)图像可以经历预处理(例如噪声平衡、去马赛克、缩放、裁剪、增强、白平衡、色调曲线调整等，诸如使用传感器数据预处理器(未示出))。例如，(多个)图像可以被重新调整大小(例如较小、较大)到预定大小。在其他示例中，(多个)图像可以通过使度数变化(例如随机选择、基于随机分析选择)来旋转或翻转图像而被增强。在其他示例中，(多个)图像可以经历中心裁剪。如本文中所使用，(多个)图像可以参考未处理的图像、预处理的图像或其组合。(多个)图像可以包括初始图像(例如，如由一个或多个图像传感器捕获)、下采样图像、上采样图像、裁剪或感兴趣区(ROI)图像、以其他方式增强的图像和/或其组合。

在接收或获得(多个)图像之后，然后，每个图像可以被应用于二进制模型134。(多个)图像可以作为(多个)未处理图像和/或(多个)预处理图像被应用于二进制模型。例如，(多个)图像可以是被重新调整大小到预定大小的重新调整大小(例如较小、较大)的图像。在其他示例中，(多个)图像可以是通过使度数变化(例如随机选择、基于随机分析选择)来旋转或翻转图像所生成的增强图像。在其他示例中，(多个)图像可以是初始图像的中心裁片，其大小可以是预定的。在另一示例中，(多个)图像可以是被重新调整大小到较小大小的初始图像，并且然后重新调整大小的图像的中心裁片可以被用作(多个)图像。图像可以被预处理为用于训练二进制模型134和/或分类模型136的训练图像的大小。例如，如果二进制模型134使用以预定大小(例如224长度乘224宽度)被调整大小或被重新调整大小的图像来训练，则(多个)图像也可以是被重新调整大小到与训练图像相同或相似的大小的初始图像。应当注意，本文中所讨论的预处理技术仅出于示例目的，并且任何其他预处理技术可以被用于生成(多个)预处理图像。在一些示例中，(多个)图像的每个像素可以与对应于该像素遇到的亮度、光和/或对比度的量的(多个)值相关联。

二进制模型134一般被配置成检测(多个)图像是否包括或遭受曝光缺陷。二进制模型134可以包括机器学习模型，该机器学习模型被训练以基于图像包括曝光缺陷的概率或置信度来对图像评分。然后，二进制模型134可以基于由机器学习模型输出的置信度分数来对图像进行分类。在一些示例中，二进制模型134的机器学习模型可以被训练以将图像分类为曝光良好图像和缺陷图像作为输出。(多个)图像中的每个图像可以使用二进制模型136，基于与图像相关联的对应置信度分数而被分类为曝光良好或缺陷的图像。曝光良好的图像分类可以指示图像包括良好或适当的曝光，并且不包括曝光缺陷。缺陷图像分类可以指示对应图像包括曝光过度或曝光过度图像缺陷。具体地，当比所需要的更多或更少的光落在捕获数字图像的传感器上时，诸如当捕获的物体太亮时，图像可以被分类为缺陷图像。在一些示例中，二进制模型136可以被训练以检测输入图像中的亮(例如白色)区域和暗(例如黑色)区域，以确定图像是否包括曝光缺陷(例如曝光不足、曝光过度)。逐像素分析可以由二进制模型134完成，以检测图像中的曝光量(例如光、亮度、对比度)。

为了将图像分类为曝光良好或缺陷的图像，置信度分数可以由二进制模型134针对(多个)输入图像确定。置信度分数可以指示对应图像包括曝光缺陷(例如曝光不足、曝光过度)的概率。例如，置信度分数可以在0到1的范围内，以使得分数的增加对应于图像包括曝光缺陷的增加的概率。在这种示例中，更接近0的置信度分数可以指示图像是曝光良好的或包括良好的曝光，而更接近1的置信度分数可以指示图像是缺陷的，或反之亦然。

二进制模型134可以使用预定的置信度阈值将图像分类为曝光良好的图像或缺陷图像。置信度分数可以与(多个)图像是缺陷的置信度相关，以使得图像的置信度分数越高，图像就越有可能是缺陷的，或反之亦然。例如，图像的置信度分数可以在0与1之间，其中置信度分数低于预定置信度阈值0.5的图像被确定为曝光良好的图像，并且置信度分数等于或高于预定置信度阈值0.5的图像被认为是缺陷图像，或反之亦然。

二进制模型134可以使用置信度分数阈值和/或置信度分数范围，基于由机器学习模型生成的对应置信度分数来确定(多个)图像的分类。二进制模型134可以将(多个)图像作为输入应用于训练后的机器学习模型，该机器学习模型基于(多个)图像的逐像素分析为(多个)图像中的每个图像输出置信度分数和/或对应分类。置信度分数可以基于图像的特征分析，包括逐像素分析，该特征分析检测与图像的每个像素相关联的光、亮度和/或对比度的量。包括与暗区域或亮区域相关联的一组像素的图像(如由区域中的像素所指示)可以与比在所有区域中具有可观的光或亮度的量的图像更高的置信度分数相关联，或反之亦然。然后，如上文所描述，置信度分数可以由机器学习模型或二进制模型的单独组件用于将图像分类为曝光良好的图像或缺陷图像。

在备选实施例中，基于特征的算法可以被用作二进制模型134，以对(多个)图像进行分类和/或针对(多个)图像生成对应置信度分数。基于特征的算法是指被训练以检测图像中的曝光特征的算法。曝光特征可以包括在图像的区域中的光、亮度和/或对比度，然后，该光、该亮度和/或该对比度可以与指示图像包括曝光缺陷的概率的置信度分数相关联。然后，置信度分数可以由基于特征的算法或单独组件用于基于如上文所描述的置信度阈值和/或范围来将图像分类为曝光良好图像和缺陷图像。

根据相对于图3所提供的描述，二进制模型134可以使用训练数据集和/或噪声数据集被训练。二进制模型134可以被训练以检测或预测(多个)图像是曝光良好的图像还是缺陷图像。在一些示例中，二进制模型134可以向呈现器138提供对应于(多个)图像的分类和/或置信度分数，以供呈现给客户端设备110。在其他示例中，二进制模型134可以进一步被配置成将对应于预测的缺陷图像的(多个)图像传达或发送到分类模型136。

尽管本文中相对于使用神经网络和具体地卷积神经网络(CNN)或深度神经网络(DNN)作为(多个)机器学习模型(例如二进制模型134、分类模型136)来描述示例，但这种情况不旨在是限制性的。例如但不限于，本公开的(多个)机器学习模型可以包括任何类型的(多个)机器学习模型，诸如使用线性回归、逻辑回归、决策树、支持向量机(SVM)、朴素贝叶斯、k元最近邻(Knn)、K均值聚类、随机森林、降维算法、梯度提升算法、神经网络(例如自动编码器、卷积、递归、感知器、长期/短期记忆/LSTM、霍普菲尔德、玻尔兹曼、深度信念、反卷积、生成对抗、液体状态机等)、计算机视觉算法的(多个)机器学习模型和/或其他类型的机器学习模型。

分类模型136一般被配置成基于(多个)图像中的曝光水平对缺陷图像进行分类。分类模型136可以包括机器学习模型，该机器学习模型被训练以使用回归算法基于在(多个)图像中检测到的曝光缺陷水平对图像评分。然后，分类模型136可以基于(多个)图像中的曝光缺陷水平来对图像进行分类。在一些示例中，分类模型136的机器学习模型可以被训练以对图像进行分类。(多个)图像中的每个图像可以使用分类模型136被分类为曝光缺陷分类，诸如但不限于严重曝光不足、中度曝光不足、轻度曝光不足、轻度曝光过度、重度曝光过度、严重曝光过度等。在一些示例中，(多个)图像中的每个图像可以使用分类模型136被分类为曝光不足或曝光过度分类。一般地，曝光缺陷分类是指基于曝光的程度或水平的曝光的类型或分类。

为了关于曝光缺陷对图像进行分类，曝光分数还可以由分类模型136针对(多个)缺陷图像来确定。曝光分数可以指示对应图像中的曝光水平。曝光分数可以表示图像中的曝光过度缺陷或曝光不足缺陷两者。例如，曝光分数可以在0到1的范围内，以使得分数的增加对应于曝光水平的增加。在这种示例中，更接近0的曝光分数可以指示图像是严重曝光不足的，而更接近1的曝光分数可以指示图像是严重曝光过度的，或反之亦然。在一些示例中，如果图像的对应曝光分数低于0.5，则图像可以被分类为曝光不足的图像，并且如果图像的对应曝光分数高于0.5，则图像可以被分类为曝光过度的图像，或反之亦然。

分类模型136可以使用曝光分数阈值和/或曝光分数范围，基于由机器学习模型生成的对应曝光分数来确定(多个)图像的曝光缺陷分类。分类模型136可以将(多个)缺陷图像应用于训练后的机器学习模型，该机器学习模型为(多个)缺陷图像中的每个缺陷图像输出曝光分数和/或对应曝光缺陷分类。曝光分数可以与图像的曝光水平相关，以使得图像的曝光分数越高，图像中包括的曝光越多。曝光分数可以基于图像的特征分析，包括逐像素分析，该特征分析检测与图像的每个像素相关联的光、亮度和/或对比度的量。包括与(多个)亮的或白色区域相关联的一组像素的图像(如由区域中的像素所指示)可以与比具有(多个)暗的或黑色区域的图像更高的曝光分数相关联，或反之亦然。例如，图像的曝光分数可以在0与1之间的尺度内，其中曝光分数低于0.25的图像被分类为包括严重曝光不足，具有2.5到0.4的曝光的图像被分类为包括中度曝光不足，具有0.4到0.5的曝光分数的图像被分类为包括轻度曝光不足，具有0.5到0.6的曝光分数的图像被分类为包括轻度曝光过度，具有0.6到0.75的曝光分数的图像被分类为包括中度曝光过度，并且曝光分数高于0.75的图像被分类为包括严重曝光过度。

在一些非限制性示例中，单独的机器学习模型可以被训练以针对曝光不足和曝光过度的缺陷对图像评分。在这种示例中，一个机器学习模型可以被训练以针对曝光不足在0与1之间对缺陷图像评分，其中曝光分数0指示严重曝光不足，而分数1指示轻度曝光不足，或反之亦然。类似地，另一机器学习模型可以被训练以针对曝光不足在0与1之间对缺陷图像评分，其中曝光分数0指示严重曝光过度，而分数1指示轻度曝光过度，或反之亦然。在一些其他示例中，单个机器学习模型可以被训练以针对曝光不足和曝光过度对图像进行不同的评分。应当注意，仅出于示例目的而提供了用于曝光缺陷分类的上文曝光分数范围，并且其他范围和阈值可以类似地被用于将图像分类为曝光缺陷分类。

机器学习模型或基于特征的算法可以被用作分类模型136以将(多个)图像分类为曝光缺陷分类和/或针对(多个)图像生成对应曝光分数。在一些示例中，机器学习模型或基于特征的算法可以输出(多个)图像的曝光分数，并且缺陷检测系统130的另一组件可以使用曝光分数来基于曝光分数生成(多个)图像的对应分类。

根据相对于图2所提供的描述，分类模型136可以使用相对小的标记的训练数据集被训练。被用于训练分类模型136的训练数据集可以是用对应曝光分数和/或曝光缺陷分类标记的一组图像。分类模型136可以被训练以检测或预测(多个)图像中的曝光缺陷的类型。

在一些示例中，分类模型136可以向呈现器138提供对应于(多个)图像的曝光缺陷分类和/或曝光分数，以供呈现给客户端设备110。在一些示例中，分类模型136可以向呈现器138提供曝光分数，并且然后，呈现器13可以基于分类分数将图像分类为曝光缺陷分类。呈现器138可以使用曝光缺陷分类和/或曝光分数来然后以如下文所描述的某种方式呈现图像。在一些示例中，二进制模型134和分类模型136可以被组合为单个模型或神经网络，以检测缺陷图像并将其分类为曝光良好的图像和曝光缺陷分类。在一些示例中，单个模型可以被训练以在0与1之间对图像评分，其中曝光分数0指示图像是曝光不足的(例如严重曝光不足)，曝光分数0.5指示图像是曝光良好的图像，并且曝光分数1指示图像是曝光过度图像(例如严重曝光过度)，或反之亦然。应当注意，其他评分标准也可以被用于对图像评分。二进制模型134、分类模型136和/或组合的单个模型可以被存储在数据存储库140中，并且当图像被接收以供分类时可以被访问。

呈现器138一般被配置成从分类模型138接收或获得曝光缺陷分类和/或曝光分数，以引起向客户端设备110的用户的呈现。(多个)图像可以经由客户端设备110的用户界面与对应曝光缺陷分类一起被呈现给用户。在一些示例中，曝光缺陷分类可以由呈现器138用于执行各种功能，诸如通过曝光水平或曝光缺陷分类来组织数字介质图库110中的(多个)图像。就这一点而言，可以结合对应曝光缺陷分类和/或曝光缺陷分数向客户端设备110的用户呈现(多个)图像。在一些其他示例中，呈现器138可以被配置成删除缺陷图像，并且仅在数字介质图库115中呈现良好的图像。在这种情况下，呈现器115可以从二进制模型134接收(多个)图像的分类和/或(多个)对应置信度分数，并且然后，(多个)缺陷图像可以基于(多个)置信度分数或分类被删除。如可以了解，可以结合对应置信度分数、分类、曝光缺陷分数和/或曝光缺陷分类中的一个或多个向客户端设备110的用户呈现(多个)图像。

在一些其他示例中，(多个)缺陷图像可以基于对应曝光缺陷分类被标示，以向用户指示图像是缺陷的和/或包括对应曝光缺陷分类。在又一示例中，呈现器138可以被配置成至少部分地基于对应曝光分数和/或曝光水平来自动改变或修复(多个)图像的曝光。进一步地，呈现器138可以被配置成经由客户端设备110的用户界面向用户提供关于去除/删除(多个)缺陷图像中的一个或多个缺陷图像、修复(多个)缺陷图像中的一个或多个缺陷图像的曝光等的可选选项。在一些其他示例中，呈现器138可以被配置成向用户呈现被检测为包括一组图像中的曝光缺陷的(多个)图像的数量的鲁棒图形表示。例如，曝光良好的帧或图像与缺陷的帧或图像的比率可以被呈现。曝光良好分类与其他分类的比率也可以被呈现。以此方式，可以以高效的、准确的和用户友好的方式向用户呈现关于(多个)图像中的曝光缺陷的信息。

转向图2，图2图示了示例性数据流程图，该示例性数据流程图图示了根据本发明的实施例的用于使用二进制模型210和分类模型230对图像进行曝光缺陷分类的示例过程200。二进制模型210(诸如图1的二进制模型134)可以被训练以接收图像作为输入并输出预测，从而将图像分类为曝光良好的图像222或缺陷图像224。二进制模型210可以是神经网络(例如DNN、CNN)，其包括多个卷积层和完全连接层。在一些示例中，二进制模型210可以包括三个部分，包括残差神经网络层212、定制层214和完全连接层216。残差神经网络层212可以是任何已知的残差神经网络的卷积层，并且可以包括多个层(例如34、50、60等)。定制层214可以包括一个或多个层，以将残差网络层212连接到完全连接层216。然而，可以使用任何已知的定制层。

二进制模型210的完全卷积层216可以被训练以将图像分类为曝光良好的图像222或缺陷图像224。为此，二进制模型210可以被训练以预测每个图像的置信度分数，并基于对应置信度分数低于或高于预定置信度阈值220来对图像进行分类。在一些示例中，预定置信度阈值220可以是0.5，并且二进制网络210可以被训练以预测每个图像的在0与1之间的置信度分数。因此，然后，具有低于预定置信度阈值的置信度分数的图像可以被分类为曝光良好的图像，并且具有等于或高于预定置信度阈值的置信度分数的图像可以被分类为缺陷图像。

然后，由二进制模型210分类为缺陷图像224的(多个)图像可以被应用于分类模型230，诸如但不限于图1的分类模型136，以确定(多个)图像的曝光分数240和/或将缺陷图像分类为曝光缺陷分类。分类模型230可以被训练以基于输入缺陷图像224输出每个缺陷图像的曝光分数240。分类模型230可以是神经网络(例如DNN、CNN)，其包括多个卷积层和完全连接层。在一些示例中，分类模型230可以包括三个部分，包括残差神经网络层212、定制层214和完全连接层236。分类模型230可以包括与二进制模型210相同的残差神经网络层212和定制层214。然而，分类模型230的全卷积层236可以被训练以检测或确定缺陷图像中的曝光水平。

分类模型230可以被训练以预测每个图像的指示图像的曝光水平的曝光分数240。在一些示例中，分类模型230的完全连接层236可以使用回归算法用标记为0与1之间的五个类别(例如类别242、类别244、类别246、类别248和类别250)的缺陷图像被训练。以此方式，分类模型230可以被训练以将输入缺陷图像分类为五个类别，每个类别或分数指示随着分数从0增加到1，从严重曝光不足到严重曝光过度的曝光水平。然后，缺陷图像224可以基于对应曝光分数与五个类别中的一个类别的接近度被分类。在一些示例中，分类模型230还可以被训练以将图像分类为曝光缺陷分类。在其他示例中，然后，由分类模型230输出的曝光分数可以被用于与模型分离地对图像进行分类。类别242可以指示严重曝光不足，类别244可以指示中度曝光不足，类别246可以包括轻度曝光不足或轻度曝光过度，类别248可以指示中度曝光过度，并且类别250可以指示严重曝光过度。例如，由于曝光分数0.1接近类别242(即最接近的类别)，因此具有曝光分数0.1的缺陷图像224中的缺陷图像可以被分类为包括严重曝光不足。类似地，具有曝光分数0.8的缺陷图像由于其接近类别248而可以被分类为包括中度曝光过度。如此，具有曝光缺陷的图像可以通过利用训练后的神经网络(例如二进制模型、分类模型)以准确且高效的方式被自动检测和分类。

在一些示例中，二进制模型210和分类模型230可以各自针对网络的不同层以不同的学习速率被训练。在这种示例中，学习速率从顶层(例如残差神经网络层212)到底层(例如完全连接层216、完全连接层236、更接近误差函数的层)增加。例如，模型的前二十层可以以比接下来的二十层更低的学习速率被训练，接下来的二十层可以以比网络的最终层更低的学习速率被训练。

现在参考图3，图3图示了根据本发明的实施例的用于训练二进制模型304的示例过程300。二进制模型304可以是使用弱监督学习算法所训练的神经网络。二进制模型304可以是神经网络，诸如但不限于图1的二进制模型134。干净的数据集302可以被用作地面实况数据以初始地训练二进制模型304。干净的数据集302可以包括图像的相对小的数据集，每个图像被标记为曝光良好的图像(例如良好图像)或缺陷图像(例如不良图像)。干净的数据集302可以比用于完全训练神经网络的噪声数据集(例如图像的未标记数据集)(诸如噪声数据集306)相对较小(例如包括更少数量的图像)。干净的数据集302中曝光良好的图像与缺陷图像的分布比率可以被获得或确定。然后，噪声数据集306可以被应用于初始训练的二进制模型304，以将噪声数据集306中的图像分类为曝光良好的图像和缺陷图像。噪声数据集306可以包括未标记图像的较大数据集。初始训练的二进制模型304可以预测噪声数据集306中每个图像的置信度分数(例如推断分数)。然后，噪声数据集304的推断分数可以被用于确定用于将噪声数据集304中的每个图像分类为曝光良好或缺陷的图像的阈值分数。阈值分数可以基于干净的数据集302中的分布比率被确定，以使得阈值分数提供噪声数据集306中的与干净的数据集302相同的曝光良好的图像与缺陷图像的分布比率。噪声数据集306中低于阈值分数的图像可以被分类为曝光良好的图像，并且高于阈值分数的图像可以被分类为缺陷图像。噪声数据集306中的分类图像可以被确定为最终数据集308，以用作用于将二进制模型304重新训练为具有曝光缺陷的图像的地面实况数据。

在一些示例中，一个或多个错误分类图像可以从噪声数据集306被去除以生成最终数据集308。错误分类图像可以是在噪声数据集304中被初始训练的二进制模型304错误分类为曝光良好的图像的图像。然后，具有分类的最终数据集308可以被用于重新训练二进制模型304。然后，重新训练的二进制模型304可以作为图1的二进制模型134被用于实时或接近实时地检测(多个)图像是否包括曝光缺陷。以此方式，二进制模型304网络可以使用较大的数据集被训练，而无需手动标记噪声数据集306中的每个图像。

在一些示例中，最终数据集308可以被进一步迭代地提取以去除错误分类的图像。在这种示例中，最终数据集308可以被分为三个子集：训练集、验证集和保留集。分类器或模型可以首先使用训练集和验证集被训练，以检测最终数据集中的曝光良好且有效的图像。然后，保留集可以被应用于训练后的分类器。然后，来自保留集的少量(例如5个、10个)图像可以从保留集被去除或删除，这些图像最容易被分类器错误分类。然后，训练集、验证集和新的保留集可以被组合，并且去除错误分类的图像的过程可以迭代地重复预定次数，以从最终数据集308去除错误分类的图像。然后，提取的最终数据集308可以被用于重新训练二进制模型304。以此方式，二进制模型304最终可以使用更准确地被标记的一组训练图像被训练。

参考图4，图4是根据本发明的实施例的缺陷检测系统的示例输出400的图示。例如，图1的缺陷检测系统130可以接收图像412、图像414和/或图像416作为输入，以供曝光缺陷检测和分类。针对图像类别410中的每个图像，输出400可以包括置信度分数类别420、二进制模型分类类别430、曝光分数类别440和曝光缺陷分类类别450。例如，缺陷检测系统针对图像412的输出可以包括置信度分数422(即置信度分数0.00262324)和由二进制模型(例如二进制模型134)输出的二进制模型分类432(例如曝光良好)。由于图像412被确定为曝光良好的图像，因此图像412可能不与曝光分数和曝光缺陷分类相关联。

类似地，缺陷检测系统针对图像414的输出可以包括置信度分数424(即置信度分数0.999731)和由二进制模型(例如二进制模型134)输出的二进制模型分类434(例如缺陷)。如可以了解，二进制模型分类434是基于置信度分数424高于置信度阈值(例如0.5)。进一步地，由于图像414被预测为缺陷图像，因此对应于图像414的输出还可以包括曝光分数444(即曝光分数0.916261)和由分类模型(例如分类模型136)输出的曝光缺陷分类454(即严重曝光过度)。图像414可以基于图像414的曝光分数超过接近一而被分类为包括严重曝光过度。

缺陷检测系统针对图像416的输出可以包括置信度分数426(即置信度分数0.7985233)和由二进制模型(例如二进制模型134)输出的二进制模型分类436(例如缺陷)。如可以了解，二进制模型分类436是基于置信度分数426高于置信度阈值(例如0.5)。进一步地，由于图像416被预测为缺陷图像，因此对应于图像416的输出还可以包括曝光分数446(即曝光分数0.375255)和由分类模型(例如分类模型136)输出的曝光缺陷分类456(即中度曝光不足)。图像416可以基于图像416的曝光分数超过接近0.25被分类为包括中度曝光不足。应当理解，图像以及相关联的分数和分类仅出于示例目的，并且基于用于训练相应的二进制和分类模型的不同阈值和范围，可以使不同分数与不同分类相关联。

示例性流程图

现在参考图5，提供了流程图，该流程图图示了根据本公开的用于检测和分类图像中的曝光缺陷的方法。方法500的每个框包括使用硬件、固件和/或软件的任何组合所执行的计算过程。例如，各种功能可以由执行存储器中所存储的指令的处理器实行。方法还可以被实施为计算机存储介质上所存储的计算机可用指令。方法可以由独立应用、服务或托管服务(独立或与另一托管服务组合)或另一产品的插件(仅举几例)提供。

首先，在框502处，图像被访问。图像可以由图像接收器(诸如图1的图像接收器132)接收。可以从数字介质图库(诸如图1的客户端设备110的数字介质图库115)访问图像。在框504处，第一神经网络被用于确定图像是否包括曝光缺陷。二进制模型(诸如图1的二进制模型134)可以被用于通过将图像分类为缺陷图像或曝光良好的图像来确定接收到的图像是否包括曝光缺陷。

在框504处，响应于确定图像不包括曝光缺陷，方法结束。在一些示例中，响应于确定图像不包括曝光缺陷，图像可以被分类为曝光良好的图像。

在框506处，响应于确定图像包括曝光缺陷，第二神经网络被用于确定与图像相关联的曝光缺陷分类。曝光缺陷分类包括曝光过度和曝光不足中的一个。例如，分类模型(诸如图1的分类模型136)可以被用于将缺陷图像分类为包括或遭受曝光过度或曝光不足。在一些示例中，分类模型还可以确定指示在图像中检测到的曝光缺陷水平的曝光分数。然后，曝光分数可以由分类模型用于确定与图像相关联的曝光缺陷分类。

在框508处，提供了具有曝光缺陷分类的指示的图像。具有曝光缺陷分类的指示的图像可以经由客户端设备(诸如图1的客户端设备110)的用户界面被提供或呈现。

示例性操作环境

已经描述了本发明的实施例的概述，下文描述可以实现本发明的实施例的示例性操作环境，以便为本发明的各个方面提供一般的上下文。现在具体地参考图6，用于实现本发明的实施例的示例性操作环境被示出并且一般被指定为计算设备600。计算设备600只是适合的计算环境的一个示例，并且不旨在建议对本发明的使用范围或功能性的任何限制。计算设备600也不应当被解释为具有与所图示出的组件中的任一个或组合有关的任何依赖性或要求。

可以在计算机代码或机器可用指令的一般上下文中描述本发明，该计算机代码或机器可用指令包括由计算机或其他机器(蜂窝电话、个人数据助手或其他手持设备)执行的计算机可执行指令，诸如程序模块。一般地，包括例程、程序、对象、组件、数据结构等的程序模块是指执行特定任务或实现特定抽象数据类型的代码。本发明可以在各种系统配置(包括手持设备、消费电子、通用计算机、更多专用计算设备等)中被实践。本发明还可以在由通过通信网络链接的远程处理设备来执行任务的分布式计算环境中被实践。

参考图6，计算设备600包括直接或间接耦合以下设备的总线610：存储器612、一个或多个处理器614、一个或多个呈现组件616、输入/输出(I/O)端口618、输入/输出组件620和说明性电源622。总线610表示可能是一个或多个总线(诸如地址总线、数据总线或其组合)的事物。尽管图6的各个框为了清楚起见用线示出，但实际上，描绘各个组件不是很清楚，并且隐喻地，线将更准确地是灰色和模糊的。例如，可以将呈现组件(诸如显示设备)视为I/O组件。此外，处理器具有存储器。本发明人认识到这是现有技术的本质，并重申图6的图仅是可结合本发明的一个或多个实施例使用的示例性计算设备的说明。在诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等的类别之间未进行区分，因为所有这些都被涵盖在图6的范围和对“计算设备”的参考内。

计算设备600通常包括各种计算机可读介质。计算机可读介质可以是可由计算设备600访问的任何可供使用的介质，并且包括易失性和非易失性介质以及可移除和不可移除介质两者。通过示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质两者。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪速存储器或其他存储器技术、CD-ROM、数字多功能光碟(DVD)或其他光盘存储器、磁带盒、磁带、磁盘存储装置或其他磁性存储设备、或可以被用于存储期望信息且可以由计算设备600访问的任何其他介质。计算机存储介质是非瞬态的，并且本身不包括信号。通信介质通常实施计算机可读指令、数据结构、程序模块或调制数据信号中的其他数据(诸如载波或其他传输机构)，并且包括任何信息递送介质。术语“调制数据信号”意味着以对信号中的信息进行编码的方式来设置或改变者其一种或多种特性的信号。通过示例而非限制，通信介质包括有线介质(诸如有线网络或直接有线连接)以及无线介质，诸如声学、RF、红外和其他无线介质。上文中的任一者的组合还应该被包括在计算机可读介质的范围内。

存储器612包括呈易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移除的、不可移除的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备600包括一个或多个处理器，该一个或多个处理器从各种实体(诸如存储器612或I/O组件620)读取数据。(多个)呈现组件610向用户或其他设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等。

I/O端口618允许计算设备600逻辑地被耦合到包括I/O组件620的其他设备，这些设备中的一些可以被内置。说明性组件包括麦克风、操纵杆、游戏垫、碟形卫星天线、扫描仪、打印机、无线设备、触摸板、触摸屏等。I/O组件620可以提供自然用户界面(NUI)，其处理由用户生成的空中手势、话音或其他生理输入。在一些情况下，输入可以被传输给适当的网络元件以供进一步处理。NUI可以实现语音识别、触笔识别、面部识别、生物识别、屏幕上和与屏幕相邻的手势识别、空中手势、头部和眼睛跟踪以及与计算设备600的显示器相关联的触摸识别(如下文更详细地描述)的任何组合。计算设备600可以被配备有深度相机，诸如立体相机系统、红外相机系统、RGB相机系统、触摸屏技术以及这些的组合，以供手势检测和识别。附加地，计算设备600可以被配备有能够检测运动的加速度计或陀螺仪。加速度计或陀螺仪的输出可以被提供给计算设备600的显示器，以渲染沉浸式增强现实或虚拟现实。

本文中所描述的实施例支持数字介质中的曝光缺陷检测和分类。本文中所描述的组件是指缺陷检测系统的集成组件。集成组件是指使用缺陷检测系统支持功能性的硬件架构和软件框架。硬件架构是指物理组件及其相互关系，并且软件框架是指提供可以用设备上所实施的硬件实现的功能性的软件。

基于端对端软件的缺陷检测系统可以在缺陷检测系统组件内操作，以操作计算机硬件以实现缺陷检测系统功能性。在低水平下，硬件处理器执行从给定处理器的机器语言(也被称为机器代码或本机)指令集中选择的指令。处理器识别本机指令并执行与例如逻辑、控制和存储器操作有关的对应低级功能。用机器代码编写的低级软件可以为更高级软件提供更复杂的功能性。如本文中所使用，计算机可执行指令包括任何软件，包括以机器代码编写的低级软件、更高级软件(诸如应用软件)及其任何组合。就这一点而言，缺陷检测系统组件可以管理资源并为缺陷管理系统功能性提供服务。本发明的实施例的情况下预期任何其他变化及其组合。

已经在本公开中标识了各种组件，应当理解，在本公开的范围内，可以采用任何数量的组件和布置来达成期望的功能性。例如，为了概念上的清楚起见，图中所描绘的实施例中的组件用线示出。这些和其他组件的其他布置也可以被实现。例如，尽管一些组件被描绘为单个组件，但是本文中所描述的许多元件可以被实现为离散或分布式组件或与其他组件结合并以任何适合的组合和位置被实现。一些元件可以被完全省略。此外，如下文所描述，本文中被描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件实行。例如，各种功能可以由执行存储器中所存储的指令的处理器实行。如此，除了所示出的布置和元件(例如机器、接口、功能、命令和功能的分组等)或代替这些所示出的布置和元件，可以使用其他布置和元件。

本文中具体描述了本发明的主题以满足法定要求。然而，说明书本身并不旨在限制本专利的范围。相反，本发明人已经预期，要求保护的主题还可能会结合其他当前或将来的技术以其他方式实施，以包括与本文档中所描述的步骤不同或相似的步骤或步骤组合。此外，尽管本文中可以使用术语“步骤”和/或“框”来表示所采用方法的不同元素，但是除非明确描述各个步骤的次序并且除了当明确描述各个步骤的次序时，否则术语不应被解释为暗示本文中所公开的各个步骤当中或之间的任何特定次序。

已经关于特定实施例描述了本发明，这些实施例在所有方面都旨在是说明性的而不是约束性的。在不脱离本发明的范围的情况下，备选实施例对于本发明所属领域的普通技术人员将变得明显。

根据前述内容，可以看到，本发明是一个非常适于实现上文所阐述的所有目标和目的以及其他优点的发明，对于系统和方法而言这些优点是明显和固有的。将理解，某些特征和子组合是有用的，并且可以在不参考其他特征和子组合的情况下被采用。这种情况是权利要求书所预期的并且在权利要求书的范围之内。

Claims (20)

1.一种用于检测图像中的曝光缺陷的计算机方法，所述方法包括：

访问图像；

使用第一神经网络确定所述图像的指示所述图像包括曝光缺陷的分类；

使用第二神经网络并且响应于指示所述图像包括所述曝光缺陷的所述分类来预测指示所述图像的曝光水平的曝光分数；

至少部分地基于所述曝光分数，生成所述图像的曝光缺陷分类，所述曝光缺陷分类包括曝光不足和曝光过度中的一个；以及

向所述图像提供所述曝光缺陷分类的指示。

2.根据权利要求1所述的方法，其中生成所述曝光缺陷分类还基于所述曝光分数落入与多个曝光缺陷分类相关联的多个预定曝光分数阈值中的一个预定曝光分数阈值内。

3.根据权利要求1所述的方法，还包括：

使用所述神经网络并且至少部分地基于所述曝光分数来确定所述图像的另一曝光缺陷分类，所述另一曝光缺陷分类包括严重曝光过度、轻度曝光过度、中度曝光过度、严重曝光不足、轻度曝光不足、和中度曝光不足中的一个；以及

向所述图像提供所述另一曝光缺陷分类的指示。

4.根据权利要求1所述的方法，其中提供所述图像包括引起包括所述图像中所检测到的所述曝光水平的所述指示的所述图像的呈现。

5.根据权利要求1所述的方法，其中确定所述图像包括曝光缺陷包括：

使用所述第一神经网络计算与所述图像相关联的置信度分数，所述置信度分数指示所述图像包括曝光缺陷的概率；

确定所述置信度分数高于预定阈值置信度分数；以及

至少部分地基于所述置信度分数高于所述预定置信度分数，确定所述图像的所述分类。

6.根据权利要求1所述的方法，其中所述第一神经网络使用弱监督学习算法被训练。

7.根据权利要求1所述的方法，还包括：

使用所述第一神经网络确定另一图像是曝光良好的图像；以及

响应于确定所述另一图像是曝光良好的图像，在没有所述曝光缺陷分类的所述指示的情况下提供所述另一图像。

8.根据权利要求7所述的方法，其中所述曝光良好的图像指示所述另一图像不包括曝光缺陷。

9.根据权利要求1所述的方法，其中所述第二神经网络被配置成共同预测所述曝光分数并生成所述曝光缺陷分类。

10.根据权利要求1所述的方法，其中所述第二神经网络使用所述第一神经网络的至少一个网络层被训练。

11.根据权利要求1所述的方法，其中所述第二神经网络和所述第一神经网络在至少一个网络层中不同。

12.一种或多种计算机存储介质，所述计算机存储介质存储计算机可用的指令，所述计算机可用的指令当被一个或多个计算设备使用时使得所述一个或多个计算设备执行操作，所述操作包括：

接收第一组图像，所述第一组图像中的每个图像被标记为曝光良好的图像和缺陷图像中的一个；

使用所述第一组图像训练神经网络；

接收第二组图像，所述第二组图像包括未标记的图像；

确定分布率，所述分布率表示所述曝光良好的图像和所述缺陷图像在所述第一组图像内的分布；

将所述第二组图像应用于所述神经网络，以针对所述第二组图像中每个图像确定推断分数，所述推断分数指示对应图像中的曝光水平；

至少部分地基于所述分布率和所述推断分数，将所述第二组图像中的每个图像分类为曝光良好的图像或缺陷图像；以及

使用所述第二组图像和所述分类来重新训练所述神经网络。

13.根据权利要求12所述的介质，所述操作还包括：至少部分地基于所述分布率和所述推断分数来确定所述第二组图像中的至少一个图像是错误分类的图像；以及在去除所述至少一个错误分类的图像之后，使用所述第二组图像来重新训练所述神经网络。

14.根据权利要求12所述的介质，其中所述操作还包括：

至少部分地基于所述推断分数和所述分布率来确定阈值分数，以将所述第二组图像分类为所述曝光良好的图像或所述缺陷图像，所述阈值分数被确定以使得对应于所述第二组图像的第二分布率与对应于所述第一组图像的所述分布率相同。

15.根据权利要求12所述的介质，其中所述神经网络是深度神经网络，其具有使用多个学习速率而被训练的多个层，以使得所述神经网络的多个顶层的第一组层以比所述神经网络的第二组底层低的学习速率而被训练。

16.根据权利要求12所述的介质，所述操作还包括：

至少部分地基于训练后的所述神经网络来训练第二神经网络，以使用回归算法基于曝光缺陷的水平来对图像进行分类。

17.根据权利要求16所述的介质，其中所述曝光缺陷水平包括严重曝光过度、轻度曝光过度、中度曝光过度、严重曝光不足、轻度曝光不足、和中度曝光不足中的一个或多个。

18.一种曝光缺陷检测系统，包括：

一个或多个硬件处理器和存储器，所述存储器被配置成向所述一个或多个硬件处理器提供计算机程序指令；

曝光缺陷检测环境，被配置成使用所述一个或多个硬件处理器，以：

接收一组图像；

将所述一组图像应用于一个或多个神经网络，以针对所述一组图像中每个图像确定曝光分数，所述曝光分数指示对应图像中的曝光缺陷水平；

用于至少部分地基于对应的所述曝光分数来对所述一组图像中的每个图像进行分类的装置；以及

提供所述一组图像中的至少一个图像以及对应的所述曝光缺陷水平。

19.根据权利要求18所述的系统，其中确定所述曝光分数还基于：确定所述一组图像中包括曝光缺陷的图像子集、以及将所述图像子集应用于所述一个或多个神经网络以针对所述图像子集中的每个图像确定所述曝光水平。

20.根据权利要求18所述的系统，还被配置用于引起基于对应的所述曝光水平而被组织的所述一组图像中的每个图像的呈现。

Images