CN116818891A - 使用机器学习的超声缺陷检测和分类系统 - Google Patents

Abstract

公开了使用机器学习的超声缺陷检测和分类系统。在自动缺陷检测和分类系统中，一个或多个计算设备访问在对象的超声扫描中获取的扫描数据。包括二维(2D)扫描图像的第一输入特征映射是根据扫描数据构建的并且被输入到第一深度神经网络以生成第一输出特征映射。包括无缺陷对象的图像的第二输入特征映射被输入到具有与第一深度神经网络相同的结构和权重值的第二深度神经网络，以产生第二输出特征映射。当第一输出特征映射和第二输出特征映射之间的距离大时，确定被扫描的对象包含缺陷。在替换的方法中，2D扫描图像和无缺陷对象的一个或多个图像被输入到使用彩色图像训练的神经网络的不同信道。

Description

使用机器学习的超声缺陷检测和分类系统

相关申请

本申请要求2022年3月28日提交的并且题为“Ultrasonic Defect Detection andClassification System using Machine Learning”的临时申请序列号63/324,340的权益，其全部内容被通过引用合并于此。

背景技术

本公开涉及超声非破坏测试(NDT)的环境。一种机械定位系统可以使超声收发器换能器和在被测试器件(DUT)的相对侧上的接收器换能器同步地进行扫描。NDT可以被用于例如测试半导体晶片，其可以包含多个器件和芯片封装。从DUT回到收发器的反射信号是TDR(时域反射)波形，而从第二接收器收集的波形是TDT(时域传输)波形。两个波形的时间轴与沿着表示DUT的位置空间的Z轴的距离直接成比例。使换能器沿着由DUT的X轴和Y轴限定的位置空间进行扫描。扫描的波形由采集系统数字化，并且图像构建器块基于TDT/TDR扫描数据创建DUT的缺陷图像。

传统上，人类操作员被训练以观察图像并且识别晶片或封装中的缺陷。其要求许多经验和训练来执行该任务。目前，存在可以自动检测和分类必须被标识的缺陷的一些类型的算法。有时这些算法不能如需要那样检测缺陷。

附图说明

随附附图提供了视觉表示，其将被用于更全面地描述各种代表性的实施例，并且可以由本领域技术人员使用以更好地理解所公开的代表性实施例及其固有优点。在这些附图中，同样的参考标号标识对应的或类似的要素。

图1是根据各种代表性实施例的超声扫描器的框图。

图2是根据各种代表性实施例的用于处理来自超声扫描器的扫描数据的装置的简化框图。

图3是根据各种代表性实施例的用于训练神经网络以处理来自超声扫描器的扫描数据的装置的简化框图。

图4是根据本公开的进一步的实施例的超声缺陷检测和分类系统的框图。

图5是根据各种代表性实施例的用于训练孪生(Siamese)神经网络以检测在超声扫描器中扫描的对象中的缺陷的装置的简化框图。

图6是根据各种代表性实施例的缺陷检测和分类的计算机实现的方法的流程图。

图7A至图7C是根据各种代表性实施例的输入特征映射的图解表示。

具体实施方式

在此描述的各种装置和设备提供了用于从扫描的超声图像自动检测缺陷和对缺陷进行分类的机制。

虽然本公开容许有许多不同形式的实施例，但是在附图中示出并且将在此详细描述特定的实施例，理解为在此示出和描述的实施例应当被认为是提供本公开的原理的示例并且不意图将本公开限制于所示出和描述的特定实施例。在以下描述中，在附图的若干视图中，同样的参考标号被用于描述相同、相似或对应的部分。为了说明的简单和清楚，参考标号可以在各图中重复以指示对应或类似的要素。

本公开的实施例一般地采用深度神经网络来改进用以发现缺陷并且对其进行分类的能力。深度神经网络也被称为深度学习神经网络，是一种包括多个处理层的网络。这些层可以执行中间特征映射和相对小的权重核之间的卷积或互相关。相比之下，最终的分类可以由完全连接的网络的输出层执行。

本公开的一些实施例的一方面包括利用创新方法来构建三维(3D)图像张量以用作为深度神经网络的输入。3D图像张量通常被使用在数字彩色图像中，其中张量具有两个空间维度和包括彩色的红色、绿色和蓝色(RGB)谱分量的谱维度。3D张量在此有时将被称为RGB图像张量，然而，一般而言其不限制于三个谱分量(RGB)，并且可以使用任何数量的谱分量。该创新RGB图像表示还具有可选的图形图像编码，以将附加的参数输入到深度网络中，以帮助分类。例如，没有瑕疵的良好的参考图像可以被放置到红色(R)信道中，扫描的图像(可能示出缺陷)可以被放置在绿色(G)信道中并且其它参数数据可以被放置在蓝色(B)信道中，作为表示参数数据的图形图像。

本公开的一些实施例的另一创新方面是利用孪生神经网络(SNN)，以用于将参考图像与DUT扫描图像进行比较以作出通过/失败的分类的目的。

图1是根据各种代表性实施例的超声扫描器100的框图。超声扫描器100包括超声收发器102和超声接收器104。位置扫描器106提供收发器102和接收器104相对于要被扫描的对象108(也被称为被测试器件(DUT))的定位。

控制器110对系统进行设定并且使超声换能器102和104在DUT 108的区域上的物理扫描同步。扫描可以是在平行于对象的表面的X-Y平面中执行的。控制器110还使系统的其它元件同步，其它元件诸如为脉冲生成器112和采集单元114。采集系统114将在扫描处理期间从超声换能器接收到的信号转换成数字值，并且将它们存储到存储器中。如将在下面讨论的那样，控制器110还可以通过从更大的扫描图像得到的子图像来使系统的循环递增。此外，控制器110可以控制多个良好的参考图像的循环以及基于每个子图像的3D张量图像的生成。采集系统114输出数字扫描数据116并且控制器110输出扫描位置数据118。扫描数据116可以包括被用于构造扫描图像和参考图像的时域传输(TDT)波形和时域反射(TDR)波形。这些波形中的传播时间与XYZ波形位置数据空间中的Z轴距离直接成比例。

扫描数据116和扫描位置数据118被传递到数据处理器120，其被配置为基于扫描数据检测对象中的缺陷并且可选地对其进行分类。数据处理器120可以使用存储的数据，诸如存储在存储单元122中的参考图像、DUT特性和神经网络权重值。用户界面124可以被用于显示图像并且提供其它用户交互。数据处理器120可以向控制器110提供反馈，如由虚线箭头126指示的那样。因此，数据处理器120可以向控制器110、存储122和/或用户界面124提供输出。数据处理器120可以是一般目的的编程的计算机处理器、定制处理器或它们的组合。数据处理器120可以包括用于高效处理神经网络计算的加速器硬件。

图2是根据各种代表性实施例的用于处理来自超声扫描器的扫描数据的装置200的功能框图。装置200可以包括例如如图1中示出的数据处理器120和存储122。装置可以与扫描器集成在一起，并且被用于在生产期间对器件进行自动检测和分类。装置可以是使用一个或多个数据处理器和存储实现的。

图像构建器202接收来自超声扫描器的扫描数据116，并且从其创建DUT的图像。扫描数据可以包括数字化的TDR/TDT波形数据。可以使用各种方法，这对于本领域技术人员将是显而易见的。例如，TDT和/或TDT波形可以被直接映射到超谱图像格式，其中彩色平面处的每个彩色信道表示波形的沿着DUT位置空间的Z轴的一个样本位置或者波形的沿着Z轴的位置范围。所得到的3D图像不是人类可以看到的通常的图像视图，而是DUT的不同矢量空间表示。这种方法可以实现沿着Z轴的缺陷表示的更高得多的分辨率。然后超谱图像可以被用作为到深度神经网络的输入。

子图像提取器块204接收来自超声扫描器的控制器的扫描位置数据118。这可以是来自控制器的索引的形式的，索引指定从大图像的哪个部分提取子图像206。例如，在具有许多电路复现的晶片上，子图像可以仅包含一个电路。然而，一般而言，子图像可以是扫描图像的全部或部分。在一个实施例中，当系统被设定用于训练时，经由用户界面和来自用户的交互来完成子图像的选择。

参考图像阵列208可以包含用于每个子图像位置的良好参考图像210。也就是，器件的已知为良好(无缺陷)的图像。还可以保留针对每个子图像的良好参考图像的附加示例。这些可以在训练或运行系统之前被获取并且被存储为最初的步骤之一。多个参考图像可以与每个子图像一起使用以为每个子图像创建多个附加输入，以生成更多的训练数据。

图形图像构建器块212是可以在一些情况下用于提供其它数据作为到深度神经网络的输入的可选块。例如，图形图像构建器块212可以接收参数，诸如温度或部件的版本号，或可以被用于如需要那样帮助分类的任何其它参数。输入参数被转换成图形，并且然后被合并到图像中。多个参数图形214可以被放置在单个图像中。子图像206、参考图像210和参数图形214在输入映射构建器216中被组合以产生用于深度神经网络220的输入特征映射218。深度神经网络220可以例如是计算机实现的神经网络，并且可以包括通用的或定制的处理器或其组合。

在一个实施例中，输入特征映射是具有红色(R)、绿色(G)和蓝色(B)信道的RGB图像张量。RGB图像张量通常用于存储彩色图像，但是在本申请中，信道不对应于可见色彩。存在许多可以将参数图形214合并到图像张量的RGB信道中的方式。一种方法可以是针对图形图像仅使用一个特定的彩色信道，例如蓝色(B)信道。然而，当使用3D互相关滤波器时，在学习处理中使参考图像和缺陷图像相关。这引起蓝色信道图形数据和其它两个信道之间的干扰。替换的方法将参数图形合并在与参考图像和缺陷图像相同的图像中。图形可以被放置在被扫描的图像区域之外，从而各层之间的互相关滤波器不将图形数据与图像数据组合。

输入映射构建器216将原始DUT子图像放置在一个信道中，并且将用于该子图像的良好参考图像之一放置在第二信道中。可选地，其将第二良好图像和/或参数图形图像放置在第三信道中。不要求计算DUT子图像和良好图像之间的差异。注意的是对于每个子图像位置而言可以存在多个参考良好图像。因此，每个子图像可以具有针对其创建的多个RGB张量图像，以用作为用于训练网络的附加的输入示例。参数图形图像可以被合并在整个图像内的DUT图像和参考图像边界之外，从而相关滤波器不使图像数据与图形数据重叠。

可选地，输入特征映射可以被存储以用于稍后的分析或用于在训练深度神经网络时用作为输入。

诸如RGB图像张量的输入特征映射被输入到深度神经网络220以生成指示DUT是否具有缺陷的输出222，并且如果是，则指示缺陷的分类。深度神经网络220使用权重值224的集合来处理输入特征映射。这些权重值中的一些可以是从另外的应用复制的，如将在下面描述的那样。替换地，权重值可以是通过训练处理选择的。深度神经网络220可以是使用计算逻辑电路以串行方式实现的，其中输入特征映射被与从计算机可读存储读取的权重值组合。替换地，权重值可以被实现为网络本身的性质，例如诸如电路中的电阻元件的电导值。

图3是根据各种代表性实施例的用于训练神经网络以处理来自超声扫描器的扫描数据的装置300的功能框图。如在上面参照图2描述的那样，输入特征映射218由输入映射构建器216从参考图像210、扫描图像206和可选的参数图形图像214生成。这些图像可以是在扫描处理期间生成的或者是从存储的训练数据加载的。所存储的训练数据可以是扫描的图像或合成图像。自动分类器302可以被用于标记图像206中的任何缺陷。替换地或此外，也可以使用手动分类，其中用户执行要被用于训练的图像的分类。然而，自动分类的使用允许训练处理更自动化并且减少了用户为了获得训练数据将必须执行的手动标记的量。可以使用现有的自动化工具和基础块，其允许用户在他们的定制晶片和封装上限定需要被观察的区域。标记与关于扫描的对象或缺陷的任何附加信息(诸如缺陷位置或范围)一起形成元数据304。分类器302的输入是DUT子图像206和参考子图像210。来自分类器302的输出是元数据304的集合，其提供通过/失败指示，并且如果失败，则提供瑕疵或缺陷的分类。分类器通常仅在神经网络220的训练期间运行。然而，如果用户需要返回并且检查失败的部分或收集附加的数据以周期性地更新网络的训练，则其也可以运行。

存储来自分类算法的输出的元数据304可以被存储在阵列中。对于该元数据阵列结构的每个索引与对于张量阵列中的对应的RGB图像张量的对应索引关联。因此，每个RGB图像张量对应于其包含的DUT子图像。当训练深度神经网络时，RGB图像张量和关联的元数据被作为输入提供到深度神经网络。在训练之后，当在运行时间期间使用网络以对缺陷进行分类时，可以从神经网络输出对应的元数据。

神经网络220可以包括用以提取输入的特征的许多层，之后是用于分类的完全连接的层。在一个实施例中，使用“转移学习”方法，其中使用不相关的图像来预训练网络层。深度网络220的各层可以跨信道(例如，三个RGB信道)并且在每个信道平面内使用3D互相关滤波器。当使用转移学习时，针对该应用，利用具有正确数量的输出分类的新的未训练的完全连接层替换完全连接的分类层。然后通过接收张量图像阵列和元数据阵列作为输入来训练网络。在训练处理期间，在误差块306中将输出222的要素与元数据304中的对应的要素进行比较。在训练块310中使用所得到的误差308来更新由网络使用的权重值224。许多训练算法对于本领域技术人员来说是已知的。在一个实施例中，更新所有权重值。

在另一实施例中，将先前训练的网络的特征提取层(具有权重值224A)与被结构化为提供用于新的应用的合期望的分类的输出层(具有权重值224B)组合。例如，网络可以包括预训练的特征提取层，之后是完全连接层、SoftMax层和分类层。训练块310更新用于输出层的权重值224B，而转移学习被用于特征提取层中的权重值224A。例如，可以训练SoftMax层中的归一化系数以将网络输出保持在0和1之间，并且可以训练分类层以计算用于分类的熵函数。预训练的特征提取层的数量可能远超过被训练的层的数量。因此，转移学习可以极大地减少训练时间和所需要的数据的量。

一旦网络被训练，其就可以在将来随着更多数据阵列被收集而周期性地恢复训练。一旦准备好足够量的附加数据，网络就可以使运行时间暂停以利用新数据更新训练。当训练的网络运行时，不再输入元数据阵列，并且仅输入张量图像阵列。然后，网络输出与给定的异常RGB张量输入图像关联的元数据集合。

在运行时间期间，不使用现有的分类算法块，因为在运行时间时不存在对深度网络的元数据输入。然而，如果一个部件，例如DUT，使缺陷扫描失败，则该分类块可以被用于进一步检查失败的部分，并且使用先前存在的方法进行分类。

在运行时间期间周期性地，如果用户使系统停止并且利用分类算法进一步检查部件，则可以创建更多的训练数据。在有些时候，可能存在足够的新的可用数据，从而可以执行网络的扩展训练，以将新数据合并到网络的学习中。

虽然在图3的框图中未示出，但是在一个实施例中，系统被编程为在运行时间时创建多个输出元数据集合-针对与每个子图像关联的多个参考图像中的每个，一个输出元数据集合。然后根据元数据值的直方图，可以基于多个集合中的哪个更可能是正确的来从多个集合中选取元数据的最终分类集合。

上面描述的系统利用RGB图像结构作为对于使用互相关层的单个深度神经网络的输入。该网络利用互相关层而不是卷积层。虽然对于具有特定的对称性的一些核而言互相关层和卷积层是等同的，但是一般而言互相关层并不等同于卷积层。可以使用其中已经对缺陷进行检测和分类的预先存在的数据来训练神经网络。替换地或此外，神经网络可以是原位训练的。在神经网络的原位训练期间，系统扫描许多DUT并且通过现有的自动检测和分类算法——其将给定图像标记为通过或失败并且对任何缺陷进行标记——运行它们。可以生成包括缺陷的性质(诸如大小、位置、类型等)的元数据。除了用于训练的自动分类之外，还可以合并有手动分类数据示例。对于晶片或封装而言，初始的高分辨率图像应当被再分为适当尺寸的更小图像以观察晶片子电路，并且应当是可接受的大小以用作为对于深度网络的输入。

在训练期间，网络接收如下作为输入：连同包含与每个图像关联的分类标记的元数据结构的阵列一起的RGB张量图像的阵列。

在训练之后，系统运行时间由扫描DUT以及创建图像和子图像RGB张量以及将其作为输入应用于深度网络构成。网络的输出是(多个)缺陷分类标记，并且可选地是缺陷的其它标识的性质，诸如大小和位置。

上面描述的许多块对于下面描述的各种实施例是共同的。

图4是根据本公开的其它实施例的超声缺陷检测和分类系统400的框图。该系统类似于上面描述的系统，除了神经网络包括孪生神经网络(Siamese Neural Network，SNN)。孪生神经网络包含两个相同的深度网络，其在训练之后使用相同的权重值或系数。参照图4，第一输入映射构建器402准备用于输入到第一深度神经网络404的图像数据。例如，可以使用转移学习来预训练网络404。例如，输入特征映射可以是从RGB图像张量构建器输出的，其中扫描的DUT子图像被放置到特征映射的所有三个RGB信道中。第二输入特征映射构建器406准备用于输入到第二深度神经网络408的图像数据。构建器406可以通过将一个或多个参考子图像放置到三个RGB信道中来构建RGB图像张量。

深度神经网络404和408可以是例如计算机实现的神经网络，并且可以包括通用的或定制的处理器，或它们的组合。

在一个实施例中，用于DUT输入侧的RGB图像可以在所有三个信道中包含相同的DUT图像。然而，从图形参数410生成的图像可以被独立地合并到信道之一中或者在图像信道内。在进一步的实施例中，每个信道可以包含参考图像的不同采集。

图4中的系统的重要特征是第一深度神经网络和第二深度神经网络这两者使用相同的权重值412。这确保了当相同的输入特征映射被应用到网络的两侧时，来自网络的输出是相同的。

在操作中，在块418中将来自第一深度神经网络404的输出414和来自第二深度神经网络408的输出416进行比较，以产生通过/失败信号420。当输出相似时，预测为所扫描的对象没有缺陷(即，通过检查)。当输出不相似时，预测为所扫描的对象包含缺陷(即，未通过检查)。

可选地，通过/失败信号420可以被用于控制自动缺陷分类器422的操作，自动缺陷分类器422基于扫描的子图像206和一个或多个参考图像210的比较产生缺陷的分类424。

因此，包括第一深度神经网络404、第二深度神经网络408和比较器418的孪生神经网络执行通过/失败分类。与标准网络相比该任务被更熟练地执行，因为其被特别地配置用于查看两个图像之间的相似度的量。如果DUT失败，则那么标准网络将被用于进一步对缺陷进行分类。标准网络的使用允许附加参数的可选的图形输入以帮助分类缺陷。

图5是根据各种代表性实施例的用于训练孪生神经网络以检测在超声扫描器中扫描的对象中的缺陷的装置500的简化框图。在图5中示出的实施例中，分类器502接收参考图像210和扫描的图像206，并且确定扫描的图像是否示出缺陷，如由信号504指示的那样。在替换的实施例中，例如，可以通过其它方式-诸如手动标记将扫描的图像标记为示出缺陷或不示出缺陷。在又一进一步的实施例中，扫描的图像可以是被创建为示出缺陷的合成图像。信号504被传递到对比损失生成器506。在一个实施例中，对比损失L被计算为：

L＝Y×D+(1-Y)×max(margin-D，0)，

其中D是神经网络输出414和416之间的欧几里德距离，并且当扫描的图像206没有缺陷时Y取0值，并且当其示出缺陷时Y取1值。

训练块510使用对比损失508来更新权重值412，使得对比损失减小。在一个实施例中，使用转移学习来获得初始权重值。

图6是根据各种代表性实施例的计算机实现的方法600的流程图。参照图6，在框602处，在一个或多个计算设备处访问在对象的超声扫描中获取的扫描数据。在框604处，根据扫描数据构建二维(2D)扫描的图像。可选地，在框606处，根据2D扫描图像构建第一输入特征映射。第一输入特征映射可以包括附加的数据，例如诸如参数图形，或3D图像张量，如在上面描述那样。在框608处，将第一输入特征映射输入到第一深度神经网络以生成第一输出特征映射。在框610处，将包含无缺陷对象的一个或多个图像的第二输入特征映射输入到第二深度神经网络，以产生第二输出特征映射。第二深度神经网络具有与第一深度神经网络相同的结构和权重值。在框612处比较第一输出特征映射和第二输出特征映射。如果它们之间的距离不大(与某个阈值相比)，如由来自判决框614的否定分支描绘的那样，则流程继续到框616，并且没有缺陷被检测到。确定被扫描的对象没有缺陷。如果输出特征映射之间的距离大，如由来自判决框614的肯定分支描绘的那样，则检测到缺陷，如由框618指示的那样。可选地，在框620处可以使用自动缺陷分类器或使用由用户进行的手动分类来对缺陷进行分类。

在一个实施例中，第一输入特征映射是在第一三维(3D)图像张量的所有三个信道中具有2D扫描图像的3D图像张量，并且第二输入特征映射是在三个信道的每个中具有无缺陷对象的2D扫描图像的三维(3D)图像张量。每个信道可以包含不同的图像。

如在上面描述那样，可以从使用彩色图像训练的深度神经网络复制第一深度神经网络和第二深度神经网络的权重值。可以基于第一深度神经网络的输出特征映射和第二深度神经网络的输出特征映射之间的距离的对比损失来调整第一深度神经网络和第二深度神经网络的权重值。

图7A是根据各种代表性实施例的第一输入特征映射700的图解表示。特征映射是具有“R”、“G”和“B”信道的3D图像张量。这种格式通常用于存储彩色图像的红色、绿色和蓝色信道。然而，在图7A中，每个信道被用于存储扫描的对象的2D图像。因此，图像702被放置在所有三个信道中。在所示出的示例中，图像的区704示出缺陷。

图7B是根据各种代表性实施例的第二输入特征映射710的图解表示。再次地，特征映射是具有“R”、“G”和“B”信道的3D图像张量。在图7B中，每个信道被用于存储无缺陷对象的2D图像。因此，图像712被放置在“R”信道中，图像714被放置在“G”信道中，并且图像716被放置在“B”信道中。

图7C是根据各种代表性实施例的另一输入特征映射720的图解表示。再次地，特征映射是具有“R”、“G”和“B”信道的3D图像张量。在图7C中，扫描的图像722被放置在“R”信道中，无缺陷图像724被放置在“G”信道中，并且参数图形图像726被放置在“B”信道中。在所示出的示例中，图像722的区728示出缺陷。在其它实施例中，图形参数数据可以被放置在信道的外周，在由图像占据的区之外。

使用具有三个信道的3D图像张量的优点在于，它们可以被输入到已经使用RGB彩色图像输入预训练的高性能神经网络。残差网络(Resnet)18是这样的预训练网络的一个示例，但是本公开的实施例并不限制于任何特定的预训练网络。这些预训练网络的输出层被替换和重新训练以用于自动缺陷检测和分类。这是很大的优点，因为从头开始训练网络将要求更大得多的数量的输入图像。通过使用更低的层的预训练的特征提取，并且仅训练替换的输出层，可以在更少的数据和努力的情况下训练网络以提供高性能网络。

如在上面描述那样，3D图像张量的三个输入信道不包含红色、绿色和蓝色彩色分量。相反，没有缺陷的图像被放在一个彩色信道中，扫描的图像(可能具有缺陷)被放置在另一彩色信道中，并且参数的条图形被放置在另一彩色信道中。

这种方法的进一步的优点是如此构造的3D张量仍然可以被看作彩色图像。例如，当无缺陷图像被放置在红色信道中并且具有缺陷的图像被放置在绿色信道中时，所得到的彩色将取决于图像之间的差异。其中图像相同的区域，所得到的图像将具有等量的红色和绿色(但是具有变化的强度)，而其中它们不同的区域，红色或绿色将占主导地位。期望的是神经网络对其中出现缺陷的区域中表示的彩色差异敏感。该方法可以与孪生神经网络一起使用以产生通过/失败输出，并且与诸如多层残差网络的其它神经网络一起使用以提供自动分类。

本公开的实施例使用机器学习来辅助针对DUT、被测试器件(诸如晶片和封装)获得的超声扫描图像的分类。实施例可以使用包含互相关层的深度网络。实施例还可以使用孪生网络，以用于将已知的良好的参考图像与可能包含缺陷的DUT图像进行比较并且然后将它们分类为通过或失败的目的。使用现有的分类算法来执行网络的训练，以最小化由用户手动标记的量。也可以根据需要使用手动标记。

本公开的各方面可以在定制硬件、固件、数字信号处理器、或包括根据编程指令操作的处理器的专门编程的通用计算机上操作。在此使用的术语控制器或处理器旨在包括微处理器、微计算机、专用集成电路(ASIC)和专用硬件控制器。本公开的一个或多个方面可以是以计算机可用数据和计算机可执行指令体现的，诸如是以一个或多个程序模块体现的，由一个或多个计算机(包括监控模块)或其它设备执行。一般地，程序模块包括例程、程序、对象、组件、数据结构等，当由计算机或其它设备中的处理器执行时，其执行特定任务或实现特定抽象数据类型。计算机可执行指令可以被存储在非暂态计算机可读介质上，非暂态计算机可读介质诸如为硬盘、光盘、可移除存储介质、固态存储器、随机存取存储器(RAM)等。如本领域技术人员将领会的那样，程序模块的功能可以被组合或合期望地分布在各种方面中。此外，功能可以被整体或部分地体现在固件或硬件等同物中，固件或硬件等同物诸如为集成电路、FPGA等。特定的数据结构可以被用于更有效地实现本公开的一个或多个方面，并且这样的数据结构被想见为在在此描述的计算机可执行指令和计算机可用数据的范围内。

在一些情况下，所公开的方面可以被实现在硬件、固件、软件或它们的任何组合中。所公开的方面还可以被实现为由一个或多个非暂态计算机可读介质承载或存储于其上的指令，指令可以由一个或多个处理器读取和执行。这样的指令可以被称为计算机程序产品。如在此讨论的那样，计算机可读介质意味着可以由计算设备访问的任何介质。通过示例而不是限制的方式，计算机可读介质可以包括计算机存储介质和通信介质。

计算机存储介质意味着可以被用于存储计算机可读信息的任何介质。通过示例而不是限制的方式，计算机存储介质可以包括RAM、ROM、电可擦除可编程只读存储器(EEPROM)、闪速存储器或其它存储器技术、光盘只读存储器(CD-ROM)、数字视频盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁存储设备、以及以任何技术实现的任何其它易失性或非易失性的、可移除或非可移除的介质。计算机存储介质排除信号本身和信号传输的暂态形式。

通信介质意味着可以被用于计算机可读信息的通信的任何介质。通过示例而不是限制的方式，通信介质可以包括同轴线缆、光纤线缆、空气或适合于电、光、射频(RF)、红外、声或其它类型的信号的通信的任何其它介质。

附加地，本书面描述参照了特定特征。要理解的是，本说明书中的公开包括这些特定特征的所有可能的组合。例如，在特定方面的上下文中公开了特定特征的情况下，该特征也可以在可能的程度上在其它方面的上下文中使用。

另外，当在本申请中提及具有两个或更多个限定的步骤或操作的方法时，所限定的步骤或操作可以以任何顺序执行或者同时执行，除非上下文排除了那些可能性。

虽然已经为了说明的目的图示和描述了本公开的具体方面，但是将理解的是，可以在不脱离本公开的精神和范围的情况下作出各种修改。因此，除了由所附权利要求限制之外本公开不应当受限制。

在本文件中，诸如第一和第二、顶部和底部等的关系术语可以仅用于将一个实体或动作与另一实体或动作区分开，而未必要求或暗示在这样的实体或动作之间的任何实际的这样的关系或顺序。术语“包括”、“包括有”、“包含”、“包含有”、“有”、“具有”或它们的任何其它变化旨在覆盖非排它性的包括，使得包括一系列要素的处理、方法、制品或装置不仅包括那些要素，而且可以包括未明确列出的或对于这样的处理、方法、制品或装置固有的其它要素。前面有“包括...”的要素在没有更多约束的情况下不排除在包括该要素的处理、方法、制品或装置中存在附加的相同要素。

贯穿本文件对“一个实施例”、“特定实施例”、“实施例”、“(多个)实现”、“(多个)方面”或类似术语的引用意味着与实施例有关地描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。因此，贯穿本说明书的这样的短语的出现或在各个地方这样的短语的出现未必都指代相同的实施例。更进一步地，特定的特征、结构或特性可以以任何合适的方式不受限制地组合在一个或多个实施例中。

如在此使用的术语“或”应被解释为包括性的或意味着任何一个或任何组合。因此，“A、B或C”意味着“以下中的任何一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当要素、功能、步骤或动作的组合以某种方式固有地相互排斥时，才将出现对此限定的排除。

如在此使用的那样，当术语“被配置为”应用于要素时，其意味着要素可以被设计或构造成执行指定的功能，或者具有所要求的结构使得其能够被重新配置或适配于执行该功能。

已经阐述了许多细节以提供对在此描述的实施例的理解。可以在没有这些细节的情况下实践实施例。在其它情况下，没有详细描述周知的方法、过程和组件，以避免使所描述的实施例模糊。本公开不应被认为受限于在此描述的实施例的范围。

本领域技术人员将认识到，已经借助于示例描述了本公开。本公开可以是使用硬件组件等同物实现的，硬件组件等同物诸如为专用硬件和/或专用处理器，它们是所描述和要求保护的本公开的等同物。类似地，专用处理器和/或专用硬布线逻辑可以被用于构造本公开的替换的等同实施例。

使用执行编程指令的专用硬件、可配置硬件或编程处理器来实现在此描述的各种实施例，编程指令被以流程图形式被宽泛地描述，其可以被存储在任何合适的电子存储介质上或通过任何合适的电子通信介质传输。可以使用这些元件的组合。本领域技术人员将领会，在不脱离本公开的情况下，可以以任何数量的变化实现上面描述的处理和机制。例如，在不脱离本公开的情况下，通常可以使所执行的特定操作的顺序变化，可以添加附加的操作或者可以删除操作。这样的变化是被想见的并且被认为是等同的。

已经通过示例而非限制的方式呈现了在此详细描述的各种代表性实施例。本领域技术人员将理解，可以对所描述的实施例的形式和细节作出各种改变，得到保持在所附权利要求的范围内的等同实施例。

Claims (16)

1.一种计算机实现的方法，包括：

在一个或多个计算设备处访问在对象的超声扫描中获取的扫描数据；

根据扫描数据构建包括二维(2D)扫描图像的第一输入特征映射；

将第一输入特征映射输入到第一深度神经网络以生成第一输出特征映射；

将包括无缺陷对象的扫描图像的第二输入特征映射输入到具有与第一深度神经网络相同的结构和权重值的第二深度神经网络，以产生第二输出特征映射；以及

当第一输出特征映射和第二输出特征映射之间的距离大时，确定被扫描的对象包含缺陷。

2.根据权利要求1所述的计算机实现的方法，其中：

构建第一输入特征映射包括构建第一三维(3D)图像张量，第一3D图像张量在第一3D图像张量的所有三个信道中具有2D扫描图像；以及

构建第二输入特征映射包括构建第二三维(3D)图像张量，第二3D图像张量具有：

在第二3D图像张量的第一信道中的无缺陷对象的第一2D扫描图像；

在第二3D图像张量的第二信道中的无缺陷对象的第二2D扫描图像；以及

在第二3D图像张量的第三信道中的无缺陷对象的第三2D扫描图像。

3.根据权利要求1所述的计算机实现的方法，进一步包括：

从使用彩色图像训练的深度神经网络复制第一深度神经网络和第二深度神经网络的权重值。

4.根据权利要求1所述的计算机实现的方法，进一步包括基于第一深度神经网络的输出和第二深度神经网络的输出之间的距离的对比损失来调整第一深度神经网络和第二深度神经网络的权重值。

5.根据权利要求1所述的计算机实现的方法，进一步包括：当确定扫描的对象包含缺陷时，将扫描图像传递到自动缺陷分类器。

6.一种计算机实现的方法，包括：

在一个或多个计算设备处访问在对象的超声扫描中获取的扫描数据；

根据扫描数据构建二维(2D)扫描图像；

生成与扫描图像关联的信息的2D图形表示；

生成用于对象的缺陷分类元数据；

构建三维(3D)图像张量，3D图像张量具有在3D图像张量的第一信道中的2D扫描图像、在3D图像张量的第二信道中的无缺陷对象的2D图像和在3D图像张量的第三信道中的信息的2D图形表示；

将3D图像张量输入到深度神经网络；

将深度神经网络的输出与缺陷分类元数据进行比较；

调整深度神经网络的输出层的权重值以提供在深度神经网络的输出与缺陷分类元数据之间的改进的匹配；以及

存储经调整的权重值。

7.根据权利要求6所述的计算机实现的方法，进一步包括从使用彩色图像训练的深度神经网络复制深度神经网络的特征映射层中的权重值。

8.根据权利要求6所述的计算机实现的方法，进一步包括：存储训练数据集合包括：

将用于对象的缺陷分类元数据存储到训练数据集合；以及

将三维(3D)图像张量存储到训练数据集合。

9.一种自动缺陷检测系统，包括：

第一计算机实现的神经网络，其被配置为通过将权重值的第一集合应用于第一输入特征来产生第一输出特征映射；

输入预处理器，其被配置为将在对象的超声扫描中获取的数据映射到用于第一神经网络的输入特征映射；

第二计算机实现的神经网络，其被配置为通过将权重值的第一集合应用于第二输入特征映射来产生第二输出特征映射，其中第二输入特征映射是从一个或多个参考超声扫描映射的；

比较器，其被配置为基于第一输出特征映射与第二输出特征映射之间的差异来生成相似度度量；以及

判决逻辑，其被配置为基于相似度度量来确定被扫描的对象是否包含缺陷。

10.根据权利要求9所述的自动缺陷检测系统，进一步包括存储参考超声扫描的存储器，其中参考超声扫描是无缺陷对象的扫描。

11.根据权利要求9所述的自动缺陷检测系统，其中输入预处理器被配置为：

根据在对象的超声扫描中获取的扫描数据构建二维(2D)扫描图像；

构建第一三维(3D)图像张量作为第一输入特征映射，第一3D图像张量在第一3D图像张量的所有三个信道中具有2D扫描图像。

12.根据权利要求11所述的自动缺陷检测系统，其中第二输入特征映射是第二三维(3D)图像张量，第二3D图像张量具有：

在第二3D图像张量的第一信道中的第一2D参考超声扫描图像；

在第二3D图像张量的第二信道中的第二2D参考超声扫描图像；以及

在第二3D图像张量的第三信道中的第三2D参考超声扫描图像。

13.根据权利要求11所述的自动缺陷检测系统，其中输入预处理器被配置为：

根据在对象的超声扫描中获取的扫描数据构建二维(2D)扫描图像；

生成与扫描图像关联的信息的2D图形表示；以及

将2D图形表示添加到2D扫描图像的外周以提供第一输入特征映射。

14.根据权利要求9所述的自动缺陷检测系统，进一步包括：

自动分类系统，其被配置为当判决逻辑确定被扫描的对象包含缺陷时对扫描图像进行处理以提供缺陷的分类。

15.根据权利要求9所述的自动缺陷检测系统，其被配置为：

访问指示对象是否包含缺陷的元数据；

基于第一输出特征映射和第二输出特征映射之间的欧几里德距离以及所访问的元数据来生成对比损失；以及

至少部分地基于对比损失函数来更新第一权重值。

16.根据权利要求9所述的自动缺陷检测系统，其中第一计算机实现的神经网络包括具有多个互相关层的深度神经网络。