CN114127744A - 包括用于执行物品检查的计算机指令的方法、装置、计算机程序和介质 - Google Patents

包括用于执行物品检查的计算机指令的方法、装置、计算机程序和介质 Download PDF

Info

Publication number
CN114127744A
CN114127744A CN202080052438.8A CN202080052438A CN114127744A CN 114127744 A CN114127744 A CN 114127744A CN 202080052438 A CN202080052438 A CN 202080052438A CN 114127744 A CN114127744 A CN 114127744A
Authority
CN
China
Prior art keywords
neural network
local
defective
item
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080052438.8A
Other languages
English (en)
Inventor
宫浦宏之
诹访正树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN114127744A publication Critical patent/CN114127744A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32368—Quality control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

提供了一种用于确定正被处理的物品是有缺陷的还是无缺陷的方法(以及相应的装置、计算机程序和介质)，该方法包括如下步骤：由本地神经网络(11)并基于在物品正被处理的同时对该物品执行的感测测量来确定(S10)指示该物品是有缺陷的还是无缺陷的本地分类结果。在步骤S20，确定指示本地分类结果是正确的事项的置信水平的置信指数。然后，在步骤S30并响应于置信指数低于给定阈值，由中央神经网络(21)并基于所述感测测量来确定指示物品是有缺陷的还是无缺陷的中央分类结果，其中本地神经网络(11)具有比中央神经网络(21)更少的计算资源。

Description

包括用于执行物品检查的计算机指令的方法、装置、计算机程 序和介质
技术领域
本发明涉及包括用于执行物品检查的计算机指令的方法、设备、计算机程序和介质，特别地是用于确定正被处理的物品是有缺陷的还是无缺陷的。
背景技术
在生产线上使用目视检查设备来检查正被制造的产品是否有缺陷。这种设备典型地包括像摄像机这样的图像传感器、存储器和CPU以执行图像处理和一般处理。这些设备足够小以被安装在生产线的部件(例如机器人)上，并且仅出于一些原因而在本地工作，例如具有快速响应时间、避免与其它设备的通信问题、保持它们的构造和安装尽可能简单等。不同的图像处理技术可用于确定图片是指有缺陷的还是无缺陷的产品，这些技术中的每一个都适于相应的应用或使用场景，并且每一个都由某些误差和相应的计算复杂度来表征。
此外，存在其它类型的检查系统，其不一定基于目视分析，而是例如基于测量实际产品的参数以确定其是否有缺陷。
然而，已知技术可能遭受错误和/或需要大的处理能力。
发明内容
因此，本发明的一个目的在于改进用于执行检查的现有系统，和/或克服现有技术解决方案中存在的至少一些问题。
通过以下方式实现该目的：
根据方面A1，提供了一种用于确定正被处理的物品是有缺陷的还是无缺陷的检查方法，该方法包括如下步骤：
通过本地神经网络(11)并基于在物品正被处理的同时对物品执行的感测测量来确定(S10)指示该物品是有缺陷的还是无缺陷的本地分类结果；
确定(S20)指示本地分类结果是正确的事项的置信水平的置信指数；
响应于置信指数低于给定阈值，通过中央神经网络(21)并基于所述感测测量来确定(S30)指示该物品是有缺陷的还是无缺陷的中央分类结果，其中本地神经网络(11)具有比中央神经网络(21)更少的计算资源。
A2.在根据方面A1的方法中，当训练本地神经网络(11)时确定置信指数，并且其中优选地当训练本地神经网络(11)时经验地确定给定阈值。
A3.在根据方面A1和/或A2的方法中，通过将在确定本地分类结果时由本地神经网络(11)的多个节点表现出的实际激活模式与在训练本地神经网络(11)的同时由本地神经网络(11)的所述多个节点表现出的参考激活模式相关来确定置信指数，
并且其中给定阈值包括指示预定相关水平的相关阈值。
A4.在根据前述方面的任一方面的方法中，通过将在确定分类结果的同时由本地神经网络(11)获得的至少一个特征向量与在训练本地神经网络(11)的同时由本地神经网络(11)获得的至少一个相应参考特征向量相关来确定置信指数。
根据方面A5，提供了一种用于确定正被处理的物品是有缺陷的还是无缺陷的检查设备(10)，该本地检查设备(10)包括：
本地神经网络(11)，其经配置基于在物品正被处理的同时对物品执行的感测测量来确定指示该物品是有缺陷的还是无缺陷的本地分类结果；
处理器(12)，其经配置确定指示本地分类结果是正确的事项的置信水平的置信指数；
输出部分(13)，其经配置响应于置信指数低于给定阈值而输出中央分类指示通知，该中央分类指示通知通知要由中央神经网络来执行指示正被处理的物品是有缺陷的还是无缺陷的中央分类结果，其中本地神经网络具有比中央神经网络(21)更少的计算资源。
A6.在根据方面A5的本地检查设备(10)中，中央分类指示通知包括由中央神经网络确定中央分类结果的请求，并且其中输出部分(13)经配置将请求发送到包括中央神经网络(21)的中央检查设备(20)。
A7.在根据方面A5或A6的检查设备中，当训练本地神经网络(11)时确定置信指数，并且其中优选地当训练本地神经网络(11)时经验地确定给定阈值。
A8.在根据方面A5至A7中任一方面的检查中，通过将在确定本地分类结果时由本地神经网络(11)的多个节点表现出的实际激活模式与在训练本地神经网络(11)的同时由本地神经网络(11)的所述多个节点表现出的参考激活模式相关来确定置信指数，
并且其中给定阈值包括指示预定相关水平的相关阈值。
A9.在根据方面A5至A8中任一方面的方法中，通过将在确定分类结果的同时由本地神经网络(11)获得的至少一个特征向量与在训练本地神经网络(11)的同时由本地神经网络(11)获得的至少一个相应参考特征向量相关来确定置信指数。
根据方面A10，提供了一种用于确定正被处理的物品是有缺陷的还是无缺陷的检查设备(20)，该检查设备(20)包括：
中央神经网络(21)，其经配置基于在物品正被处理的同时对物品执行的感测测量来确定指示该物品是有缺陷的还是无缺陷的分类结果，
接收机(22)，其经配置接收执行中央分类的指令，该指令指示本地神经网络(11)已基于具有低于给定阈值的置信水平的感测测量确定了分类结果，其中本地神经网络(11)具有比中央神经网络(21)更少的计算资源。
A11.在根据方面A10的检查设备中，中央检查设备(20)经配置通过使用比在本地神经网络处可用的计算资源更多的计算资源来操作中央神经网络(2021)。
A12.在根据方面A10或A11的检查设备中，当训练本地神经网络(11)时确定置信指数，并且其中优选地当训练本地神经网络(11)时经验地确定给定阈值。
A13.在根据方面A10至A12中任一方面的检查设备中，通过将在确定本地分类结果时由本地神经网络(11)的多个节点表现出的激活模式与在训练本地神经网络(11)的同时由本地神经网络(11)的所述多个节点表现出的参考激活模式相关来确定置信指数，
并且其中给定阈值包括指示预定相关水平的相关阈值。
A14.在根据方面A10至A13中任一方面的检查设备中，通过将在确定分类结果的同时由本地神经网络(11)获得的至少一个特征向量与在训练本地神经网络(11)的同时由本地神经网络(11)获得的至少一个相应参考特征向量相关来确定置信指数。
根据方面A15，提供了一种检查系统，该检查系统用于通过使用本地神经网络(11)和中央神经网络(21)中的至少一个基于在物品正被处理的同时对物品执行的感测测量来确定该物品是有缺陷的还是无缺陷的，其中本地神经网络具有比中央神经网络更少的计算资源，
其中，响应于确定本地置信指数不高于预定置信水平，本地置信指数指示本地分类结果是正确的事项的置信水平，中央神经网络(21)经配置确定指示所获得的感测测量表示有缺陷的物品还是无缺陷的物品的中央分类结果，
并且其中将中央分类结果作为系统的分类结果。
A16.在根据方面A15的检查系统中，当训练本地神经网络(11)时确定置信指数，并且其中优选地当训练本地神经网络(11)时经验地确定给定阈值。
A17.在根据方面A15或A16的检查系统中，通过将在确定本地分类结果时由本地神经网络(11)的多个节点表现出的激活模式与在训练本地神经网络(11)的同时由本地神经网络(11)的所述多个节点表现出的参考激活模式相关来确定置信指数，
并且其中给定阈值包括指示预定相关水平的相关阈值。
A18.在根据方面A15至A17中任一方面的检查系统中，通过将在确定分类结果的同时由本地神经网络(11)获得的至少一个特征向量与在训练本地神经网络(11)的同时由本地神经网络(11)获得的至少一个相应参考特征向量相关来确定置信指数。
根据方面A19，提供了一种计算机程序，所述计算机程序包括指令，该指令经配置当所述指令在计算机上执行时执行根据方面A1至A4中任一方面的步骤。
根据方面A20，提供了一种用于确定正被处理的物品是有缺陷的还是无缺陷的检查方法，该方法包括如下步骤：通过神经网络(11)并基于在物品正被处理的同时对物品执行的感测测量来确定(S10)指示该物品是有缺陷的还是无缺陷的分类结果；确定(S20)指示分类结果是正确的事项的置信水平的置信指数；响应于置信指数低于给定阈值，输出(S30)通知消息，该通知消息通知指示物品是有缺陷的还是无缺陷的分类结果具有低于给定水平的置信水平。
A21.根据方面A20的方法，其中通知消息被输出到用于通知的设备和/或输出到用于进一步处理的设备。
A22.根据方面A20或A21的方法，其中当训练神经网络(11)时确定置信指数，并且其中优选地当训练神经网络(11)时经验地确定给定阈值。
A23.根据方面A20至A22中任一方面的方法，其中通过将在确定分类结果时由神经网络(11)的多个节点表现出的实际激活模式与在训练神经网络(11)的同时由神经网络(11)的所述多个节点表现出的参考激活模式相关来确定置信指数，并且其中给定阈值包括指示预定相关水平的相关阈值。
A24.根据方面A20至A23中任一方面的方法，其中通过将在确定分类结果的同时由神经网络(11)获得的至少一个特征向量与在训练神经网络(11)的同时由神经网络(11)获得的至少一个相应参考特征向量相关来确定置信指数，其中由神经网络获得的一个特征向量优选地包括包含由神经网络(11)的一层或多层的至少一个节点获得的特征参数的向量。
A25.一种用于确定正被处理的物品是有缺陷的还是无缺陷的检查设备(10)，该检查设备(10)包括：神经网络(11)，其经配置基于在物品正被处理的同时对物品执行的感测测量来确定指示该物品是有缺陷的还是无缺陷的分类结果；处理器(12)，其经配置确定指示分类结果是正确的事项的置信水平的置信指数；输出部分(13)，其经配置响应于置信指数低于给定阈值而输出通知消息，该通知消息通知指示正被处理的物品是有缺陷的还是无缺陷的结果具有低于给定水平的置信水平。
A26.根据方面A25的检查设备(10)，其中输出部分(13)进一步经配置将通知消息输出到用于通知的设备和/或输出到用于进一步处理的设备。
A27.根据方面A25或A26的检查设备(10)，其中当训练神经网络(11)时确定置信指数，并且其中优选地当训练神经网络(11)时经验地确定给定阈值。
A28.根据方面A25至A27中任一方面的检查设备(10)，其中通过将在确定分类结果时由神经网络(11)的多个节点表现出的实际激活模式与在训练神经网络(11)的同时由神经网络(11)的所述多个节点表现出的参考激活模式相关来确定置信指数，并且其中给定阈值包括指示预定相关水平的相关阈值。
A29.根据方面A25至A28中任一方面的检查设备(10)，其中通过将在确定分类结果的同时由神经网络(11)获得的至少一个特征向量与在训练神经网络(11)的同时由神经网络(11)获得的至少一个相应参考特征向量相关来确定置信指数。
A30.一种计算机程序，所述计算机程序包括指令，该指令经配置当所述指令在计算机上执行时执行根据方面A1至A5中任一方面或根据方面A20至A24中任一方面的步骤。
A31.一种介质，所述介质包括指令，该指令经配置当所述指令在计算机上执行时执行根据方面A1至A5中任一方面或根据方面A20至A24中任一方面的步骤。
附图说明
图1是示出根据本发明实施方式的方法的流程图。
图2示出了根据本发明一个实施方式的设备的框图。
图3示出了根据本发明一个实施方式的设备的框图。
图4示出了根据本发明的一个实施方式的系统的框图。
图5示出了适于执行根据本发明一个实施方式的指令的计算机的框图。
图6示出了神经网络激活监控方案的示例。
图7示出了神经网络输出监控方案的示例。
具体实施方式
目视检查设备或系统可以使用不同的技术来判断产品是否有缺陷，例如“图片匹配”或“参数匹配”处理中的一个或组合：
-“图片匹配”处理：拍摄正被制造的产品的图片；将拍摄的图片与产品的参考图片进行比较；在拍摄的图片与参考图片匹配的情况下，产品被认为(作为匹配的结果)是无缺陷的(或“好的”)，否则是有缺陷的(或“不好的”)。参考图片例如是包含无缺陷或包含可接受量和/或类型的缺陷的产品的图片；当在两个图片之间存在给定的(例如预定的)相似度时，确定拍摄的图片和参考图片之间的匹配。不同的技术可用于建立匹配，例如基于逐像素比较等。
-“参数匹配”处理：对拍摄的图片进行图像处理以提取某些参数。然后将所提取的参数与参考参数进行比较。在提取的参数和参考参数之间匹配的情况下，输出无缺陷的(“好的”)，否则输出有缺陷的(“不好的”)。参数的示例是颜色、亮度/对比度、形状、功能中的任意一个或这些的组合等。参考参数可以基于在被认为无缺陷的和/或有缺陷的产品上拍摄的一张或多张图片来确定；因此，当相应提取的参数和参考参数在给定范围内相同或不同时，存在参数的匹配。
AI技术可以应用于安装在生产线上的检查设备，例如基于上述基本技术中的一种或其组合。例如，AI机器可以在已知对应于有缺陷的和无缺陷的产品的一组拍摄的图片上进行训练；一旦机器被训练，它可以用于通过让训练的AI机器在线上对拍摄的这种产品的图片进行分类来检查正被制造的产品。训练可以通过使用上述方法中的一种或组合来实现(尽管其它方法也是可能的，独立地或组合地)。例如，关于参数匹配处理，可以基于从一组可用图片中提取的参数(或特征(在为特定处理或任务确定的特征空间内))来训练AI机器，其中对于这些图片中的每一个，是已知它是指有缺陷的产品还是无缺陷的产品的。一旦学习完成，AI机器就能够通过使用训练的模型处理相应提取的参数来将新拍摄的图片分类为有缺陷的和无缺陷的。
然而，这种AI机器容易出错，并因此可能错误地将产品分类为例如假有缺陷的(而实际产品是好的)或假无缺陷的(而实际产品实际上不是好的)。此外并且可选地，这种AI检查系统可以提供第三类型的输出(除有缺陷的和无缺陷的之外输出)，例如在AI机器不能以一定置信水平确定产品应被分类为有缺陷的还是无缺陷的情况下。换言之，第三类型的输出可以指示AI机器不能对图片和相应产品进行分类；在这种情况下，产品可能需要进行人工检查以确定其是否有缺陷。虽然此第三输出类型可以减少假有缺陷的/假无缺陷的分类的数量(且无论如何有利地帮助确定有缺陷的和无缺陷的物品的处理)，但存在其中分类不能够准确地完成和/或无法及时完成的情况。对于AI机器，通常是指包括神经网络的实体，该神经网络可以基于已知物品来训练以执行给定任务，该任务在当前情况下是检查物品；在操作中，即当训练完成并且AI机器被部署用于实际使用时，AI机器通常能够对未知物品执行给定任务。“完成的训练”是指进行足够的训练以开始操作；训练也可以在操作开始之后继续，例如当新数据变得可用时，和/或周期性地继续等。
提高精确度的一种方式是例如通过增加包括在AI机器中的神经网络的层数来增加AI机器的计算能力，和/或选择神经网络的更复杂的配置。此外，可以想到的是，例如通过在更大的数据集上训练经训练的模型，可能将其与更高效的神经网络(即，与具有更高计算性能的神经网络)组合，来提高经训练的模型的精确度。
上述可想到的AI解决方案将仍然基于本地实现方式，因此与在被处理产品的现场执行检查的通常实践一致，以便确保最小延迟和等待时间，这在执行检查时被认为是关键因素。例如，发现有缺陷的物品的概率相对小于发现无缺陷的物品的概率；因此，确保确定中的最小延迟和等待时间是特别重要的，因为否则全部处理可能会显著延迟；同时，确定是正确的也是重要的，例如，不错过有缺陷的物品是重要的。
基于上述考虑和认识，发明人构思了在本地AI机器和远程AI机器之间分配检查分析的思想：本地机器可能不如远程机器那么计算高效，使得它可以是小型的并且适于在产品正被处理之处(附近)的现场安装。尽管通常被认为不是合适的解决方案，但是当与本地AI机器结合使用时，远程AI的参与事实上被证明是有利的，因为由远程分析引入的可能的延迟和等待时间过度补偿(即整个小于)由本地AI机器不准确或未能做出适当的确定而引起的延迟和等待时间。重要的是，该解决方案允许实现这些效果，同时保持本地检查设备在结构和/或安装上仍然足够小型和简单以便在现场使用。此外对于所描述的本地和远程AI机器，要注意的是，根据发明人构思的变形，可以省略远程机器(后面也称为中央神经网络)。实际上，本地AI机器可以输出在给定的精确度/置信水平内已经达到有缺陷的或无缺陷的确定的指示，并且可能需要例如附加的评估和/或确认来更准确地确定物品是有缺陷的还是无缺陷的。
参考图1，描述了针对用于确定正被处理的物品是有缺陷的还是无缺陷的方法的第一实施方式。有缺陷的和无缺陷的分别是指物品是否符合物品设计的技术规范和/或质量标准。例如，当产品的(机械的、电的、化学的和/或光学的等的)值在它们的给定公差之外时和/或当它存在由处理引起的划痕时，该产品是有缺陷的。该方法包括步骤S10，由本地神经网络(11)基于在物品正被处理的同时对物品执行的感测测量来确定本地分类结果。本地分类结果指示物品是有缺陷的还是无缺陷的。术语“本地”指示分类结果是由本地神经网络11获得的，或者换言之是由本地神经网络的操作获得的。本地是指放置在被处理物品附近的神经网络。感测测量指示由耦合到物品(即，可以出于测量目的而与该物品相互作用或接合，该接合不限于机械接合)的任何传感器获得的任何测量结果，并且举例来说包括：借助于拍摄物品的图片的摄像机传感器获得的图像数据；机械测量结果，例如借助于基于激光的测量设备获得的长度数据；由相应传感器测量的电气值(例如电压、电流等)；物品组成的密度测量值；由相应适当传感器获取的示出物品的光学性质的测量值等。这些测量是在正被处理的物品上进行的，指示物品在某一处理中正被处理，并且举例来说包括在生产线上移动和/或处理物品，例如在检查点处沿着运输路线处理物品以便验证运输是否损坏等。为了完整性，注意，本地分类结果还可以指示不可能确定物品的任何有缺陷和无缺陷状态。因此，在一个示例中，分类结果可以输出物品的(i)有缺陷的和(ii)无缺陷的指示中的一个；在另一示例中，分类结果可以输出(i)可能或(ii)不可能分类为有缺陷或无缺陷；在另一示例中，分类结果可以输出(i)物品有缺陷的指示，(ii)物品无缺陷的指示，以及(iii)(有缺陷/无缺陷的)相应确定不可能中的一个。这些示例可以被组合，并且设备经配置而在这些配置之间动态地改变。在上文和下文的讨论中，参考确定正被处理的物品是有缺陷的还是无缺陷的来说明该确定；然而，在确定正被处理的物品在给定区域内存在还是不存在的情况下，同样的考虑适用；因此，“物品是有缺陷的还是无缺陷的”也可以理解为“物品是否存在”。给定区域可以是：预先定义(例如借助于坐标)；基于例如执行感测测量的传感器(例如，对应于可以由摄像机捕获的场景的区域)来确定；对应于执行制造的部件(如机器人)而定义的；对应于范围，在该范围内传感器可以执行所提及的感测测量以及以上的组合。
在步骤S20，确定置信指数，其中置信指数指示本地分类结果是正确的事项的置信水平。如在机器学习领域中公知的，置信水平表示由AI机器产生的结果是真实的或正确的可能性，并且它可以例如以AI估计对应于实际值的可能性的百分比(或在范围内的值等，举例来说置信指数)来表示。在一个说明性示例中，90％的置信水平可以指示本地AI机器分类成有缺陷/无缺陷的结果中的一个对应于产品本来实际有缺陷或分别无缺陷的90％可能性。相同或不同的阈值水平可以被分配给每个有缺陷/无缺陷的确定。可以以众所周知的多种方式获得置信水平，参考例如“基于距离的神经网络分类器的置信分数”，AmitMandelbaum和Daphna Weinshall，arXiv:1709.09844v1[cs.AI]28Sep 2017(https:// arxiv.org/pdf/1709.09844.pdf)。
参考上述确定，无法分类为有缺陷的/无缺陷的：这可以指示获得这样的分类是不可行的，或者在给定或预定的置信水平内没有达到这样的确定。因此，例如，当在相应的第一和第二置信水平阈值内既不能输出有缺陷的分类结果也不能输出无缺陷的分类结果时(在一个非限制性示例中，两个阈值可以相同)，AI机器可以输出不可能分类为有缺陷的/无缺陷的确定。
响应于置信指数低于给定阈值，在步骤S30，由中央神经网络21基于所述感测测量，即优选地基于由本地神经网络11使用的相同信息来确定中央分类结果。类似于本地分类结果，中央分类结果指示物品是有缺陷的还是无缺陷的。然而，与本地神经网络不同，中央神经网络21具有比本地神经网络11更多的计算资源。因此，中央指示处理能力高于本地网络的处理能力，这允许例如用于中央神经网络的更复杂的配置；优选地，中央神经网络远离正被处理的物品，即不在正被处理的物品和/或本地神经网络的附近。因此，中央神经网络21更可能能够确定有缺陷的/无缺陷的分类结果。换言之，将中央分类结果作为最终或实际分类结果；然而，如果本地分类结果高于(或者可选地等于)给定阈值，则本地分类结果变为实际分类结果，而不需要激活中央神经网络。这样，由于本地神经网络的干预而发生的附加延迟和等待时间只限于本地中央网络计算资源不足以提供精确结果的那些情况；因此，由于大多数检测是在本地执行的，所以整个系统仍然是高效的，并且只有在需要时，检测才被延迟到无论如何都能比其它系统更快和/或更精确地获得结果的中央神经网络。这实现了整体上高性能，因为与中央网络的激活相关联的延迟/等待时间过度补偿了由本地网络未能确定精确结果而导致的可能的等待时间/延迟。在一个示例中，中央神经网络表示或包括具有AI模型的计算资源，并且通过通信网络(诸如互联网和/或内联网)连接到本地检查机器，并且具有比本地机器更大的计算能力；此外，中央神经网络不需要必须位于与本地机器相同的位置。
例如，较大的计算资源包括这样的情况，其中向中央神经网络21提供比本地神经网络11更高数量的层(例如，神经网络的更高数量的中间层；这包括本地神经网络没有中间层并且中央网络有一个或多个的情况；更一般地，举例来说，中央神经网络比本地神经网络至少多一层；在其它示例中，中央神经网络具有比本地神经网络更多的节点，这可以与更高数量的层组合)，和/或以其更大/更复杂的结构为代价的更精确的神经网络结构，和/或使神经网络能够处理更大量信息的更大存储器等；附加地或可替代地，较大的计算资源可以包括这样的情况，其中中央神经网络21在较大的数据集上训练和/或能够管理更复杂的训练模型等。
优选地，上述检查方法包括以下步骤：当置信指数指示本地分类结果是正确的这种置信水平时，基于本地分类结果，或者基于中央分类结果，输出指示物品是有缺陷的还是无缺陷的至少一个的分类结果。换言之，本地神经网络的结果和/或中央神经网络的结果用于根据由本地神经网络确定的分类结果的置信水平来确定实际分类结果。特别地，可以想到将本地和中央结果相结合以进一步提高精确度。如从本公开显而易见的，分类结果(本地的、中央的或最终的)可以仅指示有缺陷的或无缺陷的中的一个。例如，该方法可以经配置仅输出对应于无缺陷的物品的结果(或仅针对有缺陷的物品)；当没有提供结果时，可以隐含地确定物品是有缺陷的(或相应地无缺陷的)。
在第一实施方式的变形中，可以预见包括如上所述的步骤S10和S20的方法，其中本地神经网络是优选地位于正被处理的物品附近或处理该物品的设备附近或提供对物品执行的感测测量的传感器附近的神经网络；在该变形的方法中使用的神经网络也可以称为本机端神经网络，并且可以优选地(但不是必须地)具有与本地神经网络相同的特性，特别地，本机端神经网络可以是具有有限处理能力的神经网络；例如，它可以是适于在具有有限处理资源的设备中执行的神经网络(例如，要安装在如用于放置在生产线上的设备那样的设备上的客户端计算机或客户端控制器)，而不是需要例如大型服务器或基于云的执行来操作的神经网络。然而，本变形不限于计算资源的特定限制。本机端和本地神经网络都被提供有在物品正被处理时对物品执行的感测，这意味着相应的传感器与正被处理的物品耦合，如上面参考本地神经网络所解释的。为了简单起见，本变形也被称为本机端，而上述第一实施方式的方法也被称为本地/中央。在本变形中，在步骤S30，输出通知消息。通知消息通知分类结果(指示物品是有缺陷的还是无缺陷的)具有低于给定水平的置信水平。该通知可以可选地包括关于物品是否有缺陷的指示或关于物品是否无缺陷的指示；在这种情况下，关于精确度的指示优选地是指包括在通知中的有缺陷的或无缺陷的指示。给定的置信水平可以是预定的置信水平，其可以被静态地或动态地设置。此外，给定的置信水平可以包括阈值，并且优选地可以是与确定步骤S20所使用的阈值相同或不同的阈值。换言之，在步骤S30处，提供了指示，即某一有缺陷的或无缺陷的确定即使达到也可能不是高度或足够精确的；因此，可以优选地确定需要进一步的评估和/或确认来确定物品是有缺陷的还是无缺陷的。
优选地，根据本变形，通知消息被输出到用于通知的设备(或者换言之，用于借助于设备来启动通知)和/或输出到用于进一步处理的设备。优选地，通知消息可以包括警报消息和/或警告消息，其指示例如不能精确地执行确定。优选地，可替代地或附加地，通知消息可以包括确认(本机端)神经网络做出的确定是正确的请求；这种确认可以由另一种检查自动分析(例如，对物品进行的图像识别、测量和/或测试等)、由中央神经网络(如在本地/中央情况下)、由操作者等来执行。优选地，输出(如例如在变形的步骤S30中)包括如果设备与本机端设备不同或不在产生输出的检查设备附近，则将通知消息发送到设备。进一步优选地，通知的输出指的是在设备上启动的通知，并且可以包括例如通知操作者有缺陷/无缺陷的确定是不精确的，和/或通知应用(例如监控应用)该确定是不精确的。由该设备启动的通知，特别地是当寻址到操作者时，可以借助于显示器和/或借助于声学信号，并且可以包括其它类型的通知；这种通知的示例包括警报消息、警告消息、特定GUI配置等或其任意组合。如以上所预期的，该消息可以被输出到设备用于进一步处理；这包括用于收集与可能的有缺陷/无缺陷的物品相关的数据的设备(例如，用于确定处理或处理物品的成品率的成品率确定设备)、用于监控物品的处理的设备、用于控制物品的处理(例如，以便确定是否停止处理和/或改变处理中的物品的速度等)的设备。在一个示例中，通知可以是例如借助于远程神经网络执行更精确的AI确定的通知(在这种情况下，通知消息可以包括发送到远程神经网络的消息)。
从上面可以明显看出，本文参考图1来描述用于本地和中央网络的方法的情况以及本机端神经网络的情况。同样，本文参考第一和/或其它实施方式和/或其它示例所解释的内容也适于本变形和本领域技术人员显而易见的其它变形，从而避免重复。
可选地，可以设置置信指数与之进行比较的置信阈值，使得中央神经网络的预期干预率在给定干预阈值内。干预阈值可以经验地和/或基于系统的一个或多个部件的特性(如来自传感器的测量的精确度、本地和/或中央神经网络的精确度水平、中央和本地神经网络之间的通信的延迟和/或等待时间等)和/或用于系统的一个或多个部件的模型或功能来设置；此外，干预阈值还可以基于经验值和/或系统的一个或多个部件的特性和/或其模型/功能来动态地设置，即动态地改变。
可选地，当训练本地神经网络11时确定置信指数，即在训练处理期间或在训练处理结束时，确定由训练的神经网络提供的分类结果是正确的可能性。可选地，优选地在训练本地神经网络时(即，在训练处理期间或在训练处理结束时)经验地确定给定阈值。经验地意味着可以在训练数据集上进行实验或测试以确定本地神经网络的置信水平。然而，如上所述，给定阈值也可以基于系统的一个或多个部件的特性等来确定。
现在描述该方法的两个可选方案，我们将其称为神经网络激活监控方案(或简称为激活监控)和神经网络输出监控方案(或简称为输出监控)。这些方法也可以组合。
根据激活监控可选方案，置信指数可以借助于实际激活模式和参考激活模式之间的相关性来确定，其中实际激活模式是当确定本地分类结果时(例如，当网络在生产线上操作时)由本地神经网络11表现的激活模式，而参考激活模式是在训练本地神经网络的同时由本地神经网络表现的激活模式。注意，“在训练网络时”意味着表现模式是在训练网络时表现的模式，并且这可以在训练的同时或在训练完成之后进行分析，在这种情况下，所表现的模式被存储或至少被兑现直到它们被分析。实际和参考激活模式优选地涉及本地神经网络的一个或多个节点。例如：“在有缺陷的数据上训练时表现的激活节点”可以表示在存在缺陷的情况下的参考激活模式，我们也可以将其称为“有缺陷的”模式或有缺陷的参考模式；在操作期间，被激活的节点生成实际激活模式，该实际激活模式与有缺陷的参考模式相关(例如比较)。每个实际和参考激活模式可以由数据结构(如向量、数组、链表、矩阵等)表示，其中每个节点由指示相应节点是否已经被激活的一个值(例如比特、标志等)表示；以下各项中的一项或其组合是可能的：可以在数据结构中表示一层的所有节点；可以在数据结构中表示两层或多层的所有节点；可以在数据结构中表示一层或多层的至少一个节点或多个节点(例如，在类似表格或矩阵结构或其它类似表示中，其将因此具有对应于未触发或触发的节点的类似0或1的值，0和1之间的约定可以颠倒)。在一个示例中，这种数据结构包含指示相应节点的触发状态的二进制值。在激活监控方案中，给定阈值包括指示预定相关水平的相关阈值，即在使用时所表现的模式可以与训练期间所表现的模式完全相同，或者根据预定水平/规则而不同(例如，给定数量的节点可以在模式中不同，或者它们属于特定层等；稍后将参考图6给出示例)。例如，假设在训练期间，对应于有缺陷的结果检测到一组激活的模式，并且让我们将该组的每个模式命名为Pd1、Pd2、……、Pdi、……Pdn，其中Pdi仅包括当输出有缺陷的结果时激活的节点(例如，对于Pdi：N1Pdi、N2Pdi、……、Nnpdi；因此，Njpdi指示当产生有缺陷的结果时模式Pdi的节点Nj已经被激活)。在操作期间，即当网络运行以产生测量物品的结果分类时，假设缺陷由本地神经网络输出；在断定缺陷是分类结果之前，比较(这里是相关性的一个示例)在实际分类处理期间激活的节点是否被包括在模式Pd1、……Pdn中的一个中。如果是，则“有缺陷的”被确定为实际分类结果；如果否，则输出“无缺陷的”，或者输出不可能确定有缺陷/无缺陷的指示。因此，借助于激活模式相关，可以提高确定有缺陷或无缺陷预测的精确度。以上基于发明人的认识，即，当确定有缺陷的状态时，在倾向于被激活的节点中存在一种偏差，导致当相对于由所有假设节点组合表示的空间考虑时的相对稀疏数量的激活模式。类似的考虑适于确定无缺陷状态的情况。
在输出监控方案中，通过使至少一个实际特征向量与至少一个相应参考特征向量相关来确定置信指数。实际参考向量由本地神经网络11在确定正被处理的物品的分类结果的同时获得，即，当训练完成后神经网络在操作中时获得。而参考特征向量是由本地神经网络11在训练本地神经网络的同时获得的(关于“同时确定”，参考上述激活监控情况)。由本地神经网络获得的(实际和/或参考)特征向量优选地包括包含由本地神经网络的一层或多层的至少一个节点获得的(例如，作为其输出)特征参数的向量；换言之，向量包含对应于本地神经网络的一层或多层的至少一个节点的输出的值。因此这种向量典型地包含表示网络预测的至少某些特征的值；典型地，这种向量包含非二进制值，因为每个值是特征元素的表示。例如，在一个示例中，特征向量可以包括对应于最终层的所有节点的输出的值；在这种情况下，特征向量将表示由全部网络产生的(实际或参考)特征估计。在另一示例中，向量包含对应于来自一个(或多个)中间层的所有节点的输出(或所有节点的输出)的值，使得向量可以被视为网络的中间(实际或参考)估计。在另一示例中，向量包含对应于本地神经网络的一层或多层的节点的子集(即，一个或多个节点，但少于给定层的所有节点)的输出的值；同样在这种情况下，(实际或参考)向量将表示由网络产生的中间估计。在前面的示例中，当确定参考或实际向量时，系数可以与节点和/或层相关联(这些系数可以在训练阶段中基于神经网络的类型等来确定)。前面的示例可以以任何方式彼此组合。中间估计的一个优点是可以尽早做出决定，而无需等待全部网络输出被处理，因此减少了决定是否调用中央神经网络所需的延迟。因此，通过使用中间估计(即，采用不是本地神经网络的最终输出的一个或多个节点)减少了调用中央神经网络所需的时间，并因此在减少整个等待时间上进行改进。可以经验地确定选择哪些层和/或哪些节点和/或给定层中有多少节点来获得(实际或参考)向量，以便获得确定置信指数的精确度与系统的减少的等待时间之间的折衷，可以在训练期间或基于取决于所实现的网络类型的特定规则来确定。因此，特征向量，尤其是当它涉及神经网络的非最终输出时，也可以说是表示关于诸如本地神经网络的某一层中的激活节点的数量(以及由节点分别产生的特征)或网络的某一层中的节点的本地输出的集合之类的特征的一类压缩节点信息。优选地，为参考特征向量确定(或选择)的节点与为实际向量确定(或选择)的节点相同；然而，节点可以是不同的，特别地是实际向量的节点数量可以少于参考网络的节点。可选地，中央神经网络的体系结构可以是这样的，它包括本地神经网络的一些或全部层(例如，中央网络的复杂性是伴随着“向下游朝向输出”的层而发生的)：在这种情况下，中间结果可以被发送到中央神经网络，因此该中央神经网络可以从这种中间估计开始而不是从开始开始处理，从而进一步减少整个等待时间。类似于上述情况，发明人已经认识到，有缺陷的输出(类似地，无缺陷的输出)导致特征空间中非密集(例如，稀疏)数量的特征向量。可选地，所确定的实际特征向量和参考特征向量之间的相关性在给定的范围或公差或规则内。因此，通过验证实际特征模式与有缺陷的输出的参考特征模式相关，可以确定实际分类结果是有缺陷的；类似的考虑适于无缺陷的情况。
换言之，通过对可选的激活和输出监控方案的参考，可以获得第一水平置信指数和第二水平置信指数；第一水平置信指数可以是神经网络输出的分类结果中的一个(例如基于已知技术或基于经验规则或模型)；可以借助于激活和/或输出监控方案来获得第二水平置信指数，以验证第一水平置信指数是正确的。第二水平置信指数(即上述方案中的一个或两个)可以一直起作用，或者仅在某些情况下起作用，例如当第一水平置信指数不高于某一阈值时。当始终使用第二水平置信情况时，则也可以省略第一水平指数(即，可以省略现有技术或经验方法/模型，并且基于激活和/或输出监控方案来计算置信指数)。然而，如上所述，应用一个或两个方案是可选的。
可选地，在本文描述的方法中，中央神经网络包括与本地神经网络相同的神经网络；本地神经网络向中央神经网络发送由本地神经网络获得的特征向量，中央神经网络基于由本地神经网络接收的特征向量开始处理。
例如，本地神经网络的所有层的所有节点也在中央本地网络中找到。由本地神经网络产生的输出(特征向量)被发送到中央神经网络，该中央神经网络因此从紧接在对应于本地神经网络的输出层的层之后的层开始处理。类似地，如果特征向量是从一个中间层(或节点)获得的并被发送到中央神经网络，则中央神经网络从相应的层(或节点)开始处理。还参考上述关于中间估计的示例，其表示由本地神经网络产生的中间特征向量。
我们注意到，除非另有说明，上述内容同样适于下面的其它实施方式和示例，反之亦然，从而避免重复。
参考图2，现在将针对用于确定正被处理的物品是有缺陷的还是无缺陷的检查设备10来描述第二实施方式，检查设备10包括本地神经网络11、处理器12和输出部分13。本地神经网络11经配置基于在物品正被处理的同时对物品执行的感测测量来确定指示该物品是有缺陷的还是无缺陷的本地分类结果。处理器12经配置确定置信指数，该置信指数指示本地分类结果是正确的事项的置信水平，即可能确定的有缺陷或无缺陷状态可能分别对应于实际有缺陷或无缺陷的物品。输出部分13经配置响应于置信指数低于给定(预定)阈值而输出中央分类通知，该中央分类通知通知关于正被处理的物品是有缺陷的还是无缺陷的指示将由中央神经网络来执行。本地神经网络11比中央神经网络21具有更少的计算资源。换言之，中央分类通知标志优选地获得中央分类结果而不是本地分类结果，并且因此可以将中央神经网络21的输出视为实际(或最终)分类结果。另外换言之，通知指示本地结果可能不准确，并且中央结果可能更合适，并且因此可以覆盖本地结果。中央分类通知可以由标志来表示，例如由一个比特来表示，该标志指示中央激活网络是否必须被激活以基于所述感测测量对该结果进行分类；然后该通知可以由另一设备读取或接收，该另一设备可以命令中央神经网络执行分类。可选地，中央分类通知可以包括直接发送到中央神经网络或另一设备以获得这种中央分类结果的命令或指令。注意，本地分类结果和中央分类结果中的“本地”和“中央”是指分别由本地或中央神经网络获得的分类结果。
可选地，中央分类通知包括由中央神经网络确定中央分类结果的请求，即由中央神经网络确定分类结果的请求。在这种情况下，输出部分13可以经配置向中央神经网络21或向包括中央神经网络21的中央检查设备20发送请求；然而，该通知可以被发送到另一网络设备，例如管理设备，然后其指令比本地神经网络更强大的合适的神经网络(例如，在云环境中，中央神经网络在云中实现；可选地，云设备可以将任务引导到部署在云中的多个神经网络中的一个)。
在第二实施方式的变形中，可以预见一种检查设备，其包括如上参考图2所述的确定单元11和处理器。本变形的输出部分13经配置响应于置信指数低于给定阈值而输出通知消息，该通知消息通知指示正被处理的物品是有缺陷的还是无缺陷的结果具有低于给定水平的置信水平。因此第二实施方式的本变形可以被命名为本机端(类似地并且对应于第一实施方式的变形)，而第二实施方式可以被命名为本地的/中央的。优选地，在本变形中，输出部分(13)还经配置将通知消息输出到用于通知的设备和/或输出到用于进一步处理的设备。从上文中可以明显看出，本文中图2是指用于描述第二实施方式的设备和第二实施方式的变形的情况。而且，参考第一和/或第二和/或其它实施方式、和/或其它示例、和/或第一实施方式的第一变形在本文件中解释的内容也适于第二实施方式的本变形和对于本领域技术人员显而易见的其它变形，从而避免重复。
可选地，当训练本地神经网络11时确定置信指数，并且优选地当训练本地神经网络11时经验地确定给定阈值。
可选地，根据神经网络激活监控方案，通过将在确定本地分类结果时由本地神经网络11的多个节点表现出的(实际)激活模式与在训练相同的本地神经网络11的同时由本地神经网络11的对应的多个节点表现出的参考激活模式相关来确定置信指数。给定阈值包括指示实际和参考激活按钮之间的预定相关水平的相关阈值。“实际激活模式”中的“实际”是指在处理要获得分类的物品时神经网络正在被操作。
可选地，在神经网络输出监控方案中，通过将在确定分类结果的同时由本地神经网络11获得的至少一个特征向量与在训练相同的本地神经网络11的同时由本地神经网络11获得的至少一个相应参考特征向量相关来确定置信指数。换言之，如上面参考第一实施方式所述，确定在实际分类期间产生的一个或多个特征向量是否与在训练期间获得的参考特征向量相同、或者在给定的范围或公差或规则内。
参考图3，描述了第三实施方式，其针对用于确定正被处理的物品是有缺陷的还是无缺陷的检查设备20。检查设备20包括中央神经网络21和接收机22。中央神经网络21经配置基于在物品正被处理的同时对物品执行的感测测量来确定指示该物品是有缺陷的还是无缺陷的分类结果。接收机22经配置接收执行中央分类的指令。该指令指示本地神经网络11先前已经基于相同的感测测量确定(或尝试确定)分类结果，但是达到低于给定阈值的置信水平。本地神经网络11具有比中央神经网络21更少的计算资源。因此，该指令指示中央神经网络21必须执行比本地神经网络所尝试的分类处理更精确的分类处理。
可选地，中央检查设备20经配置通过使用比本地神经网络可用的计算资源更多的计算资源来操作中央神经网络21。
可选地，当训练本地神经网络11时确定置信指数，并且优选地当训练本地神经网络11时经验地确定给定阈值。
可选地，根据神经网络激活监控方案，通过使实际激活模式与参考激活模式相关来确定置信指数。实际激活模式是当确定本地分类结果时由本地神经网络11的多个节点表现的模式，而参考激活模式是在训练相同的本地神经网络11的同时由本地神经网络11的多个节点表现的模式。给定阈值包括指示两个模式之间的预定相关水平的相关阈值。
可选地，根据神经网络输出监控方案，通过将在确定分类结果的同时由本地神经网络11获得的至少一个特征向量与在训练分类结果时由本地神经网络11获得的至少一个相应参考特征向量相关来确定置信指数。
参考图4，现在描述针对检查系统的第四实施方式，该检查系统通过使用本地神经网络11和中央神经网络21中的至少一个，基于在物品正被处理时对该物品执行的感测测量来确定该物品是有缺陷的还是无缺陷的。本地神经网络具有比中央神经网络更少的计算资源。本地和中央神经网络能够通过无线和/或有线互连网络进行无线和/或有线通信。本地神经网络经配置确定物品是有缺陷的还是无缺陷的；此外，该系统能够确定指示本地分类结果是正确的事项的置信水平的本地置信指数。然后，响应于确定本地置信指数不高于预定置信水平(即，结果可能是不正确的)，中央神经网络确定指示所获得的感测测量表示有缺陷的物品还是无缺陷的物品的中央分类结果。换言之，如果认为本地神经网络11达到的分类结果不够精确，则通过中央神经网络获得分类结果。因此，中央分类结果成为系统的分类结果。
可选地，本地神经网络11可以是本地检查设备的一部分或本身表示本地检查设备；类似地，中央神经网络21可以是中央检查设备的一部分或本身表示中央检查设备。本地神经网络典型地位于正被处理的物品的附近，因此位于对被处理物品执行测量的传感器附近。中央本地网络可以远离本地神经网络，并通过网络连接。
可选地，在上述系统中，当训练本地神经网络11时确定置信指数，并且优选地当训练本地神经网络时经验地确定给定阈值。
参考图5，将针对包括指令的计算机程序来描述第五实施方式，该指令经配置当在计算机上执行该指令时，例如参考第一实施方式，执行如上所述的方法的步骤及其变形中的任何步骤或其组合。图5示出了例示能够运行上述程序的计算机(500)的框图。特别地，计算机(500)包括用于存储其执行所需的程序指令和/或数据的存储器(530)，用于执行指令本身的处理器(520)和输入/输出接口(510)。
在另一未示出的实施方式中，提供了一种用于支持计算机程序的介质，该计算机程序经配置当程序在计算机上运行时执行根据上述方法(例如参考第一实施方式)的步骤中的一个或其组合。介质的示例是静态和/或动态存储器；固定盘或诸如CD、DVD或蓝光的任何其它介质。该介质还包括能够支持表示指令的信号的装置，包括电缆传输(以太网、光纤等)或无线传输(蜂窝、卫星、数字地面等)的装置。
根据已经提到的示例，传感器可以由摄像机表示，并且感测测量可以对应于借助于摄像机获得的图像数据。例如，当物品(例如产品)在生产线上时，摄像机可以拍摄物品(例如产品)的图片。在另一示例中，摄像机可以在物品正从一个位置点被移动或过渡到另一位置点的同时拍摄物品的图片。
根据另一示例，传感器可以由电压和/或电流传感器表示，该电压和/或电流传感器适于在电子产品正从一点被生产或转移到该点的同时对该电子产品进行相应的测量。其它示例由测量物品的长度和/或宽度和/或高度、物品的光学特性、物品的机械和/或化学特性等的传感器表示。
现在参考图6解释神经网络激活监控方案的示例，图6描绘了具有L个层的神经网络，每个层i具有NRi个节点。层i的节点编号为Ni，1、Ni，2……Ni，Ri。让我们假设，在训练期间，发现有缺陷的产品(例如，已知对应于有缺陷的产品的图片)导致节点的激活，使得在每个层仅激活第一和/或第二节点，而不激活每个这样的层的剩余节点；这在图6的下部用图形表示，其中对于每个层给出阵列，并且其中仅前两个位置不同于零(1表示激活，0表示不激活)。这可以表示当确定有缺陷的物品时节点激活的参考模式，并且因此可以与有缺陷的物品的指示(参考上文第二水平置信指数的一个示例)相关联。在操作期间，即在训练之后并且当部署神经网络用于分类结果时，观察节点如何被激活，进一步观察网络的输出；在操作期间检测到的节点的模式在本文中也被称为实际模式。如果在操作期间神经网络(a)产生指示产品无缺陷的分类结果，并且同时(b)检测到其中前两个节点中只有一个被激活的实际模式，则系统可以确定分类结果是不正确的，因为激活模式不对应于参考激活模式。在该示例中，鉴于所有层和每个层的所有节点来考虑模式(例如601、602至60L都形成一个模式)；然而，可以仅针对一个或多个层且仅针对每个这样的层的一个或多个节点(例如，601、602至60L中的单独一个或任何组合)定义该模式。此外，可以定义更多的模式(而不仅仅是一个模式)，所有模式都对应于有缺陷的物品；事实上，已经发现，在节点激活的所有可能组合中，只有有限的子集对应于给定的分类结果。此外，特定模式不仅可以与一般分类结果相关联，而且可以与其子分类中的一个相关联；例如，上面讨论并在图6中示出的模式可以与由物品上的划痕表示的缺陷相关联。上述讨论是指分类结果是“有缺陷的”，相同的考虑适于“无缺陷的”的情况。显然，参考模式和实际模式之间的相关水平可以根据情况来定义，例如通过将参考模式的每个节点与实际模式的每个节点进行比较，并且当存在准确匹配时或者当在参考模式和动作模式中都发现至少一些被激活的节点时断定存在相关。当没有相关时，系统确定输出结果可能是不正确的，即本地网络不能进行(精确的)确定。因此，中央神经网络介入确定分类结果。可以数学上或借助于规则(例如，基于如果-则等)来定义相关。
现在参考图7解释神经网络输出监控方案的示例，图7描绘了提供表示特征的数据作为输出720的神经网络700；输出特征是由作为输入710给出的某些感测测量激励的网络700的结果。网络700可以是上述本地神经网络的示例。为了简单起见，假设该特征是仅具有两个分量(A，B)的向量，使得它可以在两轴坐标系中图形表示。假设在训练期间观察到无缺陷的物品总是或主要由如图7所示的参考特征向量RF1表征；换言之，RF1指示当在训练期间由代表已知有缺陷的产品的数据激励时由神经网络700提取的特征。现在假设在操作期间，即一旦完成训练并且部署了用于对物品进行分类的网络，分析第一物品I1的网络700输出(a)“有缺陷的”作为分类结果以及(b)AF1作为第一物品I1的实际特征向量。当分类第二物品I2时，网络700仍然输出(a)“有缺陷的”，但是然后输出(b’)AF2作为为第二物品I2提取的实际向量。如果参考特征与实际特征的向量积(RF1xAF1)在给定阈值内，则确定分类结果是正确的；如果否，则确定结果是不正确的。目视上，在该简化示例中，阈值可以由向量的角度和/或长度来表示。为了简单起见，假设如果AFi在RF1的45°旋转内，则确认输出分类结果。通过参考图7的值，可以看出AF1在RF1上具有30°旋转，即在45°阈值内，使得第一物品I1被确定为“有缺陷的”，因为特征监控确认了在输出720处给出的分类结果。然而，AF2相对于RF1旋转90°，使得系统确定“有缺陷的”可能是不正确的，即本地网络不能对物品进行分类。因此，中央神经网络进行干预以校正分类。该示例是说明性的，并且实际上可以存在多个RF，并且每个向量可以仅具有一个值或多于两个值(即，本文讨论的两个值仅用于说明性目的)。本发明仍然适用，因为已发现在分类时与给定空间中所有可能的向量表示相比，参考向量的数量是相对较小的。
可以借助于硬件和/或软件来实现本文所述的神经网络，例如本地或中央神经网络。特别地，中央神经网络可以在分布式硬件和/或软件资源(例如在云中)上实现，该分布式硬件和/或软件资源也彼此远程连接并且每个远程连接到本地神经网络。还可以想到分布式实现本地神经网络；然而，如果这样做，则其分布式实现的水平低于中央神经网络的水平，因为本地神经网络的处理延迟和/或等待时间小于中央神经网络的相应ID。
在本说明书中，参考了神经网络或单元(如传感器、存储器、处理器等)等。本发明不限于其中描述的特定网络和/或单元，并且其实际上同样适于相应的装置；因此，神经网络、存储器、处理器、传感器等可以分别由神经网络装置、存储器装置、处理装置、传感装置等代替。这些网络和/或单元(或相应的装置)可以被实现为不同的/独立的单元/实体或分布式单元/实体(即，通过彼此连接的多个部件来实现，不管它们是物理上接近的还是远程的)；这些可以是集中的或分布式的，可以进一步地通过硬件、软件或其组合来实现。
已经参考方法或处理的步骤解释了许多实施方式和示例。然而，所描述的内容也可以在要在计算实体(也是分布式的)或其装置被适当配置的实体上运行的程序中实现。如上所述，实体可以经由HW/SW或其组合在单个设备中实现，或者在多个互连的单元或设备(同样是HW、SW或其组合)中实现。自然地，上文关于应用本发明人认识到的原理的实施方式和示例所阐述的描述仅通过这些原理的示例来提供，因此不应将其理解为对本文要求保护的本发明的范围的限制。

Claims (31)

1.一种检查方法，用于确定正被处理的物品是有缺陷的还是无缺陷的，所述检查方法包括如下步骤：
通过本地神经网络(11)并基于在物品正被处理的同时对所述物品执行的感测测量来确定(S10)指示所述物品是有缺陷的还是无缺陷的本地分类结果；
确定(S20)指示所述本地分类结果是正确的事项的置信水平的置信指数；
响应于所述置信指数低于给定阈值，通过中央神经网络(21)并基于所述感测测量来确定(S30)指示所述物品是有缺陷的还是无缺陷的中央分类结果，其中所述本地神经网络(11)具有比所述中央神经网络(21)更少的计算资源。
2.根据权利要求1所述的检查方法，其中，
当训练所述本地神经网络(11)时确定所述置信指数，并且其中优选地当训练所述本地神经网络(11)时经验地确定所述给定阈值。
3.根据权利要求1或2所述的检查方法，其中，
通过将在确定所述本地分类结果时由所述本地神经网络(11)的多个节点表现出的实际激活模式与在训练所述本地神经网络(11)的同时由所述本地神经网络(11)的所述多个节点表现出的参考激活模式相关来确定所述置信指数，
并且其中所述给定阈值包括指示预定相关水平的相关阈值。
4.根据前述权利要求中任一项所述的检查方法，其中，
通过将在确定所述分类结果的同时由所述本地神经网络(11)获得的至少一个特征向量与在训练所述本地神经网络(11)的同时由所述本地神经网络(11)获得的至少一个相应参考特征向量相关来确定置信指数，其中由所述本地神经网络获得的所述一个特征向量优选地包括包含由所述本地神经网络的一层或多层的至少一个节点获得的特征参数的向量。
5.根据前述权利要求中任一项所述的检查方法，其中，
所述中央神经网络包括与所述本地神经网络一样的神经网络，
所述本地神经网络向所述中央神经网络发送由所述本地神经网络获得的特征向量，并且
所述中央神经网络基于由所述本地神经网络接收的所述特征向量开始处理。
6.一种检查设备(10)，用于确定正被处理的物品是有缺陷的还是无缺陷的，所述本地检查设备(10)包括：
本地神经网络(11)，所述本地神经网络经配置基于在物品正被处理的同时对所述物品执行的感测测量来确定指示所述物品是有缺陷的还是无缺陷的本地分类结果；
处理器(12)，所述处理器经配置确定指示所述本地分类结果是正确的事项的置信水平的置信指数；
输出部分(13)，所述输出部分经配置响应于所述置信指数低于给定阈值而输出中央分类通知，所述中央分类通知通知要由中央神经网络来执行指示正被处理的物品是有缺陷的还是无缺陷的结果，其中所述本地神经网络具有比所述中央神经网络(21)更少的计算资源。
7.根据权利要求6所述的检查设备(10)，其中，
所述中央分类通知包括由中央神经网络确定中央分类结果的请求，并且其中所述输出部分(13)经配置将所述请求发送到包括所述中央神经网络(21)的中央检查设备(20)。
8.根据权利要求6或7所述的检查设备(10)，其中，
当训练所述本地神经网络(11)时确定所述置信指数，并且其中优选地当训练所述本地神经网络(11)时经验地确定所述给定阈值。
9.根据权利要求6至8中任一项所述的检查设备(10)，其中，
通过将在确定所述本地分类结果时由所述本地神经网络(11)的多个节点表现出的实际激活模式与在训练所述本地神经网络(11)的同时由所述本地神经网络(11)的所述多个节点表现出的参考激活模式相关来确定所述置信指数，
并且其中所述给定阈值包括指示预定相关水平的相关阈值。
10.根据权利要求6至9中任一项所述的检查设备，其中，
通过将在确定分类结果的同时由所述本地神经网络(11)获得的至少一个特征向量与在训练所述本地神经网络(11)的同时由所述本地神经网络(11)获得的至少一个相应参考特征向量相关来确定所述置信指数。
11.一种检查设备(20)，用于确定正被处理的物品是有缺陷的还是无缺陷的，所述检查设备(20)包括：
中央神经网络(21)，所述中央神经网络经配置基于在物品正被处理的同时对所述物品执行的感测测量来确定指示所述物品是有缺陷的还是无缺陷的分类结果，
接收机(22)，所述接收机经配置接收执行中央分类的指令，所述指令指示本地神经网络(11)已基于具有低于给定阈值的置信水平的所述感测测量确定了分类结果，其中所述本地神经网络(11)具有比所述中央神经网络(21)更少的计算资源。
12.根据权利要求11所述的检查设备，其中，
中央检查设备(20)经配置通过使用比在所述本地神经网络处可用的计算资源更多的计算资源来操作所述中央神经网络(21)。
13.根据权利要求11或12所述的检查设备，其中，
当训练所述本地神经网络(11)时确定所述置信指数，并且其中优选地当训练所述本地神经网络(11)时经验地确定所述给定阈值。
14.根据权利要求11至13中任一项所述的检查设备，其中，
通过将在确定本地分类结果时由所述本地神经网络(11)的多个节点表现出的激活模式与在训练所述本地神经网络(11)的同时由所述本地神经网络(11)的所述多个节点表现出的参考激活模式相关来确定所述置信指数，并且其中
所述给定阈值包括指示预定相关水平的相关阈值。
15.根据权利要求11至14中任一项所述的检查设备，其中，
通过将在确定分类结果的同时由所述本地神经网络(11)获得的至少一个特征向量与在训练所述本地神经网络(11)的同时由所述本地神经网络(11)获得的至少一个相应参考特征向量相关来确定所述置信指数。
16.一种检查系统，用于通过使用本地神经网络(11)和中央神经网络(21)中的至少一个基于在物品正被处理的同时对所述物品执行的感测测量来确定所述物品是有缺陷的还是无缺陷的，其中所述本地神经网络具有比所述中央神经网络更少的计算资源，
其中，响应于确定本地置信指数不高于预定置信水平，所述本地置信指数指示本地分类结果是正确的事项的置信水平，所述中央神经网络(21)经配置确定指示获得的所述感测测量表示有缺陷的物品还是无缺陷的物品的中央分类结果，
并且其中将所述中央分类结果作为所述检查系统的分类结果。
17.根据权利要求16所述的检查系统，其中，
当训练所述本地神经网络(11)时确定所述置信指数，并且其中优选地当训练所述本地神经网络(11)时经验地确定给定阈值。
18.根据权利要求14或15所述的检查系统，其中，
通过将在确定所述本地分类结果时由所述本地神经网络(11)的多个节点表现出的激活模式与在训练所述本地神经网络(11)的同时由所述本地神经网络(11)的所述多个节点表现出的参考激活模式相关来确定所述置信指数，
并且其中给定阈值包括指示预定相关水平的相关阈值。
19.根据权利要求16至18中任一项所述的检查系统，其中，
通过将在确定所述分类结果的同时由所述本地神经网络(11)获得的至少一个特征向量与在训练所述本地神经网络(11)的同时由所述本地神经网络(11)获得的至少一个相应参考特征向量相关来确定所述置信指数。
20.一种检查方法，用于确定正被处理的物品是有缺陷的还是无缺陷的，所述检查方法包括如下步骤：
通过神经网络(11)并基于在物品正被处理的同时对所述物品执行的感测测量来确定(S10)指示所述物品是有缺陷的还是无缺陷的分类结果；
确定(S20)指示所述分类结果是正确的事项的置信水平的置信指数；
响应于所述置信指数低于给定阈值，输出(S30)通知消息，所述通知消息通知指示所述物品是有缺陷的还是无缺陷的分类结果具有低于给定水平的置信水平。
21.根据权利要求20所述的检查方法，其中所述通知消息被输出到用于通知的设备和/或输出到用于进一步处理的设备。
22.根据权利要求20或21所述的检查方法，其中，
当训练所述神经网络(11)时确定所述置信指数，并且其中优选地当训练所述神经网络(11)时经验地确定所述给定阈值。
23.根据权利要求20至22中任一项所述的检查方法，其中，
通过将在确定所述分类结果时由所述神经网络(11)的多个节点表现出的实际激活模式与在训练所述神经网络(11)的同时由所述神经网络(11)的所述多个节点表现出的参考激活模式相关来确定所述置信指数，
并且其中所述给定阈值包括指示预定相关水平的相关阈值。
24.根据权利要求20至23中任一项所述的检查方法，其中，
通过将在确定所述分类结果的同时由所述神经网络(11)获得的至少一个特征向量与在训练所述神经网络(11)的同时由所述神经网络(11)获得的至少一个相应参考特征向量相关来确定所述置信指数，其中由所述神经网络获得的所述一个特征向量优选地包括包含由所述神经网络(11)的一层或多层的至少一个节点获得的特征参数的向量。
25.一种检查设备(10)，用于确定正被处理的物品是有缺陷的还是无缺陷的，所述检查设备(10)包括：
神经网络(11)，所述神经网络经配置基于在物品正被处理的同时对所述物品执行的感测测量来确定指示所述物品是有缺陷的还是无缺陷的分类结果；
处理器(12)，所述处理器经配置确定指示所述分类结果是正确的事项的置信水平的置信指数；以及
输出部分(13)，所述输出部分经配置响应于所述置信指数低于给定阈值而输出通知消息，所述通知消息通知指示正被处理的物品是有缺陷的还是无缺陷的结果具有低于给定水平的置信水平。
26.根据权利要求25所述的检查设备(10)，其中所述输出部分(13)还经配置将所述通知消息输出到用于通知的设备和/或输出到用于进一步处理的设备。
27.根据权利要求25或26所述的检查设备(10)，其中，
当训练所述神经网络(11)时确定所述置信指数，并且其中优选地当训练所述神经网络(11)时经验地确定所述给定阈值。
28.根据权利要求25至27中任一项所述的检查设备(10)，其中，
通过将在确定所述分类结果时由所述神经网络(11)的多个节点表现出的实际激活模式与在训练所述神经网络(11)的同时由所述神经网络(11)的所述多个节点表现出的参考激活模式相关来确定所述置信指数，
并且其中所述给定阈值包括指示预定相关水平的相关阈值。
29.根据权利要求25至28中任一项所述的检查设备(10)，其中，
通过将在确定所述分类结果的同时由所述神经网络(11)获得的至少一个特征向量与在训练所述神经网络(11)的同时由所述神经网络(11)获得的至少一个相应参考特征向量相关来确定所述置信指数。
30.一种计算机程序，所述计算机程序包括指令，所述指令经配置当所述指令在计算机上执行时执行根据权利要求1至5中任一项或根据权利要求20至24中任一项所述的步骤。
31.一种介质，所述介质包括指令，所述指令经配置当所述指令在计算机上执行时执行根据权利要求1至5中任一项或根据权利要求20至24中任一项所述的步骤。
CN202080052438.8A 2019-08-13 2020-08-11 包括用于执行物品检查的计算机指令的方法、装置、计算机程序和介质 Pending CN114127744A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IBPCT/IB2019/056861 2019-08-13
PCT/IB2019/056861 WO2021028714A1 (en) 2019-08-13 2019-08-13 Method, apparatuses, computer program and medium including computer instructions for performing inspection of an item
PCT/IB2020/057536 WO2021028828A1 (en) 2019-08-13 2020-08-11 Method, apparatuses, computer program and medium including computer instructions for performing inspection of an item

Publications (1)

Publication Number Publication Date
CN114127744A true CN114127744A (zh) 2022-03-01

Family

ID=67982112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080052438.8A Pending CN114127744A (zh) 2019-08-13 2020-08-11 包括用于执行物品检查的计算机指令的方法、装置、计算机程序和介质

Country Status (5)

Country Link
US (1) US20220269252A1 (zh)
EP (1) EP4014167A1 (zh)
JP (1) JP7332028B2 (zh)
CN (1) CN114127744A (zh)
WO (2) WO2021028714A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004199391A (ja) * 2002-12-18 2004-07-15 Manabu Tanaka 画像解析におけるしきい値決定方法とその装置、二値化装置並びに画像解析装置、学習機能付き情報処理方法と学習機能付き画像解析装置並びにそれらのための記録媒体
US10417525B2 (en) * 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
US10226204B2 (en) * 2016-06-17 2019-03-12 Philips North America Llc Method for detecting and responding to falls by residents within a facility
US11449980B2 (en) * 2016-07-08 2022-09-20 Ats Automation Tooling Systems Inc. System and method for combined automatic and manual inspection
US20180144244A1 (en) * 2016-11-23 2018-05-24 Vital Images, Inc. Distributed clinical workflow training of deep learning neural networks
JP7113657B2 (ja) * 2017-05-22 2022-08-05 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10416660B2 (en) * 2017-08-31 2019-09-17 Rockwell Automation Technologies, Inc. Discrete manufacturing hybrid cloud solution architecture
KR102093899B1 (ko) * 2017-12-01 2020-03-26 주식회사 코이노 서버와의 연계를 통해 기계학습의 효율성을 높이는 클라이언트 단말 및 이를 포함한 기계학습 시스템
JP6544716B2 (ja) * 2017-12-15 2019-07-17 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
US20200027009A1 (en) * 2018-07-23 2020-01-23 Kabushiki Kaisha Toshiba Device and method for optimising model performance

Also Published As

Publication number Publication date
EP4014167A1 (en) 2022-06-22
JP7332028B2 (ja) 2023-08-23
WO2021028828A1 (en) 2021-02-18
US20220269252A1 (en) 2022-08-25
JP2022543291A (ja) 2022-10-11
WO2021028714A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
CN104865949B (zh) 发起的测试健康管理系统和方法
EP3499418A2 (en) Information processing apparatus, identification system, setting method, and program
US20210097400A1 (en) System and method for knowledge distillation
WO2019176990A1 (ja) 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム
US9689805B2 (en) Systems and methods eliminating false defect detections
KR20210038143A (ko) 인공지능(ai) 기반 대상물 검사 시스템 및 방법
KR20220085589A (ko) 딥러닝 기반 제품 불량 검출방법 및 시스템
JP7442550B2 (ja) 推論演算装置、モデル訓練装置、及び推論演算システム
JP2006293820A (ja) 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
JP2023528688A (ja) 自動欠陥分類検査装置を訓練する方法及びシステム
JP6347589B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN112633461A (zh) 应用辅助系统和方法以及计算机可读记录介质
US20240087105A1 (en) Systems and Methods for Paint Defect Detection Using Machine Learning
JP2019158684A (ja) 検査システム、識別システム、及び識別器評価装置
CN114127744A (zh) 包括用于执行物品检查的计算机指令的方法、装置、计算机程序和介质
JP2019039727A (ja) 画像検査装置、画像検査方法および画像検査プログラム
JP6847898B2 (ja) 予防保全装置及び予防保全システム
US11493901B2 (en) Detection of defect in edge device manufacturing by artificial intelligence
JP2020064364A (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
US20220335254A1 (en) Computer vision inferencing for non-destructive testing
JP2019113914A (ja) データ識別装置およびデータ識別方法
US11790508B2 (en) Computer vision predictions for non-destructive testing
US20240112325A1 (en) Automatic Optical Inspection Using Hybrid Imaging System
US20240169513A1 (en) Determining process deviations through video analysis
WO2022209301A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination