CN115668292A - 基于有效区域覆盖的缺陷检测的优化路径规划 - Google Patents

Abstract

一种可移动的相机沿检查路径移动，用于光学检查物体的检查表面以进行缺陷检测。在规划检查路径时，生成检查表面上的视点集。每个视点都与一个方块区域相关联，当相机位于视点上方来捕捉视野的图像时，该方块区域是相机视野内检查表面的最大区域。方块区域的有效区域由神经网络根据方块区域的三维几何特征进行有利的预测，从而使预测的有效区域对基于捕获图像的缺陷检测有效。有效区域是指其在捕获的图像上的相应区域没有模糊，既没有曝光不足也没有曝光过度。检查路径是根据与视点集相关的各自有效区域确定的。

Description

基于有效区域覆盖的缺陷检测的优化路径规划

缩略用语列表

2D 两维

3D 三维

AutoML 自动机器学习

DNN 深度神经网络

FOV 视野

NN 神经网络

技术领域

本发明整体涉及使用可移动的相机对物体的检查表面进行成像，以进行缺陷检测。特别是，本发明涉及一种计算机实现的方法，用于规划可移动的相机的检查路径，以便对检查表面进行光学检查以进行缺陷检测。

背景技术

表面检查是制造和维护中的一个重要和必要的程序，因为它与质量控制甚至产品的安全有关。例如，表面检查对于识别火车轨道或飞机上的裂缝等是有用的。

传统上，检查过程涉及通过人眼做出判断，因此可靠性差是一个问题。为了确保检查的均匀性，已经开发了自动化或机器人检查系统来解决这个问题，同时这还具有提高检查过程的效率和生产力的优点。与检查过程相关的一个问题是，相机或成像传感器只能从一个特定的视角覆盖被检查物体的一部分，因此需要对相机或成像传感器所穿越的路径进行规划。本领域中已经开发了路径规划的方法，例如。E.GLORIEUXA,P.FRANCIOSA andD.CEGLAREK,"Coverage Path Planning with Targeted Viewpoint Sampling forRobotic Free-Form Surface Inspection,"Robotics and Computer-IntegratedManufacturing,vol.61,February 2020,101843、W.R.SCOTT,G.ROTH and J.-F.RIVEST,"View Planning for Automated Three-Dimensional Object Reconstruction andInspection,"ACM Computing Surveys,vol.35,no.1,March 2003,pp.64-96；US 8,059,151 B2、以及CN113343355A。

现有的路径规划方法主要侧重于提供被检测物体的检查表面的全覆盖，并且在很大程度上忽略了表面的不同光学特性对检测过程的影响。检查表面可能是反射的、半透明的，等等。如果相机的位置不利，而使相机接收到强烈的反射光或不需要的眩光，就会导致无效的检查过程。在某些情况下，即使用拍摄的图像对物体的表面进行了检查，但由于图像质量差，也不能正确检查。因此，检查过程是不完整的，且从检查过程中得到的结果是不可靠的。

期望的是检查过程能完全覆盖被检查物体的整个表面，并且该物体的所有捕获的图像对于被机器视觉检查算法处理是有效的。本领域需要一种技术，以规划相机移动通过的检查路径，从而使整个检查表面被覆盖，同时避免移动到产生无效捕获图像的不利位置。

发明内容

本发明的第一方面是提供一种计算机实现的方法，用于在物体的检查表面上规划检查路径。该检查路径用于引导可移动的相机沿着该检查路径移动，以便对检查表面进行光学检查以进行缺陷检测。

在该方法中，生成了检查表面上的视点集。单独视点与方块区域相关联，其中该方块区域是当相机位于单独视点上方以捕获相机的视野的图像时，在相机的视野内的检查表面的最大区域。有利的是，方块区域的有效区域由神经网络根据方块区域的三维几何特征进行预测，从而使预测的有效区域对基于与单独视点相关的捕获图像的缺陷检测有效。神经网络在经过训练后预测有效区域。根据与视点集相关的多个各自的有效区域确定检查路径。

优选地，根据与视点集相关的方块区域的多个各自有效区域对检查路径的确定，包括以下第一和第二步骤。在第一步骤中，确定视点集中的优化子集，使得所确定的优化子集是视点集中最小的非空子集，且其约束条件是与优化子集中的不同存活视点相关联的各自有效区域的方块区域的联合，覆盖整个检查区域。优化后的子集形成了存活视点集。在第二步骤中，检查路径被确定为在每条都连接所有相应的存活视点并访问每个相应的存活视点一次的优化路径，该路径在所有可能的路径中具有最小的移动成本，其中每条路径连接所有相应的存活视点并访问每个相应的存活视点一次。

优化子集可以根据集合覆盖问题的解决方案来确定。

优化路径可以根据开环旅行推销员问题的解来确定。

优选地，三维几何特征由多个三维点数据给出，这些数据包括对方块区域进行建模的点云的组成点的三维坐标。

同样优选的是，通过神经网络预测方块区域的有效区域，确定所述方块区域的单个组成点是在所述有效区域内还是在所述有效区域外。因此，它允许有效区域由点云表示，该点云对方块区域进行建模，并为单个组成点指示该单个组成点是在有效区域内部还是外部。

在该方法中，优选地获得物体的CAD模型。该CAD模型至少包括对检查表面进行几何建模的设计数据。结果，根据该CAD模型生成视点集。同样优选的是，在有效区域被预测后，与单个存活的视点相关的有效区域被投射到CAD模型上。

在某些实施例中，所述神经网络是深度神经网络。

在某些实施例中，所述神经网络选自PointNet++和ConvPoint。

在某些实施例中，神经网络是由自动机器学习工具工具生成的。

在该方法中，可以用训练数据集训练神经网络。训练数据集可包括多个训练样本。单个训练样本可以包括用于训练的方块区域和地面真实有效区域。

在某些实施例中，该方法进一步包括准备训练数据集。

训练数据集的准备包括采取以下动作。首先，接收用于训练的方块区域的第一测试图像和第二测试图像第一测试图像和第二测试图像由位于用于训练的方块区域上方的同一位置的相机分别在白色照明条件下和在亮/暗条照明条件下分别捕获，以照明用于训练的方块区域。第二，在第一测试图像上识别图像方块区域。该图像方块区域是出现在第一测试图像上的用于训练的方块区域。第三，根据第一测试图像，识别图像方块区域的第一部分是过亮或过暗的。第四，根据第二测试图像，识别图像方块区域的第二部分是失焦的。第五，将第一和第二部分从图像方块区域移除，以获得第一测试图像上的第一二维有效区域。第六，进行除噪操作，以去除第一二维有效区域任何一角的虚假区域，从而产生第二二维有效区域。第七，对第二二维有效区域进行中心区域合并操作，产生第三二维有效区域，用于通过合并第二二维有效区域中靠近其中心的相邻区域来消除虚假边界。第八，获取第二多个三维点数据，为用于训练的方块区域建模。第九，从第二多个三维点数据和第三二维有效区域形成第三多个三维点数据，对地面真实有效区域进行建模，从而确定用于训练的方块区域的地面真实有效区域。

优选地，准备训练数据集进一步包括通过检查以下内容确定用于训练的方块区域是否可用于训练：图像方块区域是否具有不充分的对比度；在第一或第二测试图像上是否存在异常的亮度分布；所确定的地面真实有效区域是否具有该地面真实有效区域的异常几何中心；以及在所确定的地面真实有效区域中是否存在一个或多个大于预定大小的孔。

本发明的第二方面是提供一种计算机实现的方法，用于对物体的一个或多个样本进行缺陷检测。

该方法包括在物体的检查表面上规划检查路径，该检查路径用于引导可移动的相机沿着该检查路径移动，以对检查表面进行光学检查以进行缺陷检测，其中该检查路径根据本文所公开的规划方法的任何一个实施例进行规划；处理一个或多个物体样本以进行缺陷检测，其中该检查路径被相机用于光学检查一个或多个物体样本。以及在处理单个物体样本以进行缺陷检测时，控制相机沿检查路径移动，并在相机位于单个物体样本上的单个存活视点上方时捕获与单个存活视点相关的视野的第一图像，据此对捕获的第一图像进行处理以检测单个物体样本上任何可能的缺陷。

本发明的其他方面如以下实施例所说明的那样公开。

附图说明

图1展示了由用于光学检查的相机捕获的物体的检查区域的一部分的典型图像。

图2展示了显示在规划过程中采取的示例性步骤的流程图，用于说明如本文所公开的用于在物体的检查表面上规划检查路径的方法。

图3提供了说明在一个示例对象上生成的多个视点的图解描述，其中多个视点的生成参与了规划过程。

图4提供了通过将相机定位在某一视点上方并引导相机聚焦在该视点上以捕获用于缺陷检测的图像来生成方块区域的实例，由此在图像中识别方块区域。

图5展示了为图4的方块区域确定的有效区域的说明性例子，其中方块区域的有效区域适合于或有效地用于缺陷检测。

图6显示了显示在准备用于训练规划过程中使用的神经网络的训练数据集时采取的示例性基本过程的流程图，其中基本过程用于通过生成用于训练的方块区域的地面真实有效区域来产生训练样本。

图7显示了当相机捕获用于准备训练数据集的图像时，将亮/暗条光图案投射到现实生活中的物体的例子。

图8显示了显示用于说明本文所公开的用于对物体的一个或多个样品进行缺陷检测的方法的示例性缺陷检测过程的流程图，其中缺陷检测过程使用规划过程来规划用于对一个或多个物体样品进行光学检查的检查路径。

本领域技术人员将理解，附图中示出的部件是为了简单明了而显示的，不一定按比例描绘。

具体实施方式

除非另有说明，本文中所称的“物体”是指用于检查的物品，以确定该物体上是否存在任何可能的缺陷。在一个例子中，该物体是一条铁轨，缺陷是铁轨上的裂缝。在另一个例子中，该物体是一个汽车车门，缺陷是汽车车门的一些外部区域的变色。

物体具有外表面。在此，物体的“检查表面”是指外表面的区域，该区域意在被检查以识别任何可能的缺陷。根据实际情况，检查表面可以是物体的整个外表面，也可以仅仅是外表面的一部分。请注意，检查表面是在三维空间中，并且在三维空间中可能是弯曲的。

如本文所使用的，“物体样本”或“物体的样本”是在制造物体样本时将物体作为设计模型而制造的物品。换句话说，物体可被视为设计原型，而物体样本是该物体的制造品。通常，在实践中会制造大量的物体样本。

如本文所使用的，“视点”(viewpoint)或“相机视点”是检查表面上供相机移动到以对检查表面进行光学检查的位置，其中相机移动到视点的意义是，相机通过与视点保持某个预定的非零距离而位于视点上方，以便相机能够拍摄检查表面上的视点及其附近的图像。该图像具有视野(FOV，Field of View)，该FOV是相机在图像上捕捉到的视图范围。

视点与“方块区域”(patch)相关联，本文将方框区域视为当相机位于视点上方以捕获FOV的图像时，检查表面在相机的FOV内的最大区域。在不参考相关视点的情况下，可以从图像中识别出方块区域，它是相机FOV内检查表面的最大区域。请注意，方块区域是三维空间中的一个表面，并且在三维空间中可能是弯曲的。如本文所使用的，与方块区域有关的“图像方块区域”(patch-on-image)是图像的二维部分，其中二维图像部分与方块区域相对应。

本发明的第一方面是公开一种用于在物体的检查表面上规划检查路径的方法，其中检查路径用于引导可移动的相机沿着该路径移动，以便对检查表面进行光学检查以检测缺陷。所公开的方法的目标是，相机覆盖整个检查表面以进行光学检查，同时避免摄像机移动到不利的位置，这些位置会产生对缺陷检测无用的无效捕获图像。

在详细介绍所公开的方法之前，展示由相机捕获的用于缺陷检测的典型图像是有启发性的。图1描述了由相机捕获的物体的检查区域(一部分)的典型图像100。该图像100有一个FOV 105。被光学检查的物体，或检查区域，多半比FOV 105大。方块区域110作为在FOV范围内的检查区域的一部分且可以被相机看到而被识别出来。在本领域中，通常假设在FOV105内捕获的方块区域110的整个非封闭表面对缺陷检查是有效的。然而，这种假设并不总是正确的。首先，图像100的质量在整个FOV 105上可能不够高，不能为光学检查和缺陷检测的目的来显示足够清楚的细节。具体来说，某些区域的图像质量差，通常是由于这些区域的模糊，或由于这些区域由于相机的问题或不完善而导致失焦。也许只有一个特定的区域(通常是中心)对检测有效，而其他区域虽然被捕捉到，但不适合检测目的。例如，如果相机的镜头没有被设计成在图像100的周边提供足够的清晰度，就可能出现这种缺陷。由于图像质量差，在图像100上确定了不适合光学检查的第一个无效区域121。第二，图像100上的方块区域110的一个或多个部分可能是曝光不足或曝光过度的。在一个例子中，如果方块区域110是有光泽的(即具有镜面反射的高反射率)，方块区域110的某一部分可能在图像100上变得曝光过度。在另一个例子中，方块区域110没有被充分均匀地照亮，以至于图像100中只有一部分(通常是中央部分)适合光学检查，而外部区域则不适合。在图像100上确定了不适合光学检查的第二个无效区域122。在第一和第二无效区域121、122之外的方块区域110的剩余区域被称为有效区域130，它适合或有效地用于缺陷检测。所公开的方法涉及在不同捕获的图像上识别有效区域。

借助图2对所公开的方法进行如下说明，该图展示了显示根据本发明的某些实施例在物体的检查表面上规划检查路径的过程200中所采取的示例性步骤的流程图。该检查路径用于引导可移动的相机沿着该检查路径移动，以便对检查表面进行光学检查，进行缺陷检测。

如果物体的检查表面的三维几何特征(即三维几何模型，或三维设计数据)是可用的，则规划过程200可从步骤240开始。在步骤240中，生成检查表面上的视点集。一个单独视点与一个方块区域相关联。当相机位于单独视点上方以捕获FOV的图像时，该方块区域是相机FOV内的检查表面的最大区域。为了说明问题，图3提供了为示例对象310生成多个视点(例如，视点321-324)的图示说明。作为一个经验法则，在大多数实际情况下，1000个视点的集可用于覆盖整个检查表面。如果检查表面被更多的弯曲区域占据，则可在该集中包括更多的视点。图4提供了通过将相机480定位在视点425(位于检查表面410上)上方，并在捕捉用于缺陷检测的图像时将相机480引导到视点425上聚焦而产生的方块区域420的例子，从而该方块区域420(作为检查表面410的一部分)在图像中被识别。

用于准备视点集的不同视点的位置可以在整个检查表面上随机地生成。另外，这些位置可以根据其他视点抽样技术生成，例如上文披露的E.GLORIEUXA、P.FRANCIOSA和D.CEGLAREK提到的那些。

在步骤240中生成多个视点之后，在步骤250中，在神经网络被训练之后，由神经网络预测方块区域的有效区域(与单独视点相关联)。特别是，有效区域由神经网络根据方块区域的三维几何特征进行预测，从而使得所预测的有效区域对基于与单独视点相关联的捕获图像的缺陷检测有效。如上所述，方块区域上对缺陷检测有效的区域是指其在捕获的图像上的相应区域(1)不模糊、以及(2)既不曝光不足也不曝光过度。请注意，由于有效区域是方块区域的一部分，有效区域是三维空间中的一个表面，并且在三维空间中可能是弯曲的。为了说明问题，图5描述了为图4的方块区域420确定的有效区域520的一个例子。该有效区域520是一个弯曲的区域。尽管在图5中视点425位于有效区域520内，但这并不总是如此。一个视点有可能位于其相应的有效区域之外，尽管这个有效区域仍然与上述视点相关。在多个视点被神经网络处理后，得到与该视点集相关的多个各自的有效区域。然后可以根据多个各自的有效区域来确定检查路径，例如，通过步骤260和270。

优选地，所述神经网络是深度神经网络(DNN)。如本文所用的，“深度神经网络”是具有至少一个隐藏层的多层神经网络。深度学习能够对有效区域进行更准确的预测。

目前，用于处理曲面的大多数普遍可用的神经网络(包括深度神经网络)，例如PointNet++和ConvPoint，接受对曲面建模的点云作为这些神经网络的输入。在步骤250中，优选地，方块区域的三维几何特征由多个三维点数据给出，其中多个三维点数据包括对方块区域建模的点云的组成点的三维坐标。

如果方块区域是由点云建模的，那么优选的方案是步骤250包括确定方块区域的单个组成点是在有效区域内还是在有效区域外。通过这种选择，神经网络被训练为对每个组成点进行二进制分割。此外，它允许有效区域由点云表示，该点云为方块区域建模，并为单个组成点指示该单个组成点是否在有效区域内或有限区域外。注意，神经网络可以被配置为输入点云并输出地图，该地图对点云中的所有组成点指示单个组成点是否在有效区域内或外。

在规划过程200的实际实施中，神经网络可以从PointNet++和ConvPoint中选择。或者，神经网络可以由AutoML工具(自动机器学习工具)在启动阶段生成。

在步骤250中获得与视点集相关的多个各自的有效区域之后，在保持由相机进行的光学检查所要覆盖的整个检查区域的同时，最小化视点集。在最小化过程中，该集中的一些视点被丢弃，一些视点被保留。保留的视点被称为存活(survived)视点。在步骤260中，具体而言，确定视点集合中的优化子集，其中优化子集形成存活视点集，使得所确定的优化子集是视点集合中最小的非空子集，其约束条件是与优化子集中不同存活视点相关的方块区域的相应有效区域的联合，覆盖整个检查区域。就该约束条件而言，由于有效区域是三维空间中的一个表面，三维空间中多个表面的“联合”是通过合并所有的表面以形成三维空间中的一个单一表面对象而得到的，这样一来(1)任何一个表面上的第一点都存在于单一表面对象上，并且(2)单一表面对象上的第二点存在于一个或多个表面上。这种曲面联合的形成类似于集合理论下的联合操作。如本文所使用的，在某一约束条件下的元素集合中，“最小的非空子集”是指在所有可能的非空子集中具有最少的元素数的非空子集，每个子集都是从该元素集合中派生出来的，并满足上述的某一约束条件。在步骤260中，可以根据组合优化领域中已知的集合覆盖问题的解决方案来确定优化子集。

基于确定的视点集，在步骤270中，检查路径被确定为连接所有相应的存活视点并访问相应的存活视点一次的优化路径，且在所有可能的路径中，相机的移动成本最小，这些所有可能的路径中每条路径都连接所有相应的存活视点并访问每个相应的存活存活的视点一次。移动成本可以是检查路径的总距离，也可以是相机从检查路径的一端到另一端所需的总时间。本领域技术人员认为的适合的移动成本的其他选择是可能的。如果移动成本是检查路径的总距离，则优化路径是连接所有相应的存活视点的所有可能路径中最短的路径。在步骤270中，优化路径可以根据组合优化领域中已知的开环旅行推销员问题的解决方案来确定。

在某些实施例中，规划过程200进一步包括在生成视点集的步骤240之前获得对象的CAD模型的步骤230。该CAD模型至少包括对检查表面进行几何建模的设计数据。然后可以在步骤240中根据该CAD模型生成视点集。

CAD模型可以被选择为设计者在设计物体时可以方便地使用的几何模型。例如，该几何模型可以是多边形网格，它是定义物体外表面的顶点、边和面的集合。虽然通常选择CAD模型是为了使工业设计方便，但步骤250中神经网络所要求的方块区域的三维几何特征，如方块区域的点云模型，往往与CAD模型不直接兼容。因此，在执行步骤250时，还需要将CAD模型转换为上述的三维几何特征。

在步骤250中预测了方块区域的有效区域后，表示有效区域的三维模型，例如上述的地图，与CAD模型不直接兼容。在某些实施例中，规划过程200进一步包括在步骤250中预测了有效区域并且在步骤260中确定了存活视点集之后，将与单个存活视点相关的有效区域投影到CAD模型上的步骤280。具体而言，与存活视点集相关的多个各自的有效区域被投射到CAD模型上。因此，CAD模型被扩充为包括存视点集以及与存活的视点集相关的多个各自的有效区域的额外信息。这些额外信息随后可用于任何适当的目的。特别是，有了关于有效区域的信息，基于捕获的图像搜索物体的任何可能的缺陷就被限制在有效区域而不是整个方块区域。

步骤250中，神经网络的一个先决条件是神经网络是经过训练的。神经网络可以通过简单地将预先计算的神经网络模型权重加载到神经网络中来训练，如果该权重是可用的话。或者，可以将神经网络设置在训练阶段，用训练样本训练神经网络。

在某些实施例中，规划过程200进一步包括用训练数据集训练神经网络的步骤220。训练数据集包括多个训练样本。实际上，神经网络可以用来自现实生活中的物体的多个训练样本进行训练。

在第一种安排中(这是优选的)，用于训练的真实物体包含广泛的表面光学特性，例如表面反射率、反射光的扩散程度和物体透明度。因此，神经网络被训练成使得不同的表面光学特性对预测有效区域的影响被降低。它允许神经网络在步骤250中根据方块区域的三维几何特征来预测有效区域，而不需要输入其表面光学特征。一旦神经网络被训练，神经网络可以应用于任何新的对象进行测试(具有不同的形状、不同的反射率程度等)。

在第二种安排中，用于训练的现实生活中的物体在表面光学特性方面与用于测试的物体相同。它使用于测试的物体的表面特性在预测有效区域时被考虑在内。同样地，在进行预测时，物体的表面光学特性不需要被输入到神经网络中。同样地，一旦神经网络被训练好，神经网络就可以应用于任何新的物体进行测试。可信的是，在神经网络训练后达到相同的预测精度下，第二种安排所需的训练样本数比第一种安排所需的训练样本数要少。

在这两种安排中，需要一个用于得出多个训练样本的程序。在某些实施例中，规划过程200进一步包括准备训练数据集的步骤210。训练数据集中的单个训练样本包括用于训练的方块区域和地面真实有效区域。用于训练的方块区域是用于训练神经网络的方块区域。地面真实有效区域是用于训练的方块区域的有效区域。

在某些实施例中，用于训练的方块区域由点云建模。因此，训练数据集是针对神经网络接受点云作为输入的特定情况开发的。该步骤210包括用于生成用于训练的方块区域的地面真实有效区域的基本过程。图6展示了用于为上述特定情况准备训练数据集的示例性基本过程600。

在步骤610中，接收或获取用于训练的方块区域的第一和第二测试图像。这两张图像是由相机捕获的图像。特别是，第一和第二测试图像由位于用于训练的方块区域上方的相同位置的相机在白色照明条件下和在照亮用于训练的方块区域的亮/暗条照明条件下分别捕获。

白色照明条件是用具有预选色温的普通白光照亮用于训练的方块区域的第一照明条件。白色照明条件为用于训练的方块区域提供均匀的照明以显示其细节。

亮/暗条照明条件是将由亮条与暗条交错组成的光图案投射到用于训练的方块区域的第二照明条件。为了说明问题，图7显示了显示器725将亮/暗条光图案720投射到真实物体710上的一个例子。亮/暗条照明条件将对比度引入到在第二测试图像上捕获的用于训练的方块区域上。引入的对比度有利于识别第二测试图像上模糊(失焦)的用于训练的方块区域的某个部分。

在执行步骤610中，相机的光学器件/硬件被配置为在与用于检测物体的缺陷检测的模式相同的正常操作模式下工作。

在步骤620中，识别第一测试图像上的图像方块区域(patch-on-image)，其中图像方块区域是出现在第一测试图像上的用于训练的方块区域。本领域的技术人员将理解，可以使用图像分割技术来将图像方块区域与第一测试图像上的背景上区分开来并识别。

在步骤630中，根据第一测试图像识别出过亮或过暗的图像方块区域的第一部分。第一部分可以通过逐个像素比较第一测试图像上的图像方块区域与预定的最大允许灰度级阈值和预定的最小允许灰度级阈值来识别。如上所述，曝光过度或曝光不足会导致图像质量不佳，而曝光过度或曝光不足的图像区域不适合用于光学检测。最好是将第一部分从图像方块区域中丢弃。

在步骤640中，根据第二测试图像确定图像方块区域的失焦的第二部分。由于第一和第二测试图像上的用于训练的方块区域的图像是相同的，因此，第一和第二测试图像可以基于上述最后提到的图像进行对齐。第一和第二测试图像之间的用于训练的方块区域的映射是可能的。第二测试图像有一个相应的图像方块区域。基于第二测试图像，可以识别出相应的图像方块区域的失焦区域。在亮/暗条照明条件下，失焦是可以识别的。然后，第二测试图像上的失焦区域被映射到第一测试图像上的图像方块区域的第二部分。最好是将第二部分从图像方块区域补片中舍弃。

在步骤650中，将第一和第二部分从图像方块区域中移除，以产生第一测试图像上的第一二维有效区域。随后对第一二维有效区域进行处理，以生成用于训练的方块区域的地面真实有效区域。

从第一二维有效区域中去除离群值是有利的。在步骤660中，执行用于去除第一二维有效区域的任何一角周围的虚假区域(spurious region)的除噪操作，以在第一测试图像上产生第二二维有效区域。

在执行各种图像处理操作之后，第二二维有效区域有可能被分割成碎片。将第二二维有效区域的附近零散区域合并在一起是有利的，这样一来地面真实有效区域就不会被过度分割。在步骤670，对第二二维有效图像进行中心区域合并操作。该操作通过合并第二二维有效区域中靠近其中心的相邻区域来消除虚假边界(false boundaries)。作为该操作的结果，得到第一测试图像上的第三二维有效区域。

在准备训练数据集时，第三二维有效区域被认为是第一测试图像上的地面真实有效区域的投影。请注意，第三二维有效区域仍然是一个平面物体。需要将第三二维有效区域映射到三维空间中的地面真实有效区域。在步骤680中，首先获取对用于训练的方块区域进行建模的第二多个三维点数据。在步骤690中，从第二多个三维点数据和第三二维有效区域形成模拟地面真实有效区域的第三多个三维点数据。由此，得到了用于训练的方块区域的地面真实有效区域。

由于样本中的固有问题，并不总是能够从用于训练的方块区域的任何样本中确定相应的地面真实有效区域。相应的地面真实有效区域可能不存在。以此来看，如果识别出用于训练的方块区域的固有问题，则可以停止基本过程600，并可能需要人为关注。

在某些实施例中，准备训练数据集的步骤210进一步包括通过检查以下内容来确定用于训练的方块区域是否可用于训练：图像上的方块区域是否具有不足的对比度；在第一或第二测试图像上是否存在异常的亮度分布；在基本过程600中确定的地面真实有效区域是否存在异常几何中心；以及在确定的地面真实有效区域中是否存在一个或多个大于预定尺寸的孔。在整个图像上存在低对比度的情况下，即使在亮/暗条照明条件下，也不能正常进行缺陷检查。这表明存在着严重的光学/硬件问题。因此需要人为的关注。如果考虑中的图像(即第一个或第二个测试图像)出现亮度的异常分布，也意味着发生了严重的光学/硬件问题，例如当考虑中的图像的顶部/底部/左侧/右侧的很大一部分是完全黑色或完全白色。这也需要人的注意。在地面真实有效区域的几何中心存在异常的情况下，该几何中心离第一或第二测试图像的中心很远。这表明，光学器件/硬件设置没有正确对齐。在地面真实有效区域内发现一个或多个大于一定尺寸的孔时，需要人为关注。

尽管图2描述了一个特定的情形，用于说明规划过程200是按照步骤210、220、230、240、250、260、270和280的顺序执行的，但本领域的技术人员将理解，其中一些步骤的顺序可以修改而不改变规划过程200的整体结果。例如，步骤230可以在步骤220之前进行。

类似地，图6描绘了一个特定的情形，用于说明基本流程600是按照步骤610、620、630、640、650、660、670、680和690的顺序执行。尽管如此，本领域的技术人员将理解，其中一些步骤的顺序可以修改而不改变基本过程600的整体结果。例如，步骤680可以在步骤610之前进行。

规划过程200可以由一个或多个计算处理器，或由一个或多个计算机或计算服务器执行或实施。所公开的用于规划检查路径的方法可以是计算机实现的方法。

作为注释，所公开的方法具有以下优点。

首先，基于有效区域方法的规划检查路径避免了无效的检查过程的发生。

第二，检查表面被完全覆盖。

第三，一旦神经网络被训练，训练后的神经网络可以应用于任何新物体。为了检查新物体，没有必要重新配置相机的光学器件/硬件或准备训练数据以再次训练神经网络。已经用于为一个物体规划一个检查路径的训练过的神经网络，可以直接重新用于为新物体规划另一个检查路径。

第四，所公开的方法可以快速规划检查路径。

本发明的第二方面是公开了一种对物体的一个或多个样本进行缺陷检测的方法。在缺陷检测中，引导可移动相机在单个物体样品的检查表面上沿检查路径移动，以便对检查表面进行光学检查，从而检测出可能的缺陷或多个缺陷。规划过程200适用于规划检查路径。

借助图8对所公开的方法进行说明，该图描述了显示用于检测一个或多个物体样品的缺陷检测的示例性缺陷检测过程800的流程图。

缺陷检测过程800采用如上文所披露的规划过程200的任何实施例来规划检查路径。然后对一个或多个物体样品进行缺陷检测的处理。计划的检查路径由相机在光学检查一个或多个物体样品中的每一个时使用。

在处理单个物体样本以进行缺陷检测时(步骤820)，相机被控制为沿检查路径移动，并且当相机位于单个物体样本上的单个存活视点(从规划过程200中确定的存活视点集中选择)的FOV相关的图像。然后对上述捕获的图像进行处理，以检测单个物体样本上任何可能的缺陷。

步骤820被重复，直到所有一个或多个物体样本被处理(步骤830)。

缺陷检测过程800可以由一个或多个计算处理器，或由一个或多个计算机或计算服务器执行或实施。所公开的用于对一个或多个物体样本执行缺陷检测的方法可以是计算机实现的方法。

本发明可以在不背离其精神或基本特征的情况下以其他具体形式体现出来。因此，本发明的实施方案在所有方面都应被视为是说明性的，而不是限制性的。本发明的范围由所附的权利要求书而非前述描述来表示，因此，在权利要求书的含义和等效范围内的所有变化都将被包含在其中。

Claims (16)

1.一种计算机实现的方法，用于在物体的检查表面规划检查路径，该检查路径用于引导可移动的相机沿着该检查路径移动，以便对所述检查表面进行光学检查从而进行缺陷检测，该方法包括：

在所述检查表面上生成视点集；单独视点与方块区域相关联；当所述相机位于该单独视点上方以捕捉所述相机的视野的图像时，该方块区域是所述检查表面在所述相机的所述视野内的最大区域；

根据所述方块区域的三维几何特征，通过神经网络预测所述方块区域的有效区域，从而使所预测的有效区域对基于与所述单独视点相关的捕获图像的缺陷检测有效，其中所述神经网络在经过训练后预测所述有效区域；以及

根据与所述视点集相关的多个各自的有效区域确定所述检查路径。

2.根据权利要求1所述的方法，其中根据与所述视点集相关的方块区域的多个各自的有效区域对所述检查路径的确定，包括：

确定所述视点集中的优化子集，以形成存活视点的集合，使得所确定的优化子集是所述视点集中最小的非空子集，且其约束条件是与所述优化子集中不同的存活视点相关联的各有效区域的方块区域的联合，覆盖整个检查区域；以及

将所述检查路径确定为连接所有相应的存活视点并访问每个存活视点一次的优化路径，同时在每条都连接所有相应的存活视点并访问每个相应的存活视点一次的所有可能的路径中，所述相机的移动成本最小。

3.根据权利要求1所述的方法，其中所述三维几何特征是由多个三维点数据给出的，这些三维点数据包括对所述方块区域进行建模的点云的组成点的三维坐标。

4.根据权利要求3所述的方法，其中，由所述神经网络对所述方块区域的所述有效区域进行的所述预测，包括：

确定所述方块区域的单个组成点是在所述有效区域内还是在所述有效区域外，从而允许所述有效区域由对所述方块区域建模的所述点云表示，并为所述单个组成点指示该单个组成点是在所述有效区域内还是在所述有效区域外。

5.根据权利要求1所述的方法，还包括

获得所述物体的CAD模型，该CAD模型至少包括对所述检查表面进行几何建模的设计数据，从而根据该CAD模型生成所述视点集。

6.根据权利要求5所述的方法，进一步包括：

在预测了所述有效区域后，将与单个存活视点相关的所述有效区域投射到所述CAD模型上。

7.根据权利要求3所述的方法，其中所述神经网络是深度神经网络。

8.根据权利要求3所述的方法，其中所述神经网络选自PointNet++和ConvPoint。

9.根据权利要求3所述的方法，其中所述神经网络是由自动机器学习工具生成的。

10.根据权利要求2所述的方法，其中，所述优化子集是根据集合覆盖问题的解决方案确定的。

11.根据权利要求2所述的方法，其中所述优化路径是根据开环旅行推销员问题的解确定的。

12.根据权利要求3所述的方法，还包括：

用训练数据集训练所述神经网络。

13.根据权利要求12所述的方法，其中所述训练数据集包括多个训练样本，单个训练样本包括用于训练的方块区域和地面真实有效区域。

14.根据权利要求13所述的方法，还包括准备所述训练数据集，其中所述训练数据集的准备包括：

接收用于所述用于训练的方块区域的第一测试图像和第二测试图像，其中所述第一测试图像和所述第二测试图像是由位于所述用于训练的方块区域上方同一位置的相机分别在白色照明条件和亮/暗条照明条件下对所述用于训练的方块区域进行照明时拍摄的；

识别所述第一测试图像上的图像方块区域，其中该图像方块区域是出现在所述第一测试图像上的所述用于训练的方块区域；

根据所述第一测试图像，识别所述图像方块区域的第一部分是过亮或过暗的；

根据所述第二测试图像，识别所述图像方块区域的第二部分是失焦的；

将所述第一部分和所述第二部分从所述图像方块区域中移除，以产生所述第一测试图像上的第一二维有效区域；

进行除噪操作，以去除所述第一二维有效区域的任何一角的虚假区域，从而产生第二二维有效区域；

对所述第二二维有效区域进行中心区域合并操作，以产生第三二维有效区域，用于通过合并所述第二二维有效区域中靠近其中心的相邻区域来消除虚假边界；

获取第二多个三维点数据，这些第二多个三维点数据为所述用于训练的方块区域建模；以及

从所述第二多个三维点数据和所述第三二维有效区域形成第三多个三维点数据，该第三多个三维点数据对所述地面真实有效区域进行建模，从而确定所述用于训练的方块区域的所述地面真实有效区域。

15.根据权利要求14所述的方法，其中，所述训练数据集的所述准备进一步包括：

通过检查以下内容确定所述用于训练的方块区域是否可用于训练：

所述图像方块区域是否存在不充分的对比度；

所述第一测试图像或所述第二测试图像上是否存在亮度的异常分布；

所确定的地面真实有效区域是否具有该地面真实有效区域的异常几何中心；

以及

在所确定的地面真实有效区域中是否存在一个或多个大于预定尺寸的孔。

16.一种计算机实现的方法，用于对物体的一个或多个物体样本进行缺陷检测，该方法包括：

在物体的检查表面上规划检查路径，该检查路径用于引导可移动的相机沿着该检查路径移动，以对所述检查表面进行光学检查以进行缺陷检测，其中所述检查路径是根据权利要求1所述的规划方法规划的；

处理所述一个或多个物体样本以进行缺陷检测，其中该检查路径被所述相机用于光学检查所述一个或多个物体样本；和

处理单个物体样本以进行缺陷检测，控制所述相机沿所述检查路径移动，并在所述相机位于所述单个物体样本上的单个存活视点上方时捕获与所述单个存活视点相关的视野的第一图像，据此对所捕获的第一图像进行处理以检测所述单个物体样本上的任何可能缺陷。

Images