CN118234602A - 用于通过遮挡部分的修复模型重构来处理工件的计算机实现的操作方法 - Google Patents

Abstract

一种用于通过遮挡部分的修复模型重构来处理工件的计算机实现的操作方法。所提出的系统采用以下部分：‑感知系统，例如：激光扫描器或照相机；以及‑处理功能；‑处理来自照相机的数据的视觉系统。该基础系统有利地如所描述扩展。它获取照相机数据并重构被遮挡部分以重建下游系统所需的被违反的先前假设。需要对系统进行训练以重构图像序列中的不完整信息。该训练可以基于历史知识或模拟数据。应用示例示出了重叠对象的3D点云的修复。

Description

用于通过遮挡部分的修复模型重构来处理工件的计算机实现 的操作方法

背景技术

在自动化设施中，工件被处理和加工，以便由它们形成产品。

工业机器人系统在这种自动化设施中广泛用于不同的任务。它们是自动的、可编程的并且能够在三个或更多个轴上移动，并且因此可以帮助材料处理。机器人的典型应用包括焊接、涂漆、组装、拆卸、拾取和放置、包装和贴标签、码垛、产品检查和测试；全部以高耐久性、速度和精度实现。

对于机器人来说，从运输工具、例如传送带或自主传输交通工具中拾取一些对象用于运输和进一步处理是一个普通的任务。还可能的是，工件被固定地放置并且由加工站来进行移动。

在其他文本中，工作站不仅意味着机器人，而且意味着任何类型的运动学或处理系统。

在我们的应用中，感知系统(例如照相机)数据包括所有类型的传感器扫描数据，而不仅仅是视觉数据。在3D对象扫描领域内，激光扫描结合了激光束的受控转向和激光测距仪。通过在每个方向进行距离测量，扫描器快速地捕获对象的表面形状。3D对象扫描允许增强设计过程，加速并且减少数据收集错误，节省时间和金钱，并因此使其成为上述传统数据收集技术的有吸引力的替代。

通过利用由人工智能AI处理的该感知系统数据，机器学习或经典计算机视觉实现了车间的许多新颖应用。示例包括，已知对象的抓取、未知对象的灵活抓取、质量检查、对象计数和更多。

这些功能性通常以黑匣子的形式出现，它们消耗来自标准化接口的感知系统图像，或者直接与感知系统对话(例如，经由GigE Vision、USB vision、Firewire)，或者经由如ZeroMQTT或MQTT等专有协议，https://mqtt.org/.

黑匣子功能然后产生结果，该结果被下游系统消耗，例如：用于从传送带拾取对象。

这些黑匣子功能总是在考虑特定场景的情况下开发的。如果违反了这种情况的假设，则不能使用该功能性并且需要重新开发该功能性。

这种违规行为的一个典型示例是，当部分在传送带上运输以进行进一步处理时，这些部分被部分地定位为使得遮挡其他部分。

这种情况在图3中示出，其中传送带211配备有分离设备212、例如刷子。工件201被放置在该传送带上并朝向机器人221传输。在所示的情况下，两个工件被堆叠地定位，使得扫描设备222、223不能仅识别下部对象的一部分，并且在最坏的情况下不能区分两个对象。第一感知系统、例如照相机222或第二感知系统、例如具有线性扫描224的激光扫描器223将仅识别一个部分(位于顶部)，并且机器人221将因此丢弃工件。

并非由传送带将工件传送到机器人，或者也可以想到机器人能够移动并朝向工件移动(包括感知系统)。

迄今为止，有必要重新建立从原始系统强加的假设。在上述拾取示例的情况下，这需要将感知系统/照相机222附接在正确的位置以去除机器的遮挡。此外，当由于对象201被堆叠定位而发生对象的遮挡时，需要多次扫描景物，并且必须反复地去除遮挡的对象。或者，有时可以使用机械装置212来解决该问题。最后，不能被处理的工件可能被忽略。

然而，所有这些步骤意味着额外的成本和额外的时间。

发明内容

本发明的任务是提供一种能够处理这种情况而无需多次扫描的方法和系统。

该问题将通过特征在于独立权利要求1的特征的方法来解决。

一种用于操作工业设施中的工作站的计算机实现的操作方法，该工业设施被装备并且适合于处理工件，其中该设施中的这些工件在朝向工作站的方向上运输，或者该工作站(221)朝向这些工件(201，202)移动，

其中，工作站适于并被装备成拾取工件，并且在运输期间，工件被感知系统扫描，以从工件产生扫描数据，其中，

对扫描数据的评估表明，第二工件被定位成使得第二工件被遮挡而不能被扫描装备完全地扫描。

在下一步骤中，基于使用训练数据的训练模型，通过对接收到的扫描数据使用修复处理来重构扫描数据中的第二工件的遮挡部分，然后工作站通过首先拾取第一识别的工件来移除工件，然后拾取第二工件以在工业设施中进一步处理。

该问题将进一步通过由权利要求9的特征表征的计算机实现的训练方法、由权利要求10的特征表征的数据处理系统和由权利要求11的特征表征的计算机程序产品来解决。

所要求保护的解决方案的要点是即使当被扫描的工件被至少部分地遮挡时也提供检测被扫描工件的可能性。

这是通过在使用训练数据的训练模型的基础上，通过对接收到的扫描数据使用修复处理来重构扫描数据中的第二工件的遮挡部分而实现的。

这样的修复被称为这样的过程，其中艺术品的损坏的、恶化的或缺失的部分被填充以呈现完整的图像。使用的程序能够重构数字照片和视频的丢失或损坏区域。修复已经成为可以对数字图像执行的自动过程。不仅仅是刮擦去除，修复技术还可以应用于对象去除、文本去除以及图像和视频的其它自动修改。

在下文中，我们还描述了一种系统，其在特殊情况下通过人工智能功能重新建立相应的假设。这种先前假设的一个示例是在自动拾取的情况下需要不存在遮挡。由于机器或其它对象，可能要给定待拾取对象的遮挡。

附图说明

在附图中更详细地示出了所要求保护的主题，这些附图示出了如下

图1是扫描过程之后的数据云的示例，

图2是通过使用自动编码器来重构下部部分的示例，

图3是具有工作站的工业设施的示例，

图4是可能的解决方案的概念，以及

图5是该解决方案的数据处理概念。

具体实施方式

图3示出了将采用所述方法的示例性情形。图3的细节已经在正文的介绍中进行了描述，因为本发明的一个主要优点是可以不费力地将其引入到已经存在的系统中。

图1在左侧示出了现有系统的主要问题。当扫描被堆叠放置的多个对象101以进行处理时，此时不可能捕捉底部对象上的视图。在扫描对象104(例如用激光扫描器109)以创建3D点云的过程中，将仅识别顶部上的对象111用于进一步处理。下方的对象将不会被识别。这将减慢生产过程，因为感知系统得到给出底部对象丢失的印象的图像，并且在最坏的情况下丢弃对象或停止系统。

本发明的任务是通过提供正确检测情况的可能性来提供针对所描述问题的解决方案，并且不仅显示顶部111上的对象而且显示底部112的对象。

图2示出了由扫描装备、如照相机222或激光扫描器223实现的扫描过程的结果。在示例性情况下的扫描过程是逐行扫描，并且在这种情况下的结果是3D点云，如左图所示。

在进一步处理之前，根据所使用的扫描方法，可以对扫描结果应用降噪。术语噪声降低表示从信号中移除噪声的过程。降噪技术不仅存在于音频中，而且存在于图像数据中。降噪算法可能在某种程度上使信号失真。

所有的信号处理设备，无论是模拟的还是数字的，都具有使它们易受噪声影响的特性，意味着接收中的干扰。

降噪处理甚至可以补充到其他正确识别的东西被滤除为“噪声”的程度，这些东西被识别但与进一步处理无关。

在处理的第一步骤中，必须区分两个工件，然后减去属于处于顶部的工件的信息。在第二图片中，示出了扫描结果的左边部分121，并且假定其属于下部工件。在下一步骤中，例如通过使用自动编码器技术(具有编码步骤123和解码步骤124)，将产生输出122，其中在该步骤中添加缺失部分，并且结果示出了全部的下部工件122，用于进一步处理。

自动编码器是一种用于学习数据的有效编码的人工神经网络。通过尝试从编码重新生成输入来验证和细化编码。通常，自动编码器通过训练网络忽略不重要的数据(“噪声”)来学习一组数据的表示(编码)，通常用于降维。

在下文中，以两种不同的方式使用自动编码器：

在修复的情况下，通过尝试重新生成输入中的缺失信息并将其与其基本事实对应物进行比较来验证和重新定义编码。经训练的模型还可用于重新生成先前未看见的输入中的遗漏信息。

此外，可以使用自动编码器来分割输入中的不同对象。

这里，在训练期间，需要输入数据和相应的类别。通过重新创建具有单个点的指定类从属关系的输入来给出该目标。从资源节约的角度来看，该方法是有利的。

图4示出了在整个系统上描绘的所要求保护的方法和系统的解决方案概念，还包括已知的部分。

在中间303，示出了与图1中相同的符号图。从工件201，有扫描的3D点云101。它们由所提出的方法109变换为重构数据335，重构数据包含关于顶部和重构底部的信息。这由具有两个部分102、103的重构3D点云表示。

一开始，在框304中描述了经典视觉系统223。它扫描工件，并且如果没有问题并且工件如所期望地位于输送介质上，则不再需要动作。并且将信息传递到具有PLC(可编程逻辑控制器)321的处理系统305，PLC控制318机器人221(或任何其他抓握设备)。从视觉系统304传送到执行系统305的信息317包含关于下部对象332和上部对象336的单独信息。

在视觉系统304检测到下部对象被上部对象部分遮挡的情形的情况下，关于此的信息将被引导到新的系统316，其然后如上所述地评估该信息。

在系统和方法的执行期间，有一个初始数据集创建301来初始地和稍后地连续地训练模型302。数据集开始于下部对象332的3D点云信息，对象331和标记333两者都用于在机器学习方法上训练的模型。

还可以通过稍后从真实系统312、313收集的其它数据来细化训练。

图5更详细地描述了建议解决方案的数据处理概念。

左上开始于合成训练数据401，其包括关于基本真值隐藏对象点云421、具有两个对象的点云422和类别点云423的信息。完整下部对象的合成产生的点云包括遮挡和非遮挡部分(122)。两个对象的合成生成的点云由完整的上部对象和下部对象的非遮挡部分组成(见101)。

下面是使用在真实系统的执行期间创建的真实数据来产生数据的第二路径402。然后，通过裁剪背景403(例如，具有固定的y和z裁剪边界)，然后425，通过应用异常值去除算法404去除附加噪声，修改424关于具有两个对象的重新绘制云的那些信息。

然后这些经由关于以下项的插值406来计算

网格＝网格(Grid＝Grid)

深度图尺寸405

固定最大欧几里得距离和线性插值

通过在预定最大欧几里德距离内将点映射到网格中它们的最近相邻点并随后内插，将点云映射406到等距网格437。

之后，点云被表示为深度图。

类别422也被映射到等距网格产生433。

换言之：从合成数据401开始的上部路径描述了系统的训练过程，例如：基于该合成数据的训练。左上角的训练数据401由包括遮挡和非遮挡部分(参见图2)的完整下部对象的点云421、包括完整上部对象和下部对象的非遮挡部分的两个对象的点云422(参见101)以及关于具有两个对象的点云的类别422组成。对应于上部对象的点与对应于下部对象的非遮挡部分的点的类别不同。

从真实数据开始的下部路径402示出了生产中部署的系统的真实数据的数据处理。该数据包括由具有上部对象和下部对象424的非遮挡部分的真实系统记录的点云。然后，通过裁剪背景403(例如，具有固定的y和z裁剪边界)，然后425，通过应用异常值去除算法404去除附加噪声，修改424该点云。

点云被内插到等距网格406，之后表示为深度图。类别422也被映射到等距网格产生433。

在从包括两个对象的点云422生成的深度图432中，使用产生被掩蔽的深度图438的类别433，上部对象被常量407掩蔽。

卷积自动编码器410可被训练成使用完整下部对象431的生成421的深度图和经掩蔽的深度图438来进行修复。

第二自动编码器用对象432和类别433两者的深度图来训练，以分割深度图432中的下部对象的上部和非遮挡部分。

经训练的修复自动编码器411被部署441在真实系统中。

经训练的分段自动编码器409被部署439在真实系统中。

在部署的真实系统中，经过滤的点云426被映射到等距网格437，产生包括上部和非遮挡下部对象435的深度图。

使用经训练的分段自动编码器409对深度图435进行分段，产生具有被掩蔽的上部对象的深度图436，以及仅由上部对象组成的深度图440。

使用经训练的修复自动编码器411来修复掩蔽的深度图436，产生具有完整的经重构的下部对象的深度图442。

利用等距网格437将深度图442和440分别重构为3D点云443和444。

下部对象443的重构点云和上部对象444的点云被重新组合413为单个点云，而不会因为遮挡而丢失值，445。

经组合的点云445可以作为.GIF文件被传输，并且在设施中被进一步处理，例如，通过基础视觉系统处理。

总之，本发明系统采用以下部分：

-感知系统，例如：激光扫描器或照相机以及

-处理功能，

-处理来自照相机的数据的视觉系统。

该基础系统有利地如所描述地扩展。它获取照相机数据并重构被遮挡部分以重建下游系统所需的被违反的先前假设。

我们的系统需要被训练以重构序列图像中的不完整信息。训练可以基于历史知识或模拟数据。应用示例示出了重叠对象的3D点云的修复。

通过以下步骤在模拟中生成数据：

1)例如，在包括点云照相机的虚拟环境中重构真实设置。

2a)模拟在点云照相机的视场(FOV)的相关位置中具有重叠对象(意味着相对角度的变化和对象之间重叠的共享)的情况

2b)包括数据变换函数，以获得由真实和模拟照相机(如有必要)测量的相同格式的点云。

3)针对虚拟环境中不同情况获取数据，从而构建样本的数据库，每个样本包括

(a)‘由模拟照相机测量的3D点云’，

(b)‘下部对象的地面真值点云，包括被对象重叠从照相机角度隐藏的部分对象’，

(c)‘点云(a)中的点与对象之间的分配’

或者，可以在真实过程中记录历史数据。

4)基于(a)和(b)训练用于修复的机器学习模型(MLM1)。从而得到机器学习模型从(a)生成(b)。

5)基于(a)和(c)训练对象分割(MLM2)的机器学习模型

6)在真实系统上部署MLM1和MLM2。

7)在真实照相机测量的点云上进行修复和分割。

使用模拟的或历史的数据来重构丢失的信息，而不是昂贵地修改数据记录过程以减少先前的信息损失。

总之，所要求保护的解决方案实现了以下描述的优点。

现有的过程和系统可以不改变地重复使用，不需要深入的改变，新的步骤可以容易地集成到任何现有的系统中。

通过使用所提出的解决方案，可以显着地增加处理速度，因为不需要去除物理测量限制。这意味着，由于通过所要求保护的方法对扫描数据的处理，未被识别的对象的量显著较低，并且在该过程中，有更多情况会获得肯定的识别结果。不需要停止该过程。

最后但同样重要的是，将达到增加的过程可靠性，因为可以处理由于测量而丢失信息的情况。

Claims (12)

1.一种用于操作用于处理工件(201，202)的工业设施(20)中的工作站(221)的计算机实现的操作方法，其中，

所述设施中的所述工件(201，202)在朝向所述工作站(221)的方向被运输(211)，

或者，所述工作站(221)朝向所述工件(201，202)移动，其中，所述工作站(221)适于并被装备成拾取所述工件(201，202)，以及

在运输期间，所述工件被感知系统(222，223)扫描(224)以从所述工件产生扫描数据，其中，

对所述扫描数据的评估表明第二工件被定位成使得它被遮挡而不能被扫描装备(222，223)完全扫描，

其特征在于，

在下一步骤中，基于使用训练数据(301)的经训练的模型(302)，通过使用对所接收的扫描数据的修复过程来重构所述扫描数据中的所述第二工件的遮挡部分，并且

所述工作站(221)通过首先拾取第一工件(221)来移除工件，然后拾取所述第二工件(222)以在所述工业设施中进一步处理。

2.根据权利要求1的特征的方法，其特征在于，另一个对象、特别是第一工件(201)相对于所述第二工件被定位为使得该另一个对象遮挡所述第二工件使得所述第二工件不能被所述扫描装备(222，223)完全扫描。

3.根据权利要求1或2的特征的方法，其特征在于，所述经训练的模型使用历史数据用于训练目的，所述历史数据在工件的实际处理期间被预先记录。

4.根据权利要求1或2的特征的方法，其特征在于，所述经训练的模型使用通过重建虚拟环境中的真实设置和模拟扫描数据而创建的模拟数据样本集，其中，通过改变第一工件和第二工件的角度和所述第二工件的遮挡份额，所述第一工件(201)相对于所述第二工件被定位为使得所述第一工件遮挡所述第二工件使得所述第二工件不能被完全扫描。

5.根据权利要求4的特征的方法，其特征在于，扫描信息由激光扫描器的3D点云组成，并且每个训练数据样本包含以下信息：

a)由模拟照相机测量的3D点云，

b)包括由对象重叠而从相机角度隐藏的对象部分的下部对象的点云，以及

c)在步骤a)的3D点云中的点与对象之间的分配。

6.根据前述权利要求中任一项的特征的方法，其特征在于，所述第二工件的遮挡部分的修复过程被用于在拾取第一工件(221)之后预测第二工件(222)的感知。

7.根据前述权利要求中任一项的特征的方法，其特征在于，对于在所接收的扫描数据上的图像修复过程，使用人工神经网络自动编码器(125)。

8.一种用于生成模拟点云数据样本集的计算机实现的方法，所述模拟点云数据样本集用于在根据前述权利要求中任一项的经训练的模型(302)中使用，

通过重建虚拟环境中的真实设置和模拟扫描数据，其中，通过改变第一工件和第二工件的角度和所述第二工件的遮挡份额，所述第一工件(201)相对于所述第二工件被定位为所述第一工件遮挡所述第二工件使得所述第二工件不能被完全扫描。

9.一种用于生成模拟点云数据样本集的计算机实现的训练方法，所述模拟点云数据样本集用于在根据权利要求8的经训练的模型(302)中使用，其中，包括数据变换功能以生成由感知系统(222，223)和由模拟照相机测量的相同格式的点云。

10.一种数据处理系统，包括用于执行前述方法权利要求中任一项的方法的步骤的装置。

11.一种包括指令的计算机程序产品，当所述指令由计算机执行时，所述指令使所述计算机执行前述方法权利要求中任一项的方法的步骤。

12.一种根据权利要求1所述的方法训练的经训练的机器学习模型。