CN114445734A - 工件封边方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供了一种工件封边方法、装置、电子设备及存储介质，所述方法包括：在工件到达第一汇聚口的情况下，获取第一图像采集设备采集的第一工件视频；利用预设第一深度学习模型对第一工件视频进行处理，以识别工件的当前姿态；获取与工件传送同步的数字孪生模型，提取数字孪生模型中的目标姿态，其中，由工件的基础信息生成数字孪生模型。将当前姿态与目标姿态进行比较，若当前姿态与目标姿态一致，则允许对工件进行封边。预设第一深度学习模型通过第一图像采集设备采集的第一工件视频预测工件的当前姿态，对比数字孪生模型中的目标姿态，如果姿态一致，说明工件未发生姿态偏移，则允许对工件进行封边，从而避免封边机故障或者工件报废。

Description

工件封边方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及板式家具类工件边缘的封边技术领域，尤其涉及一种工件封边方法、装置、电子设备及存储介质。

背景技术

封边是板式家具中常用的工艺过程，作用在于将封边带贴合到工件(例如木质板材)的四边，对其进行封边处理。主要考虑到第一是因开料设备加工后四周为毛边，封边以提高工件的装饰效果；第二是因工件加工后，为减少空气中的水分从工件边进入工件引起边部膨胀导致工件变形；第三为减少甲醛等有害气体挥发，因此对工件进行封边处理是板式家具中不可或缺的工序。其中，封边机是板式家具制造中常用的一种封边设备。

相关技术中，主流的自动化生产线封边机的布局方案主要有2种：1、使用4台封边机，每2台封边机相对布局为一组，两组封边机前后组合完成工件四边的封边，如图1所示；2、使用2台封边机和回转产线组合完成工件四边的封边，如图2所示。其中，第1种方案占用工厂空间最少，但是设备成本高，第2种方案设备成本低，同时回转产线还能在出现故障时充当缓冲区域的作用，但是占用工厂空间大。

鉴于第2种方案的性价比高于第1种方案的性价比，因此目前大都采用第2种方案。但是目前第2种方案还存在以下问题：经过封边一次的工件，例如工件存在A、B、C、D等4个边，其中，2台封边机对工件的A、C等2个边进行一次封边，后续工件传动到回转产线，在经过回转产线的过程中，会因为工件变形或者回转产线机械机构不水平导致工件姿态偏移，工件姿态偏移会导致封边机故障或者工件报废。

发明内容

为了解决上述经过封边一次的工件，后续工件传动到回转产线，在经过回转产线的过程中，会因为工件变形或者回转产线机械机构不水平导致工件姿态偏移，工件姿态偏移会导致封边机故障或者工件报废的技术问题，本发明实施例提供了一种工件封边方法、装置、电子设备及存储介质。

在本发明实施例的第一方面，首先提供了一种工件封边方法，在自动化产线与回转产线的第一汇聚口处设置第一图像采集设备，所述方法包括：

在工件到达所述第一汇聚口的情况下，获取所述第一图像采集设备采集的第一工件视频；

利用预设第一深度学习模型对所述第一工件视频进行处理，以识别所述工件的当前姿态；

获取与所述工件传送同步的数字孪生模型，提取所述数字孪生模型中的目标姿态，其中，由所述工件的基础信息生成所述数字孪生模型；

将所述当前姿态与所述目标姿态进行比较，若所述当前姿态与所述目标姿态一致，则允许对所述工件进行封边。

在一个可选的实施方式中，所述利用预设第一深度学习模型对所述第一工件视频进行处理，以识别所述工件的当前姿态，包括：

利用预设第一深度学习模型对所述第一工件视频进行处理，以获取所述工件的边界，对所述工件的边界进行拟合得到当前多边形；

所述提取所述数字孪生模型中的目标姿态，包括：

提取所述数字孪生模型中的目标多边形；

所述将所述当前姿态与所述目标姿态进行比较，若所述当前姿态与所述目标姿态一致，则允许对所述工件进行封边，包括：

将所述当前多边形与所述目标多边形进行比较，若所述当前多边形与所述目标多边形重合，则允许对所述工件进行封边。

在一个可选的实施方式中，所述方法还包括：

若所述当前多边形与所述目标多边形未重合，则确定所述工件的姿态偏移角度；

若所述姿态偏移角度大于预设角度阈值，则确定所述工件异常，并将所述工件排出。

在一个可选的实施方式中，所述方法还包括：

若所述姿态偏移角度未大于所述预设角度阈值，则根据所述姿态偏移角度对所述工件进行姿态调整；

在对所述工件进行姿态调整之后，通过所述自动化产线将所述工件传送至封边设备进行封边。

在一个可选的实施方式中，在所述自动化产线与所述回转产线的第二汇聚口处设置第二图像采集设备，所述方法还包括：

在所述工件到达所述第二汇聚口的情况下，获取所述第二图像采集设备采集的第二工件视频；

利用预设第二深度学习模型对所述第二工件视频进行处理，以提取所述工件的N个加工区域；

确定N个所述加工区域中已封边的加工区域，并统计已封边的加工区域对应的数量；

若所述数量大于预设阈值，则确定所述工件已完成封边，并将所述工件排出。

在一个可选的实施方式中，所述确定N个所述加工区域中已封边的加工区域，包括：

针对任一所述加工区域，提取所述数字孪生模型中的材质信息，将所述加工区域以及所述材质信息输入至所述预设第二深度学习模型；

获取所述预设第二深度学习模型的输出结果，若所述输出结果满足预设条件，则确定所述加工区域为已封边的加工区域。

在一个可选的实施方式中，所述将所述加工区域以及所述材质信息输入至所述预设第二深度学习模型，包括：

获取机器视觉训练集，并判断所述材质信息是否存在于所述机器视觉训练集；

若所述材质信息存在于所述机器视觉训练集，将所述加工区域以及所述材质信息输入至所述预设第二深度学习模型。

在一个可选的实施方式中，所述方法还包括：

若所述材质信息未存在于所述机器视觉训练集，从所述第二工件视频中抽取M帧图像，并添加至所述机器视觉训练集；

基于经过图像添加的所述机器视觉训练集，对所述预设第二深度学习模型进行迭代优化。

在一个可选的实施方式中，所述方法还包括：

若所述数量未大于所述预设阈值，则确定所述工件未完成封边，则将所述工件传送至所述回转产线。

在本发明实施例的第二方面，提供了一种工件封边装置，在自动化产线与回转产线的第一汇聚口处设置第一图像采集设备，所述装置包括：

视频获取模块，用于在工件到达所述第一汇聚口的情况下，获取所述第一图像采集设备采集的第一工件视频；

姿态识别模块，用于利用预设第一深度学习模型对所述第一工件视频进行处理，以识别所述工件的当前姿态；

姿态提取模块，用于获取与所述工件传送同步的数字孪生模型，提取所述数字孪生模型中的目标姿态，其中，由所述工件的基础信息生成所述数字孪生模型；

工件封边模块，用于将所述当前姿态与所述目标姿态进行比较，若所述当前姿态与所述目标姿态一致，则允许对所述工件进行封边。

在本发明实施例的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面中所述的工件封边方法。

在本发明实施例的第四方面，还提供了一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面中所述的工件封边方法。

在本发明实施例的第五方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面中所述的工件封边方法。

本发明实施例提供的技术方案，在自动化产线与回转产线的第一汇聚口处设置第一图像采集设备，在工件到达第一汇聚口的情况下，获取第一图像采集设备采集的第一工件视频，利用预设第一深度学习模型对第一工件视频进行处理，以识别工件的当前姿态，获取与工件传送同步的数字孪生模型，提取数字孪生模型中的目标姿态，其中，由工件的基础信息生成数字孪生模型，将当前姿态与目标姿态进行比较，若当前姿态与目标姿态一致，则允许对工件进行封边。通过在自动化产线与回转产线的第一汇聚口处设置第一图像采集设备，利用预设第一深度学习模型对第一图像采集设备采集的第一工件视频进行处理，以识别工件的当前姿态，并与数字孪生模型中的目标姿态进行对比，如果两者姿态一致，则说明工件未发生姿态偏移，可以允许对工件进行封边，从而避免封边机故障或者工件报废。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中示出的一种设备布局的示意图；

图2为本发明实施例中示出的另一种设备布局的示意图；

图3为本发明实施例中示出的另一种设备布局的示意图；

图4为本发明实施例中示出的一种工件封边方法的实施流程示意图；

图5为本发明实施例中示出的一种数字孪生模型的示意图；

图6为本发明实施例中示出的一种木质板材与数字孪生模型传输同步的示意图；

图7为本发明实施例中示出的另一种设备布局的示意图；

图8为本发明实施例中示出的另一种工件封边方法的实施流程示意图；

图9为本发明实施例中示出的一种工件封边装置的结构示意图；

图10为本发明实施例中示出的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

主流的自动化生产线封边机的布局方案主要有2种：1、使用4台封边机，每2台封边机相对布局为一组，两组封边机前后组合完成工件四边的封边，如图1所示。由图1可知，封边机1#和封边机2#每次只针对工件的B和D面进行封边，封边机3#和封边机4#每次只针对工件的A和C面进行封边。封边机1#、封边机2#、封边机3#、封边机4#沿进料方向串联，整体布局紧凑，节省厂房空间，但是设备成本较高。

2、使用2台封边机和回转产线组合完成工件四边的封边，如图2所示。由图2可知，从进料方向进来的工件通过封边机1#和封边机2#加工封边一次，在汇聚口2分流到回转产线，并同时旋转90度。在汇聚口1中跟新的工件混合封边第二次，再次经过汇聚口2分流排出封边两次的工件。这种方案设备成本低，同时回转产线还能在出现故障时充当缓冲区域的作用，但是占用工厂空间大。

鉴于第2种方案的性价比高于第1种方案的性价比，因此目前大都采用第2种方案。但是目前第2种方案还存在以下问题：经过封边一次的工件，例如工件存在A、B、C、D等4个边，其中，2台封边机对工件的A、C等2个边进行一次封边，后续工件传动到回转产线，在经过回转产线的过程中，会因为工件变形或者回转产线机械机构不水平导致工件姿态偏移，工件姿态偏移会导致封边机故障或者工件报废。

为了解决此类问题，本发明实施例在自动化产线与回转产线的第一汇聚口处设置第一图像采集设备，例如，如图3所示，在自动化产线与回转产线的汇聚口1处设置摄像头1。基于此，如图4所示，为本发明实施例提供的一种工件封边方法的实施流程示意图，该方法可以应用于处理器，具体可以包括以下步骤：

S401，在工件到达所述第一汇聚口的情况下，获取所述第一图像采集设备采集的第一工件视频。

在本发明实施例中，对于从进料方向进来的工件，经过封边机1#和封边机2#加工封边一次，在第二汇聚口分流到回转产线，与此同时旋转90度，在工件达到第一汇聚口的情况下，通过机器视觉识别工件在回转的过程中有没有发生姿态偏移，据此获取第一图像采集设备采集的第一工件视频。

例如，在本发明实施例中，对于从进料方向进来的木质板材，经过封边机1#和封边机2#加工封边一次，在汇聚口2分流到回转产线，与此同时旋转90度，在木质板材达到汇聚口1的情况下，通过机器视觉识别木质板材在回转的过程中有没有发生姿态偏移，据此获取摄像头1采集的第一木质板材视频。

需要说明的是，对于工件，例如可以是木质板材，或者一些其他材质的需要封边的板材，本发明实施例对此不作限定。此外，对于第一图像采集设备，例如可以是常规摄像头，也可以是其他图像传感器，本发明实施例对此不作限定。

S402，利用预设第一深度学习模型对所述第一工件视频进行处理，以识别所述工件的当前姿态。

在本发明实施例中，在工件到达第一汇聚口的情况下，通过第一图像采集设备采集第一工件视频，由此可以利用预设第一深度学习模型对第一工件视频进行处理，以识别工件的当前姿态。

需要说明的是，这里预设第一深度学习模型具体可以是Lapnet网络，当然还可以是CNN算法、YOLO算法等，本发明实施例对此不作限定，可以根据具体情况进行选择。

例如，在本发明实施例中，在木质板材到达汇聚口1的情况下，通过摄像头1采集第一木质板材视频，由此可以利用预设第一深度学习模型对第一木质板材视频进行处理，以识别木质板材的当前姿态。

其中，在本发明实施例中，可以利用预设第一深度学习模型对第一工件视频进行处理，以获取工件的边界，对工件的边界进行拟合得到当前多边形，以当前多边形表征工件的当前姿态。

例如，在本发明实施例中，可以利用预设第一深度学习模型对第一工件视频进行处理，以获取木质板材的边界，对木质板材的边界进行拟合得到当前四边形，以当前四边形表征木质板材的当前姿态。

S403，获取与所述工件传送同步的数字孪生模型，提取所述数字孪生模型中的目标姿态，其中，由所述工件的基础信息生成所述数字孪生模型。

在本发明实施例中，对于工件，由进料口进入自动化产线时已经通过扫描工件上的二维码获取工件的基础信息，例如基础信息包括长宽高、颜色、材质等。

本发明实施例获取工件的基础信息，得益于工业电脑高性能、高算力支持实时在对应UI界面生成当前工件的数字孪生模型，如图5所示，并显示关键参数信息，如下表1所示。

表1

这个数字孪生模型在用户界面只显示基本的长宽高，但是在控制系统内部包含了所有加工信息(长宽高，封边条类型，钻孔位置，钻头尺寸等)并且数字孪生模型跟实际的工件传送同步，当工件需要进入设备加工时，控制系统提取对应数字孪生模型的加工信息给设备加工。

基于此，在工件到达第一汇聚口的情况下，获取与工件传送同步的数字孪生模型，提取数字孪生模型中的目标姿态。这里数字孪生模型与工件传送同步，意味着在实际的厂房中工件达到第一汇聚口，则相应的数字孪生模型同步传动至UI界面上的第一汇聚口。

其中，在本发明实施例中，在工件到达第一汇聚口的情况下，获取与工件传送同步的数字孪生模型，提取数字孪生模型中的目标多边形，以目标多边形表征数字孪生模型中的目标姿态。

例如，在本发明实施例中，在木质板材到达汇聚口1的情况下，木质板材的数字孪生模型与木质板材传动同步，则此时在UI界面上，显示木质板材的数字孪生模型同样达到汇聚口1，由此获取与木质板材1传送同步的数字孪生模型，提取数字孪生模型中的目标四边形，以目标四边形表征数字孪生模型中的目标姿态。

S404，将所述当前姿态与所述目标姿态进行比较，若所述当前姿态与所述目标姿态一致，则允许对所述工件进行封边。

在本发明实施例中，对于工件的当前姿态，以及数字孪生模型中的目标姿态，将当前姿态与目标姿态进行比较，如果当前姿态与目标姿态一致，说明工件在回转产线回转的过程中没有发生姿态偏移，此时可以允许对工件进行封边，具体是通过自动化产线将工件传送至封边机1#和封边机2#进行封边，如此避免封边机故障或者工件报废。

其中，对于工件的当前姿态，以当前多边形表征工件的当前姿态，对于数字孪生模型中的目标姿态，以目标多边形表征数字孪生模型中的目标姿态，将当前多边形与目标多边形进行比较，若当前多边形与目标多边形重合，则允许对工件进行封边，具体是通过自动化产线将工件传送至封边机1#和封边机2#进行(二次)封边。

例如，在本发明实施例中，对于木质板材的当前姿态，以当前四边形表征木质板材的当前姿态，对于数字孪生模型中的目标姿态，以目标四边形表征数字孪生模型中的目标姿态，如图6所示，将当前四边形与目标四边形进行比较，由图6可知，当前四边形与目标四边形重合，则说明木质板材在回转产线回转的过程中没有发生姿态偏移，此时可以通过自动化产线将木质板材传动至封边机1#和封边机2#进行二次封边。

此外，若当前多边形与目标多边形未重合，则说明工件在回转产线回转的过程中发生了姿态偏移，具体可能是因为工件变形或者回转产线机械机构不水平导致工件姿态偏移，此时，可以确定工件的姿态偏移角度，其中，可以将当前多边形与目标多边形进行对比，就可以得到工件的姿态偏移角度，若姿态偏移角度大于预设角度阈值，则确定工件异常，并将工件排出，这里排出是指将工件当作废品排出。

例如，若木质板材的当前四边形与数字孪生模型中的目标四边形未重合，说明木质板材在回转产线回转的过程中发生了姿态偏移，具体可能是因为木质板材变形或者回转产线机械机构不水平导致木质板材姿态偏移，此时，可以确定木质板材的姿态偏移角度，并判断姿态偏移角度是否大于预设角度阈值，若姿态偏移角度大于预设角度阈值，则说明无法对木质板材的姿态进行调整，此时可以确定木质板材异常，并将木质板材当作废品排出。

对于工件的姿态偏移角度，若姿态偏移角度未大于预设角度阈值，则说明可以对工件的姿态进行调整，此时根据姿态偏移角度对工件进行姿态调整，其中，具体可以把姿态偏移角度更新到数字孪生模型，控制系统根据数字孪生模型中的姿态偏移角度对工件姿态进行调整。在对工件进行姿态调整之后，通过自动化产线将工件传送至封边设备进行封边，如此同样可以避免封边机故障或者工件报废。

例如，对于木质板材的姿态偏移角度，若姿态偏移角度未大于预设角度阈值，则说明可以对木质板材的姿态进行调整，此时可以把姿态偏移角度更新到数字孪生模型，控制系统根据数字孪生模型中的姿态偏移角度对木质板材姿态进行调整。在对木质板材进行姿态调整之后，通过自动化产线将木质板材传送至封边机1#和封边机2#进行二次封边。

需要说明的是，对工件姿态进行调整，具体可以使用姿态纠正机械结构，其原理简单且种类繁多，例如可以使用机械夹爪，气动挡杆等结构实现类似的效果，本发明实施例对此不作限定。

通过上述对本发明实施例提供的技术方案的描述，在自动化产线与回转产线的第一汇聚口处设置第一图像采集设备，在工件到达第一汇聚口的情况下，获取第一图像采集设备采集的第一工件视频，利用预设第一深度学习模型对第一工件视频进行处理，以识别工件的当前姿态，获取与工件传送同步的数字孪生模型，提取数字孪生模型中的目标姿态，其中，由工件的基础信息生成数字孪生模型，将当前姿态与目标姿态进行比较，若当前姿态与目标姿态一致，则允许对工件进行封边。

通过在自动化产线与回转产线的第一汇聚口处设置第一图像采集设备，利用预设第一深度学习模型对第一图像采集设备采集的第一工件视频进行处理，以识别工件的当前姿态，并与数字孪生模型中的目标姿态进行对比，如果两者姿态一致，则说明工件未发生姿态偏移，可以允许对工件进行封边，从而避免封边机故障或者工件报废。

此外，在本发明实施例中，对于第2种局部方案，还存在以下问题：封边一次的工件和新的工件混合通过封边机较难区分识别并分流，如果分流错误会导致半成品流入下一工序，例如对于木质板材经过一次封边，后续与新的木质板材通过封边机较难区分识别并分流，有可能将经过一次封边的木质板材(即半成品)分流到下一工序。

为了解决此类问题，本发明实施例在自动化产线与回转产线的第二汇聚口处设置第二图像采集设备，例如，如图7所示，在自动化产线与回转产线的汇聚口2处设置摄像头2。基于此，如图8所示，为本发明实施例提供的另一种工件封边方法的实施流程示意图，该方法可以应用于处理器，具体可以包括以下步骤：

S801，在所述工件到达所述第二汇聚口的情况下，获取所述第二图像采集设备采集的第二工件视频。

在本发明实施例中，对于从进料方向进来的工件，经过封边机1#和封边机2#加工封边一次，在工件达到第二汇聚口的情况下，通过机器视觉对工件进行分流，以便于判断工件是否需要传送到回转产线，据此获取第二图像采集设备采集的第二工件视频。

例如，在本发明实施例中，对于从进料方向进来的木质板材，经过封边机1#和封边机2#加工封边一次，在木质板材达到汇聚口2的情况下，通过机器视觉对木质板材进行分类，以便于判断木质板材是否需要传送到回转产线，据此获取摄像头2采集的第二木质板材视频。

需要说明的是，对于第二图像采集设备，例如可以是常规摄像头，也可以是其他图像传感器，本发明实施例对此不作限定。

S802，利用预设第二深度学习模型对所述第二工件视频进行处理，以提取所述工件的N个加工区域。

在本发明实施例中，在工件到达第二汇聚口的情况下，通过第二图像采集设备采集第二工件视频，由此可以利用预设第二深度学习模型对第二工件视频进行处理，以提取工件的N个加工区域，这里加工区域即工件需要封边的边，如图1所示的A、B、C、D等4个边。

需要说明的是，这里预设第二深度学习模型具体可以是Lapnet网络，当然还可以是CNN算法、YOLO算法等，本发明实施例对此不作限定，可以根据具体情况进行选择。

例如，在本发明实施例中，在木质板材到达汇聚口2的情况下，通过摄像头2采集第二木质板材视频，由此可以利用预设第二深度学习模型对第二木质板材视频进行处理，以提取木质板材的4个加工区域，即4个需要进行封边的边。

S803，确定N个所述加工区域中已封边的加工区域，并统计已封边的加工区域对应的数量。

在本发明实施例中，对于工件的N个加工区域，确定N个加工区域中已封边的加工区域，并统计已封边的加工区域对应的数量。

其中，针对任一加工区域，提取数字孪生模型中的材质信息，将加工区域以及材质信息输入至预设第二深度学习模型，获取预设第二深度学习模型的输出结果，若输出结果满足预设条件，则确定加工区域为已封边的加工区域。

例如，针对4个加工区域中任一加工区域，提取木质板材的数字孪生模型中的材质信息，假设颗粒板黄楸木，将加工区域以及材质信息输入至预设第二深度学习模型，获取预设第二深度学习模型的输出结果，若输出结果为1，则确定加工区域为已封边的加工区域。其中，不同的输出结果代表不同的含义，如下表2所示。

输出结果	含义
		1	已封边
0	未封边

表2

需要说明的是，在本发明实施例中，已封边和未封边的特征不一样，将加工区域以及材质信息输入至预设第二深度学习模型，是为了结合数字孪生模型中的材质信息，可以进一步提高预测准确率。

其中，获取机器视觉训练集，并判断材质信息是否存在于机器视觉训练集，若材质信息存在于机器视觉训练集，将加工区域以及材质信息输入至预设第二深度学习模型。

此外，若材质信息未存在于机器视觉训练集，从第二工件视频中抽取M帧图像，并添加至机器视觉训练集，基于经过图像添加的机器视觉训练集，对预设第二深度学习模型进行迭代优化。

例如，如果材质信息，假设颗粒板黄楸木未存在于机器视觉训练集，从第二木质板材视频中抽取M帧图像(即很多张当前木质板材特征照片)，添加至机器视觉训练集，基于经过图像添加的机器视觉训练集，通过无监督学习(例如“受限玻尔兹曼机”)或有监督学习，对预设第二深度学习模型进行迭代优化，提高识别准确率。

S804，若所述数量大于预设阈值，则确定所述工件已完成封边，并将所述工件排出。

在本发明实施例中，对于已封边的加工区域对应的数量，若数量大于预设阈值，则确定工件已完成封边，并将工件排出。若数量未大于预设阈值，则确定工件未完成封边，则将工件传送至回转产线。如此可以实现工件的分流，确保半成品不会被分流到下一工序。

例如，在本发明实施例中，对于已封边的加工区域对应的数量，若数量大于2，则确定木质材质已封边两次，并更新到数字孪生模型，此时木质板材为成品，由此可以确定木质板材已完成封边，后续控制系统将木质板材排出。

例如，在本发明实施例中，对于已封边的加工区域对应的数量，若数量未大于2，则确定木质板材已封边一次，并更新到数字孪生模型，此时木质板材为半成品，由此可以确定木质板材未完成封边，后续控制系统将木质板材传送至回转产线。

通过上述对本发明实施例提供的技术方案的描述，在自动化产线与回转产线的第二汇聚口处设置第二图像采集设备，在工件到达第二汇聚口的情况下，获取第二图像采集设备采集的第二工件视频，利用预设第二深度学习模型对第二工件视频进行处理，以提取工件的N个加工区域，确定N个加工区域中已封边的加工区域，并统计已封边的加工区域对应的数量，若数量大于预设阈值，则确定工件已完成封边，并将工件排出，若数量未大于预设阈值，则确定工件未完成封边，则将工件传送至回转产线。

通过在自动化产线与回转产线的第二汇聚口处设置第二图像采集设备，利用预设第二深度学习模型对第二图像采集设备采集的第二工件视频进行处理，以提取工件的N个加工区域，确定N个加工区域中已封边的加工区域，并统计已封边的加工区域对应的数量，若数量大于预设阈值，则确定工件已完成封边，并将工件排出，若数量未大于预设阈值，则确定工件未完成封边，则将工件传送至回转产线，如此可以实现工件的分流，确保半成品不会被分流到下一工序。

与上述方法实施例相对应，本发明实施例还提供了一种工件封边装置，如图9所示，该装置可以包括：视频获取模块910、姿态识别模块920、姿态提取模块930、工件封边模块940。

视频获取模块910，用于在工件到达所述第一汇聚口的情况下，获取所述第一图像采集设备采集的第一工件视频；

姿态识别模块920，用于利用预设第一深度学习模型对所述第一工件视频进行处理，以识别所述工件的当前姿态；

姿态提取模块930，用于获取与所述工件传送同步的数字孪生模型，提取所述数字孪生模型中的目标姿态，其中，由所述工件的基础信息生成所述数字孪生模型；

工件封边模块940，用于将所述当前姿态与所述目标姿态进行比较，若所述当前姿态与所述目标姿态一致，则允许对所述工件进行封边。

本发明实施例还提供了一种电子设备，如图10所示，包括处理器101、通信接口102、存储器103和通信总线104，其中，处理器101，通信接口102，存储器103通过通信总线104完成相互间的通信，

存储器103，用于存放计算机程序；

处理器101，用于执行存储器103上所存放的程序时，实现如下步骤：

在工件到达所述第一汇聚口的情况下，获取所述第一图像采集设备采集的第一工件视频；利用预设第一深度学习模型对所述第一工件视频进行处理，以识别所述工件的当前姿态；获取与所述工件传送同步的数字孪生模型，提取所述数字孪生模型中的目标姿态，其中，由所述工件的基础信息生成所述数字孪生模型；将所述当前姿态与所述目标姿态进行比较，若所述当前姿态与所述目标姿态一致，则允许对所述工件进行封边。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的工件封边方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的工件封边方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在存储介质中，或者从一个存储介质向另一个存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种工件封边方法，其特征在于，在自动化产线与回转产线的第一汇聚口处设置第一图像采集设备，所述方法包括：

在工件到达所述第一汇聚口的情况下，获取所述第一图像采集设备采集的第一工件视频；

利用预设第一深度学习模型对所述第一工件视频进行处理，以识别所述工件的当前姿态；

获取与所述工件传送同步的数字孪生模型，提取所述数字孪生模型中的目标姿态，其中，由所述工件的基础信息生成所述数字孪生模型；

将所述当前姿态与所述目标姿态进行比较，若所述当前姿态与所述目标姿态一致，则允许对所述工件进行封边。

2.根据权利要求1所述的方法，其特征在于，所述利用预设第一深度学习模型对所述第一工件视频进行处理，以识别所述工件的当前姿态，包括：

利用预设第一深度学习模型对所述第一工件视频进行处理，以获取所述工件的边界，对所述工件的边界进行拟合得到当前多边形；

所述提取所述数字孪生模型中的目标姿态，包括：

提取所述数字孪生模型中的目标多边形；

所述将所述当前姿态与所述目标姿态进行比较，若所述当前姿态与所述目标姿态一致，则允许对所述工件进行封边，包括：

将所述当前多边形与所述目标多边形进行比较，若所述当前多边形与所述目标多边形重合，则允许对所述工件进行封边。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若所述当前多边形与所述目标多边形未重合，则确定所述工件的姿态偏移角度；

若所述姿态偏移角度大于预设角度阈值，则确定所述工件异常，并将所述工件排出。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述姿态偏移角度未大于所述预设角度阈值，则根据所述姿态偏移角度对所述工件进行姿态调整；

在对所述工件进行姿态调整之后，通过所述自动化产线将所述工件传送至封边设备进行封边。

5.根据权利要求1所述的方法，其特征在于，在所述自动化产线与所述回转产线的第二汇聚口处设置第二图像采集设备，所述方法还包括：

在所述工件到达所述第二汇聚口的情况下，获取所述第二图像采集设备采集的第二工件视频；

利用预设第二深度学习模型对所述第二工件视频进行处理，以提取所述工件的N个加工区域；

确定N个所述加工区域中已封边的加工区域，并统计已封边的加工区域对应的数量；

若所述数量大于预设阈值，则确定所述工件已完成封边，并将所述工件排出。

6.根据权利要求5所述的方法，其特征在于，所述确定N个所述加工区域中已封边的加工区域，包括：

针对任一所述加工区域，提取所述数字孪生模型中的材质信息，将所述加工区域以及所述材质信息输入至所述预设第二深度学习模型；

获取所述预设第二深度学习模型的输出结果，若所述输出结果满足预设条件，则确定所述加工区域为已封边的加工区域。

7.根据权利要求6所述的方法，其特征在于，所述将所述加工区域以及所述材质信息输入至所述预设第二深度学习模型，包括：

获取机器视觉训练集，并判断所述材质信息是否存在于所述机器视觉训练集；

若所述材质信息存在于所述机器视觉训练集，将所述加工区域以及所述材质信息输入至所述预设第二深度学习模型。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

若所述材质信息未存在于所述机器视觉训练集，从所述第二工件视频中抽取M帧图像，并添加至所述机器视觉训练集；

基于经过图像添加的所述机器视觉训练集，对所述预设第二深度学习模型进行迭代优化。

9.根据权利要求5所述的方法，其特征在于，所述方法还包括：

若所述数量未大于所述预设阈值，则确定所述工件未完成封边，则将所述工件传送至所述回转产线。

10.一种工件封边装置，其特征在于，在自动化产线与回转产线的第一汇聚口处设置第一图像采集设备，所述装置包括：

视频获取模块，用于在工件到达所述第一汇聚口的情况下，获取所述第一图像采集设备采集的第一工件视频；

姿态识别模块，用于利用预设第一深度学习模型对所述第一工件视频进行处理，以识别所述工件的当前姿态；

姿态提取模块，用于获取与所述工件传送同步的数字孪生模型，提取所述数字孪生模型中的目标姿态，其中，由所述工件的基础信息生成所述数字孪生模型；

工件封边模块，用于将所述当前姿态与所述目标姿态进行比较，若所述当前姿态与所述目标姿态一致，则允许对所述工件进行封边。

11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1至9中任一项所述的方法步骤。

12.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至9中任一项所述的方法。

Images