CN117315723B

CN117315723B - 一种基于人工智能的模具车间数字化管理方法及系统

Info

Publication number: CN117315723B
Application number: CN202311598487.3A
Authority: CN
Inventors: 罗勇; 任伟安; 刘双喜
Original assignee: Shenzhen Jiechaohang Mould Co ltd
Current assignee: Shenzhen Jiechaohang Mould Co ltd
Priority date: 2023-11-28
Filing date: 2023-11-28
Publication date: 2024-02-20
Anticipated expiration: 2043-11-28
Also published as: CN117315723A

Abstract

本发明提出一种基于人工智能的模具车间数字化管理方法及系统，利用图像识别与神经网络模型有机结合，对车间内的模具操作行为进行智能化的判别，降低模具误操作的风险，并节省了人力成本，在智能制造领域有效的实现了模具车间的数字化高效精准管理。

Description

一种基于人工智能的模具车间数字化管理方法及系统

技术领域

本发明内容属于智能制造技术领域，特别地，涉及一种模具车间数字化管理系统。

背景技术

工业4.0的大环境下,工业互联网、人工智能技术快速发展,大机器生产成为趋势,车间规模增大，传统工业人员管理方式弊端不断显现,这都对现代工厂生产和管理提出了更高的要求。传统生产车间的电子标签打卡等方式不能满足现代车间管理需要。

模具车间管理的主要内容涉及对车间内各零件、零件组等模具的使用管理。其中，对模具的领用管理是其中的重要工序。由于车间庞大，人员众多，模具种类众多，经常发生对应模具的误领误用问题，增加了生产的风险，影响了产品质量。而委派专人对模具领取进行核验，又增加了生产制造环节、消耗大量人力成本，降低了生产效率。

现有技术中也提出了采用图像识别、跟踪的方式来协助模具的管理，但这些方法大多基于传统的图像处理或视频处理方法，算法复杂效率低，不仅对硬件有较高要求，且实际管理准确性难以达到生产的需要。也有人提出使用神经网络模型的方式，但目前均是使用通用神经网络模型识别物体，并没有针对模具车间的具体环境、操作对象进行专门的模型设计、优化。因此，识别效果依然有限。

因此，如何针对模具车间的特殊场景和需求，高效、智能、准确、低成本地进行模具的管理是目前智能制造领域亟待解决的问题。

发明内容

为了降低模具车间的管理成本，利用数字化技术提高模具车间的管理效率和效果，本发明提出一种模具车间数字化管理系统，利用人工智能、无线网络技术对车间内的模具进行数字化管理，降低模具误领取的风险，并节省了人力成本。

一种基于人工智能的模具车间数字化管理方法，利用摄像机在模具车间工况下采集图像和/或视频，

步骤1：以工作人员工作服的颜色作为识别个体的有效约束条件，利用模板匹配法对采集图像中的个体进行提取，获得一组匹配子图；

对于每一个子图，定义颜色深度表示为：

其中，符号表示反余弦函数，%符号表示取余运算，/>分别表示子图像的三个颜色分量；

定义图像的颜色边界向量：

式2中表示图像坐标为/>处的颜色深度。

当颜色边界向量满足其L2范数小于阈值R，且其方向角满足绝对值小于45度时，称该向量所在位置为颜色边界：

分别计算当前匹配子图与原个体模板图像的颜色边界图像，并计算二者的L1范数距离：

其中，表示个体模板图像对应的颜色边界图像，/>表示匹配子图对应的颜色边界图像；当L1范数距离小于阈值Y时，则认为匹配到一个个体目标；

步骤2：跟踪每个个体目标在视频中随时间变化的位置，如果两者重心的距离小于G：

为工作人员对象在图像中的重心，/>为模具对象在图像中的重心；则将工作人员与模具所在子图范围的外切矩形随时间变化形成的视频作为输入样本；

上述输入样本视频中，每一帧包含原始视频图像的灰度映射、根据式（1）计算得到的原始视频图像的颜色深度映射/>、根据式（2）、（3）计算得到的原始视频图像的颜色边界映射/>，

将上述一帧中的三个图像作为神经网络模型输入进行工作人员操作模具行为的判别，并输出判别结果。

当判别发生非法操作动作时，在当场发出告警。

将发生非法情形的相应模具类型、人员的照片等发送至服务器并告警。

收集不同类型模具的合法操作动作与非法操作动作作为样本，采用BP算法求解神经网络的收敛参数。

神经网络模型的激励函数为

其中表示自然指数函数，/>为调节系数。

一种基于人工智能的模具车间数字化管理系统，实施所述的方法。

包括服务器、通讯装置、多个摄像机、报警装置。

摄像机用于采集模具车间图像；

通讯装置用于将采集的图像或视频数据发送至服务器中。

报警装置用于根据服务器信号对误操作的行为进行报警提醒。

本发明的发明点及技术效果：

1、在复杂的模具车间环境中优化了目标识别的方法，保证了识别分割的准确性，能够在模具车间复杂环境下有效识别工作人员个体的位置，减轻了后续神经网络模型判断的负担，保证了模具车间管理的高效、准确。

2、本发明提出一种对车间中个体对象拾取模具的行为识别及管理方法，判别是否存在对模具的误领取情形。提出一种行为双方对象综合识别模型，将工作人员目标、模具目标与二者间行为联合建模，从而提高对工作人员领取模具行为的识别准确率。

3、优化了神经网络模型结构，使其与识别结果相互配合，保证了行为的识别准确率，提升了模具车间管理的效率和效果。

具体实施方式

一种基于人工智能的模具车间数字化管理系统，包括服务器、通讯装置、多个摄像机、报警装置。

其中摄像机用于对车间内的模具提取货架、来往个体对象进行监控，采集图像或视频数据。

通讯装置用于将采集的图像或视频数据发送至服务器中。

服务器用于基于以下方法对收到的图像进行人员识别，并利用神经网络模型对人员操作模具的行为进行识别判断，在发生误操作时进行报警提醒。

报警装置用于根据服务器信号对误操作的行为进行报警提醒，其形式包括声、光、电形式的现场提醒，还包括将报警展示在远程服务器上。

服务中实施的算法包括：

步骤1基于图像颜色边界对个体对象进行识别。

本发明提出一种利用人工智能、图像识别技术对车间内的模具进行数字化管理的方法，对车间内模具进行自主管理。

采用一组摄像机对车间内的模具提取货架、来往个体对象进行监控。所述个体对象，指车间中的工作人员，不同的工作人员穿着不同颜色的工作服，用以分辨其工作职责，并关联对不同类模具的提取权限。

个体对象进入监控区域时，摄像机需分析监控视频中的行动目标，识别每个个体的位置。

从视频中提取行动目标，经典方法包括帧差法、光流法、模板匹配法等。其中，帧差法是通过对相邻帧作差得到视频两帧间的差异部分，进而判别运动目标在图像中的位置；光流法通过计算每个像素在相邻帧间的变化，判别运动目标的位置；模板匹配法通过采用参考模板与视频帧进行比对，进而找出运动目标的位置。

对于模具车间内的复杂环境，工作人员较多，采用帧差法难以辨别每个个体对象的具体位置，光流法同样存在类似问题，而经典的模板匹配法对人员部分遮挡的情形下误报率较高。因此，基于车间的具体工况，提出一种基于图像颜色通道的个体对象识别方法，能够在模具车间复杂环境下有效识别工作人员个体的位置。

模具车间工况下工作人员工作服的颜色可以作为识别个体的有效约束条件。为了利用上述颜色特征，首先利用模板匹配法对图像中的个体进行提取，获得一组匹配子图、/>、… 。

对于匹配子图，按照下面两种情形进行进一步优化。

情形一、一张匹配子图中存在多个个体目标。

对于一张子图中可能存在多个个体目标，提出一种基于颜色边界的目标探测方法，根据颜色边界进一步划分重叠的个体目标。

取RGB三色图像计算图像的颜色深度，定义为圆周上一点，即：

定义颜色深度表示为：

其中，符号表示反余弦函数，%符号表示取余运算，/>分别表示图像的三个颜色分量，/>是圆周率常数。

定义：

为图像的颜色边界向量。其中，

式2中表示图像坐标为/>处的颜色深度。

当颜色边界向量满足其L2范数小于阈值R，且其方向角满足绝对值小于45度时，称该向量所在位置为颜色边界，即：

当像素处的颜色深度满足式3时，称该点为颜色边界。由原图根据式2、3计算获得的反映颜色边界的二值图像，称为颜色边界图像，记为/>。

其中，表示个体模板图像对应的颜色边界图像，/>表示匹配子图对应的颜色边界图像；当L1范数距离小于阈值Y时，认为匹配到一个个体目标。

通过上述过程找到匹配子图中包含的所有的个体目标。这样，可以进一步优化个体目标的提取精度，找出重叠的个体目标。

情形二、多张匹配子图对应于同一个体目标。

对于获得的一组匹配子图、/>、…，如果其中两个子图/>、/>满足：

、/>均不存在情形一所述情况，即/>、/>中通过情形一所述方法检测后，都不存在多个个体目标，并且

、/>的重叠面积大于阈值/>，/>以百分比计，根据经验取优选值/>。

则将、/>及其矩形外切边界合并作为一个新的候选匹配子图。同时按照传递关系扩展候选匹配子图，直至不能再扩展，即如果/>、/>满足重叠面积扩展条件，且/>、/>也满足重叠面积扩展条件，则将/>、/>、/>合并成一个候选匹配子图。

通过上述过程，找到具备合并可能的匹配子图，以降低误匹配率。

进一步的，在合并后的候选匹配子图中，以合并前匹配子图中最大的子图尺寸为模板匹配的模板尺寸最低值，在合并后的候选子图中重新运行情形一所述的颜色边界匹配（式3、4）。如果能匹配到个体目标，则将候选匹配子图合并前的个体目标替换为合并后匹配到的个体目标。

通过设计颜色边界的目标优化匹配方法，在模板匹配的基础上分两种典型情形对匹配结果进行优化，可以获得更准确的个体目标匹配识别结果。

步骤2描述了一种对车间中个体对象拾取模具的行为识别及管理方法，判别是否存在对模具的误领取情形。

由于车间中模具种类众多，往往存在对模具的误领取情形，工作人员可能拿走了不应采用的部件。为了实现通过视频图像识别上述情况，需要对图像中的行为及对象进行识别。

传统的基于视频图像的识别方法，通常需要同时识别对象本身和行为动作，一般采用梯度直方图等方法，由于车间视频内容比较复杂，传统方法的错误率较高。近年来，采用神经网络模型的行为识别方法取得了进展，在复杂场景的行为识别任务中取得了较好的效果。对于本发明应用来说，采用经典的神经网络模型，如3D卷积网络模型实施行为识别的主要问题在于以下两点。

一是经典模型的判别对象是行为本身，即拾取动作是否发生，而并不能判断该拾取动作是否合法。

二是叠加经典行为识别模型与对象目标识别模型的组合模型较复杂，不仅计算量大，而且对工作人员目标与模具目标的识别是独立进行的，对两者独立识别率的要求较高，整体识别率难以提升。

为了解决上述问题，本发明提出一种行为双方对象综合识别模型，将工作人员目标、模具目标与二者间行为联合建模，从而提高对工作人员领取模具行为的识别准确率。

对各类模具在图像中的位置进行标定，获得模具在图像中的子图区域。

根据步骤1，获得工作人员个体目标。跟踪每个个体目标在视频中随时间变化的位置。如果两者重心的距离小于G：

为工作人员对象在图像中的重心，/>为模具对象在图像中的重心；则将工作人员与模具所在子图范围的外切矩形随时间变化形成的视频作为输入样本，输入本发明所述行为识别模型。

上述输入样本视频中，每一帧（即时序上的一个截面）包含三幅图像，即原始视频图像的灰度映射、原始视频图像的颜色深度映射（原始图像按式1计算）/>、原始视频图像的颜色边界映射（根据原始图像按式2、3计算）/>。

相应的，形成视频数据分别记为、/>、/>。/>是空间像素坐标，/>为时间变量。上述作为行为识别模型的输入。

行为识别模型采用神经网络分类器，其中各层的组织方法如下。

第一层定义如下。

上式中表示偏置参数，/>、/>表示三维卷积结果，定义如下：

其中、/>、/>为线性自由卷积核。/>为非线性函数称为激励函数/>。该函数定义如下。

其中表示自然指数函数，/>为调节系数，根据经验优选/>。与经典神经网络所采用的sigmoid、ReLU函数相比，该设计可以改善对样本局外点的分类效果，从而增加鲁棒性。

并且，第一层与经典的卷积神经网络相比，采用三级线性自由卷积核，包括灰度映射、颜色深度映射、颜色边界映射的卷积核，从而能够对三组数据源的局部进行同时建模，在性能上相对单一图像数据源、以及针对单一数据源的模型具有显著提升。

第二层定义如下。

其中，是第一层中节点/>与第二层中节点/>的连接权值，由于数据是三维，而/>只针对前两维做连接，故称为部分全连接。/>为线性偏置参数。

第三层定义如下。

类似的，是第二层中节点/>与第三层中节点/>的连接权值，为部分全连接。/>为线性偏置参数。

将第二、三层联合，通过限制线性权值（式7、8的第二部分），构造两组部分全连接的连接层，分别提取灰度映射、颜色深度映射、颜色边界映射三组数据源在空间（前两）维度上的相关性，并通过两层深度的条件连接层进行构造，比单层连接层具备更高的鲁棒性。

第四层定义如下。

为三维全连接线性权重，将空间与时间维映射到一维向量，建立了时空维度的特征关系。/>为该层线性偏置参数。第四层将二维空间维与一维时间维映射到同一特征向量，从而实现了图像目标、行为特征的融合。

通过第四层三维全连接后，生成神经网络的输出如下。

其中表示输出全连接线性权值，/>为线性偏置参数，/>为输出，其含义是：根据输入数据源判断，非法拾取动作是否发生。

收集不同类型模具的合法拾取动作（即具有权限的工作人员领取对应模具）与非法拾取动作（即不具有权限的工作人员领取对应模具），根据上述建立模型，并采用BP算法求解神经网络的收敛参数，相应代价函数采用一阶范数：

其中是模型输出值，/>是训练样本类别真值。

采用训练完成后的模型即可对输入视频数据实施拾取动作检测。

当检测发生非法拾取（操作）动作时，在当场发出告警，并将发生非法情形的相应模具类型、人员的照片等发送至后端并告警，可以实现无人值守的车间模具告警管理。

表1

本发明提出一种模具车间数字化管理系统，利用人工智能、图像识别技术对车间内的模具进行数字化管理，降低模具误领取的风险，并节省了人力成本。根据实验测试数据（表1），本发明自动化方法识别率高，有效的实现了模具车间的数字化高效管理。

以上实施例只是对技术方案的说明，并不构成对保护范围的限定。

Claims

1.一种基于人工智能的模具车间数字化管理方法，利用摄像机在模具车间工况下采集图像和/或视频，其特征在于：

对于每一个子图，定义颜色深度表示为：

；

定义图像的颜色边界向量：

；

式（2）中表示图像坐标为/>处的颜色深度；/>分别为x、y方向的颜色边界向量分量；

；

上述输入样本中，每一帧包含原始视频图像的灰度映射、根据式（1）计算得到的原始视频图像的颜色深度映射/>、根据式（2）、（3）计算得到的原始视频图像的颜色边界映射/>，

将上述一帧中的三个图像分别形成的视频数据作为神经网络模型输入进行工作人员操作模具行为的判别，并输出判别结果。

2.如权利要求1所述的方法，其特征在于：当判别发生非法操作动作时，在当场发出告警。

3.如权利要求2所述的方法，其特征在于：将发生非法情形的相应模具类型、人员的照片发送至服务器并告警。

4.如权利要求3所述的方法，其特征在于：收集不同类型模具的合法操作动作与非法操作动作作为样本，采用BP算法求解神经网络的收敛参数。

5.如权利要求3所述的方法，其特征在于：神经网络模型的激励函数为

；

其中表示自然指数函数，/>为调节系数。

6.一种基于人工智能的模具车间数字化管理系统，其特征在于：实施如权利要求1-5任意一项所述的方法。

7.如权利要求6所述的系统，其特征在于：包括服务器、通讯装置、多个摄像机、报警装置。

8.如权利要求6所述的系统，其特征在于：摄像机用于采集模具车间图像。

9.如权利要求6所述的系统，其特征在于：通讯装置用于将采集的图像或视频数据发送至服务器中。

10.如权利要求6所述的系统，其特征在于：报警装置用于根据服务器信号对误操作的行为进行报警提醒。