CN113420612A - 基于机器视觉的生产节拍计算方法 - Google Patents

Abstract

本发明涉及基于机器视觉的生产节拍计算方法。包括摄像头以及与所述摄像头连接的边缘计算盒子，在生产线通道安装摄像头；将队列中的图像进行二值化处理，自适应阈值处理；计算黑点在图像中的占比；当前时间t₀占比计算：P_t0＝H₀/T₀；将节拍计算队列中每张照片的黑点占比跟时间，形成时间曲线图；计算n(n>10)张图像的黑点比例均值和黑点比例均值标准差；A＝(P₀+P₁+....P_n‑1)/n；标准差：S＝Sqrt((P_0‑A)²+(P_1‑A)²+(P_n‑1‑A)²)；计算均值和标准差相减的绝对值：D＝Abs(S‑A)；当D大于阈值时，输出节拍开始时间、结束时间和其他附加信息；计算结束，进入下一个箱节拍计算。

Description

基于机器视觉的生产节拍计算方法

技术领域

本发明属于集装箱技术领域，特别涉及一种集装箱生产节拍数据的采 集、分析，对下一步改进生产效率、节省生产成本起到非常重要作用，基 于机器视觉的生产节拍计算方法。

背景技术

传统的节拍计算一般是通过在每个工位加装传感器或传送带控制器， 通过感应集装箱的位置和到达时间来计算节拍。这种方式安装、实施成本 很高，而且由于生产环境灰尘、电焊、温度等影响，传感器容易出故障。 本发明通过在每个工位加装摄像头(摄像头成本很低)，通过机器视觉智能 算法来实现节拍的计算。

现有的集装箱同步节拍系统包括：节拍控制系统以及多条依次连接的 生产线；每条生产线均包括：多条传送带，多条所述传送带相互平行；传 送带控制器，连接于所述节拍控制系统和所述多条传送带，用于控制所述 多条传送带同步运动；以及多个工位，多个工位沿所述传送带分布；其中， 所述节拍控制系统配置为在接收到单条生产线中所有工位上的工作人员所 发送的工序完成指令后指示该条生产线的传送带控制器控制传送带同步运动以使得该条生产线上的所有集装箱都进入到各自下一个工站。

其不足之处是:

1)每个工位都需要安装传送带控制器或传感器，控制板，需要进行PLC 程序编写和控制软件开发。安装、部署、实施成本高。

2)传送带控制器传感器由于随着集装箱生产在不断转动，容易磨损和 产生故障。

3)技术通用型不强，目前只能应用于中集集团指定的集装箱生产线。

CN201911099769.2公开了一种集装箱生产工厂的同步节拍系统以及控 制方法,它的目的是提供一种集装箱生产工厂的同步节拍系统，其包括：节 拍控制系统以及多条依次连接的生产线。该技术方案:所述集装箱生产工厂 的同步节拍系统，包括：节拍控制系统以及多条依次连接的生产线；每条 生产线均包括：多条传送带，多条所述传送带相互平行；传送带控制器， 连接于所述节拍控制系统和所述多条传送带，用于控制所述多条传送带同步运动；以及多个工位，多个工位沿所述传送带分布；其中，所述节拍控 制系统配置为在接收到单条生产线中所有工位上的工作人员所发送的工序 完成指令后指示该条生产线的传送带控制器控制传送带同步运动以使得该 条生产线上的所有集装箱都进入到各自下一个工站。所述集装箱生产工厂 的同步节拍控制方法，包括：接收工序完成指令；判断是否有任意一条生 产线中每个工位上的工作人员都发送了工序完成指令；若没有，则重复上 个接收工序完成指令的步骤；若有，则集齐工序完成指令的生产线同步拖 动集装箱到下一个工站。其不足之处是:

1)每个工位都需要安装传送带控制器或传感器，控制板，需要进行PLC 程序编写和控制软件开发。安装、部署、实施成本高。

2)传送带控制器传感器由于随着集装箱生产在不断转动，容易磨损和 产生故障。

3)技术通用型不强，目前只能应用于中集集团指定的集装箱生产线。

发明内容

本发明的目的是提供一种采用摄像头机器视觉方式计算节拍，采用的 算法计算速度快，准确性高，对计算机设备配置要求低，安装实施方便， 成本低，通过读取摄像头视频，实现识别生产线识别集装箱生产节拍的技 术方法；理论上该技术方法可推广到任何生产线产品生产节拍计算并基于 机器视觉的生产节拍计算方法。本发明的另一目的是提供一种具有通用型， 对一条生产线进行混合生产，即生产不同类型的产品，如同时生产标箱和 特箱，算法同样有效，且能检测到产线更换了箱型产品类型，对不同的生 产线和产品，只需要调整阈值参数，不需要改动算法，各种产线上的各类 大件商品生产都可以实现节拍计算，泛化性高，适配性强；利用软件方式 计算节拍比采用传感器硬件识别节拍，实现方式更加灵活，故障率低并基 于机器视觉的生产节拍计算方法。本发明的再一目的是提供一种提取节拍 特征，从而进一步实现对产品类型、形状、尺寸和产品质量检测并基于机 器视觉的生产节拍计算方法。

本发明的技术解决方案是所述基于机器视觉的生产节拍计算方法，包 括摄像头以及与所述摄像头连接的边缘计算盒子，其特殊之处在于，包括 以下步骤：

⑴读取视频流,对视频流照片进行采样，从第一帧开始，得到照片I₀, 其中I₀为numpy.ndarray数据格式，是三维数组；

⑵对图片进行统一预处理，包括图像缩放、压缩，使得处于同一分辨 率和图像质量；采用相邻帧对比方法，利用感知哈希算法f(I₁,I₂)，对差异 超过第一阈值h(h>7％)的视频取图像帧；

⑶将队列中的图像进行二值化处理，自适应阈值处理；使用近似一维 Means方法寻找二值化阈值；当第n帧I_n加入节拍计算队列后，后续帧I_n+1跟 I_n进行对比，差异超过h，则将I_n+1加入节拍计算队列；如果不超过h，则 跳过此帧；下一帧，继续跟第一帧I_n进行对比，直至出现超过h的差异；

⑷计算黑点在图像中的占比，当前时间t₀占比计算：

P_t0＝H₀/T₀

式中：H₀表示黑点数量，T₀表示总像素点数，P_t0表示时间t₀黑点占比；

将节拍计算队列中每张照片的黑点占比跟时间，形成时间曲线图，跟 视频流一起展示，呈现明显的节拍规律；

⑸计算n(n>10)张图像的黑点比例均值和黑点比例标准差；

均值计算：A＝(P₀+P₁+....P_n-1)/n

式中：A表示均值，P_i表示第i个点的黑点占比

标准差计算：S＝Sqrt((P_0-A)²+(P_1-A)²+....(P_n-1-A)²)；

式中：S表示n个点的黑点占比标准差，Sqrt表示求平方根函数

计算均值A和标准差S相减的绝对值：

D＝Abs(S-A),

式中：D表示均值和标准差的绝对值，Abs表示求绝对值函数；

⑹当箱子离开时，曲线往下走，最终形成波谷；另外一个箱子到来后， 重新形成波峰时，前一个集装箱节拍结束；

⑺当D大于阈值F时，输出节拍开始时间、结束时间和其他附加信息， 本次计算结束，进入下一个箱节拍计算。

作为优选：步骤⑵所述的相邻帧对比方法进一步包括：

(2.1)将第二帧I₁和第一帧I₀进行对比，如果差异超过第一阈值h，则 将第二帧I₁加入节拍计算队列；如果不超过第一阈值h，则跳过此帧；下一 帧，继续跟第一帧I₀进行对比，直至出现超过第一阈值h的差异；当第n 帧I_n加入节拍计算队列后，后续帧I_n+1跟第n帧I_n进行对比，差异超过阈值 h，则将I_n+1加入节拍计算队列；如果不超过第一阈值h，则跳过此帧；下一 帧，继续跟第一帧I；进行对比，直至出现超过第一阈值h的差异。

作为优选：步骤⑶所述二值化处理，进一步包括以下步骤：

(3.1)初始化第二阈值T，通过自己设置或者根据随机方法生成；

(3.2)根据第二阈值图每个像素数据P(n,m)分为对象像素数据G₁与背 景像素数据G₂；式中：n表示行，m表示列；

(3.3)所述对象像素数据G₁的平均值是m₁,所述背景像素数据G₂的平均 值是m₂；

(3.4)第三阈值T′＝(m₁+m₂)/2；

(3.5)返回步骤(3.2)，用第三阈值继续分像素数据为对象与背景像素 数据，继续步骤(3.2)～步骤(3.4)，直到计算出来的第三阈值等于第二阈 值。

作为优选：步骤⑸所述的计算均值A和标准差S相减的绝对值 D＝Abs(S-A)：当D达到一定幅度F，F>0.15,需要根据产品大小、纹理调整 参数，曲线不断上升，即当做一个节拍开始；对箱子停留在摄像头前面， 以前后摄像头辅助，确认为静止状态，计算节拍时，去掉静止时间。

与现有技术相比，本发明的有益效果:

⑴本发明对生产线由于机器视觉已经安装好的摄像头进行利用，用于 计算生产节拍，采集节拍照片；系统会生成产量统计，节拍效率数据；并 跟企业DMS、ERP系统通过API接口对接。

⑵当检测到某个生产线节拍计算数据异常，可以产生告警和照片、日 志等记录；对异常事件，如产线生产非标准产品、生产效率降低等及时告 警。

⑶本发明通过对集装箱生产效率分析，提高产线利用率，降低资源浪 费！

⑷本发明通过节拍的采集，结合业务数据，可分析当前生产线时间上 下班时间，工作效率，可以作为工人绩效考核依据。

⑸本发明通过节拍异常特征提取，可分析产品是否有质量问题。

⑹本发明的技术在工厂生产线效率数据统计分析、产量统计、异常分 析等方便具有较大作用，从而给企业提供决策支持和实施降本增效。

⑺本发明的技术具有通用型，对不同的生产线和产品，只需要调整阈 值参数，不需要改动算法。虽然本发明以集装箱生产为例进行描述，但不 仅仅局限于集装箱生产；各种产线上的各类大件商品生产都可以实现节拍 计算，泛化性高，适配性强。

附图说明

图1是本发明基于机器视觉的生产节拍计算方法的软件流程图；

图2是本发明基于机器视觉的生产节拍计算方法的架构图；

图3是本发明基于机器视觉的生产节拍计算方法将节拍计算队列中每 张照片的黑点占比跟时间，形成的时间曲线图。

具体实施方式

本发明下面将结合附图作进一步详述：

首先需要在生产线通道合适位置安装摄像头，目前在集装箱生产工厂 共用了三个摄像头，计算节拍的主摄像头安装在通道侧面，通道前后的摄 像头做辅助；计算节拍的摄像头需要在产品(集装箱)经过的时候，能够把 摄像头全部挡住。

请参阅图1、图2所示，该基于机器视觉的生产节拍计算方法，包括摄 像头以及与所述摄像头连接的边缘计算盒子，包括以下步骤：

⑴读取视频流,对视频流照片进行采样，从第一帧开始，得到照片I₀, 其中I0为numpy.ndarray数据格式，是三维数组；

⑵定义第一阈值h(h>7％)，h代表两幅图片的哈希差异；对图片进行统 一预处理，包括图像缩放、压缩，使得处于同一分辨率和图像质量；采用 相邻帧对比方法，利用感知哈希算法f(I₁,I₂)，对差异超过阈值h的视频取 图像帧；所述相邻帧对比方法进一步包括：将第二帧I₁和第一帧I₀，进行 对比，如果差异超过h，则将I₁加入节拍计算队列；如果不超过h，则跳过 此帧；下一帧，继续跟第一帧I₀进行对比，直至出现超过h的差异；当第n 帧I_n加入节拍计算队列后，后续帧I_n+1跟I_n进行对比，差异超过h，则将I_n+1加入节拍计算队列；如果不超过h，则跳过此帧；下一帧，继续跟第一帧I； 进行对比，直至出现超过h的差异；

⑶将队列中的图像进行二值化处理，自适应阈值处理；使用近似一维 Means方法寻找二值化阈值；所述二值化处理，进一步包括以下步骤：

(3.1)初始化阈值T，通过自己设置或者根据随机方法生成；

(3.2)根据阈值图每个像素数据P(n,m)分为对象像素数据G₁与背景像 素数据G₂；其中：n为行，m为列；

(3.3)所述对象像素数据G₁的平均值是m1,所述背景像素数据G₂的平均 值是m2；

(3.4)新的阈值T′＝(m1+m2)/2；

(3.5)返回步骤(3.2)，用第三阈值继续分像素数据为对象与背景像素 数据，继续步骤(3.2)～步骤(3.4)，直到计算出来的第三阈值等于第二阈 值；

⑷计算黑点在图像中的占比，当前时间t₀占比计算：

P_t0＝H₀/T₀

式中：H₀表示黑点数量，T₀表示总像素点数，P_t0表示时间t₀黑点占比；

请参阅图3所示，将节拍计算队列中每张照片的黑点占比跟时间，形 成时间曲线图，跟视频流一起展示，从图中已经可以看到明显的节拍规律 了；

⑸计算n(n>10)张图像的黑点比例均值和黑点比例标准差；

均值计算：A＝(P₀+P₁+....P_n-1)/n

式中：A表示均值，P_i表示第i个点的黑点占比

标准差计算：S＝Sqrt((P_0-A)²+(P_1-A)²+....(P_n-1-A)²)；

式中：S表示n个点的黑点占比标准差，Sqrt表示求平方根函数

计算均值A和标准差S相减的绝对值：

D＝Abs(S-A),

式中：D表示均值和标准差的绝对值，Abs表示求绝对值函数；

当D达到一定幅度F(F>0.15,具体不同的产品不一样，需要根据产品 大小、纹理调整参数)，曲线不断往上升，即当做一个节拍开始(视频中表 现为一个箱子过来，通过了侧面摄像头)，对箱子停留在摄像头前面，可以 拿前后摄像头辅助，确认为静止状态，计算节拍时，去掉静止时间(一般 生产过程中，可能存在工人休息，产线暂停情况，这种情况下D变化幅度 很小，如小于0.05)；

⑹当箱子离开时，曲线往下走，最终形成波谷；另外一个箱子到来后， 重新形成波峰时，前一个集装箱节拍结束；

⑺输出节拍开始时间、结束时间和其他附加信息，如箱号、照片等。 本次计算结束，进入下一个箱节拍计算。

针对具体应用场景，需要对生产线产品进行具体参数设置，包括二值 化阈值、帧对比差异阈值、黑点均值跟黑点标准差绝对值阈值等参数根据 实际情况进行参数调整。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的 均等变化与修饰，皆应属本发明权利要求的涵盖范围。

Claims (4)

1.一种基于机器视觉的生产节拍计算方法，包括摄像头以及与所述摄像头连接的边缘计算盒子，其特征在于，包括以下步骤：

⑴读取视频流,对视频流照片进行采样，从第一帧开始，得到照片I₀,其中I₀为numpy.ndarray数据格式，是三维数组；

⑵定义阈值h，h>7％，h代表两幅图片的哈希差异；对图片进行统一预处理，包括图像缩放、压缩，使得处于同一分辨率和图像质量；采用相邻帧对比方法，利用感知哈希算法f(I₁,I₂)，对差异超过阈值h的视频取图像帧，当第n帧I_n加入节拍计算队列后，后续帧I_n+1跟I_n进行对比，差异超过h，则将I_n+1加入节拍计算队列；如果不超过h，则跳过此帧；下一帧，继续跟第一帧I_n进行对比，直至出现超过h的差异；

⑶将队列中的图像进行二值化处理，自适应阈值处理；使用近似一维Means方法寻找二值化阈值；

⑷计算黑点在图像中的占比，当前时间t₀占比计算：

P_t0＝H₀/T₀

式中：H₀表示黑点数量，T₀表示总像素点数，P_t0表示时间t₀黑点占比；

将节拍计算队列中每张照片的黑点占比跟时间，形成时间曲线图，跟视频流一起展示，呈现明显的节拍规律；

⑸计算n(n>10)张图像的黑点比例均值和黑点比例标准差；

均值计算：A＝(P₀+P₁+....P_n-1)/n

标准差计算：S＝Sqrt((P₀-A)²+(P₁-A)²+....(P_n-1-A)²)；

式中：Sqrt表示求平方根函数

计算均值A和标准差S相减的绝对值：

D＝Abs(S-A),

式中：Abs表示求绝对值；

⑹当箱子离开时，曲线往下走，最终形成波谷；另外一个箱子到来后，重新形成波峰时，前一个集装箱节拍结束；输出绝对值D的曲线和结果。

⑺定义阈值F，F>0.15,当D>F时，输出节拍开始时间、结束时间和其他附加信息，本次计算结束，进入下一个箱节拍计算。

2.根据权利要求1所述基于机器视觉的生产节拍计算方法，其特征在于，步骤⑵所述的相邻帧对比方法进一步包括：

(2.1)将第二帧I₁和第一帧I₀进行对比，如果差异超过第一阈值h，则将第二帧I₁加入节拍计算队列；如果不超过第一阈值h，则跳过此帧；下一帧，继续跟第一帧I₀进行对比，直至出现超过第一阈值h的差异；当第n帧I_n加入节拍计算队列后，后续帧I_n+1跟第n帧In进行对比，差异超过第一阈值h，则将I_n+1加入节拍计算队列；如果不超过第一阈值h，则跳过此帧；下一帧，继续跟第一帧I；进行对比，直至出现超过第一阈值h的差异。

3.根据权利要求1所述基于机器视觉的生产节拍计算方法，其特征在于，步骤⑶所述二值化处理，进一步包括以下步骤：

(3.1)初始化第二阈值T，通过自己设置或者根据随机方法生成；

(3.2)根据第二阈值图每个像素数据P(n,m)分为对象像素数据G₁与背景像素数据G₂；式中：n表示行，m表示列；

(3.3)所述对象像素数据G₁的平均值是m₁,所述背景像素数据G₂的平均值是m₂；

(3.4)第三阈值T′＝(m₁+m₂)/2；

(3.5)返回步骤(3.2)，用第三阈值继续分像素数据为对象与背景像素数据，继续步骤(3.2)～步骤(3.4)，直到计算出来的第三阈值等于第二阈值。

4.根据权利要求1所述基于机器视觉的生产节拍计算方法，其特征在于，步骤⑸所述的计算均值A和标准差S相减的绝对值D＝Abs(S-A)：

当D达到设定幅度F，F>0.15,根据产品大小、纹理调整参数，曲线不断上升，即当做一个节拍开始；对箱子停留在摄像头前面，以前后摄像头辅助，确认为静止状态，计算节拍时，去掉静止时间。

Images