CN115496757A

CN115496757A - 基于机器视觉的液压翻板余料量检测方法及系统

Info

Publication number: CN115496757A
Application number: CN202211437012.1A
Authority: CN
Inventors: 刘钟涛; 符鹏; 孔超
Original assignee: Shandong New Purui Intelligent Technology Co ltd
Current assignee: Shandong New Purui Intelligent Technology Co ltd
Priority date: 2022-11-17
Filing date: 2022-11-17
Publication date: 2022-12-20
Anticipated expiration: 2042-11-17
Also published as: CN115496757B

Abstract

本发明属于图像处理技术领域，提供了一种基于机器视觉的液压翻板余料量检测方法及系统，首先对获取的物料图像进行图像增强、灰度化、滤波和二值化预处理，保证了物料图像的质量；然后，依据预处理后的物料图像，得到运输车辆侧面物料的外形曲线；以运输车辆的前进方向为横轴，运输车辆的竖直方向为纵轴，建立坐标系，以像素点作为单位面积，计算所述外形曲线、所述横轴和所述纵轴围成区域的面积为物料面积，运输车辆侧面面积为满额面积；最后，计算物料面积与满额面积的比值得到满额率，实现液压翻板余料量的检测，避免了因卸车高度过高或粉尘污染严重等情况对车辆内的余料量预估不准的问题。

Description

基于机器视觉的液压翻板余料量检测方法及系统

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于机器视觉的液压翻板余料量检测方法及系统。

背景技术

近年来，国内外散装物料的汽车散装运输及装卸总量一直维持在高位运转，汽车散装运输的规模始终在不断扩大。随着国内外散装物料输送事业的不断发展，各大企业对散装物料的装卸水平也不断提出更高的要求，从而应对日益增长的人力成本，以及企业对经济效益、安全环保和企业形象提出的更高要求。

发明人发现，针对大宗散装物料的卸车流程，过去一直是以人工操作为主的模式，存在效率低下、工作环境恶劣、安全无保障以及对周边环境造成粉尘污染严重等缺陷。液压翻板卸车方式的出现解决了人工操作的缺陷，但是在采用液压翻板卸车方式时，常因卸车高度过高或粉尘污染严重等情况对车辆内的余料量预估不准，导致提前下降液压翻板高度或车辆滞留时间过长等浪费物资的情况。

发明内容

本发明为了解决上述问题，提出了一种基于机器视觉的液压翻板余料量检测方法及系统，本发明基于自学习和机器视觉对液压翻板余料量进行检测，解决了实时监测液压翻板上运输车辆中余料量并及时对液压翻板高度进行精准调整的问题，减少了运输车辆、液压翻板滞留导致的物资浪费。

为了实现上述目的，本发明是通过如下的技术方案来实现：

第一方面，本发明提供了一种基于机器视觉的液压翻板余料量检测方法，包括：

获取位于液压翻板上运输车辆内的物料图像；

对所述物料图像进行图像增强、灰度化、滤波和二值化，得到预处理后的物料图像；

依据预处理后的物料图像，得到运输车辆侧面物料的外形曲线；

以所述运输车辆的前进方向为横轴，所述运输车辆的竖直方向为纵轴，建立坐标系；

以像素点作为单位面积，计算所述外形曲线、所述横轴和所述纵轴围成区域的面积为物料面积；所述运输车辆侧面面积为满额面积；

计算所述物料面积与所述满额面积的比值得到满额率，实现液压翻板余料量的检测。

进一步的，利用限制对比度自适应直方图均衡法对物料图像进行夜间图像增强处理；

将物料图像中的运输车辆车面分离出来，之后对物料图像进行灰度化；将物料图像由RGB图像转换为HSV图像，提取出运输车辆车面对应的图像像素，将提取出的图像像素按原位置复制进空白图像，再将复制图像像素后的空白图像转换为RGB图像，得到只有运输车辆车面的图像；

将每一像素点的灰度值设置为该像素点某邻域窗口内的所有像素点灰度值的中值，进行滤波；

利用二值化处理，通过阈值分割凸显物料颗粒和运输车辆边界轮廓。

进一步的，使用高斯滤波算法对外形曲线去除噪声，将不规则的外形曲线转换成平滑曲线。

第二方面，本发明还提供了一种基于机器视觉的液压翻板余料量检测系统，包括：

数据采集模块，被配置为：获取位于液压翻板上运输车辆内的物料图像；

预处理模块，被配置为：对所述物料图像进行图像增强、灰度化、滤波和二值化，得到预处理后的物料图像；

外形曲线计算模块，被配置为：依据预处理后的物料图像，得到运输车辆侧面物料的外形曲线；

坐标系建立模块，被配置为：以所述运输车辆的前进方向为横轴，所述运输车辆的竖直方向为纵轴，建立坐标系；

面积计算模块，被配置为：以像素点作为单位面积，计算所述外形曲线、所述横轴和所述纵轴围成区域的面积为物料面积；所述运输车辆侧面面积为满额面积；

检测模块，被配置为：计算所述物料面积与所述满额面积的比值得到满额率，实现液压翻板余料量的检测。

第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的基于机器视觉的液压翻板余料量检测方法的步骤。

第四方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的基于机器视觉的液压翻板余料量检测方法的步骤。

与现有技术相比，本发明的有益效果为：

本发明通过机器视觉的方式获得运输车辆内的物料图像，然后对物料图像进行预处理，保证了物料图像的质量，在此基础上通过计算物料面积与满额面积的比值得到满额率，从而实现液压翻板余料量的检测，避免了因卸车高度过高或粉尘污染严重等情况对车辆内的余料量预估不准的问题，为控制液压翻板的角度及速度提供了可靠依据，保证了卸车效率。

附图说明

构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。

图1为本发明实施例1的系统结构图；

图2为本发明实施例1的余量图像采集处理模块图像预处理流程图；

图3为本发明实施例1的分析单元的图像处理流程图；

图4为本发明实施例1的自学习算法流程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

Canny边缘检测算法，是一个多级边缘检测算法；

Soble算法，Soble算法的核心是索贝尔算子，索贝尔算子是计算机视觉领域的一种处理方法。

实施例1：

本实例提供了一种基于机器视觉的液压翻板余料量检测方法，包括：

获取位于液压翻板上运输车辆内的物料图像；

如图1所示，为了实现基于机器视觉的液压翻板余料量检测方法，提供了一种基于自学习和无人机机器视觉对液压翻板余料量检测系统，包括余量图像采集处理模块、控制服务器、控制模块和液压翻板智能化集控处理模块；所述余量图像采集处理模块和所述控制模块均与所述控制服务器连接，所述液压翻板智能化集控处理模块与所述控制模块连接。

所述余量图像采集处理模块包括采集单元、光照感应单元、图像预处理单元和图像传输单元，当运输车辆进入时，所述采集单元首先采集到运输车辆的车牌信息，并把所述车牌信息发送给所述控制服务器，在液压翻板将所述运输车辆升高后，采集所述运输车辆内的物料图像，并对所述物料图像进行图像增强、灰度化、二值化和均值滤波等处理，并将预处理后的物料图像发送给所述控制服务器。

所述控制模块根据所述控制服务器发送的指令生成设备控制指令，将所述设备控制指令发送到所述液压翻板智能化集控处理模块，将液所述压翻板智能化集控处理模块的控制数据发送到所述控制服务器；

所述控制服务器包括分析单元、策略存储库、通讯单元和自学习单元，用于接收所述余量图像采集处理模块发送的车牌信息和物料图像。所述分析单元以运输车辆前进的方向为正方向，在运输车辆的物料图像上建立坐标系，可以选的，以运输车辆侧面的一个角为原点，以所述运输车辆的前进方向为横轴，所述运输车辆的竖直方向为纵轴，建立坐标系；通过Canny边缘检测算法与Sobel算法来计算物料图像灰度的近似梯度，获取运输车辆侧面物料的外形曲线。以运输车辆水平及竖直尺寸为标准，考虑到物料形状的不规则性，得到物料在坐标系中的大概位置后，使用高斯滤波算法对外形曲线去除噪声，使不规则外形曲线转换成平滑曲线。计算运输车辆中物料的满额率，以像素点作为单位面积，物料面积为经过滤波后的外形曲线与横轴和纵轴所围成区域的面积，横轴和纵轴为坐标系的x轴和y轴。前板总成的水平延长线与x轴和y轴形成的闭合区域面积为满额面积，就是运输车辆侧面面积为满额面积，计算所述物料面积与所述满额面积的比值得到满额率，实现液压翻板余料量的检测，满额率的计算方式如下：

对运输车辆的边缘光线黑暗的地方进行识别，通过视觉算法进行计算得出运输车辆中阴影的面积和体积，进而得出运输车辆的装载情况，与此同时所述分析单元可以从所述余量图像采集处理模块中获取车牌信息，并根据车牌信息在预存储的卸车策略中查询得到车型信息和货物种类信息，根据货物种类信息以及预存储的物料装载量获得对应的卸车策略，就是确定预估卸载余料量；所述分析单元也可以从所述余量图像采集处理模块中获取物料图像，若余料量与预估卸载余料量差距大于预设值，则调整液压翻板的升降幅度；同时所述自学习单元根据自学习算法学习更新卸车策略。

所述液压翻板智能化集控处理模块根据所述控制服务器发出的设备控制指令进行液压翻板操控，对运输车辆进行升降处理，在运输车辆进入所述液压翻板智能化集控处理模块后，自动存储运输车辆的车牌号和液压翻板设备号。

所述余量图像采集处理模块的图像采集单元可选的以无人机5为载体，通过一台网络摄像机7对运输车辆进行航拍进行物料图像采集；所述余量图像采集处理模块的光照感应单元可以使用光照传感器6采集光照数据。

如图2所示，所述余量图像采集处理模块的图像采集单元采集物料图像后，所述图像预处理单元首先需要去除物料图像的背景，将物料图像中的运输车车面分离出来，之后对物料图像进行灰度化、中值滤波去除噪点、二值化处理余料颗粒和运输车车面，根据完整的运输车车面区域得到外接矩形参数坐标进行运输车车面剪裁，最后对剪裁下的运输车车面图像进行几何校正操作；若所述光照感应单元采集光照数据低于预设值，则所述图像预处理模块首先利用限制对比度自适应直方图均衡法对原始采集的物料图像进行夜间图像增强处理，增强后再对物料图像进行预处理。

将物料图像中的运输车车面分离流程为：首先，将物料图像由RGB图像转换为HSV图像，提取出运输车辆车面对应的图像像素；然后，将提取出的图像像素按原位置复制进空白图像；最后，再将复制图像像素后的空白图像转换为RGB图像，得到只有运输车辆车面的图像。

中值滤波可以将每一像素点的灰度值设置为该像素点某邻域窗口内的所有像素点灰度值的中值，起到明显去噪的作用，滤波模型如下：

其中，

表示灰度值序列中值，用该中值替换原像素点灰度值完成中值滤波，x，y表示像素点的位置信息；

表示滤波窗口的像素点灰度值序列，i为常数，j为常数；L为根据滤波模型中滤波窗口大小计算得到的值，滤波模型中滤波窗口大小为（2L+1）*（2L+1）的矩形。

利用二值化处理，通过阈值分割凸显物料颗粒和运输车辆边界轮廓，具体算法如下：

其中，x，y表示像素点的位置信息；

表示原图像该像素点的灰度值；

表示阈值分割更新后该像素点的灰度值，遍历整张图像的像素点，当灰度值小于等于阈值T更新像素点灰度值为0，当灰度值大于阈值T则保留原始灰度值不变。

如图3所示，所述分析单元以运输车辆前进的方向为正方向，在运输车辆的物料图像上建立坐标系，可以选的，以运输车辆侧面的一个角为原点，以所述运输车辆的前进方向为横轴，所述运输车辆的竖直方向为纵轴，建立坐标系；通过Canny边缘检测算法与Sobel算法来计算物料图像灰度的近似梯度，获取运输车辆侧面物料的外形曲线。以运输车辆水平及竖直尺寸为标准，考虑到物料形状的不规则性，得到物料在坐标系中的大概位置后，使用高斯滤波算法对外形曲线去除噪声，使不规则外形曲线转换成平滑曲线。计算运输车辆中物料的满额率，以像素点作为单位面积，物料面积为经过滤波后的外形曲线与横轴和纵轴所围成区域的面积，横轴和纵轴为坐标系的x轴和y轴。前板总成的水平延长线与x轴和y轴形成的闭合区域面积为满额面积，就是运输车辆侧面面积为满额面积，计算所述物料面积与所述满额面积的比值得到满额率，实现液压翻板余料量的检测，满额率的计算方式如下：

对运输车辆的边缘光线黑暗的地方进行识别，通过视觉算法进行计算得出运输车辆中阴影的面积和体积，进而得出运输车辆的装载情况，与此同时所述分析单元可以从所述余量图像采集处理模块中获取车牌信息，并根据车牌信息在预存储的卸车策略中查询得到车型信息和货物种类信息，根据货物种类信息以及预存储的物料装载量获得对应的卸车策略，就是确定预估卸载余料量。

运输车辆进入液压翻板，此时液压翻板上的挡板升起，固定运输车辆；余量图像采集处理模块采集车牌信息和物料图像，并将车牌信息和物料图像发送给所述控制服务器。所述控制服务器接收，根据匹配的预存储的卸车策略，并发送给所述液压翻板智能化集控处理模块。根据所述控制服务器所发送的设备控制指令，对液压翻板进行升降处理。

如图4所示，所述自学习单元的自学习算法流程为：若液压翻板工作时长超过预设工作周期的1.2倍，则将所述策略存储库中装载量和货物种类对应的液压翻板翻转角度在不超过最大60°翻转角条件下提高5%，对应的液压翻板升举速度提高2%，并将新的卸车策略进行存储，不断提高液压翻板作业工作效率。

实施例2：

本实施例提供了一种基于机器视觉的液压翻板余料量检测系统，包括：

所述系统的工作方法与实施例1的基于机器视觉的液压翻板余料量检测方法相同，这里不再赘述。

实施例3：

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了实施例1所述的基于机器视觉的液压翻板余料量检测方法的步骤。

实施例4：

本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了实施例1所述的基于机器视觉的液压翻板余料量检测方法的步骤。

以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。

Claims

1.基于机器视觉的液压翻板余料量检测方法，其特征在于，包括：

获取位于液压翻板上运输车辆内的物料图像；

2.如权利要求1所述的基于机器视觉的液压翻板余料量检测方法，其特征在于，利用限制对比度自适应直方图均衡法对物料图像进行夜间图像增强处理；

3.如权利要求1所述的基于机器视觉的液压翻板余料量检测方法，其特征在于，使用高斯滤波算法对外形曲线去除噪声，将不规则的外形曲线转换成平滑曲线。

4.基于机器视觉的液压翻板余料量检测系统，其特征在于，包括：

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现了如权利要求1-3任一项所述的基于机器视觉的液压翻板余料量检测方法的步骤。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现了如权利要求1-3任一项所述的基于机器视觉的液压翻板余料量检测方法的步骤。