CN115988175A - 一种基于机器视觉的售货机料道监控系统 - Google Patents

Abstract

本发明提供了一种基于机器视觉的售货机料道监控系统，包括料道货品数据获取模块，利用机器视觉监控装置采集获取售货机料道中货品进出料道图像；料道货品异常数据获取模块，基于分类检测模型，处理货品进出料道图像，获得货品进出料道异常图像和料道廓形数据；料道货品异常数据标记处理模块，根据货品进出料道异常图像，对货品进出料道的异常位置进行标记，生成异常位置分布定位图，并根据异常位置分布定位图，处理料道异常；料道磨损维护周期预测模块，根据料道廓形数据，基于预设的料道磨损评分公式进行评分，根据评分结果，生成料道磨损维护预测模型，并利用料道磨损维护预测模型，对料道进行定期维护。本发明提高了料道控制的自动化程度。

Description

一种基于机器视觉的售货机料道监控系统

技术领域

本发明涉及售货机设备自动化监控领域，尤其涉及一种基于机器视觉的售货机料道监控系统。

背景技术

机器视觉是用机器代替人眼来做测量和判断，指通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。

目前，市场上自动售货机上的料道很少有监控设备，售卖的商品种类多样，料道的出货方式容易出现异常，在使用过程中一旦出现料道货品缺货、货品出货异常等故障，会影响到使用的效率。

发明内容

本发明提供了一种基于机器视觉的售货机料道监控系统，通过利用机器视觉装置获取料道内部图像数据，通过对料道异常图像的分析处理，实现了对料道货品进出料道过程的自动监控，提高了货品进出料道控制的自动化程度。

本发明提供了一种基于机器视觉的售货机料道监控系统，包括：

料道货品数据获取模块，用于利用机器视觉监控装置采集获取售货机料道中货品进出料道图像；

料道货品异常数据获取模块，用于基于分类检测模型，处理货品进出料道图像，获得货品进出料道异常图像和料道廓形数据；

料道货品异常数据标记处理模块，用于根据货品进出料道异常图像，对货品进出料道的异常位置进行标记，生成异常位置分布定位图，并根据异常位置分布定位图，处理料道异常；

料道磨损维护周期预测模块，用于根据料道廓形数据，基于预设的料道磨损评分公式进行评分，根据评分结果，生成料道磨损维护预测模型，并利用料道磨损维护预测模型，对料道进行定期维护。

进一步地，机器视觉监控装置包括激光相机、若干组电荷耦合器件照相机，激光相机用于采集料道侧壁及料道底部图像；电荷耦合器件照相机包括第一相机组和第二相机组；第一相机组设置于售货机料道进道口位置，用于拍摄进料道口位置的货品图像；第二相机组设置于售货机料道内，用于拍摄料道中货品出货过程图像。

进一步地，料道货品数据获取模块还包括图像降噪处理评价单元、异常类型判断单元；

图像降噪处理评价单元，用于对货品进出料道图像进行降噪处理后，对降噪处理效果进行评价，根据评价结果筛选图像并判定异常类型；包括:

基于预设的主观评价方式，根据主观评价规则，对图像效果进行评价，获得主观评价分值；主观评价方式为人员查看图像；主观评价规则基于图像噪音衰减状况、图像边缘是否模糊制定；

基于预设的客观评价方式，根据客观评价指标，对图像效果进行评价，获得客观评价分值；客观评价方式为计算图像的信噪比，即计算信号与噪声的方差比值；客观评价指标为预设的客观评价指标基于图像方差变化、图像信噪比数值变动制定；

将主观评价分值和客观评价分值分别加权后求和计算，得到综合评价分值；若综合评价分值大于等于预设综合评价分值阈值，则保留该综合评价分值所对应的图像；若综合评价分值小于预设综合评价分值阈值，则舍弃该综合评价分值所对应的图像；

异常类项判断单元，用于判定料道缺货异常和卡货异常；对进料道口位置的货品图像进行降噪处理后，若主观评价分值为预设的最高值时，判定料道缺货异常；若主观评价分值小于预设的最高值时，判定料道卡货异常。

进一步地，料道货品异常数据获取模块，包括数据样本集分类单元、分类检测训练单元和分类检测实施单元；

数据样本集分类单元，用于将货品进出料道图像划分为训练数据样本集和检测数据样本集；

分类检测训练单元，用于对训练数据样本集，基于预设的分类检测模型，采用融合特征提取方式进行特征提取，并基于SVM分类器进行训练；

分类检测实施单元，用于基于分类检测模型对检测数据样本集进行分类检测，获得货品进出料道异常图像。

进一步地，融合特征提取方式包括采用采用方向梯度直方图特征提取方式提取图像数据中局部目标的边缘梯度特征向量，采用局部二值模式特征提取方式提取图像纹理特征向量，将局部目标的边缘梯度特征向量与图像纹理特征向量串行融合。

进一步地，料道货品异常数据获取模块，还包括廓形数据获取单元、廓形数据处理单元；

廓形数据获取单元，用于采用廓形仪采集料道侧壁及料道底部图像的廓形数据；

廓形数据处理单元，用于采用预设方式对不满足规则的异常数据点进行处理，获得料道廓形数据；预设方式为:先删除异常点，再利用前后的数据点，按照数据曲线整体呈下降趋势的规则，取均值进行插值。

进一步地，料道货品异常数据标记处理模块，包括：图像标记分类单元、图像标记操作单元和料道异常处理单元；

图像标记分类单元，用于基于货品进出料道异常图像中异常位置的清晰度，将货品进出料道异常图像分为两类；将清晰度大于等于预设清晰度阈值的划为清晰图像，将清晰度小于预设清晰度阈值的划为模糊图像；

图像标记操作单元，用于利用掩膜标记方法对清晰图像中异常发生位置的具体轮廓进行标记，生成包含异常发生位置掩膜轨迹信息的PNG格式图像文件；利用检测框标记方法对模糊图像中异常发生位置的检测区域进行标记，生成包含检测框顶点坐标和异常位置信息的JSON格式文本文件；汇总PNG格式图像文件和JSON格式文本文件生成异常位置分布定位图；

料道异常处理单元，用于基于预设的处理方案对异常位置分布定位图中的异常情况进行处理。

进一步地，料道磨损维护周期预测模块包括评分结果生成单元、周期预测模型生成单元和周期预测实施单元；

评分结果生成单元，用于根据廓形数据，计算用于料道损伤评分的指标参数值；指标参数值包括法线值、磨损面积、垂磨值和侧磨值；将指标参数代入预设的评分公式，获得评分结果；

周期预测模型生成单元，用于根据评分结果，统计出一个周期内的评分数据的月均值，构建一个时间序列，再利用最小二乘法进行拟合，生成周期预测模型；

周期预测实施单元，用于根据周期预测模型进行维护周期的预测，获得维护周期。

进一步地，还包括远程自动处理模块，用于对部分卡货异常情况进行自动处理；远程自动处理模块包括卡货风险确定单元、异常预警处理单元和料道自动调整单元；

卡货风险确定单元，用于根据货品进出料道历史异常图像，设置相对应的卡货风险值，并设置异常图像与卡货风险值匹配表；查询匹配表，确定当前货品进出料道异常图像对应的卡货风险值；获取全部数量的卡货风险值，对全部数量的卡货风险值求和，获得累加卡货风险值；根据累加卡货风险值的大小，确定卡货风险等级；卡货风险等级包括高风险、中风险和低风险；

预警处理命令发送单元，用于根据出现的中风险和低风险等级，基于物联网技术，生成并向料道自动调整单元发送预警处理命令；

料道自动调整单元，用于对料道卡货情况进行自动处理；料道自动调整单元包括料道宽度微调装置；当接收到控制命令后，料道宽度微调装置调整料道宽度；当接收到低风险预警所对应的第一控制命令时，料道宽度微调装置按照预设的第一调整值调整料道宽度；当接收到中风险预警所对应的第二控制命令时，料道宽度微调装置按照预设的第二调整值调整料道宽度。

进一步地，还包括料道维护效果检测单元，用于检测料道维护的效果；

料道维护效果检测单元包括维护前测试单元、清理维护单元和维护后检测单元；

维护前测试单元，用于通过向料道内注入测试流体，通过测试流体的沿程阻力和形体阻力，计算获得测试流体在料道内流动的测前总阻力；

清理维护单元，用于采取清扫去灰、细磨找平、除尘清晰和风干喷涂的步骤对料道内部进行清理维护；

维护后检测单元，用于向清理维护后的料道内注入测试流体，通过测试流体的沿程阻力和形体阻力，计算获得测试流体在料道内流动的维护后总阻力；

获取料道出厂后未使用时测试流体在料道内流动的初始总阻力，计算测前总阻力与初始总阻力的差值，获得第一差值；计算维护后总阻力与初始总阻力的差值，获得第二差值；计算第一差值与第二差值的差值，获得第三差值；当第三差值小于等于预设的差值阈值时，则判定维护效果合格；否则，继续进行清理维护工作，直至维护效果判定合格为止。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明的一种基于机器视觉的售货机料道监控系统结构示意图；

图2为本发明的一种基于机器视觉的售货机料道监控系统料道料道货品异常数据获取模块结构示意图；

图3为本发明一种基于机器视觉的售货机料道监控系统料道货品异常数据标记处理模块结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

一种基于机器视觉的售货机料道监控系统，如图1所示，包括：

料道货品数据获取模块，用于利用机器视觉监控装置采集获取售货机料道中货品进出料道图像；

料道货品异常数据获取模块，用于基于分类检测模型，处理货品进出料道图像，获得货品进出料道异常图像和料道廓形数据；

料道货品异常数据标记处理模块，用于根据货品进出料道异常图像，对货品进出料道的异常位置进行标记，生成异常位置分布定位图，并根据异常位置分布定位图，处理料道异常；

料道磨损维护周期预测模块，用于根据料道廓形数据，基于预设的料道磨损评分公式进行评分，根据评分结果，生成料道磨损维护预测模型，并利用料道磨损维护预测模型，对料道进行定期维护。

上述技术方案的工作原理为：利用机器视觉装置采集货品进出料道图像数据是对料道进行监控的基础，然后对这些数据进行处理，获得异常图像和料道廓形数据；之后对异常数据进行标记处理，对廓形数据进行磨损评分，根据评分结果对料道进行定期维护。具体为：料道货品数据获取模块，用于利用机器视觉监控装置采集获取售货机料道中货品进出料道图像；

料道货品异常数据获取模块，用于基于分类检测模型，处理货品进出料道图像，获得货品进出料道异常图像和料道廓形数据；

料道货品异常数据标记处理模块，用于根据货品进出料道异常图像，对货品进出料道的异常位置进行标记，生成异常位置分布定位图，并根据异常位置分布定位图，处理料道异常；

料道磨损维护周期预测模块，用于根据料道廓形数据，基于预设的料道磨损评分公式进行评分，根据评分结果，生成料道磨损维护预测模型，并利用料道磨损维护预测模型，对料道进行定期维护。

上述技术方案的有益效果为：采用本实施例提供的方案，通过利用机器视觉装置获取料道内部图像数据，通过对料道异常图像的分析处理，实现了对料道货品进出料道过程的自动监控，提高了货品进出料道控制的自动化程度。

在一个实施例中，机器视觉监控装置包括激光相机、若干组电荷耦合器件照相机，激光相机用于采集料道侧壁及料道底部图像；电荷耦合器件照相机包括第一相机组和第二相机组；第一相机组设置于售货机料道进道口位置，用于拍摄进料道口位置的货品图像；第二相机组设置于售货机料道内，用于拍摄料道中货品出货过程图像。

上述技术方案的工作原理为：在机器视觉系统中，获得一张高质量的可处理的图像是至关重要。货品进出料道过程中，容易出现异常的情况主要有缺货异常和卡货异常，针对这两种情况，需要在料道中相应的位置设置相机组采集图像数据。具体为：视觉监控装置包括激光相机、若干组电荷耦合器件照相机，激光相机用于采集料道侧壁及料道底部图像；电荷耦合器件照相机包括第一相机组和第二相机组；第一相机组设置于售货机料道进道口位置，用于拍摄进料道口位置的货品图像；第二相机组设置于售货机料道内，用于拍摄料道中货品出货过程图像。

上述技术方案的有益效果为：采用本实施例提供的方案，通过在料道中不同的位置设置相机组，可以有针对性地采集图像数据，为料道监控提供有价值的图像数据。

在一个实施例中，料道货品数据获取模块还包括图像降噪处理评价单元、异常类型判断单元；

图像降噪处理评价单元，用于对货品进出料道图像进行降噪处理后，对降噪处理效果进行评价，根据评价结果筛选图像并判定异常类型；包括:

基于预设的主观评价方式，根据主观评价规则，对图像效果进行评价，获得主观评价分值；主观评价方式为人员查看图像；主观评价规则基于图像噪音衰减状况、图像边缘是否模糊制定；

基于预设的客观评价方式，根据客观评价指标，对图像效果进行评价，获得客观评价分值；客观评价方式为计算图像的信噪比，即计算信号与噪声的方差比值；客观评价指标为预设的客观评价指标基于图像方差变化、图像信噪比数值变动制定；

将主观评价分值和客观评价分值分别加权后求和计算，得到综合评价分值；若综合评价分值大于等于预设综合评价分值阈值，则保留该综合评价分值所对应的图像；若综合评价分值小于预设综合评价分值阈值，则舍弃该综合评价分值所对应的图像；

异常类项判断单元，用于判定料道缺货异常和卡货异常；对进料道口位置的货品图像进行降噪处理后，若主观评价分值为预设的最高值时，判定料道缺货异常；若主观评价分值小于预设的最高值时，判定料道卡货异常。

上述技术方案的工作原理为：图像质量在图像识别处理中的对识别效果起到非常大的影响，由于图像在采集、传输、剪切和处理过程中以及环境光照等有很多不确定因素会导致产生图像噪音，为了保证得到合格的图像质量，需要进行降噪处理，并评价降噪处理的效果；同时，根据图像异常进行异常类型的判定，料道的异常是缺货异常还是卡货异常；具体为:图像降噪处理评价单元，用于对货品进出料道图像进行降噪处理后，对降噪处理效果进行评价，根据评价结果筛选图像并判定异常类型；包括:

基于预设的主观评价方式，根据主观评价规则，对图像效果进行评价，获得主观评价分值；主观评价方式为人员查看图像；主观评价规则基于图像噪音衰减状况、图像边缘是否模糊制定；

基于预设的客观评价方式，根据客观评价指标，对图像效果进行评价，获得客观评价分值；客观评价方式为计算图像的信噪比，即计算信号与噪声的方差比值；客观评价指标为预设的客观评价指标基于图像方差变化、图像信噪比数值变动制定；

将主观评价分值和客观评价分值分别加权后求和计算，得到综合评价分值；若综合评价分值大于等于预设综合评价分值阈值，则保留该综合评价分值所对应的图像；若综合评价分值小于预设综合评价分值阈值，则舍弃该综合评价分值所对应的图像；

异常类项判断单元，用于判定料道缺货异常和卡货异常；对进料道口位置的货品图像进行降噪处理后，若主观评价分值为预设的最高值时，判定料道缺货异常；若主观评价分值小于预设的最高值时，判定料道卡货异常。

上述技术方案的有益效果为：采用本实施例提供的方案，通过对图像降噪处理效果的评价，可以保证保留符合要求的高质量的图像，从而保证后期的图像识别处理的效果。

在一个实施例中，如图2所示，料道货品异常数据获取模块，包括数据样本集分类单元、分类检测训练单元和分类检测实施单元；

数据样本集分类单元，用于将货品进出料道图像划分为训练数据样本集和检测数据样本集；

分类检测训练单元，用于对训练数据样本集，基于预设的分类检测模型，采用融合特征提取方式进行特征提取，并基于SVM分类器进行训练；

分类检测实施单元，用于基于分类检测模型对检测数据样本集进行分类检测，获得货品进出料道异常图像。

上述技术方案的工作原理为：对料道图像数据，为了发现异常的图像，需要进行特征提取以及分类处理，以保证分拣出异常图像；具体为：料道货品异常数据获取模块，包括数据样本集分类单元、分类检测训练单元和分类检测实施单元；

数据样本集分类单元，用于将货品进出料道图像划分为训练数据样本集和检测数据样本集；

分类检测训练单元，用于对训练数据样本集，基于预设的分类检测模型，采用融合特征提取方式进行特征提取，并基于SVM分类器进行训练；

分类检测实施单元，用于基于分类检测模型对检测数据样本集进行分类检测，获得货品进出料道异常图像。

上述技术方案的有益效果为：采用本实施例提供的方案，通过对图像的特征提取和分类识别，可以有效地识别出货品进出料道异常图像，提高图像分析处理的质量。

在一个实施例中，融合特征提取方式包括采用采用方向梯度直方图特征提取方式提取图像数据中局部目标的边缘梯度特征向量，采用局部二值模式特征提取方式提取图像纹理特征向量，将局部目标的边缘梯度特征向量与图像纹理特征向量串行融合。

上述技术方案的工作原理为：一个好的特征能够在适当的场景下更好的描述目标。方向梯度直方图特征提取方式通过计算局部图像的梯度直方图的方式能够很好的描述图像的边缘特征；局部二值模式特征提取方式可以有效地提取图像的纹理特征；结合两种特征提取方式，可以提高提取的效果；具体为：行人检测发展了许多年融合特征提取方式包括采用方向梯度直方图特征提取方式提取图像数据中局部目标的边缘梯度特征向量，采用局部二值模式特征提取方式提取图像纹理特征向量，将局部目标的边缘梯度特征向量与图像纹理特征向量串行融合。

上述技术方案的有益效果为：采用本实施例提供的方案，方向梯度直方图特征提取方式可以更好地提取局部目标的边缘梯度特征，局部二值模式特征提取方式可以更好地描述图像纹理特征，将两种方式结合使用，可以提升图像检测的准确性。

在一个实施例中，料道货品异常数据获取模块，还包括廓形数据获取单元、廓形数据处理单元；

廓形数据获取单元，用于采用廓形仪采集料道侧壁及料道底部图像的廓形数据；

廓形数据处理单元，用于采用预设方式对不满足规则的异常数据点进行处理，获得料道廓形数据；预设方式为:先删除异常点，再利用前后的数据点，按照数据曲线整体呈下降趋势的规则，取均值进行插值。

上述技术方案的工作原理为：根据廓形评分计算方法，料道磨损时间越久，磨损程度越厉害，得到的廓形评分应该越低，廓形评分呈下降趋势；这就需要对不满足规则的数据点进行处理，以避免影响曲线拟合的效果。料道货品异常数据获取模块，还包括廓形数据获取单元、廓形数据处理单元；

廓形数据获取单元，用于采用廓形仪采集料道侧壁及料道底部图像的廓形数据；

廓形数据处理单元，用于采用预设方式对不满足规则的异常数据点进行处理，获得料道廓形数据；预设方式为:先删除异常点，再利用前后的数据点，按照数据曲线整体呈下降趋势的规则，取均值进行插值。

模板匹配可以应用在物体的位置及方向判别领域，使用一个模板图像描述被搜索物体是为了在图像中找到模板位置，需要将模板移动到图像中的所有位置，并计算该位置与模板所有位姿的相似度值，这里的相似度是一个广义的概念，它可以使用不同方式定义，例如基于灰度值或边缘的相似程度。其中物体位置的移动和方向的改变可以分别用平移和旋转矩阵来表示，称为刚性变换。本实施例中涉及到因货品的位置发生平移导致卡货情况的发生，采用基于模板与图像的灰度值进行图像的匹配识别。

上式中，T_ssd(i，j)表示模板中像素点灰度值与对应的图像点灰度值之间所有差值的平方和，p(i，j)表示模板图像的灰度函数，p(α，β)表示模板图像中感兴趣区域的图像，u(i+α，j+β)表示模板当前位置所覆盖图像区域的灰度值；为了进行模板匹配，将模板分别移到图像中所有位置并计算模板在该位置的相似度量。相似度量在匹配过程中的每个点都存在一个值，计算模板中像素点灰度值与对应的图像点灰度值之间所有差值的平方和，若T_ssd(i，j)值等于零则代表模板和图像相同。若不相同，则其值将大于零，且值越大，模板和图像区别越大。

上述技术方案的有益效果为：采用本实施例提供的方案，通过获取廓形数据并对廓形数据进行处理，通过基于模板与图像的灰度值进行图像的匹配识别，可以提高图像识别匹配的速度，保证料道廓形数据的准确性。

在一个实施例中，如图3所示，料道货品异常数据标记处理模块，包括：图像标记分类单元、图像标记操作单元和料道异常处理单元；

图像标记分类单元，用于基于货品进出料道异常图像中异常位置的清晰度，将货品进出料道异常图像分为两类；将清晰度大于等于预设清晰度阈值的划为清晰图像，将清晰度小于预设清晰度阈值的划为模糊图像；

图像标记操作单元，用于利用掩膜标记方法对清晰图像中异常发生位置的具体轮廓进行标记，生成包含异常发生位置掩膜轨迹信息的PNG格式图像文件；利用检测框标记方法对模糊图像中异常发生位置的检测区域进行标记，生成包含检测框顶点坐标和异常位置信息的JSON格式文本文件；汇总PNG格式图像文件和JSON格式文本文件生成异常位置分布定位图；

料道异常处理单元，用于基于预设的处理方案对异常位置分布定位图中的异常情况进行处理。

上述技术方案的工作原理为：图像的标准主要有掩膜标记法、检测框标记法；掩膜标记法主要标记出异常位置具体的轮廓；检测框标记法主要是标出异常区域及异常类型信息，通过图像标记，可以为进一步地图像分析提供基础；具体为：图像标记分类单元，用于基于货品进出料道异常图像中异常位置的清晰度，将货品进出料道异常图像分为两类；将清晰度大于等于预设清晰度阈值的划为清晰图像，将清晰度小于预设清晰度阈值的划为模糊图像；

图像标记操作单元，用于利用掩膜标记方法对清晰图像中异常发生位置的具体轮廓进行标记，生成包含异常发生位置掩膜轨迹信息的PNG格式图像文件；利用检测框标记方法对模糊图像中异常发生位置的检测区域进行标记，生成包含检测框顶点坐标和异常位置信息的JSON格式文本文件；汇总PNG格式图像文件和JSON格式文本文件生成异常位置分布定位图；

料道异常处理单元，用于基于预设的处理方案对异常位置分布定位图中的异常情况进行处理。

上述技术方案的有益效果为：采用本实施例提供的方案，通过对图像的标记和存储，有助于清楚地发现异常位置，并进行有针对性地处理。

在一个实施例中，料道磨损维护周期预测模块包括评分结果生成单元、周期预测模型生成单元和周期预测实施单元；

评分结果生成单元，用于根据廓形数据，计算用于料道损伤评分的指标参数值；指标参数值包括法线值、磨损面积、垂磨值和侧磨值；将指标参数代入预设的评分公式，获得评分结果；

周期预测模型生成单元，用于根据评分结果，统计出一个周期内的评分数据的月均值，构建一个时间序列，再利用最小二乘法进行拟合，生成周期预测模型；

周期预测实施单元，用于根据周期预测模型进行维护周期的预测，获得维护周期。

上述技术方案的工作原理为：料道的损失评分需要通过指标参数来计算获得，再根据评分结构生成周期预测模型，通过周期预测模型进行维护周期的预测；具体为：料道磨损维护周期预测模块包括评分结果生成单元、周期预测模型生成单元和周期预测实施单元；

评分结果生成单元，用于根据廓形数据，计算用于料道损伤评分的指标参数值；指标参数值包括法线值、磨损面积、垂磨值和侧磨值；将指标参数代入预设的评分公式，获得评分结果；

周期预测模型生成单元，用于根据评分结果，统计出一个周期内的评分数据的月均值，构建一个时间序列，再利用最小二乘法进行拟合，生成周期预测模型；

周期预测实施单元，用于根据周期预测模型进行维护周期的预测，获得维护周期。例如，根据料道使用后的开始5个月的评分结构数据，求出这5个月的评分均值，带入周期预测公式，计算出的廓形评分对应的时间值，再结合需要维护的评分值求解出对应的时间值，两个时间的差值即为下次维护的时间点。

上述技术方案的有益效果为：采用本实施例提供的方案，通过计算出维护的周期，可以有计划地制定维护方案，提高料道的维护效果，提高售货机的使用效率。

在一个实施例中，还包括远程自动处理模块，用于对部分卡货异常情况进行自动处理；远程自动处理模块包括卡货风险确定单元、异常预警处理单元和料道自动调整单元；

卡货风险确定单元，用于根据货品进出料道历史异常图像，设置相对应的卡货风险值，并设置异常图像与卡货风险值匹配表；查询匹配表，确定当前货品进出料道异常图像对应的卡货风险值；获取全部数量的卡货风险值，对全部数量的卡货风险值求和，获得累加卡货风险值；根据累加卡货风险值的大小，确定卡货风险等级；卡货风险等级包括高风险、中风险和低风险；

预警处理命令发送单元，用于根据出现的中风险和低风险等级，基于物联网技术，生成并向料道自动调整单元发送预警处理命令；

料道自动调整单元，用于对料道卡货情况进行自动处理；料道自动调整单元包括料道宽度微调装置；当接收到控制命令后，料道宽度微调装置调整料道宽度；当接收到低风险预警所对应的第一控制命令时，料道宽度微调装置按照预设的第一调整值调整料道宽度；当接收到中风险预警所对应的第二控制命令时，料道宽度微调装置按照预设的第二调整值调整料道宽度。

上述技术方案的工作原理为：通过对异常情况的分析，有必要制定相应的风险等级，根据等级的高低进行处理，对于中低风险等级的异常情况，通过远程自动处理调整，可以提高售货机的使用效率；卡货异常由于存在不同的情况，需要针对不同的卡货程度，设定相应的风险值，以更细致地掌握卡货异常情况；具体为：远程自动处理模块，用于对部分卡货异常情况进行自动处理；远程自动处理模块包括卡货风险确定单元、异常预警处理单元和料道自动调整单元；

卡货风险确定单元，用于根据货品进出料道历史异常图像，设置相对应的卡货风险值，并设置异常图像与卡货风险值匹配表；查询匹配表，确定当前货品进出料道异常图像对应的卡货风险值；获取全部数量的卡货风险值，对全部数量的卡货风险值求和，获得累加卡货风险值；根据累加卡货风险值的大小，确定卡货风险等级；卡货风险等级包括高风险、中风险和低风险；

预警处理命令发送单元，用于根据出现的中风险和低风险等级，基于物联网技术，生成并向料道自动调整单元发送预警处理命令；

料道自动调整单元，用于对料道卡货情况进行自动处理；料道自动调整单元包括料道宽度微调装置；当接收到控制命令后，料道宽度微调装置调整料道宽度；当接收到低风险预警所对应的第一控制命令时，料道宽度微调装置按照预设的第一调整值调整料道宽度；当接收到中风险预警所对应的第二控制命令时，料道宽度微调装置按照预设的第二调整值调整料道宽度。

上述技术方案的有益效果为：采用本实施例提供的方案，通过设置远程自动处理模块，设置相应的风险等级，可以更加详细地掌握卡货异常的情况，对中、低风险等级的异常进行远程自动处理，提高了售货机异常处理的自动化程度，可以及时解决较小的料道异常，节省人工维修的时间和成本，提高售货机的使用效率。

在一个实施例中，还包括料道维护效果检测单元，用于检测料道维护的效果；

料道维护效果检测单元包括维护前测试单元、清理维护单元和维护后检测单元；

维护前测试单元，用于通过向料道内注入测试流体，通过测试流体的沿程阻力和形体阻力，计算获得测试流体在料道内流动的测前总阻力；

清理维护单元，用于采取清扫去灰、细磨找平、除尘清晰和风干喷涂的步骤对料道内部进行清理维护；

维护后检测单元，用于向清理维护后的料道内注入测试流体，通过测试流体的沿程阻力和形体阻力，计算获得测试流体在料道内流动的维护后总阻力；

获取料道出厂后未使用时测试流体在料道内流动的初始总阻力，计算测前总阻力与初始总阻力的差值，获得第一差值；计算维护后总阻力与初始总阻力的差值，获得第二差值；计算第一差值与第二差值的差值，获得第三差值；当第三差值小于等于预设的差值阈值时，则判定维护效果合格；否则，继续进行清理维护工作，直至维护效果判定合格为止。

上述技术方案的工作原理为：料道维护的效果如何，关系到料道的使用效率，有必要进行维护效果的评估，以保证料道的使用；具体为：料道维护效果检测单元包括维护前测试单元、清理维护单元和维护后检测单元；

维护前测试单元，用于通过向料道内注入测试流体，通过测试流体的沿程阻力和形体阻力，计算获得测试流体在料道内流动的测前总阻力；

清理维护单元，用于采取清扫去灰、细磨找平、除尘清晰和风干喷涂的步骤对料道内部进行清理维护；

维护后检测单元，用于向清理维护后的料道内注入测试流体，通过测试流体的沿程阻力和形体阻力，计算获得测试流体在料道内流动的维护后总阻力；

获取料道出厂后未使用时测试流体在料道内流动的初始总阻力，计算测前总阻力与初始总阻力的差值，获得第一差值；计算维护后总阻力与初始总阻力的差值，获得第二差值；计算第一差值与第二差值的差值，获得第三差值；当第三差值小于等于预设的差值阈值时，则判定维护效果合格；否则，继续进行清理维护工作，直至维护效果判定合格为止。

上述技术方案的有益效果为：采用本实施例提供的方案，通过对料道的维护效果进行评估，可以有效地提升料道清理维护的质量，增加料道的使用周期。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于机器视觉的售货机料道监控系统，其特征在于，包括：

料道货品数据获取模块，用于利用机器视觉监控装置采集获取售货机料道中货品进出料道图像；

料道货品异常数据获取模块，用于基于分类检测模型，处理货品进出料道图像，获得货品进出料道异常图像和料道廓形数据；

料道货品异常数据标记处理模块，用于根据货品进出料道异常图像，对货品进出料道的异常位置进行标记，生成异常位置分布定位图，并根据异常位置分布定位图，处理料道异常；

料道磨损维护周期预测模块，用于根据料道廓形数据，基于预设的料道磨损评分公式进行评分，根据评分结果，生成料道磨损维护预测模型，并利用料道磨损维护预测模型，对料道进行定期维护。

2.根据权利要求1所述的一种基于机器视觉的售货机料道监控系统，其特征在于，机器视觉监控装置包括激光相机、若干组电荷耦合器件照相机，激光相机用于采集料道侧壁及料道底部图像；电荷耦合器件照相机包括第一相机组和第二相机组；第一相机组设置于售货机料道进道口位置，用于拍摄进料道口位置的货品图像；第二相机组设置于售货机料道内，用于拍摄料道中货品出货过程图像。

3.根据权利要求2所述的一种基于机器视觉的售货机料道监控系统，其特征在于，料道货品数据获取模块还包括图像降噪处理评价单元、异常类型判断单元；

图像降噪处理评价单元，用于对货品进出料道图像进行降噪处理后，对降噪处理效果进行评价，根据评价结果筛选图像并判定异常类型；包括:

基于预设的主观评价方式，根据主观评价规则，对图像效果进行评价，获得主观评价分值；基于预设的客观评价方式，根据客观评价指标，对图像效果进行评价，获得客观评价分值；

将主观评价分值和客观评价分值分别加权后求和计算，得到综合评价分值；若综合评价分值大于等于预设综合评价分值阈值，则保留该综合评价分值所对应的图像；若综合评价分值小于预设综合评价分值阈值，则舍弃该综合评价分值所对应的图像；

异常类项判断单元，用于判定料道缺货异常和卡货异常；对进料道口位置的货品图像进行降噪处理后，若主观评价分值为预设的最高值时，判定料道缺货异常；若主观评价分值小于预设的最高值时，判定料道卡货异常。

4.根据权利要求1所述的一种基于机器视觉的售货机料道监控系统，其特征在于，料道货品异常数据获取模块，包括数据样本集分类单元、分类检测训练单元和分类检测实施单元；

数据样本集分类单元，用于将货品进出料道图像划分为训练数据样本集和检测数据样本集；

分类检测训练单元，用于对训练数据样本集，基于预设的分类检测模型，采用融合特征提取方式进行特征提取，并基于SVM分类器进行训练；

分类检测实施单元，用于基于分类检测模型对检测数据样本集进行分类检测，获得货品进出料道异常图像。

5.根据权利要求4所述的一种基于机器视觉的售货机料道监控系统，其特征在于，融合特征提取方式包括采用采用方向梯度直方图特征提取方式提取图像数据中局部目标的边缘梯度特征向量，采用局部二值模式特征提取方式提取图像纹理特征向量，将局部目标的边缘梯度特征向量与图像纹理特征向量串行融合。

6.根据权利要求2所述的一种基于机器视觉的售货机料道监控系统，其特征在于，料道货品异常数据获取模块，还包括廓形数据获取单元、廓形数据处理单元；

廓形数据获取单元，用于采用廓形仪采集料道侧壁及料道底部图像的廓形数据；

廓形数据处理单元，用于采用预设方式对不满足规则的异常数据点进行处理，获得料道廓形数据；预设方式为:先删除异常点，再利用前后的数据点，按照数据曲线整体呈下降趋势的规则，取均值进行插值。

7.根据权利要求1所述的一种基于机器视觉的售货机料道监控系统，其特征在于，料道货品异常数据标记处理模块，包括：图像标记分类单元、图像标记操作单元和料道异常处理单元；

图像标记分类单元，用于基于货品进出料道异常图像中异常位置的清晰度，将货品进出料道异常图像分为两类；将清晰度大于等于预设清晰度阈值的划为清晰图像，将清晰度小于预设清晰度阈值的划为模糊图像；

图像标记操作单元，用于利用掩膜标记方法对清晰图像中异常发生位置的具体轮廓进行标记，生成包含异常发生位置掩膜轨迹信息的PNG格式图像文件；利用检测框标记方法对模糊图像中异常发生位置的检测区域进行标记，生成包含检测框顶点坐标和异常位置信息的JSON格式文本文件；汇总PNG格式图像文件和JSON格式文本文件生成异常位置分布定位图；

料道异常处理单元，用于基于预设的处理方案对异常位置分布定位图中的异常情况进行处理。

8.根据权利要求1所述的一种基于机器视觉的售货机料道监控系统，其特征在于，料道磨损维护周期预测模块包括评分结果生成单元、周期预测模型生成单元和周期预测实施单元；

评分结果生成单元，用于根据廓形数据，计算用于料道损伤评分的指标参数值；指标参数值包括法线值、磨损面积、垂磨值和侧磨值；将指标参数代入预设的评分公式，获得评分结果；

周期预测模型生成单元，用于根据评分结果，统计出一个周期内的评分数据的月均值，构建一个时间序列，再利用最小二乘法进行拟合，生成周期预测模型；

周期预测实施单元，用于根据周期预测模型进行维护周期的预测，获得维护周期。

9.根据权利要求1所述的一种基于机器视觉的售货机料道监控系统，其特征在于，还包括远程自动处理模块，用于对部分卡货异常情况进行自动处理；远程自动处理模块包括卡货风险确定单元、异常预警处理单元和料道自动调整单元；

卡货风险确定单元，用于根据货品进出料道历史异常图像，设置相对应的卡货风险值，并设置异常图像与卡货风险值匹配表；查询匹配表，确定当前货品进出料道异常图像对应的卡货风险值；获取全部数量的卡货风险值，对全部数量的卡货风险值求和，获得累加卡货风险值；根据累加卡货风险值的大小，确定卡货风险等级；卡货风险等级包括高风险、中风险和低风险；

预警处理命令发送单元，用于根据出现的中风险和低风险等级，基于物联网技术，生成并向料道自动调整单元发送预警处理命令；

料道自动调整单元，用于对料道卡货情况进行自动处理；料道自动调整单元包括料道宽度微调装置；当接收到控制命令后，料道宽度微调装置调整料道宽度；当接收到低风险预警所对应的第一控制命令时，料道宽度微调装置按照预设的第一调整值调整料道宽度；当接收到中风险预警所对应的第二控制命令时，料道宽度微调装置按照预设的第二调整值调整料道宽度。

10.根据权利要求1所述的一种基于机器视觉的售货机料道监控系统，其特征在于，还包括料道维护效果检测单元，用于检测料道维护的效果；

料道维护效果检测单元包括维护前测试单元、清理维护单元和维护后检测单元；

维护前测试单元，用于通过向料道内注入测试流体，通过测试流体的沿程阻力和形体阻力，计算获得测试流体在料道内流动的测前总阻力；

清理维护单元，用于采取清扫去灰、细磨找平、除尘清晰和风干喷涂的步骤对料道内部进行清理维护；

维护后检测单元，用于向清理维护后的料道内注入测试流体，通过测试流体的沿程阻力和形体阻力，计算获得测试流体在料道内流动的维护后总阻力；

获取料道出厂后未使用时测试流体在料道内流动的初始总阻力，计算测前总阻力与初始总阻力的差值，获得第一差值；计算维护后总阻力与初始总阻力的差值，获得第二差值；计算第一差值与第二差值的差值，获得第三差值；当第三差值小于等于预设的差值阈值时，则判定维护效果合格；否则，继续进行清理维护工作，直至维护效果判定合格为止。

Images