CN107036687B - 基于视觉的储粮数量监测方法及装置 - Google Patents

Abstract

本发明公开了一种基于双目视觉的粮仓储粮数量监测方法，在粮食仓储企业粮仓的门口的内仓顶设置双目视觉抓拍设备，使所述双目视觉抓拍设备朝向粮仓的粮面，在所述双目视觉抓拍设备拍摄范围内的粮面随机设置多个特征点，并每间隔一段时间监测特征点的高度，若任一特征点的高度变化超过设置的第一范围阈值，则查询一定时间范围内该仓的状态是否是出入库状态，若不是出库或者入库状态，则发出一级报警信息。本发明还公开了一种粮仓储粮监测装置。本发明应用视频方法分析粮面多个特征点的高度并计算粮仓储粮数量，具有功能多样、操作方便、价格低廉、网络要求低的优点。

Description

基于视觉的储粮数量监测方法及装置

技术领域

本发明涉及粮仓储粮的技术领域。更具体地说，本发明涉及一种基于视觉的储粮数量监测方法及装置。

背景技术

目前，国家正在实施“粮安工程”战略，通过信息化的手段来保证储粮的数量、质量安全是“粮安”工程的重中之重。现有技术采用压力传感器方式测量时需要在粮库地面部署大量的压力传感器和走线的方式，储粮数量在线检测技术不仅建设投入较高、使用较为不便，而且测量误差较大。

发明内容

本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。

本发明还有一个目的是提供一种基于视觉的储粮数量监测方法及装置，其应用双目视觉抓拍设备分析粮面多个特征点的高度并计算粮仓储粮数量，具有功能多样、价格低廉、操作方便、网络要求低的优点。

为了实现根据本发明的这些目的和其它优点，提供了一种基于双目视觉的粮仓储粮数量监测方法，在粮食仓储企业粮仓的门口的内仓顶设置双目视觉抓拍设备，使所述双目视觉抓拍设备朝向粮仓的粮面，在所述双目视觉抓拍设备拍摄范围内的粮面随机设置多个特征点，并每间隔一段时间监测特征点的高度，若任一特征点的高度变化超过设置的第一范围阈值，则查询一定时间范围内该仓房的状态是否是出入库状态，若不是出入库状态，则发出一级报警信息。

优选的是，所述的基于双目视觉的粮仓储粮数量监测方法，监测特征点的高度是基于所述双目视觉抓拍设备获取特征点的三维坐标值实现的，具体包括：将每个特征点相邻两次高度坐标值进行比较，得到两者的高度坐标差值，将任一特征点的高度坐标差值与代表粮面高度波动的第一范围阈值进行比较，若落入该第一范围阈值内，则判定粮面高度稳定，若超出该第一范围阈值，则查询一定时间范围内该仓房的状态是否是出入库状态。

优选的是，所述的基于双目视觉的粮仓储粮数量监测方法，所述双目视觉抓拍设备获取各个特征点的三维坐标值是通过以下方式确定的：

I：在粮食仓储企业粮仓的门口的内仓顶安装所述双目视觉抓拍设备，获取所述双目视觉抓拍设备在粮仓内的空间坐标，在系统中配置设备参数，系统会自动建立图像坐标和世界坐标系的对应关系；

II：所述双目视觉抓拍设备实施传输仓内粮面的视频数据，每间隔一段时间所述双目视觉抓拍设备拍摄一次粮面照片，并对获取的图像进行特征点提取，获取每个特征点的三维坐标值。

优选的是，所述的基于双目视觉的粮仓储粮数量监测方法，还包括以下步骤：

S1：在粮食仓储企业库区主干道上布置多个视频监控设备，抓拍记录车辆画面并识别车牌信息，在粮食仓储企业大门口设置地感线圈、车牌抓拍视频设备，若车辆触发所述地感线圈，启动所述车牌抓拍视频设备，记载入库时间、拍照并识别车牌信息；

S2：：在粮食仓储企业粮仓的门口内部设置压力传感器，若压力传感器检测到的粮食重量变化超过设置的第三范围阈值，则查询一定时间范围内该仓房的状态是否是出入库状态，若不是出入库状态，则发出一级报警信息，并通过库区主干道上的多个视频监控设备，将该时间范围内监控到的经过粮仓门口的车辆的车牌定义为嫌疑车辆，并推送至粮食仓储企业大门口的门房，调取该嫌疑车辆的入库时间，一旦该嫌疑车辆出库，则禁止该车辆出入。

优选的是，所述的基于双目视觉的粮仓储粮数量监测方法，S2中，发出一级报警信息后，还包括每间隔一段时间比对粮仓储粮量，若粮仓储粮量的变化超过设置的第二范围阈值，则发出二级报警信息，并实时输出粮仓储粮量，绘制实时粮仓储粮量曲线。

优选的是，所述的基于双目视觉的粮仓储粮数量监测方法，比对粮仓储粮量是基于所述双目视觉抓拍设备获取特征点的三维坐标值实现的，具体包括：根据各个特征点的三维坐标值计算封仓时的原始储粮量以及实时储粮量并进行比较，得到两者的储粮量差值，将储粮量差值与代表储粮量变化的第二范围阈值进行比较，若落入该第二范围阈值内，则判定粮食储粮量稳定，若超出该第二范围阈值，则发出二级报警信息。

优选的是，所述的基于双目视觉的粮仓储粮数量监测方法，根据各个特征点的三维坐标值计算粮仓储粮量是通过如下方式实现的：根据各个特征点的三维坐标值绘制粮面，将粮仓内的粮食划分成多个规则形状，确定粮仓的体积，根据粮仓内储存的粮食品种的密度分布，计算粮仓储粮量。

优选的是，所述的基于双目视觉的粮仓储粮数量监测方法，设置多个特征点的具体方式为：系统自动获取一定数量的特征点，特征点根据图像中粮面的范围随机、均匀的设置。

优选的是，所述的基于双目视觉的粮仓储粮数量监测方法，第一范围阈值为0.03m。

一种粮仓储粮监测装置，包括：

设置在粮食仓储企业大门口的地感线圈、车牌抓拍视频设备，抓拍并识别进出库的车辆的车牌信息，并对车辆通行或限行；

设置在粮食仓储企业库区主干道上的多个视频监控设备，抓拍记录车辆画面并识别车牌信息，提取经过粮仓门口的车牌信息；

设置在粮食仓储企业粮仓的门口内部的压力传感器，检测粮食重量变化；

设置在粮仓的门口的内仓顶的双目视觉抓拍设备，所述双目视觉抓拍设备朝向粮仓对角线方向的粮面，每间隔一定时间自动获取一定数量的特征点，获取并发送每个特征点的三维坐标值；

控制器，其与所述压力传感器和所述双目视觉抓拍设备通讯连接，所述控制器接收不同时刻的粮食重量和每个特征点的三维坐标值，计算一定时间范围内的粮食重量变化或粮仓储粮量或粮面高度并分别作差比较，根据比较的结果和代表粮仓门口粮食重量波动的第三范围阈值或代表粮面高度波动的第一范围阈值或代表储粮量变化的第二范围阈值分别对比分析做出是否报警的判断，如果超过阈值范围，则发出报警信息；

报警平台，其接收所述控制器发出的报警信息，并以响铃的形式报警、以信息的形式推送报警信息；

移动客户端，其接收所述控制器发出的报警信息。

本发明至少包括以下有益效果：

第一、本发明结合粮食仓储企业的实际需要和对仓内储粮数量监管的特性，设计出了通过仓内双目视觉抓拍设备获取仓内储粮数量的图像，从分析图像的角度来判断粮仓内多个随机标靶位置的三维坐标高度，结合对比不同时间标靶三维最坐标的高度差是否在阈值范围内，并根据该粮仓当前的储粮状态就可以判断出储粮数量是否发生异常变化，从而达到对储粮数量进行在线监测；

第二、本发明只需要在粮仓顶上固定位置安装双目视觉抓拍设备，且安装后不会影响日常粮仓作业，一方面可以通过视频的方式人工查询粮仓内储粮状况；另一方面通过双目视觉抓拍设备获取标靶的三维坐标值，根据比较纵向坐标值的变化，自动判断储粮数量是否发生变化，配合库区内的视频设备和大门口的车牌抓拍摄像机，实现了一旦发现储粮数量发生变化，能够第一时间获得警报信息，并且能够抓取到非法运量车辆的图像信息；

第三、本发明单个粮仓的建设费用最低可以控制在3000元以内，同时按照不同粮库的需求有不同价格层次的系统配置，即便在网络状况不是很好的情况下，系统可以自动调整工作方式，只需要周期性的获取每个粮仓的照片图像就可以实现监测功能，相对于视频传输，对网络的要求降低了很多，这样就便于推广到中心库下面的代储库点；

第四、本发明在粮仓门口对角内部的仓顶设置双目视觉抓拍设备，通过实时或者定时抓取双目视觉抓拍设备的视频画面，通过双目视觉算法对画面中粮面上随机选取若干标靶点进行图像算法处理，计算出标靶点的空点坐标位置，从而可以分析出粮仓内粮面的高度分布，结合粮仓内粮食的密度数据及粮仓体积进而可以计算出储粮重量，若粮食仓储企业任意一个储粮粮仓在该粮仓状态不是出入库状态时粮面特征点高度发生变化，则以此判断有粮食异常数量变动，则此时系统自动发送一级报警信息，应用摄像机分析粮面多个特征点的高度并计算粮仓储粮数量，具有功能多样、操作方便、价格低廉、网络要求低的优点。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

具体实施方式

下面结合细节对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

本发明提供一种基于双目视觉的粮仓储粮数量监测方法，在粮食仓储企业粮仓的门口的内仓顶设置双目视觉抓拍设备，使所述双目视觉抓拍设备朝向粮仓对角线方向的粮面，在所述双目视觉抓拍设备拍摄范围内的粮面随机设置多个特征点，并每间隔一段时间监测特征点的高度，即三维空间高度变化情况，若任一特征点的高度变化超过设置的第一范围阈值，则查询一定时间范围内(例如24h)该仓状态是否是出入库状态，若该仓不是属于出入库状态，则发出一级报警信息。

在上述技术方案中，通过固定于仓顶的朝向粮仓大门口方向的一部双目视觉抓拍设备周期性捕捉粮面的视频图像，捕捉周期为4h，双目视觉抓拍设备捕捉的视频图像经过网络传输到粮食仓储企业的计算机当中，进过图像采集卡的初步处理后图像数据进入储粮数量在线监测软件系统中进行数据分析，通过双目视差原理系统可以分析出粮面上随机多个特征点的高度，特征点分布在大门口附近的粮面，便于重点监测大门口附近粮面的变化情况。通过对大门口附近粮面高度的重点监控，一旦有在该仓在非出入库状态的情况下的粮食出库，系统就可以及时监测到粮面的变化情况，进而形成警报。

在另一种技术方案中，所述的基于双目视觉的粮仓储粮数量监测方法，监测特征点的高度是基于所述双目视觉抓拍设备获取特征点的三维坐标值(x轴、y轴、z轴)实现的，具体包括：将每个特征点相邻两次高度坐标值(z轴)进行比较，得到两者的高度坐标差值，将任一特征点的高度坐标差值与代表粮面高度波动的第一范围阈值进行比较，若落入该第一范围阈值内，则判定粮面高度稳定，若超出该第一范围阈值，则查询一定时间范围内该仓是否是出入库状态。拉粮食的车辆会提前记住摄像机抓拍的周期，并且每一次出粮的高度刚好在第一范围阈值、第二范围阈值、第三范围阈值对应的粮食重量范围内，重复多次直到把计划范围内的粮食拉完。

在另一种技术方案中，所述的基于双目视觉的粮仓储粮数量监测方法，人眼观察三维世界的景物的时候，由于光学投影和人眼的位置不同，三维世界中的统一物体投影到人眼的左右视网膜上的时候是在不同的位置，这个位置的差异称之为双目视差。人眼就是通过双目视差来确定三维世界中的某个物体离我们的距离的。所述双目视觉抓拍设备获取各个特征点的三维坐标值是通过以下方式确定的：

I：在粮食仓储企业粮仓的门口的内仓顶安装所述双目视觉抓拍设备，对所述双目视觉抓拍设备作单目标定以确定其畸变系数、相机内参矩阵等，使左右相机获取到的图像都能校正为标准图像后再进行处理，对所述双目视觉抓拍设备作双目标定，使获取的图像校正为标准图像，并建立已知的世界坐标系和校正得到的标准图像坐标系的对应关系，计算出双目相机在当前位置关系下的参数信息，此时可用所述双目视觉抓拍设备获得特征点的三维坐标值信息，获取所述双目视觉抓拍设备在粮仓内的空间坐标，在系统中配置设备参数，系统会自动建立图像坐标和世界坐标系的对应关系；

II：所述双目视觉抓拍设备实施传输仓内粮面的视频数据，每间隔一段时间所述双目视觉抓拍设备的一对摄像头分别从不同的角度拍摄一次粮面照片，并对获取的图像进行特征点提取，再加入图像处理的预处理算法，比如二值化、边缘提取、特征点去噪，把两张获取的图像的的障碍物提取、分割出来，完成特征点提取，获取每个特征点的三维坐标值。需要提取的特征点较少、提取速度要求高，一般来说一秒钟至少5个以上的信号，也就是说每秒至少采集5帧以上的图像并分别处理。

在另一种技术方案中，所述的基于双目视觉的粮仓储粮数量监测方法，工作人员从多个分布在库区内的视频监控设备拍摄的画面人工识别嫌疑车辆的人工成本、时间成本较高，不利于粮仓的长期监测，故本技术方案还包括以下步骤：

S1：在粮食仓储企业库区主干道上布置多个视频监控设备，抓拍记录车辆画面并识别车牌信息，记录在园区内行驶的车辆包括计划运粮车辆和嫌疑车辆，在粮食仓储企业大门口设置地感线圈、车牌抓拍视频设备，若车辆触发所述地感线圈，启动所述车牌抓拍视频设备，记载入库时间、拍照并识别车牌信息；

S2：在粮食仓储企业粮仓的门口内部设置压力传感器，压力传感器位于仓房门口的粮食下面，当出粮时，在引起粮面发生显著变化前，压力传感器能够有效的察觉仓房门口粮食的缺失，避免了粮面高度变化不显著但是粮食重量变化超过计划出粮的重量的情况，若压力传感器检测到的粮食重量变化超过设置的第三范围阈值，则查询一定时间范围内该仓房的状态是否是出入库状态，若不是出入库状态，则发出一级报警信息，代表粮仓内在该粮仓属于非出入库状态下的出库，需要确认嫌疑车辆，并通过库区主干道上的多个视频监控设备，将该时间范围内监控通过视频确认，多个视频监控设备拍摄的画面、车牌抓拍摄像机识别的车牌信息工作人员可以通过库区内视频设备拍摄的画面中确认粮仓周围的可疑车辆，该时间范围内监控到的经过粮仓门口的车辆的车牌定义为嫌疑车辆，并推送至粮食仓储企业大门口的门房，节约人力成本，系统调取该嫌疑车辆的入库时间，一旦该嫌疑车辆出库，则禁止该车辆出入。通过该系统能够全面的实现对整个粮食仓储企业储粮数量的监管。

在另一种技术方案中，所述的基于双目视觉的粮仓储粮数量监测方法，S2中，发出一级报警信息后，则代表粮仓内有属于非出入库状态的粮仓出库，本技术方案还包括每间隔一段时间(0.5h)比对粮仓储粮量，以监控粮仓内粮食的变化情况，若粮仓储粮量的变化超过设置的第二范围阈值，则发出二级报警信息，代表粮库储粮量锐减，需要提高警惕性，实时输出粮仓储粮量，绘制实时粮仓储粮量曲线，方便领导、工作人员监控粮仓内的粮食的变化情况。

在另一种技术方案中，所述的基于双目视觉的粮仓储粮数量监测方法，比对粮仓储粮量是基于所述双目视觉抓拍设备获取特征点的三维坐标值(x轴、y轴、z轴)实现的，具体包括：根据各个特征点的三维坐标值计算封仓时的原始储粮量(粮仓为规则形状，可获得粮仓体积)以及实时储粮量(获取方式有多种，例如通过多个特征点的高度计算平均值和粮仓面积的大小就可以计算出粮仓储粮的数量)并进行比较，得到两者的储粮量差值，将储粮量差值与代表储粮量变化的第二范围阈值进行比较，若落入该第二范围阈值内，则判定粮食储粮量稳定，若超出该第二范围阈值，则代表粮食储粮量波动较大，发出二级报警信息。

在另一种技术方案中，所述的基于双目视觉的粮仓储粮数量监测方法，根据各个特征点的三维坐标值计算粮仓储粮量是通过如下方式实现的：根据各个特征点的三维坐标值绘制粮面，将粮仓内的粮食划分成多个规则形状，根据分隔多个规则形状，分别计算各形状的体积并进叠加，确定粮仓的体积，根据粮仓内储存的粮食品种的密度，计算粮仓储粮量。

在另一种技术方案中，所述的基于双目视觉的粮仓储粮数量监测方法，设置多个特征点的具体方式为：将多个方形标靶插在粮堆表面，标靶的中间设有特征点，系统自动获取一定数量的特征点，特征点根据图像中粮面的范围随机、均匀的设置。

在另一种技术方案中，所述的基于双目视觉的粮仓储粮数量监测方法，第一范围阈值为0.03m，如超过该阈值，则代表粮面高度变化，粮食有变化，便于双目视觉抓拍设备识别。

一种基于双目视觉的粮仓储粮数量监测方法的粮仓储粮监测装置，包括：

设置在粮食仓储企业大门口的地感线圈、车牌抓拍视频设备，抓拍并识别进出库的车辆的车牌信息，并对车辆通行或限行；

设置在粮食仓储企业库区主干道上的多个视频监控设备，抓拍记录车辆画面并识别车牌信息，提取经过粮仓门口的车牌信息；

设置在粮食仓储企业粮仓的门口内部的压力传感器，检测粮食重量变化；

设置在粮仓的门口的内仓顶的双目视觉抓拍设备，所述双目视觉抓拍设备朝向粮仓对角线方向的粮面，每间隔一定时间自动获取一定数量的特征点，获取并发送每个特征点的三维坐标值；

控制器，其与所述压力传感器和所述双目视觉抓拍设备通讯连接，所述控制器接收不同时刻的粮食重量和每个特征点的三维坐标值，计算一定时间范围内的粮食重量变化或粮仓储粮量或粮面高度并分别作差比较，根据比较的结果和代表粮仓门口粮食重量波动的第三范围阈值或代表粮面高度波动的第一范围阈值或代表储粮量变化的第二范围阈值分别对比分析做出是否报警的判断，如果超过阈值范围，则发出报警信息；

报警平台，其接收所述控制器发出的报警信息，并以响铃的形式报警、以信息的形式推送报警信息；

移动客户端，其接收所述控制器发出的报警信息。

这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的细节。

Claims (2)

1.一种基于双目视觉的粮仓储粮数量监测方法，其特征在于，

1）在粮食仓储企业粮仓的门口的内仓顶设置双目视觉抓拍设备，使所述双目视觉抓拍设备朝向粮仓的粮面，在所述双目视觉抓拍设备拍摄范围内的粮面随机设置多个特征点，并每间隔一段时间监测特征点的高度，若任一特征点的高度变化超过设置的第一范围阈值，则查询一定时间范围内该粮仓的状态是否是出入库状态，若不是出入库状态，则发出一级报警信息；

2）在粮食仓储企业库区主干道上布置多个视频监控设备，抓拍记录车辆画面并识别车牌信息，在粮食仓储企业大门口设置地感线圈、车牌抓拍视频设备，若车辆触发所述地感线圈，启动所述车牌抓拍视频设备，记载入库时间、拍照并识别车牌信息；

3）在粮食仓储企业粮仓的门口内部设置压力传感器，若压力传感器检测到的粮食重量变化超过设置的第三范围阈值，则查询一定时间范围内该粮仓的状态是否是出入库状态，若不是出入库状态，则发出一级报警信息，并通过库区主干道上的多个视频监控设备，将该时间范围内监控到的经过粮仓门口的车辆的车牌定义为嫌疑车辆，并推送至粮食仓储企业大门口的门房，调取该嫌疑车辆的入库时间，一旦该嫌疑车辆出库，则禁止该车辆出入；发出一级报警信息后，还包括每间隔一段时间比对粮仓储粮量，若粮仓储粮量的变化超过设置的第二范围阈值，则发出二级报警信息，并实时输出粮仓储粮量，绘制实时粮仓储粮量曲线；

拉粮食的车辆会提前记住摄像机抓拍的周期，并且每一次出粮的高度刚好在第一范围阈值、第二范围阈值、第三范围阈值对应的粮食重量范围内；

监测特征点的高度是基于所述双目视觉抓拍设备获取特征点的三维坐标值实现的，具体包括：将每个特征点相邻两次高度坐标值进行比较，得到两者的高度坐标差值，将任一特征点的高度坐标差值与代表粮面高度波动的第一范围阈值进行比较，若落入该第一范围阈值内，则判定粮面高度稳定，若超出该第一范围阈值，则查询一定时间范围内该粮仓的状态是否是出入库状态；

所述双目视觉抓拍设备获取各个特征点的三维坐标值是通过以下方式确定的：

I：在粮食仓储企业粮仓的门口的内仓顶安装所述双目视觉抓拍设备，获取所述双目视觉抓拍设备在粮仓内的空间坐标，在系统中配置设备参数，系统会自动建立图像坐标和世界坐标系的对应关系；

II：所述双目视觉抓拍设备实时 传输仓内粮面的视频数据，每间隔一段时间所述双目视觉抓拍设备拍摄一次粮面照片，并对获取的图像进行特征点提取，获取每个特征点的三维坐标值；

比对粮仓储粮量是基于所述双目视觉抓拍设备获取特征点的三维坐标值实现的，具体包括：根据各个特征点的三维坐标值计算封仓时的原始储粮量以及实时储粮量并进行比较，得到两者的储粮量差值，将储粮量差值与代表储粮量变化的第二范围阈值进行比较，若落入该第二范围阈值内，则判定粮食储粮量稳定，若超出该第二范围阈值，则发出二级报警信息；

根据各个特征点的三维坐标值计算粮仓储粮量是通过如下方式实现的：根据各个特征点的三维坐标值绘制粮面，将粮仓内的粮食划分成多个规则形状，确定粮仓的体积，根据粮仓内储存的粮食品种的密度分布，计算粮仓储粮量；

设置多个特征点的具体方式为：系统自动获取一定数量的特征点，特征点根据图像中粮面的范围随机、均匀的设置。

2.如权利要求1所述的基于双目视觉的粮仓储粮数量监测方法，其特征在于，第一范围阈值为0.03 m。