CN106845890A - 一种基于视频监控的仓储监控方法及装置 - Google Patents

Abstract

本发明公开了一种基于视频监控的仓储监控方法及装置，本发明通过视频监控能实时检测出仓库中堆砌货物形状所发生的异常变化并及时报警，同时融合RFID无线射频识别技术实时获取报警货物的货物类别等信息，本发明在异常检测单元的背景学习模块中采用基于改进的混合高斯模型的背景建模算法，在算法中使用时变的权值更新率和不同的参数更新因子，不仅提高了检测灵敏度，还降低了模型的适应程度，使算法的鲁棒性增强。将RFID技术应用到视频监控技术中来，利用RFID快速扫描、穿透性和无屏碍阅读、抗污染能力和耐久性强、可重复使用、数据记忆容量大等优点，提高了仓储监控装置的智能化程度。并且该装置成本低，安装简便，节省了人力资源成本，具有较强的实际应用价值。

Description

一种基于视频监控的仓储监控方法及装置

技术领域

本发明涉及一种基于视频监控的仓储监控方法及装置。

背景技术

现在大多数仓库仍采用传统的监控方式，传统的仓储监控方法包括人力现场监控和人力视频监控，基本处于人工管理或半自动化管理状态，智能化程度较低，并且存在资金占用量大、货物识别及货物信息实时获取困难，人工依赖性强等诸多问题。

不同于传统的监控技术，智能视频监控技术以其强大的数据处理能力和高效的自主解析功能展现出明显的优势。智能视频监控技术的主要特点是采用计算机视觉的方法，在几乎不需人为监控的情况下，通过对视频图像序列进行自动分析，识别出感兴趣的监控目标或事件，并在此基础上分析和判断监控目标的行为，在可疑目标、潜在危险等异常情况发生时，以最快的速度发出警报。

无线射频识别技术(Radio Frequency Identification，简称“RFID”)是一种非接触式自动无线识别和数据获取技术，优势在于能让监控目标“开口说话”，实现数据的采集。将RFID技术与智能视频监控技术相结合，可以极大地提高仓储监控技术的智能化程度，有效地协助监控人员处理异常情况，提高监控效率，节省人力监控成本。

发明内容

本发明为了解决上述问题，提出了一种基于视频监控的仓储监控方法及装置，本发明通过视频监控能实时检测出仓库中堆砌货物形状所发生的异常变化并及时报警，同时融合RFID无线射频识别技术实时获取报警货物的货物类别等信息。

为了实现上述目的，本发明采用如下技术方案：

一种基于视频监控的仓储监控方法，包括以下步骤：

(1)采集仓库中货物堆的视频信息；

(2)对采集到的图像建立背景模型，并根据场景的变化对模型参数进行学习更新，检测视频场景是否发生异常变化，得到前景二值图像；

(3)进行形态学滤波操作，对前景二值图像先做开运算，后做闭运算，；

(4)对滤波后的图像进行区域划分，构建连通域，计算出每个连通区域各自的参数，剔除超过设定值的前景区域；

(5)对筛选后的前景区域进行异常判断，如果存在异常变化，进行报警。

所述步骤(1)中，摄像机正对货物堆安装，摄像机与货物堆保持一定的距离，对仓库中不同大小的货物堆进行分类分区存放。

所述步骤(2)中，对采集到的货物堆图像建立改进的混合高斯背景模型，并根据场景的变化对模型参数进行学习更新，具体包括：

(2-1)：计算开始连续时间段内的视频图像序列中各像素点的均值和方差，建立K个具有高斯分布的初始混合高斯背景模型，并设定初始权值；

(2-2)：每个像素点包含K个高斯分布构成的混合高斯背景模型，对后续传输的图像中每个新的像素值，分别与对应各像素点的背景模型进行匹配；

(2-3)：根据模型匹配的结果进行参数更新，分为两种情况，若当前帧的像素值与高斯模型集合中的一个高斯模型匹配，则更新该高斯模型的均值和方差，同时增加该高斯模型的权值，降低剩余未匹配的高斯模型的权值；若都不匹配，则根据当前帧的像素值引入一个新的高斯分布替换原先K个高斯模型集合中权值最小的高斯模型；

(2-4)：将K个高斯模型从高到低依次排序，依据设定的阈值选择相应个数的高斯模型作为背景模型。

所述步骤(2-4)中，背景模型的高斯模型个数的选取方法为：

其中，B为选择的背景模型个数，ω_k为各个高斯模型的权值，T为估计背景的最小阈值。

所述步骤(2)中，检测视频场景中的货物堆是否发生异常变化，对于传输来的视频图像，根据建立的背景模型，按照优先级次序依次与当前帧的像素值逐一匹配，若匹配则判断该点为前景点，否则为背景点，最终得到前景二值图像。

所述步骤(3)中，采用3×3方形结构元素做形态学滤波操作，对二值化图像先做开运算，后做闭运算，以消除前景区域的不连续空洞，连接同一前景区域的断裂处以及平滑其边缘。

所述步骤(4)中，通过像素标记算法将每个前景区域区分开，计算出每个连通区域各自的参数，然后根据各个区域的几何特征剔除掉不符合实际情况的前景区域，保留可能的前景区域。

所述步骤(5)中，对不同的货物堆区域设定不同的最小面积阈值，当通过连通域检测模块后得到的前景区域大于设定的最小面积阈值时，则判定货物堆形状发生变化。

一种基于视频监控的仓储监控装置，包括视频采集单元、异常检测单元、报警单元、RFID单元和显示单元，其中：

所述视频采集单元，被配置为实时采集监控场景的视频信息，并将其传输给异常检测单元和显示单元；

所述异常检测单元，被配置为对采集到的图像建立背景模型，并根据场景的变化对模型参数进行学习更新，检测视频场景是否发生异常变化，根据与背景模型的匹配结果得到前景二值图像，对前景二值图像先进行形态学滤波，再进行区域划分，构建连通域，对筛选后的前景区域进行异常判断，向报警单元传输异常变化信号；

所述报警单元，被配置为接收异常变化信号，并进行报警；

所述RFID单元，被配置为根据异常变化结果获取监控范围内发生异常变动的相应的货物信息；

所述显示单元，被配置为显示实时场景视频以及异常判断结果。

所述异常检测单元包括背景学习模块、前景检测模块、形态学处理模块、连通域检测模块与异常判断模块，其中：

所述背景学习模块，被配置为对采集到的货物堆图像建立改进的混合高斯背景模型，并根据场景的变化对模型参数进行学习更新；

所述前景检测模块，检测视频场景中的货物堆是否发生异常变化，对于传输来的视频图像，根据前若干个高斯模型建立的背景模型，按照优先级次序依次与当前帧的像素值逐一匹配，得到前景二值图像；

所述形态学处理模块，进行形态学滤波操作，对前景二值图像先做开运算，后做闭运算，以消除前景区域的不连续空洞，连接同一前景区域的断裂处以及平滑其边缘；

所述连通域检测模块，对检测到的前景区域进行筛选；

所述异常判断模块，对筛选后的前景区域进行异常判断。

所述RFID单元包括电子标签、读写器、控制器与数据库服务器，其中：

所述电子标签，标记货物的ID信息；

所述读写器，采集监控范围内货物携带的电子标签信息，并将数据信息传输给控制器；

所述控制器，对读写器进行读写功率和读写模式的设置，同时将从读写器中接收到的数据信息传输到数据库服务器；

所述数据库服务器，接收从控制器中传输来的数据信息并存储。

本发明的有益效果为：

(1)本发明在异常检测单元的背景学习模块中采用基于改进的混合高斯模型的背景建模算法，在算法中使用时变的权值更新率和不同的参数更新因子，不仅提高了检测灵敏度，还降低了模型的适应程度，使算法的鲁棒性增强；

(2)本发明将RFID技术应用到视频监控技术中来，利用RFID快速扫描、穿透性和无屏碍阅读、抗污染能力和耐久性强、可重复使用、数据记忆容量大等优点，提高了仓储监控装置的智能化程度；

(3)本发明成本低，安装简便，节省了人力资源成本，具有较强的实际应用价值。

附图说明

图1是本发明的结构框图；

图2是本发明的异常检测单元中背景学习模块的方法流程图；

图3是本发明的RFID单元的应用过程示意图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

如图1所示，为本发明的结构框图，本发明由视频采集单元1、异常检测单元2、报警单元3、RFID单元4和显示单元5五部分组成。

视频采集单元1用于采集实时监控场景的视频信息，并通过网线与异常检测单元2进行视频传输，通过光纤电缆与显示单元5进行实时视频传输；

异常检测单元2用于检测从视频采集单元1接收的场景视频信息，如果检测到异常变化则输出I/O信号给报警单元3，并通过光纤电缆与显示单元5进行信号传输；

报警单元3用于接收从异常检测单元2发出的报警信号，及时发出报警信息；

RFID单元4用于获取监控范围内发生异常变动的货物信息，并通过光纤电缆与显示单元5连接，进行信号传输；

显示单元5用于显示从视频采集单元1接收的实时场景视频，以及从异常检测单元2接收的检测结果。

进一步，所述视频采集单元1由红外摄像机6组成，用于采集仓库中货物堆的视频信息。所述视频采集单元1中的红外摄像机6适用于在照明条件不足或或完全无光的环境中采集图像，当仓库中的光线亮度低于某一阈值时，红外摄像机6会启动红外灯照明补光，采集到的图像为黑白图像；反之，红外摄像机6会关闭红外灯照明，采集到彩色图像。

进一步，所述异常检测单元2由背景学习模块7、前景检测模块8、形态学处理模块9、连通域检测模块10与异常判断模块11五部分组成。其中：

如图2所示，所述背景学习模块7，用于对采集到的货物堆图像建立改进的混合高斯背景模型，并根据场景的变化对模型参数进行学习更新，具体步骤包括：

(1)：模型初始化；

(2)：模型匹配；

(3)：模型参数更新；

(4)：背景模型建立。

其中，步骤(1)模型初始化的具体步骤为：

步骤(1.1)：计算开始连续几段很短时间内N帧视频图像序列中每一个像素点的均值μ₀和方差均值和方差的计算公式如下：

其中，μ₀是每个像素点的像素均值，i＝1…N是视频图像序列的帧数，X_i是第i帧视频图像中每个像素点的像素值，是每个像素点的方差值；

步骤(1.2)：用步骤(1.1)得到的每个像素点的均值μ₀和方差建立K个具有高斯分布的初始混合高斯背景模型，每个像素点的高斯概率分布表达式如下：

其中，K为混合高斯模型中高斯分布的个数，通常的取值范围为[3,5]，ω_i,t为t时刻混合高斯模型中第i个高斯分布的权值的估计值，X_t为每个像素点在t时刻的像素值，μ_i,t为t时刻混合高斯模型中第i个高斯分布的均值，Σ_i,t为t时刻混合高斯模型中第i个高斯分布的协方差矩阵，η为高斯概率密度函数；

进一步，高斯概率密度函数的表达式为：

其中，n是像素值X_t的维数，n＝1为灰度图像，μ_t和Σ分别为t时刻混合高斯模型的均值和协方差矩阵；

为简化计算，协方差矩阵的计算公式如下：

其中，Σ_k,t和分别为t时刻混合高斯模型中第k个高斯分布的协方差矩阵和方差，I为单位矩阵；

步骤(1.3)：设定由步骤(1.2)建立的K个高斯背景模型的初始权值，初始化权值公式如下：

其中，ω_i,t是t时刻混合高斯模型中第i个高斯模型的权值，X_t为每个像素点在t时刻的值，μ_i,t为t时刻混合高斯模型中第i个高斯分布的均值，N为视频图像序列的帧数；

步骤(2)模型匹配的具体做法为：

在完成步骤(1)初始化后，每个像素点包含K个高斯分布构成的混合高斯背景模型，对后续传输的图像中每个新的像素值X_t，分别与对应各像素点的高斯背景模型进行匹配，匹配的公式如下：

其中，λ是判断阈值，通常设为2.5；

步骤(3)模型参数更新的具体步骤为：

步骤(3.1)：根据步骤(2)模型匹配的结果进行参数更新，分为两种情况：

若当前帧每个像素点处的像素值X_t与K个高斯模型集合中的一个高斯模型匹配，则更新该高斯模型的均值和方差，同时增加该高斯模型的权值，均值和方差的更新公式如下：

μ_t＝(1-ρ₁)μ_t-1+ρ₁X_t (8)

上式中，μ_t和分别是更新后t时刻的高斯模型的均值和方差，μ_t-1和分别是更新前t-1时刻的高斯模型的均值和方差，ρ₁、ρ₂是取值在[0,1]之间的参数更新因子，且ρ₁＞ρ₂；

进一步，该高斯模型权值增加的公式如下：

ω_k,t＝(1-α)ω_k,t-1+α (10)

其中，ω_k,t为更新后的高斯模型的权值，ω_k,t-1为更新前的高斯模型的权值，α为取值在[0,1]的权值更新率；

对于K个高斯模型集合中剩余未与X_t匹配的高斯模型，则仅降低这些高斯模型的权值，权值降低的公式如下：

ω_k,t＝(1-α)ω_k,t-1 (11)

上式中，ω_k,t为更新后的高斯模型的权值，ω_k,t-1为更新前的高斯模型的权值，α为取值在[0,1]的权值更新率；

其中，权值更新率α的计算公式如下：

上式中，n＝1,2,…,N为视频图像序列的帧数；

若当前帧每个像素点处的像素值X_t与K个高斯模型集合中的任何一个高斯模型都不匹配，则根据X_t引入一个新的高斯分布替换原先K个高斯模型集合中权值最小的高斯模型，替换的方法为：新高斯模型的均值μ_t设为当前像素值X_t，方差取为较大值，权值ω_t取为较小值；

步骤(3.2)：参数更新完后，对混合高斯模型中的K个高斯模型的权值进行归一化处理：

上式中，ω_i,t为K个混合高斯模型中第i个高斯模型的权值；

步骤(4)背景模型建立的具体步骤为：

步骤(4.1)：计算K个高斯模型的优先级ω/σ；

步骤(4.2)：根据优先级ω/σ的值将各高斯模型从高到低依次排序；

步骤(4.3)：从K个高斯模型中选择前B个高斯模型作为背景模型，选取方法为：

其中，B为选择的背景模型个数，ω_k为各个高斯模型的权值，T为估计背景的最小阈值，T一般取经验值0.85。

所述前景检测模块8，用于检测视频场景中的货物堆是否发生异常变化，对于传输来的视频图像，根据前B个高斯模型建立的背景模型，按照优先级次序依次与当前帧的像素值X_t逐一匹配，若匹配则判断该点为前景点，否则为背景点，从而分割出前景区域与背景区域，得到前景二值图像，前景区域分割的公式如下：

上式中，R_k(x,y)为赋予当前像素点的新像素值，μ_i,t和σ_i,t分别为背景模型的均值和标准差，i＝1…B为背景模型的个数。

所述形态学处理模块9，经过前景检测8后得到包含前景信息的二值化图像，在其背景区域存在着小噪声，在其前景区域内部也存在着一些空洞，且前景区域的边缘处不平滑，有大量毛刺。为了去除这些不利影响，本发明采用3×3方形结构元素做形态学滤波操作，对二值化图像先做开运算，后做闭运算，以消除前景区域的不连续空洞，连接同一前景区域的断裂处以及平滑其边缘。

所述连通域检测模块10，指的是对检测到的前景区域进行筛选。通过前景检测8后的二值化图像可能包括多个前景区域，通过像素标记算法将每个前景区域区分开，计算出每个连通区域各自的参数(面积、周长等)，然后根据各个区域的几何特征剔除掉一些在面积和形状上明显不符合实际情况的前景区域，保留可能的前景区域。

所述异常判断模块11，指的是对筛选后的前景区域进行异常判断。由于判断的是货物堆的形状，当货物堆的形状发生变化时，则会出现一定面积的前景区域。所述视频采集单元1中的红外摄像机6正对货物堆安装，摄像机6与货物堆保持一定的距离，对仓库中不同大小的货物堆进行分类分区存放，对不同的货物堆区域设定不同的最小面积阈值，当通过连通域检测模块10后得到的前景区域大于设定的最小面积阈值时，则判定货物堆形状发生变化，即有人动过货物，同时发出I/O报警信号传递给报警单元3。

进一步，所述报警单元3由报警器12组成，当货物堆形状发生变化时，报警器12接收异常检测单元2传来的报警信号，进行报警，协助仓库管理人员及时进行处理。

进一步，所述RFID单元4由电子标签13、读写器14、系统软件15与数据库服务器16四部分组成。

所述电子标签13，用于标记货物的ID信息，如货物类别、摆放位置、日期等数据信息。

所述读写器14，用于采集监控范围内货物携带的电子标签信息，并将数据信息传输给系统软件15。

所述系统软件15，用于对读写器14进行读写功率和读写模式的设置，同时将从读写器14中接收到的数据信息传输到数据库服务器16中存储。

所述数据库服务器16，用于接收从系统软件15中传输来的数据信息并存储。

如图3所示，所述RFID单元4在典当仓库中的具体应用过程如下：

首先，为典当仓库中的每个货物18分别植入一个电子标签13，每个电子标签13注册有不同的ID信息，读写器14读取监控范围内堆放货物18上的电子标签信息，并传输至系统软件15，由系统软件15将数据信息写入数据库服务器16中并存储；当货物堆发生异常即货物18离开存放位置时，固定式的读写器14会读取货物18上的电子标签信息，并传输至系统软件15，由系统软件15写入数据库服务器16，记录货物18的异常变动，同时在显示单元5的计算机显示器17中显示发生异常变动的货物信息。

进一步，所述显示单元5由计算机显示器17组成，接收从视频采集单元1传输来的实时监控场景视频并显示，同时与异常检测单元2、RFID单元4连接，显示异常检测的结果和发生异常变化的货物信息。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于视频监控的仓储监控方法，其特征是：包括以下步骤：

(1)采集仓库中货物堆的视频信息；

(2)对采集到的图像建立背景模型，并根据场景的变化对模型参数进行学习更新，检测视频场景是否发生异常变化，得到前景二值图像；

(3)进行形态学滤波操作，对前景二值图像先做开运算，后做闭运算；

(4)对滤波后的图像进行区域划分，构建连通域，计算出每个连通区域各自的参数，剔除超过设定值的前景区域；

(5)对筛选后的前景区域进行异常判断，如果存在异常变化，进行报警。

2.如权利要求1所述的一种基于视频监控的仓储监控方法，其特征是：所述步骤(1)中，摄像机正对货物堆安装，摄像机与货物堆保持一定的距离，对仓库中不同大小的货物堆进行分类分区存放。

3.如权利要求1所述的一种基于视频监控的仓储监控方法，其特征是：所述步骤(2)中，对采集到的货物堆图像建立改进的混合高斯背景模型，并根据场景的变化对模型参数进行学习更新，具体包括：

(2-1)：计算开始连续时间段内的视频图像序列中各像素点的均值和方差，建立K个具有高斯分布的初始混合高斯背景模型，并设定初始权值；

(2-2)：每个像素点包含K个高斯分布构成的混合高斯背景模型，对后续传输的图像中每个新的像素值，分别与对应各像素点的背景模型进行匹配；

(2-3)：根据模型匹配的结果进行参数更新，分为两种情况，若当前帧的像素值与高斯模型集合中的一个高斯模型匹配，则更新该高斯模型的均值和方差，同时增加该高斯模型的权值，降低剩余未匹配的高斯模型的权值；若都不匹配，则根据当前帧的像素值引入一个新的高斯分布替换原先K个高斯模型集合中权值最小的高斯模型；

(2-4)：将K个高斯模型从高到低依次排序，依据设定的阈值选择相应个数的高斯模型作为背景模型。

4.如权利要求3所述的一种基于视频监控的仓储监控方法，其特征是：所述步骤(2-4)中，背景模型的高斯模型个数的选取方法为：

$B=\arg {\min }_b(\underset{k=1}{\overset{b}{\Σ}}{\mathrm{\ω}}_k>T)---\left(14\right)$

其中，B为选择的背景模型个数，ω_k为各个高斯模型的权值，T为估计背景的最小阈值。

5.如权利要求1所述的一种基于视频监控的仓储监控方法，其特征是：所述步骤(2)中，检测视频场景中的货物堆是否发生异常变化，对于传输来的视频图像，根据建立的背景模型，按照优先级次序依次与当前帧的像素值逐一匹配，若匹配则判断该点为前景点，否则为背景点，最终得到前景二值图像。

6.如权利要求1所述的一种基于视频监控的仓储监控方法，其特征是：所述步骤(3)中，采用3×3方形结构元素做形态学滤波操作，对二值化图像先做开运算，后做闭运算，以消除前景区域的不连续空洞，连接同一前景区域的断裂处以及平滑其边缘。

7.如权利要求1所述的一种基于视频监控的仓储监控方法，其特征是：所述步骤(4)中，通过像素标记算法将每个前景区域区分开，计算出每个连通区域各自的参数，然后根据各个区域的几何特征剔除掉不符合实际情况的前景区域，保留可能的前景区域。

8.如权利要求1所述的一种基于视频监控的仓储监控方法，其特征是：所述步骤(5)中，对不同的货物堆区域设定不同的最小面积阈值，当通过连通域检测模块后得到的前景区域大于设定的最小面积阈值时，则判定货物堆形状发生变化。

9.一种基于视频监控的仓储监控装置，其特征是：包括视频采集单元、异常检测单元、报警单元、RFID单元和显示单元，其中：

所述视频采集单元，被配置为实时采集监控场景的视频信息，并将其传输给异常检测单元和显示单元；

所述异常检测单元，被配置为对采集到的图像建立背景模型，并根据场景的变化对模型参数进行学习更新，检测视频场景是否发生异常变化，根据与背景模型的匹配结果得到前景二值图像，对前景二值图像先进行形态学滤波，再进行区域划分，构建连通域，对筛选后的前景区域进行异常判断，向报警单元传输异常变化信号；

所述报警单元，被配置为接收异常变化信号，并进行报警；

所述RFID单元，被配置为根据异常变化结果获取监控范围内发生异常变动的相应的货物信息；

所述显示单元，被配置为显示实时场景视频以及异常判断结果。

10.如权利要求9所述的一种基于视频监控的仓储监控装置，其特征是：所述异常检测单元包括背景学习模块、前景检测模块、形态学处理模块、连通域检测模块与异常判断模块，其中：

所述背景学习模块，被配置为对采集到的货物堆图像建立改进的混合高斯背景模型，并根据场景的变化对模型参数进行学习更新；

所述前景检测模块，检测视频场景中的货物堆是否发生异常变化，对于传输来的视频图像，根据前若干个高斯模型建立的背景模型，按照优先级次序依次与当前帧的像素值逐一匹配，得到前景二值图像；

所述形态学处理模块，进行形态学滤波操作，对前景二值图像先做开运算，后做闭运算，以消除前景区域的不连续空洞，连接同一前景区域的断裂处以及平滑其边缘；

所述连通域检测模块，对检测到的前景区域进行筛选；

所述异常判断模块，对筛选后的前景区域进行异常判断。