发明内容
本发明所要解决的技术问题是针对上述现有技术提供一种能够对库房中情况进行准确监控的基于智能移动终端的库房防盗视频监控系统。
本发明解决上述技术问题所采用的技术方案为:基于智能移动终端的库房防盗视频监控系统,其特征在于,包括设有第一LTE通信模块的智能移动终端以及设置在库房内的视频采集模块、视频存储模块、视频提取模块、视频分帧模块、图像类型识别模块、图像类型转换模块、图像预处理模块、运动目标提取模块、警报模块和第二LTE通信模块;所述视频存储模块分别连接视频采集模块和视频提取模块,所述视频分帧模块分别连接视频提取模块和图像类型识别模块,所述图像类型转换模块连接图像类型识别模块和图像预处理模块,所述图像预处理模块连接图像类型识别模块和运动目标提取模块,所述警报模块分别连接运动目标提取模块和第二LTE通信模块,第二LTE通信模块连接视频采集模块;其中,
所述视频采集模块,用以采集库房内的视频信息并消除视频抖动,存储已消除视频抖动后的视频信息至视频存储模块内;
所述视频提取模块,用于提取视频存储模块中的视频信息,并发送给视频分帧模块;
所述视频分帧模块,用以将接收的视频按照预设帧间隔分割成若干独立的帧图像,并按照分割的先后顺序对各帧图像进行顺序编号;
所述图像类型识别模块,用以判断所接收的帧图像类型为动态图像时,则将其发送给图像类型转换模块处理成静态图像;判断接收的帧图像为静态图像时,则直接发送帧图像给图像预处理模块;
所述图像类型转换模块,用以将接收的动态帧图像转换为静态帧图像,并发送转换后的静态帧图像给图像预处理模块;
所述图像预处理模块,用以对接收的静态帧图像进行滤噪处理,并将滤噪后的静态帧图像作为库房监控的原始监控图像发送给运动目标提取模块;
所述运动目标提取模块,用于提取滤噪后的原始监控图像序列中的运动目标,并将提取的运动目标发送给警报模块,其中,运动目标的提取方法依次包括如下步骤:
(1)以预设编号差值作为编号间隔,在具有独立编号的原始帧图像序列中连续地选取部分原始帧图像组成原始监控图像S(i,j);其中,选取的部分原始帧图像表示为St(i,j),t∈[0,T],T为被选取的原始帧图像数量;
(2)对原始监控图像S(i,j)中的各原始帧图像St(i,j)以预设倍数放大其像素值,并对放大后的各原始帧图像St(i,j)做灰度化处理,得到对应的灰度帧图像Yt(i,j),其中,原始监控图像S(i,j)对应的灰度图像为Y(i,j);其中,原始监控图像S(i,j)转换为灰度图像Y(i,j)采用如下转换公式:
Y(i,j)=0.257×r(i,j)+0.504×g(i,j)+0.239×b(i,j);
其中,r(i,j)、g(i,j)、b(i,j)分别对应原始帧图像St(i,j)的颜色空间三维坐标中的红、绿、蓝颜色分量,Yt(i,j)是该像素点对应的灰度值;
(3)对灰度图像Y(i,j)中的各灰度帧图像Yt(i,j)进行预处理,得到对应的预处理帧图像It(i,j)和预处理图像I(i,j),并采用高斯滤波分别对各预处理帧图像It(i,j)进行处理;其中,高斯函数为均值是零的二维高斯函数g(i,j),其中,
其使用的图像模板算子为
(4)对前后连续间隔为m-n帧和m帧的三帧预处理图像Ik-(m-n)(i,j)、Ik(i,j)和Ik+m(i,j)做差分,得到两个差分图像D(k,k-(m-n))(i,j)和D(k+m,k)(i,j);其中,
D(k,k-(m-n))(i,j)=|Ik(i,j)-Ik-(m-n)(i,j)|,D(k+m,k)(i,j)=|Ik+m(i,j)-Ik(i,j)|;
其中,Ik-(m-n)(i,j)、Ik(i,j)和Ik+m(i,j)分别表示预处理序列图像I(i,j)中的某三帧预处理图像,m-n和m分别表示预处理序列图像I(i,j)中两帧预处理图像之间的间隔帧数,m,n∈Z,且m≥3,n∈[0,3];
(5)分别对所得两个差分图像D(k,k-(m-n))(i,j)和D(k+m,k)(i,j)做二值化处理,得到对应的二值化图像R(k,k-(m-n))(i,j)和R(k+m,k)(i,j);其中,二值化处理准则如下:
其中,T表示阈值;
(6)对所得到的两幅相邻的二值化图像R(k,k-(m-n))(i,j)和R(k+m,k)(i,j)做逻辑“或”操作和逻辑“与”操作,分别得到对应运算后的联合二值化“或”图像Bork(i,j)和联合二值化“与”图像Bandk(i,j),并将联合二值化“或”图像Bork(i,j)和联合二值化“与”图像Bandk(i,j)进行逻辑“异或”运算,得到潜在运动目标区域的二值化图像Bk(i,j);其中,
联合二值化“或”图像为
联合二值化“与”图像为
潜在运动目标区域的二值化图像
(7)对潜在运动目标区域内进行基于高斯模型的运动目标检测,对高斯分布的参数均值以及方差赋初值,建立高斯背景模型,并对建立的高斯背景模型以如下设定的更新方式进行实时更新;其中,设定的更新方式为:
其中,α表示当前帧图像中的像素对所对应位置上的高斯背景模型的更新所做出的贡献程度,α=0.0025;N表示被用来进行高斯背景模型初始化的图像的数量,表示第k帧图像中(i,j)位置上的像素观察值;
(8)计算像素位置上高斯分布的90%置信区间的上限和下限并对运动前景提取得到运动目标其中,
所述警报模块,将接收到的运动目标提取结果经第二LTE通信模块发送给智能移动终端进行报警防盗提示。
为了在获取连续原始帧图像的同时,又能够保证对视频采集模块所采集视频中运动目标的检测效果,作为优选,所述步骤(3)中的间隔帧数m为3,n为1。
与现有技术相比,本发明的优点在于:库房内的视频采集模块将采集的库房内的监控视频保存到视频存储模块,视频提取模块提取监控视频发送给视频分帧模块分帧,视频分帧模块按照分帧顺序,将监控视频分帧成若干具有独立编号的原始帧图像,并发送给图像类型识别模块识别,识别的动态图像则由图像类型转换模块转换为静态图像,然后发送给图像预处理模块滤噪处理,滤噪后的原始帧图像给运动目标提取模块提取其中的发生变化的运动目标,以消除抖动的镜头对运动目标提取产生干扰,并发送运动目标给警报模块,该运动目标即为库房监控视频中的运动物,即潜在进行盗窃的运动目标,从而警报模块经第二LTE通信模块将报警信息及运动目标发送给智能移动终端,由监控人员采取应对措施,防止库房发生盗窃。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
如图1所示,本实施例中提供的基于智能移动终端的库房防盗视频监控系统,包括设有第一LTE通信模块10的智能移动终端1以及设置在库房2内的视频采集模块20、视频存储模块21、视频提取模块22、视频分帧模块23、图像类型识别模块24、图像类型转换模块25、图像预处理模块26、运动目标提取模块27、警报模块28和第二LTE通信模块29;
视频存储模块21分别连接视频采集模块20和视频提取模块22,视频分帧模块23分别连接视频提取模块22和图像类型识别模块24,图像类型转换模块25连接图像类型识别模块24和图像预处理模块26,图像预处理模块26连接图像类型识别模块24和运动目标提取模块27,警报模块28分别连接运动目标提取模块27和第二LTE通信模块29,第二LTE通信模块29连接视频采集模块20;其中,
视频采集模块20,用以采集库房2内的视频信息并消除视频抖动,存储已消除视频抖动后的视频信息至视频存储模块21内;
视频提取模块22,用于提取视频存储模块21中的视频信息,并发送给视频分帧模块23;
视频分帧模块23,用以将接收的视频按照预设帧间隔分割成若干独立的帧图像,并按照分割的先后顺序对各帧图像进行顺序编号;
图像类型识别模块24,用以判断所接收的帧图像类型为动态图像时,则将其发送给图像类型转换模块25处理成静态图像;判断接收的帧图像为静态图像时,则直接发送帧图像给图像预处理模块26;
图像类型转换模块25,用以将接收的动态帧图像转换为静态帧图像,并发送转换后的静态帧图像给图像预处理模块26;
图像预处理模块26,用以对接收的静态帧图像进行滤噪处理,并将滤噪后的静态帧图像作为库房监控的原始监控图像发送给运动目标提取模块27;
运动目标提取模块27,用于提取滤噪后的原始监控图像序列中的运动目标,并将提取的运动目标发送给警报模块28,其中,参考图2所示,运动目标的提取方法依次包括如下步骤:
步骤1,以预设编号差值作为编号间隔,在具有独立编号的原始帧图像序列中连续地选取部分原始帧图像组成原始监控图像S(i,j);其中,选取的部分原始帧图像表示为St(i,j),t∈[0,T],T为被选取的原始帧图像数量;
例如,在获取的时长为10秒的原始监控视频A.mp4文件中,视频分帧模块23将该原始监控视频先后分割成独立的200幅独立编号的原始帧图像,即原始帧图像分别为S1(i,j)、S2(i,j)、…、S199(i,j)和S200(i,j);假设预设编号差值为2,则以第一帧原始帧图像为选取的首帧,则连续地选取的部分原始帧图像分别为S1(i,j)、S3(i,j)、S5(i,j)、…、S200(i,j);由被选取的这100幅原始帧图像构成原始监控图像S(i,j);
步骤2,对原始监控图像S(i,j)中的各原始帧图像St(i,j)以预设倍数放大其像素值,并对放大后的各原始帧图像St(i,j)做灰度化处理,得到对应的灰度帧图像Yt(i,j),其中,原始监控图像S(i,j)对应的灰度图像为Y(i,j);
Y(i,j)=0.257×r(i,j)+0.504×g(i,j)+0.239×b(i,j);
其中,r(i,j)、g(i,j)、b(i,j)分别对应原始帧图像St(i,j)的颜色空间三维坐标中的红、绿、蓝颜色分量,Yt(i,j)是该像素点对应的灰度值;在本实施例中,针对红、绿、蓝颜色分量,分别设定优化的图像转换参数0.257、0.504和0.239,以得到具有高压缩率的灰度图像,由此得到具有小容量的灰度图像,从而可以有效的节约智能移动终端的存储空间,进一步提高智能移动终端的运行效率;
步骤3,对灰度图像Y(i,j)中的各灰度帧图像Yt(i,j)进行预处理,得到对应的预处理帧图像It(i,j)和预处理图像I(i,j),并采用高斯滤波分别对各预处理帧图像It(i,j)进行处理,得到纯净的预处理图像,从而可以弥补后续单独使用三帧差分法难以满足对运动目标提取质量的要求不足;其中,高斯函数为均值是零的二维高斯函数g(i,j),其中, 其使用的图像模板算子为
步骤4,对前后连续间隔为m-n帧和m帧的三帧预处理图像Ik-(m-n)(i,j)、Ik(i,j)和Ik+m(i,j)做差分,得到两个差分图像D(k,k-(m-n))(i,j)和D(k+m,k)(i,j);其中,
D(k,k-(m-n))(i,j)=|Ik(i,j)-Ik-(m-n)(i,j)|,D(k+m,k)(i,j)=|Ik+m(i,j)-Ik(i,j)|;
其中,Ik-(m-n)(i,j)、Ik(i,j)和Ik+m(i,j)分别表示预处理序列图像I(i,j)中的某三帧预处理图像,m-n和m分别表示预处理序列图像I(i,j)中两帧预处理图像之间的间隔帧数,m,n∈Z,且m≥3,n∈[0,3];
例如,在一系列预处理图像I1(i,j)、I2(i,j)、I3(i,j)、I4(i,j)、I5(i,j)和I6(i,j)中,取m=3,n=1时,以I2(i,j)为首选帧预处理图像,则选取的三帧预处理图像分别为I2(i,j)、I4(i,j)和I5(i,j);其中,m为3且n为1时,可以保证连续选取的三帧预处理图像不会出现大的像素点缺失,以保证库房监控图像内容的不失真性,从而保证对库房监控视频中运动目标的检测效果;
步骤5,分别对所得两个差分图像D(k,k-(m-n))(i,j)和D(k+m,k)(i,j)做二值化处理,得到对应的二值化图像R(k,k-(m-n))(i,j)和R(k+m,k)(i,j);其中,二值化处理准则如下:
其中,T表示阈值;
步骤6,对所得到的两幅相邻的二值化图像R(k,k-(m-n))(i,j)和R(k+m,k)(i,j)做逻辑“或”操作和逻辑“与”操作,分别得到对应运算后的联合二值化“或”图像Bork(i,j)和联合二值化“与”图像Bandk(i,j),并将联合二值化“或”图像Bork(i,j)和联合二值化“与”图像Bandk(i,j)进行逻辑“异或”运算,得到潜在运动目标区域的二值化图像Bk(i,j);逻辑“与”操作可以自动摒弃新暴露出来的像素点,有效的消除“鬼影”现象,而通过采用逻辑“异或”运算可以明确的界定出潜在运动目标区域的界限,以得到真实的二值化图像,其中,
联合二值化“或”图像为
联合二值化“与”图像为
潜在运动目标区域的二值化图像
步骤7,对潜在运动目标区域内进行基于高斯模型的运动目标检测,对高斯分布的参数均值以及方差赋初值,建立高斯背景模型,并对建立的高斯背景模型以如下设定的更新方式进行实时更新;其中,设定的更新方式为:
其中,α表示当前帧图像中的像素对所对应位置上的高斯背景模型的更新所做出的贡献程度,本实施例中设定α=0.0025,以满足当前更新后的背景模型真实的反映实际场景中的真实背景图像,而当贡献程度α设定为其他数值时,则更新后的背景模型与实际场景中的真实背景图像发生偏移,从而导致不能建立最佳的背景模型;N表示被用来进行高斯背景模型初始化的图像的数量,表示第k帧图像中(i,j)位置上的像素观察值;
步骤8,计算像素位置上高斯分布的90%置信区间的上限和下限并对运动前景提取得到运动目标其中,
警报模块28,将接收到的运动目标提取结果经第二LTE通信模块发送给智能移动终端进行报警防盗提示。
以下结合图1和图2,对本实施例中基于智能移动终端的库房防盗视频监控系统的工作过程做出说明:
库房2内的视频采集模块20将采集的库房内的监控视频保存到视频存储模块21中,并且视频提取模块22将从视频存储模块21中提取的监控视频发送给视频分帧模块23分帧;
视频分帧模块23按照分帧顺序,将监控视频分帧成若干具有独立编号的原始帧图像,并发送给图像类型识别模块24识别;当图像类型识别模块24识别当前原始帧图像为动态图像时,则发送给图像类型转换模块25将其转换为静态图像,然后发送给图像预处理模块26,否则,图像类型识别模块24直接将静态的原始帧图像发送给图像预处理模块26;
图像预处理模块26将接收的静态的原始帧图像滤噪处理后,则发送滤噪后的原始帧图像给运动目标提取模块27按照本实施例中的运动目标提取方法来提取其中的发生变化的运动目标,以消除抖动的镜头对运动目标提取产生干扰,并发送提取的运动目标给警报模块28,该运动目标即为库房监控视频中的运动物,即潜在进行盗窃的运动目标,从而警报模块28经第二LTE通信模块29将报警信息及运动目标发送给智能移动终端1,由智能移动终端1端的监控人员采取应对措施,防止库房发生盗窃。