CN105282506A - 基于物联网的全色-多光谱图像融合视频监控方法及其监控装置 - Google Patents

Abstract

本发明公开了一种基于物联网的全色-多光谱图像融合视频监控方法及其监控装置，所述的方法包括如下步骤：步骤S1，获取监控区的全色图像和多光谱图像；步骤S2，本地监控中心获取步骤S1的全色图像和多光谱图像，并进行压缩；步骤S3，远程监控终端通过无线通信获取步骤S2的由本地监控中心压缩后的图像信息；步骤S4，远程监控终端对步骤S3获得的图像信息进行解压缩后恢复原图像，并实现全色图像与多光谱图像的融合。本发明提出利用4组ARM和摄像头进行图像信息采集，方便简洁，使得监控设备模块化，能有效解决图像的混淆；提出远程监控终端与本地监控中心通过超文本传送协议传输监控信息，避免了传统的多摄像头有线传输，实现监控的规整有效性。

Description

基于物联网的全色-多光谱图像融合视频监控方法及其监控装置

技术领域

本发明涉及一种基于物联网的全色-多光谱图像融合视频监控方法及其监控装置，涉及图像压缩与解压缩、监控领域、ARM、全色与多光谱图像融合、无线通信。

背景技术

在远程监控领域，前端的监控设备负责把采集的视频流压缩经过压缩后，通过无线或有线网络发送至远程监控终端进行解压缩，恢复出原视频流，实现无损压缩与解压缩是极其重要的一步，前人在此作了很多努力工作，也取得了不错的成绩。王云会等人提出了一种基于帧内压缩的视频实时传输方法，在发送图像数据前进行帧内压缩，然后分组发送，在接收端进行数据包接收、重组并解码，该方法显著提高了拆包，组包的效率，视频传输的实时性得到了明显的改善，传输的准确性和稳定性也有明显的提高。

视频监控一直是国内外研究的热点问题。因其直观、方便、信息内容丰富而被广泛应用于工业生产、金融系统、交通系统、公安系统、教育系统和医疗系统等众多领域，是现代化管理、监测控制的重要方法之一，它能实时、形象、真实地反映监控对象的状态，使人们及时获得大量丰富的信息，极大地提高了管理效率和自动化水平。随着科技日新月异的发展，人们对于智能视频监控的要求在不断提高。多摄像头可以监控更加广阔的范围，能够克服单摄像头监控范围有限的缺点。

ARM具有高性能，低功耗，低价格的特点，近年来深受广大研究学者的热爱，用户可以根据各自的应用需求，从性能、功能等方面考察，在许多具体型号中选择最合适的芯片来设计自己的应用系统。由于ARM核采用向上兼容的指令系统，用户开发的软件可以非常方便地移植到更高的ARM平台。

图像融合是就将针对同一场景，同一时刻获得的两张以及以上来源不同的图像包含的信息优势结合起来产生包含更加全面信息的图像，从而获得对所监控区域内目标更加全面准确的认识。全色图像与多光谱图像融合后，便可以得到包含高光谱分别率、高空间分辨率的图像，为以后的各种研究工作奠定下良好的基础。

无线通信具有成本低廉、建设工程周期短、适应性好、扩展性好、设备维护容易等优点，在如今的通信系统中占有非常重要的地位。超文本传输协议现在发展的非常成熟，远程监控终端利用这种协议接收本地监控中心采集到的信息，安全迅速，而且远程终端的个数不受限制，有利于多个监控人员共同监察，这种方法还不受时间和距离限制，可以随时随地察看，非常方便。

发明内容

为了克服现有远程监控领域内存在的缺点，本发明提供一种实现ARM通过多个摄像头对多区域并行监控，实现更广范围的监控图像，同时获取同一区域的全色图像与多光谱图像，通过超文本传输协议在远程监控终端获取图像信息，并进行图像融合的基于物联网的全色-多光谱图像融合视频监控方法及其监控装置。

本发明采用的技术方案是：

基于物联网的全色-多光谱图像融合视频监控方法，其特征在于：所述的方法包括如下步骤：

步骤S1，获取监控区的全色图像和多光谱图像；

步骤S2，本地监控中心获取步骤S1的全色图像和多光谱图像，并进行压缩；

步骤S3，远程监控终端通过无线通信获取步骤S2的由本地监控中心压缩后的图像信息；

步骤S4，远程监控终端对步骤S3获得的图像信息进行解压缩后恢复原图像，并实现全色图像与多光谱图像的融合。

在所述的步骤S1中的监控区设置多个摄像头，多个摄像头分别监管各自监控区域，实现对监控区360度全景监控，每个摄像头捕获各自监控区域的全色图像与多光谱图像，同一摄像头自动捕获全色彩图像与多光谱图像。所述的本地监控中心采用ARM对监控区进行图像视频采集，每个摄像头配备一个所述的ARM，并且每个摄像头前设置有一滤波片，所述的ARM通过定时器、触发器控制滤波片的开合。

在所述的步骤S3中，所述的本地监控中心与远程监控终端无线通信的实现方法如下：

步骤S31，在监控区内安装无线网络节点；

步骤S32，ARM通过无线网卡连接网络中心；

步骤S33，ARM采集摄像头捕获的全色图像与多光谱图像；

步骤S34，ARM与远程监控终端通过超文本传送协议传输监控信息。

所述的步骤S34中，采用ARM与远程监控终端通过超文本传送协议传输监控信息包括以下步骤：

步骤S341，ARM将获取的图像信息通过超文本传送协议上传到万维网服务器；

步骤S342，远程监控终端通过浏览器打开各个ARM的超文本链接，即向万维网服务器发送文档请求，获得许可后便观察到监控区的各种情况。

所述的步骤S4中，远程监控终端实现全色图像与多光谱图像的融合包括以下步骤：

步骤S41，获得的多光谱图像由RGB彩色空间转换到HIS空间，得到H、I、S三个分量，亮度I包含大量的图像纹理信息；RGB到HIS的变换方程为：

$\left(\begin{array}{c}I\\ v1\\ v2\end{array}\right)\left(\begin{array}{ccc}\frac{1}{\sqrt{3}}& \frac{1}{\sqrt{3}}& \frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{6}}& \frac{-2}{\sqrt{6}}\\ \frac{1}{\sqrt{2}}& \frac{-2}{\sqrt{2}}& 0\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)$

$H={\tan }^{-1}\left(\frac{v2}{v1}\right),S=\sqrt{v{1}^2+v{2}^2}$

其中，v1＝Scos(H),v2＝Ssin(H)；H为色调，色调H反映彩色的类别；I为亮度，亮度I与图像的菜色分量无关；S为饱和度，饱和度S反映彩色光呈现出的色彩深浅程度；

步骤S42，多光谱图像的亮度I与全色图像进行直方图匹配，得到新的亮度I，记为I_new；

步骤S43，经过步骤S42得到的亮度I_new与全色图像进行融合；融合后获得监控区内更加全面准确的信息。

一种用于上述所述的视频监控方法的监控装置，其特征在于：包括：

信息采集模块，所述的信息采集模块包括多个用于捕获各自监控区域内的全色图像与多光谱图像的摄像头；

用于控制摄像头前滤波片开合的ARM；

用于接收多个摄像头发送过来的多张图像、并负责将这些图像发送至远程监控中心的本地监控中心，所述的本地监控中心与远程监控中心之间通过无线通信模块无线通信；

远程监控终端，所述的远程监控终端包括负责展示监控区的全景画面和全色图像与多光谱图像融合后的图像，以获取监控区内更加全面的信息的用户界面模块和负责对同一摄像头获得的全色图像和多光谱图像进行融合，以实现对监控区内目标的特定特征进行监控，并且获得高空间分辨率、高光谱分辨率的图像图像视频处理模块；

每个所述的ARM与远程监控终端之间设置有万维网服务器。

本发明的有益效果体现在：

1、提出利用4组ARM和摄像头进行图像信息采集，方便简洁，使得监控设备模块化，能有效解决图像的混淆；

2、提出远程监控终端与本地监控中心通过超文本传送协议传输监控信息，避免了传统的多摄像头有线传输，实现监控的规整有效性，并且脱离了地理距离的限制；

3、提出摄像头前加滤波片，同一个摄像头捕获同一区域内目标的全色图像与多光谱图像，减少设备的复杂化；

4、提出在监控终端进行全色图像与多光谱图像融合形成新图像的方法，获取监控区域内目标对象更全面的信息；

5、该装置实现了对监控区域的全景无线远程监控，对其全色图像与多光谱图像进行融合获得了更加全面准确的信息。

附图说明

图1是本发明装置的系统结构图。

图2是本发明信息采集模块的流程图。

图3是远程监控终端通过无线通信获取本地监控中心数据信息流程图。

图4是远程监控终端信息处理框架图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了的展现出来，下面接合具体实施例，并参照附图，对本发明进行进一步详细说明。

图1是本发明装置的系统结构图。如图1所示，该设备由本地监控中心1与远程监控终端3两部分通过万维网2进行数据传输通信，包括以下步骤：

步骤S1，多个摄像头分别监管各自的区域，实现对监控区360度全景监控；

由于监控区域面积非常大，监控距离过远会影响监控画面的清晰度，一个摄像头难以实现对整个监控区内所有目标的清晰全面监控，所以在监控区的四个对角分别安装一个摄像头，使得监控面画面更加理想化。

每个摄像头捕获各自监控区的全色图像与多光谱图像；

该步骤的实现如图2所示。与传统方法不同，在此过程中实现同一摄像头对同一区域、同一时刻自动获取全色图像和多光谱图像，在摄像头捕获全色图像2S后，通过ARM，设定时器与触发器，自动触发闭合控制滤波器的开关，将滤波片叠加到摄像头镜头前，完成多光谱图像的采集，然后再由ARM发送指令，断开控制滤波片的开关，从摄像头前移开滤波片。

本实施例的这一方法，全色与多光谱图像由同一固定位置的摄像头获取，无需对图像进行配准，图像的分辨率相同，无需对多光谱图像进行插值、重采样，大大减少计算量，并避免了多光谱图像的光谱特征损失。

为了不混淆ARM采集的多个图像，如图1所示，方法包括以下步骤：

1、为每个摄像头配备一块ARM作为本地监控中心的一组监控设备；

2、对每组监控设备进行统一编号，记为C1、C2、C3、C4；

3、每组监控设备获取的图像分开存储、传输。

步骤S2，本地监控中心获取步骤S2的图像并进行压缩；

由于带宽的限制，实时传输大量图像数据的速度回收到很大影响，为了避免此问题的发生，必须对图像先进行压缩处理，提高传输速率。

步骤S3，远程监控终端通过无线通信获取步骤S3本地监控中心压缩后的图像信息；

要实现本地监控中心与远程监控中心之间无线通信，过程如图3所述，该方法包括以下步骤：

步骤S31，在监控区内安装无线网络节点；

步骤S32，ARM通过无线网卡连接网络中心；

步骤S33，ARM采集摄像头捕获的全色图像与多光谱图像；

步骤S34，ARM与远程监控终端通过超文本传送协议传输监控信息。

该步骤使得远程监控的距离不受限制成为可能，监控人员可以随时随地掌握监控区域内的动态情况，要实现这个过程，如图4所示，包括以下步骤：

步骤S341，ARM将获取的图像信息通过超文本传送协议上传到万维网服务器；

步骤S342，远程监控终端通过浏览器打开各个ARM的超文本链接，即向万维网服务器发送文档请求，获得许可后便观察到监控区的各种情况；

步骤S4，远程监控终端对步骤S4获得的图像信息进行解压缩恢复出原图像，并实现全色图像与多光谱图像的融合。

该步骤在远程监控终端进行，图像处理后展示在用户界面模块，方便监控人员的察看研究，要获得融合后的图像包括以下步骤：

步骤S41，获得的多光谱图像变换到HIS空间，得到H、I、S三个分量，亮度I包含大量的图像纹理信息；

HIS变换具有算法简洁，应用广泛的优点，RGB到HIS的变换方程为：

$\left(\begin{array}{c}I\\ v1\\ v2\end{array}\right)\left(\begin{array}{ccc}\frac{1}{\sqrt{3}}& \frac{1}{\sqrt{3}}& \frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{6}}& \frac{-2}{\sqrt{6}}\\ \frac{1}{\sqrt{2}}& \frac{-2}{\sqrt{2}}& 0\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)$

$H={\tan }^{-1}\left(\frac{v2}{v1}\right),S=\sqrt{v{1}^2+v{2}^2}$

该步骤对图像融合非常重要，HIS色彩空间由色调H、亮度I、饱和度S组成，是基于视觉原理的彩色系统。其中亮度I与图像的菜色分量无关；色调H反映彩色的类别；饱和度S反映彩色光呈现出的色彩深浅程度。

步骤S42，多光谱图像的I分量与全色图像进行直方图匹配，得到新的；

步骤S43，经过步骤S52得到的分量I_new与全色图像进行融合；

全色图像与多光谱图像融合后可以获得监控区内更加全面准确的信息，有利于监控人员的监察。

由于本发明是考虑监控农作物区，作物生长变化在较短的时间内不会发生明显变化，全色图像与多光谱图像的获取间隔设定在2～5S内是可行的，能够满足图像获取的同一时刻性。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，凡依本发明技术方案所作的改变，所产生的功能作用未超出本技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.基于物联网的全色-多光谱图像融合视频监控方法，其特征在于：所述的方法包括如下步骤：

步骤S1，获取监控区的全色图像和多光谱图像；

步骤S2，本地监控中心获取步骤S1的全色图像和多光谱图像，并进行压缩；

步骤S3，远程监控终端通过无线通信获取步骤S2的由本地监控中心压缩后的图像信息；

步骤S4，远程监控终端对步骤S3获得的图像信息进行解压缩后恢复原图像，并实现全色图像与多光谱图像的融合。

2.如权利要求1所述的基于物联网的全色-多光谱图像融合视频监控方法，其特征在于：在所述的步骤S1中，所述的监控区设置多个摄像头，多个摄像头分别监管各自监控区域，实现对监控区360度全景监控，每个摄像头捕获各自监控区域的全色图像与多光谱图像，同一摄像头自动捕获全色彩图像与多光谱图像；所述的本地监控中心采用ARM对监控区进行图像视频采集，每个摄像头配备一个所述的ARM，并且每个摄像头前设置有一滤波片，所述的ARM通过定时器、触发器控制滤波片的开合。

3.如权利要求2所述的基于物联网的全色-多光谱图像融合视频监控方法，其特征在于：在所述的步骤S3中，所述的本地监控中心与远程监控终端无线通信的实现方法如下：

步骤S31，在监控区内安装无线网络节点；

步骤S32，ARM通过无线网卡连接网络中心；

步骤S33，ARM采集摄像头捕获的全色图像与多光谱图像；

步骤S34，ARM与远程监控终端通过超文本传送协议传输监控信息。

4.如权利要求3所述的基于物联网的全色-多光谱图像融合视频监控方法，其特征在于：所述的步骤S34中，采用ARM与远程监控终端通过超文本传送协议传输监控信息包括以下步骤：

步骤S341，ARM将获取的图像信息通过超文本传送协议上传到万维网服务器；

步骤S342，远程监控终端通过浏览器打开各个ARM的超文本链接，即向万维网服务器发送文档请求，获得许可后便观察到监控区的各种情况。

5.如权利要求4所述的基于物联网的全色-多光谱图像融合视频监控方法，其特征在于：所述的步骤S4中，远程监控终端实现全色图像与多光谱图像的融合包括以下步骤：

步骤S41，获得的多光谱图像由RGB彩色空间转换到HIS空间，得到H、I、S三个分量，亮度I包含大量的图像纹理信息；RGB到HIS的变换方程为：

$\left(\begin{array}{c}I\\ v1\\ v2\end{array}\right)\left(\begin{array}{ccc}\frac{1}{\sqrt{3}}& \frac{1}{\sqrt{3}}& \frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{6}}& \frac{-2}{\sqrt{6}}\\ \frac{1}{\sqrt{2}}& \frac{-2}{\sqrt{2}}& 0\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)$

$H={\tan }^{-1}\left(\frac{v2}{v1}\right),S=\sqrt{v{1}^2+v{2}^2}$

其中，v1＝Scos(H)，v2＝Ssin(H)；H为色调，色调H反映彩色的类别；I为亮度，亮度I与图像的菜色分量无关；S为饱和度，饱和度S反映彩色光呈现出的色彩深浅程度；

步骤S42，多光谱图像的亮度I与全色图像进行直方图匹配，得到新的亮度I，记为I_new；

步骤S43，经过步骤S42得到的亮度I_new与全色图像进行融合；融合后获得监控区内更加全面准确的信息。

6.一种用于如权利要求1～5之一所述的视频监控方法的监控装置，其特征在于：包括：

信息采集模块，所述的信息采集模块包括多个用于捕获各自监控区域内的全色图像与多光谱图像的摄像头；

用于控制摄像头前滤波片开合的ARM；

用于接收多个摄像头发送过来的多张图像、并负责将这些图像发送至远程监控中心的本地监控中心，所述的本地监控中心与远程监控中心之间通过无线通信模块无线通信；

远程监控终端，所述的远程监控终端包括负责展示监控区的全景画面和全色图像与多光谱图像融合后的图像，以获取监控区内更加全面的信息的用户界面模块和负责对同一摄像头获得的全色图像和多光谱图像进行融合，以实现对监控区内目标的特定特征进行监控，并且获得高空间分辨率、高光谱分辨率的图像图像视频处理模块；

每个所述的ARM与远程监控终端之间设置有万维网服务器。