CN111861951B - 基于红外光和可见光的双波段监测方法、装置及系统 - Google Patents

Abstract

本发明实施例公开一种基于红外光和可见光的双波段监测方法、装置及系统，其通过实时获取监测目标的红外图像和可见光图像，并将二者融合在一起而得到融合图像，之后根据融合图像对监测目标进行监测预警，便于通过快速精准地确定监控目标位置，有利于快速识别及排除设备故障。

Description

基于红外光和可见光的双波段监测方法、装置及系统

技术领域

本发明实施例涉及红外监测技术，具体涉及一种基于红外光和可见光的双波段监测方法、装置及系统。

背景技术

目前，红外监测温度预警技术引用越来越广泛，它利用红外探测器监测目标物体的红外辐射信息生成红外图像，当红外图像中的数据存在超标现象时，将触发报警器进行报警。现有红外监测温度预警系统只能在红外热成像视频图像上看到测温区域和测温结果，由于红外热成像视频图像是伪彩色，只能大致查看物体的轮廓而不能看清细节，当目标设备发生热故障时，将不能准确定位具体位置，这对于识别及排除故障十分不利。有鉴于此，有必要对传统红外监测温度预警系统进行改进，以便通过快速精准地定位监测目标位置来查找热故障设备。

发明内容

针对现有技术存在的缺陷，本发明实施例的目的在于提供一种基于红外光和可见光的双波段监测方法、装置及系统，以便快速精准地确定监测目标位置。

为解决以上技术问题，本发明实施例采用以下的技术方案：

本发明实施例提供一种基于红外光和可见光的双波段监测方法，包括以下步骤：

实时获取监测目标的红外图像和可见光图像，其中红外图像用于对监测目标进行测温，可见光图像用于对监测目标进行展示；

以红外图像和可见光图像中的一个图像为参考图像，将另一个图像为待配准图像，将待配准图像与参考图像融合来得到融合图像；

根据融合图像对监测目标进行监测预警。

进一步地，将参考图像的颜色特征值和待配准图像颜色特征值逐像素点加权来实现融合。

进一步地，将待配准图像进行透明化处理，将待配准图像整体覆盖参考图像来实现融合。

进一步地，将参考图像和待配准图像分别设定背景区和目标区，将待配准图像的背景区替换为待配准图像的目标区，以及将待配准图像的目标区替换为待配准图像的背景区来实现融合。

进一步地，对监测目标设置预设配准标记，根据待配准图像中的图像配准标记坐标与参考图像中的配准标记坐标，对待配准图像与参考图像配准来实现融合。

进一步地，对于融合图像进行平滑滤波处理。

进一步地，红外图像和可见光图像为同位置、同视角及同轴拍摄而得到。

在此基础上，本发明实施例还提供一种基于红外光和可见光的双波段监测装置，包括：

图像获取模块，用于实时获取监测目标的红外图像和可见光图像，其中红外图像用于对监测目标进行测温，可见光图像用于对监测目标进行展示；

图像融合模块，用于以红外图像和可见光图像中的一个图像为参考图像，将另一个图像为待配准图像，将待配准图像与参考图像融合来得到融合图像；

预警处理模块，用于根据融合图像对监测目标进行监测预警。

进一步地，所述预警处理模块根据融合图像识别监控目标中特定物体，并屏蔽特定物体后对监测目标进行监测预警。

此外，本发明实施还相应提供一种基于红外光和可见光的双波段监测系统，包括：

红外探头，用于生成监控目标的红外图像来对监测目标进行测温；

可见光探头，用于生成监控目标的可见光图像来对监测目标进行展示；

控制器，用于以红外图像和可见光图像中的一个图像为参考图像，将另一个图像为待配准图像，将待配准图像与参考图像融合来得到融合图像，并根据融合图像生成并输出报警触发信号；

报警器，用于根据报警触发信号进行报警。

与现有技术相比，本发明实施例在现有红外监测温度预警系统基础上增加了可见光监测，并将红外监测图像和可见光图像融合在一起，其中红外图像提供充分的目标信息，可见光图像提供清楚的背景信息，两者融合后的图像质量显著提高，在出现热故障时便于快速精准地确定监控目标位置，这对于快速识别及排除设备故障较为有利。

附图说明

图1为本发明实施例一基于红外光和可见光的双波段监测方法的流程图；

图2为本发明实施例二基于红外光和可见光的双波段监测方法的流程图；

图3为本发明实施例三基于红外光和可见光的双波段监测装置的方框图；

图4为本发明实施例四基于红外光和可见光的双波段监测系统的方框图。

具体实施方式

以下结合附图与具体实施例进行详细说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明实施例。但是本发明实施例能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明实施例内涵的情况下做类似推广，因此本发明实施例不受下面公开的具体实施例的限制。

参见图1，示出本发明实施例基于红外光和可见光的双波段监测方法的流程图。该双波段监测方法将红外监测图像和可见光图像融合在一起，以便提高图像质量，快速精准地确定监控目标位置，具体如下所述。

S110、实时获取监测目标的红外图像和可见光图像。

该步骤实时获取监测目标的红外图像和可见光图像(此处，图像可泛指视频或图片)，其中红外图像用于对监测目标进行测温，可见光图像用于对监测目标进行展示。一般地，可以通过红外探头获取红外图像，通过可见光探头获取可见光图像；前者可以提供充分的目标信息，后者可以提供清楚的背景信息。此处，红外图像和可见光图像为同位置、同视角及同轴拍摄而得到，保证两种图像有效融合。

本实施例中，通过红外探头监测目标的红外辐射信息，据此生成监测目标红外图像，由此可以分析其中是否存在超温情况，如存在即可能进行报警。优选地，监测目标红外图像文件中可以针对每个像素点添加温度数据，例如采用文件头定义+图像数据+温度数据的格式，之后根据文件头定义可以同时读取并呈现图像数据及温度数据，由此能够较为清楚地呈现监测目标中物体的轮廓及温度数据。可以理解地是，监测目标红外图像文件中的一些像素图像数据及温度数据，可以通过对相邻像素插值等处理方法来获得。本实施例中，可见光探头采用高清摄像头即可，在此不再展开说明。

S120、融合红外图像和可见光图像。

该步骤以红外图像和可见光图像中的一个图像为参考图像，将另一个图像为待配准图像，将待配准图像与参考图像融合来得到融合图像。由此，两者融合后可使得图像质量显著提高，从而便于快速精准地确定监控目标位置，有利于快速识别及排除设备故障。

本实施例中，为保证待配准图像与参考图像位置配准，可以预先对监测目标设置预设配准标记(如矩形框、十字星等)。这样，红外图像和可见光图像中将具有该配准标记，由此可以根据待配准图像中的图像配准标记坐标与参考图像中的配准标记坐标，对待配准图像与参考图像配准来实现融合。当待配准图像中的图像配准标记坐标与参考图像中的配准标记坐标对齐时，即可以判定两者配准，否则需继续配准过程。较优地，将红外图像和可见光图像配准之后，还可以进一步对于融合图像进行平滑滤波处理，即去掉融合图像边缘信息中的杂波，以提高融合图像质量。

对于待配准图像与参考图像的色彩问题，本实施例可以将参考图像的颜色特征值和待配准图像颜色特征值逐像素点加权来实现融合，其中的颜色特征值包括各像素点RGB三通道比例关系、色度值和饱和度，也可以是其它色彩空间的色彩信息表现形式。经过色彩融合后的融合图像具有较好的色彩呈现效果，不再展开说明。

对于待配准图像与参考图像的内容，本实施例可以将待配准图像进行透明化处理，将待配准图像整体覆盖参考图像来实现融合；也可以将参考图像和待配准图像分别设定背景区和目标区，将待配准图像的背景区替换为待配准图像的目标区，以及将待配准图像的目标区替换为待配准图像的背景区来实现融合。由此，通过选择合适的对象进行监控，便于提高重点目标监测的针对性。

本实施例中，红外图像可提供充分的目标信息，可见光图像提供清楚的背景信息，通过上述方式将红外监测图像和可见光图像融合后，图像质量显著提高，有助于快速精准地确定监控目标位置，便于快速识别及排除设备故障。

S130、根据融合图像对监测目标进行监测预警。

该步骤中，依据融合图像中的温度数据可以快速监测是否有物体超温，此时可进行告警；根据融合图像中的坐标数据则可快速精准定位超温物体位置，由此能够快速定位，便于排查故障。

需指出的是，实际应用场合下可能会存在一些特定高温物体(如码头中的龙门吊或行车等)或移动物体(如仓库中的叉车等)，如简单按照常规红外监测将频繁触发报警，由此将因频繁告警而影响生产效率，为此有必要对之予以屏蔽过滤，进一步描述如下。

本实施例可以预先识别这些特定高温物体或移动物体(以下简称特定物体)，一般可以预先存储这些特定形状的图像作为对比参照，之后将监测目标将当前图像与这些特定形状的图像进行比对，如存在某些区域图像形状与参照形状相同，则可直接提取该形状作为特定物体图像。这样，通过简单对照就可以实现快速识别特定物体之目的。

在识别出这些特定物体之后，可以将其进行标记。之后可以在过滤这些特定物体所在区域的坐标参数及温度数据后，再对监测目标进行监测预警，这样尽可能地避免了误报。

此外，还可以对标记后的特定物体进行跟踪，主要是跟踪特定物体的位置、形状、所在图像的区域坐标等参数，跟踪时将相关数据写入特定高温物体数据库中。当被标记过的特定高温物体再次进入监测目标的监测区域时，可以很容易地识别出来，此时直接屏蔽即可，起到防止误报警的效果。

本实施例中，具体可以采用声、光、振动等方式进行现场报警，也可以将有关数据上传至上位机(如监控中心、云平台等)进行远程监控，并在发生紧急状态时采取必要的处理措施。此点可具体可参照习知技术，不再赘述。

参见图2，示出本发明实施例二基于红外光和可见光的双波段监测方法的流程图。该实施例为实施例一的应用实例，其在红外探头(红外热成像摄像机)基础上增加可见光探头(可见光摄像机)，并将两者同轴安装在同一位置、同一方向，然后在温度监测预警系统中把装到一起的可见光探头和红外探头进行绑定，并校准位置使两个探头的成像同轴。当播放可见光视频时，把红外热成像的温度监测区域、规则信息、温度信息等自动叠加到可见光视频上显示；也可以直接把红外热成像视频画面叠加到可见光画面上，在可见光视频画面上实现温度分析。具体如下所述。

如图2所示，在播放可将光视频(步骤S210)时，先查询可见光探头是否绑定红外探头(步骤S220)；在可见光探头绑定红外探头时，则获得监测目标温度监测区域(步骤S230)，并计算温度监测区域结果(步骤S240)，由此在可将光视频上显示温度监测区域和结果(步骤S250)，此后进一步确认是否需要在可见光视频上叠加红外视频(步骤260)，如果需要在可见光视频上叠加可见光视频(步骤270)。在在可见光探头未绑定红外探头时，则直接进入步骤260，如需要在可见光视频上叠加红外视频则进行叠加，否则继续不做处理而保持原状态继续播放可见光视频即可。这样，通过可见光探头的高清图像和叠加的红外热像仪温度信息，可以为设备运行检修人员精确定位设备热故障带来极大的方便。

以上对于基于红外光和可见光的双波段监测方法进行了详细阐述，下面进一步对相应的红外监测装置及系统进行说明。为简单起见，本发明实施例说明书中对于相应方法、装置及系统中的相同内容不重复描述，如互有涉及则请根据上下文相互引见。

参见图3，示出本发明实施例基于红外光和可见光的双波段监测装置的方框图。该红外监测装置包括图像获取模块210、图像融合模块220、预警处理模块230，它们可以独立设置，也可以集成于同一控制器200之中，其中各部分信号连接关系及功能如下所述。

如图3所示，图像获取模块210可以实时用于实时获取监测目标的红外图像和可见光图像，其中红外图像用于对监测目标进行测温，可见光图像用于对监测目标进行展示；图像融合模块220可以将红外图像和可见光图像中的一个图像为参考图像，将另一个图像为待配准图像，将待配准图像与参考图像融合来得到融合图像；预警处理模块230可以根据融合图像对监测目标进行监测预警。该预警处理模块230还可以根据融合图像识别监控目标中特定物体，并屏蔽特定物体后对监测目标进行监测预警，这样可以通过识别并屏蔽这些特定物体来减少误报率。

参见图4，示出本发明实施例基于红外光和可见光的双波段监测系统的方框图。该图4中主要示出双波段监测预警应用实例，以便针对监测目标中存在超温时进行报警，具体如下所述。

如图4所示，该红外监测系统主要由探测器100、控制器200及报警器300构成，三者依次相连。探测器100主要包括若干红外探头110和可见光探头120，其中红外探头110可以生成监控目标的红外图像来对监测目标进行测温，可见光探头120可以生成监控目标的可见光图像来对监测目标进行展示。控制器200可以将红外图像和可见光图像中的一个图像为参考图像，将另一个图像为待配准图像，将待配准图像与参考图像融合来得到融合图像，并根据融合图像生成并输出报警触发信号；报警器300接收报警触发信号之后，可以用于根据报警触发信号进行报警，其具体报警形式可以是声、光、振动等之一或其组合。

此外，控制器200还可以通过通信链路连接到上位机400(如监控中心、云平台等)，以便将有关数据上传至上位机进行远程监控，在监控的监测目标中存在超温物体(不包括全文所述屏蔽的特定物体)时，可以采取必要的应急处理措施，不再展开说明。

本发明实施例的系统中，控制器200的数据处理及通信功能可进一步增强，其可以对采集端(如热像仪、红外探测器等)获取的数据进一步处理，并上传到上位机400，以便进行远程监控。

其中，采集端(如热像仪、红外探测器等)获取的数据具体为图片文件或视频文件等，控制器200可以在本地将图片文件或视频文件进行编辑，通过对这些原始图片文件或视频文件添加温度数据，得到修改数据。将这些原始数据和修改数据打包处理后，得到源数据包和修改数据包。

上位机400具体可为数据中心，具体为分布式服务器集群，其可以设置若干云服务器、中心服务器及用户服务器，控制器200可以根据预设上传策略将全部数据上传至相应服务器。

为了保证通信可靠及数据安全，本发明实施例进一步对数据传输策略进行优化，具体说明如下。

(一)数据传输的通信链路

控制器200在本地获取到相关数据后，需要将数据上传至数据中心。该数据中心处具有多个服务器，如云服务器、中心服务器及用户服务器等，这些服务器可以在同一地方，也可以在不同的地方，因而与服务器相连的接入点也存在多个。为了提高数据的传输效率，则需要基于本地与接入点、接入点与相应服务器之间的通信信息进行链路的选择。如简单地选择一条链路，即通过接入点直接传输至服务器时，如果接入点与服务器之间的链路突然出现异常，会导致数据的丢失。有鉴于此，本发明实施例优化了本地与接入点、接入点与服务器之间的数据传输通行链路，具体如下所述。

本实施例中将采集端(如热像仪、红外探测器等)数据打包成数据包，并通过控制器200的相应接入点将其上传至数据中心，包括：确定控制器200与多个接入点之间的网络状态信息，以及多个接入点分别与位于数据中心的服务器集群中的相应服务器的网络质量信息，根据所述网络状态信息和所述网络质量信息选择多条链路，将数据包传输至数据中心。

具体地，根据所述网络状态信息和所述网络质量信息选择多条链路，将数据包传输至数据中心具体包括：获取本地设备(此处指控制器200)与多个接入点之间的网络状态信息，根据所述网络状态信息，确定数据包的传输速率以及丢包率确定传输的可靠性，选择可靠性最高的两个接入点作为中转接入点。其中，上述传输的可靠性的确定并不限于依赖传输速率和丢包率，其还可以包括干扰噪声、信号强度等；且上述可靠性可以以权重值的方式量化表示；获取的上述值将通过独立的链路传输至数据中心的相应服务器；同时将中转接入点对应的权重值添加到一个额外的数据包报头中。

所述两个中转接入点接收到数据包后，分别计算其与各个服务器之间的网络质量信息，以及中转质量信息，根据所述网络质量信息和中转质量信息确定数据的发送路径，以将数据包直接发送给对应的服务器或是经过相邻接入点将数据包发送给对应的服务器；其中，所述中转质量信息是根据中转接入点与其相邻接入点之间通信链路的可靠性(根据传输速率以及丢包率确定)，以及其相邻接入点与各个服务器之间的网络质量信息进行确定；所述网络质量信息根据服务器当前的已接入量、接入许可量、根据历史信息估计的超载概率、以及通信链路的可靠性进行确定。其中，上述通信链路的可靠性可以采用与传输的可靠性相同的方式进行计算，也可以采用不同的方式进行计算获得可靠性指标的值；网络质量信息，以及中转质量信息也可以数值的方式进行量化表示；在获取到上述值后，都将通过独立的链路传输至数据中心的各个服务器；上述涉及的独立的传输链路是与数据包传输时所使用的冗余链路不同的链路。同时将参与转发的接入点对应的中转质量信息值添加到所述额外报头中。

在一可选实施例中，数据中心的相应服务器(主要为云服务器)在接收到各个接入点对应的值后，根据链路的选择策略，确定中转接入点以及转发接入点对应的中转质量信息值；当数据中心的服务器接收到数据包后，根据上述值对数据包进行校验；以确定数据包的准确性；由于数据中心中至少有两个服务器接收到数据包，因此，两个服务器在分别进行验证数据包的准确性后，将其接收到的数据包再次进行比对，以验证数据包中数据的完整性。当验证不准确或是不完整时，则通知本地设备进行重传；其中，重传过程使用的冗余链路与原来的冗余链路完全不同，即不存在交集。

由于在设置网络质量信息时考虑了服务器当前的已接入量、接入许可量、根据历史信息估计的超载概率、以及通信链路的可靠性等信息，由此根据历史信息能够估计服务器的负载信息，有效的提高了处于不同区域内的服务器之间的负载均衡。

(二)数据传输的通信方式

本发明实施例进一步优化了云服务器、中心服务器及用户服务器之间的数据上传策略，具体是根据监测对象最高温度值T和目标密度P选择上传策略。此处，监测对象可为特定高温物体、移动物体、回转体等等，具体依据应用场合而定。

不失一般性，下面以图片文件为例进行说明(视频文件类似处理)，对云传服务器和中心服务器之间的数据上传进行说明。对于云传服务器和用户服务器之间、中心服务器和用户服务器之间的数据上传问题，也可参照处理。

云服务器收到图片文件(源数据包或修改数据包)后，可以获取图片中温度最高值T，以及该图片所处环境中监测对象的目标密度P，具体数值可以根据实际的需求进行设置及变更；根据最高温度值T和目标密度P选择上传策略，根据该上传策略将图片上传至中心服务器。此处，中心服务器优选使用层级结构(如由上至下依次设置为一级中心服务器、二级中心服务器、三级中心服务器和四级中心服务器)，其中上层中心服务器能够实现对下级中心服务器的管理，下级中心服务器在接收到图片数据后，将图片依据特定的策略上传至上级中心服务器。各级中心服务器与云服务器之间支持多种通信方式，各级中心服务器之间除了支持现有的各类通信方式之外，还建设有专用的安全通道，用于实现对特定的数据传输。

当T＞T_g时，确定云服务器与各级中心服务器之间稳定性最高的通信方式，然后基于确定的通信方式将图片数据同时发送至各个中心服务器，其中各个中心服务器与云服务器之间的通信方式可以不同，也可以相同。此处，不同目标温度的最高值有所不同，当高于某个值时，处于危险状态。因此，对于高于标准值的温度设置一阈值以识别是否处于高危状态，此状态下不论目标密度如何，都需要采用最稳定的方式进行上传，由此提高数据的稳定性，便于各级中心服务器针对接收到的数据进行应急处理，并且能够及时的发现各个区域的异常情况，并根据相应的预案作出应急措施，提高各级中心服务器处理异常事务的一致性，提高应急效率。

当T_g≥T＞T_标，P≥P_标时，计算图片的权重W，当W≥W_标时，确定云服务器与一级中心服务器之间的通信方式，选择安全性最高的通信方式进行图片数据上传；确定云服务器与二级、三级和四级中心服务器之间的通信方式，选择稳定性最高的通信方式进行图片上传；当W＜W_标时，确定云服务器与一级和二级中心服务器之间的通信方式，选择安全性最高的通信方式进行图片数据上传；确定云服务器与三级和四级中心服务器之间的通信方式，选择稳定性最高的通信方式进行图片数据上传。此处，W_标为预设的权重阈值，可以根据历史数据进行统计确定，也可以是根据本领域的经验值进行确定。其中，下级中心服务器在向上级中心服务器上传图片数据时，使用冗余链路进行通信，即至少使用两种通信方式进行传输，如基于通信方式的稳定化和/或安全性确定通信方式；其中，a、b为常系数。

当T_g≥T＞T_标，P＜P_标时，确定云服务器与二级中心服务器之间的通信方式，选择安全性最高的通信方式进行图片上传，确定云服务器与三级和四级中心服务器之间的通信方式，选择稳定性最高的通信方式进行图片数据上传。其中，一级中心服务器分别从二级、三级和四级中心服务器获取图片数据，并根据包括图片数据的头文件进行图片的校验。

当T_标≥T，P≥P_标时，确定云服务器与三级中心服务器之间的通信方式，选择安全性最高的通信方式进行图片上传，确定云服务器与四级中心服务器之间的通信方式，选择稳定性最高的通信方式进行图片数据上传；二级中心服务器分别从三级和四级中心服务器获取图片数据，并根据包括图片数据的头文件进行图片的校验；一级中心服务器分别从二级、三级和四级中心服务器获取图片数据，并根据包括图片数据的头文件进行图片的校验。

当W_标≥T，P＜P_标时；确定云服务器与四级中心服务器之间的通信方式，选择安全性最高的通信方式进行图片上传；然后，四级中心服务器分别将图片数据依次上传至一级、二级和三级中心服务器。

以上内容中，T_g是根据历史温度数据确定图片所指示的区域的高级阈值，T_标是根据历史温度数据确定图片所指示的区域的正常温度值；P_标根据图片所指示区域的历史密度数据确定的平均密度值；T_max是根据历史温度数据确定图片所指示的区域的最高温度值；P_max是根据历史温度数据确定图片所指示的区域的最高密度值。其中，稳定性根据丢包率和信号强度进行确定，安全性由丢包率和容错率确定。

这样，本发明实施例通过上述方式设置了图片数据的上传过程，其基于不同的网络性能选择通信方式，不仅有效的利用了设备支持的各类传输资源，同时保证了数据传输的安全性和稳定性；能够更好的适用于各类图片数据的处理，提高了网络的处理效率。

(三)数据传输的具体内容

本实施例中，控制器200将得到的前述源数据包和修改数据包上传至云服务器的指定区域，其中第一指定区域用于实现源数据包的存储，第二指定区域用于实现修改数据包的存储。

上述指定区域中的数据不允许编辑，只能进行读取，由此保证存储数据的防篡改；为了提高存储空间的利用率，当数据完成传输后，控制器200在接收到云服务器发送的确认收到的应答反馈后，间隔预定的时间后，执行删除操作，以释放网络资源，实现存储资源的有效循环利用。

云服务器在将源数据包和修改数据包的全量数据发送给中心服务器，其中的全量数据包括源数据包和修改数据包的全部信息。此外，云服务器还可将源数据包和/或修改数据包的分量数据发送给用户服务器，其中的分量数据包括源数据包和/或修改数据包的部分信息以及预先设置的水印信息。

云服务器在进行数据包传输前，还包括从中心服务器获取源数据包和修改数据包的报头设置方式以及为源数据包和修改数据包分别分配的标识信息，其中，标识信息与报头设置方式一一对应。由此，云服务器根据报头的设置方式、源数据包和修改数据包的标识信息分别为源数据包和修改数据包设置报头，以获得源数据包报头和修改数据包报头，此处源数据包和修改数据包的报头设置方式是不同的。之后，云服务器将源数据包报头和修改数据包报头分别添加到源数据包和修改数据包上以获得封装后源数据数据包和封装后修改数据包，然后上传至中心服务器。

中心服务器收到封装后源数据包和封装后修改数据包后，确定上述数据包中识别标识信息，根据标识信息确定报头的设置方式，然后分别计算源数据包和修改数据包的报头，并与封装后源数据包和封装后修改数据包中的报头分别进行比较。如果相同，则说明上述数据包符合要求；中心服务器将封装后源数据包和封装后修改数据包中的报头删除，获得源数据包和修改数据包；如果不同，则通过中心服务器与云服务器之间的安全通道反馈异常传输信息，指示传输的异常。其中，上述安全通道与数据传输通道不同，异常传输信息仅包括数据包的报头；当云服务器经安全通道接收到报头后，即可得知中心服务器接收到了异常数据；云服务器然后根据报头数据确定是否有伪造的数据，或是传输错误的数据，如果是传输错误，则重新通过与中心服务器的交互获取报头相关的信息，然后进行重传。

在上述传输过程中，根据中心服务器的指示，在云服务器处添加报头，在中心服务器处删除报头，报头主要用于识别和数据的验证的作用，其中，该过程中的源数据包和修改数据包可以不进行任何处理，只需要外部封装即可，由此减少了操作的复杂度；提高了数据的传送效率。同时上述检测过程还可以及时发现异常的伪装报文；提高了服务器间交互的安全性。

特别地，云服务器在进行数据包传输前，还包括从中心服务器获取分量数据的截取规则、分量数据的许可传输证书、水印设置方式、源数据包和修改数据包的报头设置方式以及为源数据包和修改数据包分别分配的标识信息，其中，标识信息与报头设置方式一一对应；传输证书与截取规则、水印设置方式、源数据包和修改数据包的报头设置方式以及为源数据包和修改数据包分别分配的标识信息具有临时的对应关系。

这样，云服务器根据分量数据的许可传输证书确定是否需要进行传输，如果是，则根据分量数据的截取规则对数据包进行截取，然后根据水印设置方式向截取的数据包中添加水印，以获得分量数据。所述分量数据为源数据包和/或修改数据包的分量数据，水印包括可见水印和不可见水印，其中不可见水印包括云服务器、中心服务器和用户服务器的标识信息，水印设备方式对应的标识，以及源数据包和修改数据包分别分配的标识信息；由于水印具有多种设置方式，因此中心服务器可以为每种水印设置方式对应的标识信息。由此，云服务器根据报头的设置方式、源数据包和修改数据包的标识信息为分量数据设置报头，以获得分量数据报头；然后将包括报头的分量数据传输用户服务器，此处的分量数据报头还可以包括对象的类型标识以及区域标识，其中对象的类型标识和区域标识由中心服务器统一设置，并下发至云服务器和用户服务器。用户服务器收到包括报头的分量数据后，保存在临时缓冲区中，然后将包括报头的分量数据转发至中心服务器。

中心服务器接收到包括报头的分量数据后，从报头中获取分量数据的许可传输证书，根据该证书确定分量数据的截取规则、水印设置方式、源数据包和修改数据包的报头设置方式以及为源数据包和修改数据包分别分配的标识信息；然后根据上述信息以及从云服务器接收的全量数据重新生成报头，以及分量数据，并将新生成的分量数据和报头分别与来自用户服务器的分量数据和报头进行比较，当两者一致时，再次判断水印中的服务器标识以及数据标识的一致性，如果一致，向用户服务器发送应答反馈，以告知用户服务器所传数据的正确性。

用户服务器接收到中心服务器的应答反馈后，确定了分类数据的正确性，然后确定包括报头的分量数据的类型，通过类别的匹配，将上述分别存储到对应的用户存储区；其中，用户存储区中仅具有只读权限，无法进行更改和转发。当用户向用户服务器注册时，会要求用户选择其关注的对象的类型，以及区域(对象所处的区域/物理位置)等信息，然后用户服务器为该注册用户分配存储区，并为该存储区根据注册用户关注的对象类型及区域标签，由此当接收到云服务器发送的数据后，根据对象和/或区域标签进行匹配。提高了数据的处理效率。为了提高数据的匹配效率，云服务器还可以将对象类别标识和/或区域标识作为可见水印，以便于上述标识信息的识别。此处，用户服务器将数据存储到用户存储区之前，还包括以可见水印的方式添加时间戳；并与云服务器添加的可见水印叠加显示。由此能够保证数据的唯一性，提高了数据的安全性。

以上仅是本发明实施例的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明实施例的限制，本发明实施例的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明实施例的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明实施例的保护范围。

Claims (10)

1.一种基于红外和可见光的双波段监测方法，其特征在于，包括以下步骤：

实时获取监测目标的红外图像和可见光图像，其中红外图像用于对监测目标进行测温，可见光图像用于对监测目标进行展示；

以红外图像和可见光图像中的一个图像为参考图像，将另一个图像为待配准图像，将待配准图像与参考图像融合来得到融合图像；

根据融合图像对监测目标进行监测预警；并且，

上传数据包至数据中心进行远程监控，该数据中心括云服务器、中心服务器及用户服务器，其中：

数据传输的通信链路包括：根据本地控制器与多个接入点之间的网络状态信息和多个接入点分别与位于数据中心的服务器集群中的相应服务器的网络质量信息选择多条链路；

数据传输的通信方式包括：云服务器、中心服务器及用户服务器之间根据特定高温物体最高温度值T和目标密度P选择上传策略；其具体包括：

获取本地控制器与多个接入点之间的网络状态信息，根据网络状态信息确定包括数据包的传输速率以及丢包率、干扰噪声、信号强度来确定传输的可靠性，选择可靠性最高的两个接入点作为中转接入点，其中可靠性以权重值的方式量化表示；获取的相应权重值通过独立的链路传输至数据中心的相应服务器，同时中转接入点对应的权重值添加到一个额外的数据包报头中；

两个中转接入点接收到数据包后，分别计算其与数据中心各个服务器之间的网络质量信息以及中转质量信息，根据网络质量信息和中转质量信息确定数据的发送路径，以将数据包直接发送给对应的服务器或是经过相邻接入点将数据包发送给数据中心对应的服务器，其中网络质量信息根据服务器当前的已接入量、接入许可量、根据历史信息估计的超载概率、以及通信链路的可靠性进行确定，中转质量信息根据中转接入点与其相邻接入点之间通信链路的可靠性以及其相邻接入点与各个服务器之间的网络质量信息确定；网络质量信息以及中转质量信息以数值的方式进行量化表示，并通过独立的链路传输至数据中心的各个服务器，同时将参与转发的接入点对应的中转质量信息值添加到额外的数据包报头中，其中：

数据中心的每个服务器在接收到各个接入点对应的值后，根据链路的选择策略确定中转接入点以及转发接入点对应的中转质量信息值；当数据中心的每个服务器接收到数据包后，根据上述中转质量信息值对数据包进行校验以确定数据包的准确性；当数据中心中至少两个服务器接收到数据包并分别进行验证数据包的准确性后，将其接收到的数据包再次进行比对以验证数据包中数据的完整性；当验证不准确或是不完整时，则通知本地设备进行重传，其中重传过程使用的冗余链路与原来的冗余链路不存在交集；

上述数据中心包括云服务器、中心服务器及用户服务器，其中的中心服务器使用四层级结构：

云服务器、中心服务器及用户服务器之间根据检测目标最高温度值T和目标密度P选择上传策略，包括：

云服务器收到源数据包或修改数据包后，获取相应数据包中温度最高值T以及该数据包所处环境中检测目标目标密度P，并根据最高温度值T和目标密度P选择上传策略来将相应数据包上传至相应中心服务器；

当T＞T_g时，确定云服务器与各级中心服务器之间稳定性最高的通信方式，来将数据包数据同时发送至各个中心服务器；

当T_g≥T＞T_标，P≥P_标时，计算数据包的权重W：当W≥W_标时，确定云服务器与级中心服务器之间选择安全性最高的通信方式进行数据包数据上传，以及确定云服务器与二级、三级和四级中心服务器之间选择稳定性最高的通信方式进行数据包上传；当W＜W_标时，确定云服务器与一级和二级中心服务器之间选择安全性最高的通信方式进行数据包数据上传，以及确定云服务器与三级和四级中心服务器之间选择稳定性最高的通信方式进行数据包数据上传；所述W_标为预设的权重阈值，其中a、b为常系数；

当T_g≥T＞T_标，P＜P_标时，确定云服务器与二级中心服务器之间选择安全性最高的通信方式进行数据包上传，确定云服务器与三级和四级中心服务器之间选择稳定性最高的通信方式进行数据包数据上传；

当T_标≥T，P≥P_标时，确定云服务器与三级中心服务器之间选择安全性最高的通信方式进行数据包上传，确定云服务器与四级中心服务器之间选择稳定性最高的通信方式进行数据包数据上传；

当T_标≥T，P＜P_标时；确定云服务器与四级中心服务器之间选择安全性最高的通信方式进行数据包上传，且四级中心服务器分别将数据包数据依次上传至一级、二级和三级中心服务器；

上述T_g是根据历史温度数据确定数据包所指示的区域的高级阈值，T_标是根据历史温度数据确定数据包所指示的区域的正常温度值，P_标根据数据包所指示区域的历史密度数据确定的平均密度值，T_max是根据历史温度数据确定数据包所指示的区域的最高温度值，P_max是根据历史温度数据确定数据包所指示的区域的最高密度值；

数据传输的具体内容包括：将得到的源数据包和修改数据包上传至云服务器的指定区域，其中第一指定区域用于实现源数据包的存储，第二指定区域用于实现修改数据包的存储。

2.如权利要求1所述的双波段监测方法，其特征在于，将参考图像的颜色特征值和待配准图像颜色特征值逐像素点加权来实现融合。

3.如权利要求1所述的双波段监测方法，其特征在于，将待配准图像进行透明化处理，将待配准图像整体覆盖参考图像来实现融合。

4.如权利要求1所述的双波段监测方法，其特征在于，将参考图像和待配准图像分别设定背景区和目标区，将待配准图像的背景区替换为待配准图像的目标区，以及将待配准图像的目标区替换为待配准图像的背景区来实现融合。

5.如权利要求1所述的双波段监测方法，其特征在于，对监测目标设置预设配准标记，根据待配准图像中的图像配准标记坐标与参考图像中的配准标记坐标，对待配准图像与参考图像配准来实现融合。

6.如权利要求1所述的双波段监测方法，其特征在于，对于融合图像进行平滑滤波处理。

7.如权利要求1-6任一项所述的双波段监测方法，其特征在于，红外图像和可见光图像为同位置、同视角及同轴拍摄而得到。

8.一种基于红外和可见光的双波段监测装置，其特征在于，包括：

图像获取模块，用于实时获取监测目标的红外图像和可见光图像，其中红外图像用于对监测目标进行测温，可见光图像用于对监测目标进行展示；

图像融合模块，用于以红外图像和可见光图像中的一个图像为参考图像，将另一个图像为待配准图像，将待配准图像与参考图像融合来得到融合图像；

预警处理模块，用于根据融合图像对监测目标进行监测预警；并且，

上传数据包至数据中心进行远程监控，该数据中心括云服务器、中心服务器及用户服务器，其中：

数据传输的通信链路包括：根据本地控制器与多个接入点之间的网络状态信息和多个接入点分别与位于数据中心的服务器集群中的相应服务器的网络质量信息选择多条链路；

数据传输的通信方式包括：云服务器、中心服务器及用户服务器之间根据特定高温物体最高温度值T和目标密度P选择上传策略；其具体包括：

获取本地控制器与多个接入点之间的网络状态信息，根据网络状态信息确定包括数据包的传输速率以及丢包率、干扰噪声、信号强度来确定传输的可靠性，选择可靠性最高的两个接入点作为中转接入点，其中可靠性以权重值的方式量化表示；获取的相应权重值通过独立的链路传输至数据中心的相应服务器，同时中转接入点对应的权重值添加到一个额外的数据包报头中；

两个中转接入点接收到数据包后，分别计算其与数据中心各个服务器之间的网络质量信息以及中转质量信息，根据网络质量信息和中转质量信息确定数据的发送路径，以将数据包直接发送给对应的服务器或是经过相邻接入点将数据包发送给数据中心对应的服务器，其中网络质量信息根据服务器当前的已接入量、接入许可量、根据历史信息估计的超载概率、以及通信链路的可靠性进行确定，中转质量信息根据中转接入点与其相邻接入点之间通信链路的可靠性以及其相邻接入点与各个服务器之间的网络质量信息确定；网络质量信息以及中转质量信息以数值的方式进行量化表示，并通过独立的链路传输至数据中心的各个服务器，同时将参与转发的接入点对应的中转质量信息值添加到额外的数据包报头中，其中：

数据中心的每个服务器在接收到各个接入点对应的值后，根据链路的选择策略确定中转接入点以及转发接入点对应的中转质量信息值；当数据中心的每个服务器接收到数据包后，根据上述中转质量信息值对数据包进行校验以确定数据包的准确性；当数据中心中至少两个服务器接收到数据包并分别进行验证数据包的准确性后，将其接收到的数据包再次进行比对以验证数据包中数据的完整性；当验证不准确或是不完整时，则通知本地设备进行重传，其中重传过程使用的冗余链路与原来的冗余链路不存在交集；

上述数据中心包括云服务器、中心服务器及用户服务器，其中的中心服务器使用四层级结构：

云服务器、中心服务器及用户服务器之间根据检测目标最高温度值T和目标密度P选择上传策略，包括：

云服务器收到源数据包或修改数据包后，获取相应数据包中温度最高值T以及该数据包所处环境中检测目标目标密度P，并根据最高温度值T和目标密度P选择上传策略来将相应数据包上传至相应中心服务器；

当T＞T_g时，确定云服务器与各级中心服务器之间稳定性最高的通信方式，来将数据包数据同时发送至各个中心服务器；

当T_g≥T＞T_标，P≥P_标时，计算数据包的权重W：当W≥W_标时，确定云服务器与级中心服务器之间选择安全性最高的通信方式进行数据包数据上传，以及确定云服务器与二级、三级和四级中心服务器之间选择稳定性最高的通信方式进行数据包上传；当W＜W_标时，确定云服务器与一级和二级中心服务器之间选择安全性最高的通信方式进行数据包数据上传，以及确定云服务器与三级和四级中心服务器之间选择稳定性最高的通信方式进行数据包数据上传；所述W_标为预设的权重阈值，其中a、b为常系数；

当T_g≥T＞T_标，P＜P_标时，确定云服务器与二级中心服务器之间选择安全性最高的通信方式进行数据包上传，确定云服务器与三级和四级中心服务器之间选择稳定性最高的通信方式进行数据包数据上传；

当T_标≥T，P≥P_标时，确定云服务器与三级中心服务器之间选择安全性最高的通信方式进行数据包上传，确定云服务器与四级中心服务器之间选择稳定性最高的通信方式进行数据包数据上传；

当T_标≥T，P＜P_标时；确定云服务器与四级中心服务器之间选择安全性最高的通信方式进行数据包上传，且四级中心服务器分别将数据包数据依次上传至一级、二级和三级中心服务器；

上述T_g是根据历史温度数据确定数据包所指示的区域的高级阈值，T_标是根据历史温度数据确定数据包所指示的区域的正常温度值，P_标根据数据包所指示区域的历史密度数据确定的平均密度值，T_max是根据历史温度数据确定数据包所指示的区域的最高温度值，P_max是根据历史温度数据确定数据包所指示的区域的最高密度值；

数据传输的具体内容包括：将得到的源数据包和修改数据包上传至云服务器的指定区域，其中第一指定区域用于实现源数据包的存储，第二指定区域用于实现修改数据包的存储。

9.如权利要求8所述的双波段监测装置，其特征在于，所述预警处理模块根据融合图像识别监控目标中特定物体，并屏蔽特定物体后对监测目标进行监测预警。

10.一种基于红外和可见光的双波段监测系统，其特征在于，包括：

红外探头，用于生成监控目标的红外图像来对监测目标进行测温；

可见光探头，用于生成监控目标的可见光图像来对监测目标进行展示；

控制器，用于以红外图像和可见光图像中的一个图像为参考图像，将另一个图像为待配准图像，将待配准图像与参考图像融合来得到融合图像，并根据融合图像生成并输出报警触发信号；

报警器，用于根据报警触发信号进行报警；并且，

上传数据包至数据中心进行远程监控，该数据中心括云服务器、中心服务器及用户服务器，其中：

数据传输的通信链路包括：根据本地控制器与多个接入点之间的网络状态信息和多个接入点分别与位于数据中心的服务器集群中的相应服务器的网络质量信息选择多条链路；

数据传输的通信方式包括：云服务器、中心服务器及用户服务器之间根据特定高温物体最高温度值T和目标密度P选择上传策略；其具体包括：

获取本地控制器与多个接入点之间的网络状态信息，根据网络状态信息确定包括数据包的传输速率以及丢包率、干扰噪声、信号强度来确定传输的可靠性，选择可靠性最高的两个接入点作为中转接入点，其中可靠性以权重值的方式量化表示；获取的相应权重值通过独立的链路传输至数据中心的相应服务器，同时中转接入点对应的权重值添加到一个额外的数据包报头中；

两个中转接入点接收到数据包后，分别计算其与数据中心各个服务器之间的网络质量信息以及中转质量信息，根据网络质量信息和中转质量信息确定数据的发送路径，以将数据包直接发送给对应的服务器或是经过相邻接入点将数据包发送给数据中心对应的服务器，其中网络质量信息根据服务器当前的已接入量、接入许可量、根据历史信息估计的超载概率、以及通信链路的可靠性进行确定，中转质量信息根据中转接入点与其相邻接入点之间通信链路的可靠性以及其相邻接入点与各个服务器之间的网络质量信息确定；网络质量信息以及中转质量信息以数值的方式进行量化表示，并通过独立的链路传输至数据中心的各个服务器，同时将参与转发的接入点对应的中转质量信息值添加到额外的数据包报头中，其中：

数据中心的每个服务器在接收到各个接入点对应的值后，根据链路的选择策略确定中转接入点以及转发接入点对应的中转质量信息值；当数据中心的每个服务器接收到数据包后，根据上述中转质量信息值对数据包进行校验以确定数据包的准确性；当数据中心中至少两个服务器接收到数据包并分别进行验证数据包的准确性后，将其接收到的数据包再次进行比对以验证数据包中数据的完整性；当验证不准确或是不完整时，则通知本地设备进行重传，其中重传过程使用的冗余链路与原来的冗余链路不存在交集；

上述数据中心包括云服务器、中心服务器及用户服务器，其中的中心服务器使用四层级结构：

云服务器、中心服务器及用户服务器之间根据检测目标最高温度值T和目标密度P选择上传策略，包括：

云服务器收到源数据包或修改数据包后，获取相应数据包中温度最高值T以及该数据包所处环境中检测目标目标密度P，并根据最高温度值T和目标密度P选择上传策略来将相应数据包上传至相应中心服务器；

当T＞T_g时，确定云服务器与各级中心服务器之间稳定性最高的通信方式，来将数据包数据同时发送至各个中心服务器；

当T_g≥T＞T_标，P≥P_标时，计算数据包的权重W：当W≥W_标时，确定云服务器与级中心服务器之间选择安全性最高的通信方式进行数据包数据上传，以及确定云服务器与二级、三级和四级中心服务器之间选择稳定性最高的通信方式进行数据包上传；当W＜W_标时，确定云服务器与一级和二级中心服务器之间选择安全性最高的通信方式进行数据包数据上传，以及确定云服务器与三级和四级中心服务器之间选择稳定性最高的通信方式进行数据包数据上传；所述W_标为预设的权重阈值，其中a、b为常系数；

当T_g≥T＞T_标，P＜P_标时，确定云服务器与二级中心服务器之间选择安全性最高的通信方式进行数据包上传，确定云服务器与三级和四级中心服务器之间选择稳定性最高的通信方式进行数据包数据上传；

当T_标≥T，P≥P_标时，确定云服务器与三级中心服务器之间选择安全性最高的通信方式进行数据包上传，确定云服务器与四级中心服务器之间选择稳定性最高的通信方式进行数据包数据上传；

当T_标≥T，P＜P_标时；确定云服务器与四级中心服务器之间选择安全性最高的通信方式进行数据包上传，且四级中心服务器分别将数据包数据依次上传至一级、二级和三级中心服务器；

上述T_g是根据历史温度数据确定数据包所指示的区域的高级阈值，T_标是根据历史温度数据确定数据包所指示的区域的正常温度值，P_标根据数据包所指示区域的历史密度数据确定的平均密度值，T_max是根据历史温度数据确定数据包所指示的区域的最高温度值，P_max是根据历史温度数据确定数据包所指示的区域的最高密度值；

数据传输的具体内容包括：将得到的源数据包和修改数据包上传至云服务器的指定区域，其中第一指定区域用于实现源数据包的存储，第二指定区域用于实现修改数据包的存储。