CN111432172A - 基于图像融合的围栏报警方法及系统 - Google Patents

基于图像融合的围栏报警方法及系统 Download PDF

Info

Publication number
CN111432172A
CN111432172A CN202010203125.XA CN202010203125A CN111432172A CN 111432172 A CN111432172 A CN 111432172A CN 202010203125 A CN202010203125 A CN 202010203125A CN 111432172 A CN111432172 A CN 111432172A
Authority
CN
China
Prior art keywords
image
fence
fusion
band
frequency sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010203125.XA
Other languages
English (en)
Inventor
任洲甫
李璐一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010203125.XA priority Critical patent/CN111432172A/zh
Publication of CN111432172A publication Critical patent/CN111432172A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/02—Mechanical actuation
    • G08B13/12—Mechanical actuation by the breaking or disturbance of stretched cords or wires
    • G08B13/122—Mechanical actuation by the breaking or disturbance of stretched cords or wires for a perimeter fence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

本申请提供一种基于图像融合的围栏报警方法及系统，该围栏报警方法包括：获取待监控区域的监控图像，其中，监控图像为多源图像；对多源图像进行融合处理以获取融合监控图像；处理融合监控图像以获取围栏警戒线和待测目标的行动轨迹；判断待测目标的行动轨迹是否越过围栏警戒线，当确定行动轨迹越过围栏警戒线时进行报警。该围栏报警方法大大提高了数据在复杂场景下的适用性和报警的准确度。

Description

基于图像融合的围栏报警方法及系统
技术领域
本发明属于监控技术领域，尤其涉及一种基于图像融合的围栏报警方法及系统。
背景技术
围栏作为保证工作人员安全的重要器具之一，其实现了施工现场和周围环境的隔离，使非工作人员和工作人员远离危险区域，确保人员的安全。
目前，围栏一般是基于电子脉冲的围栏报警方法进行防范，但该方法易对违规人员的身体造成直接或间接的伤害，且报警后无法取证；为此，近年来，一些基于监控视频的围栏报警方法被提出，其主要通过对监控视频进行智能分析而达到周界防范的功能。
然而，现有技术中基于监控视频的围栏报警方法，其相应数据在烟雾、阴雨等复杂场景下的适用性较差，且易出现误报警问题。
发明内容
本申请提供一种基于图像融合的围栏报警方法及系统，该围栏报警方法大大提高了数据在复杂场景下的适用性，且提高了报警的准确度。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于图像融合的围栏报警方法，该围栏报警方法包括：获取待监控区域的监控图像，其中，监控图像为多源图像；对多源图像进行融合处理以获取融合监控图像；处理融合监控图像以获取围栏警戒线和待测目标的行动轨迹；判断待测目标的行动轨迹是否越过围栏警戒线，当确定行动轨迹越过围栏警戒线时进行报警。
其中，多源图像包括可见光图像和红外图像。
其中，对多源图像进行融合处理以获取融合监控图像的步骤具体包括：对可见光图像进行HIS变换处理以获取H分量图像、I分量图像和S分量图像，并基于灰度变换法对红外图像进行处理；对可见光图像的I分量图像和经灰度变化法处理的红外图像进行小波分解以形成相应的低频子带和高频子带；基于区域窗口的融合规则，对低频子带和高频子带进行融合处理，并对融合后的低频子带和高频子带进行小波重构，以获取融合I分量图像；对融合I分量图像、H分量图像和S分量图像进行HIS逆变换处理以获取融合监控图像。
其中，对可见光图像的I分量图像和经灰度变化法处理的红外图像进行小波分解以形成相应的低频子带和高频子带的步骤具体包括：对可见光图像的I分量图像进行小波分解以形成第一低频子带和第一高频子带，对经灰度变化法处理的红外图像进行小波分解，以形成第二低频子带和第二高频子带。
其中，基于区域窗口的融合规则，对低频子带和高频子带进行融合处理，并对融合后的低频子带和高频子带进行小波重构，以获取融合I分量图像的步骤具体包括：基于窗口能量的图融合规则对第一低频子带和第二低频子带进行融合处理以获取融合低频子带；基于窗口能量标准差最大法对第一高频子带和第二高频子带进行融合处理以获取融合高频子带；对融合低频子带和融合高频子带进行小波重构，以获取融合I分量图像。
其中，处理融合监控图像以获取围栏警戒线和待测目标的行动轨迹的步骤具体包括：将融合监控图像输入预设模型以确定融合监控图像的围栏警戒区域的位置，并将围栏警戒区域的中心点连线作为围栏警戒线；其中，预设模型是根据预先拍摄的多源图像进行融合并训练而得；对围栏警戒区域进行裁剪以获取围栏警戒区域图像；对围栏警戒区域图像进行检测跟踪以获取待测目标的行动轨迹。
其中，对围栏警戒区域图像进行检测跟踪以获取待测目标的行动轨迹的步骤具体包括：对围栏警戒区域图像进行检测以获取监控目标；判断监控目标是否属于预设种类，当监控目标属于预设种类时，确定监控目标为待测目标并对待测目标进行跟踪以获取待测目标的行动轨迹。
其中，判断待测目标的行动轨迹是否越过围栏警戒线，当确定行动轨迹越过围栏警戒线时进行报警的步骤具体包括：判断待测目标的行动轨迹是否越过围栏警戒线；若是，则报警，然后返回获取待监控区域的监控图像的步骤；若否，则返回处理所述融合监控图像以获取围栏警戒线和待测目标的行动轨迹的步骤。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种基于图像融合的围栏报警系统，该围栏报警系统包括图像获取模块、图像融合模块、图像处理模块、判断模块及报警模块；其中，图像获取模块用于获取待监控区域的监控图像，其中，监控图像为多源图像；图像融合模块用于对多源图像进行融合处理以获取融合监控图像；图像处理模块用于处理融合监控图像以获取围栏警戒线和待测目标的行动轨迹；判断模块用于判断待测目标的行动轨迹是否越过围栏警戒线；报警模块用于在确定行动轨迹越过围栏警戒线时进行报警。
其中，图像处理模块包括警戒线确定单元、图像裁剪单元及检测跟踪单元。其中，警戒线确定单元用于将融合监控图像输入预设模型以确定融合监控图像的围栏警戒区域的位置，并将围栏警戒区域的中心点连线作为围栏警戒线；其中，预设模型是根据预先拍摄的多源图像进行融合并训练而得；图像裁剪单元，用于对围栏警戒区域进行裁剪以获取围栏警戒区域图像；检测跟踪单元，用于对围栏警戒区域图像进行检测跟踪以获取待测目标的行动轨迹。
本申请提供的基于图像融合的围栏报警方法及系统，该围栏报警方法通过获取待监控区域的多源图像，并对多源图像进行融合处理，以获取融合监控图像，然后对融合监控图像进行处理以获取围栏警戒线和待测目标的行动轨迹，最后通过判断待测目标的行动轨迹是否越过围栏警戒线，以在待测目标的行动轨迹越过围栏警戒线时进行报警；其中，由于该围栏报警方法是通过获取待监控区域的多源图像并对其进行融合处理，以在待测目标的行动轨迹越过围栏警戒线时进行报警，从而使得相应的数据在普通场景和烟雾等复杂场景下均拥有大量有效信息，且数据质量较好，进而大大提高了数据在复杂场景下的适用性，且提高了报警的准确度；另外，通过对融合监控图像进行处理以自动确定围栏警戒线的方法，与现有技术中通过人工划线的方法相比，大大提高了围栏警戒线的准确度，从而进一步提高了报警准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
图1为本申请第一实施例提供的基于图像融合的围栏报警方法的流程示意图；
图2为本申请第二实施例提供的基于图像融合的围栏报警方法的流程示意图；
图3为图2中步骤S24的具体流程示意图；
图4为本申请第三实施例提供的基于图像融合的围栏报警方法的流程示意图；
图5为本申请一实施例提供的基于图像融合的围栏报警系统的结构示意图；
图6为图5中图像处理模块的具体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
请参阅图1，图1为本申请第一实施例提供的基于图像融合的围栏报警方法的流程示意图；在本实施例中，提供一种基于图像融合的围栏报警方法，该围栏报警方法具体包括：
步骤S11：获取待监控区域的监控图像。
具体的，实时获取待监控区域的监控图像，以对该待监控区域进行实时监控；其中，监控图像为多源图像，多源图像具体可包括可见光图像和红外图像；具体的，待监控区域一般设置有摄像监控设备，如，安装有不同传感器的摄像头，以通过该摄像头采集该位置的多源监控图像，以便根据该多源监控图像进行数据分析以进行报警并取证。
在具体实施过程中，采集到多源图像之后，通过直方图均衡化，中值滤波增强图像质量，然后利用图像配准方法将可见光图像与红外图像进行配准，以得到空间分辨率一致的图像。
步骤S12：对多源图像进行融合处理以获取融合监控图像。
在一实施方式中，可采用HIS变换及小波变化对多源图像进行融合处理，以实现多源图像的信息互补，从而得到关于围栏场景更加可靠、精确的数据，进而大大提高数据在复杂场景下的适用性，并提高报警的准确度。
步骤S13：处理融合监控图像以获取围栏警戒线和待测目标的行动轨迹。
具体的，通过对融合监控图像进行处理以自动获取围栏警戒线，相比于现有技术中通过人工划线的方法相比，大大提高了围栏警戒线的准确度；然后对融合监控图像中的待测目标进行检测并跟踪以获取待测目标的行动轨迹。
步骤S14：判断待测目标的行动轨迹是否越过围栏警戒线。
当待测目标的行动轨迹越过围栏警戒线时，则执行步骤S15，然后返回步骤S11以重新获取待监控区域的监控图像，进而对该待监控区域进行实时监控；而当待测目标的行动轨迹没有越过围栏警戒线时，则继续执行步骤S13，以对当前融合监控图像中的其它目标进行检测跟踪，进而判断其它目标的行动轨迹是否越过围栏警戒线。
步骤S15：报警。
本实施例提供的基于图像融合的围栏报警方法，通过获取待监控区域的多源图像，并对多源图像进行融合处理，以获取融合监控图像，然后对融合监控图像进行处理以获取围栏警戒线和待测目标的行动轨迹，最后通过判断待测目标的行动轨迹是否越过围栏警戒线，以在待测目标的行动轨迹越过围栏警戒线时进行报警；其中，由于该围栏报警方法是通过获取待监控区域的多源图像并对其进行融合处理，以在待测目标的行动轨迹越过围栏警戒线时进行报警，从而使得相应的数据在普通场景和烟雾等复杂场景下均拥有大量有效信息，且数据质量较好，进而大大提高了数据在复杂场景下的适用性，且提高了报警的准确度；另外，通过对融合监控图像进行处理以自动确定围栏警戒线的方法，与现有技术中通过人工划线的方法相比，大大提高了围栏警戒线的准确度，从而进一步提高了报警准确度。
请参阅图2，图2为本申请第二实施例提供的基于图像融合的围栏报警方法的流程示意图；在本实施例中，提供一种基于图像融合的围栏报警方法，该围栏报警方法包括：
步骤S21：获取待监控区域的可见光图像和红外图像。
其中，步骤S21的具体实施过程与上述第一实施例所提供的基于图像融合的围栏报警方法中的步骤S11的具体实施过程相同或相似，且可实现相同或相似的技术效果，具体可参见上述相关文字描述，在此不再赘述。
步骤S22：对可见光图像进行HIS变换处理以获取H分量图像、I分量图像和S分量图像，并基于灰度变换法对红外图像进行处理。
其中，将可见光图像从RGB空间正转换到HIS空间，以得到H分量图像、I分量图像及S分量图像；其中，H、I、S分别表示图像的亮度、色度及饱和度。其正变换数学表达式(1)如下：
Figure BDA0002420049090000061
Figure BDA0002420049090000062
Figure BDA0002420049090000063
其中，
Figure BDA0002420049090000064
其中，使用灰度变换法对红外图像进行图像增强，以增加图像对比度，并突出红外热目标。其中，灰度变换法具体可采用三段线性变换法：
Figure BDA0002420049090000071
其中，上式(2)中的变量都表示图像的灰度值，三段线性变换法主要是指将图像的灰度值拉伸为三段，变换之前的灰度范围是f1到f2，变换后的范围是g1到g2。
步骤S23：对可见光图像的I分量图像和经灰度变化法处理的红外图像进行小波分解以形成相应的低频子带和高频子带。
具体的，对可见光图像的I分量图像进行小波分解以形成第一低频子带和第一高频子带，对经灰度变化法处理的红外图像进行小波分解，以形成第二低频子带和第二高频子带。
具体的，对I分量图像和已增强的红外图像进行两层变换的小波分解，能够减少图像数据信息的丢失，从而获取图像更多有效的细节信息；具体的，小波基函数具体选择Haar函数。其中，小波变换的基本原理与现有技术中的小波变化的基本原理相同或相似，且可实现相同或相似的技术效果，在此不再赘述，下面仅列出其基本定义：
Figure BDA0002420049090000072
其中，a表示尺度，τ表示平移量；尺度a控制小波函数的伸缩，平移量τ控制小波函数的平移；尺度对应于频率，平移量对应于时间。
步骤S24：基于区域窗口的融合规则，对低频子带和高频子带进行融合处理，并对融合后的低频子带和高频子带进行小波重构，以获取融合I分量图像。
在图像融合中目前广泛采用像素级融合规则，其算法简单，运算速度快，但单个像素难以体现出图像的局部特征，且人眼视觉感知系统对单个像素的感知不如对区域内像素感知敏感，因此，本申请一实施方式基于区域窗口的融合规则对低频子带和高频子带进行融合处理。
请参阅图3，图3为图2中步骤S24的具体流程示意图；步骤S24具体包括：
步骤S241：基于窗口能量的图融合规则对第一低频子带和第二低频子带进行融合处理以获取融合低频子带。
具体的，使用低频分量的窗口能量表征低频系数的重要程度，重要程度高的部分低频系数获得更高的权值，此处权值系数a，b(a>b且a+b＝1)取0.6，0.4；具体的，为减小计算量，窗口大小选择3*3：
Figure BDA0002420049090000081
其中，上式(4)中A，B分别表示待融合图像，L为低频分量所在层次，
Figure BDA0002420049090000082
表示点(i，j)处的低频分量灰度值，a，b表示权值系数，a>b，且两者之和为1。
步骤S242：基于窗口能量标准差最大法对第一高频子带和第二高频子带进行融合处理以获取融合高频子带。
具体的，标准差的值越大时说明灰度值越分散，纹理等信息越丰富。具体的，对可见光图像的第一高频子带和红外图像的第二高频子带分别选取一个窗口，计算两个窗口标准差的值，然后比较两个值的大小，选取大的值的分量作为最后分量的值；具体的，为了减小计算量，窗口大小同样选择3*3。
其中，窗口标准差的定义如下：
Figure BDA0002420049090000083
其中，窗口为M×N，K表示不同方向的高频分量，L表示第L层高频分量，
Figure BDA0002420049090000084
表示图像在点(i，j)上的高频分量灰度值，
Figure BDA0002420049090000085
为窗口内所有像素灰度均值。
具体的，其融合规则如下：
Figure BDA0002420049090000086
步骤S243：对融合低频子带和融合高频子带进行小波重构，以获取融合I分量图像。
其中，小波重构过程与现有技术中的小波重构过程相同或相似，且可实现相同或相似的技术效果，在此不再赘述。
步骤S25：对融合I分量图像、H分量图像和S分量图像进行HIS逆变换处理以获取融合监控图像。
其中，HIS逆变换方法与现有技术中的HIS逆变换方法过程相同或相似，且可实现相同或相似的技术效果，在此不再赘述。
步骤S26：处理融合监控图像以获取围栏警戒线和待测目标的行动轨迹。
步骤S27：判断待测目标的行动轨迹是否越过围栏警戒线。
当待测目标的行动轨迹越过围栏警戒线时，则执行步骤S28，然后返回步骤S21以重新获取待监控区域的可见光图像和红外图像，进而对该待监控区域进行实时监控；而当待测目标的行动轨迹没有越过围栏警戒线时，则继续执行步骤S26，以对当前融合监控图像中的其它目标进行检测跟踪，进而判断其它目标的行动轨迹是否越过围栏警戒线。
步骤S28：报警。
本实施例提供的基于图像融合的围栏报警方法，与上述第一实施例所提供的基于图像融合的围栏报警方法相比，不仅大大提高了数据在复杂场景下的适用性，并提供了报警的准确度；且利用区域窗口融合规则，有效避免了以单像素融合作为规则的缺点，提高了融合监控图像的质量。
请参阅图4，图4为本申请第三实施例提供的基于图像融合的围栏报警方法的流程示意图；在本实施例中，提供一种基于图像融合的围栏报警方法，该围栏报警方法具体包括：
步骤S31：获取待监控区域的可见光图像和红外图像。
步骤S32：对可见光图像进行HIS变换处理以获取H分量图像、I分量图像和S分量图像，并基于灰度变换法对红外图像进行处理。
步骤S33：对可见光图像的I分量图像和经灰度变化法处理的红外图像进行小波分解以形成相应的低频子带和高频子带。
步骤S34：基于区域窗口的融合规则，对低频子带和高频子带进行融合处理，并对融合后的低频子带和高频子带进行小波重构，以获取融合I分量图像。
步骤S35：对融合I分量图像、H分量图像和S分量图像进行HIS逆变换处理以获取融合监控图像。
具体的，步骤S31至步骤S35的具体实施过程与上述第二实施例所提供的基于图像融合的围栏报警方法中的步骤S21至步骤S25的具体实施过程相同或相似，且可实现相同或相似的技术效果，具体可参见上述相关文字描述，在此不再赘述。
步骤S36：将融合监控图像输入预设模型以确定融合监控图像的围栏警戒区域的位置，并将围栏警戒区域的中心点连线作为围栏警戒线。
其中，预设模型是根据预先拍摄的多源图像进行融合并训练而得；具体的，预先拍摄待监控区域的多源图像，对多源图像进行融合以获取融合监控图像，然后在融合监控图像数据上进行围栏警戒区域标注，并将标注图像送入图像分割模型以训练至收敛，进而得到该预设模型。具体的，图像融合技术具体可参见第一实施例中步骤S12的相关描述。
其中，步骤S36具体是将融合监控图像输入预设模型以确定围栏警戒区域的位置，然后利用深度学习模型Mask-RCNN对融合监控图像中的围栏警戒区域进行精确分割，并将分割区域的中心点连线作为围栏警戒线。
本实施例提供的上述方法，基于预设模型及深度学习的图像分割以自动识别围栏警戒区域并自动确定围栏警戒线，相比于传统周界防范人工划线不准确的困扰，大大减少了误报发生的可能性。
步骤S37：对围栏警戒区域进行裁剪以获取围栏警戒区域图像。
具体的，对围栏警戒区域进行2倍裁剪。
步骤S38：对围栏警戒区域图像进行检测跟踪以获取待测目标的行动轨迹。
具体的，将围栏警戒区域图像输入深度目标检测模型SSD进行检测以获取监控目标，然后对监控目标的种类进行判断，并判断监控目标是否属于预设种类，当监控目标不属于预设种类时，则舍弃该监控目标；当监控目标属于预设种类时，则确定该监控目标为待测目标，并使用目标跟踪Deep SORT算法对该待测目标进行跟踪以获取待测目标的行动轨迹。该方法通过对监控目标的种类进行判断，能够避免因不属于预设种类的监控目标而引发报警的问题发生，从而能够进一步减小误报警问题发生的可能性。其中，监控目标的种类可包括人体、机动车、非机动车等，预设种类可为人体，在此不做限定。
步骤S39：判断待测目标的行动轨迹是否越过围栏警戒线。
当待测目标的行动轨迹越过围栏警戒线时，则执行步骤S40，然后返回步骤S31以重新获取待监控区域的可见光图像和红外图像，进而对该待监控区域进行实时监控；而当待测目标的行动轨迹没有越过围栏警戒线时，则继续执行步骤S38，以对当前融合监控图像中的其它目标进行检测跟踪，进而判断其它目标的行动轨迹是否越过围栏警戒线。
步骤S40：报警。
本实施例提供的基于图像融合的围栏报警方法，与上述第二实施例提供的基于图像融合的围栏报警方法相比，不仅大大提高了数据在复杂场景下的适用性，并提供了报警的准确度；且利用区域窗口融合规则，有效避免了以单像素融合作为规则的缺点，提高了融合图像的质量；同时，基于预设模型及深度学习的图像分割以自动识别围栏警戒区域并自动确定围栏警戒线，相比于传统周界防范人工划线不准确的困扰，大大减少了误报发生的可能性；另外，通过对监控目标的种类进行判断，能够避免因不属于预设种类的监控目标而引发报警的问题发生，从而能够进一步减小误报警问题发生的可能性。
请参阅图5，图5为本申请一实施例提供的基于图像融合的围栏报警系统的结构示意图；在本实施例中，提供一种基于图像融合的围栏报警系统50，该围栏报警系统50具体包括图像获取模块51、图像融合模块52、图像处理模块53、判断模块54及报警模块55。
其中，图像获取模块51包括图像获取单元，图像获取单元用于获取待监控区域的监控图像；具体的，图像获取单元用于实时获取待监控区域的监控图像，以对该待监控区域进行实时监控；其中，监控图像为多源图像，多源图像具体可包括可见光图像和红外图像；具体的，待监控区域一般设置有摄像监控设备，如，安装有不同传感器的摄像头，以通过该摄像头采集该位置的多源监控图像，以便根据该多源监控图像进行数据分析以进行报警并取证。
在一实施例中，该图像获取模块51还包括图像预处理单元，图像预处理单元用于在采集到多源图像之后，通过直方图均衡化，中值滤波增强图像质量，然后利用图像配准方法将可见光图像与红外图像进行配准，以得到空间分辨率一致的图像。
其中，图像融合模块52用于对多源图像进行融合处理以获取融合监控图像。具体的，图像融合模块52可利用HIS变换及小波变化对多源图像进行融合处理，以实现多源图像的信息互补，从而得到关于围栏场景更加可靠、精确的数据，进而大大提高数据在复杂场景下的适用性，并提高了报警的准确度。
其中，图像处理模块53用于处理融合监控图像以获取围栏警戒线和待测目标的行动轨迹。在一实施例中，参见图6，图6为图5中图像处理模块的具体结构示意图；图像处理模块53具体可包括警戒线确定单元531、图像裁剪单元532及检测跟踪单元533。其中，警戒线确定单元531用于将融合监控图像输入预设模型以确定融合监控图像的围栏警戒区域的位置，并将围栏警戒区域的中心点连线作为围栏警戒线；其中，预设模型是根据预先拍摄的多源图像进行融合并训练而得；图像裁剪单元532用于对围栏警戒区域进行裁剪以获取围栏警戒区域图像；检测跟踪单元533用于对围栏警戒区域图像进行检测跟踪以获取待测目标的行动轨迹。
其中，判断模块54用于判断待测目标的行动轨迹是否越过围栏警戒线。
其中，报警模块55用于在确定行动轨迹越过围栏警戒线时进行报警。
本实施例提供的基于图像融合的围栏报警系统50，通过设置图像获取模块51，以获取待监控区域的多源图像；同时，通过设置图像融合模块52，以对多源图像进行融合处理并获取融合监控图像；另外，通过设置图像处理模块53，以对融合监控图像进行处理以获取围栏警戒线和待测目标的行动轨迹；此外，通过设置判断模块54，以对待测目标的行动轨迹是否越过围栏警戒线进行判断；最后，通过设置报警模块55，以在待测目标的行动轨迹越过围栏警戒线时进行报警；其中，由于该围栏报警系统50是通过获取待监控区域的多源图像并对其进行融合处理，以在待测目标的行动轨迹越过围栏警戒线时进行报警，从而使得相应的数据在普通场景和烟雾等复杂场景下均拥有大量有效信息，且数据质量较好，进而大大提高了数据在复杂场景下的适用性，且提高了报警的准确度；另外，该围栏报警系统50是通过对融合监控图像进行处理以自动确定围栏警戒线，与现有技术中通过人工划线的方案相比，大大提高了围栏警戒线的准确度，从而进一步提高了报警准确度。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于图像融合的围栏报警方法，其特征在于，包括：
获取待监控区域的监控图像，其中，所述监控图像为多源图像；
对所述多源图像进行融合处理以获取融合监控图像；
处理所述融合监控图像以获取围栏警戒线和待测目标的行动轨迹；
判断所述待测目标的行动轨迹是否越过所述围栏警戒线，当确定所述行动轨迹越过所述围栏警戒线时进行报警。
2.根据权利要求1所述的基于图像融合的围栏报警方法，其特征在于，所述多源图像包括可见光图像和红外图像。
3.根据权利要求2所述的基于图像融合的围栏报警方法，其特征在于，所述对所述多源图像进行融合处理以获取融合监控图像的步骤具体包括：
对所述可见光图像进行HIS变换处理以获取H分量图像、I分量图像和S分量图像，并基于灰度变换法对所述红外图像进行处理；
对所述可见光图像的I分量图像和经灰度变化法处理的所述红外图像进行小波分解以形成相应的低频子带和高频子带；
基于区域窗口的融合规则，对所述低频子带和所述高频子带进行融合处理，并对融合后的低频子带和高频子带进行小波重构，以获取融合I分量图像；
对所述融合I分量图像、所述H分量图像和所述S分量图像进行HIS逆变换处理以获取融合监控图像。
4.根据权利要求3所述的基于图像融合的围栏报警方法，其特征在于，所述对所述可见光图像的I分量图像和经灰度变化法处理的所述红外图像进行小波分解以形成相应的低频子带和高频子带的步骤具体包括：
对所述可见光图像的I分量图像进行小波分解以形成第一低频子带和第一高频子带，对经灰度变化法处理的所述红外图像进行小波分解，以形成第二低频子带和第二高频子带。
5.根据权利要求4所述的基于图像融合的围栏报警方法，其特征在于，所述基于区域窗口的融合规则，对所述低频子带和所述高频子带进行融合处理，并对融合后的低频子带和高频子带进行小波重构，以获取融合I分量图像的步骤具体包括：
基于窗口能量的图融合规则对所述第一低频子带和所述第二低频子带进行融合处理以获取融合低频子带；
基于窗口能量标准差最大法对所述第一高频子带和所述第二高频子带进行融合处理以获取融合高频子带；
对所述融合低频子带和所述融合高频子带进行小波重构，以获取融合I分量图像。
6.根据权利要求1所述的基于图像融合的围栏报警方法，其特征在于，所述处理所述融合监控图像以获取围栏警戒线和待测目标的行动轨迹的步骤具体包括：
将所述融合监控图像输入预设模型以确定所述融合监控图像的围栏警戒区域的位置，并将所述围栏警戒区域的中心点连线作为围栏警戒线；其中，所述预设模型是根据预先拍摄的所述多源图像进行融合并训练而得；
对所述围栏警戒区域进行裁剪以获取围栏警戒区域图像；
对所述围栏警戒区域图像进行检测跟踪以获取待测目标的行动轨迹。
7.根据权利要求6所述的基于图像融合的围栏报警方法，其特征在于，所述对所述围栏警戒区域图像进行检测跟踪以获取待测目标的行动轨迹的步骤具体包括：
对所述围栏警戒区域图像进行检测以获取监控目标；
判断所述监控目标是否属于预设种类，当所述监控目标属于预设种类时，确定所述监控目标为待测目标并对所述待测目标进行跟踪以获取所述待测目标的行动轨迹。
8.根据权利要求7所述的基于图像融合的围栏报警方法，其特征在于，所述判断所述待测目标的行动轨迹是否越过所述围栏警戒线，当确定所述行动轨迹越过所述围栏警戒线时进行报警的步骤具体包括：
判断所述待测目标的行动轨迹是否越过所述围栏警戒线；
若是，则报警，然后返回获取待监控区域的监控图像的步骤；若否，则返回处理所述融合监控图像以获取围栏警戒线和待测目标的行动轨迹的步骤。
9.一种基于图像融合的围栏报警系统，其特征在于，包括：
图像获取模块，用于获取待监控区域的监控图像，其中，所述监控图像为多源图像；
图像融合模块，用于对所述多源图像进行融合处理以获取融合监控图像；
图像处理模块，用于处理所述融合监控图像以获取围栏警戒线和待测目标的行动轨迹；
判断模块，用于判断所述待测目标的行动轨迹是否越过所述围栏警戒线；
报警模块，用于在确定所述行动轨迹越过所述围栏警戒线时进行报警。
10.根据权利要求9所述的基于图像融合的围栏报警系统，其特征在于，所述图像处理模块包括：
警戒线确定单元，用于将所述融合监控图像输入预设模型以确定所述融合监控图像的围栏警戒区域的位置，并将所述围栏警戒区域的中心点连线作为围栏警戒线；其中，所述预设模型是根据预先拍摄的所述多源图像进行融合并训练而得；
图像裁剪单元，用于对所述围栏警戒区域进行裁剪以获取围栏警戒区域图像；
检测跟踪单元，用于对所述围栏警戒区域图像进行检测跟踪以获取待测目标的行动轨迹。
CN202010203125.XA 2020-03-20 2020-03-20 基于图像融合的围栏报警方法及系统 Pending CN111432172A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010203125.XA CN111432172A (zh) 2020-03-20 2020-03-20 基于图像融合的围栏报警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010203125.XA CN111432172A (zh) 2020-03-20 2020-03-20 基于图像融合的围栏报警方法及系统

Publications (1)

Publication Number Publication Date
CN111432172A true CN111432172A (zh) 2020-07-17

Family

ID=71549969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010203125.XA Pending CN111432172A (zh) 2020-03-20 2020-03-20 基于图像融合的围栏报警方法及系统

Country Status (1)

Country Link
CN (1) CN111432172A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837360A (zh) * 2021-01-07 2021-05-25 北京百度网讯科技有限公司 深度信息处理方法、装置、设备、存储介质和程序产品
CN115170810A (zh) * 2022-09-08 2022-10-11 南京理工大学 一种可见光红外图像融合目标检测实例分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341786A (zh) * 2017-06-20 2017-11-10 西北工业大学 小波变换与联合稀疏表示的红外与可见光图像融合方法
KR101840042B1 (ko) * 2017-03-03 2018-03-19 주식회사 에스원 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템
CN109672862A (zh) * 2018-12-21 2019-04-23 北京天宇威视科技股份有限公司 图像处理方法、装置、介质及电子设备
CN110298234A (zh) * 2019-05-15 2019-10-01 国网湖南省电力有限公司 基于人体姿态识别的变电站带电区域安全预警方法及系统
CN110674703A (zh) * 2019-09-05 2020-01-10 北京正安维视科技股份有限公司 一种智能监控中的视频绊线报警计数方法与流程

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101840042B1 (ko) * 2017-03-03 2018-03-19 주식회사 에스원 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템
CN107341786A (zh) * 2017-06-20 2017-11-10 西北工业大学 小波变换与联合稀疏表示的红外与可见光图像融合方法
CN109672862A (zh) * 2018-12-21 2019-04-23 北京天宇威视科技股份有限公司 图像处理方法、装置、介质及电子设备
CN110298234A (zh) * 2019-05-15 2019-10-01 国网湖南省电力有限公司 基于人体姿态识别的变电站带电区域安全预警方法及系统
CN110674703A (zh) * 2019-09-05 2020-01-10 北京正安维视科技股份有限公司 一种智能监控中的视频绊线报警计数方法与流程

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李洋: ""红外图像与可见光图像融合研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837360A (zh) * 2021-01-07 2021-05-25 北京百度网讯科技有限公司 深度信息处理方法、装置、设备、存储介质和程序产品
CN112837360B (zh) * 2021-01-07 2023-08-11 北京百度网讯科技有限公司 深度信息处理方法、装置、设备、存储介质和程序产品
CN115170810A (zh) * 2022-09-08 2022-10-11 南京理工大学 一种可见光红外图像融合目标检测实例分割方法

Similar Documents

Publication Publication Date Title
CN110232380B (zh) 基于Mask R-CNN神经网络的火灾夜间场景复原方法
CN103442209B (zh) 一种输电线路的视频监控方法
CN104966304B (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
Jia et al. A two-step approach to see-through bad weather for surveillance video quality enhancement
CN108022249B (zh) 一种遥感视频卫星运动车辆目标感兴趣区域自动提取方法
CN106023245B (zh) 基于中智集相似度量测的静态背景下运动目标检测方法
CN111161160B (zh) 一种雾天障碍物检测方法、装置、电子设备和存储介质
CN111432172A (zh) 基于图像融合的围栏报警方法及系统
CN104866842A (zh) 一种人体目标入侵检测方法
CN104700405A (zh) 一种前景检测方法和系统
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN115937237A (zh) 一种基于边缘变换域的局部特征提取方法
Pal et al. Visibility enhancement techniques for fog degraded images: a comparative analysis with performance evaluation
CN113902694A (zh) 一种基于动静结合的目标检测方法
KR102171384B1 (ko) 영상 보정 필터를 이용한 객체 인식 시스템 및 방법
CN115147450B (zh) 基于运动帧差图像的移动目标检测方法及检测装置
Pal Visibility enhancement of fog degraded image sequences on SAMEER TU dataset using dark channel strategy
JP3736836B2 (ja) 物体検出方法及び物体検出装置及びプログラム
Alluhaidan et al. Retinex-based framework for visibility enhancement during inclement weather with tracking and estimating distance of vehicles
Xiang et al. A new model for daytime visibility index estimation fused average sobel gradient and dark channel ratio
Li et al. Multiple linear regression haze-removal model based on dark channel prior
KR20150033047A (ko) 객체를 검출하기 위한 전처리 장치 및 방법
CN111063145A (zh) 电子围栏智能处理器
Naseeba et al. KP Visibility Restoration of Single Hazy Images Captured in Real-World Weather Conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200717

RJ01 Rejection of invention patent application after publication