CN113743286A - 一种多源信号融合的目标监测系统及方法 - Google Patents
一种多源信号融合的目标监测系统及方法 Download PDFInfo
- Publication number
- CN113743286A CN113743286A CN202111014384.9A CN202111014384A CN113743286A CN 113743286 A CN113743286 A CN 113743286A CN 202111014384 A CN202111014384 A CN 202111014384A CN 113743286 A CN113743286 A CN 113743286A
- Authority
- CN
- China
- Prior art keywords
- target
- visible light
- video
- monitoring
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及一种多源信号融合的目标监测系统及方法,该装置包括:雷达装置,用于主动监测进入监测区域的目标,并且获取其方位与距离信息;视频监控装置,包括可见光探测器和长波红外探测器,用于获取目标的可见光视频图像和红外视频图像;云台装置,用于安装视频监控装置,并通过数据处理装置控制,带动视频监控装置转动到指定方位;以及数据处理装置,分别与雷达装置、视频监控装置、云台装置进行数据通信,用于获取雷达装置中的目标方位与距离信息,也用于控制云台装置转动,还用于获取视频监控装置中的可见光视频图像和红外视频图像,并对其进行配准与融合。该系统及方法不仅有利于提高监控效果,而且计算量小,实时性好。
Description
技术领域
本发明属于视频监控技术领域,具体涉及一种雷达、可见光探测器、长波红外探测器多源信号融合的目标监测系统及方法。
背景技术
随着电子技术的发展以及对监控系统需求的进一步提升,雷达与视频监控融合联动的方式愈发受到关注。雷达系统能够在水平方向进行360°无死角的全向目标搜索,并且灵敏检测物体的位置、速度和加速度等信息,其最大的局限性在于无法获取目标的光学信息。而视频监控系统中,探测器采用与人眼视觉系统相同的成像原理,能够记录视野范围内的图像,获得直观的目标信息,但其视野有限无法实现全方位监控。二者的优劣势可以起到十分理想的互补效果,在雷达监测到目标后直接联动视频监控系统捕捉实时视频画面,达到全方位、直观的监控效果。
但在现有的雷达与视频监控融合联动系统中,视频监控的光电设备多是采用单路的可见光探测器,可见光探测器在雨雪天气、黑夜等低照度条件下,成像效果差,无法捕捉到目标的光学信息;也有少部分系统采用红外与可见光的双目监控,借助红外探测器良好的夜视效果来弥补这一缺陷,但该系统输出的是两路独立的视频信号,需要人工选择适用当前场景的信号,或是分别查看两路视频信号以人工综合二者图像信息,仍具有一定的局限性。将红外图像与可见光图像融合至一张图像,实现系统输出一路适用于全场景、全天候的视频信号,具有十分重要的应用价值。
由于红外探测器与可见光探测器光轴不重合,两图空间存在误差,当误差超过一个像素,则最终的融合图像会出现重影,严重影响图像融合的质量。因此要实现红外图像与可见光图像的融合,首先需要对二者进行配准,使得两图中对应于空间同一位置的点一一对应起来。传统的配准通过特征点匹配来实现,如专利CN109285110A公开了一种基于鲁棒匹配与变换的红外可见光图像配准方法,但是这类方法并不适用于所有场景,如在海面、草原等难以匹配特征点的场景,其次这类方法计算复杂度高,离实时处理视频仍有很大的差距。
发明内容
本发明的目的在于提供一种多源信号融合的目标监测系统及方法,该系统及方法不仅有利于提高监控效果,而且计算量小,实时性好。
为实现上述目的,本发明采用的技术方案是:一种多源信号融合的目标监测系统,包括:
雷达装置,用于主动监测进入监测区域的目标,并且获取其方位与距离信息;
视频监控装置,包括可见光探测器和长波红外探测器,用于获取目标的可见光视频图像和红外视频图像;
云台装置,用于安装视频监控装置,并通过数据处理装置控制,带动视频监控装置转动到指定方位;以及
数据处理装置,分别与雷达装置、视频监控装置、云台装置进行数据通信,用于获取雷达装置中的目标方位与距离信息,也用于控制云台装置转动,还用于获取视频监控装置中的可见光视频图像和红外视频图像,并对其进行配准与融合。
本发明还提供了一种多源信号融合的目标监测方法,包括以下步骤:
步骤1:基于实验图像对建立配准映射关系数据库;
步骤2:雷达装置获取目标的方位与距离信息;
步骤3:数据处理装置根据雷达装置获取的目标方位信息,控制云台装置转动至对应位置,视频监控装置采集目标视频图像,包括可见光视频图像和红外视频图像;
步骤4:数据处理装置根据雷达装置获取的目标距离信息,调用数据库中的映射关系矩阵,对红外视频图像与可见光视频图像进行配准;
步骤5:将经过配准的红外视频图像与可见光视频图像进行融合。
进一步地,所述步骤1具体为:建立特征点丰富的场景,使用视频监控装置获取不同距离下的红外与可见光图像对;利用配准算法选取特征点,求出不同距离下的配准映射关系;将不同距离下的配准映射关系拟合成曲线,并将该曲线存入数据处理装置的配准映射关系数据库中。
进一步地,所述步骤2具体为:雷达装置对监测区域内进行搜索,获取周围的物体信息,对图像中的物体回波进行自动识别和运动参数解算;根据设置的目标判断条件,将目标相对于雷达的方位与距离信息传输至数据处理装置。
进一步地,所述步骤3具体为:根据目标相对于雷达装置的方位信息,计算出云台装置的旋转与俯仰角度,使视频监控装置朝向目标,获取目标视频图像。
进一步地,所述步骤4具体为:根据目标相对于雷达装置的距离信息,计算出目标相对于视频监控装置的距离,并通过数据库中的配准映射关系曲线,调用相应的映射关系矩阵完成红外视频图像与可见光视频图像的配准。
进一步地,所述步骤5具体为:经过配准,红外视频图像与可见光视频图像对应于空间同一位置的点已经一一对应起来,对两图像中同一像素坐标点进行运算操作,使红外视频图像与可见光视频图像中的有效信息呈现在一张图中。
与现有技术相比,本发明具有以下有益效果:提供了一种雷达、可见光探测器、长波红外探测器多源信号融合的目标监测系统及方法,该系统及方法很好地将雷达、可见光和长波红外探测器在监控领域的优劣势进行互补,实现全方位、全天候、直观的监控效果。而且,本发明具有计算量小的优势,可进行视频实时处理。
附图说明
图1为本发明实施例的系统结构框图;
图2为本发明实施例中视频监控装置的内部原理图;
图3为本发明实施例的方法实现流程图;
图4为本发明实施例中目标定位模型图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本实施例提供了一种多源信号融合的目标监测系统,包括:雷达装置、视频监控装置、云台装置和数据处理装置。
所述雷达装置用于主动监测进入监测区域的目标,并且获取其方位与距离信息。
所述视频监控装置包括可见光探测器和长波红外探测器,用于获取目标的可见光视频图像和红外视频图像。
如图2所示,在安装可见光探测器和长波红外探测器时,通过靶标图像测试,尽量使可见光探测器和长波红外探测器的光轴相互保持平行状态;在光轴平行状态调整的同时,尽量使两个相机所拍图像以光轴为中心的转角接近0度,即两个相机所拍图像的上边保持互相平行状态。这样在不同拍摄距离下拍摄的同一视场的红外与可见光图像间的旋转角度能够基本保持不变,降低后续映射关系矩阵数据库建立时的工作量,且提高配准精度。
所述云台装置用于安装视频监控装置,并通过数据处理装置控制,带动视频监控装置转动到指定方位。
所述数据处理装置分别与雷达装置、视频监控装置、云台装置进行数据通信,用于获取雷达装置中的目标方位与距离信息,也用于控制云台装置转动,还用于获取视频监控装置中的可见光视频图像和红外视频图像,并对其进行配准与融合。所述数据处理装置可以是计算机。
如图3所示,本实施例提供了一种多源信号融合的目标监测方法,包括以下步骤:
步骤1:基于实验图像对建立配准映射关系数据库。
在系统投入工作前,需要预先建立配准映射关系曲线数据库。在本实施例中,可将监控装置固定于阳台,以汽车作为拍摄目标,监控装置与汽车均安装一个北斗定位终端,用以记录二者之间的距离即拍摄距离,通过驾驶汽车来改变拍摄距离。在红外与可见光探测器拍摄时间基本同步的情况下,以50m,100m,200m,400m,……的拍摄距离采集红外与可见光实验图像对,当红外或可见光图像中有其一因拍摄距离过远无法识别汽车时,停止采集。
随后,使用配准算法匹配特征点的方式,对采集到实验图像对进行配准,配准时固定可见光图像,利用仿射变换对红外图像进行缩放、平移、旋转操作,使得两图中对应于空间同一位置的点一一对应起来。上述变换表达式如下所示:
通过实验图像对解算出不同距离下的S、θ、tx、ty这四个参数,以距离为自变量,S、θ、tx、ty分别为因变量,将其拟合成四条光滑的曲线存入数据处理装置中的数据库。
步骤2:雷达装置获取目标的方位与距离信息。
雷达装置对监测区域内进行搜索,获取周围的物体信息,对图像中的物体回波进行自动识别和运动参数解算;根据设置的目标判断条件,将目标相对于雷达的方位与距离信息传输至数据处理装置。
步骤3:数据处理装置根据雷达装置获取的目标方位信息,控制云台装置转动至对应位置,视频监控装置采集目标视频图像,包括可见光视频图像和红外视频图像。
因为安装位置的不同,目标相对于雷达装置的方位与目标相对于监控装置的方位是不同的,数据处理装置首先需要根据两者的安装位置对二者进行坐标转换。
如图4所示,在本实施例中,雷达装置与监控装置安装于同一桅杆上,雷达装置位于云台装置上方,监控装置距离地面高度为H,雷达装置距离监控装置的高度为h。雷达坐标系O'uvz,其中v为雷达装置法线方向;监控装置坐标系O'xyz,其中y方向为监控装置零度方向,即雷达装置法线方向与监控装置零度方向一致。
雷达装置能够获取目标的距离信息d,目标的水平角度为θ。
步骤4:数据处理装置根据雷达装置获取的目标距离信息,调用数据库中的映射关系矩阵,对红外视频图像与可见光视频图像进行配准。
同步骤3中的坐标转换,在调用映射关系矩阵前,也需要对目标的距离进行坐标转换,将目标相对于雷达的距离d转换为目标相对于监控装置的距离D。
本实施例中,目标与监控装置的距离D可由下式计算得出:
数据处理装置根据该距离信息,利用数据库中的距离与映射关系曲线求解出缩放比例S、旋转角度θ、水平平移距离tx、垂直平移距离ty四个参数,应用该参数对红外图像进行仿射变换,实现红外图像与可见光图像之间的配准。
步骤5:将经过配准的红外视频图像与可见光视频图像进行融合。
经过配准,红外视频图像与可见光视频图像对应于空间同一位置的点已经一一对应起来,对两图像中同一像素坐标点进行运算操作,使红外视频图像与可见光视频图像中的有效信息呈现在一张图中。
本实施例中,采用加权平均融合策略,因其计算量小,能够实现视频实时处理。具体可以表示为C(i,j)=xA(i,j)+yB(i,j),其中C(i,j)为融合图像像素值,A(i,j)为红外图像像素值,B(i,j)为可见光图像像素值,x和y分别为红外图像与可见光图像的权重值,且x+y=1。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。
Claims (7)
1.一种多源信号融合的目标监测系统,其特征在于,包括:
雷达装置,用于主动监测进入监测区域的目标,并且获取其方位与距离信息;
视频监控装置,包括可见光探测器和长波红外探测器,用于获取目标的可见光视频图像和红外视频图像;
云台装置,用于安装视频监控装置,并通过数据处理装置控制,带动视频监控装置转动到指定方位;以及
数据处理装置,分别与雷达装置、视频监控装置、云台装置进行数据通信,用于获取雷达装置中的目标方位与距离信息,也用于控制云台装置转动,还用于获取视频监控装置中的可见光视频图像和红外视频图像,并对其进行配准与融合。
2.一种多源信号融合的目标监测方法,其特征在于,包括以下步骤:
步骤1:基于实验图像对建立配准映射关系数据库;
步骤2:雷达装置获取目标的方位与距离信息;
步骤3:数据处理装置根据雷达装置获取的目标方位信息,控制云台装置转动至对应位置,视频监控装置采集目标视频图像,包括可见光视频图像和红外视频图像;
步骤4:数据处理装置根据雷达装置获取的目标距离信息,调用数据库中的映射关系矩阵,对红外视频图像与可见光视频图像进行配准;
步骤5:将经过配准的红外视频图像与可见光视频图像进行融合。
3.根据权利要求2所述的一种多源信号融合的目标监测方法,其特征在于,所述步骤1具体为:建立特征点丰富的场景,使用视频监控装置获取不同距离下的红外与可见光图像对;利用配准算法选取特征点,求出不同距离下的配准映射关系;将不同距离下的配准映射关系拟合成曲线,并将该曲线存入数据处理装置的配准映射关系数据库中。
4.根据权利要求2所述的一种多源信号融合的目标监测方法,其特征在于,所述步骤2具体为:雷达装置对监测区域内进行搜索,获取周围的物体信息,对图像中的物体回波进行自动识别和运动参数解算;根据设置的目标判断条件,将目标相对于雷达的方位与距离信息传输至数据处理装置。
5.根据权利要求2所述的一种多源信号融合的目标监测方法,其特征在于,所述步骤3具体为:根据目标相对于雷达装置的方位信息,计算出云台装置的旋转与俯仰角度,使视频监控装置朝向目标,获取目标视频图像。
6.根据权利要求2所述的一种多源信号融合的目标监测方法,其特征在于,所述步骤4具体为:根据目标相对于雷达装置的距离信息,计算出目标相对于视频监控装置的距离,并通过数据库中的配准映射关系曲线,调用相应的映射关系矩阵完成红外视频图像与可见光视频图像的配准。
7.根据权利要求2所述的一种多源信号融合的目标监测方法,其特征在于,所述步骤5具体为:经过配准,红外视频图像与可见光视频图像对应于空间同一位置的点已经一一对应起来,对两图像中同一像素坐标点进行运算操作,使红外视频图像与可见光视频图像中的有效信息呈现在一张图中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111014384.9A CN113743286A (zh) | 2021-08-31 | 2021-08-31 | 一种多源信号融合的目标监测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111014384.9A CN113743286A (zh) | 2021-08-31 | 2021-08-31 | 一种多源信号融合的目标监测系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113743286A true CN113743286A (zh) | 2021-12-03 |
Family
ID=78734379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111014384.9A Pending CN113743286A (zh) | 2021-08-31 | 2021-08-31 | 一种多源信号融合的目标监测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113743286A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114520879A (zh) * | 2022-04-21 | 2022-05-20 | 浙江宇视科技有限公司 | 雷达视觉协同的视频采集方法及装置、系统、存储介质 |
CN116385516A (zh) * | 2023-05-31 | 2023-07-04 | 广州市杜格科技有限公司 | 一种静态车辆外廓检测方法、系统、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5926581A (en) * | 1996-04-25 | 1999-07-20 | Lockheed Martin Corporation | System for topographic mapping from remotely sensed images |
CN203933837U (zh) * | 2014-05-07 | 2014-11-05 | 成都西烽科技有限公司 | 光电综合监视系统 |
CN204244383U (zh) * | 2014-12-10 | 2015-04-01 | 中科融通物联科技无锡有限公司 | 低空目标监测系统 |
CN106548467A (zh) * | 2016-10-31 | 2017-03-29 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
-
2021
- 2021-08-31 CN CN202111014384.9A patent/CN113743286A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5926581A (en) * | 1996-04-25 | 1999-07-20 | Lockheed Martin Corporation | System for topographic mapping from remotely sensed images |
CN203933837U (zh) * | 2014-05-07 | 2014-11-05 | 成都西烽科技有限公司 | 光电综合监视系统 |
CN204244383U (zh) * | 2014-12-10 | 2015-04-01 | 中科融通物联科技无锡有限公司 | 低空目标监测系统 |
CN106548467A (zh) * | 2016-10-31 | 2017-03-29 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114520879A (zh) * | 2022-04-21 | 2022-05-20 | 浙江宇视科技有限公司 | 雷达视觉协同的视频采集方法及装置、系统、存储介质 |
CN116385516A (zh) * | 2023-05-31 | 2023-07-04 | 广州市杜格科技有限公司 | 一种静态车辆外廓检测方法、系统、装置及存储介质 |
CN116385516B (zh) * | 2023-05-31 | 2023-09-05 | 广州市杜格科技有限公司 | 一种静态车辆外廓检测方法、系统、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9955074B2 (en) | Target tracking method and system for intelligent tracking high speed dome camera | |
CN111698455B (zh) | 控制球机与枪机联动的方法、装置及介质 | |
CN111368706A (zh) | 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法 | |
CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
CN106878687A (zh) | 一种基于多传感器的车载环境识别系统及全方位视觉模块 | |
CN110246175A (zh) | 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法 | |
CN109212545A (zh) | 基于主动视觉的多信源目标跟踪测量系统及跟踪方法 | |
CN110858892B (zh) | 岸岛观测系统 | |
CN108897342B (zh) | 针对快速移动的民用多旋翼无人机的定位跟踪方法及系统 | |
CN112083437A (zh) | 一种船用激光雷达与视频联合目标捕捉系统及方法 | |
CN210526874U (zh) | 一种机载三光光电吊舱系统 | |
CN113743286A (zh) | 一种多源信号融合的目标监测系统及方法 | |
CN106092054A (zh) | 一种电力线路识别精准定位导航方法 | |
CN109816702A (zh) | 一种多目标跟踪装置和方法 | |
CN206611521U (zh) | 一种基于多传感器的车载环境识别系统及全方位视觉模块 | |
CN114905512B (zh) | 一种智能巡检机器人全景追踪及避障方法及系统 | |
CN107038714B (zh) | 多型视觉传感协同目标跟踪方法 | |
CN110400330A (zh) | 基于融合imu的光电吊舱图像跟踪方法及跟踪系统 | |
CN113177918B (zh) | 一种无人机对电力杆塔的智能精准巡检方法及系统 | |
CN105516661B (zh) | 鱼眼相机与ptz相机相结合的主从目标监控方法 | |
CN109883433A (zh) | 基于360度全景视图的结构化环境中车辆定位方法 | |
CN114973028A (zh) | 一种航拍视频图像实时变化检测方法及系统 | |
CN113763484A (zh) | 基于视频图像分析技术的船舶目标定位及速度估算方法 | |
CN117152243A (zh) | 一种基于ptz相机单目变焦的告警定位方法 | |
CN116520275A (zh) | 探测追踪低慢小目标的雷达光电一体化方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |