CN111680537A - 一种基于激光红外复合的目标检测方法及系统 - Google Patents

一种基于激光红外复合的目标检测方法及系统 Download PDF

Info

Publication number
CN111680537A
CN111680537A CN202010245739.4A CN202010245739A CN111680537A CN 111680537 A CN111680537 A CN 111680537A CN 202010245739 A CN202010245739 A CN 202010245739A CN 111680537 A CN111680537 A CN 111680537A
Authority
CN
China
Prior art keywords
laser
image
infrared
target
infrared image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010245739.4A
Other languages
English (en)
Inventor
邵艳明
陈宗镁
王兴
刘浩伟
杨俊彦
龙华保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aerospace Control Technology Institute
Original Assignee
Shanghai Aerospace Control Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aerospace Control Technology Institute filed Critical Shanghai Aerospace Control Technology Institute
Priority to CN202010245739.4A priority Critical patent/CN111680537A/zh
Publication of CN111680537A publication Critical patent/CN111680537A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供了一种基于激光红外复合的目标检测方法及系统，通过综合利用激光三维像数据、红外二维图像信息，结合激光测距、激光/红外融合、目标跟踪检测等处理方法，完成复杂背景下激光红外成像条件系统中的目标识别与抗干扰技术。本发明方法将激光成像融入到红外成像的目标检测中,既利用红外成像范围大、不受光照影响，能够全天候工作的优点，又利用激光成像能够提供三维距离信息的特点，有效提高目标的定位精确性。

Description

一种基于激光红外复合的目标检测方法及系统
技术领域
本发明属于融合图像目标检测领域，具体涉及一种空中目标抗红外干扰的检测方法及系统。
背景技术
为了实现空中目标的有效探测，目前的探测手段主要有可见光探测，被动红外探测，微波、激光雷达等探测方式。单一探测方式由于其传感器特性和探测方式所限，往往具有较大的局限性，如红外探测方式无法对具有相似红外辐射的目标进行区分，易受到干扰导致目标探测失效；传统的激光雷达具有分辨率低、探测距离近等不足。
通过复合探测可以实现两种探测方式的优势互补，目前常用的复合探测主要有微波、红外复合，以及激光、红外复合等。
其中微波、红外复合主要是通过交接班的方式来实现不同距离下的目标探测，红外抗干扰能力并未得到有效增强；目前由于受到激光作用距离的限制，激光、红外复合探测的方式通常用于地面目标的探测，在较近距离探测时才能实现激光、红外的优势互补。此外由于激光数据的稀疏特性，与红外图像的分辨率差异较大，通常需要通过对激光、红外探测器的联合标定来实现坐标系的统一，容易产生坐标转换偏差。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种基于激光红外复合的目标检测方法及系统，通过高精度的激光雷达信息和测距结果，与红外图像进行配准融合后，得到目标的三维信息，从而提高目标检测识别的准确率，避免在采用单一的红外图像进行目标检测识别时，由于存在红外干扰遮挡情况下的目标检测、识别能力不足的问题。
本发明的技术解决方案是：一种基于激光红外复合的目标检测方法，包括如下步骤：
采集目标的红外图像并进行预处理；
向目标发射激光脉冲，采集目标反射的激光脉冲回波信号，并对激光脉冲回波信号进行预处理，获得预处理后的激光图像；
对预处理后的红外图像和激光图像进行配准；
对配准后的红外图像和激光图像进行融合，实现目标位置的检测。
进一步地，所述对激光脉冲回波信号进行预处理包括如下步骤：
对连续多次采集的激光脉冲回波信号进行相关处理，生成相干回波信号；
对相干回波信号进行奇异值分解，并在分解后还原为激光信号。
进一步地，所述相关处理包括如下步骤：
所述相干回波信号为
Figure RE-GDA0002612918000000021
其中，xij为第i个激光脉冲回波信号的第j个采样值，sij、nij分别为第i个激光脉冲回波信号的第j个采样值中的有效信号分量和噪声分量，i，j＝0,1,…,N-1，N为发射的激光脉冲数量。
进一步地，相邻两次采集激光回波数据的起始时间的间隔与相邻两个激光脉冲的发射时间的间隔一致。
进一步地，所述对相干回波信号进行奇异值分解包括如下步骤：
根据连续的相干回波信号构造Hankel矩阵A：
Figure RE-GDA0002612918000000022
其中M为激光脉冲回波信号的长度，m＝(M+1)/2；
对矩阵A进行奇异值分解：
Figure RE-GDA0002612918000000023
其中，U、V为酋矩阵， S＝diag(σ1,σ2,...σk,...,σr)为奇异值矩阵，r为矩阵A的秩；
将奇异值矩阵S中的后面r-k个奇异值置零，代入奇异值分解公式得到重构后的Hankel矩阵A’，完成分解；其中，前k个奇异值代表有效信号分量，后面r-k个奇异值代表噪声分量，通过预设阈值筛选确定k的位置。
进一步地，所述进行配准包括如下步骤：
采用距离阈值对激光图像进行边缘提取，获得激光图像的边缘轮廓点；
采用LoG算子对红外图像提取边缘特征，获得红外图像的边缘轮廓点；
采用一致性点漂移算法对激光图像和红外图像的边缘轮廓点进行匹配，完成红外图像与激光图像的配准。
进一步地，所述进行融合包括如下步骤：
在红外图像中确定疑似目标；
在与红外图像配准的激光图像中确定疑似目标的位置。
进一步地，一种基于激光红外复合的目标检测系统，包括：
第一模块，采集目标的红外图像并进行预处理；
第二模块，向目标发射激光脉冲，采集目标反射的激光脉冲回波信号，并对激光脉冲回波信号进行预处理，获得预处理后的激光图像；
第三模块，对预处理后的红外图像和激光图像进行配准；
第四模块，对配准后的红外图像和激光图像进行融合，实现目标位置的检测。
进一步地，所述第二模块中对激光脉冲回波信号进行预处理包括如下步骤：
对连续多次采集的激光脉冲回波信号进行相关处理，生成相干回波信号；
对相干回波信号进行奇异值分解，并在分解后还原为激光信号；
所述相关处理包括如下步骤：
所述相干回波信号为
Figure RE-GDA0002612918000000031
其中，xij为第i个激光脉冲回波信号的第j个采样值，sij、nij分别为第i个激光脉冲回波信号的第j个采样值中的有效信号分量和噪声分量，i，j＝0,1,…,N-1，N为发射的激光脉冲数量；
相邻两次采集激光回波数据的起始时间的间隔与相邻两个激光脉冲的发射时间的间隔一致。
所述对相干回波信号进行奇异值分解包括如下步骤：
根据连续的相干回波信号构造Hankel矩阵A：
Figure RE-GDA0002612918000000041
其中M为激光脉冲回波信号的长度，m＝(M+1)/2；
对矩阵A进行奇异值分解：
Figure RE-GDA0002612918000000042
其中，U、V为酋矩阵， S＝diag(σ1,σ2,...σk,...,σr)为奇异值矩阵，r为矩阵A的秩；
将奇异值矩阵S中的后面r-k个奇异值置零，代入奇异值分解公式得到重构后的Hankel矩阵A’，完成分解；其中，前k个奇异值代表有效信号分量，后面r-k个奇异值代表噪声分量，通过预设阈值筛选确定k的位置。
进一步地，所述第三模块中进行配准包括如下步骤：
采用距离阈值对激光图像进行边缘提取，获得激光图像的边缘轮廓点；
采用LoG算子对红外图像提取边缘特征，获得红外图像的边缘轮廓点；
采用一致性点漂移算法对激光图像和红外图像的边缘轮廓点进行匹配，完成红外图像与激光图像的配准；
所述进行融合包括如下步骤：
在红外图像中确定疑似目标；
在与红外图像配准的激光图像中确定疑似目标的位置。
本发明与现有技术相比的优点在于：
1)本发明结合了被动红外成像与主动激光雷达成像，可以弥补基于单一红外成像信息进行目标检测和识别时容易受到其他红外目标、干扰影响的不足，提高目标检测的准确率。
2)本发明提出了一种结合自相关滤波与奇异值分解的方法来实现高信噪比的回波信号提取方法，增强了激光回波脉冲的提取能力，提高了激光雷达的回波信噪比，从而实现了激光雷达的测距范围和成像距离的提升。
3)本发明采用了基于轮廓特征的激光、红外图像配准方法，首先利用距离阈值分割出激光图像中的目标轮廓，然后结合LOG算子对红外图像中的目标边缘进行检测，最后利用一致性点集漂移算法实现了激光轮廓与红外轮廓的配准。该方法可以有效的解决因激光图像和红外图像的分辨率差异较大导致的难以建立准确的一一对应的配准关系的问题，也无需对激光、红外探测器进行复杂的坐标系标定。
附图说明
图1为基于数据配准的红外、激光雷达融合的目标检测方法图
图2(a)(b)(c)为CPD算法匹配结果。
具体实施方式
下面结合说明书附图和具体实施方式对本发明进行进一步解释和说明。
如图1，一种激光红外融合检测识别方法，包括(1)激光数据预处理过程中的脉冲激光回波弱小信号检测，(2)激光与红外数据配准与融合。
(1)所述的脉冲激光回波弱小信号检测，具体实现为，在激光雷达目标测量中，采用脉冲式激光测量目标的距离信息，先采用自相关滤波算法对弱小回波脉冲信号进行预处理，然后结合奇异值分解的方法对微弱脉冲信号进行进一步的提取。
(1.1)首先为了满足相关计算的要求，相邻两次采集的起始时间间隔需与相邻两个脉冲的发射时间间隔一致；
然后对所采集的N个脉冲信号，计算其自相关结果。设单个脉冲信号sij的幅度为A，对于实际采集的离散信号，将第i个脉冲的第j个采样值xij经过N 个回波信号的累加，具体方法表示为：
Figure RE-GDA0002612918000000051
式中，nij为噪声，i，j＝0,1,…,N-1。
通过相关计算后，N次累加的信号幅度将会增加N倍，也即
Figure RE-GDA0002612918000000052
而噪声信号的幅度是随机的，不具有相关性，因此其累加结果是一个相互抵消的过程，依据文献[桑会平，邓甲昊，胡秀娟.脉冲激光引信微弱回波信号数字检测技术研究[J].兵工学报,2007,28(4):420-424.]，经过N次相关后，输出的回波信号的信噪比将提高
Figure RE-GDA0002612918000000061
倍。
(1.2)对于得到的经过自相关滤波后的脉冲信号，再结合奇异值分解方法对微弱脉冲信号进行进一步的提取,具体实现为：
首先构造Hankel矩阵A，
Figure RE-GDA0002612918000000062
其中M为激光回波信号的长度，m＝(M+1)/2；
然后对矩阵A进行奇异值分解，
Figure RE-GDA0002612918000000063
其中，U、V为酋矩阵，S＝diag(σ1,σ2,...,σr)表示奇异值矩阵，r为矩阵A的秩。选取第k个奇异值使得其满足σ1≥σ2≥…≥σk…σk+1≥…≥σr，其中前k个奇异值主要反映有效信号，后面r-k个奇异值较小，主要反映噪声。
再将奇异值矩阵S中的后面r-k个奇异值置零，代入奇异值分解公式得到重构后的Hankel矩阵A’，并还原为一维信号。然后结合峰值提取方法确定脉冲的位置，并记录该峰值位置所对应的回波时刻，再代入脉冲式激光测距公式：
R＝c·Δt/2＝c·(t2-t1)/2 (4)
得到目标的距离信息。通过不同方向上的距离信息得到激光距离图像。
(2)激光图像和红外图像的分辨率差异通常较大，难以建立准确的一一对应关系。但是两种图像的空间对应对后续的综合分析至关重要，如果没有这种对应，就无法将激光图像的距离信息与红外图像关联起来，也就无法确保在后续进行目标检测等步骤时具有良好的抗红外遮挡等干扰。为此需要将激光距离图像与红外图像进行配准，其具体实现如下：
(2.1)首先采用距离阈值来对激光图像进行边缘提取，利用LoG算子对红外图像提取边缘特征，并利用轮廓间建立匹配对应关系，完成红外与激光图像的配准；
其中Laplacian of Guassian(LOG)算子的数学模型描述如下：
先对高斯滤波器做一阶偏导和二阶偏导：
Figure RE-GDA0002612918000000071
Figure RE-GDA0002612918000000072
得到LOG核函数：
Figure RE-GDA0002612918000000073
对于数字图像进行LOG算子滤波，采用的邻域滤波(卷积)算子的模板表示为：
Figure RE-GDA0002612918000000074
然后利用这个算子与图像做卷积，得到边缘增强后的图像，再利用阈值分割得到二值化的边缘图像。
(2.2)然后对所提取的激光和红外图像中的轮廓点进行匹配，所采用的方法为一致性点漂移(CPD)算法，其具体公式如下：
假设有两个D维点集XN×D＝(x1,...,xN)T和YM×D＝(y1,...,yM)T，则X中的点x的概率分布为：
Figure RE-GDA0002612918000000075
其中，
Figure RE-GDA0002612918000000076
是用于描述外点的平均分布，外点和内点的比例由ω决定。计算点集对应关系，相当于优化下列目标函数：
Figure RE-GDA0002612918000000081
其中θ是变换参数，变换采用刚体变换，形式如下：
T(ym,θ；R,t,s)＝Bym+t (11)
CPD算法采用EM算法对目标函数进行优化，EM算法是一种迭代算法，每一步迭代分为两步。E步先根据现有的参数，计算旧后验分布Pold(m|xn)，而M步等价于优化如下函数：
Figure RE-GDA0002612918000000082
根据上式求取出新的参数后，再根据新的参数计算下一个Pold(m|xn)，如此反复迭代，直到达到终止条件。所得到的变换参数即为两个点集间的几何关系。将同样的几何变换分别作用于激光与红外图像，即可得到图像的配准结果。
受限于红外图像和激光图像分辨率的差异，图像配准的精度难以达到像素级。但是这种精度已经足以将两种图像中的物体间建立起对应关系，并用于后续的决策级融合。
(3)对匹配后的激光与红外图像进行决策级的融合。考虑到待融合的激光与红外图像分辨率差别较大，决策级融合是综合利用图像信息的更好选择。红外图像提供了物体的能量和形状信息，这些信息可以用于目标的分类和跟踪。激光图像提供了物体的距离信息，在物体被红外干扰或是其他物体遮挡时，物体的平均距离会发生变化，这种距离上的变化可以被检测、跟踪算法所利用，对目标的遮挡状态进行判断，从而降低干扰对目标所造成的遮蔽影响。
在红外图像中提取出疑似目标的边缘后，利用配准的激光图像中相应位置的平均深度与无遮蔽时的变化，分辨出此时的对象与无遮蔽时的目标是否为同一个位置，并借此判断原先的目标是否处于被遮蔽的状态，从而实现目标的识别效果。
实施例
下面结合附图2(a)(b)(c)及实施例，对本发明进行详细说明。
(1)首先利用激光雷达设备采集目标的回波信息。
(1.1)自相关滤波
在得到目标的回波信息后，为了满足相关计算的要求，设置相邻两次采集的起始时间间隔与相邻两个脉冲的发射时间间隔一致，采集N个脉冲信号，设单个脉冲信号sij的幅度为A，对于实际采集的离散信号，第i个脉冲的第j个采样值xij经过N个回波信号的累加后，具体可以表示为：
Figure RE-GDA0002612918000000091
式中，nij为噪声，i,j＝0,1,…,N-1。
通过相关计算得到这N个脉冲的自相关结果，N次累加的信号幅度将会增加N倍，也即
Figure RE-GDA0002612918000000092
而噪声信号的幅度是随机的，不具有相关性，因此其累加结果是一个相互抵消的过程，经过N次相关后，输出的回波信号的信噪比将提高
Figure RE-GDA0002612918000000093
倍。
(1.2)奇异值分解
对于经过自相关滤波后的脉冲信号，再结合奇异值分解方法对微弱脉冲信号进行进一步的提取。具体实现为：
首先利用经过自相关滤波后的一维脉冲信号构造二维的Hankel矩阵A，
其中M为激光回波信号的长度，m＝(M+1)/2；
然后对矩阵A进行奇异值分解：
Figure RE-GDA0002612918000000095
得到形式为S＝diag(σ1,σ2,...,σr)的奇异值矩阵S，其中，U、V为酋矩阵，r 为矩阵A的秩，σi为各个奇异值。依据参考文献【Xiaobin Xu,Minzhou Luo, Zhiying Tan,etal.Echo signal extraction method of laser radar based on improved singularvalue decomposition and wavelet threshold denoising[J]. Infrared Physics andTechnology,2018,92:327-335】中的奇异值选取方法，选取第k个奇异值使得其满足σ1≥σ2≥…≥σk≥σk+1≥…≥σr，其中前k个奇异值主要反映激光回波中的有效信号，后面r-k个奇异值较小，主要反映噪声。再将奇异值矩阵S中的后面r-k个奇异值置零，得到新的奇异值矩阵 S'＝diag(σ1,σ2,...,σk,0,...,0)，回代入奇异值分解公式得到重构后的Hankel矩阵A’并还原为一维信号。
然后结合峰值提取方法确定脉冲的位置，并记录该峰值位置所对应的回波时刻，再代入脉冲式激光测距公式：
R＝c·Δt/2＝c·(t2-t1)/2 (4)
得到目标的距离信息。通过不同方向上的距离信息得到激光距离图像。
(2)采集得到同一目标的红外图像，并与激光距离图像进行配准。
(2.1)首先采用距离阈值来对激光图像进行距离分割，提取出目标的边缘，完成激光图像的轮廓提取。
(2.2)然后对红外图像的边缘进行检测，具体步骤为，采用LOG算子对数字化的红外图像进行滤波，采用的邻域滤波(卷积)算子的模板表示为：
Figure RE-GDA0002612918000000101
利用这个算子与图像做卷积，得到边缘增强后的图像，再利用阈值分割得到二值化的边缘图像，实现红外图像的轮廓提取。
(2.3)对所提取的激光和红外图像中的轮廓点进行匹配，所采用的方法为一致性点漂移(CPD)算法，其具体实现如下：
设红外轮廓和激光轮廓点集分别为：XN×D＝(x1,...,xN)T和 YM×D＝(y1,...,yM)T，其中维度D＝2，M、N分别为激光与红外图像的像素个数，则X中的点x的概率分布为：
Figure RE-GDA0002612918000000102
其中，
Figure RE-GDA0002612918000000111
是用于描述外点的平均分布，外点和内点的比例由ω决定。计算红外与激光轮廓点集的对应关系，相当于优化下列目标函数：
Figure RE-GDA0002612918000000112
其中θ是变换参数，变换采用刚体变换，形式如下：
T(ym,θ；R,t,s)＝Bym+t (8)
采用EM算法对目标函数E进行优化，EM算法是一种迭代算法，每一步迭代分为E步和M步两步。E步先根据现有的参数，计算旧后验分布Pold(m|xn)，而M步等价于优化如下函数：
Figure RE-GDA0002612918000000113
根据上式求取出新的参数后，再根据新的参数计算下一个Pold(m|xn)，如此反复迭代，直到达到终止条件。所得到的变换参数即为两个轮廓点集间的几何关系，依据该集合关系对其中的一幅图进行相应的旋转和缩放，即可得到激光、红外图像的配准结果。
轮廓配准的过程如图2所示，通过实验室采集的目标为手部的激光、红外图像，处理得到(a)激光图像所提取的轮廓，(b)红外图像所提取的轮廓，并结合 CPD算法得到(c)激光红外匹配结果。受限于红外图像和激光图像分辨率的差异，图像配准的精度难以达到像素级。但是这种精度已经足以将两种图像中的物体间建立起对应关系，并用于后续的决策级融合。
(3)激光与红外融合及目标检测
对匹配后的激光与红外图像进行决策级的融合。考虑到待融合的激光与红外图像分辨率差别较大，决策级融合是综合利用图像信息的更好选择。红外图像提供了物体的能量和形状信息，并且具有更多的细节信息，可以用于目标的分类和跟踪。激光图像提供了物体的距离信息，在物体被红外干扰或是其他物体遮挡时，物体的平均距离会发生变化，这种距离上的变化可以被检测、跟踪算法所利用，对目标的遮挡状态进行判断，从而降低干扰对目标所造成的遮蔽影响。具体的基于融合图像的目标检测方法如下：
在目标无遮挡情况下，记录下红外图像中的目标的位置，并通过融合图像记录下该位置的目标距离信息。当目标被部分遮挡时，此时在红外图像中通常难以分辨目标与遮挡物，可以认为是一个轮廓的物体，若遮挡物与目标之间的距离不同，则在激光图像中目标与遮挡物之间仍然为两个轮廓，因此可以将遮挡物与目标之间进行区分。当目标完全被遮挡物遮蔽时，在红外与激光图像中均只能识别出一个轮廓，但是在激光图像中，可以通过轮廓区域的平均深度与无遮蔽时的变化，来分辨出此时的对象与无遮蔽时的目标是否为同一个位置，并借此判断原先的目标是否处于被遮蔽的状态，从而实现目标的识别效果。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (10)

1.一种基于激光红外复合的目标检测方法，其特征在于，包括如下步骤：
采集目标的红外图像并进行预处理；
向目标发射激光脉冲，采集目标反射的激光脉冲回波信号，并对激光脉冲回波信号进行预处理，获得预处理后的激光图像；
对预处理后的红外图像和激光图像进行配准；
对配准后的红外图像和激光图像进行融合，实现目标位置的检测。
2.根据权利要求1所述的一种基于激光红外复合的目标检测方法，其特征在于，所述对激光脉冲回波信号进行预处理包括如下步骤：
对连续多次采集的激光脉冲回波信号进行相关处理，生成相干回波信号；
对相干回波信号进行奇异值分解，并在分解后还原为激光信号。
3.根据权利要求2所述的一种基于激光红外复合的目标检测方法，其特征在于，所述相关处理包括如下步骤：
所述相干回波信号为
Figure FDA0002433933650000011
其中，xij为第i个激光脉冲回波信号的第j个采样值，sij、nij分别为第i个激光脉冲回波信号的第j个采样值中的有效信号分量和噪声分量，i，j＝0,1,…,N-1，N为发射的激光脉冲数量。
4.根据权利要求3所述的一种基于激光红外复合的目标检测方法，其特征在于：相邻两次采集激光回波数据的起始时间的间隔与相邻两个激光脉冲的发射时间的间隔一致。
5.根据权利要求3所述的一种基于激光红外复合的目标检测方法，其特征在于，所述对相干回波信号进行奇异值分解包括如下步骤：
根据连续的相干回波信号构造Hankel矩阵A：
Figure FDA0002433933650000012
其中M为激光脉冲回波信号的长度，m＝(M+1)/2；
对矩阵A进行奇异值分解：
Figure FDA0002433933650000021
其中，U、V为酋矩阵，S＝diag(σ1,σ2,...σk,...,σr)为奇异值矩阵，r为矩阵A的秩；
将奇异值矩阵S中的后面r-k个奇异值置零，代入奇异值分解公式得到重构后的Hankel矩阵A’，完成分解；其中，前k个奇异值代表有效信号分量，后面r-k个奇异值代表噪声分量，通过预设阈值筛选确定k的位置。
6.根据权利要求1所述的一种基于激光红外复合的目标检测方法，其特征在于，所述进行配准包括如下步骤：
采用距离阈值对激光图像进行边缘提取，获得激光图像的边缘轮廓点；
采用LoG算子对红外图像提取边缘特征，获得红外图像的边缘轮廓点；
采用一致性点漂移算法对激光图像和红外图像的边缘轮廓点进行匹配，完成红外图像与激光图像的配准。
7.根据权利要求6所述的一种基于激光红外复合的目标检测方法，其特征在于，所述进行融合包括如下步骤：
在红外图像中确定疑似目标；
在与红外图像配准的激光图像中确定疑似目标的位置。
8.一种基于激光红外复合的目标检测系统，其特征在于，包括：
第一模块，采集目标的红外图像并进行预处理；
第二模块，向目标发射激光脉冲，采集目标反射的激光脉冲回波信号，并对激光脉冲回波信号进行预处理，获得预处理后的激光图像；
第三模块，对预处理后的红外图像和激光图像进行配准；
第四模块，对配准后的红外图像和激光图像进行融合，实现目标位置的检测。
9.根据权利要求8所述的一种基于激光红外复合的目标检测系统，其特征在于，所述第二模块中对激光脉冲回波信号进行预处理包括如下步骤：
对连续多次采集的激光脉冲回波信号进行相关处理，生成相干回波信号；
对相干回波信号进行奇异值分解，并在分解后还原为激光信号；
所述相关处理包括如下步骤：
所述相干回波信号为
Figure FDA0002433933650000031
其中，xij为第i个激光脉冲回波信号的第j个采样值，sij、nij分别为第i个激光脉冲回波信号的第j个采样值中的有效信号分量和噪声分量，i，j＝0,1,…,N-1，N为发射的激光脉冲数量；
相邻两次采集激光回波数据的起始时间的间隔与相邻两个激光脉冲的发射时间的间隔一致。
所述对相干回波信号进行奇异值分解包括如下步骤：
根据连续的相干回波信号构造Hankel矩阵A：
Figure FDA0002433933650000032
其中M为激光脉冲回波信号的长度，m＝(M+1)/2；
对矩阵A进行奇异值分解：
Figure FDA0002433933650000033
其中，U、V为酋矩阵，S＝diag(σ1,σ2,...σk,...,σr)为奇异值矩阵，r为矩阵A的秩；
将奇异值矩阵S中的后面r-k个奇异值置零，代入奇异值分解公式得到重构后的Hankel矩阵A’，完成分解；其中，前k个奇异值代表有效信号分量，后面r-k个奇异值代表噪声分量，通过预设阈值筛选确定k的位置。
10.根据权利要求8所述的一种基于激光红外复合的目标检测系统，其特征在于，所述第三模块中进行配准包括如下步骤：
采用距离阈值对激光图像进行边缘提取，获得激光图像的边缘轮廓点；
采用LoG算子对红外图像提取边缘特征，获得红外图像的边缘轮廓点；
采用一致性点漂移算法对激光图像和红外图像的边缘轮廓点进行匹配，完成红外图像与激光图像的配准；
所述进行融合包括如下步骤：
在红外图像中确定疑似目标；
在与红外图像配准的激光图像中确定疑似目标的位置。
CN202010245739.4A 2020-03-31 2020-03-31 一种基于激光红外复合的目标检测方法及系统 Pending CN111680537A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010245739.4A CN111680537A (zh) 2020-03-31 2020-03-31 一种基于激光红外复合的目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010245739.4A CN111680537A (zh) 2020-03-31 2020-03-31 一种基于激光红外复合的目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN111680537A true CN111680537A (zh) 2020-09-18

Family

ID=72451332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010245739.4A Pending CN111680537A (zh) 2020-03-31 2020-03-31 一种基于激光红外复合的目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN111680537A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112857587A (zh) * 2021-02-04 2021-05-28 上海航天控制技术研究所 一种基于场景清晰度评价的短波红外探测器成像控制方法
CN116087974A (zh) * 2023-03-01 2023-05-09 东方空间技术(山东)有限公司 天基红外目标识别系统及其目标识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107253485A (zh) * 2017-05-16 2017-10-17 北京交通大学 异物侵入检测方法及异物侵入检测装置
CN109784229A (zh) * 2018-12-29 2019-05-21 华中科技大学 一种地面建筑物数据融合的复合识别方法
CN110428008A (zh) * 2019-08-02 2019-11-08 深圳市唯特视科技有限公司 一种基于多融合传感器的目标探测与识别装置和方法
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107253485A (zh) * 2017-05-16 2017-10-17 北京交通大学 异物侵入检测方法及异物侵入检测装置
CN109784229A (zh) * 2018-12-29 2019-05-21 华中科技大学 一种地面建筑物数据融合的复合识别方法
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110428008A (zh) * 2019-08-02 2019-11-08 深圳市唯特视科技有限公司 一种基于多融合传感器的目标探测与识别装置和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王兴 等: "基于激光雷达与红外数据融合的跟踪算法", 《红外技术》 *
王兴 等: "微弱脉冲激光回波信号的检测方法研究", 《2019年红外、遥感技术与应用研讨会暨交叉学科论坛论文集上海市红外与遥感学会会议论文集》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112857587A (zh) * 2021-02-04 2021-05-28 上海航天控制技术研究所 一种基于场景清晰度评价的短波红外探测器成像控制方法
CN112857587B (zh) * 2021-02-04 2022-03-04 上海航天控制技术研究所 一种基于场景清晰度评价的短波红外探测器成像控制方法
CN116087974A (zh) * 2023-03-01 2023-05-09 东方空间技术(山东)有限公司 天基红外目标识别系统及其目标识别方法

Similar Documents

Publication Publication Date Title
CN106918807B (zh) 一种雷达回波数据的目标点迹凝聚方法
US8193967B2 (en) Method and system for forming very low noise imagery using pixel classification
Ishitsuka et al. Object detection in ground-penetrating radar images using a deep convolutional neural network and image set preparation by migration
CN100439937C (zh) 基于小波增强的合成孔径雷达图像船舰目标检测方法
CN107942329B (zh) 机动平台单通道sar对海面舰船目标检测方法
CN109597065B (zh) 一种用于穿墙雷达检测的虚警抑制方法、装置
CN109407094A (zh) 车载超宽带雷达前视成像系统
CN111680537A (zh) 一种基于激光红外复合的目标检测方法及系统
CN112285698B (zh) 一种基于雷达传感器的多目标跟踪装置及方法
CN116027318A (zh) 多传感器信号融合的方法、装置、电子设备及存储介质
CN115061113B (zh) 用于雷达的目标检测模型训练方法、装置及存储介质
CN111323757B (zh) 一种航海雷达目标检测方法及装置
CN114814832A (zh) 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法
CN110992398A (zh) 一种激光雷达与红外探测系统图像融合跟踪与抗干扰方法
Sharma et al. Non-metallic pipe detection using SF-GPR: A new approach using neural network
US6756934B1 (en) Target shadow detector for synthetic aperture radar
CN105204010A (zh) 低信杂比合成孔径雷达图像的地物目标检测方法
WO2023124780A1 (zh) 点云数据增强方法、装置、计算机设备、系统及存储介质
CN115508833A (zh) 一种gnss bi-sar河流边界探测系统
CN116027288A (zh) 生成数据的方法、装置、电子设备及存储介质
CN113030943A (zh) 基于单脉冲雷达信号采集方位距离像的多目标跟踪算法
Sowjanya et al. Performance comparison of DAS and BP algorithms for Synthetic Aperture Radar Imaging
JPH0843539A (ja) 埋設物探知に用いる受信信号の処理方法
Xu et al. Shadow-aided method for ground slow moving targets detection of airborne high-resolution SAR images
Wright et al. Adaptive integration time in automotive SAR

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200918