CN110428008A - 一种基于多融合传感器的目标探测与识别装置和方法 - Google Patents

一种基于多融合传感器的目标探测与识别装置和方法 Download PDF

Info

Publication number
CN110428008A
CN110428008A CN201910713451.2A CN201910713451A CN110428008A CN 110428008 A CN110428008 A CN 110428008A CN 201910713451 A CN201910713451 A CN 201910713451A CN 110428008 A CN110428008 A CN 110428008A
Authority
CN
China
Prior art keywords
target
image
sensor
infrared
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910713451.2A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201910713451.2A priority Critical patent/CN110428008A/zh
Publication of CN110428008A publication Critical patent/CN110428008A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04K—SECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K3/00—Jamming of communication; Counter-measures
    • H04K3/40—Jamming having variable characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04K—SECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K3/00—Jamming of communication; Counter-measures
    • H04K3/40—Jamming having variable characteristics
    • H04K3/45—Jamming having variable characteristics characterized by including monitoring of the target or target signal, e.g. in reactive jammers or follower jammers for example by means of an alternation of jamming phases and monitoring phases, called "look-through mode"

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开一种基于多融合传感器的目标探测与识别装置和方法，包括多融合传感器模块、系统数据处理模块、三维点云重建模块、电源模块、指挥控制模块、显示模块；多融合传感器系统通过激光雷达传感器发射超连续激光雷达探测目标物体，实时获取目标态姿、位置，红外传感器与可见光传感器对目标进行光谱探测，获取所述目标的红外与可见光视频；在系统各单元的配合下，得到目标的融合光谱信息和空间态姿与位置信息，实现精准定位三维同时得到三维点云实时成像；指挥控制模块判断识别目标是否存在威胁，若存在威胁，发出语音报警，对目标持续跟踪监视和干扰，对目标进行驱离或者打击，可广泛用于目标探测与识别、遥感测绘、无人控制等领域。

Description

一种基于多融合传感器的目标探测与识别装置和方法
技术领域
本发明涉及人工智能及目标探测与识别、多传感器测量和环境感知等领域，尤其是涉及了一种基于多融合传感器的目标探测与识别装置和方法。
背景技术
对于人工智能及目标探测与识别、多传感器测量和环境感知技术的日臻成熟，对于目标探测与识别，环境感知是必要前提，而目标探测是环境感知的重要组成部分，常见的目标探测传感器分为：(1)TOF测距图像传感器，主要包括激光雷达、毫米波雷达、超声波雷达。通过发射波长各异的光波或声波，然后采集发射波的回波信号获取目标的距离、角度、反射强度、速度等信息，生成目标多维度图像，可以获取目标的距离数据，且不容易受到光照、烟雾、环境的影响，但是无法感知目标的状态；(2)相机可以获取更为丰富的色彩信息，能够识别长宽高和颜色等物体的基本状态属性，且具有更高的隐蔽性，但是容易受到光照、烟雾、环境的影响，尤其在黑夜、全逆光、大雾、雨雪天气环境下，摄像头的功能发挥会受到很大限制。综上可知，不同类型的传感器具有不同的优点和弱点。传统的目标探测中采用大量的独立信息采集传感器，相互之间独立工作，各个传感系统采用多个处理器进行计算汇总，功耗大、效率低，采集的信息复杂而散乱甚至相冲突，降低了信息采集的可靠性。
本发明通过激光雷达和可见光传感器、红外传感器联合获取目标的信息，同时激光雷达可以快速准确地获取物体表面密集的三维坐标，红外传感器可以通过识别被探测目标物间自然散发的热量差异，并将热量数据转换为图像，可见光图像和红外图像还可以获取丰富的色彩信息，从而在对目标进行探测与识别的过程提供更加全面的信息，提高检测的快速性和对复杂环境的适应能力。
本发明提供一种基于多融合传感器的目标探测与识别装置和方法，装置包括多融合传感器模块，系统控制模块，数据处理模块，三维点云重建模块、电源模块，指挥控制模块，融合了激光雷达传感器、红外传感器与可见光传感器，通过发射超连续激光、雷达探测目标物体，实时获取目标态姿、位置；红外传感器与可见光传感器对物体进行光谱探测，分别获取所述目标的红外与可见光视频；在系统控制模块的控制以及各单元的配合下，得到目标的可见光、红外融合的光谱信息和激光点云的空间态姿与位置信息，实现三维扫描点云实时成像；指挥控制模块判断识别目标是否存在威胁，若存在威胁，发出语音报警，对目标持续监听、跟踪和干扰，对目标进行驱离或者打击，可广泛用于目标探测与识别、遥感测绘、无人控制等领域。
发明内容
针对传统目标探测中采用大量且独立信息采集传感器，相互之间独立工作，各个传感系统采用多个处理器进行计算汇总，功耗大、效率低，降低信息采集的可靠性的问题，本发明的目的在于提供一种基于多融合传感器的目标探测与识别装置和方法，包括多融合传感器模块，系统控制模块，数据处理模块，三维点云重建模块、电源模块，指挥控制模块，融合了激光雷达传感器、红外传感器与可见光传感器；通过发射超连续激光、红外传感器与可见光传感器对物体进行光谱探测，实时获取目标态姿、位置；获取所述目标的红外与可见光视频；在系统控制模块的控制以及各单元的配合下，得到目标的可见光、红外融合的光谱信息和激光点云的空间态姿与位置信息，实现三维扫描点云实时成像；指挥控制模块判断识别目标是否存在威胁，若存在威胁，发出语音报警，对目标持续监听、跟踪和干扰，对目标进行驱离或者打击。
为实现上述目的，本发明提供一种基于多融合传感器的目标探测与识别装置，包括：包括多融合传感器模块、系统数据处理模块、三维点云重建模块、电源模块、指挥控制模块、显示模块；
其中，所述多融合传感器模块，包括激光雷达传感器、红外传感器、可见光传感器，用于对目标进行探测与识别，根据探测的目标物体的双波段融合图像与目标位置同时测量，使距离信息和光谱信息对应；
进一步的，所述激光雷达传感器中包括目标测距单元与目标扫描单元；目标扫描单元，发射激光对目标进行扫描，连接一个反光镜，通过设置不同的角度，实现目标的360°全方位扫描，利用雷达反复扫描，获取目标的位置信息；目标测距单元，连接SLAM用于测量目标物体的距离，根据目标扫描单元与红外传感器获取目标方位信息探测距离；
进一步的，所述红外传感器，发射发出红外光束，获取目标的红外波段，因测角精度高，用于探测目标的方位角度信息，并按照激光雷达传感器的指示继续跟踪目标，同时获取目标所在场景的红外视频；
进一步的，所述可见光传感器，发出可见光光束，获取目标可见光波段，获取目标所在场景的可见光视频以及可见光图像；
其中，所述系统数据处理模块，包括视频选择跟踪单元、信号处理单元、视频图像处理单元、数据融合单元、实时坐标转换单元、时间数字转换器单元；
进一步的，所述视频选择跟踪单元，包括视频选择与跟踪，用于在得到红外视频与可见光视频的图像特征后，进行特征重叠，计算重叠损失，用于跟踪被选择的视频，即用于跟踪可见光视频或红外视频，获得跟踪结果，将跟踪结果叠加到被跟踪视频，即获取叠加视频，达到视频信号增强效果，将叠加视频输出到显示单元；视频选择跟踪单元连接一个跟踪器；
对叠加后的视频进行处理，包括图片预处理、视频帧融合，在数据融合单元对红外传感器和可见光传感器获得的数据进行融合处理；通过应用SLAM的视频图像处理单元以及红外和可见光传感器获得目标周围视频，实现目标周围环境的定位和探测；
进一步的，所述信号处理单元，包括：编码器、解码器、信号干扰器；用于对叠加视频的信号进行处理，包括将视频数据转化成数字形式的编码器，将数字形式转化成模拟信息输出给显示器的解码器，以及干扰信号发生器用于当探测到威胁目标时对威胁目标进行电磁信号干扰；时间数字转换器、所述干扰信号发生器与电源相连；
进一步的，所述视频图像处理单元，提取红外视频和可见光视频图像，结合SLAM，实现目标定位获取目标坐标信息，同时向跟踪器发送目标位置，在显示器第2显示界面显示目标信息；与红外传感器、可见光传感器相连接；
进一步的，所述数据融合单元，用于融合红外传感器与可见光传感器获取的视频图像数据，还用于将融合后的红外与可见光传感器数据与激光雷达传感器获取的数据相融合，融合结果经过坐标实时转换单元的处理，获得目标的距离、方位角以及俯仰角，输出到显示屏第3显示界面；
进一步的，所述实时坐标转换单元，用于实时转换极坐标、地心地固坐标以及屏幕坐标，解决目标在不同传感器、不同场景下坐标不一致的问题；
进一步的，所述时间数字转换器单元，用于测量开始脉冲信号和停止脉冲信号之间的时间间隔的时间数字转换器，控制时间以及实现目标的精确测距，并对干扰信号发生器工作时间进行设定并控制其间断工作；时间数字转换器与电源、干扰信号发生器、激光雷达传感器、红外传感器、可见光传感器相连；
其中，所述三维点云重建模块，包括：三维点云数据采集单元、点云关键特征提取与匹配单元、点云重建单元；
其中，所述电源模块，包括两个电源控制单元，分别用于电源控制单元1为系统装置供电，电源控制单元2用对时间数字转换器、干扰信号发生器供电，用直流滤波器进行滤波；
其中，所述指挥控制模块，连接通信组网具有远程通信模块，应用4G、5G、卫星组网，将探测到的目标信息发送给指挥控制终端，指挥控制终端自动将信息与样本库进行比对，判断识别的目标是否存在威胁，若存在威胁，则发出语音报警，跟踪并对目标进行持续监听，使用干扰信号发生器对威胁目标进行干扰，对目标进行驱离或者打击；
其中，所述显示模块，通过在计算机上显示，显示界面包含4部分，第1显示界面，用于显示激光雷达传感器获取的目标距离、方位角和俯仰角、目标及其周围三维点云；第2显示界面用于显示叠加视频中目标周围环境、目标的轨迹，包括目标的实时坐标；第3显示界面，用于显示融合后的轨迹、距离、方位角和俯仰角，目标及其周围三维点云，包括：对叠加后的视频进行预处理、视频帧融合，在数据融合单元对红外传感器和可见光传感器获得的数据进行融合处理；进而将融合数据与激光雷达获取的数据进行融合，融合结果经过坐标实时转换单元的处理，获得目标的距离、方位角以及俯仰角，输出融合结果到显示屏第3显示界面；第4显示界面，用于显示点云重建后的目标信息。
本发明还提供一种基于多融合传感器的目标探测与识别方法，其主要内容包括：
(一)利用CNN对数据预处理；
(二)对目标进行检测；
(三)对红外视频和可见光视频进行选择跟踪；
(四)对红外传感器与可见光传感器获取的数据进行融合处理；
(五)对激光雷达传感器获取的数据与(四)获得数据进行再融合处理。
其中，所述的利用CNN对数据预处理，具体包括：(1)采集已知类型样本的数据，收集目标多空间态姿样本数据，构建样本库；(2)对样本库数据进行预处理，提取相同的特征，划分不同的分组，如飞机、鸟、鱼雷，构建训练数据集与测试数据集；(3)使用训练数据集进行大量训练，通过在CNN网络输入测试集，将测试结果返回至训练过程，直至测试结果准确。
其中，所述的对目标进行检测，具体包括：利用激光雷达传感器、红外传感器和可见光传感器分别对目标进行探测，过程中利用时间数字转换器单元与坐标实时转换单元计算时间以及确保在同一坐标系；其中，激光雷达传感器检测目标的距离和角度信息，红外传感器探测目标的方位角度信息以及红外视频与图像，可见光传感器获取目标的可见光视频，初步目标识别，确定可见感兴趣区域；具体包括：通过实时坐标转换单元获取目标的空间坐标系，激光雷达传感器获取目标三维点云，红外与可见光传感器获取目标及其周围光谱波段信息以及视频，得到目标深度值、红外灰度信息与可见光灰度信息。
其中，所述的对红外视频和可见光视频进行选择跟踪，具体包括：利用深度CNN作为特征提取器选择视频中的图像特征，进行特征重叠并计算重叠损失，选择最低损失的视频进行跟踪，在视频选择单元执行，由跟踪器执行跟踪，并将跟踪结果叠加到被跟踪视频上，输出到显示器第1显示界面，实现更清晰获取目标周围的场景，步骤如下：
步骤1，由视频图像处理单元、数据融合单元得到红外图像和可见光图像的目标位置，计算出t时刻和t+1时刻目标位置，选择两个图像中的重叠区域，尺度为M×N，定义为目标范围的两倍，利用特征图之间的重叠信息作为卷积神经网络的输入，通过信息传播和迭代形成特征聚类中心，首先计算每个特征塔的平均特征，设平均特征为N为特征塔中的特征图数量，i,j∈(1,2,…,N)，公式如下：
步骤2，得到平均特征后，将每个卷积特征图减去平均特征后做高斯处理，然后计算图像对之间的重叠程度，设此时的图像为Pi,Pj，重叠程度定义为F(Pi,Pj)，则如公式(2)所示：
为了进行一致性的重叠测量，计算图像重叠程度的损失，将特征塔连接到排序层，对损失进行排序，将排序结果输入到操控单元，操控单元选择损失排序值最低的视频，由跟踪器进行跟踪。
其中，所述的对红外传感器与可见光传感器获取的数据进行融合处理，具体包括：由红外传感器和可见光传感器获取视频数据，经过图像预处理、数据融合后获取目标方位信息，具体包括如下步骤：
步骤1，图像预处理，从红外视频和可见光视频分别提取红外图像和可见光图像，首先进行去雾，然后采用图像二值化方法过滤小的噪声点，自适应边缘算法提取多个边缘的轮廓区域，进而提取最大轮廓；当轮廓面积大于预先设置的阈值时进行拟合，得到预处理后的红外图像A和可见光图像B，此时将A中Pir(x1，y1)和B中Pvis(x2，y2)作为目标的位置，计算图像中心坐标的领域范围，[m,n]∈[K,L]∈[M,N]；M×N表示邻域范围的窗口大小；
步骤2，视频图像融合，包括：(1)对图像A和B进行K层NSCT分解，构建平均梯度和Q因子矩阵，获得低频子带系数和高频子带系数；(2)对图像高频信息进行处理，图像高频信息主要包含图像中的纹理和边缘轮廓等信息，图像融合过程中高频子带反映纹理与边缘信息，将对应的高频子带系数进行PCNN处理，以子带系数作为PCNN的外部输入激励，并将图像划分最高层尺度K之外的其余K-1层和最高层尺度K分别计算；(3)对图像低频信息进行处理，对低频子带系数，在融合过程中为能量高的图像区域赋予像素较高的权值，然后归一化方差，判断方差与预设方差阈值，按照不同的规则进行融合；(4)最后执行NSCT逆变换，对融合所得的低频系数和各高频子带系数重构，获得融合后的图像A’和B’，此时将A’和B’的中心坐标位置作为目标的位置，然后将B’的目标中心映射到图像A’中，以便进一步获得感兴趣区域的方位、角度的融合；
步骤3，为进一步提高系统的实时性，根据图像区域复杂度、纹理分布特征，针对特征明显的目标采用Camshift对目标进行检测跟踪，减少光照对目标的影响。
进一步的，所述对高频子带系数进行处理，图像高频信息主要包含图像中的纹理和边缘轮廓等信息，图像融合过程中高频子带反映纹理与边缘信息，将对应的高频子带系数进行PCNN处理，以子带系数作为PCNN的外部输入激励，自适应计算PCNN链接强度β值：
其中，表示高频系数矩阵以(x,y)为中心的区域大小为M×N的能量，表示图像在(x,y)处进行K层NSCT变换的分解系数；
为了在融合图像中突显源图像中的目标细节信息，在图像最高层尺度K采用绝对值取大的方法确定其融合系数，则对应的融合的规则可表示为：
其中，I1和I2是图像A和图像B的高频子带分解系数；
将图像最高层尺度K之外的其余K-1层作为PCNN的神经元输入，分别计算红外图像A和可见光图像B的的每个子图像中每个像素的点火次数，并由此点火次数来确定融合时高频融合系数，按照如下规则进行融合：
其中，T1和T2分别是I1和I2经PCNN网络脉冲输出的点火次数，W1和W2图像A和图像B高频子带系数所占权值，Thresh为阈值。
进一步的，所述对低频子带系数进行处理，计算红外图像A和可见光图像B中低频子带系数的像素显著性，像素显著性表示为：
其中，IS(i,j)表示图像的像素值，US表示图像像素均值，S＝ir,vis用来表示红外和可见光图片，UR表示区域平局值；在融合过程中为能量高的图像区域赋予像素较高的权值，wir和wvis分别表示红外和可见光图像的权值，FL(x,y)表示融合后的低频分量,Evis表示可见光区域能量，Eir表示红外区域能量。
当像素在目标区域中，红外图像中的像素能量相对集中，因此红外图像区域能量很大，对应的可见光图像区域能量相对较小，因此赋予可见光图像较小权值，权值设置范围小于0.3：
FL(x,y)＝wvis×visL(x,y)+(1-wvis)×irL(x,y) (8)
可见光图像像素能量相对集中，区域能量大，而红外图像区域能量相对小，因此赋予红外图像较小权值，权值设置的值小于0.3：
FL(x,y)＝wir×irL(x,y)+(1-wir)×visL(x,y) (10)
利用归一化方差；
Qvis表示可见光图像区域方差，Qir表示红外图像区域方差，归一化局部方差的差值比较大时，即G(i,j)>T时，T表示预设方差阈值，表明两幅图像区域的差别比较大，选择区域方差较大者：
当G(i,j)＜T时，
其中，CF(x,y)表示融合后的低频系数，然后对低频子带系数进行PCNN处理，以系数值的4倍作为PCNN的外部输入，其中，T表示预先设定的阈值，取值为0.3～0.4之间。
其中，所述的对激光雷达传感器获取的数据与融合后的可见光传感器和可见光传感器获得数据进行再融合处理，具体包括：利用坐标实时转换单元，将两组传感器对目标的探测转换为统一坐标系，由于采样周期的不同，所以对两组传感器进行时间配准，采用最小二乘法，将周期小的传感器数据拟合到周期大的传感器数据的时间点上，根据最小二乘算法计算激光雷达传感器和红外与可见光传感器的融合数据进行配准的虚拟测量值；
根据两组测量值，得到由激光雷达传感器测量的从观测点到目标的距离d1、方位角θ1和仰角以及红外与可见光传感器的虚拟测量值(d2、θ2和)，在这两组测量值中取加权平均值，获得目标物体的距离、方位角和仰角，最后利用卡尔曼滤波的预测方程进行滤波跟踪。
本发明提供的基于多融合传感器的目标探测与识别装置，可以安装于无人机、汽车、飞艇、卫星等装备，获取环境信息，通过激光雷达获取目标距离、轮廓特征、点云空间信息，通过可见光传感器、红外传感器，获取目标光谱信息、图像特征、像素特征，实现目标捕获、信息提取与特征分类及融合、态势评估、反制，为装备的自主决策提供准确、可靠、具有鲁棒性的决策判决性能，可以广泛运用于测绘遥感、目标探测与识别、环境感知等领域。指挥控制模块判断识别目标是否存在威胁，若存在威胁，发出语音报警，对目标持续监听、跟踪和干扰，对目标进行驱离或者打击。系统装置可广泛用于目标探测与识别、遥感测绘、无人控制等领域。有益效果有：软硬件成本适中；受应用场景的制约较少；检测范围广；控制系统复杂性低，实时性较好。
附图说明
图1是本发明一种基于多融合传感器的目标探测与识别装置的系统装置结构图。
图2是本发明一种基于多融合传感器的目标探测与识别装置的显示界面框图。
图3是本发明一种基于多融合传感器的目标探测与识别方法的可见光与红外视频图像处理流程图。
图4是本发明一种基于多融合传感器的目标探测与识别方法的数据融合与显示输出图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于多融合传感器的目标探测与识别装置的系统装置结构图，主要包括：
(1)多融合传感器模块，包括：激光雷达传感器11、红外传感器12、可见光传感器13，用于对目标进行探测与识别，根据探测的目标物体的双波段融合图像与目标位置同时测量，使距离信息和光谱信息对应；所述激光雷传感器11连接一个反光镜，通过设置不同的角度，实现目标全面扫描，利用雷达反复扫描，获取目标的位置信息；传感器应用SLAM用于测量目标物体的距离，根据目标扫描单元与红外传感器获取目标方位信息探测距离；所述红外传感器12，发出红外光束，获取目标的红外波段，因测角精度高，用于探测目标的方位角度信息，并按照激光雷达传感器的指示继续跟踪目标，同时获取目标所在场景的红外视频；所述可见光传感器13，发出可见光光束，获取目标可见光波段，获取目标所在场景的可见光视频以及可见光图像；
(2)系统数据处理模块，包括视频选择跟踪单元21、信号处理单元22、视频图像处理单元23、数据融合单元24、实时坐标转换单元25、时间数字转换器单元26；
所述视频选择跟踪单元21，包括视频选择与跟踪，用于在得到红外视频与可见光视频的图像特征后，进行特征重叠，计算重叠损失，用于跟踪被选择的视频，即用于跟踪可见光视频或红外视频，获得跟踪结果，将跟踪结果叠加到被跟踪视频，即获取叠加视频，达到视频信号增强效果，将叠加视频输出到显示单元；视频选择跟踪单元连接一个跟踪器201；
所述信号处理单元22，包括编码器221、解码器222、干扰信号发生器223；分别用于对叠加视频的信号进行处理，包括将视频数据转化成数字形式的编码器221，将数字形式转化成模拟信息输出给显示器的222解码器，以及干扰信号发生器223用于当探测到威胁目标时对威胁目标进行电磁信号干扰；所述223干扰信号发生器与指挥控制模块相连；
所述视频图像处理单元23，提取红外视频和可见光视频图像，结合SLAM，实现目标定位获取目标坐标信息，同时向跟踪器201发送目标位置，在显示器第2显示界面显示目标信息；与红外传感器12、可见光传感器13相连接；
所述数据融合单元24，用于融合红外传感器12与可见光传感器13获取的视频图像数据，还用于将融合后的红外与可见光传感器数据与激光雷达传感器11获取的数据相融合；
所述实时坐标转换单元25，用于实时转换极坐标、地心地固坐标以及屏幕坐标，解决目标在不同传感器、不同场景下坐标不一致的问题；所述实时坐标转换单元25与电源控制单元1相连，与数字时间转换器26相连，与多融合传感器装置连接；
所述数字时间转换器单元26，用于测量开始脉冲信号和停止脉冲信号之间的时间间隔的时间数字转换器，控制时间以及实现目标的精确测距，并对干扰信号发生器223工作时间进行设定并控制其间断工作；时间数字转换器26与电源控制电源1、干扰信号发生器223、激光雷达传感器11、红外传感器12、可见光传感器13相连；
(3)三维点云重建模块，包括：31三维点云数据采集单元、32点云关键特征提取与匹配单元、33点云重建单元；
(4)电源模块，包括两个电源控制单元，分别用于电源控制单元1为系统装置供电，电源控制单元2用对时间数字转换器、干扰信号发生器供电，用直流滤波器进行滤波；
(5)指挥控制模块，连接通信组网具有网络通讯模块52，利用4G、5G、卫星组网，将探测到的目标信息发送给指挥控制终端51，指挥控制终端自动将信息与样本库进行比对，判断识别的目标是否存在威胁，若存在威胁，则发出语音报警，设置一语音报警单元53，跟踪并对目标进行持续监听，使用干扰信号发生器223对威胁目标进行干扰，对目标进行驱离或者打击；
图2是本发明一种基于多融合传感器的目标探测与识别装置的显示界面框图，具体包括4个显示界面，通过在计算机上显示；
第1显示界面601，用于显示激光雷达传感器获取的目标距离、方位角和俯仰角、目标及其周围三维点云；
第2显示界面602，用于显示叠加视频中目标周围环境、目标的轨迹，包括目标的实时坐标；对叠加后的视频进行处理，包括图片预处理、视频帧融合，在数据融合单元对红外传感器12和可见光传感器13获得的数据进行融合处理；通过应用SLAM的视频图像处理单元以及红外和可见光传感器获得目标周围视频，实现目标周围环境的定位和探测；输出到显示屏第2显示界面；
第3显示界面603，用于显示融合后的轨迹、距离、方位角和俯仰角，目标及其周围三维点云；将红外传感器12与可见光传感器13的融合数据与激光雷达传感器11获取的数据进行融合，融合输出到显示屏第3显示界面；
第4显示界面604，用于显示点云重建后的目标信息；将红外传感器和可见光传感器融合后的数据与激光雷达传感器获取的点云数据输入到三维点云采集单元，经过点云降噪、滤波、配准，实现三维点云重建。
本发明一种基于多融合传感器的目标探测与识别方法，包括：
(一)利用CNN对数据预处理
(二)对目标进行检测；
(三)对红外视频和可见光视频进行跟踪；
(四)对红外传感器与可见光传感器获取的数据进行融合处理；
(五)对激光雷达传感器获取的数据与所述(四)获取的数据进行再融合处理。
利用CNN对数据进行预处理，首先采集样本，收集目标多空间姿态样本数据，如旋转、平移、翻转、遮挡，构建样本库，对样本库数据预处理，提取相同的特征，按照特征划分为不同的分组，如飞行物：飞机、鸟类，水面物体：船、鱼雷；构建训练数据集与测试数据集，使用训练数据集进行训练，通过在CNN网络输入，将测试结果返回训练过程，直至测试时识别准确。
对目标进行检测，利用激光雷达传感器11、红外传感器12和可见光传感器13分别对目标进行探测，过程中利用时间数字转换器单元26与坐标实时转换单元25计算时间以及确保在同一坐标系；其中，激光雷达传感器11检测目标的距离和角度信息，获取目标三维点云；红外传感器12探测目标的方位角度信息以及红外视频与图像，可见光传感器13获取目标的可见光视频；激光雷达传感器11、红外传感器12与可见光传感器13获取目标及其周围光谱波段信息以及视频，得到目标深度值、红外灰度信息与可见光灰度信息。初步目标识别，确定可见感兴趣区域。
图3是本发明本发明一种基于多融合传感器的目标探测与识别方法的可见光与红外视频图像处理流程图。主要包括：可见光传感器与红外传感器利用视频采集获取视频序列，分别提取可见光图像和红外目标图像，经过图像配准、特征重叠、计算重叠损失，视频叠加，输出到显示屏第2显示界面，具体包括：利用深度CNN作为特征提取器，选择视频中的图像特征，进行特征重叠并计算重叠损失，选择最低损失的视频进行跟踪，在视频选择跟踪单元执行，由跟踪器201执行跟踪，并将跟踪结果叠加到被跟踪视频上，输出到显示器第1显示界面，实现更清晰获取目标周围的场景，步骤如下：
步骤1，由视频图像处理单元、数据融合单元得到红外图像和可见光图像的目标位置，计算出t时刻和t+1时刻目标位置，选择两个图像中的重叠区域，尺度为M×N，定义为目标范围的两倍，利用特征图之间的重叠信息作为卷积神经网络的输入，通过信息传播和迭代形成特征聚类中心，首先计算每个特征塔的平均特征，设平均特征为N为特征塔中的特征图数量，i,j∈(1,2,…,N)，公式如下：
步骤2，得到平均特征后，将每个卷积特征图减去平均特征后做高斯处理，然后计算图像对之间的重叠程度，设此时的图像为Pi,Pj，重叠程度定义为F(Pi,Pj)，则如公式(2)所示：
为了进行一致性的重叠测量，计算图像重叠程度的损失，将特征塔连接到排序层，对损失进行排序，将排序结果输入到操控单元，操控单元选择损失排序值最低的视频，由跟踪器201进行跟踪。
图4是本发明一种基于多融合传感器的目标探测与识别方法的数据融合与显示输出图。主要包括：(1)对红外传感器与可见光传感器获取的数据进行融合处理，(2)对激光雷达传感器获取的数据与对红外传感器与可见光传感器获取的融合数据进行再融合处理，输出目标方位距离信息、周围环境信息、目标及周围三维点云信息，输出到显示屏第3显示界面。
首先提取红外与可见光图像，对图像预处理，为增强提取图像效果，首先去雾，采用图像二值化方法过滤小的噪声点，自适应边缘算法提取多个边缘的轮廓区域，进而提取最大轮廓；当轮廓面积大于预先设置的阈值时进行拟合，得到预处理后的红外图像A和可见光图像B，将A中Pir(x1，y1)和B中Pvis(x2，y2)作为目标的位置，计算图像中心坐标的领域范围[m,n]∈[K,L]∈[M,N]；M×N表示邻域范围的窗口大小；
对红外传感器与可见光传感器获取的数据进行融合，对图像A和B进行K层NSCT分解，构建平均梯度和Q因子矩阵，获得低频子带系数和高频子带系数；
由于图像高频信息主要包含图像的纹理与边缘轮廓信息，因此对高频子带系数，将对应的高频子带系数进行PCNN处理，以子带系数作为PCNN的外部输入激励，并将图像划分最高层尺度K之外的其余K-1层和最高层尺度K分别计算，自适应计算PCNN链接强度β值：
其中，表示高频系数矩阵以(x,y)为中心的区域大小为M×N的能量，表示图像在(x,y)处进行K层NSCT变换的分解系数；
为了在融合图像中突显源图像中的目标细节信息，
在图像最高层尺度K层采用绝对值取大的方法确定其融合系数，则对应的融合的规则可表示为：
其中，I1和I2是图像A和图像B的高频子带分解系数；
将图像最高层尺度K之外的其余K-1层作为PCNN的神经元输入，分别计算红外图像A和可见光图像B的每个子图像中每个像素的点火次数，并由此点火次数来确定融合时高频融合系数，按照如下规则进行融合：
其中，T1和T2分别是I1和I2经PCNN网络脉冲输出的点火次数，W1和W2图像A和图像B高频子带系数所占权值，Thresh为阈值。
对于低频子带，计算红外图像A和可见光图像B中低频子带系数的像素显著性，
其中，IS(i,j)表示图像的像素值，US表示图像像素均值，S＝ir,vis用来表示红外和可见光图片，UR表示区域平局值；在融合过程中为能量高的图像区域赋予像素较高的权值，wir和wvis分别表示红外和可见光图像的权值，FL(x,y)表示融合后的低频分量,Evis表示可见光区域能量，Eir表示红外区域能量；
像素平均值：
区域平均值：
方差：
当像素在目标区域中，红外图像中的像素能量相对集中，因此红外图像区域能量很大，对应的可见光图像区域能量相对较小，因此赋予可见光图像较小权值，权值设置范围小于0.3：
FL(x,y)＝wvis×visL(x,y)+(1-wvis)×irL(x,y) (8)
可见光图像像素能量相对集中，区域能量大，而红外图像区域能量相对小，因此赋予红外图像较小权值，权值设置的值小于0.3：
FL(x,y)＝wir×irL(x,y)+(1-wir)×visL(x,y) (10)
最后归一化局部方差，利用其中，Qvis表示可见光图像区域方差，Qir表示红外图像区域方差，
利用归一化方差；Qvis表示可见光图像区域方差，Qir表示红外图像区域方差，归一化局部方差的差值比较大时，即G(i,j)>T时，T表示预设方差阈值，表明两幅图像区域的差别比较大，选择区域方差较大者：
当G(i,j)＜T时，
其中，CF(x,y)表示融合后的低频系数，然后对低频子带系数进行PCNN处理，以系数值的4倍作为PCNN的外部输入，其中，T表示预先设定的阈值，取值为0.3～0.4之间。
对激光雷达传感器获取的数据与对红外传感器与可见光传感器获取的融合数据进行再融合处理，将激光雷达传感器视为一组传感器、红外传感器与可见光传感器视为一组传感器；利用坐标实时转换单元，将两组传感器对目标的探测转换为统一坐标系，由于采样周期的不同，所以对两组传感器进行时间配准，采用最小二乘法，将周期小的传感器数据拟合到周期大的传感器数据的时间点上，将获得的虚拟测量值与大周期的测量值进行融合，缩小了周期小的传感器获取的数据，降低了融合数据量，运算简单，配准精度高；
将激光雷达传感器的采样周期标记为S1，红外传感器与可见光传感器的组合传感器的采样周期标记为S2，满足S1:S2＝m:n,全局配准后的周期为S，S为S1和S2最小公倍数；
其中，i表示尺度和传感器，最低采样率的传感器对应最细尺度，最高采样率的传感器具有最宽尺度，在最高采样率的传感器上建立状态方程，组合传感器的状态方程：
x(N,l+1)＝Φ(N,l)x(N,l)+w(N,l),z(i,l+1)＝H(i,l)x(i,l)+v(i,l)
其中，x(N,l)为最细尺度上l时刻的状态变量，Φ(N,l)为状态转移矩阵，系统噪声w(N,l)为零均值高斯白噪声，z(i,l)为第i个传感器在采样率Si下获得的第l个观测值，H(i,l)为观测矩阵，观测噪声v(i,l)为零均值高斯白噪声，初始状态向量x(N,0)为一随机变量，且假设x(N,0)，w(N,l)和v(i,l)彼此间统计独立；
根据最小二乘算法计算激光雷达传感器和红外与可见光传感器的融合数据进行配准的虚拟测量值为：
其中，z(1)表示激光雷达的虚拟测量值，包含测得的目标的方位角θ、仰角以及观测点到目标的距离d，z(2)表示经过步骤1获得的红外与可见光传感器数据的虚拟测量值，
根据两组测量值，得到由激光雷达传感器测量的从观测点到目标的距离d1、方位角θ1和仰角以及红外与可见光传感器的虚拟测量值(d2、θ2和)，在这两组测量值中取加权平均值，获得目标物体的距离、方位角和仰角，最后利用卡尔曼滤波的预测方程进行滤波跟踪。
为提高数据融合效率、提高精度与准确性，先对传感器获取的数据进行去噪，对激光雷达传感器获取数据利用回波信号去噪处理，对于不同的目标激光雷达传感器获取的回波强度信息也不同，采用激光回波强度信息进行相应去噪，将激光扫描回波强度信息为零的点剔除，去除部分冗余数据，提高数据处理效率；对两组传感器数据利用时间数字转换器单元进行时间去噪处理，由于两组传感器的采样周期不同，位置和姿态数据进行数据融合需要考虑时间同步，因此在时间数字转换器单元记录的时间之外的数据剔除。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于多融合传感器的目标探测与识别装置，其特征在于，主要包括：多融合传感器模块，系统数据处理模块、指挥控制模块、显示模块、电源模块、三维点云重建模块；
所述多融合传感器模块，用于对目标进行探测与识别，根据探测的目标物体的双波段融合图像与目标位置同时测量，使距离信息和光谱信息对应；包括激光雷达传感器、红外传感器、可见光传感器；
进一步的，所述红外传感器，发出红外光束，获取目标的红外波段，因测角精度高，用于探测目标的方位角度信息，并按照激光雷达传感器的指示继续跟踪目标，同时获取目标所在场景的红外视频；
进一步的，所述可见光传感器，发出可见光光束，获取目标可见光波段，获取目标所在场景的可见光视频以及可见光图像；
进一步的，所述激光雷达传感器，由目标测距单元、目标扫描单元组成；目标扫描单元，发射激光对目标进行扫描，连接一个反光镜，通过设置不同的角度，实现目标的360°全方位扫描，得到三维点云，利用雷达反复扫描，获取目标的位置信息；目标测距单元，连接SLAM用于测量目标物体的距离，根据目标扫描单元与红外传感器获取目标方位信息探测距离；
所述系统数据处理模块，包括视频选择跟踪单元、信号处理单元、视频图像处理单元、数据融合单元、实时坐标转换单元、时间数字转换器单元；
进一步的，所述视频选择跟踪单元，包括视频选择与跟踪，用于在得到红外视频与可见光视频的图像特征后，进行特征重叠，计算重叠损失，用于跟踪被选择的视频，即用于跟踪可见光视频或红外视频，获得跟踪结果，将跟踪结果叠加到被跟踪视频，即获取叠加视频，达到视频信号增强效果，将叠加视频输出到显示单元；视频选择跟踪单元连接一个跟踪器；
进一步的，所述信号处理单元，包括：编码器、解码器、信号干扰器；包括将视频数据转化成数字形式的编码器，将数字形式转化成模拟信息输出给显示器的解码器，以及干扰信号发生器用于当探测到威胁物时对威胁目标进行电磁信号干扰；所述干扰信号发生器与电源相连；
进一步的，所述视频图像处理单元，提取红外视频和可见光视频图像，获取图像色彩、纹理信息，应用SLAM实现目标定位获取目标坐标信息，同时向跟踪器发送目标位置，与红外传感器、可见光传感器相连接；
进一步的，所述数据融合单元，用于融合红外传感器与可见光传感器获取的视频图像数据，以及将融合后的红外与可见光传感器数据与激光雷达传感器获取的数据进行融合；所述数据融合单元，应用基于扩展卡尔曼滤波器的传感器数据融合方法，接收来自激光雷达传感器获取的目标信息，如高度、距离、俯仰角、方向角等信息，以及融合红外传感器和可见光传感器数据的目标状态信息，将信息融合后，生成控制指令，通过网络通讯模块输出到指挥控制终端；
进一步的，所述实时坐标转换单元，用于实时转换极坐标、地心地固坐标以及屏幕坐标，解决目标在不同传感器、不同场景下坐标不一致的问题；
进一步的，所述时间数字转换器单元，用于测量开始脉冲信号和停止脉冲信号之间的时间间隔的时间数字转换器，控制时间以及实现目标的精确测距，并对干扰信号发生器工作时间进行设定并控制其间断工作；时间数字转换器与电源、干扰信号发生器、激光雷达传感器、红外传感器、可见光传感器相连；
所述三维点云重建模块，包括：三维点云数据采集单元、点云关键特征提取与匹配单元、点云重建单元；
所述电源模块，包括两个电源控制单元，分别用于电源控制单元1为系统装置供电，电源控制单元2用对时间数字转换器、干扰信号发生器供电，用直流滤波器进行滤波；
所述指挥控制模块，连接通信组网具有网络通讯模块，应用4G、5G、卫星组网，将探测到的目标信息发送给指挥控制终端，指挥控制终端自动将信息与样本库进行比对，判断识别的目标是否存在威胁，若存在威胁，则发出语音报警，跟踪并对目标进行持续监听，使用干扰信号发生器对威胁目标进行干扰，对目标进行驱离或者打击。
2.基于权利要求1所述的一种基于多融合传感器的目标探测与识别装置，其特征在于，所述显示模块，在连接的计算机上显示，显示界面包含4部分，第1显示界面，用于显示激光雷达传感器获取的目标距离、方位角和俯仰角、目标及其周围三维点云；第2显示界面，用于显示由叠加视频中目标周围环境、目标的轨迹，包括目标的实时坐标；第3显示界面，用于显示融合后的轨迹、距离、方位角和俯仰角，目标及其周围三维点云，包括：对叠加后的视频进行预处理、视频帧融合，在数据融合单元对红外传感器和可见光传感器获得的数据进行融合处理；进而将融合数据与激光雷达获取的数据进行融合，融合结果经过坐标实时转换单元的处理，获得目标的距离、方位角以及俯仰角，输出融合结果到显示屏第3显示界面；第4显示界面，用于显示点云重建后的目标信息，即将红外传感器和可见光传感器融合后的数据与激光雷达传感器获取的点云数据输入到三维点云采集单元，经过点云降噪、滤波、配准，实现三维点云重建，输出到显示屏第4显示界面。
3.一种基于多融合传感器的目标探测与识别方法，其特征在于，主要包括：
(一)利用CNN进行数据预处理；
(二)对目标进行检测；
(三)对红外视频和可见光视频进行选择跟踪；
(四)对红外传感器与可见光传感器获取的数据进行融合处理；
(五)对激光雷达传感器获取的数据与(四)获得数据进行再融合处理。
4.基于权利要求3所述的一种基于多融合传感器的目标探测与识别方法，其特征在于，所述(一)利用深度CNN进行数据预处理，具体包括：(1)采集已知类型样本的数据，收集目标多空间态姿样本数据，构建样本库；(2)对样本库数据进行预处理，提取相同的特征，划分不同的分组，如飞机、鸟、鱼雷，构建训练数据集与测试数据集；(3)使用训练数据集进行大量训练，通过在深度CNN网络输入测试集，将测试结果返回至训练过程，直至测试识别准确。
5.基于权利要求3所述的一种基于多融合传感器的目标探测与识别方法，其特征在于，所述(二)对目标进行探测，具体包括：利用激光雷达传感器、红外传感器和可见光传感器分别对目标进行探测，利用时间数字转换器单元与坐标实时转换单元计算时间并确保在同一坐标系；其中，激光雷达传感器检测目标的距离和角度信息，红外传感器探测目标的方位角度信息以及红外视频与图像，可见光传感器获取目标的可见光视频，初步目标识别，确定可见感兴趣区域；通过实时坐标转换单元获取目标的空间坐标系，激光雷达传感器获取目标三维点云，红外与可见光传感器获取目标及其周围光谱波段信息以及视频，得到目标深度值、红外灰度信息与可见光灰度信息。
6.基于权利要求3所述的一种基于多融合传感器的目标探测与识别方法，其特征在于，所述(三)对红外视频和可见光视频进行选择跟踪，具体包括：分别提取视频图像，利用深度CNN作为特征提取器，选择视频中的图像特征，进行特征重叠并计算重叠损失，选择最低损失的视频进行跟踪，在视频选择跟踪单元执行，由跟踪器执行跟踪，并将跟踪结果叠加到被跟踪视频上，输出到显示器第2显示界面，实现更清晰获取目标周围的场景，步骤如下：
步骤1，由视频图像处理单元、数据融合单元得到红外图像和可见光图像的目标位置，计算出t时刻和t+1时刻目标位置，选择两个图像中的重叠区域，尺度为M×N，定义为目标范围的两倍，利用特征图之间的重叠信息作为卷积神经网络的输入，通过信息传播和迭代形成特征聚类中心，首先计算每个特征塔的平均特征，设平均特征为N为特征塔中的特征图数量，i,j∈(1,2,…,N)，公式如下：
步骤2，得到平均特征后，将每个卷积特征图减去平均特征后做高斯处理，然后计算图像对之间的重叠程度，设此时的图像为Pi,Pj，重叠程度定义为F(Pi,Pj)，则如公式(2)所示：
为了进行一致性的重叠测量，计算图像重叠程度的损失，将特征塔连接到排序层，对损失进行排序，将排序结果输入到操控单元，操控单元选择损失排序值最低的视频，由跟踪器进行跟踪。
7.基于权利要求3所述的一种基于多融合传感器的目标探测与识别方法，其特征在于，所述(四)对红外传感器与可见光传感器获取的数据进行融合处理，具体包括：由红外传感器和可见光传感器获取视频数据，经过图像预处理、数据融合后获取目标方位信息，具体包括如下步骤：
步骤1，图像预处理，分别对提取红外图像和可见光图像进行去雾，然后采用图像二值化方法过滤小的噪声点，自适应边缘算法提取多个边缘的轮廓区域，进而提取最大轮廓；当轮廓面积大于预先设置的阈值时进行拟合，得到预处理后的红外图像A和可见光图像B，此时将A中Pir(x1，y1)和B中Pvis(x2，y2)作为目标的位置，计算图像中心坐标的领域范围，[m,n]∈[K,L]∈[M,N]；M×N表示邻域范围的窗口大小；
步骤2，视频图像融合：对图像A和B进行K层NSCT分解，构建平均梯度和Q因子矩阵，获得低频子带系数和高频子带系数；(2)对图像高频信息进行处理，图像高频信息主要包含图像中的纹理和边缘轮廓等信息，图像融合过程中高频子带反映纹理与边缘信息，将对应的高频子带系数进行PCNN处理，以子带系数作为PCNN的外部输入激励，并将图像划分最高层尺度K之外的其余K-1层和最高层尺度K分别计算；(3)对图像低频信息进行处理，对低频子带系数，在融合过程中为能量高的图像区域赋予像素较高的权值，然后归一化方差，判断方差与预设方差阈值，按照不同的规则进行融合；(4)最后执行NSCT逆变换，对融合所得的低频系数和各高频子带系数重构，获得融合后的图像A’和B’，此时将A’和B’的中心坐标位置作为目标的位置，然后将B’的目标中心映射到图像A’中，以便进一步获得感兴趣区域的方位、角度的融合；
步骤3，为进一步提高系统的实时性，根据图像区域复杂度、纹理分布特征，针对特征明显的目标采用Camshift对目标进行检测跟踪，减少光照对目标的影响。
8.基于权利要求7所述的一种基于多融合传感器的目标探测与识别方法，其特征在于，所述对图像高频信息进行处理，具体包括：
将对应的高频子带系数进行PCNN处理，以子带系数作为PCNN的外部输入激励，自适应计算PCNN链接强度β值：
其中，表示高频系数矩阵以(x,y)为中心的区域大小为M×N的能量，表示图像在(x,y)处进行K层NSCT变换的分解系数；
为了在融合图像中突显源图像中的目标细节信息，
在图像最高层尺度K采用绝对值取大的方法确定其融合系数，则对应的融合的规则可表示为：
其中，I1和I2是图像A和图像B的高频子带分解系数；
将图像最高层尺度K之外的其余K-1层作为PCNN的神经元输入，分别计算红外图像A和可见光图像B的每个子图像中每个像素的点火次数，并由此点火次数来确定融合时高频融合系数，按照如下规则进行融合：
其中，T1和T2分别是I1和I2经PCNN网络脉冲输出的点火次数，W1和W2图像A和图像B高频子带系数所占权值，Thresh为阈值。
9.基于权利要求7所述的一种基于多融合传感器的目标探测与识别方法，其特征在于，所述对图像低频信息进行处理，具体包括：首先计算像素显著性，像素显著性表示为：
其中，IS(i,j)表示图像的像素值，US表示图像像素均值，S＝ir,vis用来表示红外和可见光图片，UR表示区域平局值；
然后在融合过程中为能量高的图像区域赋予像素较高的权值，wir和wvis分别表示红外和可见光图像的权值，FL(x,y)表示融合后的低频分量,Evis表示可见光区域能量，Eir表示红外区域能量；
当像素在目标区域中，红外图像中的像素能量相对集中，因此红外图像区域能量很大，对应的可见光图像区域能量相对较小，因此赋予可见光图像较小权值，权值设置范围小于0.3：
FL(x,y)＝wvis×visL(x,y)+(1-wvis)×irL(x,y) (8)
可见光图像像素能量相对集中，区域能量大，而红外图像区域能量相对小，因此赋予红外图像较小权值，权值设置的值小于0.3：
FL(x,y)＝wir×irL(x,y)+(1-wir)×visL(x,y) (10)
最后归一化局部方差，利用其中，Qvis表示可见光图像区域方差，Qir表示红外图像区域方差，
归一化局部方差的差值比较大时，即G(i,j)＞T时，T表示预设方差阈值，表明两幅图像区域的差别比较大，选择区域方差较大者：
当归一化局部方差的差值比较小时，即当G(i,j)＜T时，
其中，CF(x,y)表示融合后的低频系数，然后对低频子带系数进行PCNN处理，以系数值的4倍作为PCNN的外部输入，其中，T表示预先设定的阈值，取值为0.3～0.4之间。
10.基于权利要求3所述的一种基于多融合传感器的目标探测与识别方法，其特征在于，所述(五)对激光雷达传感器获取的数据与(四)获得数据进行再融合处理，具体包括：为了便于表示，将激光雷达传感器视为一组传感器、红外传感器与可见光传感器视为一组传感器，即表示为两组传感器；
利用坐标实时转换单元，将两组传感器对目标的探测转换为统一坐标系，由于采样周期的不同，所以对两组传感器进行时间配准，采用最小二乘法，将周期小的传感器数据拟合到周期大的传感器数据的时间点；
在最高采样率的传感器上建立状态方程，根据最小二乘算法计算激光雷达传感器和红外与可见光传感器的融合数据进行配准的虚拟测量值为：
其中，z(1)表示激光雷达的虚拟测量值，包含测得的目标的方位角θ、仰角以及观测点到目标的距离dz(2)表示经过步骤1获得的红外与可见光传感器数据的虚拟测量值，
根据两组测量值，得到由激光雷达传感器测量的从观测点到目标的距离d1、方位角θ1和仰角以及红外与可见光传感器的虚拟测量值(d2、θ2和)，在这两组测量值中取加权平均值，获得目标物体的距离、方位角和仰角，最后利用卡尔曼滤波的预测方程进行滤波跟踪；
为提高数据融合效率、提高精度与准确性，先对传感器获取的数据进行去噪，对激光雷达传感器获取数据利用回波信号去噪处理，对于不同的目标激光雷达传感器获取的回波强度信息也不同，采用激光回波强度信息进行相应去噪，将激光扫描回波强度信息为零的点剔除，去除部分冗余数据，提高数据处理效率；对两组传感器数据利用时间数字转换器单元进行时间去噪处理，由于两组传感器的采样周期不同，位置和姿态数据进行数据融合需要考虑时间同步，因此在时间数字转换器单元记录的时间之外的数据剔除。
CN201910713451.2A 2019-08-02 2019-08-02 一种基于多融合传感器的目标探测与识别装置和方法 Withdrawn CN110428008A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910713451.2A CN110428008A (zh) 2019-08-02 2019-08-02 一种基于多融合传感器的目标探测与识别装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910713451.2A CN110428008A (zh) 2019-08-02 2019-08-02 一种基于多融合传感器的目标探测与识别装置和方法

Publications (1)

Publication Number Publication Date
CN110428008A true CN110428008A (zh) 2019-11-08

Family

ID=68414036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910713451.2A Withdrawn CN110428008A (zh) 2019-08-02 2019-08-02 一种基于多融合传感器的目标探测与识别装置和方法

Country Status (1)

Country Link
CN (1) CN110428008A (zh)

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969637A (zh) * 2019-12-02 2020-04-07 深圳市唯特视科技有限公司 一种基于生成对抗网络的多威胁目标重建及态势感知方法
CN111060388A (zh) * 2019-12-17 2020-04-24 吉林大学 材料力学性能多参量原位监测平台及多数据融合分析方法
CN111077335A (zh) * 2020-01-22 2020-04-28 滴图(北京)科技有限公司 一种车速检测方法、车速检测装置及可读存储介质
CN111077539A (zh) * 2019-12-30 2020-04-28 华通科技有限公司 基于激光雷达的探鸟系统
CN111158014A (zh) * 2019-12-30 2020-05-15 华通科技有限公司 多雷达综合探鸟系统
CN111209840A (zh) * 2019-12-31 2020-05-29 浙江大学 一种基于多传感器数据融合的3d目标检测方法
CN111460995A (zh) * 2020-03-31 2020-07-28 普宙飞行器科技（深圳）有限公司 基于无人机的电力线路巡检方法及巡检系统
CN111507394A (zh) * 2020-04-15 2020-08-07 中国科学院福建物质结构研究所 一种多域空间数据融合方法和融合装置
CN111539891A (zh) * 2020-04-27 2020-08-14 高小翎 单张遥感图像的波段自适应除雾优化处理方法
CN111539921A (zh) * 2020-04-16 2020-08-14 华北电力大学 一种基于多传感器信息融合的图像质量评估方法
CN111582066A (zh) * 2020-04-21 2020-08-25 浙江大华技术股份有限公司 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN111624569A (zh) * 2020-04-28 2020-09-04 北京航天朗智科技有限公司 雷达信号处理装置
CN111680537A (zh) * 2020-03-31 2020-09-18 上海航天控制技术研究所 一种基于激光红外复合的目标检测方法及系统
CN111859266A (zh) * 2020-07-30 2020-10-30 北京环境特性研究所 基于多源信息融合的空间目标结构反演方法和装置
CN111856061A (zh) * 2020-06-24 2020-10-30 沈阳上博智像科技有限公司 具有多信息融合和光流测速功能的超小型双光成像系统
CN112099037A (zh) * 2020-09-17 2020-12-18 上海波汇科技有限公司 一种基于fmcw激光雷达高点云获取量的目标检测方法及装置
CN112241763A (zh) * 2020-10-19 2021-01-19 中国科学技术大学 多源多模动态信息融合与认知方法及系统
CN112348054A (zh) * 2020-10-12 2021-02-09 北京国电通网络技术有限公司 多类型传感器的数据处理方法、装置、介质和系统
CN112444374A (zh) * 2020-09-18 2021-03-05 中国人民解放军战略支援部队航天工程大学士官学校 一种基于光学跟踪测量设备伺服系统的跟踪评估方法
CN112487947A (zh) * 2020-11-26 2021-03-12 西北工业大学 基于图像融合与目标检测网络的低照度图像目标检测方法
CN112613381A (zh) * 2020-12-17 2021-04-06 浙江大华技术股份有限公司 一种图像映射方法、装置、存储介质及电子装置
CN112697066A (zh) * 2020-12-02 2021-04-23 王刚 车辆部件定位方法、装置及计算机存储介质
CN112782686A (zh) * 2020-12-15 2021-05-11 浙江中控技术股份有限公司 基于多维识别定位技术的装车自动对位系统及方法
CN112946684A (zh) * 2021-01-28 2021-06-11 浙江大学 基于光学目标信息辅助的电磁遥感智能成像系统与方法
CN113029157A (zh) * 2021-04-06 2021-06-25 南通大学 一种中波红外和长波红外组合的交互式多模型姿态估计方法
CN113197194A (zh) * 2021-05-26 2021-08-03 成都西科微波通讯有限公司 一种全向声波驱鸟器及驱鸟方法
CN113240741A (zh) * 2021-05-06 2021-08-10 青岛小鸟看看科技有限公司 基于图像差异的透明物体追踪方法、系统
CN113255779A (zh) * 2021-05-28 2021-08-13 中国航天科工集团第二研究院 多源感知数据融合识别方法、系统及计算机可读存储介质
CN113298194A (zh) * 2021-07-26 2021-08-24 中大检测(湖南)股份有限公司 一种基于多传感器的数据融合方法、系统及存储介质
CN113317763A (zh) * 2021-06-30 2021-08-31 平安科技（深圳）有限公司 基于多模态的帕金森病检测装置及计算机可读存储介质
CN113324563A (zh) * 2021-04-19 2021-08-31 陕西师范大学 一种用于多传感器多目标跟踪的自适应传感器管理方法
CN113434713A (zh) * 2021-06-18 2021-09-24 广东翁源滃江源国家湿地公园管理处 一种基于一张图的林业大数据建设方法及系统
CN113536984A (zh) * 2021-06-28 2021-10-22 北京沧沐科技有限公司 一种基于无人机的图像目标识别与跟踪系统
CN113610695A (zh) * 2021-05-07 2021-11-05 浙江兆晟科技股份有限公司 一种红外望远镜全画幅成像输出方法及系统
CN113628261A (zh) * 2021-08-04 2021-11-09 国网福建省电力有限公司泉州供电公司 一种电力巡检场景下的红外与可见光图像配准方法
CN113691747A (zh) * 2021-07-19 2021-11-23 北京理工大学 无人驾驶中红外视频转换为可见光视频的方法
CN113759314A (zh) * 2021-09-01 2021-12-07 浙江讯飞智能科技有限公司 一种声源可视化方法、装置、系统和计算机可读存储介质
CN114049474A (zh) * 2022-01-13 2022-02-15 天津仁爱学院 一种高精度遥感快速成图方法、装置及存储介质
CN114067353A (zh) * 2021-10-12 2022-02-18 北京控制与电子技术研究所 一种采用多功能加固处理机实现多源数据融合的方法
CN114052789A (zh) * 2021-11-10 2022-02-18 深圳英美达医疗技术有限公司 一种探头识别及参数配置装置及方法
CN114297237A (zh) * 2021-12-14 2022-04-08 重庆邮电大学 基于类别融合的三维点云数据检索方法、装置及计算机设备
CN114638942A (zh) * 2022-03-16 2022-06-17 北京理工大学 一种异构变分辨率点云成像可视化方法
CN114655389A (zh) * 2022-04-12 2022-06-24 广东海洋大学 一种具有目标识别功能的无人值守船舶系统
CN115083088A (zh) * 2022-05-11 2022-09-20 长江慧控科技(武汉)有限公司 铁路周界入侵预警方法
CN115150547A (zh) * 2022-06-02 2022-10-04 合肥鼎原科技有限公司 一种飞行监视装置及其监视方法
CN115361499A (zh) * 2022-08-16 2022-11-18 南京甄视智能科技有限公司 双机协同的边防目标识别与追踪系统及方法
CN115620263A (zh) * 2022-10-25 2023-01-17 四川吉利学院 基于摄像机和激光雷达图像融合的智能车障碍物检测方法
CN116091882A (zh) * 2023-03-28 2023-05-09 中国科学院光电技术研究所 一种基于自适应双通道pcnn的偏振图像融合方法
CN116338580A (zh) * 2023-03-27 2023-06-27 亿慧云智能科技（深圳）股份有限公司 一种室内定位检测系统及方法
CN116580828A (zh) * 2023-05-16 2023-08-11 深圳弗瑞奇科技有限公司 一种猫健康的全自动感应识别的可视化监测方法
CN116580290A (zh) * 2023-07-11 2023-08-11 成都庆龙航空科技有限公司 无人机的识别方法、装置及存储介质
CN117238143A (zh) * 2023-09-15 2023-12-15 北京卓视智通科技有限责任公司 基于雷达双光谱相机的交通数据融合方法、系统和装置
US20240037786A1 (en) * 2020-02-03 2024-02-01 Science Applications International Corporation Detecting Target Objects in a 3D Space
CN117783051A (zh) * 2024-02-28 2024-03-29 西安尚展信息科技有限公司 一种基于多传感器数据融合的甲烷气体泄漏检测方法
CN117809217A (zh) * 2023-12-26 2024-04-02 浙江大学 一种基于实时单阶段目标识别的察打方法及系统
CN117848354A (zh) * 2024-03-07 2024-04-09 长春理工大学 空间目标多模态信息融合光电探测定位定轨装置和方法
CN118135420A (zh) * 2024-03-21 2024-06-04 中国科学院空天信息创新研究院 多体制数据融合的舰船识别装置、方法和电子设备
CN118486198A (zh) * 2024-07-16 2024-08-13 烟台欣飞智能系统有限公司 基于区域划分的无人机交通控制方法、设备及介质
CN118486198B (zh) * 2024-07-16 2024-09-24 烟台欣飞智能系统有限公司 基于区域划分的无人机交通控制方法、设备及介质

Cited By (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969637A (zh) * 2019-12-02 2020-04-07 深圳市唯特视科技有限公司 一种基于生成对抗网络的多威胁目标重建及态势感知方法
CN111060388B (zh) * 2019-12-17 2022-10-04 吉林大学 材料力学性能多参量原位监测平台及多数据融合分析方法
CN111060388A (zh) * 2019-12-17 2020-04-24 吉林大学 材料力学性能多参量原位监测平台及多数据融合分析方法
CN111158014B (zh) * 2019-12-30 2023-06-30 华通科技有限公司 多雷达综合探鸟系统
CN111077539A (zh) * 2019-12-30 2020-04-28 华通科技有限公司 基于激光雷达的探鸟系统
CN111158014A (zh) * 2019-12-30 2020-05-15 华通科技有限公司 多雷达综合探鸟系统
CN111077539B (zh) * 2019-12-30 2023-06-02 华通科技有限公司 基于激光雷达的探鸟系统
CN111209840B (zh) * 2019-12-31 2022-02-18 浙江大学 一种基于多传感器数据融合的3d目标检测方法
CN111209840A (zh) * 2019-12-31 2020-05-29 浙江大学 一种基于多传感器数据融合的3d目标检测方法
CN111077335A (zh) * 2020-01-22 2020-04-28 滴图(北京)科技有限公司 一种车速检测方法、车速检测装置及可读存储介质
US20240037786A1 (en) * 2020-02-03 2024-02-01 Science Applications International Corporation Detecting Target Objects in a 3D Space
CN111460995A (zh) * 2020-03-31 2020-07-28 普宙飞行器科技（深圳）有限公司 基于无人机的电力线路巡检方法及巡检系统
CN111680537A (zh) * 2020-03-31 2020-09-18 上海航天控制技术研究所 一种基于激光红外复合的目标检测方法及系统
CN111507394A (zh) * 2020-04-15 2020-08-07 中国科学院福建物质结构研究所 一种多域空间数据融合方法和融合装置
WO2021208150A1 (zh) * 2020-04-15 2021-10-21 中国科学院福建物质结构研究所 一种多域空间数据融合方法和融合装置
CN111539921A (zh) * 2020-04-16 2020-08-14 华北电力大学 一种基于多传感器信息融合的图像质量评估方法
CN111582066A (zh) * 2020-04-21 2020-08-25 浙江大华技术股份有限公司 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN111582066B (zh) * 2020-04-21 2023-10-03 浙江大华技术股份有限公司 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN111539891A (zh) * 2020-04-27 2020-08-14 高小翎 单张遥感图像的波段自适应除雾优化处理方法
CN111624569A (zh) * 2020-04-28 2020-09-04 北京航天朗智科技有限公司 雷达信号处理装置
CN111856061A (zh) * 2020-06-24 2020-10-30 沈阳上博智像科技有限公司 具有多信息融合和光流测速功能的超小型双光成像系统
CN111859266A (zh) * 2020-07-30 2020-10-30 北京环境特性研究所 基于多源信息融合的空间目标结构反演方法和装置
CN112099037B (zh) * 2020-09-17 2023-11-10 上海波汇科技有限公司 一种基于fmcw激光雷达高点云获取量的目标检测方法及装置
CN112099037A (zh) * 2020-09-17 2020-12-18 上海波汇科技有限公司 一种基于fmcw激光雷达高点云获取量的目标检测方法及装置
CN112444374B (zh) * 2020-09-18 2022-10-11 中国人民解放军战略支援部队航天工程大学士官学校 一种基于光学跟踪测量设备伺服系统的跟踪评估方法
CN112444374A (zh) * 2020-09-18 2021-03-05 中国人民解放军战略支援部队航天工程大学士官学校 一种基于光学跟踪测量设备伺服系统的跟踪评估方法
CN112348054A (zh) * 2020-10-12 2021-02-09 北京国电通网络技术有限公司 多类型传感器的数据处理方法、装置、介质和系统
CN112241763A (zh) * 2020-10-19 2021-01-19 中国科学技术大学 多源多模动态信息融合与认知方法及系统
CN112487947A (zh) * 2020-11-26 2021-03-12 西北工业大学 基于图像融合与目标检测网络的低照度图像目标检测方法
CN112697066A (zh) * 2020-12-02 2021-04-23 王刚 车辆部件定位方法、装置及计算机存储介质
CN112782686A (zh) * 2020-12-15 2021-05-11 浙江中控技术股份有限公司 基于多维识别定位技术的装车自动对位系统及方法
CN112613381A (zh) * 2020-12-17 2021-04-06 浙江大华技术股份有限公司 一种图像映射方法、装置、存储介质及电子装置
CN112946684B (zh) * 2021-01-28 2023-08-11 浙江大学 基于光学目标信息辅助的电磁遥感智能成像系统与方法
CN112946684A (zh) * 2021-01-28 2021-06-11 浙江大学 基于光学目标信息辅助的电磁遥感智能成像系统与方法
CN113029157A (zh) * 2021-04-06 2021-06-25 南通大学 一种中波红外和长波红外组合的交互式多模型姿态估计方法
CN113324563A (zh) * 2021-04-19 2021-08-31 陕西师范大学 一种用于多传感器多目标跟踪的自适应传感器管理方法
CN113324563B (zh) * 2021-04-19 2022-12-02 陕西师范大学 一种用于多传感器多目标跟踪的自适应传感器管理方法
CN113240741A (zh) * 2021-05-06 2021-08-10 青岛小鸟看看科技有限公司 基于图像差异的透明物体追踪方法、系统
US11645764B2 (en) 2021-05-06 2023-05-09 Qingdao Pico Technology Co., Ltd. Image difference-based method and system for tracking a transparent object
WO2022233111A1 (zh) * 2021-05-06 2022-11-10 青岛小鸟看看科技有限公司 基于图像差异的透明物体追踪方法、系统
CN113610695A (zh) * 2021-05-07 2021-11-05 浙江兆晟科技股份有限公司 一种红外望远镜全画幅成像输出方法及系统
CN113197194A (zh) * 2021-05-26 2021-08-03 成都西科微波通讯有限公司 一种全向声波驱鸟器及驱鸟方法
CN113255779B (zh) * 2021-05-28 2023-08-18 中国航天科工集团第二研究院 多源感知数据融合识别方法、系统及计算机可读存储介质
CN113255779A (zh) * 2021-05-28 2021-08-13 中国航天科工集团第二研究院 多源感知数据融合识别方法、系统及计算机可读存储介质
CN113434713B (zh) * 2021-06-18 2024-03-12 广东翁源滃江源国家湿地公园管理处 一种基于一张图的林业大数据建设方法及系统
CN113434713A (zh) * 2021-06-18 2021-09-24 广东翁源滃江源国家湿地公园管理处 一种基于一张图的林业大数据建设方法及系统
CN113536984A (zh) * 2021-06-28 2021-10-22 北京沧沐科技有限公司 一种基于无人机的图像目标识别与跟踪系统
CN113536984B (zh) * 2021-06-28 2022-04-26 北京沧沐科技有限公司 一种基于无人机的图像目标识别与跟踪系统
CN113317763B (zh) * 2021-06-30 2024-03-19 平安科技（深圳）有限公司 基于多模态的帕金森病检测装置及计算机可读存储介质
CN113317763A (zh) * 2021-06-30 2021-08-31 平安科技（深圳）有限公司 基于多模态的帕金森病检测装置及计算机可读存储介质
CN113691747A (zh) * 2021-07-19 2021-11-23 北京理工大学 无人驾驶中红外视频转换为可见光视频的方法
CN113691747B (zh) * 2021-07-19 2022-05-17 北京理工大学 无人驾驶中红外视频转换为可见光视频的方法
CN113298194A (zh) * 2021-07-26 2021-08-24 中大检测(湖南)股份有限公司 一种基于多传感器的数据融合方法、系统及存储介质
CN113628261B (zh) * 2021-08-04 2023-09-22 国网福建省电力有限公司泉州供电公司 一种电力巡检场景下的红外与可见光图像配准方法
CN113628261A (zh) * 2021-08-04 2021-11-09 国网福建省电力有限公司泉州供电公司 一种电力巡检场景下的红外与可见光图像配准方法
CN113759314A (zh) * 2021-09-01 2021-12-07 浙江讯飞智能科技有限公司 一种声源可视化方法、装置、系统和计算机可读存储介质
CN114067353B (zh) * 2021-10-12 2024-04-02 北京控制与电子技术研究所 一种采用多功能加固处理机实现多源数据融合的方法
CN114067353A (zh) * 2021-10-12 2022-02-18 北京控制与电子技术研究所 一种采用多功能加固处理机实现多源数据融合的方法
CN114052789A (zh) * 2021-11-10 2022-02-18 深圳英美达医疗技术有限公司 一种探头识别及参数配置装置及方法
CN114052789B (zh) * 2021-11-10 2023-12-15 深圳英美达医疗技术有限公司 一种探头识别及参数配置装置及方法
CN114297237A (zh) * 2021-12-14 2022-04-08 重庆邮电大学 基于类别融合的三维点云数据检索方法、装置及计算机设备
CN114049474B (zh) * 2022-01-13 2022-03-29 天津仁爱学院 一种高精度遥感快速成图方法、装置及存储介质
CN114049474A (zh) * 2022-01-13 2022-02-15 天津仁爱学院 一种高精度遥感快速成图方法、装置及存储介质
CN114638942A (zh) * 2022-03-16 2022-06-17 北京理工大学 一种异构变分辨率点云成像可视化方法
CN114655389A (zh) * 2022-04-12 2022-06-24 广东海洋大学 一种具有目标识别功能的无人值守船舶系统
CN115083088A (zh) * 2022-05-11 2022-09-20 长江慧控科技(武汉)有限公司 铁路周界入侵预警方法
CN115150547A (zh) * 2022-06-02 2022-10-04 合肥鼎原科技有限公司 一种飞行监视装置及其监视方法
CN115361499B (zh) * 2022-08-16 2024-03-12 小视科技(江苏)股份有限公司 双机协同的边防目标识别与追踪系统及方法
CN115361499A (zh) * 2022-08-16 2022-11-18 南京甄视智能科技有限公司 双机协同的边防目标识别与追踪系统及方法
CN115620263B (zh) * 2022-10-25 2023-08-15 四川吉利学院 基于摄像机和激光雷达图像融合的智能车障碍物检测方法
CN115620263A (zh) * 2022-10-25 2023-01-17 四川吉利学院 基于摄像机和激光雷达图像融合的智能车障碍物检测方法
CN116338580A (zh) * 2023-03-27 2023-06-27 亿慧云智能科技（深圳）股份有限公司 一种室内定位检测系统及方法
CN116091882B (zh) * 2023-03-28 2023-12-22 中国科学院光电技术研究所 一种基于自适应双通道pcnn的偏振图像融合方法
CN116091882A (zh) * 2023-03-28 2023-05-09 中国科学院光电技术研究所 一种基于自适应双通道pcnn的偏振图像融合方法
CN116580828A (zh) * 2023-05-16 2023-08-11 深圳弗瑞奇科技有限公司 一种猫健康的全自动感应识别的可视化监测方法
CN116580828B (zh) * 2023-05-16 2024-04-02 深圳弗瑞奇科技有限公司 一种猫健康的全自动感应识别的可视化监测方法
CN116580290A (zh) * 2023-07-11 2023-08-11 成都庆龙航空科技有限公司 无人机的识别方法、装置及存储介质
CN116580290B (zh) * 2023-07-11 2023-10-20 成都庆龙航空科技有限公司 无人机的识别方法、装置及存储介质
CN117238143A (zh) * 2023-09-15 2023-12-15 北京卓视智通科技有限责任公司 基于雷达双光谱相机的交通数据融合方法、系统和装置
CN117238143B (zh) * 2023-09-15 2024-03-22 北京卓视智通科技有限责任公司 基于雷达双光谱相机的交通数据融合方法、系统和装置
CN117809217A (zh) * 2023-12-26 2024-04-02 浙江大学 一种基于实时单阶段目标识别的察打方法及系统
CN117783051A (zh) * 2024-02-28 2024-03-29 西安尚展信息科技有限公司 一种基于多传感器数据融合的甲烷气体泄漏检测方法
CN117783051B (zh) * 2024-02-28 2024-06-14 西安尚展信息科技有限公司 一种基于多传感器数据融合的甲烷气体泄漏检测方法
CN117848354A (zh) * 2024-03-07 2024-04-09 长春理工大学 空间目标多模态信息融合光电探测定位定轨装置和方法
CN117848354B (zh) * 2024-03-07 2024-05-31 长春理工大学 空间目标多模态信息融合光电探测定位定轨装置和方法
CN118135420A (zh) * 2024-03-21 2024-06-04 中国科学院空天信息创新研究院 多体制数据融合的舰船识别装置、方法和电子设备
CN118486198A (zh) * 2024-07-16 2024-08-13 烟台欣飞智能系统有限公司 基于区域划分的无人机交通控制方法、设备及介质
CN118486198B (zh) * 2024-07-16 2024-09-24 烟台欣飞智能系统有限公司 基于区域划分的无人机交通控制方法、设备及介质

Similar Documents

Publication Publication Date Title
CN110428008A (zh) 一种基于多融合传感器的目标探测与识别装置和方法
CN110415342B (zh) 一种基于多融合传感器的三维点云重建装置与方法
CN109003253B (zh) 神经网络点云生成系统
US12020476B2 (en) Data synthesis for autonomous control systems
CN110414396B (zh) 一种基于深度学习的无人艇感知融合算法
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN101676744B (zh) 一种复杂背景低信噪比下弱小目标高精度跟踪方法
CN100565244C (zh) 多模多目标精密跟踪装置和方法
CN109085570A (zh) 基于数据融合的车辆检测跟踪算法
CN104237881B (zh) Fmcw防碰撞雷达多目标检测与跟踪系统及方法
CN201114551Y (zh) 多模多目标精密跟踪装置
Abdulatif et al. Towards adversarial denoising of radar micro-Doppler signatures
CN113050083A (zh) 一种基于点云的超宽带雷达人体姿态重构方法
CN112949380A (zh) 一种基于激光雷达点云数据的智能水下目标识别系统
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
Matzner et al. ThermalTracker-3D: A thermal stereo vision system for quantifying bird and bat activity at offshore wind energy sites
CN111311640A (zh) 一种基于运动估计的无人机识别跟踪方法
CN115131756A (zh) 一种目标检测方法及装置
CN111508003A (zh) 一种红外小目标检测跟踪及识别方法
Armanious et al. Towards adversarial denoising of radar micro-doppler signatures
CN110827257A (zh) 一种嵌入式机载红外图像视觉导航定位方法
CN116051426B (zh) 一种合成孔径雷达图像处理方法
Wickramasuriya et al. Deep Monocular Relative 6D Pose Estimation for Ship-Based Autonomous UAV
Zande 3D Point Cloud Object Detection for Millimeter Wave Radar: a Synthesis Study
Hu et al. RADNet: A Radar Detection Network for Target Detection Using 3D Range-Angle-Doppler Tensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191108

WW01 Invention patent application withdrawn after publication