CN110007366A - 一种基于多传感器融合的生命搜寻方法以及系统 - Google Patents

一种基于多传感器融合的生命搜寻方法以及系统 Download PDF

Info

Publication number
CN110007366A
CN110007366A CN201910161607.0A CN201910161607A CN110007366A CN 110007366 A CN110007366 A CN 110007366A CN 201910161607 A CN201910161607 A CN 201910161607A CN 110007366 A CN110007366 A CN 110007366A
Authority
CN
China
Prior art keywords
sensor
life
neural network
fusion
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910161607.0A
Other languages
English (en)
Other versions
CN110007366B (zh
Inventor
周翊民
殷力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201910161607.0A priority Critical patent/CN110007366B/zh
Publication of CN110007366A publication Critical patent/CN110007366A/zh
Application granted granted Critical
Publication of CN110007366B publication Critical patent/CN110007366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/887—Radar or analogous systems specially adapted for specific applications for detection of concealed objects, e.g. contraband or weapons
    • G01S13/888—Radar or analogous systems specially adapted for specific applications for detection of concealed objects, e.g. contraband or weapons through wall detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G01S7/2923—Extracting wanted echo-signals based on data belonging to a number of consecutive radar periods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/354—Extracting wanted echo-signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
    • G01V1/001—Acoustic presence detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V11/00—Prospecting or detecting by methods combining techniques covered by two or more of main groups G01V1/00 - G01V9/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/12—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with electromagnetic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Electromagnetism (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • Acoustics & Sound (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于多传感器融合的生命搜寻方法以及系统，该方法包括以下步骤：设置若干传感器模组，以设定频率获取由每一传感器模组采集的传感器数据序列组；对该传感器数据序列组进行基于神经网络的预处理，形成对应传感器模组的生命检测初步概率输出；将每一初步概率输出作为深度神经网络的一路输入，经由该深度神经网络对该若干传感器模组的若干初步概率输出进行拼接和融合，并输出生命存在的最终概率值。本发明的生命搜索方法与系统基于多个传感器模组采集多种环境信息，使用深度神经网络融合拼接不同环境信息下的生命检测数据，使生命检测的鲁棒性和准确率有一个阶段性的提高。

Description

一种基于多传感器融合的生命搜寻方法以及系统
技术领域
本发明涉及地质灾害预防与机器人控制技术领域，特别涉及一种基于多传感器融合的生命搜寻方法以及系统。
背景技术
研究表明，中国大陆进入了新的地震活跃期，始终面临着强烈地震的威胁。国家高度重视利用科技手段提高应对突发公共事件的能力，比如，何实施科技救援，提高地震废墟环境现场幸存者搜索效率、减少伤害，成为灾后现场救援面临的重要难题。
在实际现场救援中，地震等自然灾害会造成大量房屋倒塌，如何在废墟中确定生命体的位置是灾害救援的一个重大难题。
现有技术中，有单独利用超宽带生命信号，比如生命探测雷达电磁波探测作为生命检测技术，利用电磁波的反射原理，通过检测人体呼吸所引起的微动，辨识生命体并提取生命体呼吸频率及位置信息。超宽带生命探测雷达的基本原理是利用其天线连续发射超宽带脉冲，生命体由于呼吸造成微动，会引起反射面与雷达间的相对距离发生改变，对应的反射脉冲信号会出现在每个探测周期的不同时刻，将连续探测的多道数据做B-Scan图，可观察到微动引起的反射脉冲移动现象，提取和识别该反射脉冲信号即可作为生命体存在判定依据。
或者，单独采用基于红外图像的生命搜寻技术，红外成像技术是利用探测仪测量目标本身与背景间的红外线差可以得到不同的热红外线形成的红外图像。红外成像通过红外视频传感器对人体进行成像，从而通过背景分割以及人像区域的人体目标检测一系列方法检测出人体目标，但是，单独的红外成像技术在生命搜索应用中，其信噪比和对比度较低、缺乏颜色纹理信息、目标周围有光晕效应、边缘模糊，容易对当前的生命场景产生误判。
可见，传统的生命搜寻都是使用单一的传感器进行生命探测，有很大的局限性，输出的生命搜索结果误差较大，并且稳定性也不好，使用过程中需要依赖工作人员的手动操作。
因此，现有的生命搜索技术还有待于改进和发展。
发明内容
本发明的主要目的是提供一种的基于深度神经网络融合多传感器数据，综合多个传感器的优点，提高生命搜寻准确率的全自动化完成生命搜索的多传感器融合的生命搜寻方法以及系统。
为实现上述目的，第一方面，本发明实施方式提供的技术方案是：提供一种基于多传感器融合的生命搜寻方法，包括以下步骤：
设置若干传感器模组，以设定频率获取由每一传感器模组采集的传感器数据序列组；
对该传感器数据序列组进行基于神经网络的预处理，形成对应传感器模组的生命检测初步概率输出；
将每一初步概率输出作为深度神经网络的一路输入，经由该深度神经网络对该若干传感器模组的若干初步概率输出进行拼接和融合，并输出生命存在的最终概率值。
其中，该传感器模组包括超宽带雷达传感器，对应的传感器数据序列组包括发射信号序列组与回波信号序列组，该超宽带雷达传感器的基于神经网络的预处理包括：
该超宽带雷达传感器的发射信号序列组与回波信号序列组组成第一卷积神经网络的双通道输入信号；
该第一卷积神经网络对该双通道输入信号进行雷达信号的特征提取，通过LSTM循环神经网络分析该双通道输入信号在设定时间尺度上的相关性，以生成该超宽带雷达传感器的生命检测初步概率输出。
其中，该传感器模组包括红外视频传感器，对应的传感器数据序列组包括红外图像序列组，该红外视频传感器的基于神经网络的预处理包括：
输入该红外图像序列组；
采用高斯混合模型(GMM)建模，对该红外图像序列组进行感兴趣区域(ROI)的分割，得到生命候选目标；
基于AOE-HOG特征检测算法，提取该生命候选目标的融合特征；
采用SVM分类器对该融合特征进行分类，得出分类结果；
将该分类结果作为第二卷积神经网络的输入，该第二卷积神经网络生成该红外视频传感器的生命检测初步概率输出。
在红外视频传感器的数据处理中，使用若干正负训练样本对该SVM分类器进行监督训练，以推导出最优的分类决策函数。
其中，该传感器模组包括声波传感器，对应的传感器数据序列组包括声波信号序列组，该声波传感器的基于神经网络的预处理包括：
输入声波传感器的声波源信号；
对该声波源信号进行小波变换去噪，形成声波信号；
采用独立成分分析(ICA)计算分离不同声波信号；
将该分离的声波信号输入第三卷积神经网络以提取声波信号特征；
该第三卷积神经网络识别该声波信号特征，并生成该声波传感器的生命检测初步概率输出。
优选地，该深度神经网络包括卷积神经网络与循环神经网络(LSTM)。
为了避免初步概率输出的信号变得平滑，使该深度神经网络学习到包络信息的同时还能保留初步概率输出信号的原始波形特征，本实施例中，将每一个传感器模组得到的初步概率输出序列用宽度为G的平滑窗进行平滑，并将平滑后的概率输出序列和平滑前的概率输出序列拼接为一个二维向量；
将该二维向量输入该深度卷积神经网络从而计算出生命存在的最终概率值。
其中，该深度神经网络的损失函数使用交叉熵损失函数，交叉熵失函数的公式为：
ln＝-wn[yn×logxn+(1-yn)×log(1-xn)]
其中，yn是真实的标签值，可以为0或者1，xn是样本下的预测值；wn是可调整的权重。
第二方面，本发明实施方式提供的技术方案是：提供一种基于多传感器融合的生命搜寻系统，包括控制器以及若干传感器模组，该控制器包括对应该若干传感器模组设置的基于神经网络的若干预处理模块以及将该若干预处理模块的输出作为输入的融合预测模块，每一预处理模块用于对传感器数据序列组进行基于神经网络的预处理，形成对应传感器模组的生命检测初步概率输出，该融合预测模块用于将每一初步概率输出作为深度神经网络的一路输入，经由深度神经网络对该若干传感器模组的若干初步概率输入进行拼接和融合，并输出生命存在的最终概率值。
第三方面，本发明实施方式提供的技术方案是：提供一种计算机程序产品，该计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述的方法。
本发明实施方式的有益效果是：本实施例的基于多传感器融合的生命搜寻方法以及系统，基于多个传感器模组采集多种环境信息，使用深度神经网络融合拼接不同环境信息下的生命检测初步概率输出，大大提高生命检测的鲁棒性和准确率。本实施例的本实施例的基于多传感器融合的生命搜寻方法以及系统，基于深度神经网络融合多传感器数据，综合多个传感器的数据信息的优点，提高生命搜寻准确率的同时可全自动化完成生命搜索工作，直接输出生命检测最终概率值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例的基于多传感器融合的生命搜寻方法的主要流程示意图；
图2为本发明实施例的种基于多传感器融合的生命搜寻系统的整体结构示意图；
图3为本发明实施例的种基于多传感器融合的生命搜寻系统的一实施例结构示意图；
图4为本发明实施例的基于多传感器融合的生命搜寻方法的超宽带雷达传感器的神经网络预处理流程示意图；
图5为本发明实施例的基于多传感器融合的生命搜寻方法的红外视频传感器的神经网络预处理流程示意图；
图6为本发明实施例的基于多传感器融合的生命搜寻方法的声波传感器的神经网络预处理流程示意图；
图7为本发明实施例的基于多传感器融合的生命搜寻系统的最终概率预测值与真实值的对比图；
图8为本发明实施例的基于多传感器融合的生命搜寻系统的硬件结构示意图；以及
图9为本发明实施例的基于多传感器融合的生命搜寻系统的软件模块示意图。
本发明目实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明涉及一种基于多传感器融合的生命搜寻方法以及基于多传感器融合的生命搜寻系统。该方法和系统通过多传感器融合的方式实现对生命体的搜寻。本实施例中设置红外视频传感器、声波传感器、超宽带雷达传感器对生命信号进行探测，并整合各个传感器的信息识别优点，使传感器融合到达一个平衡，更准确地探测自然灾害现场的生命体以及生命体位置。
如图1所示，该方法主要包括以下步骤：包括以下步骤：设置若干传感器模组，以设定频率获取由每一传感器模组采集的传感器数据序列组；对该传感器数据序列组进行基于神经网络的预处理，形成对应传感器模组的生命检测初步概率输出；将每一初步概率输出作为深度神经网络的一路输入，经由该深度神经网络对该若干传感器模组的若干初步概率输出进行拼接和融合，并输出生命存在的最终概率值。
如图2和图9所示，该生命搜寻方法由融合预测模块40实现。该多传感器融合部分由深度神经网络组成。三种传感器共同作为该深度神经网络的三路输入，由该深度神经网络的单输出推算出活体的存在与否。本实施例中，在进行决策级融合之前，每个传感器的数据序列组将被单独进行预处理。
可以理解的是，本实施例的传感器不限于以上三种传感器。其它捕获环境生命体特征的传感器也可以根据需要叠加进来。基于神经网络强大可扩展性的优点，该生命搜寻系统可以扩展更多传感器，传感器数据融合的结果更加准确。
本实施例的基于多传感器融合的生命搜寻方法以及系统，基于多个传感器模组采集多种环境信息，使用深度神经网络融合拼接不同环境信息下的生命检测初步概率输出，大大提高生命检测的鲁棒性和准确率。
本实施例的基于多传感器融合的生命搜寻方法以及系统，通过多传感器融合的方式对生命进行搜寻，比如通过红外视频传感器、声波传感器、超宽带雷达传感器对生命信号进行探测，从而整合各个传感器的优点，使传感器融合到达一个平衡。
本实施例的基于多传感器融合的生命搜寻方法以及系统，多传感器融合部分由深度神经网络组成。三种传感器作为深度神经网络的三向传感器输入，直接由深度神经网络的单输出计算出生命体的存在与否。本实施例的基于多传感器融合的生命搜寻方法以及系统，在进行多传感器数据序列组的融合之前，对每个传感器采集的传感器数据序列组单独采取基于神经网络的预处理措施，以整体提高生命体预测的准确性。
本实施例的基于多传感器融合的生命搜寻方法以及系统，可写入硬件存储器。比如，缩小硬件体积可以将本系统安装在无人机上，该无人机再将生命搜寻的最终检测值通过无线通信技术返回给控制中心。
实施例1
请一并参考图1至图6，以下介绍本实施例的基于多传感器融合的生命搜寻方法。
该生命搜寻方法，主要包括以下步骤：
步骤101：设置若干传感器模组，以设定频率获取由每一传感器模组采集的传感器数据序列组；
步骤102：对该传感器数据序列组进行基于神经网络的预处理，形成对应传感器模组的生命检测初步概率输出；
步骤103：将每一初步概率输出作为深度神经网络的一路输入，经由该深度神经网络对该若干传感器模组的若干初步概率输出进行拼接和融合，并输出生命存在的最终概率值。
如图3所示，以下以红外视频传感器、声波传感器、超宽带雷达传感器为例介绍本方法。
本实施例中，在融合阶段，该深度神经网络包括卷积神经网络与循环神经网络(LSTM)。
请参考图2，为了避免初步概率输出的信号变得平滑，使该深度神经网络学习到包络信息的同时还能保留初步概率输出信号的原始波形特征，将每一个传感器模组得到的初步概率输出序列用宽度为G的平滑窗进行平滑，并将平滑后的概率输出序列和平滑前的概率输出序列拼接为一个二维向量；
将该二维向量输入该深度卷积神经网络从而计算出生命存在的最终概率值。
请参考图4，在超宽带雷达传感器的单独基于神经网络的预处理中，对应的传感器数据序列组包括发射信号序列组与回波信号序列组，该超宽带雷达传感器的基于神经网络的预处理包括：
如图4所示，该超宽带雷达传感器的发射信号序列组与回波信号序列组组成第一卷积神经网络的双通道输入信号；
该第一卷积神经网络对该双通道输入信号进行雷达信号的特征提取，通过LSTM循环神经网络分析该双通道输入信号在设定时间尺度上的相关性，以生成该超宽带雷达传感器的生命检测初步概率输出。
对于生命信号来说，雷达回波信号序列组可以看作是超宽带雷达发射信号经人体微动及周围环境等杂波信号调制所得。假设雷达天线与人体之间除人体外周围物体均为静止,则超宽带雷达的信道冲激响应可表示为:
其中τ,t分别为信号传输快时间和信号采集慢时间
假设雷达发射信号为p(τ)，那么接收信号表示为：
采用Ts,Tf为慢时间采样间隔和快时间采样间隔对信号进行离散化得:
R(m,n)＝r(mTs,nTf)
其中m＝0,1,2,...,M-1；n＝0,1,2,...,N-1，所以R(m,n)为M*N矩阵，是携带体征信息的雷达回波序列组。
如图4所示，雷达信号属于非平稳非线性的信号，仅通过小波变换不能将其频率区域的特征进行有效分离。本实施例中，采用降维预处理手段。
该降维预处理包括主成分分析方法(PCA)，能将雷达回波信号各分量分离，抑制杂波，提高信号矩阵的信噪比，通过PCA方法可以将信号分解为具有最大方差的向量构成的子空间，从而可以重构出高信噪比的雷达波形。
本文提出一种卷积神经网络(CNN)结合循环神经网络(LSTM)提取特征的方法。在利用PCA进行回波信号序列组预处理情况下，卷积神经网络可以方便提取微弱信号的重要特征。该循环神经网络(LSTM)可以增强时间尺度之间的特征联系，降低了瞬时频率的波动，不用特别对生命体征信号进行重构。
降维预处理采用主成分分析方法(PCA)降维以抑制回波中的杂波分量，对超宽带发射信号也用同样的方法进行处理，将发射波信号和回波信号组合成双通道雷达波信号，并对双通道信号采样，得到卷积神经网络输入样本，采用卷积神经网络提取出双通道信号特征，循环神经网络(LSTM)分析双通道信号时间尺度之间的相关性，通过有监督学习能够将目标雷达回波信号进行二分类，从而确定是否存在生命体，最终对是否存在生命体推算出该超宽带雷达传感器的生命检测初步概率输出。该超宽带雷达传感器的基于神经网络的预处理如图4所示。
请参考图5，在红外视频传感器的单独基于神经网络的预处理中，对应的传感器数据序列组包括红外图像序列组，该红外视频传感器的基于神经网络的预处理包括：
输入该红外图像序列组；
采用高斯混合模型(GMM)建模，对该红外图像序列组进行感兴趣区域(ROI)的分割，得到生命候选目标；
基于AOE-HOG特征检测算法，提取该生命候选目标的融合特征；
采用SVM分类器对该融合特征进行分类，得出分类结果；
将该分类结果作为第二卷积神经网络的输入，该第二卷积神经网络生成该红外视频传感器的生命检测初步概率输出。
红外图像序列组的人体目标检测主要分为ROI分割过程和分类检测过程。
红外图像序列组ROI分割方法：背景差法利用当前帧图像与参考背景进行差分，检测速度依赖于背景建模，并且对光照和干扰目标比较敏感，需要提高背景建模的实时性和鲁棒性。
人体目标分类检测的方法：采用自适应更新GMM个数算法，对红外图像序列组中ROI进行分割，得到人体候选目标；然后对候选目标提取AOE-HOG特征，采用SVM分类器进行目标分类。
采用基于改进的GMM人体目标分割和基于AOE-HOG特征的人体检测方法在一定程度上提高了实时性和准确性。
为了增加分类准确性，在红外视频传感器的数据处理中，使用若干正负训练样本对该SVM分类器进行监督训练，以推导出最优的分类决策函数。
SVM分类器是一种有监督的机器学习方法，通过构建分类界面实现对目标区域的分类，即采用一系列的正负训练样本对分类器进行监督训练，求出最优的分类决策函数。对于人体目标检测这一非线性可分问题，可以通过适当的核函数将多维向量映射到更高维的空间，来建立一个有最大间隔的超平面。具体的红外图像的预处理处理流程请参考图5。
请参考图6，在声波传感器的单独基于神经网络的预处理中，其中，该传感器模组包括声波传感器，对应的传感器数据序列组包括声波信号序列组，该声波传感器的基于神经网络的预处理包括：
输入声波传感器的声波源信号；
对该声波源信号进行小波变换去噪，形成声波信号；
采用独立成分分析(ICA)计算分离不同声波信号；
将该分离的声波信号输入第三卷积神经网络以提取声波信号特征；
该第三卷积神经网络识别该声波信号特征，并生成该声波传感器的生命检测初步概率输出。
采用声波信号进行生命探测，主要分析受困人员发出的多种有用的音频求救和生理信号。
受困者受困时听到救援机器人时会发出求救信号，包括低频间隔敲击的声波、金属管道敲击的声波、位置移动时产生的振动波；受困者受困时因为身体体征虚弱发出的呼吸的声波和心跳的声波，这两种生理信号波形比较有规律，都是生命存活时候的必定会发出的声波信号，只要将其声波规律进行捕捉那么就可以一定程度上对生命进行搜寻。
如图6所示，信号的去噪：采用小波变换的方法对信号进行滤波，即预处理。小波滤波的方法是：首先对采集的信号进行小波分解，同时为小波系数确定一个阈值。当信号经过小波分解后的系数小于该阈值时，就把该系数置为零；否则,保留原系数值。最后,用小波反变换得到需要的有效信号,经过噪声预处理的声音信号,信噪比有比较明显的提升,这样有利于特征的提取和分类。
独立分量分析方法的信号分离：由于实际中接收到的多源信号往往形成混合信号,难以采用频谱分析简单分离。独立分量分析(Independent Component Analysis,ICA)是近年来由盲信源分离技术发展来的多道信号盲信源分离方法，可以分离出需要的源信号。使用独立分量分析的时候，源信号必须是相互独立的，且最多有一个源信号是高斯分布，但是观测到的信号并不是最多只有一个高斯分布的，需要观测的数据分布进行处理，而且要进行去均值、白噪声等操作。
再采用卷积神经网络的方法处理信号分量相关的信号，在不进行额外操作的情况下进行体征的提取和分类。
声波传感器的生命探测原理与超宽带带雷达波信号的生命探测相同，采用相关分析原理来进行分析，相关函数的定义为公式：
x(n)和y(n)互为相关数，rxy(m)是在时刻m时的值，利用同源信号在时域的相关特性，求取相关函数，相关函数的最大值处即为两个信号的最相似处。通过比较ICA分离后的信号的相似性，可以判定是否存在生命，如果多个分离的信号都是相似的，那么不存在生命，如果有明显差异的信号存在，那么就有可能存在生命。
在声波传感器的预处理中，使用卷积神经网络可以代替多通道的独立分量的相似性计算，在增加正确率的同时，可以减少相关计算的复杂度，通过卷积网络对随机信号进行卷积，并且根据教师信号得出生命体存在的可能性，具体处理过程见下图6的信号处理流程图。
如图2以及图9所示，在传感器输出的融合阶段，可根据自己经验对传感器可信度进行调整，传感器可信度的调整可以在交叉熵损失函数中进行。
交叉熵损失函数是适合做二分类的损失函数，通过配置一个权重列表就可以实现可信度调整的功能。
其中，该深度神经网络的损失函数使用交叉熵损失函数，交叉熵失函数的公式为：
ln＝-wn[yn×logxn+(1-yn)×log(1-xn)]
其中，yn是真实的标签值，可以为0或者1，xn是样本下的预测值；wn是可调整的权重。
在该融合预测模块40的融合算法参数的选择中，参数G的选择尤为重要。决定了输入数据序列组的长度，也决定卷积网络的特征的有效性。
在决策融合阶段，本实施例基于卷积神经网络(CNN)结合循环神经网络(LSTM)处理传感器数据的融合具有良好的性能与鲁棒性。该融合预测模块40采用决策级融合方法将三个传感器生命探测的概率输出进行融合，给出生命探测最合理的预估。
本实施例的决策融合中，每一路的输入信号采用原始信号与平滑后的概率值序列拼接成一个二维的向量，然后采用卷积神经网络进行特征提取，在保证信号不会变得平滑的同时，循环神经网络不仅能学习到包络信息，而且还能保留原始信号的波形特征。
在决策融合中，利用卷积神经网络提取出双通道数据的分布特征。将得到的特征图输入到循环神经网络(LSTM)中，其中，LSTM的隐状态空间大小为G，LSTM网络可以学习到数据的时域之间的特征，输出时域特征图。
请参考图2，融合层将传感器输出的三路时域特征图拼接起来，再次通过两个循环神经网络(LSTM)处理数据。第一个循环神经网络(LSTM)的隐状态空间大小为3＊G，网络综合三个特征图的时域特性，第二个循环神经网络(LSTM)只输出最后一次的状态向量(2＊G)。将最后一次输出的状态向量通过全连接网络输出分类值，再推算出生命存在的最终概率值。
其中，全连接网络采用三层架构，宽度依次为2＊G、G、0.5＊G。损失函数采用交叉熵损失函数。同时，采用深度神经网络的好处在于可以使用反向传播算法调整整个网络的权重，传统方法是将单个传感器的权重总结为一个权重值，神经网络则不同，将传感器的权重放到了神经网络的权重之中，反向传播的权重调整使融合变得更加智能。
实施例2
请再次参考图2以及图9，本实施例涉及基于多传感器融合的生命搜寻系统。
该系统包括控制器10以及若干传感器模组。该若干传感器模组包括超宽带雷达传感器、红外视频传感器以及声波传感器。
该控制器10包括存储数据的超宽带雷达传感器输出概率输出序列21、红外视频传感器输出概率输出序列22以及声波传感器输出概率输出序列23。
该控制器10还包括对应该若干传感器模组设置的基于神经网络的若干预处理模块，比如，对应超宽带雷达传感器设置的第一预处理模块31，对应红外视频传感器设置的第二预处理模块32，以及对应声波传感器设置的第三预处理模块33。
该控制器10还包括将该若干预处理模块的输出作为输入的融合预测模块40。
每一预处理模块用于对传感器数据序列组进行基于神经网络的预处理，形成对应传感器模组的生命检测初步概率输出，该融合预测模块用于将每一初步概率输出作为深度神经网络的一路输入，经由深度神经网络对该若干传感器模组的若干初步概率输入进行拼接和融合，并输出生命存在的最终概率值。
请参考图7，所示为生命检测最终概率值的预测值与真实值的对比图，如图7所示，标号B为预测值的连续波形，标号A为真实值的波形，经过波形对比可以看出，神经网络基本拟合出了样本数据的波形包络的特征，同时也包含数据的详细走势，基本满足多传感器数据拟合的要求，因此，本实施例采用神经网络的方法拟合，有很好的鲁棒性。
本实施例的基于多传感器融合的生命搜寻方法以及系统，基于多个传感器模组采集多种环境信息，使用深度神经网络融合拼接不同环境信息下的生命检测初步概率输出，大大提高生命检测的鲁棒性和准确率。本实施例的本实施例的基于多传感器融合的生命搜寻方法以及系统，基于深度神经网络融合多传感器数据，综合多个传感器的数据信息的优点，提高生命搜寻准确率的同时可全自动化完成生命搜索工作，直接输出生命检测最终概率值。
本实施例的基于多传感器融合的生命搜寻方法以及系统通过多传感器融合的方式对生命进行搜寻，比如通过红外视频传感器、声波传感器、超宽带雷达传感器对生命信号进行探测，从而整合各个传感器的优点，使传感器融合到达一个平衡。
术语简介：
经验模态分解(Empirical Mode Decomposition，EMD)；
固有模态函数(intrinsic mode function，IMF)；
卷积神经网络(Convolutional Neural Networks,CNN)；
循环神经网络(Long Short Term Memory，LSTM)是一种特殊的循环神经网络，LSTM通过精心设计称作为“门”的结构来去除或者增加信息到细胞状态的能力；
支持向量机(Support Vector Machine,SVM)，SVM分类器；
方向梯度直方图(Histogram of Oriented Gradient,HOG)；
AOE网(Activity On Edge，AOE)：用边表示活动的网，活动都表示在了边上；
独立成分分析(IndependentComponent Analysis，ICA)；
主成分分析(Principal Component Analysis,PCA)；
高斯混合模型(Gaussian mixture model，GMM)；
感兴趣区域(Region of Interest，ROI)。
图8是本申请实施例提供的基于多传感器融合的生命搜寻设备600的硬件结构示意图，如图8所示，该设备600包括：
一个或多个处理器610以及存储器620，图8中以一个处理器610为例。该存储器620存储有可被该至少一个处理器610执行的指令，亦即计算机程序640，该指令被该至少一个处理器执行时，使该至少一个处理器能够执行该基于多传感器融合的生命搜寻方法。
处理器610以及存储器620可以通过总线或者其他方式连接，图8中以通过总线连接为例。
存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的基于多传感器融合的生命搜寻方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的基于多传感器融合的生命搜寻方法。
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于多传感器融合的生命搜寻系统的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行上述基于多传感器融合的生命搜寻方法，例如，执行以上描述的图1中的方法步骤101至步骤103，或者执行图4、图5和图6中的步骤；实现附图9中预处理模块31-33以及融合预测模块40等的功能。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤101至步骤103，或者执行图4、图5和图6中的步骤；实现附图9中预处理模块31-33以及融合预测模块40等的功能。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种基于多传感器融合的生命搜寻方法，其特征在于，包括以下步骤：
设置若干传感器模组，以设定频率获取由每一传感器模组采集的传感器数据序列组；
对每一传感器数据序列组进行基于神经网络的预处理，形成对应传感器模组的生命检测初步概率输出；
将每一初步概率输出作为深度神经网络的一路输入，经由所述深度神经网络对所述若干传感器模组的若干初步概率输出进行拼接和融合，并输出生命存在的最终概率值。
2.根据权利要求1所述的基于多传感器融合的生命搜寻方法，其特征在于，所述传感器模组包括超宽带雷达传感器，对应的传感器数据序列组包括发射信号序列组与回波信号序列组，所述超宽带雷达传感器的基于神经网络的预处理包括：
所述超宽带雷达传感器的发射信号序列组与回波信号序列组组成第一卷积神经网络的双通道输入信号；
所述第一卷积神经网络对所述双通道输入信号进行雷达信号的特征提取，通过循环神经网络(LSTM)分析所述双通道输入信号在设定时间尺度上的相关性，以生成所述超宽带雷达传感器的生命检测初步概率输出。
3.根据权利要求1所述的基于多传感器融合的生命搜寻方法，其特征在于，所述传感器模组包括红外视频传感器，对应的传感器数据序列组包括红外图像序列组，所述红外视频传感器的基于神经网络的预处理包括：
输入所述红外图像序列组；
采用高斯混合模型(GMM)建模，对所述红外图像序列组进行感兴趣区域(ROI)的分割，得到生命候选目标；
基于AOE-HOG特征检测算法，提取所述生命候选目标的融合特征；
采用SVM分类器对所述融合特征进行分类，得出分类结果；
将所述分类结果作为第二卷积神经网络的输入，所述第二卷积神经网络生成所述红外视频传感器的生命检测初步概率输出。
4.根据权利要求3所述的基于多传感器融合的生命搜寻方法，其特征在于，使用若干正负训练样本对所述SVM分类器进行监督训练，以推导出最优的分类决策函数。
5.根据权利要求1所述的基于多传感器融合的生命搜寻方法，其特征在于，所述传感器模组包括声波传感器，对应的传感器数据序列组包括声波信号序列组，所述声波传感器的基于神经网络的预处理包括：
输入声波传感器的声波源信号；
对所述声波源信号进行小波变换去噪，形成声波信号；
采用独立成分分析(ICA)计算分离不同声波信号；
将所述分离的声波信号输入第三卷积神经网络以提取声波信号特征；
所述第三卷积神经网络识别所述声波信号特征，并生成所述声波传感器的生命检测初步概率输出。
6.根据权利要求1-5任意一项所述的基于多传感器融合的生命搜寻方法，其特征在于，所述深度神经网络包括卷积神经网络与循环神经网络(LSTM)。
7.根据权利要求6所述的基于多传感器融合的生命搜寻方法，其特征在于，将每一个传感器模组得到的初步概率输出序列用宽度为G的平滑窗进行平滑，并将平滑后的概率输出序列和平滑前的概率输出序列拼接为一个二维向量；
将所述二维向量输入所述深度卷积神经网络从而计算出生命存在的最终概率值。
8.根据权利要求6所述的基于多传感器融合的生命搜寻方法，其特征在于，所述深度神经网络的损失函数使用交叉熵损失函数，交叉熵失函数的公式为：
ln＝-wn[yn×logxn+(1-yn)×log(1-xn)]
其中，yn是真实的标签值，可以为0或者1，xn是样本下的预测值；wn是可调整的权重。
9.一种基于多传感器融合的生命搜寻系统，包括控制器以及若干传感器模组，其特征在于，所述控制器包括对应所述若干传感器模组设置的基于神经网络的若干预处理模块以及将所述若干预处理模块的输出作为输入的融合预测模块，每一预处理模块用于对传感器数据序列组进行基于神经网络的预处理，形成对应传感器模组的生命检测初步概率输出，所述融合预测模块用于将每一初步概率输出作为深度神经网络的一路输入，经由深度神经网络对所述若干传感器模组的若干初步概率输入进行拼接和融合，并输出生命存在的最终概率值。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行权利要求1-5任一项所述的方法。
CN201910161607.0A 2019-03-04 2019-03-04 一种基于多传感器融合的生命搜寻方法以及系统 Active CN110007366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910161607.0A CN110007366B (zh) 2019-03-04 2019-03-04 一种基于多传感器融合的生命搜寻方法以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910161607.0A CN110007366B (zh) 2019-03-04 2019-03-04 一种基于多传感器融合的生命搜寻方法以及系统

Publications (2)

Publication Number Publication Date
CN110007366A true CN110007366A (zh) 2019-07-12
CN110007366B CN110007366B (zh) 2020-08-25

Family

ID=67166352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910161607.0A Active CN110007366B (zh) 2019-03-04 2019-03-04 一种基于多传感器融合的生命搜寻方法以及系统

Country Status (1)

Country Link
CN (1) CN110007366B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126199A (zh) * 2019-12-11 2020-05-08 复旦大学 基于回波测量数据的信号特征提取与数据挖掘方法
CN112446272A (zh) * 2019-08-29 2021-03-05 钜怡智慧股份有限公司 活体检测方法及相关装置
CN113126050A (zh) * 2021-03-05 2021-07-16 沃尔夫曼消防装备有限公司 一种基于神经网络的生命探测方法
CN113267780A (zh) * 2021-04-29 2021-08-17 兴科迪科技（泰州）有限公司 一种基于声波的空间扫描生命体检测系统及方法
CN113792774A (zh) * 2021-09-01 2021-12-14 西北工业大学 一种水中目标智能融合感知方法
CN114063628A (zh) * 2021-11-17 2022-02-18 杭州电子科技大学 一种基于深度学习和雷达检测的无人机救灾系统及方法
CN114252090A (zh) * 2021-12-15 2022-03-29 哈尔滨工业大学 一种多源导航传感器可信性评估方法
WO2022079521A1 (en) * 2020-10-14 2022-04-21 International Business Machines Corporation Multi-sensor life detection within vehicles
CN115563478A (zh) * 2022-12-05 2023-01-03 电子科技大学 基于多类特征融合的毫米波雷达非视距人体行为识别系统

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1458006A (zh) * 2003-07-02 2003-11-26 北京交通大学 基于多特征融合的困倦驾驶检测方法
CN1474177A (zh) * 2003-08-08 2004-02-11 王耀南 多传感器融合智能透明容器检测设备及检测方法
CN1709631A (zh) * 2005-07-04 2005-12-21 中国航空工业第一集团公司北京航空制造工程研究所 一种高能束流焊接过程多信号融合监测仪
CN101697006A (zh) * 2009-09-18 2010-04-21 北京航空航天大学 基于机载雷达和红外成像传感器数据融合的目标识别方法
CN102084794A (zh) * 2010-10-22 2011-06-08 华南农业大学 多传感器信息融合的作物病虫害早期检测方法及装置
US20160099010A1 (en) * 2014-10-03 2016-04-07 Google Inc. Convolutional, long short-term memory, fully connected deep neural networks
CN105676085A (zh) * 2016-01-31 2016-06-15 国家电网公司 基于多传感器信息融合的特高压gis局部放电检测方法
CN106250707A (zh) * 2016-08-12 2016-12-21 王双坤 一种基于深度学习算法处理头部结构像数据的方法
CN106353651A (zh) * 2016-09-30 2017-01-25 国家电网公司 基于bp网络的gis局放声电联合检测故障定位方法
CN106650699A (zh) * 2016-12-30 2017-05-10 中国科学院深圳先进技术研究院 一种基于卷积神经网络的人脸检测方法及装置
CN106778584A (zh) * 2016-12-08 2017-05-31 南京邮电大学 一种基于深层特征与浅层特征融合的人脸年龄估计方法
CN106911930A (zh) * 2017-03-03 2017-06-30 深圳市唯特视科技有限公司 一种基于递归卷积神经网络进行压缩感知视频重建的方法
CN107092254A (zh) * 2017-04-27 2017-08-25 北京航空航天大学 一种基于深度增强学习的家用扫地机器人的设计方法
CN107451552A (zh) * 2017-07-25 2017-12-08 北京联合大学 一种基于3d‑cnn和卷积lstm的手势识别方法
CN107808122A (zh) * 2017-09-30 2018-03-16 中国科学院长春光学精密机械与物理研究所 目标跟踪方法及装置
CN108009674A (zh) * 2017-11-27 2018-05-08 上海师范大学 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法
CN108596327A (zh) * 2018-03-27 2018-09-28 中国地质大学（武汉） 一种基于深度学习的地震速度谱人工智能拾取方法
US20180300608A1 (en) * 2017-04-12 2018-10-18 Yodlee, Inc. Neural Networks for Information Extraction From Transaction Data
CN108764520A (zh) * 2018-04-11 2018-11-06 杭州电子科技大学 一种基于多层循环神经网络和d-s证据理论的水质参数预测方法
CN109272123A (zh) * 2018-08-03 2019-01-25 常州大学 一种基于卷积-循环神经网络的有杆泵工况预警方法
CN109344915A (zh) * 2018-10-31 2019-02-15 钟祥博谦信息科技有限公司 一种用于多传感器的融合方法及系统
CN109409431A (zh) * 2018-10-29 2019-03-01 吉林大学 基于神经网络的多传感器姿态数据融合方法及系统

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1458006A (zh) * 2003-07-02 2003-11-26 北京交通大学 基于多特征融合的困倦驾驶检测方法
CN1474177A (zh) * 2003-08-08 2004-02-11 王耀南 多传感器融合智能透明容器检测设备及检测方法
CN1709631A (zh) * 2005-07-04 2005-12-21 中国航空工业第一集团公司北京航空制造工程研究所 一种高能束流焊接过程多信号融合监测仪
CN101697006A (zh) * 2009-09-18 2010-04-21 北京航空航天大学 基于机载雷达和红外成像传感器数据融合的目标识别方法
CN102084794A (zh) * 2010-10-22 2011-06-08 华南农业大学 多传感器信息融合的作物病虫害早期检测方法及装置
US20160099010A1 (en) * 2014-10-03 2016-04-07 Google Inc. Convolutional, long short-term memory, fully connected deep neural networks
CN105676085A (zh) * 2016-01-31 2016-06-15 国家电网公司 基于多传感器信息融合的特高压gis局部放电检测方法
CN106250707A (zh) * 2016-08-12 2016-12-21 王双坤 一种基于深度学习算法处理头部结构像数据的方法
CN106353651A (zh) * 2016-09-30 2017-01-25 国家电网公司 基于bp网络的gis局放声电联合检测故障定位方法
CN106778584A (zh) * 2016-12-08 2017-05-31 南京邮电大学 一种基于深层特征与浅层特征融合的人脸年龄估计方法
CN106650699A (zh) * 2016-12-30 2017-05-10 中国科学院深圳先进技术研究院 一种基于卷积神经网络的人脸检测方法及装置
CN106911930A (zh) * 2017-03-03 2017-06-30 深圳市唯特视科技有限公司 一种基于递归卷积神经网络进行压缩感知视频重建的方法
US20180300608A1 (en) * 2017-04-12 2018-10-18 Yodlee, Inc. Neural Networks for Information Extraction From Transaction Data
CN107092254A (zh) * 2017-04-27 2017-08-25 北京航空航天大学 一种基于深度增强学习的家用扫地机器人的设计方法
CN107451552A (zh) * 2017-07-25 2017-12-08 北京联合大学 一种基于3d‑cnn和卷积lstm的手势识别方法
CN107808122A (zh) * 2017-09-30 2018-03-16 中国科学院长春光学精密机械与物理研究所 目标跟踪方法及装置
CN108009674A (zh) * 2017-11-27 2018-05-08 上海师范大学 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法
CN108596327A (zh) * 2018-03-27 2018-09-28 中国地质大学（武汉） 一种基于深度学习的地震速度谱人工智能拾取方法
CN108764520A (zh) * 2018-04-11 2018-11-06 杭州电子科技大学 一种基于多层循环神经网络和d-s证据理论的水质参数预测方法
CN109272123A (zh) * 2018-08-03 2019-01-25 常州大学 一种基于卷积-循环神经网络的有杆泵工况预警方法
CN109409431A (zh) * 2018-10-29 2019-03-01 吉林大学 基于神经网络的多传感器姿态数据融合方法及系统
CN109344915A (zh) * 2018-10-31 2019-02-15 钟祥博谦信息科技有限公司 一种用于多传感器的融合方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王斌明: "基于多传感器信息融合的移动机器人避障研究", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 *
马也等: "复杂背景下红外人体目标检测算法研究", 《红外技术》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446272A (zh) * 2019-08-29 2021-03-05 钜怡智慧股份有限公司 活体检测方法及相关装置
CN111126199A (zh) * 2019-12-11 2020-05-08 复旦大学 基于回波测量数据的信号特征提取与数据挖掘方法
WO2022079521A1 (en) * 2020-10-14 2022-04-21 International Business Machines Corporation Multi-sensor life detection within vehicles
US11951875B2 (en) 2020-10-14 2024-04-09 International Business Machines Corporation Multi-sensor life detection within vehicles
CN113126050A (zh) * 2021-03-05 2021-07-16 沃尔夫曼消防装备有限公司 一种基于神经网络的生命探测方法
CN113126050B (zh) * 2021-03-05 2022-08-19 沃尔夫曼消防装备有限公司 一种基于神经网络的生命探测方法
CN113267780A (zh) * 2021-04-29 2021-08-17 兴科迪科技（泰州）有限公司 一种基于声波的空间扫描生命体检测系统及方法
CN113792774A (zh) * 2021-09-01 2021-12-14 西北工业大学 一种水中目标智能融合感知方法
CN113792774B (zh) * 2021-09-01 2024-01-12 西北工业大学 一种水中目标智能融合感知方法
CN114063628A (zh) * 2021-11-17 2022-02-18 杭州电子科技大学 一种基于深度学习和雷达检测的无人机救灾系统及方法
CN114252090A (zh) * 2021-12-15 2022-03-29 哈尔滨工业大学 一种多源导航传感器可信性评估方法
CN115563478A (zh) * 2022-12-05 2023-01-03 电子科技大学 基于多类特征融合的毫米波雷达非视距人体行为识别系统

Also Published As

Publication number Publication date
CN110007366B (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN110007366A (zh) 一种基于多传感器融合的生命搜寻方法以及系统
US20210003697A1 (en) Method and apparatus for end-to-end sar image recognition, and storage medium
CN107169435B (zh) 一种基于雷达仿真图像的卷积神经网络人体动作分类方法
CN110045348A (zh) 一种基于改进卷积神经网络的人体运动状态分类方法
CN110133610B (zh) 基于时变距离-多普勒图的超宽带雷达动作识别方法
CN106265004A (zh) 多传感器智能盲人指路方法与装置
CN110456320B (zh) 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN112735473B (zh) 基于声音识别无人机的方法及系统
CN112686094B (zh) 一种基于毫米波雷达的非接触式身份识别方法及系统
Li et al. Human behavior recognition using range-velocity-time points
CN116343284A (zh) 基于注意力机制的多特征户外环境情绪识别方法
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
CN115343704A (zh) 基于多任务学习的fmcw毫米波雷达的手势识别方法
Yuan et al. Research of insect recognition based on improved yolov5
CN116956222A (zh) 一种基于自适应特征提取的多复杂度行为识别系统及方法
Tang et al. Transound: Hyper-head attention transformer for birds sound recognition
CN107967941A (zh) 一种基于智能视觉重构的无人机人体健康监控方法与系统
CN114067435A (zh) 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和系统
Feng et al. DAMUN: A domain adaptive human activity recognition network based on multimodal feature fusion
CN116561700A (zh) 基于毫米波雷达的室内人体姿态识别方法
CN114246767B (zh) 基于云端计算的盲人智能导航眼镜系统及装置
CN109686032A (zh) 一种水产养殖生物防盗监测方法及系统
CN206648005U (zh) 一种内置碰撞声检测功能的智能路灯
CN114764580A (zh) 一种基于无穿戴设备的实时人体手势识别方法
Zheng et al. Unsupervised human contour extraction from through-wall radar images using dual UNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant