CN111722220B - 基于并行异构传感器的火箭目标识别系统 - Google Patents

基于并行异构传感器的火箭目标识别系统 Download PDF

Info

Publication number
CN111722220B
CN111722220B CN202010512088.0A CN202010512088A CN111722220B CN 111722220 B CN111722220 B CN 111722220B CN 202010512088 A CN202010512088 A CN 202010512088A CN 111722220 B CN111722220 B CN 111722220B
Authority
CN
China
Prior art keywords
image
convolution
pooling
layer
kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010512088.0A
Other languages
English (en)
Other versions
CN111722220A (zh
Inventor
韦闽峰
夏元清
段静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010512088.0A priority Critical patent/CN111722220B/zh
Publication of CN111722220A publication Critical patent/CN111722220A/zh
Application granted granted Critical
Publication of CN111722220B publication Critical patent/CN111722220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于并行异构传感器的火箭目标识别系统，能够满足在线飞行器系统的高可靠性和低功耗智能集成处理的需求。包括接收通道、第一卷积层、第一池化层、第二卷积层、第二池化层以及第三卷积层。接收通道接收雷达图像、可见光图像以及红外图像。第一卷积层为三维卷积核，分别对雷达图像、可见光图像以及红外图像进行卷积处理后输入至第一池化层，经第一池化层的三维卷积核的池化处理后输入至第二卷积层；第二卷积层的三维卷积核，对第一池化层的池化图像进行卷积处理。第二池化层为三维池化核，第二卷积层的卷积图像进行池化处理，其和图像输入至第三卷积层进行卷积处理，得到三个和图像的卷积图像并作为目标识别结果图像输出。

Description

基于并行异构传感器的火箭目标识别系统
技术领域
本发明涉及火箭集成领域，具体涉及基于并行异构传感器的火箭目标识别系统。
背景技术
火箭的飞行过程涉及大量的复杂事件的流程和时序控制，基于并行异构传感器的集成控制成为可有效解决火箭集成的研究方向。火箭的飞行过程涉及了从点火，起飞以后一直到入轨的过程中火箭的控制，其部分节点并不是确定某一个时刻，有可能是一个范围。传统方案以固定的分布式设计，同时并行处理多个传感器数据为主，功耗大先用大量系统资源，而且难以准确控制。
虽然，每一发火箭的最后实现时序在具体时间上都会不太一样，同一型号的火箭在执行不同任务时，控制时段也存在着差异，而本专利使用了并行异构传感器方案，有效解决了飞行器部分节点的时间不确定的控制准确性问题。
发明内容
有鉴于此，本发明提供并行异构传感器的火箭目标识别系统，能够满足在线火箭集成系统的高可靠性和低功耗目标识别的需求。
为达到上述目的，本发明的技术方案为：基于并行异构传感器的火箭集成系统，包括接收通道、第一卷积层、第一池化层、第二卷积层、第二池化层以及第三卷积层。
接收通道通过三个通道分别接收来自雷达传感器、可见光传感器和红外传感器的输入图像，分别为雷达图像、可见光图像以及红外图像。
第一卷积层为三维卷积核，分别对应来自雷达传感器、可见光传感器和红外传感器的输入图像；第一卷积层分别对雷达图像、可见光图像以及红外图像进行卷积处理，得到雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像均输入至第一池化层。
第一池化层为三维池化核，分别对应雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像，第一池化层分别对雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像进行池化处理，得到第一池化图像、第二池化图像以及第三池化图像，均输入至第二卷积层；
第二卷积层为三维卷积核，分别对应第一池化图像、第二池化图像以及第三池化图像；第二卷积层分别对第一池化图像、第二池化图像以及第三池化图像进行卷积处理，得到第四卷积图像、第五卷积图像以及第六卷积图像均输入至第二池化层。
第二池化层为三维池化核，分别对应第四卷积图像、第五卷积图像以及第六卷积图，第二池化层分别对第四卷积图像、第五卷积图像以及第六卷积图进行池化处理，得到第四池化图像、第五池化图像以及第六池化图像，将第四池化图像、第五池化图像以及第六池化图像像素对应相加得到的和图像作为第三卷积层的输入图像。
其中第一卷积层、第一池化层、第二卷积层和第二池化层中对应处理雷达图像、雷达图像的卷积图像、第一池化图像和第四卷积图像的卷积核和池化核在火箭的上升段和下压段置零。
第一卷积层、第一池化层、第二卷积层和第二池化层中对应处理可见光图像、可见光图像的卷积图像、第二池化图像和第五卷积图像的卷积核和池化核在火箭的机动段置零。
第一卷积层、第一池化层、第二卷积层和第二池化层中对应处理红外图像、红外图像的卷积图像、第三池化图像和第六卷积图像的卷积核和池化核在火箭的平飞段置零。
第三卷积层为三维卷积核，三维卷积核分别对和图像进行卷积处理，得到三个和图像的卷积图像并作为目标识别结果图像输出。
进一步地，接收通道接收到的雷达图像、可见光图像以及红外图像，其中雷达图像的尺寸为(1,height,weight)；可见光图像的尺寸为(2,height,weight)；红外图像的尺寸为(3,height,weight)，height为输入图像的高度，weight为输入图像的宽度。
进一步地，第一卷积层设置三个卷积核分别对应3个通道的输入图像，包括第一卷积核，尺寸为(1,k_h,k_w)；第二卷积核，尺寸为(2,k_h,k_w)；第三卷积核，尺寸为(3,k_h,k_w)；k_h为卷积核的高；k_w为卷积核的宽；k_h/2能被height整除；k_w/2能被weight整除。
第一卷积核在雷达图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出雷达图像的卷积图像。
第二卷积核在可见光图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出可见光图像的卷积图像。
第三卷积核在红外图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出红外图像的卷积图像。
雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像均输入至第一池化层。
进一步地，第一池化层设置三个池化核，分别对应雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像；包括第一池化核，尺寸为(1,k_h,k_w)；第二池化核，尺寸为(2,k_h,k_w)；第三池化核，尺寸为(3,k_h,k_w)。
第一池化核在雷达图像的卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第一池化图像。
第二池化核在可见光图像的卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第二池化图像。
第三池化核在红外图像的卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第三池化图像。
进一步地，第二卷积层设置三个卷积核分别对应第一池化图像、第二池化图像以及第三池化图像，包括第四卷积核，尺寸为(1,k_h,k_w)；第五卷积核，尺寸为(2,k_h,k_w)；第六卷积核，尺寸为(3,k_h,k_w)；k_h为卷积核的高；k_w为卷积核的宽；k_h/2能被height整除；k_w/2能被weight整除。
第四卷积核在第一池化图像的空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出第四卷积图像。
第五卷积核在第二池化图像的空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出第五卷积图像。
第六卷积核在第三池化图像的空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出第六卷积图像。
第四卷积图像、第五卷积图像以及第六卷积图像均输入至第二池化层。
进一步地，第二池化层设置三个池化核，分别对应第四卷积图像、第五卷积图像以及第六卷积图像；包括第四池化核，尺寸为(1,k_h,k_w)；第五池化核，尺寸为(2,k_h,k_w)；第六池化核，尺寸为(3,k_h,k_w)。
第四池化核在第四卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第四池化图像。
第五池化核在第五卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第五池化图像。
第六池化核在第六卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第六池化图像。
将第四池化图像、第五池化图像以及第六池化图像像素对应相加得到的和图像作为第三卷积层的输入图像。
进一步地，第三卷积层设置三个卷积核，包括第七卷积核，尺寸为(1,k_h,k_w)；第八卷积核，尺寸为(2,k_h,k_w)；第就卷积核，尺寸为(3,k_h,k_w)。
第七卷积核、第八卷积核和第九卷积核分别对和图像进行卷积处理，得到三个和图像的卷积图像并作为目标识别结果图像输出。
有益效果：
本发明构建卷积神经网络架构实现火箭的目标识别，通过设计卷积神经网络的整体结构，并设计优化各计算单元，复现了一个前向传播结构的卷积神经网络，其中层间运算具有独立性且各层运算具有高度相似性，因此可以通过复用单层运算资源来实现完整的卷积神经网络计算，本发明的池化运算是对卷积运算后的结果进行采样，同样是卷积神经网络的一个前向传播结构，层间运算具有独立性且各层运算具有高度相似性，因此也可通过复用单层运算资源来实现完整的池化运算，从而形成通用的池化模块。本发明将不同传感器的作用时间与神经网络的算法结合，在工程上实现了火箭的性能优化。因此基于这种优化的卷积神经网络结构，以及性能优化方法，本发明提供的基于并行异构传感器的火箭集成系统能够满足在线火箭系统的高可靠性和低功耗智能集成处理的需求。
高可靠性在于可以同时处理异构多源传感器数据，对于某个时刻的信息量可以相互协同。
低功耗在于传统算法使用多个探测器部组件分别工作，系统消耗，大于合成为一个同时处理异构多源的Ip通路，而且本发明为了低功耗使用了相关算法踢出无效时刻及数据。
附图说明
图1为本发明实施例提供的火箭目标识别系统。
图2为本发明实施例中的卷积IP核示意图
图3为本发明实施例中的池化IP核示意图
图4为本发明实施例中本发明与现有技术识别速度对比，以及本发明在不同平台时的识别速度对比示意图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了基于并行异构传感器的火箭目标识别系统，包括接收通道、第一卷积层、第一池化层、第二卷积层、第二池化层以及第三卷积层。
接收通道通过三个通道分别接收来自雷达传感器、可见光传感器和红外传感器的输入图像，分别为雷达图像、可见光图像以及红外图像。
第一卷积层为三维卷积核，分别对应来自雷达传感器、可见光传感器和红外传感器的输入图像；第一卷积层分别对雷达图像、可见光图像以及红外图像进行卷积处理，得到雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像均输入至第一池化层。
第一池化层为三维池化核，分别对应雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像，第一池化层分别对雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像进行池化处理，得到第一池化图像、第二池化图像以及第三池化图像，均输入至第二卷积层。
第二卷积层为三维卷积核，分别对应第一池化图像、第二池化图像以及第三池化图像；第二卷积层分别对第一池化图像、第二池化图像以及第三池化图像进行卷积处理，得到第四卷积图像、第五卷积图像以及第六卷积图像均输入至第二池化层。
第二池化层为三维池化核，分别对应第四卷积图像、第五卷积图像以及第六卷积图，第二池化层分别对第四卷积图像、第五卷积图像以及第六卷积图进行池化处理，得到第四池化图像、第五池化图像以及第六池化图像，将第四池化图像、第五池化图像以及第六池化图像像素对应相加得到的和图像作为第三卷积层的输入图像。
其中第一卷积层、第一池化层、第二卷积层和第二池化层中对应处理雷达图像、雷达图像的卷积图像、第一池化图像和第四卷积图像的卷积核和池化核在火箭的上升段和下压段(即雷达传感器的无效时刻)置零。
第一卷积层、第一池化层、第二卷积层和第二池化层中对应处理可见光图像、可见光图像的卷积图像、第二池化图像和第五卷积图像的卷积核和池化核在火箭的机动段(即可见光传感器的无效时刻)置零。
第一卷积层、第一池化层、第二卷积层和第二池化层中对应处理红外图像、红外图像的卷积图像、第三池化图像和第六卷积图像的卷积核和池化核在火箭的平飞段(即红外传感器的无效时刻)置零。
第三卷积层为三维卷积核，三维卷积核分别对和图像进行卷积处理，得到三个和图像的卷积图像并作为目标识别结果图像输出。
本发明给出如下具体实施例：
本发明实施例中，接收通道接收到的雷达图像、可见光图像以及红外图像，其中雷达图像的尺寸为(1,height,weight)；可见光图像的尺寸为(2,height,weight)；红外图像的尺寸为(3,height,weight)，height为输入图像的高度，weight为输入图像的宽度。
第一卷积层设置三个卷积核分别对应3个通道的输入图像，包括第一卷积核，尺寸为(1,k_h,k_w)；第二卷积核，尺寸为(2,k_h,k_w)；第三卷积核，尺寸为(3,k_h,k_w)；k_h为卷积核的高；k_w为卷积核的宽；k_h/2能被height整除；k_w/2能被weight整除。
第一卷积核在雷达图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出雷达图像的卷积图像。
第二卷积核在可见光图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出可见光图像的卷积图像。
第三卷积核在红外图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出红外图像的卷积图像。
雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像均输入至第一池化层。
第一池化层设置三个池化核，分别对应雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像；包括第一池化核，尺寸为(1,k_h,k_w)；第二池化核，尺寸为(2,k_h,k_w)；第三池化核，尺寸为(3,k_h,k_w)。
第一池化核在雷达图像的卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第一池化图像。
第二池化核在可见光图像的卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第二池化图像。
第三池化核在红外图像的卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第三池化图像。
第二卷积层设置三个卷积核分别对应第一池化图像、第二池化图像以及第三池化图像，包括第四卷积核，尺寸为(1,k_h,k_w)；第五卷积核，尺寸为(2,k_h,k_w)；第六卷积核，尺寸为(3,k_h,k_w)；k_h为卷积核的高；k_w为卷积核的宽；k_h/2能被height整除；k_w/2能被weight整除。
第四卷积核在第一池化图像的空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出第四卷积图像。
第五卷积核在第二池化图像的空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出第五卷积图像。
第六卷积核在第三池化图像的空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出第六卷积图像。
第四卷积图像、第五卷积图像以及第六卷积图像均输入至第二池化层。
第二池化层设置三个池化核，分别对应第四卷积图像、第五卷积图像以及第六卷积图像；包括第四池化核，尺寸为(1,k_h,k_w)；第五池化核，尺寸为(2,k_h,k_w)；第六池化核，尺寸为(3,k_h,k_w)。
第四池化核在第四卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第四池化图像。
第五池化核在第五卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第五池化图像。
第六池化核在第六卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第六池化图像。
将第四池化图像、第五池化图像以及第六池化图像像素对应相加得到的和图像作为第三卷积层的输入图像。
第三卷积层设置三个卷积核，包括第七卷积核，尺寸为(1,k_h,k_w)；第八卷积核，尺寸为(2,k_h,k_w)；第就卷积核，尺寸为(3,k_h,k_w)。
第七卷积核、第八卷积核和第九卷积核分别对和图像进行卷积处理，得到三个和图像的卷积图像并作为目标识别结果图像输出。
本发明实施例中卷积核均采用5x5大小的卷积核，池化核采用2x2大小的池化核。
本发明使用开发环境的是Xilinx公司的Vivado及Vivado HLS，FPGA使用的是Xilinx Artix-7系列的XC7A200T1FBG484-2器件，其中包括CortexTM-A9、16Mbyte PSRAM、32Mbyte NOR-FLASH以及3个UART接口。
对比的硬件结构是通用处理器Intel i5 7300HQ，通用处理器是i5第七代四核处理器，基准主频为2.5GHz，软件开发框架使用Ubuntu系统上搭建的TensorFlow 1.3.0。
在训练阶段卷积核和全连接权值的数据格式采用单精度浮点数，为了方便网络进行计算，在FPGA实现中，数据采用8位整数形式。FPGA运算完成的后会把识别结果返回给主机端。在FPGA上仅仅完成前向传播过程，网络的训练全部在通用处理器(Intel I5 7300HQ)上完成。经过40000轮训练后，网络的识别率可以达到稳定的98.2％。
最终FPGA工作于20MHz，表1列出了FPGA资源使用情况。
表1 FPGA资源使用情况
Figure GDA0003697346900000101
在时钟为20MHz时，单幅图像完成前向传播耗时，FPGA能达到9.012ms，而通用处理器(Intel I5 7300HQ)达到32.513ms，FPGA实现3.6倍的加速。如表2和图4所示。
表2单幅图像识别时间
Figure GDA0003697346900000102
Figure GDA0003697346900000111
表3中对比了不同平台之间的功率，同样使用单张图片的情况下，本发明功率相较于以往的FPGA计算平台有明显降低，相较于对比方案[1]采用48位固定位数策略的FPGA设计降低了1/40.46，相较于对比方案[2]采用16位定点数策略的FPGA设计降低了1/23.12。相较于对比方案[3]采用32位浮点数策略的FPGA设计降低了1/53.78。相较于对比方案[4]采用16位定点数策略的FPGA设计降低了1/27.83。表3中最后一行功率(Power)对比结果，表明中本发明的所设计的系统功率相比先前系统有明显的降低。
表3功耗对比
Figure GDA0003697346900000112
对比方案[1]：S.Chakradhar,M.Sankaradas,V.Jakkula,and S.Cadambi,“Adynamically configurable coprocessor for convolutional neural networks,”inISCA,vol.38,no.3.ACM,2010,pp.247–257
对比方案[2]：V.Gokhale,J.Jin,A.Dundar,B.Martini,and E.Culurciello,“A240g-ops/s mobile coprocessor for deep neural networks,”in CVPRW.IEEE,2014,pp.696–701.
对比方案[3]：C.Zhang,P.Li,G.Sun,Y.Guan,B.Xiao,and J.Cong,“Optimizingfpga-based accelerator design for deep convolutional neural networks,”inProceedings of ISFPGA.ACM,2015,pp.161–170
对比方案[4]：Jiantao Qiu,Jie Wang,Song Yao,Kaiyuan Guo,and Boxun L,“Deeper with Embedded FPGA Platform for Convolutional Neural Network,”,2015
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于并行异构传感器的火箭目标识别系统，其特征在于，包括接收通道、第一卷积层、第一池化层、第二卷积层、第二池化层以及第三卷积层；
所述接收通道通过三个通道分别接收来自雷达传感器、可见光传感器和红外传感器的输入图像，分别为雷达图像、可见光图像以及红外图像；
所述第一卷积层为三维卷积核，分别对应来自雷达传感器、可见光传感器和红外传感器的输入图像；所述第一卷积层分别对雷达图像、可见光图像以及红外图像进行卷积处理，得到雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像，三者均输入至第一池化层；
所述第一池化层为三维池化核，分别对应雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像，所述第一池化层分别对雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像进行池化处理，得到第一池化图像、第二池化图像以及第三池化图像，均输入至第二卷积层；
所述第二卷积层为三维卷积核，分别对应第一池化图像、第二池化图像以及第三池化图像；所述第二卷积层分别对第一池化图像、第二池化图像以及第三池化图像进行卷积处理，得到第四卷积图像、第五卷积图像以及第六卷积图像，三者均输入至第二池化层；
所述第二池化层为三维池化核，分别对应第四卷积图像、第五卷积图像以及第六卷积图，所述第二池化层分别对第四卷积图像、第五卷积图像以及第六卷积图进行池化处理，得到第四池化图像、第五池化图像以及第六池化图像，将第四池化图像、第五池化图像以及第六池化图像像素对应相加得到和图像，所述和图像作为第三卷积层的输入图像；
其中第一卷积层、第一池化层、第二卷积层和第二池化层中，对应处理雷达图像、雷达图像的卷积图像、第一池化图像和第四卷积图像的卷积核和池化核在火箭的上升段和下压段置零；
第一卷积层、第一池化层、第二卷积层和第二池化层中，对应处理可见光图像、可见光图像的卷积图像、第二池化图像和第五卷积图像的卷积核和池化核在火箭的机动段置零；
第一卷积层、第一池化层、第二卷积层和第二池化层中，对应处理红外图像、红外图像的卷积图像、第三池化图像和第六卷积图像的卷积核和池化核在火箭的平飞段置零；
所述第三卷积层为三维卷积核，三维卷积核分别对所述和图像进行卷积处理，得到三个和图像的卷积图像并作为目标识别结果图像输出。
2.如权利要求1所述的系统，其特征在于，所述接收通道接收到的雷达图像、可见光图像以及红外图像，其中雷达图像的尺寸为(1,height,weight)；可见光图像的尺寸为(2,height,weight)；红外图像的尺寸为(3,height,weight)，height为输入图像的高度，weight为输入图像的宽度。
3.如权利要求2所述的系统，其特征在于，所述第一卷积层设置三个卷积核分别对应3个通道的输入图像，包括第一卷积核，尺寸为(1,k_h,k_w)；第二卷积核，尺寸为(2,k_h,k_w)；第三卷积核，尺寸为(3,k_h,k_w)；k_h为卷积核的高；k_w为卷积核的宽；k_h/2能被height整除；k_w/2能被weight整除；
第一卷积核在雷达图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出雷达图像的卷积图像；
第二卷积核在可见光图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出可见光图像的卷积图像；
第三卷积核在红外图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出红外图像的卷积图像；
雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像均输入至第一池化层。
4.如权利要求3所述的系统，其特征在于，所述第一池化层设置三个池化核，分别对应雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像；包括第一池化核，尺寸为(1,k_h,k_w)；第二池化核，尺寸为(2,k_h,k_w)；第三池化核，尺寸为(3,k_h,k_w)；
第一池化核在雷达图像的卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第一池化图像；
第二池化核在可见光图像的卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第二池化图像；
第三池化核在红外图像的卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第三池化图像。
5.如权利要求4所述的系统，其特征在于，所述第二卷积层设置三个卷积核分别对应第一池化图像、第二池化图像以及第三池化图像，包括第四卷积核，尺寸为(1,k_h,k_w)；第五卷积核，尺寸为(2,k_h,k_w)；第六卷积核，尺寸为(3,k_h,k_w)；k_h为卷积核的高；k_w为卷积核的宽；k_h/2能被height整除；k_w/2能被weight整除；
第四卷积核在第一池化图像的空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出第四卷积图像；
第五卷积核在第二池化图像的空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出第五卷积图像；
第六卷积核在第三池化图像的空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出第六卷积图像；
第四卷积图像、第五卷积图像以及第六卷积图像均输入至第二池化层。
6.如权利要求5所述的系统，其特征在于，所述第二池化层设置三个池化核，分别对应第四卷积图像、第五卷积图像以及第六卷积图像；包括第四池化核，尺寸为(1,k_h,k_w)；第五池化核，尺寸为(2,k_h,k_w)；第六池化核，尺寸为(3,k_h,k_w)；
第四池化核在第四卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第四池化图像；
第五池化核在第五卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第五池化图像；
第六池化核在第六卷积图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行池化操作，输出第六池化图像；
将第四池化图像、第五池化图像以及第六池化图像像素对应相加得到的和图像作为第三卷积层的输入图像。
7.如权利要求6所述的系统，其特征在于，所述第三卷积层设置三个卷积核，包括第七卷积核，尺寸为(1,k_h,k_w)；第八卷积核，尺寸为(2,k_h,k_w)；第九卷积核，尺寸为(3,k_h,k_w)；
第七卷积核、第八卷积核和第九卷积核分别对所述和图像进行卷积处理，得到三个和图像的卷积图像并作为目标识别结果图像输出。
CN202010512088.0A 2020-06-08 2020-06-08 基于并行异构传感器的火箭目标识别系统 Active CN111722220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010512088.0A CN111722220B (zh) 2020-06-08 2020-06-08 基于并行异构传感器的火箭目标识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010512088.0A CN111722220B (zh) 2020-06-08 2020-06-08 基于并行异构传感器的火箭目标识别系统

Publications (2)

Publication Number Publication Date
CN111722220A CN111722220A (zh) 2020-09-29
CN111722220B true CN111722220B (zh) 2022-08-26

Family

ID=72566591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010512088.0A Active CN111722220B (zh) 2020-06-08 2020-06-08 基于并行异构传感器的火箭目标识别系统

Country Status (1)

Country Link
CN (1) CN111722220B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316004A (zh) * 2017-06-06 2017-11-03 西北工业大学 基于深度学习的空间目标识别方法
CN110009569A (zh) * 2019-04-17 2019-07-12 中国人民解放军陆军工程大学 一种基于轻量级卷积神经网络的红外和可见光图像融合方法
CN110222559A (zh) * 2019-04-24 2019-09-10 深圳市微纳集成电路与系统应用研究院 基于卷积神经网络的烟雾图像检测方法及装置
CN110533695A (zh) * 2019-09-04 2019-12-03 深圳市唯特视科技有限公司 一种基于ds证据理论的轨迹预测装置及方法
CN110969637A (zh) * 2019-12-02 2020-04-07 深圳市唯特视科技有限公司 一种基于生成对抗网络的多威胁目标重建及态势感知方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316004A (zh) * 2017-06-06 2017-11-03 西北工业大学 基于深度学习的空间目标识别方法
CN110009569A (zh) * 2019-04-17 2019-07-12 中国人民解放军陆军工程大学 一种基于轻量级卷积神经网络的红外和可见光图像融合方法
CN110222559A (zh) * 2019-04-24 2019-09-10 深圳市微纳集成电路与系统应用研究院 基于卷积神经网络的烟雾图像检测方法及装置
CN110533695A (zh) * 2019-09-04 2019-12-03 深圳市唯特视科技有限公司 一种基于ds证据理论的轨迹预测装置及方法
CN110969637A (zh) * 2019-12-02 2020-04-07 深圳市唯特视科技有限公司 一种基于生成对抗网络的多威胁目标重建及态势感知方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
惠国保.一种基于深度学习的多源异构数据融合方法.《现代导航》.2017,(第3期),全文. *
毛远宏 等.采用类内迁移学习的红外/可见光异源图像匹配.《西安交通大学学报》.2020,第54卷(第1期),全文. *
肖刚 等.多源异构图像融合跟踪研究现状与展望.《指挥控制与仿真》.2020,第42卷(第2期),全文. *

Also Published As

Publication number Publication date
CN111722220A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
Guo et al. Software-hardware codesign for efficient neural network acceleration
US20230325348A1 (en) Performing concurrent operations in a processing element
US20230334006A1 (en) Compute near memory convolution accelerator
US10445638B1 (en) Restructuring a multi-dimensional array
CN108108809B (zh) 一种针对卷积神经元网络进行推理加速的硬件架构及其工作方法
CN111898733B (zh) 一种深度可分离卷积神经网络加速器架构
CN108416436B (zh) 使用多核心处理模块进行神经网络划分的方法及其系统
JP6960700B2 (ja) マルチキャストネットワークオンチップに基づいた畳み込みニューラルネットワークハードウェアアクセラレータおよびその動作方式
CN110263925B (zh) 一种基于fpga的卷积神经网络前向预测的硬件加速实现装置
US11989638B2 (en) Convolutional neural network accelerating device and method with input data conversion
CN105631798A (zh) 低功耗便携式实时图像目标检测与跟踪系统及方法
CN111460999A (zh) 一种基于fpga的低空航拍影像目标跟踪的方法
CN110543936B (zh) 一种cnn全连接层运算的多并行加速方法
Li et al. A multistage dataflow implementation of a deep convolutional neural network based on FPGA for high-speed object recognition
Wang et al. DSP-efficient hardware acceleration of convolutional neural network inference on FPGAs
Chen et al. A 68-mw 2.2 tops/w low bit width and multiplierless DCNN object detection processor for visually impaired people
CN111091183B (zh) 一种神经网络加速系统和方法
CN109472734A (zh) 一种基于fpga的目标检测网络及其实现方法
CN111722220B (zh) 基于并行异构传感器的火箭目标识别系统
CN114898108B (zh) 一种基于fpga的cnn模型轻量化方法、目标检测方法及系统
CN115238863A (zh) 一种卷积神经网络卷积层的硬件加速方法、系统及应用
Liu et al. Leveraging fine-grained structured sparsity for cnn inference on systolic array architectures
Zhang et al. A real-time online aircraft neural network system
CN110716751B (zh) 高并行度计算平台、系统及计算实现方法
CN108827340A (zh) 一种基于zynq硬件加速的视觉里程计

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant