CN110532842B - 一种应用于遥感图像的在轨检测识别装置及方法 - Google Patents

一种应用于遥感图像的在轨检测识别装置及方法 Download PDF

Info

Publication number
CN110532842B
CN110532842B CN201910316281.4A CN201910316281A CN110532842B CN 110532842 B CN110532842 B CN 110532842B CN 201910316281 A CN201910316281 A CN 201910316281A CN 110532842 B CN110532842 B CN 110532842B
Authority
CN
China
Prior art keywords
data
module
unit
target
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910316281.4A
Other languages
English (en)
Other versions
CN110532842A (zh
Inventor
李宗凌
汪路元
禹霁阳
程博文
牛跃华
郝梁
刘伟伟
王翠莲
蒋帅
庞亚龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Spacecraft System Engineering
Original Assignee
Beijing Institute of Spacecraft System Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Spacecraft System Engineering filed Critical Beijing Institute of Spacecraft System Engineering
Priority to CN201910316281.4A priority Critical patent/CN110532842B/zh
Publication of CN110532842A publication Critical patent/CN110532842A/zh
Application granted granted Critical
Publication of CN110532842B publication Critical patent/CN110532842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Abstract

一种应用于遥感图像的在轨检测识别装置及方法，包括主控单元、存储单元、处理单元、交换单元、IO单元以及供电单元；IO单元负责接收卫星载荷数据，根据工作参数进行感兴趣区域提取，将提取的图像数据进行基于形态学的可疑目标提取，并根据可疑目标提取结果获取目标切片，并将切片发送给交换单元；交换单元根据配置的路由表，将切片数据按乒乓规则分发给处理单元，处理单元完成基于卷积神经网络的深度学习处理，对目标切片进行分类与存储。存储单元根据主控单元的数据输出指令将存储的打包数据发送给IO单元并输出。

Description

一种应用于遥感图像的在轨检测识别装置及方法
技术领域
本发明涉及一种应用于遥感图像的检测识别方法及装置，特别是应用于遥感图像在轨检测识别的方法及装置，属于信号与信息处理领域。
背景技术
随着光学遥感技术的日益发展，如何快速地从海量光学/SAR/红外遥感图像数据中自动检测和识别出目标是一项极具挑战性的工作。不仅如此，目前下一代地球光学/SAR/红外成像卫星加大了推广的力度，未来的对地观测卫星性能更佳，其空间分辨率将更高，它的重访周期将更短，提供的卫星遥感图像数据也会以指数量级扩大。在此情况下，传统的人工干预方式由于其主观性强和效率低等缺陷已不能满足对这种海量遥感数据的高效处理要求。如何从大数据量的遥感图像数据中自动挖掘出感兴趣目标识别的问题成为当前急需解决的难题，为此，遥感图像在轨检测识别处理装置研究工作具有重要的现实意义。
中国科学院长春光学精密机械与物理研究所CN201710845366.2公开了一种星上小型集群信息处理系统，包括：高性能X86应用层计算机、嵌入式多核DSP计算机、外部接口单元、供电单元和VPX高速数据交换器，VPX高速数据交换器采用OpenVPX系统级总线标准，实现系统内各功能模块的高速数据总线、星务控制总线和供电的相互连接。该系统所提供的星上小型集群信息处理系统可实现星上遥感图像智能化处理。
吉林大学CN201810767515.2公开了一种基于YOLOV2的遥感图像快速目标检测方法，该方法实现了对遥感图像中的重要目标的快速检测；首先构建了遥感图像数据集用于模型的训练及性能检测；然后提出了一种适用于遥感图像分类的卷积神经网络结构用于特征提取，进而构建目标检测网络。针对卷积神经网络对小目标检测能力差这一问题，本发明增加训练尺度、批量正则化等方法提升了网络的性能。模型允许将新数据的检测结果扩充到训练数据集中，从而更新训练目标检测网络，不断提升模型的泛化能力。
武汉大学CN201711354960.8公开了一种光学卫星遥感影像在轨实时流式处理方法及系统，根据硬件能力确定负载均衡策略，根据不同算法需要实现配置，部署定制化流式处理架构以实现光学卫星遥感影像在轨实时处理，该方法可以充分利用在轨处理硬件资源。
但上述方法主要存在以下问题：
(1)没有考虑到在轨信息处理需求不同于地面或其它平台。对在轨信息处理硬件平台来说，具备鲜明的高可靠、高效能、抗辐照、强容/纠错能力等特点，在体积、功耗以及散热等方面要求严格，上述方法设计思路只是从处理平台通用性、实时性等方面加以约束要求，系统可靠性难以满足宇航应用的需求。同时，没有考虑设计成本因素。
(2)在轨维护能力较弱，出现在轨功能失效后，可采取的措施和开展的工作在设计时考虑不多。
(3)没有考虑高分辨率遥感卫星虽然成像数据量大，但感兴趣目标的遥感成像结果一般具有稀疏特性的特点。因此，在系统设计过程中，只是单纯的为处理数据而处理数据，数据信息处理粒度单一，没有考虑分级处理，从而使得处理效率不高，能效比偏低，难以满足卫星系统实际应用需求。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供了一种应用于遥感图像的在轨检测识别装置及方法，解决了从大数据量的遥感图像数据中自动挖掘出感兴趣目标识别、速度快并且精度高的问题。
本发明采用的技术方案为：
应用于遥感图像的在轨检测识别装置，包括：主控单元、存储单元、处理单元、交换单元、IO单元以及供电单元；IO单元负责接收卫星载荷数据，根据工作参数进行感兴趣区域提取，将提取的图像数据进行基于形态学的可疑目标提取，并根据可疑目标提取结果获取目标切片，并将切片发送给交换单元；
交换单元根据配置的路由表，将切片数据按乒乓规则分发给处理单元，处理单元完成基于卷积神经网络的深度学习处理，对目标切片进行分类，根据分类结果将对应的切片信息以及所述分类结果信息丢弃，或将目标切片信息以及所述分类结果信息打包通过交换单元发送给存储单元进行存储；
存储单元根据主控单元的数据输出指令，通过交换单元将存储单元中存储的打包数据发送给IO单元并输出；主控单元完成控制流信息的接收、处理和发送，控制流信息包含各单元的工作参数、上下电控制、工作状态、数据交换路由表以及重构程序数据。
处理单元包括第一处理单元以及第二处理单元，两个处理单元的工作模式包括并行工作模式、协同工作模式和备份工作模式；
处于并行工作模式时，第一处理单元以及第二处理单元相互独立、同时工作且任务一致；
处于协同工作模式时，第一处理单元以及第二处理单元强耦合，协同工作；
处于备份工作模式时，第一处理单元以及第二处理单元仅有一个工作，另一个处于备份冗余状态。
所述IO单元包括数据接收模块、感兴趣区域提取模块、降分辨率模块、可疑目标检测模块、目标切片生成模块以及目标信息输出模块；
数据接收模块接收外部送入的遥感图像，并将所述遥感图像传递给感兴趣区域提取模块，将遥感图像中的感兴趣区域提取出来，将处理结果通过降分辨率模块进行降分辨率处理，处理后的数据送入可疑目标检测模块进行可疑目标检测，最终将检测出的可疑目标送入目标切片生成模块进行切片处理，将生成的切片结果输出；目标信息输出模块包括光纤模块和Serdes模块，用于将存储单元中的处理结果输出。
数据接收模块对外部送入的遥感图像数据进行冗余接收处理，根据主控单元发送过来的载荷图像数据工作参数确定每一景图像的大小尺寸，产生行同步信号和帧同步信号，并根据尺寸信息对接收到的图像数据进行多去少补处理，确保接收到的图像数据量正确，所述多去少补处理是指如果输入的图像数据多于所述每一景图像的大小尺寸对应的数据，则去除多余的数据；如果输入的图像数据少于所述每一景图像的大小尺寸对应的数据，则补充缺少的数据。
将遥感图像中的感兴趣区域提取出来，具体为：根据主控单元发送过来的工作参数，对经过接收模块处理的图像数据进行图像行计数和图像行内像素点计数，根据计数值截取感兴趣区域图像数据，产生新的行同步信号和帧同步信号，并发送给降分辨率模块，将感兴趣区域原始数据发送给切片生成模块进行存储。
对感兴趣区域数据进行降分辨率处理，具体为：先对图像数据进行高斯滤波，再对滤波结果进行均值、中值或者极值降分辨率，极值包含极大值和极小值两种，高斯模板参数、降分辨率方式及倍数可通过工作参数配置，将降分辨率处理结果发送给可疑目标检测模块
进行可疑目标的检测，并把可疑目标位置坐标发送给切片生成模块，具体分为3步：第一步：对图像数据采用高斯滤波和中值滤波去除周期性和随机噪声，并经过形态学开闭运算实现目标增强；第二步：通过对图像进行切片，比对当前检测区域与邻域直方图方差特性，对疑似目标区域进行自适应迭代分割，并进行连通域标注，得到疑似目标标注结果；第三步：对疑似目标标注结果进行求取圆形度进行鉴别，剔除虚警目标，即可得到可疑目标的检测结果。
高斯滤波、中值滤波以及形态学开闭运算的模板大小可通过工作参数配置；检测区域与邻域直方图方差特性的比对阈值可通过工作参数配置；自适应迭代分割方法采用一维Otsu分割方法；圆弧度鉴别阈值可通过工作参数进行配置。
将检测出的可疑目标进行切片处理，具体为：切片生成模块根据可疑目标检测模块的输出结果坐标(xi,yi)以及降分辨率的倍数参数α确定可疑目标在感兴趣区域的位置为(α×xi,α×yi)，并以此为中心点，获取尺寸大小为m×n的图像切片，切片尺寸m，n根据工作参数进行配置，并将切片数据通过SRIO总线发送给交换单元，最终送入处理单元。
所述主控单元为控制中心，通过内部控制总线ARINC659、LVTTL、千兆以太网以及RS422接口与各单元的控制模块进行交互，完成整个在轨检测识别装置的工作参数、工作状态、各单元上下电、数据交换路由表以及重构程序数据的配置，主控单元采用主备完全备份方式实现。
所述处理单元采用基于卷积神经网络的深度学习模型完成目标分类识别，包含卷积运算模块、全连接层计算模块、权重参数管理模块、存储模块以及任务调度模块；
任务调度模块接收完可疑目标切片数据后，将切片数据发送给卷积运算模块进行卷积运算，运算完成后将处理结果发送给全连接层计算模块，卷积运算和全连接层计算过程中，存储模块负责存储中间运算结果和权重参数，权重参数控制模块负责提供权重参数，任务调度模块根据全连接计算结果确定目标切片的类型和置信度，并将处理结果和目标切片信息打包发送给交换单元。
所述的权重参数控制模块与存储单元通过千兆以太网进行数据交互，并将存储单元中的权重参数存储于处理单元的存储模块中，利用主控单元实现工作参数更新，进而实现基于卷积神经网络的深度学习模型的权重参数更新。
所述交换单元包括SRIO交换模块、PCIe交换模块以及千兆以太网交换模块；
其中，SRIO交换模块完成处理数据及中间结果的传输和交换，PCIe交换用于备用数据的传输和交换，千兆以太网负责工作参数的传输和交换；
三种总线形式相互备份，通过改变路由配置表的方式实现单元间各模块的互连和通信，从而实现各单元模块的主、备冗余通信互连方式。
存储单元包括动态随机快速存储部分和非易失固态存储部分，实现处理结果的快速存储和响应主控指令实现处理结果的输出；
动态随机快速存储部分采用DDR3阵列介质实现，用于缓存处理完成的数据结果；非易失固态存储部分采用Nand flash阵列介质实现，用于存储处理完成的数据结果和权重参数。
所述的存储单元实现处理结果的快速存储和响应主控指令实现处理结果的输出，具体为：在存储数据时，按照文件的方式进行存取，同时对每份数据采用3份复制存储，保证数据的备份冗余；读取文件数据输出时，3份文件数据均读出，并采用3判2的冗错方式完成数据读取和校验，保证数据存取的正确性。
所述的存储单元读取文件数据输出时，3份文件数据均读出，并采用3判2的冗错方式完成数据读取和校验，具体为：比较3份文件数据具体数值，若有两份或以上数值完全一致，则输出该文件数据，如果没有，证明此次读取数据过程中有误，重新读取该文件数据，再进行比对，依照上述规则进行判断是否输出该文件数据；如果连续三次读取数据比对不满足3判2要求，则证明该文件数据已失效，则不输出该文件数据，并将该结果上报给主控单元。
一种基于所述的应用于遥感图像的在轨检测识别装置实现的在轨检测识别方法，步骤如下：
(1)接收卫星载荷数据，根据工作参数进行感兴趣区域提取，将提取的图像数据进行基于形态学的可疑目标提取，并根据可疑目标提取结果获取目标切片；
(2)根据配置的路由表，将切片数据按乒乓规则分发处理，完成基于卷积神经网络的深度学习处理，对目标切片进行分类，根据分类结果将对应的切片信息以及所述分类结果信息丢弃，或将目标切片信息以及所述分类结果信息打包进行存储；
(3)根据主控单元的数据输出指令，将存储的打包数据输出；主控单元完成控制流信息的接收、处理和发送，控制流信息包含各单元的工作参数、上下电控制、工作状态、数据交换路由表以及重构程序数据
本发明与现有技术相比的有益效果是：
1)本发明装置采用通用化、标准化设计，充分考虑宇航应用的高可靠、高效能、抗辐照、强容/纠错能力等特点，采用高可靠冗余数据传输、交互和存储方法，提升系统可靠性。接收数据时，对接收到的数据进行强容错处理，保证接收数据的数量和格式正确；交互数据时，通过动态路由表配置，实现多介质、多通道、多方式的高可靠冗余备份的数据交互；存储数据时，通过多份数据存取比对，采用3判2的方法，保证存取数据正确。
2)本发明采用网状处理节点设计思路，支持多单元并行处理、协同处理、互为备份等多种工作模式，扩展能力强。通过程序重构，可实现处理架构和硬件资源重配置，提升装置的灵活性和适用性。
3)本发明充分考虑遥感成像结果具有稀疏性的特点，采用可疑目标初检测+深度学习的方法，基于传统图像处理技术快速筛选疑似目标，大幅降低后续处理的数据量；采用深度学习方法，提取目标有效信息，大幅降低检测虚警率，实现对目标的检测和细分类，相对传统方法，处理效果没有明显差异的情况下，本专利设计的处理方法平均处理效率提升20倍以上。
附图说明
图1为本发明遥感图像在轨检测识别处理流程框图；
图2为本发明遥感图像在轨检测识别处理装置框图；
图3为本发明图像降分辨率处理流程图；
图4为本发明可疑目标检测流程图；
图5为本发明对切片识别流程图；
图6为本发明存储单元工作流程图；
具体实施方式
本发明涉及的应用于遥感图像的在轨检测识别装置，主要包括：供电单元、主控单元、IO单元、处理单元、交换单元、存储单元。具体描述如下：
如图1和图2所示，IO单元负责接收卫星载荷数据，根据工作参数进行感兴趣区域提取，将提取的图像数据进行基于形态学的可疑目标提取，并根据可疑目标提取结果获取目标切片，并将切片发送给交换单元；交换单元根据配置的路由表，将切片数据按乒乓规则分发给处理单元，处理单元完成基于卷积神经网络的深度学习处理，对目标切片进行分类，根据分类结果将对应的切片信息以及所述分类结果信息丢弃，或将目标切片信息以及所述分类结果信息打包通过交换单元发送给存储单元进行存储；存储单元根据主控单元的数据输出指令，通过交换单元将存储单元中存储的打包数据发送给IO单元并输出；主控单元完成控制流信息的接收、处理和发送，控制流信息包含各单元的工作参数、上下电控制、工作状态、数据交换路由表以及重构程序数据。
处理单元包括第一处理单元以及第二处理单元，两个处理单元的工作模式包括并行工作模式、协同工作模式和备份工作模式；处于并行工作模式时，第一处理单元以及第二处理单元相互独立、同时工作且任务一致；处于协同工作模式时，第一处理单元以及第二处理单元强耦合，协同工作；处于备份工作模式时，第一处理单元以及第二处理单元仅有一个工作，另一个处于备份冗余状态。
如图1所示，IO单元包括数据接收模块、感兴趣区域提取模块、降分辨率模块、可疑目标检测模块、目标切片生成模块以及目标信息输出模块；数据接收模块接收外部送入的遥感图像，并将所述遥感图像传递给感兴趣区域提取模块，将遥感图像中的感兴趣区域提取出来，将处理结果通过降分辨率模块进行降分辨率处理，处理后的数据送入可疑目标检测模块进行可疑目标检测，最终将检测出的可疑目标送入目标切片生成模块进行切片处理，将生成的切片结果输出；目标信息输出模块包括光纤模块和Serdes模块，用于将存储单元中的处理结果输出。
数据接收模块接收卫星载荷分系统发送过来的图像数据时，先根据主控单元发送过来的载荷图像数据工作参数确定每一景图像的大小尺寸，产生行同步信号和帧同步信号，然后再根据尺寸信息对接收到的图像数据进行多去少补处理，确保接收到的图像数据量正确，与此同时，数据接收模块将接收到的数据发送给感兴趣区域提取模块。所述多去少补处理是指如果输入的图像数据多于所述每一景图像的大小尺寸对应的数据，则去除多余的数据；如果输入的图像数据少于所述每一景图像的大小尺寸对应的数据，则补充缺少的数据。
感兴趣区域提取模块根据主控单元发送过来的工作参数，对经过数据接收模块处理的图像数据进行图像行计数和图像行内像素点计数，根据计数值截取感兴趣区域图像数据，产生新的行同步信号和帧同步信号，并发送给降分辨率模块，同时，将感兴趣区域原始数据发送给切片生成模块进行存储。
如图3所示，降分辨率模块接收到感兴趣区域提取模块发送过来的数据后，先对图像数据进行高斯滤波，再对滤波结果进行均值、中值或者极值降分辨率，极值包含极大值和极小值两种，高斯模板参数、降分辨率方式及倍数可通过工作参数配置，将降分辨率处理结果发送给可疑目标检测模块。
如图4所示，可疑目标检测模块接收到降分辨率模块的数据后，首先，对图像数据采用高斯滤波和中值滤波去除周期性和随机噪声，并经过形态学开闭运算实现目标增强；然后，通过对图像进行切片处理，比对当前检测区域与邻域直方图方差特性，对疑似目标区域进行自适应迭代分割，并进行连通域标注，得到疑似目标标注结果；再则，对疑似目标标注结果进行求取圆形度进行鉴别，剔除虚警目标，得到可疑目标的检测结果——目标坐标。其中，高斯滤波、中值滤波以及形态学开闭运算的模板大小可通过工作参数配置；检测区域与邻域直方图方差特性的比对阈值可通过工作参数配置；自适应迭代分割方法采用一维Otsu分割方法；圆弧度鉴别阈值可通过工作参数进行配置。最后，可疑目标检测模块将得到的目标坐标发送给目标切片生成模块。
切片生成模块根据可疑目标检测模块的输出结果坐标(xi,yi)以及降分辨率的倍数参数α确定可疑目标在感兴趣区域原始图像的位置为(α×xi,α×yi)，并以此为中心点，获取尺寸大小为m×n的图像切片，切片尺寸m，n根据工作参数进行配置，并将切片数据通过SRIO总线发送给交换单元，最终送入处理单元。
如图5所示，处理单元采用基于卷积神经网络的深度学习模型完成目标分类识别，包含卷积运算模块、全连接层计算模块、权重参数管理模块、存储模块以及任务调度模块。处理单元的任务调度模块接收完可疑目标切片数据后，将切片数据发送给卷积运算模块进行卷积运算，运算完成后将处理结果发送给全连接层计算模块，卷积运算和全连接层计算过程中，存储模块负责存储中间运算结果和权重参数，权重参数控制模块负责提供权重参数，任务调度模块根据全连接计算结果确定目标切片的类型和置信度，并将处理结果和目标切片信息打包发送给交换单元。
其中，权重参数控制模块与存储单元通过千兆以太网进行数据交互，并将存储单元中的权重参数存储于处理单元的存储模块中；权重参数更新利用主控单元实现，具体为：主控单元通过HT1553B总线或SpaceWire总线与卫星其他分系统进行数据交互，解析出地面上注的权重参数数据，通过千兆以太网将数据发送给存储单元进行存储管理，存储单元将接收到的数据复制3份进行存储，进而实现基于卷积神经网络的深度学习模型的权重参数更新，读取时，采用3判的方式进行容错处理。
与此同时，程序数据也是通过上述方法实现更新。
主控单元为控制中心，通过内部控制总线ARINC659、LVTTL、千兆以太网以及RS422接口与各单元的控制模块进行交互，完成整个在轨检测识别装置的工作参数、工作状态、各单元上下电、数据交换路由表以及重构程序数据的配置，主控单元采用主备完全备份方式实现。
交换单元包括SRIO交换模块、PCIe交换模块以及千兆以太网交换模块；其中，SRIO交换模块完成处理数据及中间结果的传输和交换，PCIe交换用于备用数据的传输和交换，千兆以太网负责工作参数的传输和交换；三种总线形式相互备份，通过改变路由配置表的方式实现单元间各模块的互连和通信，从而实现各单元模块的主、备冗余通信互连方式。
如图6所示，存储单元包括动态随机快速存储部分和非易失固态存储部分，实现处理结果的快速存储和响应主控指令实现处理结果的输出；动态随机快速存储部分采用DDR3阵列介质实现，用于缓存处理完成的数据结果和权重参数数据；非易失固态存储部分采用Nand flash阵列介质实现，用于存储深度学习模型的权重参数、程序数据以及处理完成的数据结果。
存储单元实现处理结果、权重参数以及程序数据的快速存储和响应主控指令实现存储数据的输出，具体为：在存储数据时，按照文件的方式进行存取，同时对每份数据采用3份复制存储，保证数据的备份冗余；读取文件数据输出时，3份文件数据均读出，并采用3判2的冗错方式完成数据读取和校验，保证数据存取的正确性。
如图6所示，存储单元读取文件数据输出时，3份文件数据均读出，并采用3判2的冗错方式完成数据读取和校验，具体为：比较3份文件数据具体数值，若有两份或以上数值完全一致，则输出该文件数据，如果没有，证明此次读取数据过程中有误，重新读取该文件数据，再进行比对，依照上述规则进行判断是否输出该文件数据；如果连续三次读取数据比对不满足3判2要求，则证明该文件数据已失效，则不输出该文件数据，并将该结果上报给主控单元。
实施例：
采用32景GF-2遥感卫星数据作为系统的测试数据，输入原始图像大小为8192×8192，图像分辨率为1m，目标切片大小为224×224。针对近岛屿/浅滩、空阔海域以及近陆地/港口三种场景对舰船目标进行检测识别。
检测识别性能分析
a)实时性
为了验证系统的实时性，采用数据输入为起始时间，输出最后的识别结果为结束时间，统计该段时间处理出来的目标个数。统计4幅原始图像的处理时间及检测识别的目标个数，通过计算1秒平均能够检测识别到的目标个数衡量实时性。
表1实时性测试结果
Figure BDA0002033196290000121
由上表1可知，该系统目标检测识别能力为20个目标/秒，系统具有良好的实时性。
b)正确率
为了验证算法的检测性能，对算法进行定量评价：(1)查全率(Recall)：衡量检测的完整程度；(2)查准率(Precision)：衡量准确查找任务目标的能力。这两个指标定义如下：
Figure BDA0002033196290000122
Figure BDA0002033196290000123
其中，Ndt为检出的正确船舰数；Ndf为检出的虚警数目；Nnum为人工确认的船舰数。
为考查机器学习在目标分类识别的效能，新增检测有效率(Valid)指标，即基于传统方法检测方法的目标检测效率。
Figure BDA0002033196290000124
其中，Nvalid为检测结果中感兴趣(舰船)目标个数，Ndection为全部检测结果个数。
根据上述评价指标对三组测试库中的测试结果进行记录和指标计算，结果如表2-表3所示。
表2不同场景下船舰目标检测方法性能测试结果
Figure BDA0002033196290000131
表3不同场景下船舰目标分类识别性能测试结果
Figure BDA0002033196290000132
注：1.近岛屿/浅滩船舰目标；2.海域船舰目标；3.近陆地/港口内船舰目标
由表2结果可知，在不同场景下，船舰目标的有效检测率均未超过60％，这类场景在进行疑似目标筛选分割过程容易形成虚警目标，在复杂背景下，基于形态学的传统目标检测算法适应性一般，会造成很大程度的误检。由表3结果可知，船舰目标的查全率均超过92％，尤其是基于深度学习的目标识别方法将系统查准率提升到97％以上。由此可见，深度学习对目标分类识别效果显著，有效提升目标检测识别的正确率。

Claims (10)

1.应用于遥感图像的在轨检测识别装置，其特征在于包括：主控单元、存储单元、处理单元、交换单元、IO单元以及供电单元；IO单元负责接收卫星载荷数据，根据工作参数进行感兴趣区域提取，将提取的图像数据进行基于形态学的可疑目标提取，并根据可疑目标提取结果获取目标切片，并将切片发送给交换单元；
交换单元根据配置的路由表，将切片数据按乒乓规则分发给处理单元，处理单元完成基于卷积神经网络的深度学习处理，对目标切片进行分类，根据分类结果将对应的切片信息以及所述分类结果信息丢弃，或将目标切片信息以及所述分类结果信息打包通过交换单元发送给存储单元进行存储；
存储单元根据主控单元的数据输出指令，通过交换单元将存储单元中存储的打包数据发送给IO单元并输出；主控单元完成控制流信息的接收、处理和发送，控制流信息包含各单元的工作参数、上下电控制、工作状态、数据交换路由表以及重构程序数据；
所述IO单元包括数据接收模块、感兴趣区域提取模块、降分辨率模块、可疑目标检测模块、目标切片生成模块以及目标信息输出模块；
数据接收模块接收外部送入的遥感图像，并将所述遥感图像传递给感兴趣区域提取模块，将遥感图像中的感兴趣区域提取出来，将处理结果通过降分辨率模块进行降分辨率处理，处理后的数据送入可疑目标检测模块进行可疑目标检测，最终将检测出的可疑目标送入目标切片生成模块进行切片处理，将生成的切片结果输出；目标信息输出模块包括光纤模块和Serdes模块，用于将存储单元中的处理结果输出；
数据接收模块对外部送入的遥感图像数据进行冗余接收处理，根据主控单元发送过来的载荷图像数据工作参数确定每一景图像的大小尺寸，产生行同步信号和帧同步信号，并根据尺寸信息对接收到的图像数据进行多去少补处理，确保接收到的图像数据量正确，所述多去少补处理是指如果输入的图像数据多于所述每一景图像的大小尺寸对应的数据，则去除多余的数据；如果输入的图像数据少于所述每一景图像的大小尺寸对应的数据，则补充缺少的数据；
将遥感图像中的感兴趣区域提取出来，具体为：根据主控单元发送过来的工作参数，对经过接收模块处理的图像数据进行图像行计数和图像行内像素点计数，根据计数值截取感兴趣区域图像数据，产生新的行同步信号和帧同步信号，并发送给降分辨率模块，将感兴趣区域原始数据发送给切片生成模块进行存储；
对感兴趣区域数据进行降分辨率处理，具体为：先对图像数据进行高斯滤波，再对滤波结果进行均值、中值或者极值降分辨率，极值包含极大值和极小值两种，高斯模板参数、降分辨率方式及倍数可通过工作参数配置，将降分辨率处理结果发送给可疑目标检测模块；
进行可疑目标的检测，并把可疑目标位置坐标发送给切片生成模块，具体分为3步：第一步：对图像数据采用高斯滤波和中值滤波去除周期性和随机噪声，并经过形态学开闭运算实现目标增强；第二步：通过对图像进行切片，比对当前检测区域与邻域直方图方差特性，对疑似目标区域进行自适应迭代分割，并进行连通域标注，得到疑似目标标注结果；第三步：对疑似目标标注结果进行求取圆形度进行鉴别，剔除虚警目标，即可得到可疑目标的检测结果；
高斯滤波、中值滤波以及形态学开闭运算的模板大小可通过工作参数配置；检测区域与邻域直方图方差特性的比对阈值可通过工作参数配置；自适应迭代分割方法采用一维Otsu分割方法；圆弧度鉴别阈值可通过工作参数进行配置；
将检测出的可疑目标进行切片处理，具体为：切片生成模块根据可疑目标检测模块的输出结果坐标(xi,yi)以及降分辨率的倍数参数α确定可疑目标在感兴趣区域的位置为(α×xi,α×yi)，并以此为中心点，获取尺寸大小为m×n的图像切片，切片尺寸m，n根据工作参数进行配置，并将切片数据通过SRIO总线发送给交换单元，最终送入处理单元。
2.根据权利要求1所述的应用于遥感图像的在轨检测识别装置，其特征在于：处理单元包括第一处理单元以及第二处理单元，两个处理单元的工作模式包括并行工作模式、协同工作模式和备份工作模式；
处于并行工作模式时，第一处理单元以及第二处理单元相互独立、同时工作且任务一致；
处于协同工作模式时，第一处理单元以及第二处理单元强耦合，协同工作；
处于备份工作模式时，第一处理单元以及第二处理单元仅有一个工作，另一个处于备份冗余状态。
3.根据权利要求1所述的应用于遥感图像的在轨检测识别装置，其特征在于：所述主控单元为控制中心，通过内部控制总线ARINC659、LVTTL、千兆以太网以及RS422接口与各单元的控制模块进行交互，完成整个在轨检测识别装置的工作参数、工作状态、各单元上下电、数据交换路由表以及重构程序数据的配置，主控单元采用主备完全备份方式实现。
4.根据权利要求1所述的应用于遥感图像的在轨检测识别装置，其特征在于：所述处理单元采用基于卷积神经网络的深度学习模型完成目标分类识别，包含卷积运算模块、全连接层计算模块、权重参数管理模块、存储模块以及任务调度模块；
任务调度模块接收完可疑目标切片数据后，将切片数据发送给卷积运算模块进行卷积运算，运算完成后将处理结果发送给全连接层计算模块，卷积运算和全连接层计算过程中，存储模块负责存储中间运算结果和权重参数，权重参数控制模块负责提供权重参数，任务调度模块根据全连接计算结果确定目标切片的类型和置信度，并将处理结果和目标切片信息打包发送给交换单元。
5.根据权利要求4所述的应用于遥感图像的在轨检测识别装置，其特征在于：所述的权重参数控制模块与存储单元通过千兆以太网进行数据交互，并将存储单元中的权重参数存储于处理单元的存储模块中，利用主控单元实现工作参数更新，进而实现基于卷积神经网络的深度学习模型的权重参数更新。
6.根据权利要求1所述的应用于遥感图像的在轨检测识别装置，其特征在于：所述交换单元包括SRIO交换模块、PCIe交换模块以及千兆以太网交换模块；
其中，SRIO交换模块完成处理数据及中间结果的传输和交换，PCIe交换用于备用数据的传输和交换，千兆以太网负责工作参数的传输和交换；
三种总线形式相互备份，通过改变路由配置表的方式实现单元间各模块的互连和通信，从而实现各单元模块的主、备冗余通信互连方式。
7.根据权利要求6所述的应用于遥感图像的在轨检测识别装置，其特征在于：存储单元包括动态随机快速存储部分和非易失固态存储部分，实现处理结果的快速存储和响应主控指令实现处理结果的输出；
动态随机快速存储部分采用DDR3阵列介质实现，用于缓存处理完成的数据结果；非易失固态存储部分采用Nand flash阵列介质实现，用于存储处理完成的数据结果和权重参数。
8.根据权利要求7所述的应用于遥感图像的在轨检测识别装置，其特征在于：所述的存储单元实现处理结果的快速存储和响应主控指令实现处理结果的输出，具体为：在存储数据时，按照文件的方式进行存取，同时对每份数据采用3份复制存储，保证数据的备份冗余；读取文件数据输出时，3份文件数据均读出，并采用3判2的冗错方式完成数据读取和校验，保证数据存取的正确性。
9.根据权利要求8所述的应用于遥感图像的在轨检测识别装置，其特征在于：所述的存储单元读取文件数据输出时，3份文件数据均读出，并采用3判2的冗错方式完成数据读取和校验，具体为：比较3份文件数据具体数值，若有两份或以上数值完全一致，则输出该文件数据，如果没有，证明此次读取数据过程中有误，重新读取该文件数据，再进行比对，依照上述规则进行判断是否输出该文件数据；如果连续三次读取数据比对不满足3判2要求，则证明该文件数据已失效，则不输出该文件数据，并将该结果上报给主控单元。
10.一种基于权利要求1～9中任一项所述的应用于遥感图像的在轨检测识别装置实现的在轨检测识别方法，其特征在于步骤如下：
(1)接收卫星载荷数据，根据工作参数进行感兴趣区域提取，将提取的图像数据进行基于形态学的可疑目标提取，并根据可疑目标提取结果获取目标切片；
(2)根据配置的路由表，将切片数据按乒乓规则分发处理，完成基于卷积神经网络的深度学习处理，对目标切片进行分类，根据分类结果将对应的切片信息以及所述分类结果信息丢弃，或将目标切片信息以及所述分类结果信息打包进行存储；
(3)根据主控单元的数据输出指令，将存储的打包数据输出；主控单元完成控制流信息的接收、处理和发送，控制流信息包含各单元的工作参数、上下电控制、工作状态、数据交换路由表以及重构程序数据。
CN201910316281.4A 2019-04-19 2019-04-19 一种应用于遥感图像的在轨检测识别装置及方法 Active CN110532842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910316281.4A CN110532842B (zh) 2019-04-19 2019-04-19 一种应用于遥感图像的在轨检测识别装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910316281.4A CN110532842B (zh) 2019-04-19 2019-04-19 一种应用于遥感图像的在轨检测识别装置及方法

Publications (2)

Publication Number Publication Date
CN110532842A CN110532842A (zh) 2019-12-03
CN110532842B true CN110532842B (zh) 2022-04-08

Family

ID=68659266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910316281.4A Active CN110532842B (zh) 2019-04-19 2019-04-19 一种应用于遥感图像的在轨检测识别装置及方法

Country Status (1)

Country Link
CN (1) CN110532842B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026445A (zh) * 2019-12-17 2020-04-17 湖南长城银河科技有限公司 一种智能识别方法及芯片
CN111929717A (zh) * 2020-07-24 2020-11-13 北京航空航天大学 面向遥感图像目标特性识别的星载图像处理器及处理方法
CN113190510B (zh) * 2021-03-26 2023-05-30 中国科学院软件研究所 面向软件定义卫星的大规模神经网络上注的方法、装置以及系统
CN113486883B (zh) * 2021-05-25 2024-02-13 航天恒星科技有限公司 一种卫星遥感图像感兴趣区在轨智能提取一体化处理装置
CN115097456A (zh) * 2022-08-02 2022-09-23 北京卫星信息工程研究所 Sar卫星遥感数据在轨检测方法、装置及可读存储介质
CN115222758B (zh) * 2022-09-21 2023-01-10 北京九章星图科技有限公司 一种低分辨广域序列遥感影像船动目标实时检测方法
CN116630820B (zh) * 2023-05-11 2024-02-06 北京卫星信息工程研究所 光学遥感数据星上并行处理方法与装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102865916A (zh) * 2012-09-10 2013-01-09 中国航天科技集团公司第五研究院第五一三研究所 基于arm的星载振动信号高速测量系统
CN104780383A (zh) * 2015-02-02 2015-07-15 杭州电子科技大学 一种3d-hevc多分辨率视频编码方法
CN106485718A (zh) * 2016-09-30 2017-03-08 北京通航信息科技有限公司 一种过火迹地识别方法及装置
CN108389220A (zh) * 2018-02-05 2018-08-10 湖南航升卫星科技有限公司 遥感视频图像运动目标实时智能感知方法及其装置
CN108804616A (zh) * 2018-05-30 2018-11-13 中国科学院空间应用工程与技术中心 一种空间有效载荷在轨图像数据挖掘的装置和方法
CN208156003U (zh) * 2018-03-16 2018-11-27 西安阿尔特测控技术有限公司 籽棉回潮率测量仪
CN109191420A (zh) * 2018-07-02 2019-01-11 上海卫星工程研究所 一种船舶目标切片图像的roi压缩方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102865916A (zh) * 2012-09-10 2013-01-09 中国航天科技集团公司第五研究院第五一三研究所 基于arm的星载振动信号高速测量系统
CN104780383A (zh) * 2015-02-02 2015-07-15 杭州电子科技大学 一种3d-hevc多分辨率视频编码方法
CN106485718A (zh) * 2016-09-30 2017-03-08 北京通航信息科技有限公司 一种过火迹地识别方法及装置
CN108389220A (zh) * 2018-02-05 2018-08-10 湖南航升卫星科技有限公司 遥感视频图像运动目标实时智能感知方法及其装置
CN208156003U (zh) * 2018-03-16 2018-11-27 西安阿尔特测控技术有限公司 籽棉回潮率测量仪
CN108804616A (zh) * 2018-05-30 2018-11-13 中国科学院空间应用工程与技术中心 一种空间有效载荷在轨图像数据挖掘的装置和方法
CN109191420A (zh) * 2018-07-02 2019-01-11 上海卫星工程研究所 一种船舶目标切片图像的roi压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
星载SAR在轨成像及舰船目标检测方法;李宗凌等;《航天器工程》;20181231;第27卷(第6期);全文 *

Also Published As

Publication number Publication date
CN110532842A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN110532842B (zh) 一种应用于遥感图像的在轨检测识别装置及方法
Mahmoud et al. Object detection using adaptive mask RCNN in optical remote sensing images
WO2022000862A1 (zh) 鱼眼图像中的对象检测方法、装置及存储介质
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN107423734B (zh) 一种sar图像海洋目标快速检测方法与装置
CN110348435B (zh) 一种基于区域候选网络的目标检测方法及系统
Huang et al. Ship target detection based on improved YOLO network
CN110807362A (zh) 一种图像检测方法、装置和计算机可读存储介质
CN111160365A (zh) 基于检测器和跟踪器相结合的无人机目标跟踪方法
CN116128820A (zh) 一种基于改进yolo模型的销钉状态的识别方法
CN112257612A (zh) 一种基于边缘智能的无人机视频帧过滤方法及装置
CN116052026A (zh) 一种无人机航拍图像目标检测方法、系统及存储介质
Manninen et al. Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images
Dai et al. Oamatcher: An overlapping areas-based network for accurate local feature matching
CN112270259B (zh) 基于轻量级卷积神经网络的sar图像舰船目标快速检测方法
CN113393385A (zh) 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
CN112800806B (zh) 物体位姿检测追踪方法、装置、电子设备及存储介质
CN112329729A (zh) 小目标船只检测方法、装置及电子设备
Li et al. Wide area remote sensing image on orbit target extraction and identification method
Zhang et al. Object Detection in unmanned vehicle with end-to end edge-enhanced GAN and object detector network
Zhao et al. Fish Identification Method Based on Oriented Fast and Rotated Brief Algorithm and Convolutional Neural Network in Muddy Sea
CN115965749B (zh) 一种基于雷视融合的三维重建设备
CN117197592B (zh) 一种目标检测模型训练方法、装置、电子设备及介质
CN115409952B (zh) 一种结核性脑膜脑炎重建系统、方法及存储器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant