CN115223051A - 一种星载光学遥感影像目标检测系统 - Google Patents

一种星载光学遥感影像目标检测系统 Download PDF

Info

Publication number
CN115223051A
CN115223051A CN202210629767.5A CN202210629767A CN115223051A CN 115223051 A CN115223051 A CN 115223051A CN 202210629767 A CN202210629767 A CN 202210629767A CN 115223051 A CN115223051 A CN 115223051A
Authority
CN
China
Prior art keywords
target
remote sensing
sensing image
module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210629767.5A
Other languages
English (en)
Inventor
李铿
曹云飞
陈禾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210629767.5A priority Critical patent/CN115223051A/zh
Publication of CN115223051A publication Critical patent/CN115223051A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提供一种星载光学遥感影像目标检测系统，包括：图像采集设备、通用处理平台、多通道传输总线，硬件平台和结果传输设备；图像采集设备，用于采集在轨遥感图像；通用处理平台，一方面用于对在轨遥感图像进行预处理，并将处理结果传输给硬件平台，另一方面用于接收硬件平台传输的目标信息，根据目标信息提取包含感兴趣目标的遥感图像，根据目标的运动特性，从所包含目标的遥感图像中提取关键帧进行压缩处理；硬件平台，提取预处理后的遥感图像中的感兴趣的目标信息，并传输给通用处理平台；结果传输设备，用于将通用处理平台压缩的图像数据传输出去。本系统能够解决在轨要测数据传输量大的问题。

Description

一种星载光学遥感影像目标检测系统
技术领域
本发明属于光学遥感图像智能处理技术领域，具体涉及一种星载光学遥感影像目标检测系统。
背景技术
随着人工智能技术的发展，基于深度神经网络的智能处理算法逐步在星载、机载等遥感数据处理中得到广泛应用，在灾害预警及应急、海洋应用、环境监测、国土资源等方面起到越来越重要的作用。随着卫星对地观测分辨率、幅宽等不断增长，带来数据量呈几何级数增长，海量遥感数据传输、处理与应用都面临着时效性低、利用率低等问题。而深度神经网络具有运算复杂度高、存储带宽需求大的特点。
在高时效性要求与资源功耗等空间环境的强约束下，通用处理平台难以支撑在轨人工智能应用的计算需求。为此，需开展空间信息的在轨智能处理技术研究，实现在轨遥感图像的智能实时处理，具体包括：
(1)突破星地数传瓶颈，在轨完成感兴趣区域、目标情报信息、变化检测等信息提取，配合遥感数据压缩，在星地数传系统中仅传输感兴趣目标的相关信息，提升信息的获取效能；
(2)减少星载无效数据量，通过解决在轨智能化信息的检测、识别、提取处理技术，有效存储感兴趣目标相关数据，减少星载无效数据，提高星载存储空间的利用率；
(3)提升卫星智能化水平，高效部署深度学习算法，从星载海量遥感数据中提取任务所需的有效信息，提升星载系统智能化快速响应能力。
针对以上问题，急需开展星载遥感图像智能处理系统设计研究，解决在轨遥感图像数据量大、智能处理算法所需计算资源大等问题，为空间人工智能应用提供支持。
发明内容
为解决上述技术问题，本发明提出了一种星载光学遥感影像目标检测系统，该系统能够解决在轨遥感图像数据量大、智能处理算法所需计算资源大等问题。
实现本发明的技术方案如下：
一种星载光学遥感影像目标检测系统，包括：图像采集设备、通用处理平台、多通道传输总线，硬件平台和结果传输设备，所述通用处理平台与所述硬件平台之间通过所述多通道传输总线进行数据交互；
所述图像采集设备，用于采集在轨遥感图像；
所述通用处理平台，一方面用于对所述在轨遥感图像进行预处理，并将处理结果传输给硬件平台，另一方面用于接收硬件平台传输的目标信息，根据所述目标信息提取包含感兴趣目标的遥感图像，根据目标的运动特性，从所包含目标的遥感图像中提取关键帧进行压缩处理；
所述硬件平台，提取预处理后的遥感图像中的感兴趣的目标信息，并传输给通用处理平台；
所述结果传输设备，用于将所述通用处理平台压缩的图像数据传输出去。
进一步地，本发明所述硬件平台包括神经网络处理模块，所述神经网络模块用于提取输入图像中感兴趣目标的目标信息，所述目标信息包括目标位置信息和目标轮廓信息。
进一步地，本发明所述硬件平台包括存储器，所述存储器存储神经网络处理模块的中间运算结果。
进一步地，本发明所述神经网络处理模块采用了对称量化算法，基于8bit定点数对神经网络中的卷积运算、池化运算和激活运算进行硬件实现。
进一步地，本发明所述通用处理平台包括：图像预处理模块、目标检测任务控制模块和视频压缩模块；
所述图像预处理模块，基于辐射校正和几何校正算法对遥感图像进行预处理；
所述目标检测任务模块，基于所述感兴趣目标信息，提取包含感兴趣目标的遥感图像；
所述视频压缩模块，根据目标的运动特性，从所包含目标的遥感图像中提取关键帧进行压缩处理，将压缩文件和目标信息传输给结果传输模块。
进一步地，本发明所述视频压缩模块，将包含目标的遥感图像转化为视频，根据目标的运动特性，进行运动信息稀疏关键帧的筛选，采用H.265算法对包含感兴趣目标的遥感视频进行压缩，将目标信息和包含感兴趣目标的视频压缩文件传输给结果传输模块。
有益效果：
第一、本发明通过硬件平台对目标进行目标信息的提取，通用处理平台基于所提取出的目标轮廓信息提取包含感兴趣目标的遥感图像，根据目标的运动特性，从所包含目标的遥感图像中提取关键帧进行压缩处理，因此可以大大减小数据的传输数量，在保证较高压缩倍数的同时，保证原始视频相较于解压视频的失真度保持在较低范围。
第二、本发明所提取的目标信息包括目标位置信息和目标轮廓信息，可以实现以少量数据作为参照，并可成功的从图像中锁定目标，从而快速提取包含有目标的遥感图像。
第三、本发明神经网络处理模块采用了对称量化算法，基于8bit定点数对神经网络中的卷积运算、池化运算和激活运算进行硬件实现。在降低轻量化网络的参数量的同时，能够有效减少硬件资源的消耗，从而提高目标检测算法的运行效率。
第四、本发明为保证解压视频和原始视频内容高度一致，采用H.265视频编码压缩算法对关键帧序列进行视频压缩，在高保真的前提下，提高数据的压缩倍数，从而减少星载存储中的无效数据量，并突破星地数据传输链路的带宽限制。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种星载光学遥感影像目标检测系统方框图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
如图1所示，本申请实施例提供一种星载光学遥感影像目标检测系统，包括：图像采集设备1、通用处理平台2、多通道传输总线3，硬件平台4和结果传输设备5，所述通用处理平台2与所述硬件平台4之间通过所述多通道传输总线3进行数据交互；
所述图像采集设备1，用于采集在轨遥感图像；
所述通用处理平台2，一方面用于对所述在轨遥感图像进行预处理，并将处理结果传输给硬件平台，另一方面用于接收硬件平台传输的检测目标，根据所述检测目标提取包含感兴趣目标的遥感图像并压缩；
所述硬件平台4，提取预处理后的遥感图像中的检测感兴趣的目标信息，并传输给通用处理平台2；
所述结果传输设备5，用于将所述通用处理平台压缩的图像数据传输出去。
本实施例通过硬件平台4对目标进行轮廓信息的提取，通用处理平台基于所提取出的目标轮廓信息提取包含检测目标的遥感图像，因此可以大大减小数据的传输数量，在保证较高压缩倍数的同时，保证原始视频相较于解压视频的失真度保持在较低范围。本实施例中图像采集设备1可以为光学CCD相机，也可以为其他图像采集设备。
本申请的又一实施例中，硬件平台包括神经网络处理模块，所述神经网络模块用于提取输入图像中感兴趣目标的目标信息，所述目标信息包括目标位置信息和目标轮廓信息。
在具体实施时，硬件平台4可以采用高性能Xilinx Virtex-7 FPGA VC709硬件平台，实现神经网络模型的高效部署，神经网络处理模块负责部署神经网络模型，实现神经网络的前向推断，获得目标位置信息和目标轮廓信息；在具体实施时，目标的轮廓信息可以是目标的长度和宽度信息，通过对目标位置和轮廓信息的提取，以便于提取包含有目标的遥感图像。
本申请的又一实施例中，硬件平台包括存储器，所述存储器存储神经网络处理模块的中间运算结果。
本申请的又一实施例中，神经网络处理模块采用了对称量化算法，基于8bit定点数对神经网络中的卷积运算、池化运算和激活运算进行硬件实现。
根据基于神经网络的目标检测算法的处理特性，本实施例中的神经网络模块实现了神经网络模型中诸如卷积运算、池化运算和激活运算等基本操作，因此，本实施例中的神经网络模块不仅仅适用于某种特定的神经网络目标检测算法，基于本实施例中的硬件平台，可实现多种基于神经网络的目标检测算法的灵活部署。此外，由于神经网络中涉及大量的浮点数运算，在硬件实现过程中对硬件平台的计算资源需求较大，难以在资源、功耗受限的星载平台上进行部署。因此，本实施例基于8bit定点数的对称量化算法，实现对数据字长的优化，该方法将神经网络所使用的32bit单精度浮点运算转换为8bit定点整数运算，大大降低了神经网络的参数量和计算量，为神经网络在星载平台上的部署提供了可能。
32bit浮点数和8bit定点数基于对称量化算法的字长变换公式如公式1.1所示。
r＝S×q(1.1)
其中r为浮点数，q为对应的量化定点数，S为量化参数，表示浮点数和定点数之间的比例关系。由于采用8bit定点数对r进行字长优化，因此q中的元素为8bit有符号整数，而量化参数则是一个浮点数常量，具体如公式1.2所示。
Figure BDA0003677261140000071
根据上述变换公式，采用低精度的数据类型替换高精度的浮点数据类型，在降低轻量化网络的参数量的同时，能够有效减少硬件资源的消耗，从而提高目标检测算法的运行效率。
本申请的又一实施例中，通用处理平台2包括：图像预处理模块6、目标检测任务控制模块7和视频压缩模块8；其中，所述图像预处理模块6与目标检测任务控制模块7连接；所述目标检测任务控制模块7和视频压缩模块8连接；所述图像采集设备1和图像预处理模块6连接；所述目标检测任务控制模块7通过多通道传输总线3与神经网络处理模块9连接；所述视频压缩模块8与结果传输设备5连接。
所述图像预处理模块6，基于辐射校正和几何校正算法对遥感图像进行预处理；
所述目标检测任务模块7，基于所述感兴趣目标信息，提取包含感兴趣目标的遥感图像，同时还包括对通用处理平台2中各个模块进行数据调度；
所述视频压缩模块8，根据目标的运动特性，从所包含目标的遥感图像中提取关键帧进行压缩处理，将压缩文件和目标信息传输给结果传输模块。
在具体实施例，由于卫星采集的图像序列具有感兴趣目标区域运动缓慢且平稳的特点，并且在一定时间范围内目标的运动具有一定的规律，因此在视频压缩过程中仅对能够描述整个运动过程的关键帧进行压缩编码。本实施例中可以对遥感图像序列进行均匀关键帧提取，即每5张遥感图像提取一张关键帧，从而实现运动信息稀疏关键帧的筛选。然后在解码过程中通过时域帧插入的方法对丢弃的冗余帧进行重建，从而将视频压缩的复杂度由星载的视频压缩模块转移到地面基站的解码端上。本实施例中，通用处理平台2可以采用ARM Cortex-A53处理器实现。
本申请又一实施例，视频压缩模块8，将包含目标的遥感图像转化为视频，根据目标的运动特性，进行运动信息稀疏关键帧的筛选，采用H.265算法对包含感兴趣目标的遥感视频进行压缩，将目标信息和包含感兴趣目标的视频压缩文件传输给结果传输模块5。
本实施例中为保证解压视频和原始视频内容高度一致，采用H.265视频编码压缩算法对关键帧序列进行视频压缩，在高保真的前提下，提高数据的压缩倍数，从而减少星载存储中的无效数据量，并突破星地数据传输链路的带宽限制。
本发明实施例的具体工作流程如下：
(1)图像采集设备1获取原始遥感影像，输入通用处理平台2；
(2)通用处理平台2通过图像预处理模块6对每一张原始遥感影像进行辐射校正和几何校正；
(3)目标检测任务控制模块7接收图像预处理模块6的校正结果图像，通过多通道传输总线3，将预处理后的每一张图像从通用处理平台2发往硬件平台4，并送往神经网络处理模块9进行目标检测；
(4)神经网络处理模块9将来自多通道传输总线3的图像缓存在存储器10，依次从存储器10读出图像数据，根据预先选定的神经网络目标检测算法，对目标检测算法进行部署，从而进行神经网络的前向推断，并将前向推断的中间结果继续缓存在存储器10。神经网络前向推断结束后，神经网络处理模块9通过多通道传输总线3返回目标检测结果给目标检测任务控制模块7，目标检测结果包括目标位置信息和目标轮廓信息；其中，神经网络前向推断过程中的所有数据类型均为8bit定点数；
(5)目标检测任务控制模块7根据目标检测结果进行判断，去除不包含目标的图像，将包含目标的多张连续图像合并为遥感图像序列集，并输入视频压缩模块8；
(6)视频压缩模块8对输入的图像集进行关键帧提取，从每5帧图像中提取1帧作为关键帧，将提取的关键帧转化为视频，通过H.265视频编码压缩算法对视频文件进行压缩。此外，视频压缩模块8接收目标检测任务控制模块7输入的目标检测结果，待视频压缩完成后，将目标检测结果和视频压缩结果发往结果传输设备5；
(7)结果传输设备5收集来自视频压缩模块8的目标检测结果和视频压缩结果，通过星地传输链路将目标检测结果和视频压缩结果传输给地面工作站。

Claims (6)

1.一种星载光学遥感影像目标检测系统，其特征在于，包括：图像采集设备、通用处理平台、多通道传输总线，硬件平台和结果传输设备，所述通用处理平台与所述硬件平台之间通过所述多通道传输总线进行数据交互；
所述图像采集设备，用于采集在轨遥感图像；
所述通用处理平台，一方面用于对所述在轨遥感图像进行预处理，并将处理结果传输给硬件平台，另一方面用于接收硬件平台传输的目标信息，根据所述目标信息提取包含感兴趣目标的遥感图像，根据目标的运动特性，从所包含目标的遥感图像中提取关键帧进行压缩处理；
所述硬件平台，提取预处理后的遥感图像中的感兴趣的目标信息，并传输给通用处理平台；
所述结果传输设备，用于将所述通用处理平台压缩的图像数据传输出去。
2.根据权利要求1所述星载光学遥感影像目标检测系统，其特征在于，包括：所述硬件平台包括神经网络处理模块，所述神经网络模块用于提取输入图像中感兴趣目标的目标信息，所述目标信息包括目标位置信息和目标轮廓信息。
3.根据权利要求1所述星载光学遥感影像目标检测系统，其特征在于，所述硬件平台包括存储器，所述存储器存储神经网络处理模块的中间运算结果。
4.根据权利要求2或3所述星载光学遥感影像目标检测系统，其特征在于，所述神经网络处理模块采用了对称量化算法，基于8bit定点数对神经网络中的卷积运算、池化运算和激活运算进行硬件实现。
5.根据权利要求1所述星载光学遥感影像目标检测系统，其特征在于，所述通用处理平台包括：图像预处理模块、目标检测任务控制模块和视频压缩模块；
所述图像预处理模块，基于辐射校正和几何校正算法对遥感图像进行预处理；
所述目标检测任务模块，基于所述感兴趣目标信息，提取包含感兴趣目标的遥感图像；
所述视频压缩模块，根据目标的运动特性，从所包含目标的遥感图像中提取关键帧进行压缩处理，将压缩文件和目标信息传输给结果传输模块。
6.根据权利要求1所述星载光学遥感影像目标检测系统，其特征在于，所述视频压缩模块，将包含目标的遥感图像转化为视频，根据目标的运动特性，进行运动信息稀疏关键帧的筛选，采用H.265算法对包含感兴趣目标的遥感视频进行压缩，将目标信息和包含感兴趣目标的视频压缩文件传输给结果传输模块。
CN202210629767.5A 2022-06-02 2022-06-02 一种星载光学遥感影像目标检测系统 Pending CN115223051A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210629767.5A CN115223051A (zh) 2022-06-02 2022-06-02 一种星载光学遥感影像目标检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210629767.5A CN115223051A (zh) 2022-06-02 2022-06-02 一种星载光学遥感影像目标检测系统

Publications (1)

Publication Number Publication Date
CN115223051A true CN115223051A (zh) 2022-10-21

Family

ID=83607312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210629767.5A Pending CN115223051A (zh) 2022-06-02 2022-06-02 一种星载光学遥感影像目标检测系统

Country Status (1)

Country Link
CN (1) CN115223051A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385903A (zh) * 2023-05-29 2023-07-04 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向1级遥感数据的抗畸变在轨目标检测方法与模型

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385903A (zh) * 2023-05-29 2023-07-04 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向1级遥感数据的抗畸变在轨目标检测方法与模型
CN116385903B (zh) * 2023-05-29 2023-09-19 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向1级遥感数据的抗畸变在轨目标检测方法与模型

Similar Documents

Publication Publication Date Title
US10896522B2 (en) Method and apparatus for compressing image
Zhang et al. One-two-one networks for compression artifacts reduction in remote sensing
CN107205154A (zh) 一种基于矩阵补全的无线多媒体传感网图像压缩采集方法
CN101551902B (zh) 基于学习的压缩视频超分辨率的特征匹配方法
Liu et al. Light-weight AI and IoT collaboration for surveillance video pre-processing
CN110087041B (zh) 基于5g基站的视频数据处理及传输方法和系统
CN112070664A (zh) 一种图像处理方法以及装置
CN115223051A (zh) 一种星载光学遥感影像目标检测系统
US20040041816A1 (en) High-dimensional texture drawing apparatus, high-dimensional texture compressing apparatus, high-dimensional texture drawing system, high-dimensional texture drawing method, and high-dimensional texture drawing program
CN114915786B (zh) 一种面向物联网场景的非对称语义图像压缩方法
CN106341660A (zh) 一种图像处理方法、装置及无人机图像处理系统
Chakraborty et al. MAGIC: Machine-learning-guided image compression for vision applications in Internet of Things
CN112115830A (zh) 一种基于比特域特征提取的目标分布式融合识别方法
Moorthy et al. Reduction of satellite images size in 5G networks using machine learning algorithms
CN108616720B (zh) 一种多台站频谱监测数据压缩处理方法
Nirmala et al. Multimodal image fusion in visual sensor networks
CN117560511A (zh) 基于图分割技术电力巡检的间隔棒图像压缩方法及系统
Bing et al. Collaborative image compression and classification with multi-task learning for visual Internet of Things
CN110278163B (zh) 一种用于无人机机载信息处理与组织传输的方法
Chen et al. Event-driven video coding for outdoor wireless monitoring cameras
Tausif et al. Low-memory image coder for wearable visual sensors
CN112070211A (zh) 基于计算卸载机制的图像识别方法
Xie et al. Reduced-dimensional capture of high-dynamic range images with compressive sensing
Luo et al. A novel surveillance video processing using stochastic low-rank and generalized low-rank approximation techniques
CN113810736B (zh) 一种ai驱动的实时点云视频传输方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination