CN113268493A - 高分辨率星载sar海量数据快速预处理方法及系统 - Google Patents

高分辨率星载sar海量数据快速预处理方法及系统 Download PDF

Info

Publication number
CN113268493A
CN113268493A CN202110455567.8A CN202110455567A CN113268493A CN 113268493 A CN113268493 A CN 113268493A CN 202110455567 A CN202110455567 A CN 202110455567A CN 113268493 A CN113268493 A CN 113268493A
Authority
CN
China
Prior art keywords
detection result
pulse
data
actual detection
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110455567.8A
Other languages
English (en)
Other versions
CN113268493B (zh
Inventor
陶满意
范季夏
胡广清
于广洋
袁伟
徐莹
艾韶杰
陆洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Satellite Engineering
Original Assignee
Shanghai Institute of Satellite Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Satellite Engineering filed Critical Shanghai Institute of Satellite Engineering
Priority to CN202110455567.8A priority Critical patent/CN113268493B/zh
Publication of CN113268493A publication Critical patent/CN113268493A/zh
Application granted granted Critical
Publication of CN113268493B publication Critical patent/CN113268493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2425Iterative querying; Query formulation based on the results of a preceding query
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2219Large Object storage; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种高分辨率星载SAR海量数据快速预处理方法及系统,本发明的高分辨率星载SAR海量数据快速预处理方法基于少量数据的精准检测和循环外扩判决提高了帧格式检测效率,既利用精准检测方法的准确度,也利用循环外扩的高效性,同时增加了判决约束,使得帧格式检测预处理既适应和满足不同成像数据的精确检测,也满足海量数据处理的时效性要求;本发明的高分辨率星载SAR海量数据快速预处理方法基于海量数据帧格式检测结果,按照每个脉冲的起始位置信息和数据编排格式提取每个脉冲辅助数据中的系统工作状态字、当前成像次数序号、当前工作参数开始后PRF计数值,为后续数据处理提供精准的基本参考信息。

Description

高分辨率星载SAR海量数据快速预处理方法及系统
技术领域
本发明涉及SAR数据处理技术领域,具体地,涉及一种高分辨率星载SAR海量数据快速预处理方法及系统。
背景技术
随着合成孔径雷达卫星的不断发展,特别是高分辨率合成孔径雷达卫星的不断发展,高分辨率和宽幅盖对地观测产生海量数据,且单次开机成像获取的数据文件可达15GB以上(单一数据文件最大可达300GB),单一大数据文件给数据快速处理带来很大压力,为此,需要对单一大数据文件进行预处理,一是提前判断数据格式的正确性;二是为后续有针对性的数据处理提供基础。
星载合成孔径雷达数据处理时一般不进行本发明所涉及的预处理内容,或仅进行数据帧格式的检测和判决,同时数据帧格式的检测效率不高,第一种是采用滑窗的方式对文件数据进行逐一检索;第二种是首先利用滑窗的方式查找到数据文件头部两个脉冲的起始位置,两个起始位置进行做差作为步进,按该步进寻找下一脉冲帧头标识符并进行判断,如果正确,则继续以该步进查找和判断,如果不正确,则以已检测的脉冲尾部作为起始利用滑窗方式继续查找新的步进;第三种是采用 matlab软件通过调用find命令查找第一个标识符位置,在该位置基础上进行相应偏移并提取数据,再利用find命令分别查找其余标识符的位置,将所有位置进行综合确定完整标识符的起始位置。其中第一种方式效率极低,第二种方式比第一种方式效率高一些,但无法适应海量数据的处理;第三种方式精准度高、效率较高,但面对海量数据处理时效率有待进一步提升。
专利文献CN112034463A公开了一种SAR数据的高精度沉降监测方法和装置,涉及数据处理的技术领域,包括:获取用户输入的待处理SAR数据,其中,待处理SAR数据为TOPS模式下的SAR数据;对待处理SAR数据进行高精度配准处理,得到多景影像;利用振幅离差阈值算法,确定出多景影像的散射体的预选点;对预选点进行相位改正处理,得到目标预设点,并利用目标预设点确定出目标散射体;对目标散射体依次进行相位解缠处理,以及大气与轨道改正处理,得到待处理SAR数据对应的区域的线性形变信息。该专利在流程构造和技术性能上仍然有待提高的空间。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种高分辨率星载SAR海量数据快速预处理方法及系统。
根据本发明提供的一种高分辨率星载SAR海量数据快速预处理方法,包括:
步骤S1:以文件开头为起始读取少量数据,以规定的帧头标识符为依据进行精准检测,获取各脉冲的帧头起始位置及帧长度值,形成实际检测结果数组,获取实际检测结果数组形成结果信息;
步骤S2:以当前实际检测结果数组为基础,分别取实际检测结果最后一个脉冲尾部位置和帧长度为起始位置及步进,进行检测结果外扩,形成预检测结果,获取预检测结果形成结果信息;
步骤S3:根据实际检测结果数组形成结果信息、预检测结果形成结果信息,对预检测结果外扩个别脉冲进行帧头标识符提取,判断标识符是否为规定的标识符,如果是,则将预检测结果更新为实际检测结果;
如果不是,则从当前实际检测结果的最后一个脉冲尾部开始读取少量数据进行精准检测,接续原实际检测结果形成最新的实际检测结果;
步骤S4:以当前实际检测结果为基础,循环进行外扩操作、判决操作以及根据判决结果进行更新操作或精准检测操作,直至到文件结尾,获得完整的实际检测结果;
步骤S5:以完整的实际检测结果和数据编排格式为依据,提取每个脉冲对应的系统工作状态字、当前成像次数序号、当前工作参数开始后PRF计数值,形成预处理结果数组;
步骤S6:在预处理结果数组的基础上以工作状态为参考进行统计,形成统计结果数组,获取高分辨率星载SAR海量数据快速预处理结果信息。
优选地,所述步骤S1包括:
步骤S1.1:利用软件程序打开数据文件,并读取少量数据(针对海量数据一般读取10MB,具体数据量可调整),利用查找和偏移的方式进行快速精准检测,获取文件头部少量数据准确的各脉冲帧头标识符起始位置,将相邻脉冲帧头标识符起始位置进行做差即可得到各脉冲数据长度值,将各脉冲的帧头起始位置和帧长度值保存为二维数组,行表示脉冲序列,列分别表示帧头起始位置和帧长度值。
优选地,所述步骤S2包括:
步骤S2.1:以当前实际检测结果为基础,从当前已检测的最后一个脉冲尾部为起始,以当前已检测的最后一个脉冲帧长度为步进,接续在实际检测结果数组后面外扩一定数量(外扩数量一般取1000个脉冲,具体数量可调整)的脉冲数形成预检测结果;
优选地,所述步骤S3包括:
步骤S3.1:根据预检测结果外扩部分个别脉冲(一般取倒数最后两个脉冲,具体可根据准确性和效率调整)的帧头起始位置读取帧头标识符,并进行正确性判断,如果标识符正确,则预检测结果更新为实际检测结果,如果标识符不正确,则从当前实际检测结果的最后一个脉冲尾部开始提取少量数据(针对海量数据一般读取 10MB,具体数据量可调整)进行精准检测,接续原实际检测结果形成最新实际检测结果。
优选地,所述步骤S4包括:
步骤S4.1:循环进行以当前实际检测结果为基础的外扩,形成预检测结果,并对预检测结果进行判断,根据判断结果进行预检测结果更新为实际检测结果的操作或以当前检测结果尾部开始提取少量数据进行精准检测形成最新的实际检测结果,直至到文件末尾,获得完整的检测结果;
所述步骤S5包括:
步骤S5.1:以完整的检测结果和数据编排格式为依据,提取各脉冲对应的系统工作状态字、当前成像次数序号、当前工作参数开始后PRF计数值,形成预处理结果数组。
所述步骤S6包括:
步骤S6.1:在预处理结果数组的基础上进行统计分析,首先对当前工作参数开始后PRF计数值进行判断,如果是“0”则对应的系统工作状态更改为无效数据状态,否则保持原系统工作状态字不变,然后以系统工作状态字为依据按脉冲序列统计每一种系统工作状态对应的成像次数序号、总脉冲数目、起始脉冲数、结束脉冲数以及帧长度值,保存为一个二维数组,其中行表示某种工作状态、第1列表示成像次数序号、第2列表示工作状态字、第3列表示该状态下脉冲数目、第4列表示起始脉冲数、第5列表示结束脉冲数、第6列表示帧长度值。
根据本发明提供的一种高分辨率星载SAR海量数据快速预处理系统,包括:
模块M1:以文件开头为起始读取少量数据,以规定的帧头标识符为依据进行精准检测,获取各脉冲的帧头起始位置及帧长度值,形成实际检测结果数组,获取实际检测结果数组形成结果信息;
模块M2:以当前实际检测结果数组为基础,分别取实际检测结果最后一个脉冲尾部位置和帧长度为起始位置及步进,进行检测结果外扩,形成预检测结果,获取预检测结果形成结果信息;
模块M3:根据实际检测结果数组形成结果信息、预检测结果形成结果信息,对预检测结果外扩个别脉冲进行帧头标识符提取,判断标识符是否为规定的标识符,如果是,则将预检测结果更新为实际检测结果;
如果不是,则从当前实际检测结果的最后一个脉冲尾部开始读取少量数据进行精准检测,接续原实际检测结果形成最新的实际检测结果;
模块M4:以当前实际检测结果为基础,循环进行外扩操作、判决操作以及根据判决结果进行更新操作或精准检测操作,直至到文件结尾,获得完整的实际检测结果;
模块M5:以完整的实际检测结果和数据编排格式为依据,提取每个脉冲对应的系统工作状态字、当前成像次数序号、当前工作参数开始后PRF计数值,形成预处理结果数组;
模块M6:在预处理结果数组的基础上以工作状态为参考进行统计,形成统计结果数组,获取高分辨率星载SAR海量数据快速预处理结果信息。
优选地,所述模块M1包括:
模块M1.1:利用软件程序打开数据文件,并读取少量数据(针对海量数据一般读取10MB,具体数据量可调整),利用查找和偏移的方式进行快速精准检测,获取文件头部少量数据准确的各脉冲帧头标识符起始位置,将相邻脉冲帧头标识符起始位置进行做差即可得到各脉冲数据长度值,将各脉冲的帧头起始位置和帧长度值保存为二维数组,行表示脉冲序列,列分别表示帧头起始位置和帧长度值。
优选地,所述模块M2包括:
模块M2.1:以当前实际检测结果为基础,从当前已检测的最后一个脉冲尾部为起始,以当前已检测的最后一个脉冲帧长度为步进,接续在实际检测结果数组后面外扩一定数量(外扩数量一般取1000个脉冲,具体数量可调整)的脉冲数形成预检测结果;
优选地,所述模块M3包括:
模块M3.1:根据预检测结果外扩部分个别脉冲(一般取倒数最后两个脉冲,具体可根据准确性和效率调整)的帧头起始位置读取帧头标识符,并进行正确性判断,如果标识符正确,则预检测结果更新为实际检测结果,如果标识符不正确,则从当前实际检测结果的最后一个脉冲尾部开始提取少量数据(针对海量数据一般读取 10MB,具体数据量可调整)进行精准检测,接续原实际检测结果形成最新实际检测结果。
优选地,所述模块M4包括:
模块M4.1:循环进行以当前实际检测结果为基础的外扩,形成预检测结果,并对预检测结果进行判断,根据判断结果进行预检测结果更新为实际检测结果的操作或以当前检测结果尾部开始提取少量数据进行精准检测形成最新的实际检测结果,直至到文件末尾,获得完整的检测结果;
所述模块M5包括:
模块M5.1:以完整的检测结果和数据编排格式为依据,提取各脉冲对应的系统工作状态字、当前成像次数序号、当前工作参数开始后PRF计数值,形成预处理结果数组。
所述模块M6包括:
模块M6.1:在预处理结果数组的基础上进行统计分析,首先对当前工作参数开始后PRF计数值进行判断,如果是“0”则对应的系统工作状态更改为无效数据状态,否则保持原系统工作状态字不变,然后以系统工作状态字为依据按脉冲序列统计每一种系统工作状态对应的成像次数序号、总脉冲数目、起始脉冲数、结束脉冲数以及帧长度值,保存为一个二维数组,其中行表示某种工作状态、第1列表示成像次数序号、第2列表示工作状态字、第3列表示该状态下脉冲数目、第4列表示起始脉冲数、第5列表示结束脉冲数、第6列表示帧长度值。
与现有技术相比,本发明具有如下的有益效果:
1、本发明的高分辨率星载SAR海量数据快速预处理方法基于少量数据的精准检测和循环外扩判决提高了帧格式检测效率,既利用精准检测方法的准确度,也利用循环外扩的高效性,同时增加了判决约束,使得帧格式检测预处理既适应和满足不同成像数据的精确检测,也满足海量数据处理的时效性要求;
2、本发明的高分辨率星载SAR海量数据快速预处理方法基于海量数据帧格式检测结果,按照每个脉冲的起始位置信息和数据编排格式提取每个脉冲辅助数据中的系统工作状态字、当前成像次数序号、当前工作参数开始后PRF计数值,为后续数据处理提供精准的基本参考信息。
3、本发明的高分辨率星载SAR海量数据快速预处理方法对各脉冲基本参考信息进行统计,以系统工作状态字和当前工作参数开始后PRF计数值(该参数为“0”表示无效数据,否则为有效数据)共同判断各工作状态对应的成像次数序号、脉冲个数、起始脉冲数、结束脉冲数,统计结果一是可以直接用于后续处理前的数据格式和指令执行情况正确性判决;二是可以避免海量数据直接处理带来的不确定性和复杂度,为后续不同数据类型的处理或不同的处理需求提供了预处理信息。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明高分辨率星载SAR海量数据快速预处理算法流程示意图;
图2为本发明中预处理的统计结果示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示,一种高分辨率星载SAR海量数据快速预处理方法介绍如下:
步骤一:以文件开头为起始读取少量数据,以规定的帧头标识符为依据进行精准检测,获取各脉冲的帧头起始位置及帧长度值,形成实际检测结果数组;
步骤二:以当前实际检测结果数组为基础,分别取实际检测结果最后一个脉冲尾部位置和帧长度为起始位置及步进,进行检测结果外扩,形成预检测结果;
步骤三:对预检测结果外扩个别脉冲进行帧头标识符提取,判断标识符是否为规定的标识符,如果是,则将预检测结果更新为实际检测结果,如果不是,则从当前实际检测结果的最后一个脉冲尾部开始读取少量数据进行精准检测,接续原实际检测结果形成最新的实际检测结果;
步骤四:以当前实际检测结果为基础,循环进行外扩操作、判决操作以及根据判决结果进行更新操作或精准检测操作,直至到文件结尾,获得完整的实际检测结果;
步骤五:以完整的实际检测结果和数据编排格式为依据,提取每个脉冲对应的系统工作状态字、当前成像次数序号、当前工作参数开始后PRF计数值,形成预处理结果数组;
步骤六:在预处理结果数组的基础上以工作状态为参考进行统计,形成统计结果数组。
接下来对本发明进行详细的描述。
本发明涉及星载SAR数据处理,尤其为一种准确、高效的高分辨率星载SAR海量数据快速预处理方法技术。随着合成孔径雷达卫星技术的不断发展,一是空间分辨率越来越高,进而合成孔径雷达产生的数据量越来越大,呈现出海量数据的特点;二是合成孔径雷达卫星工作模式及状态呈现多样化、数据格式编排复杂化,进而导致数据处理难度加大。同时面对海量数据,无论是卫星在轨获取的数据处理,还是地面测试数据处理,都对数据处理的时效性提出了更高的要求,为满足快速数据处理的需求,在成像处理或定标处理前进行数据快速预处理,为后续数据处理提供基础信息,提高数据处理的针对性。
本发明首先通过精准检测方法给出数据文件头部少量数据各脉冲帧格式检测结果,包括帧标识符起始位置及帧长度值,保存为实际检测结果数组;其次基于实际检测结果循环进行检测结果外扩形成预检测结果,对预检测结果进行标识符正确性判决,并基于判决结果进行继续外扩或精准检测,直至到文件尾部;最后基于完整检测结果进行各脉冲相关信息提取和统计,获得海量数据的预处理结果,为后续数据处理提供精准的定位信息和脉冲特征信息。
本发明涉及的高分辨率星载SAR海量数据快速预处理方法,包括以下步骤:
1、一种高分辨率星载SAR海量数据快速预处理方法,其特征在于,包括:
步骤一:以文件开头为起始读取少量数据,以规定的帧头标识符为依据进行精准检测,获取各脉冲的帧头起始位置及帧长度值,形成实际检测结果数组;
步骤二:以当前实际检测结果数组为基础,分别取实际检测结果最后一个脉冲尾部位置和帧长度为起始位置及步进,进行检测结果外扩,形成预检测结果;
步骤三:对预检测结果外扩个别脉冲进行帧头标识符提取,判断标识符是否为规定的标识符,如果是,则将预检测结果更新为实际检测结果,如果不是,则从当前实际检测结果的最后一个脉冲尾部开始读取少量数据进行精准检测,接续原实际检测结果形成最新的实际检测结果;
步骤四:以当前实际检测结果为基础,循环进行外扩操作、判决操作以及根据判决结果进行更新操作或精准检测操作,直至到文件结尾,获得完整的实际检测结果;
步骤五:以完整的实际检测结果和数据编排格式为依据,提取每个脉冲对应的系统工作状态字、当前成像次数序号、当前工作参数开始后PRF计数值,形成预处理结果数组;
步骤六:在预处理结果数组的基础上以工作状态为参考进行统计,形成统计结果数组。
所述的步骤一利用软件程序打开数据文件,并读取少量数据(针对海量数据一般读取10MB,具体数据量可调整),利用查找和偏移的方式进行快速精准检测,获取文件头部少量数据准确的各脉冲帧头标识符起始位置,将相邻脉冲帧头标识符起始位置进行做差即可得到各脉冲数据长度值,将各脉冲的帧头起始位置和帧长度值保存为二维数组,行表示脉冲序列,列分别表示帧头起始位置和帧长度值;
所述的步骤二以当前实际检测结果为基础,从当前已检测的最后一个脉冲尾部为起始,以当前已检测的最后一个脉冲帧长度为步进,接续在实际检测结果数组后面外扩一定数量(外扩数量一般取1000个脉冲,具体数量可调整)的脉冲数形成预检测结果;
所述的步骤三根据预检测结果外扩部分个别脉冲(一般取倒数最后两个脉冲,具体可根据准确性和效率调整)的帧头起始位置读取帧头标识符,并进行正确性判断,如果标识符正确,则预检测结果更新为实际检测结果,如果标识符不正确,则从当前实际检测结果的最后一个脉冲尾部开始提取少量数据(针对海量数据一般读取10MB,具体数据量可调整)进行精准检测,接续原实际检测结果形成最新实际检测结果;
所述的步骤四循环进行以当前实际检测结果为基础的外扩,形成预检测结果,并对预检测结果进行判断,根据判断结果进行预检测结果更新为实际检测结果的操作或以当前检测结果尾部开始提取少量数据进行精准检测形成最新的实际检测结果,直至到文件末尾,获得完整的检测结果;
所述的步骤五以完整的检测结果和数据编排格式为依据,提取各脉冲对应的系统工作状态字、当前成像次数序号、当前工作参数开始后PRF计数值,形成预处理结果数组;
所述步骤六在预处理结果数组的基础上进行统计分析,首先对当前工作参数开始后PRF计数值进行判断,如果是“0”则对应的系统工作状态更改为无效数据状态,否则保持原系统工作状态字不变,然后以系统工作状态字为依据按脉冲序列统计每一种系统工作状态对应的成像次数序号、总脉冲数目、起始脉冲数、结束脉冲数以及帧长度值,保存为一个二维数组,其中行表示某种工作状态、第1列表示成像次数序号、第2列表示工作状态字、第3列表示该状态下脉冲数目、第4列表示起始脉冲数、第5列表示结束脉冲数、第6列表示帧长度值。
更为具体地,本发明的主要内容为:
快速预处理处理主要包括三部分内容:一是快速的帧格式检测,获取各脉冲起始位置及长度信息;二是基于帧格式检测结果进行相关基本特征信息提取,包括系统工作状态字、成像次数序号、当前工作参数开始后PRF计数值等,形成完整的预处理结果;三是对各脉冲帧格式检测结果和基本特征信息进行统计分析,获取不同成像次数序号和不同工作状态下的脉冲数目、起始脉冲数、结束脉冲数和帧长度,为快速判别数据格式正确性及雷达工作执行正确性提供依据。具体预处理流程如图 1所示,具体步骤如下:
步骤1:从文件头开始以字节为单位读取少量数据(设置10MB,可调整),以数组形式进行保存,命名为data;
步骤2:在数组中查找第一个标识符的位置,位置结果以数组形式进行保存,命名为pos_1;在第1个标识符位置数组pos_1的基础上+1、+2、+3……处理得到新位置数组,以数组形式进行保存,分别命名为pos_2、pos_3、pos_4……,再根据新位置信息在data数组中提取相应的数据,并以数组形式进行保存,分别命名为 data_1、data_2、data_3……;在data_1数组中查找第2个标识符的位置信息、在 data_2数组中查找第3个标识符的位置信息、在data_3数组中查找第4个标识符的位置信息……,并以数组形式进行保存,分别命名为data_1_pos、data_2_pos、 data_3_pos……;选择data_1_pos、data_2_pos、data_3_pos……中相同的数组,并以数组形式进行保存,命名为data_pos,再将data_pos代入pos_1即可得到帧头起始位置值;相邻起始位置值做差即可得到脉冲的帧长度,最后形成一个二维数组,命名为frame_check_result,作为实际检测结果,第1列代表帧头起始位置、第2列代表该脉冲的帧长度,行表示脉冲序号;
步骤3:以frame_check_result数组最后一行脉冲数据结束位置为起始,以frame_check_result数组最后一行脉冲帧长度为步进,外扩1000个脉冲(具体个数可调整),形成外扩的帧检测结果,命名为temp_extend_frame_check_result,第1列代表帧头起始位置、第2列代表该脉冲的帧长度,行表示脉冲序号,外扩的检测结果接续在frame_check_result数组后面形成预检测结果,命名为 prepare_frame_check_result;
步骤4:以prepare_frame_check_result数组最后两行脉冲的起始位置为开始(也可以选择外扩部分的其他个别脉冲,可根据实际情况和效率进行调整),读取帧头数据;
步骤5:如果帧头数据与标识符一致,则将prepare_frame_check_result数组更新为frame_check_result,作为最新的实际检测结果;如果帧头数据与标识符不一致,则以frame_check_result数组最后一行脉冲数据结束位置为起始读取少量数据(设置10MB,可调整),以数组形式进行保存,命名为data,重复步骤2的操作,形成的检测结果保存为数组,命名为temp_frame_check_result,第1列代表帧头起始位置、第2列代表该脉冲的帧长度,行表示脉冲序号,接续在 frame_check_result数组后面形成新的实际检测结果,新的实际检测结果依然命名为frame_check_result;
步骤6:循环进行步骤3至步骤5的操作,直至到文件尾部结束,形成完整的实际检测结果,依然命名为frame_check_result;
步骤7:以数据编排格式为依据,以实际检测结果中各脉冲帧头起始位置为定位信息,提取各脉冲的系统工作状态字、当前成像次数序号、当前工作参数开始后 PRF计数值,保存为二维数组,作为预处理结果,行表示脉冲序列,第1列表示脉冲对应的成像次数序号字、第2列表示脉冲对应的起始位置、第3列表示脉冲对应的字节长度值、第4列表示脉冲对应的系统工作状态字、第5列表示脉冲对应的当前工作参数开始后PRF计数值;
步骤8:在预处理结果的基础上,首先对当前工作参数开始后PRF计数值进行判断,如果是0则对应的系统工作状态更改为无效数据状态,否则保持原系统工作状态字不变,然后以系统工作状态字为依据按脉冲序列统计每一种系统工作状态对应的成像次数序号、总脉冲数目、起始脉冲数、结束脉冲数以及帧长度值,保存为一个二维数组,其中行表示某种工作状态、第1列表示成像次数序号、第2列表示工作状态字、第3列表示该状态下脉冲数目、第4列表示起始脉冲数、第5列表示结束脉冲数、第6列表示帧长度值,统计结果示意如图2所示。
综上所述,本发明的高分辨率星载SAR海量数据快速预处理方法主要是完成雷达回波各脉冲数据起始位置、数据长度、系统工作状态字、当前成像次数序号、当前工作参数开始后PRF计数值等基本信息的预处理,一是可以提前判断数据格式的正确性及雷达载荷工作执行的正确性;二是为后续数据处理提供参考信息,方便根据需求进行选择性处理,避免不必要的处理,提高数据处理的时效性,时效性对比。
在本申请的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种高分辨率星载SAR海量数据快速预处理方法,其特征在于,包括:
步骤S1:以文件开头为起始读取数据,以规定的帧头标识符为依据进行精准检测,获取各脉冲的帧头起始位置及帧长度值,形成实际检测结果数组,获取实际检测结果数组形成结果信息;
步骤S2:以当前实际检测结果数组为基础,分别取实际检测结果最后一个脉冲尾部位置和帧长度为起始位置及步进,进行检测结果外扩,形成预检测结果,获取预检测结果形成结果信息;
步骤S3:根据实际检测结果数组形成结果信息、预检测结果形成结果信息,对预检测结果外扩个别脉冲进行帧头标识符提取,判断标识符是否为规定的标识符,如果是,则将预检测结果更新为实际检测结果;
如果不是,则从当前实际检测结果的最后一个脉冲尾部开始读取少量数据进行精准检测,接续原实际检测结果形成最新的实际检测结果;
步骤S4:以当前实际检测结果为基础,循环进行外扩操作、判决操作以及根据判决结果进行更新操作或精准检测操作,直至到文件结尾,获得完整的实际检测结果;
步骤S5:以完整的实际检测结果和数据编排格式为依据,提取每个脉冲对应的系统工作状态字、当前成像次数序号、当前工作参数开始后PRF计数值,形成预处理结果数组;
步骤S6:在预处理结果数组的基础上以工作状态为参考进行统计,形成统计结果数组,获取高分辨率星载SAR海量数据快速预处理结果信息。
2.根据权利要求1所述的高分辨率星载SAR海量数据快速预处理方法,其特征在于,所述步骤S1包括:
步骤S1.1:利用软件程序打开数据文件,并读取数据,利用查找和偏移的方式进行快速精准检测,获取文件头部少量数据准确的各脉冲帧头标识符起始位置,将相邻脉冲帧头标识符起始位置进行做差得到各脉冲数据长度值,将各脉冲的帧头起始位置和帧长度值保存为二维数组,行表示脉冲序列,列分别表示帧头起始位置和帧长度值。
3.根据权利要求1所述的高分辨率星载SAR海量数据快速预处理方法,其特征在于,所述步骤S2包括:
步骤S2.1:以当前实际检测结果为基础,从当前已检测的最后一个脉冲尾部为起始,以当前已检测的最后一个脉冲帧长度为步进,接续在实际检测结果数组后面外扩一定数量的脉冲数形成预检测结果。
4.根据权利要求1所述的高分辨率星载SAR海量数据快速预处理方法,其特征在于,所述步骤S3包括:
步骤S3.1:根据预检测结果外扩部分个别脉冲的帧头起始位置读取帧头标识符,并进行正确性判断,如果标识符正确,则预检测结果更新为实际检测结果,如果标识符不正确,则从当前实际检测结果的最后一个脉冲尾部开始提取少量数据进行精准检测,接续原实际检测结果形成最新实际检测结果。
5.根据权利要求1所述的高分辨率星载SAR海量数据快速预处理方法,其特征在于,所述步骤S4包括:
步骤S4.1:循环进行以当前实际检测结果为基础的外扩,形成预检测结果,并对预检测结果进行判断,根据判断结果进行预检测结果更新为实际检测结果的操作或以当前检测结果尾部开始提取少量数据进行精准检测形成最新的实际检测结果,直至到文件末尾,获得完整的检测结果;
所述步骤S5包括:
步骤S5.1:以完整的检测结果和数据编排格式为依据,提取各脉冲对应的系统工作状态字、当前成像次数序号、当前工作参数开始后PRF计数值,形成预处理结果数组。
6.一种高分辨率星载SAR海量数据快速预处理系统,其特征在于,包括:
模块M1:以文件开头为起始读取数据,以规定的帧头标识符为依据进行精准检测,获取各脉冲的帧头起始位置及帧长度值,形成实际检测结果数组,获取实际检测结果数组形成结果信息;
模块M2:以当前实际检测结果数组为基础,分别取实际检测结果最后一个脉冲尾部位置和帧长度为起始位置及步进,进行检测结果外扩,形成预检测结果,获取预检测结果形成结果信息;
模块M3:根据实际检测结果数组形成结果信息、预检测结果形成结果信息,对预检测结果外扩个别脉冲进行帧头标识符提取,判断标识符是否为规定的标识符,如果是,则将预检测结果更新为实际检测结果;
如果不是,则从当前实际检测结果的最后一个脉冲尾部开始读取少量数据进行精准检测,接续原实际检测结果形成最新的实际检测结果;
模块M4:以当前实际检测结果为基础,循环进行外扩操作、判决操作以及根据判决结果进行更新操作或精准检测操作,直至到文件结尾,获得完整的实际检测结果;
模块M5:以完整的实际检测结果和数据编排格式为依据,提取每个脉冲对应的系统工作状态字、当前成像次数序号、当前工作参数开始后PRF计数值,形成预处理结果数组;
模块M6:在预处理结果数组的基础上以工作状态为参考进行统计,形成统计结果数组,获取高分辨率星载SAR海量数据快速预处理结果信息。
7.根据权利要求6所述的高分辨率星载SAR海量数据快速预处理系统,其特征在于,所述模块M1包括:
模块M1.1:利用软件程序打开数据文件,并读取数据,利用查找和偏移的方式进行快速精准检测,获取文件头部少量数据准确的各脉冲帧头标识符起始位置,将相邻脉冲帧头标识符起始位置进行做差得到各脉冲数据长度值,将各脉冲的帧头起始位置和帧长度值保存为二维数组,行表示脉冲序列,列分别表示帧头起始位置和帧长度值。
8.根据权利要求6所述的高分辨率星载SAR海量数据快速预处理系统,其特征在于,所述模块M2包括:
模块M2.1:以当前实际检测结果为基础,从当前已检测的最后一个脉冲尾部为起始,以当前已检测的最后一个脉冲帧长度为步进,接续在实际检测结果数组后面外扩一定数量的脉冲数形成预检测结果。
9.根据权利要求6所述的高分辨率星载SAR海量数据快速预处理系统,其特征在于,所述模块M3包括:
模块M3.1:根据预检测结果外扩部分个别脉冲的帧头起始位置读取帧头标识符,并进行正确性判断,如果标识符正确,则预检测结果更新为实际检测结果,如果标识符不正确,则从当前实际检测结果的最后一个脉冲尾部开始提取少量数据进行精准检测,接续原实际检测结果形成最新实际检测结果。
10.根据权利要求6所述的高分辨率星载SAR海量数据快速预处理系统,其特征在于,所述模块M4包括:
模块M4.1:循环进行以当前实际检测结果为基础的外扩,形成预检测结果,并对预检测结果进行判断,根据判断结果进行预检测结果更新为实际检测结果的操作或以当前检测结果尾部开始提取少量数据进行精准检测形成最新的实际检测结果,直至到文件末尾,获得完整的检测结果;
所述模块M5包括:
模块M5.1:以完整的检测结果和数据编排格式为依据,提取各脉冲对应的系统工作状态字、当前成像次数序号、当前工作参数开始后PRF计数值,形成预处理结果数组。
CN202110455567.8A 2021-04-26 2021-04-26 高分辨率星载sar海量数据快速预处理方法及系统 Active CN113268493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110455567.8A CN113268493B (zh) 2021-04-26 2021-04-26 高分辨率星载sar海量数据快速预处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110455567.8A CN113268493B (zh) 2021-04-26 2021-04-26 高分辨率星载sar海量数据快速预处理方法及系统

Publications (2)

Publication Number Publication Date
CN113268493A true CN113268493A (zh) 2021-08-17
CN113268493B CN113268493B (zh) 2022-06-14

Family

ID=77229524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110455567.8A Active CN113268493B (zh) 2021-04-26 2021-04-26 高分辨率星载sar海量数据快速预处理方法及系统

Country Status (1)

Country Link
CN (1) CN113268493B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117632264A (zh) * 2024-01-24 2024-03-01 中国科学院空天信息创新研究院 一种sar数据快速并行处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109521424A (zh) * 2018-12-21 2019-03-26 西安电子科技大学 星载滑动聚束sar卫星姿态和prf序列设计方法
CN109655831A (zh) * 2018-12-27 2019-04-19 中国科学院电子学研究所 一种无人机sar成像方法及装置
CN110018457A (zh) * 2019-04-11 2019-07-16 上海卫星工程研究所 星载sar回波数据帧头标识符检测功能模块设计方法
US20200116825A1 (en) * 2017-03-16 2020-04-16 Fastree3D Sa Method and device for optimizing the use of emitter and detector in an active remote sensing application
CN111666856A (zh) * 2020-05-29 2020-09-15 武汉大学 基于结构特性的高分辨率单极化sar影像建筑目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200116825A1 (en) * 2017-03-16 2020-04-16 Fastree3D Sa Method and device for optimizing the use of emitter and detector in an active remote sensing application
CN109521424A (zh) * 2018-12-21 2019-03-26 西安电子科技大学 星载滑动聚束sar卫星姿态和prf序列设计方法
CN109655831A (zh) * 2018-12-27 2019-04-19 中国科学院电子学研究所 一种无人机sar成像方法及装置
CN110018457A (zh) * 2019-04-11 2019-07-16 上海卫星工程研究所 星载sar回波数据帧头标识符检测功能模块设计方法
CN111666856A (zh) * 2020-05-29 2020-09-15 武汉大学 基于结构特性的高分辨率单极化sar影像建筑目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHAI LIHUI等: "SAR Automatic Target Recognition Based on Local Phase Quantization plus Biomimetic Pattern Recognition", 《2012 IEEE 11TH INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING》 *
张凤明等: "高分辨率星载SAR并行成像处理系统设计", 《遥测遥控》 *
陈冰冰: "SAR实时信号预处理和高分辨率实时成像处理系统的研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑(半年刊)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117632264A (zh) * 2024-01-24 2024-03-01 中国科学院空天信息创新研究院 一种sar数据快速并行处理方法
CN117632264B (zh) * 2024-01-24 2024-05-07 中国科学院空天信息创新研究院 一种sar数据快速并行处理方法

Also Published As

Publication number Publication date
CN113268493B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
US7298316B2 (en) Apparatus and method for instantly automatic detecting clutter blocks and interference source and for dynamically establishing clutter map
CN111797717A (zh) 一种高速高精度的sar图像船只检测方法
CN113268493B (zh) 高分辨率星载sar海量数据快速预处理方法及系统
CN104778687B (zh) 一种图像匹配方法和装置
CN112070069A (zh) 遥感图像的识别方法和装置
CN108446588B (zh) 一种双时相遥感影像变化检测方法及系统
CN108845300A (zh) 一种场面监视雷达恒虚警处理方法
CN111062267B (zh) 一种时间序列遥感影像降维方法
CN112360525B (zh) 锚杆钻机铺网控制方法以及控制系统
KR20220038603A (ko) 레이더 구성 방법, 장치, 전자 기기 및 저장 매체
CN107194960B (zh) 一种用于高光谱图像的配准方法
CN102968813A (zh) 一种三角面片网格模型的表面采样方法
CN109141403B (zh) 一种星敏感器小窗口访问的图像处理系统及其方法
CN110018456B (zh) 基于Matlab的星载合成孔径雷达数据快速帧头检测方法
CN116563672B (zh) 一种岩土体分类模型构建方法及岩土体分类方法
CN110751061B (zh) 基于sar网络的sar图像识别方法、装置、设备和存储介质
CN110018457B (zh) 星载sar回波数据帧头标识符检测功能模块设计方法
CN112200845A (zh) 一种图像配准方法和装置
CN110163896B (zh) Sar图像匹配方法
CN110851669A (zh) 基于地理位置信息的机构命名排歧方法及装置
CN114764889A (zh) 基于风格迁移的sar图像融合检测方法
CN116071491A (zh) 一种多视角三维点云重建方法及装置
CN106597049B (zh) 基于链表数组的多幅波形包络提取方法
CN106652032B (zh) 一种基于Linux集群平台的DEM并行等高线生成方法
CN110703247B (zh) 一种波位信息检测方法、波位信息检测装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant