CN117632264B - 一种sar数据快速并行处理方法 - Google Patents
一种sar数据快速并行处理方法 Download PDFInfo
- Publication number
- CN117632264B CN117632264B CN202410098202.8A CN202410098202A CN117632264B CN 117632264 B CN117632264 B CN 117632264B CN 202410098202 A CN202410098202 A CN 202410098202A CN 117632264 B CN117632264 B CN 117632264B
- Authority
- CN
- China
- Prior art keywords
- data
- processing
- file
- threads
- offset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000013507 mapping Methods 0.000 claims abstract description 35
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000006872 improvement Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 19
- 238000007405 data analysis Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000013506 data mapping Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3818—Decoding for concurrent execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multi Processors (AREA)
Abstract
本发明公开了一种SAR数据快速并行处理方法，包括以下步骤，步骤一、找出已加载SAR数据文件第一个有效帧偏移位置；步骤二、根据当前计算机的性能配置设置、分配参与数据预处理的CPU线程数量和单次循环单线程处理数据模块体积大小，此后所有线程并行执行；步骤三，收集所有线程得到的运算结果；步骤四、判断是否需要文件批处理，如是则重复上述三个步骤直至所有文件处理完成，如不是则结束单个文件运算流程。对数据的读取采用分批、分次内存映射方案，即将每次处理的数据块映射到计算机的运行内存(RAM)中，减少磁盘访问次数，提高了处理速度和效率。
Description
技术领域
本发明属于星载合成孔径雷达集成测试领域，尤其涉及一种SAR数据快速并行处理方法。
背景技术
星载合成孔径雷达(Synthetic Aperture Radar)属于有源主动式的对地观测系统，具有一定的地表穿透能力。为了提高测距精度和距离分辨力，一般情况下我们选择大时宽、大带宽的线性调频信号（LFM）。为了验证系统的技术指标和保障系统的稳定、可靠性，需要对系统进行集成和测试，在集成测试期间往往需要进行大量线性调频信号数据的记录。这种数据的特点就是“大体积”，根据系统工作模式的不同，单次连续工作10分钟可产生约100万至300万帧，约32GB至60GB的数据。因此，数据分析的快慢一定程度上决定了测试工作的效率。
当前的SAR数据处理和分析一般采用单线程、流水线、频繁读写磁盘式的模式，并未将计算机性能充分的利用起来。因此，在保证充分利用现有的计算机性能前提下，如何提高后期数据分析和处理速度成为待研究和解决的问题。
发明内容
本发明提供了一种在不更换、添加计算设备资源的情况下，充分利用现有计算机算力资源对大量SAR测试数据快速并行处理的方法。
上述方法包括以下步骤：对数据文件头部“废数据”的预处理、根据文件大小自动分配、计算出参与处理工作的计算机CPU线程数和总循环数、利用改进后的Sunday算法对数据进行预处理并记录相关参数信息；针对不同分析模式对并行处理方法的优化。
本发明提出一种SAR数据快速并行处理方法，包括以下步骤，
步骤一、找出已加载SAR数据文件的第一个有效帧偏移位置；
步骤二、根据当前计算机的性能配置设置、分配参与数据预处理的CPU线程数量和单次循环单个线程处理数据模块体积大小，此后所有线程并行执行相应算法；
步骤三、收集所有线程得到的运算结果；
步骤四、判断是否需要文件批处理，如是则重复上述三个步骤直至所有文件处理完成，如不是则结束单个文件处理。
进一步，步骤一的具体方法为，首先判断已加载SAR数据体积R的大小，选择该数据前10MB部分用来预处理，预处理是利用BF字符串匹配算法搜索、找到第一个有效帧偏移位置，该位置记录为数据处理分析起始位置；即对前10MB数据和目标帧头逐个字符地进行比较，直到在前10MB数据中找到完全与目标帧头匹配的第一个子字符串，且其对应的脉冲重复频率计数为1。
进一步，步骤二的具体方法为，判断计算机运行内存RAM的大小、计算出参与处理工作的CPU单个线程处理数据模块体积Rs的大小，分配标准为，Nc为参与处理工作CPU的线程数量，为了达到最佳的运行效率Nc的选取应满足Nc≤P，其中P为计算机的逻辑处理器数量；在此基础上计算出完成已加载SAR数据文件预处理的总循环数N =R/Rs,将总循环数N平均分配到所有参与处理工作的线程上，即N/Nc得出所有线程Nc并行处理完当前已加载SAR数据文件所需的局部循环总数Nf；接下来，考虑到N是否为小数和Nf是否是Nc的整数倍；若总循环数N为小数，则需要将N取整处理，结果记为Ni；其次，在这种情况下，若Nf是 Nc的整数倍且记为Np，那么Ni部分对应的数据文件采用Nc个线程并行运算改进后的Sunday算法并将运算结果储存到预先设置好的数组矩阵M中，直至完成Np次循环；如若Nf不是 Nc的整数倍，那么在类似地完成上述整数倍的计算后，计算出Nf/Nc的余数且记为Nm，与此同时再分配Nm（/>）个线程来并行运算改进后的Sunday算法一次后，即可完成N整数部分，即Ni对应的数据预处理；
剩余N的小数部分对应的数据体积为Rd，Rd的数据体积一般在50MB至160MB之间能够运用单线程处理，无需再去分配线程；用R减去Ni部分的数据最后一次映射偏移量Noffset再减去Rs，即得出该SAR数据文件剩余小数部分对应的数据体积大小，而该部分数据起始分析位置，即映射偏移量，由Ni部分的数据最后一次映射偏移量Noffset 加上Rs得到。
进一步，步骤三的具体方法为，数据预处理完成后需将结果存储在数组矩阵M中。
进一步，步骤四的具体方法为，当完成所有情况下的计算后还需要判断批处理数组是否为空，如为空则结束本次SAR数据文件的并行处理运算，如不为空则重复上述三个步骤的所有情况下的计算流程直至批处理数组为空，即批处理多个文件，从而实现了并行和批处理模式相结合的数据分析模式。
进一步，所有线程数据的读取采用的是内存映射方式，即将所处理的数据映射到计算机系统运行内存(RAM)中。
进一步，改进后的Sunday算法具体为：在匹配过程中，模式串发现不匹配时，算法直接跳过1024字节数据，即移动位数为1024字节+1。
进一步，其他类似的SAR数据分析模式均可在基础算法流程的基础上删减、添加与优化，从而实现该模式下的数据并行处理。
本发明具有以下有益技术效果：
1、本发明中，针对SAR数据的特性选取BF和改进的Sunday算法应用于SAR数据的预处理中。
2、本发明中，根据参与处理工作的计算机自身性能的配置和处理文件的大小自动分配、计算参与处理工作CPU线程数量及每次处理数据块的大小。
3、本发明中，对大体积数据文件的读取采用分批、分次内存映射方案，即将每次处理的数据块映射到计算机的运行内存(RAM)中，减少磁盘访问次数，提高了处理速度和效率。
4、本发明中的单线程数据处理在对数据读取时选用了内存映射方案，减少磁盘读写次数，提高单线程数据处理速度。
5、本发明中的数据处理在不更换、添加计算设备、资源的情况下，利用现有算力资源自动分配参与处理工作的计算机CPU线程数，实现了并行和批处理模式相结合的数据分析算法，与此同时计算机算力资源得到了充分利用。
6、本发明中的数据处理方法在数据的分析过程中根据SAR数据的特点实现了在不同分析模式下对数据的分批、分块快速并行运算处理，很大程度上提高了数据分析处理的速度和集成测试工作的效率。
附图说明
图1为第一次数据映射、并行运算示意图；
图2为基础算法流程图。
具体实施方式
本发明的方法流程如下：第一步找出已加载SAR数据文件第一个有效帧偏移位置，第二步根据当前计算机的性能配置设置、分配参与数据预处理的CPU线程数量和单次循环单个线程处理数据模块体积大小，此后所有线程并行执行相应算法，第三步收集所有线程得到的运算结果，第四步判断是否需要文件批处理，如是则重复上述三个步骤直至所有文件处理完成，如不是则结束单个文件运算流程。
具体步骤的实施细节如下所述：首先判断已加载SAR数据文件体积R的大小，选择该数据前10MB部分用来预处理，即剔除无效帧数（如若有），预处理即利用BF（Brute Force）字符串匹配算法搜索、找到第一个有效帧位置，该位置记录为数据处理分析起始位置。准确地找到数据第一个有效帧位置是后续分析流程算法的基础，所以此处对前10MB数据和目标帧头逐个字符地进行比较，直到在前10MB数据中找到完全与目标帧头匹配的第一个子字符串，且其对应的脉冲重复频率(Pulse Repetition Frequency)PRF计数为1。
第二步，自动判断计算机运行内存RAM的大小、计算出单个线程处理数据模块体积Rs的大小，范围约在64MB至512MB之间（以运行内存16GB为例），这个范围可兼顾百兆级到数十G大小的文件，分配标准为，Nc为参与处理工作CPU线程数量。在此基础上计算出完成该SAR数据文件预处理的总的循环数N = R/Rs,将总循环数N平均分配到所有参与处理工作的线程上，即N/Nc可得出所有线程Nc并行处理完当前体积数据文件所需的局部循环总数Nf。
此处首先需要考虑到N是否为小数和Nf是否是Nc的整数倍。若总的循环数N为小数，则需要将N取整处理，结果记为Ni。其次，在这种情况下，若Nf是 Nc的整数倍且记为Np，那么Ni部分对应的数据文件可采用Nc个线程并行运算改进后的Sunday算法找出数据的帧头位置、映射偏移量、信号带宽、脉宽等相关技术指标参数并储存到预先设置好的数组矩阵M中，直至完成Np次循环。如若Nf不是 Nc的整数倍，那么在类似地完成上述整数倍的计算后，计算出Nf/Nc的余数且记为Nm，与此同时再分配Nm（）个线程来并行运算改进后的Sunday算法一次后，即可完成N整数部分，即Ni对应的数据预处理。
剩余N小数部分对应的数据因为体积Rd不是很大，一般约在50MB至160MB之间则可以单线程处理，无需再去分配线程。可用R减去Ni部分的数据最后一次映射偏移量Noffset 再减去Rs，即可得出该文件剩余小数部分对应的数据体积大小。而该部分数据起始分析位置，即映射偏移量，可由Ni部分的数据最后一次映射偏移量Noffset 加上Rs得到。
需要说明的是：1）数组矩阵M实现了将Nc个线程Np次并行运算的结果收集并储存起来供后续计算流程使用；2）原始的Sunday算法其核心思想是：在匹配过程中，模式串发现不匹配时，算法能跳过尽可能多的字符以进行下一步的匹配，从而提高了匹配效率。得益于在前10MB数据中准确地找到数据第一个有效帧位置和SAR数据的特性，本发明在匹配过程中，模式串发现不匹配时，算法直接跳过1024字节数据，比原始算法的最佳状态还高效，即移动位数为1024字节+1，而不是SAR数据帧头长度+1，此为本方案中Sunday算法的改进之处；3）所有单线程数据的读取采用的是内存映射方式，即将所处理的数据映射到计算机的运行内存RAM中, 这就很大程度上提高了计算机CPU单线程数据处理速度，免去了多次、大量访问计算机磁盘过程；4）计算机所拥有多少个逻辑处理器代表着它可以同时并行运行该数量个任务，所以为了达到最佳的运行效率，Nc的选取应满足Nc≤P，其中P为计算机的逻辑处理器数量，且。
内存映射其原理是由一个文件到进程地址空间的映射，保留部分地址空间区域，同时将物理存储器提交给此区域，内存文件映射的物理存储器来自一个已经存在于磁盘上的文件，使用内存映射文件处理存储于磁盘上的文件时，将不必再对文件执行I/O操作，这意味着在对文件进行处理时将不必再为文件申请并分配缓存，所有的文件缓存操作均由系统直接管理，由于取消了将文件数据加载到内存、数据从内存到文件的回写以及释放内存块等步骤，从而提高了文件存取速度。
图1 为本发明中涉及到的内存映射方案，一般情况下选择映射方式读取文件往往是在处理大体积文件的时候，由于目前计算机运行内存RAM普遍在8GB至64GB之间，加之计算机系统自身的消耗，剩余的可用运行内存很难一次性将大体积文件整个进行映射处理，所以在本方案中选择分段映射文件到运行内存。此处是当N为整数、Nf是Nc的整数倍时Nc个线程第一次映射、并行运算过程。
由图1可以看到，在前10MB的数据中找到第一个有效帧位置，记录为Offset_0，即为第一个线程映射文件的起始位置，记录为Offset_1 = Offset_0，之后剩余线程映射位置为在此之前的线程基础上加Rs个字节数，记录为Offset_2 = Offset_1 + Rs, Offset_3 =Offset_2 + Rs, … Offset_Nc = Offset_Nc-1 + Rs,且。根据上述记录的每个线程对应的映射位置完成所有Nc个线程的文件映射，到此已完成第一次的文件映射工作，且本次总计数据映射大小为/>个字节。接下来就是Nc个线程同时至对应的地址空间获取对应的数据进行运算，即线程1至地址空间获取Offset_1偏置对应的数据进行运算，线程2至地址空间获取Offset_2偏置对应的数据进行运算，… 线程Nc至地址空间获取Offset_Nc偏置对应的数据进行运算。此后将第一次文件映射所产生的计算结果存储到大小为/>的矩阵M中，即/>。此时就完整地完成了第一次的数据并行运算。之后只要重复循环上述方法流程Np次即可完成对整个大体积文件的并行处理。
关于文件映射和多线程的调用，不同软件开发平台其调用接口也有所不同。以Qtdesigner和Matlab为例，在Qt平台中可以利用其并行运算高级API QtConcurrent和QFile.map来实现本方案中的内存映射和并行运算，也或在C++语言环境下利用WindowsAPI内置的CreateThread函数来达到并行运算的效果。相对于上述两种实现方法Matlab平台在软件编程的难易程度上则更胜一筹，可直接关键字调用其内置的Parfor多线程处理接口和文件映射函数Memmapfile来实现本方案中的相关算法。
第三步，数据预处理完成后需将结果存储在数组矩阵M中。
第四步，如若有大量、大体积文件预处理需求，则可在完成一个大体积文件的快速并行预处理后判断批处理数组是否为空，如若不为空且大于1则自动循环处理下个文件，直至将所需文件处理完成，从而形成并行批处理模式。其大大地提高了文件分析效率，特别是在对系统性能、稳定性进行考核时，实现了数据分析结果的即等可取。
在其他的SAR数据分析模式中也可采取类似于第二步中涉及到的方案，但需有针对性的优化。比如，在分析SAR系统稳定性模式中涉及到了对预处理后数据的并行脉冲压缩处理，根据数据体积的不同，比如，32GB至60GB之间的文件，需处理的数据帧数约在100万至300万帧左右，也就是说需要做100万至300万次的并行脉冲压缩处理，而此处可以将参考函数的计算、窗函数的计算以及满刻度信号的脉冲压缩计算等每个数据帧都需处理的相同计算过程单独提取出来，即在开始处理数据之前就将上述的重复计算过程计算出来，并将计算结果作为下一步计算流程函数的参数传入到后续的计算过程中，这样一来就省去了多达100万至300万次的重复计算，很大程度上节约了数据处理时间，提高了数据处理速度。其次，在第二步中数据预处理时提到剩余N小数部分对应的数据因为体积不是很大，一般约在50MB至160MB之间则可以单线程处理，无需再去分配线程，而在系统稳定性模式中这部分剩余的未处理帧数约在10万至20万之间，如若将这些数据分配给单个线程处理，那么则大大降低了算法的运行速度和效率。所以，此处需将所有未处理帧数分配给Nc个线程进行并行脉冲压缩，直至完成所有数据帧的计算。
如图2所示，为本方案中提及的批处理、并行运算的基础算法流程图。如上所述，其他类似的SAR数据分析模式均可在基础算法流程的基础上删减、添加与优化，从而实现该模式下的数据并行处理。如该图所示，基础算法流程整体可以分为四个部分：第一部分：在第一部分中需要获取分析的已加载SAR数据文件的大小且记为R，后利用BF（Brute Force）算法找出第一个有效帧位置，在此基础上按照Nc的选取应满足Nc≤P，其中P为计算机的逻辑处理器数量，Nc为参与处理工作的CPU线程数量；且的要求设置Rs大小和Nc的数量；第二部分：N = R/Rs ,其中，R为已加载SAR数据文件大小，Rs为单个线程处理数据模块体积的大小，在第二部分中判断N是否为整数，如是则将N取整处理，结果记为Ni并进行后续的算法流程，即利用MATLAB编译环境将Ni个数据块分配个Nc个工作线程，并创建临时变量i等。如不是则类似的完成Ni对应的整数部分数据运算，之后计算出剩余小数部分对应的数据体积Rd和映射偏移量，最后将该部分的数据映射给单个计算线程并运行改进后的Sunday算法，运算结果存储到矩阵M中；第三部分：完成该SAR数据文件预处理的总的循环数N = R/Rs,将总循环数N平均分配到所有参与处理工作线程上，即N/Nc可得出所有线程Nc并行处理完当前体积数据文件所需的局部循环总数Nf，在第三部分中需要判断Nf是否是Nc的整数倍，如Nf是 Nc的整数倍且记为Np，则同时映射大小为Rs的数据块给Nc个计算线程，之后Nc个线程并行运算改进后的Sunday算法，且将计算结果存储到大小为的矩阵M中，此时i计数加1。重复上述第三部分算法流程i次，直至i = Np。如Nf不是Nc的整数倍，则类似的完成上述Np整数部分的计算流程后，再计算出Nf/Nc的余数Nm，且1≤Nm<Nc。之后将同时映射大小为Rs的数据块给Nm个计算线程并同时运算改进后的Sunday算法，计算结果存储至矩阵M中；第四部分：当完成所有情况下的计算后还需要判断批处理数组是否为空，如为空则结束本次文件的并行处理运算，如不为空则重复上述三个部分的所有情况下的计算流程直至批处理数组为空，即批处理多个文件，从而实现了并行和批处理模式相结合的数据分析模式。
为了验证本发明中提及的相关数据处理流程算法的效率，使用总共有16个逻辑处理线程的计算机，利用这16个逻辑处理线程并行运行上述算法预处理大小为59.6GB的数据文件。计算机CPU利用率达到了100%，而磁盘的读取速度达到了2.3GB/s的速度。该文件包含了3,908,543个数据帧，整个数据预处理过程大约用时41.67s，大大地加快了数据分析处理速度和系统集成测试的效率。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种SAR数据快速并行处理方法，其特征在于，所述方法包括以下步骤，
步骤一、找出已加载SAR数据文件的第一个有效帧偏移位置，该位置记录为数据处理分析起始位置，即第一个线程映射文件的起始位置；
步骤二、根据当前计算机的性能配置设置即内存RAM的大小、分配参与数据预处理的CPU线程数量Nc和单次循环单个线程处理数据模块体积大小Rs，此后所有线程并行执行相应算法，以数据处理分析起始位置为起始位置，剩余线程映射位置为在此之前的线程基础上加Rs个字节数；
步骤三、收集所有线程得到的运算结果；
步骤四、判断是否需要文件批处理，如是则重复上述三个步骤直至所有文件处理完成，如不是则结束单个文件处理；
步骤一的具体方法为，首先判断已加载SAR数据文件体积R的大小，选择该数据前10MB部分用来预处理，预处理是利用BF字符串匹配算法搜索、找到第一个有效帧偏移位置，该位置记录为数据处理分析起始位置；即对前10MB数据和目标帧头逐个字符地进行比较，直到在前10MB数据中找到完全与目标帧头匹配的第一个子字符串，且其对应的脉冲重复频率计数为1；
步骤二的具体方法为，判断计算机运行内存RAM的大小、计算出参与处理工作的CPU单个线程处理数据模块体积Rs的大小，分配标准为RsNc≤RAM/>80%，Nc为参与处理工作CPU的线程数量，为了达到最佳的运行效率Nc的选取应满足Nc≤P，其中P为计算机的逻辑处理器数量；在此基础上计算出完成已加载SAR数据文件预处理的总循环数N = R/Rs,将总循环数N平均分配到所有参与处理工作的线程上，即N/Nc得出所有线程Nc并行处理完当前已加载SAR数据文件所需的局部循环总数Nf；接下来，考虑到N是否为小数和Nf是否是Nc的整数倍；若总循环数N为小数，则需要将N取整处理，结果记为Ni；其次，在这种情况下，若Nf是 Nc的整数倍且记为Np，那么Ni部分对应的数据文件采用Nc个线程并行运算改进后的Sunday算法并将运算结果储存到预先设置好的数组矩阵M中，直至完成Np次循环；如若Nf不是 Nc的整数倍，计算出Nf/Nc的余数且记为Nm，与此同时再分配Nm个线程来并行运算改进后的Sunday算法一次后，即可完成N整数部分，即Ni对应的数据预处理，其中，/>；
剩余N的小数部分对应的数据体积为Rd，无需再去分配线程；用R减去Ni部分的数据最后一次映射偏移量Noffset 再减去Rs，即得出该SAR数据文件剩余小数部分对应的数据体积大小，而该部分数据起始分析位置，即映射偏移量，由Ni部分的数据最后一次映射偏移量Noffset 加上Rs得到；
改进后的Sunday算法具体为：在匹配过程中，模式串发现不匹配时，直接跳过1024字节数据，即移动位数为1024字节加1。
2.根据权利要求1所述的方法，其特征在于，步骤三的具体方法为，数据预处理完成后需将结果存储在数组矩阵M中。
3.根据权利要求2所述的方法，其特征在于，步骤四的具体方法为，当完成所有情况下的计算后还需要判断批处理数组是否为空，如为空则结束本次SAR数据文件的处理，如不为空则重复上述三个步骤直至批处理数组为空。
4.根据权利要求3所述的方法，其特征在于，所有线程数据的读取采用的是内存映射方式，即将所处理的数据映射到计算机运行内存RAM中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410098202.8A CN117632264B (zh) | 2024-01-24 | 2024-01-24 | 一种sar数据快速并行处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410098202.8A CN117632264B (zh) | 2024-01-24 | 2024-01-24 | 一种sar数据快速并行处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117632264A CN117632264A (zh) | 2024-03-01 |
| CN117632264B true CN117632264B (zh) | 2024-05-07 |
Family
ID=90035895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410098202.8A Active CN117632264B (zh) | 2024-01-24 | 2024-01-24 | 一种sar数据快速并行处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117632264B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110086934A (ko) * | 2010-01-25 | 2011-08-02 | (주)쎄트렉아이 | 합성개구면 레이다의 영상 처리 방법 및 시스템 |
| CN102231121A (zh) * | 2011-07-25 | 2011-11-02 | 北方工业大学 | 基于内存映射的大数据文件快速并行提取方法 |
| CN107907867A (zh) * | 2017-09-29 | 2018-04-13 | 北京空间飞行器总体设计部 | 一种多工作模式的实时sar快视系统 |
| CN112034463A (zh) * | 2020-11-06 | 2020-12-04 | 航天宏图信息技术股份有限公司 | 一种sar数据的高精度沉降监测方法和装置 |
| CN113268493A (zh) * | 2021-04-26 | 2021-08-17 | 上海卫星工程研究所 | 高分辨率星载sar海量数据快速预处理方法及系统 |
| CN115825954A (zh) * | 2022-06-28 | 2023-03-21 | 北京理工大学 | 一种基于gpu的sar后向投影成像并行加速优化方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2972808B1 (fr) * | 2011-03-17 | 2013-04-12 | Thales Sa | Procede de surveillance radar et d'acquisition de signaux radar |
-
2024
- 2024-01-24 CN CN202410098202.8A patent/CN117632264B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110086934A (ko) * | 2010-01-25 | 2011-08-02 | (주)쎄트렉아이 | 합성개구면 레이다의 영상 처리 방법 및 시스템 |
| CN102231121A (zh) * | 2011-07-25 | 2011-11-02 | 北方工业大学 | 基于内存映射的大数据文件快速并行提取方法 |
| CN107907867A (zh) * | 2017-09-29 | 2018-04-13 | 北京空间飞行器总体设计部 | 一种多工作模式的实时sar快视系统 |
| CN112034463A (zh) * | 2020-11-06 | 2020-12-04 | 航天宏图信息技术股份有限公司 | 一种sar数据的高精度沉降监测方法和装置 |
| CN113268493A (zh) * | 2021-04-26 | 2021-08-17 | 上海卫星工程研究所 | 高分辨率星载sar海量数据快速预处理方法及系统 |
| CN115825954A (zh) * | 2022-06-28 | 2023-03-21 | 北京理工大学 | 一种基于gpu的sar后向投影成像并行加速优化方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于GPU的SAR实时并行成像处理;赵敬亮;雷万明;黄银和;;信息化研究;20100220(第02期);28-30, 49 * |
| 星载SAR并行快视成像实现方法;唐智, 周荫清, 李景文;信号处理;20040830(第04期);373-378 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117632264A (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8601036B2 (en) | Handling persistent/long-lived objects to reduce garbage collection pause times | |
| US9530499B2 (en) | Semiconductor memory device and information processing device | |
| US20100241614A1 (en) | Device and method for enabling long-lived snapshots | |
| EP0373361A2 (en) | Generating efficient code for a computer with dissimilar register spaces | |
| EP2454691A2 (en) | Database storage architecture | |
| US6609249B2 (en) | Determining maximum number of live registers by recording relevant events of the execution of a computer program | |
| DE102009046876A1 (de) | Verfahren und System für die Datenvorabholung für Schleifen auf der Basis linearer Induktionsausdrücke | |
| US8266605B2 (en) | Method and system for optimizing performance based on cache analysis | |
| CN110362566A (zh) | 分层htap数据库的混合数据布局中的数据布置 | |
| EP3396542A1 (en) | Database operating method and device | |
| He et al. | Evaluating Persistent Memory Range Indexes: Part Two [Extended Version] | |
| US20190243772A1 (en) | Word type/boundary propagation with memory performance applications | |
| US11734171B2 (en) | Snapshot at the beginning marking in Z garbage collector | |
| CN117632264B (zh) | 一种sar数据快速并行处理方法 | |
| Chen et al. | HC-Sim: A fast and exact L1 cache simulator with scratchpad memory co-simulation support | |
| CN111444154B (zh) | 一种在单片机系统中高效存储日志文件的方法 | |
| Norlinder et al. | Compressed Forwarding Tables Reconsidered | |
| Park | Flash-Aware Cost Model for Embedded Database Query Optimizer. | |
| Prechtl et al. | Design and evaluation of a fixed-size programmable working-set cache on fpgas | |
| Pereira et al. | Study of hardware transactional memory characteristics and serialization policies on Haswell | |
| EP0058846B1 (en) | Multiprocessing system with variably shared paging storage | |
| Ribizel et al. | Approximate and exact selection on GPUs | |
| Munir et al. | A cost-based storage format selector for materialization in big data frameworks | |
| Koo et al. | FLIXR: Embedding index into flash translation layer in SSDs | |
| US20240143276A1 (en) | Advanced digital sorting and search |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |