CN116993959B - 基于辅助数据优先处理的遥感卫星数据超实时预处理方法 - Google Patents
基于辅助数据优先处理的遥感卫星数据超实时预处理方法 Download PDFInfo
- Publication number
- CN116993959B CN116993959B CN202311259921.5A CN202311259921A CN116993959B CN 116993959 B CN116993959 B CN 116993959B CN 202311259921 A CN202311259921 A CN 202311259921A CN 116993959 B CN116993959 B CN 116993959B
- Authority
- CN
- China
- Prior art keywords
- data
- time
- remote sensing
- sensing satellite
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007781 pre-processing Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 title claims abstract description 45
- 238000012937 correction Methods 0.000 claims description 25
- 230000006837 decompression Effects 0.000 claims description 18
- 230000005855 radiation Effects 0.000 claims description 12
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及遥感卫星技术领域,提供的一种基于辅助数据优先处理的遥感卫星数据超实时预处理方法,通过采用流水线模型处理卫星载荷数据,预先解析辅助数据而不对图像压缩包进行解压缩,并由辅助数据中的行时、GPS、姿态信息计算出目标景所处原始数据的位置,仅对目标景所在原始数据进行预处理得到目标景产品,取代了传统辅助数据和图像解压缩同时且全部处理的预处理方法,解决了遥感卫星数据处理性能问题,极大的提高了预处理速度,达到超实时处理性能。
Description
技术领域
本发明涉及遥感卫星技术领域,尤其涉及一种基于辅助数据优先处理的遥感卫星数据超实时预处理方法。
背景技术
遥感卫星数据的预处理方法是把整轨数据按照帧同步、解扰、译码、分包、辅助数据和图像提取、解压缩、图像拼接、相对辐射校正、系统几何校正等处理步骤进行处理,得到预处理后的L1A 图像产品。以上各个步骤处理消耗计算机处理资源,特别是传统的解压缩过程,需要把整轨数据全部解压缩(AOS帧中的辅助数据和压缩图像一起输入),然后提取辅助数据,根据辅助数据,进行系统几何校正。解压缩是CPU密集型计算,900Mbps的原始数据,通常需要8台以上每台配置28核处理器的服务器才能达到实时处理速度。
因此,如何提高遥感卫星数据的解压缩处理速度,是当前存在的技术问题。
发明内容
本发明提供一种基于辅助数据优先处理的遥感卫星数据超实时预处理方法,用以解决现有技术中上述存在的缺陷,实现提高遥感卫星数据的解压缩处理速度。
本发明提供一种基于辅助数据优先处理的遥感卫星数据超实时预处理方法,包括:
获取遥感卫星原始数据,所述遥感卫星原始数据包括帧头数据、辅助数据和压缩包数据;对所述遥感卫星原始数据进行数据预处理,并提取得到所述辅助数据;所述数据预处理的过程包括帧同步、数据分包以及分载荷;
对所述辅助数据进行解析,得到所述辅助数据的行时数据、GPS数据以及姿态数据;
基于所述行时数据、GPS数据以及姿态数据确定图像拍摄位置;
根据预定的地理范围和所述图像拍摄位置,确定目标景图像,并基于所述目标景图像的定量距离的前后位置确定起始位置和终止位置 ,对所述起始位置和终止位置之间的遥感卫星原始数据进行图像解压缩、图像拼接、相对辐射校正以及系统几何校正,得到所述预定的地理范围的图像产品。
根据本发明提供的一种基于辅助数据优先处理的遥感卫星数据超实时预处理方法,还包括:
基于所述行时数据、GPS数据以及姿态数据确定图像拍摄时间;
根据预定的拍摄时间和所述图像拍摄时间,确定目标景图像,并基于所述目标景图像的定量时间的前后时间确定起始时间和终止时间 ,对所述起始时间和终止时间之间的遥感卫星原始数据进行图像解压缩、图像拼接、相对辐射校正以及系统几何校正,得到所述预定的地理范围的图像产品。
根据本发明提供的一种基于辅助数据优先处理的遥感卫星数据超实时预处理方法,所述基于所述目标景图像的定量距离的前后位置确定起始位置和终止位置,包括:
在确定所述遥感卫星原始数据为固定速率实时下传的情况下,基于所述遥感卫星原始数据的帧头数据中的记录起始时间和码速率,确定所述遥感卫星原始数据的起始位置和所述终止位置。
根据本发明提供的一种基于辅助数据优先处理的遥感卫星数据超实时预处理方法,所述基于所述目标景图像的定量距离的前后位置确定起始位置和终止位置,包括:
在确定所述遥感卫星原始数据为可变速率实时下传的情况下,基于所述遥感卫星原始数据的帧头数据中的数据块尺寸、所述遥感卫星原始数据的辅助信息中的记录块的起始时间和磁盘数据块编号,确定所述遥感卫星原始数据的起始位置和所述终止位置。
根据本发明提供的一种基于辅助数据优先处理的遥感卫星数据超实时预处理方法,还包括:
获取同一轨卫星数据的多个目标景的地理位置或拍摄时间,同时获取各所述目标景的预期地理位置的图像产品,或同时获取各所述目标景的预定拍摄时间的图像产品。
本发明提供的一种基于辅助数据优先处理的遥感卫星数据超实时预处理方法,通过采用流水线模型处理卫星载荷数据,预先解析辅助数据而不对图像压缩包进行解压缩,并由辅助数据中的行时、GPS、姿态信息计算出目标景所处原始数据的位置,仅对目标景所在原始数据进行预处理得到目标景产品,取代了传统辅助数据和图像解压缩同时且全部处理的预处理方法,解决了遥感卫星数据处理性能问题,极大的提高了预处理速度,达到超实时处理性能。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于辅助数据优先处理的遥感卫星数据超实时预处理方法的流程示意图;
图2是缓存式遥感卫星数据超实时预处理方法步骤;
图3是缓存的数据格式的示意图;
图4是非缓存式遥感卫星数据超实时预处理流程图;
图5是遥感卫星数据分片格式的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,本发明提供的基于辅助数据优先处理的遥感卫星数据超实时预处理方法,包括以下步骤:
步骤110、获取遥感卫星原始数据,所述遥感卫星原始数据包括帧头数据、辅助数据和压缩包数据;对所述遥感卫星原始数据进行数据预处理,并提取得到所述辅助数据;所述数据预处理的过程包括帧同步、数据分包以及分载荷;
步骤120、对所述辅助数据进行解析,得到所述辅助数据的行时数据、GPS数据以及姿态数据;
步骤130、基于所述行时数据、GPS数据以及姿态数据确定图像拍摄位置;
步骤140、根据预定的地理范围和所述图像拍摄位置,确定目标景图像,并基于所述目标景图像的定量距离的前后位置确定起始位置和终止位置,对所述起始位置和终止位置之间的遥感卫星原始数据进行图像解压缩、图像拼接、相对辐射校正以及系统几何校正,得到所述预定的地理范围的图像产品。
本实施例以国产高分六号卫星8米多光谱高分辨率图像为目标景数据为例,对基于辅助数据优先处理的遥感卫星数据超实时预处理方法进行详细说明。
数据名称为:
通道1:GF06_01_027949_20230809_MY8M1_R0
通道2:GF06_02_027949_20230809_MY8M2_R0
高分六号卫星是中国的民用遥感卫星,配置2米全色/8米多光谱高分辨率相机、16米多光谱中分辨率宽幅相机,主要应用于精准农业观测、林业资源调查等行业。
参照图2,图2是缓存式遥感卫星数据超实时预处理方法步骤,包括:对卫星原始数据输入进行帧同步、解交织、解扰、CRC校验、译码、分包,然后提取辅助数据并缓存载荷数据;一方面解析辅助数据,根据解析的辅助数据确定目标景,确定目标景后,对缓存数据查找目标起始和结束位置,缓存的载荷辅助数据和图像压缩包,对缓存的目标图像压缩包解压缩,图像拼接,相对辐射校正和系统几何校正,获取目标景。
首先需要说明的是,在接收遥感卫星原始数据之前,系统通过流水线模型并行开启诸如帧同步、解交织、解扰、CRC校验、译码、分包、辅助数据与图像数据提取以及辅助数据解析等线程。一旦系统初始化完成,这些线程会等待数据输入以进行进一步的处理。
具体地,在上述步骤110中,获取遥感卫星原始数据,也就是通过系统接收遥感卫星原始数据,当系统开始接收遥感卫星原始数据时,会对这些原始数据进行分片,并将分片数据经过上述处理流程。在此过程中,分包环节会过滤掉非目标景载荷数据。例如,目标景载荷为多光谱相机数据,非目标景载荷为全色相机和宽幅相机数据。同时,在辅助数据和图像数据提取环节,系统将当前载荷中的辅助数据和图像数据缓存到本地磁盘上。
参照图3,图3是缓存的数据格式的示意图,也就是说遥感卫星原始数据包括帧头、辅助数据和压缩包。系统缓存的时候只需要缓存辅助数据和压缩包,并在内存中过滤出图像压缩包,只保留8米多光谱高分辨率相机的辅助数据。
在上述步骤120中,对辅助数据进行解析,即对上述的8米多光谱高分辨率相机的辅助数据进行解析从行辅助数据中获取行时、GPS、姿态数据,根据行时、GPS、姿态数据可确定目标景图像。
需要说明的是:确定目标景图像的方法有两种:根据目标景地理范围确定目标景图像和根据目标景成像时刻确定目标景图像。
如上述步骤130和步骤140。根据行时、GPS以及姿态数据获取图像拍摄位置,根据预定的地理范围和图像拍摄位置确定目标景图像。
也就是说,如果已知目标景的地理范围,可以利用行时、GPS、姿态数据来计算拍摄位置。通过比较行拍摄位置和目标景的地理范围,如果存在交叠,则可以确定该行属于目标景范围内。
例如,已知8米多光谱高分辨率相机目标景地理范围为:左上角点经纬度坐标(39.866301,101.577711),右上角点经纬度坐标(39.668458,102.676209),左下角点经纬度坐标(39.019784,101.329971),右下角点经纬度坐标(38.823264,102.415342)。目标景对应行高为12079行,列宽为12078列,成像时间14秒。
首先根据行时插值计算当前处理行的GPS和姿态数据,以扫描行图像端点为图像点,根据严密成像模型,可计算此刻对应地面点的地理坐标。严密成像模型为:
上式中, 表示地面点在WGS84坐标系下的地理位置, />表示GPS天线相位中心的坐标,/>表示卫星本体坐标系到WGS84地理坐标系的转换矩阵,/>表示传感器坐标系到卫星本体坐标系的旋转矩阵,/>表示图像坐标系到传感器坐标系的旋转矩阵。
获取每一行图像的地理位置后,将它与目标景地理范围对比,在靠近目标地理范围前34.6千米处,记录此刻的行计数283388作为目标景开始行。在远离目标地理范围后34.6千米处,记录此刻的行计数304116作为目标景结束行。
另一方面,继续参照图1,根据目标景成像时刻确定目标景图像的步骤包括:
步骤150、基于所述行时数据、GPS数据以及姿态数据确定图像拍摄时间;
步骤160、根据预定的拍摄时间和所述图像拍摄时间,确定目标景图像,并基于所述目标景图像的定量时间的前后时间确定起始时间和终止时间,对所述起始时间和终止时间之间的遥感卫星原始数据进行图像解压缩、图像拼接、相对辐射校正以及系统几何校正,得到所述预定的地理范围的图像产品。
也就是说,如果已知目标景的成像时刻,可以通过比较计算的行时和目标景的成像时刻来确定目标景范围。如果计算的行时接近成像时刻,则可以确认该行属于目标景范围内。
例如,已知上述8米多光谱高分辨率相机目标景成像开始时刻是2023年8月9日4时20分30秒(UTC时间),成像结束时刻是2023年8月9日4时20分44秒(UTC时间),成像时间为14秒。此外,该卫星的参考时刻已知为2009年1月1日零时(UTC时间)。根据目标景行时的计算公式:
其中T为目标景行时,T1为成像时刻,T0为计时起点,ΔT为T1时间标准与T0时间标准的时区偏移(本实施例值为0)。可以计算出,目标景的开始行时是460786830秒,结束行时是460786844秒。
开始行随着数据的积累计算,计算的行时不断逼近目标开始行时,当达到目标开始行时前5秒时,记录此刻的行计数283388作为目标景开始行。当达到目标结束行时后5秒时,再次记录此刻的行计数304116作为目标景结束行。
在确定了目标景的开始行和结束行后,根据开始行和结束行在本地磁盘上的缓存载荷数据中寻找对应行的前后数据。接着,取出行数据进行处理,包括解压缩、图像拼接、相对辐射校正以及系统几何校正等步骤。最终,可以获得预期地理位置或拍摄时间的图像产品。
本发明提供的一种基于辅助数据优先处理的遥感卫星数据超实时预处理方法,通过采用流水线模型处理卫星载荷数据,预先解析辅助数据而不对图像压缩包进行解压缩,并由辅助数据中的行时、GPS、姿态信息计算出目标景所处原始数据的位置,仅对目标景所在原始数据进行预处理得到目标景产品,取代了传统辅助数据和图像解压缩同时且全部处理的预处理方法,解决了遥感卫星数据处理性能问题,极大的提高了预处理速度,达到超实时处理性能。
参照图4,图4是非缓存式遥感卫星数据超实时预处理流程图,若本地磁盘读写性能不足,无法及时将载荷数据落盘,则可采用非缓存式遥感卫星数据超实时预处理方法。非缓存式系统开始接收遥感卫星原始数据时,会对这些原始数据进行分片和标记,对卫星原始数据输入进行帧同步、解交织、解扰、CRC校验、译码、分包,然后提取辅助数据并缓存载荷数据;一方面解析辅助数据,根据解析的辅助数据确定目标景,确定原始数据起始位置和结束位置,然后返回至帧同步的步骤;另一方面确定目标景后,解析辅助数据并对图像解压缩,图像拼接,相对辐射校正和系统几何校正,获取目标景。
参照图5,图5是分片格式示意图,分片在流入不同的处理步骤时改变分片所携带的遥感卫星数据,但一般情况下不改变标记信息。若发生分片的合并、拆分,标记的起始和终止位置数据也重新计算并进行同步更新。根据上述方法确定目标景时,从目标景开始行和结束行数据的分片中提取标记信息,计算所需的原始数据起始位置和终止位置公式如下:
P1=PS_START-M
P2=PE_END+M
其中P1为所需的原始数据起始位置,P2为所需的原始数据终止位置,PS_START为开始行数据分片中标记的原始数据起始位置,PE_END为结束行数据分片中标记的原始数据终止位置,M为偏移数据量270MB。
本实施例中PS_START为14352138608byte,PE_END为15139638608byte。
P1=PS_START-M=18979225600-270x1024x1024=18696110080 byte;
P2=PE_END+M=19768016896+270x1024x1024=20051132416 byte;
故所需的两路原始数据起始位置均为18696110080 byte,终止位置均为20051132416 byte。
最后对上述部分原始数据进行帧同步、解交织、解扰、CRC校验、译码、分包、辅助数据与图像数据提取、辅助数据解析和图像解压缩、图像拼接、相对辐射校正、系统几何校正等处理,可获得预期地理位置或拍摄时间的图像产品。
进一步地,所述基于所述目标景图像的定量距离的前后位置确定起始位置和终止位置,包括:
一方面,在确定所述遥感卫星原始数据为固定速率实时下传的情况下,基于所述遥感卫星原始数据的帧头数据中的记录起始时间和码速率,确定所述遥感卫星原始数据的起始位置和所述终止位置;
一、本实施例中,对于固定速率实时下传的遥感卫星原始数据,根据原始数据数据头信息中的记录起始时间和码速率,计算所需的原始数据起始位置和终止位置并截取形成文件。
例如高分六号卫星实时下传的速率固定为450Mbpsx2,已知8米多光谱高分辨率相机目标景成像开始时刻是2023年8月9日4时20分30秒(UTC时间),成像结束时刻是2023年8月9日4时20分44秒(UTC时间),成像时间为14秒。根据国家标准GB/T 31011-2014《遥感卫星原始数据记录与交换格式》中数据文件组织结构。参照下表1,其中RDSAC表示原始数据起始地址码,DBS表示数据块尺寸,DBA表示数据块数量。
表1
首先解析数据头信息,获得记录起始时间为2023年8月9日12时14分52秒600毫秒(在《遥感卫星原始数据记录与交换格式》关于时间标准没有定义,导致不同批次研制的记录设备采用的时间标准不统一,此处接收站名与设备为MY8M1,确定设备采用的时间标准为北京时间,转换UTC时间为2023年8月9日4时14分52秒600毫秒),然后计算所需的原始数据起始位置和终止位置。起始位置计算公式为:
P1=(T1-T0-ΔT)xV+M
P2=(T2-T0+ΔT)xV+M
其中,P1为所需的原始数据起始位置(从0开始),P2为所需的原始数据终止位置(从0开始),T1为目标景成像开始时刻,T2为目标景成像结束时刻,T0为记录起始时间(需保持与T时间标准一致),ΔT为偏移时间5秒,V为固定码速率,M为《遥感卫星原始数据记录与交换格式》中规定的数据头信息和辅助数据大小,为4194304 byte。
P1=(T1-T0-ΔT)xV+M
=(2023年8月9日4时20分30秒-2023年8月9日12时14分52秒600毫秒-5)x(450x1000x1000/8)+4194304
=(337.4-5)x(450x1000x1000/8)+4194304=18701694304 byte
P2=(T2-T0+ΔT)xV+M
=(2023年8月9日4时20分44秒-2023年8月9日12时14分52秒600毫秒+5)x(450x1000x1000/8)+4194304
=(351.4+5)x(450x1000x1000/8)+4194304=20051694304 byte
故可得出所需的两路原始数据起始位置均为18701694304 byte,终止位置均为20051694304 byte。
另一方面,在确定所述遥感卫星原始数据为可变速率实时下传的情况下,基于所述遥感卫星原始数据的帧头数据中的数据块尺寸、所述遥感卫星原始数据的辅助信息中的记录块的起始时间和磁盘数据块编号,确定所述遥感卫星原始数据的起始位置和所述终止位置。
二、对于固定或可变速率实时下传的遥感卫星原始数据,可根据原始数据数据头信息中的数据块尺寸、原始数据辅助信息中的记录块的起始时间和磁盘数据块编号,计算所需的原始数据起始位置和终止位置并截取形成文件。
如对于一、的卫星数据,首先解析原始数据头信息,确定记录每个数据块尺寸为256KB。然后定位到辅助信息区,每个原始数据块都对应辅助信息区内一条辅助信息,依据《遥感卫星原始数据记录与交换格式》中描述的辅助信息格式。具体可参照下表2:
表2
其中DBA表示数据块数量,解析原始数据辅助信息,查找拍摄时间前后5秒所对应的数据块,并截取形成新的原始数据文件。本实施例中查找到对应截取的数据块序数为71297至76449,其中数据块定位公式如下:
P1=N1xj+M;
P2=N2xj+M;
其中P1为所需的原始数据起始位置(从0开始),P2为所需的原始数据终止位置(从0开始),N1为成像开始时刻数据块的编号从0开始,N1为成像结束时刻数据块的编号从0开始,j为数据块尺寸,M为4194304 byte。
P1=Nxj+M=71297x(256x1024)+4194304=18694275072 byte
P2=Nxj+M=76449x(256x1024)+4194304=20044840960 byte
故根据数据块定位公式截取所需的两路原始数据起始位置均为18694275072byte,终止位置均为20044840960 byte。
进一步地,在确定所需的原始数据起始位置和终止位置之后,对所截取的部分原始数据进行一系列的处理。这些处理包括帧同步、CRC校验、分包、辅助数据与图像数据的提取、辅助数据解析和图像解压缩、图像拼接、相对辐射校正,以及系统几何校正等。完成这些处理后,就可以获得预期拍摄时间的图像产品。
为确保目标景得到完全解算,以上方法均采用了冗余数据处理,冗余量约为5秒下传的数据量。按照实施例中方法搭建Linux机群环境进行实验验证。机群由20 Gbps以太网络连接的多台高性能计算服务器节点构成,每台服务器均有2颗CPU,型号为Intel(R) Xeon(R) Gold 6132 CPU @ 2.60GHz(14核28线程),内存为128 GB。服务器使用Red HatEnterprise Linux 7.4操作系统。
定义遥感卫星数据实时预处理实时率计算公式为:
RTF=(T_S+T_P)/(T2-T1)
如果实时率小于1,则认为达到超实时性能指标。
其中RTF(real time factor)为遥感卫星数据实时预处理实时率,T_S为目标景搜索时间,T_P为目标景预处理时间,T1为该轨卫星数据记录起始时间,T2为该轨卫星数据记录终止时间。
对于以上整轨卫星数据,记录起始时间为2023年8月9日12时14分52秒600毫秒(北京时间),记录终止时间为2023年8月9日12时24分13秒100毫秒(北京时间),记录时间为560.5秒。若对整轨卫星数据进行辅助数据解析和图像解压缩,要达到实时效果,需上述8台服务器,每台服务器所需28核心,处理总耗时527秒,实时率约为0.940。
对于通过拍摄位置确定目标景图像的情况来说,根据预设的地理范围和计算的位置确定目标景。对于缓存式遥感卫星数据超实时预处理,要达到实时效果,仅需要上述1台服务器,每台服务器至少需要6个核心,目标景搜索时间为29秒,目标景预处理时间为451秒,实时率约为0.856。若所需CPU核心数增加到28个,目标景搜素时间为25秒,目标景预处理时间为103秒,实时率约为0.228。对于非缓存式遥感卫星数据超实时预处理,要达到实时效果,仅需要上述1台服务器,每台服务器至少需要6个核心,目标景搜索时间为29秒,目标景预处理时间为462秒,实时率约为0.876。若所需CPU核心数增加到28个,目标景搜素时间为25秒,目标景预处理时间为114秒,实时率约为0.248。
对于通过拍摄时间确定目标景图像的情况来说,根据预设的拍摄时间和计算的行时确定目标景。对于缓存式遥感卫星数据超实时预处理,要达到实时效果,仅需要上述1台服务器,每台服务器至少所需6个核心,目标景搜索时间为26秒,目标景预处理时间为451秒,实时率约为0.851。若所需CPU核心数增加到28个,目标景搜素时间为21秒,目标景预处理时间为103秒,实时率约为0.221。对于非缓存式遥感卫星数据超实时预处理,要达到实时效果,仅需要上述1台服务器,每台服务器至少需要6个核心,目标景搜索时间为26秒,目标景预处理时间为462秒,实时率约为0.871。若所需CPU核心数增加到28个,目标景搜素时间为21秒,目标景预处理时间为114秒,实时率约为0.241。
对于遥感卫星原始数据为固定速率的情况来说,根据原始数据数据头信息中的记录起始时间和码速率,计算所需的原始数据起始位置和终止位置,从而确定目标景。要达到实时效果,仅需要上述1台服务器,每台服务器至少需要5个核心,目标景搜索时间为1秒,目标景预处理时间为542秒,实时率约为0.969。若所需CPU核心数增加到28个,目标景搜素时间为1秒,目标景预处理时间为114秒,实时率约为0.205。
对于遥感卫星原始数据为可变速率的情况来说,根据原始数据数据头信息中的数据块尺寸、原始数据辅助信息中的记录块的起始时间和磁盘数据块编号,计算所需的原始数据起始位置和终止位置,从而确定目标景。要达到实时效果,仅需要上述1台服务器,每台服务器至少需要5个核心,目标景搜索时间为2秒,目标景预处理时间为542秒,实时率约为0.971。若所需CPU核心数增加到28个,目标景搜素时间为2秒,目标景预处理时间为114秒,实时率约为0.207。
通过上述实施方式,对于900Mbps、约10分钟的原始数据,通过辅助数据优先处理方法,单台28核服务器,可以在150秒之内完成指定区域的图像处理,解决了传统方法需要8台,每台28核服务器10分钟才能完成处理的问题,达到超实时性能。
进一步地,该方法进一步包括:获取同一轨卫星数据的多个目标景的地理位置或拍摄时间,同时获取各所述目标景的预期地理位置的图像产品,或同时获取各所述目标景的预定拍摄时间的图像产品,可以实现同时对同一轨卫星数据的多个目标景进行图像产品的获取,实现多个遥感卫星数据同时超实时预处理。
本发明提供的一种基于辅助数据优先处理的遥感卫星数据超实时预处理方法,通过采用流水线模型处理卫星载荷数据,预先解析辅助数据而不对图像压缩包进行解压缩,并由辅助数据中的行时、GPS、姿态信息计算出目标景所处原始数据的位置,仅对目标景所在原始数据进行预处理得到目标景产品,取代了传统辅助数据和图像解压缩同时且全部处理的预处理方法,解决了遥感卫星数据处理性能问题,极大的提高了预处理速度,达到超实时处理性能。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.一种基于辅助数据优先处理的遥感卫星数据超实时预处理方法,其特征在于,包括:
获取遥感卫星原始数据,所述遥感卫星原始数据包括帧头数据、辅助数据和压缩包数据;采用流水线模型对卫星原始数据输入进行帧同步、解交织、解扰、CRC 校验、译码、分包,然后提取得到所述辅助数据并缓存载荷数据,对所述辅助数据进行解析,得到所述辅助数据的行时数据、GPS数据以及姿态数据;
基于所述行时数据、GPS数据以及姿态数据确定图像拍摄位置;
根据预定的地理范围和所述图像拍摄位置,确定目标景图像,并基于所述目标景图像的定量距离的前后位置确定起始位置和终止位置,对所述起始位置和终止位置之间的遥感卫星原始数据进行图像解压缩、图像拼接、相对辐射校正以及系统几何校正,得到所述预定的地理范围的图像产品。
2.根据权利要求1所述的基于辅助数据优先处理的遥感卫星数据超实时预处理方法,其特征在于,
还包括:
基于所述行时数据、GPS数据以及姿态数据确定图像拍摄时间;
根据预定的拍摄时间和所述图像拍摄时间,确定目标景图像,并基于所述目标景图像的定量时间的前后时间确定起始时间和终止时间,对所述起始时间和终止时间之间的遥感卫星原始数据进行图像解压缩、图像拼接、相对辐射校正以及系统几何校正,得到所述预定的地理范围的图像产品。
3.根据权利要求1所述的基于辅助数据优先处理的遥感卫星数据超实时预处理方法,其特征在于,
所述基于所述目标景图像的定量距离的前后位置确定起始位置和终止位置,包括:
在确定所述遥感卫星原始数据为固定速率实时下传的情况下,基于所述遥感卫星原始数据的帧头数据中的记录起始时间和码速率,确定所述遥感卫星原始数据的起始位置和所述终止位置。
4.根据权利要求1所述的基于辅助数据优先处理的遥感卫星数据超实时预处理方法,其特征在于,
所述基于所述目标景图像的定量距离的前后位置确定起始位置和终止位置,包括:
在确定所述遥感卫星原始数据为可变速率实时下传的情况下,基于所述遥感卫星原始数据的帧头数据中的数据块尺寸、所述遥感卫星原始数据的辅助信息中的记录块的起始时间和磁盘数据块编号,确定所述遥感卫星原始数据的起始位置和所述终止位置。
5.根据权利要求1所述的基于辅助数据优先处理的遥感卫星数据超实时预处理方法,其特征在于,
还包括:
获取同一轨卫星数据的多个目标景的地理位置或拍摄时间,同时获取各所述目标景的预期地理位置的图像产品,或同时获取各所述目标景的预定拍摄时间的图像产品。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311259921.5A CN116993959B (zh) | 2023-09-27 | 2023-09-27 | 基于辅助数据优先处理的遥感卫星数据超实时预处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311259921.5A CN116993959B (zh) | 2023-09-27 | 2023-09-27 | 基于辅助数据优先处理的遥感卫星数据超实时预处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116993959A CN116993959A (zh) | 2023-11-03 |
CN116993959B true CN116993959B (zh) | 2023-12-22 |
Family
ID=88530699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311259921.5A Active CN116993959B (zh) | 2023-09-27 | 2023-09-27 | 基于辅助数据优先处理的遥感卫星数据超实时预处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116993959B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101968876A (zh) * | 2010-09-17 | 2011-02-09 | 航天恒星科技有限公司 | 一种地面系统遥感图像的自适应实时处理方法 |
CN108663024A (zh) * | 2018-03-28 | 2018-10-16 | 北京空间飞行器总体设计部 | 一种基于姿态辅助信息的高轨卫星影像定位方法及系统 |
CN110866452A (zh) * | 2019-10-22 | 2020-03-06 | 西安航天恒星科技实业(集团)有限公司 | 光学成像卫星原始数据实时目标检测切片获取方法 |
CN112968750A (zh) * | 2021-01-11 | 2021-06-15 | 西安交通大学 | 基于aos帧的卫星图像压缩数据块解析方法及系统 |
CN114972545A (zh) * | 2022-08-01 | 2022-08-30 | 潍坊绘圆地理信息有限公司 | 一种高光谱卫星的在轨数据快速预处理方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101197103B1 (ko) * | 2012-03-09 | 2012-11-07 | (주) 지솔루션 | 위성압축영상 분할처리 장치 및 그 방법 |
-
2023
- 2023-09-27 CN CN202311259921.5A patent/CN116993959B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101968876A (zh) * | 2010-09-17 | 2011-02-09 | 航天恒星科技有限公司 | 一种地面系统遥感图像的自适应实时处理方法 |
CN108663024A (zh) * | 2018-03-28 | 2018-10-16 | 北京空间飞行器总体设计部 | 一种基于姿态辅助信息的高轨卫星影像定位方法及系统 |
CN110866452A (zh) * | 2019-10-22 | 2020-03-06 | 西安航天恒星科技实业(集团)有限公司 | 光学成像卫星原始数据实时目标检测切片获取方法 |
CN112968750A (zh) * | 2021-01-11 | 2021-06-15 | 西安交通大学 | 基于aos帧的卫星图像压缩数据块解析方法及系统 |
CN114972545A (zh) * | 2022-08-01 | 2022-08-30 | 潍坊绘圆地理信息有限公司 | 一种高光谱卫星的在轨数据快速预处理方法 |
Non-Patent Citations (1)
Title |
---|
通用遥感卫星快视处理系统技术研究;杨仁忠;蔡兴文;杨蕾;石璐;;遥感信息(05);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116993959A (zh) | 2023-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9996976B2 (en) | System and method for real-time overlay of map features onto a video feed | |
US10028019B2 (en) | Method for controlling network media information publication, apparatus, and server | |
CN106713964A (zh) | 一种生成视频摘要视点图的方法及装置 | |
US20130191082A1 (en) | Method of Modelling Buildings on the Basis of a Georeferenced Image | |
US9781378B2 (en) | Coordinating image sensing with motion | |
CN110991430B (zh) | 基于遥感图像的地物识别及覆盖率计算方法及系统 | |
WO2020000665A1 (zh) | 图像处理方法、装置、设备及可读存储介质 | |
Takacs et al. | 3D mobile augmented reality in urban scenes | |
CN110944201A (zh) | 一种视频去重压缩的方法、装置、服务器及存储介质 | |
CN110866452B (zh) | 光学成像卫星原始数据实时目标检测切片获取方法 | |
CN116993959B (zh) | 基于辅助数据优先处理的遥感卫星数据超实时预处理方法 | |
CN117573619A (zh) | 光学遥感数据流式分段分景编目方法、装置、设备及介质 | |
CN110855345A (zh) | 基于流式的高时效性静轨卫星处理系统及方法 | |
CN103970901A (zh) | 一种地理信息图形数据整合方法 | |
CN115222776B (zh) | 匹配辅助视觉目标跟踪方法、装置、电子设备和存储介质 | |
CN113032350A (zh) | 一种遥感数据处理的方法、系统、电子设备和存储介质 | |
CN114915757B (zh) | 一种基于vr技术的智慧工地监控方法及系统 | |
CN115333870B (zh) | 面向智能电网广域同步量测的网络攻击识别方法及系统 | |
CN110554420B (zh) | 设备轨迹获取方法、装置、计算机设备及存储介质 | |
CN114463376B (zh) | 视频文字跟踪方法、装置、电子设备及存储介质 | |
Dong et al. | Dual Path Network for Cross-view Geo-Localization | |
US20160350678A1 (en) | Method and computer program for providing information with flight ticket search | |
Gang et al. | High-speed Real-time Infrared Image Target Detection Method Based on Intelligent Platform | |
Tang et al. | UAV Visual Localization Technology Based on Heterogenous Remote Sensing Image Matching | |
CN115344397B (zh) | 一种实时的目标区域快速筛选处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |