CN107679152A - 基于多层信息联合索引的数据处理方法 - Google Patents

基于多层信息联合索引的数据处理方法 Download PDF

Info

Publication number
CN107679152A
CN107679152A CN201710886204.3A CN201710886204A CN107679152A CN 107679152 A CN107679152 A CN 107679152A CN 201710886204 A CN201710886204 A CN 201710886204A CN 107679152 A CN107679152 A CN 107679152A
Authority
CN
China
Prior art keywords
data
source bag
source
index
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710886204.3A
Other languages
English (en)
Other versions
CN107679152B (zh
Inventor
李冰
杨晓艳
孙小涓
石涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Electronics of CAS
Original Assignee
Institute of Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Electronics of CAS filed Critical Institute of Electronics of CAS
Priority to CN201710886204.3A priority Critical patent/CN107679152B/zh
Publication of CN107679152A publication Critical patent/CN107679152A/zh
Application granted granted Critical
Publication of CN107679152B publication Critical patent/CN107679152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2272—Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于多层信息联合索引的数据处理方法，包括：从原始数据中提取包括虚拟信道帧计数、虚拟信道标识和帧时间的数传数据索引；根据数传数据索引提取虚拟信道数据，建立包括虚拟信道帧计数、虚拟信道标识和帧时间的虚拟信道数据索引；根据虚拟信道数据索引提取源包数据，建立包括虚拟信道帧计数、源包计数、源包标识和源包时间的源包数据索引；以及根据源包数据索引来进行源包数据的排序、拼接、排重操作，生成连续、完整的源包数据。避免了传统方法会将虚拟信道帧计数和源包计数相同的数据认为是重复数据而剔除的问题，保证了数据的连续性和完整性，能够满足空间科学卫星探测数据的处理需求。

Description

基于多层信息联合索引的数据处理方法
技术领域
本发明属于空间科学卫星数据处理领域，涉及一种基于多层信息联合索引的数据处理方法。
背景技术
空间科学作为一门用于开展宇宙、生命的起源演化和基本物理规律探索的热点学科，空间科学的发展已经直接或间接促成了当今自然科学的很多重大发现。我国经过50多年的发展，已发射的空间科学卫星有东方红一号、“实践”系列、“双星”计划、暗物质卫星、量子卫星等，这使得我国空间科学的研究和探测技术获得了很大发展。
空间科学卫星具有全天候探测、携带载荷数量多等特点，其探测数据呈现以下特点：一是数据量大，暗物质探测卫星搭载4个探测器，其数据包含14种源包，平均单轨数据量达6GB；实践十号返回式卫星搭载19个载荷，其数据包含48种源包，平均单轨数据量达10GB；硬X射线望远镜卫星搭载42个探测单元，其数据包含36种源包，平均单轨数据量达10GB；二是计数循环速度快，空间科学卫星各探测器单个探测事件数据量小，探测事件密度大，探测过程全天候，造成单轨数据中虚拟信道帧计数(vcdu计数)和源包计数容易溢出而导致其计数重置，且计数重置的循环次数多、速度快；三是数据连续性和完整性要求高。
针对上述特点，在对空间科学卫星数据进行处理时需要对多轨数据进行联合处理，而由于不同卫星由不同制造方设计，导致不同卫星的探测数据形态不尽相同，且多轨数据的vcdu计数和源包计数重置次数更多。目前传统的卫星数据处理方法是基于vcdu计数和源包计数来进行解帧、解包处理。然而在对源包进行排序时，由于空间科学卫星探测数据的vcdu计数和源包计数会出现溢出而重置的情况，在对多轨数据进行联合处理时，当vcdu计数和包计数的排序相同时，使用传统方法会将vcdu计数和包计数相同的数据认为是重复数据而剔除，无法满足空间科学卫星对数据的连续性和完整性要求。
发明内容
(一)要解决的技术问题
本公开提供了一种基于多层信息联合索引的数据处理方法，以至少部分解决以上所提出的技术问题。
(二)技术方案
根据本公开的一个方面，提供了一种基于多层信息联合索引的数据处理方法，包括：从原始数据中提取包括虚拟信道帧计数、虚拟信道标识和帧时间的数传数据索引；根据数传数据索引提取虚拟信道数据，建立包括虚拟信道帧计数、虚拟信道标识和帧时间的虚拟信道数据索引；根据虚拟信道数据索引提取源包数据，建立包括虚拟信道帧计数、源包计数、源包标识和源包时间的源包数据索引；以及根据源包数据索引来进行源包数据的排序、拼接、排重操作，生成连续、完整的源包数据。
在本公开的一些实施例中，从原始数据中提取包括虚拟信道帧计数、虚拟信道标识和帧时间的数传数据索引包括：创建原始数据索引文件；根据原始数据索引从原始数据中读取数传数据，从数传数据中搜索帧同步头，读取帧长配置信息，并从第一个帧同步头的位置开始，读取与帧长配置信息一致的字节作为建立该帧索引的数据源，完成读入该帧数据的操作；从该帧数据源中提取虚拟信道帧计数和虚拟信道标识，将这两类信息写入原始数据索引文件中；以及读取下一个帧同步头的位置，如果能找到该位置，则重复第一个帧同步头的操作过程，提取虚拟信道帧计数和虚拟信道标识这两类信息写入原始数据索引文件中；如果找不到该位置，则保存已有的数传数据索引文件。
在本公开的一些实施例中，从第一个帧同步头的位置开始，读取与帧长配置信息一致的字节作为建立该帧索引的数据源，完成读入该帧数据的操作的步骤之后还包括：按照卫星CCSDS协议，对读入的该帧数据进行AOS校验，如果验证失败，则记录为错误信息；如果验证正确，则从该帧数据源中提取虚拟信道帧计数和虚拟信道标识，将这两类信息写入原始数据索引文件中。
在本公开的一些实施例中，根据数传数据索引提取虚拟信道数据，建立包括虚拟信道帧计数、虚拟信道标识和帧时间的虚拟信道数据索引包括：创建虚拟信道数据索引文件和虚拟信道数据文件；根据数传数据索引读取虚拟信道标识，据此逐一对数传数据索引进行拆分，生成虚拟信道数据索引文件，并同时存储每一条虚拟信道数据索引在原始数据索引文件中的位置信息；在拆分完成后对虚拟信道数据索引进行排序、保存；以及根据每一条虚拟信道数据索引在原始数据索引文件中的位置信息，从数传数据中该位置提取生成信道数据，将该信道数据写入相应的虚拟信道数据文件中并保存。
在本公开的一些实施例中，从数传数据中该位置提取生成信道数据包括：从数传数据中该位置提取与帧长配置信息一致的字节长度的数据，作为信道数据。
在本公开的一些实施例中，根据虚拟信道数据索引提取源包数据，建立包括虚拟信道帧计数、源包计数、源包标识和源包时间的源包数据索引包括：创建源包数据索引文件和源包数据文件；按顺序读取两条虚拟信道数据索引的虚拟信道帧计数，判断计数是否连续，如果连续，则读取计数顺序在后面的那条索引相对应的虚拟信道数据帧的数据域，从数据域中按照源包结构搜索源包同步码，如果搜索到，则按照源包结构读取源包标识，判断其是否与源包配置信息一致，如果一致，则按照源包结构提取源包计数、源包时间码和该条索引的虚拟信道帧计数，组成该条索引信息，追加到源包数据索引文件中并保存该数据索引文件。
在本公开的一些实施例中，在追加到源包数据索引文件中并保存该数据索引文件的步骤进行的同时或之后还包括：按照源包结构给出的源包数据长度提取源包数据，将提取的该条源包数据追加到源包数据文件中，并保存该源包数据文件。
在本公开的一些实施例中，根据源包数据索引来进行源包数据的排序操作包括：按照如下排序策略进行源包数据的排序操作：先按照源包时间由小到大进行排序；如果源包时间相等，再按照源包计数由小到大排序；如果源包计数相等，再按照虚拟信道帧计数由小到大排序；然后保存排序后的源包数据索引，按照排序后的源包数据索引重新生成源包数据文件。
在本公开的一些实施例中，根据源包数据索引来进行源包数据的拼接操作包括：利用两组数传数据生成两组源包数据文件和源包数据索引文件，读取两个源包数据索引文件并进行拼接，生成新的源包数据索引文件，并将对应的源包数据进行拼接，生成新的源包数据。
在本公开的一些实施例中，根据源包数据索引来进行源包数据的排重操作包括：将拼接后的源包数据索引文件按照排序策略进行排序，生成新的源包数据索引文件，同时将对应的拼接后的源包数据进行排序，生成新的源包数据文件；然后读取排序后的源包数据索引文件，比较连续两条源包数据索引的信息是否一致，如果一致，则删掉此重复索引，并删除对应的重复数据，实现排重操作。
(三)有益效果
从上述技术方案可以看出，本公开提供的基于多层信息联合索引的数据处理方法，具有以下有益效果：
通过建立数据的多层信息联合索引，对多层信息进行联合判别，从而实现对虚拟信道帧计数和源包计数循环的判别，完成对源包数据的排序、排重、拼接操作，避免了传统方法会将虚拟信道帧计数和源包计数相同的数据认为是重复数据而剔除的问题，保证了数据的连续性和完整性，能够满足空间科学卫星探测数据的处理需求。
附图说明
图1为根据本公开实施例基于多层信息联合索引的数据处理方法的流程图。
图2为根据本公开实施例从原始数据中提取数传数据索引的流程图。
图3为根据本公开实施例根据数传数据索引提取虚拟信道数据索引的流程图。
图4为根据本公开实施例根据虚拟信道数据索引提取源包数据索引的流程图。
图5为根据本公开实施例根据源包数据索引对源包数据进行排序、拼接、排重操作，生成符合要求的源包数据的流程图。
具体实施方式
本公开提供了一种基于多层信息联合索引的数据处理方法，通过建立数据的多层信息联合索引，对多层信息进行联合判别，从而实现对虚拟信道帧计数和源包计数循环的判别，完成对源包数据的排序、拼接、排重操作，避免了传统方法会将虚拟信道帧计数和源包计数相同的数据认为是重复数据而剔除的问题，保证了数据的连续性和完整性，能够满足空间科学卫星探测数据的处理需求。
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
在本公开的第一个示例性实施例中，提供了一种基于多层信息联合索引的数据处理方法。
图1为根据本公开实施例基于多层信息联合索引的数据处理方法的流程图。参照图1所示，本公开的基于多层信息联合索引的数据处理方法，包括：
步骤S102：从原始数据中提取包括虚拟信道帧计数、虚拟信道标识和帧时间的数传数据索引；
图2为根据本公开实施例从原始数据中提取数传数据索引的流程图。
参照图2所示，本实施例中，步骤S102包括：
子步骤S102a：创建原始数据索引文件；
本实施例中，创建的原始数据索引文件为多层信息联合索引文件；
子步骤S102b：根据原始数据索引从原始数据中读取数传数据，从数传数据中搜索帧同步头，读取帧长配置信息，并从第一个帧同步头的位置开始，读取与帧长配置信息一致的字节作为建立该帧索引的数据源；从该帧数据源中提取虚拟信道帧计数和虚拟信道标识，将这两类信息写入原始数据索引文件中；
本实施例中，根据原始数据索引从原始数据中读取的数传数据为D00，从数传数据D00中搜索帧同步头1ACFFC1D，如果能够找到第一个帧同步头，则进行读取帧长配置信息的操作，否则，结束该流程；如果找到第一个帧同步头，且读取帧长配置信息为L，那么从第一个帧同步头1ACFFC1D位置开始，读取与帧长配置信息L一致的字节作为建立该帧索引的数据源S，完成读入该帧数据的操作；然后按照卫星CCSDS协议，对该帧数据进行AOS校验，如果验证失败，则记录为错误信息；如果验证正确，则从该帧数据源S中提取虚拟信道帧计数和虚拟信道标识，将这两类信息写入多层信息联合索引文件中，得到数传数据的多层信息联合索引文件I0；
步骤S102c：读取下一个帧同步头的位置，如果能找到该位置，则重复第一个帧同步头的操作，提取虚拟信道帧计数和虚拟信道标识这两类信息写入原始数据索引文件中；如果找不到该位置，则保存已有的数传数据索引文件。
本实施例中，进行下一个帧同步头1ACFFC1D的寻找，其操作与第一个同步头的相同，如此循环下去，直至找完所有的同步头，最终得到包括虚拟信道帧计数、虚拟信道标识和帧时间的数传数据索引。
步骤S104：根据数传数据索引提取虚拟信道数据，建立包括虚拟信道帧计数、虚拟信道标识和帧时间的虚拟信道数据索引；
图3为根据本公开实施例根据数传数据索引提取虚拟信道数据索引的流程图。
参照图3所示，本实施例中，步骤S104包括：
子步骤S104a：创建虚拟信道数据索引文件；
本实施例中，创建的虚拟信道索引文件为I1，其对应的虚拟信道数据文件为D1。
子步骤S104b：根据数传数据索引读取虚拟信道标识F1，据此逐一对数传数据索引文件I0进行拆分，生成虚拟信道数据的索引文件，并同时存储每一条虚拟信道数据索引在原始数据索引文件中的位置信息；在拆分完成后对虚拟信道数据索引进行排序、保存；
子步骤S104c：根据每一条虚拟信道数据索引在原始数据索引文件中的位置信息，从数传数据中该位置提取生成信道数据，将该信道数据写入相应的虚拟信道数据文件中并保存。
本实施例中，根据虚拟信道数据的索引I1中每一条索引在原始数据索引中的位置信息，从数据D00中该位置提取帧长L字节的数据，追加到相应的虚拟信道数据文件D1中，处理完成后保存虚拟信道数据D1。至此，就完成了根据数传数据索引提取虚拟信道数据的过程，同时在上一子步骤S104b也完成了包括虚拟信道帧计数、虚拟信道标识和帧时间的虚拟信道数据索引的建立过程。
步骤S106：根据虚拟信道数据索引提取源包数据，建立包括虚拟信道帧计数、源包计数、源包标识和源包时间的源包数据索引；
图4为根据本公开实施例根据虚拟信道数据索引提取源包数据索引的流程图。
参照图4所示，本实施例中，步骤S106包括：
步骤S106a：创建源包数据索引文件；
本实施例中，创建的源包数据索引文件为I2，对应的源包数据文件为D2；
步骤S106b：读取源包数据索引文件I2，按顺序读取两条索引虚拟信道帧计数C1和C2，判断计数是否连续，如果连续，则读取计数顺序在后面的那条索引相对应的虚拟信道数据帧的数据域，从数据域中按照源包结构搜索源包同步码，如果搜索到，则按照源包结构读取源包标识，判断其是否与源包配置信息一致，如果一致，则按照源包结构提取源包计数、源包时间码，和该条索引的虚拟信道帧计数，组成该条索引信息，追加到源包数据索引文件I2中；同时，按照源包结构给出的源包数据长度提取该条源包数据，将该条源包数据追加到源包数据文件D2中；处理完成后，保存源包索引文件I2和源包数据文件D2。
本实施例中，采用表1所示例的源包结构来作为源包同步码的搜索库，但本公开不局限于此，可以是其他常见的源包结构，根据实际应用场景和数据结构进行对应源包结构的设置即可。
表1源包结构示例
步骤S108：根据源包数据索引来进行源包数据的排序、拼接、排重操作，生成连续、完整的源包数据；
图5为根据本公开实施例根据源包数据索引对源包数据进行排序、拼接、排重操作，生成符合要求的源包数据的流程图。
参照图5所示，本实施例中，步骤S108包括：
步骤S108a：根据源包数据索引I2对源包数据D2进行排序操作；
排序策略如下：先按照源包时间由小到大排序，如果源包时间相等，再按照源包计数由小到大排序，如果源包计数相等，再按照虚拟信道帧计数由小到大排序；保存排序后的索引I3，然后按照索引重新生成源包数据D3。
步骤S108b：使用另一组数传数据D01重复之前的步骤S102，S104，S106和108a，生成另一组源包数据D31和源包数据索引文件I31；读取两个源包数据索引文件I3和I31并进行拼接，生成新的源包数据索引文件I4，并将对应的源包数据D3和D31进行拼接，生成新的源包数据D4。
步骤S108c：将拼接后的索引文件I4按照第一步的排序策略进行排序，生成新的源包数据索引文件I5，同时将对应的源包数据D4进行排序，生成新的源包数据D5；然后读取排序后的源包数据索引文件I5，比较连续两条索引信息是否一致，如果一致，则删掉此重复索引，并删除对应的重复数据，实现排重操作；处理完成后保存排重后的源包数据索引文件I6及对应的源包数据文件D6。
综上所示，本公开提供了一种基于多层信息联合索引的数据处理方法，通过建立数据的多层信息联合索引，对多层信息进行联合判别，从而实现对虚拟信道帧计数和源包计数循环的判别，完成对源包数据的排序、排重、拼接操作，避免了传统方法会将虚拟信道帧计数和源包计数相同的数据认为是重复数据而剔除的问题，保证了数据的连续性和完整性，能够满足空间科学卫星探测数据的处理需求。
当然，根据实际需要，本公开基于多层信息联合索引的数据处理方法还包含其他的常见方法和步骤，由于同本公开的创新之处无关，此处不再赘述。
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种基于多层信息联合索引的数据处理方法，包括：
从原始数据中提取包括虚拟信道帧计数、虚拟信道标识和帧时间的数传数据索引；
根据数传数据索引提取虚拟信道数据，建立包括虚拟信道帧计数、虚拟信道标识和帧时间的虚拟信道数据索引；
根据虚拟信道数据索引提取源包数据，建立包括虚拟信道帧计数、源包计数、源包标识和源包时间的源包数据索引；以及
根据源包数据索引来进行源包数据的排序、拼接、排重操作，生成连续、完整的源包数据。
2.根据权利要求1所述的数据处理方法，其中，所述从原始数据中提取包括虚拟信道帧计数、虚拟信道标识和帧时间的数传数据索引包括：
创建原始数据索引文件；
根据原始数据索引从原始数据中读取数传数据，从数传数据中搜索帧同步头，读取帧长配置信息，并从第一个帧同步头的位置开始，读取与帧长配置信息一致的字节作为建立该帧索引的数据源，完成读入该帧数据的操作；从该帧数据源中提取虚拟信道帧计数和虚拟信道标识，将这两类信息写入原始数据索引文件中；以及
读取下一个帧同步头的位置，如果能找到该位置，则重复第一个帧同步头的操作过程，提取虚拟信道帧计数和虚拟信道标识这两类信息写入原始数据索引文件中；如果找不到该位置，则保存已有的数传数据索引文件。
3.根据权利要求2所述的数据处理方法，其中，在所述从第一个帧同步头的位置开始，读取与帧长配置信息一致的字节作为建立该帧索引的数据源，完成读入该帧数据的操作的步骤之后还包括：按照卫星CCSDS协议，对读入的该帧数据进行AOS校验，如果验证失败，则记录为错误信息；如果验证正确，则从该帧数据源中提取虚拟信道帧计数和虚拟信道标识，将这两类信息写入原始数据索引文件中。
4.根据权利要求1所述的数据处理方法，其中，所述根据数传数据索引提取虚拟信道数据，建立包括虚拟信道帧计数、虚拟信道标识和帧时间的虚拟信道数据索引包括：
创建虚拟信道数据索引文件和虚拟信道数据文件；
根据数传数据索引读取虚拟信道标识，据此逐一对数传数据索引进行拆分，生成虚拟信道数据索引文件，并同时存储每一条虚拟信道数据索引在原始数据索引文件中的位置信息；在拆分完成后对虚拟信道数据索引进行排序、保存；以及
根据每一条虚拟信道数据索引在原始数据索引文件中的位置信息，从数传数据中该位置提取生成信道数据，将该信道数据写入相应的虚拟信道数据文件中并保存。
5.根据权利要求4所述的数据处理方法，其中，所述从数传数据中该位置提取生成信道数据包括：从数传数据中该位置提取与帧长配置信息一致的字节长度的数据，作为信道数据。
6.根据权利要求1所述的数据处理方法，其中，所述根据虚拟信道数据索引提取源包数据，建立包括虚拟信道帧计数、源包计数、源包标识和源包时间的源包数据索引包括：
创建源包数据索引文件和源包数据文件；
按顺序读取两条虚拟信道数据索引的虚拟信道帧计数，判断计数是否连续，如果连续，则读取计数顺序在后面的那条索引相对应的虚拟信道数据帧的数据域，从数据域中按照源包结构搜索源包同步码，如果搜索到，则按照源包结构读取源包标识，判断其是否与源包配置信息一致，如果一致，则按照源包结构提取源包计数、源包时间码和该条索引的虚拟信道帧计数，组成该条索引信息，追加到源包数据索引文件中并保存该数据索引文件。
7.根据权利要求6所述的数据处理方法，在所述追加到源包数据索引文件中并保存该数据索引文件的步骤进行的同时或之后还包括：
按照源包结构给出的源包数据长度提取源包数据，将提取的该条源包数据追加到源包数据文件中，并保存该源包数据文件。
8.根据权利要求1至7任一项所述的数据处理方法，其中，所述根据源包数据索引来进行源包数据的排序操作包括：
按照如下排序策略进行源包数据的排序操作：先按照源包时间由小到大进行排序；如果源包时间相等，再按照源包计数由小到大排序；如果源包计数相等，再按照虚拟信道帧计数由小到大排序；然后保存排序后的源包数据索引，按照排序后的源包数据索引重新生成源包数据文件。
9.根据权利要求8所述的数据处理方法，其中，所述根据源包数据索引来进行源包数据的拼接操作包括：
利用两组数传数据生成两组源包数据文件和源包数据索引文件，读取两个源包数据索引文件并进行拼接，生成新的源包数据索引文件，并将对应的源包数据进行拼接，生成新的源包数据。
10.根据权利要求9所述的数据处理方法，其中，所述根据源包数据索引来进行源包数据的排重操作包括：
将拼接后的源包数据索引文件按照所述排序策略进行排序，生成新的源包数据索引文件，同时将对应的拼接后的源包数据进行排序，生成新的源包数据文件；然后读取排序后的源包数据索引文件，比较连续两条源包数据索引的信息是否一致，如果一致，则删掉此重复索引，并删除对应的重复数据，实现排重操作。
CN201710886204.3A 2017-09-26 2017-09-26 基于多层信息联合索引的数据处理方法 Active CN107679152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710886204.3A CN107679152B (zh) 2017-09-26 2017-09-26 基于多层信息联合索引的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710886204.3A CN107679152B (zh) 2017-09-26 2017-09-26 基于多层信息联合索引的数据处理方法

Publications (2)

Publication Number Publication Date
CN107679152A true CN107679152A (zh) 2018-02-09
CN107679152B CN107679152B (zh) 2024-03-08

Family

ID=61137911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710886204.3A Active CN107679152B (zh) 2017-09-26 2017-09-26 基于多层信息联合索引的数据处理方法

Country Status (1)

Country Link
CN (1) CN107679152B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109039423A (zh) * 2018-06-28 2018-12-18 上海卫星工程研究所 适用于低信噪比信道的aos数据帧结构及其解帧方法
CN111596328A (zh) * 2020-06-30 2020-08-28 天津云遥宇航科技有限公司 一种gnss掩星接收机的数据的时序控制方法
CN111650618A (zh) * 2020-06-30 2020-09-11 天津云遥宇航科技有限公司 一种gnss掩星探测信号处理方法
CN112838886A (zh) * 2020-12-22 2021-05-25 浙江吉利控股集团有限公司 一种用于小卫星的数据处理方法、装置、设备及存储介质
CN116846515A (zh) * 2023-07-07 2023-10-03 中国科学院空天信息创新研究院 Aos帧有效数据提取方法、装置、设备及介质
CN118092851A (zh) * 2023-12-22 2024-05-28 北京朗维科技有限公司 一种基于商业智能的数据处理系统
CN118509036A (zh) * 2024-07-18 2024-08-16 中国科学院空天信息创新研究院 空间科学卫星数据连续性判断方法、装置、设备及介质
CN118535859A (zh) * 2024-05-30 2024-08-23 国家卫星海洋应用中心 一种海洋卫星数据拼轨分轨方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102654584A (zh) * 2012-04-28 2012-09-05 中国科学院国家天文台 月球卫星微波探测仪实时数据的处理方法
CN102707307A (zh) * 2012-04-28 2012-10-03 中国科学院国家天文台 月球卫星太阳高能粒子探测器实时数据的处理方法
CN102968488A (zh) * 2012-11-26 2013-03-13 北京空间飞行器总体设计部 一种同时适用于pcm遥测和aos遥测的遥测数据组织方法
CN102968505A (zh) * 2012-12-13 2013-03-13 中国航空无线电电子研究所 用于机载导航数据库的格式描述方法
US20140313972A1 (en) * 2012-03-09 2014-10-23 G-Solution, Inc. Apparatus for partitioning compressed satellite image and the method thereof
CN104393951A (zh) * 2014-10-21 2015-03-04 北京空间飞行器总体设计部 一种基于排队的遥感载荷通用数据处理系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140313972A1 (en) * 2012-03-09 2014-10-23 G-Solution, Inc. Apparatus for partitioning compressed satellite image and the method thereof
CN102654584A (zh) * 2012-04-28 2012-09-05 中国科学院国家天文台 月球卫星微波探测仪实时数据的处理方法
CN102707307A (zh) * 2012-04-28 2012-10-03 中国科学院国家天文台 月球卫星太阳高能粒子探测器实时数据的处理方法
CN102968488A (zh) * 2012-11-26 2013-03-13 北京空间飞行器总体设计部 一种同时适用于pcm遥测和aos遥测的遥测数据组织方法
CN102968505A (zh) * 2012-12-13 2013-03-13 中国航空无线电电子研究所 用于机载导航数据库的格式描述方法
CN104393951A (zh) * 2014-10-21 2015-03-04 北京空间飞行器总体设计部 一种基于排队的遥感载荷通用数据处理系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109039423A (zh) * 2018-06-28 2018-12-18 上海卫星工程研究所 适用于低信噪比信道的aos数据帧结构及其解帧方法
CN111596328A (zh) * 2020-06-30 2020-08-28 天津云遥宇航科技有限公司 一种gnss掩星接收机的数据的时序控制方法
CN111650618A (zh) * 2020-06-30 2020-09-11 天津云遥宇航科技有限公司 一种gnss掩星探测信号处理方法
CN111650618B (zh) * 2020-06-30 2023-06-20 天津云遥宇航科技有限公司 一种gnss掩星探测信号处理方法
CN111596328B (zh) * 2020-06-30 2023-06-20 天津云遥宇航科技有限公司 一种gnss掩星接收机的数据的时序控制方法
CN112838886A (zh) * 2020-12-22 2021-05-25 浙江吉利控股集团有限公司 一种用于小卫星的数据处理方法、装置、设备及存储介质
CN116846515A (zh) * 2023-07-07 2023-10-03 中国科学院空天信息创新研究院 Aos帧有效数据提取方法、装置、设备及介质
CN116846515B (zh) * 2023-07-07 2024-02-06 中国科学院空天信息创新研究院 Aos帧有效数据提取方法、装置、设备及介质
CN118092851A (zh) * 2023-12-22 2024-05-28 北京朗维科技有限公司 一种基于商业智能的数据处理系统
CN118535859A (zh) * 2024-05-30 2024-08-23 国家卫星海洋应用中心 一种海洋卫星数据拼轨分轨方法、装置及存储介质
CN118535859B (zh) * 2024-05-30 2024-10-15 国家卫星海洋应用中心 一种海洋卫星数据拼轨分轨方法、装置及存储介质
CN118509036A (zh) * 2024-07-18 2024-08-16 中国科学院空天信息创新研究院 空间科学卫星数据连续性判断方法、装置、设备及介质

Also Published As

Publication number Publication date
CN107679152B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN107679152A (zh) 基于多层信息联合索引的数据处理方法
CN104331446B (zh) 一种基于内存映射的海量数据预处理方法
Wang et al. V3det: Vast vocabulary visual detection dataset
CN104376091B (zh) 对SQLite中删除的数据进行恢复的方法及装置
CN105162512B (zh) 多通道卫星遥感数据处理与存储系统及测试方法
CN103440252B (zh) 一种中文句子中并列信息提取方法及装置
CN109710572B (zh) 一种基于HBase的文件分片方法
CN104035993B (zh) 电子书的存储检索方法、电子书管理系统、阅读系统
US20110022638A1 (en) Incremental Construction of Search Tree with Signature Pointers for Identification of Multimedia Content
CN104301681B (zh) 一种监控视频的恢复方法和装置
CN104376108B (zh) 一种基于6w语义标识的非结构化自然语言信息抽取方法
CN105095091B (zh) 一种基于倒排索引技术的软件缺陷代码文件定位方法
CN105068889B (zh) 恢复Ext3/Ext4中已彻底删除文件的方法
CN110990676A (zh) 一种社交媒体热点主题提取方法与系统
CN106330289A (zh) 一种大数据卫星网络传输系统
CN110147351A (zh) 一种Office文件数据分片识别、排序、重组方法
CN112988762A (zh) 一种适用于失信单位的实时识别及预警方法
CN114997843A (zh) 一种企业运营管理信息存储系统
CN106339459A (zh) 基于关键词匹配进行中文网页预分类的方法
Toklu et al. Videoabstract: a hybrid approach to generate semantically meaningful video summaries
CN110866407B (zh) 确定互译文本及文本间相似度分析方法、装置及设备
CN106095808B (zh) 一种mdb文件碎片恢复的方法和装置
CN107729486B (zh) 一种视频搜索方法及装置
CN104301682B (zh) 一种监控视频碎片的恢复方法和装置
CN103870493A (zh) 对页面进行自动录入的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant