CN112306421A - 一种用于存储分析测量数据格式mdf文件的方法和系统 - Google Patents

一种用于存储分析测量数据格式mdf文件的方法和系统 Download PDF

Info

Publication number
CN112306421A
CN112306421A CN202011312910.5A CN202011312910A CN112306421A CN 112306421 A CN112306421 A CN 112306421A CN 202011312910 A CN202011312910 A CN 202011312910A CN 112306421 A CN112306421 A CN 112306421A
Authority
CN
China
Prior art keywords
file
mdf
data
storing
data files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011312910.5A
Other languages
English (en)
Other versions
CN112306421B (zh
Inventor
胡庆刚
李宗阳
李康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunyi Electronic Technology Shanghai Co Ltd
Original Assignee
Kunyi Electronic Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunyi Electronic Technology Shanghai Co Ltd filed Critical Kunyi Electronic Technology Shanghai Co Ltd
Priority to CN202011312910.5A priority Critical patent/CN112306421B/zh
Publication of CN112306421A publication Critical patent/CN112306421A/zh
Application granted granted Critical
Publication of CN112306421B publication Critical patent/CN112306421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种用于存储分析测量数据格式MDF文件的方法和系统。方法包括：采集并上传MDF数据文件；对所采集的MDF数据文件进行排序；从所述经排序的MDF数据文件中提取元数据并存储所提取出的元数据；将所述经排序的MDF数据文件中的各条记录的电信号值转换成物理值；生成自解析的列式存储格式文件并将所生成的列式存储格式文件存储在分布式存储系统中；以及利用分布式计算系统对所存储的列式存储格式文件进行计算。

Description

一种用于存储分析测量数据格式MDF文件的方法和系统
技术领域
本发明涉及数据存储和分析领域，更具体地，涉及用于存储分析测量数据格式MDF文件的方法和系统。
背景技术
MDF文件是用来记录数据的一种文件格式，主要特点是同数据量的情况下占用空间更小。目前已有存储和分析方案是把MDF文件解析存入分布式数据库(例如，MySQL)，再通过SQL语句进行查询和分析。然而，这一解决方案有以下问题：
(1)需要提前知道所需存储的数据的数据结构；
(2)存储的扩容、备份异常复杂；
(3)过多地依赖于数据库，无法在不连接数据库的情况下读取数据；
(4)数据的移动困难；
(5)数据所占存储空间比原始数据增加，分析查询的效率受限于数据库的处理能力；
(6)数据库集群的扩展、运维复杂度加大，数据可靠性差；以及
(7)为了保证数据库的处理能力，可采用小型或大型机，从而导致系统构建成本高。
此外，由于关系型数据库通常使用行式存储，在查询时需要扫描全部的数据，效率较低。因此，为了改善MDF数据存储空间占用率、文件存储可靠性、数据查询分析处理能力、集群扩展能力、降低集群运维和构建成本，希望提供一种改进的MDF数据文件存储分析方法。
发明内容
提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
根据本发明的一个方面，提供了一种用于存储分析测量数据格式MDF文件的方法，所述方法包括：
采集并上传MDF数据文件；
对所采集的MDF数据文件进行排序；
从所述经排序的MDF数据文件中提取元数据并存储所提取出的元数据；
将所述经排序的MDF数据文件中的各条记录的电信号值转换成物理值；
生成自解析的列式存储格式文件并将所生成的列式存储格式文件存储在分布式存储系统中；以及
利用分布式计算系统对所存储的列式存储格式文件进行计算。
根据本发明的一个实施例，所述对所采集的MDF数据文件进行排序包括对所采集的MDF数据文件中的各条记录按时间戳进行排序。
根据本发明的进一步实施例，所述将电信号值转换成物理值包括根据从车辆的电子控制单元ECU获取的转换公式来将所述MDF数据文件中的电信号值转换成物理值。
根据本发明的进一步实施例，所述列式存储格式文件是ORC格式文件或Parquet格式文件。
根据本发明的进一步实施例，所述分布式存储系统是以下中的一者：阿里云对象存储服务OSS、hadoop分布式文件系统HDFS或亚马逊简单云存储服务S3。
根据本发明的进一步实施例，所述分布式计算系统是集群计算平台spark或mapreduce2。
根据本发明的另一方面，提供了一种用于存储分析测量数据格式MDF文件的系统，所述系统包括：
数据采集器，用于采集并上传MDF数据文件；
数据处理平台，用于对所采集的MDF数据文件进行排序；
数据解析器，所述数据解析器被配置成：
从所述经排序的MDF数据文件中提取元数据；
将所述经排序的MDF数据文件中的各条记录的电信号值转换成物理值；以及
生成自解析的列式存储格式文件；
数据库，用于存储所提取出的元数据；
分布式文件存储系统，用于存储所生成的列式存储格式文件；以及
分布式文件计算系统，用于对所存储的列式存储格式文件进行计算。
根据本发明的一个实施例，所述数据库是关系型数据库或文本检索数据库。
根据本发明的进一步实施例，所述对所采集的MDF数据文件进行排序包括对所采集的MDF数据文件中的各条记录按时间戳进行排序。
根据本发明的进一步实施例，所述将电信号值转换成物理值包括根据从车辆的电子控制单元ECU获取的转换公式来将所述MDF数据文件中的电信号值转换成物理值。
与现有技术中的方案相比，本发明所提供的数据文件存储分析系统和方法通过引入分布式存储和分布式计算而至少具有以下优点：
(1)存储时不需要提前知道数据结构；
(2)存储扩容方便，通过副本的机制保证的数据的高可用性；
(3)数据能方便的移动；
(4)减少了数据存储占用空间；以及
(5)存储的文件是自解析的列式存储格式文件，文件数据区的数据结构已经在文件中存储，解析文件不需要依赖于外部系统。此外，相对于关系数据库中通常使用的行式存储，在使用列式存储时每一列的所有元素都是顺序存储的。由此可以给查询带来如下的优化：
(1)查询的时候不需要扫描全部的数据，而只需要读取每次查询涉及的列，这样可以将I/O消耗降低N倍，另外可以保存每一列的统计信息(min、max、sum等)，实现部分的谓词下推。
(2)由于每一列的成员都是同构的，可以针对不同的数据类型使用更高效的数据压缩算法，进一步减小I/O。
(3)由于每一列的成员的同构性，可以使用更加适合CPU流水线的编码方式，减小CPU的缓存失效。
通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。
图1是根据本发明的一个实施例的用于存储分析MDF文件的系统的示例架构图。
图2是根据本发明的一个实施例的包括具有不同布局的两条记录的DT块的示例。
图3是根据本发明的一个实施例的未经排序的MDF数据文件的层次结构的示例。
图4是根据本发明的一个实施例的经排序的MDF数据文件的层次结构的示例。
图5是根据本发明的一个实施例的Parquet列式存储文件结构的示例。
图6是根据本发明的一个实施例的hadoop分布式文件系统架构的示例。
图7是根据本发明的一个实施例的spark分布式计算框架的示例。
图8是根据本发明的一个实施例的用于存储分析MDF文件的方法的流程图。
具体实施方式
下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。
图1是根据本发明的一个实施例的用于存储分析MDF文件的系统100的示例架构图。如图1中所示，本发明的系统100包括：数据采集器101、数据处理平台102、数据解析器103、数据库104、分布式文件存储系统105和分布式文件计算系统106。
数据采集器101用于采集MDF数据文件并将所采集的数据文件上传到数据处理平台，其中所采集的MDF数据文件是无序混乱的。在此，测量数据格式(MDF)是一种由ASAM(自动化及测量系统标准协会)定义的用于记录和传输测量数据的专用标准格式，原始测量数据和用于解读原始测量数据的元数据被存储在此类MDF文件中。MDF文件通常由9个必须块和2个非必须块组成，其中9个必须块分别为文件标识(ID)块、头信息(HD)块、文本(TX)块、数据组(DG)块、数据(DT)块、通道组(CG)块、通道(CN)块、通道转换(CC)块、通道扩展(CE)块，2个非必须块分别为程序(PR)块和触发(TR)块。图3示出了MDF数据文件的层次结构300的示例，其中数据块中的每条数据是无序存储的。MDF数据文件以64字节长的ID块开始，其主要目的是将数据文件标识为MDF文件并且指定MDF版本。ID块指向包含对该MDF文件的一般描述的HD块，HD块可被看作是MDF结构的“根”，因为其指向DG块的开始。每个DG块指向DT块和CG块，其中包含原始测量数据的一条或多条记录被存储在一个或多个DT块中，其中每条记录的布局是由与该记录相关联的CG块以及下一级别的CN块来定义的。为简单起见，在图3中仅示出了一个DT块，该DT块的具体结构200由图2示出。该DT块包括具有不同布局的两条记录，其中每条记录包含被同时获取或采样的信号值(即，每条记录中的所有信号值具有相同的时间戳)，每条记录以记录ID开始，该记录ID将该条记录与当前数据组中的通道组之一相关联。在该示例中，第一记录包括记录ID(ID 1)、时间(t1)和信号值(A)，第二记录包括记录ID(ID 2)、时间(t2)和信号值(B、C)。应注意，DT块不具有链接部分(即，链接计数为0)，并且数据部分中的各条记录必须无间隙地被存储。针对ID 1的记录布局由一个通道组描述，而针对ID 2的记录布局由另一通道组描述，这两个通道组均为该DT块的父数据组的子通道组。
数据处理平台102用于对所采集的MDF数据文件进行排序。数据处理平台可以例如是云端的数据处理系统。作为一个示例，图4示出了将图3所示的MDF数据文件排序之后的MDF数据文件的层次结构400。由于未经排序的数据组的数据块包含具有不同布局(记录ID)的记录以及可能不同的长度，因此搜索并读取其中某条记录是非常不方便的，因为必须要从数据块的开始读取所有记录，直到找到所需记录为止。因此，首先对MDF数据文件进行排序是有利的。对MDF数据文件进行排序是一种无损转换，其中未经排序的数据组中的各条记录被分开并且被存储在与每个记录ID相对应的数据块中，未经排序的数据组中的通道组也因此被分开，使得每个通道组具有其自己的父数据组。例如，图3的DT块中的两条记录被分开并且被存储在图4的相应的DT块中，描述这两条记录的布局的CG块也因此被分开，使得每个CG块具有其自己的父DG块，由此实现了按时间戳对图3的MDF数据文件中的每条数据进行排序。
数据解析器103用于接收经排序的MDF数据文件，提取出元数据，将该MDF数据文件中的各条记录的电信号值转换成物理值，并且生成自解析的列式存储格式文件。可以例如根据从车辆的电子控制单元(ECU)获取的转换公式来将MDF数据文件中的电信号值转换成物理值。列式存储格式可以是例如Apache ORC格式或Apache Parquet格式。ApacheParquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎(Hive、Impala、Drill等)支持，并且它是语言和平台无关的。由于在查询时大多数都只使用部分列来进行过滤、聚合，对少数列进行计算，因此使用列式存储格式是有利的。在图5中示出了Parquet列式存储文件结构500的示例。在Parquet文件中可存储多个行组(RowGroup)，其中每个行组包含这个行组对应的区间内的所有列的列块(Column Chunk)，每个列块被划分为多个页(Page)，页是压缩和编码的单元。在Parquet文件中存在三种类型的页：数据页、字典页和索引页。数据页用于存储当前行组中该列的值，字典页存储该列值的编码字典，每一个列块中最多包含一个字典页，索引页用来存储当前行组下该列的索引。通过对Parquet文件中的每一个行组的每一个列块在存储时计算对应的统计信息(包括该列块的最大值、最小值和空值个数)来实现更有效的谓词下推。经过这样的处理所生成的文件大小比原始MDF文件大小减小40％至60％，例如从100M减小到60M或40M。
数据库104用于存储所提取出的元数据，分布式文件存储系统105用于存储所生成的列式存储格式文件，并且随后由分布式文件计算系统106根据业务要求来对数据进行计算。数据库104可以是例如关系型数据库(例如，MySQL)或文本检索数据库(例如，elasticsearch)。作为一个示例，当所提取的元数据量很大时，利用文本检索数据库来存储元数据是有利的，因为其可以在UI界面上展示mdf的列。分布式文件存储系统105可以是例如阿里云对象存储服务(OSS)、hadoop分布式文件系统(HDFS)或亚马逊简单云存储服务(S3)。分布式文件计算系统106可以是例如集群计算平台(spark)或mapreduce2(其主要思想是映射(map)和规约(reduce))。例如，图6示出了hadoop分布式文件系统的架构600，其包括客户端(Client)、名字节点(NameNode)和数据节点(DataNode)，其中客户端负责发送读写请求，缓存文件元数据和文件数据，名字节点负责管理元数据和处理客户端的请求，是整个系统的核心组件，数据节点负责存放文件数据，保证数据的可用性和完整性。图7示出了spark分布式计算框架700的示例，其核心组件包括驱动器程序(Driver Program)、集群管理器(Cluster Manager)、工人节点(Worker Node)以及任务(Task)，其中驱动器程序负责创建SparkContext并运行main()函数，集群管理器负责控制整个集群并监控工人节点，工人节点负责控制计算节点，任务负责处理若干弹性分布式数据集(RDD)分区的计算逻辑。
本领域技术人员能够理解，本发明的系统及其各模块既可以以硬件形式实现，也可以以软件形式实现，并且各模块可以任意合适的方式合并或组合。
图8是根据本发明的一个实施例的用于存储分析MDF文件的方法800的流程图。方法开始于步骤801，数据采集器101采集MDF数据文件并将所采集的MDF数据文件上传到数据处理平台102。
步骤802，数据处理平台102对所采集的MDF数据文件进行排序，该排序是按MDF数据文件中各条记录的时间戳进行的。
步骤803，数据解析器103从经排序的MDF数据文件中提取元数据，并将所提取出元数据存储在数据库104中。
步骤804，数据解析器103将经排序的MDF数据文件中的各条记录的电信号值转换成物理值，其中该转换是利用从车辆的电子控制单元(ECU)获取的转换公式来进行的。
步骤805，数据解析器103生成自解析的列式存储格式文件，并且将所生成的列式存储格式文件存储在分布式文件存储系统105中。
步骤806，分布式文件计算系统106根据业务要求来对分布式文件存储系统105中所存储的数据文件进行计算。
以上所已经描述的内容包括所要求保护主题的各方面的示例。当然，出于描绘所要求保护主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，所要求保护主题的许多进一步的组合和排列都是可能的。从而，所公开的主题旨在涵盖落入所附权利要求书的精神和范围内的所有这样的变更、修改和变化。

Claims (10)

1.一种用于存储分析测量数据格式MDF文件的方法，所述方法包括：
采集并上传MDF数据文件；
对所采集的MDF数据文件进行排序；
从所述经排序的MDF数据文件中提取元数据并存储所提取出的元数据；
将所述经排序的MDF数据文件中的各条记录的电信号值转换成物理值；
生成自解析的列式存储格式文件并将所生成的列式存储格式文件存储在分布式存储系统中；以及
利用分布式计算系统对所存储的列式存储格式文件进行计算。
2.如权利要求1所述的方法，其特征在于，所述对所采集的MDF数据文件进行排序包括对所采集的MDF数据文件中的各条记录按时间戳进行排序。
3.如权利要求1所述的方法，其特征在于，所述将电信号值转换成物理值包括根据从车辆的电子控制单元ECU获取的转换公式来将所述MDF数据文件中的电信号值转换成物理值。
4.如权利要求1所述的方法，其特征在于，所述列式存储格式文件是ORC格式文件或Parquet格式文件。
5.如权利要求1所述的方法，其特征在于，所述分布式存储系统是以下中的一者：阿里云对象存储服务OSS、hadoop分布式文件系统HDFS或亚马逊简单云存储服务S3。
6.如权利要求1所述的方法，其特征在于，所述分布式计算系统是集群计算平台spark或mapreduce2。
7.一种用于存储分析测量数据格式MDF文件的系统，所述系统包括：
数据采集器，用于采集并上传MDF数据文件；
数据处理平台，用于对所采集的MDF数据文件进行排序；
数据解析器，所述数据解析器被配置成：
从所述经排序的MDF数据文件中提取元数据；
将所述经排序的MDF数据文件中的各条记录的电信号值转换成物理值；以及
生成自解析的列式存储格式文件；
数据库，用于存储所提取出的元数据；
分布式文件存储系统，用于存储所生成的列式存储格式文件；以及
分布式文件计算系统，用于对所存储的列式存储格式文件进行计算。
8.如权利要求7所述的系统，其特征在于，所述数据库是关系型数据库或文本检索数据库。
9.如权利要求7所述的系统，其特征在于，所述对所采集的MDF数据文件进行排序包括对所采集的MDF数据文件中的各条记录按时间戳进行排序。
10.如权利要求7所述的系统，其特征在于，所述将电信号值转换成物理值包括根据从车辆的电子控制单元ECU获取的转换公式来将所述MDF数据文件中的电信号值转换成物理值。
CN202011312910.5A 2020-11-20 2020-11-20 一种用于存储分析测量数据格式mdf文件的方法和系统 Active CN112306421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011312910.5A CN112306421B (zh) 2020-11-20 2020-11-20 一种用于存储分析测量数据格式mdf文件的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011312910.5A CN112306421B (zh) 2020-11-20 2020-11-20 一种用于存储分析测量数据格式mdf文件的方法和系统

Publications (2)

Publication Number Publication Date
CN112306421A true CN112306421A (zh) 2021-02-02
CN112306421B CN112306421B (zh) 2021-04-30

Family

ID=74336193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011312910.5A Active CN112306421B (zh) 2020-11-20 2020-11-20 一种用于存储分析测量数据格式mdf文件的方法和系统

Country Status (1)

Country Link
CN (1) CN112306421B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392148A (zh) * 2021-05-28 2021-09-14 联合汽车电子有限公司 Mdf4格式文件的生成方法及汽车远程测量设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104391945A (zh) * 2014-11-28 2015-03-04 厦门市美亚柏科信息股份有限公司 数据库文件数据索引的处理方法和装置
CN104462261A (zh) * 2014-11-23 2015-03-25 国云科技股份有限公司 一种仅有mdf文件附加还原数据库的方法
WO2015067892A1 (fr) * 2013-11-06 2015-05-14 Bull Sas Procédé de protection de métadonnées
CN105335450A (zh) * 2014-08-14 2016-02-17 中兴通讯股份有限公司 数据存储处理方法及装置
US20160224429A1 (en) * 2009-09-14 2016-08-04 Commvault Systems, Inc. Systems and methods for performing data management operations using snapshots
CN106970929A (zh) * 2016-09-08 2017-07-21 阿里巴巴集团控股有限公司 数据导入方法及装置
US20190213087A1 (en) * 2015-01-21 2019-07-11 Commvault Systems, Inc. Restoring archived object-level database data
CN111930729A (zh) * 2020-07-02 2020-11-13 上海微亿智造科技有限公司 动态实时计算大数据量的六西格玛数值的方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160224429A1 (en) * 2009-09-14 2016-08-04 Commvault Systems, Inc. Systems and methods for performing data management operations using snapshots
WO2015067892A1 (fr) * 2013-11-06 2015-05-14 Bull Sas Procédé de protection de métadonnées
CN105335450A (zh) * 2014-08-14 2016-02-17 中兴通讯股份有限公司 数据存储处理方法及装置
CN104462261A (zh) * 2014-11-23 2015-03-25 国云科技股份有限公司 一种仅有mdf文件附加还原数据库的方法
CN104391945A (zh) * 2014-11-28 2015-03-04 厦门市美亚柏科信息股份有限公司 数据库文件数据索引的处理方法和装置
US20190213087A1 (en) * 2015-01-21 2019-07-11 Commvault Systems, Inc. Restoring archived object-level database data
CN106970929A (zh) * 2016-09-08 2017-07-21 阿里巴巴集团控股有限公司 数据导入方法及装置
CN111930729A (zh) * 2020-07-02 2020-11-13 上海微亿智造科技有限公司 动态实时计算大数据量的六西格玛数值的方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392148A (zh) * 2021-05-28 2021-09-14 联合汽车电子有限公司 Mdf4格式文件的生成方法及汽车远程测量设备

Also Published As

Publication number Publication date
CN112306421B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN109684352B (zh) 数据分析系统、方法、存储介质及电子设备
US11138252B2 (en) System for organizing and fast searching of massive amounts of data
US9710517B2 (en) Data record compression with progressive and/or selective decomposition
CN111400408A (zh) 数据同步方法、装置、设备及存储介质
CN107451149B (zh) 流量数据查询任务的监控方法及其装置
KR101696338B1 (ko) 컬럼-인덱스 데이터 포맷을 이용하여 빅데이터를 효율적으로 처리 및 분석하는 시스템 및 방법
US20200117663A1 (en) Managed query execution platform, and methods thereof
CN106326429A (zh) 一种基于solr的Hbase秒级查询方案
CN105912594B (zh) Sql语句处理方法和系统
CN113360554B (zh) 一种数据抽取、转换和加载etl的方法和设备
CN106547918B (zh) 一种统计数据的整合方法及系统
CN110147470B (zh) 一种跨机房数据比对系统及方法
CN105144157A (zh) 用于压缩数据库中的数据的系统和方法
US9183320B2 (en) Data managing method, apparatus, and recording medium of program, and searching method, apparatus, and medium of program
CN111897867A (zh) 一种数据库日志统计方法、系统及相关装置
CN111125199B (zh) 一种数据库访问方法、装置及电子设备
CN112306421B (zh) 一种用于存储分析测量数据格式mdf文件的方法和系统
CN117251414B (zh) 一种基于异构技术的数据存储及处理方法
CN116049153B (zh) 数据库的数据处理方法、装置、电子设备及存储介质
CN116800596A (zh) 一种日志无损压缩分析方法和系统
JP6103021B2 (ja) データ生成方法、装置及びプログラム、検索処理方法、装置及びプログラム
RU2417424C1 (ru) Способ компрессии многомерных данных для хранения и поиска информации в системе управления базами данных и устройство для его осуществления
Arab et al. MDMP: a new algorithm to create inverted index files in BigData, using MapReduce
CN112286995B (zh) 一种数据分析方法、装置、服务器、系统及存储介质
CN116860772A (zh) 数据查询方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant