CN109240624A - 一种数据处理方法和装置 - Google Patents

一种数据处理方法和装置 Download PDF

Info

Publication number
CN109240624A
CN109240624A CN201811146588.6A CN201811146588A CN109240624A CN 109240624 A CN109240624 A CN 109240624A CN 201811146588 A CN201811146588 A CN 201811146588A CN 109240624 A CN109240624 A CN 109240624A
Authority
CN
China
Prior art keywords
data
mapping relations
data block
server
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811146588.6A
Other languages
English (en)
Inventor
杨吉东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811146588.6A priority Critical patent/CN109240624A/zh
Publication of CN109240624A publication Critical patent/CN109240624A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据处理方法，所述方法包括：将待处理的数据文件分成多个数据块；根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上；其中，所述第一映射关系是数据块与目标数据服务器之间的映射关系；当对所述数据文件进行处理时，根据所述第一映射关系，从相应的目标数据服务器上获取所述多个数据块，根据第二映射关系将所述多个数据块分配给相应的计算服务器进行处理；其中，所述第二映射关系是数据块与计算服务器之间的映射关系；所述计算服务器根据预设的模型处理相应的数据块；将所述多个数据块的处理结果合并。通过上述技术方案，可以提高数据存储和计算的时效性。

Description

一种数据处理方法和装置
技术领域
本发明涉及大数据领域，尤其涉及一种数据处理方法和装置。
背景技术
近年来，随着网络带宽、存储空间、计算能力的快速发展，人类积累的数据在诸多领域呈现着爆炸式增长。数据的应用不断深入、量级不断升级以及大数据不可忽视的价值。
然而，随着数据爆炸、信息泛滥，海量的数据已经使得人力抉择不及。大数据带给人们价值的同时，也造成了信息存储冗余等一系列问题，处理大数据的研究就显得格外重要。现有的数据处理方式在存储和计算在时效性上无法满足需求。
发明内容
本申请所要解决的技术是提供一种数据处理方法和装置，可以提高数据存储和计算的时效性。
为了解决上述技术问题，本申请提供了一种数据处理方法，所述方法包括：
将待处理的数据文件分成多个数据块；
根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上；其中，所述第一映射关系是数据块与目标数据服务器之间的映射关系；
当对所述数据文件进行处理时，根据所述第一映射关系，从相应的目标数据服务器上获取所述多个数据块，根据第二映射关系将所述多个数据块分配给相应的计算服务器进行处理；其中，所述第二映射关系是数据块与计算服务器之间的映射关系；所述计算服务器根据预设的模型处理相应的数据块；
将所述多个数据块的处理结果合并。
可选地，所述根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上之前，所述方法还包括：
根据每个数据服务器的状态选取多个数据服务器作为目标数据服务器；
确定所述多个数据块与多个目标数据服务器的第一映射关系。
可选地，所述从相应的目标数据服务器上获取所述多个数据块包括：
根据所述数据文件确定对应的多个目标数据服务器的位置信息；
根据所述位置信息从多个目标数据服务器中并行读取数据块。
可选地，所述根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上之后，所述方法还包括：
将所述多个数据块备份到除对应存储的目标数据服务器之外的一个或多个数据服务器上。
可选地，所述方法还包括：
在第一时间周期内获取每个数据服务器的状态信息。
本申请还提供一种数据处理装置，包括：存储器和处理器；其特征在于：
所述存储器，用于保存用于数据处理的程序；
所述处理器，用于读取执行所述用于数据处理的程序，执行如下操作：
将待处理的数据文件分成多个数据块；
根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上；其中，所述第一映射关系是数据块与目标数据服务器之间的映射关系；
当对所述数据文件进行处理时，根据所述第一映射关系，从相应的目标数据服务器上获取所述多个数据块，根据第二映射关系将所述多个数据块分配给相应的计算服务器进行处理；其中，所述第二映射关系是数据块与计算服务器之间的映射关系；所述计算服务器根据预设的模型处理相应的数据块；
将所述多个数据块的处理结果合并。
可选地，所述处理器读取执行所述用于数据处理的程序，还执行如下操作：
所述根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上之前，根据每个数据服务器的状态选取多个数据服务器作为目标数据服务器；
确定所述多个数据块与多个目标数据服务器的第一映射关系。
可选地，所述从相应的目标数据服务器上获取所述多个数据块包括：
根据所述数据文件确定对应的多个目标数据服务器的位置信息；
根据所述位置信息从多个目标数据服务器中并行读取数据块。
可选地，所述处理器读取执行所述用于数据处理的程序，还执行如下操作：
所述根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上之后，将所述多个数据块备份到除对应存储的目标数据服务器之外的一个或多个数据服务器上。
可选地，所述处理器读取执行所述用于数据处理的程序，还执行如下操作：
在第一时间周期内获取每个数据服务器的状态信息。
与现有技术相比，本申请包括：将待处理的数据文件分成多个数据块；根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上；其中，所述第一映射关系是数据块与目标数据服务器之间的映射关系；当对所述数据文件进行处理时，根据所述第一映射关系，从相应的目标数据服务器上获取所述多个数据块，根据第二映射关系将所述多个数据块分配给相应的计算服务器进行处理；其中，所述计算服务器根据预设的模型处理相应的数据块；将所述多个数据块的处理结果合并。通过上述技术方案，可以提高数据存储和计算的时效性。
附图说明
图1是本发明实施例一的数据处理方法的流程示意图；
图2是本发明实施例一的数据处理装置的结构示意图；
图3是本发明实施例一的架构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
如图1所示，本实施例提供一种数据处理方法，所述方法包括：
步骤S100、将待处理的数据文件分成多个数据块；
步骤S102、根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上；其中，所述第一映射关系是数据块与目标数据服务器之间的映射关系；
例如，待处理文件A分为三个数据块：a1、a2、a3，若第一映射关系是a1对应数据服务器D1、a2对应数据服务器D3、a3对应数据服务器D6，则将a1存储到数据服务器D1、a2存储到数据服务器D3、a3存储到数据服务器D6。
步骤S104、当对所述数据文件进行处理时，根据所述第一映射关系，从相应的目标数据服务器上获取所述多个数据块，根据第二映射关系将所述多个数据块分配给相应的计算服务器进行处理；其中，所述第二映射关系是数据块与计算服务器之间的映射关系；所述计算服务器根据预设的模型处理相应的数据块；
同样以上述待处理文件A为例，当需要处理文件A时，可以先从其存储的三个目标数据服务器D1、D2、D3上获取三个数据块。若第二映射关系是a1对应计算服务器S1、a2对应计算服务器S2、a3对应计算服务器S3，则将取出的a1分配给S1、将取出的a2分配给S2、将取出的a3分配给S3。
步骤S106、将所述多个数据块的处理结果合并。
本实施例中，合并可以是将多个计算服务器处理的结果组合到一个文件里。以前述示例为例，可以将S1、S2、S3这三个计算服务器的处理结果组合到一个文件中。
可选地，所述根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上之前，所述方法还可以包括：
根据每个数据服务器的状态选取多个数据服务器作为目标数据服务器；
确定所述多个数据块与多个目标数据服务器的第一映射关系。
本实施例中，可以根据数据服务器的运行状态，从中选择出多个数据服务器作为目标数据服务器来存储数据块。数据块可以以Linux文件的形式存储在目标数据服务器的本地磁盘上。可选地，所述从相应的目标数据服务器上获取所述多个数据块可以包括：
根据所述数据文件确定对应的多个目标数据服务器的位置信息；
根据所述位置信息从多个目标数据服务器中并行读取数据块。
可选地，所述根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上之后，所述方法还可以包括：
将所述多个数据块备份到除对应存储的目标数据服务器之外的一个或多个数据服务器上。
本实施例中，为了保证数据的可靠性，可以对数据块进行备份。以前述示例为例，可以将数据块a1在数据服务器D3和D6上分别备份一份。
可选地，所述方法还可以包括：
在第一时间周期内获取每个数据服务器的状态信息。
本实施例中，可以使用心跳信息周期地和每个数据服务器通讯，从而获取数据服务器的状态信息。
上述技术方案采用分布式数据存储和分布式计算，从而可以提高数据存储和计算的时效性。
如图2所示，本实施例还提供一种数据处理装置，包括：存储器10和处理器20；
所述存储器10，用于保存用于数据处理的程序；
所述处理器20，用于读取执行所述用于数据处理的程序，执行如下操作：
将待处理的数据文件分成多个数据块；
根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上；其中，所述第一映射关系是数据块与目标数据服务器之间的映射关系；
当对所述数据文件进行处理时，根据所述第一映射关系，从相应的目标数据服务器上获取所述多个数据块，根据第二映射关系将所述多个数据块分配给相应的计算服务器进行处理；其中，所述第二映射关系是数据块与计算服务器之间的映射关系；所述计算服务器根据预设的模型处理相应的数据块；
将所述多个数据块的处理结果合并。
可选地，所述处理器读取执行所述用于数据处理的程序，还可以执行如下操作：
所述根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上之前，根据每个数据服务器的状态选取多个数据服务器作为目标数据服务器；
确定所述多个数据块与多个目标数据服务器的第一映射关系。
可选地，所述从相应的目标数据服务器上获取所述多个数据块可以包括：
根据所述数据文件确定对应的多个目标数据服务器的位置信息；
根据所述位置信息从多个目标数据服务器中并行读取数据块。
可选地，所述处理器读取执行所述用于数据处理的程序，还可以执行如下操作：
所述根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上之后，将所述多个数据块备份到除对应存储的目标数据服务器之外的一个或多个数据服务器上。
可选地，所述处理器读取执行所述用于数据处理的程序，还可以执行如下操作：
在第一时间周期内获取每个数据服务器的状态信息。
上述技术方案采用分布式数据存储和分布式计算，从而可以提高数据存储和计算的时效性。
下面通过示例进一步说明本申请数据处理的方法。
本示例中，可以采用图3所示的架构进行数据存储。
其中，控制端中维护了系统的元数据，这些元数据可以包括文件及数据块名字空间、GFS(Google File System，分布式文件系统)文件到数据服务器之间的映射以及数据服务器的位置信息。控制端也可以负责整个系统的全局控制。
客户端是GFS提供给应用程序的访问接口，它是一组专用接口，不遵守POSIX(Portable Operating System Interface of UNIX，可移植操作系统接口)规范，以库文件的形式提供，其API(Application Programming Interface，应用程序编程接口)调用不需要深入到Linux vnode级别。另外，客户端可以不缓存文件数据，只缓存从控制端中获取的元数据。从图3可以看出，客户端和控制端之间的交互只有控制流，没有数据流，因此降低了控制端的负载。客户端与数据服务器之间直接传输数据流，由于文件被分成多个数据块进行分布式存储，因此客户端可以同时并行访问多个数据服务器，从而让系统的输入输出的并行度提高。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：
将待处理的数据文件分成多个数据块；
根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上；其中，所述第一映射关系是数据块与目标数据服务器之间的映射关系；
当对所述数据文件进行处理时，根据所述第一映射关系，从相应的目标数据服务器上获取所述多个数据块，根据第二映射关系将所述多个数据块分配给相应的计算服务器进行处理；其中，所述第二映射关系是数据块与计算服务器之间的映射关系；所述计算服务器根据预设的模型处理相应的数据块；
将所述多个数据块的处理结果合并。
2.如权利要求1所述的方法，其特征在于，所述根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上之前，所述方法还包括：
根据每个数据服务器的状态选取多个数据服务器作为目标数据服务器；
确定所述多个数据块与多个目标数据服务器的第一映射关系。
3.如权利要求2所述的方法，其特征在于，所述从相应的目标数据服务器上获取所述多个数据块包括：
根据所述数据文件确定对应的多个目标数据服务器的位置信息；
根据所述位置信息从多个目标数据服务器中并行读取数据块。
4.如权利要求3所述的方法，其特征在于，所述根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上之后，所述方法还包括：
将所述多个数据块备份到除对应存储的目标数据服务器之外的一个或多个数据服务器上。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
在第一时间周期内获取每个数据服务器的状态信息。
6.一种数据处理装置，包括：存储器和处理器；其特征在于：
所述存储器，用于保存用于数据处理的程序；
所述处理器，用于读取执行所述用于数据处理的程序，执行如下操作：
将待处理的数据文件分成多个数据块；
根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上；其中，所述第一映射关系是数据块与目标数据服务器之间的映射关系；
当对所述数据文件进行处理时，根据所述第一映射关系，从相应的目标数据服务器上获取所述多个数据块，根据第二映射关系将所述多个数据块分配给相应的计算服务器进行处理；其中，所述第二映射关系是数据块与计算服务器之间的映射关系；所述计算服务器根据预设的模型处理相应的数据块；
将所述多个数据块的处理结果合并。
7.如权利要求6所述的装置，其特征在于，所述处理器读取执行所述用于数据处理的程序，还执行如下操作：
所述根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上之前，根据每个数据服务器的状态选取多个数据服务器作为目标数据服务器；
确定所述多个数据块与多个目标数据服务器的第一映射关系。
8.如权利要求7所述的装置，其特征在于，所述从相应的目标数据服务器上获取所述多个数据块包括：
根据所述数据文件确定对应的多个目标数据服务器的位置信息；
根据所述位置信息从多个目标数据服务器中并行读取数据块。
9.如权利要求8所述的装置，其特征在于，所述处理器读取执行所述用于数据处理的程序，还执行如下操作：
所述根据第一映射关系将所述多个数据块存储到相应的目标数据服务器上之后，将所述多个数据块备份到除对应存储的目标数据服务器之外的一个或多个数据服务器上。
10.如权利要求9所述的装置，其特征在于，所述处理器读取执行所述用于数据处理的程序，还执行如下操作：
在第一时间周期内获取每个数据服务器的状态信息。
CN201811146588.6A 2018-09-29 2018-09-29 一种数据处理方法和装置 Pending CN109240624A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811146588.6A CN109240624A (zh) 2018-09-29 2018-09-29 一种数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811146588.6A CN109240624A (zh) 2018-09-29 2018-09-29 一种数据处理方法和装置

Publications (1)

Publication Number Publication Date
CN109240624A true CN109240624A (zh) 2019-01-18

Family

ID=65055325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811146588.6A Pending CN109240624A (zh) 2018-09-29 2018-09-29 一种数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN109240624A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110471955A (zh) * 2019-07-30 2019-11-19 北京明略软件系统有限公司 一种关系计算的方法、装置、计算机存储介质及终端
CN111857534A (zh) * 2019-04-24 2020-10-30 北京嘀嘀无限科技发展有限公司 一种数据传输方法、数据存储服务器及数据存储系统
CN113468567A (zh) * 2021-07-02 2021-10-01 罗克佳华(重庆)科技有限公司 数据处理方法及数据处理设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102882983A (zh) * 2012-10-22 2013-01-16 南京云创存储科技有限公司 一种云存储系统中提升并发访问性能的数据快速存储方法
US20130041872A1 (en) * 2011-08-12 2013-02-14 Alexander AIZMAN Cloud storage system with distributed metadata
CN105354250A (zh) * 2015-10-16 2016-02-24 浪潮(北京)电子信息产业有限公司 一种面向云存储的数据存储方法及装置
CN106302659A (zh) * 2016-08-02 2017-01-04 合肥奇也信息科技有限公司 一种基于云存储系统中提升访问数据快速存储方法
CN107508901A (zh) * 2017-09-04 2017-12-22 北京京东尚科信息技术有限公司 分布式数据处理方法、装置、服务器和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130041872A1 (en) * 2011-08-12 2013-02-14 Alexander AIZMAN Cloud storage system with distributed metadata
CN102882983A (zh) * 2012-10-22 2013-01-16 南京云创存储科技有限公司 一种云存储系统中提升并发访问性能的数据快速存储方法
CN105354250A (zh) * 2015-10-16 2016-02-24 浪潮(北京)电子信息产业有限公司 一种面向云存储的数据存储方法及装置
CN106302659A (zh) * 2016-08-02 2017-01-04 合肥奇也信息科技有限公司 一种基于云存储系统中提升访问数据快速存储方法
CN107508901A (zh) * 2017-09-04 2017-12-22 北京京东尚科信息技术有限公司 分布式数据处理方法、装置、服务器和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CSDN: "GFS（Google File System）介绍--大数据云计算时代", 《HTTPS://BLOG.CSDN.NET/KEKE_XIN/ARTICLE/DETAILS/84526934》 *
CSDN: "Google File System 学习总结", 《HTTPS://BLOG.CSDN.NET/MIND_V/ARTICLE/DETAILS/80186600》 *
CSDN: "谷歌三大核心技术（一）Google File System中文版", <HTTPS://BLOG.CSDN.NET/CODETOMYLAW/ARTICLE/DETAILS/43535209> *
杨鹏等: "一种基于MongoDB和Hadoop的海量非结构化物联网数据处理方案", 《微电子学与计算机》 *
王伟方: "HDFS优化研究及其在云存储平台中应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857534A (zh) * 2019-04-24 2020-10-30 北京嘀嘀无限科技发展有限公司 一种数据传输方法、数据存储服务器及数据存储系统
CN110471955A (zh) * 2019-07-30 2019-11-19 北京明略软件系统有限公司 一种关系计算的方法、装置、计算机存储介质及终端
CN110471955B (zh) * 2019-07-30 2022-09-09 北京明略软件系统有限公司 一种关系计算的方法、装置、计算机存储介质及终端
CN113468567A (zh) * 2021-07-02 2021-10-01 罗克佳华(重庆)科技有限公司 数据处理方法及数据处理设备
CN113468567B (zh) * 2021-07-02 2023-04-07 罗克佳华(重庆)科技有限公司 数据处理方法及数据处理设备

Similar Documents

Publication Publication Date Title
US11816126B2 (en) Large scale unstructured database systems
US10831779B2 (en) Seamless data migration across databases
JP6553822B2 (ja) 分散システムにおける範囲の分割および移動
US10291704B2 (en) Networked solutions integration using a cloud business object broker
US9331943B2 (en) Asynchronous scheduling informed by job characteristics and anticipatory provisioning of data for real-time, parallel processing
US11249983B2 (en) Transaction change data forwarding
US20160283282A1 (en) Optimization of map-reduce shuffle performance through shuffler i/o pipeline actions and planning
US9916353B2 (en) Generating multiple query access plans for multiple computing environments
CN107766402A (zh) 一种楼盘字典云房源大数据平台
US20130024484A1 (en) System management in datacenter using a non-relational database
MX2014007678A (es) Tomas de pantalla consistentes con aplicacion de un volumen compartido.
JP2013242906A (ja) ストレージ性能の最適化
US10108665B2 (en) Generating multiple query access plans for multiple computing environments
CN109240624A (zh) 一种数据处理方法和装置
CN105227672B (zh) 数据存储及访问的方法和系统
Meehan et al. Integrating real-time and batch processing in a polystore
JP2023040076A (ja) 多次元データベース環境における仮想キューブでのリアルタイムデータ集約のためのシステムおよび方法
US20190079833A1 (en) Capacity management
US20230153279A1 (en) System and method for selective migration of mainframe resources to a non-mainframe environment
US10235687B1 (en) Shortest distance to store
US10346769B1 (en) System and method for dynamic attribute table
US11487631B2 (en) Data refresh in a replication environment
US10235649B1 (en) Customer analytics data model
US20230055003A1 (en) Method for Organizing Data by Events, Software and System for Same
EP4152173A1 (en) Data digital decoupling of legacy systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190118