CN111061738A - 数据表预分组方法、装置、设备及存储介质 - Google Patents

数据表预分组方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111061738A
CN111061738A CN201911294408.3A CN201911294408A CN111061738A CN 111061738 A CN111061738 A CN 111061738A CN 201911294408 A CN201911294408 A CN 201911294408A CN 111061738 A CN111061738 A CN 111061738A
Authority
CN
China
Prior art keywords
data
primary key
key value
grouping
logic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911294408.3A
Other languages
English (en)
Inventor
张烨
郑邦东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN201911294408.3A priority Critical patent/CN111061738A/zh
Publication of CN111061738A publication Critical patent/CN111061738A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据表预分组方法、装置、设备及存储介质，涉及数据处理技术领域。该方法包括：根据分组指令和逻辑主键值，在所述预设表中获取对应的数据；根据获取的数据，建立目标数据表。相对于现有技术，避免了预设表的数据量非常大时，对预设表进行均匀合适的分组，需要进行大量的分析工作的问题。

Description

数据表预分组方法、装置、设备及存储介质
技术领域
本申请涉及数据处理技术领域，具体而言，涉及一种数据表预分组方法、装置、设备及存储介质。
背景技术
在处理大量数据表时，往往需要给数据表分区后再进行处理。
现有技术中一般通过分析数据表中各字段的含义，找出适合的分区字段作为分区依据，使得数据表中的各数据可以均匀地预分组至合适的目标数据表中。
但是这种处理方式在数据量非常大时，会使得对数据进行分析的工作量变得非常大，从而耗费大量的人力和物力。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种数据表预分组方法、装置、设备及存储介质，以解决现有技术中当预设表的数据量非常大时，对预设表进行均匀合适的分组，需要进行大量的分析工作的问题。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请一实施例提供了一种数据表预分组方法，所述方法包括：
根据分组指令和逻辑主键值，在预设表中获取对应的数据；
根据获取的数据，建立目标数据表。
可选地，所述根据分组指令和逻辑主键值，在所述预设表中获取对应的数据之前，所述方法还包括：
在所述预设表中建立所述逻辑主键值字段，其中，每个所述数据均有其对应的逻辑主键值字段。
可选地，所述预设表中包括：逻辑数位、至少一组列数据和逻辑主键值。
可选地，所述在所述预设表中建立所述逻辑主键值字段，包括：
根据所述预设表中各数据对应的逻辑数位，确定各所述数据对应的逻辑主键值。
可选地，所述根据所述预设表中各数据对应的逻辑数位，确定各所述数据对应的逻辑主键值，包括：
所述根据所述预设表中各数据对应的逻辑数位尾部的三位数字，确定各所述数据对应的逻辑主键值。
第二方面，本申请另一实施例提供了一种数据表预分组装置，所述装置包括：获取模块和建立模块，其中：
所述获取模块，用于根据分组指令和逻辑主键值，在预设表中获取对应的数据；
所述建立模块，用于根据获取的数据，建立目标数据表。
可选地，所述建立模块，还用于在所述预设表中建立所述逻辑主键值字段，其中，每个所述数据均有其对应的逻辑主键值字段。
可选地，所述装置还包括：确定模块，用于根据所述预设表中各数据对应的逻辑数位，确定各所述数据对应的逻辑主键值。
可选地，所述确定模块，还用于所述根据所述预设表中各数据对应的逻辑数位尾部的三位数字，确定各所述数据对应的逻辑主键值。
第三方面，本申请另一实施例提供了一种数据表预分组设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当数据表预分组设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述第一方面任一所述方法的步骤。
第四方面，本申请另一实施例提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面任一所述方法的步骤。
本申请的有益效果是：采用本申请提供的数据表预分组方法，在获取到分组指令后，通过预设表中的逻辑主键值，在预设表中获取对应的数据，并根据获取的数据建立目标数据表，由于预设表中设置有逻辑主键值，所以根据分组指令获取对应的数据时，可以减少大量的分析工作，就可以快速建立合适的预分组目标表。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的数据表预分组方法的流程示意图；
图2为本申请另一实施例提供的数据表预分组方法的流程示意图；
图3为本申请一实施例提供的预设表的结构示意图；
图4为本申请一实施例提供的数据表预分组装置的结构示意图；
图5为本申请另一实施例提供的数据表预分组装置的结构示意图；
图6为本申请一实施例提供的数据表预分组设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
图1为本申请一实施例提供的一种数据表预分组方法的流程示意图，如图1所示，该方法包括：
S101：根据分组指令和逻辑主键值，在预设表中获取对应的数据。
可选地，分组指令可以包括：待分组的分组数量、分组规则和每个分组中包括的数据个数。
S102：根据获取的数据，建立目标数据表。
可选地，在建立目标数据表时，根据逻辑主键值来进行预分组，从而使得每组数据均匀且操作方便，其中，目标数据表为对预设表进行预分组处理后得到的，根据分组指令的不同，预设表对应的目标数据表的个数可能不同，每个分组对应一个目标数据表。
可选地，在本申请的一个实施例中，目标数据表为分布式存储(Hadoop Database，HBASE)表，但是具体目标数据表的类型并不以上述实施例为限，也可以为其他类型的数据表，具体根据用户需要设计，本申请在此不做任何限制。
本实施例中，采用本申请提供的数据表预分组方法，在获取到分组指令后，通过预设表中的逻辑主键值，在预设表中获取对应的数据，并根据获取的数据建立目标数据表，由于预设表中设置有逻辑主键值，所以根据分组指令获取对应的数据时，可以减少大量的分析工作，使得目标数据表的建立速度更快。
图2为本申请另一实施例提供的数据表预分组方法的流程示意图，如图2所示，S101之前，该方法还包括：
S103：在预设表中建立逻辑主键值字段。
其中，每个数据均有其对应的逻辑主键值字段。
图3为本申请一实施例提供的预设表的结构示意图，如图3所示，预设表中可包括：逻辑数位logic_number、至少一组列数据column_和逻辑主键值split_key，但逻辑数位、列数据和逻辑主键值之间的放置顺序并不以图3为限，可以根据用户需要调整，例如第一列为逻辑主键值，第二列为逻辑数位，后面几列为列数据等，具体预设表的形式可以根据用户需要设计，本申请在此不做任何限制。
可选地，在本申请的一个实施例中，S104可包括：根据预设表中各数据对应的逻辑数位，确定各数据对应的逻辑主键值。
可选地，在本申请的一个实施例中，可以取各数据对应的逻辑数位的后三位，为该数据对应的逻辑主键值，由于逻辑数位是按照数据顺序设置的，每个数据的逻辑数位均不同，所以根据逻辑数位确定逻辑主键值，可以保证每个数据的逻辑主键值均不同，举例说明，例如：某一数据的逻辑数位为00000005，则取005为该数据对应的逻辑主键值；但是具体实施过程中，逻辑主键值的确定可以根据用户需要分组的数量重新设置，例如：还可以取逻辑位数的后四位或者后五位为该数据对应的逻辑主键值；或反向取逻辑位数的后三位、后四位为该数据对应的逻辑主键值等，具体逻辑主键值的确定方式可以根据用户需要设计，本申请在此不做任何限制。
根据逻辑数位确定逻辑主键值，可以很快地将数据分组，并且每组数据均匀，举例说明：例如当前的预设表中有10000000个数据，需要将该预设表分为1000组目标数据表，每组目标数据表中需要包括1000个数据，则取各数据对应的逻辑数位的后三位，为该数据对应的逻辑主键值，顺序读取预设表中各数据的逻辑主键值，这样就可以将每组逻辑主键值为000-999的数据分为一组，从而实现将预设表分为均匀的1000组，从而无需经过大量的分析工作，就可以实现目标数据表的预分组。
采用本申请提供的数据表预分组方法，通过在预设表中设置有逻辑主键值，根据分组指令和逻辑主键值，在预设表中获取对应的数据，并根据获取的数据建立各目标数据表，从而使得在数据量非常大时，无需经过大量的分析工作，就可以实现快速建立合适的预分组表，即目标表。
图4为本申请一实施例提供的数据表预分组装置的结构示意图，如图4所示，该装置包括：获取模块201和建立模块202，其中：
获取模块201，用于根据分组指令和逻辑主键值，在预设表中获取对应的数据。
建立模块202，用于根据获取的数据，建立目标数据表。
可选地，建立模块202，还用于在预设表中建立逻辑主键值字段，其中，每个数据均有其对应的逻辑主键值字段。
图5为本申请一实施例提供的数据表预分组装置的结构示意图，如图5所示，该装置还包括：确定模块303，用于根据预设表中各数据对应的逻辑数位，确定各数据对应的逻辑主键值。
可选地，确定模块203，还用于根据预设表中各数据对应的逻辑数位尾部的三位数字，确定各数据对应的逻辑主键值。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图6为本申请一实施例提供的数据表预分组设备的结构示意图，该数据表预分组设备可以集成于终端设备或者终端设备的芯片。
如图6所示，该数据表预分组设备包括：处理器501、存储介质502和总线503。
处理器501用于存储程序，处理器501调用存储介质502存储的程序，以执行上述图1-图2对应的方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本申请还提供一种程序产品，例如存储介质，该存储介质上存储有计算机程序，包括程序，该程序在被处理器运行时执行上述方法对应的实施例。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种数据表预分组方法，其特征在于，所述方法包括：
根据分组指令和逻辑主键值，在预设表中获取对应的数据；
根据获取的数据，建立目标数据表。
2.如权利要求1所述的方法，其特征在于，所述根据分组指令和逻辑主键值，在所述预设表中获取对应的数据之前，所述方法还包括：
在所述预设表中建立所述逻辑主键值字段，其中，每个所述数据均有其对应的逻辑主键值字段。
3.如权利要求2所述的方法，其特征在于，所述预设表中包括：逻辑数位、至少一组列数据和逻辑主键值。
4.如权利要求2所述的方法，其特征在于，所述在所述预设表中建立所述逻辑主键值字段，包括：
根据所述预设表中各数据对应的逻辑数位，确定各所述数据对应的逻辑主键值。
5.如权利要求4所述的方法，其特征在于，所述根据所述预设表中各数据对应的逻辑数位，确定各所述数据对应的逻辑主键值，包括：
所述根据所述预设表中各数据对应的逻辑数位尾部的三位数字，确定各所述数据对应的逻辑主键值。
6.一种数据表预分组装置，其特征在于，所述装置包括：获取模块和建立模块，其中：
所述获取模块，用于根据分组指令和逻辑主键值，在预设表中获取对应的数据；
所述建立模块，用于根据获取的数据，建立目标数据表。
7.如权利要求6所述的装置，其特征在于，所述建立模块，还用于在所述预设表中建立所述逻辑主键值字段，其中，每个所述数据均有其对应的逻辑主键值字段。
8.如权利要求6所述的装置，其特征在于，所述装置还包括：确定模块，用于根据所述预设表中各数据对应的逻辑数位，确定各所述数据对应的逻辑主键值。
9.一种数据表预分组设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当数据表预分组设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述权利要求1-5任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求1-5任一项所述的方法。
CN201911294408.3A 2019-12-16 2019-12-16 数据表预分组方法、装置、设备及存储介质 Pending CN111061738A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911294408.3A CN111061738A (zh) 2019-12-16 2019-12-16 数据表预分组方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911294408.3A CN111061738A (zh) 2019-12-16 2019-12-16 数据表预分组方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111061738A true CN111061738A (zh) 2020-04-24

Family

ID=70300784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911294408.3A Pending CN111061738A (zh) 2019-12-16 2019-12-16 数据表预分组方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111061738A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107085570A (zh) * 2016-02-14 2017-08-22 华为技术有限公司 数据处理方法、应用服务器和路由器
CN107480205A (zh) * 2017-07-24 2017-12-15 北京京东尚科信息技术有限公司 一种进行数据分区的方法和装置
CN108009261A (zh) * 2017-12-12 2018-05-08 北京奇艺世纪科技有限公司 一种数据同步方法、装置及电子设备
CN108121745A (zh) * 2016-11-30 2018-06-05 中移(苏州)软件技术有限公司 一种数据加载方法和装置
CN109660587A (zh) * 2018-10-22 2019-04-19 平安科技（深圳）有限公司 基于随机数的数据推送方法、装置、存储介质及服务器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107085570A (zh) * 2016-02-14 2017-08-22 华为技术有限公司 数据处理方法、应用服务器和路由器
CN108121745A (zh) * 2016-11-30 2018-06-05 中移(苏州)软件技术有限公司 一种数据加载方法和装置
CN107480205A (zh) * 2017-07-24 2017-12-15 北京京东尚科信息技术有限公司 一种进行数据分区的方法和装置
CN108009261A (zh) * 2017-12-12 2018-05-08 北京奇艺世纪科技有限公司 一种数据同步方法、装置及电子设备
CN109660587A (zh) * 2018-10-22 2019-04-19 平安科技（深圳）有限公司 基于随机数的数据推送方法、装置、存储介质及服务器

Similar Documents

Publication Publication Date Title
US11325780B2 (en) Method and device for sorting cargo
CN104834561B (zh) 一种数据处理方法及装置
CN108268586B (zh) 跨多数据表的数据处理方法、装置、介质和计算设备
CN108845828B (zh) 一种协处理器、矩阵运算加速方法及系统
CN109241099B (zh) 一种数据查询方法及终端设备
CN110427494B (zh) 知识图谱的展示方法、装置、存储介质及电子装置
CN111782404A (zh) 一种数据处理方法及相关设备
CN105635740A (zh) 对图像进行解码的方法及装置
CN112181522A (zh) 数据处理的方法、装置以及电子设备
CN106648839B (zh) 数据处理的方法和装置
CN110532559B (zh) 规则的处理方法及装置
CN110457704B (zh) 目标字段的确定方法、装置、存储介质及电子装置
CN109800078B (zh) 一种任务处理方法、任务分发终端及任务执行终端
CN113766047A (zh) 一种任务分组方法、装置、计算机设备及存储介质
CN106933907B (zh) 数据表扩展指标的处理方法及装置
CN111061738A (zh) 数据表预分组方法、装置、设备及存储介质
CN110968411A (zh) 定时任务调度方法、装置、服务器及存储介质
CN115754413A (zh) 示波器及数据处理方法
CN107203633B (zh) 数据表推数处理方法、装置及电子设备
CN110442619B (zh) 搜索结果排序方法、装置、电子设备及存储介质
CN113127327B (zh) 一种用于性能测试的测试方法及装置
CN113392131A (zh) 数据处理方法、装置及计算机设备
CN108763474B (zh) 获取交易相关性及执行回归测试的方法、装置及存储介质
CN109460533B (zh) 一种提高gemm计算性能的方法及装置
CN106557368B (zh) Spark程序优化方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220907

Address after: 12 / F, 15 / F, 99 Yincheng Road, Pudong New Area pilot Free Trade Zone, Shanghai, 200120

Applicant after: Jianxin Financial Science and Technology Co.,Ltd.

Address before: 25 Financial Street, Xicheng District, Beijing 100033

Applicant before: CHINA CONSTRUCTION BANK Corp.

Applicant before: Jianxin Financial Science and Technology Co.,Ltd.