CN110019436A - 数据导入\导出方法和装置、数据表处理方法和装置 - Google Patents

数据导入\导出方法和装置、数据表处理方法和装置 Download PDF

Info

Publication number
CN110019436A
CN110019436A CN201710576358.2A CN201710576358A CN110019436A CN 110019436 A CN110019436 A CN 110019436A CN 201710576358 A CN201710576358 A CN 201710576358A CN 110019436 A CN110019436 A CN 110019436A
Authority
CN
China
Prior art keywords
data
tables
time
table name
data table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710576358.2A
Other languages
English (en)
Other versions
CN110019436B (zh
Inventor
袁园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201710576358.2A priority Critical patent/CN110019436B/zh
Publication of CN110019436A publication Critical patent/CN110019436A/zh
Application granted granted Critical
Publication of CN110019436B publication Critical patent/CN110019436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据导入方法和装置,该导入方法和装置能够将当前从外部数据源拉取数据的时间以及当前最新创建的数据表更新时间精确到预设时间单位级别,然后根据精确后的当前时间与精确后的数据表更新时间的先后关系,确定是否创建新数据表;最后将当前从外部数据源拉取到的数据存储到创建时间最晚的数据表中。如此,本申请提供的数据导入方法能够根据数据拉取时间实时创建新数据表,实现导入数据的分表存储。当后续使用这些存储到多个不同数据表的数据时,可以对这些不同数据表中的数据进行快速处理操作。此外,本申请还提供了一种数据导出方法和装置以及数据表处理方法和装置。

Description

数据导入\导出方法和装置、数据表处理方法和装置
技术领域
本申请涉及数据处理领域,尤其涉及数据导入\导出方法和装置、数据表处理方法和装置。
背景技术
随着计算机技术的发展,大数据的处理分析成为信息处理的一个重要分支。大数据的处理分析需要从外部数据源例如互联网、特定数据库中拉取大量数据,并将该拉取来的数据导入到本地数据库中。
目前,在将数据从外部数据源导入到本地数据库的过程中,一般将数据存储到一张数据表中。因后续会对该数据表进行增加、修改、删除和查询数据等处理操作。若导入数据的数据量较大,在后续使用这些数据时,则不能快速地在一张数据表中对这些数据进行处理操作。
发明内容
有鉴于此,本申请的第一方面提供了一种数据导入方法和装置,以将数据存储到多个分表中,从而实现对存储到数据表中的数据的快速处理操作。
基于本申请的第一方面,本申请的第二方面提供了一种数据导出方法和装置。
基于本申请的第一方面和第二方面,本申请的第三方面提供了一种数据表的处理方法和装置。
为了解决上述技术问题,本申请采用了如下技术方案:
一种数据导入方法,所述方法包括:
获取当前从外部数据源拉取数据的时间;
获取当前最新创建的数据表的数据表表名和数据表更新时间,所述数据表更新时间为最近一次从外部数据源拉取数据的时间;
将所述当前从外部数据源拉取数据的时间精确到预设时间单位级别,得到精确后的当前时间;将所述数据表更新时间精确到预设时间单位级别,得到精确后的数据表更新时间;
根据所述精确后的当前时间与所述精确后的数据表更新时间的先后关系,确定是否创建新数据表;
将当前从外部数据源拉取到的数据存储到创建时间最晚的数据表中。
一种数据导出方法,所述数据上述技术方案中的数据导入方法存储到数据表中,所述数据导出方法包括:
获取最早创建的且状态可用的数据表的数据表表名;
查找与所述数据表表名对应的数据表中的最大数据标识以及数据表最后更新的数据标识;所述最大数据标识为所述数据表内存储的最晚拉取到的数据对应的标识;
根据所述最大数据标识与所述数据表最后更新的数据标识生成的先后顺序,确定是否从所述数据表表名对应的数据表中导出数据;
当确定结果为是时,导出所述数据表表名对应的数据表中的数据。
一种数据表处理方法,其特征在于,所述数据按照上述技术方案中的数据导入方法导入到数据表中,按照上述技术方案中的数据导出方法从数据表中导出;所述方法包括:
获取一张数据表的数据表表名、数据表状态以及数据表是否已经删除信息;
根据所述数据表状态查询数据表的数据表状态是否可用,以及根据所述数据表是否已经删除信息查询数据表是否已经删除;
若数据表处于不可用状态且数据表未删除,则删除所述数据表表名对应的数据表。
一种数据导入装置,所述装置包括:
第一获取单元,用于获取当前从外部数据源拉取数据的时间;
第二获取单元,用于获取当前最新创建的数据表的数据表表名和数据表更新时间,所述数据表更新时间为最近一次从外部数据源拉取数据的时间;
精确单元,用于将所述当前从外部数据源拉取数据的时间精确到预设时间单位级别,得到精确后的当前时间;将所述数据表更新时间精确到预设时间单位级别,得到精确后的数据表更新时间;
确定单元,用于根据所述精确后的当前时间与所述精确后的数据表更新时间的先后关系,确定是否创建新数据表;
存储单元,用于将当前从外部数据源拉取到的数据存储到创建时间最晚的数据表中。
一种数据导出装置,所述数据按照上述技术方案中的数据导入方法存储到数据表中,所述数据导出装置包括:
获取单元,用于获取最早创建的且状态可用的数据表的数据表表名;
查找单元,用于查找与所述数据表表名对应的数据表中的最大数据标识以及数据表最后更新的数据标识;
确定单元,用于根据所述最大数据标识与所述数据表最后更新的数据标识生成的先后顺序,确定是否从所述数据表表名对应的数据表中导出数据;
导出单元,用于当确定结果为是时,导出所述数据表表名对应的数据表中的数据。
一种数据表处理装置,所述数据按照上述技术方案中的数据导入方法导入到数据表中,按照上述技术方案中的数据导出方法从数据表中导出;所述数据表处理装置包括:
获取单元,用于获取一张数据表的数据表表名、数据表状态以及数据表是否已经删除信息;
查询单元,用于根据所述数据表状态查询数据表的数据表状态是否可用,以及根据所述数据表是否已经删除信息查询数据表是否已经删除;
删除单元,用于若数据表处于不可用状态且数据表未删除,则删除所述数据表表名对应的数据表。
相较于现有技术,本申请具有以下有益效果:
本申请提供的数据导入方法中,将当前从外部数据源拉取数据的时间以及当前最新创建的数据表更新时间精确到预设时间单位级别,然后根据所述精确后的当前时间与所述精确后的数据表更新时间的先后关系,确定是否创建新数据表;最后将当前从外部数据源拉取到的数据存储到创建时间最晚的数据表中。如此,通过本申请提供的数据导入方法在导入数据的过程中,能够根据精确后的当前时间与精确后的更新时间的先后关系,来确定是否有必要创建数据表,并将当前拉取的数据存储到创建时间最晚的数据表中。如此,本申请提供的数据导入方法能够根据数据拉取时间实时创建新数据表,实现导入数据的分表存储。当后续使用这些存储到多个不同数据表的数据时,可以对这些不同数据表中的数据进行快速处理操作。
附图说明
为了清楚地理解本申请的具体实施方式,下面将描述本申请具体实施方式时用到的附图作一简要说明。
图1是本申请实施例提供的数据导入方法的第一种实现方式的流程示意图;
图2是本申请实施例提供的数据导入方法的第二种实现方式的流程示意图;
图3是本申请实施例提供的数据导出方法的第一种实现方式的流程示意图;
图4是本申请实施例提供的数据导出方法的第二种实现方式的流程示意图;
图5是本申请实施例提供的数据表处理方法流程示意图;
图6是本申请实施例提供的数据导入装置结构示意图;
图7是本申请实施例提供的数据导出装置结构示意图;
图8是本申请实施例提供的数据表处理装置结构示意图。
具体实施方式
本申请实施例为了实现对存储到数据表中的数据的快速处理操作,在数据导入过程中,设法将从外部数据源拉取到的大量数据存储到不同数据表中。如此,当后续需要使用这些数据时,可以对这些不同数据表进行并行操作,从而实现对数据的快速处理操作。
在本申请提供的数据导入方法中,对从外部数据源拉取到的数据按照拉取时间进行分割,将分割后的数据分别存储到不同数据表中。为了将不同拉取时间拉取到的数据存储到不同数据表中,本申请提供的数据导入方法中,将从外部数据源拉取到的数据按拉取时间进行分表处理。
具体地,本申请提供的数据导入方法中,首先获取当前最新创建的数据表的数据表信息,所述数据表信息包括:数据表表名和数据表更新时间,然后将当前从外部数据源拉取数据的时间精确到预设时间单位级别,得到精确后的当前时间;将数据表更新时间精确到预设时间单位级别,得到精确后的数据表更新时间;接着,根据所述精确后的当前时间与所述精确后的数据表更新时间的大小关系,确定是否创建新数据表;将当前从外部数据源拉取到的数据存储到最新创建的数据表中。其中,当没有创建新数据表时,将当前从外部数据源拉取到的数据存储到当前最新创建的数据表中,当创建了新数据表时,将当前从外部数据源拉取到的数据存储到创建的新数据表中。
如此,通过本申请提供的数据导入方法在导入数据的过程中,能够根据精确后的当前时间与精确后的更新时间的先后关系,来确定是否有必要创建新数据表,并将当前拉取到的数据存储到新创建的数据表中。如此,本申请提供的数据导入方法能够将数据按拉取时间的先后顺序分别存储到多个不同的数据表中。当后续使用这些存储到多个不同数据表的数据时,可以对这些不同数据表中的数据进行快速处理操作。
此外,为了能够较为方便地获取到数据表信息,本申请实施例还可以在数据导入、导出以及数据表处理之前,预先创建一配置表。
在本申请实施例中,配置表是在数据导入/导出之前,预先创建的表格。该配置表为数据的自动导入和自动导出做准备。
在该配置表内包括截止到当前创建的所有数据表的数据表信息,且该配置表内的数据表信息是在将从外部数据源拉取到的数据导入到数据表时实时写入的。即,在新创建一个数据表之后,就会在配置表中写入该数据表的数据表信息,因此,配置表中写入数据表信息的先后顺序与数据表创建的先后顺序一致,因此,当前最新写入配置表中的数据表为当前最新创建的数据表。
如表1所示,配置表可以包括以下数据表信息:数据表表名、数据表的状态是否可用、数据表创建时间、数据表更新时间、数据表中的最小数据标识、数据表中的最大数据标识、数据表是否已经删除以及数据导出程序最近一次执行数据导出时的时间。
表1
在上述配置表中包含的数据表信息中,当存储在数据表内所有数据已经全部导出后,则该数据表状态为不可用,当存储在数据表的数据没有导出或者仅有部分数据导出时,该数据表状态为可用。在本申请实施例中,当数据表的所有数据全部导出后,就要立即更新该数据表在配置表中的数据表状态,将该数据表状态更新为不可用。
数据表创建时间为创建数据表时的时间。
数据表更新时间为数据拉取程序最近一次从外部数据源拉取数据的时间。
数据拉取程序从外部数据源会拉取到大量的数据,为了区分这些数据,在将这些数据存储到数据表时,会生成一个数据标识即DataId来标识一条数据。按照数据拉取时间的先后顺序,数据标识由小到大排列。而由于在一张数据表中会存储多条数据,因此,一张数据表中会包括存储该数据表内的最小数据标识MinDataID和最大数据标识MaxDataID。其中,最小数据标识对应的数据为该数据表内存储的最早拉取到的数据,最大数据标识对应的数据为该数据表内存储的最晚拉取到的数据。
举例说明,数据拉取程序从外部数据源拉取到10000条数据,这些数据按照拉取时间的先后顺序,数据标识为从0到9999。设定一个数据表存储的数据为1000条,则第一数据表存储的数据为从数据标识0到999,第二数据表存储的数据为从数据标识1000到1999,……,第十数据表存储的数据为从数据标识9000到9999。对于第一数据表来说,其最小数据标识为0,最大数据标识为999。
以上为配置表的描述。由于配置表包括存储有数据的数据表信息,因此,在数据导入、数据导出以及数据表处理时,均可以通过配置表获取相应的数据表信息,从而完成数据自动导入、导出和数据表的自动处理操作。
在本申请实施例中,数据导入程序、数据导出程序以及数据表处理程序都可以依据上述配置表实现对数据的自动导入、自动导出以及自动化处理。
下面结合附图详细描述本申请的具体实施方式。
首先参见数据导入方法的具体实施方式。在本申请实施例提供的数据导入方法的具体实施方式中,有两种可能的实现方式:第一种是未创建配置表的情形,第二种是创建有配置表的情形。
下面首先介绍未创建配置表时的数据导入方法的具体实施方式。
图1是本申请实施例提供的数据导入方法的第一种实现方式的流程示意图。如图1所示,该第一种实现方式包括以下步骤:
S101、获取当前从外部数据源拉取数据的时间。
由于数据导入程序实时运行,在实时运行过程中,数据拉取程序每从外部数据源拉取到一条数据后,数据导入程序都要获取当前从外部数据源拉取数据的时间。
S102、获取当前最新创建的数据表的数据表表名和数据表更新时间。
在获取到当前从外部数据源拉取数据的时间后,数据导入程序再获取当前最新创建的数据表的数据表表名和数据表更新时间。需要说明,在本申请实施例中,数据表是在数据导入过程中根据需要实时创建的。具体地说,从外部数据源拉取到的数据按照拉取时间进行分表存储。若当前拉取数据的时间不在当前最新创建的数据表存储数据的拉取时间范围内,则需要实时创建一新数据表来存储该当前拉取数据。
S103、将当前从外部数据源拉取数据的时间精确到预设时间单位级别,得到精确后的当前时间;将数据表更新时间精确到预设时间单位级别,得到精确后的数据表更新时间。
在本申请实施例中,设定将拉取时间属于同一预设时间单位级别时间的数据存储到同一数据表中,将拉取时间属于不同预设时间单位级别时间的数据存储到不同数据表中。
为了获取到当前从外部数据源拉取数据的时间对应的预设时间单位级别的时间以及数据表更新时间对应的预设时间单位级别的时间,则将当前从外部数据源拉取数据的时间以及数据表更新时间分别精确到预设时间单位级别,得到精确后的当前时间和精确后的数据表更新时间。
需要说明,预设时间单位级别可以为任一衡量时间的时间单位,作为示例,预设时间单位级别可以为年、月、日、时、分等等。该预设时间单位级别可以根据拉取数据量的多少来定。若拉取数据量较少,则预设时间单位级别可以大一些,例如可以为年,若拉取数据量较多,则预设时间单位级别可以小一些、例如可以为日。
下面以预设时间单位级别为日示例说明步骤S103的具体实现方式。一般情况下,数据拉取程序记录的从外部数据源拉取数据的时间可以精确到秒,例如:2017年6月2日8点39分01秒。数据表更新时间也可以精确到秒,例如2017年6月1日9点30分10秒。
当预设时间单位级别为日时,将上述示例的拉取数据的时间2017年6月 3日8点39分01秒精确到2017年6月3日,将上述示例的数据表更新时间 2017年6月1日9点30分10秒也精确到2017年6月1日。
S104、根据所述精确后的当前时间与所述精确后的数据表更新时间的先后关系关系,确定是否创建新数据表。
因数据表更新时间是最近一次从外部数据源拉取数据的时间,又因数据导入程序实时在运行,因而,利用数据表更新时间可以作为当前从外部数据源拉取到的数据是否可以存储到当前最新创建的数据表中的参考条件。
又因为在本申请实施例中,将拉取时间属于同一预设时间单位级别时间的数据存储到同一数据表中,将拉取时间属于不同预设时间单位级别时间的数据存储到不同数据表中。因此,可以根据所述精确后的当前时间与所述精确后的数据表更新时间的先后关系,确定是否创建新数据表。
本步骤可以具体为:比较精确后的当前时间与精确后的数据表更新时间的先后关系,若精确后的当前时间等于精确后的数据表更新时间,则表明当前从外部数据源拉取数据的时间与数据表更新时间对应的预设时间单位级别的时间是相同的,则当前从外部数据源拉取的数据可以存储在上述当前最新创建的数据表中,在这种情况下,确定不创建新数据表。
若精确后的当前时间晚于精确后的数据表更新时间,则表明,当前从外部数据源拉取数据的时间对应的预设时间单位级别的时间晚于数据表更新时间对应的预设时间单位级别的时间,则需要将当前从外部数据源拉取到的数据存储到另一数据表中,在这种情况下,确定创建新数据表,并确定该新数据表对应的数据表表名。
仍以上述预设时间单位级别为日举例说明,精确后的当前时间为2017年 6月3日,精确后的数据表更新时间为2017年6月1日,因2017年6月3 日大于2017年6月1日,则在本示例中,确定创建新数据表。
S105、将当前从外部数据源拉取到的数据存储到创建时间最晚的数据表中。
本步骤可以具体为:当确定不创建新数据表时,则将所述当前最新创建的数据表作为创建时间最晚的数据表;此时,将当前从外部数据源拉取到的数据存储在所述当前最新创建的数据表内。
当确定创建新数据表时,则将所述新数据表作为创建时间最晚的数据表,此时,将当前从外部数据源拉取到的数据存储到最新创建的新数据表中。
S106、更新上述新建的新数据表的数据表更新时间。
本步骤具体为:将上述新建的新数据表的数据表更新时间更新为当前从外部数据源拉取数据数据的时间。
需要说明,作为本申请实施例的扩展,除了需要更新新建的新数据表的数据表更新时间外,还可以对新数据表的其它数据表信息,例如:数据表的状态是否可用、数据表中的最小数据标识、数据表中的最大数据标识、数据表是否已经删除以及数据导出程序最近一次执行数据导出时的时间。
以上为本申请实施例提供的数据导入方法的第一种实现方式的具体描述。在该实现方式中,将拉取数据按照拉取时间分别存储在本地数据库中的不同的数据表里,具体地,将拉取时间属于同一预设时间单位级别时间的数据存储在同一数据表里。举例说明,当预设时间单位级别为月时,则将在同一月内拉取的数据存储在同一张数据表里。如此,在一张数据表里,仅存储有拉取时间为同一月的数据。例如,将在2017年1月拉取的所有数据均存储在本地的一张数据表里。
在该具体实施方式中,将当前最新创建的数据表的数据表更新时间作为当前从外部数据源拉取到的数据存储到本地数据库中的哪一数据表的参考条件。如此,通过比较精确后的当前时间和精确后的数据表更新时间来确定是否创建新数据表,并将当前拉取到的数据存储到该新创建的新数据表中。如此,该具体实施方式能够根据数据拉取时间实时创建新数据表,实现导入数据的分表存储。当后续使用这些存储到多个不同数据表的数据时,可以对这些不同数据表中的数据进行快速处理操作。如对这些不同数据表进行增加、修改、删除和查询数据等处理操作。
下面结合附图详细描述创建有配置表时的数据导入方法的具体实施方式。图2是本申请实施例提供的数据导入方法的第二种实现方式的流程示意图。如图2所示,该实现方式包括以下步骤:
S201、获取当前从外部数据源拉取数据的时间。
该步骤S201与上述步骤S101相同,为了简要起见,在此不再详细描述。
S202、从配置表中获取当前最新写入配置表中的数据表的数据表表名和数据表更新时间;所述当前最新写入配置表中的数据表的数据表表名和数据表更新时间为当前最新创建的数据表的数据表表名和数据表更新时间。
配置表内的数据表信息是在将从外部数据源拉取到的数据导入到新创建的数据表时实时写入的。即,在新创建一个数据表之后,就会在配置表中写入该数据表的数据表信息,因此,配置表中写入数据表信息的先后顺序与数据表创建的先后顺序一致,因此,当前最新写入配置表中的数据表为当前当前最新创建的数据表。
步骤S203至步骤S205与上述实现方式中的步骤S103至S105相同,为了简要起见,在此不再详细描述。
因在本申请实施例中,利用配置表内的数据表信息来实现数据的自动导入,因此,在创建新数据表以及将数据存储到新数据表之后,还需要实时更新配置表内的数据表信息,即将新数据表的数据表信息写入配置表中。如此,本申请实施例还可以包括以下步骤S206至S207:
S206、从所述新数据表中获取新数据表的数据表更新时间。
S207、将获取到的新数据表更新时间写入配置表中。
需要说明,在本申请实施例中,为了在配置表中生成一张数据表的完整数据表信息,除了需要获取新数据表更新时间,并将其写入配置表中外,还可以从新数据表中获取到其它数据表信息例如数据表的状态是否可用、数据表中的最小数据标识、数据表中的最大数据标识、数据表是否已经删除以及数据导出程序最近一次执行数据导出时的时间,并将这些其它信息写入配置表中,从而在配置表中生成一张数据表的完整数据表信息。
以上为本申请实施例提供的基于配置表的数据导入方法的具体实现方式。在该具体实现方式中,数据拉取程序每从外部数据源拉取到一条数据后,数据导入程序都要执行上述步骤S201至步骤S207。在该具体实现方式中,当前已经创建的所有数据表的数据表信息均写入配置表中,因此。在数据导入时,数据导入程序可以很方便快速地从配置表中获取到数据导入过程中所需的数据表信息,即当前最新创建的数据表的数据表信息。利用该配置表,能够更加快速地实现数据的自动导入。
基于上述实施例提供的数据导入方法,本申请实施例还提供了数据导出方法的具体实施方式。
在描述本申请提供的数据导出方法的具体实施方式之前,首先介绍一下描述本申请提供的数据导出方法的具体实施方式时用到的技术术语。
数据表最后更新的数据标识UpdataID:
数据表最后更新的数据标识UpdataID为数据导出程序最近一次执行数据导出时,导出的最后一个数据对应的数据标识。例如,最近一次执行数据导出时,其导出的最后一个数据对应的数据标识为88,则该数据表最后更新的数据标识为88。
在数据导出过程中,会实时更新该数据表最后更新的数据标识,以判断该数据表的数据是否全部导出。若某一数据表最后更新的数据标识大于或者等于该数据表的最大数据标识时,则表示该数据表的数据全部导出,该数据表中不能再导出数据。若某一数据表最后更新的数据标识小于该数据表的最大数据标识,则该数据表内的数据没有全部导出,还可以从该数据表内导出数据。
另外,在本申请实施例中,数据表最后更新的数据标识可以存储在一配置文件中,该配置文件具体可以为config文件。只有在数据导出过程中,才会对该配置文件进行更新操作。
与上述实施例提供的数据导入方法的具体实施方式相对应,本申请提供的数据导出方法的具体实施方式也有有两种可能的实现方式:第一种是未创建配置表的情形,第二种是创建有配置表的情形。
下面首先介绍未创建配置表时的数据导出方法的具体实施方式。
图3是本申请实施例提供的数据导出方法的第一种实现方式的流程示意图。如图3所示,该实现方式包括以下步骤:
S301、获取最早创建的且数据表状态可用的数据表的数据表表名。
需要说明,在上述数据导入方法中,数据表是在数据导入过程中实时创建的。因此,越早拉取的数据存储在越早创建的数据表中。而在数据导出时,一般是按照数据的导入先后顺序先后将数据导出。因此,在数据导出程序启动后,要获取最早创建的数据表。
另外,在本申请实施例中,若存储到某一数据表内的所有数据全部导出后,则更新该数据表的状态为不可用。若存储到某一数据表内的数据没有导出或者仅有部分数据导出,则该数据表的状态为可用。因此,状态可用的数据表内,仍有数据没有导出。因此,在数据导出程序开启后,数据导出程序获取到的最早创建的数据表的状态必须是处于可用状态。
因此,在本申请数据导出程序开启后,首先要执行步骤S301。
步骤S301可以通过以下具体实现方式实现:
首先查找当前所有状态可用的数据表信息;然后对所有状态可用的数据表信息按照创建时间倒序排列;然后从按照创建时间倒序排列后的所有状态可用的数据表信息中选取一条最早创建的数据表信息,最后从该选取的最早创建的数据表信息中获取数据表表名。
S302、查找与所述数据表表名对应的数据表中的最大数据标识以及数据表最后更新的数据标识。
在上述数据导入方法中,将从外部数据源拉取到的数据存储到数据表时,会生成一个数据标识,该数据标识用于标识数据拉取时间的早晚。数据标识越大,表示拉取数据的时间越晚,数据标识越小,表示拉取数据的时间越早。因此,数据表中的最大数据标识对应的数据为数据拉取程序最晚从外部数据源拉取到的数据。
在本申请实施例中,数据导出程序可以从存储数据表信息的存储位置查找与数据表表名对应的数据表中的最大数据标识。数据导出程序可以根据上述获取到的数据表表名从上述所述的配置文件中查找该数据表表名对应的数据表的数据表最后更新的数据表标识。
S303、根据所述最大数据标识与所述数据表最后更新的数据标识的生成的先后顺序,确定是否从所述数据表表名对应的数据表中导出数据。
因在将拉取到的一条数据存储到数据表中时,就会生成一个数据标识,该数据标识可以为ID标识,ID标识的数值越大,表示该标识生成的时间越晚,因此可以通过比较数据标识的大小关系来确定数据标识的生成的先后顺序。
作为示例,可以通过比较该数据表中的最大数据标识与数据表最后更新的数据标识的大小关系来确定是否能从该数据表中导出数据。
若数据表最后更新的数据标识大于等于所述最大数据标识,则表明数据表最后更新的数据标识的生成时间不早于最大数据标识的生成时间,则进一步表明该数据表内的数据已经被全部导出,数据导出程序不能从该数据表中导出数据,在这种情况下,确定不从所述数据表表名对应的数据表中导出数据,后续执行步骤S304。
若数据表最后更新的数据标识小于所述最大数据标识时,,则表明数据表最后更新的数据标识的生成时间早于最大数据标识的生成时间,则进一步表明数据表内仍有数据没有没导出,在这种情况下,确定从所述数据表表名对应的数据表中导出数据,执行步骤S305至S306。
S304、更新所述数据表表名对应的数据表状态为不可用。
S305、导出该数据表表名对应的数据表中的数据。
作为一示例,步骤S305可以具体通过以下步骤实现:
逐条导出数据表中的数据,在每导出一条数据后,更新数据表中最后更新的数据标识,然后返回执行步骤S303,直到更新后的数据表最后更新的数据标识等于所述最大数据标识。
在每导出一条数据后,更新数据表中最后更新的数据标识,可以具体为:将最近导出的一条数据对应的数据标识更新为数据表中最后更新的数据标识。例如:最近一次导出的一条数据对应的数据标识为99,则将数据表中最后更新后的数据标识为99。
S306、当该数据表表名对应的数据表中的数据全部导出后,更新该数据表表名对应的数据表的状态为不可用。
另外,为了使数据导出程序连续地从多个不同数据表中不间断地导出数据,在执行完步骤S306之后,返回执行步骤S301。如此,数据导出程序能够在多个数据表之间循环执行步骤S301至步骤S306,直至所有数据表内的所有数据均全部导出。因此,通过该具体实施方式,数据导出程序能够不间断地从多个数据表中导出数据。
以上为本申请实施例提供的数据导出方法的第一种实现方式。在该实现方式中,数据导出程序开启后,获取最早创建的、状态可用的数据表的数据表表名,然后查找与该数据表表名对应的数据表的最大数据标识以及该数据表最后更新的数据标识,通过比较该数据表中的最大数据标识与该数据表最后更新的数据标识的大小关系,来确定该数据表是否有数据可以导出以及是否导出该数据表的数据。因此,通过本申请提供的数据导出方法能够自动地将数据表的数据导出。该数据导出方法避免了在数据导出过程中需要工作人员重复手动配置要导出数据的数据表的麻烦,降低了工作人员的工作量。
另外,本申请提供的数据导出方法还可以能够在多个数据表之间循环执行,所以,利用该导出方法可以实现多个数据表内数据的自动导出。
下面描述创建有配置表时的数据导出方法的具体实现方式。
图4是本申请实施例提供的数据导出方法的第二种实现方式的流程示意图。如图4所示,该实现方式包括以下步骤:
S401、从配置表中获取当前最新写入配置表中的、状态可用的数据表表名。
由于配置表中写入有当前创建的所有数据表信息,因此,可以从配置表中获取当前最新写入配置表中的、状态可用的数据表表名。
配置表内的数据表信息是在将从外部数据源拉取到的数据导入到新创建的数据表时实时写入的。即,在新创建一个数据表之后,就会在配置表中写入该数据表的数据表信息,因此,配置表中写入数据表信息的先后顺序与数据表创建的先后顺序一致,因此,当前最新写入配置表中的数据表为当前当前最新创建的数据表。
步骤S402至步骤S405与上述具体实现方式中的步骤S302至S305相同,为了简要起见,在此,不再详细描述。具体信息请参见上述相关描述。
S406、当该数据表表名对应的数据表中的数据全部导出后,更新配置表中的该数据表表名对应的数据表的状态为不可用。
当该数据表表名对应的数据表中的数据全部导出后,表明该数据表内的数据全部导出,则不能再从该数据表中导出数据,因此,更新配置表中的所述数据表表名对应的数据表状态为不可用。
另外,为了使数据导出程序连续地从多个不同数据表中不间断地导出数据,在执行完步骤S406之后,返回执行步骤S401。如此,数据导出程序能够在多个数据表之间循环执行步骤S401至步骤S406,直至所有数据表内的所有数据均全部导出。因此,通过该具体实施方式,数据导出程序能够不间断地从多个数据表中导出数据。
在该具体实现方式中,当前已经创建的所有数据表的数据表信息均写入配置表中,因此。在数据导出时,数据导出程序可以很方便快速地从配置表中获取到数据导出过程中所需的数据表信息,即当前最新创建的数据表的数据表信息。利用该配置表,能够更加快速地实现数据的自动导出。
此外,在本申请实施例中,还可以对数据表进行处理,例如从数据库中删除已经执行完数据导出的数据表,如此,能够节省存储空间,使得数据库中的存储空间重复利用,为存储下一批数据腾出空间。具体参见以下实施方式。
图5是本申请实施例提供的数据表处理方法流程示意图。如图5所示,该数据表处理方法包括:
S501、获取一张数据表的数据表表名、数据表状态以及数据表是否已经删除信息。
本步骤具体可以为:从存储数据表信息的存储位置获取一张数据表的数据表表名、数据表状态以及数据表是否已经删除信息。
当预先创建有配置表时,步骤S501具体为:从预先创建的配置表中获取一张数据表的数据表表名、数据表状态以及数据表是否已经删除信息。
S502、根据所述数据表状态查询数据表的数据表状态是否可用,以及根据所述数据表是否已经删除信息查询数据表是否已经删除。
S503、若数据表处于不可用状态且数据表未删除,则删除数据表表名对应的数据表。
以上为本申请提供的数据表处理方法的具体实施方式。在该具体实施方式中,可以删除状态不可用的数据表,如此,能够节省存储空间,使得数据库中的存储空间重复利用,为存储下一批数据腾出空间。
以上为本申请实施例提供的数据导入方法、数据导出方法以及数据表处理方法的具体实施方式。基于这些方法的具体实施方式,本申请还提供了装置的具体实施方式。
首先参见基于数据导入方法提供的数据导入装置的具体实施方式。图6是本申请实施例提供的数据导入装置结构示意图。如图6所示,该数据导入装置包括:
第一获取单元61,用于获取当前从外部数据源拉取数据的时间;
第二获取单元62,用于获取当前最新创建的数据表的数据表表名和数据表更新时间,所述数据表更新时间为最近一次从外部数据源拉取数据的时间;
精确单元63,用于将当前从外部数据源拉取数据的时间精确到预设时间单位级别,得到精确后的当前时间;将所述数据表更新时间精确到预设时间单位级别,得到精确后的数据表更新时间;
确定单元64,用于根据所述精确后的当前时间与所述精确后的数据表更新时间的大小关系,确定是否创建新数据表;
存储单元65,用于将当前从外部数据源拉取到的数据存储到创建时间最晚的数据表中。
所述数据导入装置包括处理器和存储器,上述第一获取单元61、第二获取单元62、精确单元63、确定单元64和存储单元65等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来将数据存储到多个分表中,从而实现对存储到数据表中的数据的快速处理操作。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述数据导入方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述数据导入方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
获取当前从外部数据源拉取数据的时间;
获取当前最新创建的数据表的数据表表名和数据表更新时间,所述数据表更新时间为最近一次从外部数据源拉取数据的时间;
将当前从外部数据源拉取数据的时间精确到预设时间单位级别,得到精确后的当前时间;将所述数据表更新时间精确到预设时间单位级别,得到精确后的数据表更新时间;
根据所述精确后的当前时间与所述精确后的数据表更新时间的大小关系,确定是否创建新数据表;
将当前从外部数据源拉取到的数据存储到创建时间最晚的数据表中;
更新所述新数据表的数据表更新时间。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
根据所述精确后的当前时间与所述精确后的数据表更新时间的大小关系,确定是否创建新数据表;
将当前从外部数据源拉取到的数据存储到创建时间最晚的数据表中;
更新所述新数据表的数据表更新时间。
以上为本申请实施例提供的数据导入装置的具体实施方式。通过该具体实施方式提供的数据导入装置能够将从外部数据源拉取到的数据分别存储到不同的数据表中,从而实现后续对这些数据的快速处理操作。
下面介绍本申请实施例提供的数据导出装置的具体实施方式。需要说明,该数据导出装置适用于按照上述实施例所述的数据导入方法将数据导入到数据表中的情形。
图7是本申请实施例提供的数据导出装置结构示意图。如图7所示,该数据导出装置包括:
获取单元71,用于获取最早创建的且状态可用的数据表的数据表表名;
查找单元72,用于查找与所述数据表表名对应的数据表中的最大数据标识以及数据表最后更新的数据标识;
确定单元73,用于根据所述最大数据标识与所述数据表最后更新的数据标识的大小关系确定是否从所述数据表表名对应的数据表中导出数据;
导出单元74,用于当确定结果为是时,导出所述数据表表名对应的数据表中的数据。
所述数据导出装置包括处理器和存储器,上述获取单元71、查找单元72、确定单元73和导出单元74等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现数据的自动导出。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述数据导出方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述数据导出方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
获取最早创建的且状态可用的数据表的数据表表名;
查找与所述数据表表名对应的数据表中的最大数据标识以及数据表最后更新的数据标识;
根据所述最大数据标识与所述数据表最后更新的数据标识生成的先后顺序,确定是否从所述数据表表名对应的数据表中导出数据;
当确定结果为是时,导出所述数据表表名对应的数据表中的数据。
所述导出该数据表表名对应的数据表中的数据,具体包括:
逐条导出数据表中的数据,在每导出一条数据后,更新数据表中最后更新的数据标识,直到更新后的数据表最后更新的数据标识等于所述最大数据标识;
当更新后的数据表最后更新的数据标识等于所述最大数据标识时,更新所述数据表表名对应的数据表状态为不可用,返回执行所述获取最早创建的且状态可用的数据表的数据表表名。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:获取最早创建的且状态可用的数据表的数据表表名;
查找与所述数据表表名对应的数据表中的最大数据标识以及数据表最后更新的数据标识;
根据所述最大数据标识与所述数据表最后更新的数据标识生成的先后顺序,关系确定是否从所述数据表表名对应的数据表中导出数据;
当确定结果为是时,导出所述数据表表名对应的数据表中的数据。
所述导出该数据表表名对应的数据表中的数据,具体包括:
逐条导出数据表中的数据,在每导出一条数据后,更新数据表中最后更新的数据标识,直到更新后的数据表最后更新的数据标识等于所述最大数据标识;
当更新后的数据表最后更新的数据标识等于所述最大数据标识时,更新所述数据表表名对应的数据表状态为不可用,返回执行所述获取最早创建的且状态可用的数据表的数据表表名。
以上为本申请实施例提供的数据导出装置的具体实施方式,通过该数据导出装置能够实现数据的自动导出,避免了工作人员反复手动设置需要导出数据的数据表的麻烦,降低了工作人员的工作量。
下面介绍本申请实施例提供的数据表处理装置的具体实施方式。图8是本申请实施例提供的数据表处理装置结构示意图。如图8所示,该数据表处理装置包括:
获取单元81,用于获取一张数据表的数据表表名、数据表状态以及数据表是否已经删除信息;
查询单元82,用于根据所述数据表状态查询数据表的数据表状态是否可用,以及根据所述数据表是否已经删除信息查询数据表是否已经删除;
删除单元83,用于若数据表处于不可用状态且数据表未删除,则删除所述数据表表名对应的数据表。
所述数据表处理装置包括处理器和存储器,上述获取单元81、查询单元 82和删除单元83等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来节省存储空间,使得数据库中的存储空间重复利用。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述数据表处理方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述数据表处理方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
获取一张数据表的数据表表名、数据表状态以及数据表是否已经删除信息;
根据所述数据表状态查询数据表的数据表状态是否可用,以及根据所述数据表是否已经删除信息查询数据表是否已经删除;
若数据表处于不可用状态且数据表未删除,则删除所述数据表表名对应的数据表。
。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
获取一张数据表的数据表表名、数据表状态以及数据表是否已经删除信息;
根据所述数据表状态查询数据表的数据表状态是否可用,以及根据所述数据表是否已经删除信息查询数据表是否已经删除;
若数据表处于不可用状态且数据表未删除,则删除所述数据表表名对应的数据表。
通过本申请提供的数据表处理庄子能够删除数据已经导出的数据表,从而节省存储空间,使得数据库中的存储空间重复利用,为存储下一批数据腾出空间。
本领域内的技术人员应明白,本申请的实施例可提供为方法、装置、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其它数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其它类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其它内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其它光学存储、磁盒式磁带,磁带磁磁盘存储或其它磁性存储设备或任何其它非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种数据导入方法,其特征在于,所述方法包括:
获取当前从外部数据源拉取数据的时间;
获取当前最新创建的数据表的数据表表名和数据表更新时间,所述数据表更新时间为最近一次从外部数据源拉取数据的时间;
将所述当前从外部数据源拉取数据的时间精确到预设时间单位级别,得到精确后的当前时间;将所述数据表更新时间精确到预设时间单位级别,得到精确后的数据表更新时间;
根据所述精确后的当前时间与所述精确后的数据表更新时间的先后关系,确定是否创建新数据表;
将当前从外部数据源拉取到的数据存储到创建时间最晚的数据表中。
2.根据权利要求1所述的方法,其特征在于,所述根据所述精确后的当前时间与所述精确后的数据表更新时间的先后关系,确定是否创建新数据表,具体包括:
比较所述精确后的当前时间与所述精确后的数据表更新时间的先后关系;
若所述精确后的当前时间与所述精确后的数据表更新时间相同,确定不创建新数据表;
若所述精确后的当前时间晚于所述精确后的数据表更新时间,确定创建新数据表,并确定该新数据表对应的数据表表名。
3.根据权利要求1所述的方法,其特征在于,若确定创建新数据表,则所述将当前从外部数据源拉取到的数据存储到所述创建时间最晚的数据表中之后,还包括:
将所述新数据表的数据表更新时间更新为当前从外部数据源拉取数据数据的时间。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述获取当前最新创建的数据表的数据表表名和数据表更新时间,具体包括:
从配置表中获取当前最新写入配置表中的数据表的数据表表名和数据表更新时间;所述当前最新写入配置表中的数据表的数据表表名和数据表更新时间为当前最新创建的数据表的数据表表名和数据表更新时间;
其中,所述配置表中的数据表信息是在将从外部数据源拉取到的数据导入到数据表的过程中实时写入的,所述数据表信息至少包括数据表表名和数据表更新时间。
5.一种数据导出方法,其特征在于,所述数据按照权利要求1-4任一项所述的方法存储到数据表中,所述数据导出方法包括:
获取最早创建的且状态可用的数据表的数据表表名;
查找与所述数据表表名对应的数据表中的最大数据标识以及数据表最后更新的数据标识;所述最大数据标识为所述数据表内存储的最晚拉取到的数据对应的标识;
根据所述最大数据标识与所述数据表最后更新的数据标识生成的先后顺序,确定是否从所述数据表表名对应的数据表中导出数据;
当确定结果为是时,导出所述数据表表名对应的数据表中的数据。
6.根据权利要求5所述的方法,其特征在于,所述根据所述最大数据标识与所述数据表最后更新的数据标识生成的先后顺序,确定是否从所述数据表表名对应的数据表中导出数据,具体包括:
若所述数据表最后更新的数据标识的生成时间晚于或等于所述最大数据标识的生成时间,确定不从所述数据表表名对应的数据表中导出数据,更新所述数据表表名对应的数据表状态为不可用;
若所述数据表最后更新的数据标识的生成时间早于所述最大数据标识的生成时间,确定从所述数据表表名对应的数据表中导出数据。
7.根据权利要求5所述的方法,其特征在于,所述导出该数据表表名对应的数据表中的数据,具体包括:
逐条导出数据表中的数据,在每导出一条数据后,更新所述数据表最后更新的数据标识,直到更新后的所述数据表最后更新的数据标识的生成时间等于所述最大数据标识的生成时间;
当更新后的所述数据表最后更新的数据标识的生成时间等于所述最大数据标识的生成时间时,更新所述数据表表名对应的数据表状态为不可用。
8.根据权利要求7所述的方法,其特征在于,所述当更新后的所述数据表最后更新的数据标识的生成时间等于所述最大数据标识的生成时间时,更新所述数据表表名对应的数据表状态为不可用之后,还包括:
返回执行所述获取最早创建的且状态可用的数据表的数据表表名。
9.根据权利要求5-8任一项所述的方法,其特征在于,所述获取最早创建的、状态可用的数据表的数据表表名,具体包括:
从预先创建的配置表中获取当前最新写入配置表中的且状态可用的数据表表名;
查找与所述数据表表名对应的数据表中的最大数据标识,具体包括:
从预先创建的配置表中查找与所述数据表表名对应的数据表中的最大数据标识。
10.一种数据表处理方法,其特征在于,所述数据按照权利要求1-4任一项的方法导入到数据表中,按照权利要求5-9任一项所述的方法从数据表中导出;所述方法包括:
获取一张数据表的数据表表名、数据表状态以及数据表是否已经删除信息;
根据所述数据表状态查询数据表的数据表状态是否可用,以及根据所述数据表是否已经删除信息查询数据表是否已经删除;
若数据表处于不可用状态且数据表未删除,则删除所述数据表表名对应的数据表。
11.根据权利要求10所述的方法,其特征在于,所述获取一张数据表的数据表表名、数据表状态以及数据表是否已经删除信息,具体包括:
从预先创建的配置表中获取一张数据表的数据表表名、数据表状态以及数据表是否已经删除信息。
12.一种数据导入装置,其特征在于,所述装置包括:
第一获取单元,用于获取当前从外部数据源拉取数据的时间;
第二获取单元,用于获取当前最新创建的数据表的数据表表名和数据表更新时间,所述数据表更新时间为最近一次从外部数据源拉取数据的时间;
精确单元,用于将所述当前从外部数据源拉取数据的时间精确到预设时间单位级别,得到精确后的当前时间;将所述数据表更新时间精确到预设时间单位级别,得到精确后的数据表更新时间;
确定单元,用于根据所述精确后的当前时间与所述精确后的数据表更新时间的先后关系,确定是否创建新数据表;
存储单元,用于将当前从外部数据源拉取到的数据存储到创建时间最晚的数据表中。
13.一种数据导出装置,其特征在于,所述数据按照权利要求1-4任一项所述的方法存储到数据表中,所述数据导出装置包括:
获取单元,用于获取最早创建的且状态可用的数据表的数据表表名;
查找单元,用于查找与所述数据表表名对应的数据表中的最大数据标识以及数据表最后更新的数据标识;
确定单元,用于根据所述最大数据标识与所述数据表最后更新的数据标识生成的先后顺序,确定是否从所述数据表表名对应的数据表中导出数据;
导出单元,用于当确定结果为是时,导出所述数据表表名对应的数据表中的数据。
14.一种数据表处理装置,其特征在于,所述数据按照权利要求1-4任一项的方法导入到数据表中,按照权利要求5-9任一项所述的方法从数据表中导出;所述数据表处理装置包括:
获取单元,用于获取一张数据表的数据表表名、数据表状态以及数据表是否已经删除信息;
查询单元,用于根据所述数据表状态查询数据表的数据表状态是否可用,以及根据所述数据表是否已经删除信息查询数据表是否已经删除;
删除单元,用于若数据表处于不可用状态且数据表未删除,则删除所述数据表表名对应的数据表。
CN201710576358.2A 2017-07-14 2017-07-14 数据导入\导出方法和装置、数据表处理方法和装置 Active CN110019436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710576358.2A CN110019436B (zh) 2017-07-14 2017-07-14 数据导入\导出方法和装置、数据表处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710576358.2A CN110019436B (zh) 2017-07-14 2017-07-14 数据导入\导出方法和装置、数据表处理方法和装置

Publications (2)

Publication Number Publication Date
CN110019436A true CN110019436A (zh) 2019-07-16
CN110019436B CN110019436B (zh) 2021-04-09

Family

ID=67185827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710576358.2A Active CN110019436B (zh) 2017-07-14 2017-07-14 数据导入\导出方法和装置、数据表处理方法和装置

Country Status (1)

Country Link
CN (1) CN110019436B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114036212A (zh) * 2021-11-25 2022-02-11 京东方科技集团股份有限公司 数据可视分析方法及系统、计算机设备及介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043789A (zh) * 2009-10-21 2011-05-04 阿里巴巴集团控股有限公司 一种更新数据表的方法和装置
CN102096685A (zh) * 2009-12-11 2011-06-15 阿里巴巴集团控股有限公司 分布式数据同步到数据仓库的方法及装置
CN102200972A (zh) * 2010-03-24 2011-09-28 腾讯科技(北京)有限公司 一种数据库维护方法和设备
CN102982186A (zh) * 2012-12-26 2013-03-20 厦门市美亚柏科信息股份有限公司 基于oracle数据库系统的range分区表的维护方法和系统
CN103678402A (zh) * 2012-09-21 2014-03-26 厦门雅迅网络股份有限公司 一种海量数据下数据实时统计的方法
US20150178309A1 (en) * 2012-06-05 2015-06-25 International Business Machines Corporation Preserving a state using snapshots with selective tuple versioning
CN104778252A (zh) * 2015-04-16 2015-07-15 天脉聚源(北京)传媒科技有限公司 索引的存储方法和装置
CN105095393A (zh) * 2015-06-30 2015-11-25 努比亚技术有限公司 一种数据存储方法及装置
CN105159934A (zh) * 2015-08-03 2015-12-16 浙江宇视科技有限公司 实时过车数据的离散化上传方法及装置
CN105808539A (zh) * 2014-12-29 2016-07-27 北京航天测控技术有限公司 一种数据导出导入方法及装置
US20160259832A1 (en) * 2015-03-05 2016-09-08 Adaptive Insights, Inc. Methods and systems for multidimensional analysis of interconnected data sets stored in a graph database
CN106326333A (zh) * 2016-07-05 2017-01-11 蓝盾信息安全技术有限公司 一种网络审计系统数据库动态分表方法及装置
US20170116243A1 (en) * 2009-02-13 2017-04-27 International Business Machines Corporation Archiving to a single database table information located across multiple tables
CN106776837A (zh) * 2016-11-25 2017-05-31 国云科技股份有限公司 一种基于MongoDB的证券实时交易关联分析的方法
CN106933836A (zh) * 2015-12-29 2017-07-07 航天信息股份有限公司 一种基于分表的数据存储方法和系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170116243A1 (en) * 2009-02-13 2017-04-27 International Business Machines Corporation Archiving to a single database table information located across multiple tables
CN102043789A (zh) * 2009-10-21 2011-05-04 阿里巴巴集团控股有限公司 一种更新数据表的方法和装置
CN102096685A (zh) * 2009-12-11 2011-06-15 阿里巴巴集团控股有限公司 分布式数据同步到数据仓库的方法及装置
CN102200972A (zh) * 2010-03-24 2011-09-28 腾讯科技(北京)有限公司 一种数据库维护方法和设备
US20150178309A1 (en) * 2012-06-05 2015-06-25 International Business Machines Corporation Preserving a state using snapshots with selective tuple versioning
CN103678402A (zh) * 2012-09-21 2014-03-26 厦门雅迅网络股份有限公司 一种海量数据下数据实时统计的方法
CN102982186A (zh) * 2012-12-26 2013-03-20 厦门市美亚柏科信息股份有限公司 基于oracle数据库系统的range分区表的维护方法和系统
CN105808539A (zh) * 2014-12-29 2016-07-27 北京航天测控技术有限公司 一种数据导出导入方法及装置
US20160259832A1 (en) * 2015-03-05 2016-09-08 Adaptive Insights, Inc. Methods and systems for multidimensional analysis of interconnected data sets stored in a graph database
CN104778252A (zh) * 2015-04-16 2015-07-15 天脉聚源(北京)传媒科技有限公司 索引的存储方法和装置
CN105095393A (zh) * 2015-06-30 2015-11-25 努比亚技术有限公司 一种数据存储方法及装置
CN105159934A (zh) * 2015-08-03 2015-12-16 浙江宇视科技有限公司 实时过车数据的离散化上传方法及装置
CN106933836A (zh) * 2015-12-29 2017-07-07 航天信息股份有限公司 一种基于分表的数据存储方法和系统
CN106326333A (zh) * 2016-07-05 2017-01-11 蓝盾信息安全技术有限公司 一种网络审计系统数据库动态分表方法及装置
CN106776837A (zh) * 2016-11-25 2017-05-31 国云科技股份有限公司 一种基于MongoDB的证券实时交易关联分析的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FLIKECN: "kingshard按时间分表功能介绍", 《HTTPS://WWW.V2EX.COM/AMP/T/262443》 *
ITEYE_4537: "导入导出Oracle分区表数据", 《HTTPS://BLOG.CSDN.NET/ITEYE_4537/ARTICLE/DETAILS/82033124》 *
阮厦城: "分布式环境下通用日志系统的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
魏薇: "无线电监测数据的采集及分析系统的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114036212A (zh) * 2021-11-25 2022-02-11 京东方科技集团股份有限公司 数据可视分析方法及系统、计算机设备及介质

Also Published As

Publication number Publication date
CN110019436B (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
US10515002B2 (en) Utilizing artificial intelligence to test cloud applications
US10095698B2 (en) Managing changes to one or more files via linked mapping records
WO2019056540A1 (zh) 测试用例自动化管理方法、装置、设备及存储介质
CN106549772A (zh) 资源预测方法、系统和容量管理装置
CN107870949B (zh) 数据分析作业依赖关系生成方法和系统
CN111159157A (zh) 一种企业报表数据的指标化处理方法及装置
CN110471754A (zh) 作业调度中的数据展示方法、装置、设备及存储介质
CN110389812A (zh) 用于管理虚拟机的方法、设备和计算机可读存储介质
CN104662564A (zh) 数据分析装置以及程序
CN109657803A (zh) 机器学习模型的构建
CN111427976B (zh) 道路鲜度的获取方法及装置
CN111061733A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN110019436A (zh) 数据导入\导出方法和装置、数据表处理方法和装置
CN110069453A (zh) 运维数据处理方法和装置
CN109471901A (zh) 一种数据同步方法及装置
CN109388644A (zh) 一种数据更新方法及装置
CN116737511A (zh) 基于图的调度作业监控方法及装置
CN105229494A (zh) 属性重要性确定
US20130110730A1 (en) Integration of computerized project planning and project diagramming
JP2008225686A (ja) 分散型データ処理プラットフォームにおけるデータ配置管理装置と方法、システム及びプログラム
CN115408546A (zh) 一种时序数据管理方法、装置、设备及存储介质
CN115328736A (zh) 一种探针部署方法、装置、设备和存储介质
CN115391052B (zh) 一种机器人任务处理方法、装置、电子设备和存储介质
CN104915352A (zh) 一种验证MapReduce环境下处理数据正确性的方法和装置
CN110222105A (zh) 数据汇总处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100080 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A

Applicant before: Beijing Guoshuang Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant