CN114003661A - 离线数据录入方法、装置、电子设备及存储介质 - Google Patents

离线数据录入方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114003661A
CN114003661A CN202111339825.2A CN202111339825A CN114003661A CN 114003661 A CN114003661 A CN 114003661A CN 202111339825 A CN202111339825 A CN 202111339825A CN 114003661 A CN114003661 A CN 114003661A
Authority
CN
China
Prior art keywords
data
offline
offline data
data table
newly added
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111339825.2A
Other languages
English (en)
Inventor
熊志国
熊一龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Merchants Finance Technology Co Ltd
Original Assignee
China Merchants Finance Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Merchants Finance Technology Co Ltd filed Critical China Merchants Finance Technology Co Ltd
Priority to CN202111339825.2A priority Critical patent/CN114003661A/zh
Publication of CN114003661A publication Critical patent/CN114003661A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理领域，揭露一种离线数据录入方法、装置、电子设备以及存储介质，所述方法包括：获取离线数据；按照预设的业务场景识别所述离线数据中是否存在新增字段；若所述离线数据不存在新增字段，获取所述离线数据的离线数据表，并根据所述离线数据表，执行所述离线数据的数据录入；若所述离线数据存在新增字段，获取所述离线数据的静态数据表，并配置所述新增字段的动态数据表；根据所述静态数据表，执行所述离线数据中原始字段的数据录入，及根据所述动态数据表，执行所述离线数据中新增字段的数据录入。本发明可以提高离线数据录入的时效性。

Description

离线数据录入方法、装置、电子设备及存储介质
技术领域
本发明涉及数据处理领域，尤其涉及一种离线数据录入方法、装置、电子设备及计算机可读存储介质。
背景技术
离线数据录入可以理解为将业务系统中产生的离线数据存储到数据库的一个过程，伴随着大数据技术的快速发展，数据量成井喷式增长，如何实时高效的将离线数据录入到数据库中显得愈发重要。
目前，离线数据录入通常是以数据表的形式实现，但是在实际业务场景中，数据会存在多端变化的现象，如会新增类型的离线数据，由于数据表是以固定结构进行定义，且业务系统通常不具有数据表的数据定义语言(DDL)的权限，因此在面对新增类型的离线数据时，需要下发数据库脚本重新定义数据表的列结构才能实现离线数据录入，这样需要耗费较长时间进行数据表结构的调整，从而导致离线数据录入的时效性较低。
发明内容
本发明提供一种离线数据录入方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高离线数据录入的时效性。
为实现上述目的，本发明提供的一种离线数据录入方法，包括：
获取离线数据；
按照预设的业务场景识别所述离线数据中是否存在新增字段；
若所述离线数据不存在新增字段，获取所述离线数据的离线数据表，并根据所述离线数据表，执行所述离线数据的数据录入；
若所述离线数据存在新增字段，获取所述离线数据的静态数据表，并配置所述新增字段的动态数据表；
根据所述静态数据表，执行所述离线数据中原始字段的数据录入，及根据所述动态数据表，执行所述离线数据中新增字段的数据录入。
可选地，所述按照预设的业务场景识别所述离线数据中是否存在新增字段，包括：
按照所述业务场景获取所述离线数据的数据字段，并从所述业务场景的数据库中查询离线数据表，识别所述数据字段是否均存在于所述离线数据表中；
若所述数据字段均存在于所述离线数据表中，则所述离线数据不存在新增字段；
若所述数据字段中存在任意一个字段不在所述离线数据表中，则所述离线数据存在新增字段。
可选地，所述从所述业务场景的数据库中查询离线数据表，包括：
根据所述业务场景，获取数据表查询对象，将所述数据表查询对象转换为查询语句，利用所述查询语句向所述数据库中查询离线数据表。
可选地，所述根据所述离线数据表，执行所述离线数据的数据录入，包括：
将所述离线数据中的数据字段与所述离线数据表中离线字段进行匹配；
将所述数据字段对应数据存储至其匹配成功的离线字段中，完成所述离线数据的数据录入。
可选地，所述获取所述离线数据的静态数据表，包括：
识别所述离线数据中的原始字段，根据所述原始字段，利用查询语句向数据库中查询所述离线数据的静态数据表。
可选地，所述配置所述新增字段的动态数据表，包括：
采用键值对的形式创建所述新增字段的列结构和动态ID，生成所述新增字段的初始数据表；
获取所述新增字段对应离线数据在所述静态数据表中的静态ID，将所述静态ID加载至所述初始数据表中，得到所述新增字段的动态数据表。
可选地，所述将所述静态ID加载至所述初始数据表中，得到所述新增字段的动态数据表，包括：
设置所述静态ID在所述初始数据表中的列结构序列，并配置所述静态ID与所述静态数据表的关联逻辑；
根据所述列结构序列和所述关联逻辑，将所述静态ID写入至所述初始数据表中，得到所述新增字段的动态数据表。
为了解决上述问题，本发明还提供一种离线数据录入装置，所述装置包括：
离线数据获取模块，用于获取离线数据；
新增字段识别模块，按照预设的业务场景识别所述离线数据中是否存在新增字段；
离线数据录入模块，用于在所述离线数据不存在新增字段时，获取所述离线数据的离线数据表，并根据所述离线数据表，执行所述离线数据的数据录入；
动态数据表配置模块，用于在所述离线数据存在新增字段时，获取所述离线数据的静态数据表，并配置所述新增字段的动态数据表；
字段数据录入模块，用于根据所述静态数据表，执行所述离线数据中原始字段的数据录入，及根据所述动态数据表，执行所述离线数据中新增字段的数据录入。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以实现上述所述的离线数据录入方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的离线数据录入方法。
可以看出，本发明实施例首先通过识别离线数据中是否存在新增字段，以识别所述离线数据中是否存在新增类型数据，从而选取对应的数据录入方式，保障所述离线数据的录入时效性，其次本发明实施例在所述离线数据不具有新增字段时，通过获取所述离线数据的离线数据表，以执行所述离线数据的数据录入，保障所述离线数据的录入时效，并在所述离线数据具有新增字段时，获取所述离线数据的静态数据表，及配置所述新增字段的动态数据表，以实现所述离线数据在所述数据库中可以动态录入，提高所述离线数据的录入时效性。因此，本发明实施例提出的一种离线数据录入方法、装置、电子设备及计算机可读存储介质可以提高离线数据录入的时效性。
附图说明
图1为本发明一实施例提供的离线数据录入方法的流程示意图；
图2为本发明一实施例提供的离线数据录入装置的模块示意图；
图3为本发明一实施例提供的实现离线数据录入方法的电子设备的内部结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种离线数据录入方法。所述离线数据录入方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之，所述离线数据录入方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的离线数据录入方法的流程示意图。在本发明实施例中，所述离线数据录入方法包括：
S1、获取离线数据。
本发明实施例中，所述离线数据是指在业务系统中离线所产生的数据，常见的如视频离线数据、图片离线数据等。
S2、按照预设的业务场景识别所述离线数据中是否存在新增字段。
应该了解，在不同的业务场景下，不同时间段内会产生多种类型的离线数据，如对于视频离线下载场景，在第一时间内用户下载了电视机类型的离线数据，而在第二时间内用户下载了电影类型的离线数据，因此，本发明实施例通过按照预设的业务场景识别所述离线数据中是否存在新增字段，以识别所述离线数据中是否存在新增类型数据，从而选取对应的数据录入方式，保障所述离线数据的录入时效性。其中，需要说明的是，所述预设的业务场景基于所述离线数据的种类进行确定，如所述离线数据为视频数据，则所述业务场景可以为视频播放或下载场景，所述离线数据为文本数据，则所述业务场景可以为文本处理场景。
作为本发明的一个实施例，所述按照预设的业务场景识别所述离线数据中是否存在新增字段，包括：按照所述业务场景获取所述离线数据的数据字段，并从所述业务场景的数据库中查询离线数据表，识别所述数据字段是否均存在于所述离线数据表中，若所述数据字段均存在于所述离线数据表中，则所述离线数据不存在新增字段，若所述数据字段中存在任意一个字段不在所述离线数据表中，则所述离线数据存在新增字段。
其中，所述数据字段用于表征所述离线数据的数据结构，如视频下载场景，存在“A用户在2021年下载了玄幻电影”的离线数据，则该离线数据的数据字段可以包括“A用户”、“2021年”以及“下载了玄幻电影”，其中，“A用户”可以用字段“name”表征，“2021年”可以用字段“time”表征，“下载了玄幻电影”可以用字段“event”表征，所述数据库是指用于存储离线数据的工具，常见的如MySQL数据库、DB数据库等，所述离线数据表可以理解为在所述数据库中根据其它业务数据进行创建的数据表。
进一步应该了解的是，若所述数据字段均存在所述离线数据表，则该离线数据表中包含了所述离线数据的所有字段信息，因此，本发明实施例识别出该离线数据不存在相应的新增字段，若所述数据字段存在任意一个字段不在所述离线数据表，则该离线数据表中并不包含所述离线数据的所有字段信息，因此，本发明实施例识别出该离线数据存在相应的新增字段。
进一步地，本发明又一可选实施例中，所述从所述业务场景的数据库中查询离线数据表，包括：根据所述业务场景，获取数据表查询对象，将所述数据表查询对象转换为查询语句，利用所述查询语句向所述数据库中查询离线数据表。
其中，所述数据表查询对象可以通过所述业务场景的业务类型进行确定，如上述视频下载场景的数据表查询对象可以为视频，所述查询语句的转换可以通过结构化查询语言(Structured Query Language，SQL)实现。
S3、若所述离线数据不存在新增字段，获取所述离线数据的离线数据表，并根据所述离线数据表，执行所述离线数据的数据录入。
应该了解，若所述离线数据不存在新增字段，则所述离线数据在进行数据录入时数据库已经存在相应的数据表，因此，本发明实施例通过获取所述离线数据的离线数据表，以执行所述离线数据的数据录入，保障所述离线数据的录入时效。其中，所述离线数据表的获取可以通过SQL语句查询得到。
作为本发明的一个实施例，所述根据所述离线数据表，执行所述离线数据的数据录入，包括：将所述离线数据中的数据字段与所述离线数据表中离线字段进行匹配，将所述数据字段对应数据存储至其匹配成功的离线字段中，完成所述离线数据的数据录入。
其中，所述数据字段与所述离线字段的匹配可以通过字符串匹配算法实现，如所述数据字段为name，所述离线字段为time，则该数据字段和离线字段匹配失败，所述数据字段为name，所述离线字段也为name，则该数据字段和离线字段匹配成功，并将数据字段对应的数据(如用户A)存入至所述离线字段中。
S4、若所述离线数据存在新增字段，获取所述离线数据的静态数据表，并配置所述新增字段的动态数据表。
应该了解，若所述离线数据存在新增字段，则所述离线数据在进行数据录入时数据库并存在完全包含所述离线数据中所有信息的数据表，因此，本发明实施例通过获取所述离线数据的静态数据表，并配置所述新增字段的动态数据表，以实现所述离线数据在所述数据库中可以动态录入，提高所述离线数据的录入时效。其中，所述静态数据表可以理解为包含所述离线数据中所有未新增字段信息的表，所述动态数据表可以理解为包所述离线数据中所有新增字段信息的表。
作为本发明的一个实施例，所述获取所述离线数据的静态数据表，包括：识别所述离线数据中的原始字段，根据所述原始字段，利用查询语句向数据库中查询所述离线数据的静态数据表。其中，所述原始字段可以理解为所述离线数据中未新增的字段，其均存在数据库的静态数据表中。
进一步地，作为本发明的一个实施例，所述配置所述新增字段的动态数据表，包括：采用键值对的形式创建所述新增字段的列结构和动态ID，生成所述新增字段的初始数据表，获取所述新增字段对应离线数据在所述静态数据表中的静态ID，将所述静态ID加载至所述初始数据表中，得到所述新增字段的动态数据表。
其中，所述键值对形式(key-value)可以理解为表征数据与字段的对应形式，其中，key表征字段，value表征数据，基于所述键值对形式可以快速的查找到字段的对应数据，所述动态ID用于表征所述新增字段的身份信息，所述列结构表示所述新增字段在生成的数据表中所要表征的数据类型。
进一步地，本发明一可选实施例中，所述将所述静态ID加载至所述初始数据表中，包括：设置所述静态ID在所述初始数据表中的列结构序列，并配置所述静态ID与所述静态数据表的关联逻辑，根据所述列结构序列和所述关联逻辑，将所述静态ID写入至所述初始数据表中。
其中，所述列结构序列用于表征所述静态ID在所述初始数据表中的列结构位置，如所述列结构序列为3，则可以表示该静态ID处于初始数据表中的第三列位置，所述关联逻辑用于将所述初始数据表与所述静态数据表进行关联，以实现所述初始数据表与所述静态数据表的数据关联，即通过所述静态ID可以实现所述初始数据表和所述静态数据表之间的快速跳转，保障后续数据的动态录入前提。
示例性地，所述新增字段包括：year、type、math、car四个字段，则可以创建year、type、math、car四个列结构，并可以定义该新增字段的动态ID为dynamic_column，并获取所述静态ID为fixed_column，则可以生成包含dynamic_column、fixed_column、year、type、math、car六个列结构的动态数据表，其中，所述静态ID用于建立与所述动态数据表与所述静态数据表的映射关系，方便后续离线数据的快速查询。
为进一步了解所述静态数据表和所述动态数据表之间的关联关系，可参阅下述静态数据表和动态数据表的表结构示意图，其中，表1为静态数据表的部分结构示意图，其包括表id、C1、C2、2010、2011五列，表2为动态数据表的部分结构示意图，其包括dynamic_column_id、fixed_column_id、year、value、四列，详细地，如下所述
表1：
id C1 C2 2010 2011
表2：
dynamic_column_id fixed_column_id year value
进一步地，本发明一可选实施例中，所述表1和所述表2可以采用下述SQL语句实现关联：
select t1.id,t1.c1,t1.c2,t2.year,t2.value from fixed_column_table t1,dynamic_column_table t2 where t1.id＝t2.fixed_column_id。
S5、根据所述静态数据表，执行所述离线数据中原始字段的数据录入，及根据所述动态数据表，执行所述离线数据中新增字段的数据录入。
本发明实施例中，根据所述静态数据表，执行所述离线数据中原始字段的数据录入，及根据所述动态数据表，执行所述离线数据中新增字段的数据录入，以将所述离线数据按照字段类型进行数据录入，可以实现所述离线数据的动态录入，提高所述离线数据的录入时效性，其中，所述原始字段和所述新增字段的数据录入与上述根据离线数据表执行离线数据的数据录入的录入原理相同，在此不做进一步地赘述。
可以看出，本发明实施例首先通过识别离线数据中是否存在新增字段，以识别所述离线数据中是否存在新增类型数据，从而选取对应的数据录入方式，保障所述离线数据的录入时效性，其次本发明实施例在所述离线数据不具有新增字段时，通过获取所述离线数据的离线数据表，以执行所述离线数据的数据录入，保障所述离线数据的录入时效，并在所述离线数据具有新增字段时，获取所述离线数据的静态数据表，及配置所述新增字段的动态数据表，以实现所述离线数据在所述数据库中可以动态录入，提高所述离线数据的录入时效性。因此，本发明实施例提出的一种离线数据录入方法可以提高离线数据录入的时效性。
如图2所示，是本发明离线数据录入装置的功能模块图。
本发明所述离线数据录入装置100可以安装于电子设备中。根据实现的功能，所述离线数据录入装置可以包括离线数据获取模块101、新增字段识别模块102、离线数据录入模块103、动态数据表配置模块104以及字段数据录入模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备的处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述离线数据获取模块101，用于获取离线数据；
所述新增字段识别模块102，按照预设的业务场景识别所述离线数据中是否存在新增字段；
所述离线数据录入模块103，用于在所述离线数据不存在新增字段时，获取所述离线数据的离线数据表，并根据所述离线数据表，执行所述离线数据的数据录入；
所述动态数据表配置模块104，用于在所述离线数据存在新增字段时，获取所述离线数据的静态数据表，并配置所述新增字段的动态数据表；
所述字段数据录入模块105，用于根据所述静态数据表，执行所述离线数据中原始字段的数据录入，及根据所述动态数据表，执行所述离线数据中新增字段的数据录入。
详细地，本发明实施例中所述离线数据录入装置100中的所述各模块在使用时采用与上述的图1中所述的离线数据录入方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图3所示，是本发明实现离线数据录入方法的电子设备1的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如离线数据录入程序。
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备1的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行离线数据录入程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如离线数据录入程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备1与其他设备之间的通信，包括网络接口和员工接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备1之间建立通信连接。所述员工接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，员工接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的员工界面。
图3仅示出了具有部件的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利发明范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的离线数据录入程序是多个计算机程序的组合，在所述处理器10中运行时，可以实现：
获取离线数据；
按照预设的业务场景识别所述离线数据中是否存在新增字段；
若所述离线数据不存在新增字段，获取所述离线数据的离线数据表，并根据所述离线数据表，执行所述离线数据的数据录入；
若所述离线数据存在新增字段，获取所述离线数据的静态数据表，并配置所述新增字段的动态数据表；
根据所述静态数据表，执行所述离线数据中原始字段的数据录入，及根据所述动态数据表，执行所述离线数据中新增字段的数据录入。
具体地，所述处理器10对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备1的处理器所执行时，可以实现：
获取离线数据；
按照预设的业务场景识别所述离线数据中是否存在新增字段；
若所述离线数据不存在新增字段，获取所述离线数据的离线数据表，并根据所述离线数据表，执行所述离线数据的数据录入；
若所述离线数据存在新增字段，获取所述离线数据的静态数据表，并配置所述新增字段的动态数据表；
根据所述静态数据表，执行所述离线数据中原始字段的数据录入，及根据所述动态数据表，执行所述离线数据中新增字段的数据录入。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种离线数据录入方法，其特征在于，所述方法包括：
获取离线数据；
按照预设的业务场景识别所述离线数据中是否存在新增字段；
若所述离线数据不存在新增字段，获取所述离线数据的离线数据表，并根据所述离线数据表，执行所述离线数据的数据录入；
若所述离线数据存在新增字段，获取所述离线数据的静态数据表，并配置所述新增字段的动态数据表；
根据所述静态数据表，执行所述离线数据中原始字段的数据录入，及根据所述动态数据表，执行所述离线数据中新增字段的数据录入。
2.如权利要求1所述的离线数据录入方法，其特征在于，所述按照预设的业务场景识别所述离线数据中是否存在新增字段，包括：
按照所述业务场景获取所述离线数据的数据字段，并从所述业务场景的数据库中查询离线数据表，识别所述数据字段是否均存在于所述离线数据表中；
若所述数据字段均存在于所述离线数据表中，则所述离线数据不存在新增字段；
若所述数据字段中存在任意一个字段不在所述离线数据表中，则所述离线数据存在新增字段。
3.如权利要求2所述的离线数据录入方法，其特征在于，所述从所述业务场景的数据库中查询离线数据表，包括：
根据所述业务场景，获取数据表查询对象，将所述数据表查询对象转换为查询语句，利用所述查询语句向所述数据库中查询离线数据表。
4.如权利要求1所述的离线数据录入方法，其特征在于，所述根据所述离线数据表，执行所述离线数据的数据录入，包括：
将所述离线数据中的数据字段与所述离线数据表中离线字段进行匹配；
将所述数据字段对应数据存储至其匹配成功的离线字段中，完成所述离线数据的数据录入。
5.如权利要求1所述的离线数据录入方法，其特征在于，所述获取所述离线数据的静态数据表，包括：
识别所述离线数据中的原始字段，根据所述原始字段，利用查询语句向数据库中查询所述离线数据的静态数据表。
6.如权利要求5所述的离线数据录入方法，其特征在于，所述配置所述新增字段的动态数据表，包括：
采用键值对的形式创建所述新增字段的列结构和动态ID，生成所述新增字段的初始数据表；
获取所述新增字段对应离线数据在所述静态数据表中的静态ID，将所述静态ID加载至所述初始数据表中，得到所述新增字段的动态数据表。
7.如权利要求6所述的离线数据录入方法，其特征在于，所述将所述静态ID加载至所述初始数据表中，得到所述新增字段的动态数据表，包括：
设置所述静态ID在所述初始数据表中的列结构序列，并配置所述静态ID与所述静态数据表的关联逻辑；
根据所述列结构序列和所述关联逻辑，将所述静态ID写入至所述初始数据表中，得到所述新增字段的动态数据表。
8.一种离线数据录入装置，其特征在于，所述装置包括：
离线数据获取模块，用于获取离线数据；
新增字段识别模块，按照预设的业务场景识别所述离线数据中是否存在新增字段；
离线数据录入模块，用于在所述离线数据不存在新增字段时，获取所述离线数据的离线数据表，并根据所述离线数据表，执行所述离线数据的数据录入；
动态数据表配置模块，用于在所述离线数据存在新增字段时，获取所述离线数据的静态数据表，并配置所述新增字段的动态数据表；
字段数据录入模块，用于根据所述静态数据表，执行所述离线数据中原始字段的数据录入，及根据所述动态数据表，执行所述离线数据中新增字段的数据录入。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的离线数据录入方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的离线数据录入方法。
CN202111339825.2A 2021-11-12 2021-11-12 离线数据录入方法、装置、电子设备及存储介质 Pending CN114003661A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111339825.2A CN114003661A (zh) 2021-11-12 2021-11-12 离线数据录入方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111339825.2A CN114003661A (zh) 2021-11-12 2021-11-12 离线数据录入方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114003661A true CN114003661A (zh) 2022-02-01

Family

ID=79929020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111339825.2A Pending CN114003661A (zh) 2021-11-12 2021-11-12 离线数据录入方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114003661A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117033397A (zh) * 2023-10-08 2023-11-10 北京泰利思诺信息技术股份有限公司 一种历史数据低存储占用查询的管理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117033397A (zh) * 2023-10-08 2023-11-10 北京泰利思诺信息技术股份有限公司 一种历史数据低存储占用查询的管理方法及系统
CN117033397B (zh) * 2023-10-08 2023-12-26 北京泰利思诺信息技术股份有限公司 一种历史数据低存储占用查询的管理方法及系统

Similar Documents

Publication Publication Date Title
CN111767268B (zh) 数据库表分区方法、装置、电子设备及存储介质
CN112115152B (zh) 数据增量更新及查询方法、装置、电子设备及存储介质
CN112685117A (zh) 系统语言国际化维护方法、装置及计算机可读存储介质
CN113434901A (zh) 数据智能查询方法、装置、电子设备及存储介质
CN114185895A (zh) 数据导入导出方法、装置、电子设备及存储介质
CN114979120A (zh) 数据上传方法、装置、设备及存储介质
CN114640707A (zh) 一种消息异步处理方法、装置、电子设备及存储介质
CN114003661A (zh) 离线数据录入方法、装置、电子设备及存储介质
CN113468175A (zh) 数据压缩方法、装置、电子设备及存储介质
CN112464619B (zh) 大数据处理方法、装置、设备及计算机可读存储介质
CN113722533A (zh) 信息推送方法、装置、电子设备及可读存储介质
CN113297180A (zh) 数据迁移方法、装置、电子设备及存储介质
CN112580079A (zh) 权限配置方法、装置、电子设备及可读存储介质
CN112948380A (zh) 基于大数据的数据存储方法、装置、电子设备及存储介质
CN111985194A (zh) 数据存储方法、装置、电子设备及存储介质
CN114911479A (zh) 基于配置化的界面生成方法、装置、设备及存储介质
CN114840388A (zh) 数据监控方法、装置、电子设备及存储介质
CN114356379A (zh) 基于备份的服务升级方法、装置、设备及存储介质
CN114185522A (zh) 页面主题定制方法、装置、电子设备及存储介质
CN115220740A (zh) 数据库环境部署方法、装置、电子设备及存储介质
CN114461531A (zh) 测试用例的平台适应性测试方法、装置、设备及存储介质
CN112328656A (zh) 基于中台架构的服务查询方法、装置、设备及存储介质
CN113869455A (zh) 无监督聚类方法、装置、电子设备及介质
CN113407657A (zh) 基于单级数据库的数据查询方法、装置、设备及存储介质
CN113342867A (zh) 数据分发及管理方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination