CN110222104A - 数据提取方法、设备及存储介质 - Google Patents
数据提取方法、设备及存储介质 Download PDFInfo
- Publication number
- CN110222104A CN110222104A CN201910361802.8A CN201910361802A CN110222104A CN 110222104 A CN110222104 A CN 110222104A CN 201910361802 A CN201910361802 A CN 201910361802A CN 110222104 A CN110222104 A CN 110222104A
- Authority
- CN
- China
- Prior art keywords
- data
- tables
- module
- script module
- script
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供一种数据提取方法、设备及存储介质。在本申请的一些实施例中，将整个系统中的数据表进行同构化，针对所有业务需求，预先生成对结构相同的数据表中的同一类数据进行提取的多个脚本模块，并对每个脚本模块生成脚本模块标识；在有数据提取需求时，根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识；从预先生成的脚本模块中，获取至少一个脚本模块标识对应的至少一个目标脚本模块；将至少一个目标脚本模块进行合并得到目标脚本文件；运行目标脚本文件进行数据提取，根据当前业务需求，选取相应脚本模块进行组合，就能快速得到提取当前数据的目标脚本文件，数据提取效率高，成本低。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据提取方法、设备及存储介质。
背景技术
随着互联网的发展，产生的数据越来越多，人们对于数据分析研究也越来越重视，面对各种业务需求，需要对相关数据进行提取。
目前，随着保险业务系统的不断升级改造及部分业务个性化开发，业务系统越来越多，其数据库表结构虽然大概相似或相近，但各系统仍存在个性化差异。如果要提取所有业务数据，需要根据各个系统的不同特点，编写多个提数脚本，业务数据提取效率低，且会消耗大量的人力。
发明内容
本申请的多个方面提供一种数据提取方法、设备及存储介质，通过对提取数据的脚本进行模块化设计，根据不同的业务需求，即可组合成相应的提取脚本，业务数据提取效率高，节省人力，成本低。
本申请实施例提供一种数据提取方法，包括：
根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识；
从预先生成的脚本模块中，获取所述至少一个脚本模块标识对应的至少一个目标脚本模块，其中，每个脚本模块可对结构相同数据表中的同一类数据进行数据提取；
将所述至少一个目标脚本模块进行合并得到目标脚本文件；
运行所述目标脚本文件，以从所述当前业务需求关联的至少一张数据表中进行数据提取；其中，所述至少一张数据表是预先经过同构处理的。
本申请实施例还提供一种数据提取设备，包括：
确定模块，根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识
获取模块，从预先生成的脚本模块中，获取所述至少一个脚本模块标识对应的至少一个目标脚本模块，其中，每个脚本模块可对结构相同数据表中的同一类数据进行数据提取；
合并模块，将所述至少一个目标脚本模块进行合并得到目标脚本文件；
数据提取模块，运行所述目标脚本文件，以从所述当前业务需求关联的至少一张数据表中进行数据提取；其中，所述至少一张数据表是预先经过同构处理的。
本申请实施例还提供一种终端设备，包括：一个或多个处理器以及一个或多个存储计算机程序的存储器；
所述一个或多个处理器，用于执行所述计算机程序，以用于：
根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识；
从预先生成的脚本模块中，获取所述至少一个脚本模块标识对应的至少一个目标脚本模块，其中，每个脚本模块可对结构相同数据表中的同一类数据进行数据提取；
将所述至少一个目标脚本模块进行合并得到目标脚本文件；
运行所述目标脚本文件，以从所述当前业务需求关联的至少一张数据表中进行数据提取；其中，所述至少一张数据表是预先经过同构处理的。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行上述方法中的步骤。
在本申请的一些实施例中，将整个系统中的数据表进行同构化，针对所有业务需求，预先生成对结构相同的数据表中的同一类数据进行提取的多个脚本模块，并对每个脚本模块生成脚本模块标识；在有数据提取需求时，根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识；从预先生成的脚本模块中，获取至少一个脚本模块标识对应的至少一个目标脚本模块；将至少一个目标脚本模块进行合并得到目标脚本文件；运行目标脚本文件进行数据提取，根据当前业务需求，选取相应脚本模块进行组合，就能快速得到提取当前数据的目标脚本文件，数据提取效率高，成本低。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请示例性实施例提供的一种数据提取方法的方法流程图；
图2为本申请示例性实施例提供的一种更加详细的数据提取方法的方法流程图；
图3为本申请示例性实施例提供的一种数据提取设备的结构框图；
图4为本申请示例性实施例提供的一种终端设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，随着保险业务系统的不断升级改造及部分业务个性化开发，业务系统越来越多，其数据库表结构虽然大概相近或者相似，但各系统仍存在个性化差异。如果要提取所有业务数据，需要根据各个系统的不同特点，编写多个数据提取脚本，业务数据提取效率低，且会消耗大量的人力。针对目前保险业务系统的业务数据提取效率低，且会消耗大量的人力的问题，在本申请的一些实施例中，将整个系统中的数据表进行同构化，针对所有业务需求，预先生成对结构相同的数据表中的同一类数据进行提取的多个脚本模块，并对每个脚本模块生成脚本模块标识；在有数据提取需求时，根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识；从预先生成的脚本模块中，获取至少一个脚本模块标识对应的至少一个目标脚本模块；将至少一个目标脚本模块进行合并得到目标脚本文件；运行目标脚本文件进行数据提取，根据当前业务需求，选取相应脚本模块进行组合，就能快速得到提取当前数据的目标脚本文件，数据提取效率高，成本低。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本申请示例性实施例提供的一种数据提取方法的方法流程图，如图1所示，该方法包括以下步骤：
S101：根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识；
S102：从预先生成的脚本模块中，获取至少一个脚本模块标识对应的至少一个目标脚本模块，其中，每个脚本模块可对结构相同数据表中的同一类数据进行数据提取；
S103：将至少一个目标脚本模块进行合并得到目标脚本文件；
S104：运行目标脚本文件，以从当前业务需求关联的至少一张数据表中进行数据提取；其中，至少一张数据表是预先经过同构处理的。
在本实施例中，数据提取方法的执行主体可以为具有计算、上网、通信等功能的计算机设备，其实现形式可以有多种，例如可以是智能手机、个人电脑、穿戴设备、平板电脑以及服务器等。在本实施例中，并不限定服务器的实现形态，例如服务器可以是常规服务器云服务器、云主机、虚拟中心等服务器设备。其中，服务器设备的构成主要包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类型。
在上述实施例中，针对保险行业的业务主要有财产保险和人身保险两大类。财产保险包括企业财产保险、工程财产保险、车险、责任险、船舶险、货运险、家财险、信用险、保证险和农险等；人身保险包括人寿险、意外险和健康险等。在上述实施例中，业务需求可以包括：各种类型保险的理赔业务、财务统计、数据分析等业务中的至少一种。
在实施例中，在进行数据提取之前，需要预先对整个系统的数据表进行同构处理，得到结构相同的多类数据表；以及预先生成可对每一类结构相同的数据表进行数据提取的脚本模块。其中，脚本模块是可以对某一类结构相同的数据表进行数据提取的一段程序代码。
可选地，预先对整个系统的数据表进行同构处理，得到结构相同的数据表。一种可实现的方式为，对整个系统的数据表中同一类型的数据表的表名设置为相同表名；和/或，对整个系统的数据表中同一类型的字段的名称，设置为相同字段名。例如，都是车险承保理赔数据表，在两个不同的机构中，分别命名“车险数据表”和“车险理赔数据表”，那么需要将两张数据表的表名统一为“车险理赔数据表”。再例如，在两张数据表中，关于客户姓名的字段命名分别为“姓名”和“投保人”，则需要将两个不同的字段名进行同名化处理，客户姓名的字段统一为“姓名”；此外，不同的数据表中所包含的字段可能都不相同，进一步，可以统计整个系统的数据表中包含的所有字段名，根据统计出的所有字段名对每张数据表中缺少的字段名进行补齐，这样可以得到包含相同字段名的数据表。通过上述的同构步骤，实现系统中所有数据表的同构。另外，需要说明的是，上述对数据表进行同构处理的方式，如设置相同表名、设置相同字段名以及字段名补齐等，可以择一使用，也可以以任意组合方式使用，具体可视系统中数据表之间存在的差异情况而定。
在对整个系统的数据表进行同构处理，得到结构相同的数据表后，根据所有业务需求，分别生成可对结构相同的数据表中的同一类数据进行数据提取的脚本模块。其中，上述同一类数据可以为同一类型的表，例如：“车险理赔数据表”，“意外险投保数据表”，同一类数据还可以为不同数据表的某些字段，例如：财务统计时，需要提取“姓名”“保额”“保费”“投保日期”等，可以从不同类型的多张数据表中进行提取。在上述实施例中，在生成多个脚本模块之后，分别为脚本模块分配脚本模块标识。进而，根据整个系统可能涉及的所有业务需求，确定各业务需求中需要提取数据的数据表，进一步确定数据表所属的类别以及可以对该类别的数据表进行数据提取的脚本模块及其标识，据此建立各业务需求与其所需脚本模块的脚本模块标识之间的关联关系，并将此各业务需求与其所需脚本模块的脚本模块标识之间的关联关系存储至模块文件中。在一种业务需求中，可能需要从至少一类数据表进行数据提取，故需要对至少一类数据表进行数据提取的至少一个脚本模块，至少一个脚本模块组合在一起可以得到该业务需求中用于数据提取的脚本文件。
当接收到当前的业务需求时，根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识；从预先生成的脚本模块中，获取至少一个脚本模块标识对应的至少一个目标脚本模块。之后，将至少一个目标脚本模块进行合并得到目标脚本文件，一种可实现的方式为，将至少一个目标脚本模块按顺序写入一个脚本文件中，得到目标脚本文件。需要说明的是，至少一个目标脚本模块不分先后顺序，写入一个脚本文件中。
在得到目标脚本文件之后，根据当前的业务需求，从整个系统的数据表选择出至少一张与当前的业务需求关联的数据表。一种可实现的方式为，根据当前的业务需求所携带的机构名称、数据表时间，从整个系统的数据表中选择出与机构名称和数据表时间关联的至少一张数据表。例如，可以从
在一可选实施例中，负责进行数据提取的计算机设备上安装有主控程序，主控程序可根据当前的业务需求获取至少一个目标脚本模块，将至少一个目标脚本模块进行合并得到目标脚本文件，并且可以从系统的数据表中选择出与当前的业务需求关联的至少一张数据表，之后可调度目标脚本文件，使得目标脚本文件从当前业务需求关联的至少一张数据表中进行数据提取。基于此，可以运行主控程序，则计算机设备中的处理器(例如CPU或GPU等)可根据当前的业务需求获取至少一个目标脚本模块，将至少一个目标脚本模块进行合并得到目标脚本文件，并且可以从系统的数据表中选择出与当前的业务需求关联的至少一张数据表，之后调度目标脚本文件并运行目标脚本文件，以从当前业务需求关联的至少一张数据表中进行数据提取。其中，主控程序的程序名可以根据需要更改。
结合上述各实施例的描述，图2为本申请示例性实施例提供的一种更加详细的数据提取方法的方法流程图，包括以下步骤：
S201：对整个系统的数据表进行同构处理，得到结构相同的数据表；
S202：根据所有业务需求，分别生成可对结构相同的数据表中的同一类数据进行数据提取的脚本模块，并为脚本模块分配脚本模块标识；
S203：分别建立各业务需求与其所需脚本模块的脚本模块标识之间的关联关系；
S204：根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识；
S205：从预先生成的脚本模块中，获取至少一个脚本模块标识对应的至少一个目标脚本模块；
S206：将至少一个目标脚本模块进行合并得到目标脚本文件；
S207：根据当前的业务需求，从整个系统的数据表中选择出至少一张数据表；
S208：运行目标脚本文件，以从当前业务需求关联的至少一张数据表中进行数据提取。
在上述数据提取方法的实施例中，将整个系统中的数据表进行同构化，针对所有业务需求，预先生成对结构相同的数据表中的同一类数据进行提取的多个脚本模块，并对每个脚本模块生成脚本模块标识；在有数据提取需求时，根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识；从预先生成的脚本模块中，获取至少一个脚本模块标识对应的至少一个目标脚本模块；将至少一个目标脚本模块进行合并得到目标脚本文件；运行目标脚本文件进行数据提取，根据当前业务需求，选取相应脚本模块进行组合，就能快速得到提取当前数据的目标脚本文件，数据提取效率高，成本低。
图3为本申请示例性实施例提供的一种数据提取设备的结构框图，如图3所示，该数据提取设备包括确定模块301、获取模块302、合并模块303和数据提取模块304。
确定模块301，根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识
获取模块302，从预先生成的脚本模块中，获取至少一个脚本模块标识对应的至少一个目标脚本模块，其中，每个脚本模块可对结构相同数据表中的同一类数据进行数据提取；
合并模块303，将至少一个目标脚本模块进行合并得到目标脚本文件；
数据提取模块304，运行目标脚本文件，以从当前业务需求关联的至少一张数据表中进行数据提取；其中，至少一张数据表是预先经过同构处理的。
可选地，该数据提取设备还可包括：同构模块305、生成模块306和建立模块307；
同构模块305，对整个系统的数据表进行同构处理，得到结构相同的数据表；
生成模块306，根据所有业务需求，分别生成可对结构相同的数据表中的同一类数据进行数据提取的脚本模块，并为脚本模块分配脚本模块标识；
建立模块307，分别建立各业务需求与其所需脚本模块的脚本模块标识之间的关联关系。
可选地，同构模块305在对整个系统的数据表进行同构处理，得到结构相同的数据表，具体用于：对整个系统的数据表中同一类型的数据表的表名设置为相同表名；对整个系统的数据表中同一类型的字段的名称，设置为相同字段名。
可选地，同构模块305还可用于：根据整个系统的数据表中包含的所有字段名，对每张数据表中缺少的字段名进行补齐，得到包含相同字段名的数据表。
可选地，合并模块303在将至少一个目标脚本模块进行合并得到目标脚本文件，具体用于：将至少一个目标脚本模块按顺序写入一个脚本文件中，得到目标脚本文件。
可选地，该数据提取设备还包括选择模块308，选择模块308在运行目标脚本文件之前，具体用于：根据当前的业务需求，从整个系统的数据表中选择出至少一张数据表。
可选地，选择模块308在根据当前的业务需求，从整个系统的数据表中选择出至少一张数据表时，具体用于：根据当前的业务需求所携带的机构名称，从整个系统的数据表中选择出所述机构名称下的数据表；和/或根据当前的业务需求所携带的数据表创建时间，从整个系统的数据表中选择出在所述数据表创建时间创建的数据表。
在上述数据提取设备的实施例中，将整个系统中的数据表进行同构化，针对所有业务需求，预先生成对结构相同的数据表中的同一类数据进行提取的多个脚本模块，并对每个脚本模块生成脚本模块标识；在有数据提取需求时，根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识；从预先生成的脚本模块中，获取至少一个脚本模块标识对应的至少一个目标脚本模块；将至少一个目标脚本模块进行合并得到目标脚本文件；运行目标脚本文件进行数据提取，根据当前业务需求，选取相应脚本模块进行组合，就能快速得到提取当前数据的目标脚本文件，数据提取效率高，成本低。
图4为本申请示例性实施例提供的一种终端设备的结构框图，如图4所示，该终端设备包括：存储器402和处理器401。此外，终端设备还可以包括通信组件403、电源组件404等必要组件。
存储器402，用于存储计算机程序；
通信组件403，用于数据通信；
处理器401，用于执行计算机程序，以用于：根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识；从预先生成的脚本模块中，获取至少一个脚本模块标识对应的至少一个目标脚本模块，其中，每个脚本模块可对结构相同数据表中的同一类数据进行数据提取；将至少一个目标脚本模块进行合并得到目标脚本文件；运行目标脚本文件，以从当前业务需求关联的至少一张数据表中进行数据提取；其中，至少一张数据表是预先经过同构处理的。
可选地，处理器401在根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识之前，还可用于：对整个系统的数据表进行同构处理，得到结构相同的数据表；根据所有业务需求，分别生成可对结构相同的数据表中的同一类数据进行数据提取的脚本模块，并为脚本模块分配脚本模块标识；分别建立各业务需求与其所需脚本模块的脚本模块标识之间的关联关系。
可选地，处理器401在对整个系统的数据表进行同构处理，得到结构相同的数据表时，具体用于：对整个系统的数据表中同一类型的数据表的表名设置为相同表名；对整个系统的数据表中同一类型的字段的名称，设置为相同字段名。
可选地，处理器401，还可用于：对整个系统的数据表中包含的所有字段名，对每张数据表中缺少的字段名进行补齐，得到包含相同字段名的数据表。
可选地，处理器401在将至少一个目标脚本模块进行合并得到目标脚本文件时，具体用于：将至少一个目标脚本模块按顺序写入一个脚本文件中，得到目标脚本文件。
可选地，处理器401在运行目标脚本文件之前，还可用于：根据当前的业务需求，从整个系统的数据表中选择出至少一张数据表。
可选地，处理器401在根据当前的业务需求，从整个系统的数据表中选择出至少一张数据表时，具体用于：根据当前的业务需求所携带的机构名称，从整个系统的数据表中选择出所述机构名称下的数据表；和/或根据当前的业务需求所携带的数据表创建时间，从整个系统的数据表中选择出在所述数据表创建时间创建的数据表。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质。当计算机可读存储介质存储计算机程序，且计算机程序被一个或多个处理器执行时，致使一个或多个处理器执行图1方法实施例中的各步骤。
在上述终端设备的实施例中，将整个系统中的数据表进行同构化，针对所有业务需求，预先生成对结构相同的数据表中的同一类数据进行提取的多个脚本模块，并对每个脚本模块生成脚本模块标识；在有数据提取需求时，根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识；从预先生成的脚本模块中，获取至少一个脚本模块标识对应的至少一个目标脚本模块；将至少一个目标脚本模块进行合并得到目标脚本文件；运行目标脚本文件进行数据提取，根据当前业务需求，选取相应脚本模块进行组合，就能快速得到提取当前数据的目标脚本文件，数据提取效率高，成本低。
上述图4的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术和蓝牙(BT)技术等，以促进短程通信。
上述图4中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据提取方法，其特征在于，包括：
根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识；
从预先生成的脚本模块中，获取所述至少一个脚本模块标识对应的至少一个目标脚本模块，其中，每个脚本模块可对结构相同数据表中的同一类数据进行数据提取；
将所述至少一个目标脚本模块进行合并得到目标脚本文件；
运行所述目标脚本文件，以从所述当前业务需求关联的至少一张数据表中进行数据提取；其中，所述至少一张数据表是预先经过同构处理的。
2.根据权利要求1所述的方法，其特征在于，在根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识之前，还包括：
对整个系统的数据表进行同构处理，得到结构相同的数据表；
根据所有业务需求，分别生成可对所述结构相同的数据表中的同一类数据进行数据提取的脚本模块，并为脚本模块分配脚本模块标识；
分别建立各业务需求与其所需脚本模块的脚本模块标识之间的关联关系。
3.根据权利要求2所述的方法，其特征在于，对整个系统的数据表进行同构处理，得到结构相同的数据表，包括以下至少一种操作：
将整个系统的数据表中同一类型的数据表的表名设置为相同表名；
将整个系统的数据表中同一类型的字段的名称设置为相同字段名。
4.根据权利要求3所述的方法，其特征在于，还包括：
根据整个系统的数据表中包含的所有字段名，对每张数据表中缺少的字段名进行补齐，得到包含相同字段名的数据表。
5.根据权利要求1所述的方法，其特征在于，将所述至少一个目标脚本模块进行合并得到目标脚本文件，包括：
将所述至少一个目标脚本模块按顺序写入一个脚本文件中，得到目标脚本文件。
6.根据权利要求1所述的方法，其特征在于，在运行所述目标脚本文件之前，还包括：
根据当前的业务需求，从整个系统的数据表中选择出所述至少一张数据表。
7.根据权利要求6所述的方法，其特征在于，根据当前的业务需求，从整个系统的数据表中选择出所述至少一张数据表，包括：
根据当前的业务需求所携带的机构名称，从整个系统的数据表中选择出所述机构名称下的数据表；和/或
根据当前的业务需求所携带的数据表创建时间，从整个系统的数据表中选择出在所述数据表创建时间创建的数据表。
8.一种数据提取设备，其特征在于，包括：
确定模块，根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识
获取模块，从预先生成的脚本模块中，获取所述至少一个脚本模块标识对应的至少一个目标脚本模块，其中，每个脚本模块可对结构相同数据表中的同一类数据进行数据提取；
合并模块，将所述至少一个目标脚本模块进行合并得到目标脚本文件；
数据提取模块，运行所述目标脚本文件，以从所述当前业务需求关联的至少一张数据表中进行数据提取；其中，所述至少一张数据表是预先经过同构处理的。
9.一种终端设备，其特征在于，包括：一个或多个处理器以及一个或多个存储计算机程序的存储器；
所述一个或多个处理器，用于执行所述计算机程序，以用于：
根据业务需求与脚本模块标识之间的关联关系，确定与当前业务需求关联的至少一个脚本模块标识；
从预先生成的脚本模块中，获取所述至少一个脚本模块标识对应的至少一个目标脚本模块，其中，每个脚本模块可对结构相同数据表中的同一类数据进行数据提取；
将所述至少一个目标脚本模块进行合并得到目标脚本文件；
运行所述目标脚本文件，以从所述当前业务需求关联的至少一张数据表中进行数据提取；其中，所述至少一张数据表是预先经过同构处理的。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求1-7任一所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910361802.8A CN110222104A (zh) | 2019-04-30 | 2019-04-30 | 数据提取方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910361802.8A CN110222104A (zh) | 2019-04-30 | 2019-04-30 | 数据提取方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110222104A true CN110222104A (zh) | 2019-09-10 |
Family
ID=67820411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910361802.8A Pending CN110222104A (zh) | 2019-04-30 | 2019-04-30 | 数据提取方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110222104A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111221518A (zh) * | 2019-11-08 | 2020-06-02 | 深圳市彬讯科技有限公司 | 一种脚本生成方法、装置、设备及计算机存储介质 |
| CN111552730A (zh) * | 2020-04-28 | 2020-08-18 | 杭州数梦工场科技有限公司 | 数据分发方法、装置、电子设备、存储介质 |
| CN112416448A (zh) * | 2020-12-08 | 2021-02-26 | 北京中亦安图科技股份有限公司 | 操作系统信息采集方法及装置 |
| CN112433821A (zh) * | 2020-12-08 | 2021-03-02 | 新华三大数据技术有限公司 | 业务模型的搭建方法、装置、电子设备及介质 |
| CN112884338A (zh) * | 2021-03-05 | 2021-06-01 | 新奥数能科技有限公司 | 业务组件确定方法、装置、可读存储介质及电子设备 |
| CN113449028A (zh) * | 2021-07-06 | 2021-09-28 | 京东科技控股股份有限公司 | 一种数据提取方法、装置、电子设备及存储介质 |
| CN113467825A (zh) * | 2021-06-30 | 2021-10-01 | 完美世界(北京)软件科技发展有限公司 | Ipa数据展示系统及其方法、装置、设备及计算机可读介质 |
| CN114398104A (zh) * | 2022-01-19 | 2022-04-26 | 中国平安人寿保险股份有限公司 | 脚本处理方法、装置、设备及存储介质 |
| CN114398104B (zh) * | 2022-01-19 | 2024-06-04 | 中国平安人寿保险股份有限公司 | 脚本处理方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657430A (zh) * | 2015-01-28 | 2015-05-27 | 武汉烽火众智数字技术有限责任公司 | 一种数据采集的方法和系统 |
| CN106202235A (zh) * | 2016-06-28 | 2016-12-07 | 微梦创科网络科技（中国）有限公司 | 一种数据处理方法及装置 |
| US20170300317A1 (en) * | 2016-03-24 | 2017-10-19 | Knight Point Systems, Inc. | System and method for patching software in a target computer system device |
| CN107870979A (zh) * | 2017-09-30 | 2018-04-03 | 平安科技（深圳）有限公司 | 电子装置、提取数据表的数据的方法及存储介质 |
| CN107908392A (zh) * | 2017-11-13 | 2018-04-13 | 平安科技（深圳）有限公司 | 数据采集工具包定制方法、装置、终端和存储介质 |
-
2019
- 2019-04-30 CN CN201910361802.8A patent/CN110222104A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657430A (zh) * | 2015-01-28 | 2015-05-27 | 武汉烽火众智数字技术有限责任公司 | 一种数据采集的方法和系统 |
| US20170300317A1 (en) * | 2016-03-24 | 2017-10-19 | Knight Point Systems, Inc. | System and method for patching software in a target computer system device |
| CN106202235A (zh) * | 2016-06-28 | 2016-12-07 | 微梦创科网络科技（中国）有限公司 | 一种数据处理方法及装置 |
| CN107870979A (zh) * | 2017-09-30 | 2018-04-03 | 平安科技（深圳）有限公司 | 电子装置、提取数据表的数据的方法及存储介质 |
| CN107908392A (zh) * | 2017-11-13 | 2018-04-13 | 平安科技（深圳）有限公司 | 数据采集工具包定制方法、装置、终端和存储介质 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111221518A (zh) * | 2019-11-08 | 2020-06-02 | 深圳市彬讯科技有限公司 | 一种脚本生成方法、装置、设备及计算机存储介质 |
| CN111552730A (zh) * | 2020-04-28 | 2020-08-18 | 杭州数梦工场科技有限公司 | 数据分发方法、装置、电子设备、存储介质 |
| CN111552730B (zh) * | 2020-04-28 | 2024-01-26 | 杭州数梦工场科技有限公司 | 数据分发方法、装置、电子设备、存储介质 |
| CN112416448A (zh) * | 2020-12-08 | 2021-02-26 | 北京中亦安图科技股份有限公司 | 操作系统信息采集方法及装置 |
| CN112433821A (zh) * | 2020-12-08 | 2021-03-02 | 新华三大数据技术有限公司 | 业务模型的搭建方法、装置、电子设备及介质 |
| CN112433821B (zh) * | 2020-12-08 | 2022-07-29 | 新华三大数据技术有限公司 | 业务模型的搭建方法、装置、电子设备及介质 |
| CN112884338A (zh) * | 2021-03-05 | 2021-06-01 | 新奥数能科技有限公司 | 业务组件确定方法、装置、可读存储介质及电子设备 |
| CN112884338B (zh) * | 2021-03-05 | 2024-03-08 | 新奥数能科技有限公司 | 业务组件确定方法、装置、可读存储介质及电子设备 |
| CN113467825A (zh) * | 2021-06-30 | 2021-10-01 | 完美世界(北京)软件科技发展有限公司 | Ipa数据展示系统及其方法、装置、设备及计算机可读介质 |
| CN113449028A (zh) * | 2021-07-06 | 2021-09-28 | 京东科技控股股份有限公司 | 一种数据提取方法、装置、电子设备及存储介质 |
| CN114398104A (zh) * | 2022-01-19 | 2022-04-26 | 中国平安人寿保险股份有限公司 | 脚本处理方法、装置、设备及存储介质 |
| CN114398104B (zh) * | 2022-01-19 | 2024-06-04 | 中国平安人寿保险股份有限公司 | 脚本处理方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110222104A (zh) | 数据提取方法、设备及存储介质 | |
| Paul et al. | A reactive mitigation approach for managing supply disruption in a three-tier supply chain | |
| US11823072B2 (en) | Customer behavior predictive modeling | |
| US8886654B2 (en) | Infrastructure and architecture for development and execution of predictive models | |
| CN107358247B (zh) | 一种确定流失用户的方法及装置 | |
| US20210049711A1 (en) | Method of automatically transmitting data information and device of automatically transmitting data information | |
| Luo et al. | Resolution-independent modelling of environmental effects in semi-analytic models of galaxy formation that include ram-pressure stripping of both hot and cold gas | |
| CN110020427B (zh) | 策略确定方法和装置 | |
| CN110110592A (zh) | 业务处理方法、模型训练方法、设备及存储介质 | |
| CN116245670B (zh) | 基于双标签模型处理财税数据的方法、装置、介质和设备 | |
| CN108599973A (zh) | 一种日志关联方法、装置及设备 | |
| CN110457182A (zh) | 一种负载均衡集群实例运行指标监控系统 | |
| Carsten et al. | Smart services | |
| CN110930078A (zh) | 一种业务对象识别方法、装置及设备 | |
| CN104376397A (zh) | 一种数据实时分析方法及装置 | |
| CN107018158B (zh) | 一种互联网资源的筛选方法及装置 | |
| CN101697217A (zh) | 生成评估方案的方法及装置 | |
| CN109614548A (zh) | 基于业务用户数变化率的信息展示方法、装置及存储介质 | |
| Longauer et al. | Investigating make-or-buy decisions and the impact of learning-by-doing in the semiconductor industry | |
| CN110263816B (zh) | 一种企业的分类方法以及装置 | |
| CN111949245A (zh) | 一种基于产品模板的金融产品开发方法及装置 | |
| CN112418988A (zh) | 一种订单审批方法、装置以及企业采购管理系统 | |
| CN117270898B (zh) | 一种基于组装的大型软件构造方法、设备及介质 | |
| KR102657201B1 (ko) | 탄소배출 현황 관리 및 탄소배출 현황기반 탄소감축서비스제공기업 매칭 서비스 제공 장치 및 방법 | |
| CN113221167B (zh) | 基于区块链存证的数据处理方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190910 |