CN110275913A - 数据供应方法、装置、及存储介质和电子装置 - Google Patents
数据供应方法、装置、及存储介质和电子装置 Download PDFInfo
- Publication number
- CN110275913A CN110275913A CN201910340491.7A CN201910340491A CN110275913A CN 110275913 A CN110275913 A CN 110275913A CN 201910340491 A CN201910340491 A CN 201910340491A CN 110275913 A CN110275913 A CN 110275913A
- Authority
- CN
- China
- Prior art keywords
- data
- configuration information
- configuration
- pick
- middle database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据供应方法、装置、及存储介质和电子装置,其中,该方法包括:通过Hive库的配置页面获取针对目标业务方数据需求的配置信息,其中,配置信息包括数据抽取配置信息和数据传输配置信息;将配置页面获取到的配置信息存储至中间库;在中间库中读取数据抽取配置信息;根据从中间库中读取出的数据抽取配置信息配置数据抽取工具;利用配置后的数据抽取工具从Hive库中抽取数据,生成目标文件;根据数据传输配置信息将目标文件供应至目标业务方。通过本发明,解决了现有技术中数据供应方法流程繁琐的技术问题。
Description
技术领域
本发明涉及数据处理领域,具体而言,涉及一种数据供应方法、装置、及存储介质和电子装置。
背景技术
为了实现大数据分析、信息共享等需求,需要将数据在不同的系统之间进行传输。在现有技术中,业务方根据自身的数据需求从数据供应方的数据库中抽取需要的数据。由于数据表可能来自于多个数据库,因此,上述技术方案对业务方的用户权限控制比较困难。并且,现有的抽取方式只能按照单表抽取数据,在抽取大批量数据表时需要逐个表生成抽取工具,前期准备过程较繁琐。此外,在数据供应方的数据抽取需要进行安全认证(如Kerberos认证)时,业务方的抽取工具也需要进行相应的认证改造,增加了数据抽取的流程。
针对相关技术中存在的上述问题,目前尚未发现有效的解决方案。
发明内容
本发明实施例提供了一种数据供应方法、装置、及存储介质和电子装置,以至少解决现有技术中数据供应方法流程繁琐的技术问题。
根据本发明的一个实施例,提供了一种数据供应方法,包括:通过Hive库的配置页面获取针对目标业务方数据需求的配置信息,其中,配置信息包括数据抽取配置信息和数据传输配置信息;将配置页面获取到的配置信息存储至中间库;在中间库中读取数据抽取配置信息;根据从中间库中读取出的数据抽取配置信息配置数据抽取工具;利用配置后的数据抽取工具从Hive库中抽取数据,生成目标文件;根据数据传输配置信息将目标文件供应至目标业务方。
进一步地,在根据数据抽取配置信息配置数据抽取工具之前,该方法还包括:将配置页面获取到的配置信息存储至中间库;根据数据抽取配置信息配置数据抽取工具,包括:在中间库中读取数据抽取配置信息;根据从中间库中读取出的数据抽取配置信息配置数据抽取工具。
进一步地,配置页面为Hive库的ODS层配置页面,中间库为SQL数据库,数据抽取工具为第一Kettle组件,在中间库中读取数据抽取配置信息,包括:利用第二Kettle组件在中间库中读取数据抽取配置信息;根据从中间库中读取出的数据抽取配置信息配置数据抽取工具,包括:利用第二Kettle组件根据数据抽取配置信息配置第一Kettle组件。
进一步地,数据抽取配置信息包括待抽取的多个数据表名,利用配置后的数据抽取工具从Hive库中抽取数据,包括:利用第一Kettle组件轮询多个数据表名,其中,第一Kettle组件在每次轮询时与Hive库建立连接,以抽取Hive库中当次轮询的数据表名对应的数据。
进一步地,数据抽取配置信息包括待抽取数据表名、数据脱敏方式、目标文件的字段分隔符、验证文件标识,利用配置后的数据抽取工具从Hive库中抽取数据,生成目标文件,包括:利用数据抽取工具从Hive库中抽取待抽取数据表名对应的数据,并通过数据脱敏方式对待抽取数据表的数据执行脱敏处理,利用目标文件的字段分隔符分隔脱敏处理后的数据中的字段,生成目标文件。
进一步地,数据传输配置信息包括用于登录目标业务方的SFTP服务器的用户名和密码,以及存储路径,根据数据传输配置信息将目标文件供应至目标业务方,包括:利用用户名和密码登录SFTP服务器,并将目标文件发送至SFTP服务器的存储路径。
根据本发明的另一个实施例,提供了一种数据供应装置,该装置包括:获取模块,用于通过Hive库的配置页面获取针对目标业务方数据需求的配置信息,其中,配置信息包括数据抽取配置信息和数据传输配置信息;存储模块,用于将配置页面获取到的配置信息存储至中间库;读取模块,用于在中间库中读取数据抽取配置信息;配置模块,用于根据从中间库中读取出的数据抽取配置信息配置数据抽取工具;生成模块,用于利用配置后的数据抽取工具从Hive库中抽取数据,生成目标文件;传输模块,用于根据数据传输配置信息将目标文件供应至目标业务方。
进一步地,配置页面为Hive库的ODS层配置页面,中间库为SQL数据库,数据抽取工具为第一Kettle组件,读取模块包括:读取单元,用于利用第二Kettle组件在中间库中读取数据抽取配置信息;配置单元还用于利用第二Kettle组件根据数据抽取配置信息配置第一Kettle组件。
进一步地,数据抽取配置信息包括待抽取的多个数据表名,生成模块包括:轮询单元,用于利用第一Kettle组件轮询多个数据表名,其中,第一Kettle组件在每次轮询时与Hive库建立连接,以抽取Hive库中当次轮询的数据表名对应的数据。
进一步地,轮询单元还用于在每次轮询的过程中,在抽取Hive库中当次轮询的数据表名对应的数据之后,根据验证文件标识生成验证文件,其中,验证文件用于指示针对当次轮询的数据抽取已执行,验证文件标识用于标识对应的文件为验证文件。
进一步地,数据抽取配置信息包括待抽取数据表名、数据脱敏方式、目标文件的字段分隔符、验证文件标识,生成模块还用于利用数据抽取工具从Hive库中抽取待抽取数据表名对应的数据,并通过数据脱敏方式对待抽取数据表的数据执行脱敏处理,利用目标文件的字段分隔符分隔脱敏处理后的数据中的字段,生成目标文件。
进一步地,数据传输配置信息包括用于登录目标业务方的SFTP服务器的用户名和密码,以及存储路径,传输模块包括:登录单元,用于利用用户名和密码登录SFTP服务器;发送单元,用于将目标文件发送至SFTP服务器的存储路径。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,通过数据供应方的配置页面获取业务方所需求的配置信息,从而根据一定的流程按照配置信息自动抽取数据,上传至业务方指定的服务器中,无需业务方对抽取工具进行改造以适应数据供应方的安全认证方式,由数据供应方抽取数据提供给业务方,不存在需要对业务方的权限进行设置的问题。在本技术方案中,不同业务方的数据抽取的流程是相同的,均可以采用本技术方案提供的数据供应方法供应数据,仅需根据不同业务方的需求在配置页面中输入配置信息,即可自动的抽取数据供应至业务方,解决了现有技术中数据供应方法流程繁琐的问题,达到了简化数据供应方法流程的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的数据供应方法的流程图;
图2是根据本发明实施例的数据供应装置的示意图;
图3是本发明实施例的一种移动终端的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
实施例1提供了一种数据供应方法,可以运行于计算机设备、服务器、移动终端、手持终端或类似的运算设备之中。运行在不同的运算设备仅是方案在执行主体上的差异,本领域人员可预见在不同运算设备中运行能够产生相同的技术效果。
本发明实施例提供了一种数据供应方法,通过数据供应方的配置页面获取业务方所需求的配置信息,从而根据一定的流程按照配置信息自动抽取数据,上传至业务方指定的服务器中,无需业务方对抽取工具进行改造以适应数据供应方的安全认证方式,由数据供应方抽取数据提供给业务方,不存在需要对业务方的权限进行设置的问题。在本技术方案中,不同业务方的数据抽取的流程是相同的,均可以采用本技术方案提供的数据供应方法供应数据,仅需根据不同业务方的需求在配置页面中输入配置信息,即可自动的抽取数据供应至业务方,解决了现有技术中数据供应方法流程繁琐的问题。
如图1所示,本实施例提供的数据供应方法包括如下步骤:
步骤101,通过Hive库的配置页面获取针对目标业务方数据需求的配置信息,其中,配置信息包括数据抽取配置信息和数据传输配置信息。
本发明实施例中所述的Hive库是指数据供应方的数据库,也即,将Hive数据库中的数据提供给业务方。业务方是接收数据的一方,可以是客户方的任意种类的数据库,具体业务方的配置可以在配置页面中进行配置。
配置页面可以是Hive库的ODS层提供的配置页面,ODS(Operational Data Store)是数据仓库体系结构中的一种操作数据存储结构,支持数据库的存储和查询,并可以在业务系统和数据仓库之间形成一个隔离层,因此,可以实现业务方和数据仓库之间的有效隔离,更好的保护数据安全。
配置页面具体的可以是以web页面、移动终端客户端页面等任意实现方式,配置页面提供有能够接收输入的配置信息的输入框,能够使数据供应方的运营人员、或者业务方输入业务方所需求的配置信息。
配置信息包括数据抽取配置信息,数据抽取配置信息是抽取数据过程中所能够配置的属性信息,例如,数据抽取配置信息可以是数据抽取对象标识(也即业务方所需求的数据,如待抽取的数据表名)、抽取数据过程的配置(如数据脱敏方式等,以便于运营人员对数据抽取过程进行更多的控制)、生成文件的格式(如字段分隔符,验证文件标识等),等等。
除了数据抽取配置信息之外,配置信息还需要包括数据传输配置信息,也即,业务方需要数据供应方将数据上传的路径和方式,在按照数据抽取配置信息抽取数据之后,需要根据数据传输配置信息将抽取出的数据传输至业务方。例如,数据传输配置信息可以包括业务方的SFTP服务器地址和具体的目录路径、登录SFTP服务器的用户名和密码,等等。
此外,作为一种可选的示例,配置信息还可以包括业务方的其它相关信息。如业务方的名称,以标识该配置信息对应的业务方,进而,可以通过业务方的标识来区分不同业务方的配置信息。再如,业务方的其它相关信息还可以是业务方的介绍信息,以便于供应方的运营人员进行查看,等等,不再赘述。
步骤102,将配置页面获取到的配置信息存储至中间库。
可选的,通过配置页面获取的配置信息可以存储在一个中间库中,例如,中间库可以是SQL数据库,使得数据抽取工具可以在中间库中提取配置信息。
步骤103,在中间库中读取数据抽取配置信息。
在配置页面配置好配置信息之后,配置信息被存储至中间库,在数据抽取工具需要执行数据抽取过程时,从中间库中读取配置信息中的数据抽取配置信息,以配置数据抽取工具。
步骤104,根据从中间库中读取出的数据抽取配置信息配置数据抽取工具。
在获取到配置信息中的数据抽取配置信息之后,可以根据数据抽取配置信息配置数据抽取工具。
数据抽取工具用于在数据抽取配置信息所指示的数据抽取对象中抽取数据。数据抽取工具是预先编辑好的、能够实现自动抽取数据流程的工具,可以通过现有的工具实现,例如,通过Kettle的Job脚本文件可以实现数据抽取过程,具体的在数据抽取时,根据数据抽取配置信息配置对应的Kettle组件。
步骤105,利用配置后的数据抽取工具从Hive库中抽取数据,生成目标文件。
数据抽取配置信息中至少包括在Hive库中待抽取的数据对象的标识(如待抽取的多个数据表的表名),数据抽取工具从Hive库中抽取出数据抽取配置信息所指示抽取的数据,写入到文件中,生成目标文件。
目标文件是抽取后的数据的承载方式,目标文件的相关属性可以在配置页面中被配置,例如,目标文件的格式可以是.txt文件,如果用户未手动的输入或选择配置,则可以按照默认的配置将抽取的数据写入到文件中,生成目标文件。此外,数据抽取配置信息还可以包括目标文件的字段分隔符,例如,规定字符串“%*#”作为目标文件中的每个字段的分隔符,相应的,在将Hive库中抽取出的数据写入到目标文件中时,在每个字段后面加入数据抽取配置信息中所定义的字段分隔符。
作为一种可选的实施方式,可以采用SQL数据库作为中间库存储通过配置页面获取的配置信息,并通过Kettle组件实现数据抽取,也即,采用第一Kettle组件作为数据抽取工具。Kettle是一种数据仓库技术(Extract-Transform-Load,简称ETL)工具,可以执行从数据来源抽取、对数据进行转换、将数据加载至目标端等操作,Kettle的组件为Job(任务),在Kettle中,用Job来描述对数据的一种操作,类似于Java中的任务。在本示例中,可以利用第二Kettle组件从SQL中间库中读取配置信息,并按照数据抽取配置信息来配置数据抽取工具(第一Kettle组件)。在第二Kettle组件配置完第一Kettle组件之后,由第一Kettle组件来执行从Hive库抽取数据的工作。
上述可选的实施方式的一个示例为,在通过Hive库的ODS层配置页面接收输入的配置信息之后,配置信息被存储至SQL库(中间库)中,通过第二Kettle组件在SQL库中读取配置信息,并根据读取的数据抽取配置信息配置第一Kettle组件。
本示例中,数据抽取配置信息中包括在Hive库中待抽取的多个数据表名,相应的,第一Kettle组件从Hive库中抽取数据的过程具体包括:通过第一Kettle组件轮询待抽取的多个数据表名,每次对一个数据表名进行数据抽取,在每次数据抽取时,与Hive库建立一次连接。可选的,待抽取的多个数据表名也可以是以Schema的形式定义的,在实现时,通过第一Kettle组件轮询Schema下的每一个数据表即可。
步骤106,根据数据传输配置信息将目标文件供应至目标业务方。
在数据抽取完毕并写入到目标文件中之后,将目标文件供应至数据传输配置信息中定义的位置,例如,目标业务方的SFTP服务器,或者其它终端或服务器。
可选的,在数据传输配置信息包括用于登录目标业务方的SFTP服务器的用户名和密码,以及存储路径的情况下,根据数据传输配置信息将目标文件供应至目标业务方,包括:
利用用户名和密码登录SFTP服务器,并将目标文件发送至SFTP服务器的存储路径。
在本实施例中,还提供一种可选的实施方式,即,配置页面可以接收对验证文件标识的配置,验证文件标识是一种数据抽取配置信息。要说明验证文件标识,首先说明验证文件,验证文件是用于使业务方确定一部分数据抽取任务(例如,一个数据表或一组数据表,其中,在通过Kettle组件抽取数据时,可以以Kettle工具中的任务Job对数据表分组,一个Job即为一个任务,在一个Job中,可以执行抽取一个或多个数据表)已被执行的标志性文件。由于数据抽取的流程是固定的,数据供应方通过数据抽取工具在每执行完一部分数据抽取任务之后,都可以生成一个验证文件,并上传到业务方的SFTP服务器的指定目录中,以表示完成了这部分的数据抽取任务。业务方如果在预先指定的目录中查找到验证文件,则可以确定对应的这部分数据抽取任务已经执行完毕。为了标识文件是验证文件,可以采用一定的标识来表示,例如,验证文件标识可以是通过文件的后缀表示,如采用.OK,.done的文件后缀来表示该文件是验证文件。
可选的,在数据抽取配置信息包括待抽取数据表名、数据脱敏方式、目标文件的字段分隔符、验证文件标识的情况下,利用数据抽取工具从Hive库中抽取待抽取数据表名对应的数据,并通过数据脱敏方式对待抽取数据表的数据执行脱敏处理,利用目标文件的字段分隔符分隔脱敏处理后的数据中的字段,生成目标文件。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种数据供应装置,该装置用于实现上述实施例1及其优选实施方式,对于本实施例中未详述的术语或实现方式,可参见实施例1中的相关说明,已经进行过说明的不再赘述。
如以下所使用的术语“模块”,是可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可以被构想的。
图2是根据本发明实施例的数据供应装置的示意图,如图2所示,该装置包括获取模块10,存储模块20,配置模块30、生成模块40和传输模块50。
其中,获取模块,用于通过Hive库的配置页面获取针对目标业务方数据需求的配置信息,其中,配置信息包括数据抽取配置信息和数据传输配置信息;存储模块,用于将配置页面获取到的配置信息存储至中间库;读取模块,用于在中间库中读取数据抽取配置信息;配置模块,用于根据从中间库中读取出的数据抽取配置信息配置数据抽取工具;生成模块,用于利用配置后的数据抽取工具从Hive库中抽取数据,生成目标文件;传输模块,用于根据数据传输配置信息将目标文件供应至目标业务方。
可选的,该装置还包括:存储模块,用于在根据数据抽取配置信息配置数据抽取工具之前,将配置页面获取到的配置信息存储至中间库;配置模块包括:读取单元,用于在中间库中读取数据抽取配置信息;配置单元,用于根据从中间库中读取出的数据抽取配置信息配置数据抽取工具。
可选的,配置页面为Hive库的ODS层配置页面,中间库为SQL数据库,数据抽取工具为第一Kettle组件,读取模块包括:读取单元,用于利用第二Kettle组件在中间库中读取数据抽取配置信息;配置单元还用于利用第二Kettle组件根据数据抽取配置信息配置第一Kettle组件。
可选的,数据抽取配置信息包括待抽取的多个数据表名,生成模块包括:轮询单元,用于利用第一Kettle组件轮询多个数据表名,其中,第一Kettle组件在每次轮询时与Hive库建立连接,以抽取Hive库中当次轮询的数据表名对应的数据。
可选的,轮询单元还用于在每次轮询的过程中,在抽取Hive库中当次轮询的数据表名对应的数据之后,根据验证文件标识生成验证文件,其中,验证文件用于指示针对当次轮询的数据抽取已执行,验证文件标识用于标识对应的文件为验证文件。
可选的,数据抽取配置信息包括待抽取数据表名、数据脱敏方式、目标文件的字段分隔符、验证文件标识,生成模块还用于利用数据抽取工具从Hive库中抽取待抽取数据表名对应的数据,并通过数据脱敏方式对待抽取数据表的数据执行脱敏处理,利用目标文件的字段分隔符分隔脱敏处理后的数据中的字段,生成目标文件。
可选的,数据传输配置信息包括用于登录目标业务方的SFTP服务器的用户名和密码,以及存储路径,传输模块包括:登录单元,用于利用用户名和密码登录SFTP服务器;发送单元,用于将目标文件发送至SFTP服务器的存储路径。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
实施例3
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。以电子装置为移动终端为例,图3是本发明实施例的一种移动终端的硬件结构框图。如图3所示,移动终端可以包括一个或多个(图3中仅示出一个)处理器302(处理器302可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器304,可选地,上述移动终端还可以包括用于通信功能的传输设备306以及输入输出设备308。本领域普通技术人员可以理解,图3所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。
存储器304可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的图像的识别方法对应的计算机程序,处理器302通过运行存储在存储器304内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器304可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器304可进一步包括相对于处理器302远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置306用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输装置306包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置306可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据供应方法,其特征在于,包括:
通过Hive库的配置页面获取针对目标业务方数据需求的配置信息,其中,所述配置信息包括数据抽取配置信息和数据传输配置信息;
将所述配置页面获取到的所述配置信息存储至中间库;
在所述中间库中读取所述数据抽取配置信息;
根据从所述中间库中读取出的所述数据抽取配置信息配置数据抽取工具;
利用配置后的所述数据抽取工具从所述Hive库中抽取数据,生成目标文件;
根据所述数据传输配置信息将所述目标文件供应至所述目标业务方。
2.根据权利要求1所述的方法,其特征在于,所述配置页面为所述Hive库的ODS层配置页面,所述中间库为SQL数据库,所述数据抽取工具为第一Kettle组件,
所述在所述中间库中读取所述数据抽取配置信息,包括:利用第二Kettle组件在所述中间库中读取所述数据抽取配置信息;
所述根据从所述中间库中读取出的所述数据抽取配置信息配置所述数据抽取工具,包括:
第二Kettle组件从SQL中间库中读取配置信息,根据数据抽取配置信息来配置第一Kettle组件。
3.根据权利要求2所述的方法,其特征在于,所述数据抽取配置信息包括待抽取的多个数据表名,所述利用配置后的所述数据抽取工具从所述Hive库中抽取数据,包括:
利用所述第一Kettle组件轮询所述多个数据表名,其中,所述第一Kettle组件在每次轮询时与所述Hive库建立连接,以抽取所述Hive库中当次轮询的数据表名对应的数据。
4.根据权利要求3所述的方法,其特征在于,所述数据抽取配置信息中包括验证文件标识,所述利用所述第一Kettle组件轮询所述多个数据表名,包括:
在每次轮询的过程中,在抽取所述Hive库中当次轮询的数据表名对应的数据之后,根据所述验证文件标识生成验证文件,其中,所述验证文件用于指示针对当次轮询的数据抽取已执行,所述验证文件标识用于标识对应的文件为所述验证文件。
5.根据权利要求1所述的方法,其特征在于,所述数据抽取配置信息包括待抽取数据表名、数据脱敏方式、目标文件的字段分隔符、验证文件标识,
所述利用配置后的所述数据抽取工具从所述Hive库中抽取数据,生成目标文件,包括:
利用所述数据抽取工具从所述Hive库中抽取所述待抽取数据表名对应的数据,并通过所述数据脱敏方式对所述待抽取数据表的数据执行脱敏处理,利用所述目标文件的字段分隔符分隔脱敏处理后的数据中的字段,生成所述目标文件。
6.根据权利要求1所述的方法,其特征在于,所述数据传输配置信息包括用于登录所述目标业务方的SFTP服务器的用户名和密码,以及存储路径,
所述根据所述数据传输配置信息将所述目标文件供应至所述目标业务方,包括:
利用所述用户名和密码登录所述SFTP服务器,并将所述目标文件发送至所述SFTP服务器的所述存储路径。
7.一种数据供应装置,其特征在于,所述装置包括:
获取模块,用于通过Hive库的配置页面获取针对目标业务方数据需求的配置信息,其中,所述配置信息包括数据抽取配置信息和数据传输配置信息;
存储模块,用于将所述配置页面获取到的所述配置信息存储至中间库;
读取模块,用于在所述中间库中读取所述数据抽取配置信息;
配置模块,用于根据从所述中间库中读取出的所述数据抽取配置信息配置数据抽取工具;
生成模块,用于利用配置后的所述数据抽取工具从所述Hive库中抽取数据,生成目标文件;
传输模块,用于根据所述数据传输配置信息将所述目标文件供应至所述目标业务方。
8.根据权利要求7所述的装置,其特征在于,所述配置页面为Hive库的ODS层配置页面,所述中间库为SQL数据库,所述数据抽取工具为第一Kettle组件,
所述读取模块包括:读取单元,用于利用第二Kettle组件在目标库中间库中读取数据抽取配置信息;
所述配置模块包括:配置单元,用于利用所述第二Kettle组件根据数据抽取配置信息配置所述第一Kettle组件。
9.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至6任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至6任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910340491.7A CN110275913A (zh) | 2019-04-25 | 2019-04-25 | 数据供应方法、装置、及存储介质和电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910340491.7A CN110275913A (zh) | 2019-04-25 | 2019-04-25 | 数据供应方法、装置、及存储介质和电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110275913A true CN110275913A (zh) | 2019-09-24 |
Family
ID=67959557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910340491.7A Pending CN110275913A (zh) | 2019-04-25 | 2019-04-25 | 数据供应方法、装置、及存储介质和电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110275913A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111241182A (zh) * | 2020-01-19 | 2020-06-05 | 北京奇艺世纪科技有限公司 | 数据处理方法和装置、存储介质和电子装置 |
CN113254535A (zh) * | 2021-06-08 | 2021-08-13 | 成都新潮传媒集团有限公司 | 一种mongodb到mysql的数据同步方法、装置及计算机可读存储介质 |
CN113591147A (zh) * | 2021-07-30 | 2021-11-02 | 平安普惠企业管理有限公司 | 一种数据抽取的方法、装置、计算机设备及存储介质 |
-
2019
- 2019-04-25 CN CN201910340491.7A patent/CN110275913A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111241182A (zh) * | 2020-01-19 | 2020-06-05 | 北京奇艺世纪科技有限公司 | 数据处理方法和装置、存储介质和电子装置 |
CN113254535A (zh) * | 2021-06-08 | 2021-08-13 | 成都新潮传媒集团有限公司 | 一种mongodb到mysql的数据同步方法、装置及计算机可读存储介质 |
CN113591147A (zh) * | 2021-07-30 | 2021-11-02 | 平安普惠企业管理有限公司 | 一种数据抽取的方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110275913A (zh) | 数据供应方法、装置、及存储介质和电子装置 | |
CN109766700A (zh) | 访问文件的控制方法及装置、存储介质、电子装置 | |
CN108933805A (zh) | 一种文件传输方法及系统 | |
CN107211028A (zh) | 对服务控制器的基于音频的发现和连接 | |
CN101711470A (zh) | 一种用于在对等网络上创建共享信息列表的系统和方法 | |
CN103747010B (zh) | 一种通过移动终端控制pc的方法、系统及装置 | |
CN106878204B (zh) | 一种虚拟机的创建方法和装置 | |
CN106528289B (zh) | 资源的操作处理方法及装置 | |
US11201928B2 (en) | Method of referencing a connection session with a wireless communication device in a local area, a system for implementing this method, a method of referencing an application user, a machine-readable medium for implementing this method, as well as a method of collecting data on the wireless communication device user, and a machine-readable medium for implementing this method | |
CN104320397A (zh) | 通过邀请码进入互联网app公共平台的方法及系统 | |
US10037370B2 (en) | Method, a server, a system and a computer program product for copying data from a source server to a target server | |
CN113296859B (zh) | 页面加载方法及装置、存储介质、电子装置 | |
CN109254921A (zh) | 应用版本验证方法、装置、计算机设备以及存储介质 | |
CN105227736B (zh) | 一种预留手机号码的更新方法、装置及系统 | |
CN110855688B (zh) | 一种区块链信息处理方法及相关设备 | |
CN107291486A (zh) | 一种操作系统的安装方法和装置 | |
CN112887451B (zh) | 域名解析方法、装置及计算机设备 | |
CN103685259B (zh) | 账户登录的方法及其装置 | |
CN111131324A (zh) | 业务系统的登陆方法及装置、存储介质、电子装置 | |
EP2690560A2 (en) | Method of benchmarking the behaviour of a replacement information system with the old system | |
CN101873580B (zh) | 业务应用的下载方法及业务应用管理平台系统 | |
CN112650710B (zh) | 数据迁移的发送方法及装置、存储介质、电子装置 | |
CN112766254B (zh) | 凭证信息录入的自动化测试方法及装置 | |
CN109815646A (zh) | 代码管理方法及装置 | |
CN105871749A (zh) | 一种基于路由器的网络访问控制方法、系统及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |