CN107329989A - 导出数据的方法、装置及系统 - Google Patents

导出数据的方法、装置及系统 Download PDF

Info

Publication number
CN107329989A
CN107329989A CN201710416915.4A CN201710416915A CN107329989A CN 107329989 A CN107329989 A CN 107329989A CN 201710416915 A CN201710416915 A CN 201710416915A CN 107329989 A CN107329989 A CN 107329989A
Authority
CN
China
Prior art keywords
data
server
inquiry system
configuration file
preset configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710416915.4A
Other languages
English (en)
Inventor
吴桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Private Online Polytron Technologies Inc
Original Assignee
Wuxi Private Online Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Private Online Polytron Technologies Inc filed Critical Wuxi Private Online Polytron Technologies Inc
Priority to CN201710416915.4A priority Critical patent/CN107329989A/zh
Publication of CN107329989A publication Critical patent/CN107329989A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles

Abstract

本发明公开了一种导出数据的方法、装置及系统。其中,该方法包括:从查询系统中查找与预设配置文件对应的第一数据;基于预设配置文件对第一数据进行格式转换,并将转换后得到的第二数据发送至服务器。本发明解决了现有技术中由于不同系统的数据格式不统一导致数据的导出效率低的技术问题。

Description

导出数据的方法、装置及系统
技术领域
本发明涉及大数据领域,具体而言,涉及一种导出数据的方法、装置及系统。
背景技术
现代社会是一个信息化的社会,人们在信息化的社会中获取到的数据量通常都比较大,例如,在销售行业中,每天服务器需要处理数以万计的订单量,以及与订单相关的其他数据。通常这些数据一般存储在数据库中,当工作人员需要查询数据库内的数据时,一般是通过服务器来获取数据库中的数据。而由于从数据库中直接提取出的数据的数据格式与服务器能够处理的数据的数据格式是不相同的,因此,在将数据库中的数据导出到服务器中时需要进行数据转换,但现有的导出数据的方法使得数据的导出效率比较低。
针对上述现有技术中由于不同系统的数据格式不统一导致数据的导出效率低的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种导出数据的方法、装置及系统,以至少解决现有技术中由于不同系统的数据格式不统一导致数据的导出效率低的技术问题。
根据本发明实施例的一个方面,提供了一种导出数据的方法,包括:从查询系统中查找与预设配置文件对应的第一数据;基于预设配置文件对第一数据进行格式转换,并将转换后得到的第二数据发送至服务器。
根据本发明实施例的另一方面,还提供了一种导出数据的装置,包括:查询模块,用于从查询系统中查找与预设配置文件对应的第一数据;发送模块,用于基于预设配置文件对第一数据进行格式转换,并将转换后得到的第二数据发送至服务器。
根据本发明实施例的另一方面,还提供了一种导出数据的系统,包括:查询系统,用于存储第一数据;服务器,用于存储与第一数据对应的第二数据;处理器,与查询系统和服务器连接,用于从查询系统中查找与预设配置文件对应的第一数据,基于预设配置文件对第一数据进行格式转化,并将转换后得到的第二数据发送至服务器。
根据本发明实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,其中,程序运行时执行导出数据的方法。
根据本发明实施例的另一方面,还提供了一种处理器,该处理器用于运行程序,其中,程序运行时执行导出数据的方法。
在本发明实施例中,采用基于配置文件为数据格式进行转换的方式,通过从查询系统中查找与预设配置文件对应的第一数据,基于预设配置文件对第一数据进行格式转换,并将转换后得到的第二数据发送至服务器,达到了具有不同数据格式的系统之间进行数据传输的目的,从而实现了提高数据转换效率技术效果,进而解决了现有技术中由于不同系统的数据格式不统一导致数据的导出效率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种导出数据的方法流程图;
图2是根据本发明实施例的一种可选的导出数据的方法流程图;
图3是根据本发明实施例的一种可选的导出数据的方法流程图;
图4是根据本发明实施例的一种可选的查询结果的示意图;
图5是根据本发明实施例的一种可选的导出数据的方法流程图;
图6是根据本发明实施例的一种可选的导出数据的方法流程图;
图7是根据本发明实施例的一种可选的处理器运行的示意图;
图8是根据本发明实施例的一种可选的服务器的界面示意图;
图9是根据本发明实施例的一种导出数据的装置结构示意图;以及
图10是根据本发明实施例的一种导出数据的系统结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
(1)Impala,是为一种查询系统,该查询系统可提供SQL语义,能够查询存储在分布式文件系统中的PB级的大数据。
(2)Elasticsearch,是一个搜索服务器,该搜索服务器提供了一个分布式多用户功能的全文搜索引擎。该服务器可用Java开发。
实施例1
根据本发明实施例,提供了一种导出数据的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的导出数据的方法流程图,如图1所示,该方法包括如下步骤:
步骤S102,从查询系统中查找与预设配置文件对应的第一数据。
需要说明的是,上述查询系统为Impala,上述预设配置文件中包含配置参数,配置参数包括以下至少之一:第一连接参数、第二连接参数、格式转换参数和查询语句,上述第一数据为从查询系统Impala查询到的数据,其中,通过第一连接参数可建立导出处理器与查询系统Impala之间的连接,而通过第二连接参数可建立处理器与服务器之间的连接。
具体的,处理器可对预设配置文件中的配置参数进行设置,还可从预设配置文件中提取配置参数。当处理器根据预设配置文件中的配置参数建立与查询系统Impala和服务器的连接之后,服务器根据预设配置文件中的查询语句查询到符合查询条件的数据,该数据即为上述第一数据。
此处还需要说明的是,上述查询语句可以使用结构化查询语句,此时安装在查询系统Impala上的数据库可以为但不限于Oracle、Sybase、SQL Server、DB2以及Access等可以使用SQL语言的数据库。此外,可以使用Python编程语言使上述处理器对查询系统和服务器进行连接以及数据的导入和导出。
步骤S104,基于预设配置文件对第一数据进行格式转换,并将转换后得到的第二数据发送至服务器。
需要说明的是,上述服务器可以为但不限于Elasticsearch搜索服务器,由于查询系统Impala的数据格式与服务器Elasticsearch的数据格式不统一,因此需要对数据进行格式转换。
具体的,处理器获取预设配置文件中的格式转换语句,并使用格式转换语句将第一数据的数据格式转换成第二数据的数据格式,在完成数据格式转换之后,将第二数据发送至服务器。其中,第二数据与第一数据一一对应,在进行数据格式转换的过程中,还对部分数据进行了处理,例如,更改数值型数据的显示精度、对数值型数据进行运算处理等。
还需要说明的是,预设配置文件中的格式转换语句包含字段名、目标字段类型以及目标字段格式,其中,字段名为对数据库中的该字段对应的所有数据进行格式转换,目标字段类型即为该字段在服务器中的类型(例如,时间戳),目标字段格式即为查询系统中的数据转换后的数据格式(例如,时间格式)。
此外,还需要说明的是,由于通过预设配置文件对参数进行配置比较简单,配置方法灵活,并且由于是通过查询预设配置文件中的配置参数来建立处理器与查询系统以及处理器与服务器之间的连接,并对从查询系统中的数据进行格式转换,因此,提高数据的转换效率。
基于上述步骤S102至步骤S104所公开的方案,可以获知通过从查询系统中查找与预设配置文件对应的第一数据,基于预设配置文件对第一数据进行格式转换,并将转换后得到的第二数据发送至服务器。
容易注意到的是,由于通过预设配置文件对配置参数进行设置的方法比较简单,并且从预设配置文件中读取数据的速度比较快,因此,通过对预设配置文件中的配置参数进行配置,并通过读取预设配置文件中的参数来对查询系统和服务器进行处理,达到了具有不同数据格式的系统之间进行数据传输的目的,从而实现了提高数据转换效率技术效果,进而解决了现有技术中由于不同系统的数据格式不统一导致数据的导出效率低的技术问题。
在一种可选的实施例中,图2示出了一种可选的导出数据的方法流程图,如图2所示,从查询系统中查找与预设配置文件对应的第一数据之前,导出数据的方法还包括如下步骤:
步骤S202,从预设配置文件中提取第一连接参数,其中,第一连接参数包括如下至少之一:查询系统的地址、查询系统的端口、认证方式、数据库名、用户名以及连接超时时限;
步骤S204,根据第一连接参数连接查询系统,其中,在连接查询系统的连接时间小于连接超时时限的情况下,确定成功连接查询系统;
步骤S206,在成功连接查询系统的情况下,根据数据库名连接数据库。
需要说明的是,第一连接参数可以以如下形式存储在预设配置文件中:
Impala:
其中,Host为查询系统的地址,Port为查询系统的端口,Auth为认证方式,Database为数据库名,User为用户名,Timeout为连接超时时限。
具体的,处理器通过查询系统Impala的地址查找到对应的查询系统,然后通过查询系统的端口连理处理器与查询系统Impala之间的连接,在连接之后通过认证方式进行认证,并进行计时。当计时的时间大于连接超时时限时,则确认连接失败,处理器再次进行连接,直到连接的次数大于预设阈值,此时,处理器向工作人员发送故障消息;如果计时时间小于连接超时时限,则确认处理器与查询系统Impala连接成功,此时,处理器根据第一连接参数中的数据库名和用户名连接数据库,在此之后,处理器可根据预设配置文件中的查询语句查询数据库中的数据,得到第一数据。
其中,图3示出了一种可选的导出数据的方法流程图,如图3所示,获取查询系统中的第一数据具体包括如下步骤:
步骤S302,获取配置参数中的查询语句;
步骤S304,根据查询语句从数据库中获取第一数据。
需要说明的是,查询语句可以为SQL语句,其中,查询语句可以以如下形式存储在预设配置文件中:
上述查询语句的含义是,从trans_water这个数据库的表中查询以下字段所对应的数据:_id、id、trans_time、amount、pay_way。其中,每次最多查询5条。
通过上述查询语句对trans_water数据库的表进行查询得到的查询结果如图4所示。
在另一种可选的实施例中,图5示出了一种可选的导出数据的方法流程图,如图5所示,从查询系统中查找与预设配置文件对应的第一数据之前,导出数据的方法还包括如下步骤:
步骤S502,从预设配置文件中提取第二连接参数,其中,第二连接参数包括如下至少之一:服务器的地址、索引名、类型名以及批量同步的数量;
步骤S504,根据第二连接参数连接服务器。
需要说明的是,第二连接参数可以以如下形式存储在预设配置文件中:
Elasticsearch:
其中,Host为服务器的地址,Index为索引名,Doc_type为类型名,Bulk_unit为批量同步的数量。
具体的,处理器通过服务器Elasticsearch的地址查找到对应的服务器Elasticsearch,建立服务器Elasticsearch与处理器之间的连接,在连接之后,获取服务器Elasticsearch的索引名以及类型名,其中,该处理器Elasticsearch可根据索引名和类型名将通过查询系统查询到的数据导出至服务器Elasticsearch中。
此处,需要说明的是,处理器与服务器的连接,以及处理器与查询系统的连接可同时进行。
其中,在处理器与服务器以及处理器与查询系统完成连接之后,如图6所示的一种可选的导出数据的方法流程图,基于配置参数对第一数据进行格式转换,并将转换后得到的第二数据导出至服务器中具体包括如下步骤:
步骤S602,获取第二连接参数中的批量同步的数量;
步骤S604,判断第一数据的条数是否大于批量同步的数量;
步骤S606,在第一数据的条数大于批量同步的数量的情况下,基于格式转换参数将第一数据转换为第二数据;
步骤S608,发送第二数据至服务器。
需要说明的是,格式转换参数可以以如下形式存储在预设配置文件中:
其中,Trans_time为数据格式的转换时间,Type为字段类型,Format为字段格式。
具体的,处理器获取从查询系统中查询到的数据,并判断查询到的数据的条数是否达到第二连接参数中的批量同步的数量,如果查询到的数据的条数已经达到批量转换数据格式的上限,则开始对查询到的数据进行格式转换,并将经过格式转换后的数据同步更新至服务器中。在从查询系统中查询到的数据全部进行格式转换后,处理器结束对服务器的同步更新。
其中,图7为一种可选的处理器运行的示意图,如图7所示。在图7中,ES为Elasticsearch服务器。
在另一种可选的实施例中,处理器对查询到的数据直接进行格式转换,而不对查询到的数据的数据量进行判断。在对查询到的数据进行格式转换得到第二数据之后,再判断进行格式转换后的第二数据的数据量是否达到批量同步的数量,如果第二数据的数据量达到批量同步的数据,再将第二数据发送至服务器。最后,在服务器接收到第二数据之后,服务器的显示界面上第二数据,其中,图8示出了一种可选的服务器的界面示意图。
实施例2
根据本发明实施例,还提供了一种导出数据的装置实施例。
图9是根据本发明实施例的导出数据的装置结构示意图,如图9所示,该装置包括:查询模块901以及发送模块903。
查询模块901,用于从查询系统中查找与预设配置文件对应的第一数据。
需要说明的是,上述查询系统为Impala,上述预设配置文件中包含配置参数,配置参数包括以下至少之一:第一连接参数、第二连接参数、格式转换参数和查询语句,上述第一数据为从查询系统Impala查询到的数据,其中,通过第一连接参数可建立导出处理器与查询系统Impala之间的连接,而通过第二连接参数可建立处理器与服务器之间的连接。
具体的,处理器可对预设配置文件中的配置参数进行设置,还可从预设配置文件中提取配置参数。当处理器根据预设配置文件中的配置参数建立与查询系统Impala和服务器的连接之后,服务器根据预设配置文件中的查询语句查询到符合查询条件的数据,该数据即为上述第一数据。
此处还需要说明的是,上述查询语句可以使用结构化查询语句,此时安装在查询系统Impala上的数据库可以为但不限于Oracle、Sybase、SQL Server、DB2以及Access等可以使用SQL语言的数据库。此外,可以使用Python编程语言使上述处理器对查询系统和服务器进行连接以及数据的导入和导出。
发送模块903,用于基于预设配置文件对第一数据进行格式转换,并将转换后得到的第二数据发送至服务器。
需要说明的是,上述服务器可以为但不限于Elasticsearch搜索服务器,由于查询系统Impala的数据格式与服务器Elasticsearch的数据格式不统一,因此需要对数据进行格式转换。
具体的,处理器获取预设配置文件中的格式转换语句,并使用格式转换语句将第一数据的数据格式转换成第二数据的数据格式,在完成数据格式转换之后,将第二数据发送至服务器。其中,第二数据与第一数据一一对应,在进行数据格式转换的过程中,还对部分数据进行了处理,例如,更改数值型数据的显示精度、对数值型数据进行运算处理等。
还需要说明的是,预设配置文件中的格式转换语句包含字段名、目标字段类型以及目标字段格式,其中,字段名为对数据库中的该字段对应的所有数据进行格式转换,目标字段类型即为该字段在服务器中的类型(例如,时间戳),目标字段格式即为查询系统中的数据转换后的数据格式(例如,时间格式)。
此外,还需要说明的是,由于通过预设配置文件对参数进行配置比较简单,配置方法灵活,并且由于是通过查询预设配置文件中的配置参数来建立处理器与查询系统以及处理器与服务器之间的连接,并对从查询系统中的数据进行格式转换,因此,提高数据的转换效率。
由上可知,通过从查询系统中查找与预设配置文件对应的第一数据,基于预设配置文件对第一数据进行格式转换,并将转换后得到的第二数据发送至服务器。
容易注意到的是,由于通过预设配置文件对配置参数进行设置的方法比较简单,并且从预设配置文件中读取数据的速度比较快,因此,通过对预设配置文件中的配置参数进行配置,并通过读取预设配置文件中的参数来对查询系统和服务器进行处理,达到了具有不同数据格式的系统之间进行数据传输的目的,从而实现了提高数据转换效率技术效果,进而解决了现有技术中由于不同系统的数据格式不统一导致数据的导出效率低的技术问题。
需要说明的是,上述查询模块901以及发送模块903对应于实施例1中的步骤S102至步骤S104,两个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
可选的,导出数据的装置包括:第一提取模块、第一连接模块以及第二连接模块。其中,第一提取模块,用于从预设配置文件中提取第一连接参数,其中,第一连接参数包括如下至少之一:查询系统的地址、查询系统的端口、认证方式、数据库名、用户名以及连接超时时限;第一连接模块,用于根据第一连接参数连接查询系统,其中,在连接查询系统的连接时间小于连接超时时限的情况下,确定成功连接查询系统;第二连接模块,用于在成功连接查询系统的情况下,根据数据库名连接数据库。
需要说明的是,上述第一提取模块、第一连接模块以及第二连接模块对应于实施例1中的步骤S202至步骤S206,三个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
可选的,查询模块包括:第一获取模块以及第二获取模块。其中,第一获取模块,用于获取配置参数中的查询语句;第二获取模块,用于根据查询语句从数据库中获取第一数据。
需要说明的是,上述第一获取模块以及第二获取模块对应于实施例1中的步骤S302至步骤S304,两个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
可选的,导出数据的装置还包括:第二提取模块以及第三连接模块。其中,第二提取模块,用于从预设配置文件中提取第二连接参数,其中,第二连接参数包括如下至少之一:服务器的地址、索引名、类型名以及批量同步的数量;第三连接模块,用于根据第二连接参数连接服务器。
需要说明的是,上述第二提取模块以及第三连接模块对应于实施例1中的步骤S502至步骤S504,两个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
可选的,发送模块包括:第三获取模块、判断模块、转换模块以及发送子模块。其中,第三获取模块,用于获取第二连接参数中的批量同步的数量;判断模块,用于判断第一数据的条数是否大于批量同步的数量;转换模块,用于在第一数据的条数大于批量同步的数量的情况下,基于格式转换参数将第一数据转换为第二数据;发送子模块,用于发送第二数据至服务器。
需要说明的是,上述第三获取模块、判断模块、转换模块以及发送子模块对应于实施例1中的步骤S602至步骤S608,四个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
实施例3
根据本发明实施例,提供了一种导出数据的系统实施例。
图10是根据本发明实施例的导出数据的系统结构示意图,如图10所示,该系统包括:查询系统1001、服务器1003以及处理器1005。
其中,查询系统1001,用于存储第一数据;服务器1003,用于存储与第一数据对应的第二数据;处理器1005,与查询系统和服务器连接,用于从查询系统中查找与预设配置文件对应的第一数据,基于预设配置文件对第一数据进行格式转化,并将转换后得到的第二数据发送至服务器。
需要说明的是,上述查询系统为Impala,上述预设配置文件中包含配置参数,配置参数包括以下至少之一:第一连接参数、第二连接参数、格式转换参数和查询语句,上述第一数据为从查询系统Impala查询到的数据,其中,通过第一连接参数可建立导出处理器与查询系统Impala之间的连接,而通过第二连接参数可建立处理器与服务器之间的连接。此外,上述服务器可以为但不限于Elasticsearch搜索服务器,由于查询系统Impala的数据格式与服务器Elasticsearch的数据格式不统一,因此需要对数据进行格式转换。
具体的,处理器可对预设配置文件中的配置参数进行设置,还可从预设配置文件中提取配置参数。当处理器根据预设配置文件中的配置参数建立与查询系统Impala和服务器的连接之后,服务器根据预设配置文件中的查询语句查询到符合查询条件的数据,该数据即为上述第一数据。处理器获取预设配置文件中的格式转换语句,并使用格式转换语句将第一数据的数据格式转换成第二数据的数据格式,在完成数据格式转换之后,将第二数据发送至服务器。其中,第二数据与第一数据一一对应,在进行数据格式转换的过程中,还对部分数据进行了处理,例如,更改数值型数据的显示精度、对数值型数据进行运算处理等。
需要说明的是,上述查询语句可以使用结构化查询语句,此时安装在查询系统Impala上的数据库可以为但不限于Oracle、Sybase、SQL Server、DB2以及Access等可以使用SQL语言的数据库。此外,可以使用Python编程语言使上述处理器对查询系统和服务器进行连接以及数据的导入和导出。
还需要说明的是,预设配置文件中的格式转换语句包含字段名、目标字段类型以及目标字段格式,其中,字段名为对数据库中的该字段对应的所有数据进行格式转换,目标字段类型即为该字段在服务器中的类型(例如,时间戳),目标字段格式即为查询系统中的数据转换后的数据格式(例如,时间格式)。
此外,还需要说明的是,由于通过预设配置文件对参数进行配置比较简单,配置方法灵活,并且由于是通过查询预设配置文件中的配置参数来建立处理器与查询系统以及处理器与服务器之间的连接,并对从查询系统中的数据进行格式转换,因此,提高数据的转换效率。
由上可知,通过从存储第一数据的查询系统中查找与预设配置文件对应的第一数据,基于预设配置文件对第一数据进行格式转换,并将转换后得到的第二数据发送至服务器,其中,服务器用于存储与第一数据对应的第二数据。
容易注意到的是,由于通过预设配置文件对配置参数进行设置的方法比较简单,并且从预设配置文件中读取数据的速度比较快,因此,通过对预设配置文件中的配置参数进行配置,并通过读取预设配置文件中的参数来对查询系统和服务器进行处理,达到了具有不同数据格式的系统之间进行数据传输的目的,从而实现了提高数据转换效率技术效果,进而解决了现有技术中由于不同系统的数据格式不统一导致数据的导出效率低的技术问题。
可选的,处理器还用于从预设配置文件中提取第一连接参数,其中,第一连接参数包括如下至少之一:查询系统的地址、查询系统的端口、认证方式、数据库名、用户名以及连接超时时限;根据第一连接参数连接查询系统,其中,在连接查询系统的连接时间小于连接超时时限的情况下,确定成功连接查询系统;在成功连接查询系统的情况下,根据数据库名连接数据库。
可选的,处理器还用于获取配置参数中的查询语句;根据查询语句从数据库中获取第一数据。
可选的,处理器还用于从预设配置文件中提取第二连接参数,其中,第二连接参数包括如下至少之一:服务器的地址、索引名、类型名以及批量同步的数量;根据第二连接参数连接服务器。
可选的,处理器还用于获取第二连接参数中的批量同步的数量;判断第一数据的条数是否大于批量同步的数量;在第一数据的条数大于批量同步的数量的情况下,基于格式转换参数将第一数据转换为第二数据;发送第二数据至服务器。
此外,根据本发明实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,其中,程序运行时执行导出数据的方法。
根据本发明实施例的另一方面,还提供了一种处理器,该处理器用于运行程序,其中,程序运行时执行导出数据的方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种导出数据的方法,其特征在于,包括:
从查询系统中查找与预设配置文件对应的第一数据;
基于所述预设配置文件对所述第一数据进行格式转换,并将转换后得到的第二数据发送至服务器。
2.根据权利要求1所述的方法,其特征在于,所述预设配置文件中包含配置参数,其中,所述配置参数包括以下至少之一:第一连接参数、第二连接参数、格式转换参数和查询语句。
3.根据权利要求2所述的方法,其特征在于,从查询系统中查找与预设配置文件对应的第一数据之前,所述方法还包括:
从所述预设配置文件中提取所述第一连接参数,其中,所述第一连接参数包括如下至少之一:所述查询系统的地址、所述查询系统的端口、认证方式、数据库名、用户名以及连接超时时限;
根据所述第一连接参数连接所述查询系统,其中,在连接所述查询系统的连接时间小于连接超时时限的情况下,确定成功连接所述查询系统;
在成功连接所述查询系统的情况下,根据所述数据库名连接数据库。
4.根据权利要求3所述的方法,其特征在于,从查询系统中查找与预设配置文件对应的第一数据包括:
获取所述配置参数中的查询语句;
根据所述查询语句从所述数据库中获取所述第一数据。
5.根据权利要求2所述的方法,其特征在于,从查询系统中查找与预设配置文件对应的第一数据之前,所述方法还包括:
从所述预设配置文件中提取所述第二连接参数,其中,所述第二连接参数包括如下至少之一:所述服务器的地址、索引名、类型名以及批量同步的数量;
根据所述第二连接参数连接所述服务器。
6.根据权利要求5所述的方法,其特征在于,基于所述配置参数对所述第一数据进行格式转换,并将转换后得到的第二数据导出至所述服务器中包括:
获取所述第二连接参数中的批量同步的数量;
判断所述第一数据的条数是否大于所述批量同步的数量;
在所述第一数据的条数大于所述批量同步的数量的情况下,基于所述格式转换参数将所述第一数据转换为所述第二数据;
发送所述第二数据至所述服务器。
7.一种导出数据的装置,其特征在于,包括:
查询模块,用于从查询系统中查找与预设配置文件对应的第一数据;
发送模块,用于基于所述预设配置文件对所述第一数据进行格式转换,并将转换后得到的第二数据发送至服务器。
8.一种导出数据的系统,其特征在于,包括:
查询系统,用于存储第一数据;
服务器,用于存储与所述第一数据对应的第二数据;
处理器,与所述查询系统和所述服务器连接,用于从所述查询系统中查找与预设配置文件对应的第一数据,基于所述预设配置文件对所述第一数据进行格式转化,并将转换后得到的第二数据发送至所述服务器。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至6中任意一项所述的导出数据的方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至6中任意一项所述的导出数据的方法。
CN201710416915.4A 2017-06-05 2017-06-05 导出数据的方法、装置及系统 Pending CN107329989A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710416915.4A CN107329989A (zh) 2017-06-05 2017-06-05 导出数据的方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710416915.4A CN107329989A (zh) 2017-06-05 2017-06-05 导出数据的方法、装置及系统

Publications (1)

Publication Number Publication Date
CN107329989A true CN107329989A (zh) 2017-11-07

Family

ID=60194169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710416915.4A Pending CN107329989A (zh) 2017-06-05 2017-06-05 导出数据的方法、装置及系统

Country Status (1)

Country Link
CN (1) CN107329989A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108478A (zh) * 2018-01-04 2018-06-01 中煤航测遥感集团有限公司 数据格式转换方法、系统及电子设备
CN109492138A (zh) * 2018-10-22 2019-03-19 中国银行股份有限公司 一种数据查询处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5884310A (en) * 1996-06-14 1999-03-16 Electronic Data Systems Corporation Distributed data integration method and system
US20130173529A1 (en) * 2012-01-04 2013-07-04 International Business Machines Corporation Automated data analysis and transformation
CN104317928A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种基于分布式数据库的业务etl方法及系统
CN105389402A (zh) * 2015-12-29 2016-03-09 曙光信息产业(北京)有限公司 一种面向大数据的etl方法和装置
CN106777290A (zh) * 2016-12-29 2017-05-31 中国建设银行股份有限公司 一种导出数据的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5884310A (en) * 1996-06-14 1999-03-16 Electronic Data Systems Corporation Distributed data integration method and system
US20130173529A1 (en) * 2012-01-04 2013-07-04 International Business Machines Corporation Automated data analysis and transformation
CN104317928A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种基于分布式数据库的业务etl方法及系统
CN105389402A (zh) * 2015-12-29 2016-03-09 曙光信息产业(北京)有限公司 一种面向大数据的etl方法和装置
CN106777290A (zh) * 2016-12-29 2017-05-31 中国建设银行股份有限公司 一种导出数据的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108478A (zh) * 2018-01-04 2018-06-01 中煤航测遥感集团有限公司 数据格式转换方法、系统及电子设备
CN109492138A (zh) * 2018-10-22 2019-03-19 中国银行股份有限公司 一种数据查询处理方法及系统

Similar Documents

Publication Publication Date Title
US20180165712A1 (en) Method and apparatus for composing search phrases, distributing ads and searching product information
CN105335402B (zh) 基于静态Cache的搜索方法、索引数据生成方法以及装置
CN103368992A (zh) 一种信息推送方法及装置
CN107515878A (zh) 一种数据索引的管理方法及装置
CN107766393A (zh) 基于数据库的信息处理方法、客户端及服务器
CN110245289A (zh) 一种信息搜索方法以及相关设备
CN110362665A (zh) 一种基于语义相似度的问答系统及方法
CN107832444A (zh) 基于搜索日志的事件发现方法及装置
CN107329989A (zh) 导出数据的方法、装置及系统
CN106933897A (zh) 数据查询方法和装置
CN103870511B (zh) 基于共享内存的信息查询设备及方法
CN104298570B (zh) 数据处理方法和装置
CN104182546B (zh) 数据库的数据查询方法及装置
CN110532273A (zh) 数据表的处理方法及装置、存储介质、电子装置
CN110119396A (zh) 数据管理方法及相关产品
CN111428007B (zh) 基于跨平台的同步推送反馈方法
CN110162769A (zh) 文本主题输出方法和装置、存储介质及电子装置
CN110704486B (zh) 数据处理方法、装置、系统、存储介质和服务器
CN107784588A (zh) 保险用户信息合并方法和装置
CN108241611A (zh) 一种关键词提取方法以及提取设备
CN109313641A (zh) 信息处理系统和方法以及程序
CN108287859A (zh) 一种多媒体信息检索方法及装置
CN104463627B (zh) 数据处理方法和装置
CN106326408A (zh) 一种通过检索和分析生成笔录的方法、系统和终端
CN110472019A (zh) 舆情搜索方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171107

RJ01 Rejection of invention patent application after publication