CN111858668A - 用于sap hana的数据抽取方法及装置 - Google Patents

用于sap hana的数据抽取方法及装置 Download PDF

Info

Publication number
CN111858668A
CN111858668A CN202010617362.0A CN202010617362A CN111858668A CN 111858668 A CN111858668 A CN 111858668A CN 202010617362 A CN202010617362 A CN 202010617362A CN 111858668 A CN111858668 A CN 111858668A
Authority
CN
China
Prior art keywords
database
data
sap
target
target sap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010617362.0A
Other languages
English (en)
Other versions
CN111858668B (zh
Inventor
邢远凯
陈健
张嘉旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Products Information Technology Co ltd
Original Assignee
Zhejiang Products Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Products Information Technology Co ltd filed Critical Zhejiang Products Information Technology Co ltd
Priority to CN202010617362.0A priority Critical patent/CN111858668B/zh
Publication of CN111858668A publication Critical patent/CN111858668A/zh
Application granted granted Critical
Publication of CN111858668B publication Critical patent/CN111858668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明一种用于SAP HANA的数据抽取方法及装置中，通过在SAP HANA的配置文件中配置源数据库信息、目标SAP数据库信息和需抽取数据的表信息；根据所述配置文件配置的源数据库信息，获取所述需抽取数据的表在源数据库中的表结构信息，并拼装为目标SAP数据库中执行的建表语句；根据所述配置文件配置的目标SAP数据库信息，连接目标SAP数据库，并执行所述建表语句在目标SAP数据库中创建空的目标SAP表；根据所述配置文件配置的源数据库信息，从源数据库中将需抽取的数据读取出来并保存；根据所述配置文件配置的目标SAP数据库信息，将保存的数据写入到目标数据库已创建好的所述目标SAP表中。本发明配置简单，易于实现，出现问题时便于后续根据数据中间文件进行排查。

Description

用于SAP HANA的数据抽取方法及装置
技术领域
本发明涉及数据处理技术领域，具体而言，本发明涉及一种用于SAP HANA的数据抽取方法及装置。
背景技术
SAP，为“System Applications and Products”的简称，是SAP公司的产品——企业管理解决方案的软件名称，SAP HANA平台用于提供高性能的数据查询功能，用户可以直接对大量实时业务数据进行查询和分析，现有的SAP HANA平台定时抽取数据时通过SAP数据服务进行抽取，但采用SAP数据服务抽取数据时对SAP配置文件的配置较繁琐，且出现问题时排查难度大，办事效率低。
发明内容
本发明要解决的技术问题是提供一种用于SAP HANA的数据抽取方法及装置，配置简单，且出现问题时便于排查。
为解决上述技术问题，本发明采用如下技术方案：
一种用于SAP HANA的数据抽取方法，其包括：
在SAP HANA的配置文件中配置源数据库信息、目标SAP数据库信息和需抽取数据的表信息；
根据所述配置文件配置的源数据库信息，获取所述需抽取数据的表在源数据库中的表结构信息，并拼装为目标SAP数据库中执行的建表语句；
根据所述配置文件配置的目标SAP数据库信息，连接目标SAP数据库，并执行所述建表语句在目标SAP数据库中创建空的目标SAP表；
根据所述配置文件配置的源数据库信息，从源数据库中将需抽取的数据读取出来并保存；
根据所述配置文件配置的目标SAP数据库信息，将保存的数据写入到目标数据库已创建好的所述目标SAP表中。
其中，读取出来的数据保存在文本文件中。
其中，在SAP HANA的配置文件中还配置数据过滤条件，从源数据库中将需抽取的数据读取出来还包括根据数据过滤条件对需抽取的数据进行过滤。
其中，所述源数据库信息包括：源数据库的IP、源数据库的端口、源数据库的用户名和密码、源数据库的数据库实例。
其中，所述目标SAP数据库信息包括：目标SAP数据库的IP、目标SAP数据库的端口、目标SAP数据库的用户名和密码。
另外，本发明的一种用于SAP HANA的数据抽取装置，其包括：
配置处理模块，用于在SAP HANA的配置文件中配置源数据库信息、目标SAP数据库信息和需抽取数据的表信息；
拼装处理模块，用于根据所述配置文件配置的源数据库信息，获取所述需抽取数据的表在源数据库中的表结构信息，并拼装为目标SAP数据库中执行的建表语句；
创建处理模块，用于根据所述配置文件配置的目标SAP数据库信息，连接目标SAP数据库，并执行所述建表语句在目标SAP数据库中创建空的目标SAP表；
数据读取处理模块，用于根据所述配置文件配置的源数据库信息，从源数据库中将需抽取的数据读取出来并保存；
数据写入处理模块，根据所述配置文件配置的目标SAP数据库信息，将保存的数据写入到目标数据库已创建好的所述目标SAP表中。
其中，数据读取处理模块读取出来的数据保存在文本文件中。
其中，配置处理模块在SAP HANA的配置文件中还配置数据过滤条件，数据读取处理模块从源数据库中将需抽取的数据读取出来还包括根据数据过滤条件对需抽取的数据进行过滤。
其中，所述源数据库信息包括：源数据库的IP、源数据库的端口、源数据库的用户名和密码、源数据库的数据库实例。
其中，所述目标SAP数据库信息包括：目标SAP数据库的IP、目标SAP数据库的端口、目标SAP数据库的用户名和密码。
与现有技术相比，本发明具有以下有益效果：
本发明的用于SAP HANA的数据抽取方法及装置中，通过在SAP HANA的配置文件中配置源数据库信息、目标SAP数据库信息和需抽取数据的表信息；根据所述配置文件配置的源数据库信息，获取所述需抽取数据的表在源数据库中的表结构信息，并拼装为目标SAP数据库中执行的建表语句；根据所述配置文件配置的目标SAP数据库信息，连接目标SAP数据库，并执行所述建表语句在目标SAP数据库中创建空的目标SAP表；根据所述配置文件配置的源数据库信息，从源数据库中将需抽取的数据读取出来并保存；根据所述配置文件配置的目标SAP数据库信息，将保存的数据写入到目标数据库已创建好的所述目标SAP表中。由于在SAP HANA的配置文件中仅需配置源数据库信息、目标SAP数据库信息和需抽取数据的表信息，因此，配置简单，易于实现，另外，将抽取的数据保存为数据中间文件，便于后续根据数据中间文件进行排查。
附图说明
图1是本发明用于SAP HANA的数据抽取方法的一个具体实施例流程图；
图2是本发明用于SAP HANA的数据抽取装置的一个具体实施例组成框图。
具体实施方式
参考图1，该图是本发明用于SAP HANA的数据抽取方法的一个具体实施例流程图，本实施例的方法主要包括如下步骤：
步骤S101，在SAP HANA的配置文件中配置源数据库信息、目标SAP数据库信息和需抽取数据的表信息；具体实现时，所述源数据库信息可包括：源数据库的IP、源数据库的端口、源数据库的用户名和密码、源数据库的数据库实例，所述目标SAP数据库信息包括：目标SAP数据库的IP、目标SAP数据库的端口、目标SAP数据库的用户名和密码，实际中具体的源数据库信息和目标SAP数据库信息可根据实际情况进行调整，这里不做具体限定；
另外，本实施例中需抽取数据的表信息为需抽取的数据的表名，这里也不对需抽取数据的表信息做具体限定，另外，SAP HANA进行统计和分析时，只需指定的数据，因此可对需抽取的数据进行过滤，本实施例中在SAP HANA的配置文件中还配置数据过滤条件以对抽取的数据进行过滤，这里不再赘述；
步骤S102，根据所述配置文件配置的源数据库信息，获取所述需抽取数据的表在源数据库中的表结构信息，并拼装为目标SAP数据库中执行的建表语句；具体实现时，可通过配置文件中的表名读取表中各字段的类型、长度等表结构信息，并通过适当的类型转换，拼装为目标数据库执行的建表语句，这里不再赘述；
步骤S103，根据所述配置文件配置的目标SAP数据库信息，连接目标SAP数据库，并执行所述建表语句在目标SAP数据库中创建空的目标SAP表，具体实现时，将拼装好的建表语句在目标SAP数据库执行，从而将需抽取数据的表在目标数据库中自动创建起来，这里不再赘述；
步骤S104，根据所述配置文件配置的源数据库信息，从源数据库中将需抽取的数据读取出来并保存，具体实现时，读取出来的数据保存进文本文件中，后续进行排查时，只需查看保存的文本文件中的数据中间文件，便于排查，这里不再赘述；
步骤S105，根据所述配置文件配置的目标SAP数据库信息，将保存的数据写入到目标数据库已创建好的所述目标SAP表中，具体实现时，例如，从读取保存数据的文本文件，将读取到的数据写入目标SAP数据库中已创建好的目标SAP表，这里不再赘述。
下面以一个具体的实施例进行说明，将表test_xyk的数据从oracle数据库中抽取到SAP HANA平台中，初始状态SPAHANA平台的数据库中不存在表test_xyk，本实施例中首先将表test_xyk配置进配置文件，配置文件的信息包括：目标SAP数据库的IP，目标SAP数据库的端口，目标SAP数据库的用户名和密码；还有源oracle数据库的IP，源oracle数据库的端口，源oracle数据库的用户名和密码，源oracle数据库的数据库实例；然后根据配置文件先从源oracle数据库中将表text_xyk的数据读取出来保存进tmp.txt的文本文件中；同时也从源oracle数据库中获取text_xyk的表结构信息，例如字段类型及长度，通过类型转换，拼装成目标SAP数据库可执行的建表语句；然后根据配置文件，连接目标SAP数据库，将拼装好的建表语句，在目标SAP数据库中执行，生产空的目标SAP表；再读取之前保存数据的tmp.txt文本文件，将读取到的数据，逐条保存进目标SAP数据库中。
需要说明的，上述实施例中，仅需在SAP HANA的配置文件中配置源数据库信息、目标SAP数据库信息和需抽取数据的表信息，配置简单，易于实现，另外，将抽取的数据保存为数据中间文件，便于后续根据数据中间文件进行排查。
参考图2，该图为本发明用于SAP HANA的数据抽取装置的一个具体实施例组成框图，本实施例的装置主要包括：配置处理模块101、拼装处理模块102、创建处理模块103、数据读取处理模块104和数据写入处理模块105，其中
配置处理模块101，本实施例中配置处理模块101主要用于在SAP HANA的配置文件中配置源数据库信息、目标SAP数据库信息和需抽取数据的表信息，具体实现时，配置的源数据库信息可包括：源数据库的IP、源数据库的端口、源数据库的用户名和密码、源数据库的数据库实例，配置的目标SAP数据库信息包括：目标SAP数据库的IP、目标SAP数据库的端口、目标SAP数据库的用户名和密码，实际中具体的源数据库信息和目标SAP数据库信息可根据实际情况进行调整，这里不做具体限定；
需要说明的，对于只需要指定数据的情况，配置处理模块在SAP HANA的配置文件中还配置数据过滤条件对数据进行过滤；
拼装处理模块102，本实施例中拼装处理模块102主要用于根据所述配置文件配置的源数据库信息，获取所述需抽取数据的表在源数据库中的表结构信息，并拼装为目标SAP数据库中执行的建表语句，具体实现时，可通过配置文件中的表名读取表中各字段的类型、长度等表结构信息，并通过适当的类型转换，拼装为目标数据库执行的建表语句，这里不再赘述；
创建处理模块103，本实施例中创建处理模块103主要用于根据所述配置文件配置的目标SAP数据库信息，连接目标SAP数据库，并执行所述建表语句在目标SAP数据库中创建空的目标SAP表；
数据读取处理模块104，本实施例中数据读取处理模块104主要用于根据所述配置文件配置的源数据库信息，从源数据库中将需抽取的数据读取出来并保存，具体实现时，读取出来的数据保存进文本文件中，后续进行排查时，只需查看保存的文本文件中的数据中间文件，便于排查，这里不再赘述；
对于配置有过滤条件的情况，，数据读取处理模块从源数据库中将需抽取的数据读取出来还包括根据数据过滤条件对需抽取的数据进行过滤。这里不再赘述；
数据写入处理模块105，本实施例中数据写入处理模块105主要根据所述配置文件配置的目标SAP数据库信息，将保存的数据写入到目标数据库已创建好的所述目标SAP表中，具体实现时，例如，从读取保存数据的文本文件，将读取到的数据写入目标SAP数据库中已创建好的目标SAP表，这里不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于SAP HANA的数据抽取方法，其特征在于，包括：
在SAP HANA的配置文件中配置源数据库信息、目标SAP数据库信息和需抽取数据的表信息；
根据所述配置文件配置的源数据库信息，获取所述需抽取数据的表在源数据库中的表结构信息，并拼装为目标SAP数据库中执行的建表语句；
根据所述配置文件配置的目标SAP数据库信息，连接目标SAP数据库，并执行所述建表语句在目标SAP数据库中创建空的目标SAP表；
根据所述配置文件配置的源数据库信息，从源数据库中将需抽取的数据读取出来并保存；
根据所述配置文件配置的目标SAP数据库信息，将保存的数据写入到目标数据库已创建好的所述目标SAP表中。
2.根据权利要求1所述的方法，其特征在于，读取出来的数据保存在文本文件中。
3.根据权利要求1所述的方法，其特征在于，在SAP HANA的配置文件中还配置数据过滤条件，从源数据库中将需抽取的数据读取出来还包括根据数据过滤条件对需抽取的数据进行过滤。
4.根据权利要求1所述的方法，其特征在于，所述源数据库信息包括：源数据库的IP、源数据库的端口、源数据库的用户名和密码、源数据库的数据库实例。
5.根据权利要求1所述的方法，其特征在于，所述目标SAP数据库信息包括：目标SAP数据库的IP、目标SAP数据库的端口、目标SAP数据库的用户名和密码。
6.一种用于SAP HANA的数据抽取装置，其特征在于，包括：
配置处理模块，用于在SAP HANA的配置文件中配置源数据库信息、目标SAP数据库信息和需抽取数据的表信息；
拼装处理模块，用于根据所述配置文件配置的源数据库信息，获取所述需抽取数据的表在源数据库中的表结构信息，并拼装为目标SAP数据库中执行的建表语句；
创建处理模块，用于根据所述配置文件配置的目标SAP数据库信息，连接目标SAP数据库，并执行所述建表语句在目标SAP数据库中创建空的目标SAP表；
数据读取处理模块，用于根据所述配置文件配置的源数据库信息，从源数据库中将需抽取的数据读取出来并保存；
数据写入处理模块，根据所述配置文件配置的目标SAP数据库信息，将保存的数据写入到目标数据库已创建好的所述目标SAP表中。
7.根据权利要求6所述的装置，其特征在于，数据读取处理模块读取出来的数据保存在文本文件中。
8.根据权利要求6所述的装置，其特征在于，配置处理模块在SAP HANA的配置文件中还配置数据过滤条件，数据读取处理模块从源数据库中将需抽取的数据读取出来还包括根据数据过滤条件对需抽取的数据进行过滤。
9.根据权利要求6所述的装置，其特征在于，所述源数据库信息包括：源数据库的IP、源数据库的端口、源数据库的用户名和密码、源数据库的数据库实例。
10.根据权利要求6所述的装置，其特征在于，所述目标SAP数据库信息包括：目标SAP数据库的IP、目标SAP数据库的端口、目标SAP数据库的用户名和密码。
CN202010617362.0A 2020-06-30 2020-06-30 用于sap hana的数据抽取方法及装置 Active CN111858668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010617362.0A CN111858668B (zh) 2020-06-30 2020-06-30 用于sap hana的数据抽取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010617362.0A CN111858668B (zh) 2020-06-30 2020-06-30 用于sap hana的数据抽取方法及装置

Publications (2)

Publication Number Publication Date
CN111858668A true CN111858668A (zh) 2020-10-30
CN111858668B CN111858668B (zh) 2021-05-18

Family

ID=72989428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010617362.0A Active CN111858668B (zh) 2020-06-30 2020-06-30 用于sap hana的数据抽取方法及装置

Country Status (1)

Country Link
CN (1) CN111858668B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156736A (zh) * 2011-04-12 2011-08-17 上海电通信息服务有限公司 Sap系统与sql数据库之间数据传输的方法
CN103914526A (zh) * 2014-03-27 2014-07-09 神华集团有限责任公司 一种用于sap erp系统与oracle erp系统的接口方法和装置
CN106462578A (zh) * 2014-04-01 2017-02-22 华为技术有限公司 数据库条目查询和更新的方法
CN107562931A (zh) * 2017-09-15 2018-01-09 新智云数据服务有限公司 数据抽取系统和数据抽取方法
US20180165367A1 (en) * 2016-12-12 2018-06-14 Sap Se Hyperdata generation in the cloud
CN110991984A (zh) * 2019-11-08 2020-04-10 卡斯柯信号有限公司 基于企业信息化异构系统的数字化经营分析平台及方法
CN111159142A (zh) * 2018-11-07 2020-05-15 马上消费金融股份有限公司 一种数据处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156736A (zh) * 2011-04-12 2011-08-17 上海电通信息服务有限公司 Sap系统与sql数据库之间数据传输的方法
CN103914526A (zh) * 2014-03-27 2014-07-09 神华集团有限责任公司 一种用于sap erp系统与oracle erp系统的接口方法和装置
CN106462578A (zh) * 2014-04-01 2017-02-22 华为技术有限公司 数据库条目查询和更新的方法
US20180165367A1 (en) * 2016-12-12 2018-06-14 Sap Se Hyperdata generation in the cloud
CN107562931A (zh) * 2017-09-15 2018-01-09 新智云数据服务有限公司 数据抽取系统和数据抽取方法
CN111159142A (zh) * 2018-11-07 2020-05-15 马上消费金融股份有限公司 一种数据处理方法及装置
CN110991984A (zh) * 2019-11-08 2020-04-10 卡斯柯信号有限公司 基于企业信息化异构系统的数字化经营分析平台及方法

Also Published As

Publication number Publication date
CN111858668B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN110147411B (zh) 数据同步方法、装置、计算机设备及存储介质
EP3477914B1 (en) Data recovery method and device, and cloud storage system
CN105786998B (zh) 数据库中间件系统及利用其处理数据的方法
US20120323941A1 (en) Processing Queries for Event Data in a Foreign Representation
CN107247811B (zh) 基于Oracle数据库的SQL语句性能优化方法及装置
CN105045817B (zh) 基于事务日志的SQL Server数据库取证分析系统及方法
CN111737227B (zh) 数据修改方法及系统
CN110737594A (zh) 自动生成测试用例的数据库标准符合性测试方法及装置
CN109117377A (zh) 一种基于建表语句的测试数据自动生成方法、装置及设备
CN113364801A (zh) 网络防火墙策略的管理方法、系统、终端设备及存储介质
CN111324480B (zh) 大型主机交易故障定位系统及方法
CN115328928A (zh) kudu表更新方法、装置、设备及存储介质
CN106682210B (zh) 日志文件查询方法及装置
CN110502560A (zh) 一种数据库连接参数封装的方法及服务器
CN111858668B (zh) 用于sap hana的数据抽取方法及装置
CN109902070B (zh) 一种面向WiFi日志数据的解析存储搜索方法
CN107506422A (zh) 一种多数据源的分布式日志处理系统及方法
CN110968592B (zh) 元数据采集方法、装置、计算机设备及计算机可读存储介质
CN106599113A (zh) 用于网管系统海量性能数据的数据库读写方法
CN115757174A (zh) 一种数据库的差异检测方法及装置
CN115878721A (zh) 一种数据同步方法、装置、终端和计算机可读存储介质
CN109614443B (zh) 针对v9.7版本db2数据库的ddl同步方法及设备
CN115048359A (zh) 一种多类型接入数据源的通用数据处理架构设计方法
CN113987764A (zh) 一种基于sca域描述文件的仿真模型构建方法及系统
CN113742145A (zh) 一种测试固态硬盘性能的方法、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310006 room 402, No. 56, Huancheng West Road, Xiacheng District, Hangzhou City, Zhejiang Province

Applicant after: Products Zhongda Digital Technology Co.,Ltd.

Address before: 310006 room 402, No. 56, Huancheng West Road, Xiacheng District, Hangzhou City, Zhejiang Province

Applicant before: Zhejiang Products Information Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant