CN107980128B - 数据对接动态管理方法及装置 - Google Patents

数据对接动态管理方法及装置 Download PDF

Info

Publication number
CN107980128B
CN107980128B CN201680025113.4A CN201680025113A CN107980128B CN 107980128 B CN107980128 B CN 107980128B CN 201680025113 A CN201680025113 A CN 201680025113A CN 107980128 B CN107980128 B CN 107980128B
Authority
CN
China
Prior art keywords
target database
data
configuration information
long connection
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680025113.4A
Other languages
English (en)
Other versions
CN107980128A (zh
Inventor
林竞文
林大镰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Liwei Zhilian Technology Co Ltd
Original Assignee
Shenzhen Liwei Zhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Liwei Zhilian Technology Co Ltd filed Critical Shenzhen Liwei Zhilian Technology Co Ltd
Publication of CN107980128A publication Critical patent/CN107980128A/zh
Application granted granted Critical
Publication of CN107980128B publication Critical patent/CN107980128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor

Abstract

一种数据对接动态管理方法及装置,属于数据库技术领域。该方法包括:接收客户端的数据对接需求(S300);配置对接业务配置信息,并保存至数据库单元的配置信息记录表中(S302);根据所述对接业务配置信息创建与每个目标数据库之间的长连接(S304);发送所述对接业务配置信息至目标数据库,以使目标数据库进行预处理操作,并将所述预处理操作的结果数据存储在目标数据库的内存中(S308);接收客户端发出的查询请求(S310);根据所述查询请求从目标数据库的预处理数据中获取相应的结果数据(S312);将获取到的结果数据反馈至客户端(S314)。由此,可以快速实现数据对接以及访问目标数据库进行数据查询。

Description

数据对接动态管理方法及装置
技术领域
本发明涉及数据库技术领域,尤其涉及数据对接动态管理方法及装置。
背景技术
在计算机程序开发过程中,为了保证软件质量,提高软件可靠性、可重用性和可维护性,提高软件的良好用户体验效果,一种切实可行的方法是采用并维护一套或几套通用的应用程序系统并在其基础上根据业务进行不断迭代开发和优化更新。
在以往的数据应用系统开发过程中,面对一些扩展业务需求,特别是需要进行数据对接时,往往需要与从其他厂家的数据库进行交互访问,用于集成业务功能的呈现。但是,各厂家使用的数据库系统大不相同,在现有的业务数据对接模式上,往往忽略了如何高效快速地实现数据对接以及实现数据快速地交互访问,对接交互访问延时以致于应用无法获得良好的用户体验。现有的做法是将开发好的SQL嵌入到自身产品的应用程序系统中,通过开发、调试、编译、发布等一系列动作后最终部署应用,SQL无法预编译,每次执行都需重编译,往往耗时很长。因此,现有的业务数据对接模式无法较好的实现快速、高复用、可延续、易维护性的要求。
发明内容
有鉴于此,本发明的目的在于提供一种数据对接动态管理方法及装置,以解决至少一种上述技术问题。
为实现上述目的,本发明提供一种数据对接动态管理方法,该方法包括步骤:接收客户端的数据对接需求;根据所述数据对接需求配置对接业务配置信息,并保存至数据库单元的配置信息记录表中;根据所述配置信息记录表中的所述对接业务配置信息,创建与每个目标数据库之间的长连接;发送所述对接业务配置信息至目标数据库,以使目标数据库进行预处理操作,并将所述预处理操作的结果数据存储在目标数据库的内存中;接收客户端发出的查询请求;根据所述查询请求从目标数据库的预处理数据中获取相应的结果数据;及将获取到的结果数据反馈至客户端。
可选地,所述配置信息记录表由唯一键值标识ID、目标数据库的长连接信息、目标数据库的长连接个数、目标数据库中预处理SQL脚本信息、实际数据获取SQL脚本信息五个字段构成。
可选地,所述根据所述配置信息记录表中的所述对接业务配置信息,创建与每个目标数据库之间的长连接的步骤具体包括:从所述配置信息记录表中加载所有对接业务配置信息;从加载的对接业务配置信息中获取每个目标数据库对应的长连接信息和长连接个数;根据所述长连接信息和长连接个数,在所述数据库单元与所述目标数据库之间创建对应个数的长连接。
可选地,所述发送所述对接业务配置信息至目标数据库,以使目标数据库进行预处理操作,并将所述预处理操作的结果数据存储在目标数据库的内存中的步骤具体包括:从所述配置信息记录表中获取唯一键值标识ID;根据所述唯一键值标识ID从创建的长连接中选择一空闲中的长连接;根据所述唯一键值标识ID找到所述配置信息记录表中对应的预处理SQL脚本信息;通过所述空闲中的长连接将所述预处理SQL脚本信息发送至目标数据库,以使目标数据库进行预处理操作,得到预处理操作的结果数据并存储在所述目标数据库的内存中。
可选地,所述发送所述对接业务配置信息至目标数据库,以使目标数据库进行预处理操作,并将所述预处理操作的结果数据存储在目标数据库的内存中的步骤之后还包括步骤:定期通过心跳检测对所述预处理操作的结果数据进行更新。
可选地,所述根据所述查询请求从目标数据库的预处理数据中获取相应数据的步骤具体包括:从所述查询请求中获取唯一键值标识ID;根据所述唯一键值标识ID从创建的长连接中选择一空闲中的长连接;根据所述唯一键值标识ID找到所述配置信息记录表中对应的实际数据获取SQL脚本信息;通过所述空闲中的长连接将所述实际数据获取SQL脚本信息发送至目标数据库,以从所述目标数据库的预处理数据中获取相应的结果数据。
为实现上述目的,本发明还提出一种数据对接动态管理装置,该装置包括:接收模块,设置为接收客户端的数据对接需求;配置模块,设置为根据所述数据对接需求配置对接业务配置信息,并保存至数据库单元的配置信息记录表中;对接模块,设置为根据所述配置信息记录表中的所述对接业务配置信息,创建与每个目标数据库之间的长连接;预处理模块,设置为发送所述对接业务配置信息至目标数据库,以使目标数据库进行预处理操作,并将所述预处理操作的结果数据存储在目标数据库的内存中;所述接收模块还设置为接收客户端发出的查询请求;查询模块,设置为根据所述查询请求从目标数据库的预处理数据中获取相应的结果数据;及反馈模块,设置为将获取到的结果数据反馈至客户端。
可选地,所述配置信息记录表由唯一键值标识ID、目标数据库的长连接信息、目标数据库的长连接个数、目标数据库中预处理SQL脚本信息、实际数据获取SQL脚本信息五个字段构成。
可选地,所述对接模块根据所述配置信息记录表中的所述对接业务配置信息,创建与每个目标数据库之间的长连接的过程具体包括:从所述配置信息记录表中加载所有对接业务配置信息;从加载的对接业务配置信息中获取每个目标数据库对应的长连接信息和长连接个数;根据所述长连接信息和长连接个数,在所述数据库单元与所述目标数据库之间创建对应个数的长连接。
可选地,所述预处理模块发送所述对接业务配置信息至目标数据库,以使目标数据库进行预处理操作,并将所述预处理操作的结果数据存储在目标数据库的内存中的过程具体包括:从所述配置信息记录表中获取唯一键值标识ID;根据所述唯一键值标识ID从创建的长连接中选择一空闲中的长连接;根据所述唯一键值标识ID找到所述配置信息记录表中对应的预处理SQL脚本信息;通过所述空闲中的长连接将所述预处理SQL脚本信息发送至目标数据库,以使目标数据库进行预处理操作,得到预处理操作的结果数据并存储在所述目标数据库的内存中。
可选地,所述预处理模块还设置为定期通过心跳检测对所述预处理操作的结果数据进行更新。
可选地,所述查询模块根据所述查询请求从目标数据库的预处理数据中获取相应数据的过程具体包括:从所述查询请求中获取唯一键值标识ID;根据所述唯一键值标识ID从创建的长连接中选择一空闲中的长连接;根据所述唯一键值标识ID找到所述配置信息记录表中对应的实际数据获取SQL脚本信息;通过所述空闲中的长连接将所述实际数据获取SQL脚本信息发送至目标数据库,以从所述目标数据库的预处理数据中获取相应的结果数据。
本发明提出的数据对接动态管理方法及装置,通过设计配置信息记录表将SQL脚本信息填充到该表格,然后将相关的SQL脚本发送至目标数据库创建出数据缓存及更新机制,避免了SQL嵌入应用程序产生的编译及维护难的问题。另外动态实时调整表格内容可以实现对接功能的缓存数据的快速调整与更新。通过实时创建并监控长连接机制,以及通过表格设定的SQL实现预加载及预处理数据,可以实现数据快速交互,避免了在对接获取数据时时延较长的问题。
并且,本发明可以兼容不同类型厂家数据库的数据对接,实现数据对接由数据库中文件访问方式变为内存访问方式,提高应用程序的响应速度。
附图说明
图1为本发明提出的一种数据对接动态管理装置的环境架构图;
图2为本发明第一实施例提出的一种数据对接动态管理装置的模块示意图;
图3为本发明第二实施例提出的一种数据对接动态管理方法的流程图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及工业实用性更加清楚、明白,以下结合附图和实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,是本发明提出的一种数据对接动态管理装置的环境架构图。所述数据对接动态管理装置20应用于数据库服务器2中,所述数据库服务器2中还包括数据库单元40。客户端4与所述数据库服务器2与客户端4和外部的至少一个目标数据库60之间建立数据连接。
所述数据对接动态管理装置20用于对所述数据库服务器2中的数据库单元40与外部的目标数据库60之间的数据对接进行处理。所述客户端4用于向所述数据库服务器2发送数据请求及从所述数据库服务器2中获取数据。
值得注意的是,除了图1所示的环境架构,所述数据对接动态管理装置20还可以位于本地的另一服务器中,该另一服务器与所述数据库服务器2建立数据连接。
第一实施例
如图2所示,本发明第一实施例提出一种数据对接动态管理装置。
在本实施例中,所述数据对接动态管理装置10包括接收模块200、配置模块202、对接模块204、预处理模块206、查询模块208及反馈模块210。
所述接收模块200设置为接收客户端4的数据对接需求。
具体地,所述数据对接需求中至少包括需要进行对接的目标数据库60。
所述配置模块202设置为根据所述数据对接需求配置对接业务配置信息,并保存至数据库单元40的配置信息记录表中。
具体地,所述对接业务配置信息包括:目标数据库60的长连接信息、目标数据库60的长连接个数、目标数据库60中预处理SQL脚本信息、实际数据获取SQL脚本信息。
所述配置信息记录表可以记录所有主流数据库(如Oracle、Sybase、SqlServer、MySQL等)长连接调用的配置信息,其中以每次对接顺序确定唯一键值标识ID,记录每次数据对接需要执行的动作。所述配置信息记录表由唯一键值标识ID、目标数据库60的长连接信息、目标数据库60的长连接个数、目标数据库60中预处理SQL脚本信息、实际数据获取SQL脚本信息五个字段构成。其中,所述唯一键值标识ID字段用于记录每一条对接业务配置信息的唯一标识。所述长连接信息字段用于记录目标数据库60所在的IP、端口、数据库服务名、用户及密码串等信息。所述长连接个数字段用于记录在对接启动时预创建的数据库长连接的个数,后续在进行对接时按所述长连接个数与目标数据库60创建数据库长连接,并定期检测长连接的有效性,以保证长连接实时可用。所述预处理SQL脚本信息字段用于记录所有需要发送到目标数据库60进行预执行的SQL脚本内容,以生成并维护预处理数据。所述实际数据获取SQL脚本信息字段用于记录实时对接交互所需获取或更新数据的SQL语句,通过赋值可以直接得到事先预处理的结果。
每当有新的数据对接业务需求时,配置模块202需要将所述对接业务配置信息整理为一行记录输入至数据库单元40并对应保存至所述配置信息记录表的对应字段中。
所述对接模块204设置为根据所述配置信息记录表中的所述对接业务配置信息,创建与每个目标数据库60之间的长连接。
具体地,对接模块204从所述配置信息记录表中加载所有对接业务配置信息,然后从加载的对接业务配置信息中获取每个目标数据库60对应的长连接信息和长连接个数,并根据所述长连接信息和长连接个数,在所述数据库单元40与所述目标数据库60之间创建对应个数的长连接,称为所述数据库单元40与所述目标数据库60之间的长连接池。
另外,在长连接创建成功后,对接模块204还实时检测每条长连接的状态,当检测到部分长连接被断开时则主动重新创建与目标数据库60的长连接,保持创建的长连接达到对应个数。
所述预处理模块206设置为发送所述对接业务配置信息至目标数据库60,以使目标数据库60进行预处理操作,并将所述预处理操作的结果数据存储在目标数据库60的内存中。
具体地,当所述长连接创建成功后,或者接收到客户端4发出的预处理请求后,预处理模块20从所述配置信息记录表中获取所述唯一键值标识ID,根据所述唯一键值标识ID从创建的长连接中选择一空闲中的长连接,并根据所述唯一键值标识ID找到所述配置信息记录表中对应的预处理SQL脚本信息,通过所述空闲中的长连接将所述预处理SQL脚本信息发送至目标数据库60,在目标数据库60中执行该脚本以进行预处理操作,得到所需查询的内容,将预处理操作的结果数据预加载到目标数据库60的内存中,生成预处理数据的内存表或者内存缓存。所述预处理数据仍保留在目标数据库60,在实际需要时才进行访问获取。
另外,所述预处理模块206还设置为定期通过心跳检测对所述预处理数据进行更新。通过维持所述预处理数据的定期更新,可以保证后续每次需要通过对接的目标数据库60查询数据时,都能获取到最新的数据。
所述接收模块200还设置为接收客户端4发出的查询请求。
具体地,当需要查询目标数据库60中的数据时,客户端4向数据库服务器2发出查询请求。所述查询请求中至少包括所述目标数据库60对应的唯一键值标识ID。
所述查询模块208设置为根据所述查询请求从目标数据库60的预处理数据中获取相应的结果数据。
具体地,查询模块208从所述查询请求中获取所述唯一键值标识ID,然后根据所述查询请求中的所述唯一键值标识ID,从创建的长连接中选择一空闲中的长连接,并根据所述唯一键值标识ID找到所述配置信息记录表中对应的实际数据获取SQL脚本信息,通过所述空闲中的长连接将所述实际数据获取SQL脚本信息发送至目标数据库60,从目标数据库60的实时内存中的预处理数据中获取相应的结果数据。若无空闲中的长连接则提示错误并记录错误。
所述反馈模块210设置为将获取到的结果数据反馈至客户端4。
第二实施例
如图3所示,本发明第二实施例提出一种数据对接动态管理方法。该方法包括以下步骤:
S300,接收客户端的数据对接需求。
具体地,所述数据对接需求中至少包括需要进行对接的目标数据库。
S302,根据所述数据对接需求配置对接业务配置信息,并保存至数据库单元40的配置信息记录表中。
具体地,所述对接业务配置信息包括:目标数据库的长连接信息、目标数据库的长连接个数、目标数据库中预处理SQL脚本信息、实际数据获取SQL脚本信息。
所述配置信息记录表可以记录所有主流数据库(如Oracle、Sybase、SqlServer、MySQL等)长连接调用的配置信息,其中以每次对接顺序确定唯一键值标识ID,记录每次数据对接需要执行的动作。所述配置信息记录表由唯一键值标识ID、目标数据库的长连接信息、目标数据库的长连接个数、目标数据库中预处理SQL脚本信息、实际数据获取SQL脚本信息五个字段构成。其中,所述唯一键值标识ID字段用于记录每一条对接业务配置信息的唯一标识。所述长连接信息字段用于记录目标数据库所在的IP、端口、数据库服务名、用户及密码串等信息。所述长连接个数字段用于记录在对接启动时预创建的数据库长连接的个数,后续在进行对接时按所述长连接个数与目标数据库创建数据库长连接,并定期检测长连接的有效性,以保证长连接实时可用。所述预处理SQL脚本信息字段用于记录所有需要发送到目标数据库进行预执行的SQL脚本内容,以生成并维护预处理数据。所述实际数据获取SQL脚本信息字段用于记录实时对接交互所需获取或更新数据的SQL语句,通过赋值可以直接得到事先预处理的结果。
每当有新的数据对接业务需求时,需要将所述对接业务配置信息整理为一行记录输入至数据库单元并对应保存至所述配置信息记录表的对应字段中。
S304,根据所述配置信息记录表中的所述对接业务配置信息,创建与每个目标数据库之间的长连接。
具体地,从所述配置信息记录表中加载所有对接业务配置信息,然后从加载的对接业务配置信息中获取每个目标数据库对应的长连接信息和长连接个数,并根据所述长连接信息和长连接个数,在所述数据库单元与所述目标数据库之间创建对应个数的长连接,称为所述数据库单元与所述目标数据库之间的长连接池。
另外,在长连接创建成功后,还需要实时检测每条长连接的状态,当检测到部分长连接被断开时则主动重新创建与目标数据库之间的长连接,保持创建的长连接达到所述配置信息记录表中记录的长连接个数。
S308,发送所述对接业务配置信息至目标数据库,以使目标数据库进行预处理操作,并将所述预处理操作的结果数据存储在目标数据库的内存中。
具体地,当所述长连接创建成功后,或者接收到客户端发出的预处理请求后,从所述配置信息记录表中中获取所述唯一键值标识ID,根据所述唯一键值标识ID从创建的长连接中选择一空闲中的长连接,并根据所述唯一键值标识ID找到所述配置信息记录表中对应的预处理SQL脚本信息,通过所述空闲中的长连接将所述预处理SQL脚本信息发送至目标数据库,在目标数据库中执行该脚本以进行预处理操作,得到所需查询的内容,将预处理操作的结果数据预加载到目标数据库的内存中,生成预处理数据的内存表或者内存缓存。所述预处理数据仍保留在目标数据库,在实际需要时才进行访问获取。
另外,在得到所述预处理数据后,还需要定期通过心跳检测对所述预处理数据进行更新。通过维持所述预处理数据的定期更新,可以保证后续每次需要通过对接的目标数据库60查询数据时,都能获取到最新的数据。
S310,接收客户端发出的查询请求。
具体地,当需要查询目标数据库中的数据时,客户端向数据库服务器发出查询请求。所述查询请求中至少包括所述目标数据库对应的唯一键值标识ID。
S312,根据所述查询请求从目标数据库的预处理数据中获取相应的结果数据。
具体地,从所述查询请求中获取所述唯一键值标识ID,然后根据所述查询请求中的所述唯一键值标识ID,从创建的长连接中选择一空闲中的长连接,并根据所述唯一键值标识ID找到所述配置信息记录表中对应的实际数据获取SQL脚本信息,通过所述空闲中的长连接将所述实际数据获取SQL脚本信息发送至目标数据库,从目标数据库的实时内存中的预处理数据中获取相应的结果数据。若无空闲中的长连接则提示错误并记录错误。
S314,将获取到的结果数据反馈至客户端。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件来实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上参照附图说明了本发明的优选实施例,并非因此局限本发明的权利范围。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。另外,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本领域技术人员不脱离本发明的范围和实质,可以有多种变型方案实现本发明,比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进,均应在本发明的权利范围之内。
工业实用性
本发明提出的数据对接动态管理方法及装置,通过设计配置信息记录表将SQL脚本信息填充到该表格,然后将相关的SQL脚本发送至目标数据库创建出数据缓存及更新机制,避免了SQL嵌入应用程序产生的编译及维护难的问题。另外动态实时调整表格内容可以实现对接功能的缓存数据的快速调整与更新。通过实时创建并监控长连接机制,以及通过表格设定的SQL实现预加载及预处理数据,可以实现数据快速交互,避免了在对接获取数据时时延较长的问题。并且,本发明可以兼容不同类型厂家数据库的数据对接,实现数据对接由数据库中文件访问方式变为内存访问方式,提高应用程序的响应速度。因此,具有工业实用性。

Claims (10)

1.一种数据对接动态管理方法,该方法包括步骤:
接收客户端的数据对接需求;
根据所述数据对接需求配置对接业务配置信息,并保存至数据库单元的配置信息记录表中;其中,所述配置信息记录表由唯一键值标识ID、目标数据库的长连接信息、目标数据库的长连接个数、目标数据库中预处理SQL脚本信息、实际数据获取SQL脚本信息五个字段构成;
根据所述配置信息记录表中的所述对接业务配置信息,创建与每个目标数据库之间的长连接;
发送所述对接业务配置信息至目标数据库,以使目标数据库进行预处理操作,并将所述预处理操作的结果数据存储在目标数据库的内存中;
接收客户端发出的查询请求;
根据所述查询请求从目标数据库的预处理数据中获取相应的结果数据;及
将获取到的结果数据反馈至客户端。
2.根据权利要求1所述的数据对接动态管理方法,其中,所述根据所述配置信息记录表中的所述对接业务配置信息,创建与每个目标数据库之间的长连接的步骤具体包括:
从所述配置信息记录表中加载所有对接业务配置信息;
从加载的对接业务配置信息中获取每个目标数据库对应的长连接信息和长连接个数;
根据所述长连接信息和长连接个数,在所述数据库单元与所述目标数据库之间创建对应个数的长连接。
3.根据权利要求1所述的数据对接动态管理方法,其中,所述发送所述对接业务配置信息至目标数据库,以使目标数据库进行预处理操作,并将所述预处理操作的结果数据存储在目标数据库的内存中的步骤具体包括:
从所述配置信息记录表中获取唯一键值标识ID;
根据所述唯一键值标识ID从创建的长连接中选择一空闲中的长连接;
根据所述唯一键值标识ID找到所述配置信息记录表中对应的预处理SQL脚本信息;
通过所述空闲中的长连接将所述预处理SQL脚本信息发送至目标数据库,以使目标数据库进行预处理操作,得到预处理操作的结果数据并存储在所述目标数据库的内存中。
4.根据权利要求1或3所述的数据对接动态管理方法,其中,所述发送所述对接业务配置信息至目标数据库,以使目标数据库进行预处理操作,并将所述预处理操作的结果数据存储在目标数据库的内存中的步骤之后还包括步骤:
定期通过心跳检测对所述预处理操作的结果数据进行更新。
5.根据权利要求1所述的数据对接动态管理方法,其中,所述根据所述查询请求从目标数据库的预处理数据中获取相应数据的步骤具体包括:
从所述查询请求中获取唯一键值标识ID;
根据所述唯一键值标识ID从创建的长连接中选择一空闲中的长连接;
根据所述唯一键值标识ID找到所述配置信息记录表中对应的实际数据获取SQL脚本信息;
通过所述空闲中的长连接将所述实际数据获取SQL脚本信息发送至目标数据库,以从所述目标数据库的预处理数据中获取相应的结果数据。
6.一种数据对接动态管理装置,该装置包括:
接收模块,设置为接收客户端的数据对接需求;
配置模块,设置为根据所述数据对接需求配置对接业务配置信息,并保存至数据库单元的配置信息记录表中;其中,所述配置信息记录表由唯一键值标识ID、目标数据库的长连接信息、目标数据库的长连接个数、目标数据库中预处理SQL脚本信息、实际数据获取SQL脚本信息五个字段构成;
对接模块,设置为根据所述配置信息记录表中的所述对接业务配置信息,创建与每个目标数据库之间的长连接;
预处理模块,设置为发送所述对接业务配置信息至目标数据库,以使目标数据库进行预处理操作,并将所述预处理操作的结果数据存储在目标数据库的内存中;
所述接收模块还设置为接收客户端发出的查询请求;
查询模块,设置为根据所述查询请求从目标数据库的预处理数据中获取相应的结果数据;及
反馈模块,设置为将获取到的结果数据反馈至客户端。
7.根据权利要求6所述的数据对接动态管理装置,其中,所述对接模块根据所述配置信息记录表中的所述对接业务配置信息,创建与每个目标数据库之间的长连接的过程具体包括:
从所述配置信息记录表中加载所有对接业务配置信息;
从加载的对接业务配置信息中获取每个目标数据库对应的长连接信息和长连接个数;
根据所述长连接信息和长连接个数,在所述数据库单元与所述目标数据库之间创建对应个数的长连接。
8.根据权利要求6所述的数据对接动态管理装置,其中,所述预处理模块发送所述对接业务配置信息至目标数据库,以使目标数据库进行预处理操作,并将所述预处理操作的结果数据存储在目标数据库的内存中的过程具体包括:
从所述配置信息记录表中获取唯一键值标识ID;
根据所述唯一键值标识ID从创建的长连接中选择一空闲中的长连接;
根据所述唯一键值标识ID找到所述配置信息记录表中对应的预处理SQL脚本信息;
通过所述空闲中的长连接将所述预处理SQL脚本信息发送至目标数据库,以使目标数据库进行预处理操作,得到预处理操作的结果数据并存储在所述目标数据库的内存中。
9.根据权利要求6或8所述的数据对接动态管理装置,其中,所述预处理模块还设置为定期通过心跳检测对所述预处理操作的结果数据进行更新。
10.根据权利要求8所述的数据对接动态管理装置,其中,所述查询模块根据所述查询请求从目标数据库的预处理数据中获取相应数据的过程具体包括:
从所述查询请求中获取唯一键值标识ID;
根据所述唯一键值标识ID从创建的长连接中选择一空闲中的长连接;
根据所述唯一键值标识ID找到所述配置信息记录表中对应的实际数据获取SQL脚本信息;
通过所述空闲中的长连接将所述实际数据获取SQL脚本信息发送至目标数据库,以从所述目标数据库的预处理数据中获取相应的结果数据。
CN201680025113.4A 2016-11-07 2016-11-07 数据对接动态管理方法及装置 Active CN107980128B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/104839 WO2018082079A1 (zh) 2016-11-07 2016-11-07 数据对接动态管理方法及装置

Publications (2)

Publication Number Publication Date
CN107980128A CN107980128A (zh) 2018-05-01
CN107980128B true CN107980128B (zh) 2019-07-26

Family

ID=62004228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680025113.4A Active CN107980128B (zh) 2016-11-07 2016-11-07 数据对接动态管理方法及装置

Country Status (2)

Country Link
CN (1) CN107980128B (zh)
WO (1) WO2018082079A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846763A (zh) * 2018-06-05 2018-11-20 中国平安人寿保险股份有限公司 核保请求处理方法、装置、计算机设备和存储介质
CN112241418B (zh) * 2019-07-17 2023-04-18 金篆信科有限责任公司 分布式数据库预处理方法及代理层、系统、存储介质
CN112328224B (zh) * 2021-01-06 2021-03-30 广州市玄武无线科技股份有限公司 业务接口的对接方法、装置、存储介质以及电子设备
CN115134400A (zh) * 2022-06-29 2022-09-30 中国工商银行股份有限公司 动态调整长连接数的方法和装置
CN115278138A (zh) * 2022-07-08 2022-11-01 浙江威固信息技术有限责任公司 一种固态硬盘、图像存储设备和远程图像处理配置方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982141A (zh) * 2012-11-20 2013-03-20 北京搜狐新媒体信息技术有限公司 一种实现分布式数据库代理的方法及装置
CN103365929A (zh) * 2012-04-10 2013-10-23 阿里巴巴集团控股有限公司 一种数据库连接的管理方法及系统
CN103699638A (zh) * 2013-12-23 2014-04-02 国云科技股份有限公司 一种基于配置参数实现跨数据库类型同步数据的方法
CN103761140A (zh) * 2013-11-29 2014-04-30 北京中启智源数字信息技术有限责任公司 一种在异构关系型数据库中实现事务处理的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050228765A1 (en) * 2004-01-16 2005-10-13 Taiwan Semiconductor Manufacturing Co. Mechanism for synchronizing manafacturing information systems and document content management systems data
US8868617B2 (en) * 2009-12-23 2014-10-21 International Business Machines Corporation Common connection definitions for database clients
CN102346775A (zh) * 2011-09-26 2012-02-08 苏州博远容天信息科技有限公司 一种基于日志的异构多源数据库同步方法
CN102915377B (zh) * 2012-11-14 2016-08-03 深圳市宏电技术股份有限公司 数据库转换或同步方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103365929A (zh) * 2012-04-10 2013-10-23 阿里巴巴集团控股有限公司 一种数据库连接的管理方法及系统
CN102982141A (zh) * 2012-11-20 2013-03-20 北京搜狐新媒体信息技术有限公司 一种实现分布式数据库代理的方法及装置
CN103761140A (zh) * 2013-11-29 2014-04-30 北京中启智源数字信息技术有限责任公司 一种在异构关系型数据库中实现事务处理的方法
CN103699638A (zh) * 2013-12-23 2014-04-02 国云科技股份有限公司 一种基于配置参数实现跨数据库类型同步数据的方法

Also Published As

Publication number Publication date
CN107980128A (zh) 2018-05-01
WO2018082079A1 (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
CN107980128B (zh) 数据对接动态管理方法及装置
US9898475B1 (en) Tiering with pluggable storage system for parallel query engines
US8959504B2 (en) Update scanning
CN104765840A (zh) 一种大数据分布式存储的方法和装置
CN107528751B (zh) 一种动态分发Zabbix监控数据的系统及其管理方法
US11386402B2 (en) System and method of documenting condition, repair, and overhaul of aircraft parts
CN106168963A (zh) 实时流数据的处理方法、装置及服务器
CN110267077B (zh) 离线缓存方法、装置、终端及可读存储介质
US9158641B2 (en) Cloud auto-test system, method and non-transitory computer readable storage medium of the same
CN109828830B (zh) 用于管理容器的方法和装置
CN114465937A (zh) 网卡测试方法、装置、服务器、介质和计算机程序产品
CN107665224B (zh) 扫描hdfs冷数据的方法、系统和装置
US11604677B2 (en) Data set subscription tracking and termination system
JP2009217395A (ja) 仮想サーバソフトウェア更新システム、仮想サーバソフトウェア更新方法、サーバ、及びサーバ用プログラム
US8725966B2 (en) Generation and update of storage groups constructed from storage devices distributed in storage subsystems
CN107679198B (zh) 信息的查询方法及装置
EP2369492A1 (en) Configuration management device, configuration management program, and method
CN109947578B (zh) 一种系统对接方法及装置
US9747517B2 (en) Image processing apparatus, image processing method and recording medium storing image processing program
CN105988917A (zh) 异常信息获取方法及装置
US8433699B1 (en) Object identity and addressability
Berezovskyi et al. Improving lifecycle query in integrated toolchains using linked data and MQTT-based data warehousing
CN117234545B (zh) 应用程序安装方法、装置、终端设备以及存储介质
US11651024B2 (en) Automated part-information gathering and tracking
CN116737513B (zh) 一种计算机硬件信息获取方法、系统及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 the six level of energy storage building 3099, Keyuan South Road, Nanshan District, Shenzhen, Guangdong.

Applicant after: Shenzhen Liwei Zhilian Technology Co., Ltd.

Address before: 518000 the six level of energy storage building 3099, Keyuan South Road, Nanshan District, Shenzhen, Guangdong.

Applicant before: Shenzhen ZTE NetView Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant