CN118152314A - 一种基于数据采集适配器的数据交互方法、设备及介质 - Google Patents
一种基于数据采集适配器的数据交互方法、设备及介质 Download PDFInfo
- Publication number
- CN118152314A CN118152314A CN202410558325.5A CN202410558325A CN118152314A CN 118152314 A CN118152314 A CN 118152314A CN 202410558325 A CN202410558325 A CN 202410558325A CN 118152314 A CN118152314 A CN 118152314A
- Authority
- CN
- China
- Prior art keywords
- data
- data source
- acquisition adapter
- source
- data interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000009434 installation Methods 0.000 claims abstract description 57
- 238000004806 packaging method and process Methods 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 39
- 238000011161 development Methods 0.000 claims description 35
- 230000006978 adaptation Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 abstract description 9
- 230000006837 decompression Effects 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Stored Programmes (AREA)
Abstract
本申请公开了一种基于数据采集适配器的数据交互方法、设备及介质,涉及电数字数据处理技术领域。方法包括:对数据源进行封装,得到对应的数据源安装包;将数据源安装包存放于配置中心的指定plugin目录中,对指定plugin目录中的数据源安装包进行解压处理;通过配置中心接收用户发布的数据源发布指令,根据数据源发布指令,调用数据采集适配器,对解压处理后的数据源安装包进行动态加载,以实现数据源的安装;将安装完成的数据源上报至配置中心,通过配置中心接收应用程序发送的数据交互需求,根据数据交互需求,从数据采集适配器适配的数据源中,筛选出与数据交互需求相匹配的指定数据源;通过指定数据源,实现数据交互需求所需的数据交互功能。
Description
技术领域
本申请涉及电数字数据处理技术领域,具体涉及一种基于数据采集适配器的数据交互方法、设备及介质。
背景技术
数据采集适配器在数据集成和数据管理过程中发挥着重要作用,它使得数据从不同的来源中变得可访问和可用,为数据分析、报告和决策提供了基础。对于一个大的单体数据采集适配器来说,需要支持适配各种类型的数据源,但是这对于适配器本身的性能和部署都存在很大的挑战。
传统的数据采集适配器中,由数据采集适配器统一提供数据源能力,在初次部署时,已内部集成所有数据源类型。这就必然使得整个装载过程缓慢,整体性能由于多余的功能而有所下降,同时其扩展能力也存在很大的局限性。因此,对数据采集适配器所支持的数据源进行动态装载就显得很有必要,需针对每一种数据治理场景,按照本身所需去动态加载数据源类型。
发明内容
为了解决上述问题,本申请提出了一种基于数据采集适配器的数据交互方法,包括:
确定数据采集适配器需动态装载的数据源,通过预设的开发模式,对所述数据源进行封装,得到对应的数据源安装包;其中,所述开发模式包括插件开发模式和自定义开发模式;
将所述数据源安装包上传至配置中心,并将所述数据源安装包存放于所述配置中心的指定plugin目录中,对所述指定plugin目录中的所述数据源安装包进行解压处理;
通过所述配置中心接收用户发布的数据源发布指令,根据所述数据源发布指令,调用所述数据采集适配器,对解压处理后的所述数据源安装包进行动态加载,以实现所述数据源的安装;
将安装完成的所述数据源上报至所述配置中心,通过所述配置中心接收应用程序发送的数据交互需求,根据所述数据交互需求,从所述数据采集适配器适配的数据源中,筛选出与所述数据交互需求相匹配的指定数据源;
通过所述指定数据源,实现所述数据交互需求所需的数据交互功能。
在本申请的一种实现方式中,通过预设的开发模式,对所述数据源进行封装,得到对应的数据源安装包,具体包括:
通过所述插件开发模式,生成所述数据源对应的插件以及所述插件对应的配置信息,并对所述插件进行编译,以将编译后的所述插件与所述配置信息打包为对应的数据源安装包;其中,所述配置信息包括数据源驱动包和数据源描述信息文件;
或者,通过所述自定义开发模式,按照预设的编译规则,将所述数据源打包为对应的数据源安装包。
在本申请的一种实现方式中,通过所述插件开发模式,生成所述数据源对应的插件以及所述插件对应的配置信息,具体包括:
确定所述数据源对应的支持度;其中,所述支持度用于表示所述数据源所能支持的数据交互功能程度;
基于所述插件开发模式,根据所述数据源对应的支持度,确定所述数据源对应的插件版本;
根据所述插件版本,生成与所述数据源对应支持度相匹配的插件以及所述插件对应的配置信息。
在本申请的一种实现方式中,调用所述数据采集适配器,对解压处理后的所述数据源安装包进行动态加载,以实现所述数据源的安装,具体包括:
调用所述数据采集适配器,通过预设的数据源对应的类加载器,对所述指定plugin目录中经过解压处理后的数据源驱动包进行动态加载,实现对所述数据源驱动包的初始化;
在动态加载过程中,通过所述数据采集适配器读取所述数据源安装包中的数据源描述信息文件,并根据所述数据源描述信息文件,生成对应的数据源描述信息类实例;
将所述数据源描述信息类实例注册到所述数据采集适配器的数据源管理系统中,实现对应数据源的安装。
在本申请的一种实现方式中,根据所述数据交互需求,从所述数据采集适配器适配的数据源中,筛选出与所述数据交互需求相匹配的指定数据源,具体包括:
在所述数据采集适配器中不存在与所述数据交互需求相匹配的指定数据源时,根据所述数据交互需求,确定所述应用程序对应的数据交互场景以及数据交互场景所需数据源对应的目标支持度;
确定所述数据交互场景下实现数据交互功能时,所述数据采集适配器与所述指定数据源之间的目标适配度,根据所述目标适配度,确定与所述数据交互需求相匹配的指定数据源。
在本申请的一种实现方式中,根据所述目标适配度,确定与所述数据交互需求相匹配的指定数据源,具体包括:
将所述目标适配度与预设适配度进行对比,以确定所述目标适配度与所述预设适配度之间的大小关系;
在所述目标适配度大于所述预设适配度的情况下,调用所述数据采集适配器实现对所述指定数据源的安装,并通过所述数据采集适配器,确定与所述数据交互需求相匹配的指定数据源;
在所述目标适配度不大于所述预设适配度的情况下,从所述数据采集适配器适配的数据源中,选取与所述数据交互场景所需数据源相关联的关联数据源,以通过所述关联数据源,确定与所述数据交互需求相匹配的指定数据源。
在本申请的一种实现方式中,从所述数据采集适配器适配的数据源中,选取与所述数据交互场景所需数据源相关联的关联数据源,具体包括:
确定所述数据采集适配器适配的数据源对应的数据交互功能;
将所述数据交互功能与所述数据交互场景所需数据源对应的数据交互功能进行对比,以从所述数据采集适配器适配的数据源中,选取与所述数据源存在重合数据交互功能的目标数据源;
根据所述目标数据源,选取与所述数据交互场景所需数据源相关联的关联数据源。
在本申请的一种实现方式中,根据所述目标数据源,选取与所述数据交互场景所需数据源相关联的关联数据源,具体包括:
针对每个目标数据源,将所述目标数据源对应的支持度与所述目标支持度进行对比,以确定二者之间的大小关系;
在所述目标数据源对应的支持度不小于所述目标支持度的情况下,将所述目标数据源,作为与所述数据交互场景所需数据源相关联的关联数据源。
本申请实施例提供了一种基于数据采集适配器的数据交互设备,所述设备包括:
至少一个处理器;
以及,与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上任一项所述的一种基于数据采集适配器的数据交互方法。
本申请实施例提供了一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
如上任一项所述的一种基于数据采集适配器的数据交互方法。
通过本申请提出的一种基于数据采集适配器的数据交互方法能够带来如下有益效果:
数据采集适配器支持动态装载数据源,不再需要在初次部署时集成所有数据源类型,初始部署时间大大缩短,提高了装载速度。采用动态加载机制,可以方便地为数据采集适配器添加新的数据源类型,而无需修改和重新部署整个适配器,这种灵活性使得适配器能够轻松应对未来可能出现的新数据源类型,增强了其扩展能力。通过配置中心进行数据源的管理工作,实现数据源与数据采集适配器之间的解耦,降低了耦合性,这样在发布新的数据源时无需启停数据采集适配器,只需对数据源安装包进行更新即可,既能够节约资源,又便于管理,同时还可以大大提升数据采集适配器的处理性能。数据源安装包的装载在配置中心的控制下自动进行,无需人工干预,操作更为便利,且能够提高用户体验性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种基于数据采集适配器的数据交互方法的流程示意图;
图2为本申请实施例提供的一种基于数据采集适配器的数据交互设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,常用的数据采集适配器装载发布方式有两种:
第一种方式为通过业务场景的积累,去开发和适配各种数据源类型,各个数据源的和数据采集适配器程序是一体的,发布也是随着数据采集适配器上线发布而同步发布。数据采集适配器是一个单体服务,包含所有已开发的数据源,并且各个数据源和整个数据采集适配器具有相同的生命周期。这种方式存在一定的缺陷,数据采集适配器支持现有的所有数据源类型,会导致资源浪费,并且整个服务较臃肿,影响整体性能,在对数据源类型进行维护时,需要停服维护后进行重新上线,会导致业务中断。并且,数据源的装载和发布过程,都需要手动介入,增加操作难度,影响用户体验,当需要适配新的数据源类型时,需要直接在数据采集适配器上做开发,不容易扩展。
第二种方式为插件化技术应用到数据采集适配器的装载和发布上,将数据源类型和数据采集适配器分离,将数据源类型以插件的形式挂载在数据采集适配器中。在维护数据采集适配器所需数据源类型时,只需要在数据采集适配器中引入对应的插件依赖,然后重新发布,便可以实现按需装载发布数据采集适配器。但是,该种方式对数据源类型进行维护时,需要停服维护后进行重新上线,会导致业务中断,并且整个装载和发布过程,还是需要手动介入,用户体验欠佳。当数据采集适配器需要适配新的数据源类型时,需要引入插件依赖,扩展性虽有所改善,但还是不够自动化。
基于此,本申请实施例利用配置中心进行数据源管理,通过上传数据源安装包的方式将数据源交给配置中心管理,由配置中心实现数据源的上传删除管理,由数据采集适配器实现数据源的动态装载发布和卸载管理,实现数据源的自动化管理,大大降低数据源和数据采集适配器的耦合性,提升整体性能,且功能易于扩展。
以下结合附图,详细说明本申请各实施例提供的技术方案。
如图1所示,本申请实施例提供的一种基于数据采集适配器的数据交互方法,包括:
S101:确定数据采集适配器需动态装载的数据源,通过预设的开发模式,对数据源进行封装,得到对应的数据源安装包;其中,开发模式包括插件开发模式和自定义开发模式。
数据采集适配器是一种用于数据采集的设备或组件,其主要功能是将各种数据源的数据转换为计算机或其他设备可以识别和处理的格式。根据应用场景和使用方式的不同,数据采集适配器有多种类型,包括数据库、API接口、传感器数据、文件等。比如,硬件数据采集适配器通常是一种物理设备,用于收集来自传感器、仪器等外部设备的数据;而网络数据采集适配器则通过网络连接收集来自Web页面、API接口等各种数据源的数据。此外,还有软件数据采集适配器,它们以软件程序的形式在计算机上运行,收集来自数据库、文件、应用程序等的数据。
在明确数据采集适配器需要动态装载哪些数据源后,便需要基于数据源的特点和采集需求,选择适合的开发模式,对数据源进行封装,得到对应的数据源安装包。本申请实施例提供了两种开发模式,分别是插件开发模式和自定义开发模式,插件开发模式是通过开发数据源插件的方式实现数据源的封装,自定义模式则可以根据具体的数据源和需求设计数据采集逻辑,编写专用的数据采集代码,实现数据源的封装。需要说明的是,无论哪种开发模式,均需要满足数据采集适配器提供的统一接口要求。
在一个实施例中,当通过插件开发模式进行数据源封装时,一种类型的数据源对应一个插件,服务器需生成数据源对应的插件以及插件对应的配置信息,并对插件进行编译形成可执行代码,然后将编译后的插件与配置信息打包为对应的数据源安装包。数据源安装包以ZIP文件的形式存在,配置信息包括数据源驱动jar包和数据源描述信息json文件,通过加载数据源安装包能够将插件及其相关配置信息添加到数据采集适配器中,从而实现对特定数据源的支持。当通过自定义开发模式进行数据源封装时,开发方式则更为灵活,服务器可按照预设的编译规则编写数据采集代码,从而将数据源打包为对应的数据源安装包。
需要说明的是,不同数据源的支持度存在不同,支持度用于表示数据源所能支持的数据交互功能程度,比如,某个数据源是否支持特定类型的数据类型、数据格式,在连接数据源时的稳定性以及处理大规模数据时的性能等。由于数据源的支持度会随版本的迭代进行更新,对应开发出的插件版本也需要适应性进行更新,那么,在通过插件开发模式对数据源进行封装时,需要对插件进行版本控制。首先,确定数据源对应的支持度,然后基于插件开发模式,根据该支持度,确定数据源对应的插件版本。比如,数据源为MySQL数据库,数据库新版本引入了新的数据类型、查询语法、存储过程等,将数据源综合评估后得到的当前支持度,与目前正在使用版本的插件对应的数据源支持度进行对比,发现支持度由原本的70%增加到80%,此时,则需要基于当前支持度对插本版本进行更新,进而根据插件版本,生成与数据源对应支持度相匹配的插件以及插件对应的配置信息。
S102:将数据源安装包上传至配置中心,并将数据源安装包存放于配置中心的指定plugin目录中,对指定plugin目录中的数据源安装包进行解压处理。
在本申请实施例中,为了实现数据源与数据采集适配器之间的解耦,由配置中心对数据源进行统一管理,由数据采集适配器实现数据源的动态装载。也就是说,通过数据源安装包将数据源具体细节隐藏起来后,需将数据源安装包上传至配置中心,再由配置中心控制数据采集适配器进行数据源的装载。
配置中心在接收到服务器上传的数据源安装包后,将其存放于用于存放应用程序或浏览器插件的指定plugin目录中。由于数据源安装包以压缩包的形式存在,还需对其进行解压处理。
S103:通过配置中心接收用户发布的数据源发布指令,根据数据源发布指令,调用数据采集适配器,对解压处理后的数据源安装包进行动态加载,以实现数据源的安装。
待配置中心完成对数据源安装包的存储和解压后,配置中心会基于其自身的数据源管理功能,接收用户发布的数据源发布指令,进而根据数据源发布指令,调用数据采集适配器进行数据源的安装。
数据源的安装工作需要基于解压处理后的数据源安装包进行,调用所述数据采集适配器,通过预设的数据源对应的ClassLoader类加载器,对指定plugin目录中经过解压处理后的数据源驱动包进行动态加载,实现对数据源驱动包的初始化。在动态加载过程中,数据采集适配器会读取数据源安装包中的数据源描述信息文件,并根据数据源描述信息文件,生成对应的数据源描述信息类实例,数据源描述信息类实例将用于后续的数据源链接和数据操作。在生成实例后,将数据源描述信息类实例注册到数据采集适配器的数据源管理系统中,实现对应数据源的安装。数据源管理系统可以是一个服务、一个集合或其他形式的存储结构,用于管理可用的数据源,待数据源安装完成后,数据采集适配器便可通过数据源管理系统访问和使用安装完成的数据源。
S104:将安装完成的数据源上报至配置中心,通过配置中心接收应用程序发送的数据交互需求,根据数据交互需求,从数据采集适配器适配的数据源中,筛选出与数据交互需求相匹配的指定数据源。
数据采集适配器在数据源发布完成后,将安装完成后的数据源上报至配置中心。配置中心作为数据源的对外出口,能够告知其他应用程序数据采集适配器支持的数据源类型。当应用程序向配置中心发送数据交互请求后,配置中心会根据接收到的数据交互请求,从数据采集适配器适配的数据源中,筛选出与数据交互请求相匹配的指定数据源。
在一个实施例中,由于数据采集适配器集成的数据源类型是有限的,如果数据采集适配器中不存在与数据交互需求相匹配的指定数据源,此时则需要采用其他方式寻找适配的数据源。每个数据交互需求对应的数据交互场景存在不同,数据交互场景所在应用领域对于数据准确性的要求也会存在不同。比如,如果是面向金融、医学等要求准确性和完整性较高的应用领域,在现有数据源无法满足数据交互需求的情况下,只能通过开发新的数据源来提供数据支撑。而对于要求较低的数据交互场景,比如,获取新闻数据、市场调研数据等,当现有数据源不匹配时,首先可以尝试查找相关数据源,比如第三方数据供应商、社交媒体等,如若相关数据源能够满足数据交互需求,此时则无需装载新的数据源,提高了数据交互效率的同时,也能减少开发成本。
因此,在数据采集适配器中不存在与数据交互需求相匹配的指定数据源的情况下,需根据数据交互需求,确定应用程序对应的数据交互场景以及数据交互场景所需数据源对应的目标支持度,目标支持度指的是满足数据交互需求所需的数据交互功能。在确定出数据交互场景后,需确定数据交互场景下实现数据交互功能时,数据采集适配器与指定数据源之间的目标适配度,目标适配度对不同数据交互场景下所需的数据源适配度最低值进行了限制,只有在满足了该目标适配度的情况下,应用程序才可通过数据采集适配器获取到足够的数据实现数据交互功能。因此,在得到目标适配度后,根据该目标适配度,便能够确定能够确定与数据交互需求相匹配的指定数据源。需要说明的是,目标适配度根据数据交互场景的不同而存在不同,对于数据精度要求较高的数据交互场景,为了保证数据的准确性,目标适配度相对来说会更高一些,具体的数值设置可根据历史数据交互信息来确定。
具体地,在得到目标适配度后,将目标适配度与预先设定的预设适配度进行对比,以确定二者之间的大小关系。预设适配度用于区分数据交互场景对数据源的适配要求高低,当目标适配度大于预设适配度的情况下,说明当前数据交互场景期望要求较高,在不存在相匹配的指定数据源的情况下,只能通过开发新的数据源来满足数据交互需求,此时需调用数据采集适配器实现对指定数据源的安装,并通过数据采集适配器,确定与数据交互需求相匹配的指定数据源。当目标适配度不大于预设适配度的情况下,说明当前数据交互场景需求较低,对数据的准确度并不做强制要求,只需要提供能够反映数据大致情况的数据源即可,因此可从数据采集适配器适配的数据源中,通过数据交互场景所需数据源的关联数据源,来确定数据交互需求所需的指定数据源。
需要说明的是,在选取关联数据源时,需要根据数据源对应的数据交互功能来确定。因为不同的数据源可能提供不同的数据交互功能,包括数据的查询、插入、更新、删除等操作,以及数据的转换、整合、分析等能力,这些功能能够直接影响到数据源是否能满足当前数据交互场景的需求。因此,需确定数据采集适配器适配的数据源对应的数据交互功能,然后将上述数据交互功能与数据交互场景所需数据源对应的数据交互功能进行对比,以从数据采集适配器适配的数据源中,选取与数据源存在重合数据交互功能的目标数据源。这样,根据目标数据源,便可以选取出与数据交互场景所需数据源相关联的关联数据源。
其中,在从目标数据源中选取关联数据源时,需要借助于每个数据源对应的支持度对数据交互功能进行评估。也就是说,需要将上述目标数据源对应的支持度与数据交互场景所需数据源对应的目标支持度进行对比,以确定二者之间的大小关系。对比不同数据源的支持度,便能够确定彼此之间的数据交互功能重合程度,当目标数据源对应的支持度不小于目标支持度的情况下,说明目标数据源能够提供的数据交互功能可以满足数据交互场景所需的数据交互功能,此时,便可将该目标数据源,作为与数据交互场景所需数据源相关联的关联数据源。
S105:通过指定数据源,实现数据交互需求所需的数据交互功能。
从数据采集适配器中查找到适配的指定数据源后,便可基于数据采集适配器提供的一系列API接口或其他形式的交互能力,与数据源进行交互,从而获取到相应数据,实现数据交互需求所需的数据交互功能。
以上为本申请提出的方法实施例。基于同样的思路,本申请的一些实施例还提供了上述方法对应的设备和非易失性计算机存储介质。
图2为本申请实施例提供的一种基于数据采集适配器的数据交互设备的结构示意图。如图2所示,包括:
至少一个处理器;
以及,与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上任一项所述的一种基于数据采集适配器的数据交互方法。
本申请实施例提供了一种非易失性计算机存储介质,存储有计算机可执行指令,计算机可执行指令设置为:
如上任一项所述的一种基于数据采集适配器的数据交互方法。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备和介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例提供的设备和介质与方法是一一对应的,因此,设备和介质也具有与其对应的方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述设备和介质的有益技术效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM) 和/或非易失性内存等形式,如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于数据采集适配器的数据交互方法,其特征在于,所述方法包括:
确定数据采集适配器需动态装载的数据源,通过预设的开发模式,对所述数据源进行封装,得到对应的数据源安装包;其中,所述开发模式包括插件开发模式和自定义开发模式;
将所述数据源安装包上传至配置中心,并将所述数据源安装包存放于所述配置中心的指定plugin目录中,对所述指定plugin目录中的所述数据源安装包进行解压处理;
通过所述配置中心接收用户发布的数据源发布指令,根据所述数据源发布指令,调用所述数据采集适配器,对解压处理后的所述数据源安装包进行动态加载,以实现所述数据源的安装;
将安装完成的所述数据源上报至所述配置中心,通过所述配置中心接收应用程序发送的数据交互需求,根据所述数据交互需求,从所述数据采集适配器适配的数据源中,筛选出与所述数据交互需求相匹配的指定数据源;
通过所述指定数据源,实现所述数据交互需求所需的数据交互功能。
2.根据权利要求1所述的一种基于数据采集适配器的数据交互方法,其特征在于,通过预设的开发模式,对所述数据源进行封装,得到对应的数据源安装包,具体包括:
通过所述插件开发模式,生成所述数据源对应的插件以及所述插件对应的配置信息,并对所述插件进行编译,以将编译后的所述插件与所述配置信息打包为对应的数据源安装包;其中,所述配置信息包括数据源驱动包和数据源描述信息文件;
或者,通过所述自定义开发模式,按照预设的编译规则,将所述数据源打包为对应的数据源安装包。
3.根据权利要求2所述的一种基于数据采集适配器的数据交互方法,其特征在于,通过所述插件开发模式,生成所述数据源对应的插件以及所述插件对应的配置信息,具体包括:
确定所述数据源对应的支持度;其中,所述支持度用于表示所述数据源所能支持的数据交互功能程度;
基于所述插件开发模式,根据所述数据源对应的支持度,确定所述数据源对应的插件版本;
根据所述插件版本,生成与所述数据源对应支持度相匹配的插件以及所述插件对应的配置信息。
4.根据权利要求2所述的一种基于数据采集适配器的数据交互方法,其特征在于,调用所述数据采集适配器,对解压处理后的所述数据源安装包进行动态加载,以实现所述数据源的安装,具体包括:
调用所述数据采集适配器,通过预设的数据源对应的类加载器,对所述指定plugin目录中经过解压处理后的数据源驱动包进行动态加载,实现对所述数据源驱动包的初始化;
在动态加载过程中,通过所述数据采集适配器读取所述数据源安装包中的数据源描述信息文件,并根据所述数据源描述信息文件,生成对应的数据源描述信息类实例;
将所述数据源描述信息类实例注册到所述数据采集适配器的数据源管理系统中,实现对应数据源的安装。
5.根据权利要求1所述的一种基于数据采集适配器的数据交互方法,其特征在于,根据所述数据交互需求,从所述数据采集适配器适配的数据源中,筛选出与所述数据交互需求相匹配的指定数据源,具体包括:
在所述数据采集适配器中不存在与所述数据交互需求相匹配的指定数据源时,根据所述数据交互需求,确定所述应用程序对应的数据交互场景以及数据交互场景所需数据源对应的目标支持度;
确定所述数据交互场景下实现数据交互功能时,所述数据采集适配器与所述指定数据源之间的目标适配度,根据所述目标适配度,确定与所述数据交互需求相匹配的指定数据源。
6.根据权利要求5所述的一种基于数据采集适配器的数据交互方法,其特征在于,根据所述目标适配度,确定与所述数据交互需求相匹配的指定数据源,具体包括:
将所述目标适配度与预设适配度进行对比,以确定所述目标适配度与所述预设适配度之间的大小关系;
在所述目标适配度大于所述预设适配度的情况下,调用所述数据采集适配器实现对所述指定数据源的安装,并通过所述数据采集适配器,确定与所述数据交互需求相匹配的指定数据源;
在所述目标适配度不大于所述预设适配度的情况下,从所述数据采集适配器适配的数据源中,选取与所述数据交互场景所需数据源相关联的关联数据源,以通过所述关联数据源,确定与所述数据交互需求相匹配的指定数据源。
7.根据权利要求6所述的一种基于数据采集适配器的数据交互方法,其特征在于,从所述数据采集适配器适配的数据源中,选取与所述数据交互场景所需数据源相关联的关联数据源,具体包括:
确定所述数据采集适配器适配的数据源对应的数据交互功能;
将所述数据交互功能与所述数据交互场景所需数据源对应的数据交互功能进行对比,以从所述数据采集适配器适配的数据源中,选取与所述数据源存在重合数据交互功能的目标数据源;
根据所述目标数据源,选取与所述数据交互场景所需数据源相关联的关联数据源。
8.根据权利要求7所述的一种基于数据采集适配器的数据交互方法,其特征在于,根据所述目标数据源,选取与所述数据交互场景所需数据源相关联的关联数据源,具体包括:
针对每个目标数据源,将所述目标数据源对应的支持度与所述目标支持度进行对比,以确定二者之间的大小关系;
在所述目标数据源对应的支持度不小于所述目标支持度的情况下,将所述目标数据源,作为与所述数据交互场景所需数据源相关联的关联数据源。
9.一种基于数据采集适配器的数据交互设备,其特征在于,所述设备包括:
至少一个处理器;
以及,与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-8任一项所述的一种基于数据采集适配器的数据交互方法。
10.一种非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令设置为:
如权利要求1-8任一项所述的一种基于数据采集适配器的数据交互方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410558325.5A CN118152314A (zh) | 2024-05-08 | 2024-05-08 | 一种基于数据采集适配器的数据交互方法、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410558325.5A CN118152314A (zh) | 2024-05-08 | 2024-05-08 | 一种基于数据采集适配器的数据交互方法、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118152314A true CN118152314A (zh) | 2024-06-07 |
Family
ID=91288813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410558325.5A Pending CN118152314A (zh) | 2024-05-08 | 2024-05-08 | 一种基于数据采集适配器的数据交互方法、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118152314A (zh) |
-
2024
- 2024-05-08 CN CN202410558325.5A patent/CN118152314A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110098954B (zh) | Hyperledger Fabric网络的创建方法、控制器及存储介质 | |
CN110955431B (zh) | 编译环境的处理方法及装置 | |
US20090037478A1 (en) | Dependency processing of computer files | |
CN111241073B (zh) | 一种数据质量检查方法及装置 | |
CN103186460A (zh) | 一种生成测试用例脚本的方法、装置及系统 | |
CN112947934A (zh) | 一种动态变换业务逻辑的方法、设备及介质 | |
CN102541609A (zh) | 安装程序制作方法、装置及网络设备 | |
CN111552518B (zh) | 一种启动应用的控件加载方法及装置 | |
US20120159515A1 (en) | Sharing object representations | |
CN110895544A (zh) | 一种接口数据处理方法、装置、系统及存储介质 | |
CN116049207A (zh) | 应用程序sql脚本处理方法、装置、处理器及电子设备 | |
CN115344487A (zh) | 一种算法测试方法、装置和存储介质 | |
CN112604273B (zh) | 数据驱动的游戏系统功能加载方法、设备及存储介质 | |
CN112965882A (zh) | 一种数据故障分析的方法及装置 | |
CN112631763A (zh) | 一种主机程序的程序变更方法及装置 | |
KR20180098584A (ko) | App 프로그램 실행 방법 및 장치 | |
CN118152314A (zh) | 一种基于数据采集适配器的数据交互方法、设备及介质 | |
CN110321138B (zh) | 一种程序更新、迁移方法和装置 | |
WO2020020264A1 (en) | Resource Optimization and Reuse in Resource Constrained Environment | |
CN110968339A (zh) | 前端构建工具的方法、装置以及电子设备 | |
CN111338638A (zh) | 实现自动生成嵌入式软件部件之间通信的系统及其方法 | |
CN116382713A (zh) | 构建应用镜像的方法、系统、设备和存储介质 | |
CN114791884A (zh) | 测试环境的构建方法、装置、存储介质及电子设备 | |
CN107291439B (zh) | 一种目标增量数据构建方法及装置 | |
CN112559444A (zh) | Sql文件迁移方法、装置、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |