CN108540574A - 一种多类型数据对接系统及方法 - Google Patents
一种多类型数据对接系统及方法 Download PDFInfo
- Publication number
- CN108540574A CN108540574A CN201810391629.1A CN201810391629A CN108540574A CN 108540574 A CN108540574 A CN 108540574A CN 201810391629 A CN201810391629 A CN 201810391629A CN 108540574 A CN108540574 A CN 108540574A
- Authority
- CN
- China
- Prior art keywords
- data
- access
- access request
- feed end
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0884—Network architectures or network communication protocols for network security for authentication of entities by delegation of authentication, e.g. a proxy authenticates an entity to be authenticated on behalf of this entity vis-à-vis an authentication entity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
Abstract
本发明公开了一种多类型数据对接系统及方法，该系统包括：管理模块设置数据供应端和数据访问端的配置信息，并对数据对接信息进行管理；服务模块生成所述数据供应端的不同类型的数据对应的数据对接协议，对访问请求进行验证，当所述访问请求验证通过后，注册模块根据所述访问请求确定所述代理模块和与所述访问请求对应的数据供应端，代理模块获取与所述访问请求对应的数据供应端的数据对接协议，依据所述数据对接协议访问所述数据供应端获取目标数据；部署模块用于当有新的数据访问端和数据供应端接入时，对所述多类型数据系统进行更新。通过本发明实现了多类型的数据接入及提高了数据对接效率。
Description
技术领域
本发明涉及数据处理技术领域，特别是涉及一种多类型数据对接系统及方法。
背景技术
随着大数据理念的普及，数据积累及服务已经被应用到了各行各业。例如，在商业银行的日常业务拓展中，经常需要从外部机构和公司获取信息。当在办理信贷业务时，需要掌握申请人的公积金缴存情况和纳税情况等，这就需要将外部机构的数据接入到银行系统。可见，如何接入外部不同企业、获取不同数据结构的数据，已成为大数据风控、获取客户和营销的重要组成部分。
但是，现有的外部数据源形式多样、数据类型也不统一，这就使得在数据对接过程中需要的数据接入协议也比较复杂，且对接的网络环境也不相同，如果内部系统针对不同类型的数据分别进行对接工作，需要设计不同的数据接入协议，不仅数据对接过程繁琐，并且投入的成本也较高。
发明内容
针对于上述问题，本发明提供一种多类型数据对接系统及方法，实现了多类型的数据接入及提高了数据对接效率。
为了实现上述目的，根据本发明的第一方面，提供了一种多类型数据对接系统，该系统包括：管理模块、服务模块、注册模块、代理模块和部署模块，其中，
所述管理模块，用于设置数据供应端和数据访问端的配置信息，并对所述数据供应端和所述数据访问端的数据对接信息进行管理；
所述服务模块，用于生成所述数据供应端的不同类型的数据对应的数据对接协议，并接收所述数据访问端的数据对接的访问请求，对所述访问请求进行验证，当所述访问请求验证通过后，将所述访问请求发送至所述注册模块；
所述注册模块，用于根据所述访问请求确定所述代理模块和与所述访问请求对应的数据供应端，并将启动指令发送至所述代理模块；
所述代理模块，用于根据所述启动指令进行启动，并获取与所述访问请求对应的数据供应端的数据对接协议，依据所述数据对接协议访问所述数据供应端获取目标数据，将所述目标数据发送给数据访问端；
所述部署模块，用于当有新的数据访问端和数据供应端接入时，对所述多类型数据系统进行更新。
优选地，所述管理模块包括：
服务注册单元，用于对所述数据供应端的联系信息和数据接口信息进行注册，为所述数据访问端分配数据对接渠道和访问密码，并对所述数据访问端的数据接口信息进行记录；
关系管理单元，用于配置所述数据访问端与所述数据供应端之间的调用关系，并配置所述调用关系的优先级信息；
阀值管理单元，用于设置服务并发管理阀值和数据流量管理阀值，其中，所述数据流量管理阀值包括所述数据供应端的流量管理阀值和所述数据访问端的流量管理阀值；
统计管理单元，用于统计数据对接过程中的调用信息；
监控管理单元，用于监控服务器运行信息、链路信息和报文信息；
预警管理单元，用于根据所述阀值管理单元中设置的阀值，对数据供应端和数据访问端进行检测，当超过所述阀值时，进行预警处理
优选地，所述服务模块包括：
数据标准化单元，用于获取所有所述数据供应端的数据类型，并通过所述数据类型的协议逻辑，生成与各个数据类型对应的数据对接协议；
识别单元，用于当接收到数据访问端的数据对接的访问请求后，对所述访问请求进行解析，获取所述访问请求对应的渠道代码和密钥，并与预设的权限信息进行匹配，若匹配成功，则接受所述访问请求；
计算单元，用于根据所述访问请求，计算该访问请求的数据对接流量信息，并将所述数据对接流量信息与预设的访问流量信息进行比较，对超过预设的访问数据流量信息的数据对接流量信息进行忽略处理。
优选地，所述注册模块包括：
服务注册单元，用于对所述代理模块的服务进行注册，生成注册列表；
指令单元，用于当接收到访问请求后，访问所述注册列表，并根据所述注册列表中已注册的代理模块的负载情况，确定响应所述访问请求的代理模块，将生成的启动指令发送至所述代理模块。
优选地，所述代理模块包括：
协议获取单元，用于分析所述访问请求得到与所述访问请求对应的数据供应端信息获得数据类型，根据所述数据类型调用对应的数据对接协议；
数据获取单元，用于根据所述数据对接协议访问对应的数据供应端，获取所述数据供应端的目标数据，将所述目标数据发送至所述数据访问端；
注册单元，用于将微服务方式注册到所述注册模块。
根据本发明的第二方面，提供了一种多类型数据对接方法，该方法包括：
设置数据供应端和数据访问端的配置信息，并对所述数据供应端和所述数据访问端的数据对接信息进行管理；
生成所述数据供应端的不同类型的数据对应的数据对接协议，并接收所述数据访问端的数据对接的访问请求，对所述访问请求进行验证；
当所述访问请求验证通过后，根据所述访问请求确定所述代理模块和与所述访问请求对应的数据供应端，生成启动指令；
根据所述启动指令进行启动，并获取与所述访问请求对应的数据供应端的数据对接协议，依据所述数据对接协议访问所述数据供应端获取目标数据，将所述目标数据发送给数据访问端；
当有新的数据访问端和数据供应端接入时，进行更新处理。
优选地，所述设置数据供应端和数据访问端的配置信息，并对所述数据供应端和所述数据访问端的数据对接信息进行管理，包括：
对所述数据供应端的联系信息和数据接口信息进行注册，为所述数据访问端分配数据对接渠道和访问密码，并对所述数据访问端的数据接口信息进行记录；
配置所述数据访问端与所述数据供应端之间的调用关系，并配置所述调用关系的优先级信息；
设置服务并发管理阀值和数据流量管理阀值，其中，所述数据流量管理阀值包括所述数据供应端的流量管理阀值和所述数据访问端的流量管理阀值；
统计数据对接过程中的调用信息；
监控服务器运行信息、链路信息和报文信息；
根据所述阀值，对数据供应端和数据访问端进行检测，当超过所述阀值时，进行预警处理。
优选地，所述生成所述数据供应端的不同类型的数据对应的数据对接协议，并接收所述数据访问端的数据对接的访问请求，对所述访问请求进行验证，包括：
获取所有所述数据供应端的数据类型，并通过所述数据类型的协议逻辑，生成与各个数据类型对应的数据对接协议；
当接收到数据访问端的数据对接的访问请求后，对所述访问请求进行解析，获取所述访问请求对应的渠道代码和密钥，并与预设的权限信息进行匹配，若匹配成功，则接受所述访问请求；
根据所述访问请求，计算该访问请求的数据对接流量信息，并将所述数据对接流量信息与预设的访问流量信息进行比较，对超过预设的访问数据流量信息的数据对接流量信息进行忽略处理。
优选地，所述当所述访问请求验证通过后，根据所述访问请求确定所述代理模块和与所述访问请求对应的数据供应端，生成启动指令，包括：
对数据对接的代理模块的服务进行注册，生成注册列表；
当接收到访问请求后，访问所述注册列表，并根据所述注册列表中已注册的代理模块的负载情况，确定响应所述访问请求的代理模块，将生成的启动指令发送至所述代理模块。
优选地，所述根据所述启动指令进行启动，并获取与所述访问请求对应的数据供应端的数据对接协议，依据所述数据对接协议访问所述数据供应端获取目标数据，将所述目标数据发送给数据访问端，包括：
分析所述访问请求得到与所述访问请求对应的数据供应端信息获得数据类型，根据所述数据类型调用对应的数据对接协议；
根据所述数据对接协议访问对应的数据供应端，获取所述数据供应端的目标数据，将所述目标数据发送至所述数据访问端；
将数据对接的微服务方式进行注册。
相较于现有技术，本发明通过管理模块对数据供应端和数据访问端进行了相关信息的配置，并通过服务模块生成所述数据供应端的不同类型的数据对应的数据对接协议，实现了能够处理异构环境的数据接入；注册模块根据所述访问请求确定所述代理模块和与所述访问请求对应的数据供应端，并将启动指令发送至所述代理模块；代理模块根据所述启动指令进行启动，并获取与所述访问请求对应的数据供应端的数据对接协议，依据所述数据对接协议访问所述数据供应端获取目标数据，将所述目标数据发送给数据访问端。由于在本发明中将所有的数据对接协议设置在服务模块中，可以根据数据对接请求，调用对应的对接协议，解决了现有技术中对不同类型的数据访问时需要设置相应的访问协议，无法实现数据的统一对接的问题，同时，本系统采用了分布式架构，可横向扩展，并且代理模块采用微服务设计，能够进行数据对接过程中的数据传送，使得数据对接过程更加简洁，提高了数据对接效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例一提供的一种多类型数据对接系统的结构示意图；
图2为本发明实施例一提供的一种多类型数据对接系统的物理架构图；
图3为本发明实施例二提供的一种多类型数据对接方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
实施例一
参见图1为本发明实施例一提供的一种多类型数据对接系统，该系统包括：管理模块1、服务模块2、注册模块3、代理模块4和部署模块5，其中，
所述管理模块1，用于设置数据供应端和数据访问端的配置信息，并对所述数据供应端和所述数据访问端的数据对接信息进行管理；
所述服务模块2，用于生成所述数据供应端的不同类型的数据对应的数据对接协议，并接收所述数据访问端的数据对接的访问请求，对所述访问请求进行验证，当所述访问请求验证通过后，将所述访问请求发送至所述注册模块；
所述注册模块3，用于根据所述访问请求确定所述代理模块和与所述访问请求对应的数据供应端，并将启动指令发送至所述代理模块；
所述代理模块4，用于根据所述启动指令进行启动，并获取与所述访问请求对应的数据供应端的数据对接协议，依据所述数据对接协议访问所述数据供应端获取目标数据，将所述目标数据发送给数据访问端；
所述部署模块5，用于当有新的数据访问端和数据供应端接入时，对所述多类型数据系统进行更新。
需要说明的是，本发明提供的多类型数据对接系统内部服务调用采用微服务架构，其中，管理模块1负责数据对接工作中相关信息的管理功能，服务模块2负责对数据访问端提供标准的数据服务同时会根据管理模块1中的配置信息对服务访问权限、并发等进行逻辑处理，注册模块3负责微服务的注册与发现，代理模块4负责适配外部数据源、数据落地同时提供微服务供服务中心调用，部署模块5解决程序更新部署问题。
在本发明实施例中代理模块3采用的是Agent程序，对应于业务系统，数据访问端通常指内部系统，数据供应端通常指外部系统。
具体的，所述管理模块1包括：
服务注册单元，用于对所述数据供应端的联系信息和数据接口信息进行注册，为所述数据访问端分配数据对接渠道和访问密码，并对所述数据访问端的数据接口信息进行记录；
关系管理单元，用于配置所述数据访问端与所述数据供应端之间的调用关系，并配置所述调用关系的优先级信息；
阀值管理单元，用于设置服务并发管理阀值和数据流量管理阀值，其中，所述数据流量管理阀值包括所述数据供应端的流量管理阀值和所述数据访问端的流量管理阀值；
统计管理单元，用于统计数据对接过程中的调用信息；
监控管理单元，用于监控服务器运行信息、链路信息和报文信息；
预警管理单元，用于根据所述阀值管理单元中设置的阀值，对数据供应端和数据访问端进行检测，当超过所述阀值时，进行预警处理。
可以理解的是，管理模块1主要实现了参数配置、查询统计、监控预警、数据服务管理和代理模块管理等功能。具体的为，登记已经接入该多类型数据对接系统的数据供应端也就是外部数据的供应商信息及对应供应商联系人信息，方便后续对外部数据供应商信息进行管理。登记需要使用外部数据的数据访问端也就是行内系统，为行内系统分配查询渠道码与密钥。方便对已接入外部数据的行内系统进行管理，同时对行内系统接入本系统进行准入权限管理。
登记外部数据供应商提供的数据接口信息，包括接口名称、对接方式、网络情况、负责人信息、落地表信息、接口文档等，方便后期对外部数据服务的管理。登记对内部发布的标准化服务信息，包括接口名称、接口地址、接口文档等，统一管理模块发布的标准服务。
根据实际情况配置数据访问端对本地服务的调用关系，对准入系统可访问的标准化服务进行权限管理。配置本地服务与外部服务之间的调用关系，一个本地服务可映射多个外部服务，同时可配置外部服务的优先级，实现类似先调用缓存服务，如果无信息再调用外部服务的查询策略管理。其中，标准化服务即接口技术、字段格式、数据字典、传输方式等方面预先设计约定好的服务类型，有一套完善严谨的对接规则框架。对于新增的接口服务，服务提供者只需要遵循框架的内容进行开发，服务使用者也能简单快捷地获取服务。
以管理模块发布服务为维度配置访问并发上限。防止并发过大对系统产生的影响。
以外部供应商提供的数据接口为维度配置外部接口服务总的流量上限、收费情况、服务有效起止日期等信息，对外部服务的总流量、生命周期进行统一管理，同时可根据服务配置的收费参数统计服务调用期间发生的费用情况。以外部供应商提供的数据接口为维度设置外部服务的访问周期，并配置在周期内的访问流量上限，对外部数据接口服务按周期调用上限做控制。
对管理模块发布服务提供批量调用的功能，上传业务清单文件，根据文件内容批量进行外部数据查询并落地。对系统服务的运行情况进行监控，统计服务的调用情况、耗时情况、并发情况。对系统各模块内存使用情况、CPU情况、线程数量进行统计监控。对外部数据对接关键网络链路进行监控，及时发现网络问题进行监控提醒。在线查看服务报文信息，对异常报文进行查询，及时定位问题原因。其中，系统提供的所有服务都可以进行重现查询。每一笔服务调用都会产生信息报文，报文中包含服务调用成功与否，失败原因等，多数还包含服务所需要传输的数据信息。在线进行服务模拟调用，验证服务是否正常。对后台运行的任务进行监控，发现问题以短信方式进行提醒。按平台发布服务维度设置服务成功率阀值，成功率低于阀值自动以短信方式进行提醒。按外部数据接口维度设置接口流量使用比例，对于流量接近阀值的接口，以短信方式进行提醒。按外部数据接口维度设置接口周期内流量使用比例，对于流量接近周期阀值的接口，以短信方式进行提醒。
对配置了收费方式的服务，可统计费用情况。对用户所属机构进行维护管理。对系统用户信息进行维护管理。维护系统角色信息，并为角色分配菜单权限。其中的，角色信息主要是指系统管理员、运维人员和数据使用者。
所述服务模块2包括：
数据标准化单元，用于获取所有所述数据供应端的数据类型，并通过所述数据类型的协议逻辑，生成与各个数据类型对应的数据对接协议；
识别单元，用于当接收到数据访问端的数据对接的访问请求后，对所述访问请求进行解析，获取所述访问请求对应的渠道代码和密钥，并与预设的权限信息进行匹配，若匹配成功，则接受所述访问请求；
计算单元，用于根据所述访问请求，计算该访问请求的数据对接流量信息，并将所述数据对接流量信息与预设的访问流量信息进行比较，对超过预设的访问数据流量信息的数据对接流量信息进行忽略处理。
需要说明的是，该服务模块2主要是进行封装数据供应端的数据接口，提供标准的服务输出、计算权限与阀值。具体体现为：整合外部数据接口，根据业务场景提供标准数据服务；识别服务请求参数中的渠道代码和密钥，根据管理平台配置的权限信息，计算前台业务系统的准入权限，以及对服务的访问权限；实时计算服务的访问并发，并根据管理平台配置的阀值信息，对超过阀值的访问请求进行拒绝；根据管理平台配置的查询策略信息，对外部数据接口按策略进行调用，即根据管理平台配置的服务优先级，对服务进行按策略调用。其中，整合外部数据接口，根据业务场景提供标准数据服务就是通过设置数据对接协议实现的，因为外部数据也就是数据供应端提供的数据有不同的收费方式、不同的技术实现的接口方式、不同的传输格式方式，统一为外部数据具有不同的数据类型，为了能够提供一个的数据接口进行数据调用，需要通过设置不同的数据对接协议，这样在数据对接过程中，只需要选取对应的数据对接协议即可，无需再根据不同类型数据进行设置。还具有逻辑计算的功能，即根据业务需求获取代理模块服务进行数据加工。
所述注册模块3包括：
服务注册单元，用于对所述代理模块的服务进行注册，生成注册列表；
指令单元，用于当接收到访问请求后，访问所述注册列表，并根据所述注册列表中已注册的代理模块的负载情况，确定响应所述访问请求的代理模块，将生成的启动指令发送至所述代理模块。
具体的，注册模块主要是实现为服务的注册与发现，也就是当代理模块的Agent程序启动时，自动向注册模块进行微服务注册。代理模块进行微服务注册，注册中心维护一份[服务名-Agent]的对应关系清单，服务调用方请求某个服务前，需要向注册中心提交自己需要请求的服务名，注册模块会返回能提供该服务的代理模块的网络地址，服务调用方再连接到对应的代理模块进行服务调用。如此做的目的主要是为了便于管理，因为当大量的服务接入后，不可能再每个服务调用端都维护一份[服务名-Agent]的对应关系清单。
当服务中心也就是数据访问端向注册模块请求服务，注册模块根据服务名称发现已注册的微服务代理模块，同时将代理模块的微服务请求地址提供给服务中心进行调用。
所述代理模块4包括：
协议获取单元，用于分析所述访问请求得到与所述访问请求对应的数据供应端信息获得数据类型，根据所述数据类型调用对应的数据对接协议；
数据获取单元，用于根据所述数据对接协议访问对应的数据供应端，获取所述数据供应端的目标数据，将所述目标数据发送至所述数据访问端；
注册单元，用于将微服务方式注册到所述注册模块。
需要说明的是，代理模块4对接不同外部数据接口，即连接有不同的数据供应端，适配多样化的外部数据接口，同时自身以微服务方式注册到注册中心，供服务中心调用。按照数据对接协议获取外部数据报文返回给数据访问端。
在实际应用过程中，参见图2，图2为一种多类型数据对接系统的物理架构图，在图中每个分区都有对应服务器，各个服务器分别执行上述管理模块、服务模块、注册模块、代理模块和部署模块的功能。
Agent服务器执行代理模块的主要功能，负责与外部数据接口直接对接，适配各种形式接口，接口数据落地。Agent程序非常灵活可运行在各个网络区域，支持横向纵向扩展。同时自身逻辑以微服务形式注册到注册服务器，该注册服务器执行注册模块的功能。
服务模块通过注册模块发现外部数据接口微服务，根据业务场景进行封装，对内部输出标准数据服务。例如，外部查询某个客户的交易记录时，返回的是近12个月的所有收入和支出明细。但业务场景需要的数据是客户近6个月的总收入额和总支出额。那么就可以对该明细数据进行过滤、累加等数据处理，再提供给内部业务系统使用。
注册模块介于服务模块与代理模块之间起到桥梁作用，提供服务注册与发现的能力。
管理模块辅助管理对接工作相关信息与配置信息。
部署模块辅助提升平台升级更新操作。
通过本发明实施例一公开的技术方案，该多类型数据对接系统采用了分布式架构，可横向扩展，通过管理模块获取数据供应端的注册信息和数据信息，然后服务模块针对数据供应端的不同数据结构进行数据对接的接口统一配置，即通过设置对应的数据对接协议实现不同类型的数据的访问，解决了现有技术中每次对接不同数据类型的数据都需要设置对应的访问协议，同时，本方案通过代理模块进行数据的访问与发送，可以根据负载选择对应的代理模块，提高了数据对接效率。因此，本发明的多类型数据对接系统能够处理不同类型的数据的接入，并且基于各个模块的配合能够具有良好的可扩展性，并通过管理模块易于管理和维护外部数据服务。
实施例二
参照本发明实施例一，并参见图2，本发明实施例二还提供了一种多类型数据对接方法，可以包括：
S11、设置数据供应端和数据访问端的配置信息，并对所述数据供应端和所述数据访问端的数据对接信息进行管理；
S12、生成所述数据供应端的不同类型的数据对应的数据对接协议，并接收所述数据访问端的数据对接的访问请求，对所述访问请求进行验证；
S13、当所述访问请求验证通过后，根据所述访问请求确定所述代理模块和与所述访问请求对应的数据供应端，生成启动指令；
S14、根据所述启动指令进行启动，并获取与所述访问请求对应的数据供应端的数据对接协议，依据所述数据对接协议访问所述数据供应端获取目标数据，将所述目标数据发送给数据访问端；
S15、当有新的数据访问端和数据供应端接入时，进行更新处理。
具体的，所述设置数据供应端和数据访问端的配置信息，并对所述数据供应端和所述数据访问端的数据对接信息进行管理，包括：
对所述数据供应端的联系信息和数据接口信息进行注册，为所述数据访问端分配数据对接渠道和访问密码，并对所述数据访问端的数据接口信息进行记录；
配置所述数据访问端与所述数据供应端之间的调用关系，并配置所述调用关系的优先级信息；
设置服务并发管理阀值和数据流量管理阀值，其中，所述数据流量管理阀值包括所述数据供应端的流量管理阀值和所述数据访问端的流量管理阀值；
统计数据对接过程中的调用信息；
监控服务器运行信息、链路信息和报文信息；
根据所述阀值，对数据供应端和数据访问端进行检测，当超过所述阀值时，进行预警处理。
所述生成所述数据供应端的不同类型的数据对应的数据对接协议，并接收所述数据访问端的数据对接的访问请求，对所述访问请求进行验证，包括：
获取所有所述数据供应端的数据类型，并通过所述数据类型的协议逻辑，生成与各个数据类型对应的数据对接协议；
当接收到数据访问端的数据对接的访问请求后，对所述访问请求进行解析，获取所述访问请求对应的渠道代码和密钥，并与预设的权限信息进行匹配，若匹配成功，则接受所述访问请求；
根据所述访问请求，计算该访问请求的数据对接流量信息，并将所述数据对接流量信息与预设的访问流量信息进行比较，对超过预设的访问数据流量信息的数据对接流量信息进行忽略处理。
所述当所述访问请求验证通过后，根据所述访问请求确定所述代理模块和与所述访问请求对应的数据供应端，生成启动指令，包括：
对数据对接的代理模块的服务进行注册，生成注册列表；
当接收到访问请求后，访问所述注册列表，并根据所述注册列表中已注册的代理模块的负载情况，确定响应所述访问请求的代理模块，将生成的启动指令发送至所述代理模块。
所述根据所述启动指令进行启动，并获取与所述访问请求对应的数据供应端的数据对接协议，依据所述数据对接协议访问所述数据供应端获取目标数据，将所述目标数据发送给数据访问端，包括：
分析所述访问请求得到与所述访问请求对应的数据供应端信息获得数据类型，根据所述数据类型调用对应的数据对接协议；
根据所述数据对接协议访问对应的数据供应端，获取所述数据供应端的目标数据，将所述目标数据发送至所述数据访问端；
将数据对接的微服务方式进行注册。
根据本发明实施例二公开的技术方案，对数据供应端和数据访问端进行了相关信息的配置，并生成所述数据供应端的不同类型的数据对应的数据对接协议，实现了能够处理异构环境的数据接入；根据所述访问请求确定所述代理模块和与所述访问请求对应的数据供应端，并获取与所述访问请求对应的数据供应端的数据对接协议，依据所述数据对接协议访问所述数据供应端获取目标数据，将所述目标数据发送给数据访问端。由于在本发明中将所有的数据对接协议设置在服务模块中，可以根据数据对接请求，调用对应的对接协议，解决了现有技术中对不同类型的数据访问时需要设置相应的访问协议，无法实现数据的统一对接的问题，同时，本系统采用了分布式架构，可横向扩展，并且代理模块采用微服务设计，能够进行数据对接过程中的数据传送，使得数据对接过程更加简洁，提高了数据对接效率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种多类型数据对接系统，其特征在于，该系统包括：管理模块、服务模块、注册模块、代理模块和部署模块，其中，
所述管理模块，用于设置数据供应端和数据访问端的配置信息，并对所述数据供应端和所述数据访问端的数据对接信息进行管理；
所述服务模块，用于生成所述数据供应端的不同类型的数据对应的数据对接协议，并接收所述数据访问端的数据对接的访问请求，对所述访问请求进行验证，当所述访问请求验证通过后，将所述访问请求发送至所述注册模块；
所述注册模块，用于根据所述访问请求确定所述代理模块和与所述访问请求对应的数据供应端，并将启动指令发送至所述代理模块；
所述代理模块，用于根据所述启动指令进行启动，并获取与所述访问请求对应的数据供应端的数据对接协议，依据所述数据对接协议访问所述数据供应端获取目标数据，将所述目标数据发送给数据访问端；
所述部署模块，用于当有新的数据访问端和数据供应端接入时，对所述多类型数据系统进行更新。
2.根据权利要求1所述的系统，其特征在于，所述管理模块包括：
服务注册单元，用于对所述数据供应端的联系信息和数据接口信息进行注册，为所述数据访问端分配数据对接渠道和访问密码，并对所述数据访问端的数据接口信息进行记录；
关系管理单元，用于配置所述数据访问端与所述数据供应端之间的调用关系，并配置所述调用关系的优先级信息；
阀值管理单元，用于设置服务并发管理阀值和数据流量管理阀值，其中，所述数据流量管理阀值包括所述数据供应端的流量管理阀值和所述数据访问端的流量管理阀值；
统计管理单元，用于统计数据对接过程中的调用信息；
监控管理单元，用于监控服务器运行信息、链路信息和报文信息；
预警管理单元，用于根据所述阀值管理单元中设置的阀值，对数据供应端和数据访问端进行检测，当超过所述阀值时，进行预警处理。
3.根据权利要求1所述的系统，其特征在于，所述服务模块包括：
数据标准化单元，用于获取所有所述数据供应端的数据类型，并通过所述数据类型的协议逻辑，生成与各个数据类型对应的数据对接协议；
识别单元，用于当接收到数据访问端的数据对接的访问请求后，对所述访问请求进行解析，获取所述访问请求对应的渠道代码和密钥，并与预设的权限信息进行匹配，若匹配成功，则接受所述访问请求；
计算单元，用于根据所述访问请求，计算所述访问请求的数据对接流量信息，并将所述数据对接流量信息与预设的访问流量信息进行比较，对超过预设的访问数据流量信息的数据对接流量信息进行忽略处理。
4.根据权利要求1所述的系统，其特征在于，所述注册模块包括：
服务注册单元，用于对所述代理模块的服务进行注册，生成注册列表；
指令单元，用于当接收到访问请求后，访问所述注册列表，并根据所述注册列表中已注册的代理模块的负载情况，确定响应所述访问请求的代理模块，将生成的启动指令发送至所述代理模块。
5.根据权利要求1所述的系统，其特征在于，所述代理模块包括：
协议获取单元，用于分析所述访问请求得到与所述访问请求对应的数据供应端信息获得数据类型，根据所述数据类型调用对应的数据对接协议；
数据获取单元，用于根据所述数据对接协议访问对应的数据供应端，获取所述数据供应端的目标数据，将所述目标数据发送至所述数据访问端；
注册单元，用于将微服务方式注册到所述注册模块。
6.一种多类型数据对接方法，其特征在于，该方法包括：
设置数据供应端和数据访问端的配置信息，并对所述数据供应端和所述数据访问端的数据对接信息进行管理；
生成所述数据供应端的不同类型的数据对应的数据对接协议，并接收所述数据访问端的数据对接的访问请求，对所述访问请求进行验证；
当所述访问请求验证通过后，根据所述访问请求确定所述代理模块和与所述访问请求对应的数据供应端，生成启动指令；
根据所述启动指令进行启动，并获取与所述访问请求对应的数据供应端的数据对接协议，依据所述数据对接协议访问所述数据供应端获取目标数据，将所述目标数据发送给数据访问端；
当有新的数据访问端和数据供应端接入时，进行更新处理。
7.根据权利要求1所述的方法，其特征在于，所述设置数据供应端和数据访问端的配置信息，并对所述数据供应端和所述数据访问端的数据对接信息进行管理，包括：
对所述数据供应端的联系信息和数据接口信息进行注册，为所述数据访问端分配数据对接渠道和访问密码，并对所述数据访问端的数据接口信息进行记录；
配置所述数据访问端与所述数据供应端之间的调用关系，并配置所述调用关系的优先级信息；
设置服务并发管理阀值和数据流量管理阀值，其中，所述数据流量管理阀值包括所述数据供应端的流量管理阀值和所述数据访问端的流量管理阀值；
统计数据对接过程中的调用信息；
监控服务器运行信息、链路信息和报文信息；
根据所述阀值，对数据供应端和数据访问端进行检测，当超过所述阀值时，进行预警处理。
8.根据权利要求6所述的方法，其特征在于，所述生成所述数据供应端的不同类型的数据对应的数据对接协议，并接收所述数据访问端的数据对接的访问请求，对所述访问请求进行验证，包括：
获取所有所述数据供应端的数据类型，并通过所述数据类型的协议逻辑，生成与各个数据类型对应的数据对接协议；
当接收到数据访问端的数据对接的访问请求后，对所述访问请求进行解析，获取所述访问请求对应的渠道代码和密钥，并与预设的权限信息进行匹配，若匹配成功，则接受所述访问请求；
根据所述访问请求，计算该访问请求的数据对接流量信息，并将所述数据对接流量信息与预设的访问流量信息进行比较，对超过预设的访问数据流量信息的数据对接流量信息进行忽略处理。
9.根据权利要求6所述的方法，其特征在于，所述当所述访问请求验证通过后，根据所述访问请求确定所述代理模块和与所述访问请求对应的数据供应端，生成启动指令，包括：
对数据对接的代理模块的服务进行注册，生成注册列表；
当接收到访问请求后，访问所述注册列表，并根据所述注册列表中已注册的代理模块的负载情况，确定响应所述访问请求的代理模块，将生成的启动指令发送至所述代理模块。
10.根据权利要求6所述的方法，其特征在于，所述根据所述启动指令进行启动，并获取与所述访问请求对应的数据供应端的数据对接协议，依据所述数据对接协议访问所述数据供应端获取目标数据，将所述目标数据发送给数据访问端，包括：
分析所述访问请求得到与所述访问请求对应的数据供应端信息获得数据类型，根据所述数据类型调用对应的数据对接协议；
根据所述数据对接协议访问对应的数据供应端，获取所述数据供应端的目标数据，将所述目标数据发送至所述数据访问端；
将数据对接的微服务方式进行注册。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810391629.1A CN108540574A (zh) | 2018-04-27 | 2018-04-27 | 一种多类型数据对接系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810391629.1A CN108540574A (zh) | 2018-04-27 | 2018-04-27 | 一种多类型数据对接系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108540574A true CN108540574A (zh) | 2018-09-14 |
Family
ID=63477686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810391629.1A Pending CN108540574A (zh) | 2018-04-27 | 2018-04-27 | 一种多类型数据对接系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108540574A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113645139A (zh) * | 2020-07-16 | 2021-11-12 | 上海勤鱼信息科技有限公司 | 一种多区域中心银行间汇划路由调度的方法及系统 |
| CN114584628A (zh) * | 2022-01-25 | 2022-06-03 | 北京达佳互联信息技术有限公司 | 请求处理方法、装置、服务器及存储介质 |
| CN115022403A (zh) * | 2022-07-07 | 2022-09-06 | 中航信移动科技有限公司 | 一种用于多渠道服务代理的信息处理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102185863A (zh) * | 2011-05-13 | 2011-09-14 | 北京瑞信在线系统技术有限公司 | 服务器与客户端间智能数据交互发布系统及方法 |
| CN105871786A (zh) * | 2015-01-22 | 2016-08-17 | 阿里巴巴集团控股有限公司 | 一种用户信息的验证方法、装置和系统 |
| US20160359962A1 (en) * | 2009-12-15 | 2016-12-08 | At&T Intellectual Property I, L.P. | Data routing in a content distribution network for mobility delivery |
| CN107612713A (zh) * | 2017-08-21 | 2018-01-19 | 同程网络科技股份有限公司 | 一种治理后端服务的方法 |
| CN107800790A (zh) * | 2017-10-24 | 2018-03-13 | 宁波森浦信息技术有限公司 | 一种统一数据服务系统及方法 |
-
2018
- 2018-04-27 CN CN201810391629.1A patent/CN108540574A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160359962A1 (en) * | 2009-12-15 | 2016-12-08 | At&T Intellectual Property I, L.P. | Data routing in a content distribution network for mobility delivery |
| CN102185863A (zh) * | 2011-05-13 | 2011-09-14 | 北京瑞信在线系统技术有限公司 | 服务器与客户端间智能数据交互发布系统及方法 |
| CN105871786A (zh) * | 2015-01-22 | 2016-08-17 | 阿里巴巴集团控股有限公司 | 一种用户信息的验证方法、装置和系统 |
| CN107612713A (zh) * | 2017-08-21 | 2018-01-19 | 同程网络科技股份有限公司 | 一种治理后端服务的方法 |
| CN107800790A (zh) * | 2017-10-24 | 2018-03-13 | 宁波森浦信息技术有限公司 | 一种统一数据服务系统及方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113645139A (zh) * | 2020-07-16 | 2021-11-12 | 上海勤鱼信息科技有限公司 | 一种多区域中心银行间汇划路由调度的方法及系统 |
| CN114584628A (zh) * | 2022-01-25 | 2022-06-03 | 北京达佳互联信息技术有限公司 | 请求处理方法、装置、服务器及存储介质 |
| CN114584628B (zh) * | 2022-01-25 | 2024-03-26 | 北京达佳互联信息技术有限公司 | 请求处理方法、装置、服务器及存储介质 |
| CN115022403A (zh) * | 2022-07-07 | 2022-09-06 | 中航信移动科技有限公司 | 一种用于多渠道服务代理的信息处理系统 |
| CN115022403B (zh) * | 2022-07-07 | 2022-12-13 | 中航信移动科技有限公司 | 一种用于多渠道服务代理的信息处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1978672B1 (en) | Method for implementing management software, hardware with pre-configured software and implementing method thereof | |
| CN102567115B (zh) | 云系统中用于信息技术资源分配和利用跟踪的装置和方法 | |
| US8260931B2 (en) | Secure provisioning of resources in cloud infrastructure | |
| US8819202B1 (en) | Service configuration and deployment engine for provisioning automation | |
| CN103019791B (zh) | 软件部署方法及软件部署系统 | |
| CN106656630A (zh) | 一种电力营销业务应用系统及其构建方法、平台 | |
| US20110321033A1 (en) | Application Blueprint and Deployment Model for Dynamic Business Service Management (BSM) | |
| CN110838065A (zh) | 一种交易数据处理方法及装置 | |
| CN101577718B (zh) | 多网银适配系统 | |
| CN108540574A (zh) | 一种多类型数据对接系统及方法 | |
| CN103825964A (zh) | 一种基于云计算PaaS平台的SLS调度装置和方法 | |
| CN110188132B (zh) | 一种数据交换方法及系统 | |
| CN103440298A (zh) | 数据访问管理装置和管理方法以及数据库服务平台 | |
| Scheid et al. | Automatic sla compensation based on smart contracts | |
| CN110941674A (zh) | 基于区块链的合规审计方法、装置、系统及存储介质 | |
| US8234649B2 (en) | Composite system to integrate process systems using secondarily created process objects for local database operations and inter process system communications | |
| US20120240103A1 (en) | Method and system for implementing self-configurable software components | |
| US20070088595A1 (en) | Method and system for secured virtual relationship management | |
| US20220067659A1 (en) | Research and development system and method | |
| CN110737425A (zh) | 一种计费平台系统的应用程序的建立方法及装置 | |
| CN111161052B (zh) | 银行作业数据的处理方法及装置 | |
| US20080065397A1 (en) | Managing composite enterprise services through multi-layer decomposition | |
| US8863132B2 (en) | Using abstraction layers to facilitate communication between systems | |
| US9323509B2 (en) | Method and system for automated process distribution | |
| CN110866813A (zh) | 管理会计用智能记账系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180914 |
|
| RJ01 | Rejection of invention patent application after publication |