CN115914351A - 数据处理引擎系统及计算机设备 - Google Patents

数据处理引擎系统及计算机设备 Download PDF

Info

Publication number
CN115914351A
CN115914351A CN202211529040.6A CN202211529040A CN115914351A CN 115914351 A CN115914351 A CN 115914351A CN 202211529040 A CN202211529040 A CN 202211529040A CN 115914351 A CN115914351 A CN 115914351A
Authority
CN
China
Prior art keywords
data
service
business
data processing
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211529040.6A
Other languages
English (en)
Inventor
孙健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202211529040.6A priority Critical patent/CN115914351A/zh
Publication of CN115914351A publication Critical patent/CN115914351A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种数据处理引擎系统及计算机设备,该数据处理引擎系统采用微服务架构,其包括:数据处理业务服务层,包括与数据处理业务相关联的多个业务微服务,该多个业务微服务包括:数据管理服务、数据接入配置服务、联机接入服务、批量接入服务;该数据管理服务用于创建外部数据,发布外部数据基本信息;该数据接入配置服务用于配置外部数据类型、数据格式、采集方式、采集频率、采集时间中的至少一种;该联机接入服务用于联机查询外部数据;该批量接入服务用于批量获取数据文件;该业务微服务与至少一个其他的业务微服务通信连接;数据层,其与该数据处理业务服务层通信连接,为该数据处理业务服务层提供数据库服务。

Description

数据处理引擎系统及计算机设备
技术领域
本发明涉及分布式技术领域,尤其涉及一种数据处理引擎系统及计算机设备。
背景技术
微服务架构是一种架构模式,旨在通过将功能分解到各个离散的服务中以实现对解决方案的解耦。可以把一个大型的单个应用程序和服务拆分为数个甚至数十个的支持微服务,它可扩展单个组件而不是整个的应用程序堆栈,从而满足服务等级协议。微服务是围绕业务领域组件来创建应用,这些应用可独立地进行开发、管理和迭代。在分散的组件中使用云架构和平台式部署、管理和服务功能,使产品交付变得更加简单。
银行业务发展过程中,对于外部数据接入需求强烈,例如给个人客户授信需要在查询学信网学历信息、调用人行征信数据参考、证券交易数据、外汇数据等。外部数据提供的方式各不相同,因此,需要建立一个统一的外部数据接入引擎做外部数据的接入整合,解决格式不统一,处理方式不同等问题,对外部数据做到统一配置、统一采集、统一计量、统一监控,提高外部数据的服质量和务能力。
发明内容
目前数据接入一般以各个业务的需求为触发,在各业务系统中单独接入,不能满足同种数据多个业务部门使用的需要。而且每个业务系统单独对接,数据接口主要以数据提供商的数据格式为准,数据的稳定性、质量、安全性无法保证,由于一个业务系统仅支持一种外部接入数据返回处理结果,因此,交易方式固定,如果需要新增外部接入数据,则需要开发新的数据接入系统,开发成本高,开发周期长。
针对上述问题的至少之一,本申请实施例提出一种数据处理引擎系统和计算机设备。
根据本申请实施例的一方面,提供一种数据处理引擎系统,所述数据处理引擎系统采用微服务架构,其包括:
数据处理业务服务层,包括与数据处理业务相关联的多个业务微服务,所述多个业务微服务包括:数据管理服务、数据接入配置服务、联机接入服务、批量接入服务;所述数据管理服务用于创建外部数据,发布外部数据基本信息;所述数据接入配置服务用于配置外部数据类型、数据格式、采集方式、采集频率、采集时间中的至少一种;所述联机接入服务用于联机查询外部数据;所述批量接入服务用于批量获取数据文件;所述业务微服务与至少一个其他的业务微服务通信连接;
数据层,其与所述数据处理业务服务层通信连接,为所述数据处理业务服务层提供数据库服务。
根据本申请实施例的一方面,提供了一种计算机设备,该计算机设备上部署有如前一方面所述的数据处理引擎系统。
本申请实施例通过基于微服务架构的数据处理引擎系统,对外部数据接入业务进行合理的微服务划分,服务划分的粒度和边界既能满足功能完整性及功能解耦的要求,同时可以直接通过不同的参数输入及灵活组合实现不同赛事服务的整体功能。不用重复开发,灵活性强,效率高,可以实现为各类外部数据接入和服务提供一站式全面服务。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本申请实施例中的数据处理引擎系统的示意图;
图2为本申请实施例中的数据处理引擎系统的示意图;
图3为本申请实施例中的创建赛事报名工作流程的示意图;
图4为本申请实施例中的个人报名工作流程的示意图;
图5为本申请实施例中计算机设备的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本申请实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
在本说明书的描述中,所使用的“包含”、“包括”、“具有”、“含有”等,均为开放性的用语,即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施,其中的步骤顺序不作限定,可根据需要作适当调整。
图1为本申请实施例中数据处理引擎系统的示意图,该数据处理引擎系统采用微服务架构,如图1所示,该系统100包括:
数据处理业务服务层101,包括与数据处理业务相关联的多个业务微服务,该多个业务微服务包括:数据管理服务1011、数据接入配置服务1012、联机接入服务1013、批量接入服务1014;该数据管理服务1011用于创建外部数据,发布外部数据基本信息;该数据接入配置服务1012用于配置外部数据类型、数据格式、采集方式、采集频率、采集时间中的至少一种;该联机接入服务1013用于联机查询外部数据;该批量接入服务1014用于批量获取数据文件;
数据层103,其与该数据处理业务服务层101通信连接,为该数据处理业务服务层101提供数据库服务。
在上述实施例中,基于微服务架构的数据处理引擎系统,对外部数据接入业务进行合理的微服务划分,服务划分的粒度和边界既能满足功能完整性及功能解耦的要求,同时可以直接通过不同的参数输入及灵活组合实现不同赛事服务的整体功能。不用重复开发,灵活性强,效率高,可以实现为各类外部数据接入和服务提供一站式全面服务。
在一些实施例中,可以各类外部数据接入需求分解数据处理引擎系统各微服务的功能和边界,例如从接入数据类型来说包括资讯类数据、客户数据、监管数据、同业数据等,从接入形式来说包括联机查询接入类、批量文件接入等,从数据格式来说包括文本格式、图片格式等,从使用方式来说包括主动查询模式、订阅模式等,通过领域模型指导微服务拆分,先确定数据接入的流程包括创建发布外部数据,配置采集相关参数,进行外部数据采集,对采集的数据进行计量和监控,根据上述流程对数据处理引擎系统进行微服务差分等,将上述多个业务服务各自拆分出来,并进行独立的设计、开发、构建以及部署。也即,架构中每一类业务服务都有各自的资源、配置、环境。服务与服务之间解耦,可以更好地对每一类业务服务进行单独的扩展与升级。
在一些实施例中,拆分后数据处理业务相关联的多个业务微服务包括:数据管理服务1011、数据接入配置服务1012、联机接入服务1013、批量接入服务1014。
在一些实施例中,该数据管理服务1011用于创建外部数据,发布外部数据基本信息,可支持不同的数据供应方或需求方灵活配置接入数据,在该数据管理服务1011中,可以支持创建并发布外部数据处理,此外还可以包括数据供应方管理。该数据管理服务1011可以被其他业务微服务调用,也可以调用其他业务微服务,也可以通过输入设备调用,具体后述说明。
在一些实施例中,该数据接入配置服务1012配置外部数据类型、数据格式、采集方式、采集频率、采集时间中的至少一种;数据类型包括资讯类数据、客户数据、监管数据、同业数据等,从采集方式包括联机查询接入类、批量文件接入等,数据格式来说包括文本格式(.txt或.xml等)、图片格式等,采集频率和采集时间包括实时采集、定时采集等,此外还可以配置数据接入地址、数据项校验方式等,该数据接入配置服务1012可以被其他业务微服务调用,也可以调用其他业务微服务,也可以通过输入设备调用,具体后述说明。
在一些实施例中,该联机接入服务1013用于联机查询外部数据,例如包括接收数据采集请求、对外发起请求、接收外部数据响应、数据报文解析、返回数据采集结果等功能,该联机接入服务1013应用于实时接入数据,可以采用发布/订阅模型,基于话题和消息实现,发布者负责发布话题,话题内容就是数据,当话题被发布后,该话题的订阅者(可以为多个)就会收到该数据。例如,联机查询学信网学历信息、公安身份验证、人行征信数据(实时查询)时,调用联机接入服务1013,该联机接入服务1013根据数据接入配置服务1012的配置接入外部数据(实时查询外部数据),该联机接入服务1013可以被其他业务微服务调用,也可以调用其他业务微服务,也可以通过输入设备调用,具体后述说明。
在一些实施例中,该批量接入服务1014用于批量获取数据文件,例如包括获取外部数据文件、解析文件、存储数据等,该批量接入服务1014应用于批量文件接入场景,可以采用点对点模型,数据生产者向队列发布消息(数据),数据使用者从该队列中读取消息(数据),生产者知道使用者的队列,并直接将消息发送到使用者队列,生产者不需要在使用者接入数据时期处于运行状态,使用者也不需要在消息发送时处于运行状态,数据被使用后,队列中不再有存储,该队列支持多个数据使用者,但对于一个数据,只有一个使用者可以接入。例如,批量接入证券交易数据文件时,调用批量接入服务1014,该批量接入服务1014根据数据接入配置服务1012的配置接入外部数据(批量文件接入),该批量接入服务1014可以被其他业务微服务调用,也可以调用其他业务微服务,也可以通过输入设备调用,具体后述说明。
在一些实施例中,可选的,多个业务微服务还包括数据计量服务1015、数据监控服务1016,该数据计量服务1015用于对采集或订阅的数据进行计量,计量的维度可以是按照时间等;该数据监控服务1016用于监控采集质量、连续性、链路通畅性、异常问题。
在一些实施例中,一个业务微服务与至少一个其他的业务微服务通信连接;通过将业务微服务之间进行连接,可以使得各业务微服务之间信息互传以及数据共享,互相调用。比如,批量接入服务1014可以调用数据接入配置服务1012,通过该方式可以快速响应用户的访问需求。
在一些实施例中,该多个业务微服务之间采用请求/异步响应模式。例如,输入设备发布请求消息,采用异步交换消息的通信机制,输入设备不会阻塞等待数据处理引擎系统的响应消息,通过消息唤醒数据处理引擎系统相关微服务,该服务处理完成后如果需要回复,则会发送另外一条独立的消息给输入设备。
在一些实施例中,可选的,该数据处理引擎系统还可以包括基础服务层102,该基础服务层102用于为数据处理业务服务层101的各个业务微服务提供基础服务,该基础服务层102包括通用的多个基础微服务,该多个基础微服务包括:用户服务1021、订阅服务1022;该用户服务1021用于实名验证;该订阅服务1022用于订阅数据、管理订阅信息(例如订阅列表、订阅评论、订阅详情等)。
图2是本申请实施例数据处理引擎系统又一示意图,与图1相同之处不再赘述,与图1不同之处在于,在图2中,图1中数据计量服务1015、数据监控服务1016不位于数据处理业务服务层,而是位于基础服务层,即基础服务层还包括数据计量服务1023、数据监控服务1024,该数据计量服务1023用于对采集或订阅的数据进行计量,计量的维度可以是按照时间等;该数据监控服务1024用于监控采集质量、连续性、链路通畅性、异常问题。
在一些实施例中,该业务微服务与至少一个基础微服务连接。上述各基础微服务可以被任一业务微服务调用,各业务微服务可以调用至少一个基础微服务,例如,批量接入服务1014可以调用数据计量服务1023或数据监控服务1024,具体将在后述进行说明。
在一些实施例中,该业务微服务和基础微服务之间采用请求/异步响应模式。例如,业务微服务发布请求消息,采用异步交换消息的通信机制,通过消息唤醒数据处理引擎系统相关基础服务,该服务处理完成后如果需要回复,则会发送另外一条独立的消息给业务微服务。
在一些实施例中,可选的,该数据处理引擎系统还包括微服务网关层104,该微服务网关层与该数据处理业务服务层通信连接,经由该微服务网关层,对(输入设备)用户的身份进行验证,在验证通过后,输入设备访问调用该数据处理业务服务层中的业务微服务。
在一些实施例中,基础服务层102与数据处理业务服务层101和数据层103通信连接,可选的,该数据处理引擎系统还包括缓存数据层105,数据层103为基础服务层102和数据处理业务服务层101提供数据库支持(包括接收并存储接入数据和被调用/查询数据),缓存数据层104用于缓存数据,供基础服务层102与数据处理业务服务层101以及数据层103使用。该数据层103包括多个数据库(例如使用分布式数据库TDSQL),各微服务有独立的数据库支持,或者也可以共享数据库,本申请实施例并不以此作为限制。
在一些实施例中,该数据处理引擎系统可以使用Spring Cloud微服务架构,各个业务微服务的上述功能进行独立的设计、开发、构建以及部署。服务与服务之间解耦。各个微服务以容器的方式部署在各自的服务器上,该容器可以为Docker容器,Spring Cloud微服务架构包括Eureka组件、Ribbon组件、Hystrix组件、Zuul组件、Spring Cloud Config组件和Kafka消息队列;Eureka组件用于获取各个业务微服务的地址列表和服务信息等内容,Eureka组件通过与各个业务微服务之间建立心跳连接,实现对业务微服务的注册、注销和监控等管理工作;Ribbon组件用于负载均衡,Ribbon组件用于提供相同业务的微服务对外访问的负载均衡,提供相同业务功能的多个业务微服务构建成一个服务资源池;Hystrix组件用于容错管理,提供业务微服务实现自身业务的容错管理;Zuul组件用于服务网关和过程监控,在用户需要对数据处理引擎系统的应用系统进行访问时,拦截用户发送的业务请求信息,并对用户的身份进行验证,在验证通过后,对用户开启对应的业务微服务功能访问权限,Zuul组件从上述Eureka组件中获取注册成功且可用的业务微服务,Zuul组件与各个业务微服务之间采用REST风格轻量级的通信协议实现业务交互。
以上仅为示例说明,但本申请实施例并不以此作为限制,该数据处理引擎系统还可以使用其他微服务架构,此处不再一一举例。
在一些实施例中,数据处理引擎系统通过微服务架构实现对各微服务模块的灵活组合提供对外服务,各微服务间采用异步通信模式。输入设备包括客户端输入设备和管理端输入设备,客户端输入设备面向各业务部门外部数据使用者的用户界面及相关外部数据的发布、需求提交、使用订阅等;可以通过客户端输入设备访问数据处理引擎系统,以调用相应的微服务实现其需求;管理端输入设备面向系统管理者,对外部数据的管理、系统功能的参数配置等;系统用户对具体外部数据的配置和维护及相关数据的获取,系统管理者可以通过客户端输入设备访问数据处理引擎系统,以调用相应的微服务实现其需求。
在一些实施例中,在使用所述数据处理引擎系统接入外部数据时,通过输入设备访问调用数据处理业务服务层的至少一个业务微服务,可选的,还可以再通过所述至少一个业务微服务调用至少一个相关的其他业务微服务和/或再通过所述至少一个业务微服务调用至少一个基础微服务。
在一些实施例中,在使用所述数据处理引擎系统接入外部数据时,通过输入设备访问调用数据管理服务创建外部数据,发布外部数据基本信息,再通过输入设备调用数据接入配置服务配置外部数据类型、数据格式、采集方式、采集频率、采集时间、数据项校验方式,再通过输入设备调用联机接入服务以联机采集数据或调用批量接入服务以批量采集数据,对于实时接入数据采用联机接入服务,对于批量文件接入数据采用批量接入服务,联机接入服务或批量接入服务按照数据接入配置服务配置的要求采集(接入)相关数据。可选的,还可以通过联机接入服务或批量接入服务调用数据计量服务和/或数据监控服务,对采集的外部数据进行计量和监控。
以下以联机数据接入为例说明各微服务的工作流程,图3是本申请实施例联机数据接入工作流程示意图,如图3所示,该工作流程包括:
301,管理端输入设备在操作界面上调用数据管理服务创建外部数据,并发布基本信息;
302,管理端输入设备在操作界面上调用数据接入配置服务配置外部数据类型、数据格式、采集方式、采集频率、采集时间、数据项校验方式;
303,管理端输入设备在操作界面上调用联机接入服务,向联机接入服务发送数据采集请求;
304,联机接入服务向数据提供方发起接入请求;
305,联机接入服务接收外部数据响应;
306,联机接入服务对接收数据报文进行解析;
307,联机接入服务向管理端输入设备返回数据采集结果(在用户界面实时查看数据);
308,联机接入服务调用数据计量服务和数据监控服务对采集的外部数据进行计量和监控;
309,数据计量服务和数据监控服务向管理端输入设备返回计量结果和监控结果。
以下以批量数据接入为例说明各微服务的工作流程,图4是本申请实施例批量数据接入工作流程示意图,如图4所示,该工作流程包括:
401,管理端输入设备在操作界面上调用数据管理服务创建外部数据,并发布基本信息;
402,管理端输入设备在操作界面上调用数据接入配置服务配置外部数据类型、数据格式、采集方式、采集频率、采集时间、数据项校验方式;
403,管理端输入设备在操作界面上调用批量接入服务,向批量接入服务发送数据采集请求;
404,批量接入服务从数据提供方批量获取数据文件;
405,批量接入服务接收数据文件进行解析;并调用数据层进行数据文件存储;
406,批量接入服务调用数据计量服务和数据监控服务对采集的外部数据进行计量和监控;
407,数据计量服务和数据监控服务向管理端输入设备返回计量结果和监控结果。
上述各个工作流程可以单独执行,也可以结合执行,本申请实施例并不以此作为限制。
以上仅以数据接入为例说明上述数据处理引擎系统各微服务的工作流程,但本申请实施例并不以此作为限制,此处不再一一举例。
在一些实施例中,该数据处理引擎系统可以包括前述客户端输入设备或者管理端输入设备。
在上述实施例中,基于微服务架构的数据处理引擎系统,可以对外部数据接入业务进行合理的微服务划分,服务划分的粒度和边界既能满足功能完整性及功能解耦的要求,同时可以直接通过不同的参数输入及灵活组合实现不同赛事服务的整体功能。不用重复开发,灵活性强,效率高,可以实现为各类外部数据接入和服务提供一站式全面服务。
本申请实施例还提供一种计算机设备,图5为本申请实施例中计算机设备的示意图,该计算机设备能够部署上述实施例中的数据处理引擎系统;该计算机设备具体包括如下内容:
在本申请实施例的一种实施方式中,计算机设备可以是各种类别的计算机设备,例如,终端、服务器或者计算机。
处理器(processor)501、存储器(memory)502、通信接口(CommunicationsInterface)503和通信总线504;
其中,所述处理器501、存储器502、通信接口503通过所述通信总线504完成相互间的通信;所述通信接口503用于实现管理端输入设备、以及客户端输入设备等相关设备之间的信息传输;
所述处理器501用于调用所述存储器502中的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中的数据处理引擎系统的全部微服务。
在一些实施例中,该计算机设备可以是可以是前述客户端输入设备或者管理端输入设备。
本发明的实施例还提供一种计算机可读存储介质,能够实现上述实施例中的数据处理引擎系统中全部微服务,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的数据处理引擎系统中全部微服务。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理引擎系统,其特征在于,所述数据处理引擎系统采用微服务架构,其包括:
数据处理业务服务层,包括与数据处理业务相关联的多个业务微服务,所述多个业务微服务包括:数据管理服务、数据接入配置服务、联机接入服务、批量接入服务;所述数据管理服务用于创建外部数据,发布外部数据基本信息;所述数据接入配置服务用于配置外部数据类型、数据格式、采集方式、采集频率、采集时间中的至少一种;所述联机接入服务用于联机查询外部数据;所述批量接入服务用于批量获取数据文件;所述业务微服务与至少一个其他的业务微服务通信连接;
数据层,其与所述数据处理业务服务层通信连接,为所述数据处理业务服务层提供数据库服务。
2.根据权利要求1所述的数据处理引擎系统,其特征在于,所述数据处理引擎系统还包括:
基础服务层,包括通用的多个基础微服务,所述多个基础微服务包括:用户服务、订阅服务;所述用户服务用于实名验证;所述订阅服务用于订阅数据、管理订阅信息;所述业务微服务与至少一个基础微服务连接,
所述基础服务层与所述数据处理业务服务层和所述数据层通信连接。
3.根据权利要求1所述的数据处理引擎系统,其特征在于,所述多个业务微服务还包括数据计量服务、数据监控服务,所述数据计量服务用于对采集或订阅的数据进行计量;所述数据监控服务用于监控采集质量、连续性、链路通畅性、异常问题。
4.根据权利要求2所述的数据处理引擎系统,其特征在于,所述多个基础微服务还包括数据计量服务、数据监控服务,所述数据计量服务用于对采集或订阅的数据进行计量;所述数据监控服务用于监控采集质量、连续性、链路通畅性、异常问题。
5.根据权利要求1至4任一项所述的数据处理引擎系统,其特征在于,在使用所述数据处理引擎系统接入外部数据时,通过输入设备访问调用数据处理业务服务层的至少一个业务微服务,再通过所述至少一个业务微服务调用至少一个相关的其他业务微服务和/或再通过所述至少一个业务微服务调用至少一个基础微服务。
6.根据权利要求5所述的数据处理引擎系统,其特征在于,在使用所述数据处理引擎系统接入外部数据时,通过输入设备访问调用数据管理服务创建外部数据,发布外部数据基本信息,再通过输入设备调用数据接入配置服务配置外部数据类型、数据格式、采集方式、采集频率、采集时间,再通过输入设备调用联机接入服务以联机采集数据或调用批量接入服务以批量采集数据。
7.根据权利要求6所述的数据处理引擎系统,其特征在于,通过联机接入服务或批量接入服务调用数据计量服务和/或数据监控服务,对采集的外部数据进行计量和监控。
8.根据权利要求1所述的数据处理引擎系统,其特征在于,所述数据处理引擎系统还包括微服务网关层,所述微服务网关层与所述数据处理业务服务层通信连接,输入设备经由所述微服务网关层访问调用所述数据处理业务服务层中的业务微服务。
9.根据权利要求1所述的数据处理引擎系统,其特征在于,所述多个业务微服务之间采用请求/异步响应模式。
10.一种计算机设备,所述计算机设备上部署有如权利要求1至9中任一项所述的数据处理引擎系统。
CN202211529040.6A 2022-11-30 2022-11-30 数据处理引擎系统及计算机设备 Pending CN115914351A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211529040.6A CN115914351A (zh) 2022-11-30 2022-11-30 数据处理引擎系统及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211529040.6A CN115914351A (zh) 2022-11-30 2022-11-30 数据处理引擎系统及计算机设备

Publications (1)

Publication Number Publication Date
CN115914351A true CN115914351A (zh) 2023-04-04

Family

ID=86479204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211529040.6A Pending CN115914351A (zh) 2022-11-30 2022-11-30 数据处理引擎系统及计算机设备

Country Status (1)

Country Link
CN (1) CN115914351A (zh)

Similar Documents

Publication Publication Date Title
CN102255934B (zh) 云服务发布方法及云服务中介
CN109559258B (zh) 教育资源公共服务系统
US9077717B2 (en) Propagation and adoption of extensions across applications in networked solutions
US7903656B2 (en) Method and system for message routing based on privacy policies
US7788403B2 (en) Network publish/subscribe incorporating web services network routing architecture
US7702718B2 (en) Providing enterprise information
CN109639782A (zh) 消息发送平台、方法
CN111861140A (zh) 一种业务处理方法、装置、存储介质和电子装置
CN109783151B (zh) 规则变更的方法和装置
Pavlou On the evolution of management approaches, frameworks and protocols: a historical perspective
Bernstein et al. Using XMPP as a transport in Intercloud Protocols
EP1480381A2 (en) Method and system for message based policy distribution
CN101808051A (zh) 应用整合网关及其控制方法
CN110096545A (zh) 一种基于大数据平台数据处理域构架方法
WO2012062190A1 (zh) 第三方软件的配置管理方法及系统、管理服务器
CN113342547A (zh) 一种远程服务调用方法、装置、电子设备及可读存储介质
CN105071965B (zh) 一种网络设备的管理系统
CN107800790A (zh) 一种统一数据服务系统及方法
CN114448686B (zh) 一种基于微服务的跨网络通信装置与方法
CN110661780A (zh) 一种基于saas应用的无线城市数据共享方法与系统
CN114840329A (zh) 一种基于区块链的云原生混合集成方法
CN116708538A (zh) 一种以对等网络为基础的微服务系统
CN115914351A (zh) 数据处理引擎系统及计算机设备
Öztürk et al. Feature modeling of software as a service domain to support application architecture design
Bao et al. A method and framework for quality of cloud services measurement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination