CN111078421A - 一种基于微服务的大数据实时处理装置 - Google Patents

一种基于微服务的大数据实时处理装置 Download PDF

Info

Publication number
CN111078421A
CN111078421A CN201911118999.9A CN201911118999A CN111078421A CN 111078421 A CN111078421 A CN 111078421A CN 201911118999 A CN201911118999 A CN 201911118999A CN 111078421 A CN111078421 A CN 111078421A
Authority
CN
China
Prior art keywords
micro
data
service
real
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911118999.9A
Other languages
English (en)
Inventor
汤海洋
王劲
戴梦岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Sugo Technology Co ltd
Original Assignee
Guangdong Sugo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Sugo Technology Co ltd filed Critical Guangdong Sugo Technology Co ltd
Priority to CN201911118999.9A priority Critical patent/CN111078421A/zh
Publication of CN111078421A publication Critical patent/CN111078421A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供一种基于微服务的大数据实时处理装置，包括：数据来源模块；实时数据处理微服务模块，由多个微服务单元构成，用于对数据来源模块的数据进行实时接收、处理及输出，所述的多个微服务单元之间通过HTTP API协议通信；实时数据处理编排模块，用于组织所述的多个微服务单元的数据处理的逻辑过程；微服务地址注册模块，用于提供微服务物理地址注册，提供统一微服务访问地址入口。本发明提供的基于微服务的大数据实时处理装置，通过构建微服务程序，程序之间通过HTTP API进行通信，形成一个松散异构、高度自治的大数据实时处理环境，以解决平台中心化的技术问题。

Description

一种基于微服务的大数据实时处理装置
技术领域
本发明涉及大数据技术领域，特别是涉及一种基于微服务的大数据实时处理装置。
背景技术
目前，大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，它可以归纳为体量大(Volume)、种类多 (Variety)、价值密度低(Value)、速度快(Velocity)等四个特征。其中，产生速度快是大数据的重要特征之一，据统计每一秒就有90万人点击Facebook，45.2万人登录Twitter，350万人在谷歌上搜索。把这些过程产生的所有数据完全存储起来是困难的，需要通过有效的实时数据处理技术对这些数据进行实时转化，形成高价值数据，以便进行存储和使用。
现有的实时数据处理技术方案是通过把数据接入实时数据处理平台，如Storm、Spark、Flink等，完成对数据的实时加工处理。这种方式主要的缺点是平台中心化问题。数据处理的效果过分依赖于一个平台的好坏，平台产生的BUG会严重影响运行在它之上的所有作业。同时，作业与平台的技术(如编程语言、编程框架等)紧密耦合，使用另一种更优的不同技术重构已有作业会难以实现。
现有的实时数据处理技术方案在大数据环境下存在平台中心化问题。主要缺点如下：
1)数据处理的效果过分依赖于一个平台的好坏，一旦平台发生故障，如程序缺陷，会导致所有运行在平台之上的作业无法正常工作。
2)随着数据处理的需求不断增多，平台会逐渐变成一个臃肿的单体。而技术发展是迅速的，一旦这种技术满足不了当前的需求，要想采用新框架和语言进行重写将变得非常困难。
3)这种技术方案无法根据不同的数据处理需求按需调配硬件资源，如一个执行CPU密集型的图像处理程序应被分配高性能CPU资源，而另一个数据暂存程序应被分配大额内存。
因此，需要提供一种基于微服务的大数据实时处理装置以解决上述技术问题。
发明内容
本发明主要解决的技术问题是提供一种基于微服务的大数据实时处理装置，通过构建微服务程序，程序之间通过HTTP API进行通信，形成一个松散异构、高度自治的大数据实时处理环境，以解决平台中心化的技术问题。
为解决上述技术问题，本发明采用的一个技术方案是提供一种基于微服务的大数据实时处理装置，包括：
数据来源模块a；
实时数据处理微服务模块b，由多个微服务单元A构成，用于对数据来源模块a的数据进行实时接收、处理及输出，所述的多个微服务单元A之间通过HTTP API协议通信；
实时数据处理编排模块c，用于组织所述的多个微服务单元的数据处理的逻辑过程；
微服务地址注册模块d，用于提供微服务物理地址注册，提供统一微服务访问地址入口；
数据来源模块a接实时数据处理微服务模块b，实时数据处理微服务模块b接实时数据处理编排模块c，微服务地址注册模块d的输出端口接数据来源模块a和实时数据处理编排模块c的输入端口。
实施例中，作为优选：
所述微服务单元A包括数据处理微服务程序S、数据输入端口S1、数据暂存组件S2、数据输出端口S3、容器C；
数据处理微服务程序S、数据输入端口S1、数据暂存组件S2、数据输出端口S3及其需要的CPU、内存、软件封装在容器C上。
实施例中，作为优选：
所述数据暂存组件S2为内存与磁盘混合存储部件。
实施例中，作为优选：
不同微服务单元A的数据输入端口S1与数据输出端口S3通过 HTTP API协议通信。
实施例中，作为优选：所述不同的容器C之间通过HTTP API协议通信。
实施例中，作为优选：
包含相同的数据处理微服务程序S的不同微服务单元A部署于相互独立的物理服务器上。
实施例中，作为优选：
所述多个微服务单元中计算密集型的微服务单元部署于CPU高性能服务器上、对内存消耗大的微服务单元部署于大内存服务器上。
实施例中，作为优选：
微服务物理地址注册包括IP地址、端口号注册。
本发明的有益效果是：本发明提供的一种基于微服务的大数据实时处理装置，通过对数据平台及处理过程进行分解，形成大量实时数据处理微服务，分别部署，实现不同微服务的数据处理过程及技术完全隔离，以达到去平台中心化的效果。
附图说明
图1是本发明的一种基于微服务的大数据实时处理装置的第一优选实施例的结构原理图；
图2是本发明的微服务单元A的一种优选实施例的结构原理示意图。
具体实施方式
下面结合图示对本发明的技术方案进行详述。
请参见图1所示，本实施例的基于微服务的大数据实时处理装置，数据来源模块a；
实时数据处理微服务模块b，由多个微服务单元A构成，用于对数据来源模块a的数据进行实时接收、处理及输出，所述的多个微服务单元A之间通过HTTP API协议通信，进而形成一个松散异构、高度自治的大数据实时处理环境，以解决平台中心化的技术问题，其中的微服务单元A是通过人工对数据处理程序进行拆解及编译，并把它们分别部署；
实时数据处理编排模块c，用于组织所述的多个微服务单元的数据处理的逻辑过程；
微服务地址注册模块d，用于提供微服务物理地址注册，提供统一微服务访问地址入口，进而可以达到隔离路由对实时数据处理微服务模块b的访问的目的；
数据来源模块a接实时数据处理微服务模块b，实时数据处理微服务模块b接实时数据处理编排模块c，微服务地址注册模块d的输出端口接数据来源模块a和实时数据处理编排模块c的输入端口。
请进一步参看图1所示，数据来源模块a包括多个数据来源单元，比如，第一数据来源单元a1，第二数据来源单元a2，第三数据来源单元 a3……第M数据来源单元aM；
而实时数据处理微服务模块b包括多个相互独立的微服务单元A，比如，第一微服务单元b1、第二微服务单元b2、第三微服务单元b3……第n微服务单元bn；
实时数据处理编排模块c包括多个数据处理流程，比如第一数据处理流程c1，第二数据处理流程c2，第三数据处理流程c3，……第P数据处理流程cP；
当然，微服务地址注册模块d包括多个地址注册单元，具体包括第一地址注册单元d1，第二地址注册单元d2，第三地址注册单元d3，……第Y地址注册单元dY；
其中，M、P、Y都是大于2的自然数。
如图2所示，在本发明的实施例中，优选所述微服务单元A包括数据处理微服务程序S、数据输入端口S1、数据暂存组件S2、数据输出端口S3、容器C，其中，数据处理微服务程序S，是经过拆解及编译后的程序，用于对数据进行实时处理；
数据处理微服务程序S、数据输入端口S1、数据暂存组件S2、数据输出端口S3及其需要的CPU、内存、软件封装在容器C上。
对于数据暂存组件S2的具体结构，优选为内存与磁盘混合存储部件，该数据暂存组件S2用于支持数据处理微服务程序S高速读写。
实施例中，作为优选：
不同微服务单元A的数据输入端口S1与数据输出端口S3通过 HTTP API协议通信，如此便可以达到对数据处理微服务程序S的隔离，满足采用不同技术实现数据处理微服务程序S的目标；
在本发明的实施例中，作为优选：所述不同的容器C之间通过HTTP API协议通信，以实现数据处理微服务程序S的负载均衡及高可用，任一微服务单元异常终止都不会影响数据处理微服务程序S的连续进行，进一步的实现不同的微服务单元A之间的隔离，达到去中心化的目的。
为了保证微服务单元A之间的彼此不受影响，实施例中，作为优选：
包含相同的数据处理微服务程序S的不同微服务单元A部署于相互独立的物理服务器上，如此，使得任一微服务单元异常终止都不会影响数据处理微服务程序S的连续运行。
实施例中，为了使得多个微服务单元能够顺利有序的运作，作为优选：所述多个微服务单元中计算密集型的微服务单元部署于CPU高性能服务器上、对内存消耗大的微服务单元部署于大内存服务器上。
在本发明的实施例中，作为优选：微服务物理地址注册包括IP地址、端口号注册，对于微服务物理地址注册具体包括哪些，需要根据具体的设计要求进行设计，对此，不做限制。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于微服务的大数据实时处理装置，包括：
数据来源模块(a)；
实时数据处理微服务模块(b)，由多个微服务单元(A)构成，用于对数据来源模块(a)的数据进行实时接收、处理及输出，所述的多个微服务单元(A)之间通过HTTP API协议通信；实时数据处理编排模块(c)，用于组织所述的多个微服务单元的数据处理的逻辑过程；
微服务地址注册模块(d)，用于提供微服务物理地址注册，提供统一微服务访问地址入口；
数据来源模块(a)接实时数据处理微服务模块(b)，实时数据处理微服务模块(b)接实时数据处理编排模块(c)，微服务地址注册模块(d)的输出端口接数据来源模块(a)和实时数据处理编排模块(c)的输入端口。
2.根据权利要求1所述的基于微服务的大数据实时处理装置，其特征在于：
所述微服务单元(A)包括数据处理微服务程序(S)、数据输入端口(S1)、数据暂存组件(S2)、数据输出端口(S3)、容器(C)；
数据处理微服务程序(S)、数据输入端口(S1)、数据暂存组件(S2)、数据输出端口(S3)及其需要的CPU、内存、软件封装在容器(C)上。
3.根据权利要求2所述的基于微服务的大数据实时处理装置，其特征在于：
所述数据暂存组件(S2)为内存与磁盘混合存储部件。
4.根据权利要求2所述的基于微服务的大数据实时处理装置，其特征在于：
不同微服务单元(A)的数据输入端口(S1)与数据输出端口(S3)通过HTTP API协议通信。
5.根据权利要求4所述的基于微服务的大数据实时处理装置，其特征在于：
所述不同的容器(C)之间通过HTTP API协议通信。
6.根据权利要求4或5所述的基于微服务的大数据实时处理装置，其特征在于：
包含相同的数据处理微服务程序(S)的不同微服务单元(A)部署于相互独立的物理服务器上。
7.根据权利要求6所述的基于微服务的大数据实时处理装置，其特征在于：
所述多个微服务单元中计算密集型的微服务单元部署于CPU高性能服务器上、对内存消耗大的微服务单元部署于大内存服务器上。
8.根据权利要求1-5任意一项所述的基于微服务的大数据实时处理装置，其特征在于：
微服务物理地址注册包括IP地址、端口号注册。
CN201911118999.9A 2019-11-15 2019-11-15 一种基于微服务的大数据实时处理装置 Pending CN111078421A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911118999.9A CN111078421A (zh) 2019-11-15 2019-11-15 一种基于微服务的大数据实时处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911118999.9A CN111078421A (zh) 2019-11-15 2019-11-15 一种基于微服务的大数据实时处理装置

Publications (1)

Publication Number Publication Date
CN111078421A true CN111078421A (zh) 2020-04-28

Family

ID=70311149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911118999.9A Pending CN111078421A (zh) 2019-11-15 2019-11-15 一种基于微服务的大数据实时处理装置

Country Status (1)

Country Link
CN (1) CN111078421A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959138A (zh) * 2016-04-29 2016-09-21 深圳前海大数点科技有限公司 基于云计算的微服务动态部署的系统及方法
CN107491858A (zh) * 2017-07-05 2017-12-19 北京科东电力控制系统有限责任公司 一种基于微服务应用架构的电力交易平台
CN107682206A (zh) * 2017-11-02 2018-02-09 北京中电普华信息技术有限公司 基于微服务的业务流程管理系统的部署方法及系统
CN109683910A (zh) * 2018-12-21 2019-04-26 成都四方伟业软件股份有限公司 大数据平台部署方法及装置
CN109889416A (zh) * 2019-02-18 2019-06-14 西安交通大学 一种基于微服务架构的智能家居系统及构建方法
CN110324376A (zh) * 2018-03-30 2019-10-11 江苏融成嘉益信息科技有限公司 一种商业微服务组件库

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959138A (zh) * 2016-04-29 2016-09-21 深圳前海大数点科技有限公司 基于云计算的微服务动态部署的系统及方法
CN107491858A (zh) * 2017-07-05 2017-12-19 北京科东电力控制系统有限责任公司 一种基于微服务应用架构的电力交易平台
CN107682206A (zh) * 2017-11-02 2018-02-09 北京中电普华信息技术有限公司 基于微服务的业务流程管理系统的部署方法及系统
CN110324376A (zh) * 2018-03-30 2019-10-11 江苏融成嘉益信息科技有限公司 一种商业微服务组件库
CN109683910A (zh) * 2018-12-21 2019-04-26 成都四方伟业软件股份有限公司 大数据平台部署方法及装置
CN109889416A (zh) * 2019-02-18 2019-06-14 西安交通大学 一种基于微服务架构的智能家居系统及构建方法

Similar Documents

Publication Publication Date Title
US20220107881A1 (en) Agentless distributed monitoring of microservices through a virtual switch
CN107766148B (zh) 一种异构集群及任务处理方法和装置
Weerasinghe et al. Network-attached FPGAs for data center applications
Lu et al. High-performance design of hadoop rpc with rdma over infiniband
Grünewald et al. The GASPI API specification and its implementation GPI 2.0
Vaquero et al. Dynamically scaling applications in the cloud
CN107220039B (zh) 一种基于云环境的异构资源标准化封装系统
Thomas et al. Particle: ephemeral endpoints for serverless networking
CN107682206B (zh) 基于微服务的业务流程管理系统的部署方法及系统
US8677371B2 (en) Mixed operating performance modes including a shared cache mode
US20150205888A1 (en) Simulation of high performance computing (hpc) application environment using virtual nodes
Inoubli et al. A comparative study on streaming frameworks for big data
CN107766147A (zh) 分布式的数据分析任务调度系统
US11327780B2 (en) Network-efficient isolation environment redistribution
KR102204670B1 (ko) 프록시 기반 멀티스레딩 메시지 전달 통신을 위한 기술
CN107491340B (zh) 跨物理机的巨型虚拟机实现方法
Simmendinger et al. The GASPI API: A failure tolerant PGAS API for asynchronous dataflow on heterogeneous architectures
CN110177146A (zh) 一种基于异步事件驱动的非阻塞Restful通信方法、装置和设备
CN104008012A (zh) 一种基于虚拟机动态迁移的高性能MapReduce实现机制
US11228492B2 (en) Debugging a network switch by replaying configuration
US11467946B1 (en) Breakpoints in neural network accelerator
US9262162B2 (en) Register file and computing device using the same
US20190034233A1 (en) Virtual container processing on high performance computing processors
CN111078421A (zh) 一种基于微服务的大数据实时处理装置
US10884774B2 (en) Virtual node deployments of cluster-based applications modified to exchange reference to file systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200428

RJ01 Rejection of invention patent application after publication