CN111352726B - 一种基于容器化微服务的流数据处理方法及装置 - Google Patents
一种基于容器化微服务的流数据处理方法及装置 Download PDFInfo
- Publication number
- CN111352726B CN111352726B CN201811585463.3A CN201811585463A CN111352726B CN 111352726 B CN111352726 B CN 111352726B CN 201811585463 A CN201811585463 A CN 201811585463A CN 111352726 B CN111352726 B CN 111352726B
- Authority
- CN
- China
- Prior art keywords
- container
- data
- new
- containers
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 99
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012216 screening Methods 0.000 claims abstract description 5
- 238000007726 management method Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004806 packaging method and process Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000004064 recycling Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Abstract
本发明提供了一种基于容器化微服务的流数据处理方法及装置，所述方法包括：通过提供微服务业务的多个容器分别接收流数据信息，并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息；按照预设的业务逻辑对所述待处理数据信息进行处理，并将处理结果数据存入各容器的指定存储位置；从各容器的指定存储位置中获取处理结果数据进行汇总，输出所述流数据信息的处理结果集。本发明提供的方法可以增加流式计算可扩展性，并且各容器在接收的流数据信息之后还可以从中筛选出自身需要处理的待处理数据进行处理，实现异质化的同时最小化非计算资源消耗，同时提升计算效率并节省存储空间。
Description
技术领域
本发明涉及数据处理技术领域，特别是涉及一种基于容器化微服务的流数据处理方法及装置。
背景技术
目前，对于针对大数据的少量需要实时计算的数据来讲，在进行流式计算部署时，往往依赖大数据批处理技术的计算资源管理技术，而这些技术主要面向集中式、大批量、CPU密集型计算，本身对资源消耗较大，往往部署在物理机上，扩容需新增机器，周期长，无法随时按需扩容。
另外，由于每个流计算应用都需要许多比如流计算框架、计算任务调度等服务支持，需要占用大量资源。同时由于各计算节点完全一致，导致需要从外部加载静态数据(如一些规则库)时，每个节点的内存需要加载全部静态数据，而每个节点往往只需要部分静态数据，进而造成资源浪费。由于计算过程前有大量的调度工作，采用传统流计算框架的计算效率非常低下。
发明内容
本发明提供了一种基于容器化微服务的流数据处理方法及装置以克服上述问题或者至少部分地解决上述问题。
根据本发明的一个方面，提供了一种基于容器化微服务的流数据处理方法，包括：
通过提供微服务业务的多个容器分别接收流数据信息，并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息；
按照预设的业务逻辑对所述待处理数据信息进行处理，并将处理结果数据存入各容器的指定存储位置；
从各容器的指定存储位置中获取处理结果数据进行汇总，输出所述流数据信息的处理结果集。
可选地，所述通过可提供不同微服务业务的多个容器分别接收流数据信息之前，还包括：
部署多个执行相同或不同工作任务的工作节点，基于所述工作节点打包多个提供微服务业务的容器；其中，各容器包括至少一个工作节点；所述工作节点包括：数据接收节点、数据处理节点、数据存储节点和/或数据汇总节点；
为各容器分配唯一标识信息，并通过预设容器管理平台对所述各容器进行统一管理。
可选地，所述通过提供微服务业务的多个容器分别接收流数据信息，并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息之后，还包括：
若任一容器监控到自身筛选出的待处理数据信息超过预设信息量和/或指定存储位置的存储量超过预设存储量，则向所述预设容器管理平台发送扩容请求，由所述预设容器管理平台基于该容器的配置信息启动新的容器。
可选地，所述为各容器分配唯一标识信息，并通过预设容器管理平台对所述各容器进行统一管理之后，还包括：
预先配置至少一个容器的连接方式；
若启动新的第一容器，则由所述新的第一容器将其连接方式发送至所述容器。
可选地，所述若启动新的第一容器，则由所述新的第一容器将其连接方式发送至所述容器之后，还包括：
若后续启动新的第二容器，则由所述新的第二容器将其连接方式发送至所述容器；
通过所述容器将所述新的第二容器的方式发送至所述新的第一容器，同时将所述新的第一容器的连接方式发送至所述新的第二容器。
可选地，所述部署多个执行相同或不同工作任务的工作节点，基于所述工作节点打包多个提供微服务业务的容器之后，还包括：
在所述各容器中存储所述容器支持的功能以及启动实例的数量，并通过接口显示自身的状态信息。
可选地，所述按照预设的业务逻辑对所述待处理数据信息进行处理，并将处理结果数据存入各容器的指定存储位置之后，还包括：
将存储时间超过预设时间的处理结果数据标记为过期数据，基于预设规则对各容器中存储的过期数据进行回收。
根据本发明的另一个方面，还提供了一种基于容器化微服务的流数据处理装置，包括：
接收模块，配置为通过提供微服务业务的多个容器分别接收流数据信息，并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息；
处理模块，配置为按照预设的业务逻辑对所述待处理数据信息进行处理，并将处理结果数据存入各容器的指定存储位置；
汇总模块，配置为从各容器的指定存储位置中获取处理结果数据进行汇总，输出所述流数据信息的处理结果集。
可选地，所述装置还包括：
部署模块，配置为部署多个执行相同或不同工作任务的工作节点，基于所述工作节点打包多个提供微服务业务的容器；其中，各容器包括至少一个工作节点；所述工作节点包括：数据接收节点、数据处理节点、数据存储节点和/或数据汇总节点；
为各容器分配唯一标识信息，并通过预设容器管理平台对所述各容器进行统一管理。
可选地，所述装置还包括：
启动模块，配置为当任一容器监控到自身筛选出的待处理数据信息超过预设信息量和/或指定存储位置的存储量超过预设存储量时，向所述预设容器管理平台发送扩容请求，由所述预设容器管理平台基于该容器的配置信息启动新的容器。
可选地，所述部署模块还配置为：
通过预设容器管理平台对所述各容器进行统一管理之后，预先配置至少一个容器的连接方式；
若启动新的第一容器，则由所述新的第一容器将其连接方式发送至所述容器。
可选地，所述部署模块还配置为：
若后续启动新的第二容器，则由所述新的第二容器将其连接方式发送至所述容器；
通过所述容器将所述新的第二容器的方式发送至所述新的第一容器，同时将所述新的第一容器的连接方式发送至所述新的第二容器。
可选地，所述部署模块还配置为：
基于所述工作节点打包多个提供微服务业务的容器之后，在所述各容器中存储所述容器支持的功能以及启动实例的数量，并通过接口显示自身的状态信息。
可选地，所述处理模块还配置为：
在将处理结果数据存入各容器的指定存储位置之后，将存储时间超过预设时间的处理结果数据标记为过期数据，基于预设规则对各容器中存储的过期数据进行回收。
根据本发明的另一个方面，还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行上述任一项所述的基于容器化微服务的流数据处理方法。
根据本发明的另一个方面，还提供了一种计算设备，包括：
处理器；
存储有计算机程序代码的存储器；
当所述计算机程序代码被所述处理器运行时，导致所述计算设备执行上述任一项所述的基于容器化微服务的流数据处理方法。
本发明提供了一种高效的基于容器化微服务的流数据后处理方法及装置，在本发明提供的方法中，流数据信息主要分发至多个提供微服务业务的容器，由各容器筛选出各自需要处理的待处理数据信息之后，按照预设的业务逻辑进行处理并保存处理结果，最后基于不同需求从各容器中获取处理后的数据进行数据汇总进而输出处理结果集。基于本发明提供的方法，采用容器实现流数据信息的接收以及处理，可以摆脱对物理机的依赖，在已有资源一定的基础上大大增加增加流式计算可扩展性性；另外各容器在接收的流数据信息之后还可以按需加载自己的待处理数据进行处理，实现异质化，最小化非计算资源消耗的同时提升计算效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是根据本发明实施例的基于容器化微服务的流数据处理方法流程示意图；
图2是根据本发明优选实施例的基于容器化微服务的流数据处理流程示意图；
图3是根据本发明实施例的基于容器化微服务的流数据处理装置结构示意图；
图4是根据本发明优选实施例的基于容器化微服务的流数据处理装置结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
流数据计算不同于批处理计算先收集数据再统一处理的流程，流计算连续不断地处理不断到达的数据，原始数据并不保存，只有计算结果和部分中间数据在有限时间内被保存和向后传递。传统方法在对流数据进行计算处理时，通常会将数据流送入计算集群中，由计算集群变成任务后分发到集群中各个物理机形式的计算节点上，当每个计算节点完成计算之后，再将计算结果分发至其他物理机形式的计算节点中进行汇总。如常用的Spark-streaming，一种基于小批量批处理的流计算框架，部署上一般基于大数据计算资源管理技术(如YARN)，计算上借鉴大数据计算的逻辑(如map和reduce)。Apache Storm，是一个分布式实时大数据处理系统，Storm使用Spout接受数据并使用Bolt进行数据处理，Bolt可以具有一定的拓扑结构，相对Spark-streaming而言是真正的实时计算。部署上包括主节点和工作节点，一般也基于大数据计算资源管理技术(如YARN)。上述方法不仅不容易扩容，每个节点的内存需要加载全部静态数据而造成资源浪费。另外，由于计算过程前有大量的调度工作，传统流计算框架的计算效率往往只有微服务的几分之一。如Storm介绍该框架可以每秒处理数万条的数据，微服务可能只需一到两台机器处理这些数据，但Storm和Spark-streaming可能却需要数台。
本发明实施例提供了一种高效的基于容器化微服务的流数据处理方法流程示意图，如图1所示，根据本发明实施例提供的基于容器化微服务的流数据处理方法可以包括：
步骤S102，通过提供微服务业务的多个容器分别接收流数据信息，并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息；
步骤S104，按照预设的业务逻辑对上述待处理数据信息进行处理，并将处理结果数据存入各容器的指定存储位置；
步骤S106，从各容器的指定存储位置中获取处理结果数据进行汇总，输出流数据信息的处理结果集。
本发明实施例提供的基于容器化微服务的流数据后处理方法中，流数据信息主要分发至多个提供微服务业务的容器，由各容器筛选出各自需要处理的待处理数据信息之后，按照预设的业务逻辑进行处理并保存处理结果，最后基于不同需求从各容器中获取处理后的数据进行数据汇总进而输出处理结果集。基于本发明实施例提供的方法，采用容器实现流数据信息的接收以及处理，可以摆脱对物理机的依赖，在已有资源一定的基础上大大增加增加流式计算可扩展性性；另外各容器在接收的流数据信息之后还可以按需加载自己的待处理数据进行处理，实现异质化，最小化非计算资源消耗的同时提升计算效率。
容器与虚拟机一样，是隔离的，也可以拥有一个唯一ID和唯一的供人阅读的名字，也可以对外公开服务。但是容器被设计用来运行单进程，相对虚拟机及实体机占用的资源更低，虚拟机通常会模拟完整的硬件软件环境，而容器只会模拟软件环境，它的消耗要比虚拟机低。因此，本发明实施例通过采用容器对流数据信息进行计算处理不仅可以在实现各处理节点异质化的同时，提升计算效率。
可选地，通过容器计算处理流数据时，可以通过不同的工作节点以系统完成。即，在上述步骤S102之前，还可以包括：部署多个执行相同或不同工作任务的工作节点，基于上述工作节点打包多个提供微服务业务的容器；其中，各容器包括至少一个工作节点；工作节点可以包括：数据接收节点、数据处理节点、数据存储节点和/或数据汇总节点；为各容器分配唯一标识信息，并通过预设容器管理平台对各容器进行统一管理。
也就是说，在对流数据处理之前，可先部署多个具备相同或不同工作任务的工作节点Woker，其中，Worker可以包括以下几种，数据接收节点Consumer、数据处理节点Processor、数据存储节点Local cache以及数据汇总节点Aggregator，其中，数据存储节点Local cache可以是采用内存、硬盘或两者混合进行数据存储的节点，另外，上述各种类型的工作节点的数量可根据实际需求进行设置，本发明不做限定。
图2示出了根据本发明优选实施例的基于容器化微服务的流数据处理流程示意图，参见图2可知，本优选实施例中部署了四个Consumer节点、四个Processor节点、四个Local cache节点以及一个Aggregator节点，其中，Consumer负责流数据信息的接收并根据业务需要将所接收到的信息分发至一个或多个Processor进行处理，各Consumer优先采用相同的分发逻辑。Processor负责对流数据进行处理，其处理逻辑由具体业务决定，处理结果数据保存至Local cache，最后Aggregator根据需要从各Local cache中拉取结果并汇总，最后输出结果集。举例来讲，用户基于搜索引擎输入的搜索关键词时，会基于用于搜索输入的搜索关键词实时进行广告投放。
基于图2所示各工作节点打包容器时，可根据业务需求将各选取一个Consumer、Processor、Local cache打包成四个容器，Aggregator单独作为一个容器。其中，两个容器用于与搜索引擎之间的信息处理，两个用于广告投放平台之间的数据处理，一个容器用于所有数据的落地的存档。流数据信息下发至各容器时，可基于容器处理的微服务业务类型以及负载均衡技术进行数据的分配。
在传统方案中，流数据送到一个计算集群后，由计算集群进行复制变成任务，然后分发到集群里的每个计算节点上。一般一个计算节点为一台物理机，当每个计算节点结束之后，再把计算结果分发到下一批节点，在此过程中会有大量的网络开销。本优选实施例中，通过各容器分别处理各自相关的流数据，并且容器之间的连接可基于内存，相较于传统的基于网络的物理机之间的连接效率更高，可以更加快速处理实时流数据。
Local cache存储处理结果数据时可以只存储一定时间窗口内的数据，即在上述步骤S104之后，还可以将存储时间超过预设时间的处理结果数据标记为过期数据，基于预设规则对各容器中存储的过期数据进行回收。对于流数据来讲，数据的价值会随着时间的推移会逐渐降低，当超过一定时间时，所存储的数据就相当于失去价值，此时，就可以将超过预设时间的数据标记为过期数据，并在适当时候进行回收以释放内存。进行数据回收时，可以定期对过期数据进行统一回收，或是根据过期数据的过期时间进行回收，也可以当过期数据达到一定量时进行回收，本发明不做限定。
上文提及，各容器可提供微服务业务，微服务相当于把一个大型的单个应用程序和服务拆分为多个(如数十个)的支持微服务，每个微服务可对应一个独立的业务功能。一个微服务的策略可以让工作变得更为简便，它可扩展单个组件而不是整个的应用程序堆栈，从而满足服务等级协议。本发明实施例中，一类容器可对应一种微服务业务，并且由于容器之间相互隔离，各自提供的微服务业务也互不影响，进而实现实时性较高的数据处理，并且，将同一微服务业务的相关代码放置同一个容器中也有利于后期的维护。
在本发明实施例中，进行容器打包时，可根据各微服务的业务需求在已部署的工作节点中选取零到多个的Consumer、Processor、Local Cache和Aggregator。在进行容器打包时，可使用gradle或其它打包工具协助打包，也可以包含所有代码，但是只根据各容器所处理微服务的业务需要启动一定数量的实例，并且，对于已打包好的容器，可以在各容器中存储容器自身支持的功能以及启动实例的数量，并通过接口显示自身的状态信息。
将容器打包完成之后，可通过预设容器管理平台对各容器进行统一管理，另外，还可以为各容器分配唯一标识信息，如ID，以供后续对各容器进行合理管理，如各容器状态的监控、启动容器、关闭容器等。其中，预设容器管理平台可以是Kubernetes或其它容器管理软件，本发明不做限定。
对于预设容器管理平台所管理的各容器，均可以主动拉取或被动接收数据同时还可以对自身状态进行监控，若任一容器监控到自身筛选出的待处理数据信息超过预设信息量和/或指定存储位置的存储量超过预设存储量，则向预设容器管理平台发送扩容请求，由预设容器管理平台基于该容器的配置信息启动新的容器。基于该容器的配置信息启动新的容器时，可以完全复制该容器包括的工作节点的类型、数量以及相关代码，本发明实施例中在进行容器扩容时，可基于已有物理机进行扩容，相较于依赖的基础集群的扩容更加快速方便。
另外，本发明优选实施例预设管理平台对各容器进行管理时，可预先配置至少一个容器的连接方式；若启动新的第一容器，则由新的第一容器将其连接方式发送至该容器，进而在容器之间可以更好的相互感知。由于已有容器预先配置的连接方式，因此在新的第一容器启动之后，可以基于该连接方式主动连接该容器。如果后续启动新的第二容器，则由新的第二容器将其连接方式发送至该容器；并且，通过该容器将新的第二容器的方式发送至新的第一容器，同时将新的第一容器的连接方式发送至新的第二容器。基于此，当预设容器管理平台启动新的容器后，新容器会如前文所述被已启动容器感知，另外，还可以通知已启动容器启动新的Worker实例，并通知其它容器自己的状态。各容器之间获取到了其他容器的连接方法，假设作为根节点的容器无法提供服务时，其他容器依旧可以实现数据互传。
举例来讲，假设预先为容器A配置了连接方式(如API端口)，当启动容器B时，容器B可以主动连接容器A，并将自身的连接方式发送至容器A。如果后续又启动的容器C，容器C可以连接容器A，并将自身的连接方式发送至容器A，容器A会将容器B的连接方式发送至C，同时将容器C的连接方式发送至容器B。当后续再有容器D启动时，容器A会将容器B、容器C的连接方式发送至容器D，同时也会将容器D的连接方式发送至容器B和容器C。
本发明实施例中，同一物理机上的总容器数量及单容器内启动的Worker实例可以限制在固定数量范围内，以避免程序异常时无限启动容器或Worker实例，造成资源的过度占用。
基于同一发明构思，本发明实施例还提供了一种基于容器化微服务的流数据处理装置，如图3所示，根据本发明实施例提供的基于容器化微服务的流数据处理装置可以包括：
接收模块310，配置为通过提供微服务业务的多个容器分别接收流数据信息，并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息；
处理模块320，配置为按照预设的业务逻辑对上述待处理数据信息进行处理，并将处理结果数据存入各容器的指定存储位置；
汇总模块330，配置为从各容器的指定存储位置中获取处理结果数据进行汇总，输出流数据信息的处理结果集。
在本发明一优选实施例中，如图4所示，上述装置还可以包括：
部署模块340，配置为部署多个执行相同或不同工作任务的工作节点，基于工作节点打包多个提供微服务业务的容器；其中，各容器包括至少一个工作节点；上述工作节点包括：数据接收节点、数据处理节点、数据存储节点和/或数据汇总节点；
为各容器分配唯一标识信息，并通过预设容器管理平台对各容器进行统一管理。
在本发明一优选实施例中，如图4所示，上述装置还可以包括：
启动模块350，配置为当任一容器监控到自身筛选出的待处理数据信息超过预设信息量和/或指定存储位置的存储量超过预设存储量时，向预设容器管理平台发送扩容请求，由预设容器管理平台基于该容器的配置信息启动新的容器。
在本发明一优选实施例中，部署模块340还可以配置为：
通过预设容器管理平台对各容器进行统一管理之后，预先配置至少一个容器的连接方式；
若启动新的第一容器，则由新的第一容器将其连接方式发送至容器。
在本发明一优选实施例中，部署模块340还可以配置为：
若后续启动新的第二容器，则由新的第二容器将其连接方式发送至该容器；
通过该容器将新的第二容器的方式发送至新的第一容器，同时将新的第一容器的连接方式发送至新的第二容器。
在本发明一优选实施例中，部署模块340还可以配置为：
基于上述工作节点打包多个提供微服务业务的容器之后，在各容器中存储容器支持的功能以及启动实例的数量，并通过接口显示自身的状态信息。
在本发明一优选实施例中，处理模块320还可以配置为：
在将处理结果数据存入各容器的指定存储位置之后，将存储时间超过预设时间的处理结果数据标记为过期数据，基于预设规则对各容器中存储的过期数据进行回收。
基于同一发明构思，本发明实施例还提供了一种计算机存储介质，该计算机存储介质存储有计算机程序代码，当计算机程序代码在计算设备上运行时，导致计算设备执行上述任一实施例所述的基于容器化微服务的流数据处理方法。
基于同一发明构思，本发明实施例还提供了一种计算设备，包括：
处理器；
存储有计算机程序代码的存储器；
当计算机程序代码被处理器运行时，导致计算设备执行上述任一实施例所述的基于容器化微服务的流数据处理方法。
本发明实施例提供的一种高效的基于容器化微服务的流数据处理方法及装置，采用容器实现流数据信息的接收以及处理，可以摆脱对物理机的依赖，在已有资源一定的基础上大大增加增加流式计算可扩展性性；另外各容器在接收的流数据信息之后还可以按需加载自己的待处理数据进行处理，实现异质化，最小化非计算资源消耗的同时提升计算效率并节省存储空间。进一步地，各容器都可以对自身状态进行监控自身，当监控到自身计算或存储压力较大时，可以向容器管理软件申请启动新的容器，新容器会被所有已启动容器感知，实现容器之间的状态以及信息的互通。
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。
本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备(例如个人计算机，服务器，或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)，磁碟或者光盘等各种可以存储程序代码的介质。
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的计算设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被计算设备的处理器执行时，所述计算设备执行本发明各实施例所述方法的全部或部分步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。
Claims (12)
1.一种基于容器化微服务的流数据处理方法，包括：
通过提供微服务业务的多个容器分别接收流数据信息，并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息；
若任一容器监控到自身筛选出的待处理数据信息超过预设信息量和/或指定存储位置的存储量超过预设存储量，则向预设容器管理平台发送扩容请求，由所述预设容器管理平台基于该容器的配置信息启动新的容器；
按照预设的业务逻辑对所述待处理数据信息进行处理，并将处理结果数据存入各容器的指定存储位置；
从各容器的指定存储位置中获取处理结果数据进行汇总，输出所述流数据信息的处理结果集；
所述通过提供微服务业务的多个容器分别接收流数据信息之前，还包括：
部署多个执行相同或不同工作任务的工作节点，基于所述工作节点打包多个提供微服务业务的容器；其中，各容器包括至少一个工作节点；所述工作节点包括：数据接收节点、数据处理节点、数据存储节点和/或数据汇总节点；
为各容器分配唯一标识信息，并通过预设容器管理平台对所述各容器进行统一管理。
2.根据权利要求1所述的方法，其中，所述为各容器分配唯一标识信息，并通过预设容器管理平台对所述各容器进行统一管理之后，还包括：
预先配置至少一个容器的连接方式；
若启动新的第一容器，则由所述新的第一容器将其连接方式发送至所述容器。
3.根据权利要求2所述的方法，其中，所述若启动新的第一容器，则由所述新的第一容器将其连接方式发送至所述容器之后，还包括：
若后续启动新的第二容器，则由所述新的第二容器将其连接方式发送至所述容器；
通过所述容器将所述新的第二容器的方式发送至所述新的第一容器，同时将所述新的第一容器的连接方式发送至所述新的第二容器。
4.根据权利要求1-3任一项所述的方法，其中，所述部署多个执行相同或不同工作任务的工作节点，基于所述工作节点打包多个提供微服务业务的容器之后，还包括：
在所述各容器中存储所述容器支持的功能以及启动实例的数量，并通过接口显示自身的状态信息。
5.根据权利要求1-3任一项所述的方法，其中，所述按照预设的业务逻辑对所述待处理数据信息进行处理，并将处理结果数据存入各容器的指定存储位置之后，还包括：
将存储时间超过预设时间的处理结果数据标记为过期数据，基于预设规则对各容器中存储的过期数据进行回收。
6.一种基于容器化微服务的流数据处理装置，包括：
接收模块，配置为通过提供微服务业务的多个容器分别接收流数据信息，并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息；
处理模块，配置为按照预设的业务逻辑对所述待处理数据信息进行处理，并将处理结果数据存入各容器的指定存储位置；
汇总模块，配置为从各容器的指定存储位置中获取处理结果数据进行汇总，输出所述流数据信息的处理结果集；
启动模块，配置为当任一容器监控到自身筛选出的待处理数据信息超过预设信息量和/或指定存储位置的存储量超过预设存储量时，向预设容器管理平台发送扩容请求，由所述预设容器管理平台基于该容器的配置信息启动新的容器；
部署模块，配置为部署多个执行相同或不同工作任务的工作节点，基于所述工作节点打包多个提供微服务业务的容器；其中，各容器包括至少一个工作节点；所述工作节点包括：数据接收节点、数据处理节点、数据存储节点和/或数据汇总节点；
为各容器分配唯一标识信息，并通过预设容器管理平台对所述各容器进行统一管理。
7.根据权利要求6所述的装置，其中，所述部署模块还配置为：
通过预设容器管理平台对所述各容器进行统一管理之后，预先配置至少一个容器的连接方式；
若启动新的第一容器，则由所述新的第一容器将其连接方式发送至所述容器。
8.根据权利要求7所述的装置，其中，所述部署模块还配置为：
若后续启动新的第二容器，则由所述新的第二容器将其连接方式发送至所述容器；
通过所述容器将所述新的第二容器的方式发送至所述新的第一容器，同时将所述新的第一容器的连接方式发送至所述新的第二容器。
9.根据权利要求6-8任一项所述的装置，其中，所述部署模块还配置为：
基于所述工作节点打包多个提供微服务业务的容器之后，在所述各容器中存储所述容器支持的功能以及启动实例的数量，并通过接口显示自身的状态信息。
10.根据权利要求6-8任一项所述的装置，其中，所述处理模块还配置为：
在将处理结果数据存入各容器的指定存储位置之后，将存储时间超过预设时间的处理结果数据标记为过期数据，基于预设规则对各容器中存储的过期数据进行回收。
11.一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行权利要求1-5任一项所述的基于容器化微服务的流数据处理方法。
12.一种计算设备，包括：
处理器；
存储有计算机程序代码的存储器；
当所述计算机程序代码被所述处理器运行时，导致所述计算设备执行权利要求1-5任一项所述的基于容器化微服务的流数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811585463.3A CN111352726B (zh) | 2018-12-24 | 2018-12-24 | 一种基于容器化微服务的流数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811585463.3A CN111352726B (zh) | 2018-12-24 | 2018-12-24 | 一种基于容器化微服务的流数据处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111352726A CN111352726A (zh) | 2020-06-30 |
| CN111352726B true CN111352726B (zh) | 2024-04-05 |
Family
ID=71196216
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811585463.3A Active CN111352726B (zh) | 2018-12-24 | 2018-12-24 | 一种基于容器化微服务的流数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111352726B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112286935A (zh) * | 2020-10-30 | 2021-01-29 | 上海淇玥信息技术有限公司 | 一种基于调度平台的调度方法、装置和电子设备 |
| CN114924877B (zh) * | 2022-05-17 | 2023-10-17 | 江苏泰坦智慧科技有限公司 | 一种基于数据流的动态分配计算方法、装置和设备 |
| CN115499421B (zh) * | 2022-09-19 | 2023-05-23 | 北京三维天地科技股份有限公司 | 一种基于三层架构的微服务架构模式系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103986608A (zh) * | 2014-05-29 | 2014-08-13 | 浪潮电子信息产业股份有限公司 | 一种基于安腾Linux应用容器的J2EE应用虚拟化管理方法 |
| CN106126338A (zh) * | 2016-06-21 | 2016-11-16 | 浪潮(北京)电子信息产业有限公司 | 一种虚拟机集群伸缩配置的方法及装置 |
| CN106227579A (zh) * | 2016-07-12 | 2016-12-14 | 深圳市中润四方信息技术有限公司 | 一种Docker容器构建方法及Docker管理控制台 |
| CN108228347A (zh) * | 2017-12-21 | 2018-06-29 | 上海电机学院 | 一种任务感知的Docker自适应调度系统 |
| CN108494574A (zh) * | 2018-01-18 | 2018-09-04 | 清华大学 | 一种nfv中网络功能并行处理基础架构 |
| CN108958881A (zh) * | 2018-05-31 | 2018-12-07 | 平安科技（深圳）有限公司 | 数据处理方法、装置及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180285165A1 (en) * | 2017-03-31 | 2018-10-04 | Ca, Inc. | Container-based system analytics appliance |
-
2018
- 2018-12-24 CN CN201811585463.3A patent/CN111352726B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103986608A (zh) * | 2014-05-29 | 2014-08-13 | 浪潮电子信息产业股份有限公司 | 一种基于安腾Linux应用容器的J2EE应用虚拟化管理方法 |
| CN106126338A (zh) * | 2016-06-21 | 2016-11-16 | 浪潮(北京)电子信息产业有限公司 | 一种虚拟机集群伸缩配置的方法及装置 |
| CN106227579A (zh) * | 2016-07-12 | 2016-12-14 | 深圳市中润四方信息技术有限公司 | 一种Docker容器构建方法及Docker管理控制台 |
| CN108228347A (zh) * | 2017-12-21 | 2018-06-29 | 上海电机学院 | 一种任务感知的Docker自适应调度系统 |
| CN108494574A (zh) * | 2018-01-18 | 2018-09-04 | 清华大学 | 一种nfv中网络功能并行处理基础架构 |
| CN108958881A (zh) * | 2018-05-31 | 2018-12-07 | 平安科技（深圳）有限公司 | 数据处理方法、装置及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| "Microservices Scheduling Model Over Heterogeneous Cloud-Edge Environments As Support for IoT Applications";Ion-Dorinel Filip;《IEEE Internet of Things Journal》;20180831;第5卷(第4期);第2672-2681页 * |
| "交通大数据：一种基于微服务的敏捷处理架构设计";杜圣东;《大数据》;20170520;第3卷(第03期);第53-67页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111352726A (zh) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11182196B2 (en) | Unified resource management for containers and virtual machines | |
| CN104618693B (zh) | 一种基于云计算的监控视频在线处理任务管理方法及系统 | |
| US9645756B2 (en) | Optimization of in-memory data grid placement | |
| US9319281B2 (en) | Resource management method, resource management device, and program product | |
| CN111352726B (zh) | 一种基于容器化微服务的流数据处理方法及装置 | |
| EP3335120B1 (en) | Method and system for resource scheduling | |
| CN108920153A (zh) | 一种基于负载预测的Docker容器动态调度方法 | |
| CN110661842B (zh) | 一种资源的调度管理方法、电子设备和存储介质 | |
| Zhang et al. | Improving Hadoop service provisioning in a geographically distributed cloud | |
| JP2019533256A (ja) | アプリケーションリンク拡張方法、装置、及びシステム | |
| CN111459641B (zh) | 一种跨机房的任务调度和任务处理的方法及装置 | |
| CN109726004B (zh) | 一种数据处理方法及装置 | |
| WO2021208147A1 (zh) | 一种有界增量图划分方法和系统 | |
| CN109873714B (zh) | 云计算节点配置更新方法及终端设备 | |
| WO2016121879A1 (ja) | 仮想化制御装置、配置先選択方法及びプログラム | |
| CN110673945A (zh) | 分布式任务管理方法和管理系统 | |
| KR102231358B1 (ko) | 고성능 클라우드 서비스를 위한 단일 가상화 방법 시스템 | |
| CN114564314A (zh) | 一种对集群内监控数据进行采集的方法和装置 | |
| CN105824708A (zh) | 云主机系统中的cpu调度方法及装置 | |
| CN106844021B (zh) | 计算环境资源管理系统及其管理方法 | |
| CN107786587B (zh) | 一种调整应用资源的方法以及云控制器 | |
| CN113254143A (zh) | 虚拟化网络功能网元编排调度方法、装置和系统 | |
| CN110990059A (zh) | 一种用于倾斜数据的流式计算引擎运行方法及系统 | |
| CN109189556A (zh) | 一种基于负载均衡的亲和性规则冲突监测方法及装置 | |
| CN108469990A (zh) | 一种并行计算方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240308 Address after: Room 03, 2nd Floor, Building A, No. 20 Haitai Avenue, Huayuan Industrial Zone (Huanwai), Binhai New Area, Tianjin, 300450 Applicant after: 3600 Technology Group Co.,Ltd. Country or region after: China Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Applicant before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |