CN116684475B - 基于微服务的全流程数据流量控制系统与方法 - Google Patents

基于微服务的全流程数据流量控制系统与方法 Download PDF

Info

Publication number
CN116684475B
CN116684475B CN202310956860.1A CN202310956860A CN116684475B CN 116684475 B CN116684475 B CN 116684475B CN 202310956860 A CN202310956860 A CN 202310956860A CN 116684475 B CN116684475 B CN 116684475B
Authority
CN
China
Prior art keywords
data
terminal
micro
processed
consumption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310956860.1A
Other languages
English (en)
Other versions
CN116684475A (zh
Inventor
张能
林少鹏
郭彤
范维
冯秀玲
刘朝晖
刘赫然
夏晔
刘学刚
武铁锋
李明清
涂惠丽
胡文娟
江军
李松涛
鹿雨
郭奕
李旭方
马啸飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CNOOC Information Technology Co Ltd
Original Assignee
CNOOC Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CNOOC Information Technology Co Ltd filed Critical CNOOC Information Technology Co Ltd
Priority to CN202310956860.1A priority Critical patent/CN116684475B/zh
Publication of CN116684475A publication Critical patent/CN116684475A/zh
Application granted granted Critical
Publication of CN116684475B publication Critical patent/CN116684475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1012—Server selection for load balancing based on compliance of requirements or conditions with available server resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出基于微服务的全流程数据流量控制系统与方法，属于数据识别处理与进程控制技术领域。方法包括步骤S100:确定数据源类型；S200：确定与数据源类型对应的第一微服务进程；S300：若当前开启第一微服务进程的数据消费终端的第一数量小于第一预设值，则将待处理数据缓存；S400：若当前已经缓存的待处理数据的数据量大小超过第二阈值则分发至第一数量的数据消费终端；S500：数据消费终端基于第一微服务进程对接收的待处理数据进行处理。数据源类型包括电商生产终端数据、电商销售端数据、物流调度端数据。本发明可基于微服务实现全流程数据流量控制，满足不同类别的电商数据消费需求，实现多业务协同资源集成。

Description

基于微服务的全流程数据流量控制系统与方法
技术领域
本发明属于数据识别处理与进程控制技术领域，尤其涉及一种基于微服务的全流程数据流量控制系统与方法。
背景技术
资源和业务协同是企业通过对多种不同类型数据资源的分配使用获得多种不同业务的相互协同效果，从而基于数据资源提高企业核心竞争力。在电商、物流行业，不同类型的数据从生产端产生，消费端根据各自的业务需要从生产端获取数据，需要一体化的数据高效服务支撑体系。
以电商物流数据生产和消费为例，综合性物流管理平台应当以支撑物流业务一体化高效服务的物流数据为基础，面向全集团各板块物流管理信息化需求，实现物流资源整合能力，驱动企业建造可输出物流能力的行业性服务平台。同样的，电商生产数据管理平台、电商消费数据管理平台各自应当以生产数据、消费数据为基础，实现相应的资源整合，才可实现“销、采、仓、配”信息协同和企业物流数字化转型。
然而，当前的相关的信息管理平台对于电商数据从生产端到消费端的处理都是直线型的数据通道，即“生产-消费”，中间未进行任何流量和过程控制。当物理资源足够的情况下，上述数据处理方法的确简单直接，各个业务之间互不影响各取所需。然而，随着企业规模的扩大，来自生产端的数据量急速增大并且类型随时多变，此时物理资源已经不能满足上述直线型的数据通道需求，极易发生数据通道阻塞，从而导致单个的业务本身无法正常获取数据进行消费，进而破坏多个不同业务之间的协同，降低了数据消费端的用户体验；并且，现有的采用普通引用程序进程的数据消费方式也容易并发占用较多资源，不利于数据全流程的流量控制和反馈。
发明内容
为解决上述技术问题，本发明提出一种基于微服务的全流程数据流量控制系统与方法。
在本发明的第一个方面，提出一种基于微服务的全流程数据流量控制方法，所述方法应用于数据交换服务器。
所述数据交换服务器分别连接数据生产终端和数据消费终端，所述方法包括如下步骤：
S100: 获取当前数据生产终端发送的待处理数据，确定所述待处理数据的数据源类型；
S200：根据待处理数据的数据源类型，确定与所述数据源类型对应的至少一个第一微服务进程；
S300：判断当前开启所述第一微服务进程的数据消费终端的第一数量；若所述第一数量小于第一预设值，则将所述待处理数据缓存；
S400：判断当前已经缓存的待处理数据的数据量大小是否超过第二阈值；
如果否，返回步骤S1；
如果是，则将当前已经缓存的待处理数据分发至所述第一数量的数据消费终端；
S500：所述第一数量的数据消费终端基于所述第一微服务进程对接收的待处理数据进行处理；
其中，所述待处理数据的数据源类型包括电商生产终端数据、电商销售端数据、物流调度端数据；
所述数据消费终端包括电商生产管理终端、电商销售管理终端以及物流调度管理终端。
每个所述数据消费终端均可开启多个相同的微服务进程，所述多个相同的微服务进程包括生产数据管理微服务进程、销售数据管理微服务进程以及物流调度数据管理微服务进程。
所述步骤S300中，若所述第一数量大于第一预设值，则将所述待处理数据直接分发至所述第一数量的数据消费终端。
所述第一预设值与所述第二阈值满足如下关系：
；
其中，为所述第一预设值，/>为所述第二阈值，/>为当前开启所述第一微服务进程的第i个数据消费终端当前可用的内存大小值；/>为运行所述第一微服务进程所需的最低内存值。
在本发明的第二个方面，提出一种基于微服务的全流程数据流量控制方法，所述方法应用于数据消费终端，多个所述数据消费终端连接数据交换服务器，所述方法包括如下步骤：
S110：每个数据消费终端向所述数据交换服务器发送自身当前可用的内存大小值以及当前已经开启的微服务进程类型；
S210：所述数据交换服务器获取当前数据生产终端发送的待处理数据，确定所述待处理数据的数据源类型；
S310：所述数据交换服务器根据待处理数据的数据源类型，确定与所述数据源类型对应的目标微服务进程；
S410：所述数据交换服务器确定运行所述目标微服务进程所需的最低内存值；
S510：所述数据交换服务器从多个所述数据消费终端中确定目标数据消费终端；
S610：目标数据消费终端从所述数据交换服务器接收所述待处理数据并进行处理；
其中，所述待处理数据的数据源类型包括电商生产终端数据、电商销售端数据、物流调度端数据；
所述数据消费终端包括电商生产管理终端、电商销售管理终端以及物流调度管理终端。
更具体的，在上述技术方案中，存在N个所述数据消费终端连接数据交换服务器，N>1;
在此基础上，所述步骤510就是从所述N个数据消费终端中确定出M个数据消费终端作为所述目标数据消费终端，1<M≤N；
所述M个数据消费终端中的每一个当前均已经开启所述目标微服务进程。
设所述N个数据消费终端自身当前可用的内存大小值为；
则所述步骤S610具体包括：
S6101：判断M<是否成立；
如果否， 则将所述待处理数据直接分发至M个数据消费终端中的每一个；
如果是，则将所述待处理数据缓存，进入步骤S6102；
S6102：判断当前已经缓存的待处理数据的数据量大小是否超过第二阈值；
如果是，则将当前已经缓存的待处理数据分发至M个数据消费终端中的每一个；
其中，为预先设定的第一预设值；/>;
并且，；
为运行所述第一微服务进程所需的最低内存值。
为实现上述第一个或者第二个方面所述的方法，在本发明的第三个方面，还提出一种基于微服务的全流程数据流量控制系统，所述系统包括数据生产终端、数据消费终端以及数据交换服务器，所述数据交换服务器分别连接数据生产终端和数据消费终端；
所述数据生产终端包括电商生产终端、电商销售端、物流调度端，用于产生待处理数据；
所述数据消费终端包括电商生产管理终端、电商销售管理终端以及物流调度管理终端；
每个数据消费终端向所述数据交换服务器发送自身当前可用的内存大小值以及当前已经开启的微服务进程类型；
所述数据交换服务器获取当前数据生产终端发送的待处理数据，确定所述待处理数据的数据源类型、与所述数据源类型对应的目标微服务进程、运行所述目标微服务进程所需的最低内存值后，从多个所述数据消费终端中确定目标数据消费终端；
目标数据消费终端从所述数据交换服务器接收所述待处理数据并进行处理。
每个所述数据消费终端均可开启多个相同的微服务进程，所述多个相同的微服务进程包括生产数据管理微服务进程、销售数据管理微服务进程以及物流调度数据管理微服务进程。
所述数据交换服务器配置缓存服务器，用于缓存所述当前数据生产终端发送的待处理数据。
本发明针对电商生产终端、电商销售端、物流调度端等产生的待处理数据，首先识别其数据源类型，然后确定数据源类型对应的微服务进程，进而判断选择出潜在的目标消费终端，然后在数据流量与微服务进程满足条件时进行数据分发处理，可满足不同类别的电商数据消费需求，实现多业务协同资源集成，实现了从生产端、分发端到消费端的全流程数据流量控制。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的应用于数据交换服务器的一种基于微服务的全流程数据流量控制方法的主体流程图；
图2是本发明一个实施例的应用于数据消费终端的一种基于微服务的全流程数据流量控制方法的主体流程图；
图3是实现本发明一个实施例的一种基于微服务的全流程数据流量控制系统的功能模块组成示意图；
图4是本发明一种基于微服务的全流程数据流量控制系统的硬件组成单元示意图。
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
首先需要指出的是，本发明的基于微服务的全流程数据流量控制方法执行过程中涉及多个不同的功能模块，主体上可以分为数据生产终端、数据交换服务器、数据消费终端。
数据生产终端包括产生各类不同电商数据的电子设备终端，数据生产终端是面向生产现场的多个数据产生源；一般而言，多个数据产生源相互独立；
具体的，按照数据产生的类型和场景，本发明涉及的数据生产终端至少包括电商生产终端、电商销售终端、物流调度终端；
电商生产终端用于产生电商生产终端数据，例如商品名称、商品当前出厂时间、质检时间、有效期等；
电商销售终端用于产生电商销售端数据，例如销售价格、销售数量、销售时间、销售地点等；
物流调度终端用于产生物流调度端数据，例如出仓商品名称、数量、出仓时间、出发地、目的地、物流公司名称、预计物流时效等。
数据交换服务器用于连接所有的数据生产终端与数据消费终端，汇总并缓存当前已有的各类不同电商数据作为待处理数据，从而按照消费端的实际情况分发给符合要求的目标数据消费终端。
具体的，数据交换服务器可以包括缓存服务器、数据类型识别引擎以及数据分发引擎。
缓存服务器用于缓存所述当前数据生产终端发送的待处理数据；
数据类型识别引擎确定所述待处理数据的数据源类型、确定与所述数据源类型对应的至少一个第一微服务进程；
数据分发引擎将当前已经缓存的待处理数据分发至确定的目标消费终端。
所述数据消费终端包括电商生产管理终端、电商销售管理终端以及物流调度管理终端。
不同于面向生产现场的多个数据产生源的数据生产终端，数据消费终端是面向用户的。通过数据消费终端已经安装的相应管理类应用程序APP，用户可以从全局层面查看相应的所有电商生产终端数据、电商销售端数据或物流调度端数据。
具体的，所述数据消费终端包括电商生产管理终端、电商销售管理终端以及物流调度管理终端。
电商生产管理终端例如可以配置生产订单管理程序，生产质量管理程序等；
电商销售管理终端例如可以配置客户管理程序、价格管理程序等；
物流调度管理终端例如可以配置物流追踪管理APP、物流调度管理APP等。
概括而言，相关的数据（包括电商生产终端数据、电商销售端数据、物流调度端数据）的生命周期是流程类似的，例如，从生产端产生，由交换器分发，由消费端消费。
因此，本发明提出的数据流量控制方法实现的是全流程的数据控制，具体是基于微服务实现，执行主体包括数据生产终端、数据交换服务器、数据消费终端。
参见图1，图1是本发明一个实施例的应用于数据交换服务器的一种基于微服务的全流程数据流量控制方法的主体流程图。
图1所述方法包括步骤S100-S500，各个步骤具体实现如下：
S100: 获取当前数据生产终端发送的待处理数据，确定所述待处理数据的数据源类型；
在一个具体实施例中，当前数据生产终端可以是前述提及的电商生产终端、电商销售端、物流调度端，分别产生电商生产终端数据、电商销售端数据、物流调度端数据；
数据交换服务器利用缓存服务器用于缓存所述当前数据生产终端发送的待处理数据后，激活数据类型识别引擎根据确定待处理数据的来源，识别所述待处理数据的数据源类型；
S200：根据待处理数据的数据源类型，确定与所述数据源类型对应的至少一个第一微服务进程；
所述待处理数据的数据源类型包括电商生产终端数据、电商销售端数据、物流调度端数据；
相对应的，在消费端存在对应类型的数据消费需求时，需要生成对应的数据消费进程。
在本发明的实施例中，作为改进之一，所述数据消费进程以微服务的形式激活。
不同于常规的普通应用进程，微服务进程是将将单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值。每个服务运行在其独立的进程中，服务与服务间采用轻量级的通信机制互相沟通（通常是基于HTTP的RESTful API）。每个服务都围绕着具体业务进行构建，并且能够独立地部署到生产环境、类生产环境等。
因此，由于服务较小且可独立部署，因此微服务进程不再需要繁琐的行动，可适应性的随时更改应用程序中的功能。
相对于普通应用进程，使用微服务，可以单独部署单个服务，但是也可以单独扩展它们。由此带来的好处是显而易见的：如果正确完成，微服务比单片应用程序所需的基础结构要少，因为微服务仅支持对需要它的组件进行精确缩放，而对于单片应用程序则不需要整个应用程序。
以数据消费端为物流调度管理终端为例，可以对应多个堆栈存储的物流微服务，实现物流调度数据管理微服务进程。
类似的，每个所述数据消费终端均可开启多个相同的微服务进程，所述多个相同的微服务进程包括生产数据管理微服务进程、销售数据管理微服务进程以及物流调度数据管理微服务进程。
S300：判断当前开启所述第一微服务进程的数据消费终端的第一数量；若所述第一数量小于第一预设值，则将所述待处理数据缓存；
若所述第一数量大于第一预设值，则将所述待处理数据直接分发至所述第一数量的数据消费终端。
在图1中，步骤S300具体为判断M<preset1是否成立；
这里的，为和后续实施例保持一致，M为当前开启所述第一微服务进程的数据消费终端的第一数量，preset1是所述第一预设值；
在第一个分支中，若当前开启所述第一微服务进程的数据消费终端的第一数量较多，意味着当前需要消费该类型数据的消费终端较多，此时，数据分发通道较多，若此时直接分发，将占用较多的数据通路，从而影响整个处理流程的流量，很可能导致数据阻塞，不利于其他业务的资源协同调用。
因此，先将待处理数据缓存，以减少发送频次；
在第二个分支中，若当前开启所述第一微服务进程的数据消费终端的第一数量较少，意味着当前需要消费该类型数据的消费终端不多，此时，分发负担也较少，对整个数据处理流程的流量影响不大，因此，可以直接将所述待处理数据直接分发至所述第一数量的数据消费终端。
S400：判断当前已经缓存的待处理数据的数据量大小是否超过第二阈值；
如果否，返回步骤S100；
如果是，则将当前已经缓存的待处理数据分发至所述第一数量的数据消费终端；
在图1中，步骤S400具体为判断SUMdata>preset2是否成立；
这里的，为和后续实施例保持一致，SUMdata为当前已经缓存的待处理数据的数据量大小，preset2是所述第二阈值；
S500：所述第一数量的数据消费终端基于所述第一微服务进程对接收的待处理数据进行处理。
步骤S500中的处理可以是多种形式，例如是数据可视化后展现在用户消费终端界面上，也可以是生成反馈建议返回给数据生产终端，以便于生产终端更新数据。
在上述实施例中，所述第一预设值与所述第二阈值均可以预先单独设置好，例如根据历史经验设置，所述第一预设值可以是所有消费端数量的一半，第二阈值则可以是所述缓存服务器最大存储容量的60%，等；
不过，发明人在实际应用中发现，所述第一预设值与所述第二阈值互相存在影响，当满足如下关系式时，所述方法的数据流量控制效果更为精准：
所述第一预设值与所述第二阈值满足如下关系：
；
其中，为所述第一预设值，/>为所述第二阈值，/>为当前开启所述第一微服务进程的第i个数据消费终端当前可用的内存大小值；/>为运行所述第一微服务进程所需的最低内存值。
为满足上述关系，可以预先设置第一预设值，例如，N为所有数据消费终端的数量；然后，参照上述关系，设定第二阈值。
图1是从数据交互服务器角度执行所述方法的主体步骤。接下来参见图2，图2是本发明一个实施例的应用于数据消费终端的一种基于微服务的全流程数据流量控制方法的主体流程图。多个所述数据消费终端连接数据交换服务器。
在图2中，所述方法包括如下步骤：
S110：每个数据消费终端向所述数据交换服务器发送自身当前可用的内存大小值以及当前已经开启的微服务进程类型；
S210：所述数据交换服务器获取当前数据生产终端发送的待处理数据，确定所述待处理数据的数据源类型；
S310：所述数据交换服务器根据待处理数据的数据源类型，确定与所述数据源类型对应的目标微服务进程；
S410：所述数据交换服务器确定运行所述目标微服务进程所需的最低内存值；
S510：所述数据交换服务器从多个所述数据消费终端中确定目标数据消费终端；
S610：目标数据消费终端从所述数据交换服务器接收所述待处理数据并进行处理；
其中，所述待处理数据的数据源类型包括电商生产终端数据、电商销售端数据、物流调度端数据；
所述数据消费终端包括电商生产管理终端、电商销售管理终端以及物流调度管理终端。
可以理解，对比图1和图2，图1的数据交换服务器是执行控制装置，图2的数据消费终端则是受控主体。因此，图1的方法包括诸多判断步骤，而图2的方法则仅示出要执行的功能部分。
所述方法可以通过计算机程序指令的形式，通过电子设备自动化执行，计算机程序指令存储于计算机可读存储介质，电子设备具有中央处理器，以实现所述方法。
为方便描述，假设在一个应用场景中，N个所述数据消费终端连接数据交换服务器，N>1; 所述N个数据消费终端自身当前可用的内存大小值为；
在此基础上，所述步骤510则是从所述N个数据消费终端中确定出M个数据消费终端作为所述目标数据消费终端，1<M≤N；
所述M个数据消费终端中的每一个当前均已经开启所述目标微服务进程。
所述步骤S610具体包括：
S6101：判断M<是否成立；
如果否， 则将所述待处理数据直接分发至M个数据消费终端中的每一个；
如果是，则将所述待处理数据缓存，进入步骤S6102；
S6102：判断当前已经缓存的待处理数据的数据量大小是否超过第二阈值；
如果是，则将当前已经缓存的待处理数据分发至M个数据消费终端中的每一个；
其中，为预先设定的第一预设值；/>;
并且；
为运行所述第一微服务进程所需的最低内存值。
图2的上述步骤基本上和图1的实施例基本一致，仅仅是相应的改变了部分的参数表达。
图1-图2分别从数据交换服务器侧和数据消费终端侧介绍了本发明不同实施例的全流程数据流量控制方法。
具体的，为实现上述方法，图3-图4分别给出了实现本发明一个实施例的一种基于微服务的全流程数据流量控制系统的功能模块组成示意图以及一种基于微服务的全流程数据流量控制系统的硬件组成单元示意图。
具体的，参见图3，示出一种基于微服务的全流程数据流量控制系统，所述系统包括数据生产终端、数据消费终端以及数据交换服务器，所述数据交换服务器分别连接数据生产终端和数据消费终端。
进一步的，参见图4。所述数据生产终端包括电商生产终端、电商销售端、物流调度端，用于产生待处理数据；
所述数据消费终端包括电商生产管理终端、电商销售管理终端以及物流调度管理终端。
所述数据交换服务器配置缓存服务器，用于缓存所述当前数据生产终端发送的待处理数据。
在执行所述方法时，每个所述数据消费终端均可开启多个相同的微服务进程，所述多个相同的微服务进程包括生产数据管理微服务进程、销售数据管理微服务进程以及物流调度数据管理微服务进程。
每个数据消费终端向所述数据交换服务器发送自身当前可用的内存大小值以及当前已经开启的微服务进程类型；
所述数据交换服务器获取当前数据生产终端发送的待处理数据，确定所述待处理数据的数据源类型、与所述数据源类型对应的目标微服务进程、运行所述目标微服务进程所需的最低内存值后，从多个所述数据消费终端中确定目标数据消费终端；目标数据消费终端从所述数据交换服务器接收所述待处理数据并进行处理。
具体的工作流程和原理可参见前述图1或图2的实施例描述，在此不再赘述。
针对电商生产终端、电商销售端、物流调度端等产生的多类型待处理数据，本发明首先识别其数据源类型，然后确定数据源类型对应的微服务进程，进而判断选择出潜在的目标消费终端，然后在数据流量与微服务进程满足条件时进行数据分发处理。
具体的，若当前开启所述第一微服务进程的数据消费终端的第一数量较多，意味着当前需要消费该类型数据的消费终端较多，此时，数据分发通道较多，若此时直接分发，将占用较多的数据通路，从而影响整个处理流程的流量，很可能导致数据阻塞，不利于其他业务的资源协同调用，因此，本发明先将待处理数据缓存，以减少发送频次。
若当前开启所述第一微服务进程的数据消费终端的第一数量较少，意味着当前需要消费该类型数据的消费终端不多，此时，分发负担也较少，对整个数据处理流程的流量影响不大，因此，可以直接将所述待处理数据直接分发至所述第一数量的数据消费终端。
可以看到，采用上述改进的技术方案，本发明可满足不同类别的电商数据消费需求，实现多业务协同资源集成，实现了从生产端、分发端到消费端的全流程数据流量控制。
本发明的各个实施例中，已经示出和描述了本发明的实施例，但对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于微服务的全流程数据流量控制方法，所述方法应用于数据交换服务器，其特征在于，所述数据交换服务器分别连接数据生产终端和数据消费终端，所述方法包括如下步骤：
步骤S100: 获取当前数据生产终端发送的待处理数据，确定所述待处理数据的数据源类型；
步骤S200：根据待处理数据的数据源类型，确定与所述数据源类型对应的至少一个第一微服务进程；
步骤S300：判断当前开启所述第一微服务进程的数据消费终端的第一数量；
若所述第一数量小于第一预设值，则将所述待处理数据缓存；
步骤S400：判断当前已经缓存的待处理数据的数据量大小是否超过第二阈值；
如果否，返回步骤S100；
如果是，则将当前已经缓存的待处理数据分发至所述第一数量的数据消费终端；
步骤S500：所述第一数量的数据消费终端基于所述第一微服务进程对接收的待处理数据进行处理；
其中，所述待处理数据的数据源类型包括电商生产终端数据、电商销售端数据、物流调度端数据；
所述数据消费终端包括电商生产管理终端、电商销售管理终端以及物流调度管理终端；
其中，每个所述数据消费终端均可开启多个相同的微服务进程，所述多个相同的微服务进程包括生产数据管理微服务进程、销售数据管理微服务进程以及物流调度数据管理微服务进程；
所述步骤S300中，若所述第一数量大于第一预设值，则将所述待处理数据直接分发至所述第一数量的数据消费终端；
其中，所述第一预设值与所述第二阈值满足如下关系：
；
其中，为所述第一预设值，/>为所述第二阈值，/>为当前开启所述第一微服务进程的第i个数据消费终端当前可用的内存大小值；/>为运行所述第一微服务进程所需的最低内存值。
2.一种基于微服务的全流程数据流量控制方法，所述方法应用于数据消费终端，其特征在于，多个所述数据消费终端连接数据交换服务器，所述方法包括如下步骤：
步骤S110：每个数据消费终端向所述数据交换服务器发送自身当前可用的内存大小值以及当前已经开启的微服务进程类型；
步骤S210：所述数据交换服务器获取当前数据生产终端发送的待处理数据，确定所述待处理数据的数据源类型；
步骤S310：所述数据交换服务器根据待处理数据的数据源类型，确定与所述数据源类型对应的目标微服务进程；
步骤S410：所述数据交换服务器确定运行所述目标微服务进程所需的最低内存值；
步骤S510：所述数据交换服务器从多个所述数据消费终端中确定目标数据消费终端；
步骤S610：目标数据消费终端从所述数据交换服务器接收所述待处理数据并进行处理；
其中，所述待处理数据的数据源类型包括电商生产终端数据、电商销售端数据、物流调度端数据；
所述数据消费终端包括电商生产管理终端、电商销售管理终端以及物流调度管理终端；
N个数据消费终端连接数据交换服务器，N>1;
所述步骤S510从所述N个数据消费终端中确定出M个数据消费终端作为所述目标数据消费终端，1<M≤N；
所述M个数据消费终端中的每一个当前均已经开启所述目标微服务进程；
所述N个数据消费终端自身当前可用的内存大小值为；
所述步骤S610具体包括：
步骤S6101：判断M<是否成立；
如果否， 则将所述待处理数据直接分发至M个数据消费终端中的每一个；
如果是，则将所述待处理数据缓存，进入步骤S6102；
步骤S6102：判断当前已经缓存的待处理数据的数据量大小是否超过第二阈值；
如果是，则将当前已经缓存的待处理数据分发至M个数据消费终端中的每一个；
其中，为预先设定的第一预设值；/>;
并且，；
为运行第一微服务进程所需的最低内存值。
3.一种基于权利要求1或2所述的微服务的全流程数据流量控制方法的控制系统，其特征在于，所述系统包括数据生产终端、数据消费终端以及数据交换服务器，所述数据交换服务器分别连接数据生产终端和数据消费终端；
所述数据生产终端包括电商生产终端、电商销售端、物流调度端，用于产生待处理数据；
所述数据消费终端包括电商生产管理终端、电商销售管理终端以及物流调度管理终端；
每个数据消费终端向所述数据交换服务器发送自身当前可用的内存大小值以及当前已经开启的微服务进程类型；
所述数据交换服务器获取当前数据生产终端发送的待处理数据，确定所述待处理数据的数据源类型、与所述数据源类型对应的目标微服务进程、运行所述目标微服务进程所需的最低内存值后，从多个所述数据消费终端中确定目标数据消费终端；
目标数据消费终端从所述数据交换服务器接收所述待处理数据并进行处理。
4.如权利要求3所述的控制系统，其特征在于：
每个所述数据消费终端均可开启多个相同的微服务进程，所述多个相同的微服务进程包括生产数据管理微服务进程、销售数据管理微服务进程以及物流调度数据管理微服务进程。
5.如权利要求3所述的控制系统，其特征在于：
所述数据交换服务器配置缓存服务器，用于缓存所述当前数据生产终端发送的待处理数据。
CN202310956860.1A 2023-08-01 2023-08-01 基于微服务的全流程数据流量控制系统与方法 Active CN116684475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310956860.1A CN116684475B (zh) 2023-08-01 2023-08-01 基于微服务的全流程数据流量控制系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310956860.1A CN116684475B (zh) 2023-08-01 2023-08-01 基于微服务的全流程数据流量控制系统与方法

Publications (2)

Publication Number Publication Date
CN116684475A CN116684475A (zh) 2023-09-01
CN116684475B true CN116684475B (zh) 2023-10-24

Family

ID=87781308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310956860.1A Active CN116684475B (zh) 2023-08-01 2023-08-01 基于微服务的全流程数据流量控制系统与方法

Country Status (1)

Country Link
CN (1) CN116684475B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012031436A1 (zh) * 2010-09-09 2012-03-15 中兴通讯股份有限公司 数据存储与鉴权并行的处理方法和终端
CN111445206A (zh) * 2020-03-26 2020-07-24 深圳壹账通智能科技有限公司 工作流控制方法和系统
CN113608899A (zh) * 2021-10-08 2021-11-05 创智和宇信息技术股份有限公司 轻量级数据生产-消费者模式处理方法、系统及存储介质
CN116483746A (zh) * 2023-03-31 2023-07-25 深圳华为云计算技术有限公司 一种数据缓存的方法和统一缓存装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012031436A1 (zh) * 2010-09-09 2012-03-15 中兴通讯股份有限公司 数据存储与鉴权并行的处理方法和终端
CN111445206A (zh) * 2020-03-26 2020-07-24 深圳壹账通智能科技有限公司 工作流控制方法和系统
CN113608899A (zh) * 2021-10-08 2021-11-05 创智和宇信息技术股份有限公司 轻量级数据生产-消费者模式处理方法、系统及存储介质
CN116483746A (zh) * 2023-03-31 2023-07-25 深圳华为云计算技术有限公司 一种数据缓存的方法和统一缓存装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
转租转售模式下系统集成架构研究与设计;喻琦;阳志明;毛斌宏;;广东通信技术(第09期);全文 *

Also Published As

Publication number Publication date
CN116684475A (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
US8291018B2 (en) Methods, apparatuses, and computer program products for providing activity coordination services
CN101416208A (zh) 管理丰富的在场集合
CN101416178A (zh) 管理丰富的在场集合
CN101416177A (zh) 管理丰富的在场集合
JP2011515735A (ja) コミュニティーベースのターゲット広告
US20080015943A1 (en) Order fulfillment logic for a field service system
CN102165483A (zh) 动态地将数据变换为预期接收者的上下文
CN112884405A (zh) 一种询价系统及其调度方法
CN101389088A (zh) 多媒体消息群发方法及群发请求方法、多媒体消息管理平台设备
US20110231229A1 (en) Hybrid Software Component and Service Catalog
Yang et al. The ICU will see you now: Efficient–equitable admission control policies for a surgical ICU with batch arrivals
CN116684475B (zh) 基于微服务的全流程数据流量控制系统与方法
CN112488770B (zh) 交易计价控制方法及其装置、设备、介质
US20240187324A1 (en) Decentralized computing networks, architectures and techniques for processing events across multiple channels
CN115495513A (zh) 一种事件标准化方法及装置
US20210375442A1 (en) Patient care exchange portal with market analysis
Yoon et al. Cooperative production switchover coordination for the real-time order acceptance decision
CN112182400B (zh) 消息处理方法、消息处理装置、电子设备及存储介质
Iman et al. Analysis of quality of services for checkout operation in Refah chain stores using queuing theory
CN113177778A (zh) 用户管理方法、装置及计算机设备
AU2021220143A1 (en) Optimization of delivery associate incentives
KR20140091504A (ko) 스마트폰의 위치정보를 활용한 전단지 자동 배포 방법 및 시스템
CN112767020B (zh) 中间组件条件匹配执行方法及其装置、设备、介质
US20230281520A1 (en) System and method to schedule an appointment or a reservation using a scannable code
CN113127504A (zh) 一种业务数据展示方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant