CN110943872A - 数据采集服务配置/性能分析方法/系统、介质及服务器 - Google Patents

数据采集服务配置/性能分析方法/系统、介质及服务器 Download PDF

Info

Publication number
CN110943872A
CN110943872A CN201911421416.XA CN201911421416A CN110943872A CN 110943872 A CN110943872 A CN 110943872A CN 201911421416 A CN201911421416 A CN 201911421416A CN 110943872 A CN110943872 A CN 110943872A
Authority
CN
China
Prior art keywords
slave node
service
server
node server
data acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911421416.XA
Other languages
English (en)
Inventor
黄仕勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qinggan Intelligent Technology Co Ltd
Original Assignee
Shanghai Qinggan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qinggan Intelligent Technology Co Ltd filed Critical Shanghai Qinggan Intelligent Technology Co Ltd
Priority to CN201911421416.XA priority Critical patent/CN110943872A/zh
Publication of CN110943872A publication Critical patent/CN110943872A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种数据采集服务配置/性能分析方法/系统、介质及服务器，所述数据采集服的配置方法包括：修改性能数据采集服务的容器镜像配置文件；指定容器镜像配置文件中搜索服务器的定位地址；构建性能数据采集服务的容器镜像；将已构建的容器镜像上传至从节点服务器的私有镜像仓库；待接收到从节点服务器下发的下载指令后，从私有镜像仓库中下载容器镜像至从节点服务器。本发明解决了监控工具无法识别DC/OS集群微服务名与Docker容器节点关联问题及每个微服务资源分配情况问题，在Kibana web上实时统计和展示微服务性能数据，通过统计分析结果快速定位DC/OS集群中微服务节点是否达到性能瓶颈及是否需要扩容资源等。

Description

数据采集服务配置/性能分析方法/系统、介质及服务器
技术领域
本发明属于数据分析技术领域，涉及一种配置/分析方法，特别是涉及一种数据采集服务配置/性能分析方法/系统、介质及服务器。
背景技术
随着云计算及大量开源轻量级技术的日渐成熟，催生了新的架构设计风格-微服务架构。微服务架构特征是有细粒度服务边界，有利于的独立开发、测试、部署、扩展。但随着服务规模越来越大，服务调用链变长，性能问题会变得越来越重要。服务的性能直观表现就是请求的响应时间和吞吐量。
而现有技术中不存在专门针对DC/OS集群微服务Docker容器进行性能数据采集和性能分析，以解决现有技术中监控工具无法识别DC/OS集群微服务名与Docker容器节点关联问题及每个微服务资源分配情况问题。
因此，如何提供一种数据采集服务配置/性能分析方法/系统、介质及服务器，以解决监控工具无法识别DC/OS集群微服务名与Docker容器节点关联问题及每个微服务资源分配情况问题，实已成为本领域亟待人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种数据采集服务配置/性能分析方法/系统、介质及服务器，用于解决现有技术中监控工具无法识别DC/OS集群微服务名与Docker容器节点关联问题及每个微服务资源分配情况问题。
为实现上述目的及其他相关目的，本发明一方面提供一种数据采集服务配置方法，应用于从节点服务器，所述从节点服务器与搜索服务器通信连接；其中，每一从节点服务器上运行至少一微服务；所述数据采集服的配置方法包括：修改所述性能数据采集服务的容器镜像配置文件；指定所述容器镜像配置文件中搜索服务器的定位地址；构建所述性能数据采集服务的容器镜像；将已构建的所述容器镜像上传至所述从节点服务器的私有镜像仓库；待接收到所述从节点服务器下发的下载指令后，从所述私有镜像仓库中下载容器镜像至所述从节点服务器。
于本发明的一实施例中，在所述修改所述性能数据采集服务的容器镜像配置文件的步骤之前，所述数据采集服务配置方法还包括：进入容器镜像的构建主目录。
于本发明的一实施例中，待所述从节点服务器从所述私有镜像仓库下载所述容器镜像后，启动与所述容器镜像对应的执行指令，以允许所述性能数据采集服务进行所述微服务的性能数据的采集。
于本发明的一实施例中，待所述从节点服务器运行所述性能数据采集服务后，采集所述微服务的资源使用状态数据，待采集后，以字段形式输出。
于本发明的一实施例中，所述资源使用状态数据包括微服务名、从节点服务器IP地址、微服务的IP地址和本地端口、CPU分配数量、内存分配、CPU平均使用率、CPU峰值使用率、内存平均使用率和/或内存峰值使用率。
本发明另一方面提供一种基于所述数据采集服务配置方法的性能分析方法，适用于包括至少一从节点服务器、与所述从节点服务器通信连接的搜索服务器及与所述搜索服务器通信连接的终端设备的通信网络；其中，每一从节点服务器上运行至少一微服务；所述性能分析方法包括：待在所述从节点服务器部署所述性能数据采集服务后，运行所述性能数据采集服务，以采集所述微服务的资源使用状态数据；所述从节点服务器将资源使用状态数据写入所述搜索服务器，通过所述搜索服务器转发至所述终端设备；所述终端设备实时统计和展示所述微服务的性能数据。
于本发明的一实施例中，所述搜索服务器为基于Lucene的搜索服务器，用于提供分布式多用户能力的全文搜索引擎；所述终端设备为配置有可视化平台的电子设备。
本发明另一方面还提供一种数据采集服务配置系统，应用于从节点服务器，所述从节点服务器与搜索服务器通信连接；其中，每一从节点服务器上运行至少一微服务；所述数据采集服务的配置系统包括：修改模块，用于修改所述性能数据采集服务的容器镜像配置文件；指定模块，用于指定所述容器镜像配置文件中搜索服务器的定位地址；构建模块，用于构建所述性能数据采集服务的容器镜像；上传模块，用于将已构建的所述容器镜像上传至所述从节点服务器的私有镜像仓库；下载模块，用于待接收到所述从节点服务器下发的下载指令后，从所述私有镜像仓库中下载容器镜像至所述从节点服务器。
本发明又一方面提供一种介质，其上存储有计算机程序，该计算机程序被处理器执行时实现数据采集服务配置方法或实现基于数据采集服务配置方法的性能分析方法。
本发明最后一方面提供一种服务器，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述服务器执行所述数据采集服务配置方法。
如上所述，本发明所述的数据采集服务配置/性能分析方法/系统、介质及服务器，具有以下有益效果：
本发明所述数据采集服务配置/性能分析方法/系统、介质及服务器解决了监控工具无法识别DC/OS集群微服务名与Docker容器节点关联问题及每个微服务资源分配情况问题，在Kibana web上实时统计和展示微服务性能数据，通过统计分析结果快速定位DC/OS集群中微服务节点是否达到性能瓶颈及是否需要扩容资源等。
附图说明
图1显示为本发明的数据采集服务配置方法应用的实景示意图。
图2显示为本发明的数据采集服务配置方法于一实施例中的流程示意图。
图3显示为本发明的通信网络的实景示意图。
图4显示为本发明的基于数据采集服务配置方法的性能分析方法于一实施例中的流程示意图。
图5显示为本发明的数据采集服务配置系统于一实施例中的原理结构示意图。
元件标号说明
Figure BDA0002352487780000031
Figure BDA0002352487780000041
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明所述数据采集服务配置/性能分析方法/系统、介质及服务器的技术原理如下：
1、建立ELK(Elasticsearch/Logstash/Kibana)日志分析系统；
2、在每个Mesos Slave上部署数据采集微服务客户端(自编写)，客户端采集到的数据直接写入Elasticsearch集群中；
3、在Kibana上配置定义需要展示的数据视图和仪表板；
4、通过Kibana web实时统计和展示每个微服务的性能数据。
实施例一
本实施例提供一种数据采集服务配置方法，应用于从节点服务器，所述从节点服务器与搜索服务器通信连接；其中，每一从节点服务器上运行至少一微服务；所述数据采集服的配置方法包括：
修改所述性能数据采集服务的容器镜像配置文件；
指定所述容器镜像配置文件中搜索服务器的定位地址；
构建所述性能数据采集服务的容器镜像；
将已构建的所述容器镜像上传至所述从节点服务器的私有镜像仓库；
待接收到所述从节点服务器下发的下载指令后，从所述私有镜像仓库中下载容器镜像至所述从节点服务器。
以下将结合图示对本实施例所提供的数据采集服务配置方法进行详细描述。本实施例应用于如图1所示从节点服务器11，所述从节点服务器11与搜索服务器12通信连接。每一从节点服务器11上运行至少一微服务。通过所述数据采集服务配置方法进行配置和构建Docker镜像及上传到私有镜像仓库中。
请参阅图2，显示为数据采集服务配置方法于一实施例中的流程示意图。如图2所示，所述数据采集服务配置方法具体包括以下几个步骤：
S21，进入容器镜像的构建主目录。
为Docker镜像创建目录，这样就可以维护不同的项目和阶段，并保持它们彼此隔离。
例如，$cd alpine-multi-cron。
S22，修改所述性能数据采集服务的容器镜像配置文件。
例如，$vi add_jobs/script/getDockerInfo.py。
S23，指定所述容器镜像配置文件中搜索服务器的定位地址。在本实施例中，所述搜索服务器的定位地址为URL地址。所述搜索服务器的定位地址用于在采集到所述微服务的性能数据后，写入与该定位地址对应的Elasticsearch集群中。
例如，ES_URL＝"http://XX.XX.XX.XX:9200。
S24，构建所述性能数据采集服务的容器镜像；
例如，$docker build-t registry:5000/infra-cron:latest。
其中，-t选项指定了创建新镜像的仓库名和镜像名。仓库名registry:5000，镜像名是infra-cron:latest。
S25，将已构建的所述容器镜像上传至所述从节点服务器的私有镜像仓库。
例如，$docker push registry:5000/infra-cron:latest。
S26，待接收到所述从节点服务器下发的下载指令后，从所述私有镜像仓库中下载容器镜像至所述从节点服务器。
例如，通过$docker pull registry:5000/infra-cron:latest。
S27，待所述从节点服务器从所述私有镜像仓库下载所述容器镜像后，启动与所述容器镜像对应的执行指令，以允许所述性能数据采集服务进行所述微服务的性能数据的采集。
例如，$docker run-d-it-e“JOB_0＝{”job_name“:”getDockerInfo“,”job_command“:”/usr/local/bin/python/script/getDockerInfo.py prod“,”job_trigger“:{”seconds“:10}}”infra-cron。
S28，待所述从节点服务器运行所述性能数据采集服务后，采集所述微服务的资源使用状态数据，待采集后，以字段形式输出。在本实施例中，所述资源使用状态数据包括微服务名、从节点服务器IP地址、微服务的IP地址和本地端口、CPU分配数量、内存分配、CPU平均使用率、CPU峰值使用率、内存平均使用率和/或内存峰值使用率等。
例如，微服务名的日志字段为service_name，字段类型为text，输出样例为/geely/vca，字段保留为写入。
从节点服务器IP地址的日志字段为host，字段类型为text，输出样例为172.16.7.21，字段保留为写入。
微服务的IP地址和本地端口的日志字段为host_port，字段类型为text，输出样例为172.16.7.37_17537，字段保留为写入。
CPU分配数量的日志字段为cpu_limit，字段类型为float，输出样例为4，字段保留为写入。
CPU平均使用率的日志字段为cpu_usage，字段类型为float，输出样例为9.07，字段保留为写入。
内存平均使用率的日志字段为mem_usage，字段类型为float，输出样例为58.71，字段保留为写入。
本实施例还提供一种基于所述数据采集服务配置方法的性能分析方法，所述性能分析方法适用于如图3所示的通信网络3。所述通信网络3包括至少一从节点服务器31、与所述从节点服务器31通信连接的搜索服务器32及与所述搜索服务器32通信连接的终端设备33。其中，每一从节点服务器31上运行至少一微服务。请参阅图4，显示为性能分析方法于一实施例中的流程示意图。如图4所示，所述性能分析方法包括：
S41，待在所述从节点服务器部署所述性能数据采集服务后，运行所述性能数据采集服务，以采集所述微服务的资源使用状态数据。在本实施例中，所述资源使用状态数据包括微服务名、从节点服务器IP地址、微服务的IP地址和本地端口、CPU分配数量、内存分配、CPU平均使用率、CPU峰值使用率、内存平均使用率和/或内存峰值使用率等。
S42，所述从节点服务器将资源使用状态数据写入所述搜索服务器，通过所述搜索服务器转发至所述终端设备。
在本实施例中，所述搜索服务器为基于Lucene的搜索服务器，用于提供分布式多用户能力的全文搜索引擎；
S43，所述终端设备实时统计和展示所述微服务的性能数据。
在本实施例中，所述终端设备为配置有可视化平台(Kibana)的电子设备。在本实施例中，Kibana上配置定义需要展示的数据视图和仪表板。
具体地，通过Kibana web实时统计和展示每个微服务的性能数据。
本实施例还提供一种介质(亦称为计算机可读存储介质)，其上存储有计算机程序，该计算机程序被处理器执行时实现所述数据采集服务配置方法或实现基于数据采集服务配置方法的性能分析方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例所述数据采集服务配置方法和基于数据采集服务配置方法的性能分析方法解决了监控工具无法识别DC/OS集群微服务名与Docker容器节点关联问题及每个微服务资源分配情况问题，在Kibana web上实时统计和展示微服务性能数据，通过统计分析结果快速定位DC/OS集群中微服务节点是否达到性能瓶颈及是否需要扩容资源等。
实施例二
本实施例提供一种数据采集服务配置系统，应用于从节点服务器，所述从节点服务器与搜索服务器通信连接；其中，每一从节点服务器上运行至少一微服务；所述数据采集服务的配置系统包括：
修改模块，用于修改所述性能数据采集服务的容器镜像配置文件；
指定模块，用于指定所述容器镜像配置文件中搜索服务器的定位地址；
构建模块，用于构建所述性能数据采集服务的容器镜像；
上传模块，用于将已构建的所述容器镜像上传至所述从节点服务器的私有镜像仓库；
下载模块，用于待接收到所述从节点服务器下发的下载指令后，从所述私有镜像仓库中下载容器镜像至所述从节点服务器。
以下将结合图示对本实施例所提供的数据采集服务配置系统进行详细描述。请参阅图5，显示为数据采集服务配置系统的原理结构示意图。如图5所示，所述数据采集服务配置系统5包括进入模块51、修改模块52、指定模块53、构建模块54、上传模块55、下载模块56、启动模块57及处理模块58。
所述进入模块51用于进入容器镜像的构建主目录。
为Docker镜像创建目录，这样就可以维护不同的项目和阶段，并保持它们彼此隔离。
与所述进入模块51耦合的修改模块52用于修改所述性能数据采集服务的容器镜像配置文件。
与所述修改模块52耦合的指定模块53用于指定所述容器镜像配置文件中搜索服务器的定位地址。在本实施例中，所述搜索服务器的定位地址为URL地址。所述搜索服务器的定位地址用于在采集到所述微服务的性能数据后，写入与该定位地址对应的Elasticsearch集群中。
与所述指定模块53耦合的构建模块54用于构建所述性能数据采集服务的容器镜像。
与所述构建模块54耦合的上传模块55用于将已构建的所述容器镜像上传至所述从节点服务器的私有镜像仓库。
与所述构建模块54和上传模块55耦合的下载模块56用于待接收到所述从节点服务器下发的下载指令后，从所述私有镜像仓库中下载容器镜像至所述从节点服务器。
与所述下载模块56耦合的启动模块57用于待所述从节点服务器从所述私有镜像仓库下载所述容器镜像后，启动与所述容器镜像对应的执行指令，以允许所述性能数据采集服务进行所述微服务的性能数据的采集。
例如，$docker run-d-it-e“JOB_0＝{”job_name“:”getDockerInfo“,”job_command“:”/usr/local/bin/python/script/getDockerInfo.py prod“,”job_trigger“:{”seconds“:10}}”infra-cron。
与所述启动模块57耦合的处理模块58用于待所述从节点服务器运行所述性能数据采集服务后，采集所述微服务的资源使用状态数据，待采集后，以字段形式输出。在本实施例中，所述资源使用状态数据包括微服务名、从节点服务器IP地址、微服务的IP地址和本地端口、CPU分配数量、内存分配、CPU平均使用率、CPU峰值使用率、内存平均使用率和/或内存峰值使用率等。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
实施例三
本实施例提供一种服务器，包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使服务器执行如上数据采集服务配置方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明所述数据采集服务配置/性能分析方法/系统、介质及服务器解决了监控工具无法识别DC/OS集群微服务名与Docker容器节点关联问题及每个微服务资源分配情况问题，在Kibana web上实时统计和展示微服务性能数据，通过统计分析结果快速定位DC/OS集群中微服务节点是否达到性能瓶颈及是否需要扩容资源等。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种数据采集服务配置方法，其特征在于，应用于从节点服务器，所述从节点服务器与搜索服务器通信连接；其中，每一从节点服务器上运行至少一微服务；所述数据采集服的配置方法包括：
修改所述性能数据采集服务的容器镜像配置文件；
指定所述容器镜像配置文件中搜索服务器的定位地址；
构建所述性能数据采集服务的容器镜像；
将已构建的所述容器镜像上传至所述从节点服务器的私有镜像仓库；
待接收到所述从节点服务器下发的下载指令后，从所述私有镜像仓库中下载容器镜像至所述从节点服务器。
2.根据权利要求1所述的数据采集服务配置方法，其特征在于，在所述修改所述性能数据采集服务的容器镜像配置文件的步骤之前，所述数据采集服务配置方法还包括：进入容器镜像的构建主目录。
3.根据权利要求1所述的数据采集服务配置方法，其特征在于，待所述从节点服务器从所述私有镜像仓库下载所述容器镜像后，启动与所述容器镜像对应的执行指令，以允许所述性能数据采集服务进行所述微服务的性能数据的采集。
4.根据权利要求3所述的数据采集服务配置方法，其特征在于，待所述从节点服务器运行所述性能数据采集服务后，采集所述微服务的资源使用状态数据，待采集后，以字段形式输出。
5.根据权利要求4所述的数据采集服务配置方法，其特征在于，所述资源使用状态数据包括微服务名、从节点服务器IP地址、微服务的IP地址和本地端口、CPU分配数量、内存分配、CPU平均使用率、CPU峰值使用率、内存平均使用率和/或内存峰值使用率。
6.一种基于权利要求1至权利要求6任一项所述数据采集服务配置方法的性能分析方法，其特征在于，适用于包括至少一从节点服务器、与所述从节点服务器通信连接的搜索服务器及与所述搜索服务器通信连接的终端设备的通信网络；其中，每一从节点服务器上运行至少一微服务；所述性能分析方法包括：
待在所述从节点服务器部署所述性能数据采集服务后，运行所述性能数据采集服务，以采集所述微服务的资源使用状态数据；
所述从节点服务器将资源使用状态数据写入所述搜索服务器，通过所述搜索服务器转发至所述终端设备；
所述终端设备实时统计和展示所述微服务的性能数据。
7.根据权利要求6所述的性能分析方法，其特征在于，
所述搜索服务器为基于Lucene的搜索服务器，用于提供分布式多用户能力的全文搜索引擎；
所述终端设备为配置有可视化平台的电子设备。
8.一种数据采集服务配置系统，其特征在于，应用于从节点服务器，所述从节点服务器与搜索服务器通信连接；其中，每一从节点服务器上运行至少一微服务；所述数据采集服务的配置系统包括：
修改模块，用于修改所述性能数据采集服务的容器镜像配置文件；
指定模块，用于指定所述容器镜像配置文件中搜索服务器的定位地址；
构建模块，用于构建所述性能数据采集服务的容器镜像；
上传模块，用于将已构建的所述容器镜像上传至所述从节点服务器的私有镜像仓库；
下载模块，用于待接收到所述从节点服务器下发的下载指令后，从所述私有镜像仓库中下载容器镜像至所述从节点服务器。
9.一种介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至权利要求5中任一项所述数据采集服务配置方法或实现权利要求6至权利要求7中任一项所述基于数据采集服务配置方法的性能分析方法。
10.一种服务器，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述服务器执行如权利要求1至6中任一项所述数据采集服务配置方法。
CN201911421416.XA 2019-12-31 2019-12-31 数据采集服务配置/性能分析方法/系统、介质及服务器 Pending CN110943872A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911421416.XA CN110943872A (zh) 2019-12-31 2019-12-31 数据采集服务配置/性能分析方法/系统、介质及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911421416.XA CN110943872A (zh) 2019-12-31 2019-12-31 数据采集服务配置/性能分析方法/系统、介质及服务器

Publications (1)

Publication Number Publication Date
CN110943872A true CN110943872A (zh) 2020-03-31

Family

ID=69913614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911421416.XA Pending CN110943872A (zh) 2019-12-31 2019-12-31 数据采集服务配置/性能分析方法/系统、介质及服务器

Country Status (1)

Country Link
CN (1) CN110943872A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858098A (zh) * 2020-07-24 2020-10-30 成都成信高科信息技术有限公司 一种基于海量数据的数据交换方法
CN112714018A (zh) * 2020-12-28 2021-04-27 上海领健信息技术有限公司 基于网关的ElasticSearch搜索服务方法、系统、介质及终端
CN112764825A (zh) * 2020-12-30 2021-05-07 望海康信(北京)科技股份公司 服务集成系统及相应设备和存储介质
CN116467151A (zh) * 2023-06-19 2023-07-21 浙江无端科技股份有限公司 一种程序性能信息采集方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052333A (zh) * 2017-12-11 2018-05-18 北京紫优能源科技有限公司 一种电力调度集控系统标准化自动化部署方法及架构
CN109597605A (zh) * 2018-10-22 2019-04-09 平安科技（深圳）有限公司 应用微服务部署方法、装置、存储介质及终端设备
CN109743199A (zh) * 2018-12-25 2019-05-10 中国联合网络通信集团有限公司 基于微服务的容器化管理系统
US20190327287A1 (en) * 2017-01-09 2019-10-24 Alibaba Group Holding Limited Data acquisition method and device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190327287A1 (en) * 2017-01-09 2019-10-24 Alibaba Group Holding Limited Data acquisition method and device
CN108052333A (zh) * 2017-12-11 2018-05-18 北京紫优能源科技有限公司 一种电力调度集控系统标准化自动化部署方法及架构
CN109597605A (zh) * 2018-10-22 2019-04-09 平安科技（深圳）有限公司 应用微服务部署方法、装置、存储介质及终端设备
CN109743199A (zh) * 2018-12-25 2019-05-10 中国联合网络通信集团有限公司 基于微服务的容器化管理系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858098A (zh) * 2020-07-24 2020-10-30 成都成信高科信息技术有限公司 一种基于海量数据的数据交换方法
CN111858098B (zh) * 2020-07-24 2023-11-17 成都成信高科信息技术有限公司 一种基于海量数据的数据交换方法
CN112714018A (zh) * 2020-12-28 2021-04-27 上海领健信息技术有限公司 基于网关的ElasticSearch搜索服务方法、系统、介质及终端
CN112714018B (zh) * 2020-12-28 2023-04-18 上海领健信息技术有限公司 基于网关的ElasticSearch搜索服务方法、系统、介质及终端
CN112764825A (zh) * 2020-12-30 2021-05-07 望海康信(北京)科技股份公司 服务集成系统及相应设备和存储介质
CN112764825B (zh) * 2020-12-30 2023-12-29 望海康信(北京)科技股份公司 服务集成系统及相应设备和存储介质
CN116467151A (zh) * 2023-06-19 2023-07-21 浙江无端科技股份有限公司 一种程序性能信息采集方法、装置、设备及存储介质
CN116467151B (zh) * 2023-06-19 2023-08-25 浙江无端科技股份有限公司 一种程序性能信息采集方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110943872A (zh) 数据采集服务配置/性能分析方法/系统、介质及服务器
CN108513657B (zh) 数据转换方法及备份服务器
US10366112B2 (en) Compiling extract, transform, and load job test data cases
CN107807815B (zh) 分布式处理任务的方法和装置
CN109298868B (zh) 测绘影像数据处理软件智能动态部署及卸载方法
CN107203465B (zh) 系统接口测试方法及装置
US20220263772A1 (en) Metadata driven static determination of controller availability
CN113885849B (zh) 基于工业互联网平台的应用开发方法、装置及终端设备
CN114024853B (zh) 一种裸金属节点的硬件信息收集方法、系统及相关组件
CN112698822B (zh) 应用软件开发方法、装置、系统架构及工作方法
CN111858296B (zh) 接口测试方法、装置、设备和存储介质
CN112068850A (zh) 服务产品实例的创建方法、装置及电子设备
CN112214388A (zh) 内存监控方法、装置、设备及计算机可读存储介质
JP2021515299A (ja) 時系列順のアウトオブプレース更新のためのシステム、時系列順のアウトオブプレース更新のための方法、および時系列順のアウトオブプレース更新のためのコンピュータ・プログラム
CN113505073A (zh) 一种数据库的性能测试方法、装置、设备及介质
US11184251B2 (en) Data center cartography bootstrapping from process table data
CN112073505B (zh) 在云服务器上进行卸载的方法、控制装置、存储介质
CN110232043B (zh) 显示文件的方法、系统、电子设备及计算机存储介质
CN115202670A (zh) 应用批量发布方法、装置、电子设备及存储介质
CN114564210A (zh) 一种副本部署方法、装置、系统、电子设备及存储介质
CN110888649B (zh) 应用部署方法、应用基线的创建方法和装置
CN113806327A (zh) 一种数据库设计方法、装置及相关设备
CN106990990B (zh) 基于资源配置驱动库的资源动态维护系统
US12013774B2 (en) Verification of core file debugging resources
CN115658606B (zh) 文件处理方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200331