CN116991674B - 用于不动产登记信息的高并发服务架构及其数据处理方法 - Google Patents

用于不动产登记信息的高并发服务架构及其数据处理方法 Download PDF

Info

Publication number
CN116991674B
CN116991674B CN202311035827.1A CN202311035827A CN116991674B CN 116991674 B CN116991674 B CN 116991674B CN 202311035827 A CN202311035827 A CN 202311035827A CN 116991674 B CN116991674 B CN 116991674B
Authority
CN
China
Prior art keywords
cloud server
monitoring
tool
real estate
redis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311035827.1A
Other languages
English (en)
Other versions
CN116991674A (zh
Inventor
朱剑
郑智华
马骁驰
陈广雪
李茜
杨翔
覃桂练
吴发兴
韦祎
李衍君
杜波
黄琼秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Vocational Normal University
Supermap Software Co ltd
Guangxi Zhuang Autonomous Region Natural Resources Information Center
Original Assignee
Guangxi Vocational Normal University
Supermap Software Co ltd
Guangxi Zhuang Autonomous Region Natural Resources Information Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Vocational Normal University, Supermap Software Co ltd, Guangxi Zhuang Autonomous Region Natural Resources Information Center filed Critical Guangxi Vocational Normal University
Priority to CN202311035827.1A priority Critical patent/CN116991674B/zh
Publication of CN116991674A publication Critical patent/CN116991674A/zh
Application granted granted Critical
Publication of CN116991674B publication Critical patent/CN116991674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G06F11/203—Failover techniques using migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/16—Real estate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/18—Legal services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • Technology Law (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了用于不动产登记信息的高并发服务架构及其数据处理方法，涉及不动产服务架构技术领域，所述处理方法包括以下步骤：通过以Nginx负载均衡为基础，配合docker集群、redis哨兵模式部署，来确保资源分配合理，最大程度激发硬件性能，满足高并发访问的需求，同时使用portainer管理工具进行日常运维管理，对系统的日常日志、微服务状态进行管理，通过普罗米修斯对硬件环境资源进行实时监控预警，再辅以链路追踪监控、日志分析监控。本发明对云服务器的不动产登记信息平台服务日常出现的问题追踪提供有力的保障。

Description

用于不动产登记信息的高并发服务架构及其数据处理方法
技术领域
本发明涉及不动产服务架构技术领域，具体涉及用于不动产登记信息的高并发服务架构及其数据处理方法。
背景技术
目前不动产登记对于大数据量的信息平台面临着用户量、并发请求量的瓶颈，在用户量或请求量暴增的情况下，不能自动进行云服务器资源的调配，随着不动产登记业务量的增长、登记办理时限的压缩，以及不动产数据和相关部门的互通共享，不动产登记信息平台面临着用户量、请求量高并发暴增，当出现对数据库的大量连接且同时执行操作，会导致web服务和数据库服务在处理上遇到性能瓶颈；
因此，要保证不动产登记信息平台实时、高效、平稳的处理高并发的业务量，是一个极大的技术挑战。
发明内容
本发明的目的是提供用于不动产登记信息的高并发服务架构及其数据处理方法，以解决背景技术中不足。
为了实现上述目的，本发明提供如下技术方案：用于不动产登记信息的高并发服务架构的数据处理方法，所述处理方法包括以下步骤：
S1：资源分配
S1.1：获取云服务器节点，在每个云服务器上安装操作系统后，将Docker和Docker-Compose安装在每个云服务器上；
S1.2：创建包含应用程序的Docker镜像，并在Docker-file中定义依赖项和设置，构建并标记镜像，然后将镜像上传到Docker镜像仓库；
S1.3：在每个云服务器上安装Redis，设置主节点和从节点后配置Redis哨兵模式监控主从节点的状态，并在主节点故障时自动进行故障转移；
S1.4：使用编排工具创建集群，将云服务器节点加入集群，部署Redis容器，并使用哨兵模式配置连接到Redis集群；
S1.5：在一个或多个云服务器节点上部署Nginx容器以进行负载均衡，将请求分发到Docker集群中运行的多个应用程序容器；
S2：运维管理
S2.1：后台启动更新后，通过prometheus监控工具观察云服务器资源运行是否处于平衡状态；
S2.2：若资源运行不平衡，通过portainer管理工具调整服务跳转至运行资源充足的云服务器上；
S3：问题追踪
S3.1：集成链路追踪工具以及日志分析工具到云服务器的不动产登记信息平台服务中；
S3.2：在应用程序中添加相关代码来跟踪请求的路径和调用关系，在应用程序中使用日志库和配置生成日志信息；
S3.3：配置和启动链路追踪和日志分析服务，并通过Jaeger存储后端存储链路追踪数据，通过日志收集器将日志数据传输到中央日志存储；
S3.4：使用监控工具对收集的链路追踪数据和日志数据进行分析，并发现问题。
在一个优选的实施方式中，步骤S2.1中，通过prometheus监控工具观察云服务器资源运行是否处于平衡状态包括以下步骤：
S2.1.1：prometheus监控工具将请求处理时间欧氏距离、连接数幅值、成功响应码占比综合计算获取监控系数jkx，计算表达式为：
式中，(cgx/cgz)为成功响应码占比，为请求处理时间欧氏距离，bhj为连接数幅值，α、β、γ分别为成功响应码占比、处理时间欧氏距离以及连接数幅值的比例系数，且α、β、γ均大于0，cgx为成功响应码请求数，cgz为总请求数；
S2.1.2：获取云服务器的监控系数jkx后，将监控系数与平衡阈值进行对比，若监控系数＜平衡阈值，prometheus监控工具分析云服务器资源运行处于不平衡状态，若监控系数≥平衡阈值，prometheus监控工具分析云服务器资源运行处于平衡状态。
在一个优选的实施方式中，步骤S2.2中，当prometheus监控工具分析云服务器资源运行处于不平衡状态时，通过portainer管理工具调整服务跳转至监控系数≥平衡阈值的云服务器上。
在一个优选的实施方式中，所述成功响应码占比(cgx/cgz)中，cgx为成功响应码请求数，cgz为总请求数，成功响应码请求数表示成功响应码对应的请求数量，总请求数表示所有请求的总数量。
在一个优选的实施方式中，所述请求处理时间欧氏距离中，(x1,y1)为标准请求处理时间数据点，(x2,y2)为云服务器当前请求处理时间数据点，x1和x2分别为当前和标准请求处理时间的值，y1和y2分别为当前和标准请求处理时间的值。
在一个优选的实施方式中，所述连接数幅值bhj的计算表达式为：
式中，bhs为云服务器的当前连接数，bhmin～bhmax为云服务器稳定运行连接数范围。
在一个优选的实施方式中，所述Nginx容器将单个重负载的运算分担到多台节点设备上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用户，并发访问或数据流量分担到多台节点设备上分别处理。
在一个优选的实施方式中，所述Redis容器通过发送命令，让redis云服务器返回监控其运行状态，包括主云服务器和从云服务器，当哨兵监测到master宕机，自动将slave切换成master，通过发布订阅模式通知其他的从云服务器，修改配置文件，并让从云服务器切换主机。
在一个优选的实施方式中，所述Docker镜像在发布服务时，构建镜像并推送到harbor仓库中，在启动更新脚本中，使用命令，从镜像仓库中获取。
本发明还提供用于不动产登记信息的高并发服务架构，包括负载均衡模块、集群部署模块、哨兵部署模块、运维管理模块、监控预警模块、链路追踪模块、日志分析模块；
负载均衡模块：使用Nginx作为负载均衡器，将客户端的不动产登记信息服务均匀地分发到后端的多个云服务器上；
集群部署模块：通过Docker将不动产登记信息服务打包成容器，并通过容器编排工具部署到多个节点上；
哨兵部署模块：采用Redis数据库，并使用Redis哨兵模式来实现数据的自动故障转移；
运维管理模块：使用Portainer进行容器化云服务器环境的日常运维管理；
监控预警模块：部署和配置Prometheus监控系统，监控硬件环境云服务器资源的指标数据；
链路追踪模块：集成链路追踪工具跟踪请求的路径和调用关系，了解不动产登记信息服务之间的依赖关系；
日志分析模块：使用ELK堆栈收集、分析和监控日志数据，实时追踪云服务器系统的运行状况。
在上述技术方案中，本发明提供的技术效果和优点：
1、本发明通过以Nginx负载均衡为基础，配合docker集群、redis哨兵模式部署，来确保资源分配合理，最大程度激发硬件性能，满足高并发访问的需求，同时使用portainer管理工具进行日常运维管理，对系统的日常日志、微服务状态进行管理，通过普罗米修斯对硬件环境资源进行实时监控预警，再辅以链路追踪监控、日志分析监控，对云服务器的不动产登记信息平台服务日常出现的问题追踪提供有力的保障；
2、本发明通过获取云服务器的请求处理时间欧氏距离、连接数幅值、成功响应码占比综合计算获取监控系数，有效提高数据的处理效率，且全面分析云服务器的资源运行状况，从而能够在云服务器资源运行不平衡时，及时将不动产登记信息服务跳转至运行资源充足的云服务器上，有效提高数据服务效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明中步骤S1的方法流程图；
图2为本发明中步骤S2的方法流程图；
图3为本发明中步骤S3的方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：请参阅图1所示，本实施例所述用于不动产登记信息的高并发服务架构的数据处理方法，所述处理方法包括以下步骤：
一、资源分配：
A、获取适当数量的云服务器节点，可以使用云服务提供商或者自己搭建物理云服务器，在每个云服务器上安装操作系统(例如Ubuntu)并进行基本配置，安装Docker和Docker-Compose在每个云服务器上，以便管理容器化应用程序；
B、创建一个包含应用程序的Docker镜像，确保应用程序在容器环境中正常运行，并在Docker-file中定义必要的依赖项和设置，构建并标记镜像，然后将其上传到Docker镜像仓库，例如Docker-Hub或私有仓库；
C、安装Redis在每个云服务器上，设置主节点和从节点，配置Redis哨兵模式，使其能够监控主从节点的状态，并在主节点故障时自动进行故障转移；
D、在每个云服务器上使用Docker-Swarm或Kubernetes等容器编排工具创建一个集群，将云服务器节点加入集群，并确保它们正常通信和协作，部署Redis容器，并使用哨兵模式配置连接到Redis集群；
E、在一个或多个云服务器节点上部署Nginx容器，配置Nginx以进行负载均衡，将请求分发到Docker集群中运行的多个应用程序容器，调整Nginx的负载均衡算法、超时设置等参数，以最大程度激发硬件性能；
F、通过使用压力测试工具(例如Apache-Bench或JMeter)模拟高并发请求，确保负载均衡和容器集群正常工作。
1)Nginx负载均衡：将单个重负载的运算分担到多台节点设备上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用户，云服务器处理能力得到大幅度提高，且大量的并发访问或数据流量分担到多台节点设备上分别处理，减少用户等待响应的时间，作为一个访问跳转平台，跳转至其他云服务器进行访问。
2)redis哨兵模式：哨兵模式是一种特殊的模式，首先redis提供了哨兵的命令，哨兵是一个独立的进程，作为进程，它会独立运行，其原理是哨兵通过发送命令，等待Redis云服务器响应，从而监控运行的多个Redis实例；
具体为：通过发送命令，让redis云服务器返回监控其运行状态，包括主云服务器和从云服务器，当哨兵监测到master宕机，会自动将slave切换成master，然后通过发布订阅模式通知其他的从云服务器，修改配置文件，让它们切换主机。
3)Docker镜像管理：Harbor是一个用于存储和分发Docker镜像的企业级Registry云服务器，提供用户权限管理、镜像复制等功能，提高使用的registry的效率；
需要发布服务时，构建镜像并推送到harbor仓库中，在启动更新脚本中，使用命令，直接从镜像仓库中获取即可，无需在本地重新构建镜像，确保版本的统一性，也可根据实际需要，拉取对应的服务版本.
4)Docker容器管理：Docker技术使用Linux内核和内核功能来分隔进程，以便各进程相互独立运行，这种独立性正是采用容器的目的所在；它可以独立运行多种进程、多个应用，更加充分地发挥基础设施的作用，同时保持各个独立系统的安全性；
Docker容器化方法非常注重在不停止整个应用的情况下，单独截取部分应用进行更新或修复的能力；
Docker的每个镜像都拥有多个版本，举例而言，假设当前发布的最新版本已严重影响到用户使用，那么可以通过版本迭代的方法，回滚到之前的版本；
启动和运行新硬件、实施部署并投入使用，基于Docker的容器可将部署时间缩短到几秒，通过为每个进程构建容器，可以快速将这些类似进程应用到新的应用程序中，而且，由于无需启动操作系统即可添加或移动容器，因此大幅缩短了部署时间。
5)Docker-Swarm集群：Docker-Swarm能够解决多主机多个容器调度部署的问题，实现负载均衡，合理利用云服务器资源。
当容器副本中的其中某一个或某几个节点宕机后，cluster会根据自己的服务注册发现机制，以及之前设定的值--replicas-n；
在集群中剩余的空闲节点上，重新拉起容器副本，整个副本迁移的过程无需人工干预，迁移后原本的集群的服务正常使用，实现维护集群的高可用性；
当云服务器资源处于空闲过多，或者是资源使用率过高时，可通过设定参数的值--replicas-n来确定节点的增减，实现节点弹性扩展或缩减。
二、运维管理：
请参阅图2所示，在云服务器上安装和配置Portainer，确保其能够访问和管理Docker环境，在应用程序中配置日志记录，确保系统日志被准确记录，可以使用适当的日志库和配置来生成详细的日志信息，通过Portainer监控微服务的状态和运行状况。确保微服务容器正常启动和运行，并及时发现并处理任何异常情况。
在服务器上安装Prometheus，并配置其收集硬件环境资源的指标数据，确保Prometheus能够获取关键的硬件指标，设置警报规则，及时发现并处理资源异常情况，预警系统性能。
使用Prometheus的警报规则功能设置实时监控和预警规则，定义阈值和触发条件，以便在硬件资源出现异常或超过预定阈值时及时接收警报通知。
portainer管理工具运维管理：后台启动更新后，通过prometheus监控工具观察云服务器资源运行是否处于平衡状态，如果资源运行不平衡，可通过portainer管理工具调整服务跳转至运行资源比较充足的云服务器上，
当前运行内存资源情况下，可通过portainer管理工具进行调整，
调整节点：当新增的节点启动完成后，需要到对应的云服务器上；
停止容器：docker-stop-containerid，并将节点数调整回原来的节点数。
普罗米修斯运维监控：普罗米修斯(prometheus监控工具)是一个Sound-Cloud公司开源的、基于Go语言开发的监控系统，随着分布式架构的不断发展和云解决方案的普及，现在的架构已经变得越来越复杂，监控整个服务体系是否在正常运转、资源使用情况，成了日常监控、运维的必备；
功能强大，支持类型丰富的监控组件，多维数据模型，数据可视化展示，实时监控
四、问题追踪：链路追踪监控、日志分析监控；
请参阅图3所示：
1)选择链路追踪工具包括Jaeger、Zipkin和Open-Telemetry，选择日志分析工具包括ELK(Elasticsearch、Logstash和Kibana)、Splunk等；
集成链路追踪工具以及日志分析工具到云服务器的不动产登记信息平台服务中，跟踪请求的路径和调用关系，以了解服务之间的依赖和性能瓶颈；
配置日志数据的收集和分析。使用日志查询和分析功能来追踪和调查服务问题；
2)在应用程序中集成链路追踪和日志记录功能，对于链路追踪，需要在应用程序中添加相关代码或使用适当的库来跟踪请求的路径和调用关系，对于日志记录，需要在应用程序中使用合适的日志库和配置，以便生成详细的日志信息；
3)根据所选的监控工具，配置和启动链路追踪和日志分析服务，这涉及到设置采样率、配置数据存储和存储周期等参数；
4)确保链路追踪和日志数据能够被收集和存储起来，链路追踪数据通常存储在专门的存储系统中，如Jaeger的存储后端或Elasticsearch，日志数据可以通过日志收集器(如Logstash)传输到中央日志存储(如Elasticsearch)；
5)使用监控工具提供的分析和可视化功能，对收集的链路追踪数据和日志数据进行分析和探索，这可以帮助发现潜在的性能问题、错误和异常情况。
实施例2：后台启动更新后，通过prometheus监控工具观察云服务器资源运行是否处于平衡状态，若资源运行不平衡，通过portainer管理工具调整服务跳转至运行资源充足的云服务器上。
后台启动更新后，通过prometheus监控工具观察云服务器资源运行是否处于平衡状态包括以下步骤：
后台启动更新后通过prometheus监控工具采集与云服务器资源运行状态相关的多源数据，多源数据包括请求处理时间欧氏距离、连接数幅值、成功响应码占比；
将请求处理时间欧氏距离、连接数幅值、成功响应码占比综合计算获取监控系数jkx，计算表达式为：
式中，(cgx/cgz)为成功响应码占比，为请求处理时间欧氏距离，bhj为连接数幅值，α、β、γ分别为成功响应码占比、处理时间欧氏距离以及连接数幅值的比例系数，且α、β、γ均大于0，cgx为成功响应码请求数，cgz为总请求数。
获取云服务器的监控系数jkx后，将监控系数与平衡阈值进行对比，若监控系数＜平衡阈值，prometheus监控工具分析云服务器资源运行处于不平衡状态，若监控系数≥平衡阈值，prometheus监控工具分析云服务器资源运行处于平衡状态，当prometheus监控工具分析云服务器资源运行处于不平衡状态时，通过portainer管理工具调整服务跳转至监控系数≥平衡阈值的云服务器上。
本申请通过获取云服务器的请求处理时间欧氏距离、连接数幅值、成功响应码占比综合计算获取监控系数，有效提高数据的处理效率，且全面分析云服务器的资源运行状况，从而能够在云服务器资源运行不平衡时，及时将不动产登记信息服务跳转至运行资源充足的云服务器上，有效提高数据服务效率。
成功响应码占比(cgx/cgz)中，cgx为成功响应码请求数，cgz为总请求数，成功响应码请求数表示成功响应码对应的请求数量，总请求数表示所有请求的总数量，通过计算成功响应码占比，可以了解云服务器中成功处理请求的比例，从而评估云服务器的可用性和成功率，这个指标通常用于衡量云服务器性能和服务质量，较高的成功响应码占比表示云服务器的请求处理能力较好，较低的占比可能表示云服务器存在请求处理异常或性能问题。
请求处理时间欧氏距离中，(x1,y1)为标准请求处理时间数据点，(x2,y2)为云服务器当前请求处理时间数据点，x1和x2分别为当前和标准请求处理时间的值，y1和y2分别为当前和标准请求处理时间的值；
请求处理时间欧氏距离值越大，表明云服务器当前请求处理时间与标准请求处理时间差异越大，则会导致：
1)资源不足：云服务器的资源(如CPU、内存、磁盘)不足以处理当前的请求负载，导致请求处理时间增加，这可能意味着需要调整服务器的配置或增加资源来提高性能；
2)网络问题：云服务器与客户端之间的网络延迟或带宽限制可能导致请求处理时间增加，这可能需要检查网络连接和调整网络设置来改善性能；
3)应用程序问题：应用程序的设计或实现可能存在性能瓶颈，导致请求处理时间增加，这可能需要对应用程序进行优化或调整来提高性能；
4)第三方服务延迟：如果应用程序依赖于其他外部服务(如数据库、API)，则这些服务的延迟或性能问题可能会影响请求处理时间，这可能需要评估和优化与第三方服务的集成。
连接数幅值bhj的计算表达式为：
式中，bhs为云服务器的当前连接数，bhmin～bhmax为云服务器稳定运行连接数范围，连接数幅值bhj越大，表明云服务器的当前连接数越偏离云服务器稳定运行连接数范围。
云服务器的当前连接数越偏离云服务器稳定运行连接数范围会带来以下影响：
当云服务器当前连接数过大时带来以下影响：
1)资源消耗：大量的连接会占用服务器的资源，如CPU、内存和网络带宽，导致资源消耗增加，这可能会影响服务器的响应时间和处理能力；
2)响应延迟：服务器需要处理更多的连接请求，可能会导致响应时间增加，使得用户体验下降；
3)负载不均衡：过多的连接可能导致负载不均衡，其中某些服务器可能会承受更大的负载，而其他服务器则处于闲置状态；
4)连接限制：某些服务提供商或配置可能会对连接数进行限制，如果连接数超过限制，可能导致请求被拒绝或无法建立连接。
当云服务器当前连接数过小时带来以下影响：
1)响应能力下降：较小的连接数可能导致服务器处理能力未能充分发挥，造成潜在的性能瓶颈；
2)服务效率下降：过小的连接数可能导致服务效率下降，无法充分满足用户需求。
实施例3：本实施例所述用于不动产登记信息的高并发服务架构：包括负载均衡模块、集群部署模块、哨兵部署模块、运维管理模块、监控预警模块、链路追踪模块、日志分析模块；
负载均衡模块：使用Nginx作为负载均衡器，将客户端的不动产登记信息服务均匀地分发到后端的多个云服务器上，以实现负载均衡和高可用性，不动产登记信息服务发送至集群部署模块。
集群部署模块：使用Docker将不动产登记信息服务打包成容器，并通过Docker-Swarm或Kubernetes等容器编排工具部署到多个节点上，实现容器化的高可扩展性和灵活性，节点信息发送至哨兵部署模块。
哨兵部署模块：采用Redis数据库，并使用Redis哨兵模式来实现高可用性和数据的自动故障转移，通过配置Redis哨兵节点，保证主从节点的自动切换和数据的持久性。
运维管理模块：使用Portainer进行容器化云服务器环境的日常运维管理，通过Portainer的用户界面，可以方便地管理和监控容器、查看日志、进行容器扩缩容等操作，提高运维效率。
监控预警模块：部署和配置Prometheus监控系统，监控硬件环境云服务器资源的指标数据。
链路追踪模块：集成链路追踪工具(如Jaeger或OpenTelemetry)，跟踪请求的路径和调用关系，通过链路追踪监控，可以了解不动产登记信息服务之间的依赖关系、性能瓶颈，并快速定位和解决问题；
日志分析模块：使用ELK堆栈(Elasticsearch、Logstash和Kibana)或其他日志分析工具，收集、分析和监控日志数据，通过日志分析，可以实时追踪云服务器系统的运行状况、发现潜在问题，并进行故障排查和性能优化。
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (3)

1.用于不动产登记信息的高并发服务架构的数据处理方法，其特征在于：所述处理方法包括以下步骤：
S1：资源分配
S1.1：获取云服务器节点，在每个云服务器上安装操作系统后，将Docker和Docker-Compose安装在每个云服务器上；
S1.2：创建包含应用程序的Docker镜像，并在Docker-file中定义依赖项和设置，构建并标记镜像，然后将镜像上传到Docker镜像仓库；
S1.3：在每个云服务器上安装Redis，设置主节点和从节点后配置Redis哨兵模式监控主从节点的状态，并在主节点故障时自动进行故障转移；
S1.4：使用编排工具创建集群，将云服务器节点加入集群，部署Redis容器，并使用哨兵模式配置连接到Redis集群；
S1.5：在一个或多个云服务器节点上部署Nginx容器以进行负载均衡，将请求分发到Docker集群中运行的多个应用程序容器；
S2：运维管理
S2.1：后台启动更新后，通过prometheus监控工具观察云服务器资源运行是否处于平衡状态；
S2.2：若资源运行不平衡，通过portainer管理工具调整服务跳转至运行资源充足的云服务器上；
S3：问题追踪
S3.1：集成链路追踪工具以及日志分析工具到云服务器的不动产登记信息平台服务中；
S3.2：在应用程序中添加相关代码来跟踪请求的路径和调用关系，在应用程序中使用日志库和配置生成日志信息；
S3.3：配置和启动链路追踪和日志分析服务，并通过Jaeger存储后端存储链路追踪数据，通过日志收集器将日志数据传输到中央日志存储；
S3.4：使用监控工具对收集的链路追踪数据和日志数据进行分析，并发现问题；
步骤S2.1中，通过prometheus监控工具观察云服务器资源运行是否处于平衡状态包括以下步骤：
S2.1.1：prometheus监控工具将请求处理时间欧氏距离、连接数幅值、成功响应码占比综合计算获取监控系数，计算表达式为：，式中，/>为成功响应码占比，/>为请求处理时间欧氏距离，/>为连接数幅值，/>、/>、/>分别为成功响应码占比、处理时间欧氏距离以及连接数幅值的比例系数，且/>、/>、/>均大于0，/>为成功响应码请求数，/>为总请求数；
S2.1.2：获取云服务器的监控系数后，将监控系数与平衡阈值进行对比，若监控系数＜平衡阈值，prometheus监控工具分析云服务器资源运行处于不平衡状态，若监控系数≥平衡阈值，prometheus监控工具分析云服务器资源运行处于平衡状态；
步骤S2.2中，当prometheus监控工具分析云服务器资源运行处于不平衡状态时，通过portainer管理工具调整服务跳转至监控系数≥平衡阈值的云服务器上；
所述请求处理时间欧氏距离中，/>为标准请求处理时间数据点，/>为云服务器当前请求处理时间数据点；
所述连接数幅值的计算表达式为：
，式中，/>为云服务器的当前连接数，为云服务器稳定运行连接数范围；
所述Nginx容器将单个重负载的运算分担到多台节点设备上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用户，并发访问或数据流量分担到多台节点设备上分别处理；
所述Redis容器通过发送命令，让redis云服务器返回监控其运行状态，包括主云服务器和从云服务器，当哨兵监测到master宕机，自动将slave切换成master，通过发布订阅模式通知其他的从云服务器，修改配置文件，并让从云服务器切换主机。
2.根据权利要求1所述的用于不动产登记信息的高并发服务架构的数据处理方法，其特征在于：所述Docker镜像在发布服务时，构建镜像并推送到harbor仓库中，在启动更新脚本中，使用命令，从镜像仓库中获取。
3.用于不动产登记信息的高并发服务架构系统，用于实现权利要求1或2所述的数据处理方法，其特征在于：包括负载均衡模块、集群部署模块、哨兵部署模块、运维管理模块、监控预警模块、链路追踪模块、日志分析模块；
负载均衡模块：使用Nginx作为负载均衡器，将客户端的不动产登记信息服务均匀地分发到后端的多个云服务器上；
集群部署模块：通过Docker将不动产登记信息服务打包成容器，并通过容器编排工具部署到多个节点上；
哨兵部署模块：采用Redis数据库，并使用Redis哨兵模式来实现数据的自动故障转移；
运维管理模块：使用Portainer进行容器化云服务器环境的日常运维管理；
监控预警模块：部署和配置Prometheus监控系统，监控硬件环境云服务器资源的指标数据；
链路追踪模块：集成链路追踪工具跟踪请求的路径和调用关系，了解不动产登记信息服务之间的依赖关系；
日志分析模块：使用ELK堆栈收集、分析和监控日志数据，实时追踪云服务器系统的运行状况。
CN202311035827.1A 2023-08-17 2023-08-17 用于不动产登记信息的高并发服务架构及其数据处理方法 Active CN116991674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311035827.1A CN116991674B (zh) 2023-08-17 2023-08-17 用于不动产登记信息的高并发服务架构及其数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311035827.1A CN116991674B (zh) 2023-08-17 2023-08-17 用于不动产登记信息的高并发服务架构及其数据处理方法

Publications (2)

Publication Number Publication Date
CN116991674A CN116991674A (zh) 2023-11-03
CN116991674B true CN116991674B (zh) 2024-04-12

Family

ID=88533843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311035827.1A Active CN116991674B (zh) 2023-08-17 2023-08-17 用于不动产登记信息的高并发服务架构及其数据处理方法

Country Status (1)

Country Link
CN (1) CN116991674B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102710785A (zh) * 2012-06-15 2012-10-03 哈尔滨工业大学 自助旅行系统中云服务节点架构及各服务节点间的业务协同与均衡模块及协同与均衡方法
WO2016101638A1 (zh) * 2014-12-23 2016-06-30 国家电网公司 一种电力系统云仿真平台的运营管理方法
CN108600322A (zh) * 2018-03-27 2018-09-28 通号通信信息集团有限公司 基于铁路视频技术规范的综合视频监控云服务系统及方法
CN110336800A (zh) * 2019-06-19 2019-10-15 茂名市群英网络有限公司 一种云服务的管理控制系统
CN110704164A (zh) * 2019-09-30 2020-01-17 珠海市新德汇信息技术有限公司 一种基于Kubernetes技术的云原生应用平台构建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9438488B2 (en) * 2012-11-09 2016-09-06 Citrix Systems, Inc. Systems and methods for appflow for datastream
US10326838B2 (en) * 2016-09-23 2019-06-18 Microsoft Technology Licensing, Llc Live migration of probe enabled load balanced endpoints in a software defined network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102710785A (zh) * 2012-06-15 2012-10-03 哈尔滨工业大学 自助旅行系统中云服务节点架构及各服务节点间的业务协同与均衡模块及协同与均衡方法
WO2016101638A1 (zh) * 2014-12-23 2016-06-30 国家电网公司 一种电力系统云仿真平台的运营管理方法
CN108600322A (zh) * 2018-03-27 2018-09-28 通号通信信息集团有限公司 基于铁路视频技术规范的综合视频监控云服务系统及方法
CN110336800A (zh) * 2019-06-19 2019-10-15 茂名市群英网络有限公司 一种云服务的管理控制系统
CN110704164A (zh) * 2019-09-30 2020-01-17 珠海市新德汇信息技术有限公司 一种基于Kubernetes技术的云原生应用平台构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于ELK自动化收集Docker容器日志的分析系统;周德永;王瑞刚;梁小江;;电子设计工程;20171005(第19期);全文 *

Also Published As

Publication number Publication date
CN116991674A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN111124670B (zh) 一种面向战术云的微服务平台
US9413604B2 (en) Instance host configuration
WO2020253079A1 (zh) 基于Jmeter的分布式性能测试方法、装置、设备及存储介质
US8424059B2 (en) Calculating multi-tenancy resource requirements and automated tenant dynamic placement in a multi-tenant shared environment
US10338958B1 (en) Stream adapter for batch-oriented processing frameworks
CN112000448A (zh) 基于微服务架构的应用管理方法
CA2898478C (en) Instance host configuration
CN112600891B (zh) 一种基于信息物理融合的边云协同系统及工作方法
US20090132703A1 (en) Verifying resource functionality before use by a grid job submitted to a grid environment
US8966025B2 (en) Instance configuration on remote platforms
US20220067044A1 (en) Microservice component-based database system and related method
CN110716744A (zh) 一种数据流处理方法、系统和计算机可读存储介质
US20060095435A1 (en) Configuring and deploying portable application containers for improved utilization of server capacity
US20120084407A1 (en) Real-load tuning of database applications
CN113127343B (zh) 一种基于微服务架构的电网代码测试分析系统
US20200057618A1 (en) Software Acceleration Platform for Supporting Decomposed, On-Demand Network Services
CN109614227A (zh) 任务资源调配方法、装置、电子设备及计算机可读介质
US20180123935A1 (en) Network Configuration Management System
KR20220141070A (ko) 지역적으로 분산된 다중 클라우드 환경에서의 컨테이너 오케스트레이션 장치 및 이를 이용한 방법
US20210224102A1 (en) Characterizing operation of software applications having large number of components
CN105827744A (zh) 云存储平台的数据处理方法
CN116991674B (zh) 用于不动产登记信息的高并发服务架构及其数据处理方法
CN109840138A (zh) 一种企业管理数据分析处理系统及其方法
CN115103012B (zh) 一种地理空间信息微服务集成系统及方法
US11777810B2 (en) Status sharing in a resilience framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant