CN109542629A - 一种基于分布式系统的数据的处理方法及装置 - Google Patents
一种基于分布式系统的数据的处理方法及装置 Download PDFInfo
- Publication number
- CN109542629A CN109542629A CN201811604925.1A CN201811604925A CN109542629A CN 109542629 A CN109542629 A CN 109542629A CN 201811604925 A CN201811604925 A CN 201811604925A CN 109542629 A CN109542629 A CN 109542629A
- Authority
- CN
- China
- Prior art keywords
- data
- user
- response
- treated
- thread
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Multi Processors (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及一种基于分布式系统的数据的处理方法及装置，所述方法包括：分布式系统判断是否同时有多个用户操作；如果是，则为每一个用户操作分配对应的服务器；所述服务器为对应的每一个用户操作开启对应的一个线程；每个所述线程对响应于相应用户操作的数据进行处理；将处理后的数据返回至与对应用户操作关联的用户界面。本发明在用户操作暴增时，提升对用户操作的处理效率；同时，处理后的数据会被及时的返回至对应的用户界面，提升用户获取数据的及时性。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种基于分布式系统的数据的处理方法及装置。
背景技术
在信息时代迅速发展的今天，互联网也随之渗入到人们的生活中，各种解放人力的自动化系统也入雨后春笋般出现。这些系统在开发技术上如出一辙，但是随着对服务器的性能要求越来越高，很多系统在用户数量剧增的情况下会出现系统崩溃的情况。
现有的技术往往在用户量暴增的时候会出现需要排队的情况，有时候数据也会出现误差，数据不能做到实时更新。由于用户暴增，在数据处理方面对服务器的要求比较高，容易导致用户不能及时获取数据，出现服务器对于用户的操作不能及时响应并导致数据准确性降低的问题。
发明内容
基于此，有必要针对目前用户暴增时用户不能及时获取数据的问题，提供一种基于分布式系统的数据的处理方法及装置。
一种基于分布式系统的数据处理方法，包括：
分布式系统判断是否同时有多个用户操作；
如果是，则为每一个用户操作分配对应的服务器；
所述服务器为对应的每一个用户操作开启对应的一个线程；
每个所述线程对响应于相应用户操作的数据进行处理；
将处理后的数据返回至与对应用户操作关联的用户界面。
优选的，所述每个所述线程对响应于相应用户操作的数据进行处理，具体为：
每个所述线程判断是否有响应于相应用户操作的数据；
如果有，则对所述数据进行处理。
优选的，将处理后的数据返回至与对应用户操作关联的用户界面之前，所述方法还包括：
对处理后的数据进行备份。
优选的，将处理后的数据返回至与对应用户操作关联的用户界面之前，所述方法还包括：
将处理后的数据插入至对应服务器的缓存空间；
所述将处理后的数据返回至与对应用户操作关联的用户界面，具体为：
从缓存空间中读取所述处理后的数据，并返回至与对应用户操作关联的用户界面。
优选的，每个所述线程对响应于相应用户操作的数据进行处理，包括：
每个线程获取响应于相应用户操作的数据；
对响应于相应用户操作的数据进行加锁；
对加锁后的响应于相应用户操作的数据进行处理。
一种基于分布式系统的数据处理装置，包括：
判断模块，用于通过分布式系统判断是否同时有多个用户操作；
分配模块，用于在所述判断模块判断为是时，为每一个用户操作分配对应的服务器；
开启模块，用于通过所述服务器为对应的每一个用户操作开启对应的一个线程；
处理模块，用于通过每个所述线程对响应于相应用户操作的数据进行处理；
返回模块，用于将处理后的数据返回至与对应用户操作关联的用户界面。
优选的，所述处理模块具体用于：
通过每个所述线程判断是否有响应于相应用户操作的数据；
如果有，则对所述数据进行处理。
优选的，所述装置还包括：
备份模块，用于对处理后的数据进行备份。
优选的，所述装置还包括：
缓存模块，用于将处理后的数据插入至对应服务器的缓存空间；
所述返回模块具体用于：
从缓存空间中读取所述处理后的数据，并返回至与对应用户操作关联的用户界面。
优选的，所述处理模块具体用于：
通过每个线程获取响应于相应用户操作的数据；
对响应于相应用户操作的数据进行加锁；
对加锁后的响应于相应用户操作的数据进行处理。
本发明中，分布式系统判断用户操作暴增时，可以为每一个用户操作分配对应的服务器；服务器可以为对应的每一个用户操作开启对应的一个线程；每个线程对响应于相应用户操作的数据进行处理；最后，对应的服务器可以将处理后的数据返回至与对应用户操作关联的用户界面。由此，在用户操作暴增时，用户操作在不同的线程内处理，保证对每一个用户操作的处理均是独立的，从而在用户操作暴增时，提升对用户操作的处理效率；同时，处理后的数据会被及时的返回至对应的用户界面，提升用户获取数据的及时性。
附图说明
图1为一实施例的基于分布式系统的数据处理方法的流程图；
图2为一实施例的基于分布式系统的数据处理装置的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为一实施例的基于分布式系统的数据处理方法的流程图。如图1所示，该方法包括：
步骤110，分布式系统判断是否同时有多个用户操作。
可以理解，本实施例的实现基于分布式系统。
在一个分布式系统中，一组独立的计算机展现给用户的是一个统一的整体，就好像是一个系统似的。系统拥有多种通用的物理和逻辑资源，可以动态的分配任务，分散的物理和逻辑资源通过计算机网络实现信息交换。系统中存在一个以全局的方式管理计算机资源的分布式操作系统。通常，对用户来说，分布式系统只有一个模型或范型。在操作系统之上有一层软件中间件(middleware)负责实现这个模型。
可以理解，在用户操作暴增时，在同一时刻，会有多个用户操作同时进入分布式系统，对于进入到分布式系统的用户操作，分布式系统可以判断是否同时有多个用户操作。
步骤120，如果是，则为每一个用户操作分配对应的服务器。
如果在同一时刻有多个用户操作，分布式系统则为每一个用户操作分配对应的服务器。
可以理解，一个服务器可以对应至少一个用户操作。分布式系统在分配服务器时，可以基于服务器的使用情况作出将用户操作分配给具体的某个服务器，保证服务器的工作量均衡。因此，分布式系统可以优先的将用户操作分配给任务量最少的服务器。
步骤130，服务器为对应的每一个用户操作开启对应的一个线程。
当分布式系统为用户操作分配完服务器后，服务器可以建立对应的线程为用户操作提供服务。
在这里，每一个用户操作分别对应一个线程。
步骤140，每个线程对响应于相应用户操作的数据进行处理。
每个线程会对响应于相应用户操作的数据进行处理，处理过程需要具体的用户操作所涉及的具体的指令或者内容，可以理解，其可以是基于算法、公式等的不同情况的处理。
步骤150，将处理后的数据返回至与对应用户操作关联的用户界面。
对于处理后的数据，服务器可以将这些数据返回给对应用户操作关联的用户界面。
可以理解，用户操作是由用户界面发出的，因此，用户操作关联的用户界面，即用户产生用户操作时所对应的用户界面。
本发明中，分布式系统判断用户操作暴增时，可以为每一个用户操作分配对应的服务器；服务器可以为对应的每一个用户操作开启对应的一个线程；每个线程对响应于相应用户操作的数据进行处理；最后，对应的服务器可以将处理后的数据返回至与对应用户操作关联的用户界面。由此，在用户操作暴增时，用户操作在不同的线程内处理，保证对每一个用户操作的处理均是独立的，从而在用户操作暴增时，提升对用户操作的处理效率；同时，处理后的数据会被及时的返回至对应的用户界面，提升用户获取数据的及时性。
本实施例中，每个线程对响应于相应用户操作的数据进行处理，具体为：
每个线程判断是否有响应于相应用户操作的数据；
如果有，则对数据进行处理。
可以理解，每个线程只有判断有响应于用户操作的数据时，才会对数据进行处理，否则，自然不需要对数据进行处理，此时，线程会被服务器取消。
本实施例中，将处理后的数据返回至与对应用户操作关联的用户界面之前，方法还包括：对处理后的数据进行备份。
本实施例中，可以对数据进行备份，减低数据丢失的风险，以及保证数据的准确性。
本实施例中，将处理后的数据返回至与对应用户操作关联的用户界面之前，以上方法还包括：
将处理后的数据插入至对应服务器的缓存空间；
将处理后的数据返回至与对应用户操作关联的用户界面，具体为：
从缓存空间中读取处理后的数据，并返回至与对应用户操作关联的用户界面。
对于线程处理后的数据，对应的线程可以将这些数据插入至对应服务器的缓存空间。之后，可以直接从缓存空间中读取处理后的数据，并将数据返回至对应的用户界面。从服务器的缓存空间中返回数据，可以提高数据的返回效率和准确性。
本实施例中，每个线程对响应于相应用户操作的数据进行处理，包括：
每个线程获取响应于相应用户操作的数据；
对响应于相应用户操作的数据进行加锁；
对加锁后的响应于相应用户操作的数据进行处理。
每个线程可以对相应的用户操作进行分析，从而获取响应于相应用户操作的数据。这些数据可以是多种多样的，对于具体的数据的种类或类型，本实施例不再具体阐述。
线程在处理数据之前，会对响应于相应用户操作的数据进行加锁。
Java多线程可以通过synchronized关键字或者Java.util.concurrent包中的lock接口和ReentrantLock实现类的两种方式实现加锁。具体的加锁方式本实施例不再具体祥述。
之后，线程可以对加锁后的响应于相应用户操作的数据进行处理。
当用户操作独立时，对数据进行加锁处理，可以解决数据不能同步更新的问题，使每个用户都能看到精确的实时数据。
可以理解，本实施例通过分布式服务器可以使响应速度更快；通过以上方法，可以使数据实时同步更新，保证数据的准确性，减少脏数据插入。进一步的，本实施例可以在保证服务器性能的情况下，实现数据的实时同步，防止脏数据存入缓存空间数据库，最大可能减少数据误差。
图2为一实施例的基于分布式系统的数据处理装置的结构图。如图2所示，该装置包括：
判断模块210，用于通过分布式系统判断是否同时有多个用户操作；
分配模块220，用于在判断模块判断为是时，为每一个用户操作分配对应的服务器；
开启模块230，用于通过服务器为对应的每一个用户操作开启对应的一个线程；
处理模块240，用于通过每个线程对响应于相应用户操作的数据进行处理；
返回模块250，用于将处理后的数据返回至与对应用户操作关联的用户界面。
本发明中，分布式系统判断用户操作暴增时，可以为每一个用户操作分配对应的服务器；服务器可以为对应的每一个用户操作开启对应的一个线程；每个线程对响应于相应用户操作的数据进行处理；最后，对应的服务器可以将处理后的数据返回至与对应用户操作关联的用户界面。由此，在用户操作暴增时，用户操作在不同的线程内处理，保证对每一个用户操作的处理均是独立的，从而在用户操作暴增时，提升对用户操作的处理效率；同时，处理后的数据会被及时的返回至对应的用户界面，提升用户获取数据的及时性。
在本实施例的一实现方式中，处理模块具体用于：
通过每个线程判断是否有响应于相应用户操作的数据；
如果有，则对数据进行处理。
在本实施例的一实现方式中，装置还包括：
备份模块，用于对处理后的数据进行备份。
在本实施例的一实现方式中，装置还包括：
缓存模块，用于将处理后的数据插入至对应服务器的缓存空间；
返回模块具体用于：
从缓存空间中读取处理后的数据，并返回至与对应用户操作关联的用户界面。
在本实施例的一实现方式中，处理模块具体用于：
通过每个线程获取响应于相应用户操作的数据；
对响应于相应用户操作的数据进行加锁；
对加锁后的响应于相应用户操作的数据进行处理。
以上装置实施例的实现可以基于以上方法实施例中的具体内容，本实施例在此不再具体阐述。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于分布式系统的数据处理方法，其特征在于，包括：
分布式系统判断是否同时有多个用户操作；
如果是，则为每一个用户操作分配对应的服务器；
所述服务器为对应的每一个用户操作开启对应的一个线程；
每个所述线程对响应于相应用户操作的数据进行处理；
将处理后的数据返回至与对应用户操作关联的用户界面。
2.根据权利要求1所述的方法，其特征在于，
所述每个所述线程对响应于相应用户操作的数据进行处理，具体为：
每个所述线程判断是否有响应于相应用户操作的数据；
如果有，则对所述数据进行处理。
3.根据权利要求1所述的方法，其特征在于，将处理后的数据返回至与对应用户操作关联的用户界面之前，所述方法还包括：
对处理后的数据进行备份。
4.根据权利要求1所述的方法，其特征在于，将处理后的数据返回至与对应用户操作关联的用户界面之前，所述方法还包括：
将处理后的数据插入至对应服务器的缓存空间；
所述将处理后的数据返回至与对应用户操作关联的用户界面，具体为：
从缓存空间中读取所述处理后的数据，并返回至与对应用户操作关联的用户界面。
5.根据权利要求1所述的方法，其特征在于，每个所述线程对响应于相应用户操作的数据进行处理，包括：
每个线程获取响应于相应用户操作的数据；
对响应于相应用户操作的数据进行加锁；
对加锁后的响应于相应用户操作的数据进行处理。
6.一种基于分布式系统的数据处理装置，其特征在于，包括：
判断模块，用于通过分布式系统判断是否同时有多个用户操作；
分配模块，用于在所述判断模块判断为是时，为每一个用户操作分配对应的服务器；
开启模块，用于通过所述服务器为对应的每一个用户操作开启对应的一个线程；
处理模块，用于通过每个所述线程对响应于相应用户操作的数据进行处理；
返回模块，用于将处理后的数据返回至与对应用户操作关联的用户界面。
7.根据权利要求6所述的装置，其特征在于，所述处理模块具体用于：
通过每个所述线程判断是否有响应于相应用户操作的数据；
如果有，则对所述数据进行处理。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
备份模块，用于对处理后的数据进行备份。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
缓存模块，用于将处理后的数据插入至对应服务器的缓存空间；
所述返回模块具体用于：
从缓存空间中读取所述处理后的数据，并返回至与对应用户操作关联的用户界面。
10.根据权利要求6所述的装置，其特征在于，所述处理模块具体用于：
通过每个线程获取响应于相应用户操作的数据；
对响应于相应用户操作的数据进行加锁；
对加锁后的响应于相应用户操作的数据进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811604925.1A CN109542629A (zh) | 2018-12-26 | 2018-12-26 | 一种基于分布式系统的数据的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811604925.1A CN109542629A (zh) | 2018-12-26 | 2018-12-26 | 一种基于分布式系统的数据的处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109542629A true CN109542629A (zh) | 2019-03-29 |
Family
ID=65858331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811604925.1A Pending CN109542629A (zh) | 2018-12-26 | 2018-12-26 | 一种基于分布式系统的数据的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109542629A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030115295A1 (en) * | 1999-08-18 | 2003-06-19 | International Business Machines Corporation | High performance client/server editor |
| CN101984632A (zh) * | 2010-11-15 | 2011-03-09 | 中兴通讯股份有限公司 | 一种分布式缓存系统中负荷分配方法、装置及服务器 |
| CN105447092A (zh) * | 2015-11-09 | 2016-03-30 | 联动优势科技有限公司 | 一种缓存方法及装置 |
| CN105615832A (zh) * | 2015-12-18 | 2016-06-01 | 深圳安泰创新科技股份有限公司 | 医疗影像数据采集方法及装置 |
| WO2017028696A1 (zh) * | 2015-08-17 | 2017-02-23 | 阿里巴巴集团控股有限公司 | 分布式存储系统的负载监控方法及设备 |
-
2018
- 2018-12-26 CN CN201811604925.1A patent/CN109542629A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030115295A1 (en) * | 1999-08-18 | 2003-06-19 | International Business Machines Corporation | High performance client/server editor |
| CN101984632A (zh) * | 2010-11-15 | 2011-03-09 | 中兴通讯股份有限公司 | 一种分布式缓存系统中负荷分配方法、装置及服务器 |
| WO2017028696A1 (zh) * | 2015-08-17 | 2017-02-23 | 阿里巴巴集团控股有限公司 | 分布式存储系统的负载监控方法及设备 |
| CN105447092A (zh) * | 2015-11-09 | 2016-03-30 | 联动优势科技有限公司 | 一种缓存方法及装置 |
| CN105615832A (zh) * | 2015-12-18 | 2016-06-01 | 深圳安泰创新科技股份有限公司 | 医疗影像数据采集方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 梅青平等: "《J2SE快速入门经典》", 31 July 2016, 西南交通大学出版社 * |
| 陈税等: "《C#程序设计》", 31 August 2012, 合肥工业大学出版社 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110032571B (zh) | 业务流程处理方法、装置、存储介质及计算设备 | |
| US8156538B2 (en) | Distribution of information protection policies to client machines | |
| CN109995859A (zh) | 一种调度方法、调度服务器及计算机可读存储介质 | |
| US20170337095A1 (en) | Service based information technology platform | |
| US8719780B2 (en) | Application server with a protocol-neutral programming model for developing telecommunications-based applications | |
| US7958200B2 (en) | Methods, computer program products, and apparatuses for providing remote client access to exported file systems | |
| CN110008665B (zh) | 一种区块链的权限控制方法及装置 | |
| CN104639650B (zh) | 一种细粒度分布式接口访问控制方法及装置 | |
| CN108462760A (zh) | 电子装置、集群访问域名自动生成方法及存储介质 | |
| US8819155B2 (en) | System and method for performing centralized common tasks for a set of functions | |
| US7747750B1 (en) | Method for reserving resources in a storage area network with selective capabilities | |
| CN106575245A (zh) | 随通信故障的分布式工作负载重新分配 | |
| CN110163572A (zh) | 一种链码函数处理方法、装置及设备 | |
| CN107391539B (zh) | 事务处理方法、服务器和存储介质 | |
| CN108733477B (zh) | 数据集群化处理的方法、装置及设备 | |
| CN113645251B (zh) | 适用于跨区域服务的数据传输方法及装置 | |
| US20070174031A1 (en) | Method and device for taking an access control policy decision | |
| CN107632885A (zh) | 组件间的回调管理方法和装置 | |
| US11595493B2 (en) | System and method for namespace masking in an integration flow | |
| CN112187501B (zh) | 终端分组管理方法、装置、设备及存储介质 | |
| CN108989418A (zh) | 一种混合云对象存储通用认证的资源额度方法 | |
| CN109542629A (zh) | 一种基于分布式系统的数据的处理方法及装置 | |
| US8170530B2 (en) | Managing wireless devices using access control | |
| US8117053B2 (en) | Claims based factory pattern for creating objects | |
| CN117014175A (zh) | 云系统的权限处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190329 |