CN104615684B - 一种海量数据通信并发处理方法及系统 - Google Patents
一种海量数据通信并发处理方法及系统 Download PDFInfo
- Publication number
- CN104615684B CN104615684B CN201510032179.3A CN201510032179A CN104615684B CN 104615684 B CN104615684 B CN 104615684B CN 201510032179 A CN201510032179 A CN 201510032179A CN 104615684 B CN104615684 B CN 104615684B
- Authority
- CN
- China
- Prior art keywords
- data
- thread
- processing
- request
- request data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000006854 communication Effects 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000004891 communication Methods 0.000 title abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000000151 deposition Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 8
- 230000001680 brushing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013506 data mapping Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Computer And Data Communications (AREA)
- Communication Control (AREA)
Abstract
本发明提供了一种海量数据通信并发处理方法及系统，其中，所述方法包括：A、对数据表内数据进行分类，形成多个独立的子数据表；B、将请求数据进行排序，存储到缓存中，并从缓存中依次序获取请求数据；C、处理线程依据所述获取的请求数据，进行相应的操作。上述一种海量数据通信并发处理方法及系统，通过把大数据量的表分解成多个独立的子数据表，把大的完整的活动分成几个小的独立的活动，操作中不会造成相互影响，能够提高处理海量数据的速度和能力，避免信息阻塞，拥堵或者数据丢失的发生。
Description
技术领域
本发明涉及数据通信请求处理技术领域，尤其涉及一种海量数据通信并发处理方法及系统。
背景技术
当一个平台同时与数量较多的硬件进行通信时，需要对海量的通信请求进行处理，例如数据发送或者接受。在现有的通信请求处理机制中，对接硬件产品单一，数量有限，导致其通信方式较为单一。而当有海量数据要求发送和接收时，很容易造成信息阻塞，拥堵或者数据丢失，并且，在与硬件的通信中包括指令的下发和数据的接收，一般均采用下发一条指令然后等待硬件的回应，这样的设计处理能力和速度都不适合海量数据的处理要求。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种海量数据通信并发处理方法及系统，旨在解决现有通信处理机制容易造成信息阻塞，拥堵或者数据丢失的问题。
为了达到上述目的，本发明采取了以下技术方案：
一种海量数据通信并发处理方法，其中，所述方法包括：A、对数据表内数据进行分类，形成多个独立的子数据表；B、将请求数据进行排序，存储到缓存中，并从缓存中依次序获取请求数据；C、处理线程依据所述获取的请求数据，进行相应的操作。
所述的海量数据通信并发处理方法，其中，所述步骤A具体包括：A1、预先设置一分类标准；A2、依据所述分类标准，将数据表内的数据进行分类，A3、形成多个独立的子数据表。
所述的海量数据通信并发处理方法，其中，所述步骤B具体包括：B1、设置独立的数据接收线程以及数据获取线程，B2、数据接收线程接收请求数据，依次序存储到缓存中，B3、数据获取线程从缓存中依次序获取请求数据。
所述的海量数据通信并发处理方法，其中，所述步骤C具体包括：C1、依据请求数据的数据处理类型，对应设置多个独立的，仅执行一种数据处理类型的处理线程；C2、依据获取的请求数据，选择对应类型的处理线程；C3、所述处理线程处理请求数据并执行相应的操作指令。
所述的海量数据通信请求并发处理方法，其中，所述步骤C之后还包括：D、设置独立的下发及接收线程，下发线程将操作指令发送到对应硬件设备中，接收线程接收硬件设备返回的应答数据。
一种海量数据通信并发处理系统，其中，所述系统包括：分类模块，用于对数据表内数据进行分类，形成多个独立的子数据表，排序模块，将请求数据进行排序，存储到缓存中，并从缓存中依次序获取请求数据，处理模块，用于处理线程依据所述获取的请求数据，进行相应的操作。
所述的海量数据通信并发处理系统，其中，所述分类模块包括：
标准设置单元，用于预先设置一分类标准；
分类单元，用于依据所述分类标准，将数据表内的数据进行分类；
子数据表形成单元，用于形成多个独立的子数据表。
所述的海量数据通信并发处理系统，其中，所述排序模块具体用于：
设置单元，用于设置独立的数据接收线程以及数据获取线程；
数据接收线程，用于接收请求数据，依次序存储到缓存中；
数据获取线程，用于从缓存中依次序获取请求数据。
所述的海量数据通信并发处理系统，其中，所述处理模块具体用于
类型设置单元，用于依据请求数据的数据处理类型，对应设置多个独立的，仅执行一种数据处理类型的处理线程；
选择单元，用于依据获取的请求数据，选择对应类型的处理线程；
处理线程，用于处理请求数据并执行相应的操作指令。
所述的海量数据通信并发处理系统，其中，所述系统还包括独立的下发及接收线程，所述下发线程用于将操作指令发送到对应硬件设备中，所述接收线程用于接收硬件设备返回的应答数据。
有益效果：本发明提供的一种海量数据通信并发处理方法及系统，通过把大数据量的表分解成多个独立的子数据表，把大的完整的活动分成几个小的独立的活动，操作中不会造成相互影响，能够提高处理海量数据的速度和能力，避免信息阻塞，拥堵或者数据丢失的发生。
附图说明
图1为本发明具体实施例的一种海量数据通信并发处理方法的方法流程图。
图2为使用本发明所述方法进行收到设备的刷卡数据的具体实施例的方法示意图。
图3为本发明具体实施例的一种海量数据通信并发处理系统的结构框图。
图4为本发明具体实施例的一种海量数据通信并发处理方法的独立子数据表示意图。
具体实施方式
本发明提供一种海量数据通信并发处理方法及系统。为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，为本发明一种海量数据通信并发处理方法的具体实施例。所述方法包括：
S100、对数据表内数据进行分类，形成多个独立的子数据表；具体来说，其按来源进行分类，对记录数量大的表进行拆 分，生成多个独立的子数据表。
所述海量数据具体可以为考勤记录或者消费记录，相对应的，海量数据的并发处理具体可以为：同一个时间多人查询学生的考勤或消费记录或者同一时间内可能发生海量的指令下发或刷卡记录接收。
对于具有较大数量的数据表，可以采用对数据表内数据进行分类，形成多个独立的子数据表（形成多个数据映射表），例如：有一百个学校，每个学校的刷卡记录都很多，按学校的ID分成一百个表（来存放出入记录），即为每个学校建一个对应表名，用学校唯一的ID为关键字，读、写、删除等操作时，通过映射关系访问对应的数据表。如此一来，这个每个表的记录数量就小了，对这个表的操作速度就快，具体如图4所示。
上述方法能够有效的解决数据表过大，导致对数据表的操作时间过长的问题。
S200、将请求数据进行排序，存储到缓存中，并从缓存中依次序获取请求数据；
S300、处理线程依据所述获取的请求数据，进行相应的操作。
具体的，S100具体包括：首先预先设置一分类标准，然后依据所述分类标准，将数据表内的数据进行分类，最后形成多个独立的子数据表。
更具体的，S200具体包括：首先，设置独立的数据接收线程以及数据获取线程。然后数据接收线程接收请求数据，依次序存储到缓存中，并由数据获取线程从缓存中依次序获取请求数据。
当有海量数据要求处理时，采用了排序，在缓存中等候处理的方式。（即消息队列进行缓存），接收数据线程只负责收到数据写加到队列，处理数据线程只负责从队列中取数据并对数据进行分析处理。从而防止处理过程中数据的丢失和拥堵。
较佳的是，S300具体包括：首先，依据请求数据的数据处理类型，对应设置多个独立的，仅执行一种数据处理类型的处理线程。然后，依据获取的请求数据，选择对应类型的处理线程，并由所述处理线程处理请求数据并执行相应的操作指令。
在通信过程中，每增加一项产品类型（即数据处理类型）就增加一个线程处理，设置一个端口。每个线程只处理本产品类型的数据，大大提高了数据的处理能力。
较佳的，在S300之后还包括：设置独立的下发及接收线程，并由下发线程将操作指令发送到对应硬件设备中，接收线程接收硬件设备返回的应答数据。
本发明还设置了一个下发线程，一个接收线程。下发线程的工作是：从消息队列取出一条指令，加入到“下发线程队列”、添加标志位、下发、处理下一条……;接收线程的工作是：收到一条数据、对比下“下发线程队列”、找到相应数据、处理、清出队列、处理下一条。上述线程之间不会相互影响，大大提高了处理速度和能力。
如图2所示，是使用本发明所述方法进行收到设备的刷卡数据的具体实施例。包括：
S1、从服务端口（Socket）有数据回来上传；
S2、接收程序把数据加到“消息队列”；
S3、数据处理线程，对数据进行分析，参考数据中的“设备ID”找到这个学校对应的“出入记录表”；
S4、写表，清除数据队列；
S5、下发指令回复对应的硬件。
本发明还提供一种海量数据通信并发处理系统。如图3所示，所述系统包括：分类模块100，用于对数据表内数据进行分类，形成多个独立的子数据表，排序模块200，将请求数据进行排序，存储到缓存中，并从缓存中依次序获取请求数据，处理模块300，用于处理线程依据所述获取的请求数据，进行相应的操作。
具体的，所述分类模块包括：标准设置单元，用于预先设置一分类标准；分类单元，用于依据所述分类标准，将数据表内的数据进行分类；子数据表形成单元，用于形成多个独立的子数据表。
更具体的，所述排序模块包括：设置单元，用于设置独立的数据接收线程以及数据获取线程；数据接收线程，用于接收请求数据，依次序存储到缓存中；数据获取线程，用于从缓存中依次序获取请求数据。
较佳的是，所述处理模块包括：类型设置单元，用于依据请求数据的数据处理类型，对应设置多个独立的，仅执行一种数据处理类型的处理线程；选择单元，用于依据获取的请求数据，选择对应类型的处理线程；处理线程，用于处理请求数据并执行相应的操作指令。
较佳的，所述系统还包括独立的下发及接收线程，所述下发线程用于将操作指令发送到对应硬件设备中，所述接收线程用于接收硬件设备返回的应答数据。
综上所述，本发明提供的一种海量数据通信并发处理方法及系统，通过把大数据量的表分解成多个独立的子数据表，把大的完整的活动分成几个小的独立的活动，操作中不会造成相互影响，能够提高处理海量数据的速度和能力，避免信息阻塞，拥堵或者数据丢失的发生。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及本发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (4)
1.一种海量数据通信并发处理方法，其特征在于，所述方法包括：A、对数据表内数据进行分类，形成多个独立的子数据表；B、将请求数据进行排序，存储到缓存中，并从缓存中依次序获取请求数据；C、处理线程依据所述获取的请求数据，进行相应的操作;
所述数据表为映射数据表，通过映射关系访问;
所述步骤B具体包括：B1、设置独立的数据接收线程以及数据获取线程，B2、数据接收线程接收请求数据，依次序存储到缓存中，B3、数据获取线程从缓存中依次序获取请求数据；
所述步骤C具体包括：C1、依据请求数据的数据处理类型，对应设置多个独立的，仅执行一种数据处理类型的处理线程；C2、依据获取的请求数据，选择对应类型的处理线程；C3、所述处理线程处理请求数据并执行相应的操作指令；
所述步骤C之后还包括：D、设置独立的下发及接收线程，下发线程将操作指令发送到对应硬件设备中，接收线程接收硬件设备返回的应答数据；
数据接收线程只负责收到数据写加到队列，处理线程只负责从队列中取数据并对数据进行分析处理；
在通信过程中，每增加一项数据处理类型就增加一个处理线程，设置一个端口。
2.根据权利要求1所述的海量数据通信并发处理方法，其特征在于，所述步骤A具体包括：A1、预先设置一分类标准；A2、依据所述分类标准，将数据表内的数据进行分类，A3、形成多个独立的子数据表。
3.一种海量数据通信并发处理系统，其特征在于，所述系统包括：分类模块，用于对数据表内数据进行分类，形成多个独立的子数据表，排序模块，将请求数据进行排序，存储到缓存中，并从缓存中依次序获取请求数据，处理模块，用于处理线程依据所述获取的请求数据，进行相应的操作；
所述分类模块包括：
标准设置单元，用于预先设置一分类标准；
分类单元，用于依据所述分类标准，将数据表内的数据进行分类；
子数据表形成单元，用于形成多个独立的子数据表；
所述排序模块包括：
设置单元，用于设置独立的数据接收线程以及数据获取线程；
数据接收线程，用于接收请求数据，依次序存储到缓存中；
数据获取线程，用于从缓存中依次序获取请求数据；
所述处理模块包括：
类型设置单元，用于依据请求数据的数据处理类型，对应设置多个独立的，仅执行一种数据处理类型的处理线程；
选择单元，用于依据获取的请求数据，选择对应类型的处理线程；
处理线程，用于处理请求数据并执行相应的操作指令；
数据接收线程只负责收到数据写加到队列，处理线程只负责从队列中取数据并对数据进行分析处理；
在通信过程中，每增加一项数据处理类型就增加一个处理线程，设置一个端口。
4.根据权利要求3所述的海量数据通信并发处理系统，其特征在于，所述系统还包括独立的下发及接收线程，所述下发线程用于将操作指令发送到对应硬件设备中，所述接收线程用于接收硬件设备返回的应答数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510032179.3A CN104615684B (zh) | 2015-01-22 | 2015-01-22 | 一种海量数据通信并发处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510032179.3A CN104615684B (zh) | 2015-01-22 | 2015-01-22 | 一种海量数据通信并发处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104615684A CN104615684A (zh) | 2015-05-13 |
| CN104615684B true CN104615684B (zh) | 2018-06-12 |
Family
ID=53150126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510032179.3A Expired - Fee Related CN104615684B (zh) | 2015-01-22 | 2015-01-22 | 一种海量数据通信并发处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104615684B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893286A (zh) * | 2015-12-14 | 2016-08-24 | 乐视网信息技术（北京）股份有限公司 | 数据处理的方法和装置 |
| CN107306276A (zh) * | 2016-04-19 | 2017-10-31 | 平安科技（深圳）有限公司 | 海量消息的处理方法和装置 |
| CN108259243A (zh) * | 2018-01-12 | 2018-07-06 | 深圳市卓讯信息技术有限公司 | 基于微服务技术架构的数据处理方法、终端及计算机存储介质 |
| CN108156088B (zh) * | 2018-02-02 | 2021-04-23 | 北京盛科维科技发展有限公司 | 信发屏流量控制方法及系统、计算机存储介质 |
| CN113034715A (zh) * | 2021-03-02 | 2021-06-25 | 创优数字科技(广东)有限公司 | 一种考勤数据处理方法、装置、服务器及存储介质 |
| CN113411392B (zh) * | 2021-06-16 | 2022-05-10 | 中移（杭州）信息技术有限公司 | 资源下发方法、装置、设备及计算机程序产品 |
| CN113449036A (zh) * | 2021-06-29 | 2021-09-28 | 未鲲(上海)科技服务有限公司 | 数据智能存储方法、装置、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1407438A (zh) * | 2001-09-07 | 2003-04-02 | 深圳市中兴通讯股份有限公司上海第二研究所 | 海量数据处理方法和系统 |
| CN101566986A (zh) * | 2008-04-21 | 2009-10-28 | 阿里巴巴集团控股有限公司 | 联机事务处理中的数据处理方法和装置 |
| CN102624889A (zh) * | 2012-03-06 | 2012-08-01 | 河海大学 | 一种基于接收与处理分离的海量数据并发性处理方法 |
| CN102821164A (zh) * | 2012-08-31 | 2012-12-12 | 河海大学 | 一种高效并行分布式数据处理系统 |
-
2015
- 2015-01-22 CN CN201510032179.3A patent/CN104615684B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1407438A (zh) * | 2001-09-07 | 2003-04-02 | 深圳市中兴通讯股份有限公司上海第二研究所 | 海量数据处理方法和系统 |
| CN101566986A (zh) * | 2008-04-21 | 2009-10-28 | 阿里巴巴集团控股有限公司 | 联机事务处理中的数据处理方法和装置 |
| CN102624889A (zh) * | 2012-03-06 | 2012-08-01 | 河海大学 | 一种基于接收与处理分离的海量数据并发性处理方法 |
| CN102821164A (zh) * | 2012-08-31 | 2012-12-12 | 河海大学 | 一种高效并行分布式数据处理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104615684A (zh) | 2015-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104615684B (zh) | 一种海量数据通信并发处理方法及系统 | |
| CN105468302B (zh) | 一种处理数据的方法、装置及系统 | |
| CN103955436B (zh) | 一种数据处理装置和终端 | |
| CN105915650B (zh) | 负载均衡方法和装置 | |
| US10534714B2 (en) | Allocating cache memory on a per data object basis | |
| CN109685295A (zh) | 货物揽收调度方法及装置、存储介质、电子设备 | |
| CN108337275A (zh) | 用于分发服务器的任务分发方法、装置以及设备 | |
| CN105518625A (zh) | 具有高带宽存储器接口的计算硬件 | |
| CN110569298A (zh) | 一种数据对接、可视化方法和系统 | |
| CN108399186A (zh) | 一种数据采集方法及装置 | |
| CN102521712A (zh) | 一种流程实例数据处理方法和装置 | |
| CN103139157A (zh) | 一种基于socket的网络通信方法、装置及系统 | |
| CN108572789A (zh) | 磁盘存储方法和装置、消息推送方法和装置及电子设备 | |
| CN107145574A (zh) | 数据库数据处理方法、装置及存储介质和电子设备 | |
| CN108763044A (zh) | 一种日志处理方法及装置 | |
| CN108153494B (zh) | 一种io请求处理方法及装置 | |
| CN102957594A (zh) | 基于消息队列的消息处理方法、相关设备及系统 | |
| CN105389482B (zh) | 一种基于云平台的大数据分析方法 | |
| US11216500B1 (en) | Provisioning mailbox views | |
| CN105786941B (zh) | 一种信息挖掘方法和装置 | |
| CN106537323B (zh) | 存储设备访问调解 | |
| CN109547575A (zh) | 一种数据调度方法、装置和设备 | |
| TW200409032A (en) | Shared queue for multiple input-streams | |
| CN114245982A (zh) | 消息流的处理 | |
| EP2690560A2 (en) | Method of benchmarking the behaviour of a replacement information system with the old system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180612 |