CN104142865A - 一种基于线程同步的数据收集处理方法 - Google Patents

一种基于线程同步的数据收集处理方法 Download PDF

Info

Publication number
CN104142865A
CN104142865A CN201410342867.5A CN201410342867A CN104142865A CN 104142865 A CN104142865 A CN 104142865A CN 201410342867 A CN201410342867 A CN 201410342867A CN 104142865 A CN104142865 A CN 104142865A
Authority
CN
China
Prior art keywords
data
thread
pool
thread pool
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410342867.5A
Other languages
English (en)
Inventor
陈晓东
李宝树
袁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Electric Power Information Technology Co Ltd
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Electric Power Information Technology Co Ltd
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Jiangsu Electric Power Information Technology Co Ltd, Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201410342867.5A priority Critical patent/CN104142865A/zh
Publication of CN104142865A publication Critical patent/CN104142865A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于线程同步的数据收集处理方法，在数据接收器和数据处理器内分别创建数据接收线程池和数据处理线程池，并保证数据接收线程池和数据处理线程池中线程数量一致，同时设置单例调度线程对数据结果进行检查；当数据接收线程池中一个线程唤醒时，数据处理线程池中也对应唤醒一个线程，形成协作；单例调度线程根据对数据质量校验扫描的实际情况统一调度数据接收线程和数据处理线程。本发明适应于高并发产生的大批量数据且对数据接收处理有较高要求的处理方法，保证了数据处理的稳定性、高效性。

Description

一种基于线程同步的数据收集处理方法
技术领域
本发明涉及一种数据收集处理方法，具体地说是一种基于线程同步的数据收集处理方法。
背景技术
在现代信息化系统中，根据实际业务需要往往需要将大量的数据集中存储，数据的收集方式主要包括主动抽取式和被动推拉式，快速稳定处理传输的数据是一个很重要条件。
目前信息化系统的使用成为企业有效、规范的进行业务操作，为了实现数据的共享融合，往往将多个系统的数据通过数据库层面和应用层面归并数据，在应用层面实现数据集中化的过程中快速稳定是实现数据集中化的有效支撑。这种大数据量接收处理方式的缺点是：大数据量接收处理过程中数据接收慢且处理能力差。
发明内容
为了解决大数据量接收处理过程中数据接收慢且处理能力差的问题，本发明的目的是提供一种基于线程同步的数据收集处理方法，该方法通过线程同步技术保证大数据量接收处理过程快速稳定。
本发明的目的通过以下技术方案实现：
一种基于线程同步的数据收集处理方法，其特征在于该方法步骤如下：
1）在数据接收器和数据处理器内分别创建数据接收线程池和数据处理线程池，并保证数据接收线程池和数据处理线程池中线程数量一致，同时设置单例调度线程对数据结果进行检查；
2）当数据接收线程池中一个线程唤醒时，数据处理线程池中也对应唤醒一个线程，形成协作，接收线程将数据接收到后交给数据处理线程对数据进行加工处理；
3）对步骤2）操作循环执行，数据接收线程池和数据处理线程池中线程保证同一时刻只有一个线程处于唤醒状态，从源头上保证数据正确；
4）在数据采集入库后，由单例调度线程对数据进行校验扫描，如果数据数据异常则进行提醒；
5）单例调度线程根据对数据质量校验扫描的实际情况统一调度数据接收线程和数据处理线程。
本发明中，单例调度线程通过自循环控制建数据接收线程池和数据处理线程池的统一调度，单例调度线程的循环周期为数据接收器中所有线程运行完成的时间合计。调度线程去校验扫描已经接受存储的数据，发现有不符合规则的信息则提出告警。数据校验正确后，再由调度线程负责发起再次的数据全过程处理，保证数据接收处理的及时稳定。
本发明通过线程同步技术保证大数据量接收处理过程快速稳定，适应于高并发产生的大批量数据且对数据接收处理有较高要求的处理方法，保证了数据处理的稳定性、高效性。
附图说明
图 1是本发明的流程图。
具体实施方式
一种基于线程同步的数据收集处理方法，步骤如下：
1）在数据接收器和数据处理器内分别创建数据接收线程池和数据处理线程池，并保证数据接收线程池和数据处理线程池中线程数量一致，同时设置单例调度线程对数据结果进行检查；单例调度线程通过自循环控制数据接收器和数据处理器中线程池的统一调度，并通过预先的计算保证，单例调度线程的循环周期为数据接收器中所有线程运行完成的时间合计。
2）当数据接收线程池中一个线程唤醒时，数据处理线程池中也对应唤醒一个线程，形成协作，接收线程将数据接收到后交给数据处理线程对数据进行加工处理。单例调度线程启动后，数据接收器线程池创建一个线程，负责接收传入的数据。数据处理器同步创建一个线程，数据采集完成后将数据传送给处理线程执行，数据采集器中线程没有接收到数据时，直接退出。
 
3）对步骤2）操作循环执行，数据接收线程池和数据处理线程池中线程保证同一时刻只有一个线程处于唤醒状态，从源头上保证数据正确；
4）在数据采集入库后，由单例调度线程对数据进行校验扫描，发现有不符合规则的信息则提出告警。
5）单例调度线程根据对数据质量校验扫描的实际情况统一调度数据接收线程和数据处理线程。数据校验正确后，再由调度线程负责发起再次的数据全过程处理，有效保证数据接收处理的及时稳定。

Claims (4)

1.一种基于线程同步的数据收集处理方法，其特征在于该方法步骤如下：
1）在数据接收器和数据处理器内分别创建数据接收线程池和数据处理线程池，并保证数据接收线程池和数据处理线程池中线程数量一致，同时设置单例调度线程对数据结果进行检查；
2）当数据接收线程池中一个线程唤醒时，数据处理线程池中也对应唤醒一个线程，形成协作，接收线程将数据接收到后交给数据处理线程对数据进行加工处理；
3）对步骤2）操作循环执行，数据接收线程池和数据处理线程池中线程保证同一时刻只有一个线程处于唤醒状态，从源头上保证数据正确；
4）在数据采集入库后，由单例调度线程对数据进行校验扫描，如果数据数据异常则进行提醒；
5）单例调度线程根据对数据质量校验扫描的实际情况统一调度数据接收线程和数据处理线程。
2.根据权利要求1所述的基于线程同步的数据收集处理方法，其特征在于：单例调度线程通过自循环控制建数据接收线程池和数据处理线程池的统一调度，单例调度线程的循环周期为数据接收器中所有线程运行完成的时间合计。
3.根据权利要求1所述的基于线程同步的数据收集处理方法，其特征在于：步骤4）中，调度线程去校验扫描已经接受存储的数据，发现有不符合规则的信息则提出告警。
4.根据权利要求1所述的基于线程同步的数据收集处理方法，其特征在于：步骤5）中，数据校验正确后，再由调度线程负责发起再次的数据全过程处理，保证数据接收处理的及时稳定。
CN201410342867.5A 2014-07-18 2014-07-18 一种基于线程同步的数据收集处理方法 Pending CN104142865A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410342867.5A CN104142865A (zh) 2014-07-18 2014-07-18 一种基于线程同步的数据收集处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410342867.5A CN104142865A (zh) 2014-07-18 2014-07-18 一种基于线程同步的数据收集处理方法

Publications (1)

Publication Number Publication Date
CN104142865A true CN104142865A (zh) 2014-11-12

Family

ID=51852046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410342867.5A Pending CN104142865A (zh) 2014-07-18 2014-07-18 一种基于线程同步的数据收集处理方法

Country Status (1)

Country Link
CN (1) CN104142865A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502773A (zh) * 2016-10-09 2017-03-15 武汉斗鱼网络科技有限公司 具有同步回调信息功能的数据异步处理方法及模块
CN106528299A (zh) * 2016-09-23 2017-03-22 北京华泰德丰技术有限公司 数据处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6430638B1 (en) * 1997-06-30 2002-08-06 Sun Microsystems, Inc. Thread synchronization via selective object locking
CN101668192A (zh) * 2008-09-04 2010-03-10 新奥特（北京）视频技术有限公司 一种基于c/s模式实时传输大数据量图像的方法
CN102624889A (zh) * 2012-03-06 2012-08-01 河海大学 一种基于接收与处理分离的海量数据并发性处理方法
CN102833336A (zh) * 2012-08-31 2012-12-19 河海大学 分散分布式信息采集与并发处理系统中数据分包处理方法
CN102866922A (zh) * 2012-08-31 2013-01-09 河海大学 一种海量数据多线程并行处理中的负载均衡方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6430638B1 (en) * 1997-06-30 2002-08-06 Sun Microsystems, Inc. Thread synchronization via selective object locking
CN101668192A (zh) * 2008-09-04 2010-03-10 新奥特（北京）视频技术有限公司 一种基于c/s模式实时传输大数据量图像的方法
CN102624889A (zh) * 2012-03-06 2012-08-01 河海大学 一种基于接收与处理分离的海量数据并发性处理方法
CN102833336A (zh) * 2012-08-31 2012-12-19 河海大学 分散分布式信息采集与并发处理系统中数据分包处理方法
CN102866922A (zh) * 2012-08-31 2013-01-09 河海大学 一种海量数据多线程并行处理中的负载均衡方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528299A (zh) * 2016-09-23 2017-03-22 北京华泰德丰技术有限公司 数据处理方法及装置
CN106528299B (zh) * 2016-09-23 2019-12-03 北京华泰德丰技术有限公司 数据处理方法及装置
CN106502773A (zh) * 2016-10-09 2017-03-15 武汉斗鱼网络科技有限公司 具有同步回调信息功能的数据异步处理方法及模块

Similar Documents

Publication Publication Date Title
CN109819048B (zh) 数据同步方法、装置、终端及存储介质
EP2669803A3 (en) Unifying programming models in connectivity framework
CN106649239A (zh) 一种基于可视化的云监控系统中报表生成方法及装置
WO2013126415A3 (en) Method and system for scheduling requests in a portable computing device
CN204614046U (zh) 新型楼宇办公考勤系统
GB2513690A (en) Starting a process
CN103092682A (zh) 异步网络应用程序处理方法
WO2016026407A3 (en) System and method for metadata enhanced inventory management of a communications system
CN102226890A (zh) 一种主机批量作业数据监控方法及装置
CN109190025B (zh) 信息监控方法、装置、系统和计算机可读存储介质
CN105353987A (zh) 一种文件处理方法及装置
CN103870326A (zh) 一种将中断处理程序底半部搬移到应用层的方法及应用
CN110572464A (zh) 底层资源状态同步方法、装置、云平台系统及存储介质
CN104517168A (zh) 一种工程项目造价进度管理系统
CN103186830A (zh) 一种根据邮件智能分析生成工单的方法及装置
CN103544060B (zh) 一种基于webservice的服务调度系统及方法
CN104142865A (zh) 一种基于线程同步的数据收集处理方法
CN105467907A (zh) 一种自动巡检的系统及方法
CN104102751A (zh) 智慧气象灾害预警的数据采集系统
CN103050024A (zh) 空中交通服务安全性快速实时检测系统及方法
CN108073705B (zh) 一种分布式海量数据聚合采集方法
CN101894161B (zh) 一种用于实时监控的循环事件存取方法和装置
CN107153679B (zh) 一种针对半结构化大数据的提取统计方法及系统
CN202084026U (zh) 一种主机批量作业数据监控系统
IN2013CH05996A (zh)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141112

WD01 Invention patent application deemed withdrawn after publication