CN104317906A - Gps监控车台上报数据大规模入库的处理方法 - Google Patents

Gps监控车台上报数据大规模入库的处理方法 Download PDF

Info

Publication number
CN104317906A
CN104317906A CN201410580982.6A CN201410580982A CN104317906A CN 104317906 A CN104317906 A CN 104317906A CN 201410580982 A CN201410580982 A CN 201410580982A CN 104317906 A CN104317906 A CN 104317906A
Authority
CN
China
Prior art keywords
data
warehouse
thread
queue
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410580982.6A
Other languages
English (en)
Inventor
胡平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HEFEI XINGFU INFORMATION TECHNOLOGY Co Ltd
Original Assignee
HEFEI XINGFU INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HEFEI XINGFU INFORMATION TECHNOLOGY Co Ltd filed Critical HEFEI XINGFU INFORMATION TECHNOLOGY Co Ltd
Priority to CN201410580982.6A priority Critical patent/CN104317906A/zh
Publication of CN104317906A publication Critical patent/CN104317906A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的GPS监控车台上报数据大规模入库的处理方法主要用于GPS数据集中监控平台，由于车台数量成千上万，每台设备每个周期都有数据上报，一般每个周期几秒到几十秒不等。这些车台全天候大密度上报数据，给数据库造成了很大的压力。本发明特别适用于同时处理大量客户端同时数据入库问题，为服务器的稳定、及时响应提供了一种高效的处理方法。

Description

GPS监控车台上报数据大规模入库的处理方法
技术领域
本发明属于信息技术领域数据库技术的一个优化方案，提出一种采用缓冲列表设计，高效可靠的解决瞬间大规模车台上报数据入库引起的数据丢失问题。
背景技术
GPS监控平台上有成千上万台监控终端，它们不停的向监控中心发送数据报文，报文经过解析后插入到数据库中，由于报文解析和插入数据库的工作量非常大，经常导致系统瘫痪，主要故障有： 
1、服务器的解析跟不上客户端上报的速度，造成服务器停止响应。
2、由于数据不能及时入库，造成服务端缓存溢出。
如何有效保证报文正确及时入库，避免数据丢失以及服务器超负荷不能及时响应是摆在我们面前的难题。目前的解决方法主要有：
1、将这些数据形成固定格式的文件，存入数据库的IMAGE字段，等不忙时，解析该IMAGE字段后，存入数据库各结构表。
2、利用公文包模式，客户端取数据并缓存在客户端，等到客户端不忙时再和服务器同步。
这些方法能解决一部分问题，但是会带来额外的系统开销，总体上效率不高。
发明内容
本发明的一个目的在于为GPS监控车台上报数据的大规模入库提供一种高效的方法。为了实现该入库优化方法，首先需要初始化缓冲队列，客户端发送过来的数据经过服务器解析后形成固定格式数据记录，存放到缓冲队列。同时对数据入库队列记录进行计数，每达到指定数目（如2000条）时会同时创建一个异步入库线程，该线程负责从队列里逐条取出这些数据形成数据库插入语句，写入数据库内存，指定数目（如2000条）的数据记录全部写入内存区后，集中一次提交，提交完成后线程终止。这样服务器不停接收和解析数据写入缓冲队列，同时又不断有数据被成批取出写入数据库内存区并提交到实体表中。
所述方法包括如下步骤：
1、在服务端建立缓冲队列并初始化；
2、将接收过来并解析后的数据放到缓冲队列中；
3、创建入库线程；
4、入库线程从缓冲队列提取指定数目的数据，写入其独占的临时队列，同时再创建新的入库线程，新的入库线程重复步骤3和步骤4；
5、入库线程提取指定数目的数据，写入临时队列后，组织形成入库语句，写到数据库内存区，直到其独占的临时队列的数据全部取完，集中提交入库后，该入库线程退出。
本发明相对于现有技术的创新点是：
1、上报数据先进入缓冲队列；
2、异步并行多个入库线程，每个入库线程独占一个临时队列；
3、数据先写入数据库内存，集中提交。
附图说明
图1是服务器的初始化流程图；
图2是服务器接收数据入库前准备流程图；
图3是服务器接创建入库线程流程图；
图4是服务器线程入库工作流程图。
具体实施方式
本发明的GPS监控车台上报数据大规模入库的处理方法主要用于GPS数据集中监控平台，由于车台数量成千上万，每台设备每个周期都有数据上报，一般一个周期几秒到几十秒不等。这些车台全天候大密度上报数据，给数据库造成了很大的压力。本发明特别适用于同时处理多客户端的数据入库问题，为服务器的稳定、及时响应提供了一种高效的处理方法。
具体流程如下：
1、在步骤101中，服务器进行初始化工作，获取数据库主机地址和端口以及发送和接收数据的编码，建立客户端连接对象。
2、在步骤102中，初始化缓冲队列，用于存放解析后的上报记录。
3、在步骤103中，初始化数据读取时钟周期，时钟周期的设置依据上报数据的频率，上报频率越快，读取的时钟周期就越短，反之就越长。
4、在步骤201中，服务器接收客户端的数据并解析，提取需要的数据。
5、在步骤202中，服务器将提取的数据按照固定的格式进行组织形成新的待入库记录。
6、在步骤203中，服务器将形成的新的格式的待入库记录推进缓冲队列，为入库线程提供数据。
7、在步骤301中，服务器创建入库线程，用于从缓冲队列读取数据并写入数据库。
8、在步骤302中，入库线程创建临时入库队列。在每个时钟周期从缓冲队列读取数据并推入临时入库队列。临时入库队列的记录数小于2000条时，继续读取。
9、达到2000条时，进入步骤305，创建新的入库线程。
10、在步骤306中，创建临时入库队列，然后原有入库线程开始执行步骤401到405的数据入库工作。新的入库线程则继续执行步骤301到306，然后执行步骤401到405的数据入库工作。
11、在步骤401中，入库线程读取其创建的临时入库队列的数据。
12、在步骤402中，入库线程将读取的数据，组织成标准的入库语句。
13、在步骤403中，入库线程执行入库指令，并将结果写入数据库内存区，暂不提交。
14、在步骤404中，缓冲队列读取结束后，入库线程将数据库内存区的数据一次性提交。
15、在步骤405中，提交结束后，线程退出并释放临时入库队列。

Claims (5)

1.本发明的一个目的在于为GPS监控车台上报数据的大规模入库提供一种高效的方法。
2.为了实现该入库优化方法，首先需要初始化缓冲队列，客户端发送过来的数据经过服务器解析后形成固定格式数据记录，存放到缓冲队列。
3.同时对数据入库队列记录进行计数，每达到指定数目（如2000条）时会同时创建一个异步入库线程，该线程负责从队列里逐条取出这些数据形成数据库插入语句，写入数据库内存，指定数目（如2000条）的数据记录全部写入内存区后，集中一次提交，提交完成后线程终止。
4.这样服务器不停接收和解析数据写入缓冲队列，同时又不断有数据被成批取出写入数据库内存区并提交到实体表中。
5.所述方法包括如下步骤：
1）、在服务端建立缓冲队列并初始化；
2）、将接收过来并解析后的数据放到缓冲队列中；
3）、创建入库线程；
4）、入库线程从缓冲队列提取指定数目的数据，写入其独占的临时队列，同时再创建新的入库线程，新的入库线程重复步骤3和步骤4；
5）、入库线程提取指定数目的数据，写入临时队列后，组织形成入库语句，写到数据库内存区，直到其独占的临时队列的数据全部取完，集中提交入库后，该入库线程退出。
CN201410580982.6A 2014-10-27 2014-10-27 Gps监控车台上报数据大规模入库的处理方法 Pending CN104317906A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410580982.6A CN104317906A (zh) 2014-10-27 2014-10-27 Gps监控车台上报数据大规模入库的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410580982.6A CN104317906A (zh) 2014-10-27 2014-10-27 Gps监控车台上报数据大规模入库的处理方法

Publications (1)

Publication Number Publication Date
CN104317906A true CN104317906A (zh) 2015-01-28

Family

ID=52373138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410580982.6A Pending CN104317906A (zh) 2014-10-27 2014-10-27 Gps监控车台上报数据大规模入库的处理方法

Country Status (1)

Country Link
CN (1) CN104317906A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844589A (zh) * 2017-01-10 2017-06-13 深圳市爱立峰科技有限公司 数据库数据异步存储方法和系统
CN108563774A (zh) * 2018-04-20 2018-09-21 广州林邦信息科技有限公司 Gps数据处理方法及装置
CN110019197A (zh) * 2017-09-28 2019-07-16 武汉斗鱼网络科技有限公司 一种数据写入的方法、装置、服务器及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330601A (zh) * 2008-08-04 2008-12-24 福建师范大学 多路远程视频统一监控装置
CN101650565A (zh) * 2009-06-25 2010-02-17 上海精星仓储设备工程有限公司 一种基于b/s架构的自动化立体仓库管理系统及方法
CN101719833A (zh) * 2009-12-09 2010-06-02 南京联创科技集团股份有限公司 将多线程框架用于在线计费网络服务的方法
CN103078905A (zh) * 2012-12-25 2013-05-01 泉州豪杰信息科技发展有限公司 一种gps终端的通讯管理方法
CN103916463A (zh) * 2014-03-18 2014-07-09 北京京东尚科信息技术有限公司 一种网络访问统计分析方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330601A (zh) * 2008-08-04 2008-12-24 福建师范大学 多路远程视频统一监控装置
CN101650565A (zh) * 2009-06-25 2010-02-17 上海精星仓储设备工程有限公司 一种基于b/s架构的自动化立体仓库管理系统及方法
CN101719833A (zh) * 2009-12-09 2010-06-02 南京联创科技集团股份有限公司 将多线程框架用于在线计费网络服务的方法
CN103078905A (zh) * 2012-12-25 2013-05-01 泉州豪杰信息科技发展有限公司 一种gps终端的通讯管理方法
CN103916463A (zh) * 2014-03-18 2014-07-09 北京京东尚科信息技术有限公司 一种网络访问统计分析方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张基温: "《新概念Java程序设计大学教程》", 31 August 2013 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844589A (zh) * 2017-01-10 2017-06-13 深圳市爱立峰科技有限公司 数据库数据异步存储方法和系统
CN110019197A (zh) * 2017-09-28 2019-07-16 武汉斗鱼网络科技有限公司 一种数据写入的方法、装置、服务器及介质
CN108563774A (zh) * 2018-04-20 2018-09-21 广州林邦信息科技有限公司 Gps数据处理方法及装置

Similar Documents

Publication Publication Date Title
RU2666245C1 (ru) Способ и устройство для сохранения данных с высокой степенью многопоточности
CN103577551B (zh) 一种数据批量提交到数据库的方法和装置
CN104699723A (zh) 数据交换适配器、异构系统之间数据同步系统和方法
CN105824846B (zh) 数据迁移方法及装置
CN111008246B (zh) 数据库日志同步方法、装置、计算机设备及可读存储介质
CN104965727A (zh) 一种重启服务器的方法及装置
CN104683472A (zh) 一种支持大数据量的数据传输方法
CN104572781A (zh) 一种交易日志产生方法和装置
CN104391705A (zh) 一种应用于高可用集群软件的分布式自动化测试框架
CN104090896B (zh) 一种导入数据的方法、装置和系统
CN104317906A (zh) Gps监控车台上报数据大规模入库的处理方法
CN105610899A (zh) 一种文本文件并行上传方法及装置
WO2016202113A1 (zh) 一种队列管理方法、装置及存储介质
CN104866528A (zh) 多平台数据采集方法及系统
CN100385407C (zh) 网络信息系统异地数据镜像方法
TW201600975A (zh) 分散式系統中的任務處理方法和裝置
CN110442439B (zh) 任务进程处理方法、装置和计算机设备
CN104104969B (zh) 一种视频截取方法及装置
CN115904817A (zh) 分布式数据库并行回放方法、装置、电子设备和存储介质
CN109389271B (zh) 应用性能管理方法及系统
US20180309702A1 (en) Method and device for processing data after restart of node
CN104052624A (zh) 一种配置管理方法及装置
CN115344633A (zh) 数据处理方法、装置、设备和存储介质
CN106557530B (zh) 业务系统、数据修复方法及装置
CN109241362B (zh) 区块生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150128