CN104142941A - 一种海量定位数据存储方法 - Google Patents

一种海量定位数据存储方法 Download PDF

Info

Publication number
CN104142941A
CN104142941A CN201310165736.XA CN201310165736A CN104142941A CN 104142941 A CN104142941 A CN 104142941A CN 201310165736 A CN201310165736 A CN 201310165736A CN 104142941 A CN104142941 A CN 104142941A
Authority
CN
China
Prior art keywords
data
locator
module
processing module
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310165736.XA
Other languages
English (en)
Inventor
陈学钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Changfeng Science Technology Industry Group Corp
Original Assignee
China Changfeng Science Technology Industry Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Changfeng Science Technology Industry Group Corp filed Critical China Changfeng Science Technology Industry Group Corp
Priority to CN201310165736.XA priority Critical patent/CN104142941A/zh
Publication of CN104142941A publication Critical patent/CN104142941A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种海量定位数据存储方法，包括：(1)信息接入模块接收不同的定位数据源发送过来的异构定位数据，先将数据放在接收数据队列中；(2)数据处理模块从接收数据队列中取出数据，根据不同的数据类型分别解析，再封装成sql脚本语言放进数据存储队列中；(3)由数据存储模块从存储队列中将脚本语言取出再存入数据库中。各模块均以多进程方式同步运行。本发明采用多线程的方法，无需等待一条数据接收、解析、存储完了再来接收另一条数据，提高了接收海量数据的效率。

Description

一种海量定位数据存储方法
技术领域
本发明涉及一种数据库数据处理与存储方法，尤其是对多种不同格式的异构数据进行统一处理与存储方法。
背景技术
海量异构数据的存储往往面临数据格式不统一，数据量太大造成处理延时的问题。现有方法是对各类数据分别解析，串行处理数据接收、解析及存储过程。数据只能处理完一条再处理另一条，这样，面对海量数据时就会由于数据处理速度小于发送过来的速度导致接入缓存增大，服务无法长时间稳定运行。
对于城市交管、公安等部门，需实时监控运营车辆及警员、警车的定位信息，定位信息是不断变化的，数据格式不一致，且数据量庞大，采用传统的数据存储方式显然已经不能满足业务需求。
发明内容
本发明的目的在于提出一种海量定位数据存储方法，它运行在非特定的PC服务器集群上，可以处理海量异构数据，适合在系统大量实时数据插入的同时，进行更新与查询。
本发明的技术方案如下：
一种海量定位数据存储方法，其特征在于：
(1)信息接入模块接收不同的定位数据源发送过来的异构定位数据，先将数据放在接收数据队列中；
(2)数据处理模块从接收数据队列中取出数据，根据不同的数据类型分别解析，再封装成sql脚本语言放进数据存储队列中；
(3)由数据存储模块从存储队列中将脚本语言取出再存入数据库中。
上述所述信息接入模块、数据处理模块及数据存储模块均以多进程方式同步运行。
所述多进程包括一个主进程和多个子进程，主进程负责子进程管理、子进程调度、TCP监听管理、TCP连接管理，是通用网络接入子系统的控制中心；子进程负责读入数据、送出数据，以及作为客户方向其它程序请求建立连接；父子进程之间有流管道连接，用来传递文件描述符。
上述步骤(1)中，信息接入模块先向各定位数据源发送连接请求，连接成功后请求定位数据，并将发送过来的数据放入接收数据队列中。
所述步骤(2)中，所述数据处理模块包括数据过滤模块和数据分析处理模块，数据过滤模块先过滤无效的数据，然后由数据分析处理模块根据不同的协议对异构数据进行解析及转换，并封装成sql脚本语句。
本发明提出了一种通过服务器中间件实现海量定位数据的存储的方法。通过消息服务来接受、传递、转发消息，克服了XML文件转换方式的低效性，具有高速度的运算能力、运行稳定、强大的数据吞吐能力。
本发明采用多线程的方法，无需等待一条数据接收、解析、存储完了再来接收另一条数据，提高了接收海量数据的效率，消除传统ETL逐条处理的弊端。通过协议解析将异构定位数据进行了类型、格式转换，封装成sql脚本语言。本发明增加了安全认证，系统以数据请求者的身份向数据发送方发送登录及数据请求，通过认证后才能获取定位数据，符合公安领域对定位数据保密的要求。
附图说明
图1是本发明的系统模块结构图
图2是本发明一种实施例的处理流程图
具体实施方式
如图1所示，本发明的海量定位数据存储系统，包括数据接入层，该层有数据接入模块；数据处理层，该层有数据处理模块，所述数据处理模块包括数据过滤模块和数据分析处理模块；数据存储层，该层有数据存储模块。
本发明存储海量定位数据的方法是：
(1)定位前端1到n采集各种定位数据。信息接入模块接收各定位前端发送过来的异构定位数据，先将数据放在接收数据队列中；
(2)数据处理模块从接收数据队列中取出数据，根据不同的数据类型分别解析，再封装成sql脚本语言放进数据存储队列中；
(3)由数据存储模块从存储队列中将脚本语言取出再存入数据库中。
上述所述信息接入模块、数据处理模块及数据存储模块均以多进程方式同步运行。
所述多进程包括一个主进程和多个子进程，主进程负责子进程管理、子进程调度、TCP监听管理、TCP连接管理，是通用网络接入子系统的控制中心；子进程负责读入数据、送出数据，以及作为客户方向其它程序请求建立连接；父子进程之间有流管道连接，用来传递文件描述符，这是主子之间交互信息的唯一方式。
上述步骤(1)中，信息接入模块通过多进程先向各定位数据源即定位前端1到n发送连接请求，连接成功后请求发送定位数据，并将定位前端发送过来的数据放入接收数据队列中。
上述步骤(2)中，所述数据处理模块包括数据过滤模块和数据分析处理模块，数据过滤模块先过滤无效的数据，然后由数据分析处理模块根据不同的协议对异构数据进行解析及转换，并封装成sql脚本语句。
上述步骤(3)中，由数据存储模块通过多进程从存储队列中将脚本语言取出再存入数据库中。
图2是本发明一种实施例的处理流程图。如图2所示，系统通过多个进程，分别由定位服务1对象到定位服务n对象，向多个定位数据源定位信息1到n，发送定位数据请求，并分别将获得的定位数据放到定位信息队列中；数据处理模块对队列中的信息进行处理，先过滤掉无效的数据，然后根据不同的协议对异构数据进行解析及转换，并封装成sql脚本语句；数据存储模块从队列获取数据信息，并通过多个同步进程，分别由定位存储1对象到定位存储n对象负责将打包的包含报警信息的sql语句存入oracle数据库。

Claims (5)

1.一种海量定位数据存储方法，其特征在于：
(1)信息接入模块接收不同的定位数据源发送过来的异构定位数据，先将数据放在接收数据队列中；
(2)数据处理模块从接收数据队列中取出数据，根据不同的数据类型分别解析，再封装成sql脚本语言放进数据存储队列中；
(3)由数据存储模块从存储队列中将脚本语言取出再存入数据库中。
2.根据权利要求1所述的海量定位数据存储方法，其特征在于：所述信息接入模块、数据处理模块及数据存储模块均以多进程方式同步运行。
3.根据权利要求2所述的的海量定位数据存储方法，其特征在于：所述多进程包括一个主进程和多个子进程，主进程负责子进程管理、子进程调度、TCP监听管理、TCP连接管理，是通用网络接入子系统的控制中心；子进程负责读入数据、送出数据，以及作为客户方向其它程序请求建立连接；父子进程之间有流管道连接，用来传递文件描述符。
4.根据权利要求3所述的海量定位数据存储方法，其特征在于：所述步骤(1)中，信息接入模块先向各定位数据源发送连接请求，连接成功后请求定位数据，并将发送过来的数据放入接收数据队列中。
5.根据权利要求2所述的海量定位数据存储方法，其特征在于：所述步骤(2)中，所述数据处理模块包括数据过滤模块和数据分析处理模块，数据过滤模块先过滤无效的数据，然后由数据分析处理模块根据不同的协议对异构数据进行解析及转换，并封装成sql脚本语句。
CN201310165736.XA 2013-05-08 2013-05-08 一种海量定位数据存储方法 Pending CN104142941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310165736.XA CN104142941A (zh) 2013-05-08 2013-05-08 一种海量定位数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310165736.XA CN104142941A (zh) 2013-05-08 2013-05-08 一种海量定位数据存储方法

Publications (1)

Publication Number Publication Date
CN104142941A true CN104142941A (zh) 2014-11-12

Family

ID=51852115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310165736.XA Pending CN104142941A (zh) 2013-05-08 2013-05-08 一种海量定位数据存储方法

Country Status (1)

Country Link
CN (1) CN104142941A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513360A (zh) * 2016-01-28 2016-04-20 浪潮软件股份有限公司 一种车辆数据处理的方法及装置
CN106096067A (zh) * 2016-08-23 2016-11-09 成都卡莱博尔信息技术股份有限公司 具有数据监控功能的海量数据平台
CN107949004A (zh) * 2017-10-25 2018-04-20 北京空间技术研制试验中心 用于载人航天器的数据处理系统及方法
CN110121704A (zh) * 2016-12-30 2019-08-13 华为技术有限公司 一种用于存储过程的执行方法、设备以及系统
CN110673934A (zh) * 2019-08-22 2020-01-10 深圳市全通数码科技有限公司 一种基于大数据的智能管控平台运行方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090063504A1 (en) * 2007-08-29 2009-03-05 Richard Banister Bi-directional replication between web services and relational databases
CN102385582A (zh) * 2010-08-31 2012-03-21 中兴通讯股份有限公司 生产测试数据处理方法、服务器及系统
CN102591725A (zh) * 2011-12-20 2012-07-18 浙江鸿程计算机系统有限公司 一种异构数据库之间多线程数据交换的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090063504A1 (en) * 2007-08-29 2009-03-05 Richard Banister Bi-directional replication between web services and relational databases
CN102385582A (zh) * 2010-08-31 2012-03-21 中兴通讯股份有限公司 生产测试数据处理方法、服务器及系统
CN102591725A (zh) * 2011-12-20 2012-07-18 浙江鸿程计算机系统有限公司 一种异构数据库之间多线程数据交换的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙安健: "通用ETL工具的研究与设计", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513360A (zh) * 2016-01-28 2016-04-20 浪潮软件股份有限公司 一种车辆数据处理的方法及装置
CN106096067A (zh) * 2016-08-23 2016-11-09 成都卡莱博尔信息技术股份有限公司 具有数据监控功能的海量数据平台
CN110121704A (zh) * 2016-12-30 2019-08-13 华为技术有限公司 一种用于存储过程的执行方法、设备以及系统
CN110121704B (zh) * 2016-12-30 2021-09-21 华为技术有限公司 一种用于存储过程的执行方法、设备以及系统
US11182353B2 (en) 2016-12-30 2021-11-23 Huawei Technologies Co., Ltd. Stored-procedure execution method and device, and system
CN107949004A (zh) * 2017-10-25 2018-04-20 北京空间技术研制试验中心 用于载人航天器的数据处理系统及方法
CN110673934A (zh) * 2019-08-22 2020-01-10 深圳市全通数码科技有限公司 一种基于大数据的智能管控平台运行方法
CN110673934B (zh) * 2019-08-22 2023-04-21 深圳市全通数码科技有限公司 一种基于大数据的智能管控平台运行方法

Similar Documents

Publication Publication Date Title
CN104601665B (zh) 一种对物联网感知设备进行云端实时仿真的系统和方法
CN104142941A (zh) 一种海量定位数据存储方法
CN107958035B (zh) 用于发送信息的方法和装置
CN106910146B (zh) 一种基于流式处理技术的异构教育数据交换平台及方法
CN110262807B (zh) 集群创建进度日志采集系统、方法和装置
CN102591964A (zh) 数据读写分离机制的实现方法和装置
CN103064731A (zh) 一种提高消息队列系统性能的装置及其方法
EP2043332A3 (en) Methods and system for data transfer over hybrid fiber cable infrastructure
WO2014173151A1 (en) Method, device and terminal for data processing
CN105187375B (zh) 基于代理服务的Hadoop生态组件调度服务实现方法及系统
CN106713351B (zh) 一种基于串口服务器的安全通讯方法及装置
CN109379764B (zh) 报文发送方法及装置
CN111930598A (zh) 基于区块链和大数据分析的信息处理方法及大数据平台
CN110381058B (zh) 基于全双工通信协议WebSocket的请求传输方法及装置
CN106170014A (zh) 一种云存储系统和方法
CN110944025A (zh) 一种多协议视频数据采集系统及其实现方法
CN108614820B (zh) 实现流式源数据解析的方法和装置
CN102523580A (zh) 一种m2m业务终端数据处理方法、m2m业务卡和m2m终端数据处理卡
CN103634365A (zh) 一种无线接入网中的第三方应用平台及其通讯方法
CN106302432A (zh) 一种基于车联网的通信装置及控制方法
CN105429795A (zh) 一种告警监控系统及方法
JP2017535899A (ja) サービスデータを処理するための方法、装置、および、システム
CN107544991B (zh) 服务器处理访问请求的方法和装置
CN112328417B (zh) 一种嵌入式多程序通讯方法和系统
CN109658723B (zh) 一种交通移动化调度方法及调度平台

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141112

WD01 Invention patent application deemed withdrawn after publication