CN106027283A - 一种将高并发车载采集数据解析入库及实时呈现的方法 - Google Patents

一种将高并发车载采集数据解析入库及实时呈现的方法 Download PDF

Info

Publication number
CN106027283A
CN106027283A CN201610279341.6A CN201610279341A CN106027283A CN 106027283 A CN106027283 A CN 106027283A CN 201610279341 A CN201610279341 A CN 201610279341A CN 106027283 A CN106027283 A CN 106027283A
Authority
CN
China
Prior art keywords
data
server
parsing
real
concurrent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610279341.6A
Other languages
English (en)
Inventor
梁煜
范强
黄荣辉
王承浩
林成龙
邱茂锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Xinghai Communication Technology Co Ltd
Original Assignee
Fujian Xinghai Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Xinghai Communication Technology Co Ltd filed Critical Fujian Xinghai Communication Technology Co Ltd
Priority to CN201610279341.6A priority Critical patent/CN106027283A/zh
Publication of CN106027283A publication Critical patent/CN106027283A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种将高并发车载采集数据解析入库及实时呈现的方法，前置机服务器通过智能终端采集汽车数据，并将汽车数据处理后发送至MQ服务器；MQ服务器接收并将处理后的汽车数据分类，存入对应的消息队列；业务处理服务器将MQ服务器中的数据进行处理，并通过调用应用服务器将需要推送的信息发送至客户端；同时将数据通过数据库服务器存入数据库；便于用户使用。

Description

一种将高并发车载采集数据解析入库及实时呈现的方法
技术领域
本发明涉及一种将高并发车载采集数据解析入库及实时呈现的方法。
背景技术
车载监控平台采用了先进的动态目标跟踪、位置定位、导航及地图匹配等技术，主要应用于车辆的定位监控，通过在车上安装智能车载终端设备，设备每隔一段时间自动上报其所在位置信息数据，并由软件平台前置机负责接收、解析，乃至入库和最终呈现到用户展示界面，如图1所示：
前置机作为整个系统的通信处理中心与智能终端之间实现数据接收、数据下发、报文解析、链路维持等，并发送给业务处理服务器进行业务处理；
业务处理服务器是整个系统的数据处理中心，对于所有来自前置机的所有数据进行处理，并将数据传递到数据库；
数据库服务器是整个系统的数据存储中心，负责各种类型数据的存储，并为应用服务器的数据呈现提供基础；
应用服务器为用户提供系统的功能界面，包括数据呈现、报表等；
背景技术存在的缺点：
由于智能终端的数量大，且数据上报的频率高，导致对系统的并发能力有较高的要求，此方案下，前置机服务器与业务处理服务器之间的由于调用频繁，常常导致两者都不堪重负，容易照成宕机或者数据丢失的情况。另外由于应用服务器的所有数据呈现需要通过数据库，就会导致一些实时性要求较高的数据无法及时呈现，如实时位置数据、终端告警数据等，而如果通过调高数据库轮询读取的频率，又会造成数据库服务器压力过大，甚至宕机。所以背景技术的方案在处理大并发数据方面存在数据不完整、系统不稳定、响应速度慢等缺点。
发明内容
本发明要解决的技术问题，在于提供一种将高并发车载采集数据解析入库及实时呈现的方法，降低数据库服务器压力，同时提高响应速度。
本发明是这样实现的：一种将高并发车载采集数据解析入库及实时呈现的方法，包括如下步骤：
步骤1、前置机服务器通过智能终端采集汽车数据，并将汽车数据处理后发送至MQ服务器；
步骤2、MQ服务器接收并将处理后的汽车数据分类，存入对应的消息队列；
步骤3、业务处理服务器将MQ服务器中的数据进行处理，并通过调用应用服务器将需要推送的信息发送至客户端；同时将数据通过数据库服务器存入数据库。
进一步地，所述步骤3中所述数据库服务器中设有分布式数据访问层，所述分布式数据访问层用于SQL解析、数据路由、负载均衡以及结果合并。
进一步地，所述汽车数据包括告警数据以及定位数据。
本发明具有如下优点：本发明一种将高并发车载采集数据解析入库及实时呈现的方法，大大了提升了系统并发数据处理能力，并有利于减轻各服务器的计算压力，引入MQ，负责前置机与业务处理之间的消息传输，有效地解决了两者的窘境。调用者将消息发送到MQ，它容量巨大，调用者发送很顺畅，接收方也可根据自己的处理能力来决定接收速度，处理完1条消息，再接收下1条，遇到处理异常还可重发。另外对于实时呈现要求较高的数据，由业务处理服务器同时进行入库处理、及推送至用户客户端，不但有效的缓解了数据库服务器的压力，还大大的提高了用户体验。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为现有方法流程图。
图2为本发明方法的流程图。
具体实施方式
如图2所示面本发明将高并发车载采集数据解析入库及实时呈现的方法，包括如下步骤：
步骤1、前置机服务器通过智能终端采集汽车数据，并将汽车数据处理后发送至MQ服务器，所述汽车数据包括告警数据以及定位数据；
步骤2、MQ服务器接收并将处理后的汽车数据分类，存入对应的消息队列；
步骤3、业务处理服务器将MQ服务器中的数据进行处理，并通过调用应用服务器将需要推送的信息发送至客户端；同时将数据通过数据库服务器存入数据库，所述数据库服务器中设有分布式数据访问层，所述分布式数据访问层用于SQL解析、数据路由、负载均衡以及结果合并。
前置机服务器，通过终端设备进行采集，采集到的数据经过初步校验、过滤和解析后，存入消息队列中以备业务处理等模块进行异步处理。平台或其他接口如果想对终端设备下发控制、告警等指令，也可通过数据采集模块中的前置机来下发。
MQ服务器，可配置为集群方式，告警信息及定位数据等入不同的队列进行缓存，供不同的数据业务处理模块取出后，根据不同的数据类型进行相应的业务处理。
业务处理服务器，对于缓存在消息队列中的数据进行异步处理，主要包括：告警数据处理：对于告警数据需优先处理，通过调用业务服务的相关接口主动将告警信息推送给客户端，同时入库保存；定位数据处理：校验、审计后入库；其他数据处理。
数据库服务器，主要包括两个模块，分布式数据访问层和数据存储。由于该服务系统采用分布式架构，分布式数据访问层需具备以下几个基本功能：SQL解析、数据路由、负载均衡、结果合并。该服务系统的数据存储层采用分布式设计，通过集群、读写分离、分片、分表等技术手段提升数据层的读写能力，为应用层提供高性能的数据访问接口。
应用服务器，提供用户操作的界面功能，包括车辆的位置监控在电子地图上的呈现，及终端报警信息的提醒、展示、处理等业务功能。
1、前置机：智能终端设备通过无线网络，以TCP/IP协议的方式向监控平台上报数据，前置机用于处理数据的接收、解析；
2、MQ：消息队列，是在消息的传输过程中保存消息的容器；
3、数据库：数据库(Database)是按照数据结构来组织、存储和管理数据的仓库。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (3)

1.一种将高并发车载采集数据解析入库及实时呈现的方法，其特征在于：所述方法包括前置机服务器、MQ服务器、业务处理服务器、数据库服务器以及应用服务器；具体包括如下步骤：
步骤1、前置机服务器通过智能终端采集汽车数据，并将汽车数据处理后发送至MQ服务器；
步骤2、MQ服务器接收并将处理后的汽车数据分类，存入对应的消息队列；
步骤3、业务处理服务器将MQ服务器中的数据进行处理，并通过调用应用服务器将需要推送的信息发送至客户端；同时将数据通过数据库服务器存入数据库。
2.根据权利要求1所述的一种将高并发车载采集数据解析入库及实时呈现的方法，其特征在于：所述步骤3中所述数据库服务器中设有分布式数据访问层，所述分布式数据访问层用于SQL解析、数据路由、负载均衡以及结果合并。
3.根据权利要求1所述的一种将高并发车载采集数据解析入库及实时呈现的方法，其特征在于：所述汽车数据包括告警数据以及定位数据。
CN201610279341.6A 2016-04-29 2016-04-29 一种将高并发车载采集数据解析入库及实时呈现的方法 Pending CN106027283A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610279341.6A CN106027283A (zh) 2016-04-29 2016-04-29 一种将高并发车载采集数据解析入库及实时呈现的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610279341.6A CN106027283A (zh) 2016-04-29 2016-04-29 一种将高并发车载采集数据解析入库及实时呈现的方法

Publications (1)

Publication Number Publication Date
CN106027283A true CN106027283A (zh) 2016-10-12

Family

ID=57082083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610279341.6A Pending CN106027283A (zh) 2016-04-29 2016-04-29 一种将高并发车载采集数据解析入库及实时呈现的方法

Country Status (1)

Country Link
CN (1) CN106027283A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151762A (zh) * 2018-10-19 2019-01-04 海南易乐物联科技有限公司 一种高并发采集数据的异步处理系统及处理方法
CN109696316A (zh) * 2017-10-20 2019-04-30 株洲中车时代电气股份有限公司 一种列车远程监测系统
CN110535924A (zh) * 2019-07-31 2019-12-03 郑州地铁集团有限公司 一种轨道交通服务器通信方法及系统
CN111884831A (zh) * 2020-06-24 2020-11-03 江西江铃集团新能源汽车有限公司 车辆网告警风险控制方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024014A (zh) * 2012-12-03 2013-04-03 北京京东世纪贸易有限公司 通过消息队列的海量数据分发处理的方法和系统
CN103559082A (zh) * 2013-11-04 2014-02-05 北京华胜天成科技股份有限公司 一种基于队列的分布式任务调度方法、装置及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024014A (zh) * 2012-12-03 2013-04-03 北京京东世纪贸易有限公司 通过消息队列的海量数据分发处理的方法和系统
CN103559082A (zh) * 2013-11-04 2014-02-05 北京华胜天成科技股份有限公司 一种基于队列的分布式任务调度方法、装置及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109696316A (zh) * 2017-10-20 2019-04-30 株洲中车时代电气股份有限公司 一种列车远程监测系统
CN109151762A (zh) * 2018-10-19 2019-01-04 海南易乐物联科技有限公司 一种高并发采集数据的异步处理系统及处理方法
CN110535924A (zh) * 2019-07-31 2019-12-03 郑州地铁集团有限公司 一种轨道交通服务器通信方法及系统
CN110535924B (zh) * 2019-07-31 2023-02-07 郑州地铁集团有限公司 一种轨道交通服务器通信方法及系统
CN111884831A (zh) * 2020-06-24 2020-11-03 江西江铃集团新能源汽车有限公司 车辆网告警风险控制方法及系统

Similar Documents

Publication Publication Date Title
CN106027283A (zh) 一种将高并发车载采集数据解析入库及实时呈现的方法
CN104865953B (zh) 一种车辆数据处理方法和装置
CN101853287B (zh) 数据压缩快速检索文件系统及其方法
CN103795793B (zh) 一种基于双服务器集群的道路车辆监控平台系统
CN106210099B (zh) 数据处理系统及方法
CN106933724A (zh) 一种分布式信息追踪系统、信息处理方法及装置
CN105119752A (zh) 一种分布式日志采集方法、装置及系统
CN109618002A (zh) 一种微服务网关优化方法、装置及存储介质
CN106202305A (zh) 一种日志处理方法、装置及数据库系统
CN109151762A (zh) 一种高并发采集数据的异步处理系统及处理方法
CN101155066A (zh) 网络性能分析系统与分析方法
CN106255082B (zh) 一种垃圾短信的识别方法及系统
CN208384633U (zh) 联合联动治安调度指挥系统
CN107800897A (zh) 派工任务分配方法和装置
CN109783518A (zh) 一种信息查询方法、查询装置、存储介质及终端设备
CN104426838A (zh) 一种互联网缓存调度方法及系统
CN103067486A (zh) 基于PaaS平台的大数据处理方法
CN106161519A (zh) 一种信息获取方法和装置
CN106341787A (zh) 一种车辆预定分派系统及方法
CN110062353A (zh) 通信连接方法及相关设备
CN101953188A (zh) 一种业务管理平台下处理多渠道请求订购的方法和装置
CN111258760A (zh) 一种平台管理方法、系统、装置及存储介质
CN105959911B (zh) 识别用户的方法及装置
CN110097392B (zh) 一种基于云服务器的客流量引导方法
CN102831007B (zh) 实时处理系统中的共享资源访问方法和实时处理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161012

RJ01 Rejection of invention patent application after publication