CN108536840A - 一种基于记录仪管理平台的报警数据实时分析系统 - Google Patents

一种基于记录仪管理平台的报警数据实时分析系统 Download PDF

Info

Publication number
CN108536840A
CN108536840A CN201810331784.4A CN201810331784A CN108536840A CN 108536840 A CN108536840 A CN 108536840A CN 201810331784 A CN201810331784 A CN 201810331784A CN 108536840 A CN108536840 A CN 108536840A
Authority
CN
China
Prior art keywords
alarm
data
warning message
parsing module
memory database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810331784.4A
Other languages
English (en)
Inventor
杨春艳
李德贤
刘明月
姜海峰
陈玉峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Hi Tech Holding Group Co Ltd
Original Assignee
Aerospace Hi Tech Holding Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Hi Tech Holding Group Co Ltd filed Critical Aerospace Hi Tech Holding Group Co Ltd
Priority to CN201810331784.4A priority Critical patent/CN108536840A/zh
Publication of CN108536840A publication Critical patent/CN108536840A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于记录仪管理平台的实时分析报警数据系统，属于行车记录仪记录仪数据处理领域，本发明是为了解决现有的记录仪报警信息处理方法查询速度慢，难以对较大数据量进行实时响应的缺点而提出的，包括：多线程网络库、报警解析模块以及内存数据库；其中多线程数据库中存储有坐标数据；多线程数据库用于通过多线程方式将坐标数据推送给报警解析模块；报警解析模块用于根据交通部信息中心制定的TJ/T808协议解析出报警信息，并且通过缓冲区对报警信息进行缓存；报警解析模块还用于将缓冲区中的数据批量存储至内存数据库的报警临时表中。本发明适用于记录仪报警数据管理。

Description

一种基于记录仪管理平台的报警数据实时分析系统
技术领域
本发明涉及一种基于记录仪管理平台的报警数据实时分析系统，属于行车记录仪记录仪数据处理领域。
背景技术
报警数据分析是指对终端上传报警信息进行实时的分析、分类、统计、存储等操作，随着平台入网的车辆越来越多，数据量越来越大，所以需要一种快速有效的报警分析方法。
记录仪管理平台需要对车辆报警信息进行实时显示、查询、处理操作，当报警信息的数据量大时，原方法的查询会慢并且存在瓶颈，难以对较大数据量进行实时响应。
发明内容
本发明的目的是为了解决现有的记录仪报警信息处理方法查询速度慢，难以对较大数据量进行实时响应的缺点，而提出一种基于记录仪管理平台的报警数据实时分析系统，包括：
多线程网络库、报警解析模块以及内存数据库；
其中多线程数据库中存储有坐标数据；多线程数据库用于通过多线程方式将坐标数据推送给报警解析模块；报警解析模块用于根据交通部信息中心制定的TJ/T808协议解析出报警信息，并且通过缓冲区对报警信息进行缓存；报警解析模块还用于将缓冲区中的数据批量存储至内存数据库的报警临时表中。
本发明的有益效果为：
1)、本发明的一个实施例有效的解决了记录仪管理平台报警信息查询处理速度慢的情况；查询速度相比于传统系统至少提高了10％。
2)、本发明的一个实施例采用ZeroMQ对坐标数据进行推送，接收端可以多线程接收，增加了系统的处理能力，并且线程数量可以在配置文件中修改，方便了系统的部署；
3)、本发明的一个实施例在报警信息的存储时，采用了缓存机制、定时器、和timesten批量插入数据方式，极大的减轻了操作timesten的压力；
4)、本发明的一个实施例支持多服务器多进程部署，可以有效解决实时坐标数量持续增大的瓶颈。
附图说明
图1为本发明一个实施例的系统结构图。
具体实施方式
具体实施方式一：本实施方式的基于记录仪管理平台的报警数据实时分析方法，如图1所示，包括：
多线程网络库、报警解析模块以及内存数据库；
其中多线程数据库中存储有坐标数据；多线程数据库用于通过多线程方式将坐标数据推送给报警解析模块；报警解析模块用于根据交通部信息中心制定的TJ/T808协议解析出报警信息，并且通过缓冲区对报警信息进行缓存；报警解析模块还用于将缓冲区中的数据批量存储至内存数据库的报警临时表中。
具体实施方式二：本实施方式与具体实施方式一不同的是：报警解析模块具体包括：
缓冲区，用于缓冲坐标数据；
解析单元，用于根据交通部信息中心制定的TJ/T808协议解析出报警信息；
缓存单元，用于将解析单元解析出的报警信息存入缓冲区，还用于将缓冲区中的数据批量存储至内存数据库中。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：解析单元解析出的报警信息包括车辆、经度、纬度、速度、高度、方向、报警时间、报警类型，驾驶员。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步报警解析模块还包括：
定时任务单元，用于从所述内存数据库中读取报警临时表的所有信息；
统计更新单元，用于针对定时任务单元读取出的信息，按照车辆、报警类型、驾驶员、报警时间分别对报警次数进行统计，再将统计结果更新到内存数据库的报警信息表中；其中报警信息表为存储于内存数据库的不同于报警临时表的另一个表。
例如对于信息“车辆，报警类型，驾驶员，日期”这四项，那么这四项相同的表项整合为一类，再增设“报警次数”表项，每有一条四项相同的则报警次数加1，具体更新到报警信息表时，不仅更新这四项，还将其余的全部信息如经纬度信息等都进行更新。这样设置可以加快报警信息的查询速度。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：统计更新单元中，将统计结果更新到内存数据库的报警信息表中时，根据车辆、报警类型、驾驶员、报警时间判断是否存在相同的信息，若存在，则更新这条信息，若不存在，则将这条插入进报警信息表中，并将临时表中统计完的数据删除。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述多线程网络库通过ZeroMQ平台实现其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：内存数据库为timesten数据库。
具体实施方式八：本实施方式中，本系统所需的数据来源于记录仪管理平台的对坐标数据的信息推送，通过ZeroMQ的消息推送的方式将车辆坐标数据接收到本系统，坐标数据中包含报警标志位，根据部标TJ/T808协议对报警进行解析，可以解析出的报警信息包括车辆、经度、纬度、速度、高度、方向、报警时间、报警类型，驾驶员等，打包成新的数据包，开辟缓存区对解析的报警信息进行缓存，利用定时器定时的读取缓存区的报警数据，并批量的存入timesten数据库的报警临时表中。
定时任务负责将报警临时表的数据全部读取，并按照车辆，报警类型，驾驶员，日期对报警次数进行统计，将统计结果更新到报警表中，更新过程中判断报警表是否有该条报警记录(报警记录的判断根据车辆，报警类型，驾驶员和日期)，如果存在该报警记录则update操作该条记录，如不存在则insert新记录，并将临时表中统计完的数据删除缓存区采用环形缓冲区(ring buffer)的设计。报警解析服务采用多线程接收坐标数据和多线程处理报警数据，线程的数量可以根据服务器的配置和实际的数据量进行调整，并且只需在配置文件中进行修改，方面快捷。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种基于记录仪管理平台的报警数据实时分析系统，其特征在于，包括：
多线程网络库、报警解析模块以及内存数据库；
其中多线程数据库中存储有坐标数据；多线程数据库用于通过多线程方式将坐标数据推送给报警解析模块；报警解析模块用于根据交通部信息中心制定的TJ/T808协议解析出报警信息，并且通过缓冲区对报警信息进行缓存；报警解析模块还用于将缓冲区中的数据批量存储至内存数据库的报警临时表中。
2.根据权利要求1所述的基于记录仪管理平台的报警数据实时分析系统，其特征在于，所述报警解析模块具体包括：
缓冲区，用于缓冲坐标数据；
解析单元，用于根据交通部信息中心制定的TJ/T808协议解析出报警信息；
缓存单元，用于将解析单元解析出的报警信息存入缓冲区，还用于将缓冲区中的数据批量存储至内存数据库中。
3.根据权利要求2所述的基于记录仪管理平台的报警数据实时分析系统，其特征在于，解析单元解析出的报警信息包括车辆、经度、纬度、速度、高度、方向、报警时间、报警类型，驾驶员。
4.根据权利要求3所述的基于记录仪管理平台的报警数据实时分析系统，其特征在于，所述报警解析模块还包括：
定时任务单元，用于从所述内存数据库中读取报警临时表的所有信息；
统计更新单元，用于针对定时任务单元读取出的信息，按照车辆、报警类型、驾驶员、报警时间分别对报警次数进行统计，再将统计结果更新到内存数据库的报警信息表中；其中报警信息表为存储于内存数据库的不同于报警临时表的另一个表。
5.根据权利要求4所述的基于记录仪管理平台的报警数据实时分析系统，其特征在于，统计更新单元中，将统计结果更新到内存数据库的报警信息表中时，根据车辆、报警类型、驾驶员、报警时间判断是否存在相同的信息，若存在，则更新这条信息，若不存在，则将这条插入进报警信息表中，并将临时表中统计完的数据删除。
6.根据权利要求1所述的基于记录仪管理平台的报警数据实时分析系统，其特征在于，所述多线程网络库通过ZeroMQ平台实现。
7.根据权利要求1所述的基于记录仪管理平台的报警数据实时分析系统，其特征在于，所述内存数据库为timesten数据库。
CN201810331784.4A 2018-04-13 2018-04-13 一种基于记录仪管理平台的报警数据实时分析系统 Pending CN108536840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810331784.4A CN108536840A (zh) 2018-04-13 2018-04-13 一种基于记录仪管理平台的报警数据实时分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810331784.4A CN108536840A (zh) 2018-04-13 2018-04-13 一种基于记录仪管理平台的报警数据实时分析系统

Publications (1)

Publication Number Publication Date
CN108536840A true CN108536840A (zh) 2018-09-14

Family

ID=63480369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810331784.4A Pending CN108536840A (zh) 2018-04-13 2018-04-13 一种基于记录仪管理平台的报警数据实时分析系统

Country Status (1)

Country Link
CN (1) CN108536840A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104575102A (zh) * 2014-12-16 2015-04-29 北京中交兴路车联网科技有限公司 一种车辆告警系统及方法
CN105897603A (zh) * 2014-11-24 2016-08-24 泰瑞数创科技(北京)有限公司 一种海量多协议车联网终端接入的技术
CN107564272A (zh) * 2017-09-25 2018-01-09 航天科技控股集团股份有限公司 一种基于记录仪管理平台的终端上报报警的自动处警装置及处警方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105897603A (zh) * 2014-11-24 2016-08-24 泰瑞数创科技(北京)有限公司 一种海量多协议车联网终端接入的技术
CN104575102A (zh) * 2014-12-16 2015-04-29 北京中交兴路车联网科技有限公司 一种车辆告警系统及方法
CN107564272A (zh) * 2017-09-25 2018-01-09 航天科技控股集团股份有限公司 一种基于记录仪管理平台的终端上报报警的自动处警装置及处警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贡岩军: "基于互联网的车辆实时监控系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN111787066B (zh) 一种基于大数据与ai的物联网数据平台
EP2011013B1 (en) Merging multi-line log entries
US20030149727A1 (en) Real time relevancy determination system and a method for calculating relevancy of real time information
CN106919685A (zh) 一种海量数据文件处理方法
CN101160797A (zh) 分布式数据管理系统及其动态订阅数据的方法
CN112699154B (zh) 应对大流量数据的多级缓存方法
CN108520572A (zh) 一种基于记录仪管理平台的实时分析报警数据方法及系统
CN114679420B (zh) 智能车联网、数据处理方法、电子设备及存储介质
CN108536840A (zh) 一种基于记录仪管理平台的报警数据实时分析系统
CN110769069B (zh) 一种告警信息的推送方法与装置
CN113391900A (zh) 一种离散生产环境下异常事件处理方法及系统
CN112116790A (zh) 一种基于流式框架的cors预警监控系统
US11334623B2 (en) Key value store using change values for data properties
CN101783797A (zh) 一种告警推送的方法和服务器
CN114189455B (zh) 基于ebpf技术的容器网络流量监控统计方法及系统
CN109992621A (zh) 食品监管信息资源增量etl系统及方法
CN109756389A (zh) 一种万兆网络隐蔽通信检测系统
CN110070344A (zh) 任务量化的城市管理系统
US9465846B2 (en) Storing events from a datastream
CN103778218A (zh) 基于云计算的标准信息一致性预警系统及方法
CN107608285B (zh) 一种综合监控系统
CN112732729A (zh) 一种基于三维Gis的景区资源管理系统及方法
CN101778001B (zh) Snmp代理与被管设备间多版本互相兼容的方法及系统
CN106533980B (zh) 一种网络数据包处理方法及装置
Ilarri et al. A query processor for prediction-based monitoring of data streams

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180914