CN112543134A - 一种基于t-box平台的can数据存储系统 - Google Patents

一种基于t-box平台的can数据存储系统 Download PDF

Info

Publication number
CN112543134A
CN112543134A CN202011423402.4A CN202011423402A CN112543134A CN 112543134 A CN112543134 A CN 112543134A CN 202011423402 A CN202011423402 A CN 202011423402A CN 112543134 A CN112543134 A CN 112543134A
Authority
CN
China
Prior art keywords
data
message
box
multithreading
data storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011423402.4A
Other languages
English (en)
Other versions
CN112543134B (zh
Inventor
于兴虎
姜海峰
刘明月
李德贤
杨春艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Hi Tech Holding Group Co Ltd
Original Assignee
Aerospace Hi Tech Holding Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Hi Tech Holding Group Co Ltd filed Critical Aerospace Hi Tech Holding Group Co Ltd
Priority to CN202011423402.4A priority Critical patent/CN112543134B/zh
Publication of CN112543134A publication Critical patent/CN112543134A/zh
Application granted granted Critical
Publication of CN112543134B publication Critical patent/CN112543134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L12/40006—Architecture of a communication node
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40215—Controller Area Network CAN

Abstract

一种基于T‑BOX平台的CAN数据存储系统，属于数据存储技术领域，具体涉及一种基于T‑BOX平台的CAN数据存储系统。解决了现有T‑BOX平台数据库数据存储量大，数据访问频繁，使系统性能降低的问题。本发明所述ZMQ传输层接收多个T‑BOX终端上传的数据，对数据进行缓存；基于多线程的消息通道利用多线程对数据进行传输；消息加工模块识别接收的数据的类别，并识别数据的T‑BOX终端ID和数据发送的时间，利用数据类别、数据的T‑BOX终端ID和数据发送的时间整合成数据存储ID，消息缓存模块按照数据的类别及数据发送的时间对接收的数据分别缓存，Hbase数据库对接收消息缓存模块的缓存数据，识别获取数据的ID，对数据进行存储。本发明适用于数据存储使用。

Description

一种基于T-BOX平台的CAN数据存储系统
技术领域
本实用属于数据存储技术领域，具体涉及一种基于T-BOX平台的CAN数据存储系统。
背景技术
终端设备向T-BOX平台每秒钟上传一包数据，一台车每天上传将近十万包数据，如果一万台车同时接入平台，那么平台每天要接收10亿包左右的数据。如果将数据包直接向数据库中存储，由于大数据存储系统对于数据库的访问请求过于频繁，会导致数据库性能低下，降低系统整体性能。
发明内容
本发明的目的是为了解决现有T-BOX平台数据库数据存储量大，数据访问频繁，使系统性能降低的问题，提出了一种基于T-BOX平台的CAN数据存储系统。
本发明所述的一种基于T-BOX平台的CAN数据存储系统，包括ZMQ传输层、基于多线程的消息通道、消息加工模块、消息缓存模块和hbase数据库；
ZMQ传输层2用于接收多个T-BOX终端上传的数据，对数据进行缓存；
基于多线程的消息通道利用多线程对数据进行传输；
消息加工模块用于通过基于多线程的消息通道接收T-BOX终端上传的数据；识别接收的数据的类别，并识别数据的T-BOX终端ID和数据发送的时间，利用数据类别、数据的T-BOX终端ID和数据发送的时间整合成数据存储ID，将数据存储ID与数据进行整合后发送出去；
消息缓存模块通过基于多线程的消息通道接收消息加工模块发送的数据，按照数据的类别及数据发送的时间对接收的数据分别缓存；
Hbase数据库通过基于多线程的消息通道接收消息缓存模块的缓存数据，识别获取数据的ID，对数据进行存储。
进一步地，消息加工模块识别接收的数据的类别包括：登录数据、登出数据、终端应答数据、实时数据和补传数据。
进一步地，消息加工模块中对接收的数据的类别进行识别，并识别数据的T-BOX终端 ID、数据发送的时间，利用数据类别、数据的T-BOX终端ID、数据发送的时间整合成数据存储ID，将数据存储ID与数据进行整合后发送出去的具体方法为：
步骤一、将接收的多线程消息分别转换成数据包对象，提取每个数据包对象的消息ID、T-BOX终端ID和消息体，根据消息ID对消息进行分类，将消息体转换成与消息ID类别匹配的数据对象；
步骤二、提取数据包对象中数据的发送时间，将T-BOX终端ID和数据发送时间转换成存储标识码，利用转换后的存储码对步骤一转换的数据对象进行存储标识；
步骤三、将相同类别的数据对象进行打包，并对数据包编码后发送出去。
进一步地，Hbase数据库根据数据包的编码和数据上传时间，按照时间顺序创建不同类别数据的月上传表格。
进一步地，步骤二中的存储标识码为唯一标识码。
进一步地，基于多线程的消息通道与消息加工模块之间、基于多线程的消息通道与消息缓存模块之间和基于多线程的消息通道与hbase数据库之间均设置有数据分发模块；所述数据分发模块用于设置基于多线程的消息通道的线程个数，读取基于多线程的消息通道 3中的数据，将读取的数据发送出去。
本发明所述系统采用多线程、缓存队列加快了数据传输，且基于多线程的数据通道均使用spring integration框架内固有的成熟稳定模块，保证了基于多线程的消息通道与消息加工模块之间、基于多线程的消息通道与消息缓存模块之间和基于多线程的消息通道与hbase 数据库之间均设置有数据分发模块；所述数据分发模块用于设置基于多线程的消息通道的线程个数，读取基于多线程的消息通道中的数据，将读取的数据发送出去。
程序的稳定性。通过xml配置文件进行调用，可以方便的维护后期由于待处理消息数量过多而导致的问题，对存储到hbase的数据进行数据类型转换，减少了存储空间，从而降低了对habse的压力。
附图说明
图1是本发明所述系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
具体实施方式一：下面结合图1说明本实施方式，本实施方式所述的一种基于T-BOX 平台的CAN数据存储系统，
包括ZMQ传输层2、基于多线程的消息通道3、消息加工模块5、消息缓存模块6和hbase数据库7；
ZMQ传输层2用于接收多个T-BOX终端1上传的数据，对数据进行缓存；
基于多线程的消息通道3利用多线程对数据进行传输；
消息加工模块5用于通过基于多线程的消息通道3接收T-BOX终端1上传的数据；识别接收的数据的类别，并识别数据的T-BOX终端ID和数据发送的时间，利用数据类别、数据的T-BOX终端ID和数据发送的时间整合成数据存储ID，将数据存储ID与数据进行整合后发送出去；
消息缓存模块6通过基于多线程的消息通道3接收消息加工模块5发送的数据，按照数据的类别及数据发送的时间对接收的数据分别缓存；
Hbase数据库7通过基于多线程的消息通道3接收消息缓存模块6的缓存数据，识别获取数据的ID，对数据进行存储。
ZMQ传输层(以下ZeroMQ简称ZMQ)是一个简单好用的传输层，像框架一样的一个socket library，他使得Socket编程更加简单、简洁和性能更高。
进一步地，消息加工模块5识别的数据类别包括：登录/登出数据、实时数据和补传数据。
进一步地，消息加工模块5中对接收的数据的类别进行识别，并识别数据的T-BOX终端ID、数据发送的时间，利用数据类别、数据的T-BOX终端ID、数据发送的时间整合成数据存储ID，将数据存储ID与数据进行整合后发送出去的具体方法为：
步骤一、将接收的多线程消息分别转换成数据包对象，提取每个数据包对象的消息ID、 T-BOX终端ID和消息体，根据消息ID对消息进行分类，将消息体转换成与消息ID类别匹配的数据对象；
步骤二、提取数据包对象中数据的发送时间，将T-BOX终端ID和数据发送时间转换成存储标识码，利用转换后的存储码对步骤一转换的数据对象进行存储标识；
步骤三、将相同类别的数据对象进行打包并编码后发送出去。
进一步地，Hbase数据库7根据数据包的编码和数据上传时间，按照时间顺序创建不同类别数据的月上传表格。
本实施方式中，步骤二中转换成存储标识码的时候，对T-BOX终端ID进行了ID反转，目的是为了确保每一条数据在habse’数据库中能够存储到不同的分区中。可以理解为电脑的C、D、E盘，如果不对咱们的文件进行区分的话，可能放在D盘，这样D盘就满了，E 盘还是空的，电脑性能就下降了。
本实施方式中，登录数据、登出数据、终端应答数据、实时数据和补传数据都发送到同一个通道中，在消息缓存模块中：根据数据加工模块中的编码以及数据对象中的T-BOX数据上报时间，创建不同的缓存空间，也就是说登录、登出、终端应答数据、实时数据和补传数据数据都有各自的缓存空间。根据数据加工模块中的编码以及数据对象中的T-BOX 数据上报时间，按月创建hbase数据库存储不同数据的表结构。在释放消息的时候，也是根据这个编码以及发送时间对数据进行释放。
进一步地，步骤二中的存储标识码为唯一标识码。
进一步地，基于多线程的消息通道3与消息加工模块5之间、基于多线程的消息通道 3与消息缓存模块6之间和基于多线程的消息通道3与hbase数据库7之间均设置有数据分发模块4；所述数据分发模块4用于设置基于多线程的消息通道3的线程个数，读取基于多线程的消息通道3中的数据，将读取的数据发送出去。
本发明使用多了个消息通道，简化多线程编程，避免因为使用多线程而导致的死锁、等待等，加快了数据的传输速率，一个线程只做一件事，流水线的方式。减少缓存空间的占用。虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (6)

1.一种基于T-BOX平台的CAN数据存储系统，其特征在于，包括ZMQ传输层(2)、基于多线程的消息通道(3)、消息加工模块(5)、消息缓存模块(6)和hbase数据库(7)；
ZMQ传输层(2)用于接收多个T-BOX终端(1)上传的数据，对数据进行缓存；
基于多线程的消息通道(3)利用多线程对数据进行传输；
消息加工模块(5)用于通过基于多线程的消息通道(3)接收T-BOX终端(1)上传的数据；识别接收的数据的类别，并识别数据的T-BOX终端ID和数据发送的时间，利用数据类别、数据的T-BOX终端ID和数据发送的时间整合成数据存储ID，将数据存储ID与数据进行整合后发送出去；
消息缓存模块(6)通过基于多线程的消息通道(3)接收消息加工模块(5)发送的数据，按照数据的类别及数据发送的时间对接收的数据分别缓存；
Hbase数据库(7)通过基于多线程的消息通道(3)接收消息缓存模块(6)的缓存数据，识别获取数据的ID，对数据进行存储。
2.根据权利要求1所述的一种基于T-BOX平台的CAN数据存储系统，其特征在于，消息加工模块(5)识别接收的数据的类别包括：登录数据、登出数据、终端应答数据、实时数据和补传数据。
3.根据权利要求1所述的一种基于T-BOX平台的CAN数据存储系统，其特征在于，消息加工模块(5)中对接收的数据的类别进行识别，并识别数据的T-BOX终端ID、数据发送的时间，利用数据类别、数据的T-BOX终端ID、数据发送的时间整合成数据存储ID，将数据存储ID与数据进行整合后发送出去的具体方法为：
步骤一、将接收的多线程消息分别转换成数据包对象，提取每个数据包对象的消息ID、T-BOX终端ID和消息体，根据消息ID对消息进行分类，将消息体转换成与消息ID类别匹配的数据对象；
步骤二、提取数据包对象中数据的发送时间，将T-BOX终端ID和数据发送时间转换成存储标识码，利用转换后的存储标识码对步骤一转换的数据对象进行存储标识；
步骤三、将步骤二标识后的相同类别的数据对象进行打包，并对数据包编码后发送出去。
4.根据权利要求1所述的一种基于T-BOX平台的CAN数据存储系统，其特征在于，Hbase数据库(7)根据数据包的编码和数据上传时间，按照时间顺序创建不同类别数据的月上传表格。
5.根据权利要求1所述的一种基于T-BOX平台的CAN数据存储系统，其特征在于，步骤二中的存储标识码为唯一标识码。
6.根据权利要求1所述的一种基于T-BOX平台的CAN数据存储系统，其特征在于，基于多线程的消息通道(3)与消息加工模块(5)之间、基于多线程的消息通道(3)与消息缓存模块(6)之间和基于多线程的消息通道(3)与hbase数据库(7)之间均设置有数据分发模块(4)；所述数据分发模块(4)用于设置基于多线程的消息通道(3)的线程个数，读取基于多线程的消息通道(3)中的数据，将读取的数据发送出去。
CN202011423402.4A 2020-12-08 2020-12-08 一种基于t-box平台的can数据存储系统 Active CN112543134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011423402.4A CN112543134B (zh) 2020-12-08 2020-12-08 一种基于t-box平台的can数据存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011423402.4A CN112543134B (zh) 2020-12-08 2020-12-08 一种基于t-box平台的can数据存储系统

Publications (2)

Publication Number Publication Date
CN112543134A true CN112543134A (zh) 2021-03-23
CN112543134B CN112543134B (zh) 2022-08-09

Family

ID=75019392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011423402.4A Active CN112543134B (zh) 2020-12-08 2020-12-08 一种基于t-box平台的can数据存储系统

Country Status (1)

Country Link
CN (1) CN112543134B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115695551A (zh) * 2021-07-22 2023-02-03 海信集团控股股份有限公司 车辆数据的发送方法及系统、缓存服务器、中间服务器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170006135A1 (en) * 2015-01-23 2017-01-05 C3, Inc. Systems, methods, and devices for an enterprise internet-of-things application development platform
CN107025074A (zh) * 2017-04-25 2017-08-08 航天科技控股集团股份有限公司 一种基于记录仪平台的图片存储方法
CN110597890A (zh) * 2018-05-25 2019-12-20 杭州海康威视数字技术股份有限公司 数据采集系统、方法、节点设备及存储介质
CN111143093A (zh) * 2019-12-31 2020-05-12 中国银行股份有限公司 异步消息分布式处理方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170006135A1 (en) * 2015-01-23 2017-01-05 C3, Inc. Systems, methods, and devices for an enterprise internet-of-things application development platform
CN107025074A (zh) * 2017-04-25 2017-08-08 航天科技控股集团股份有限公司 一种基于记录仪平台的图片存储方法
CN110597890A (zh) * 2018-05-25 2019-12-20 杭州海康威视数字技术股份有限公司 数据采集系统、方法、节点设备及存储介质
CN111143093A (zh) * 2019-12-31 2020-05-12 中国银行股份有限公司 异步消息分布式处理方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115695551A (zh) * 2021-07-22 2023-02-03 海信集团控股股份有限公司 车辆数据的发送方法及系统、缓存服务器、中间服务器

Also Published As

Publication number Publication date
CN112543134B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN111787066B (zh) 一种基于大数据与ai的物联网数据平台
Huang et al. Codes can reduce queueing delay in data centers
CN110225074A (zh) 一种基于设备地址域的通讯报文分发系统及分发方法
CN104850640A (zh) 一种基于HBase的电网设备状态监测数据存储和查询方法及系统
CN109918349A (zh) 日志处理方法、装置、存储介质和电子装置
CN102301664B (zh) 多核处理器的流分发方法及装置
CN112543134B (zh) 一种基于t-box平台的can数据存储系统
CN102662988A (zh) 一种用于rfid中间件的冗余数据过滤方法
CN101262356A (zh) 一种通讯网络的话单处理系统
CN109254957A (zh) 一种基于大数据的档案管理系统
CN107346270B (zh) 基于实时计算的基数估计的方法和系统
CN111739613A (zh) 一种基于分布式计算技术的医疗影像云归档平台
CN106874160A (zh) 日志服务器及其管理方法
CN103345527B (zh) 数据智能统计系统
CN113836094A (zh) 一种分布式视频存储的文件生命周期管理方法及系统
CN109508317A (zh) 一种大容量数据和服务管理系统
CN113639305A (zh) 一种基于时序数据库平台的换热站负荷预测系统
CN108763562A (zh) 一种基于大数据技术提升数据交换效率的构建方法
CN105610823A (zh) 一种基于任务向量的流媒体处理方法及其处理系统架构
CN102195936A (zh) 多媒体文件的存储方法及系统、读取方法及系统
CN107016128A (zh) 一种数据处理方法及装置
CN105095224A (zh) 一种在移动通信网络中进行olap分析的方法、装置和系统
CN110109890A (zh) 非结构化数据处理方法和非结构化数据处理系统
CN110232086A (zh) 一种基于物联网的信息管理系统
CN111401819B (zh) 系统间数据推送方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant