CN113220454A - 一种车联网数据采集、存储、查询系统及车联网数据查询方法 - Google Patents

一种车联网数据采集、存储、查询系统及车联网数据查询方法 Download PDF

Info

Publication number
CN113220454A
CN113220454A CN202110531915.5A CN202110531915A CN113220454A CN 113220454 A CN113220454 A CN 113220454A CN 202110531915 A CN202110531915 A CN 202110531915A CN 113220454 A CN113220454 A CN 113220454A
Authority
CN
China
Prior art keywords
data
vehicle
vehicles
storage
internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110531915.5A
Other languages
English (en)
Inventor
泮波
汪艺杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dot Technology Co ltd
Original Assignee
Hangzhou Dot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dot Technology Co ltd filed Critical Hangzhou Dot Technology Co ltd
Priority to CN202110531915.5A priority Critical patent/CN113220454A/zh
Publication of CN113220454A publication Critical patent/CN113220454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种车联网数据采集、存储、查询系统及车联网数据查询方法，包括车载硬件设备、负载均衡器、若干服务器和用户设备，车载硬件设备采集车联网数据并发送至负载均衡器；负载均衡器将接收的车联网数据分配到不同的服务器；服务器将接收的车联网数据存储至服务器的NoSQL数据库中，并将NoSQL数据库的IP地址配置到负载均衡器；用户设备通过访问服务器的服务层查询车联网数据。本发明采用负载均衡+分布式服务器采集车载硬件设备的数据，且采用分布式NoSql存储技术，可轻松实现T级别的数据存储，数据查询在毫秒级、字段可无缝拓展，可扩展性非常强，查询效率非常高。

Description

一种车联网数据采集、存储、查询系统及车联网数据查询方法
技术领域
本发明涉及车联网系统，更具体的说，本发明涉及一种车联网数据采集、存储、查询系统及车联网数据查询方法。
背景技术
目前，在车联网行业，每辆车上需要安装一台车载硬件设备，该硬件设备每隔数秒钟上传定位等数据，车辆数非常大的情况下，服务器承载的数据量会非常大，而且定位数据需要长时间保存（一年以上）。按1万辆的数据计算，每天的数据量在3G左右，一年的数据量在1T左右。在这个数据体量的情况下，还需要保证用户查询车辆实时定位、轨迹等，要在几十毫秒内返回结果，对技术的要求非常高。
发明内容
本发明的目的在于解决现有上述的问题，提供了一种车联网数据采集、存储、查询系统及方法。
为实现以上目的，本发明的技术方案是一种车联网数据采集、存储、查询系统，包括车载硬件设备、 负载均衡器、若干服务器和用户设备；
所述车载硬件设备采集车联网数据并发送至所述负载均衡器；
所述负载均衡器将接收的车联网数据分配到不同的服务器；
所述服务器包括若干NoSQL数据库和与所述NoSQL数据库连接的服务层，所述服务器将接收的车联网数据存储至NoSQL数据库中，并将所述NoSQL数据库的IP地址配置到所述负载均衡器；
所述用户设备通过访问所述服务层查询车联网数据。
可选的，所述车载硬件设备设有一个硬件设备imei识别码，所述硬件设备imei识别码与车载硬件设备一一对应；所述车载硬件设备采集的车联网数据包括定位数据时间戳、定位经度、定位纬度和车辆速度。
可选的，所述硬件设备imei识别码采用hash加密算法加密后，再存储到服务器内。
可选的，所述车联网数据分成两份索引存储于所述NoSQL数据库中，两份索引分别用于查询单辆车的轨迹和多辆车的最新定位，所述车载硬件设备每次上传车联网数据时，将最新车联网数据存储到所述索引中将旧的车联网数据覆盖。
可选的，所述查询单辆车的轨迹的索引采用硬件设备imei识别码+定位数据时间戳作为全局唯一的关键词，采用车联网数据的定位经度、定位纬度和车辆速度作为数据进行存储。
可选的，所述查询多辆车的最新定位的索引采用硬件设备imei识别码作为全局唯一的关键词，采用车联网数据的定位经度、定位纬度和车辆速度作为数据进行存储。
可选的，所述数据的存储格式为json格式。
一种车联网数据采集、存储、查询系统的车联网数据查询方法，包含以下步骤：
步骤1，在多台服务器上搭建好NoSQL数据库，并启动将车联网数据存储到NoSQL数据库中的服务；
步骤2，创建负载均衡器，将多台服务器的NoSQL数据库IP地址配置到负载均衡器上；
步骤3，将车载硬件设备安装到车辆上，并设置服务器的NoSQL数据库IP地址为负载均衡器的地址；
步骤4，部署服务层，连接NoSQL数据库；
步骤5，用户访问服务层，即可查询车辆定位，查看车辆轨迹
本发明具有以下有益效果：采用负载均衡+分布式服务器，来采集车载硬件设备上传的数据，数据存储采用分布式NoSQL存储技术，解决了前述技术难题。可以轻松实现T级别的数据存储、数据查询在毫秒级、字段可以无缝拓展，分布式存储T级的数据变得很容易，可扩展性非常强，查询效率非常高。
附图说明
图1是本发明的一种流程结构示意图。
图2是本发明方法查询单辆车的轨迹的数据。
图3是本发明方法查询100台车的最新定位的数据。
1、车载硬件设备；2、负载均衡器；3、NoSQL数据库；4、服务层；5、用户设备；6、服务器；time：定位数据的时间戳；lng：定位经度；lat：定位纬度；speed：车辆速度。
具体实施方式
下面结合具体实施例，并结合附图，对本发明的技术方案作进一步的说明：
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的首选实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容更加透彻全面。
需要说明的是，当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件并与之结合为一体，或者可能同时存在居中元件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合
实施例：车联网数据采集、存储、查询系统（见附图1）包括车载硬件设备1、负载均衡器2、若干服务器6和用户设备5，所述车载硬件设备1采集车联网数据并发送至所述负载均衡器2；
所述负载均衡器2将接收的车联网数据分配到不同的服务器6；
所述服务器6包括若干NoSQL数据库3和与所述NoSQL数据库3连接的服务层4，所述服务器6将接收的车联网数据存储至NoSQL数据库3中，并将所述NoSQL数据库3的IP地址配置到所述负载均衡器2；
所述用户设备5通过访问所述服务层4查询车联网数据。
所述车载硬件设备设有一个硬件设备imei识别码，所述硬件设备imei识别码与车载硬件设备一一对应；所述车载硬件设备1采集的车联网数据包括定位数据时间戳time、定位经度lng、定位纬度lat和车辆速度speed，所述硬件设备imei识别码采用hash加密算法加密后，再存储到服务器6内。
所述车联网数据分成两份索引存储于所述NoSQL数据库3中，两份索引分别用于查询单辆车的轨迹和多辆车的最新定位，所述车载硬件设备1每次上传车联网数据时，将最新车联网数据存储到所述索引中将旧的车联网数据覆盖。所述查询单辆车的轨迹的索引采用硬件设备imei识别码+定位数据时间戳作为全局唯一的关键词，采用车联网数据的定位经度、定位纬度和车辆速度作为数据进行存储；所述查询多辆车的最新定位的索引采用硬件设备imei识别码作为全局唯一的关键词，采用车联网数据的定位经度、定位纬度和车辆速度作为数据进行存储，所述数据的存储格式为json格式。
在数据采集方面，负载均衡将车载硬件设备1上传过来的数据平均分配到多台服务器6上，每台服务器6处理的数据量在可承载的范围之内。并且随着车载硬件设备1数量的上升，可以通过增加服务器6的方式来解决负载问题。另外，如果某一台服务器6宕机了，负载均衡器2也可以自动识别出来，把数据自动分配给其他正常的服务器6。在服务器6升级时，可以将某一台服务器6的权重置为零，负载均衡器2就不会给该服务器6分配数据，然后升级该服务器6，以此达到升级服务器6而不丢失数据的目的。
在数据存储方面，将设备的 imei 码作为分片键，对 imei 码做 hash 处理后，将车联网数据平均分配到多台服务器6的 NoSQL数据库 上。本项发明将车联网数据存储成两份索引，第一份用于查询单辆车的轨迹，第二份用于查询多辆车的最新定位。第一份索引：取 imei + time 作为 key，定位数据的 lng、lat、speed 等等作为 value。其中 key 是NoSQL 中全局唯一的，value 以 json 格式存储。用json格式存储数据有一大好处：增加字段非常容易，不需要改变旧的数据，在mysql中增加一个字段需要旧的数据也同时增加，数据量大的情况下需要运行几十分钟甚至几个小时。第二份索引：取 imei 作为 key，value值同第一份索引。每次设备上传车联网数据时，将最新的定位数据存储到该索引时，旧数据将被覆盖掉，所以该索引中的定位数据永远是最新的定位。
在数据查询方面，用户设备5在查询单辆车的轨迹时，给定一个 imei 码，time 取轨迹的时间范围，然后去查询第一份索引即可；用户查询多辆车的定位时，取多个 imei 去查询第二份索引即可，返回的是多辆车的最新定位。图2是查询单辆车的轨迹的数据，图3是查询100台车的最新定位的数据，可看出上述两种数据查询均可达到毫秒级响应。
在搭建系统时，先在多台服务器6上搭建好NoSQL数据库3，并启动将数据存储到NoSQL中的服务；接着创建负载均衡，将多台NoSQL数据库3 IP配置到负载均衡器2，再次将车载硬件设备1安装到车辆上，并设置服务器6 IP地址为负载均衡器2的地址，最后部署服务层4，连接NoSQL数据库3，当用户设备5访问服务层4时，利用imei码即可查询车辆定位，查看车辆轨迹。
本申请采用负载均衡和分布式服务器6，来采集车载硬件设备1上传的数据，数据存储采用分布式NoSQL存储技术，解决了前述技术难题。可以轻松实现T级别的数据存储，数据查询在毫秒级、字段可以无缝拓展，分布式存储T级的数据变得很容易，可扩展性非常强，查询效率非常高。
负载均衡器2将车载硬件设备1收集到的数据进行平衡，分摊到多个服务器6，提供了一种透明切廉价有效的方法扩展服务器6和网络设备的带宽、加强网络数据处理能力、增加吞吐量、提高网络的可用性和灵活性；负载均衡器2优点在于配置简单，使用灵活，成本低廉，可以有效的提高服务器6响应速度，解决网络拥塞问题，达到高质量的网络访问效果，能够远距离为用户提供服务，能够避免各种单点失效，既包括数据中心、服务器6等的单点失效，也包括专线故障引起的单点失效。
本申请采用NoSQL数据库3对车载硬件设备1收集到的数据进行存储，这样去掉了关系数据库的关系型特性，数据之间无关系，就非常容易扩展，进而在架构的层面上带来了可扩展的能力，NoSQL数据库3都具有非常高的读写性能，尤其在大数据量下，读写性能很优秀，数据库的结构简单，容易搭建。
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (8)

1.一种车联网数据采集、存储、查询系统，其特征在于，包括车载硬件设备、 负载均衡器、若干服务器和用户设备；
所述车载硬件设备采集车联网数据并发送至所述负载均衡器；
所述负载均衡器将接收的车联网数据分配到不同的服务器；
所述服务器包括若干NoSQL数据库和与所述NoSQL数据库连接的服务层，所述服务器将接收的车联网数据存储至NoSQL数据库中，并将所述NoSQL数据库的IP地址配置到所述负载均衡器；
所述用户设备通过访问所述服务层查询车联网数据。
2.根据权利要求1所述的车联网数据采集、存储、查询系统，其特征在于，所述车载硬件设备设有一个硬件设备imei识别码，所述硬件设备imei识别码与车载硬件设备一一对应；所述车载硬件设备采集的车联网数据包括定位数据时间戳、定位经度、定位纬度和车辆速度。
3.根据权利要求2所述的车联网数据采集、存储、查询系统，其特征在于，所述硬件设备imei识别码采用hash加密算法加密后，再存储到服务器内。
4.根据权利要求2所述的车联网数据采集、存储、查询系统，其特征在于，所述车联网数据分成两份索引存储于所述NoSQL数据库中，两份索引分别用于查询单辆车的轨迹和多辆车的最新定位，所述车载硬件设备每次上传车联网数据时，将最新车联网数据存储到所述索引中将旧的车联网数据覆盖。
5.根据权利要求4所述的车联网数据采集、存储、查询系统，其特征在于，所述查询单辆车的轨迹的索引采用硬件设备imei识别码+定位数据时间戳作为全局唯一的关键词，采用车联网数据的定位经度、定位纬度和车辆速度作为数据进行存储。
6.根据权利要求4所述的车联网数据采集、存储、查询系统，其特征在于，所述查询多辆车的最新定位的索引采用硬件设备imei识别码作为全局唯一的关键词，采用车联网数据的定位经度、定位纬度和车辆速度作为数据进行存储。
7.根据权利要求5或6所述的车联网数据采集、存储、查询系统，其特征在于，所述数据的存储格式为json格式。
8.一种基于权利要求1所述的车联网数据采集、存储、查询系统的车联网数据查询方法，其特征在于，包含以下步骤：
步骤1，在多台服务器上搭建好NoSQL数据库，并启动将车联网数据存储到NoSQL数据库中的服务；
步骤2，创建负载均衡器，将多台服务器的NoSQL数据库IP地址配置到负载均衡器上；
步骤3，将车载硬件设备安装到车辆上，并设置服务器的NoSQL数据库IP地址为负载均衡器的地址；
步骤4，部署服务层，连接NoSQL数据库；
步骤5，用户访问服务层，即可查询车辆定位，查看车辆轨迹。
CN202110531915.5A 2021-05-17 2021-05-17 一种车联网数据采集、存储、查询系统及车联网数据查询方法 Pending CN113220454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110531915.5A CN113220454A (zh) 2021-05-17 2021-05-17 一种车联网数据采集、存储、查询系统及车联网数据查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110531915.5A CN113220454A (zh) 2021-05-17 2021-05-17 一种车联网数据采集、存储、查询系统及车联网数据查询方法

Publications (1)

Publication Number Publication Date
CN113220454A true CN113220454A (zh) 2021-08-06

Family

ID=77092135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110531915.5A Pending CN113220454A (zh) 2021-05-17 2021-05-17 一种车联网数据采集、存储、查询系统及车联网数据查询方法

Country Status (1)

Country Link
CN (1) CN113220454A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111452A (zh) * 2011-03-04 2011-06-29 江苏天泽信息产业股份有限公司 利用分布式数据存储程序存储车载信息的系统及其存储方法
CN102982130A (zh) * 2012-11-16 2013-03-20 深圳市融创天下科技股份有限公司 一种nosql与rdbms的数据库同步方法和系统
CN103795793A (zh) * 2014-01-23 2014-05-14 北京大学工学院南京研究院 一种基于双服务器集群的道路车辆监控平台系统
CN103942664A (zh) * 2013-01-23 2014-07-23 苏州市伏泰信息科技有限公司 基于车联网技术的餐厨废弃物收运监管系统
CN104050555A (zh) * 2014-07-06 2014-09-17 山东天海科技股份有限公司 北斗车联网物流信息服务平台
CN105447105A (zh) * 2015-11-13 2016-03-30 福建农林大学 基于NoSQL的分布式物联网数据的单字段区间索引查询方式
US20190023529A1 (en) * 2017-07-18 2019-01-24 Chun Ming LAU System and method for managing and monitoring lifting systems and building facilities
US20200098449A1 (en) * 2018-09-20 2020-03-26 Phylumtech S.A. Remote-controlled automated system for drug testing and screening

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111452A (zh) * 2011-03-04 2011-06-29 江苏天泽信息产业股份有限公司 利用分布式数据存储程序存储车载信息的系统及其存储方法
CN102982130A (zh) * 2012-11-16 2013-03-20 深圳市融创天下科技股份有限公司 一种nosql与rdbms的数据库同步方法和系统
CN103942664A (zh) * 2013-01-23 2014-07-23 苏州市伏泰信息科技有限公司 基于车联网技术的餐厨废弃物收运监管系统
CN103795793A (zh) * 2014-01-23 2014-05-14 北京大学工学院南京研究院 一种基于双服务器集群的道路车辆监控平台系统
CN104050555A (zh) * 2014-07-06 2014-09-17 山东天海科技股份有限公司 北斗车联网物流信息服务平台
CN105447105A (zh) * 2015-11-13 2016-03-30 福建农林大学 基于NoSQL的分布式物联网数据的单字段区间索引查询方式
US20190023529A1 (en) * 2017-07-18 2019-01-24 Chun Ming LAU System and method for managing and monitoring lifting systems and building facilities
US20200098449A1 (en) * 2018-09-20 2020-03-26 Phylumtech S.A. Remote-controlled automated system for drug testing and screening

Similar Documents

Publication Publication Date Title
US20240054824A1 (en) Big telematics data constructing system
US9384598B2 (en) Method and system for generating a vehicle identifier
CN108279383B (zh) 电池寿命预测方法、电池数据服务器及电池数据处理系统
US20050131595A1 (en) Enhanced vehicle event information
CN100585588C (zh) 对象关系数据库系统中的时间和空间数据处理的优化
US7392247B2 (en) Method and apparatus for fusing context data
US7945359B2 (en) Telematics based vehicle maintenance client notification
US8792905B1 (en) Location monitoring using clusters of entities
US8150870B1 (en) Scalable partitioning in a multilayered data service framework
CN111538875B (zh) 业务指标采集方法、装置及风控设备
US8732405B2 (en) Method of reducing response time for delivery of vehicle telematics services
CN103968847A (zh) 电子地图离线数据组织方法和装置
US8332473B1 (en) System and method for managing multiple message format communication
CN104598503A (zh) 地理信息数据查询方法、装置及系统
RU2632414C2 (ru) Способ формирования иерархической структуры данных, способ поиска данных с помощью иерархической структуры данных, сервер и постоянный машиночитаемый носитель
US20120173615A1 (en) Data broker method, apparatus and system
JP2020201959A (ja) ブルームフィルタを使用したデバイス・アップデート送信
US9843499B2 (en) Distributed database server network and maintenance process
US20210074083A1 (en) On-board data request approval management
US20180208156A1 (en) Global stolen vehicles tracking
WO2019096713A1 (de) Verfahren und vorrichtung zum datenorientierten informationsaustausch mit einem fahrzeugnetzwerk
CN113220454A (zh) 一种车联网数据采集、存储、查询系统及车联网数据查询方法
CN107451252A (zh) 基于api的快速查询方法及其系统
CN109144951A (zh) 一种基于分布式文件系统的目录更新方法及元数据服务器
US20220021519A1 (en) Device update transmission using a filter structure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination