CN112100510A - 基于车联网平台的海量数据查询方法和装置 - Google Patents

Abstract

本发明提供了一种基于车联网平台的海量数据查询方法和装置，涉及车联网应用的技术领域，车联网平台包括服务端和业务端，方法应用于服务端，方法包括：接收应用端发送的目标车辆的第一维度信息，其中，第一维度信息包括以下一种或多种：机构ID、里程和行驶时长；根据第一维度信息在业务端的搜索服务器elasticsearch中查询，确定出第一维度信息对应的索引值；基于索引值在业务端的分布式数据库hbase查询，确定目标车辆对应的全量数据，能够实现海量车辆数据的存储，并基于业务场景快速查询相关数据。

Description

基于车联网平台的海量数据查询方法和装置

技术领域

本发明涉及车联网应用技术领域，尤其是涉及一种基于车联网平台的海量数据查询方法和装置。

背景技术

当面对一个接入了百万数量级车载终端的车联网平台，通常需要处理和存储十亿、甚至百亿级的数据、且因为车联网平台对时效、延迟要求极高、所以需要支持快速的数据查询场景。

但目前大多数车联网平台采用关系型数据库或非关系型数据库存储较大数量的数据信息，但由于存储容量、查询效率以及索引长度等的限制，无法对更大数据量层级的海量数据信息进行存储以及无法快速从中查询业务相关数据。

发明内容

本发明的目的在于提供一种基于车联网平台的海量数据查询方法和装置，能够实现海量车辆数据的存储，并基于业务场景快速查询相关数据。

第一方面，本发明实施例提供了一种基于车联网平台的海量数据查询方法，所述车联网平台包括服务端和业务端，所述方法应用于所述服务端，所述方法包括：

接收应用端发送的目标车辆的第一维度信息，其中，所述第一维度信息包括以下一种或多种：机构ID、里程和行驶时长；

根据所述第一维度信息在所述业务端的搜索服务器elasticsearch中查询，确定出所述第一维度信息对应的索引值；

基于所述索引值在所述业务端的分布式数据库hbase查询，确定所述目标车辆对应的全量数据。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，接收应用端发送的目标车辆的第一维度信息的步骤之前，所述方法还包括：

根据多个车载终端采集的全量数据预先建立第一表格，并将所述第一表格存储在所述分布式数据库hbase中，其中，所述全量数据依照预先设置的第二维度信息于所述第一表格中进行分布，所述第二维度信息包括机构ID、里程和行驶时长；

基于所述第二维度信息从所述第一表格中，获取每个所述第二维度信息对应的索引值；

基于每个所述第二维度信息对应的索引值建立第二表格，并存储在所述搜索服务器elasticsearch中。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，基于所述第二维度信息从所述第一表格中，获取每个所述第二维度信息对应的索引值的步骤，包括：

基于所述第二维度信息从所述第一表格中，实时获取每个所述第二维度信息对应的索引值。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，基于所述第二维度信息从所述第一表格中，获取每个所述第二维度信息对应的索引值的步骤，包括：

根据预设条件和所述第二维度信息，从所述第一表格中获取每个所述第二维度信息对应的索引值，其中，所述预设条件包括在监听到所述第一表格中的全量数据发生变化的条件下。结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，接收应用端发送的目标车辆的第一维度信息的步骤之前，还包括：

接收所述应用端发送的与所述服务端进行连接的第一请求信息，并第一反馈信息发送至所述应用端。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，根据所述第一维度信息在所述业务端的搜索服务器elasticsearch中查询，确定出所述第一维度信息对应的索引值的步骤之前，还包括：

向所述业务端发送进行连接的第二请求信息，并接收所述业务端发送的第二反馈信息。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述方法还包括：

将所述目标车辆对应的全量数据返回到所述应用端。

第二方面，本发明实施例还提供一种基于车联网平台的海量数据查询装置，所述车联网平台包括服务端和业务端，所述装置应用于所述服务端，所述装置包括：

接收模块，接收应用端发送的目标车辆的第一维度信息，其中，所述第一维度信息包括以下一种或多种：机构ID、里程和行驶时长；

第一查询模块，根据所述第一维度信息在所述业务端的搜索服务器elasticsearch中查询，确定出所述第一维度信息对应的索引值；

第二查询模块，基于所述索引值在所述业务端的分布式数据库hbase查询，确定所述目标车辆对应的全量数据。

第三方面，实施例提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。

第四方面，实施例提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现前述实施方式任一项所述的方法的步骤。

本发明实施例带来了一种基于车联网平台的海量数据查询方法和装置，应用端根据其应用需要发送目标车辆相对应的第一维度信息，根据该第一维度信息，先从搜索服务器elasticsearch中查询，查找出第一维度信息对应的索引值，再根据该索引值从存储有全量数据的分布式数据库hbase中快速查找到，能够实现海量车辆数据的存储，并基于业务场景毫秒级查询相关数据，即根据该第一维度信息通过本发明实施例的查询后，能够快速查找到第一维度信息符合特定条件的目标车辆以及该车辆对应的全量数据。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于车联网平台的海量数据查询方法流程图；

图2为本发明实施例提供的一种基于车联网平台的海量数据查询应用示意图；

图3为本发明实施例提供的一种维度信息与索引的关联关系示意图；

图4为本发明实施例提供的一种基于车联网平台的海量数据查询装置的功能模块示意图；

图5为本发明实施例提供的电子设备的硬件架构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前大多数车联网平台采用如下方案：

1）使用mysql等关系型数据库进行分库分表存储海量数据、建立组合索引实现多维度查询，这样面临存储容量的限制、查询效率的限制(读磁盘)、维护困难等诸多因素的制约。

2）使用hbase等非关系型数据库进行海量数据存储，这样面临无法支撑多维度查询的需求，虽然可通过将查询的维度信息融入hbase数据库的主键索引rowkey，但是存在的缺点就是受限于rowkey的长度问题、信息有限、不能融入太多的维度信息。其中，HadoopDatabase，又称hbase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。

以上方案都存在明显的缺陷，无法满足实际环境中面对百亿行、毫秒级返回的业务需求。

基于此，本发明实施例提供的一种基于车联网平台的海量数据查询方法和装置，能够实现海量车辆数据的存储，并基于业务场景快速查询相关数据。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于车联网平台的海量数据查询方法进行详细介绍，其中，所述车联网平台包括服务端和业务端，所述方法应用于所述服务端。

图1为本发明实施例提供的一种基于车联网平台的海量数据查询方法流程图。

如图1所示，该方法包括以下步骤：

步骤S102，接收应用端发送的目标车辆的第一维度信息，其中，所述第一维度信息包括以下一种或多种：机构ID、里程和行驶时长；

步骤S104，根据所述第一维度信息在所述业务端的搜索服务器elasticsearch中查询，确定出所述第一维度信息对应的索引值；

步骤S106，基于所述索引值在所述业务端的分布式数据库hbase查询，确定所述目标车辆对应的全量数据。

在实际应用的优选实施例中，应用端根据其应用需要发送目标车辆相对应的第一维度信息，根据该第一维度信息，先从搜索服务器elasticsearch中查询，查找出第一维度信息对应的索引值rowkey，再根据该索引值从存储有全量数据的分布式数据库hbase中快速查找到，能够实现海量车辆数据的存储，并基于业务场景毫秒级查询相关数据，即根据该第一维度信息通过本发明实施例的查询后，能够快速查找到第一维度信息符合特定条件的目标车辆以及该车辆对应的全量数据。

其中，如图2所示，在车联网平台中，由于通过多个车载终端采集的车辆数据众多，该全量数据为上百亿行数量级的海量数据。图2中的设备数量并不限定于此，图2仅为一种示范性实施例。车联网平台还包括设备管理端，该设备管理端包括若干车载终端、接收机集群、流计算和协议解析程序部分。作为一种可选的实施例，车联网平台可为多个应用端提供服务，这里，以单一应用端为物流应用进行说明。该物流公司包括数量众多的车辆，每辆车辆中设置至少一台车载终端，用于采集车辆的全量数据，并经过接收机集群、消息传输队列，通过流计算和协议解析程序的处理保存到业务端的数据库中。

其中，车载终端为一种物联设备、俗称小盒子，安装在车辆的内部、通过3G、4G、wifi等方式与车联网平台进行通信。

在一些实施例中，在步骤S102之前，还包括：

步骤1.1），接收所述应用端发送的与所述服务端进行连接的第一请求信息，并第一反馈信息发送至所述应用端。

其中，应用端请求服务端接口如图2中的标号1，服务端对该请求进行反馈；若同意该请求，则应用端与服务端通过服务端接口连接；若不同意该请求，则应用端接收到服务端的拒绝反馈信息。

若服务端与应用端建立连接，在一些实施例中，步骤S104步骤之前，还包括：

步骤2.1），向所述业务端发送进行连接的第二请求信息，并接收所述业务端发送的第二反馈信息。

这里，按照应用端与服务端连接建立的方式，建立服务端与业务端的连接，在此不再赘述。

在实际应用的实施例中，物流公司应用在应用端输入的第一维度信息为：机构id为02且里程小于500公里的目标车辆，即服务端从业务端查询满足上述条件的目标车辆对应的全量数据，先从基于机构id为02且里程小于500公里的第一维度信息，从搜索服务器elasticsearch中查询，查询到其对应的索引值，返回服务端，如图2中的标号2，使得服务端再根据该索引值从分布式数据库hbase查询，查询到该目标车辆对应的全量数据，再返回服务端，如图2中的标号3所示。

在一些实施例中，所述方法还包括：

步骤3.1），将所述目标车辆对应的全量数据返回到所述应用端。

这里，车联网平台也是通过接口的方式向服务端提供服务，服务端将查询到的目标车辆的全量数据、返回给应用端页面进行轨迹呈现或对该全量数据进行其他应用，如图2中的标号4所示。

在一些实施例中，步骤S102之前，所述方法还包括：

步骤4.1），根据多个车载终端采集的全量数据预先建立第一表格，并将所述第一表格存储在所述分布式数据库hbase中，其中，所述全量数据依照预先设置的第二维度信息于所述第一表格中进行分布，所述第二维度信息包括机构ID、里程和行驶时长；

如图3左侧表格所示，车载终端采集的各个车辆的全量数据存储其中，其中按照每个第二维度信息进行分布排列。其中机构ID为汽车的所属公司，由于车联网平台服务的应用端的数量众多，底层车载终端采集的汽车车辆可能隶属于多个服务端。

步骤4.2），基于所述第二维度信息从所述第一表格中，获取每个所述第二维度信息对应的索引值；

这里，索引指代车辆ID，提取每个第二维度信息对应的车辆ID，如机构ID-车辆ID、里程-车辆ID、行驶时长-车辆ID。

步骤4.3），基于每个所述第二维度信息对应的索引值建立第二表格，并存储在所述搜索服务器elasticsearch中。

如图3右侧表格所示，对于每个第二维度信息以及索引值，单独建立第二表格，图3在仅提供了机构ID以及里程对于的第二表格作为示例，其余的第二维度信息对应的第二表格与此类似。

在一些实施例中，由于车联网平台底层监控的车辆数目可能存在增减、以及每辆汽车随时都可能继续行驶，因此车载终端采集到的全量数据会发生变化，即数据库中存储的第一表格也会发生变化，为了保证应用端查询的准确性，数据库中存储的第二表格应进行更新，步骤4.1），还包括：

步骤4.1.1），基于所述第二维度信息从所述第一表格中，实时获取每个所述第二维度信息对应的索引值。

这里，为了保证应用端查询的准确性，可实时更新第二表格。

或者，

步骤4.1.2），根据预设条件和所述第二维度信息，从所述第一表格中获取每个所述第二维度信息对应的索引值，其中，所述预设条件包括在监听到所述第一表格中的全量数据发生变化的条件下。

这里，为了减少性能消耗，可预先设置更新规则，全量数据是同步实时写入分布式数据库hbase，维度信息数据实时写入搜索服务器elasticsearch的。

在一些实施例中，在写入搜索服务器elasticsearch过程中，比如一辆车ID为10000001，原来通过车载终端采集到的里程为487公里，现在该车辆10000001的里程仍为487公里，则此时维度信息中对应里程并未改变，也无需更新第二表格，保持不变如 [487，(10000001 10000002 10000003)]。如果该车辆10000001原来通过车载终端采集到的里程为487公里，现在车辆10000001的车载终端采集的里程为488公里，则当将维度信息里程数据写入第二表格时，这时就要在488公里增加上车辆ID10000001，但同时要删除原来487公里的车辆ID10000001，如[487，(10000002 10000003)]。

示例性地，删除步骤如下：根据车辆ID到分布式数据库hbase中找到上一次记录的里程数据；根据里程数据到第二表格找到车辆的ID并删除。其中，本发明实施例利用了hbase数据带版本号的特性，也就是新数据不会覆盖老数据，一般是按照时间倒序规则排列，因此能够找到之前的数据。

在实际应用的实施例中，如图3所示，对于应用端查询机构id为02且里程小于500公里的目标车辆的需求，服务端先从搜索服务器elasticsearch中查询，于机构ID-车辆ID第二表格中查询到机构ID为02的车辆ID包括10000002以及10000003，于里程-车辆ID第二表格中查询到里程小于500公里的车辆ID包括10000001、10000002以及10000003，即满足应用端需求的索引值车辆ID为10000002以及10000003；再基于该索引值车辆ID10000002以及10000003从分布式数据库hbase查询，可知，车辆ID为10000002的目标车辆，机构ID为02、里程为487、行驶时长为18小时，以及，车辆ID为10000003的目标车辆，机构ID为02、里程为487、行驶时长为17小时；再将上述目标车辆的全量数据返回到应用端进行展示或处理，此时该机构ID为02的物流公司能够知晓满足上述查询条件的目标车辆包括哪些，每辆车都对应哪些数据。

可以理解的是，每辆车辆的全量数据包括很多，如油耗、电量、使用年限等等，本发明实施例仅为了方便说明列举几种车辆数据，并不局限于此。

如图4所示，本发明实施例还提供一种基于车联网平台的海量数据查询装置，所述车联网平台包括服务端和业务端，所述装置应用于所述服务端，所述装置包括：

接收模块，接收应用端发送的目标车辆的第一维度信息，其中，所述第一维度信息包括以下一种或多种：机构ID、里程和行驶时长；

第一查询模块，根据所述第一维度信息在所述业务端的搜索服务器elasticsearch中查询，确定出所述第一维度信息对应的索引值；

第二查询模块，基于所述索引值在所述业务端的分布式数据库hbase查询，确定所述目标车辆对应的全量数据。

本发明实施例提供的用于实现一种电子设备，本实施例中，所述电子设备可以是，但不限于，个人电脑（Personal Computer，PC）、笔记本电脑、监控设备、服务器等具备分析及处理能力的计算机设备。

作为一种示范性实施例，可参见图5，电子设备120，包括通信接口121、处理器122、存储器123以及总线124，处理器122、通信接口121和存储器123通过总线124连接；上述存储器123用于存储支持处理器122执行上述图像锐化方法的计算机程序，上述处理器122被配置为用于执行该存储器123中存储的程序。

本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM（Radom Access Memory，随机存取存储器）、易失存储器、非易失性存储器、闪存、存储驱动器（如硬盘驱动器）、任何类型的存储盘（如光盘、dvd等），或者类似的存储介质，或者它们的组合。

非易失性介质可以是非易失性存储器、闪存、存储驱动器（如硬盘驱动器）、任何类型的存储盘（如光盘、dvd等），或者类似的非易失性存储介质，或者它们的组合。

可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

本发明实施例所提供计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序代码被执行时可实现上述任一实施例所述的……方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于车联网平台的海量数据查询方法，其特征在于，所述车联网平台包括服务端和业务端，所述方法应用于所述服务端，所述方法包括：

接收应用端发送的目标车辆的第一维度信息，其中，所述第一维度信息包括以下一种或多种：机构ID、里程和行驶时长；

根据所述第一维度信息在所述业务端的搜索服务器elasticsearch中查询，确定出所述第一维度信息对应的索引值；

基于所述索引值在所述业务端的分布式数据库hbase查询，确定所述目标车辆对应的全量数据。

2.根据权利要求1所述的方法，其特征在于，接收应用端发送的目标车辆的第一维度信息的步骤之前，所述方法还包括：

根据多个车载终端采集的全量数据预先建立第一表格，并将所述第一表格存储在所述分布式数据库hbase中，其中，所述全量数据依照预先设置的第二维度信息于所述第一表格中进行分布，所述第二维度信息包括机构ID、里程和行驶时长；

基于所述第二维度信息从所述第一表格中，获取每个所述第二维度信息对应的索引值；

基于每个所述第二维度信息对应的索引值建立第二表格，并存储在所述搜索服务器elasticsearch中。

3.根据权利要求2所述的方法，其特征在于，基于所述第二维度信息从所述第一表格中，获取每个所述第二维度信息对应的索引值的步骤，包括：

基于所述第二维度信息从所述第一表格中，实时获取每个所述第二维度信息对应的索引值。

4.根据权利要求2所述的方法，其特征在于，基于所述第二维度信息从所述第一表格中，获取每个所述第二维度信息对应的索引值的步骤，包括：

根据预设条件和所述第二维度信息，从所述第一表格中获取每个所述第二维度信息对应的索引值，其中，所述预设条件包括在监听到所述第一表格中的全量数据发生变化的条件下。

5.根据权利要求1所述的方法，其特征在于，接收应用端发送的目标车辆的第一维度信息的步骤之前，还包括：

接收所述应用端发送的与所述服务端进行连接的第一请求信息，并第一反馈信息发送至所述应用端。

6.根据权利要求1所述的方法，其特征在于，根据所述第一维度信息在所述业务端的搜索服务器elasticsearch中查询，确定出所述第一维度信息对应的索引值的步骤之前，还包括：

向所述业务端发送进行连接的第二请求信息，并接收所述业务端发送的第二反馈信息。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述目标车辆对应的全量数据返回到所述应用端。

8.一种基于车联网平台的海量数据查询装置，其特征在于，所述车联网平台包括服务端和业务端，所述装置应用于所述服务端，所述装置包括：

接收模块，接收应用端发送的目标车辆的第一维度信息，其中，所述第一维度信息包括以下一种或多种：机构ID、里程和行驶时长；

第一查询模块，根据所述第一维度信息在所述业务端的搜索服务器elasticsearch中查询，确定出所述第一维度信息对应的索引值；

第二查询模块，基于所述索引值在所述业务端的分布式数据库hbase查询，确定所述目标车辆对应的全量数据。

9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并且能够在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-7中任意一项所述的方法。

Images