CN115344659A - 海量轨迹大数据的处理方法及系统、存储介质、电子设备 - Google Patents

Abstract

本发明涉及一种海量轨迹大数据的处理方法及系统、存储介质、电子设备，该方法包括步骤：实时接收来自不同数据源的轨迹数据，并进行数据格式转换；基于数据格式转换后的轨迹数据，抽取不同数据源的轨迹数据中的公共属性，构建公共数据模型，并将轨迹数据中的其余属性作为模型的拓展属性一并保存，所述公共属性包括时空信息和身份标识；对公共数据模型中的数据进行编码，并存储到分布式数据库系统中；基于分布式数据库系统中存储的数据，配置告警区域，对进入告警区域的目标进行告警。本发明可以对不同数据源的轨迹数据同时进行轨迹分析和告警，且通过分布式存储实现了秒级检索。

Description

海量轨迹大数据的处理方法及系统、存储介质、电子设备

技术领域

本发明涉及大数据技术领域，特别涉及一种海量轨迹大数据的处理方法及系统、存储介质、电子设备。

背景技术

轨迹大数据分析是当前时代获取人类行为模式探测的重要手段，当前时代，无论汽车、船舶、飞机，乃至步行、骑行等各种出行手段，都离不开导航与位置信息的支持，海量时空信息处理给轨迹分析技术提出更多挑战。针对告警区域或特殊目标，往往有监控告警的需求，而不同数据源的数据往往存在格式异构的问题，因此来自不同数据源的数据难以同时进行实时分析告警。

发明内容

本发明的目的在于提供一种海量轨迹大数据的处理方法及系统，以实现来自不同数据源的数据也可以进行实时分析告警。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

一方面，本发明实施例提供了一种海量轨迹大数据的处理方法，包括以下步骤：

实时接收来自不同数据源的轨迹数据，并进行数据格式转换；

基于数据格式转换后的轨迹数据，抽取不同数据源的轨迹数据中的公共属性，构建公共数据模型，并将轨迹数据中的其余属性作为公共数据模型的拓展属性一并保存，所述公共属性包括时空信息和身份标识；

对公共数据模型中的数据进行编码，并存储到分布式数据库系统中；

基于分布式数据库系统中存储的数据，配置告警区域，对进入告警区域的目标进行告警。

另一方面，本发明实施例同时提供了一种海量轨迹大数据的处理系统，包括：

数据引接模块，用于实时接收来自不同数据源的轨迹数据，并进行数据格式转换；

数据融合模块，用于基于数据格式转换后的轨迹数据，抽取不同数据源的轨迹数据中的公共属性，构建公共数据模型，并将轨迹数据中的其余属性作为公共数据模型的拓展属性一并保存，所述公共属性包括时空信息和身份标识；

数据存储模块，用于对公共数据模型中的数据进行编码，并存储到分布式数据库系统中；

告警分析模块，用于基于分布式数据库系统中存储的数据，配置告警区域，对进入告警区域的目标进行告警。

再一方面，本发明实施例同时提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令在被执行时使处理器执行本发明实施例中所述方法中的步骤。

再一方面，本发明实施例同时提供了一种电子设备，包括：存储器，存储程序指令；处理器，与所述存储器相连接，执行存储器中的程序指令，实现本发明实施例中所述方法中的步骤。

与现有技术相比，本发明可以对不同数据源的轨迹数据同时进行轨迹分析和告警，且通过分布式存储实现了秒级检索。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍， 应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例中提供的海量轨迹大数据的处理方法的流程图。

图2为本发明实施例中提供的海量轨迹大数据的处理系统的组成框图。

图3为本发明实施例中所述电子设备的结构框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本实施例提供的一种海量轨迹大数据的处理方法，包括以下步骤：

S11，实时接收来自不同数据源的轨迹数据，并进行数据格式转换。

不同的数据源采用的数据格式或传输协议可能不同。基于实现方式的不同，可接收的数据源的种类也有所不同。本实施例中，作为一种可实施方式的举例，支持json或二进制格式的以Http、TCP、UDP协议传输的数据。

为简化数据转换并快速处理外源系统提供的数据，本系发明采用了基于配置文件热更新的数据转换方法，即可以在线实时配置添加新的数据源，启动新的数据转换进程。其中配置文件需要根据传输协议不同显示标记“经度、纬度、高度、唯一标志、时间戳”字段名或字段位置，以明确具体目标的实时位置信息的表达形式；另外，可以标记需要的字段为关键字段，以明确后续需要以该字段为查询条件。例如“国别”字段，后期需要查询隶属某国家的目标的轨迹时，则需要在配置文件中标记该字段为关键字段。

根据外源系统不同，各自格式可能千变万化，表达同一含义的字段在不同的系统中的名称也可能不同，如表示船舶地理位置的经纬度，在系统A中被标记为缩写形式为“lon”与“lat”，在系统B中可能被标记为英文全写“longitude”与“latitude”。加之数据字段类型可能不同，处理过程颇为繁琐。

例如，某外源系统A提供日本属船舶轨迹数据，以json格式组织数据并以UDP协议进行传输，另一外源系统B提供菲律宾属船舶轨迹数据，以二进制格式组织并以TCP协议传输，可以接收外源系统A和外源系统B的轨迹数据。

更具体地，系统A提供数据为json格式，其数据必须包含经度、纬度和船舶标志，船舶标志即唯一id，但是经度、纬度是以字符串形式传输的；形式片段如下：

{ "id": "长崎舰1945", "lat": "112.34", "lon": "38.97", "time":1546326404000 ……}

而系统B以二进制格式进行传输，必须约定二进制格式，如字段顺序（第一个位置是id，第二个是经度等）、宽度（第一个字段宽度为32bit，第二个为64bit等）、字段类型（第一个字段为字符串，第二个为双精度浮点数等）等，接收数据形式如下：

⚀⚀XT203⚀⚀112.34⚀⚀40.48⚀⚀1546326404000……

其中，⚀⚀代表若干控制字符或空白字符。

基于以上描述的两个外源系统提供的数据，接入数据的用户需要额外提供配置文件以便对数据进行归一化处理，其中系统A的数据传输格式为json形式，故配置文件形式亦为json，根据字段含义等信息，配置片段可参考如下：

{ "id": {"isCore": "identify","isKey": true}, "lat": {"isCore": "latitude","isKey": true}, "lon": {"isCore": "longitude","isKey": true}, "time": {"isCore": "timestamp","isKey": true} }

系统B传输数据格式为二进制格式，故配置文件需要xml形式，其中片段可参考如下：

<identify>

<start>0</start>

<end>32</end>

<type>string</type>

</identify>

<longitude>

<start>32</start>

<end>64</end>

<type>string</type>

</longitude>

<latitude>

<start>64</start>

<end>96</end>

<type>string</type>

</latitude>

<timestamp>

<start>96</start>

<end>128</end>

<format>long</format>

</timestamp>

在接收到外源系统提供的数据后，根据数据的格式提供配置文件进行相应配置，然后根据配置文件对数据进行自动格式转换，便于后续处理与存储。

S12，抽取不同数据源的轨迹数据中的公共属性，构建公共数据模型，并将轨迹数据中的其余属性作为公共数据模型的拓展属性一并保存。

由于各个数据源数据字段不尽相同，同一含义的字段数据类型又各有不同，故需要统一数据模型，以便统一存储与快速查找。其中公共数据模型的组成包括公共属性和拓展属性，公共属性是指不同数据源的轨迹数据都具有的属性信息，例如时空信息与对象唯一标识符；拓展属性是指各个数据源的轨迹数据所独立具有的属性信息，例如交通工具的类型、大小等等。针对于各个数据源的轨迹数据，首先抽取出公共属性，然后再抽取出拓展属性。

根据S11步骤中的配置信息，被标记为关键字段的字段往往需要在检索中作为检索条件。统计现有外源数据配置中被标记为关键字段的属性字段，查找其中是否有相同名字的字段，若存在则将其作为公共属性展示给用户，以确认这些相同名称的属性字段是否属于同一含义的字段，并提供给系统管理用户以交互式的方式选择外源系统中其他字段作为公共属性的配置手段（web页面或app等）。

例如：除基本时空信息（即S11步骤例中的数据）外，外源系统A额外提供的数据包含名称、船舶大小、功率、颜色等基础信息，分别如下所示；

{ ……"name": "长崎45", "size": "24t", "power": "38MW", "color":"gray"……}

外源系统B额外提供的数据仅包含船舶名称、船舶型号与生成厂商；构建的公共数据模型必同时包含外源系统A的拓展属性和外源系统B的拓展属性。

S13，对公共数据模型中的数据进行编码，并存储到分布式数据库系统中。

为了便于检索分析，本发明同时实现了两种分布式存储方案，一种是基于时空信息检索，另一种是基于目标详情信息检索，分别应对其不同的检索需求。

首先对于时空信息的检索，首要关注的是时间与空间信息，即某时刻在某地区出现了哪些目标；为此，需要对轨迹的时间空间信息进行联合编码作为存储数据的主键，以便于数据库索引。对于目标详情信息，如船舶的名称、大小、颜色等需要作为检索条件的信息，同样需要对相应字段进行索引以加快检索速度。同时为应对海量的数据，需要进行分布式存储，因此合适的设计主键对检索效率有很大的影响。

根据轨迹信息的位置与时间信息对数据进行编码，例如：时间转化为时间戳，空间信息则使用geohash编码，将时间与空间信息拼接，并根据需要选择是否添加目标标志信息合并作为数据主键，并导入分布式存储系统，利用成熟的分布式存储方案如hbase、elasticsearh、mongodb等对数据进行索引。

例如，针对于轨迹信息2022年4月1日19：22目标xyz123位于W37.4123 S43.278 ，转化过程如下：

2022年4月1日19：22 à 1648812175；

W37.4123 S43.278 à szdw；

按需调整顺序，若以时间目标空间顺序，则主键为： 1648812175xyz123szdw。

对于目标详情信息的检索，针对S11步骤中被标记为关键字的字段，为提供分布式快速检索，则需要全文检索工具如elasticsearch，根据S11步骤中的配置，自动建立elasticsearch的索引结构，对其中需要中文分词检索的字段自动进行相应设置以实现快速检索。

S14，基于分布式数据库系统中存储的数据，配置告警区域，对进入告警区域的目标进行告警。

针对轨迹告警功能，提供告警信息热更新功能，基于大数据流处理框架spark，实时对存储到分布式存储系统中的数据流进行监测。经过S11-S13的处理，数据已然成为标准统一的数据，唯一需要解决的问题是实时数据是海量的，实时监测进入系统的数据流必然需要大量计算资源，为此本发明使用spark框架设计实时监测系统，将需要告警的区域（即告警区域）保存到各个计算实例的内存中，且将编码后的轨迹数据存储在分布式数据库的同时，对轨迹数据中目标的位置信息进行计算，监测该位置是否进入了告警区域，并将已经进入告警区域的目标推送给管理用户，进行告警。

请参阅图2，基于相同的发明构思，本实施例中同时提供了一种海量轨迹大数据的处理系统，包括数据引接模块、数据融合模块、数据存储模块和告警分析模块。

其中，数据引接模块用于实时接收来自不同数据源的轨迹数据，并进行数据格式转换。此处数据引接模块支持Http、TCP、UDP协议，以json或二进制格式进行数据传输，对不同格式的轨迹数据进行不同配置，自定义配置处理以兼容各个来源的异构的轨迹数据。

其中，数据融合模块用于抽取不同数据源的轨迹数据中的公共属性，构建公共数据模型，并将轨迹数据中的其余属性作为模型的拓展属性一并保存。公共属性就是所有外源数据都有的属性，例如时间空间信息（时空信息）、身份标识（唯一的）等，而拓展属性就是指各个外源数据各自具有的属性。

其中，数据存储模块用于对公共数据模型中的数据进行编码，并存储到分布式数据库系统中。例如，针对于时间和空间信息，先将时间转化为时间戳，空间信息则使用geohash编码，然后将时间与空间信息拼接，并封装分布式文件系统，提供快速数据检索与存储服务。

其中，告警分析模块用于基于分布式数据库系统中存储的数据，配置告警区域，对进入告警区域的目标进行告警。例如，使用spark框架设计实时监测系统，将告警区域保存到各个计算实例的内存中，且在数据存储模块将编码后的轨迹数据存储在分布式数据库的同时，对轨迹数据中目标的位置信息进行计算，监测该位置是否进入了告警区域，进入了告警区域就发出告警，否则不告警。

对于各个模块的更详细说明未提及之处，还请参见前面方法实施例中的相应描述，此处就不再赘述。

如图3所示，本实施例同时提供了一种电子设备，该电子设备可以包括处理器51和存储器52，其中存储器52耦合至处理器51。值得注意的是，该图是示例性的，还可以使用其他类型的结构来补充或替代该结构，实现数据提取、报告生成、通信或其他功能。

如图3所示，该电子设备还可以包括：输入单元53、显示单元54和电源55。值得注意的是，该电子设备也并不是必须要包括图3中显示的所有部件。此外，电子设备还可以包括图3中没有示出的部件，可以参考现有技术。

处理器51有时也称控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器51接收输入并控制电子设备的各个部件的操作。

其中，存储器52例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其他合适装置中的一种或多种，可存储上述处理器51的配置信息、处理器51执行的指令、记录的表格数据等信息。处理器51可以执行存储器52存储的程序，以实现信息存储或处理等。在一个实施例中，存储器52中还包括缓冲存储器，即缓冲器，以存储中间信息。

输入单元53例如用于向处理器51提供例如配置数据。显示单元54用于显示处理过程中的各种结果，例如转换后的数据结构等，该显示单元例如可以为LCD显示器，但本发明并不限于此。电源55用于为电子设备提供电力。

本发明实施例还提供一种计算机可读指令，其中当在电子设备中执行所述指令时，所述程序使得电子设备执行本发明方法所包含的操作步骤。

本发明实施例还提供一种存储有计算机可读指令的存储介质，其中所述计算机可读指令使得电子设备执行本发明方法所包含的操作步骤。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成模块及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种海量轨迹大数据的处理方法，其特征在于，包括以下步骤：

实时接收来自不同数据源的轨迹数据，并进行数据格式转换；

基于数据格式转换后的轨迹数据，抽取不同数据源的轨迹数据中的公共属性，构建公共数据模型，并将轨迹数据中的其余属性作为公共数据模型的拓展属性一并保存，所述公共属性包括时空信息和身份标识；

对公共数据模型中的数据进行编码，并存储到分布式数据库系统中；

基于分布式数据库系统中存储的数据，配置告警区域，对进入告警区域的目标进行告警。

2.根据权利要求1所述的海量轨迹大数据的处理方法，其特征在于，所述实时接收来自不同数据源的轨迹数据，并进行数据格式转换的步骤，包括：

根据不同数据源提供的轨迹数据的原有格式，提供相应的配置文件进行对应配置，然后根据配置后的文件对进行自动格式转换。

3.根据权利要求1所述的海量轨迹大数据的处理方法，其特征在于，所述对公共数据模型中的数据进行编码的步骤中，针对于时间和空间信息，先将时间转化为时间戳，空间信息则使用geohash编码，然后将时间与空间信息拼接。

4.根据权利要求1所述的海量轨迹大数据的处理方法，其特征在于，所述基于分布式数据库系统中存储的数据，配置告警区域的步骤，包括：

使用spark框架设计实时监测系统，将告警区域保存到各个计算实例的内存中，且将编码后的轨迹数据存储在分布式数据库的同时，对轨迹数据中目标的位置信息进行计算，监测该位置是否进入了告警区域。

5.一种海量轨迹大数据的处理系统，其特征在于，包括：

数据引接模块，用于实时接收来自不同数据源的轨迹数据，并进行数据格式转换；

数据融合模块，用于基于数据格式转换后的轨迹数据，抽取不同数据源的轨迹数据中的公共属性，构建公共数据模型，并将轨迹数据中的其余属性作为公共数据模型的拓展属性一并保存，所述公共属性包括时空信息和身份标识；

数据存储模块，用于对公共数据模型中的数据进行编码，并存储到分布式数据库系统中；

告警分析模块，用于基于分布式数据库系统中存储的数据，配置告警区域，对进入告警区域的目标进行告警。

6.根据权利要求5所述的海量轨迹大数据的处理系统，其特征在于，所述数据引接模块具体用于：根据不同数据源提供的轨迹数据的原有格式，提供相应的配置文件进行对应配置，然后根据配置后的文件对进行自动格式转换。

7.根据权利要求5所述的海量轨迹大数据的处理系统，其特征在于，所述数据存储模块在对公共数据模型中的数据进行编码时，针对于时间和空间信息，先将时间转化为时间戳，空间信息则使用geohash编码，然后将时间与空间信息拼接。

8.根据权利要求5所述的海量轨迹大数据的处理系统，其特征在于，所述告警分析模块使用spark框架设计实时监测系统，将告警区域保存到各个计算实例的内存中，且在数据存储模块将编码后的轨迹数据存储在分布式数据库的同时，对轨迹数据中目标的位置信息进行计算，监测该位置是否进入了告警区域。

9.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令在被执行时使处理器执行权利要求1-4任一所述方法中的步骤。

10.一种电子设备，其特征在于，所述的电子设备包括：

存储器，存储程序指令；

处理器，与所述存储器相连接，执行存储器中的程序指令，实现权利要求1-4任一所述方法中的步骤。

Images