CN116662419B - 实时海量船舶轨迹高性能可视化系统和方法 - Google Patents

实时海量船舶轨迹高性能可视化系统和方法 Download PDF

Info

Publication number
CN116662419B
CN116662419B CN202310954712.6A CN202310954712A CN116662419B CN 116662419 B CN116662419 B CN 116662419B CN 202310954712 A CN202310954712 A CN 202310954712A CN 116662419 B CN116662419 B CN 116662419B
Authority
CN
China
Prior art keywords
data
index
track
real
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310954712.6A
Other languages
English (en)
Other versions
CN116662419A (zh
Inventor
李宝东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiji Computer Corp Ltd
Original Assignee
Taiji Computer Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiji Computer Corp Ltd filed Critical Taiji Computer Corp Ltd
Priority to CN202310954712.6A priority Critical patent/CN116662419B/zh
Publication of CN116662419A publication Critical patent/CN116662419A/zh
Application granted granted Critical
Publication of CN116662419B publication Critical patent/CN116662419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

本申请提出了一种实时海量船舶轨迹高性能可视化系统和方法，涉及数据处理技术领域，其中，该系统包括：船舶轨迹缓存模块，用于使用空间索引技术将实时轨迹转换为索引数据，并追加写入至缓存数据库；实时船舶轨迹查询模块，用于根据筛选查询条件从缓存数据库中查询数据，并将查询出的数据发送给沿海船舶态势可视化模块；实时船舶轨迹动态瓦片切片模块，用于根据筛选查询条件从缓存数据库中查询数据，并将查询出的数据动态切片为栅格瓦片，并将栅格瓦片发送给沿海船舶态势可视化模块；沿海船舶态势可视化模块，用于对接收到的实时船舶数据或瓦片进行可视化渲染。采用上述方案的本申请能够有效提高海量实时船舶轨迹轨迹的写入和查询的效率。

Description

实时海量船舶轨迹高性能可视化系统和方法
技术领域
本申请涉及数据处理技术领域，尤其涉及实时海量船舶轨迹高性能可视化系统和方法。
背景技术
伴随着航运行业的蓬勃发展，北斗、GPS、AIS（AutoIdentification System）和雷达等船载民用定位终端产品也逐步得到普及，例如船载北斗终端定位管理系统、船载AIS设备终端定位管理系统、沿海近岸雷达定位管理系统等。此类面向时空轨迹的定位管理系统，通常信号源相对单一且数据量级相对较小。然而在沿海船舶管控业务领域，技防管控同时涉及北斗、GPS、AIS、雷达等多种管控手段，实时船舶数据量级在省级全域平均每秒可达到5万以上，市县全域可达5千以上，轨迹数据量日增超过200GB。在实时轨迹数据写入和查询大数据存储存储介质过程中，现有的存储技术存在明显的数据写入延迟和查询效率低两项问题，不满足实时轨迹的可视化渲染时数据时效性要求，造成海量实时船舶轨迹场景下数据可视化存在较大的性能瓶颈。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种实时海量船舶轨迹高性能可视化系统，通过使用空间索引技术将船舶轨迹数据转换为索引数据，并基于内存的高速缓存存储介质对索引数据进行存储，以实现高性能缓存写入和查询服务，解决了现有方法存在明显的数据写入延迟，且查询效率低的问题，有效提高了海量实时船舶轨迹轨迹的写入和查询的效率。
本申请的第二个目的在于提出一种实时海量船舶轨迹高性能可视化方法。
为达上述目的，本申请第一方面实施例提出了实时海量船舶轨迹高性能可视化系统，包括：船舶轨迹缓存模块，用于使用空间索引技术将实时轨迹转换为索引数据，并将索引数据追加写入至缓存数据库；实时船舶轨迹查询模块，用于根据筛选查询条件，从缓存数据库中查询船舶当前最新轨迹列表数据，并将查询出的数据发送给沿海船舶态势可视化模块；实时船舶轨迹动态瓦片切片模块，用于根据筛选查询条件，从缓存数据库中查询船舶当前最新轨迹列表数据，并将查询出的数据动态切片为栅格瓦片，并将栅格瓦片发送给沿海船舶态势可视化模块；沿海船舶态势可视化模块，用于对接收到的船舶当前最新轨迹列表数据或栅格瓦片进行可视化渲染。
本申请实施例的实时海量船舶轨迹高性能可视化系统，通过使用空间索引技术将船舶轨迹数据转换为索引数据，并基于内存的高速缓存存储介质对索引数据进行存储，以实现高性能缓存写入和查询服务，有效提高了海量实时船舶轨迹轨迹的写入和查询的效率。
可选地，在本申请的一个实施例中，使用空间索引技术将实时轨迹转换为索引数据，包括：
确定单条轨迹定位数据的数据结构；
根据数据结构获取实时轨迹数据，并通过索引构建方法将实时轨迹数据转换为索引数据，并将转换的索引数据追加写入基于内存的缓存存储介质中，并标记数据记录过期策略，其中，索引构建方法，包括：
确定索引字段，选取时间、经度、纬度三项构建Z3索引，将二维空间点和时间点编码到一维空间，选取属性筛选查询条件作为主索引键，根据主索引键构建普通Attribute属性索引，并将Z3索引作为属性索引的二级索引。
可选地，在本申请的一个实施例中，实时轨迹数据包括AIS轨迹数据、雷达轨迹数据和卫星定位轨迹数据，数据结构包括信号源类型、身份标识、时间、经度、纬度、速度、航向、船舶类型、船舶长度、船舶宽度、所属国籍、所属船籍港。
可选地，在本申请的一个实施例中，根据筛选查询条件，从缓存数据库中查询船舶当前最新轨迹列表数据，包括：
获取CQL查询语句；
将CQL查询语句进行分组，构建独立的关键字索引查询MapperTask任务，并对查询任务结果集进行组内去重；
根据去重后的查询任务结果集、依据轨迹ID字段进行查询列表集之间的交集计算，得到最终的查询结果。
可选地，在本申请的一个实施例中，沿海船舶态势可视化模块，具体用于：
使用实时数据渲染模式对船舶当前最新轨迹列表数据进行可视化渲染，使用瓦片渲染模式对栅格瓦片进行可视化渲染。
为达上述目的，本发明第二方面实施例提出了一种实时海量船舶轨迹高性能可视化方法，包括：使用空间索引技术将实时轨迹转换为索引数据，并将索引数据追加写入至缓存数据库；根据第一筛选查询条件，从缓存数据库中查询船舶当前最新轨迹列表数据作为第一查询结果；根据第二筛选查询条件，从缓存数据库中查询船舶当前最新轨迹列表数据，并将查询出的数据动态切片为栅格瓦片，将栅格瓦片作为第二查询结果；对第一查询结果或第二查询结果进行可视化渲染。
可选地，在本申请的一个实施例中，将实时轨迹转换为索引数据，包括：
确定单条轨迹定位数据的数据结构；
根据数据结构获取实时轨迹数据，并通过索引构建方法将实时轨迹数据转换为索引数据，并将转换的索引数据追加写入基于内存的缓存存储介质中，并标记数据记录过期策略，其中，索引构建方法，包括：
确定索引字段，选取时间、经度、纬度三项构建Z3索引，将二维空间点和时间点编码到一维空间，选取属性筛选查询条件作为主索引键，根据主索引键构建普通Attribute属性索引，并将Z3索引作为属性索引的二级索引。
可选地，在本申请的一个实施例中，实时轨迹数据包括AIS轨迹数据、雷达轨迹数据和卫星定位轨迹数据，数据结构包括信号源类型、身份标识、时间、经度、纬度、速度、航向、船舶类型、船舶长度、船舶宽度、所属国籍、所属船籍港。
可选地，在本申请的一个实施例中，根据筛选查询条件，从缓存数据库中查询船舶当前最新轨迹列表数据，包括：
获取CQL查询语句；
将CQL查询语句进行分组，构建独立的关键字索引查询MapperTask任务，并对查询任务结果集进行组内去重；
根据去重后的查询任务结果集、依据轨迹ID字段进行查询列表集之间的交集计算，得到最终的查询结果。
可选地，在本申请的一个实施例中，对第一查询结果或第二查询结果进行可视化渲染，包括：
使用实时数据渲染模式对第一查询结果进行可视化渲染，使用瓦片渲染模式对第二查询结果进行可视化渲染。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种实时海量船舶轨迹高性能可视化系统的结构示意图；
图2为本申请实施例的实时海量船舶轨迹高性能可视化系统服务流程图；
图3为本申请实施例的查询过程示例图；
图4为本申请实施例的在实际应用中的性能分析示例图；
图5为本申请实施例所提供的一种实时海量船舶轨迹高性能可视化方法的流程示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的实时海量船舶轨迹高性能可视化系统和方法。
为了实现上述实施例，本申请提出一种实时海量船舶轨迹高性能可视化系统。
图1为本申请实施例一提供的一种实时海量船舶轨迹高性能可视化系统的结构示意图。
如图1所示，该实时海量船舶轨迹高性能可视化系统包括：
船舶轨迹缓存模块，用于使用空间索引技术将实时轨迹转换为索引数据，并将索引数据追加写入至缓存数据库；
实时船舶轨迹查询模块，用于根据筛选查询条件，从缓存数据库中查询船舶当前最新轨迹列表数据，并将查询出的数据发送给沿海船舶态势可视化模块；
实时船舶轨迹动态瓦片切片模块，用于根据筛选查询条件，从缓存数据库中查询船舶当前最新轨迹列表数据，并将查询出的数据动态切片为栅格瓦片，并将栅格瓦片发送给沿海船舶态势可视化模块；
沿海船舶态势可视化模块，用于对接收到的船舶当前最新轨迹列表数据或栅格瓦片进行可视化渲染。
本申请实施例的实时海量船舶轨迹高性能可视化系统，通过使用空间索引技术将船舶轨迹数据转换为索引数据，并基于内存的高速缓存存储介质对索引数据进行存储，以实现高性能缓存写入和查询服务，有效提高了海量实时船舶轨迹轨迹的写入和查询的效率。
可选地，在本申请的一个实施例中，使用空间索引技术将实时轨迹转换为索引数据，包括：
确定单条轨迹定位数据的数据结构；
根据数据结构获取实时轨迹数据，并通过索引构建方法将实时轨迹数据转换为索引数据，并将转换的索引数据追加写入基于内存的缓存存储介质中，并标记数据记录过期策略，其中，索引构建方法，包括：
确定索引字段，选取时间、经度、纬度三项构建Z3索引，将二维空间点和时间点编码到一维空间，选取属性筛选查询条件作为主索引键，根据主索引键构建普通Attribute属性索引，并将Z3索引作为属性索引的二级索引。
可选地，在本申请的一个实施例中，实时轨迹数据包括AIS轨迹数据、雷达轨迹数据和卫星定位轨迹数据，数据结构包括信号源类型、身份标识、时间、经度、纬度、速度、航向、船舶类型、船舶长度、船舶宽度、所属国籍、所属船籍港。
可选地，在本申请的一个实施例中，根据筛选查询条件，从缓存数据库中查询船舶当前最新轨迹列表数据，包括：
获取CQL查询语句；
将CQL查询语句进行分组，构建独立的关键字索引查询MapperTask任务，并对查询任务结果集进行组内去重；
根据去重后的查询任务结果集、依据轨迹ID字段进行查询列表集之间的交集计算，得到最终的查询结果。
可选地，在本申请的一个实施例中，沿海船舶态势可视化模块，具体用于：
使用实时数据渲染模式对船舶当前最新轨迹列表数据进行可视化渲染，使用瓦片渲染模式对栅格瓦片进行可视化渲染。
图2为本申请实施例的实时海量船舶轨迹高性能可视化系统服务流程图，如图2所示，所述系统由高性能船舶轨迹缓存服务、实时船舶轨迹查询服务、实时船舶轨迹动态瓦片切片服务、沿海船舶态势可视化服务四个部分组成，其中，每个部分的功能包括：
高性能船舶轨迹缓存服务主要负责将海量实时轨迹转换为索引数据，追加写入至redis高效缓存数据库中；
实时船舶轨迹查询服务主要负责在实时数据渲染模式下，依据前端筛选查询条件，实时查询船舶当前最新轨迹列表数据，并返回给沿海船舶态势可视化服务；
实时船舶轨迹动态瓦片切片服务主要负责在实时瓦片渲染模式下，依据前端筛选查询条件，将船舶当前最新轨迹列表数据动态切片为栅格瓦片，并返回给沿海船舶态势可视化服务；
沿海船舶态势可视化服务主要负责将实时船舶数据或瓦片进行可视化渲染，支持动态筛选、动态切换瓦片模式或数据渲染模式。
基于上述实时海量船舶轨迹高性能可视化系统提出一种海量实时船舶轨迹的高效缓存与查询方法。所述方法用于构建高性能船舶轨迹缓存服务和查询服务，具体地，
（1）缓存构建主要将轨迹数据转换为索引，并存储于redis内存数据库中
确定单条轨迹定位数据的数据结构，如信号源类型、身份标识、时间、经度、纬度、速度、航向、船舶类型、船舶长度、船舶宽度、所属国籍、所属船籍港；
确定索引字段；选取时间、经度、纬度三项构建Z3索引，将二维空间点和时间点编码到一维空间，选取属性筛选查询条件作为主索引键，用于构建普通Attribute属性索引，并将上述Z3索引作为属性索引的二级索引；
高性能船舶轨迹缓存服务将每一条实时轨迹依据上述索引构建方法，构建索引，并追加写入基于内存的Redis高效缓存存储介质中，并标记数据记录过期策略。
（2）索引缓存查询服务实现了OGC (Open Geospatial Consortium) 开放地理空间信息联盟面向Web服务创建的CQL（Common Query Language）通用查询语言规范，实现规范包括大于（>）、大于等于（>=）、小于（<）、小于等于（<=）、包含(in)、等于（=）、区间（between）、几何过滤（bbox）等，并结合MapReduce分治编程模型原理实现高效大规模并行查询和结果汇聚。图3为本实施例的查询过程示例图，该查询过程为Mapreduce编程模型在索引查询中的应用，主要包含两个核心过程：
Map过程：将浏览器端CQL查询语句进行分组，构建独立的关键字索引查询MapperTask任务，并对查询任务结果集进行组内去重
Reduce过程：Map过程，每一个MapperTask任务都会将结果移交给Reducer任务，由Reducer依据轨迹ID字段完成查询列表集之间的交集计算，得到最终的查询结果。该查询结果即为上述所说的依据前端筛选查询条件得到的列表集合。
沿海船舶态势可视化服务使用实时数据渲染模式对索引缓存查询服务查询出的数据进行渲染，并在浏览器端完成最终的可视化展示，该模式通常都是在聚焦到某一片区域之后，结合业务所交互，例如鼠标悬浮，可直接交互出来业务属性，例如，船长是谁，来自哪个船籍港，当前载重信息，等等，该模式还包括船对应的国籍信息、航速航向的可视化渲染等等结合业务属性的渲染。
实时船舶轨迹动态瓦片切片服务还在瓦片模式下根据实时船舶轨迹动态切片服务发出的栅格瓦片在浏览器端完成最终的可视化展示，该模式适合超大数据量级，但交互会有损失，不利于结合业务做交互，主要用来体现全域的实时分布情况。
本实施例通过使用空间索引技术将船舶轨迹数据转换为索引数据，并基于内存的redis高速缓存存储介质对索引数据进行存储，以实现高性能缓存写入和查询服务，进而构建了一套实时海量船舶轨迹高性能可视化系统，突破了传统方案中的性能瓶颈，真正实现海量实时船舶轨迹可视化过程中所见即所得的用户使用体验。
通过将本实施例的高效缓存方法应用在实际的船舶轨迹缓存服务中，解决了传统大数据存储介质存在的写入性能问题和查询效率问题，图4为本实施例在实际应用中的性能分析示例图，如图4所示，本实施例在实际项目应用中基于平均每秒超20万级实时船舶轨迹数据量级下，利用性能压测工具模拟4300并发场景，查询服务时间响应平均为714毫秒，本实施例能够满足船舶轨迹的实时查询需求，而传统大数据存储、关系数据库，使用场景往往为了保障事务性，性能上做不到毫秒级响应，在超大数据规模的实时轨迹场景下，甚至5秒的响应效率都做不到。
图5为本申请实施例所提供的一种实时海量船舶轨迹高性能可视化方法的流程示意图。
如图5所示，该实时海量船舶轨迹高性能可视化方法包括以下步骤：
步骤501，使用空间索引技术将实时轨迹转换为索引数据，并将索引数据追加写入至缓存数据库；
步骤502，根据第一筛选查询条件，从缓存数据库中查询船舶当前最新轨迹列表数据作为第一查询结果；
步骤503，根据第二筛选查询条件，从缓存数据库中查询船舶当前最新轨迹列表数据，并将查询出的数据动态切片为栅格瓦片，将栅格瓦片作为第二查询结果；
步骤504，对第一查询结果或第二查询结果进行可视化渲染。
可选地，在本申请的一个实施例中，将实时轨迹转换为索引数据，包括：
确定单条轨迹定位数据的数据结构；
根据数据结构获取实时轨迹数据，并通过索引构建方法将实时轨迹数据转换为索引数据，并将转换的索引数据追加写入基于内存的缓存存储介质中，并标记数据记录过期策略，其中，索引构建方法，包括：
确定索引字段，选取时间、经度、纬度三项构建Z3索引，将二维空间点和时间点编码到一维空间，选取属性筛选查询条件作为主索引键，根据主索引键构建普通Attribute属性索引，并将Z3索引作为属性索引的二级索引。
可选地，在本申请的一个实施例中，实时轨迹数据包括AIS轨迹数据、雷达轨迹数据和卫星定位轨迹数据，数据结构包括信号源类型、身份标识、时间、经度、纬度、速度、航向、船舶类型、船舶长度、船舶宽度、所属国籍、所属船籍港。
可选地，在本申请的一个实施例中，根据筛选查询条件，从缓存数据库中查询船舶当前最新轨迹列表数据，包括：
获取CQL查询语句；
将CQL查询语句进行分组，构建独立的关键字索引查询MapperTask任务，并对查询任务结果集进行组内去重；
根据去重后的查询任务结果集、依据轨迹ID字段进行查询列表集之间的交集计算，得到最终的查询结果。
对第一查询结果或第二查询结果进行可视化渲染，包括：
使用实时数据渲染模式对第一查询结果进行可视化渲染，使用瓦片渲染模式对第二查询结果进行可视化渲染。
需要说明的是，前述对实时海量船舶轨迹高性能可视化系统实施例的解释说明也适用于该实施例的实时海量船舶轨迹高性能可视化方法，此处不再赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种实时海量船舶轨迹高性能可视化系统，其特征在于，包括：
船舶轨迹缓存模块，用于使用空间索引技术将实时轨迹转换为索引数据，并将所述索引数据追加写入至缓存数据库；
实时船舶轨迹查询模块，用于根据筛选查询条件，从所述缓存数据库中查询船舶当前最新轨迹列表数据，并将查询出的数据发送给沿海船舶态势可视化模块；
实时船舶轨迹动态瓦片切片模块，用于根据筛选查询条件，从所述缓存数据库中查询船舶当前最新轨迹列表数据，并将查询出的数据动态切片为栅格瓦片，并将所述栅格瓦片发送给沿海船舶态势可视化模块；
沿海船舶态势可视化模块，用于对接收到的船舶当前最新轨迹列表数据或栅格瓦片进行可视化渲染；
其中，所述使用空间索引技术将实时轨迹转换为索引数据，包括：
确定单条轨迹定位数据的数据结构；
根据所述数据结构获取实时轨迹数据，并通过索引构建方法将实时轨迹数据转换为索引数据，并将转换的索引数据追加写入基于内存的缓存存储介质中，并标记数据记录过期策略，其中，所述索引构建方法，包括：
确定索引字段，选取时间、经度、纬度三项构建Z3索引，将二维空间点和时间点编码到一维空间，选取属性筛选查询条件作为主索引键，根据所述主索引键构建普通Attribute属性索引，并将所述Z3索引作为所述属性索引的二级索引；
所述根据筛选查询条件，从所述缓存数据库中查询船舶当前最新轨迹列表数据，包括：
获取CQL查询语句；
将所述CQL查询语句进行分组，构建独立的关键字索引查询MapperTask任务，并对查询任务结果集进行组内去重；
根据去重后的查询任务结果集、依据轨迹ID字段进行查询列表集之间的交集计算，得到最终的查询结果。
2.如权利要求1所述的实时海量船舶轨迹高性能可视化系统，其特征在于，所述实时轨迹数据包括AIS轨迹数据、雷达轨迹数据和卫星定位轨迹数据，所述数据结构包括信号源类型、身份标识、时间、经度、纬度、速度、航向、船舶类型、船舶长度、船舶宽度、所属国籍、所属船籍港。
3.如权利要求1所述的实时海量船舶轨迹高性能可视化系统，其特征在于，所述沿海船舶态势可视化模块，具体用于：
使用实时数据渲染模式对船舶当前最新轨迹列表数据进行可视化渲染，使用瓦片渲染模式对栅格瓦片进行可视化渲染。
4.一种实时海量船舶轨迹高性能可视化方法，其特征在于，包括以下步骤：
使用空间索引技术将实时轨迹转换为索引数据，并将所述索引数据追加写入至缓存数据库；
根据第一筛选查询条件，从所述缓存数据库中查询船舶当前最新轨迹列表数据作为第一查询结果；
根据第二筛选查询条件，从所述缓存数据库中查询船舶当前最新轨迹列表数据，并将查询出的数据动态切片为栅格瓦片，将所述栅格瓦片作为第二查询结果；
对所述第一查询结果或所述第二查询结果进行可视化渲染；
其中，所述使用空间索引技术将实时轨迹转换为索引数据，包括：
确定单条轨迹定位数据的数据结构；
根据所述数据结构获取实时轨迹数据，并通过索引构建方法将实时轨迹数据转换为索引数据，并将转换的索引数据追加写入基于内存的缓存存储介质中，并标记数据记录过期策略，其中，所述索引构建方法，包括：
确定索引字段，选取时间、经度、纬度三项构建Z3索引，将二维空间点和时间点编码到一维空间，选取属性筛选查询条件作为主索引键，根据所述主索引键构建普通Attribute属性索引，并将所述Z3索引作为所述属性索引的二级索引；
根据筛选查询条件，从所述缓存数据库中查询船舶当前最新轨迹列表数据，包括：
获取CQL查询语句；
将所述CQL查询语句进行分组，构建独立的关键字索引查询MapperTask任务，并对查询任务结果集进行组内去重；
根据去重后的查询任务结果集、依据轨迹ID字段进行查询列表集之间的交集计算，得到最终的查询结果。
5.如权利要求4所述的实时海量船舶轨迹高性能可视化方法，其特征在于，所述实时轨迹数据包括AIS轨迹数据、雷达轨迹数据和卫星定位轨迹数据，所述数据结构包括信号源类型、身份标识、时间、经度、纬度、速度、航向、船舶类型、船舶长度、船舶宽度、所属国籍、所属船籍港。
6.如权利要求4所述的实时海量船舶轨迹高性能可视化方法，其特征在于，所述对所述第一查询结果或所述第二查询结果进行可视化渲染，包括：
使用实时数据渲染模式对所述第一查询结果进行可视化渲染，使用瓦片渲染模式对所述第二查询结果进行可视化渲染。
CN202310954712.6A 2023-08-01 2023-08-01 实时海量船舶轨迹高性能可视化系统和方法 Active CN116662419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310954712.6A CN116662419B (zh) 2023-08-01 2023-08-01 实时海量船舶轨迹高性能可视化系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310954712.6A CN116662419B (zh) 2023-08-01 2023-08-01 实时海量船舶轨迹高性能可视化系统和方法

Publications (2)

Publication Number Publication Date
CN116662419A CN116662419A (zh) 2023-08-29
CN116662419B true CN116662419B (zh) 2023-12-22

Family

ID=87722834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310954712.6A Active CN116662419B (zh) 2023-08-01 2023-08-01 实时海量船舶轨迹高性能可视化系统和方法

Country Status (1)

Country Link
CN (1) CN116662419B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117370684A (zh) * 2023-10-08 2024-01-09 曙光云计算集团有限公司 船舶数据的渲染方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220285A (zh) * 2017-04-24 2017-09-29 中国科学院计算技术研究所 面向海量轨迹点数据的时空索引构建方法
CN107291842A (zh) * 2017-06-01 2017-10-24 武汉理工大学 基于轨迹编码的轨迹查询方法
CN114596731A (zh) * 2022-03-18 2022-06-07 北京国交信通科技发展有限公司 基于ais的船舶航行过程气象海况数据融合处理系统及方法
CN115905242A (zh) * 2022-12-22 2023-04-04 中国人民解放军海军工程大学 海量船舶历史轨迹数据存储系统及查询方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10397747B2 (en) * 2017-12-24 2019-08-27 Celect, Inc. Entity tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220285A (zh) * 2017-04-24 2017-09-29 中国科学院计算技术研究所 面向海量轨迹点数据的时空索引构建方法
CN107291842A (zh) * 2017-06-01 2017-10-24 武汉理工大学 基于轨迹编码的轨迹查询方法
CN114596731A (zh) * 2022-03-18 2022-06-07 北京国交信通科技发展有限公司 基于ais的船舶航行过程气象海况数据融合处理系统及方法
CN115905242A (zh) * 2022-12-22 2023-04-04 中国人民解放军海军工程大学 海量船舶历史轨迹数据存储系统及查询方法

Also Published As

Publication number Publication date
CN116662419A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN110347499B (zh) 一种遥感影像瓦片生成及实时部署的方法
US9880012B2 (en) Hybrid road network and grid based spatial-temporal indexing under missing road links
CN116662419B (zh) 实时海量船舶轨迹高性能可视化系统和方法
Yan et al. A multi-parameter approach to automated building grouping and generalization
Massow et al. Deriving HD maps for highly automated driving from vehicular probe data
CN110399441A (zh) 一种海量点数据聚合渲染方法、装置、设备及存储介质
CN104469395A (zh) 图像传输方法和装置
CN101965499B (zh) 使用动态高速缓存存储器的地图更新系统和地图更新程序
CN111949751B (zh) 一种智能船舶轨迹可视化方法及系统
CN110263076B (zh) 一种自动化生成数据分析报告的方法
CN112115226B (zh) 地图渲染方法和地图渲染装置
CN106055590A (zh) 基于大数据及图数据库的电力网络数据处理方法和系统
CN102023816A (zh) 一种对象存储系统的对象存放策略和访问方法
WO2022193872A1 (zh) 空间关系的确定方法、装置、计算机设备及存储介质
CN108491445A (zh) 区域内指标数据的展示方法及系统
Lewis et al. Lidar data management pipeline; from spatial database population to web-application visualization
CN102486379B (zh) 一种导航地图处理方法及装置
CN112269849A (zh) 一种三维地图显示方法、系统、电子设备及存储介质
CN111666508A (zh) 经纬度对应的详细地址提取方法及装置
Herodotou et al. Big maritime data management
CN102968497A (zh) 动态数据处理方法和系统
Cimino et al. Sensor data management to achieve information superiority in maritime situational awareness
CN104408084A (zh) 一种大数据筛选方法及装置
CN103017749B (zh) 狭长水系面要素转化为线要素的方法、装置和导航仪
CN105468728A (zh) 一种获取截面数据的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Li Baodong

Inventor after: Liu Shaohui

Inventor after: Hu Jie

Inventor after: Mao Wei

Inventor after: Li Wenhuan

Inventor before: Li Baodong

CB03 Change of inventor or designer information