CN114969014A - 一种基于ais数据的港口资源可视化智能评估方法及系统 - Google Patents

一种基于ais数据的港口资源可视化智能评估方法及系统 Download PDF

Info

Publication number
CN114969014A
CN114969014A CN202210696144.XA CN202210696144A CN114969014A CN 114969014 A CN114969014 A CN 114969014A CN 202210696144 A CN202210696144 A CN 202210696144A CN 114969014 A CN114969014 A CN 114969014A
Authority
CN
China
Prior art keywords
data
ais
evaluation
port
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210696144.XA
Other languages
English (en)
Inventor
沈忱
齐越
方森松
黄力
董敏
孙瀚冰
李宜军
苏孟超
董焱赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Transport Planning And Research Institute Ministry Of Transport
Original Assignee
Transport Planning And Research Institute Ministry Of Transport
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Transport Planning And Research Institute Ministry Of Transport filed Critical Transport Planning And Research Institute Ministry Of Transport
Priority to CN202210696144.XA priority Critical patent/CN114969014A/zh
Publication of CN114969014A publication Critical patent/CN114969014A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于AIS数据的港口资源可视化智能评估方法及系统，包括以下步骤：步骤S1、在评估系统的数据预处理单元将船舶档案数据、多源AIS数据依次进行清洗、融合、入库得到AIS数据库；步骤S2、在AIS数据库中下载得到海域范围在时域范围内的AIS动态数据表和AIS静态数据表；步骤S3、对AIS动态数据表和AIS静态数据表进行AIS数据分析自动化预处理得到评估支撑数据；步骤S4、基于港口资源智能化评估指标体系对评估支撑数据进行港口资源智能化评估得到多指标评估结果。本发明实现AIS数据的多源融合、字段质素提升、可视化精准利用，同步研发的基于船舶AIS数据的港口资源智能化评估方法，可以为港口资源的合理匹配、精准规划提供模块式的分析手段。

Description

一种基于AIS数据的港口资源可视化智能评估方法及系统
技术领域
本发明涉及港口资源评估技术领域，具体涉及一种基于AIS数据的港口资源可视化智能评估方法及系统。
背景技术
AIS数据主要由实时静态数据以及实时动态数据组成，包含了船舶在船舶、航道、锚地、泊位等关键港口资源要素中流动的全过程，是分析港口各个资源要素利用情况、进行需求测度分析的重要数据资源。然而原始AIS数据使用过程中普遍需系统解译、编程提取目标研究对象的数据，在提取区分不同航道、锚地、泊位等水域范围方面业务量大、操作繁复，不易推广使用。
现有围绕AIS数据分析、挖掘和应用，缺乏AIS数据处理、挖掘、规律提取、结果可视化一体化研发思路。可视化部分重点是在AIS数据的展现和船舶轨迹、通航密度方面的可视化，重点是对AIS应用结果的可视化。而针对AIS数据获取的可视化模式尚未发现，此种AIS数据可视化精准下载可极大提高数据的应用价值、提高数据筛选的效率。针对AIS数据的分析主要集中在对航道或锚地某些特定指标的分析，研究目的单一，研究方法通用性低、适应性差。
发明内容
本发明的目的在于提供一种基于AIS数据的港口资源可视化智能评估方法及系统，以解决现有技术中缺乏AIS数据处理、挖掘、规律提取、结果可视化一体化研发思路的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
一种基于AIS数据的港口资源可视化智能评估方法，包括以下步骤：
步骤S1、在评估系统的数据预处理单元将船舶档案数据、多源AIS数据依次进行清洗、融合、入库得到AIS数据库，以丰富AIS数据的特征属性；
步骤S2、在评估系统的可视化地图界面中框选出海域范围和输入时域范围，并在AIS数据库中下载得到海域范围在时域范围内的AIS动态数据表和AIS静态数据表，以实现AIS数据的可视化框选下载；
步骤S3、在评估系统的分析预处理单元依次上传AIS动态数据表和AIS静态数据表，并对AIS动态数据表和AIS静态数据表进行AIS数据分析自动化预处理得到评估支撑数据，所述评估支撑数据用于为港口资源智能化评估提供数据支持；
步骤S4、在评估系统的智能评估单元构建港口资源智能化评估指标体系，并基于港口资源智能化评估指标体系对评估支撑数据进行港口资源智能化评估得到多指标评估结果，再以图表展示各个指标评估结果，实现为定量评估港口水域布置规划方案提供数据支持。
作为本发明的一种优选方案，所述将船舶档案数据、多源AIS数据依次进行清洗、融合、入库得到AIS数据库，包括：
对多源AIS数据进行错误/非法数据的过滤、单位转换、数据去重、数据抽稀、基础数据补全和结构转换，以实现多源AIS数据格式和单位的统一，并生成一次清洗日志；
将多源AIS数据中的MMSI字段与船舶档案数据进行匹配得到融合后的多源AIS数据，其中，
若在船舶档案数据中查询到MMSI字段的字段值，则将查询到MMSI字段的字段值替换多源AIS数据中MMSI字段处的字段值；
若在船舶档案数据中未查询到MMSI字段的字段值，则保留多源AIS数据中MMSI字段处的字段值；
将融合后的多源AIS数据进行无效值标记、重复点剔除、野点剔除，并生成二次清洗日志；
将融合后的多源AIS数据存储值评估系统的Hbase库生成AIS数据库，以利用分布式框架实现数据查询、检索和处理的高效性；
所述一次清洗日志和二次清洗日志中均包括清洗操作的记录日志和清洗过程的实时日志，所述清洗操作的记录日志记录清洗文件、清洗参数和清洗时间以用于数据重复清洗的检索判断，所述清洗过程的实时日志实时显示清洗进度、清洗速度和清洗错误以用于数据实时清洗的情况展示。
作为本发明的一种优选方案，所述AIS动态数据表和AIS静态数据表的下载包括：
在AIS数据库中依据海域范围和时域范围检索出融合后的csv格式和txt格式的AIS动态数据表和AIS静态数据表，其中，所述AIS动态数据表和AIS静态数据表的文件名中包含表内数据的时域范围。
作为本发明的一种优选方案，所述海域范围的框选包括对航道、锚地、靠离泊水域、回旋水域、连接水域的港口水域方位进行框选。
作为本发明的一种优选方案，所述评估支撑数据包括锚地水域基础数据表、航道水域基础数据表、靠离泊水域基础数据表、回旋水域基础数据表、连接水域基础数据表、船舶在泊时间数据表、船舶到港时间数据表、进离港数据表。
作为本发明的一种优选方案，所述港口资源智能化评估指标体系包括船舶航道航行阶段的评估指标、靠离泊阶段的评估指标、锚泊阶段的评估指标、船舶到港规律的评估指标以及船舶会遇态势的评估指标，其中，
所述船舶航道航行阶段的评估指标包括船舶进港时间规律、船舶出港时间规律、船舶典型运动轨迹、航道航行速度规律、船舶间距规律；
所述靠离泊阶段的评估指标包括靠离泊时间规律、靠离泊空间规律、船舶在泊时间规律、泊位利用率规律；
所述锚泊阶段的评估指标包括锚地船舶密度规律、船舶候泊时间规律；
所述船舶到港规律的评估指标包括日到港船舶数量规律、到港时间间隔规律、预计到港时间差规律；
所述船舶会遇态势的评估指标包括会遇密度规律、船舶会遇态势规律。
作为本发明的一种优选方案，所述港口资源智能化评估包括：
将待评估港口的评估支撑数据与已评估港口的评估支撑数据进行相似性匹配，其中，
若待评估港口的评估支撑数据与已评估港口的评估支撑数据相似度高于或等于预设阈值，则将已评估港口在港口资源智能化评估指标体系中选取的评估指标组合作为待评估港口的推荐指标组合；
若待评估港口的评估支撑数据与已评估港口的评估支撑数据相似度低于预设阈值，则将已评估港口在港口资源智能化评估指标体系中选取的评估指标组合作为待评估港口的非推荐指标组合；
对待评价港口的所有推荐指标组合进行指标项的推荐度量化，所述推荐度的计算公式为：
Figure BDA0003702270080000041
式中，Pi为第i个指标项的推荐度，ni为包含第i个指标项的推荐指标组合数量，N为推荐指标组合的总数量；
将推荐指标组合中高于推荐度阈值的指标项作为推荐指标项，并将推荐指标项按推荐度进行顺序展示，以供待评估港口在勾选评估指标提供参照；
通过在港口资源智能化评估指标体系勾选评估指标，调用后台模型算法，进行计算和绘图得到待评估港口的多指标评估结果，再以图表展示待评估港口的各个指标评估结果。
作为本发明的一种优选方案，所述港口资源智能化评估还包括：
若待评估港口无推荐指标组合，则对待评估港口的评估支撑数据进行PCA主成分分析得到评估支撑数据中每个数据项的贡献度；
将每个数据项的贡献度作为由所述数据项得到的港口资源智能化评估指标体系中评估指标的推荐度，并将高于推荐度阈值的评价指标作为推荐指标项，并将推荐指标项按推荐度进行顺序展示，以供待评估港口在勾选评估指标提供参照。
作为本发明的一种优选方案，本发明提供了一种根据所述的基于AIS数据的港口资源可视化智能评估方法的评估系统，包括数据预处理单元、可视化地图界面单元、分析预处理单元、智能评估单元和可视化结果显示单元，其中，
所述数据预处理单元用于将船舶档案数据、多源AIS数据依次进行清洗、融合、入库得到AIS数据库，以丰富AIS数据的特征属性；
所述可视化地图界面单元用于提供可视化地图界面，以及在可视化地图界面中框选出海域范围和输入时域范围，并在AIS数据库中下载得到海域范围在时域范围内的AIS动态数据表和AIS静态数据表，以实现AIS数据的可视化框选下载；
所述分析预处理单元用于依次上传AIS动态数据表和AIS静态数据表，并对AIS动态数据表和AIS静态数据表进行AIS数据分析自动化预处理得到评估支撑数据；
所述智能评估单元用于构建港口资源智能化评估指标体系，并基于港口资源智能化评估指标体系对评估支撑数据进行港口资源智能化评估得到多指标评估结果；
所述可视化结果显示单元用于以图表展示各个指标评估结果，实现为定量评估港口水域布置规划方案提供数据支持。
作为本发明的一种优选方案，所述数据预处理单元包括数据采集与清洗入库系统和命令清洗入库模块，所述数据采集与清洗模块用于将小批量多源AIS数据上传到清洗服务器，上传完成后自动执行清洗程序，将清洗后多源AIS数据存储到Hbase库的对应数据表中；
所述命令清洗入库模块用于通过FTP工具或者以拷贝方式将大批量多源AIS数据同步到清洗服务器，后通过清洗命令调用清洗程序，将清洗后多源AIS数据存储到Hbase库的对应数据表中。
本发明与现有技术相比较具有如下有益效果：
本发明实现AIS数据的多源融合、字段质素提升、可视化精准利用，研发AIS数据便捷批量处理、便捷获取的技术方法，同步研发的基于船舶AIS数据的港口资源智能化评估方法，可以为港口航道、锚地、泊位等资源的合理匹配、精准规划提供模块式的分析手段，实现港口基础设施利用情况的定量化评估，助力港口岸线资源的高效利用和合理优化。本发明方法研发的可视化系统，极大地降低了AIS数据在使用过程中的技术门槛，丰富业务人员的技术手段，提升AIS数据的使用频率，促进AIS数据在港口规划领域的广泛应用。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的港口资源智能化评估方法流程图；
图2为本发明实施例提供的AIS数据融合、清洗、入库流程图；
图3为本发明实施例提供的AIS数据挖掘自动化预处理流程图；
图4为本发明实施例提供的港口资源智能化评估指标体系示意图；
图5为本发明实施例提供的评估系统的工作流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1至图5所示，本发明提供了一种基于AIS数据的港口资源可视化智能评估方法，包括以下步骤：
步骤S1、在评估系统的数据预处理单元将船舶档案数据、多源AIS数据依次进行清洗、融合、入库得到AIS数据库，以丰富AIS数据的特征属性；
重点将船舶名称、类别、船长、船宽、吨级等优先匹配船舶档案数据，丰富多源AIS数据的属性信息。
将船舶档案数据、多源AIS数据依次进行清洗、融合、入库得到AIS数据库，包括：
对多源AIS数据进行错误/非法数据的过滤、单位转换、数据去重、数据抽稀、基础数据补全和结构转换，以实现多源AIS数据格式和单位的统一，并生成一次清洗日志；
多源AIS数据存在数据结构和字段值单位上都存在差异，所以在清洗过程中包含了结构转换和单位转换处理，输出统一的格式和单位。
将多源AIS数据中的MMSI字段与船舶档案数据进行匹配得到融合后的多源AIS数据，其中，
若在船舶档案数据中查询到MMSI字段的字段值，则将查询到MMSI字段的字段值替换多源AIS数据中MMSI字段处的字段值；
若在船舶档案数据中未查询到MMSI字段的字段值，则保留多源AIS数据中MMSI字段处的字段值；
将融合后的多源AIS数据进行无效值标记、重复点剔除、野点剔除，并生成二次清洗日志；
无效值标记将数据中超过一定阈值范围的数据进行标记，方便后续计算。重复点剔除主要考虑在多源AIS数据融合后，同一船舶的轨迹时空重复问题，需要对这些重复点及轨迹进行剔除，以轨迹点中数据较多作为参照，剔除其余重复的轨迹。野点剔除主要是保证船舶轨迹的流畅，对于个别明显错误的跳跃点等进行剔除。
将融合后的多源AIS数据存储值评估系统的Hbase库生成AIS数据库，以利用分布式框架实现数据查询、检索和处理的高效性；
一次清洗日志和二次清洗日志中均包括清洗操作的记录日志和清洗过程的实时日志，清洗操作的记录日志记录清洗文件、清洗参数和清洗时间以用于数据重复清洗的检索判断，清洗过程的实时日志实时显示清洗进度、清洗速度和清洗错误以用于数据实时清洗的情况展示。
步骤S2、在评估系统的可视化地图界面中框选出海域范围和输入时域范围，并在AIS数据库中下载得到海域范围在时域范围内的AIS动态数据表和AIS静态数据表，以实现AIS数据的可视化框选下载；
AIS动态数据表和AIS静态数据表的下载包括：
在AIS数据库中依据海域范围和时域范围检索出融合后的csv格式和txt格式的AIS动态数据表和AIS静态数据表，其中，AIS动态数据表和AIS静态数据表的文件名中包含表内数据的时域范围。
海域范围的框选包括对航道、锚地、靠离泊水域、回旋水域、连接水域的港口水域方位进行框选。
在可视化地图界面，可调整顺序叠加海图、地图、卫星图，以及港口航道锚地泊位等全部基础设施矢量信息。鼠标在可视化地图界面中所指处显示经纬度坐标，方便精准识别位置。分别精细化框选所需AIS数据空间范围(如航道、锚地、靠离泊水域、连接水域等)作为海域范围、输入所需下载时长作为时域范围，自动对海域范围和时域范围的AIS数据进行下载。
步骤S3、在评估系统的分析预处理单元依次上传AIS动态数据表和AIS静态数据表，并对AIS动态数据表和AIS静态数据表进行AIS数据分析自动化预处理得到评估支撑数据，评估支撑数据用于为港口资源智能化评估提供数据支持；
评估支撑数据包括锚地水域基础数据表、航道水域基础数据表、靠离泊水域基础数据表、回旋水域基础数据表、连接水域基础数据表、船舶在泊时间数据表、船舶到港时间数据表、进离港数据表。
步骤S4、在评估系统的智能评估单元构建港口资源智能化评估指标体系，并基于港口资源智能化评估指标体系对评估支撑数据进行港口资源智能化评估得到多指标评估结果，再以图表展示各个指标评估结果，实现为定量评估港口水域布置规划方案提供数据支持。
港口资源智能化评估指标体系包括船舶航道航行阶段的评估指标、靠离泊阶段的评估指标、锚泊阶段的评估指标、船舶到港规律的评估指标以及船舶会遇态势的评估指标，其中，
船舶航道航行阶段的评估指标包括船舶进港时间规律、船舶出港时间规律、船舶典型运动轨迹、航道航行速度规律、船舶间距规律；
靠离泊阶段的评估指标包括靠离泊时间规律、靠离泊空间规律、船舶在泊时间规律、泊位利用率规律；
锚泊阶段的评估指标包括锚地船舶密度规律、船舶候泊时间规律；
船舶到港规律的评估指标包括日到港船舶数量规律、到港时间间隔规律、预计到港时间差规律；
船舶会遇态势的评估指标包括会遇密度规律、船舶会遇态势规律。
能够对港口航道、锚地、靠离泊水域、连接水域、作业区靠泊等过程中，船舶的行为进行深度、针对性、定制化的数据挖掘和分析，并提炼不同船舶、吨级不同船舶类别对港口资源利用情况的不同规律，通过研究推进对船舶微观行为的理解，实现对港口空间解构和需求测度的智能化分析，支撑港口规划中多资源要素的合理配置，促进港口空间需求与功能的协调发展，优化港口空间布局方案。
港口资源智能化评估包括：
将待评估港口的评估支撑数据与已评估港口的评估支撑数据进行相似性匹配，其中，
若待评估港口的评估支撑数据与已评估港口的评估支撑数据相似度高于或等于预设阈值，则将已评估港口在港口资源智能化评估指标体系中选取的评估指标组合作为待评估港口的推荐指标组合；
若待评估港口的评估支撑数据与已评估港口的评估支撑数据相似度低于预设阈值，则将已评估港口在港口资源智能化评估指标体系中选取的评估指标组合作为待评估港口的非推荐指标组合；
相似度的计算可利用余弦相似度、相关系数等相似度公式进行计算。
对待评价港口的所有推荐指标组合进行指标项的推荐度量化，推荐度的计算公式为：
Figure BDA0003702270080000091
式中，Pi为第i个指标项的推荐度，ni为包含第i个指标项的推荐指标组合数量，N为推荐指标组合的总数量；
将推荐指标组合中高于推荐度阈值的指标项作为推荐指标项，并将推荐指标项按推荐度进行顺序展示，以供待评估港口在勾选评估指标提供参照；
通过在港口资源智能化评估指标体系勾选评估指标，调用后台模型算法，进行计算和绘图得到待评估港口的多指标评估结果，再以图表展示待评估港口的各个指标评估结果。
不同港口间的评估支撑数据相似，则对于不同港口间的所关注的评估指标也会存在相似性，因此在评估港口时，可在评估系统中搜索出与待评估港口评估支撑数据相似度高的现有评估指标组合作为推荐项，即根据历史选取评估指标的经验来进行推荐，告知用户前人在进行具有这种评估支撑数据特征的港口评估时会选取的评估指标组合，从而可为用户提供评估辅助，无需用户由零开始分析各项评估指标，以及掌握挑选评估指标的方向，减轻评估指标组合选取的工作量，提高评估效率。
港口资源智能化评估还包括：
若待评估港口无推荐指标组合，则对待评估港口的评估支撑数据进行PCA主成分分析得到评估支撑数据中每个数据项的贡献度；
将每个数据项的贡献度作为由数据项得到的港口资源智能化评估指标体系中评估指标的推荐度，并将高于推荐度阈值的评价指标作为推荐指标项，并将推荐指标项按推荐度进行顺序展示，以供待评估港口在勾选评估指标提供参照。
在待评估港口无历史经验参照时，对每个数据项进行主成分分析得到每个数据项的贡献度，贡献度越高，则表明该数据项的越重要，因此根据该数据项计算出的评估指标，也会越值得关注，对于后续的港口规划越具有参考性，因此在无历史经验参照的情况下利用贡献度进行评估指标组合的推荐，从而可为用户提供评估辅助，掌握挑选评估指标的方向，减轻评估指标组合选取的工作量，提高评估效率。
基于上述港口资源智能化评估方法，本发明提供了一种评估系统，包括数据预处理单元、可视化地图界面单元、分析预处理单元、智能评估单元和可视化结果显示单元，其中，
数据预处理单元用于将船舶档案数据、多源AIS数据依次进行清洗、融合、入库得到AIS数据库，以丰富AIS数据的特征属性；
可视化地图界面单元用于提供可视化地图界面，以及在可视化地图界面中框选出海域范围和输入时域范围，并在AIS数据库中下载得到海域范围在时域范围内的AIS动态数据表和AIS静态数据表，以实现AIS数据的可视化框选下载；
分析预处理单元用于依次上传AIS动态数据表和AIS静态数据表，并对AIS动态数据表和AIS静态数据表进行AIS数据分析自动化预处理得到评估支撑数据；
智能评估单元用于构建港口资源智能化评估指标体系，并基于港口资源智能化评估指标体系对评估支撑数据进行港口资源智能化评估得到多指标评估结果；
可视化结果显示单元用于以图表展示各个指标评估结果，实现为定量评估港口水域布置规划方案提供数据支持。
数据预处理单元包括数据采集与清洗入库系统和命令清洗入库模块，数据采集与清洗模块用于将小批量多源AIS数据上传到清洗服务器，上传完成后自动执行清洗程序，将清洗后多源AIS数据存储到Hbase库的对应数据表中；
命令清洗入库模块用于通过FTP工具或者以拷贝方式将大批量多源AIS数据同步到清洗服务器，后通过清洗命令调用清洗程序，将清洗后多源AIS数据存储到Hbase库的对应数据表中。
与现有技术相比，本发明提出的技术方案中建立了失步映象区对象用于描述对应表对象的变化信息，仅用了较小的空间来记录变化，避免了开辟缓冲区来直接存储变化记录时的如何开辟缓冲区大小的难题。在这种机制下我们用较小的空间可以存储所有变化信息，从而避免因数据同步时数据丢失导致的掉话。
采用本发明网络处理器对数据流量进行限速的方法，在采用网络处理器的宽带接入服务器上，用FTP传文件分别对128K、256K、512K、1M、2M、4M、8M进行测试，结果表明，稳定在所限速率左右，误差较小。从试验的结果来看，采用该限速后，视频点播(VOD)的图像效果很好。基本满足了有需要限速的增值业务(如视频点播)的要求。本发明实现简单，限速有效，达到了应用的要求。
本发明实现AIS数据的多源融合、字段质素提升、可视化精准利用，研发AIS数据便捷批量处理、便捷获取的技术方法，同步研发的基于船舶AIS数据的港口资源智能化评估方法，可以为港口航道、锚地、泊位等资源的合理匹配、精准规划提供模块式的分析手段，实现港口基础设施利用情况的定量化评估，助力港口岸线资源的高效利用和合理优化。本发明方法研发的可视化系统，极大地降低了AIS数据在使用过程中的技术门槛，丰富业务人员的技术手段，提升AIS数据的使用频率，促进AIS数据在港口规划领域的广泛应用。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种基于AIS数据的港口资源可视化智能评估方法，其特征在于，包括以下步骤：
步骤S1、在评估系统的数据预处理单元将船舶档案数据、多源AIS数据依次进行清洗、融合、入库得到AIS数据库，以丰富AIS数据的特征属性；
步骤S2、在评估系统的可视化地图界面中框选出海域范围和输入时域范围，并在AIS数据库中下载得到海域范围在时域范围内的AIS动态数据表和AIS静态数据表，以实现AIS数据的可视化框选下载；
步骤S3、在评估系统的分析预处理单元依次上传AIS动态数据表和AIS静态数据表，并对AIS动态数据表和AIS静态数据表进行AIS数据分析自动化预处理得到评估支撑数据，所述评估支撑数据用于为港口资源智能化评估提供数据支持；
步骤S4、在评估系统的智能评估单元构建港口资源智能化评估指标体系，并基于港口资源智能化评估指标体系对评估支撑数据进行港口资源智能化评估得到多指标评估结果，再以图表展示各个指标评估结果，实现为定量评估港口水域布置规划方案提供数据支持。
2.根据权利要求1所述的一种基于AIS数据的港口资源可视化智能评估方法，其特征在于：所述将船舶档案数据、多源AIS数据依次进行清洗、融合、入库得到AIS数据库，包括：
对多源AIS数据进行错误/非法数据的过滤、单位转换、数据去重、数据抽稀、基础数据补全和结构转换，以实现多源AIS数据格式和单位的统一，并生成一次清洗日志；
将多源AIS数据中的MMSI字段与船舶档案数据进行匹配得到融合后的多源AIS数据，其中，
若在船舶档案数据中查询到MMSI字段的字段值，则将查询到MMSI字段的字段值替换多源AIS数据中MMSI字段处的字段值；
若在船舶档案数据中未查询到MMSI字段的字段值，则保留多源AIS数据中MMSI字段处的字段值；
将融合后的多源AIS数据进行无效值标记、重复点剔除、野点剔除，并生成二次清洗日志；
将融合后的多源AIS数据存储值评估系统的Hbase库生成AIS数据库，以利用分布式框架实现数据查询、检索和处理的高效性；
所述一次清洗日志和二次清洗日志中均包括清洗操作的记录日志和清洗过程的实时日志，所述清洗操作的记录日志记录清洗文件、清洗参数和清洗时间以用于数据重复清洗的检索判断，所述清洗过程的实时日志实时显示清洗进度、清洗速度和清洗错误以用于数据实时清洗的情况展示。
3.根据权利要求2所述的一种基于AIS数据的港口资源可视化智能评估方法，其特征在于：所述AIS动态数据表和AIS静态数据表的下载包括：
在AIS数据库中依据海域范围和时域范围检索出融合后的csv格式和txt格式的AIS动态数据表和AIS静态数据表，其中，所述AIS动态数据表和AIS静态数据表的文件名中包含表内数据的时域范围。
4.根据权利要求3所述的一种基于AIS数据的港口资源可视化智能评估方法，其特征在于：所述海域范围的框选包括对航道、锚地、靠离泊水域、回旋水域、连接水域的港口水域方位进行框选。
5.根据权利要求4所述的一种基于AIS数据的港口资源可视化智能评估方法，其特征在于：所述评估支撑数据包括锚地水域基础数据表、航道水域基础数据表、靠离泊水域基础数据表、回旋水域基础数据表、连接水域基础数据表、船舶在泊时间数据表、船舶到港时间数据表、进离港数据表。
6.根据权利要求5所述的一种基于AIS数据的港口资源可视化智能评估方法，其特征在于：所述港口资源智能化评估指标体系包括船舶航道航行阶段的评估指标、靠离泊阶段的评估指标、锚泊阶段的评估指标、船舶到港规律的评估指标以及船舶会遇态势的评估指标，其中，
所述船舶航道航行阶段的评估指标包括船舶进港时间规律、船舶出港时间规律、船舶典型运动轨迹、航道航行速度规律、船舶间距规律；
所述靠离泊阶段的评估指标包括靠离泊时间规律、靠离泊空间规律、船舶在泊时间规律、泊位利用率规律；
所述锚泊阶段的评估指标包括锚地船舶密度规律、船舶候泊时间规律；
所述船舶到港规律的评估指标包括日到港船舶数量规律、到港时间间隔规律、预计到港时间差规律；
所述船舶会遇态势的评估指标包括会遇密度规律、船舶会遇态势规律。
7.根据权利要求6所述的一种基于AIS数据的港口资源可视化智能评估方法，其特征在于，所述港口资源智能化评估包括：
将待评估港口的评估支撑数据与已评估港口的评估支撑数据进行相似性匹配，其中，
若待评估港口的评估支撑数据与已评估港口的评估支撑数据相似度高于或等于预设阈值，则将已评估港口在港口资源智能化评估指标体系中选取的评估指标组合作为待评估港口的推荐指标组合；
若待评估港口的评估支撑数据与已评估港口的评估支撑数据相似度低于预设阈值，则将已评估港口在港口资源智能化评估指标体系中选取的评估指标组合作为待评估港口的非推荐指标组合；
对待评价港口的所有推荐指标组合进行指标项的推荐度量化，所述推荐度的计算公式为：
Figure FDA0003702270070000031
式中，Pi为第i个指标项的推荐度，ni为包含第i个指标项的推荐指标组合数量，N为推荐指标组合的总数量；
将推荐指标组合中高于推荐度阈值的指标项作为推荐指标项，并将推荐指标项按推荐度进行顺序展示，以供待评估港口在勾选评估指标提供参照；
通过在港口资源智能化评估指标体系勾选评估指标，调用后台模型算法，进行计算和绘图得到待评估港口的多指标评估结果，再以图表展示待评估港口的各个指标评估结果。
8.根据权利要求7所述的一种基于AIS数据的港口资源可视化智能评估方法，其特征在于，所述港口资源智能化评估还包括：
若待评估港口无推荐指标组合，则对待评估港口的评估支撑数据进行PCA主成分分析得到评估支撑数据中每个数据项的贡献度；
将每个数据项的贡献度作为由所述数据项得到的港口资源智能化评估指标体系中评估指标的推荐度，并将高于推荐度阈值的评价指标作为推荐指标项，并将推荐指标项按推荐度进行顺序展示，以供待评估港口在勾选评估指标提供参照。
9.一种根据权利要求1-8任一项所述的基于AIS数据的港口资源可视化智能评估方法的评估系统，其特征在于，包括数据预处理单元、可视化地图界面单元、分析预处理单元、智能评估单元和可视化结果显示单元，其中，
所述数据预处理单元用于将船舶档案数据、多源AIS数据依次进行清洗、融合、入库得到AIS数据库，以丰富AIS数据的特征属性；
所述可视化地图界面单元用于提供可视化地图界面，以及在可视化地图界面中框选出海域范围和输入时域范围，并在AIS数据库中下载得到海域范围在时域范围内的AIS动态数据表和AIS静态数据表，以实现AIS数据的可视化框选下载；
所述分析预处理单元用于依次上传AIS动态数据表和AIS静态数据表，并对AIS动态数据表和AIS静态数据表进行AIS数据分析自动化预处理得到评估支撑数据；
所述智能评估单元用于构建港口资源智能化评估指标体系，并基于港口资源智能化评估指标体系对评估支撑数据进行港口资源智能化评估得到多指标评估结果；
所述可视化结果显示单元用于以图表展示各个指标评估结果，实现为定量评估港口水域布置规划方案提供数据支持。
10.根据权利要求9所述的评估系统，其特征在于，所述数据预处理单元包括数据采集与清洗入库系统和命令清洗入库模块，所述数据采集与清洗模块用于将小批量多源AIS数据上传到清洗服务器，上传完成后自动执行清洗程序，将清洗后多源AIS数据存储到Hbase库的对应数据表中；
所述命令清洗入库模块用于通过FTP工具或者以拷贝方式将大批量多源AIS数据同步到清洗服务器，后通过清洗命令调用清洗程序，将清洗后多源AIS数据存储到Hbase库的对应数据表中。
CN202210696144.XA 2022-06-20 2022-06-20 一种基于ais数据的港口资源可视化智能评估方法及系统 Pending CN114969014A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210696144.XA CN114969014A (zh) 2022-06-20 2022-06-20 一种基于ais数据的港口资源可视化智能评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210696144.XA CN114969014A (zh) 2022-06-20 2022-06-20 一种基于ais数据的港口资源可视化智能评估方法及系统

Publications (1)

Publication Number Publication Date
CN114969014A true CN114969014A (zh) 2022-08-30

Family

ID=82963700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210696144.XA Pending CN114969014A (zh) 2022-06-20 2022-06-20 一种基于ais数据的港口资源可视化智能评估方法及系统

Country Status (1)

Country Link
CN (1) CN114969014A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115545433A (zh) * 2022-09-22 2022-12-30 中远海运科技股份有限公司 一种船舶航段进度计算方法与系统
CN116843092A (zh) * 2023-09-01 2023-10-03 山东科技大学 多源数据支持下的船舶航程od信息提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814367A (zh) * 2020-06-04 2020-10-23 武汉理工大学 港口船舶排放监测监管云服务系统
CN112862321A (zh) * 2021-02-08 2021-05-28 国家海洋信息中心 一种基于ais大数据的海运统计系统及其统计方法
EP3879468A1 (en) * 2020-03-10 2021-09-15 Jakota Cruise Systems GmbH Method and system for forecasting terminal congestion in seaports

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3879468A1 (en) * 2020-03-10 2021-09-15 Jakota Cruise Systems GmbH Method and system for forecasting terminal congestion in seaports
CN111814367A (zh) * 2020-06-04 2020-10-23 武汉理工大学 港口船舶排放监测监管云服务系统
CN112862321A (zh) * 2021-02-08 2021-05-28 国家海洋信息中心 一种基于ais大数据的海运统计系统及其统计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115545433A (zh) * 2022-09-22 2022-12-30 中远海运科技股份有限公司 一种船舶航段进度计算方法与系统
CN116843092A (zh) * 2023-09-01 2023-10-03 山东科技大学 多源数据支持下的船舶航程od信息提取方法

Similar Documents

Publication Publication Date Title
Miah et al. A big data analytics method for tourist behaviour analysis
Zheng et al. Visual analytics in urban computing: An overview
CN114969014A (zh) 一种基于ais数据的港口资源可视化智能评估方法及系统
US11698261B2 (en) Method, apparatus, computer device and storage medium for determining POI alias
US9824463B2 (en) Methods and systems for providing mapping, data management, and analysis
CN112347222B (zh) 一种基于知识库推理的将非标准地址转换为标准地址的方法及系统
CN109599114A (zh) 语音处理方法、存储介质和装置
JP4950508B2 (ja) 施設情報管理システム、施設情報管理装置、施設情報管理方法および施設情報管理プログラム
Atzmueller et al. Exploratory pattern mining on social media using geo-references and social tagging information
Touya et al. ScaleMaster 2.0: a ScaleMaster extension to monitor automatic multi-scales generalizations
Yahia et al. A new approach for evaluation of data mining techniques
CN116108059B (zh) 地理测绘分幅矢量数据单体化方法、装置及电子设备
CN113656647A (zh) 一种面向智能运维的工程档案数据管理平台、方法及系统
CN111191133A (zh) 业务搜索处理方法、装置及设备
CN114661744B (zh) 一种基于深度学习的地形数据库更新方法及系统
CN110516259A (zh) 一种技术关键词的识别方法、装置、计算机设备和存储介质
CN113377886A (zh) 一种生产建设项目水土保持监管外业调查方法
CN113449066B (zh) 利用知识图谱来存储文物数据的方法、处理器及存储介质
CN114297516A (zh) 一种基于知识图谱的事件发现与展现方法及系统
Ma et al. GTMapLens: Interactive lens for geo‐text data browsing on map
CN117171355A (zh) 一种文化基因知识图谱的构建方法及装置
CN116450776A (zh) 基于知识图谱的油气管网法律法规及技术标准检索系统
CN104978623A (zh) 个人信息管理服务系统
CN112215260A (zh) 一种电网培训资源分类更新方法及系统
Bouattou et al. Multi-agent system approach for improved real-time visual summaries of geographical data streams

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination