CN115017246A - 一种面向船舶智能航行的全息航行场景图系统和构建方法 - Google Patents
一种面向船舶智能航行的全息航行场景图系统和构建方法 Download PDFInfo
- Publication number
- CN115017246A CN115017246A CN202210597090.1A CN202210597090A CN115017246A CN 115017246 A CN115017246 A CN 115017246A CN 202210597090 A CN202210597090 A CN 202210597090A CN 115017246 A CN115017246 A CN 115017246A
- Authority
- CN
- China
- Prior art keywords
- scene
- data
- ship
- navigation
- elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/387—Organisation of map data, e.g. version management or database structures
- G01C21/3878—Hierarchical structures, e.g. layering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2264—Multidimensional index structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种面向船舶智能航行的全息航行场景图系统和构建方法,针对当前电子航道图数据更新慢,无法表达各种水上交通要素的深度关联,难以满足智能航行的信息服务需求等问题,通过泛在感知手段实时或近似实时获取航行场景的全要素信息,在地理空间上获取与航行有关的气象水文信息、交通信息等,并通过语义位置关联场景要素信息,实现了面向船舶航行任务自适应提供多维动态服务的功能。本发明根据船舶的应用需求,以对象位置为纽带集成和关联与船舶行为和活动相关的通航环境、水上交通对象的泛在信息,并将泛在信息关联到多维动态场景中进行汇聚、分析、传递、表达和应用,满足了智能航行的信息服务需求。
Description
技术领域
本发明属于全息航行场景技术领域,具体涉及一种面向船舶智能航行的全息航行场景图系统和构建方法。
背景技术
传统地图学采用多层地理数据组合的方式,基于拓扑关系或者空间实体数据模型进行地理空间的组织与存储,以科学的符号系统和地理语言来表达各个地理要素的空间结构与关系。随着信息化和大数据时代的到来,传统地图学的建模要素、信息计算与表达形式难以满足未来地学的表达和分析需求。各类信息彼此独立形成“数据孤岛”,缺乏一种可高效利用泛在信息的载体,对多源异构的时空数据进行整合、关联与管理,并根据不同的场景需求采取合理的方式来表达。地图作为地图学的一类典型产品,已成为人们日常生活中不可或缺的出行工具,其主要用户是人类。另一方面,面向自动驾驶汽车、服务机器人等对象的机器地图也正成为当前的研究热点,向着高精度化、智能化方向发展。
在航海领域,目前电子海图或航道图主要服务于驾引人员,为船舶定位、路径规划提供水深、障碍物等丰富的地理信息。人类依靠自身的认知智能,即可清晰地了解航行所需的各类静态与动态信息。国内外学者对于电子海图的应用开展了大量的研究。Tsou M C提出一种可基于电子海图显示与信息系统(electronic chart display and informationsystem,ECDIS)进行船舶的避碰路线规划的方法,该方法可同时避免多船避碰和避障。不同于以往的结合纸质版海图和潮汐表以获取水深的方式,杜佳芸提出采用FVCOM(FiniteVolume Coast and Ocean Model)潮汐数值模式和余水位(Residual water level)相结合的方法,实现高精度的水深解算服务。张尚弘等开发了基于三维虚拟现实与网络数据库技术的数字航道系统平台,如图1所示,平台采用基于共享内存模式(OpenMP)的二维水动力学模型、基于纹理的流场可视化软件,提升了水流计算效率与显示精度。潘明阳等结合NASA的开源虚拟地球World Wind和电子航道图技术,开展了空间信息融合的多维数字航道模型与Web多维数字航道监控平台研究,提升了船舶、航标和水位等要素实时监控与管理能力。
对于船舶智能航行,全息航行场景图的作用主要体现在以下几个方面:
(1)作为智能船舶的长周期记忆,为船舶智能航行提供先验信息。与船载传感器相比,全息航行场景图不受天气环境、障碍物、作用距离等限制,为智能船舶提供安全冗余。同时场景图可以为船舶加减速、压载等决策提供先验信息。
(2)汇聚船舶航行任务相关的所有信息,完备地描述航行场景中的各类要素,是实现航行场景机器认知的重要途径。场景图不仅包括交通对象的空间位置和几何信息,还有对象本身的属性、对象相互之间的关系等语义信息。
(3)相对于传统的电子海图,全息航行场景图可以满足智能航行决策所需的信息实时性、丰富度、精度和安全性需求,面向航行任务,为用户(人或机器)提供自适应、定制化的个性服务,是船岸协同环境下智能航行的重要载体。
发明内容
本发明要解决的技术问题是:提供一种面向船舶智能航行的全息航行场景图系统和构建方法,用于面向船舶航行任务自适应提供多维动态服务。
本发明为解决上述技术问题所采取的技术方案为:
一种用于智能航行方法的全息航行场景图系统,系统的模型从底层到顶层依次包括物标层、信息层、要素层、对象层、场景层和决策层;系统的硬件包括数据采集模块、数据处理模块、数据存储模块和数据服务模块;数据采集模块包括航道感知系统,用于通过泛在感知在线实时监测航行场景,采集航行场景的要素,构建组成物标层、信息层、要素层的信息;数据处理模块用于通过统一时空参考、分类并提取要素、建立对象、构成对象行为和场景、形成场景决策知识、多维动态表达场景来处理收到的数据;数据处理模块包括授时模块,用于统一各个设备的时间基准;存储模块包括数据库系统,用于快速处理与发布航行场景的大数据;数据服务模块采用基于K8S的全息航行场景图的微服务系统,用于管理全息航行场景图基础数据、可视化呈现航行场景数据、检索航道要素信息、动态推送内河航道交通数据;数据服务模块包括航道综合管理系统、通航安全预警系统、主机网络与信息安全系统;航道综合管理系统用于集成各类航道运行状态信息;通航安全预警系统用于保证船舶航行作业安全。
按上述方案,航道感知系统包括倾斜摄影、高清视频或红外摄像头及其附属设备、激光雷达、毫米波雷达、水位观测仪、流向观测仪、流速观测仪、水下多波束测深系统、气象观测仪、能见度仪和船舶AIS设备。
按上述方案,航行场景的要素包括时间、空间、对象、事物、现象和事件,在航行场景中用于反映水上交通对象与水上交通事件的空间分异、演化过程和相互作用关系;要素分为静态要素和动态要素;
静态要素包括航道要素、岸基环境要素和通航设施要素;航道要素中的水下三维地形和水深数据通过水下多波束测深系统获取;岸基环境要素中的包括岸线、桥梁、岸上显著物标的岸基环境实景数据通过摄像头采集;通航设施要素中的包括泊位、锚地分布及其尺度通过电子航道图和数据库集成获取;
动态要素包括交通要素、气象要素和水文要素;交通要素包括区域交通密度、船舶位置、航向和航速数据,通过AIS或千寻、摄像头、激光雷达、毫米波雷达采集;有AIS的船舶采用AIS获取其状态信息;无AIS的船舶及其他动态物标通过岸基传感设备上的激光雷达和毫米波雷达进行探测,并将生成的三维点云数据经处理后叠加到电子江图上实现动态物标的更新;气象要素包括温度、湿度、风向、风速、气压、降水量和能见度,通过气象观测仪和能见度仪采集;水文要素包括航道水位、流向和流速,分别通过水位观测仪、流向观测仪和流速观测仪采集;
物标层包括要素的特征物标和空间物标,包括物标的点、线、面;信息层包括要素的静态属性数据和动态属性数据;要素层包括当前场景中要素的类型、属性和分布。
一种基于全息航行场景图系统的构建方法,包括以下步骤:
S0:搭建用于智能航行的全息航行场景图系统,系统的模型从底层到顶层依次包括物标层、信息层、要素层、对象层、场景层和决策层;系统的硬件包括数据采集模块、数据处理模块、数据存储模块和数据服务模块;数据采集模块包括航道感知系统;数据处理模块包括授时模块;数据存储模块包括数据库系统;数据服务模块采用基于K8S的全息航行场景图的微服务系统;数据服务模块包括航道综合管理系统、通航安全预警系统、主机网络与信息安全系统;
S1:数据采集模块通过基础设施感知网、信息网、服务网获得航行场景的在线实时监测数据,按物标层、信息层、要素层的图层形式建立系统的组织架构;
S2:数据处理模块通过统一时空参考、分类并提取要素、建立对象、构成对象行为和场景、形成场景决策知识、多维动态表达场景来处理收到的数据;
S3:数据存储模块采用ClickHouse的列式存储与数据压缩方式存储数据,使用关系模型描述数据表达船舶轨迹数据的各个属性间的平行关系,设置多主键与多级索引优化区域查询的速度;利用H3六边形分层网格索引方法,提出船舶轨迹数据存储方法并设计数据存储模式,计算任意经纬度所在的H3网格编码值减少数据的扫描量;
S4:数据服务模块基于全息航行场景图,管理全息航行场景图基础数据、可视化呈现航行场景数据、检索航道要素信息、动态推送内河航道交通数据。
进一步的,所述的步骤S2中,统一时空参考的具体步骤为:
S201:授时模块向支持外部触发采样的传感器发送相同的时间基准,统一时间坐标系统;对于不支持外部触发采样的传感器,当工作频率不一致时,对非同步采样结果进行插值或外推,实现软件层面上的时间对齐;
S202:将物体在空间和时间的位置、姿态以解析的形式表示为空间坐标;在三维空间坐标系中用三个正交轴X,Y,Z表示物体的位置,围绕这三个正交轴的旋转角度,包括横滚角roll、俯仰角pitch和偏航角yaw表示物体的姿态;空间坐标系包括船舶的随船坐标系、岸基传感器的局部坐标系和基于大地坐标的世界坐标系;静态要素用大地坐标系表示;动态要素按不同的应用场景采用不同的坐标系表达。
进一步的,所述的步骤S2中,分类并提取要素的具体步骤为:
S203:根据采集得到的场景数据要素和水上交通场景的特点,基于位置划分不同的典型场景种类;典型的位置场景种类包括开阔水域、航道、桥区、锚地、泊位、船闸水域;
S204:将场景图要素进一步划分为具体的船舶航行任务或功能场景为:船岸触碰预警、船桥触碰预警、障碍物预警、搁浅预警、船舶碰撞预警、航道中心线提示、船舶拖底提示、辅助靠离泊、辅助过闸、感知增强、分道级航路规划和航速优化;
S205:设置随船舶航行移动的滑动窗口,在船舶航行时仅提取滑动窗口范围内的要素对象;窗口为包含船舶周围一定水域范围内的矩形,矩形的尺寸在常规航速下按照船舶领域的长度和宽度进行设置,并根据船舶速度的大小动态调节,船舶速度越大,滑动窗口的面积越大;
船舶在执行不同的航行任务时关注的场景要素不同;在进行航线规划时关注关键的转向点、水深和桥梁净高;沿航道航行时关注远处前方的船舶动态;与他船形成会遇局面时关注构成碰撞危险的船舶动态;靠岸离泊时关注本船的动态、泊位位置和水流要素信息;
根据航行任务的需要,重新组织滑动窗口内汇聚后的数据,提取与航行任务相关的关键要素,实现任务与关注要素的自动化匹配;
S206:根据船舶航行位置变化不断更新场景图数据,告知船舶的自动驾驶系统当前所处的位置和附近的场景信息。
进一步的,所述的步骤S2中,建立对象的具体步骤为:
S207:融合提取后的信息;融合船舶的包括位置、航向和速度的动态信息,用于对船舶进行高精度定位;融合包括GNSS、点云和图像的数据,用于对场景中的包括岸基、桥梁、水面、船舶、航标和障碍物的元素进行识别;
S208:将要素与属性组合形成对象;根据要素中的类,将要素与属性进行封装或者将要素与要素进行组合,形成水上交通场景中的对象;从要素的不同图层中抽取同一对象的各种属性,绑定要素与属性,形成对该对象的语义描述。
进一步的,所述的步骤S2中,构建对象行为和场景的具体步骤为:
S209:将水上交通场景中对象与对象之间的关系分为空间关系、时间关系和语义关系,构建对象行为;
针对连续作用的动态行为,采用动力学模型表达和描述时空对象的动态变化;
针对离散作用的动态行为,采用规则集合表达行为的控制和执行过程;
S210:构建场景;组合对象和行为构成水上交通场景,使用图模型对重构后的水上交通场景数据进行组织和管理;图模型采用节点、关系和标签来代表对象及对象之间的各种关联关系,并以图结构的形式进行表示;将水上交通场景中的场景对象、实体对象和事件统一映射为节点,所有节点集成了包括空间参考、空间范围、时间信息、属性集、行为信息的基本属性;实体对象节点还包含了实体所持有的交通数据的数据集属性,将数据集本身也作为一个数据节点进行存储;事件对象节点还记录了参与实体、参与实体的演化过程及对事件起到的作用描述。
进一步的,所述的步骤S2中,形成场景决策知识的具体步骤为:
S211:针对不同的对象和行为的组合情形,对每一水上交通规则场景中具有指定行为与属性的船舶对象进行角色辨识,并基于本体的推理与查询机制,对每一船舶应执行的操作进行语义查询与推理,形成特定场景下具有特定行为与属性的规则知识图谱。
进一步的,所述的步骤S2中,多维动态表达场景的具体步骤为:
S212:根据不同的水上交通对象的属性、行为和与其他对象的相互关系建立用户模型,定制满足不同需求的可视化场景图模板,实现在有限的场景图空间中,自适应用户的场景图表达,基于位置高效地关联和表达满足应用场景需求的信息;
S213:提取与航行相关的对象及其属性的相关信息,自动进行不同粒度的计算与可视化表达。
本发明的有益效果为:
1.本发明的一种面向船舶智能航行的全息航行场景图系统和构建方法,针对当前电子航道图数据更新慢,无法表达各种水上交通要素的深度关联,难以满足智能航行的信息服务需求等问题,通过泛在感知手段实时或近似实时获取航行场景的全要素信息,在地理空间上获取与航行有关的气象水文信息、交通信息等,并通过语义位置关联场景要素信息,实现了面向船舶航行任务自适应提供多维动态服务的功能。
2.本发明根据船舶的应用需求,以位置为纽带集成和关联与船舶行为和活动相关的通航环境、水上交通对象的泛在信息,并将泛在信息关联到多维动态场景中进行汇聚、分析、传递、表达和应用。
3.本发明提供面向对象的高精度导航定位、航路规划、航行决策等功能的智能服务,满足了智能航行的信息服务需求。
附图说明
图1是本发明实施例的基本要素图。
图2是本发明实施例的特征图。
图3是本发明实施例的架构图。
图4是本发明实施例的原理框图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
参见图4,本发明的实施例包括数据采集模块、数据处理模块、数据存储模块和数据服务模块。
1、数据采集
数据采集模块用于借助基础设施感知网、信息网、服务网,获得在线实时监测数据,提升内河全息航行场景泛在信息的时效性、真实性。场景图系统包括:包含CCTV、雷达等各类传感器的航道感知系统、集成各类航道运行状态信息的航道综合管理系统、保证船舶航行作业安全的通航安全预警系统,以及数据库系统、主机网络与信息安全系统等。需要的传感设备与手段包含:倾斜摄影、高清视频/红外摄像头及其附属设备、激光雷达、小型相控阵雷达、水位观测仪、流速观测仪、气象观测仪、能见度仪以及船舶AIS设备。
通过泛在感知手段采集的数据分为场景静态数据和动态数据。静态的航行场景数据及其采集手段包括:航道要素、岸基环境要素和通航基础设施要素。
1)航道要素中的水下三维地形以及水深数据通过水下多波束测深系统获取;
2)岸基环境要素中如岸线、桥梁、岸上显著物标等岸基环境实景数据,由摄像头采集;
3)通航设施要素如泊位、锚地分布及其尺度等,由电子航道图和数据库集成获取。
无人机搭载多台视觉传感器,同时从一个垂直、四个倾斜等五个不同的角度采集影像,获取到航道附近区域的水上地物情况。然后经过定位、融合、建模生成真实的三维水上环境模型。将水下地形与水上环境模型融合,实现水上与水下静态环境的三维重构。
动态的航行场景数据及其采集手段主要有:
1)交通要素:区域交通密度、船舶位置、航向、航速数据。由用AIS/千寻、摄像头、激光雷达、毫米波雷达采集。对于有AIS的船舶,采用AIS获取其状态信息。对于无AIS的船舶及其他动态物标,岸基传感设备上的激光雷达和毫米波雷达对区域内的动态物标进行探测,生成的三维点云数据经处理后叠加到电子江图上,实现动态物标的更新。
2)气象要素:温度、湿度、风向、风速、气压、降水量、能见度等。由六要素自动气象站以及能见度仪采集。
3)水文要素:航道水位、流向、流速。由水位、流向、流速观测仪采集。
数据收集完成后,以图3架构中物标层、信息层和要素层的图层形式进行组织。物标层是指各类要素的特征物标和空间物标,包括物标的点、线、面。信息层是指各类要素的静态和动态属性数据。要素层是指当前场景中各类要素的类型、属性及其分布。
图3中对象层及以上的信息在数据处理模块中进行。
2.数据处理
(1)统一时空参考
时间坐标系为一维时间坐标系。场景图系统中有多个传感器、一般具有自己的独立的时钟,为建立统一的时间坐标系统,使得各个设备有相同的时间基准,在硬件上配备一个高精度授时系统。对于不支持外部触发进行采样的传感器,当其工作频率也不一致时,对非同步采样结果进行插值或外推,实现软件层面上的时间对齐。
空间坐标是用解析的形式(坐标)把物体在空间和时间的位置、姿态表示出来。一般三维空间坐标系用三个正交轴X,Y,Z表示物体的位置,用绕这三个正交轴的旋转角度(roll横滚角,pitch俯仰角,yaw偏航角)表示物体的姿态。场景图系统中的空间坐标系有船舶的随船坐标系、岸基传感器的局部坐标系(如岸基雷达的坐标系),以及基于大地坐标的世界坐标系。在实际应用中,为获取船舶与其他对象的空间方位关系与距离关系,需要统一空间坐标系,将不同的坐标系关联起来,并建立相关之间的转换关系。航道要素、岸基环境要素、通航设施要素等静态要素用大地坐标系表示;而动态交通要素按照不同的应用场景可采用不同的坐标系表达,如船A被岸基雷达探测到,采用岸基雷达的局部坐标系标定船A的位置;当船B需要本船与船A的空间关系时,则需要将船A投影到船B的随船坐标系中进行表达;当需要获取船A、船B与附近其他交通对象的空间关系时,需要将它们三者的位置和姿态通过转换关系转换到统一的大地坐标系中进行表达。
(2)要素分类与提取
1)根据采集得到的6大类场景数据要素和水上交通场景的特点,基于位置划分不同场景下的场景图要素种类。其中不同位置的场景主要包含:开阔水域、航道、桥区、锚地、泊位、船闸水域。
2)由于相同位置下仍然存在诸多类型的交通场景,难以实现位置场景下的迅速提取,因此需要进一步划分具体的船舶航行任务或功能场景。将船舶智能航行功能场景划分为:船岸触碰预警、船桥触碰预警、障碍物预警、搁浅预警、船舶碰撞预警、航道中心线提示、船舶拖底提示、辅助靠离泊、辅助过闸、感知增强、分道级航路规划与航速优化。
3)设置随船舶航行而移动的滑动窗口,窗口为包含船舶周围一定水域范围内的矩形,常规航速下可按照船舶领域的长度和宽度进行设置,并根据船舶速度的大小动态调节,当船舶速度较大时,适当加大滑动窗口的面积。在船舶航行时仅提取滑动窗口范围内的要素对象。此外,船舶在执行不同的航行任务时所关注的场景要素有所不同。根据航行任务的需要,对滑动窗口内汇聚后的数据进行重新组织,提取与航行任务相关的关键要素。在进行航线规划时、只需关注关键的转向点、水深以及桥梁净高等;沿航道航行时,船舶关注的视野范围更远,主要关注远处前方的船舶动态等;在与他船形成会遇局面时,则需要关注构成碰撞危险的船舶动态;在靠离泊时,则主要关注本船的动态、泊位位置、水流等要素信息。因此面向不同的航行任务,需要从汇聚的数据中抽取关键信息,过滤冗余信息,实现任务与关注要素的自动化匹配。
通过在船舶周围设置滑动窗口,根据船舶航行位置变化不断更新场景图数据,从而告知自动驾驶系统当前船舶处于何种位置以及该位置附近的场景信息。
(3)对象建立
提取后的信息融合。滑动窗口内的要素数据多源异构,需要对数据进行不同级别的融合,确保信息的可靠性。主要面向1)船舶位置、航向、速度等动态信息的融合,实现船舶的高精度定位;2)融合GNSS、点云、图像等数据,进行场景中岸基、桥梁、水面、船舶、航标、障碍物等元素的识别。
要素与属性的组合形成对象。根据要素中的类,将要素与属性进行封装或者要素与要素进行组合,形成水上交通场景中的对象。即从要素的不同图层中抽取同一对象的各种属性,将要素与属性进行绑定,形成该对象的语义描述。如航道的边界线、水深等属性是在不同图层上进行表示,而在对象层中,航道物标本身、航道的边界线、水深等一系列属性共同构成了航道这一个对象。
(4)对象行为和场景的构成
将水上交通场景中对象与对象之间的关系分为空间关系、时间关系、以及语义关系。行为主要体现对象属性和关系的变化。针对连续作用的动态行为,采用动力学模型来表达和描述时空对象的动态变化,例如气象和水文实体,可以构建相应的场模式进行变化表征;针对离散作用的动态行为,采用规则集合来表达行为的控制和执行过程,例如通航设施实体,可以通过规则检测识别状态变化;针对作用过程未知但有大量历史样本数据的动态行为,则引入统计分析和数据挖掘方法对历史数据进行时序模式挖掘,识别特定的行为及行为序列,建立行为与内在属性的变化关系,例如船舶实体,可以通过历史轨迹模式挖掘来识别特定的航行路线和航行特征。
场景的构成。对象和行为的组合构成了水下交通场景,使用图模型对重构后的水上交通场景数据进行组织和管理。图模型采用节点、关系和标签来代表对象及对象之间的各种关联关系,并以图结构的形式进行表示。水上交通场景中的场景对象、实体对象和事件统一映射为节点,所有节点集成了空间参考、空间范围、时间信息、属性集、行为信息等基本属性;实体对象节点还包含了实体所持有的交通数据的数据集属性,数据集本身也作为一个数据节点进行存储;事件对象节点还记录了参与实体、参与实体的演化过程及对事件起到的作用描述。
(5)场景决策知识的形成
针对不同的对象和行为的组合情形,对每一水上交通规则场景中具有指定行为与属性的船舶对象进行角色辨识,并基于本体的推理与查询机制,对每一船舶应执行的操作进行语义查询与推理,形成特定场景下具有特定行为与属性的规则知识图谱。当输入岸基环境、航道条件、水文气象、船舶动态等信息后,智能船基于知识图谱的查询与推理功能,实现规则中的场景类型识别以及行为决策功能。
(6)场景的多维动态表达
1)多视角切换:在有限的场景图空间中,基于位置高效地关联和表达满足应用场景需求的信息。面向船舶航行,提供给船员和远程驾控人员以航行视角;面向航道监管,提供给监管人员以“上帝视角”。面向不同的水上交通对象,针对其属性、行为以及与其他对象的相互关系,建立用户模型,定制满足不同需求的场景图可视化模板,实现自适应用户的场景图表达。
2)自适应。全息航行场景图的使用对象包含了自主船舶,船舶航行场景复杂多样,为满足不同自动化程度的船舶在不同场景下的航行需求,场景图智能提取与航行相关的对象及其属性等相关信息,然后自动进行不同粒度的计算与可视化表达。例如,良好天气条件时船舶航行于开阔水域这一场景,船舶主要关注远方的船舶等对象,只需要进行粗粒度计算,且海图范围与雷达量程相应会自动调整为较大级别。
3.数据存储
数据存储模块主要是航行场景大数据快速处理与发布,针对船舶动态数据的高频性、海量性与多维性,面向船舶轨迹数据的查询需求,利用ClickHouse独有的列式存储与数据压缩特性,有效减少数据扫描范围和数据传输时的大小,使用关系模型描述数据来表达船舶轨迹数据各个属性间的平行关系,设置多主键与多级索引优化区域查询的速度;利用H3六边形分层网格索引方法,提出船舶轨迹数据存储方法并设计数据存储模式,计算出任意经纬度所在的H3网格编码值,从而减少数据的扫描量。
4.数据服务
数据服务模块是基于K8S的全息航行场景图的微服务系统,实现对全息航行场景图基础数据管理、航行场景数据可视化呈现、航道要素信息检索服务、内河航道交通数据动态推送等功能。
以上实施例仅用于说明本发明的设计思想和特点,其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施,本发明的保护范围不限于上述实施例。所以,凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰,均在本发明的保护范围之内。
Claims (10)
1.一种面向船舶智能航行的全息航行场景图系统,其特征在于:系统的模型从底层到顶层依次包括物标层、信息层、要素层、对象层、场景层和决策层;系统的硬件包括数据采集模块、数据处理模块、数据存储模块和数据服务模块;
数据采集模块包括航道感知系统,用于通过泛在感知在线实时监测航行场景,采集航行场景的要素,构建组成物标层、信息层、要素层的信息;
数据处理模块用于通过统一时空参考、分类并提取要素、建立对象、构成对象行为和场景、形成场景决策知识、多维动态表达场景来处理收到的数据;数据处理模块包括授时模块,用于统一各个设备的时间基准;
数据存储模块包括数据库系统,用于快速处理与发布航行场景的大数据;
数据服务模块采用基于K8S的全息航行场景图的微服务系统,用于管理全息航行场景图基础数据、可视化呈现航行场景数据、检索航道要素信息、动态推送内河航道交通数据;数据服务模块包括航道综合管理系统、通航安全预警系统、主机网络与信息安全系统;航道综合管理系统用于集成各类航道运行状态信息;通航安全预警系统用于保证船舶航行作业安全。
2.根据权利要求1所述的一种面向船舶智能航行的全息航行场景图系统,其特征在于:
航道感知系统包括倾斜摄影、高清视频或红外摄像头及其附属设备、激光雷达、毫米波雷达、水位观测仪、流向观测仪、流速观测仪、水下多波束测深系统、气象观测仪、能见度仪和船舶AIS设备。
3.根据权利要求1所述的一种面向船舶智能航行的全息航行场景图系统,其特征在于:
航行场景的要素包括时间、空间、对象、事物、现象和事件,在航行场景中用于反映水上交通对象与水上交通事件的空间分异、演化过程和相互作用关系;要素分为静态要素和动态要素;
静态要素包括航道要素、岸基环境要素和通航设施要素;航道要素中的水下三维地形和水深数据通过水下多波束测深系统获取;岸基环境要素中的包括岸线、桥梁、岸上显著物标的岸基环境实景数据通过摄像头采集;通航设施要素中的包括泊位、锚地分布及其尺度通过电子航道图和数据库集成获取;
动态要素包括交通要素、气象要素和水文要素;交通要素包括区域交通密度、船舶位置、航向和航速数据,通过AIS或千寻、摄像头、激光雷达、毫米波雷达采集;有AIS的船舶采用AIS获取其状态信息;无AIS的船舶及其他动态物标通过岸基传感设备上的激光雷达和毫米波雷达进行探测,并将生成的三维点云数据经处理后叠加到电子江图上实现动态物标的更新;气象要素包括温度、湿度、风向、风速、气压、降水量和能见度,通过气象观测仪和能见度仪采集;水文要素包括航道水位、流向和流速,分别通过水位观测仪、流向观测仪和流速观测仪采集;
物标层包括要素的特征物标和空间物标,包括物标的点、线、面;信息层包括要素的静态属性数据和动态属性数据;要素层包括当前场景中要素的类型、属性和分布。
4.一种用于权利要求1至3中任意一项所述的面向船舶智能航行的全息航行场景图系统的构建方法,其特征在于:包括以下步骤:
S0:搭建用于智能航行的全息航行场景图系统,系统的模型从底层到顶层依次包括物标层、信息层、要素层、对象层、场景层和决策层;系统的硬件包括数据采集模块、数据处理模块、数据存储模块和数据服务模块;数据采集模块包括航道感知系统;数据处理模块包括授时模块;数据存储模块包括数据库系统;数据服务模块采用基于K8S的全息航行场景图的微服务系统;数据服务模块包括航道综合管理系统、通航安全预警系统、主机网络与信息安全系统;
S1:数据采集模块通过基础设施感知网、信息网、服务网获得航行场景的在线实时监测数据,按物标层、信息层、要素层的图层形式建立系统的组织架构;
S2:数据处理模块通过统一时空参考、分类并提取要素、建立对象、构成对象行为和场景、形成场景决策知识、多维动态表达场景来处理收到的数据;
S3:数据存储模块采用ClickHouse的列式存储与数据压缩方式存储数据,使用关系模型描述数据表达船舶轨迹数据的各个属性间的平行关系,设置多主键与多级索引优化区域查询的速度;利用H3六边形分层网格索引方法,提出船舶轨迹数据存储方法并设计数据存储模式,计算任意经纬度所在的H3网格编码值减少数据的扫描量;
S4:数据服务模块基于全息航行场景图,管理全息航行场景图基础数据、可视化呈现航行场景数据、检索航道要素信息、动态推送内河航道交通数据。
5.根据权利要求4所述的构建方法,其特征在于:所述的步骤S2中,统一时空参考的具体步骤为:
S201:授时模块向支持外部触发采样的传感器发送相同的时间基准,统一时间坐标系统;对于不支持外部触发采样的传感器,当工作频率不一致时,对非同步采样结果进行插值或外推,实现软件层面上的时间对齐;
S202:将物体在空间和时间的位置、姿态以解析的形式表示为空间坐标;在三维空间坐标系中用三个正交轴X,Y,Z表示物体的位置,围绕这三个正交轴的旋转角度,包括横滚角roll、俯仰角pitch和偏航角yaw表示物体的姿态;空间坐标系包括船舶的随船坐标系、岸基传感器的局部坐标系和基于大地坐标的世界坐标系;静态要素用大地坐标系表示;动态要素按不同的应用场景采用不同的坐标系表达。
6.根据权利要求4所述的构建方法,其特征在于:所述的步骤S2中,分类并提取要素的具体步骤为:
S203:根据采集得到的场景数据要素和水上交通场景的特点,基于位置划分不同的典型场景种类;典型的位置场景种类包括开阔水域、航道、桥区、锚地、泊位、船闸水域;
S204:将场景图要素进一步划分为具体的船舶航行任务或功能场景为:船岸触碰预警、船桥触碰预警、障碍物预警、搁浅预警、船舶碰撞预警、航道中心线提示、船舶拖底提示、辅助靠离泊、辅助过闸、感知增强、分道级航路规划和航速优化;
S205:设置随船舶航行移动的滑动窗口,在船舶航行时仅提取滑动窗口范围内的要素对象;窗口为包含船舶周围一定水域范围内的矩形,矩形的尺寸在常规航速下按照船舶领域的长度和宽度进行设置,并根据船舶速度的大小动态调节,船舶速度越大,滑动窗口的面积越大;
船舶在执行不同的航行任务时关注的场景要素不同;在进行航线规划时关注关键的转向点、水深和桥梁净高;沿航道航行时关注远处前方的船舶动态;与他船形成会遇局面时关注构成碰撞危险的船舶动态;靠岸离泊时关注本船的动态、泊位位置和水流要素信息;
根据航行任务的需要,重新组织滑动窗口内汇聚后的数据,提取与航行任务相关的关键要素,实现任务与关注要素的自动化匹配;
S206:根据船舶航行位置变化不断更新场景图数据,告知船舶的自动驾驶系统当前所处的位置和附近的场景信息。
7.根据权利要求4所述的构建方法,其特征在于:所述的步骤S2中,建立对象的具体步骤为:
S207:融合提取后的信息;融合船舶的包括位置、航向和速度的动态信息,用于对船舶进行高精度定位;融合包括GNSS、点云和图像的数据,用于对场景中的包括岸基、桥梁、水面、船舶、航标和障碍物的元素进行识别;
S208:将要素与属性组合形成对象;根据要素中的类,将要素与属性进行封装或者将要素与要素进行组合,形成水上交通场景中的对象;从要素的不同图层中抽取同一对象的各种属性,绑定要素与属性,形成对该对象的语义描述。
8.根据权利要求4所述的构建方法,其特征在于:所述的步骤S2中,构建对象行为和场景的具体步骤为:
S209:将水上交通场景中对象与对象之间的关系分为空间关系、时间关系和语义关系,构建对象行为;
针对连续作用的动态行为,采用动力学模型表达和描述时空对象的动态变化;
针对离散作用的动态行为,采用规则集合表达行为的控制和执行过程;
S210:构建场景;组合对象和行为构成水上交通场景,使用图模型对重构后的水上交通场景数据进行组织和管理;图模型采用节点、关系和标签来代表对象及对象之间的各种关联关系,并以图结构的形式进行表示;将水上交通场景中的场景对象、实体对象和事件统一映射为节点,所有节点集成了包括空间参考、空间范围、时间信息、属性集、行为信息的基本属性;实体对象节点还包含了实体所持有的交通数据的数据集属性,将数据集本身也作为一个数据节点进行存储;事件对象节点还记录了参与实体、参与实体的演化过程及对事件起到的作用描述。
9.根据权利要求4所述的构建方法,其特征在于:所述的步骤S2中,形成场景决策知识的具体步骤为:
S211:针对不同的对象和行为的组合情形,对每一水上交通规则场景中具有指定行为与属性的船舶对象进行角色辨识,并基于本体的推理与查询机制,对每一船舶应执行的操作进行语义查询与推理,形成特定场景下具有特定行为与属性的规则知识图谱。
10.根据权利要求4所述的构建方法,其特征在于:所述的步骤S2中,多维动态表达场景的具体步骤为:
S212:根据不同的水上交通对象的属性、行为和与其他对象的相互关系建立用户模型,定制满足不同需求的可视化场景图模板,实现在有限的场景图空间中,自适应用户的场景图表达,基于位置高效地关联和表达满足应用场景需求的信息;
S213:提取与航行相关的对象及其属性的相关信息,自动进行不同粒度的计算与可视化表达。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210597090.1A CN115017246A (zh) | 2022-05-30 | 2022-05-30 | 一种面向船舶智能航行的全息航行场景图系统和构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210597090.1A CN115017246A (zh) | 2022-05-30 | 2022-05-30 | 一种面向船舶智能航行的全息航行场景图系统和构建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115017246A true CN115017246A (zh) | 2022-09-06 |
Family
ID=83071081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210597090.1A Pending CN115017246A (zh) | 2022-05-30 | 2022-05-30 | 一种面向船舶智能航行的全息航行场景图系统和构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115017246A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115270644A (zh) * | 2022-09-30 | 2022-11-01 | 武汉理工大学 | 一种智能船舶节能航行编队方法、电子设备和存储介质 |
CN115407786A (zh) * | 2022-11-01 | 2022-11-29 | 中国船舶集团有限公司第七〇七研究所 | 一种船舶全航程自动航行决策方法、装置、设备及介质 |
CN115497340A (zh) * | 2022-09-08 | 2022-12-20 | 中交上海航道勘察设计研究院有限公司 | 一种内河航道交通状态全息感知系统和方法 |
CN115544295A (zh) * | 2022-10-13 | 2022-12-30 | 大连海事大学 | 一种支持船舶安全/自主航行的船载智能海图系统 |
CN115630185A (zh) * | 2022-09-23 | 2023-01-20 | 深圳市云洲创新科技有限公司 | 一种重定位方法、水面航行器及存储介质 |
CN115757667A (zh) * | 2022-11-01 | 2023-03-07 | 宁波市气象服务中心 | 一种基于大数据的智能化气象服务定制系统及方法 |
CN116011255A (zh) * | 2023-01-18 | 2023-04-25 | 上海交通大学 | 基于船冰作用三维可视化模拟的极地航行窗口期评估系统 |
CN116775753A (zh) * | 2023-08-25 | 2023-09-19 | 北明成功软件(山东)有限公司 | 一种数据资产可视化方法及系统 |
CN116911077A (zh) * | 2023-09-13 | 2023-10-20 | 中国船级社 | 一种船舶智能航行场景的处理方法、系统及装置 |
CN117611775A (zh) * | 2024-01-24 | 2024-02-27 | 江苏省测绘工程院 | 一种基于gis的通航环境vr展示系统的构建方法 |
TWI837969B (zh) * | 2022-11-26 | 2024-04-01 | 財團法人船舶暨海洋產業研發中心 | 港區海際多船監控系統及其運作方法 |
-
2022
- 2022-05-30 CN CN202210597090.1A patent/CN115017246A/zh active Pending
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115497340A (zh) * | 2022-09-08 | 2022-12-20 | 中交上海航道勘察设计研究院有限公司 | 一种内河航道交通状态全息感知系统和方法 |
CN115630185B (zh) * | 2022-09-23 | 2024-02-02 | 深圳市云洲创新科技有限公司 | 一种重定位方法、水面航行器及存储介质 |
CN115630185A (zh) * | 2022-09-23 | 2023-01-20 | 深圳市云洲创新科技有限公司 | 一种重定位方法、水面航行器及存储介质 |
CN115270644B (zh) * | 2022-09-30 | 2023-01-17 | 武汉理工大学 | 一种智能船舶节能航行编队方法、电子设备和存储介质 |
CN115270644A (zh) * | 2022-09-30 | 2022-11-01 | 武汉理工大学 | 一种智能船舶节能航行编队方法、电子设备和存储介质 |
CN115544295B (zh) * | 2022-10-13 | 2023-07-28 | 大连海事大学 | 一种支持船舶安全/自主航行的船载智能海图系统 |
CN115544295A (zh) * | 2022-10-13 | 2022-12-30 | 大连海事大学 | 一种支持船舶安全/自主航行的船载智能海图系统 |
CN115757667A (zh) * | 2022-11-01 | 2023-03-07 | 宁波市气象服务中心 | 一种基于大数据的智能化气象服务定制系统及方法 |
CN115757667B (zh) * | 2022-11-01 | 2024-04-19 | 宁波市气象服务中心 | 一种基于大数据的智能化气象服务定制系统及方法 |
CN115407786A (zh) * | 2022-11-01 | 2022-11-29 | 中国船舶集团有限公司第七〇七研究所 | 一种船舶全航程自动航行决策方法、装置、设备及介质 |
TWI837969B (zh) * | 2022-11-26 | 2024-04-01 | 財團法人船舶暨海洋產業研發中心 | 港區海際多船監控系統及其運作方法 |
CN116011255A (zh) * | 2023-01-18 | 2023-04-25 | 上海交通大学 | 基于船冰作用三维可视化模拟的极地航行窗口期评估系统 |
CN116011255B (zh) * | 2023-01-18 | 2023-08-18 | 上海交通大学 | 基于船冰作用三维可视化模拟的极地航行窗口期评估系统 |
US11954806B1 (en) | 2023-01-18 | 2024-04-09 | Shanghai Jiao Tong University | Polar navigation window period assessment system based on three-dimensional visualization simulation of ship-ice interaction |
CN116775753A (zh) * | 2023-08-25 | 2023-09-19 | 北明成功软件(山东)有限公司 | 一种数据资产可视化方法及系统 |
CN116775753B (zh) * | 2023-08-25 | 2023-11-17 | 北明成功软件(山东)有限公司 | 一种数据资产可视化方法及系统 |
CN116911077B (zh) * | 2023-09-13 | 2024-02-20 | 中国船级社 | 一种船舶智能航行场景的处理方法、系统及装置 |
CN116911077A (zh) * | 2023-09-13 | 2023-10-20 | 中国船级社 | 一种船舶智能航行场景的处理方法、系统及装置 |
CN117611775A (zh) * | 2024-01-24 | 2024-02-27 | 江苏省测绘工程院 | 一种基于gis的通航环境vr展示系统的构建方法 |
CN117611775B (zh) * | 2024-01-24 | 2024-04-09 | 江苏省测绘工程院 | 一种基于gis的通航环境vr展示系统的构建方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115017246A (zh) | 一种面向船舶智能航行的全息航行场景图系统和构建方法 | |
US20210172756A1 (en) | Lane line creation for high definition maps for autonomous vehicles | |
US11365976B2 (en) | Semantic label based filtering of objects in an image generated from high definition map data | |
US11415986B2 (en) | Geocoding data for an automated vehicle | |
Liu et al. | Visualization and visual analysis of vessel trajectory data: A survey | |
CN109949197A (zh) | 一种面向海河联运的船岸一体化系统 | |
CN114596731B (zh) | 基于ais的船舶航行过程气象海况数据融合处理系统及方法 | |
CN116129066A (zh) | 基于数字孪生的自动驾驶高精度地图模型及高精度静态地图制作方法 | |
CN114485700A (zh) | 高精度动态地图生成方法及装置 | |
Oskard et al. | Real-time algorithms and data structures for underwater mapping | |
Shenbagaraj et al. | Mapping and electronic publishing of shoreline changes using UAV remote sensing and GIS | |
CN112907625A (zh) | 应用于四足仿生机器人的目标跟随方法及系统 | |
McKEOWN Jr | Knowledge-based aerial photo interpretation | |
Moorehead | Autonomous surface exploration for mobile robots | |
Zhou et al. | TTMRN: A topological-geometric two-layer maritime route network modeling for ship intelligent navigation | |
Sakan et al. | Static maritime enviroment representation of electronic navigational charts in global path planning | |
McQuat | Feature extraction workflows for urban mobile-terrestrial LIDAR data | |
Li et al. | Segm: A novel semantic evidential grid map by fusing multiple sensors | |
Qingkai et al. | Lightweight HD map construction for autonomous vehicles in non-paved roads | |
Bliznyuk et al. | Living Earth—A Methodology for Modeling the Environment of Construction Sites Via Digital Twins | |
CN114972666A (zh) | 一种基于本体建模的全息航行场景图构建方法及装置 | |
Yang et al. | A framework of linear sensor networks with unmanned aerial vehicle for rainfall-induced landslides detection | |
Oskard et al. | Spatial mapping system for autonomous underwater vehicles | |
Li | Geospatial Data Analysis-GIS Techniques: Studying geographic information system (GIS) techniques for analyzing and visualizing spatial data for various applications | |
Zou | Image-based unmanned vehicle for farm fruit detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |