CN111292360A - 一种用于船舶行驶航线推荐方法及系统 - Google Patents
一种用于船舶行驶航线推荐方法及系统 Download PDFInfo
- Publication number
- CN111292360A CN111292360A CN202010071490.XA CN202010071490A CN111292360A CN 111292360 A CN111292360 A CN 111292360A CN 202010071490 A CN202010071490 A CN 202010071490A CN 111292360 A CN111292360 A CN 111292360A
- Authority
- CN
- China
- Prior art keywords
- ship
- navigation
- channel
- model
- binocular camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 23
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 19
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000013136 deep learning model Methods 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/203—Specially adapted for sailing ships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Abstract
本发明公开了一种用于船舶行驶航线推荐方法及系统，该方法包括以下步骤：S1：在航道各个关键点位部署采集装置；S2：由采集装置采集目标航道航段中船舶连续时间段内的图片信息；S3：根据采集到的船舶图片数据，构建基于深度学习的检测和跟踪模型，并进行模型训练；S4：根据训练好的模型，在航道航段中对船舶进行检测和跟踪，并绘制出船舶的运行轨迹；S5：结合水位、气象数据，统计一段时间内的船舶运行轨迹，获得最优航行路线，通过系统进行信息发布，为航运管理部门或者使用航道公众提供推荐航道路线信息。该系统包括采集装置、处理模块、显示终端、数据中心和交换机，实现高效船舶航线推荐与监控。
Description
技术领域
本发明涉及船舶航运技术领域，尤其涉及一种用于船舶行驶航线推荐方法及系统。
背景技术
目前，指导船舶安全航行、规避可能的水运风险的现有方式为：(1)结合气象、水位等信息对公众进行公示；(2)人工测量内河滩涂、漩涡等可能引起水运风险的区域，对公众进行公示。然而，现有的上述两种方式的缺点在于：
1、仅依靠气象台站提供的气象信息、水位计所在位置的水位信息提示，公众难以完成整个航道的船舶航行轨迹估计；2、人工测量有不实时、发布滞后，信息覆盖不完全等缺点。且目前无可三维显示的、实时显示的航线推荐的技术方案。
发明内容
本发明所要解决的技术问题是现有的船舶行驶航线推荐方法仅依靠气象台站提供的气象信息、水位计所在位置的水位信息提示，公众难以完成整个航道的船舶航行轨迹估计，并且人工测量有不实时、发布滞后，信息覆盖不完全等缺点，目前还无可三维显示的、实时显示的航线推荐、监控的问题。本发明提供了解决上述问题的一种用于船舶行驶航线推荐方法及系统。
本发明通过下述技术方案实现：
一种用于船舶行驶航线推荐方法，该方法包括以下步骤：
S1：在航道各个关键点位部署采集装置；
S2：由采集装置采集目标航道航段中船舶连续时间段内的图片信息；
S3：根据采集到的船舶图片数据，构建基于深度学习的检测和跟踪模型，并进行模型训练；
S4：根据训练好的模型，在航道航段中对船舶进行检测和跟踪，并绘制出船舶的运行轨迹；
S5：结合水位、气象数据，统计一段时间内的船舶运行轨迹，获得最优航行路线，通过系统进行信息发布，为航运管理部门或者使用航道公众提供推荐航道路线信息。
进一步地，步骤S1中的采集装置采用双目摄像头相机，在航道一侧每100～125m的范围内部署一个双目摄像头相机。部署的各个双目摄像头能够覆盖关键航道航段，且双目摄像头视野较广，能够覆盖整个航道横截面。
进一步地，步骤S1在航道各个关键点位部署双目摄像头相机后，还包括对双目摄像头进行校准，双目摄像头校准的目的是：为了在航道图中更好的定位船舶运行轨迹。校准具体包括：
步骤一，进行双目摄像头相机坐标系和世界坐标系的对应转换，双目摄像头相机坐标系表示为(x，y)，世界坐标系表示为(xc，yc，zc)，采用的公式为：
计算矩阵为：
步骤二，进行双目摄像头的三维估计，OL和OR是左、右双目摄像头相机的光心，假设两相机的内部和外部参数相同，焦距为f，光心之间的距离(基线)为B，两台相机在同一平面上，两者的投影中心的Y坐标相等；同一时刻空间点p(x，y，z)在两相机上成像点分别为Pleft和Pright，采用公式如下：
确定实际场景中船舶的三维坐标，公式如下：
结合GPS/AIS信息，获得目标船舶在世界坐标系中的坐标点(x，y，z)。
进一步地，步骤S3中的检测模型训练步骤包括：
S301：对采集到的目标航道航段中的船舶图片数据进行预处理；
S302：构建船舶深度残差网络resnet50为主干网络的深度学习模型，输入步骤S301中的船舶图片数据，进行船舶深度残差网络resnet50的深度学习模型训练；
S303：进行船舶深度残差网络resnet50的深度学习模型精度评估，并调整训练超参，反复训练直至模型精度满足预设标准。
步骤S4中使用S303中训练好的船舶检测模型对图片中的船舶进行检测。
具体地，resnet50是深度残差网络设计，resnet-50此网络的最开始是一个单独的卷积层，还有四组block，每组分别是3、4、6、3个block，每个block里面有三个卷积层。深度残差网络的设计是为了克服由于网络深度加深而产生的学习效率变低，准确率无法有效提升的问题，甚至在一些场景下，网络层数的增加反而会降低正确率；于是，在此船舶深度学习模型中引入resnet50来解决此问题。
进一步地，步骤S3中的跟踪模型采用孪生网络作为主干网络结构的深度学习模型，对检测结果目标框裁取的图像，和待跟踪目标船舶对应的图像进行特征提取，以让跟踪模型在待跟踪目标船舶对应的图像中找到目标的boundingbox；跟踪模型训练步骤包括：
S311：对采集到的目标航道航段中连续时间段内的船舶图片数据进行预处理，将船舶图片数据分为前景和背景，前景为检测模型检测出的只含有船舶信息的图像，后景为不包含船舶信息的图像；然后进行数据增强：包括：裁剪、旋转、翻转、拉伸；
S312：构建船舶孪生网络作为主干网络的深度学习模型，输入步骤S311中的船舶图片数据，进行船舶孪生网络深度学习模型训练；
S313：进行船舶孪生网络深度学习模型精度评估，并调整训练超参，反复训练直至模型精度满足预设标准。
步骤S4中使用S313中训练好的船舶跟踪模型，结合检测模型对连续视频帧中的每一帧图片进行船舶跟踪。
进一步地，所述预处理包括裁剪、旋转、翻转、拉伸。
进一步地，将步骤S5中获得最优航行路线换算为世界坐标系，并与三维航道图进行结合，进行航道轨迹的叠加显示。
一种用于船舶行驶航线推荐系统，该系统支持上述的一种用于船舶行驶航线推荐方法，该系统包括采集装置、处理模块、显示终端、数据中心和交换机；
所述采集装置，在航道各个关键点位部署采集装置，并采集目标航道航段中船舶连续时间段内的图片信息；采集装置采用双目摄像头，在航道一侧每100～125m的范围内部署一个双目摄像头相机；
所述处理模块，根据采集装置采集的船舶图片数据，构建基于深度学习的检测和跟踪模型，并进行模型训练；并根据训练好的模型，在航道航段中对船舶进行检测和跟踪，并绘制出船舶的运行轨迹；统计一段时间内的船舶运行轨迹，获得最优航行路线；
所述显示终端，对最优航行路线进行显示，为航运管理部门或者使用航道公众提供推荐航道路线信息；
所述数据中心，用于存储船舶运行轨迹数据；
所述交换机，用于实现采集装置与处理模块之间的网络通信。
优选地，所述采集装置还包括水位计和航标；所述显示终端包括但不限于电子公告牌、电脑、手机。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明一种用于船舶行驶航线推荐方法，本发明不仅结合传统的水位、气象数据，同时在航道各个关键点位部署双目摄像头来精准全方位地拍摄关键航道航段，且双目摄像头视野较广，能够覆盖整个航道横截面；
2、本发明一种用于船舶行驶航线推荐方法，通过双目摄像头采集目标航道航段中船舶连续时间段内的图片信息，并根据采集到的船舶图片数据，构建基于深度学习的检测和跟踪模型，并进行模型训练；识别出视频中的船只后，在之后的每一帧图像中对该船只进行跟踪，绘出该船只在监控河段中的运行轨迹；并结合双目摄像头校准、GPS\AIS等技术对船舶进行更好地定位；然后，将统计后的历史船舶轨迹，作为推荐航线；
3、本发明一种用于船舶行驶航线推荐系统，该系统实现了在通航航段中动态化、远程化的监视通航船舶运行状态，实现对船舶行驶到该航道进行路线推荐，从而利于航道管理部门进行管控，提升航段通航的效率。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明一种用于船舶行驶航线推荐方法流程图。
图2为本发明中在关键航道航段部署的各个双目摄像头示意图。
图3为本发明中进行双目摄像头相机坐标系和世界坐标系的对应转换图。
图4为本发明中双目摄像头立体视觉原理图。
图5为本发明一种用于船舶行驶航线推荐系统总体系统框架图。
图6为本发明在互动大屏上叠加三维航道图显示推荐航线图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1至图6所示，本发明一种用于船舶行驶航线推荐方法，以四川内河高等级航道为例进行实施，该方法包括以下步骤：
步骤1：在航道各个关键点位部署采集装置，其中：采集装置采用双目摄像头相机，在航道一侧每100～125m的范围内部署一个双目摄像头相机，具体如图2示，部署的各个双目摄像头能够覆盖关键航道航段，且双目摄像头视野较广，能够覆盖整个航道横截面。
步骤2：对双目摄像头进行校准，双目摄像头校准的目的是：为了在航道图中更好的定位船舶运行轨迹。校准具体包括：
步骤一，进行双目摄像头相机坐标系和世界坐标系的对应转换，如图3所示，双目摄像头相机坐标系表示为(x，y)，世界坐标系表示为(xc，yc，zc)，采用的公式为：
计算矩阵为：
步骤二，进行双目摄像头的三维估计，双目立体视觉原理图如图4所示，OL和OR是左、右双目摄像头相机的光心，假设两相机的内部和外部参数相同，焦距为f，光心之间的距离(基线)为B，两台相机在同一平面上，两者的投影中心的Y坐标相等；同一时刻空间点p(x，y，z)在两相机上成像点分别为Pleft和Pright，采用公式如下：
确定实际场景中船舶的三维坐标，公式如下：
结合GPS/AIS信息，获得目标船舶在世界坐标系中的坐标点(x，y，z)。
步骤3：由采集装置采集目标航道航段中船舶连续时间段内的图片信息。
步骤4：根据采集到的船舶图片数据，构建基于深度学习的检测和跟踪模型，并进行模型训练；具体地，检测模型训练步骤包括：
步骤一：对采集到的目标航道航段中的船舶图片数据进行预处理；所述预处理包括裁剪、旋转、翻转、拉伸；
步骤二：构建船舶深度残差网络resnet50为主干网络的深度学习模型，输入步骤S301中的船舶图片数据，进行船舶深度残差网络resnet50的深度学习模型训练；
步骤三：进行船舶深度残差网络resnet50的深度学习模型精度评估，并调整训练超参，反复训练直至模型精度满足预设标准。
具体地，跟踪模型采用孪生网络作为主干网络结构的深度学习模型，对检测结果目标框裁取的图像，和待跟踪目标船舶对应的图像进行特征提取，以让跟踪模型在待跟踪目标船舶对应的图像中找到目标的boundingbox；跟踪模型训练步骤包括：
步骤一：对采集到的目标航道航段中连续时间段内的船舶图片数据进行预处理，将船舶图片数据分为前景和背景，前景为检测模型检测出的只含有船舶信息的图像，后景为不包含船舶信息的图像；然后进行数据增强：包括：裁剪、旋转、翻转、拉伸；
步骤二：构建船舶孪生网络作为主干网络的深度学习模型，输入步骤S311中的船舶图片数据，进行船舶孪生网络深度学习模型训练；
步骤三：进行船舶孪生网络深度学习模型精度评估，并调整训练超参，反复训练直至模型精度满足预设标准。
步骤5：根据训练好的模型，在航道航段中对船舶进行检测和跟踪，并绘制出船舶的运行轨迹；利用训练好的船舶跟踪模型，结合检测模型对连续视频帧中的每一帧图片进行船舶跟踪。
步骤6：结合水位、气象数据，统计一段时间内的船舶运行轨迹，获得最优航行路线，并将获得最优航行路线换算为世界坐标系，在下一个步骤中，与三维航道图进行结合。
步骤7：在三维航道图中，进行航道轨迹的叠加显示；通过系统进行信息发布，为航运管理部门或者使用航道公众提供推荐航道路线信息。
工作原理是：本发明方法通过采用基于深度学习的检测、跟踪技术，结合水位、气象数据，形成较优的航道轨迹路线，并结合信息系统进行发布，为相同水位/气象条件下的航道航行提供推荐信息。本发明不仅结合传统的水位、气象数据，同时在航道各个关键点位部署双目摄像头来精准全方位地拍摄关键航道航段，且双目摄像头视野较广，能够覆盖整个航道横截面；通过双目摄像头采集目标航道航段中船舶连续时间段内的图片信息，并根据采集到的船舶图片数据，构建基于深度学习的检测和跟踪模型，并进行模型训练；识别出视频中的船只后，在之后的每一帧图像中对该船只进行跟踪，绘出该船只在监控河段中的运行轨迹；并结合双目摄像头校准、GPS\AIS等技术对船舶进行更好地定位。然后，将统计后的历史船舶轨迹，作为推荐航线，叠加显示在三维电子航道图中，一方面利于航道管理部门监管，让监管部门能第一时间了解突发或违规驾驶等情况，并指导船舶安全航行，另一方面为航道整治等方面提供依据，加快了航道传统产业向数字化、智能化迈入的进程。
实施例2
如图1至图5所示，本实施例与实施例1的区别在于，一种用于船舶行驶航线推荐系统，该系统支持实施例1的一种用于船舶行驶航线推荐方法，如图5所示，该系统包括采集装置、处理模块、显示终端、数据中心和交换机；在显示终端上，如图6所示，在互动大屏上，可叠加三维航道图显示推荐航线。
所述采集装置，在航道各个关键点位部署采集装置，并采集目标航道航段中船舶连续时间段内的图片信息；采集装置采用双目摄像头，在航道一侧每100～125m的范围内部署一个双目摄像头相机；
所述处理模块，根据采集装置采集的船舶图片数据，构建基于深度学习的检测和跟踪模型，并进行模型训练；并根据训练好的模型，在航道航段中对船舶进行检测和跟踪，并绘制出船舶的运行轨迹；统计一段时间内的船舶运行轨迹，获得最优航行路线；
所述显示终端，对最优航行路线进行显示，为航运管理部门或者使用航道公众提供推荐航道路线信息；
所述数据中心，用于存储船舶运行轨迹数据；
所述交换机，用于实现采集装置与处理模块之间的网络通信。
优选地，所述采集装置还包括水位计和航标；所述显示终端包括但不限于电子公告牌、电脑、手机。
该系统采用基于深度学习的检测和跟踪模型，利用覆盖航道的视频信息，对航道中行驶的船舶进行检测，跟踪，并统计出轨迹数据；结合水位、气象信息，将轨迹数据存储至数据中心；与三维电子航道图进行叠加显示，并通过交互式显示终端，呈现至电子互动大屏、手机终端等，为公众出行提供支持，为航务部门的管理助力。
该系统实现了在通航航段中动态化、远程化的监视通航船舶运行状态，实现对船舶行驶到该航道进行路线推荐，从而利于航道管理部门进行管控，提升航段通航的效率。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于船舶行驶航线推荐方法，其特征在于，该方法包括以下步骤：
S1：在航道各个关键点位部署采集装置；
S2：由采集装置采集目标航道航段中船舶连续时间段内的图片信息；
S3：根据采集到的船舶图片数据，构建基于深度学习的检测和跟踪模型，并进行模型训练；
S4：根据训练好的模型，在航道航段中对船舶进行检测和跟踪，并绘制出船舶的运行轨迹；
S5：结合水位、气象数据，统计一段时间内的船舶运行轨迹，获得最优航行路线，通过系统进行信息发布，为航运管理部门或者使用航道公众提供推荐航道路线信息。
2.根据权利要求1所述的一种用于船舶行驶航线推荐方法，其特征在于，步骤S1中的采集装置采用双目摄像头相机。
3.根据权利要求2所述的一种用于船舶行驶航线推荐方法，其特征在于，在航道一侧每100～125m的范围内部署一个双目摄像头相机。
4.根据权利要求2所述的一种用于船舶行驶航线推荐方法，其特征在于，步骤S1在航道各个关键点位部署双目摄像头相机后，还包括对双目摄像头进行校准，具体包括：
步骤一，进行双目摄像头相机坐标系和世界坐标系的对应转换，双目摄像头相机坐标系表示为(x，y)，世界坐标系表示为(xc，yc，zc)，采用的公式为：
计算矩阵为：
步骤二，进行双目摄像头的三维估计，OL和OR是左、右双目摄像头相机的光心，假设两相机的内部和外部参数相同，焦距为f，光心之间的距离为B，两台相机在同一平面上，两者的投影中心的Y坐标相等；同一时刻空间点p(x，y，z)在两相机上成像点分别为Pleft和Pright，采用公式如下：
确定实际场景中船舶的三维坐标，公式如下：
结合GPS/AIS信息，获得目标船舶在世界坐标系中的坐标点(x，y，z)。
5.根据权利要求1所述的一种用于船舶行驶航线推荐方法，其特征在于，步骤S3中的检测模型训练步骤包括：
S301：对采集到的目标航道航段中的船舶图片数据进行预处理；
S302：构建船舶深度残差网络resnet50为主干网络的深度学习模型，输入步骤S301中的船舶图片数据，进行船舶深度残差网络resnet50的深度学习模型训练；
S303：进行船舶深度残差网络resnet50的深度学习模型精度评估，并调整训练超参，反复训练直至模型精度满足预设标准。
6.根据权利要求5所述的一种用于船舶行驶航线推荐方法，其特征在于，步骤S3中的跟踪模型采用孪生网络作为主干网络结构的深度学习模型，对检测结果目标框裁取的图像，和待跟踪目标船舶对应的图像进行特征提取，以让跟踪模型在待跟踪目标船舶对应的图像中找到目标的boundingbox；跟踪模型训练步骤包括：
S311：对采集到的目标航道航段中连续时间段内的船舶图片数据进行预处理，将船舶图片数据分为前景和背景，前景为检测模型检测出的只含有船舶信息的图像，后景为不包含船舶信息的图像；
S312：构建船舶孪生网络作为主干网络的深度学习模型，输入步骤S311中的船舶图片数据，进行船舶孪生网络深度学习模型训练；
S313：进行船舶孪生网络深度学习模型精度评估，并调整训练超参，反复训练直至模型精度满足预设标准。
7.根据权利要求5或6所述的一种用于船舶行驶航线推荐方法，其特征在于，所述预处理包括裁剪、旋转、翻转、拉伸。
8.根据权利要求1所述的一种用于船舶行驶航线推荐方法，其特征在于，将步骤S5中获得最优航行路线换算为世界坐标系，并与三维航道图进行结合，进行航道轨迹的叠加显示。
9.一种用于船舶行驶航线推荐系统，其特征在于，该系统支持上述权利要求1至8中任意一项所述的一种用于船舶行驶航线推荐方法，该系统包括采集装置、处理模块、显示终端、数据中心和交换机；
所述采集装置，在航道各个关键点位部署采集装置，并采集目标航道航段中船舶连续时间段内的图片信息；采集装置采用双目摄像头，在航道一侧每100～125m的范围内部署一个双目摄像头相机；
所述处理模块，根据采集装置采集的船舶图片数据，构建基于深度学习的检测和跟踪模型，并进行模型训练；并根据训练好的模型，在航道航段中对船舶进行检测和跟踪，并绘制出船舶的运行轨迹；统计一段时间内的船舶运行轨迹，获得最优航行路线；
所述显示终端，对最优航行路线进行显示，为航运管理部门或者使用航道公众提供推荐航道路线信息；
所述数据中心，用于存储船舶运行轨迹数据；
所述交换机，用于实现采集装置与处理模块之间的网络通信。
10.根据权利要求9所述的一种用于船舶行驶航线推荐系统，其特征在于，所述采集装置还包括水位计和航标；所述显示终端包括但不限于电子公告牌、电脑、手机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010071490.XA CN111292360A (zh) | 2020-01-21 | 2020-01-21 | 一种用于船舶行驶航线推荐方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010071490.XA CN111292360A (zh) | 2020-01-21 | 2020-01-21 | 一种用于船舶行驶航线推荐方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111292360A true CN111292360A (zh) | 2020-06-16 |
Family
ID=71028469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010071490.XA Pending CN111292360A (zh) | 2020-01-21 | 2020-01-21 | 一种用于船舶行驶航线推荐方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111292360A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881536A (zh) * | 2020-07-27 | 2020-11-03 | 交通运输部水运科学研究所 | 一种基于ais大数据的航道动态仿真系统 |
| CN111898746A (zh) * | 2020-08-11 | 2020-11-06 | 中国人民解放军海军航空大学 | 一种中断航迹接续关联深度学习方法 |
| CN113240198A (zh) * | 2021-06-07 | 2021-08-10 | 兰州大学 | 一种基于tcn模型的港口船舶轨迹预测方法 |
| CN117010582A (zh) * | 2023-09-22 | 2023-11-07 | 交通运输部水运科学研究所 | 一种船舶轨迹优化的船舶航路模型提取方法 |
| CN117173215A (zh) * | 2023-09-04 | 2023-12-05 | 东南大学 | 一种跨摄像头的内河航船全程轨迹识别方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| US20190318487A1 (en) * | 2016-12-28 | 2019-10-17 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Method and apparatus for detection of false alarm obstacle |
-
2020
- 2020-01-21 CN CN202010071490.XA patent/CN111292360A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| US20190318487A1 (en) * | 2016-12-28 | 2019-10-17 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Method and apparatus for detection of false alarm obstacle |
Non-Patent Citations (1)
| Title |
|---|
| 胡阳，等: "人工智能用于船舶航线优化的有效方案" * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881536A (zh) * | 2020-07-27 | 2020-11-03 | 交通运输部水运科学研究所 | 一种基于ais大数据的航道动态仿真系统 |
| CN111881536B (zh) * | 2020-07-27 | 2023-08-25 | 交通运输部水运科学研究所 | 一种基于ais大数据的航道动态仿真系统 |
| CN111898746A (zh) * | 2020-08-11 | 2020-11-06 | 中国人民解放军海军航空大学 | 一种中断航迹接续关联深度学习方法 |
| CN111898746B (zh) * | 2020-08-11 | 2024-01-02 | 中国人民解放军海军航空大学 | 一种中断航迹接续关联深度学习方法 |
| CN113240198A (zh) * | 2021-06-07 | 2021-08-10 | 兰州大学 | 一种基于tcn模型的港口船舶轨迹预测方法 |
| CN117173215A (zh) * | 2023-09-04 | 2023-12-05 | 东南大学 | 一种跨摄像头的内河航船全程轨迹识别方法及系统 |
| CN117010582A (zh) * | 2023-09-22 | 2023-11-07 | 交通运输部水运科学研究所 | 一种船舶轨迹优化的船舶航路模型提取方法 |
| CN117010582B (zh) * | 2023-09-22 | 2023-12-01 | 交通运输部水运科学研究所 | 一种船舶轨迹优化的船舶航路模型提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111292360A (zh) | 一种用于船舶行驶航线推荐方法及系统 | |
| US11410002B2 (en) | Ship identity recognition method based on fusion of AIS data and video data | |
| CN103236160B (zh) | 基于视频图像处理技术的路网交通状态监测系统 | |
| CN103941746B (zh) | 无人机巡检图像处理系统及方法 | |
| CN108460815A (zh) | 地图道路要素编辑方法和装置 | |
| JP6494103B2 (ja) | 画像処理を利用した列車位置検出システムならびに画像処理を利用した列車位置および環境変化検出システム | |
| JP4717760B2 (ja) | 物体認識装置および映像物体測位装置 | |
| CN106878687A (zh) | 一种基于多传感器的车载环境识别系统及全方位视觉模块 | |
| CN101510311B (zh) | 基于gps信息对大量建筑物侧立面图像快速分类的方法 | |
| CN103925927B (zh) | 一种基于车载视频的交通标识定位方法 | |
| CN103398710B (zh) | 一种夜雾天况下的舰船进出港导航系统及其构建方法 | |
| JP2011238242A (ja) | ナビゲーション及びインスペクションシステム | |
| CN113052876B (zh) | 一种基于深度学习的视频接力跟踪方法及系统 | |
| CN206611521U (zh) | 一种基于多传感器的车载环境识别系统及全方位视觉模块 | |
| CN111968046B (zh) | 一种基于拓扑结构的雷达光电传感器目标关联融合方法 | |
| CN109859269B (zh) | 岸基视频辅助定位无人机大范围流场测量方法及装置 | |
| CN110009675A (zh) | 生成视差图的方法、装置、介质及设备 | |
| CN109522794A (zh) | 一种基于全景摄像头的室内人脸识别定位方法 | |
| CN114419231B (zh) | 基于点云数据和ai技术的交通设施矢量识别提取分析系统 | |
| CN106370160A (zh) | 一种机器人室内定位系统和方法 | |
| CN112449093A (zh) | 一种三维全景视频融合监控平台 | |
| CN107767687A (zh) | 基于双目立体视觉的空闲停车位检测方法及系统 | |
| CN106960027B (zh) | 空间信息辅助的无人机视频大数据多时相关联分析方法 | |
| CN115690913A (zh) | 基于多摄像机视觉的泳池安全管理装置和方法 | |
| CN113763484A (zh) | 基于视频图像分析技术的船舶目标定位及速度估算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200616 |