CN113450598A - 基于红外视频的船舶辅助航行方法及系统 - Google Patents
基于红外视频的船舶辅助航行方法及系统 Download PDFInfo
- Publication number
- CN113450598A CN113450598A CN202110645336.3A CN202110645336A CN113450598A CN 113450598 A CN113450598 A CN 113450598A CN 202110645336 A CN202110645336 A CN 202110645336A CN 113450598 A CN113450598 A CN 113450598A
- Authority
- CN
- China
- Prior art keywords
- ship
- information
- infrared video
- infrared
- navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000000007 visual effect Effects 0.000 claims abstract description 65
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 44
- 230000009466 transformation Effects 0.000 claims description 33
- 230000004927 fusion Effects 0.000 claims description 19
- 230000010365 information processing Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 230000004888 barrier function Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000003331 infrared imaging Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 16
- 230000000875 corresponding effect Effects 0.000 description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 229920000247 superabsorbent polymer Polymers 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
- G08G3/02—Anti-collision systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Ocean & Marine Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于红外视频的船舶辅助航行方法及系统，通过对本船航道水平视角进行红外视频成像，根据红外视频图像的视角，将电子海图、船舶定位系统、船舶AIS等辅助航行信息，通过数据处理形成水路路况和周围船只碰撞风险等可视化图形界面，叠加在红外视频图像。本发明技术方案，直观地呈现出船只行驶过程中的风险点，辅助船员在实际场景中直接作出航行决策。
Description
技术领域
本发明涉及一种船舶辅助航行方法及系统，尤其涉及一种基于红外视频的船舶辅助航行方法及系统。
背景技术
随着水上运输需求的增长，水上交通越来越繁忙，水上交通事故发生的概率和风险也越来越高。船舶辅助航行设备是用于显示河道或海域等水路路况和船只信息的电子设备，常用的船舶辅助航行设备包括监控摄像机、电子海图仪、船舶定位系统、船舶AIS(Automatic Identification System，船舶自动识别系统)，船舶雷达系统等。船舶辅助航行设备的信息相互独立，缺少关联，船员需要同时关注多个设备，并将所有信息人为关联叠加后才能做出决策，因此容易造成决策失误，增加水上交通事故的风险。CN104535066中公开了一种船载红外视频图像中的海上目标与电子海图的叠加方式及系统，通过两台红外摄像机，使用双目视觉定位的方式分割和定位出海上目标，并把目标叠加到电子海图上，这种方式仍然以电子海图为主场景，与雷达目标检测和显示的原理类似，仍然无法在实际场景中直接作出决策。
发明内容
本发明解决的技术问题是：构建一种基于红外视频的船舶辅助航行方法及系统，克服现有技术设备多、缺少关联、使用不方便的技术问题。
本发明的技术方案是：提供一种基于红外视频的船舶辅助航行方法，包括如下步骤：
红外视频成像：对本船航道水平视角进行红外视频成像，获取红外视频图像的视角；
获取本船和周围船只的航行信息：获取本船的航行信息和周围船只的航行信息；
获取并处理船只海图信息：以本船为中心，获取本船阈值距离范围内的海图信息，根据海图信息进行如下处理：用水深将水域分为多个区域并标识区域及边界，障碍物区域用国际通用标准符号标注在对应位置；
信息叠加：以处理后的海图信息为底图建立坐标系，将周围船只的航行信息叠加到底图上并进行标识，同时标识出船只的航行方向；
坐标变换：根据红外摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，按红外图像平视图的视角进行对信息全图进行坐标变换；
图像融合：按照坐标变换后获得的像素坐标位置，将彩色的信息全图和黑白的红外视频图像进行图像融合，形成融合红外视频图像。
本发明的进一步技术方案是：通过惯性器件感知红外摄像机的视轴变化，获取红外视频成像的水平视角。
本发明的进一步技术方案是：全画幅红外输出图像中，截取中间一个窗口区域输出。
本发明的进一步技术方案是：本船的航行信息包括：本船所在位置的经纬度、船体长和宽、船只吃水深度、船只航行方向、船只航行速度；周围船只的航行信息包括：周围船只所在位置的经纬度、船体长和宽、船只航行方向、船只航行速度。
本发明的进一步技术方案是：在坐标变换步骤中，选择特殊的点，获得该特殊的点在信息全图坐标中的二维坐标值和在红外视频图像中的像素坐标中的像素坐标值，通过数值计算获得坐标映射关系，根据坐标映射关系进行坐标变换。
本发明的进一步技术方案是：在图像融合步骤中，将进行融合的信息全图设置成一定透明度。
本发明的技术方案是：构建一种基于红外视频的船舶辅助航行系统，包括红外成像设备、视角获取模块、航行信息获取模块、海图信息处理模块、信息叠加模块、坐标变换模块、图像融合模块，所述红外成像设备对本船航道进行水平视角的红外视频成像，视角获取模块获取红外视频图像的视角；所述航行信息获取模块获取本船的航行信息和周围船只的航行信息；以本船为中心，所述海图信息处理模块获取本船阈值距离范围内的海图信息，所述海图信息处理模块根据海图信息进行划分区域：用水深将水域分为多个区域并标识区域及边界，障碍物区域用国际通用标准符号标注在对应位置；所述信息叠加模块以处理后的海图信息为底图建立坐标系，将周围船只的航行信息叠加到底图上并进行标识，同时标识出船只的航行方向；所述坐标变换模块根据红外摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，按红外图像平视图的视角进行对信息全图进行坐标变换；所述图像融合模块按照坐标变换后获得的像素坐标位置，将彩色的信息全图和黑白的红外视频图像进行图像融合，形成融合红外视频图像。
本发明的进一步技术方案是：还包括目标测距模块，所述目标测距模块对周围场景中的目标进行测距。
本发明的进一步技术方案是：还包括标识模块，所述标识模块对周围场景中的目标进行标识。
本发明的进一步技术方案是：还包括目标信息处理模块，所述目标信息处理模块对周围场景中目标信息进行显示或隐藏。
本发明的进一步技术方案是：还包括目标船只信息输出模块，所述目标船只信息输出模块输出目标船只的相关信息，包括目标船只的距离信息、最近会遇距离信息、最近会遇时间信息中的一种或多种。
本发明的技术效果是：提供一种基于红外视频的船舶辅助航行方法及系统，包括如下步骤：对本船航道水平视角进行红外视频成像，获取红外视频图像的视角；获取本船的航行信息和周围船只的航行信息；以本船为中心，获取本船阈值距离范围内的海图信息，根据海图信息进行如下处理：用水深将水域分为多个区域并标识区域及边界，障碍物区域用国际通用标准符号标注在对应位置；以处理后的海图信息为底图建立坐标系，将周围船只的航行信息叠加到底图上并进行标识，同时标识出船只的航行方向；根据红外摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，按红外图像平视图的视角进行对信息全图进行坐标变换；按照坐标变换后获得的像素坐标位置，将彩色的信息全图和黑白的红外视频图像进行图像融合，形成融合红外视频图像。本发明基于红外视频的船舶辅助航行方法及系统，通过对本船航道水平视角进行红外视频成像，根据红外视频图像的视角，将电子海图、船舶定位系统、船舶AIS等辅助航行信息，通过数据处理形成水路路况和周围船只碰撞风险等可视化图形界面，叠加在红外视频图像。本发明技术方案，直观地呈现出船只行驶过程中的风险点，辅助船员在实际场景中直接作出航行决策。
附图说明
图1为本发明的结构示意图。
具体实施方式
下面结合具体实施例，对本发明技术方案进一步说明。
本发明的具体实施方式是：提供一种基于红外视频的船舶辅助航行方法，包括如下步骤：
红外视频成像：对本船航道水平视角进行红外视频成像，获取红外视频图像的视角。
具体实施过程是：对本船航道水平视角进行红外视频成像，可以输出稳定的红外视频图像。获取红外视频图像的视角包括以下方式：使用三轴陀螺仪、三轴加速度计等惯性器件感知红外摄像机的视轴变化。陀螺仪是角速度传感器，设t0时刻摄像机视轴俯仰角速率为ωx，滚转方向ωy，红外视频帧率为f，红外摄像机焦距为F，探测器像元尺寸为a，为了维持视频的稳定，需要将红外图像在俯仰方向平移px个像素，并以原始图像中心像素为中心旋转θy角度，其中px、θy满足以下公式：
本发明的优选实施方式是：为了避免电子稳像过程中频繁出现黑边现象，在全画幅红外输出图像中，截取中间一个窗口区域输出，例如在640×512的全画幅窗口中，截取中心560×448区域输出，即左右各包含40个像素、上下各包含32个像素的过渡区域。
获取本船和周围船只的航行信息：获取本船的航行信息和周围船只的航行信息。
具体实施过程是：本船的航行信息包括：本船所在位置的经纬度、船体长和宽、船只吃水深度、船只航行方向、船只航行速度。通过船载GPS或北斗系统获得本船的经纬度，将经纬度转换至大地坐标系，根据固定之间内大地坐标的变化计算出本船的行驶速度。通过船载电子罗盘获得本船的航行方向。船舶的长宽为常数，吃水深度可根据船上负载重量计算获得，在船舶行驶过程中也认为是常数。周围船只的航行信息包括：周围船只所在位置的经纬度、船体长和宽、船只航行方向、船只航行速度。周围船只的航行信息包括各船只的经纬度、长宽、航行方向、航行速度等可以通过船舶AIS系统获得。
获取并处理船只海图信息：以本船为中心，获取本船阈值距离范围内的海图信息，根据海图信息进行如下处理：用水深将水域分为多个区域并标识区域及边界，障碍物区域用国际通用标准符号标注在对应位置。
具体实施过程是：根据本船的经纬度获得当前水域或海域位置，加载对应的海图；加载过程仅在水域、海域位置发生变化时才进行，同一水域、海域仅需加载一次。以本船为中心，获得周围距离为L0范围内的海图信息，包括该水域、海域的水深、浮标、沉船、礁石、岛屿或陆地建筑等信息；用水深分为[0，2)、[2，5)、[5，10)、[10，+∞)等四个区域，用细实线画出区域边界，并在同一区域中用同一颜色填充，不同区域以不同颜色区分；浮标、沉船、礁石、岛屿或陆地建筑等按照国际通用标准符号标注在对应位置；浮标以及沉船、礁石等危险物区域的边界使用醒目红色标识。
信息叠加：以处理后的海图信息为底图建立坐标系，将周围船只的航行信息叠加到底图上并进行标识，同时标识出船只的航行方向。
具体实施过程是：在本船周围距离为L0范围内的信息底图上建立经纬坐标系，以固定的经纬度间隔绘制坐标网格，例如经纬线以1秒为间隔等间距排列；将上述获得的周围船只的信息叠加在信息底图对应的经纬坐标位置，用圆圈符号表示，在圆圈符号边界上用有向箭头标识该船的行驶方向，有向箭头在经纬坐标上的指向与该船实际航行方向一致。具体实施例中，也可以不建立经纬坐标系，自定义坐标系，例如建立与船舶固联的直角坐标系，以船头方向为纵轴，垂直船头方向为横轴，以等空间距离间隔标识出网格，然后根据新建的坐标系进行信息叠加。
坐标变换：根据红外摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，按红外图像平视图的视角进行对信息全图进行坐标变换。
具体实施过程是：根据红外摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，计算能够被观测到的信息全图区域。设摄像机为水平前视安装，视轴为正北方向，水平视场角为α，垂直视场角为β，则在以本船为中心，半径为L0的圆内，只有以正北为中心，圆心角为α的扇形区域可以被观察到，并且根据船舶的吃水深度和摄像机的安装高度，获得摄像机离水面的高度为H，在摄像机前方D＝H·ctan(β/2)距离范围内的景物也无法被观测到，因此，能够被观测到的信息全图为一个缺角扇形区域。信息叠加后形成的信息全图为顶视平面图，而红外视频图像为平视的平面图，平视图具有透视效果，需要经过仿射变换将顶视图的坐标转换到平视图的像素坐标中。坐标转换关系的获得可以通过在信息全图坐标中选择特殊的点，例如观测区域边界的点或区域的顶点等，分别获得特殊的点在信息全图坐标中的二维坐标值和在红外视频图像中的像素坐标中的像素坐标值，通过数值计算获得坐标映射关系。当镜头存在畸变时，需要对获得的像素坐标进行畸变映射，即理想成像位置至实际成像位置的映射关系，该映射关系可以通过对红外摄像机标定获得。
图像融合：按照坐标变换后获得的像素坐标位置，将彩色的信息全图和黑白的红外视频图像进行图像融合，形成融合红外视频图像。
具体实施过程是：将信息全图设置成一定透明度，例如设置透明度为70％；按照仿射变换后获得的像素坐标位置，将彩色的信息全图和黑白的红外视频图像进行图像叠加。
如图1所示，本发明的具体实施方式是：构建一种基于红外视频的船舶辅助航行系统，包括红外成像设备1、视角获取模块2、航行信息获取模块3、海图信息处理模块4、信息叠加模块5、坐标变换模块6、图像融合模块7，所述红外成像设备1对本船航道进行水平视角的红外视频成像，视角获取模块2获取红外视频图像的视角；所述航行信息获取模块3获取本船的航行信息和周围船只的航行信息；以本船为中心，所述海图信息处理模块4获取本船阈值距离范围内的海图信息，所述海图信息处理模块4根据海图信息进行划分区域：用水深将水域分为多个区域并标识区域及边界，障碍物区域用国际通用标准符号标注在对应位置；所述信息叠加模块5以处理后的海图信息为底图建立坐标系，将周围船只的航行信息叠加到底图上并进行标识，同时标识出船只的航行方向；所述坐标变换模块6根据红外摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，按红外图像平视图的视角进行对信息全图进行坐标变换；所述图像融合模块7按照坐标变换后获得的像素坐标位置，将彩色的信息全图和黑白的红外视频图像进行图像融合，形成融合红外视频图像。
如图1所示，本发明的具体实施过程是：对本船航道水平视角进行红外视频成像，可以输出稳定的红外视频图像。获取红外视频图像的视角包括以下方式：使用三轴陀螺仪、三轴加速度计等惯性器件感知红外摄像机的视轴变化。陀螺仪是角速度传感器，设t0时刻摄像机视轴俯仰角速率为ωx，滚转方向ωy，红外视频帧率为f，红外摄像机焦距为F，探测器像元尺寸为a，为了维持视频的稳定，需要将红外图像在俯仰方向平移px个像素，并以原始图像中心像素为中心旋转θy角度，其中px、θy满足以下公式：
本船的航行信息包括：本船所在位置的经纬度、船体长和宽、船只吃水深度、船只航行方向、船只航行速度。通过船载GPS或北斗系统获得本船的经纬度，将经纬度转换至大地坐标系，根据固定之间内大地坐标的变化计算出本船的行驶速度。通过船载电子罗盘获得本船的航行方向。船舶的长宽为常数，吃水深度可根据船上负载重量计算获得，在船舶行驶过程中也认为是常数。周围船只的航行信息包括：周围船只所在位置的经纬度、船体长和宽、船只航行方向、船只航行速度。周围船只的航行信息包括各船只的经纬度、长宽、航行方向、航行速度等可以通过船舶AIS系统获得。
根据本船的经纬度获得当前水域或海域位置，加载对应的海图；加载过程仅在水域、海域位置发生变化时才进行，同一水域、海域仅需加载一次。以本船为中心，获得周围距离为L0范围内的海图信息，包括该水域、海域的水深、浮标、沉船、礁石、岛屿或陆地建筑等信息；用水深分为[0，2)、[2，5)、[5，10)、[10，+∞)等四个区域，用细实线画出区域边界，并在同一区域中用同一颜色填充，不同区域以不同颜色区分；浮标、沉船、礁石、岛屿或陆地建筑等按照国际通用标准符号标注在对应位置；浮标以及沉船、礁石等危险物区域的边界使用醒目红色标识。
在本船周围距离为L0范围内的信息底图上建立经纬坐标系，以固定的经纬度间隔绘制坐标网格，例如经纬线以1秒为间隔等间距排列；将上述获得的周围船只的信息叠加在信息底图对应的经纬坐标位置，用圆圈符号表示，在圆圈符号边界上用有向箭头标识该船的行驶方向，有向箭头在经纬坐标上的指向与该船实际航行方向一致。
根据红外摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，计算能够被观测到的信息全图区域。设摄像机为水平前视安装，视轴为正北方向，水平视场角为α，垂直视场角为β，则在以本船为中心，半径为L0的圆内，只有以正北为中心，圆心角为α的扇形区域可以被观察到，并且根据船舶的吃水深度和摄像机的安装高度，获得摄像机离水面的高度为H，在摄像机前方D＝H·ctan(β/2)距离范围内的景物也无法被观测到，因此，能够被观测到的信息全图为一个缺角扇形区域。信息叠加后形成的信息全图为顶视平面图，而红外视频图像为平视的平面图，平视图具有透视效果，需要经过仿射变换将顶视图的坐标转换到平视图的像素坐标中。坐标转换关系的获得可以通过在信息全图坐标中选择特殊的点，例如观测区域边界的点或区域的顶点等，分别获得特殊的点在信息全图坐标中的二维坐标值和在红外视频图像中的像素坐标中的像素坐标值，通过数值计算获得坐标映射关系。当镜头存在畸变时，需要对获得的像素坐标进行畸变映射，即理想成像位置至实际成像位置的映射关系，该映射关系可以通过对红外摄像机标定获得。
将信息全图设置成一定透明度，例如设置透明度为70％；按照仿射变换后获得的像素坐标位置，将彩色的信息全图和黑白的红外视频图像进行图像叠加。
如图1所示，本发明的优选实施方式是：还包括目标测距模块8，所述目标测距模块对周围场景中的目标进行测距。还包括标识模块9，所述标识模块对周围场景中的目标进行标识。
如图1所示，本发明的优选实施方式是：还包括目标信息处理模块10，所述目标信息处理模块对周围场景中目标信息进行显示或隐藏。还包括周围船只信息显示，通过选择指定的周围船只标识，可以显示或消隐该船只的信息，船只的信息包括本船和指定船只的当前距离、最近会遇距离、最近会遇时间等。具体实施过程是：根据周围船只和本船的经纬度信息，换算两船的大地坐标，运用勾股定理计算两船的距离。两船最近会遇距离DCPA(Distance of Closest Point of Approach)和最近会遇时间TCPA(Time to ClosestPoint of Approach)可通过两船的大地坐标、行驶速度和行驶方向计算得到，该计算方法为成熟算法，此处不再赘述。指定船只的船只距离、最近会遇距离、最近会遇时间等信息会集中在一个对话框中，通过人工选择指定的周围船只标识，该船只标识可以通过颜色填充、高亮等方式突出显示，同时在界面上显示上述对话框；通过再次选择该船只标识可以将对话框消隐。
如图1所示，本发明的优选实施方式是：还包括周围船只碰撞警示，当周围船只具有与本船碰撞的风险时，会做出警示。警示方式可以采用但不限于对不同碰撞风险的船只标识使用不同的颜色加以区分。还包括触礁、触岸警示，当本船行驶靠近危险区域，如礁石、沉船、河岸等，会做出警示；警示方式可以采用但不限于对危险区域或危险物体进行边缘高亮。
如图1所示，本发明的优选实施方式是：还包括目标船只信息输出模块11，所述目标船只信息输出模块11输出目标船只的相关信息，包括目标船只的距离信息、最近会遇距离信息、最近会遇时间信息中的一种或多种。具体使用时，通过人工选择指定的周围船只标识，该船只标识可以通过颜色填充、高亮等方式突出显示，同时在界面上显示上述对话框，对话框中显示选定船只的距离信息、最近会遇距离信息、最近会遇时间信息中的一种或多种，这些信息通过已有信息进行计算即可以获得，很多专利和论文中均有相关计算方法。显示完全后，通过再次选择该船只标识可以将对话框消隐。
本发明的技术效果是：提供一种基于红外视频的船舶辅助航行方法及系统，包括如下步骤：对本船航道水平视角进行红外视频成像，获取红外视频图像的视角；获取本船的航行信息和周围船只的航行信息；以本船为中心，获取本船阈值距离范围内的海图信息，根据海图信息进行如下处理：用水深将水域分为多个区域并标识区域及边界，障碍物区域用国际通用标准符号标注在对应位置；以处理后的海图信息为底图建立坐标系，将周围船只的航行信息叠加到底图上并进行标识，同时标识出船只的航行方向；根据红外摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，按红外图像平视图的视角进行对信息全图进行坐标变换；按照坐标变换后获得的像素坐标位置，将彩色的信息全图和黑白的红外视频图像进行图像融合，形成融合红外视频图像。本发明基于红外视频的船舶辅助航行方法及系统，通过对本船航道水平视角进行红外视频成像，根据红外视频图像的视角，将电子海图、船舶定位系统、船舶AIS等辅助航行信息，通过数据处理形成水路路况和周围船只碰撞风险等可视化图形界面，叠加在红外视频图像。本发明技术方案，直观地呈现出船只行驶过程中的风险点，辅助船员在实际场景中直接作出航行决策。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (11)
1.一种基于红外视频的船舶辅助航行方法,其特征在于，包括如下步骤：
红外视频成像：对本船航道水平视角进行红外视频成像，获取红外视频图像的视角；
获取本船和周围船只的航行信息：获取本船的航行信息和周围船只的航行信息；
获取并处理船只海图信息：以本船为中心，获取本船阈值距离范围内的海图信息，根据海图信息进行如下处理：用水深将水域分为多个区域并标识区域及边界，障碍物区域用国际通用标准符号标注在对应位置；
信息叠加：以处理后的海图信息为底图建立坐标系，将周围船只的航行信息叠加到底图上并进行标识，同时标识出船只的航行方向；
坐标变换：根据红外摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，按红外图像平视图的视角进行对信息全图进行坐标变换；
图像融合：按照坐标变换后获得的像素坐标位置，将彩色的信息全图和黑白的红外视频图像进行图像融合，形成融合红外视频图像。
2.根据权利要求1所述基于红外视频的船舶辅助航行方法，其特征在于，通过惯性器件感知红外摄像机的视轴变化，获取红外视频成像的水平视角。
3.根据权利要求1所述基于红外视频的船舶辅助航行方法，其特征在于，全画幅红外输出图像中，截取中间一个窗口区域输出。
4.根据权利要求1所述基于红外视频的船舶辅助航行方法，其特征在于，本船的航行信息包括：本船所在位置的经纬度、船体长和宽、船只吃水深度、船只航行方向、船只航行速度；周围船只的航行信息包括：周围船只所在位置的经纬度、船体长和宽、船只航行方向、船只航行速度。
5.根据权利要求1所述基于红外视频的船舶辅助航行方法，其特征在于，在坐标变换步骤中，选择特殊的点，获得该特殊的点在信息全图坐标中的二维坐标值和在红外视频图像中的像素坐标中的像素坐标值，通过数值计算获得坐标映射关系，根据坐标映射关系进行坐标变换。
6.根据权利要求1所述基于红外视频的船舶辅助航行方法，其特征在于，在图像融合步骤中，将进行融合的信息全图设置成一定透明度。
7.一种基于红外视频的船舶辅助航行系统,其特征在于，包括红外成像设备、视角获取模块、航行信息获取模块、海图信息处理模块、信息叠加模块、坐标变换模块、图像融合模块，所述红外成像设备对本船航道进行水平视角的红外视频成像，视角获取模块获取红外视频图像的视角；所述航行信息获取模块获取本船的航行信息和周围船只的航行信息；以本船为中心，所述海图信息处理模块获取本船阈值距离范围内的海图信息，所述海图信息处理模块根据海图信息进行划分区域：用水深将水域分为多个区域并标识区域及边界，障碍物区域用国际通用标准符号标注在对应位置；所述信息叠加模块以处理后的海图信息为底图建立坐标系，将周围船只的航行信息叠加到底图上并进行标识，同时标识出船只的航行方向；所述坐标变换模块根据红外摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，按红外图像平视图的视角进行对信息全图进行坐标变换；所述图像融合模块按照坐标变换后获得的像素坐标位置，将彩色的信息全图和黑白的红外视频图像进行图像融合，形成融合红外视频图像。
8.根据权利要求7所述基于红外视频的船舶辅助航行系统,其特征在于，还包括目标测距模块，所述目标测距模块对周围场景中的目标进行测距。
9.根据权利要求7所述基于红外视频的船舶辅助航行系统,其特征在于，还包括标识模块，所述标识模块对周围场景中的目标进行标识。
10.根据权利要求7所述基于红外视频的船舶辅助航行系统,其特征在于，还包括目标信息处理模块，所述目标信息处理模块对周围场景中目标信息进行显示或隐藏。
11.根据权利要求7所述基于红外视频的船舶辅助航行系统,其特征在于，还包括目标船只信息输出模块，所述目标船只信息输出模块输出目标船只的相关信息，包括目标船只的距离信息、最近会遇距离信息、最近会遇时间信息中的一种或多种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110645336.3A CN113450598B (zh) | 2021-06-09 | 2021-06-09 | 基于红外视频的船舶辅助航行方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110645336.3A CN113450598B (zh) | 2021-06-09 | 2021-06-09 | 基于红外视频的船舶辅助航行方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113450598A true CN113450598A (zh) | 2021-09-28 |
| CN113450598B CN113450598B (zh) | 2022-08-12 |
Family
ID=77811161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110645336.3A Active CN113450598B (zh) | 2021-06-09 | 2021-06-09 | 基于红外视频的船舶辅助航行方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113450598B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092372A (zh) * | 2022-01-18 | 2022-02-25 | 北京海兰信数据科技股份有限公司 | 一种船舶电子航道图和全景视频图像叠加的方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100271615A1 (en) * | 2009-02-20 | 2010-10-28 | Digital Signal Corporation | System and Method for Generating Three Dimensional Images Using Lidar and Video Measurements |
| CN104535066A (zh) * | 2014-12-19 | 2015-04-22 | 大连海事大学 | 一种船载红外视频图像中的海上目标与电子海图的叠加方法及系统 |
| CN104660993A (zh) * | 2015-02-09 | 2015-05-27 | 武汉理工大学 | 基于ais和cctv的海事智能监控方法及系统 |
| CN108387944A (zh) * | 2018-02-01 | 2018-08-10 | 北京理工大学 | 小型化可见光和长波红外双波段视频融合的生命探测仪 |
| CN110127000A (zh) * | 2019-05-27 | 2019-08-16 | 武汉理工大学 | 一种面向运输船舶的智能航行眼系统 |
| CN111984009A (zh) * | 2020-08-04 | 2020-11-24 | 智慧航海（青岛）科技有限公司 | 一种船舶避碰环境建模方法 |
-
2021
- 2021-06-09 CN CN202110645336.3A patent/CN113450598B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100271615A1 (en) * | 2009-02-20 | 2010-10-28 | Digital Signal Corporation | System and Method for Generating Three Dimensional Images Using Lidar and Video Measurements |
| CN104535066A (zh) * | 2014-12-19 | 2015-04-22 | 大连海事大学 | 一种船载红外视频图像中的海上目标与电子海图的叠加方法及系统 |
| CN104660993A (zh) * | 2015-02-09 | 2015-05-27 | 武汉理工大学 | 基于ais和cctv的海事智能监控方法及系统 |
| CN108387944A (zh) * | 2018-02-01 | 2018-08-10 | 北京理工大学 | 小型化可见光和长波红外双波段视频融合的生命探测仪 |
| CN110127000A (zh) * | 2019-05-27 | 2019-08-16 | 武汉理工大学 | 一种面向运输船舶的智能航行眼系统 |
| CN111984009A (zh) * | 2020-08-04 | 2020-11-24 | 智慧航海（青岛）科技有限公司 | 一种船舶避碰环境建模方法 |
Non-Patent Citations (3)
| Title |
|---|
| 刘洪涛: "智能船舶感知系统中的视觉传感器布设及协同技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 * |
| 庄加兴 等: "毫米波雷达与激光雷达在无人船上的应用", 《船舶工程》 * |
| 李斌 等: "内河运动船舶的准确检测跟踪技术研究", 《微电子学与计算机》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092372A (zh) * | 2022-01-18 | 2022-02-25 | 北京海兰信数据科技股份有限公司 | 一种船舶电子航道图和全景视频图像叠加的方法及系统 |
| CN114092372B (zh) * | 2022-01-18 | 2022-05-13 | 北京海兰信数据科技股份有限公司 | 一种船舶电子航道图和全景视频图像叠加的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113450598B (zh) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10908678B2 (en) | Video and image chart fusion systems and methods | |
| US11328155B2 (en) | Augmented reality labels systems and methods | |
| US10942027B2 (en) | Video sensor fusion and model based virtual and augmented reality systems and methods | |
| US10378905B2 (en) | Auxiliary berthing method and system for vessel | |
| CN103398710B (zh) | 一种夜雾天况下的舰船进出港导航系统及其构建方法 | |
| US11892298B2 (en) | Navigational danger identification and feedback systems and methods | |
| CN102589542A (zh) | 用于增强导航的方法和系统 | |
| GB2611003A (en) | Video sensor fusion and model based virtual and augmented reality systems and methods | |
| CN113450597B (zh) | 基于深度学习的船舶辅助航行方法及系统 | |
| US20220172464A1 (en) | Water non-water segmentation systems and methods | |
| US20220392211A1 (en) | Water non-water segmentation systems and methods | |
| US20220268580A1 (en) | Tidal current information display apparatus and method | |
| EP4086573A1 (en) | Tidal information display device | |
| CN103175523A (zh) | 基于日盲紫外光信号的引航仪 | |
| WO2021178603A1 (en) | Water non-water segmentation systems and methods | |
| CN113450598B (zh) | 基于红外视频的船舶辅助航行方法及系统 | |
| JP5152913B2 (ja) | 洋上監視システムおよび方法 | |
| CA2781241C (en) | Method for generating a representation of surroundings | |
| CN110667783A (zh) | 一种无人艇辅助驾驶系统及其方法 | |
| EP4047312A1 (en) | Augmented reality based tidal current display device | |
| KR101456439B1 (ko) | 투명 디스플레이를 이용한 선박용 영상 개선 시스템 | |
| US11808579B2 (en) | Augmented reality based tidal current display apparatus and method | |
| CN114022775B (zh) | 一种基于雷达扫描变量的水上多目标视频影像坐标估计方法 | |
| CN115082811A (zh) | 一种依据图像数据的海上航行船舶识别与距离测量的方法 | |
| CN113253619B (zh) | 一种船舶数据信息的处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |