CN114092372B - 一种船舶电子航道图和全景视频图像叠加的方法及系统 - Google Patents

一种船舶电子航道图和全景视频图像叠加的方法及系统 Download PDF

Info

Publication number
CN114092372B
CN114092372B CN202210055055.7A CN202210055055A CN114092372B CN 114092372 B CN114092372 B CN 114092372B CN 202210055055 A CN202210055055 A CN 202210055055A CN 114092372 B CN114092372 B CN 114092372B
Authority
CN
China
Prior art keywords
buoy
queue
image
panoramic video
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210055055.7A
Other languages
English (en)
Other versions
CN114092372A (zh
Inventor
刘烨
杨凌波
文婷
刘波
段泽
洪伟宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Highlandr Digital Technology Co ltd
Original Assignee
Beijing Highlandr Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Highlandr Digital Technology Co ltd filed Critical Beijing Highlandr Digital Technology Co ltd
Priority to CN202210055055.7A priority Critical patent/CN114092372B/zh
Publication of CN114092372A publication Critical patent/CN114092372A/zh
Application granted granted Critical
Publication of CN114092372B publication Critical patent/CN114092372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明实施例公开了一种船舶电子航道图和全景视频图像叠加的方法，包括：获取电子航道图图像和全景视频图像；对所述电子航道图图像和所述全景视频图像匹配进行标定配准，获取所述电子航道图图像投影至所述全景视频图像的单应矩阵；通过所述单应矩阵将所述电子航道图图像投影至所述全景视频图像上，加权融合得到融合图像，其中，融合时通过浮标的信息进行数据校准，以在所述融合图像上显示所述电子航道图图像和所述全景视频图像中所有浮标的信息。本发明实施例还公开了一种船舶电子航道图和全景视频图像叠加的系统。本发明实现电子航道图和视频图像之间的信息关联和融合，更加直观丰富的展现内河航道数据和航行环境。

Description

一种船舶电子航道图和全景视频图像叠加的方法及系统
技术领域
本发明涉及船舶图像技术领域，具体而言，涉及一种船舶电子航道图和全景视频图像叠加的方法及系统。
背景技术
电子航道图是基于地理、水文等数据的抽象，难以直观获取关于整个内河航行环境更真实、丰富的信息。电子瞭望视频系统则可以较为直观观察航行环境，但是缺乏水文如水深、浮标等抽象数据信息。现有技术中，船舶电子航道图平台和电子瞭望视频系统相互独立，以致电子航道图和视频图像之间没有实现信息关联和融合。
发明内容
为解决上述问题，本发明的目的在于提供一种船舶电子航道图和全景视频图像叠加的方法及系统，实现电子航道图和视频图像之间的信息关联和融合，更加直观丰富的展现内河航道数据和航行环境。
本发明实施例提供了一种船舶电子航道图和全景视频图像叠加的方法，所述方法包括：
获取电子航道图图像和全景视频图像；
对所述电子航道图图像和所述全景视频图像匹配进行标定配准，获取所述电子航道图图像投影至所述全景视频图像的单应矩阵；
通过所述单应矩阵将所述电子航道图图像投影至所述全景视频图像上，加权融合得到融合图像，其中，融合时通过浮标的信息进行数据校准，以在所述融合图像上显示所述电子航道图图像和所述全景视频图像中所有浮标的信息。
作为本发明进一步的改进，所述融合时通过浮标的信息进行数据校准，以在所述融合图像上显示所述电子航道图图像和所述全景视频图像中所有浮标的信息，包括：
识别所述全景视频图像上的各个浮标，并将各个浮标的像素坐标信息存储于浮标队列A中；
确定所述电子航道图图像上的各个浮标，并将各个浮标的经纬度信息存储于浮标队列B中；
根据所述单应矩阵，将所述浮标队列B中的各个浮标投影至所述全景视频图像上，将所述浮标队列B中的各个浮标的经纬度信息转化成像素坐标信息，得到浮标队列B’，其中，所述浮标队列B’中存储有所述电子航道图图像上的各个浮标的像素坐标信息；
在所述全景视频图像上，确定所述浮标队列B’中各个浮标和所述浮标队列A中各个浮标的对应关系；
基于所述对应关系，在所述融合图像上显示所有浮标的信息。
作为本发明进一步的改进，所述在所述全景视频图像上，确定所述浮标队列B’和所述浮标队列A中各个浮标的对应关系，包括：
通过K最近邻算法计算所述浮标队列B’中的各个浮标和所述浮标队列A中的各个浮标的欧氏距离，并根据求解得到的欧式距离值进行分类匹配，以获得所述浮标队列B’中各个浮标和所述浮标队列A中各个浮标的对应关系；
Figure 765686DEST_PATH_IMAGE002
Figure 783321DEST_PATH_IMAGE004
式中，
Figure 340204DEST_PATH_IMAGE006
表示点
Figure 76079DEST_PATH_IMAGE008
与点
Figure 743821DEST_PATH_IMAGE010
之间的欧氏距离，
Figure 350383DEST_PATH_IMAGE012
为点
Figure DEST_PATH_IMAGE013
到原点的欧氏距离，点
Figure 547009DEST_PATH_IMAGE010
表示所述浮标队列A中的浮标在所述全景视频图像中所在的像素坐标，点
Figure 268715DEST_PATH_IMAGE014
表示所述浮标队列B’中的浮标在所述全景视频图像中所在的像素坐标，原点表示所述全景视频图像左上角顶点。
作为本发明进一步的改进，根据所述全景视频图像上的水面信息和摄像头距离水面的高度，确定距离曲线L，将所述距离曲线L作为参数计算带权重的欧式距离值，根据带权重的欧氏距离值进行分类匹配，以获得各个浮标的对应关系；
Figure 474568DEST_PATH_IMAGE016
式中，h表示摄像头距离水面的高度，
Figure 466795DEST_PATH_IMAGE018
表示摄像头垂直视场角的一半，
Figure 100002_DEST_PATH_IMAGE020
表示摄像头光轴的俯仰角度，Y/Y’表示图像像素坐标中目标位置与图像靶面一半的比值。
本发明实施例还提供了一种船舶电子航道图和全景视频图像叠加的系统，所述系统包括：
图像获取模块，用于获取电子航道图图像和全景视频图像；
标定配准模块，用于对所述电子航道图图像和所述全景视频图像匹配进行标定配准，获取所述电子航道图图像投影至所述全景视频图像的单应矩阵；
融合校准模块，用于通过所述单应矩阵将所述电子航道图图像投影至所述全景视频图像上，加权融合得到融合图像，其中，融合时通过浮标的信息进行数据校准，以在所述融合图像上显示所述电子航道图图像和所述全景视频图像中所有浮标的信息。
作为本发明进一步的改进，所述融合校准模块包括：
识别所述全景视频图像上的各个浮标，并将各个浮标的像素坐标信息存储于浮标队列A中；
确定所述电子航道图图像上的各个浮标，并将各个浮标的经纬度信息存储于浮标队列B中；
根据所述单应矩阵，将所述浮标队列B中的各个浮标投影至所述全景视频图像上，将所述浮标队列B中的各个浮标的经纬度信息转化成像素坐标信息，得到浮标队列B’，其中，所述浮标队列B’中存储有所述电子航道图图像上的各个浮标的像素坐标信息；
在所述全景视频图像上，确定所述浮标队列B’中各个浮标和所述浮标队列A中各个浮标的对应关系；
基于所述对应关系，在所述融合图像上显示所有浮标的信息。
作为本发明进一步的改进，所述在所述全景视频图像上，确定所述浮标队列B’和所述浮标队列A中各个浮标的对应关系，包括：
通过K最近邻算法计算所述浮标队列B’中的各个浮标和所述浮标队列A中的各个浮标的欧氏距离，并根据求解得到的欧式距离值进行分类匹配，以获得所述浮标队列B’中各个浮标和所述浮标队列A中各个浮标的对应关系；
Figure 834322DEST_PATH_IMAGE002
Figure 279210DEST_PATH_IMAGE021
式中，
Figure 85492DEST_PATH_IMAGE006
表示点
Figure DEST_PATH_IMAGE022
与点
Figure 666646DEST_PATH_IMAGE010
之间的欧氏距离，
Figure 969189DEST_PATH_IMAGE012
为点
Figure 166952DEST_PATH_IMAGE023
到原点的欧氏距离，点
Figure 714608DEST_PATH_IMAGE010
表示所述浮标队列A中的浮标在所述全景视频图像中所在的像素坐标，点
Figure 681427DEST_PATH_IMAGE024
表示所述浮标队列B’中的浮标在所述全景视频图像中所在的像素坐标，原点表示所述全景视频图像左上角顶点。
作为本发明进一步的改进，根据所述全景视频图像上的水面信息和摄像头距离水面的高度，确定距离曲线L，将所述距离曲线L作为参数计算带权重的欧式距离值，根据带权重的欧氏距离值进行分类匹配，以获得各个浮标的对应关系；
Figure 390757DEST_PATH_IMAGE016
式中，h表示摄像头距离水面的高度，
Figure 75817DEST_PATH_IMAGE018
表示摄像头垂直视场角的一半，
Figure 427164DEST_PATH_IMAGE026
表示摄像头光轴的俯仰角度，Y/Y’表示图像像素坐标中目标位置与图像靶面一半的比值。
本发明实施例还提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被处理器执行以实现所述的方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现所述的方法。
本发明的有益效果为：
将电子航道图和全景视频图像进行叠加，实现电子航道图和视频图像之间的信息关联和融合，更加直观丰富的展现内河航道数据和航行环境。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一示例性实施例所述的一种船舶电子航道图和全景视频图像叠加的方法的流程示意图；
图2为本发明一示例性实施例所述的射影变换的示意图；
图3为本发明一示例性实施例所述的计算距离曲线时的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明的描述中，所用术语仅用于说明目的，并非旨在限制本发明的范围。术语“包括”和/或“包含”用于指定所述元件、步骤、操作和/或组件的存在，但并不排除存在或添加一个或多个其他元件、步骤、操作和/或组件的情况。术语“第一”、“第二”等可能用于描述各种元件，不代表顺序，且不对这些元件起限定作用。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个及两个以上。这些术语仅用于区分一个元素和另一个元素。结合以下附图，这些和/或其他方面变得显而易见，并且，本领域普通技术人员更容易理解关于本发明所述实施例的说明。附图仅出于说明的目的用来描绘本发明所述实施例。本领域技术人员将很容易地从以下说明中认识到，在不背离本发明所述原理的情况下，可以采用本发明所示结构和方法的替代实施例。
本发明实施例所述的一种船舶电子航道图和全景视频图像叠加的方法，如图1所示，所述方法包括：
获取电子航道图图像和全景视频图像；
对所述电子航道图图像和所述全景视频图像匹配进行标定配准，获取所述电子航道图图像投影至所述全景视频图像的单应矩阵；
通过所述单应矩阵将所述电子航道图图像投影至所述全景视频图像上，加权融合得到融合图像，其中，融合时通过浮标的信息进行数据校准，以在所述融合图像上显示所述电子航道图图像和所述全景视频图像中所有浮标的信息。
电子航道图是电子海图在内河中的一种表现形式，是对现实世界的抽象，其中航道水上数据较为丰富，所以从中难以获取关于整个内河航行环境更真实、更丰富的信息。基于电子航道图平台的数字航道应用往往通过提供链接的方式使用户得到相应物标要素如航标、重要建筑物等的直观图像信息，在一定程度上弥补二维数据带来的抽象与空间数据覆盖范围的局限性。内河船舶船员考虑行船安全等因素，常会安装多个摄像头设备用以监控船上、船周围行船环境。同时随着计算机视觉技术的发展，视频全景拼接等技术由于其大视场角、高分辨率、更直观观察周围环境等优点，逐渐被各行业领域使用。现有技术中电子航道图平台、电子瞭望视频系统相互独立，没能形成系统间的信息关联与图像融合。
本发明所述方法将电子航道图和全景视频图像进行叠加，实现电子航道图和视频图像之间的信息关联和融合，更加直观丰富的展现内河航道数据和航行环境。
增强现实（Augmented Reality，简称AR）是指透过摄像头影像的位置及角度精算并加上图像分析技术，让屏幕上的虚拟世界能够与现实世界场景进行结合与交互的技术。其中北卡大学教授罗纳德·阿祖玛认为的增强现实包括三个方面的内容：真实世界和虚拟世界的组合；实时交互；虚拟物体和真实物体的精确3D配准。AR实现虚拟世界和物理世界的实时同步，满足用户在物理世界中真实地感受虚拟空间中模拟的事物，增强用户体验效果。
本发明所述方法通过计算机完成，将摄像头摄取的全景视频图像输入至计算机中，与电子航道图平台产生的电子航道图图像合成，并输出到屏幕显示器中，可以从屏幕上看到最终的增强现实场景图像。所述方法可以实现航道沿线多场景视频监管，满足不同场景下高清、超视距、大场景等要求，可在全景视频图像上实时叠加显示电子航道图的图层信息，如深浅水域划分、水深潮汐数据、岸线、航标、可航行航道、危险禁航区域信息等，可以实现航道AR实景监控，实现船舶通航物联信息采集和数据分析。
其中，格栅化处理获取电子航道图图像：在电子航道图平台中采用固定航行艏向，在电子航道图中选取船舶位置，选定适当比例尺，并在固定频率下采集得到电子航道图图像。电子航道图中包含经纬度地理数据信息，船舶实时位置、航速、航迹向、船艏向信息由船舶GPS、数字罗盘、速度计或加速度计获取。根据船舶的船位、船艏向可实时定位到船舶在电子航道图中的方位。通过摄像头获取多路视频，并将多路视频图像拼接会获得全景视频图像。
单应是射影几何中的概念，又称为射影变换。如图2所示，它把一个射影平面上的点（三维齐次矢量）映射到另一个射影平面上。单应是关于三维齐次矢量的一种线性变换，可以用一个3×3的非奇异矩阵H表示，
Figure 100002_DEST_PATH_IMAGE028
，这个矩阵H称为单应矩阵。
使用这个单应矩阵，就可以将射影平面上的一个点投影到另一个平面上（图中的m 投影到 m’）。能够将图像1中的像素坐标
Figure 100002_DEST_PATH_IMAGE030
变换到图像2中对应的位置上
Figure 100002_DEST_PATH_IMAGE032
。
Figure DEST_PATH_IMAGE034
位于两个图像上的像点p 1
Figure 622390DEST_PATH_IMAGE010
和p 2
Figure 830518DEST_PATH_IMAGE024
是一对匹配的点对，其单应矩阵为H，则有：
Figure DEST_PATH_IMAGE036
展开得到：
Figure DEST_PATH_IMAGE038
由此可知，至少需要4对匹配点（4个方程组）进行标定，计算求解得到单应矩阵H（4对匹配点中任意三对匹配点不共线）。
在对电子航道图图像和全景视频图像进行实时融合时，首先是将带有图层的电子航道图图像通过计算出的单应矩阵H，投影至全景视频图像上，再采用百分比加权融合，其中加权系数可进行适应性设计，最后将两张图像叠加显示。
对两张图像加权融合成一张图像，合成图像的像素值根据如下公式计算：RGB3 =(1- α) *RGB1 + α* RGB2
其中，α为混合透明度即加权系数，取值范围在[0,1]之间，RGB3为目标像素值，即合成图像的像素值，RGB1与RGB2的值分别为电子航道图图像的像素值和全景视频图像的像素值。
一种可选的实施方式中，所述融合时通过浮标的信息进行数据校准，以在所述融合图像上显示所述电子航道图图像和所述全景视频图像中所有浮标的信息，包括：
识别所述全景视频图像上的各个浮标，并将各个浮标的像素坐标信息存储于浮标队列A中；
确定所述电子航道图图像上的各个浮标，并将各个浮标的经纬度信息存储于浮标队列B中；
根据所述单应矩阵，将所述浮标队列B中的各个浮标投影至所述全景视频图像上，将所述浮标队列B中的各个浮标的经纬度信息转化成像素坐标信息，得到浮标队列B’，其中，所述浮标队列B’中存储有所述电子航道图图像上的各个浮标的像素坐标信息；
在所述全景视频图像上，确定所述浮标队列B’中各个浮标和所述浮标队列A中各个浮标的对应关系；
基于所述对应关系，在所述融合图像上显示所有浮标的信息。
由于浮标在航道中会由于航道季节性变化存在漂移等误差的情况，本发明所述方法采用浮标信息进行数据校准，以修正浮标漂移所带来的误差。采用目标识别方法识别全景视频图像上的浮标目标（可以是一个或多个浮标），并将浮标的像素坐标、浮标大小等信息存储于浮标队列A中。收集电子航道图上相应可视范围内的浮标（可以是一个或多个）的信息，将浮标的经纬度、名称等信息存储于浮标队列B中。根据已经计算出的单应矩阵，将浮标队列B中的浮标投影到全景视频图像平面上，将浮标队列B中的浮标的经纬度信息转化为像素坐标信息，以求得最新浮标队列B’与同平面内浮标队列A的对应关系。求得浮标的一一对应关系后，在融合叠加后的图像上展示具体浮标信息，即可准确展示视频AR显示下的航标信息。
一种可选的实施方式中，确定所述浮标队列B’和所述浮标队列A中各个浮标的对应关系，包括：
通过K最近邻算法计算所述浮标队列B’中的各个浮标和所述浮标队列A中的各个浮标的欧氏距离，并根据求解得到的欧式距离值进行分类匹配，以获得所述浮标队列B’中各个浮标和所述浮标队列A中各个浮标的对应关系；
Figure 674977DEST_PATH_IMAGE002
Figure 564436DEST_PATH_IMAGE021
式中，
Figure 4382DEST_PATH_IMAGE006
表示点
Figure 55515DEST_PATH_IMAGE039
与点
Figure 449587DEST_PATH_IMAGE010
之间的欧氏距离，
Figure 142736DEST_PATH_IMAGE012
为点
Figure DEST_PATH_IMAGE040
到原点的欧氏距离，点
Figure 407496DEST_PATH_IMAGE010
表示所述浮标队列A中的浮标在所述全景视频图像中所在的像素坐标，点
Figure 160688DEST_PATH_IMAGE024
表示所述浮标队列B’中的浮标在所述全景视频图像中所在的像素坐标，原点表示所述全景视频图像左上角顶点。
本发明在计算对应关系时，采用带权重的KNN（K- Nearest Neighbor）法即K最近邻算法。在特征空间中两个实例点之间的距离是两者相似程度的反应，因此通过K最近邻算法计算样本之间的距离，以确定两组浮标队列A与B’中浮标的一一对应关系。计算的样本之间的距离是欧式距离，衡量的是多维空间中两个样本点之间的绝对距离，本发明中采用浮标队列A与B’中的像素坐标进行计算。
对于航道水面（浮标）信息，本申请所述方法采集数据图像像素坐标及实际经纬度距离坐标进行拟合，也可以采用其他的拟合匹配方式，如神经网络，计算两组数据A与B’间的对应关系，如多项式拟合，将输入值以及输入值的多项次方的线性组合，拟合出来的函数反映输入值及输入值多次方之间的线性关系，或其他分类及校正方法。
一种可选的实施方式中，根据所述全景视频图像上的水面信息和摄像头距离水面的高度，确定距离曲线L，将所述距离曲线L作为参数计算带权重的欧式距离值，根据带权重的欧氏距离值进行分类匹配，以获得各个浮标的对应关系；
Figure 838794DEST_PATH_IMAGE016
式中，h表示摄像头距离水面的高度，
Figure 70055DEST_PATH_IMAGE018
表示摄像头垂直视场角的一半，
Figure 219015DEST_PATH_IMAGE041
表示摄像头光轴的俯仰角度，Y/Y’表示图像像素坐标中目标位置与图像靶面一半的比值。
根据包含水面信息的全景视频图像的像素特点，以图像左上角为坐标原点。画面上的y值越大，像素点实际代表的空间位置越近，y值越小，像素点代表的实际空间位置越远。即靠近摄像头的位置一个像素可代表几米距离，而代表较远处的像素点，一个像素可代表几十米甚至几百米、几千米。故而在同一图像画面只采用欧氏距离值作为KNN算法的评估标准并不准确。本发明所述方法对水面（浮标）信息做了校正融合处理，根据图像上水面信息和摄像头实际据水面高度，计算距离曲线L，将距离曲线L作为参数计算带权重的欧式距离值，以此可提供更加准确的航道信息。
如图3所示，计算拍摄全景视频图像的摄像机组的几何中心距离水面的平均高度h，基于该平均高度h定义：
摄像头距离水面的高度为h，h的两端分别为摄像头和O，O是摄像头与水平地面的垂足，O’是图像靶面一半在y方向上代表的空间距离，摄像头光轴的俯仰角
Figure DEST_PATH_IMAGE043A
，摄像头垂直视场角的一半
Figure DEST_PATH_IMAGE045A
，摄像头水平视场角的一半
Figure DEST_PATH_IMAGE047A
，a是目标位置与摄像头之间的连线与水平方向的夹角，y表示目标在方向上的位置，y’表示摄像头视野边界在空间坐标系中的距离。目标的实际位置计算就演变为计算图3中像素
Figure DEST_PATH_IMAGE049AAA
位置解析。经过数学推导得到y方向的实际距离最终表达式，即距离曲线L。
对每个点的距离增加一个权重，使得距离近的点可以得到更大的权重。在处理数值型数据时，不是对k个数据简单的平均，而是加权平均。通过将每一个距离值乘以对应权重，然后将结果累加，求出总和后，再对其除以所有权重之和得到预测的数值型结果。
Figure 923534DEST_PATH_IMAGE051
上式中，Di表示邻近点
Figure DEST_PATH_IMAGE053AA
与待测值x的距离即欧式距离
Figure DEST_PATH_IMAGE055A
，Wi表示欧式距离
Figure DEST_PATH_IMAGE055AA
的权重即距离曲线L，f（x）表示预测结果。
本发明所述方法可以适应多种场景，如船载式融合系统，用以监测航行过程中的航道数据或岸基式融合系统，用于沿岸或重点区域航道的监控。基于该融合系统，可扩展多种危险预警、航行行为分析等升级功能。如船舶航行中的桥梁、危险区域信息识别预警。岸基式航道检测中的异常水位、船舶行为等监控。
本发明实施例所述的一种船舶电子航道图和全景视频图像叠加的系统，所述系统包括：
图像获取模块，用于获取电子航道图图像和全景视频图像；
标定配准模块，用于对所述电子航道图图像和所述全景视频图像匹配进行标定配准，获取所述电子航道图图像投影至所述全景视频图像的单应矩阵；
融合校准模块，用于通过所述单应矩阵将所述电子航道图图像投影至所述全景视频图像上，加权融合得到融合图像，其中，融合时通过浮标的信息进行数据校准，以在所述融合图像上显示所述电子航道图图像和所述全景视频图像中所有浮标的信息。
一种可选的实施方式中，所述融合校准模块包括：
识别所述全景视频图像上的各个浮标，并将各个浮标的像素坐标信息存储于浮标队列A中；
确定所述电子航道图图像上的各个浮标，并将各个浮标的经纬度信息存储于浮标队列B中；
根据所述单应矩阵，将所述浮标队列B中的各个浮标投影至所述全景视频图像上，将所述浮标队列B中的各个浮标的经纬度信息转化成像素坐标信息，得到浮标队列B’，其中，所述浮标队列B’中存储有所述电子航道图图像上的各个浮标的像素坐标信息；
在所述全景视频图像上，确定所述浮标队列B’中各个浮标和所述浮标队列A中各个浮标的对应关系；
基于所述对应关系，在所述融合图像上显示所有浮标的信息。
一种可选的实施方式中，所述在所述全景视频图像上，确定所述浮标队列B’和所述浮标队列A中各个浮标的对应关系，包括：
通过K最近邻算法计算所述浮标队列B’中的各个浮标和所述浮标队列A中的各个浮标的欧氏距离，并根据求解得到的欧式距离值进行分类匹配，以获得所述浮标队列B’中各个浮标和所述浮标队列A中各个浮标的对应关系；
Figure 636406DEST_PATH_IMAGE002
Figure 671359DEST_PATH_IMAGE021
式中，
Figure 674824DEST_PATH_IMAGE006
表示点
Figure DEST_PATH_IMAGE056
与点
Figure 973082DEST_PATH_IMAGE010
之间的欧氏距离，
Figure 829042DEST_PATH_IMAGE012
为点
Figure 402106DEST_PATH_IMAGE057
到原点的欧氏距离，点
Figure 27122DEST_PATH_IMAGE010
表示所述浮标队列A中的浮标在所述全景视频图像中所在的像素坐标，点
Figure 293019DEST_PATH_IMAGE058
表示所述浮标队列B’中的浮标在所述全景视频图像中所在的像素坐标，原点表示所述全景视频图像左上角顶点。
一种可选的实施方式中，根据所述全景视频图像上的水面信息和摄像头距离水面的高度，确定距离曲线L，将所述距离曲线L作为参数计算带权重的欧式距离值，根据带权重的欧氏距离值进行分类匹配，以获得各个浮标的对应关系；
Figure 167434DEST_PATH_IMAGE016
式中，h表示摄像头距离水面的高度，
Figure 809768DEST_PATH_IMAGE018
表示摄像头垂直视场角的一半，
Figure 787826DEST_PATH_IMAGE059
表示摄像头光轴的俯仰角度，Y/Y’表示图像像素坐标中目标位置与图像靶面一半的比值。
本公开还涉及一种电子设备，包括服务器、终端等。该电子设备包括：至少一个处理器；与至少一个处理器通信连接的存储器；以及与存储介质通信连接的通信组件，所述通信组件在处理器的控制下接收和发送数据；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行以实现上述实施例中的方法。
在一种可选的实施方式中，存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器中，当被一个或者多个处理器执行时，执行上述任意方法实施例中的方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本公开还涉及一种计算机可读存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
此外，本领域普通技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本领域技术人员应理解，尽管已经参考示例性实施例描述了本发明，但是在不脱离本发明的范围的情况下，可进行各种改变并可用等同物替换其元件。另外，在不脱离本发明的实质范围的情况下，可进行许多修改以使特定情况或材料适应本发明的教导。因此，本发明不限于所公开的特定实施例，而是本发明将包括落入所附权利要求范围内的所有实施例。

Claims (8)

1.一种船舶电子航道图和全景视频图像叠加的方法，其特征在于，所述方法包括：
获取电子航道图图像和全景视频图像；
对所述电子航道图图像和所述全景视频图像匹配进行标定配准，获取所述电子航道图图像投影至所述全景视频图像的单应矩阵；
通过所述单应矩阵将所述电子航道图图像投影至所述全景视频图像上，加权融合得到融合图像，其中，融合时通过浮标的信息进行数据校准，以在所述融合图像上显示所述电子航道图图像和所述全景视频图像中所有浮标的信息，包括：在所述全景视频图像上获得各个浮标的对应关系，所述各个浮标的对应关系表示：所述电子航道图图像上浮标队列B中的各个浮标投影至所述全景视频图像上形成的浮标队列B’中的各个浮标与所述全景视频图像上浮标队列A中的各个浮标之间的对应关系；
其中，根据所述全景视频图像上的水面信息和摄像头距离水面的高度，确定距离曲线L，将所述距离曲线L作为参数计算带权重的欧式距离值，根据带权重的欧氏距离值进行分类匹配，以获得各个浮标的对应关系；
Figure 344243DEST_PATH_IMAGE002
式中，h表示摄像头距离水面的高度，
Figure 576641DEST_PATH_IMAGE004
表示摄像头垂直视场角的一半，
Figure 489234DEST_PATH_IMAGE006
表示摄像头光轴的俯仰角度，Y/Y’表示图像像素坐标中目标位置与图像靶面一半的比值。
2.如权利要求1所述的方法，其中，所述融合时通过浮标的信息进行数据校准，以在所述融合图像上显示所述电子航道图图像和所述全景视频图像中所有浮标的信息，包括：
识别所述全景视频图像上的各个浮标，并将各个浮标的像素坐标信息存储于浮标队列A中；
确定所述电子航道图图像上的各个浮标，并将各个浮标的经纬度信息存储于浮标队列B中；
根据所述单应矩阵，将所述浮标队列B中的各个浮标投影至所述全景视频图像上，将所述浮标队列B中的各个浮标的经纬度信息转化成像素坐标信息，得到浮标队列B’，其中，所述浮标队列B’中存储有所述电子航道图图像上的各个浮标的像素坐标信息；
在所述全景视频图像上，确定所述浮标队列B’中各个浮标和所述浮标队列A中各个浮标的对应关系；
基于所述对应关系，在所述融合图像上显示所有浮标的信息。
3.如权利要求2所述的方法，其中，所述在所述全景视频图像上，确定所述浮标队列B’和所述浮标队列A中各个浮标的对应关系，包括：
通过K最近邻算法计算所述浮标队列B’中的各个浮标和所述浮标队列A中的各个浮标的欧氏距离，并根据求解得到的欧式距离值进行分类匹配，以获得所述浮标队列B’中各个浮标和所述浮标队列A中各个浮标的对应关系；
Figure 252922DEST_PATH_IMAGE008
Figure 197744DEST_PATH_IMAGE010
式中，
Figure 284649DEST_PATH_IMAGE012
表示点
Figure 571405DEST_PATH_IMAGE014
与点
Figure 806077DEST_PATH_IMAGE016
之间的欧氏距离，
Figure 39743DEST_PATH_IMAGE018
为点
Figure DEST_PATH_IMAGE020
到原点的欧氏距离，点
Figure 309051DEST_PATH_IMAGE022
表示所述浮标队列A中的浮标在所述全景视频图像中所在的像素坐标，点
Figure 969970DEST_PATH_IMAGE024
表示所述浮标队列B’中的浮标在所述全景视频图像中所在的像素坐标，原点表示所述全景视频图像左上角顶点。
4.一种船舶电子航道图和全景视频图像叠加的系统，其特征在于，所述系统包括：
图像获取模块，用于获取电子航道图图像和全景视频图像；
标定配准模块，用于对所述电子航道图图像和所述全景视频图像匹配进行标定配准，获取所述电子航道图图像投影至所述全景视频图像的单应矩阵；
融合校准模块，用于通过所述单应矩阵将所述电子航道图图像投影至所述全景视频图像上，加权融合得到融合图像，其中，融合时通过浮标的信息进行数据校准，以在所述融合图像上显示所述电子航道图图像和所述全景视频图像中所有浮标的信息，包括：在所述全景视频图像上获得各个浮标的对应关系，所述各个浮标的对应关系表示：所述电子航道图图像上浮标队列B中的各个浮标投影至所述全景视频图像上形成的浮标队列B’中的各个浮标与所述全景视频图像上浮标队列A中的各个浮标之间的对应关系；
其中，根据所述全景视频图像上的水面信息和摄像头距离水面的高度，确定距离曲线L，将所述距离曲线L作为参数计算带权重的欧式距离值，根据带权重的欧氏距离值进行分类匹配，以获得各个浮标的对应关系；
Figure 488676DEST_PATH_IMAGE002
式中，h表示摄像头距离水面的高度，
Figure 447405DEST_PATH_IMAGE004
表示摄像头垂直视场角的一半，
Figure 321951DEST_PATH_IMAGE006
表示摄像头光轴的俯仰角度，Y/Y’表示图像像素坐标中目标位置与图像靶面一半的比值。
5.如权利要求4所述的系统，其中，所述融合校准模块包括：
识别所述全景视频图像上的各个浮标，并将各个浮标的像素坐标信息存储于浮标队列A中；
确定所述电子航道图图像上的各个浮标，并将各个浮标的经纬度信息存储于浮标队列B中；
根据所述单应矩阵，将所述浮标队列B中的各个浮标投影至所述全景视频图像上，将所述浮标队列B中的各个浮标的经纬度信息转化成像素坐标信息，得到浮标队列B’，其中，所述浮标队列B’中存储有所述电子航道图图像上的各个浮标的像素坐标信息；
在所述全景视频图像上，确定所述浮标队列B’中各个浮标和所述浮标队列A中各个浮标的对应关系；
基于所述对应关系，在所述融合图像上显示所有浮标的信息。
6.如权利要求5所述的系统，其中，所述在所述全景视频图像上，确定所述浮标队列B’和所述浮标队列A中各个浮标的对应关系，包括：
通过K最近邻算法计算所述浮标队列B’中的各个浮标和所述浮标队列A中的各个浮标的欧氏距离，并根据求解得到的欧式距离值进行分类匹配，以获得所述浮标队列B’中各个浮标和所述浮标队列A中各个浮标的对应关系；
Figure 403040DEST_PATH_IMAGE008
Figure 425353DEST_PATH_IMAGE025
式中，
Figure DEST_PATH_IMAGE026
表示点
Figure DEST_PATH_IMAGE028
与点
Figure DEST_PATH_IMAGE030
之间的欧氏距离，
Figure DEST_PATH_IMAGE032
为点
Figure 215803DEST_PATH_IMAGE020
到原点的欧氏距离，点
Figure DEST_PATH_IMAGE033
表示所述浮标队列A中的浮标在所述全景视频图像中所在的像素坐标，点
Figure 7173DEST_PATH_IMAGE024
表示所述浮标队列B’中的浮标在所述全景视频图像中所在的像素坐标，原点表示所述全景视频图像左上角顶点。
7.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被处理器执行以实现如权利要求1-3中任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行以实现如权利要求1-3中任一项所述的方法。
CN202210055055.7A 2022-01-18 2022-01-18 一种船舶电子航道图和全景视频图像叠加的方法及系统 Active CN114092372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210055055.7A CN114092372B (zh) 2022-01-18 2022-01-18 一种船舶电子航道图和全景视频图像叠加的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210055055.7A CN114092372B (zh) 2022-01-18 2022-01-18 一种船舶电子航道图和全景视频图像叠加的方法及系统

Publications (2)

Publication Number Publication Date
CN114092372A CN114092372A (zh) 2022-02-25
CN114092372B true CN114092372B (zh) 2022-05-13

Family

ID=80308767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210055055.7A Active CN114092372B (zh) 2022-01-18 2022-01-18 一种船舶电子航道图和全景视频图像叠加的方法及系统

Country Status (1)

Country Link
CN (1) CN114092372B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116775796B (zh) * 2023-08-16 2023-10-31 交通运输部水运科学研究所 一种多图层叠加的港区信息展示方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102967309A (zh) * 2012-12-12 2013-03-13 中国船舶重工集团公司第七〇七研究所 基于电子海图的雷达视频图像叠加方法
CN103544852A (zh) * 2013-10-18 2014-01-29 中国民用航空总局第二研究所 一种在机场场面监视视频中实现飞机自动挂标牌的方法
CN110332941A (zh) * 2019-08-19 2019-10-15 江苏恒澄交科信息科技股份有限公司 一种基于三维电子航道图的内河路径规划系统
CN113450597A (zh) * 2021-06-09 2021-09-28 浙江兆晟科技股份有限公司 基于深度学习的船舶辅助航行方法及系统
CN113450598A (zh) * 2021-06-09 2021-09-28 浙江兆晟科技股份有限公司 基于红外视频的船舶辅助航行方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101021269B1 (ko) * 2010-10-18 2011-03-11 (주)선운 이앤지 디지털 항공촬영 정보의 편집을 대상물별로 진행하여 3차원 도화이미지를 합성하는 입체영상 도화시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102967309A (zh) * 2012-12-12 2013-03-13 中国船舶重工集团公司第七〇七研究所 基于电子海图的雷达视频图像叠加方法
CN103544852A (zh) * 2013-10-18 2014-01-29 中国民用航空总局第二研究所 一种在机场场面监视视频中实现飞机自动挂标牌的方法
CN110332941A (zh) * 2019-08-19 2019-10-15 江苏恒澄交科信息科技股份有限公司 一种基于三维电子航道图的内河路径规划系统
CN113450597A (zh) * 2021-06-09 2021-09-28 浙江兆晟科技股份有限公司 基于深度学习的船舶辅助航行方法及系统
CN113450598A (zh) * 2021-06-09 2021-09-28 浙江兆晟科技股份有限公司 基于红外视频的船舶辅助航行方法及系统

Also Published As

Publication number Publication date
CN114092372A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
US10378905B2 (en) Auxiliary berthing method and system for vessel
US8107722B2 (en) System and method for automatic stereo measurement of a point of interest in a scene
US7580591B2 (en) Method for generating a synthetic perspective image
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
CN110617821B (zh) 定位方法、装置及存储介质
EP1788349A2 (en) Method for geocoding a perspective image
KR100964951B1 (ko) 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법
WO2013162839A1 (en) Point cloud visualization of acceptable helicopter landing zones based on 4d lidar
CN110926474A (zh) 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法
EP2946368B1 (en) A method and arrangement for providing a 3d model
US20220392211A1 (en) Water non-water segmentation systems and methods
CN110998672A (zh) 影像生成装置以及影像生成方法
CN108733711B (zh) 基于三维gis技术的配电线路空间距离获取方法
CN114820997A (zh) 一种无人船虚实融合多孪生智能感知增强方法
CN114092372B (zh) 一种船舶电子航道图和全景视频图像叠加的方法及系统
JP5814620B2 (ja) 位置補正データ生成装置、位置標定装置、位置補正データ生成装置の位置補正データ生成方法、位置標定装置の位置標定方法、位置補正データ生成プログラムおよび位置標定プログラム
Del Pizzo et al. Reliable vessel attitude estimation by wide angle camera
US20220276046A1 (en) System and method for providing improved geocoded reference data to a 3d map representation
CN114004957A (zh) 增强现实图片的生成方法、装置、设备和存储介质
CN109341685B (zh) 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法
Rodin et al. Accuracy of sea ice floe size observation from an aerial camera at slant angles
IL278930A (en) Ground model based location detection with distance measurement
Knébel Detecting obstacles from camera image at open sea
AU2013260677B2 (en) Method and apparatus of taking aerial surveys
KR102407802B1 (ko) 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant