CN114821494B - 船舶信息匹配方法及装置 - Google Patents

船舶信息匹配方法及装置 Download PDF

Info

Publication number
CN114821494B
CN114821494B CN202210732075.3A CN202210732075A CN114821494B CN 114821494 B CN114821494 B CN 114821494B CN 202210732075 A CN202210732075 A CN 202210732075A CN 114821494 B CN114821494 B CN 114821494B
Authority
CN
China
Prior art keywords
ship
longitude
point
image
latitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210732075.3A
Other languages
English (en)
Other versions
CN114821494A (zh
Inventor
沈琳
俞永方
吴显德
何文平
徐炜
郭艳艳
陈娟娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shengfei Photoelectric Technology Co ltd
Original Assignee
Hangzhou Shengfei Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shengfei Photoelectric Technology Co ltd filed Critical Hangzhou Shengfei Photoelectric Technology Co ltd
Priority to CN202210732075.3A priority Critical patent/CN114821494B/zh
Publication of CN114821494A publication Critical patent/CN114821494A/zh
Application granted granted Critical
Publication of CN114821494B publication Critical patent/CN114821494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种船舶信息匹配方法及装置，其中，该方法包括：人工识别图像中的船舶，通过像素‑经纬度的转换计算，得到画面中每个船舶的经纬度及航向。通过AIS信息计算真实船舶相应时刻的经纬度及航向，并与未匹配船舶的经纬度及航向匹配，得到图像中船舶的船名等信息。联动后台稽查数据，对所有船只在画面中显示，对稽查有问题的船只在画面中特别标注。本发明实施例通过计算监控图像中船舶状态，并将其与AIS信息中船舶状态进行匹配的方案，解决了现有技术中全景相机无法通过识别船牌获得船舶信息的问题，并通过改良的Morphing技术得到监控画面中每个像素对应的经纬度，提高识别准确率。

Description

船舶信息匹配方法及装置
技术领域
本发明涉及船舶检测领域，尤其涉及一种船舶信息匹配方法及装置。
背景技术
在航道AR监控系统中，需要知晓监控系统中经过的每个船舶的船舶名称，并将其记录在监控系统中。在大尺寸的全景相机中，无法看清船牌，从而无法快速有效的识别经过航道的船舶的船舶名称，进而也就无法及时得知船舶对应的其它信息，这会影响监控系统对船舶监控的准确性及效率。
针对现有技术中无法及时、准确获知监控画面中的船舶相应信息的问题，目前还没有一个有效的解决方案。
发明内容
为解决上述问题，本发明通过实时获取经过卡口的船舶图像，经过一系列计算将船舶的AIS信息与监控图像中的对应船舶联系起来，得到监控图像中每个船舶的信息，以解决现有技术中船舶匹配准确度不高、识别效率低的问题。
为达到上述目的，本发明实施例提供了一种船舶信息匹配方法，包括：S1、实时获取当前图像，预先获取当前图像对应的地图图像；S2、识别所述当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框；其中，所述关联图像为在当前图像前获取的具有同一船舶的图像；S3、根据所述关联图像判断所述目标船舶是否为匹配船舶，若否，则将所述目标船舶标记为未匹配船舶，并对所述第一目标框及第二目标框中的图像分别进行直线提取，得到每个目标框中未匹配船舶与水面交界的下缘线段，提取每个下缘线段的左端点、右端点及中点；若是，则仅计算所述当前图像中下缘线段对应的中点，将中点记录；S4、根据第一目标框及多个第二目标框对应的中点运动轨迹，计算所述未匹配船舶的估计航向；S5、将所述地图图像进行透视变换，得到标定图像，采用Morphing算法计算所述当前图像与所述标定图像的映射关系；S6、根据所述映射关系及所述标定图像，得到所述当前图像对应下缘线段的左端点
Figure 795954DEST_PATH_IMAGE001
的第一经纬度坐标
Figure 930264DEST_PATH_IMAGE002
及右端点
Figure 684593DEST_PATH_IMAGE003
的第二经纬度坐标
Figure 296971DEST_PATH_IMAGE004
；S7、根据最近时刻获取的船舶AIS信息，计算当前图像获取时刻真实船舶的实际经纬度坐标
Figure 695723DEST_PATH_IMAGE005
和实际航向；S8、根据实际经纬度坐标
Figure 125567DEST_PATH_IMAGE005
、第一经纬度坐标
Figure 976979DEST_PATH_IMAGE006
、第二经纬度坐标
Figure 517682DEST_PATH_IMAGE007
、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到所述未匹配船舶的匹配结果，并将未匹配船舶标记为匹配船舶。
进一步可选的，所述采用Morphing算法计算所述当前图像与所述标定图像的映射关系，包括：S501、预先在所述标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点，分别在所述标定图像的背景中及当前图像的背景中连接多个标定点，将对应图像的背景划分为多个三角区域；其中，所述标定图像中标定点间的连线为直线段，所述当前图像中标定点间的连线为折线段，每个折线段由点集组成；S502、对于当前图像中任一像素点X，根据当前图像的背景确定其落入的三角区域EFG；S503、根据三角区域EFG及标定图像的背景确定标定图像中对应的三角区域
Figure 36519DEST_PATH_IMAGE008
，根据线对
Figure 247052DEST_PATH_IMAGE009
、
Figure 975973DEST_PATH_IMAGE010
、
Figure 930154DEST_PATH_IMAGE011
和点集
Figure 428132DEST_PATH_IMAGE012
、
Figure 809565DEST_PATH_IMAGE013
、
Figure 25783DEST_PATH_IMAGE014
计算标定图像中对应的点
Figure 783655DEST_PATH_IMAGE015
。
进一步可选的，所述在当前图像的背景中连接多个标定点，包括：S5011、提取所述标定图像的背景中所有可以构成路径
Figure 136139DEST_PATH_IMAGE016
的标定点
Figure 954053DEST_PATH_IMAGE017
，通过线对
Figure 267354DEST_PATH_IMAGE018
和
Figure 687971DEST_PATH_IMAGE019
计算
Figure 35907DEST_PATH_IMAGE020
间点在所述当前图像的背景上的投影，得到点集
Figure 883777DEST_PATH_IMAGE021
；S5012、连接所述点集
Figure 684374DEST_PATH_IMAGE021
中的各点，作为折线段
Figure 908682DEST_PATH_IMAGE022
；S5013、重复步骤S5011-S5012，计算当前图像的背景中所有连线对应的折线段及点集。
进一步可选的，所述根据实际经纬度坐标
Figure 111124DEST_PATH_IMAGE005
、第一经纬度坐标
Figure 395475DEST_PATH_IMAGE006
、第二经纬度坐标
Figure 683368DEST_PATH_IMAGE007
、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到所述未匹配船舶的匹配结果，包括：S801、将所述当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴；S802、在所述经纬度坐标系中，将未匹配船舶根据估计航向投影到距离最近的航道坐标轴，得到第一经纬度坐标
Figure 321154DEST_PATH_IMAGE002
对应的第三经纬度坐标
Figure 502737DEST_PATH_IMAGE023
，第二经纬度坐标
Figure 833355DEST_PATH_IMAGE007
对应的第四经纬度坐标
Figure 733178DEST_PATH_IMAGE024
；S803、在所述经纬度坐标系中，将真实船舶根据实际航向投影到距离最近的航道坐标轴，得到实际经纬度坐标
Figure 174654DEST_PATH_IMAGE005
对应的第五经纬度坐标
Figure 210744DEST_PATH_IMAGE025
；S804、取
Figure 712263DEST_PATH_IMAGE026
为未匹配船舶至真实船舶的权值，采用KM算法计算最小权完备匹配，得到未匹配船舶的匹配结果。
进一步可选的，所述取
Figure 974748DEST_PATH_IMAGE026
为未匹配船舶至真实船舶的权值之前，包括：S805、根据计算误差值在所述经纬度坐标系中确定每条航道坐标轴的最优范围；S806、根据所述中点运动轨迹计算未匹配船舶的估计航速；根据所述估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向；根据所述未匹配船舶的第三经纬度坐标
Figure 78971DEST_PATH_IMAGE023
及第四经纬度坐标
Figure 110512DEST_PATH_IMAGE024
判断所述未匹配船舶是否位于对应航道坐标轴的最优范围内；若所述未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向，则该未匹配船舶参与权值计算；否则，不参与权值计算；S807、根据所述船舶AIS信息确定真实船舶的实际航速；根据所述实际航向确定真实船舶在对应航道坐标轴上的行驶方向；根据所述真实船舶的第五经纬度坐标
Figure 907566DEST_PATH_IMAGE025
确定所述真实船舶是否位于对应航道的最优范围内；若所述真实船舶位于对应航道坐标轴的最优范围内、实际航速不为0且行驶方向为驶入方向，则该真实船舶参与权值计算；否则，不参与权值计算。
另一方面，本发明还提供一种船舶信息匹配装置，包括：数据获取模块，用于实时获取当前图像，预先获取当前图像对应的地图图像；船舶识别模块，用于识别所述当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框；其中，所述关联图像为在当前图像前获取的具有同一船舶的图像；下缘线段提取模块，用于根据所述关联图像判断所述目标船舶是否为匹配船舶，若否，则将所述目标船舶标记为未匹配船舶，并对所述第一目标框及第二目标框中的图像分别进行直线提取，得到每个目标框中未匹配船舶与水面交界的下缘线段，提取每个下缘线段的左端点、右端点及中点；若是，则仅计算所述当前图像中下缘线段对应的中点，将中点记录；估计航向计算模块，用于根据第一目标框及多个第二目标框对应的中点运动轨迹，计算所述未匹配船舶的估计航向；映射关系计算模块，用于将所述地图图像进行透视变换，得到标定图像，采用Morphing算法计算所述当前图像与所述标定图像的映射关系；经纬度确定模块，用于根据所述映射关系及所述标定图像，得到所述当前图像对应下缘线段的左端点
Figure 368331DEST_PATH_IMAGE001
的第一经纬度坐标
Figure 417190DEST_PATH_IMAGE002
及右端点
Figure 427871DEST_PATH_IMAGE003
的第二经纬度坐标
Figure 271193DEST_PATH_IMAGE004
；真实船舶信息计算模块，用于根据最近时刻获取的船舶AIS信息，计算当前图像获取时刻真实船舶的实际经纬度坐标
Figure 367325DEST_PATH_IMAGE005
和实际航向；信息匹配模块，用于根据实际经纬度坐标
Figure 688716DEST_PATH_IMAGE005
、第一经纬度坐标
Figure 819483DEST_PATH_IMAGE006
、第二经纬度坐标
Figure 833707DEST_PATH_IMAGE007
、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到所述未匹配船舶的匹配结果，并将未匹配船舶标记为匹配船舶。
进一步可选的，所述映射关系计算模块包括：预标定子模块，用于预先在所述标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点，分别在所述标定图像的背景中及当前图像的背景中连接多个标定点，将对应图像的背景划分为多个三角区域；其中，所述标定图像中标定点间的连线为直线段，所述当前图像中标定点间的连线为折线段，每个折线段由点集组成；区域确定子模块，用于对于当前图像中任一像素点X，根据当前图像的背景确定其落入的三角区域EFG；映射关系计算子模块，用于根据三角区域EFG及标定图像的背景确定标定图像中对应的三角区域
Figure 292501DEST_PATH_IMAGE008
，根据线对
Figure 417583DEST_PATH_IMAGE009
、
Figure 402857DEST_PATH_IMAGE010
、
Figure 587981DEST_PATH_IMAGE011
和点集
Figure 534072DEST_PATH_IMAGE012
、
Figure 587478DEST_PATH_IMAGE013
、
Figure 302625DEST_PATH_IMAGE014
计算标定图像中对应的点
Figure 783285DEST_PATH_IMAGE015
。
进一步可选的，所述预标定子模块包括：点集生成单元，用于提取所述标定图像的背景中所有可以构成路径
Figure 951092DEST_PATH_IMAGE016
的标定点
Figure 808189DEST_PATH_IMAGE017
，通过线对
Figure 377842DEST_PATH_IMAGE018
和
Figure 29403DEST_PATH_IMAGE019
计算
Figure 950086DEST_PATH_IMAGE020
间点在所述当前图像的背景上的投影，得到点集
Figure 345295DEST_PATH_IMAGE021
；连线单元，用于连接所述点集
Figure 769454DEST_PATH_IMAGE021
中的各点，作为折线段
Figure 857496DEST_PATH_IMAGE022
；循环单元，用于控制重复点集生成单元及连线单元的操作，计算当前图像的背景中所有连线对应的折线段及点集。
进一步可选的，所述信息匹配模块包括：转化子模块，用于将所述当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴；第一投影坐标计算子模块，用于在所述经纬度坐标系中，将未匹配船舶根据估计航向投影到距离最近的航道坐标轴，得到第一经纬度坐标
Figure 999896DEST_PATH_IMAGE006
对应的第三经纬度坐标
Figure 933217DEST_PATH_IMAGE023
，第二经纬度坐标
Figure 477462DEST_PATH_IMAGE004
对应的第四经纬度坐标
Figure 736405DEST_PATH_IMAGE024
；第二投影坐标计算子模块，用于在所述经纬度坐标系中，将真实船舶根据实际航向投影到距离最近的航道坐标轴，得到实际经纬度坐标
Figure 100521DEST_PATH_IMAGE005
对应的第五经纬度坐标
Figure 978478DEST_PATH_IMAGE025
；全局匹配子模块，用于取
Figure 501863DEST_PATH_IMAGE026
为未匹配船舶至真实船舶的权值，采用KM算法计算最小权完备匹配，得到未匹配船舶的匹配结果。
进一步可选的，所述信息匹配模块还包括：最优范围确定子模块，用于根据计算误差值在所述经纬度坐标系中确定每条航道坐标轴的最优范围；第一过滤子模块，用于根据所述中点运动轨迹计算未匹配船舶的估计航速；根据所述估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向；根据所述未匹配船舶的第三经纬度坐标
Figure 541495DEST_PATH_IMAGE023
及第四经纬度坐标
Figure 783120DEST_PATH_IMAGE024
判断所述未匹配船舶是否位于对应航道坐标
轴的最优范围内；若所述未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向，则该未匹配船舶参与权值计算；否则，不参与权值计算；第二过滤子模块，用于根据所述船舶AIS信息确定真实船舶的实际航速；根据所述实际航向确定真实船舶在对应航道坐标轴上的行驶方向；根据所述真实船舶的第五经纬度坐标
Figure 199189DEST_PATH_IMAGE025
确定所述真实船舶是否位于对应航道的最优范围内；若所述真实船舶位于对应航道坐标轴的最优范围内、实际航速不为0且行驶方向为驶入方向，则该真实船舶参与权值计算；否则，不参与权值计算。上述技术方案具有如下有益效果：本发明通过采用改良的Morphing算法对像素与经纬度的对应关系进行确定，准确得到每个未匹配船舶对应的经纬度坐标；且本实施例仅通过AIS及相机监控图像即可得到当前画像中多个船舶的船名信息等，提高了匹配效率；采用上述匹配方法的全景相机从而可以作为江面港口、停泊区、河流交汇口等多点监控的汇总查看窗口，而不需要同时监控多取景窗口，便利监察人员；通过提取未匹配船舶的下缘线段中点信息及端点信息经过处理后与真实船舶的坐标信息进行匹配，提高了船舶匹配的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的船舶信息匹配方法的流程图；
图2是本发明实施例提供的映射关系计算方法的流程图；
图3是现有技术中提供的传统morphing算法的示意图；
图4是本发明实施例提供的标定图像中像素点与三角区域关系示意图；
图5是本发明实施例提供的当前图像中像素点与三角区域关系示意图；
图6是本发明实施例提供的当前图像中曲线段确定方法的流程图；
图7是本发明实施例提供的标定图像中线对结构示意图；
图8是本发明实施例提供的当前图像中线对结构示意图；
图9是本发明实施例提供的船舶匹配方法的流程图；
图10是本发明实施例提供的船舶筛选方法的流程图；
图11是本发明实施例提供的经纬度坐标的结构示意图；
图12是本发明实施例提供的船舶信息匹配装置结构示意图；
图13是本发明实施例提供的映射关系计算模块的结构示意图；
图14是本发明实施例提供的预标定子模块的结构示意图；
图15是本发明实施例提供的信息匹配模块的结构示意图；
图16是本发明实施例提供的信息匹配模块的其它子模块结构示意图。
附图标记：100-数据获取模块 200-船舶识别模块 300-下缘线段提取模块 400-估计航向计算模块 500-映射关系计算模块 5001-预标定子模块 50011-点集生成单元50012-连线单元 50013-循环单元 5002-区域确定子模块 5003-映射关系计算子模块600-经纬度确定模块 700-真实船舶信息计算模块 800-信息匹配模块 8001-转化子模块8002-第一投影坐标计算子模块 8003-第二投影坐标计算子模块 8004-全局匹配子模块8005-最优范围确定子模块 8006-第一过滤子模块 8007-第二过滤子模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为解决现有技术中船舶信息匹配准确度不高、匹配效率低的问题，本发明实施例提供了一种船舶AIS信息匹配方法，图1是本发明实施例提供的船舶信息匹配方法的流程图，如图1所示，该方法包括：
S1、实时获取当前图像，预先获取当前图像对应的地图图像；
从大尺寸全景相机中实时获取监控图像，将该图像记为当前图像。
作为一种可选的实施方式，当前图像为像素大小5520*2400，画面角度为270°。
作为一种可选的实施方式，预先在监控图像所在区域进行人工标记，得到计算区域。该计算区域为边数在10以内的多边形。例如，在岸边具有建筑物的情况下，只划定部分水上区域。计算区域可根据历史计算误差进行划定，也可根据经验人工划定，以保证驶入计算区域的船舶计算精度更高。指定船只行驶区域及计算误差允许区域，以排除较远处、岸上建筑物对计算的干扰。
由于全景相机中监控区域不变，因此可预先根据该监控区域寻找到对应的地图图像，在计算时加载该地图图像进行后续经纬度计算。
作为一种可选的实施方式，地图图像可采用goole地图数据，百度地图数据等，本实施例在此不做限制。
S2、识别当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框；其中，关联图像为在当前图像前获取的具有同一船舶的图像；
获取当前图像后，对当前图像进行人工智能识别，得到目标船舶对应的目标框。由于同一时段可能会有不止一艘船舶驶入画面，因此当前图像中可能识别出多个目标船舶，对应有多个船舶的目标框。
本实施例会在若干帧之间，对每个船舶进行追踪，得到追踪情况。具体的：对采集到的多帧图像（通常为10帧，帧率为5-10之间），进行人工智能识别，获取每一帧对应的目标框，记为
Figure 577081DEST_PATH_IMAGE027
。
Figure 53193DEST_PATH_IMAGE027
中应至少有两个点处于计算区域内，否则滤去该目标框，对于滤去部分目标框后的多帧图像，将当前帧与上一帧进行对比计算，若某目标框的重心点和前一帧中某目标框
Figure 516535DEST_PATH_IMAGE027
的重心点的欧式距离小于给定阈值，则认为两个目标框指向同一船舶，将指向同一船舶的图像记为该目标船舶的关联图像，关联图像中目标船舶所在的目标框为第二目标框。关联图像可以为一张也可以为多张。
采用同样的方法，判断当前图像的目标框中的目标船舶是否与第二目标框中的目标船舶为同一船舶，若是，将当前图像的目标框记为第一目标框：
Figure 736295DEST_PATH_IMAGE028
其中，
Figure 234272DEST_PATH_IMAGE029
为目标框左上角像素坐标，
Figure 615706DEST_PATH_IMAGE030
为目标框右下角像素坐标，以画面左上角为原点。
作为一种可选的实施方式，对于任一目标船舶，
Figure 831924DEST_PATH_IMAGE031
指向的船舶都未再出现，则认为
Figure 589796DEST_PATH_IMAGE031
消失。以排除船只相互遮挡、岸边建筑物遮挡等因素带来的干扰。
作为一种可选的实施方式，为了避免人工智能在船舶重叠时产生的误报，例如偶尔会将两艘重叠的船识别为三艘，作为一种可选的实施方式，仅采用在60帧内90%（经验值，可根据航道情况不同而调整）以上帧均出现的船舶参与后续的经纬度计算。
作为一种可选的实施方式，对于任一目标船舶，取其对应的目标框中面积最大的目标框中的图像作为该船舶的摄像留证。
S3、根据关联图像判断目标船舶是否为匹配船舶，若否，则将目标船舶标记为未匹配船舶，并对第一目标框及第二目标框中的图像分别进行直线提取，得到每个目标框中未匹配船舶与水面交界的下缘线段，提取每个下缘线段的左端点、右端点及中点，转入步骤S4；若是，则仅计算当前图像中下缘线段对应的中点，将中点记录；
根据关联图像，也即船舶追踪情况判断当前图像中的目标船舶是否为匹配船舶。若该船舶并非匹配船舶，将其标记为未匹配船舶，进行下缘线段对应的端点提取后参与后续匹配。若当前图像中的目标船舶为匹配船舶，则仅提取当前图像中下缘线段对应的中点，将中点记录，作为当前图像中目标船舶的位置，且不参与后续匹配。
下缘线段提取过程如下：
从当前图像中提取出第一目标框
Figure 942280DEST_PATH_IMAGE031
范围内的图像，对其进行二值化处理，并使用Canny算子和霍夫变换进行直线提取，取端点y值最大的线段作为该目标框内船舶和水面接触的下缘位置，记为下缘线段：
Figure 494615DEST_PATH_IMAGE032
由于船舶的信号发送设备可能装在船头也可能装在船尾，因此需要取该下缘线段的左端点
Figure 807916DEST_PATH_IMAGE001
，及右端点
Figure 494112DEST_PATH_IMAGE003
，
Figure 576468DEST_PATH_IMAGE001
和
Figure 689918DEST_PATH_IMAGE003
所指向的位置范围均可能对应船舶AIS中的经纬度。此外，还需提取该下缘线段的中点
Figure 490515DEST_PATH_IMAGE033
。其中，左端点
Figure 714823DEST_PATH_IMAGE001
、右端点
Figure 917265DEST_PATH_IMAGE003
及中点
Figure 201616DEST_PATH_IMAGE033
均对应有像素点坐标。
对于关联图像均采用上述方法进行下缘线段提取，并计算对应图像下缘线段的左端点、右端点及中点。
S4、根据第一目标框及多个第二目标框对应的中点运动轨迹，计算未匹配船舶的估计航向；
对于每个未匹配船舶，综合其对应的多幅图像的目标框提取的下缘线段的中点变化情况，计算该未匹配船舶的估计速度和估计航向
Figure 223930DEST_PATH_IMAGE034
。
作为一种可选的实施方式，对于船舶航向变化巨大的、或相邻帧对应的中点欧式距离小于预设距离的，认为船舶停泊在此处，航速为0。
其中，预设距离为20个像素，可根据经验人工设定，且该值根据实际画面尺寸及画面中船舶占比的不同可随时调整。
S5、将地图图像进行透视变换，得到标定图像，采用Morphing算法计算当前图像与标定图像的映射关系；
图像融合领域中的传统Morphing技术指将图像A光滑连续地变换到目标图像D，使得过渡过程中即保留A的特征又保留D的特征（常用于三维、动画、设计等领域）。可以认为该过程实际是在计算指定阶段图像A中的像素将变换至图像D的何种位置。则，当图像A完全变化至图像D，认为此时是图像A至图像D的映射。
现在，对任一地图，由于计算区域较小，忽略地形差异；同时为了变换方便，对地图进行透视变化，以粗略地匹配实际相机图像，最终达到经纬度
Figure 251929DEST_PATH_IMAGE035
→像素
Figure 308877DEST_PATH_IMAGE036
的转变，将透视变换后的必定图像记为图像D，记透视变换为3*3的矩阵T。
将地图图像进行透视变换可记为：
Figure 764130DEST_PATH_IMAGE037
其中，
Figure 539319DEST_PATH_IMAGE035
为地图图像中的经纬度坐标，
Figure 105429DEST_PATH_IMAGE036
为标定图像中的像素点坐标。
透视变换后的标定图像每个像素点均对应有经纬度坐标。
将从大尺寸全景相机中获取的当前图像记为图像A。
使用Morphing技术，计算图像A至图像D的映射关系：
Figure 40322DEST_PATH_IMAGE038
S6、根据映射关系及标定图像，得到当前图像对应下缘线段的左端点
Figure 541842DEST_PATH_IMAGE001
的第一经纬度坐标
Figure 663381DEST_PATH_IMAGE002
及右端点
Figure 908549DEST_PATH_IMAGE003
的第二经纬度坐标
Figure 64724DEST_PATH_IMAGE004
；
通过图像D的经纬度坐标→像素的逆过程，可最终获得图像A上任意像素点的经纬度，即
Figure 737145DEST_PATH_IMAGE039
该过程描述为图像A像素→图像D像素→经纬度。
此时，当前图像A中每个像素点均对应有经纬度，因此其对应的下缘线段的左端点
Figure 345981DEST_PATH_IMAGE001
和右端点
Figure 129260DEST_PATH_IMAGE003
可根据各自的像素坐标得到对应的经纬度坐标，分别记为第一经纬度坐标
Figure 15308DEST_PATH_IMAGE002
及第二经纬度坐标
Figure 983264DEST_PATH_IMAGE004
。
S7、根据最近时刻获取的船舶AIS信息，计算当前图像获取时刻真实船舶的实际经纬度坐标
Figure 954762DEST_PATH_IMAGE005
和实际航向；
采用AIS基站获取指定范围内的船舶AIS信息，包括船舶的经纬度、航向、信息发送时间等信息。根据信息发送时的经纬度、航向及航速信息，可以计算指定时间的实际经纬度及实际航向，本实施例中计算获取当前图像时刻的真实船舶实际经纬度
Figure 666366DEST_PATH_IMAGE040
和实际航向
Figure 672499DEST_PATH_IMAGE041
。
当然，某一时刻获取的AIS信息可能为一条也可能为多条，本实施例获取指定范围内所有船舶AIS信息用于后续匹配操作。
S8、根据实际经纬度坐标
Figure 811356DEST_PATH_IMAGE005
、第一经纬度坐标
Figure 4571DEST_PATH_IMAGE006
、第二经纬度坐标
Figure 395233DEST_PATH_IMAGE004
、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到未匹配船舶的匹配结果，并将未匹配船舶标记为匹配船舶。
根据当下至少一个真实船舶的实际经纬度坐标
Figure 380506DEST_PATH_IMAGE005
、实际航向
Figure 565631DEST_PATH_IMAGE041
、至少一个未匹配船舶对应的第一经纬度坐标
Figure 370776DEST_PATH_IMAGE006
、第二经纬度坐标
Figure 299549DEST_PATH_IMAGE004
及估计航向进行全局匹配，得到每个未匹配船舶对应的AIS信息，即本实施例中的未匹配船舶的匹配结果。
未匹配船舶匹配后标记为匹配船舶，当下一次采集到该船舶对应的图像时，当前图像作为关联图像，对应匹配船舶的标记，此时只识别该船舶在图像中的位置，并不参与后续匹配。
作为一种可选的实施方式，在全景相机的实时画面中的
Figure 139329DEST_PATH_IMAGE033
处标识匹配后船舶的具体信息，包括识别结果（真实船只的AIS九位码、速度、航向等）、照片留证或其他检测信息，以便于监管人员监控河道情况。
作为一种可选的实施方式，采用Morphing算法计算当前图像与标定图像的映射关系，包括：
S501、预先在标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点，分别在标定图像的背景中及当前图像的背景中连接多个标定点，将对应图像的背景划分为多个三角区域；其中，标定图像中标定点间的连线为直线段，当前图像中标定点间的连线为折线段，每个折线段由点集组成；
S502、对于当前图像中任一像素点X，根据当前图像的背景确定其落入的三角区域EFG；
S503、根据三角区域EFG及标定图像的背景确定标定图像中对应的三角区域
Figure 495355DEST_PATH_IMAGE008
，根据线对E'F'、F'G'、G'E'和点集PEF、PFG、PGE计算标定图像中对应的点
Figure 928742DEST_PATH_IMAGE015
。
基于线对的Morphing技术，首先对防区进行标定，即标定图像D的背景与当前图像A的背景在防区内的若干个标定点的映射关系。人工按照航道情况，连接标定点，使之尽量分割区域为三角形区域。其中，防区根据上述计算区域进行设定，可略大于计算区域的划定范围。由于全景相机监控范围固定，因此可预先在当前图像的背景画面、及标定图像的背景画面上进行若干标定点的标定，之后再将标定关系对应标定在当前图像及标定图像中，以计算任意像素点落入的三角区域。
参见图3，图中箭头左侧图像为目标图像，箭头右侧图像为源图像，传统的基于线对的Morphing算法逻辑描述为：
根据目标图像中的点X、向量P1Q1及原图像中的向量P1'Q1'计算出X1'；具体的，X1'通过X相对于向量的距离v和X在向量PQ上的投影点至Q的距离u确定；
同理，根据目标图像中的点X、向量P2Q2及原图像中的向量P2'Q2'计算出X2'；
然后通过加权平均的方法，求出X'。
Figure 520260DEST_PATH_IMAGE042
其中，权值wn的计算方法为通过点X到线段PnQn的距离成反比的函数计算：
Figure 355492DEST_PATH_IMAGE043
其中lengthn表示线段的长度，distn表示点X到线段PnQn的最短距离。a，b，p为常数，可以选择p=0，a=1，b=2。
相较于传统基于线对的图像Morphing中，后续计算将存在如下差别：
1、结果中标定点的偏移尽量小；
2、线对数远多于传统方式，但大部分线对对于点不产生太大的影响，可以不计入计算；
3、在标定图像D中某直线段如PQ，对应的当前图像A中的并非简单看做线段
Figure 7053DEST_PATH_IMAGE022
。因为镜头畸变的存在，
Figure 662156DEST_PATH_IMAGE022
更应被描述为曲线段，由于标定点距离较近，因此在本实施例中可近似为折线段，则需要额外计算
Figure 57366DEST_PATH_IMAGE022
的形状，以描述图像A中
Figure 747104DEST_PATH_IMAGE022
所表示的结构。每个折线段均由点集组成。
当前图像A中的所求点X落在某计算三角形区域EFG中，则使用线对：线段
Figure 444933DEST_PATH_IMAGE009
、
Figure 711966DEST_PATH_IMAGE010
、
Figure 786232DEST_PATH_IMAGE011
和点集
Figure 330477DEST_PATH_IMAGE012
、
Figure 323841DEST_PATH_IMAGE013
、
Figure 953537DEST_PATH_IMAGE014
计算对应图像D中的点
Figure 831494DEST_PATH_IMAGE015
。
此时，参见图4、图5，当前图像A中X对于EF的垂直距离
Figure 354879DEST_PATH_IMAGE044
，变为点集
Figure 394511DEST_PATH_IMAGE012
中距离X最近的点到X的距离；
Figure 636136DEST_PATH_IMAGE045
变为折线段的总长比值。
作为一种可选的实施方式，在当前图像的背景中连接多个标定点，包括：
S5011、提取标定图像的背景中所有可以构成路径PMnQ的标定点Mn，通过线对PMn和QMn计算PQ间点在当前图像的背景上的投影，得到点集PP'Q'；
S5012、连接点集PP'Q'中的各点，作为折线段P'Q'；
S5013、重复步骤S5011-S5012，计算当前图像的背景中所有连线对应的折线段及点集。
参见图7、图8，改良算法后的
Figure 52205DEST_PATH_IMAGE046
计算如下：
对任意标定点对
Figure 430097DEST_PATH_IMAGE020
和
Figure 906209DEST_PATH_IMAGE022
，取图中所有可以构成路径的
Figure 369551DEST_PATH_IMAGE016
的点
Figure 589311DEST_PATH_IMAGE017
，则通过线对
Figure 697075DEST_PATH_IMAGE018
和
Figure 468722DEST_PATH_IMAGE019
计算
Figure 294727DEST_PATH_IMAGE020
间点在图像A上的投影获得点集
Figure 52598DEST_PATH_IMAGE021
。
连接
Figure 405082DEST_PATH_IMAGE021
中各点，作为折线段
Figure 222997DEST_PATH_IMAGE022
。
计算图像A中所有线段对应的折线段点集和折线段。
作为一种可选的实施方式，根据实际经纬度坐标
Figure 536298DEST_PATH_IMAGE005
、第一经纬度坐标
Figure 222494DEST_PATH_IMAGE006
、第二经纬度坐标
Figure 304851DEST_PATH_IMAGE004
、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到未匹配船舶的匹配结果，包括：
S801、将当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴；
S802、在经纬度坐标系中，将未匹配船舶根据估计航向投影到距离最近的航道坐标轴，得到第一经纬度坐标
Figure 270229DEST_PATH_IMAGE006
对应的第三经纬度坐标
Figure 195459DEST_PATH_IMAGE023
，第二经纬度坐标
Figure 295134DEST_PATH_IMAGE004
对应的第四经纬度坐标
Figure 622210DEST_PATH_IMAGE024
；
S803、在经纬度坐标系中，将真实船舶根据实际航向投影到距离最近的航道坐标轴，得到实际经纬度坐标
Figure 516348DEST_PATH_IMAGE005
对应的第五经纬度坐标
Figure 928874DEST_PATH_IMAGE025
；
S804、取
Figure 832239DEST_PATH_IMAGE026
为未匹配船舶至真实船舶的权值，采用KM算法计算最小权完备匹配，得到未匹配船舶的匹配结果。
将当前图像中的多条航道根据航道方向
Figure 13822DEST_PATH_IMAGE047
，例如一个四条航道交汇的区域，将航道抽象成如图11所示的检测范围内的经纬度坐标系，该经纬度坐标系中的每根坐标轴均对应一条实际的航道。其中，箭头代表驶入方向，坐标轴外的点为未匹配船舶或真实船舶，在坐标轴上的点为对应的投影点。
作为一种可选的实施方式，根据历史船舶行驶路径选择航行概率最高的路线作为经纬度坐标系中的对应航道坐标轴。
根据航道方向
Figure 344440DEST_PATH_IMAGE047
，抽象检测范围内的经纬度坐标系，其中部分航向为离开防区方向，另一部分则为进入防区方向。分别将未匹配船舶和真实船舶根据对应的航向及经纬度坐标就近投影到对应航道
Figure 978684DEST_PATH_IMAGE047
上从而获得第三经纬度坐标
Figure 420161DEST_PATH_IMAGE023
、第四经纬度坐标
Figure 721829DEST_PATH_IMAGE024
和第五经纬度坐标
Figure 223349DEST_PATH_IMAGE005
。
Figure 220255DEST_PATH_IMAGE025
必然落在线段
Figure 590056DEST_PATH_IMAGE023
Figure 621597DEST_PATH_IMAGE024
上，且取
Figure 418652DEST_PATH_IMAGE026
最小为未匹配船舶至真实船舶的权值，使用KM算法求最小权完备匹配，从而在至少一个未匹配船舶与至少一个真实船舶中，得到每个未匹配船舶对应的真实船舶，将真实船舶对应的AIS信息与对应未匹配船舶进行联系，得到未匹配船舶的匹配结果。
作为一种可选的实施方式，取
Figure 902854DEST_PATH_IMAGE026
为未匹配船舶至真实船舶的权值之前，包括：
S805、根据计算误差值在经纬度坐标系中确定每条航道坐标轴的最优范围；
S806、根据中点运动轨迹计算未匹配船舶的估计航速；根据估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向；根据未匹配船舶的第三经纬度坐标
Figure 810767DEST_PATH_IMAGE023
及第四经纬度坐标
Figure 696815DEST_PATH_IMAGE024
判断未匹配船舶是否位于对应航道坐标轴的最优范围内；若未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向，则该未匹配船舶参与权值计算；否则，不参与权值计算；
S807、根据船舶AIS信息确定真实船舶的实际航速；根据实际航向确定真实船舶在对应航道坐标轴上的行驶方向；根据真实船舶的第五经纬度坐标
Figure 664771DEST_PATH_IMAGE025
确定真实船舶是否位于对应航道的最优范围内；若真实船舶位于对应航道坐标轴的最优范围内、实际航速不为0且行驶方向为驶入方向，则该真实船舶参与权值计算；否则，不参与权值计算。
参见图11，每条航道对应的航道坐标轴上均有一个最优范围
Figure 636269DEST_PATH_IMAGE048
。由于越远离镜头处由于像素的精度有限，导致计算误差越大，而越靠近镜头处由于镜头的畸变，导致计算误差越大。即船舶进入防区后，总是经历计算误差减小→计算误差增大这一过程，根据实际情况，可以在经纬度坐标系上为每个航向标定最优范围
Figure 347873DEST_PATH_IMAGE048
（范围内经纬度计算误差小于40米，40米为经验的船舶平均长度），则每次匹配，仅匹配所有驶入最优范围
Figure 88427DEST_PATH_IMAGE048
且驶向镜头的船只，从而提高匹配精度与匹配效率。其中，驶向镜头方向即为坐标轴上的驶入方向。
其中，计算误差值可根据经验确定，也可根据累积的历史计算误差确定，从而标定出计算精确度较高的每条航道的最优范围。
作为一种可选的实施方式，对于停泊区（船只停泊时可能关闭AIS），在船只停泊之前（有速度）才进行匹配，停泊之后（无速度）不进行匹配。
本发明实施例还提供了一种船舶信息匹配装置，图12是本发明实施例提供的船舶信息匹配装置结构示意图，如图12所示，该装置包括：
数据获取模块100，用于实时获取当前图像，预先获取当前图像对应的地图图像；
从大尺寸全景相机中实时获取监控图像，将该图像记为当前图像。
作为一种可选的实施方式，当前图像为像素大小5520*2400，画面角度为270°。
作为一种可选的实施方式，预先在监控图像所在区域进行人工标记，得到计算区域。该计算区域为边数在10以内的多边形。例如，在岸边具有建筑物的情况下，只划定部分水上区域。计算区域可根据历史计算误差进行划定，也可根据经验人工划定，以保证驶入计算区域的船舶计算精度更高。指定船只行驶区域及计算误差允许区域，以排除较远处、岸上建筑物对计算的干扰。
由于全景相机中监控区域不变，因此可预先根据该监控区域寻找到对应的地图图像，在计算时加载该地图图像进行后续经纬度计算。
作为一种可选的实施方式，地图图像可采用goole地图数据，百度地图数据等，本实施例在此不做限制。
船舶识别模块200，用于识别当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框；其中，关联图像为在当前图像前获取的具有同一船舶的图像；
获取当前图像后，对当前图像进行人工智能识别，得到目标船舶对应的目标框。由于同一时段可能会有不止一艘船舶驶入画面，因此当前图像中可能识别出多个目标船舶，对应有多个船舶的目标框。
本实施例会在若干帧之间，对每个船舶进行追踪，得到追踪情况。具体的：对采集到的多帧图像（通常为10帧，帧率为5-10之间），进行人工智能识别，获取每一帧对应的目标框，记为
Figure 102651DEST_PATH_IMAGE027
。
Figure 686079DEST_PATH_IMAGE027
中应至少有两个点处于计算区域内，否则滤去该目标框，对于滤去部分目标框后的多帧图像，将当前帧与上一帧进行对比计算，若某目标框的重心点和前一帧中某目标框
Figure 76740DEST_PATH_IMAGE027
的重心点的欧式距离小于给定阈值，则认为两个目标框指向同一船舶，将指向同一船舶的图像记为该目标船舶的关联图像，关联图像中目标船舶所在的目标框为第二目标框。关联图像可以为一张也可以为多张。
采用同样的方法，判断当前图像的目标框中的目标船舶是否与第二目标框中的目标船舶为同一船舶，若是，将当前图像的目标框记为第一目标框：
Figure 796434DEST_PATH_IMAGE028
其中，
Figure 981559DEST_PATH_IMAGE029
为目标框左上角像素坐标，
Figure 52283DEST_PATH_IMAGE029
为目标框右下角像素坐标，以画面左上角为原点。
作为一种可选的实施方式，对于任一目标船舶，
Figure 981056DEST_PATH_IMAGE031
指向的船舶都未再出现，则认为
Figure 820836DEST_PATH_IMAGE031
消失。以排除船只相互遮挡、岸边建筑物遮挡等因素带来的干扰。
作为一种可选的实施方式，为了避免人工智能在船舶重叠时产生的误报，例如偶尔会将两艘重叠的船识别为三艘，作为一种可选的实施方式，仅采用在60帧内90%（经验值，可根据航道情况不同而调整）以上帧均出现的船舶参与后续的经纬度计算。
下缘线段提取模块300，用于根据关联图像判断目标船舶是否为匹配船舶，若否，则将目标船舶标记为未匹配船舶，并对第一目标框及第二目标框中的图像分别进行直线提取，得到每个目标框中未匹配船舶与水面交界的下缘线段，提取每个下缘线段的左端点、右端点及中点；若是，则仅计算当前图像中下缘线段对应的中点，将中点记录；
根据关联图像，也即船舶追踪情况判断当前图像中的目标船舶是否为匹配船舶。若该船舶并非匹配船舶，将其标记为未匹配船舶，进行下缘线段对应的端点提取后参与后续匹配。若当前图像中的目标船舶为匹配船舶，则仅提取当前图像中下缘线段对应的中点，将中点记录，作为当前图像中目标船舶的位置，且不参与后续匹配。
下缘线段提取过程如下：
从当前图像中提取出第一目标框
Figure 176862DEST_PATH_IMAGE031
范围内的图像，对其进行二值化处理，并使用Canny算子和霍夫变换进行直线提取，取端点y值最大的线段作为该目标框内船舶和水面接触的下缘位置，记为下缘线段：
Figure 734882DEST_PATH_IMAGE032
由于船舶的信号发送设备可能装在船头也可能装在船尾，因此需要取该下缘线段的左端点
Figure 201767DEST_PATH_IMAGE001
，及右端点
Figure 896053DEST_PATH_IMAGE003
，
Figure 688560DEST_PATH_IMAGE001
和
Figure 343664DEST_PATH_IMAGE003
所指向的位置范围均可能对应船舶AIS中的经纬度。此外，还需提取该下缘线段的中点
Figure 738873DEST_PATH_IMAGE033
。其中，左端点
Figure 428611DEST_PATH_IMAGE001
、右端点
Figure 251074DEST_PATH_IMAGE003
及中点
Figure 393473DEST_PATH_IMAGE033
均对应有像素点坐标。
对于关联图像均采用上述方法进行下缘线段提取，并计算对应图像下缘线段的左端点、右端点及中点。
估计航向计算模块400，用于根据第一目标框及多个第二目标框对应的中点运动轨迹，计算未匹配船舶的估计航向；
对于每个未匹配船舶，综合其对应的多幅图像的目标框提取的下缘线段的中点变化情况，计算该未匹配船舶的估计速度和估计航向
Figure 592373DEST_PATH_IMAGE034
。
作为一种可选的实施方式，对于船舶航向变化巨大的、或相邻帧对应的中点欧式距离小于预设距离的，认为船舶停泊在此处，航速为0。
其中，预设距离为20个像素，可根据经验人工设定，且该值根据实际画面尺寸及画面中船舶占比的不同可随时调整。
映射关系计算模块500，用于将地图图像进行透视变换，得到标定图像，采用Morphing算法计算当前图像与标定图像的映射关系；
图像融合领域中的传统Morphing技术指将图像A光滑连续地变换到目标图像D，使得过渡过程中即保留A的特征又保留D的特征（常用于三维、动画、设计等领域）。可以认为该过程实际是在计算指定阶段图像A中的像素将变换至图像D的何种位置。则，当图像A完全变化至图像D，认为此时是图像A至图像D的映射。
现在，对任一地图，由于计算区域较小，忽略地形差异；同时为了变换方便，对地图进行透视变化，以粗略地匹配实际相机图像，最终达到经纬度
Figure 136618DEST_PATH_IMAGE035
→像素
Figure 129982DEST_PATH_IMAGE036
的转变，将透视变换后的必定图像记为图像D，记透视变换为3*3的矩阵T。
将地图图像进行透视变换可记为：
Figure 759678DEST_PATH_IMAGE037
其中，
Figure 496690DEST_PATH_IMAGE035
为地图图像中的经纬度坐标，
Figure 895441DEST_PATH_IMAGE036
为标定图像中的像素点坐标。
透视变换后的标定图像每个像素点均对应有经纬度坐标。
将从大尺寸全景相机中获取的当前图像记为图像A。
使用Morphing技术，计算图像A至图像D的映射关系：
Figure 325285DEST_PATH_IMAGE038
经纬度确定模块600，用于根据映射关系及标定图像，得到当前图像对应下缘线段的左端点
Figure 442277DEST_PATH_IMAGE001
的第一经纬度坐标
Figure 592767DEST_PATH_IMAGE002
及右端点
Figure 236238DEST_PATH_IMAGE003
的第二经纬度坐标
Figure 446770DEST_PATH_IMAGE004
；
通过图像D的经纬度坐标→像素的逆过程，可最终获得图像A上任意像素点的经纬度，即
Figure 175692DEST_PATH_IMAGE039
该过程描述为图像A像素→图像D像素→经纬度。
此时，当前图像A中每个像素点均对应有经纬度，因此其对应的下缘线段的左端点
Figure 129873DEST_PATH_IMAGE001
和右端点
Figure 627850DEST_PATH_IMAGE003
可根据各自的像素坐标得到对应的经纬度坐标，分别记为第一经纬度坐标
Figure 274863DEST_PATH_IMAGE002
及第二经纬度坐标
Figure 225502DEST_PATH_IMAGE004
。
真实船舶信息计算模块700，用于根据最近时刻获取的船舶AIS信息，计算当前图像获取时刻真实船舶的实际经纬度坐标
Figure 983373DEST_PATH_IMAGE005
和实际航向；
采用AIS基站获取指定范围内的船舶AIS信息，包括船舶的经纬度、航向、信息发送时间等信息。根据信息发送时的经纬度、航向及航速信息，可以计算指定时间的实际经纬度及实际航向，本实施例中计算获取当前图像时刻的真实船舶实际经纬度
Figure 335857DEST_PATH_IMAGE040
和实际航向
Figure 177209DEST_PATH_IMAGE041
。
当然，某一时刻获取的AIS信息可能为一条也可能为多条，本实施例获取指定范围内所有船舶AIS信息用于后续匹配操作。
信息匹配模块800，用于根据实际经纬度坐标
Figure 490510DEST_PATH_IMAGE005
、第一经纬度坐标
Figure 911127DEST_PATH_IMAGE006
、第二经纬度坐标
Figure 259063DEST_PATH_IMAGE007
、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到未匹配船舶的匹配结果，并将未匹配船舶标记为匹配船舶。
根据当下至少一个真实船舶的实际经纬度坐标
Figure 372512DEST_PATH_IMAGE005
、实际航向
Figure 173109DEST_PATH_IMAGE041
、至少一个未匹配船舶对应的第一经纬度坐标
Figure 397417DEST_PATH_IMAGE006
、第二经纬度坐标
Figure 334280DEST_PATH_IMAGE007
及估计航向进行全局匹配，得到每个未匹配船舶对应的AIS信息，即本实施例中的未匹配船舶的匹配结果。
未匹配船舶匹配后标记为匹配船舶，当下一次采集到该船舶对应的图像时，当前图像作为关联图像，对应匹配船舶的标记，此时只识别该船舶在图像中的位置，并不参与后续匹配。
作为一种可选的实施方式，在全景相机的实时画面中的
Figure 493997DEST_PATH_IMAGE033
处标识匹配后船舶的具体信息，包括识别结果（真实船只的AIS九位码、速度、航向等）、照片留证或其他检测信息，以便于监管人员监控河道情况。
作为一种可选的实施方式，图13是本发明实施例提供的映射关系计算模块的结构示意图，如图13所示，映射关系计算模块500包括：
预标定子模块5001，用于预先在标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点，分别在标定图像的背景中及当前图像的背景中连接多个标定点，将对应图像的背景划分为多个三角区域；其中，标定图像中标定点间的连线为直线段，当前图像中标定点间的连线为折线段，每个折线段由点集组成；
区域确定子模块5002，用于对于当前图像中任一像素点X，根据当前图像的背景确定其落入的三角区域EFG；
映射关系计算子模块5003，用于根据三角区域EFG及标定图像的背景确定标定图像中对应的三角区域
Figure 906524DEST_PATH_IMAGE008
，根据线对
Figure 809889DEST_PATH_IMAGE009
、
Figure 991472DEST_PATH_IMAGE010
、
Figure 56511DEST_PATH_IMAGE011
和点集
Figure 956334DEST_PATH_IMAGE012
、
Figure 397810DEST_PATH_IMAGE013
、
Figure 699479DEST_PATH_IMAGE014
计算标定图像中对应的点
Figure 935419DEST_PATH_IMAGE015
。
基于线对的Morphing技术，首先对防区进行标定，即标定图像D的背景与当前图像A的背景在防区内的若干个标定点的映射关系。人工按照航道情况，连接标定点，使之尽量分割区域为三角形区域。其中，防区根据上述计算区域进行设定，可略大于计算区域的划定范围。由于全景相机监控范围固定，因此可预先在当前图像的背景画面、及标定图像的背景画面上进行若干标定点的标定，之后再将标定关系对应标定在当前图像及标定图像中，以计算任意像素点落入的三角区域。
参见图3，图中箭头左侧图像为目标图像，箭头右侧图像为源图像，传统的基于线对的Morphing算法逻辑描述为：
根据目标图像中的点X、向量P1Q1及原图像中的向量P1'Q1'计算出X1'；具体的，X1'通过X相对于向量的距离v和X在向量PQ上的投影点至Q的距离u确定；
同理，根据目标图像中的点X、向量P2Q2及原图像中的向量P2'Q2'计算出X2'；
然后通过加权平均的方法，求出X'。
Figure 322538DEST_PATH_IMAGE049
其中，权值wn的计算方法为通过点X到线段PnQn的距离成反比的函数计算：
Figure 567706DEST_PATH_IMAGE043
其中lengthn表示线段的长度，distn表示点X到线段PnQn的最短距离。a，b，p为常数，可以选择p=0，a=1，b=2。
相较于传统基于线对的图像Morphing中，后续计算将存在如下差别：
1、结果中标定点的偏移尽量小；
2、线对数远多于传统方式，但大部分线对对于点不产生太大的影响，可以不计入计算；
3、在标定图像D中某直线段如
Figure 333668DEST_PATH_IMAGE020
，对应的当前图像A中的并非简单看做线段
Figure 130722DEST_PATH_IMAGE022
。因为镜头畸变的存在，
Figure 614924DEST_PATH_IMAGE022
更应被描述为曲线段，由于标定点距离较近，因此在本实施例中可近似为折线段，则需要额外计算
Figure 788417DEST_PATH_IMAGE022
的形状，以描述图像A中
Figure 674464DEST_PATH_IMAGE022
所表示的结构。每个折线段均由点集组成。
当前图像A中的所求点X落在某计算三角形区域EFG中，则使用线对：线段
Figure 642420DEST_PATH_IMAGE009
、
Figure 613919DEST_PATH_IMAGE010
、
Figure 200889DEST_PATH_IMAGE011
和点集
Figure 66077DEST_PATH_IMAGE012
、
Figure 80300DEST_PATH_IMAGE013
、
Figure 663728DEST_PATH_IMAGE014
计算对应图像D中的点
Figure 788810DEST_PATH_IMAGE015
。
此时，参见图4、图5，当前图像A中X对于EF的垂直距离
Figure 774084DEST_PATH_IMAGE044
，变为点集
Figure 959209DEST_PATH_IMAGE012
中距离X最近的点到X的距离；
Figure 780665DEST_PATH_IMAGE045
变为折线段的总长比值。
作为一种可选的实施方式，图14是本发明实施例提供的预标定子模块的结构示意图，如图14所示，预标定子模块5001包括：
点集生成单元50011，用于提取标定图像的背景中所有可以构成路径
Figure 709438DEST_PATH_IMAGE016
的标定点
Figure 424584DEST_PATH_IMAGE017
，通过线对
Figure 905244DEST_PATH_IMAGE018
和
Figure 73052DEST_PATH_IMAGE019
计算
Figure 805515DEST_PATH_IMAGE020
间点在当前图像的背景上的投影，得到点集
Figure 499802DEST_PATH_IMAGE021
；
连线单元50012，用于连接点集
Figure 26729DEST_PATH_IMAGE021
中的各点，作为折线段
Figure 947412DEST_PATH_IMAGE022
；
循环单元50013，用于控制重复点集生成单元及连线单元的操作，计算当前图像的背景中所有连线对应的折线段及点集。
参见图7、图8，改良算法后的
Figure 342621DEST_PATH_IMAGE046
计算如下：
对任意标定点对
Figure 766780DEST_PATH_IMAGE020
和
Figure 854822DEST_PATH_IMAGE022
，取图中所有可以构成路径的
Figure 747954DEST_PATH_IMAGE016
的点
Figure 822220DEST_PATH_IMAGE017
，则通过线对
Figure 225520DEST_PATH_IMAGE018
和
Figure 336392DEST_PATH_IMAGE019
计算
Figure 90721DEST_PATH_IMAGE020
间点在图像A上的投影获得点集
Figure 703099DEST_PATH_IMAGE021
。
连接
Figure 226484DEST_PATH_IMAGE021
中各点，作为折线段
Figure 531695DEST_PATH_IMAGE022
。
计算图像A中所有线段对应的折线段点集和折线段。
作为一种可选的实施方式，图15是本发明实施例提供的信息匹配模块的结构示意图，如图15所示，信息匹配模块800包括：
转化子模块8001，用于将当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴；
第一投影坐标计算子模块8002，用于在经纬度坐标系中，将未匹配船舶根据估计航向投影到距离最近的航道坐标轴，得到第一经纬度坐标
Figure 383107DEST_PATH_IMAGE002
对应的第三经纬度坐标
Figure 923810DEST_PATH_IMAGE023
，第二经纬度坐标
Figure 442647DEST_PATH_IMAGE004
对应的第四经纬度坐标
Figure 777814DEST_PATH_IMAGE024
；
第二投影坐标计算子模块8003，用于在经纬度坐标系中，将真实船舶根据实际航向投影到距离最近的航道坐标轴，得到实际经纬度坐标
Figure 382101DEST_PATH_IMAGE005
对应的第五经纬度坐标
Figure 460916DEST_PATH_IMAGE025
；
全局匹配子模块8004，用于取
Figure 834259DEST_PATH_IMAGE026
为未匹配船舶至真实船舶的权值，采用KM算法计算最小权完备匹配，得到未匹配船舶的匹配结果。
将当前图像中的多条航道根据航道方向
Figure 340327DEST_PATH_IMAGE047
，例如一个四条航道交汇的区域，将航道抽象成如图11所示的检测范围内的经纬度坐标系，该经纬度坐标系中的每根坐标轴均对应一条实际的航道。其中，箭头代表驶入方向，坐标轴外的点为未匹配船舶或真实船舶，在坐标轴上的点为对应的投影点。
作为一种可选的实施方式，根据历史船舶行驶路径选择航行概率最高的路线作为经纬度坐标系中的对应航道坐标轴。
根据航道方向
Figure 431911DEST_PATH_IMAGE047
，抽象检测范围内的经纬度坐标系，其中部分航向为离开防区方向，另一部分则为进入防区方向。分别将未匹配船舶和真实船舶根据对应的航向及经纬度坐标就近投影到对应航道
Figure 314416DEST_PATH_IMAGE047
上从而获得第三经纬度坐标
Figure 542267DEST_PATH_IMAGE023
、第四经纬度坐标
Figure 360181DEST_PATH_IMAGE024
和第五经纬度坐标
Figure 798116DEST_PATH_IMAGE025
。
Figure 94099DEST_PATH_IMAGE025
必然落在线段
Figure 566668DEST_PATH_IMAGE023
Figure 289905DEST_PATH_IMAGE024
上，且取
Figure 215136DEST_PATH_IMAGE026
最小为未匹配船舶至真实船舶的权值，使用KM算法求最小权完备匹配，从而在至少一个未匹配船舶与至少一个真实船舶中，得到每个未匹配船舶对应的真实船舶，将真实船舶对应的AIS信息与对应未匹配船舶进行联系，得到未匹配船舶的匹配结果。
作为一种可选的实施方式，图16是本发明实施例提供的信息匹配模块的其它子模块结构示意图，如图16所示，信息匹配模块800还包括：
最优范围确定子模块8005，用于根据计算误差值在经纬度坐标系中确定每条航道坐标轴的最优范围；
第一过滤子模块8006，用于根据中点运动轨迹计算未匹配船舶的估计航速；根据估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向；根据未匹配船舶的第三经纬度坐标
Figure 314810DEST_PATH_IMAGE023
及第四经纬度坐标
Figure 641886DEST_PATH_IMAGE024
判断未匹配船舶是否位于对应航道坐标轴的最优范围内；若未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向，则该未匹配船舶参与权值计算；否则，不参与权值计算；
第二过滤子模块8007，用于根据船舶AIS信息确定真实船舶的实际航速；根据实际航向确定真实船舶在对应航道坐标轴上的行驶方向；根据真实船舶的第五经纬度坐标
Figure 801603DEST_PATH_IMAGE025
确定真实船舶是否位于对应航道的最优范围内；若真实船舶位于对应航道坐标轴的最优范围内、实际航速不为0且行驶方向为驶入方向，则该真实船舶参与权值计算；否则，不参与权值计算。
参见图11，每条航道对应的航道坐标轴上均有一个最优范围
Figure 214130DEST_PATH_IMAGE048
。由于越远离镜头处由于像素的精度有限，导致计算误差越大，而越靠近镜头处由于镜头的畸变，导致计算误差越大。即船舶进入防区后，总是经历计算误差减小→计算误差增大这一过程，根据实际情况，可以在经纬度坐标系上为每个航向标定最优范围
Figure 851916DEST_PATH_IMAGE048
（范围内经纬度计算误差小于40米，40米为经验的船舶平均长度），则每次匹配，仅匹配所有驶入最优范围
Figure 908864DEST_PATH_IMAGE048
且驶向镜头的船只，从而提高匹配精度与匹配效率。其中，驶向镜头方向即为坐标轴上的驶入方向。
其中，计算误差值可根据经验确定，也可根据累积的历史计算误差确定，从而标定出计算精确度较高的每条航道的最优范围。
作为一种可选的实施方式，对于停泊区（船只停泊时可能关闭AIS），在船只停泊之前（有速度）才进行匹配，停泊之后（无速度）不进行匹配。
在大尺寸的全景相机中进行像素-经纬度的转换。该算法基于常用的图像融合领域中的传统Morphing技术，经一定改良后应用在该领域。
在过去的计算中，如道路交通的AR算法，一方面行车道路较为固定，不如船舶的四通八达难以具体指明，另一方面车道监控资源丰富，可以用大量特写监控作为补充，而航道上不具备这样的条件；Morphing用在地图领域时又常常使用于测绘地图和卫星照片的融合，更关心道路、航道的变形，无法对特定目标的畸变情况进行控制；Morphing用在图像设计领域更关心变形的平滑化处理和整体特征的保留，但在航道上局部标定的特征线往往应被视为固定的而不为整体让步。
故此，基于大尺寸的全景相机监控画面下的船舶定位，需要解决如下问题：在不进行高精度标定的情况下，描述全景相机的畸变情况，以获得相机二维画面中物体在真实世界下的经纬度坐标。一方面缩小基于线对的Morphing算法中对目标点结果发生影响的线对范围；另一方面描述特征线为曲线；同时提供了船只匹配的策略以弥补标定精度带来的无法消弭的误差。最终，在低成本（粗略标定、单全景监控相机）的同时，完成了匹配成功率较高的算法。
上述技术方案具有如下有益效果：本实施例通过采用改良的Morphing算法对像素与经纬度的对应关系进行确定，准确得到每个未匹配船舶对应的经纬度坐标；且本实施例仅通过AIS及相机监控图像即可得到当前画像中多个船舶的船名信息等，提高了匹配效率；采用上述匹配方法的全景相机从而可以作为江面港口、停泊区、河流交汇口等多点监控的汇总查看窗口，而不需要同时监控多取景窗口，便利监察人员；通过提取未匹配船舶的下缘线段中点信息及端点信息经过处理后与真实船舶的坐标信息进行匹配，提高了船舶匹配的准确度。
以上发明的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上内容仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种船舶信息匹配方法，其特征在于，包括：
S1、实时获取当前图像，预先获取当前图像对应的地图图像；
S2、识别所述当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框；其中，所述关联图像为在当前图像前获取的具有同一船舶的图像；
S3、根据所述关联图像判断所述目标船舶是否为匹配船舶，若否，则将所述目标船舶标记为未匹配船舶，并对所述第一目标框及第二目标框中的图像分别进行直线提取，得到每个目标框中未匹配船舶与水面交界的下缘线段，提取每个下缘线段的左端点、右端点及中点；若是，则仅计算所述当前图像中下缘线段对应的中点，将中点记录；
S4、根据第一目标框及多个第二目标框对应的中点运动轨迹，计算所述未匹配船舶的估计航向；
S5、将所述地图图像进行透视变换，得到标定图像，采用Morphing算法计算所述当前图像与所述标定图像的映射关系；包括：
S501、预先在所述标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点，分别在所述标定图像的背景中及当前图像的背景中连接多个标定点，将对应图像的背景划分为多个三角区域；其中，所述标定图像中标定点间的连线为直线段，所述当前图像中标定点间的连线为折线段，每个折线段由点集组成；包括：
S5011、对于所述标定图像的背景中的任意标定点
Figure 634353DEST_PATH_IMAGE001
组成的点对
Figure 999344DEST_PATH_IMAGE002
，提取所述标定图像的背景中所有可以构成路径
Figure 901441DEST_PATH_IMAGE003
的标定点
Figure 195150DEST_PATH_IMAGE004
，在所述当前图像的背景中标记点对
Figure 549908DEST_PATH_IMAGE005
及标定点
Figure 718590DEST_PATH_IMAGE004
对应的点
Figure 475193DEST_PATH_IMAGE006
，根据点对
Figure 939804DEST_PATH_IMAGE007
间的点与线对
Figure 47437DEST_PATH_IMAGE008
和
Figure 777668DEST_PATH_IMAGE009
的位置关系，计算得到所述当前图像的背景上点对
Figure 388778DEST_PATH_IMAGE005
间的投影点，记为点集
Figure 289869DEST_PATH_IMAGE010
；其中，点集
Figure 619219DEST_PATH_IMAGE010
为点
Figure 864125DEST_PATH_IMAGE011
与点
Figure 595320DEST_PATH_IMAGE012
之间的点构成的集合；
S5012、连接所述点集
Figure 667313DEST_PATH_IMAGE010
中的各点，作为折线段
Figure 156063DEST_PATH_IMAGE005
；
S5013、重复步骤S5011-S5012，计算当前图像的背景中所有连线对应的折线段及点集；
S502、对于当前图像中任一像素点X，根据当前图像的背景确定其落入的三角区域EFG；
S503、根据三角区域EFG及标定图像的背景确定标定图像中对应的三角区域
Figure 532555DEST_PATH_IMAGE013
，根据线对
Figure 55941DEST_PATH_IMAGE014
、
Figure 282523DEST_PATH_IMAGE015
、
Figure 337197DEST_PATH_IMAGE016
和点集
Figure 940217DEST_PATH_IMAGE017
、
Figure 629693DEST_PATH_IMAGE018
、
Figure 230439DEST_PATH_IMAGE019
计算标定图像中对应的点
Figure 756098DEST_PATH_IMAGE020
；具体包括：分别计算点集
Figure 975858DEST_PATH_IMAGE017
、
Figure 785420DEST_PATH_IMAGE018
、
Figure 353804DEST_PATH_IMAGE019
中距离点X最近的点与所在折线段及点X的位置关系，分别计算与线对
Figure 383071DEST_PATH_IMAGE014
、
Figure 327894DEST_PATH_IMAGE015
、
Figure 991962DEST_PATH_IMAGE016
具有对应位置关系的中间点，对中间点进行加权平均得到点
Figure 668931DEST_PATH_IMAGE020
；其中，所述点集
Figure 169183DEST_PATH_IMAGE017
为点E与点F之间的点构成的集合；所述点集
Figure 668428DEST_PATH_IMAGE018
为点F与点G之间的点构成的集合；所述点集
Figure 937735DEST_PATH_IMAGE019
为点G与点E之间的点构成的集合；
S6、根据所述映射关系及所述标定图像，得到所述当前图像对应下缘线段的左端点
Figure 51185DEST_PATH_IMAGE021
的第一经纬度坐标
Figure 288000DEST_PATH_IMAGE022
及右端点
Figure 574625DEST_PATH_IMAGE023
的第二经纬度坐标
Figure 714750DEST_PATH_IMAGE024
；
S7、根据最近时刻获取的船舶AIS信息，计算当前图像获取时刻真实船舶的实际经纬度坐标
Figure 61418DEST_PATH_IMAGE025
和实际航向；
S8、根据实际经纬度坐标
Figure 519950DEST_PATH_IMAGE025
、第一经纬度坐标
Figure 610266DEST_PATH_IMAGE022
、第二经纬度坐标
Figure 604898DEST_PATH_IMAGE024
、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到所述未匹配船舶的匹配结果，并将未匹配船舶标记为匹配船舶。
2.根据权利要求1所述的船舶信息匹配方法，其特征在于，所述根据实际经纬度坐标
Figure 122467DEST_PATH_IMAGE025
、第一经纬度坐标
Figure 333874DEST_PATH_IMAGE022
、第二经纬度坐标
Figure 962302DEST_PATH_IMAGE024
、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到所述未匹配船舶的匹配结果，包括：
S801、将所述当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴；
S802、在所述经纬度坐标系中，将未匹配船舶根据估计航向投影到距离最近的航道坐标轴，得到第一经纬度坐标
Figure 811440DEST_PATH_IMAGE022
对应的第三经纬度坐标
Figure 499910DEST_PATH_IMAGE026
，第二经纬度坐标
Figure 933035DEST_PATH_IMAGE024
对应的第四经纬度坐标
Figure 365153DEST_PATH_IMAGE027
；
S803、在所述经纬度坐标系中，将真实船舶根据实际航向投影到距离最近的航道坐标轴，得到实际经纬度坐标
Figure 334377DEST_PATH_IMAGE025
对应的第五经纬度坐标
Figure 193749DEST_PATH_IMAGE028
；
S804、取
Figure 114169DEST_PATH_IMAGE029
为未匹配船舶至真实船舶的权值，采用KM算法计算最小权完备匹配，得到未匹配船舶的匹配结果；其中，
Figure 84399DEST_PATH_IMAGE030
为第五经纬度坐标
Figure 908130DEST_PATH_IMAGE028
与第三经纬度坐标
Figure 876086DEST_PATH_IMAGE026
的距离，
Figure 34535DEST_PATH_IMAGE031
为第五经纬度坐标
Figure 57723DEST_PATH_IMAGE028
与第四经纬度坐标
Figure 250807DEST_PATH_IMAGE027
的距离。
3.根据权利要求2所述的船舶信息匹配方法，其特征在于，所述取
Figure 202714DEST_PATH_IMAGE032
为未匹配船舶至真实船舶的权值之前，包括：
S805、根据计算误差值在所述经纬度坐标系中确定每条航道坐标轴的最优范围；
S806、根据所述中点运动轨迹计算未匹配船舶的估计航速；根据所述估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向；根据所述未匹配船舶的第三经纬度坐标
Figure 582880DEST_PATH_IMAGE026
及第四经纬度坐标
Figure 409759DEST_PATH_IMAGE027
判断所述未匹配船舶是否位于对应航道坐标轴的最优范围内；若所述未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向，则该未匹配船舶参与权值计算；否则，不参与权值计算；
S807、根据所述船舶AIS信息确定真实船舶的实际航速；根据所述实际航向确定真实船舶在对应航道坐标轴上的行驶方向；根据所述真实船舶的第五经纬度坐标
Figure 395033DEST_PATH_IMAGE028
确定所述真实船舶是否位于对应航道的最优范围内；若所述真实船舶位于对应航道坐标轴的最优范围内、实际航速不为0且行驶方向为驶入方向，则该真实船舶参与权值计算；否则，不参与权值计算。
4.一种船舶信息匹配装置，其特征在于，包括：
数据获取模块，用于实时获取当前图像，预先获取当前图像对应的地图图像；
船舶识别模块，用于识别所述当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框；其中，所述关联图像为在当前图像前获取的具有同一船舶的图像；
下缘线段提取模块，用于根据所述关联图像判断所述目标船舶是否为匹配船舶，若否，则将所述目标船舶标记为未匹配船舶，并对所述第一目标框及第二目标框中的图像分别进行直线提取，得到每个目标框中未匹配船舶与水面交界的下缘线段，提取每个下缘线段的左端点、右端点及中点；若是，则仅计算所述当前图像中下缘线段对应的中点，将中点记录；
估计航向计算模块，用于根据第一目标框及多个第二目标框对应的中点运动轨迹，计算所述未匹配船舶的估计航向；
映射关系计算模块，用于将所述地图图像进行透视变换，得到标定图像，采用Morphing算法计算所述当前图像与所述标定图像的映射关系；
经纬度确定模块，用于根据所述映射关系及所述标定图像，得到所述当前图像对应下缘线段的左端点
Figure 767108DEST_PATH_IMAGE021
的第一经纬度坐标
Figure 385302DEST_PATH_IMAGE022
及右端点
Figure 501026DEST_PATH_IMAGE023
的第二经纬度坐标
Figure 652390DEST_PATH_IMAGE024
；
真实船舶信息计算模块，用于根据最近时刻获取的船舶AIS信息，计算当前图像获取时刻真实船舶的实际经纬度坐标
Figure 195367DEST_PATH_IMAGE025
和实际航向；
信息匹配模块，用于根据实际经纬度坐标
Figure 566437DEST_PATH_IMAGE025
、第一经纬度坐标
Figure 157955DEST_PATH_IMAGE022
、第二经纬度坐标
Figure 180138DEST_PATH_IMAGE024
、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到所述未匹配船舶的匹配结果，并将未匹配船舶标记为匹配船舶；
所述映射关系计算模块包括：预标定子模块，用于预先在所述标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点，分别在所述标定图像的背景中及当前图像的背景中连接多个标定点，将对应图像的背景划分为多个三角区域；其中，所述标定图像中标定点间的连线为直线段，所述当前图像中标定点间的连线为折线段，每个折线段由点集组成；区域确定子模块，用于对于当前图像中任一像素点X，根据当前图像的背景确定其落入的三角区域EFG；映射关系计算子模块，用于根据三角区域EFG及标定图像的背景确定标定图像中对应的三角区域
Figure 143283DEST_PATH_IMAGE013
，根据线对
Figure 985338DEST_PATH_IMAGE014
、
Figure 193596DEST_PATH_IMAGE015
、
Figure 70285DEST_PATH_IMAGE016
和点集
Figure 204332DEST_PATH_IMAGE017
、
Figure 533682DEST_PATH_IMAGE018
、
Figure 545632DEST_PATH_IMAGE019
计算标定图像中对应的点
Figure 276828DEST_PATH_IMAGE020
；具体包括：分别计算点集
Figure 605213DEST_PATH_IMAGE017
、
Figure 421860DEST_PATH_IMAGE018
、
Figure 237500DEST_PATH_IMAGE019
中距离点X最近的点与所在折线段及点X的位置关系，分别计算与线对
Figure 823202DEST_PATH_IMAGE014
、
Figure 299052DEST_PATH_IMAGE015
、
Figure 602994DEST_PATH_IMAGE016
具有对应位置关系的中间点，对中间点进行加权平均得到点
Figure 956746DEST_PATH_IMAGE033
；其中，所述点集
Figure 396955DEST_PATH_IMAGE017
为点E与点F之间的点构成的集合；所述点集
Figure 309285DEST_PATH_IMAGE018
为点F与点G之间的点构成的集合；所述点集
Figure 834944DEST_PATH_IMAGE019
为点G与点E之间的点构成的集合；
所述预标定子模块包括：点集生成单元，用于对于所述标定图像的背景中的任意标定点
Figure 179338DEST_PATH_IMAGE034
组成的点对
Figure 224785DEST_PATH_IMAGE002
，提取所述标定图像的背景中所有可以构成路径
Figure 58749DEST_PATH_IMAGE003
的标定点
Figure 320972DEST_PATH_IMAGE004
，在所述当前图像的背景中标记点对
Figure 203477DEST_PATH_IMAGE005
及标定点
Figure 618278DEST_PATH_IMAGE004
对应的点
Figure 373876DEST_PATH_IMAGE035
，根据点对
Figure 874127DEST_PATH_IMAGE002
间的点与线对
Figure 871908DEST_PATH_IMAGE036
和
Figure 78898DEST_PATH_IMAGE037
的位置关系，计算得到所述当前图像的背景上点对
Figure 254665DEST_PATH_IMAGE005
间的投影点，记为点集
Figure 992945DEST_PATH_IMAGE010
；其中，点集
Figure 279570DEST_PATH_IMAGE010
为点
Figure 918230DEST_PATH_IMAGE038
与点
Figure 999319DEST_PATH_IMAGE039
之间的点构成的集合；连线单元，用于连接所述点集
Figure 224895DEST_PATH_IMAGE010
中的各点，作为折线段
Figure 315211DEST_PATH_IMAGE005
；循环单元，用于控制重复点集生成单元及连线单元的操作，计算当前图像的背景中所有连线对应的折线段及点集。
5.根据权利要求4所述的船舶信息匹配装置，其特征在于，所述信息匹配模块包括：
转化子模块，用于将所述当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴；
第一投影坐标计算子模块，用于在所述经纬度坐标系中，将未匹配船舶根据估计航向投影到距离最近的航道坐标轴，得到第一经纬度坐标
Figure 808378DEST_PATH_IMAGE040
对应的第三经纬度坐标
Figure 325947DEST_PATH_IMAGE026
，第二经纬度坐标
Figure 960190DEST_PATH_IMAGE041
对应的第四经纬度坐标
Figure 339350DEST_PATH_IMAGE027
；
第二投影坐标计算子模块，用于在所述经纬度坐标系中，将真实船舶根据实际航向投影到距离最近的航道坐标轴，得到实际经纬度坐标
Figure 703335DEST_PATH_IMAGE025
对应的第五经纬度坐标
Figure 641073DEST_PATH_IMAGE028
；
全局匹配子模块，用于取
Figure 824930DEST_PATH_IMAGE042
为未匹配船舶至真实船舶的权值，采用KM算法计算最小权完备匹配，得到未匹配船舶的匹配结果；其中，
Figure 7781DEST_PATH_IMAGE043
为第五经纬度坐标
Figure 226273DEST_PATH_IMAGE028
与第三经纬度坐标
Figure 23327DEST_PATH_IMAGE026
的距离，
Figure 943748DEST_PATH_IMAGE044
为第五经纬度坐标
Figure 913978DEST_PATH_IMAGE028
与第四经纬度坐标
Figure 800025DEST_PATH_IMAGE027
的距离。
6.根据权利要求5所述的船舶信息匹配装置，其特征在于，所述信息匹配模块还包括：
最优范围确定子模块，用于根据计算误差值在所述经纬度坐标系中确定每条航道坐标轴的最优范围；
第一过滤子模块，用于根据所述中点运动轨迹计算未匹配船舶的估计航速；根据所述估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向；根据所述未匹配船舶的第三经纬度坐标
Figure 79566DEST_PATH_IMAGE026
及第四经纬度坐标
Figure 238015DEST_PATH_IMAGE027
判断所述未匹配船舶是否位于对应航道坐标轴的最优范围内；若所述未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向，则该未匹配船舶参与权值计算；否则，不参与权值计算；
第二过滤子模块，用于根据所述船舶AIS信息确定真实船舶的实际航速；根据所述实际航向确定真实船舶在对应航道坐标轴上的行驶方向；根据所述真实船舶的第五经纬度坐标
Figure 762668DEST_PATH_IMAGE045
确定所述真实船舶是否位于对应航道的最优范围内；若所述真实船舶位于对应航道坐标轴的最优范围内、实际航速不为0且行驶方向为驶入方向，则该真实船舶参与权值计算；否则，不参与权值计算。
CN202210732075.3A 2022-06-27 2022-06-27 船舶信息匹配方法及装置 Active CN114821494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210732075.3A CN114821494B (zh) 2022-06-27 2022-06-27 船舶信息匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210732075.3A CN114821494B (zh) 2022-06-27 2022-06-27 船舶信息匹配方法及装置

Publications (2)

Publication Number Publication Date
CN114821494A CN114821494A (zh) 2022-07-29
CN114821494B true CN114821494B (zh) 2022-10-14

Family

ID=82520882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210732075.3A Active CN114821494B (zh) 2022-06-27 2022-06-27 船舶信息匹配方法及装置

Country Status (1)

Country Link
CN (1) CN114821494B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117148373B (zh) * 2023-10-30 2024-01-26 浙江华是科技股份有限公司 基于激光雷达和ais全局匹配的船舶识别方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08235364A (ja) * 1995-02-28 1996-09-13 N T T Data Tsushin Kk ベクトル図形の変換方法及び装置
US6996505B1 (en) * 2000-06-21 2006-02-07 Raindrop Geomagic, Inc. Methods, apparatus and computer program products for automatically generating nurbs models of triangulated surfaces using homeomorphisms
CN106097408A (zh) * 2016-06-15 2016-11-09 中国地质大学（武汉） 一种海岸线要素连续多尺度表达方法及系统
CN106251281A (zh) * 2016-07-11 2016-12-21 浙江工商大学 一种基于形状插值的图像渐变方法
CN108133028A (zh) * 2017-12-28 2018-06-08 北京天睿空间科技股份有限公司 基于视频分析与定位信息结合的航空器挂牌方法
CN109460740A (zh) * 2018-11-15 2019-03-12 上海埃威航空电子有限公司 基于ais与视频数据融合的船舶身份识别方法
CN111060877A (zh) * 2019-12-25 2020-04-24 智慧航海（青岛）科技有限公司 一种面向岸基雷达的数据处理方法
CN111523465A (zh) * 2020-04-23 2020-08-11 中船重工鹏力（南京）大气海洋信息系统有限公司 基于摄像机标定及深度学习算法的船舶身份识别系统
CN111814856A (zh) * 2020-06-29 2020-10-23 浙江大学 一种基于形态匹配的产品仿生设计融合方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715760B2 (en) * 2014-05-16 2017-07-25 University Of South Florida Analysis-suitable geometry from discrete point sets using a mesh-free method
CN105844104A (zh) * 2016-03-29 2016-08-10 中国海洋大学 基于Morphing变形技术的中尺度涡旋可视化算法
US10388045B2 (en) * 2018-01-04 2019-08-20 Adobe Inc. Generating a triangle mesh for an image represented by curves
CN110400371B (zh) * 2019-06-24 2023-02-28 南京泛在地理信息产业研究院有限公司 一种水平构造地貌实体的三维模型构建方法
CN113569647B (zh) * 2021-06-29 2024-02-20 广州赋安数字科技有限公司 一种基于ais的船舶高精度坐标映射方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08235364A (ja) * 1995-02-28 1996-09-13 N T T Data Tsushin Kk ベクトル図形の変換方法及び装置
US6996505B1 (en) * 2000-06-21 2006-02-07 Raindrop Geomagic, Inc. Methods, apparatus and computer program products for automatically generating nurbs models of triangulated surfaces using homeomorphisms
CN106097408A (zh) * 2016-06-15 2016-11-09 中国地质大学（武汉） 一种海岸线要素连续多尺度表达方法及系统
CN106251281A (zh) * 2016-07-11 2016-12-21 浙江工商大学 一种基于形状插值的图像渐变方法
CN108133028A (zh) * 2017-12-28 2018-06-08 北京天睿空间科技股份有限公司 基于视频分析与定位信息结合的航空器挂牌方法
CN109460740A (zh) * 2018-11-15 2019-03-12 上海埃威航空电子有限公司 基于ais与视频数据融合的船舶身份识别方法
CN111060877A (zh) * 2019-12-25 2020-04-24 智慧航海（青岛）科技有限公司 一种面向岸基雷达的数据处理方法
CN111523465A (zh) * 2020-04-23 2020-08-11 中船重工鹏力（南京）大气海洋信息系统有限公司 基于摄像机标定及深度学习算法的船舶身份识别系统
CN111814856A (zh) * 2020-06-29 2020-10-23 浙江大学 一种基于形态匹配的产品仿生设计融合方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Foldover-Free Image Warping;Kikuo Fujimura 等，;《GRAPHICAL MODELS AND IMAGE PROCESSING》;19981231;第1998年卷;第100-111页 *
Structure preserving binary image morphing using Delaunay;AbbasCheddad;《PatternRecognitionLetters》;20161122;第2017年卷;第8-14页 *
人脸视频深度伪造与防御技术综述;周文柏 等，;《信号处理》;20211231;第37卷(第12期);第2338-2355页 *

Also Published As

Publication number Publication date
CN114821494A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
US11900627B2 (en) Image annotation
Song et al. Dynamic calibration of pan–tilt–zoom cameras for traffic monitoring
WO2022193420A1 (zh) 近水桥梁多类型病害智能检测方法与无人船设备
US11636686B2 (en) Structure annotation
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
US11948344B2 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
CN111563415A (zh) 一种基于双目视觉的三维目标检测系统及方法
US20220024549A1 (en) System and method for measuring the distance to an object in water
CN112102369A (zh) 水面漂浮目标自主巡检方法、装置、设备及存储介质
CN109815831B (zh) 一种车辆朝向获取方法及相关装置
WO2022041706A1 (zh) 一种定位方法、定位系统和车辆
Manz et al. A hybrid estimation approach for autonomous dirt road following using multiple clothoid segments
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
CN109917359B (zh) 基于车载单目视觉的鲁棒车辆距离估计方法
Kim et al. Artificial intelligence vision-based monitoring system for ship berthing
CN115639536B (zh) 基于多传感器融合的无人船感知目标检测方法及装置
CN114821494B (zh) 船舶信息匹配方法及装置
Choi et al. Methods to detect road features for video-based in-vehicle navigation systems
CN114898332A (zh) 一种基于自动驾驶的车道线识别方法及系统
CN110667783A (zh) 一种无人艇辅助驾驶系统及其方法
CN115082811A (zh) 一种依据图像数据的海上航行船舶识别与距离测量的方法
Wu et al. A method with improved accuracy and robustness for object detection in wharf scenarios
CN105785990B (zh) 基于全景环视的船只停泊系统及障碍物识别方法
Zhao et al. Adaptive background modeling for land and water composition scenes
Kamil et al. Vanishing point detection using angle-based hough transform and RANSAC

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant