CN114821493A - 基于计算机视觉、ais和雷达的船舶信息显示方法及系统 - Google Patents

基于计算机视觉、ais和雷达的船舶信息显示方法及系统 Download PDF

Info

Publication number
CN114821493A
CN114821493A CN202210406035.XA CN202210406035A CN114821493A CN 114821493 A CN114821493 A CN 114821493A CN 202210406035 A CN202210406035 A CN 202210406035A CN 114821493 A CN114821493 A CN 114821493A
Authority
CN
China
Prior art keywords
ship
information
basic information
matching
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210406035.XA
Other languages
English (en)
Inventor
肖文倩
余昶
孙志超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Shipbuilding Technology
Original Assignee
Wuhan Institute of Shipbuilding Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Shipbuilding Technology filed Critical Wuhan Institute of Shipbuilding Technology
Priority to CN202210406035.XA priority Critical patent/CN114821493A/zh
Publication of CN114821493A publication Critical patent/CN114821493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Ocean & Marine Engineering (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于计算机视觉、AIS和雷达的船舶信息显示方法及系统，该方法包括：获取监控区域内船舶的视频信息；对视频信息进行逐帧分解，进行图像识别，识别出监控区域内的船舶，并通过计算机视觉技术得到船舶几何中心点在图片中的坐标，得到船舶的第一基本信息；使用相控阵雷达实时扫描得到监控区域船舶的经纬度信息，得到船舶的第二基本信息；使用AIS接收机获取船舶经纬度的第三基本信息；对第一基本信息和第二基本信息进行匹配；对第二基本信息和第三基本信息中的信息进行匹配；根据上述两次匹配，将匹配好的信息通过AR技术进行显示。本发明能够使监管人员能够直观地查看监控区域内航行船舶信息，方便管理，易于上手，减少了时间成本。

Description

基于计算机视觉、AIS和雷达的船舶信息显示方法及系统
技术领域
本发明涉及船舶通信领域，尤其涉及一种基于计算机视觉、AIS和雷达的船舶信息显示方法及系统。
背景技术
河运在我国整个交通运输体系当中发挥了重要的作用，为了保证船舶航行的安全，需要对河道内船舶的状态进行监控。随着河运的发展，河道内船舶数量的增加，给船舶的监管增加了难度。现有的监控手段大多是将AIS信息展示在电子海图当中，不够直观。并且由于船舶发送AIS信息时间间隔较长，难以实现实时性追踪。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于计算机视觉、AIS和雷达的船舶信息显示方法及系统，具有显示直观且实时性好的特点。
本发明解决其技术问题所采用的技术方案是：
本发明提供一种基于计算机视觉、AIS和雷达的船舶信息显示方法，该方法包括以下步骤：
步骤100、使用高清摄像头和红外摄像头获取监控区域内船舶的视频信息；
步骤200、对视频信息进行逐帧分解，进行图像识别，识别出监控区域内的船舶，并通过计算机视觉技术得到船舶几何中心点在图片中的坐标，得到船舶的第一基本信息；对识别出的船舶进行图像分割，得到目标船舶的船头和船尾部分图片；根据目标船舶的船头和船尾部分图片进行文字识别得到目标船舶的第一船名信息；
步骤300、使用相控阵雷达实时扫描得到监控区域船舶的经纬度信息，得到船舶的第二基本信息；
步骤400、使用AIS接收机获取船舶经纬度的第三基本信息；第三基本信息包括以下信息的一种或多种：船舶所在经纬度，第二船名信息，艏向，船速，船号；
步骤500、对第一基本信息和第二基本信息进行匹配；
步骤600、对第二基本信息和第三基本信息中的信息进行匹配；
步骤700、根据上述两次匹配，即可得到摄像头所拍摄到并识别出的船舶与AIS的对应关系，将匹配好的信息通过AR技术进行显示。
优选的，所述步骤200中得到船舶的第一基本信息，识别的具体过程为：
将视频信息逐帧分解，对分解所得到的图片进行网格划分，将其分成n*n个网格，分别在每个网格上进行对船舶进行定位并框出；计算两个边框交集和并集之比；最后采用非极大值抑制算法保留特征损失最小的特征图并框出；根据识别所得到的框得到船舶的几何中心；非极大值抑制算法的公式为：
Figure BDA0003601897500000021
其中，si为候选框得分；M为得分最高的候选框；bi为除去M之外的其余候选框；Nt为设定的阈值，iou表示交并比计算；
将视觉图像和红外成像进行融合，提高照片质量，便于船舶的识别；视觉图像和红外成像融合所采用的具体步骤为：
1)基于导向滤波，采用HDR压缩激励的方法，对原始高清摄像机所获得的图像进行增强；具体算法公式为：
u＝exp((β-1)·log(Ib+1)+log(I+1)+γ)
其中，输入图像为I；输出图像为u；经过导向滤波的图像为Ib；γ为比例因子，用于增强对比度；
2)基于导向滤波，采用多尺度分解的方法，将高清摄像机和红外摄像头所获得的图片进行分解；
3)将分解后的信息进行融合得到最后的融合图像；具体的算法公式为：
BF＝CbBr+(1-Cb)Bv
其中，Cb为融合权重；Br为分解后的红外图像；Bv为分解后的高清图像，BF表示融合后的图像。
优选的，所述步骤500中，第一基本信息和第二基本信息匹配的过程具体包括：
根据第一基本信息，即船舶几何中心点在图片中的坐标，对中心点进行连接得到第一形状；根据第二基本信息，即雷达上船舶的经纬度，并将监控区域船舶的经纬度进行连接得到第二形状；将第一形状与第二形状进行匹配，即得到图像中船舶的经纬度信息。
优选的，所述步骤500中的具体算法为：
将视频逐帧分解，找到与雷达数据时间戳符合的图片；使用目标检测技术，加载针对船舶预训练好的卷积神经网络模型；调用GPU进行图像识别，计算出船舶在图片上的几何中心，得到点集数据；取出点集中某点，计算其与点集中其他点的距离，找到与该点最近的两点，从该点出发，向其余两点连线；将以上计算过程遍历点集中所有点，得到第一形状；对于雷达数据，重复上述步骤，得到第二形状；两点之间距离计算公式为：
Figure BDA0003601897500000041
其中，xi、yi是点i的横纵坐标；xj、yj是点j的横纵坐标；d(i，j)是点i到点j之间的距离；
将第一形状和第二形状进行匹配，如果计算得到的数值小于阈值，则匹配成功；匹配所用的算法为：
Figure BDA0003601897500000042
其中，A为第一形状，B为第二形状，
Figure BDA0003601897500000043
为A的胡矩，
Figure BDA0003601897500000044
为B的胡矩；I(A，B)的数值表示形状A和B的相似程度，越小则表示二者更相似；
当形状匹配成功之后，在第一形状中，将其端点的坐标即船舶的坐标进行排序，将每个端点的X轴坐标值与其他端点的X轴坐标值进行比较，得到该端点在X轴方向上的坐标序数，同理得到该坐标点在Y轴上的坐标序数，两个方向上的序数即可确定该端点与其它端点的相对位置；同理可得第二形状中每个端点的X轴与Y轴方向上的坐标序数，将第一形状和第二形状中的端点的X轴和Y轴的坐标序数进行比对，即可得到第一形状和第二形状中端点的一一对应关系，进而将视觉中的船舶和相控阵雷达中的船舶建立了映射关系。
优选的，该方法中还包括第二基本信息第三基本信息匹配的方法，具体方法为：将第二基本信息和第三基本信息中的经纬度信息进行提取，逐一进行比对；将经纬度相同的船舶建立联系，即完成了第二基本信息和第三基本信息的匹配；根据第一基本信息和第二基本信息的匹配关系以及第二基本信息和第三基本信息的匹配关系，即可完成第一基本信息和第三基本信息的匹配，最终实现了第一基本信息、第二基本信息和第三基本信息的匹配。
本发明提供一种基于计算机视觉、AIS和雷达的船舶信息显示系统，该系统包括：
数据获取模块，通过高清摄像头以及红外摄像头获取监控区域内船舶的视频信息；通过相控阵雷达得到所监控区域内船舶的第二基本信息，即经纬度信息；通过AIS接收机得到船舶的第三基本信息，第三基本信息包括以下信息的一种或多种：船舶所在经纬度，第二船名信息，艏向，船速，船号；
数据处理模块，对视频信息进行逐帧分解，进行图像识别，识别出监控区域内的船舶，并通过计算机视觉技术得到船舶几何中心点在图片中的坐标，得到船舶的第一基本信息，并对雷达以及AIS接收机所得到的信息进行处理和筛选，供数据匹配模块使用；
数据匹配模块，对所述的第一基本信息、第二基本信息和第三基本信息进行匹配；
数据可视化模块，将船舶航行的实时画面显示出来；并根据数据匹配模块所得到的匹配结果以及数据获取模块所获取的信息，将船舶的AIS信息实时显示在画面上；
数据传输模块，将船舶航行的视频数据、相控阵雷达所得到的船舶信息以及AIS接收机所接收的数据传输给数据匹配模块。
优选的，所述数据获取模块包括：
船舶视频信息获取单元，用于通过高清摄像头和红外摄像头获取船舶航行的视频信息；
船舶雷达信息获取单元，用于通过相控阵雷达获取船舶的位置信息；
船舶AIS信息获取单元，用于通过AIS接收机获取船舶的AIS信息。
优选的，所述数据匹配模块包括：
数据筛选单元，作用为将传输过来的数据进行筛选，剔除后续单元无需处理的信息，减少后续单元运算量；
图像处理单元，作用为将所得到的视频数据进行处理，并使用目标检测技术来实现对视频数据中船舶目标的识别，使用目标检测技术识别出视频中的船舶得到识别框，并通过识别框得到船舶在视频中的几何中心，得到第一基本信息。
信息匹配单元，作用为实现第一基本信息、第二基本信息以及第三基本信息的匹配；匹配的具体过程为：
使用目标检测技术识别出视频中的船舶得到识别框，并通过识别框得到视频中船舶的几何中心点坐标；对于所得到的坐标点，依次计算每个坐标点与其他坐标点的距离，取与其最近的两个坐标点进行连线，得到第一形状；以同样的方法对于雷达中的数据点得到第二形状；将第一形状和第二形状进行匹配，即可得到视频中船舶与雷达中数据点的对应关系；在实际应用中，雷达的扫描间隔小于船舶AIS信息发射的间隔，所以雷达获取到船舶的位置数据后要不断得与所得的AIS的位置信息进行匹配，以获取到船舶的其他信息，包括船名、船号；经过两次匹配，最终将雷达数据与AIS数据融合。
优选的，所述数据可视化模块包括用户操作单元和信息显示单元；由鼠标、键盘以及LED拼接大屏幕组成；其中鼠标、键盘用于用户输入指令，切换显示模式和选择船舶；LED拼接大屏幕主要用于显示船舶信息。
优选的，所述数据可视化模块包括电子海图和AR模式两种模式；电子海图模式是加载电子海图，在电子海图中显示船舶信息；AR模式下，显示摄像头的实时画面，对于被识别出并且信息匹配完成的船舶，用户通过鼠标键盘与其进行交互。
本发明产生的有益效果是：本发明的基于计算机视觉、AIS和雷达的船舶信息显示方法及系统，充分利用了视频监控信息、雷达信息以及AIS信息进行信息融合，并利用卷积神经网络和形状匹配算法对船舶进行识别和信息匹配。通过以上技术和方法，本发明使船舶的监控更加直观明了；相较于单纯使用AIS信息的系统，本发明由于引用了雷达信息，使得船舶的数据更新较为及时，能更好地配合大屏进行显示，结合AR技术，与用户的交互性更好。本发明所采用的目标识别技术，能够根据需要修改模型，可以识别监控区域内其他物体，具有一定的拓展性。本发明能够使监管人员能够直观地查看监控区域内航行船舶信息，方便管理，易于上手，减少了时间成本。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例的方法流程图；
图2是本发明实施例的系统框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例的基于计算机视觉、AIS和雷达的船舶信息显示方法，用以解决或至少部分解决现有的技术和发明当中无法对船舶的航行过程中的实时状态无法直观呈现以及单纯依赖AIS所造成的信息更新慢的技术问题，从而达到准确获取船舶的航行状态并且能够将信息实时地呈现给指挥调度人员的作用。
为了实现上述功能，该方法包括以下步骤：
步骤100、使用高清摄像头和红外摄像头获取监控区域内船舶的视频信息；
步骤200、对视频信息进行逐帧分解，进行图像识别，识别出监控区域内的船舶，并通过计算机视觉技术得到船舶几何中心点在图片中的坐标，得到船舶的第一基本信息；对识别出的船舶进行图像分割，得到目标船舶的船头和船尾部分图片；根据目标船舶的船头和船尾部分图片进行文字识别得到目标船舶的第一船名信息；
步骤300、使用相控阵雷达实时扫描得到监控区域船舶的经纬度信息，得到船舶的第二基本信息；
步骤400、使用AIS接收机获取船舶经纬度的第三基本信息；第三基本信息包括以下信息的一种或多种：船舶所在经纬度，第二船名信息，艏向，船速，船号；
步骤500、对第一基本信息和第二基本信息进行匹配；
步骤600、对第二基本信息和第三基本信息中的信息进行匹配；
步骤700、根据上述两次匹配，即可得到摄像头所拍摄到并识别出的船舶与AIS的对应关系，将匹配好的信息通过AR技术进行显示。
如图2所示，本发明实施例的基于计算机视觉、AIS和雷达的船舶信息显示系统，该系统包括：
数据获取模块10，通过高清摄像头以及红外摄像头获取监控区域内船舶的视频信息；通过相控阵雷达得到所监控区域内船舶的第二基本信息，即经纬度信息；通过AIS接收机得到船舶的第三基本信息，第三基本信息包括以下信息的一种或多种：船舶所在经纬度，第二船名信息，艏向，船速，船号；
数据处理模块，对视频信息进行逐帧分解，进行图像识别，识别出监控区域内的船舶，并通过计算机视觉技术得到船舶几何中心点在图片中的坐标，得到船舶的第一基本信息，并对雷达以及AIS接收机所得到的信息进行处理和筛选，供数据匹配模块使用；
数据匹配模块30，对所述的第一基本信息、第二基本信息和第三基本信息进行匹配；
数据可视化模块40，将船舶航行的实时画面显示出来；并根据数据匹配模块所得到的匹配结果以及数据获取模块所获取的信息，将船舶的AIS信息实时显示在画面上；
数据传输模块20，将船舶航行的视频数据、相控阵雷达所得到的船舶信息以及AIS接收机所接收的数据传输给数据匹配模块。
其中，所述数据获取模块包括：
船舶视频信息获取单元，作用为通过高清摄像头以及红外摄像头获取船舶航行的视频信息；
船舶雷达信息获取单元，作用为通过相控阵雷达获取船舶的位置信息；
船舶AIS信息获取单元，作用为通过AIS接收机获取船舶的AIS信息。
数据传输模块，作用为将数据获取模块得到的数据传输给数据处理模块。
其中，所述数据匹配模块包括：
数据筛选单元，作用为将传输过来的数据进行筛选，剔除后续单元无需处理的信息，减少后续单元运算量；
使用目标检测技术识别出视频中的船舶得到识别框，并通过识别框得到船舶在视频中的几何中心；
图像处理单元，作用为将所得到的视频数据进行处理，并使用目标检测技术来实现对视频数据中船舶目标的识别，并且得到第一基本信息。
信息匹配单元，作用为实现第一基本信息、第二基本信息以及第三基本信息的匹配。匹配的具体过程为：
使用目标检测技术识别出视频中的船舶得到识别框，并通过识别框得到视频中船舶的几何中心点坐标。对于所得到的坐标点，依次计算每个坐标点与其他坐标点的距离，取与其最近的两个坐标点进行连线，得到第一形状。以同样的方法对于雷达中的数据点得到第二形状。将第一形状和第二形状进行匹配，即可得到视频中船舶与雷达中数据点的对应关系。在实际应用中，雷达的扫描间隔小于船舶AIS信息发射的间隔，所以雷达获取到船舶的位置数据后要不断得与所得的AIS的位置信息进行匹配，以获取到船舶的其他信息如船名、船号等。经过两次匹配，最终将雷达数据与AIS数据融合。
其中，数据可视化模块包括：
用户操作单元，作用为接受用户指令的输入，根据用户的需要切换电子海图和AR显示模式，选择需要显示信息的船舶。
信息显示单元，实现船舶和船舶信息的显示功能。
具体地，数据获取模块可以由高清摄像头、红外摄像头、相控阵雷达和AIS接收机组成。其中，摄像头的安装高度不宜太低，否则难以获取第一基本信息；相控阵雷达应安装位置前方应无遮挡。
数据匹配模块，主要包括图像处理单元和信息匹配单元。该模块可以由带有高性能GPU或CPU的服务器来组成，并要配有与数据传输模块通信的端口，用以满足实时处理船舶视频以及接收数据的需求。
在实际的数据匹配过程中，将视频逐帧分解，找到与雷达数据时间戳符合的图片。使用目标检测技术，加载针对船舶预训练好的卷积神经网络模型。调用GPU或CPU进行图像识别，计算出船舶在图片上的几何中心，得到点集数据。取出点集中某点，计算其与点集中其他点的距离，找到与该点最近的两点，从该点出发，向其余两点连线。将以上计算过程遍历点集中所有点，得到第一形状。对与雷达数据，重复上述步骤，得到第二形状。两点之间距离计算公式为：
Figure BDA0003601897500000111
其中，xi、yi是点i的横纵坐标；xj、yj是点j的横纵坐标；d(i，j)是点i到点j之间的距离；
将第一形状和第二形状进行匹配，如果计算得到的数值小于阈值，则匹配成功；匹配所用的算法为：
Figure BDA0003601897500000112
其中，A为第一形状，B为第二形状，
Figure BDA0003601897500000113
为A的胡矩，
Figure BDA0003601897500000114
为B的胡矩；I(A，B)的数值表示形状A和B的相似程度，越小则表示二者更相似；
当形状匹配成功之后，在第一形状中，将其端点的坐标即船舶的坐标进行排序，将每个端点的X轴坐标值与其他端点的X轴坐标值进行比较，得到该端点在X轴方向上的坐标序数，同理得到该坐标点在Y轴上的坐标序数，两个方向上的序数即可确定该端点与其它端点的相对位置；同理可得第二形状中每个端点的X轴与Y轴方向上的坐标序数，将第一形状和第二形状中的端点的X轴和Y轴的坐标序数进行比对，即可得到第一形状和第二形状中端点的一一对应关系，进而将视觉中的船舶和相控阵雷达中的船舶建立了映射关系。
在本发明的另一个具体实施例中，相控阵雷达获取的数据包括以下信息的一种或多种：经度、纬度、船速。
在本发明的另一个具体实施例中，AIS接收机的数据包括以下信息的一种或多种：经度、纬度、船名、船舶类型、船长、船宽、船速、艏向。
可选的，可以通过船舶的经纬度变化推算航迹向。
在本发明的另一个具体实施例中，数据可视化模块包括电子海图和AR两种模式。具体地，信息显示模式包括电子海图和AR模式。电子海图模式是加载海图，在电子海图中显示船舶信息；AR模式下，显示摄像头的实时画面，对于被识别出并且信息匹配完成的船舶，用户可以通过鼠标键盘与其进行交互。展示的信息包括：船名、船的经纬度、船速、航迹向。
在本发明的另一个具体实施例中，提供了一种数据处理和匹配方法，包括：
步骤S1：通过数据获取模块获取摄像头、雷达和AIS信息；
步骤S2：通过数据传输模块将数据获取模块所获取到的信息发送给数据匹配模块；
步骤S3：通过数据匹配模块将数据进行匹配。使用目标算法识别出视频中的船舶得到识别框，并通过识别框得到视频中船舶的几何中心点坐标。对于所得到的坐标点，依次计算每个坐标点与其他坐标点的距离，取与其最近的两个坐标点进行连线，得到第一形状。以同样的方法对于雷达中的数据点得到第二形状。将第一形状和第二形状进行匹配，即可得到视频中船舶与雷达中数据点的对应关系。在实际应用中，雷达的扫描间隔小于船舶AIS信息发射的间隔，所以雷达获取到船舶的位置数据后要不断得与所得的AIS的位置信息进行匹配，以获取到船舶的其他信息如船名、船号等。经过两次匹配，最终将雷达数据与AIS数据融合。
步骤S4：将匹配好的数据通过数据可视化模块进行显示。
本实施例提供的方法是实施例一中数据匹配的方法，其余各模块的工作方式已经在实施一中详细介绍，故在此不再赘述。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于计算机视觉、AIS和雷达的船舶信息显示方法，其特征在于，该方法包括以下步骤：
步骤100、使用高清摄像头和红外摄像头获取监控区域内船舶的视频信息；
步骤200、对视频信息进行逐帧分解，进行图像识别，识别出监控区域内的船舶，并通过计算机视觉技术得到船舶几何中心点在图片中的坐标，得到船舶的第一基本信息；对识别出的船舶进行图像分割，得到目标船舶的船头和船尾部分图片；根据目标船舶的船头和船尾部分图片进行文字识别得到目标船舶的第一船名信息；
步骤300、使用相控阵雷达实时扫描得到监控区域船舶的经纬度信息，得到船舶的第二基本信息；
步骤400、使用AIS接收机获取船舶经纬度的第三基本信息；第三基本信息包括以下信息的一种或多种：船舶所在经纬度，第二船名信息，艏向，船速，船号；
步骤500、对第一基本信息和第二基本信息进行匹配；
步骤600、对第二基本信息和第三基本信息中的信息进行匹配；
步骤700、根据上述两次匹配，即可得到摄像头所拍摄到并识别出的船舶与AIS的对应关系，将匹配好的信息通过AR技术进行显示。
2.根据权利要求1所述的基于计算机视觉、AIS和雷达的船舶信息显示方法，其特征在于，所述步骤200中得到船舶的第一基本信息，识别的具体过程为：
将视频信息逐帧分解，对分解所得到的图片进行网格划分，将其分成n*n个网格，分别在每个网格上进行对船舶进行定位并框出；计算两个边框交集和并集之比；最后采用非极大值抑制算法保留特征损失最小的特征图并框出；根据识别所得到的框得到船舶的几何中心；非极大值抑制算法的公式为：
Figure FDA0003601897490000021
其中，si为候选框得分；M为得分最高的候选框；bi为除去M之外的其余候选框；Nt为设定的阈值；iou为交并比计算；
将视觉图像和红外成像进行融合，提高照片质量，便于船舶的识别；视觉图像和红外成像融合所采用的具体步骤为：
1)基于导向滤波，采用HDR压缩激励的方法，对原始高清摄像机所获得的图像进行增强；具体算法公式为：
u＝exp((β-1)·log(Ib+1)+log(I+1)+γ)
其中，输入图像为I；输出图像为u；经过导向滤波的图像为Ib；γ为比例因子，用于增强对比度；
2)基于导向滤波，采用多尺度分解的方法，将高清摄像头和红外摄像头所获得的图片进行分解；
3)将分解后的信息进行融合得到最后的融合图像；具体的算法公式为：
BF＝CbBr+(1-Cb)Bv
其中，Cb为融合权重；Br为分解后的红外图像；Bv为分解后的高清图像，BF表示融合后的图像。
3.根据权利要求1所述的基于计算机视觉、AIS和雷达的船舶信息显示方法，其特征在于，所述步骤500中，第一基本信息和第二基本信息匹配的过程具体包括：
根据第一基本信息，即船舶几何中心点在图片中的坐标，对中心点进行连接得到第一形状；根据第二基本信息，即雷达上船舶的经纬度，并将监控区域船舶的经纬度进行连接得到第二形状；将第一形状与第二形状进行匹配，即得到图像中船舶的经纬度信息。
4.根据权利要求3所述的基于计算机视觉、AIS和雷达的船舶信息显示方法，其特征在于，所述步骤500中的具体算法为：
将视频逐帧分解，找到与雷达数据时间戳符合的图片；使用目标检测技术，加载针对船舶预训练好的卷积神经网络模型；调用GPU进行图像识别，计算出船舶在图片上的几何中心，得到点集数据；取出点集中某点，计算其与点集中其他点的距离，找到与该点最近的两点，从该点出发，向其余两点连线；将以上计算过程遍历点集中所有点，得到第一形状；对于雷达数据，重复上述步骤，得到第二形状；两点之间距离计算公式为：
Figure FDA0003601897490000031
其中，xi、yi是点i的横纵坐标；xj、yj是点j的横纵坐标；d(i，j)是点i到点j之间的距离；
将第一形状和第二形状进行匹配，如果计算得到的数值小于阈值，则匹配成功；匹配所用的算法为：
Figure FDA0003601897490000032
其中，A为第一形状，B为第二形状，
Figure FDA0003601897490000033
为A的胡矩，
Figure FDA0003601897490000034
为B的胡矩；I(A，B)的数值表示形状A和B的相似程度，越小则表示二者更相似；
当形状匹配成功之后，在第一形状中，将其端点的坐标即船舶的坐标进行排序，将每个端点的X轴坐标值与其他端点的X轴坐标值进行比较，得到该端点在X轴方向上的坐标序数，同理得到该坐标点在Y轴上的坐标序数，两个方向上的序数即可确定该端点与其它端点的相对位置；同理可得第二形状中每个端点的X轴与Y轴方向上的坐标序数，将第一形状和第二形状中的端点的X轴和Y轴的坐标序数进行比对，即可得到第一形状和第二形状中端点的一一对应关系，进而将视觉中的船舶和相控阵雷达中的船舶建立了映射关系。
5.根据权利要求1所述的基于计算机视觉、AIS和雷达的船舶信息显示方法，其特征在于，该方法中还包括第二基本信息第三基本信息匹配的方法，具体方法为：将第二基本信息和第三基本信息中的经纬度信息进行提取，逐一进行比对；将经纬度相同的船舶建立联系，即完成了第二基本信息和第三基本信息的匹配；根据第一基本信息和第二基本信息的匹配关系以及第二基本信息和第三基本信息的匹配关系，即可完成第一基本信息和第三基本信息的匹配，最终实现了第一基本信息、第二基本信息和第三基本信息的匹配。
6.一种基于计算机视觉、AIS和雷达的船舶信息显示系统，其特征在于，该系统包括：
数据获取模块，通过高清摄像头以及红外摄像头获取监控区域内船舶的视频信息；通过相控阵雷达得到所监控区域内船舶的第二基本信息，即经纬度信息；通过AIS接收机得到船舶的第三基本信息，第三基本信息包括以下信息的一种或多种：船舶所在经纬度，第二船名信息，艏向，船速，船号；
数据处理模块，对视频信息进行逐帧分解，进行图像识别，识别出监控区域内的船舶，并通过计算机视觉技术得到船舶几何中心点在图片中的坐标，得到船舶的第一基本信息，并对雷达以及AIS接收机所得到的信息进行处理和筛选，供数据匹配模块使用；
数据匹配模块，对所述的第一基本信息、第二基本信息和第三基本信息进行匹配；
数据可视化模块，将船舶航行的实时画面显示出来；并根据数据匹配模块所得到的匹配结果以及数据获取模块所获取的信息，将船舶的AIS信息实时显示在画面上；
数据传输模块，将船舶航行的视频数据、相控阵雷达所得到的船舶信息以及AIS接收机所接收的数据传输给数据匹配模块。
7.根据权利要求6所述的基于计算机视觉、AIS和雷达的船舶信息显示系统，其特征在于，所述数据获取模块包括：
船舶视频信息获取单元，用于通过高清摄像头以及红外摄像头获取船舶航行的视频信息；
船舶雷达信息获取单元，用于通过相控阵雷达获取船舶的位置信息；
船舶AIS信息获取单元，用于通过AIS接收机获取船舶的AIS信息。
8.根据权利要求6所述的基于计算机视觉、AIS和雷达的船舶信息显示系统，其特征在于，所述数据匹配模块包括：
数据筛选单元，作用为将传输过来的数据进行筛选，剔除后续单元无需处理的信息，减少后续单元运算量；
图像处理单元，作用为将所得到的视频数据进行处理，并使用目标检测技术来实现对视频数据中船舶目标的识别，使用目标检测技术识别出视频中的船舶得到识别框，并通过识别框得到船舶在视频中的几何中心，得到第一基本信息。
信息匹配单元，作用为实现第一基本信息、第二基本信息以及第三基本信息的匹配；匹配的具体过程为：
使用目标检测技术识别出视频中的船舶得到识别框，并通过识别框得到视频中船舶的几何中心点坐标；对于所得到的坐标点，依次计算每个坐标点与其他坐标点的距离，取与其最近的两个坐标点进行连线，得到第一形状；以同样的方法对于雷达中的数据点得到第二形状；将第一形状和第二形状进行匹配，即可得到视频中船舶与雷达中数据点的对应关系；在实际应用中，雷达的扫描间隔小于船舶AIS信息发射的间隔，所以雷达获取到船舶的位置数据后要不断得与所得的AIS的位置信息进行匹配，以获取到船舶的其他信息，包括船名、船号；经过两次匹配，最终将雷达数据与AIS数据融合。
9.根据权利要求6所述的基于计算机视觉、AIS和雷达的船舶信息显示系统，其特征在于，所述数据可视化模块包括用户操作单元和信息显示单元；由鼠标、键盘以及LED拼接大屏幕组成其中鼠标、键盘用于用户输入指令，切换显示模式和选择船舶；LED拼接大屏幕主要用于显示船舶信息。
10.根据权利要求6所述的基于计算机视觉、AIS和雷达的船舶信息显示系统其特征在于所述数据可视化模块包括电子海图和AR模式两种模式；电子海图模式是加载电子海图，在电子海图中显示船舶信息；AR模式下，显示摄像头的实时画面，对于被识别出并且信息匹配完成的船舶，用户通过鼠标键盘与其进行交互。
CN202210406035.XA 2022-04-18 2022-04-18 基于计算机视觉、ais和雷达的船舶信息显示方法及系统 Pending CN114821493A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210406035.XA CN114821493A (zh) 2022-04-18 2022-04-18 基于计算机视觉、ais和雷达的船舶信息显示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210406035.XA CN114821493A (zh) 2022-04-18 2022-04-18 基于计算机视觉、ais和雷达的船舶信息显示方法及系统

Publications (1)

Publication Number Publication Date
CN114821493A true CN114821493A (zh) 2022-07-29

Family

ID=82537097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210406035.XA Pending CN114821493A (zh) 2022-04-18 2022-04-18 基于计算机视觉、ais和雷达的船舶信息显示方法及系统

Country Status (1)

Country Link
CN (1) CN114821493A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117148373A (zh) * 2023-10-30 2023-12-01 浙江华是科技股份有限公司 基于激光雷达和ais全局匹配的船舶识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117148373A (zh) * 2023-10-30 2023-12-01 浙江华是科技股份有限公司 基于激光雷达和ais全局匹配的船舶识别方法及系统
CN117148373B (zh) * 2023-10-30 2024-01-26 浙江华是科技股份有限公司 基于激光雷达和ais全局匹配的船舶识别方法及系统

Similar Documents

Publication Publication Date Title
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
US20240013505A1 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
CN111209811B (zh) 一种实时检测眼球注意力位置的方法及系统
US20210209385A1 (en) Method and apparatus for recognizing wearing state of safety belt
CN111160293A (zh) 基于特征金字塔网络的小目标船只检测方法及系统
CN109800714A (zh) 一种基于人工智能的船舶检测系统及方法
CN109949242A (zh) 图像去雾模型的生成方法、装置及图像去雾方法、装置
CN111008994A (zh) 基于MPSoC的运动目标实时检测跟踪系统及方法
CN112927233A (zh) 一种船用激光雷达与视频联合目标捕捉方法
CN115375581A (zh) 基于事件时空同步的动态视觉事件流降噪效果评价方法
CN114821493A (zh) 基于计算机视觉、ais和雷达的船舶信息显示方法及系统
CN111461076A (zh) 帧差法与神经网络结合的烟雾检测方法和检测系统
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN115410039A (zh) 基于改进YOLOv5算法的煤炭异物检测系统及方法
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
CN117197388A (zh) 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统
CN114266879A (zh) 三维数据增强、模型训练检测方法、设备及自动驾驶车辆
CN117953578A (zh) 基于深度视觉技术的电梯乘员行为检测方法
CN112926426A (zh) 基于监控视频的船舶识别方法、系统、设备及存储介质
CN112507965A (zh) 一种电子瞭望系统的目标识别方法及系统
CN111950476A (zh) 基于深度学习的复杂环境下河道船舶自动识别方法
CN114332682B (zh) 一种海上全景去雾目标识别方法
CN115082811A (zh) 一种依据图像数据的海上航行船舶识别与距离测量的方法
CN116310892A (zh) 一种基于改进yolov4目标检测的海上救援方法
CN115690574A (zh) 一种基于自监督学习的遥感图像船舶检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination