CN114022775A - 一种基于雷达扫描变量的水上多目标视频影像坐标估计方法 - Google Patents

一种基于雷达扫描变量的水上多目标视频影像坐标估计方法 Download PDF

Info

Publication number
CN114022775A
CN114022775A CN202111075275.8A CN202111075275A CN114022775A CN 114022775 A CN114022775 A CN 114022775A CN 202111075275 A CN202111075275 A CN 202111075275A CN 114022775 A CN114022775 A CN 114022775A
Authority
CN
China
Prior art keywords
target
cctv
arpa
radar
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111075275.8A
Other languages
English (en)
Other versions
CN114022775B (zh
Inventor
孙杰
周国豪
张雪林
胡军
马枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Smart Water Transportation Technology Co ltd
Original Assignee
Nanjing Smart Water Transportation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Smart Water Transportation Technology Co ltd filed Critical Nanjing Smart Water Transportation Technology Co ltd
Priority to CN202111075275.8A priority Critical patent/CN114022775B/zh
Publication of CN114022775A publication Critical patent/CN114022775A/zh
Application granted granted Critical
Publication of CN114022775B publication Critical patent/CN114022775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/12Computing arrangements based on biological models using genetic models
    • G06N3/126Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Abstract

本发明公开了一种基于雷达扫描变量的水上多目标视频影像坐标估计方法。该方法通过ARPA系统和CCTV系统扫描水上单个参考目标,分别转化得到其在显示器上的待校准屏幕位置和实际屏幕位置;将这两个位置间的距离作为目标函数,利用遗传算法优化模型训练得到最优的参数集合,建立从ARPA目标向CCTV屏幕坐标的转化关系;最后将其用于水上多个目标下的视频影像坐标估计。本发明方法克服了各单一系统在面对水上多目标复杂环境下坐标估计的局限性,有效实现了雷达ARPA目标和CCTV识别船舶目标的融合。

Description

一种基于雷达扫描变量的水上多目标视频影像坐标估计方法
技术领域
本发明涉及水上目标监测技术,特别是一种基于雷达扫描变量的水上多目标视频影像坐 标估计方法。
背景技术
随着船舶保有量的不断提高,船舶安全问题的重要性愈加凸显。智能船舶已成为船舶行 业的发展趋势,用以改善船舶行驶的安全性。如何精准感知目标信息并在此基础上对多源目 标信息进行有效融合,已成为目前智能船舶发展需要解决的主要问题。ARPA雷达、CCTV 作为主动探测工具,是当前最为常用的水上感知、监管工具。
其中,ARPA雷达,在GPS、罗经等其他传感器的支持下,能自动捕捉并跟踪水上多个目标,并推算目标的速度、航向、运动趋势,在标准应用场景下,可保证捕捉率优于80%。 同时在雷达显示输出上,以矢量形式显示目标船舶的航向和航速,以数据形式显示DCPA(预计会遇距离)和TCPA(预计会遇时间)等重要的避碰数据。因此,ARPA的出现使得雷达在 船舶避碰应用中发挥了更大的作用,但缺点在于雷达的信息输出仍不够直观,和人的直观视觉感受存在差异,需要较多的知识进行解读。CCTV系统,相较而言是更为直观的监视工具,由遥控摄像机及其辅助设备组成,可安装于船上、沿岸较高建筑物上,用以对水面目标和沿岸目标及港口的跟踪识别与实时图像获取。通过深度学习、卷积神经网络的引入,CCTV已经可以模仿人眼,在连续视频中识别船舶等关键目标。然而,CCTV的成像机理决定了,捕 捉到目标的坐标、运动速度、方向是难以获得的。综上,ARPA雷达系统提供了丰富的数值 信息,却不够直观;CCTV提供了直观的视觉影像,却缺乏完整的数值依据。有必要将二者 的优点进行结合。如果CCTV捕获到的目标,可以与ARPA雷达目标实现自动匹配,将大幅 改善驾驶、监管人员的使用体验。
因此,为了实现这一目标,更好地适用于航行复杂环境下的多目标监视、避碰需求,发 明采用与常规单一利用ARPA系统或者CCTV系统不同的坐标估计方法。亦即通过ARPA系 统和CCTV系统分别扫描,并转化得到水上单个参考目标在显示器上的待校准屏幕位置和实 际屏幕位置,利用遗传算法优化模型训练得到最优参数集合,建立从ARPA目标向CCTV屏 幕坐标的转化关系,用于水上多目标的视频影像坐标估计。这种ARPA系统和CCTV系统的联合监视方法,克服了各单一系统在面对水上多目标复杂环境下坐标估计的局限性,实现对 多目标船舶及其周边环境的精准识别,将大幅降低人在驾驶过程中的态势判断难度。
发明内容
针对现有技术中存在的问题,本发明提供了一种克服了各单一系统在面对水上多目标复 杂环境下坐标估计的局限性,实现对多目标船舶及其周边环境的精准识别,将大幅降低人在 驾驶过程中的态势判断难度的基于雷达扫描变量的水上多目标视频影像坐标估计方法。
本发明的目的通过以下技术方案实现。
一种基于雷达扫描变量的水上多目标视频影像坐标估计方法,步骤包括:
1)建立水上监测平台P,所述检测平台P包括雷达ARPA系统、闭路电视监控系统CCTV、 定位设备、艏向获取设备;
2)选定时刻,在雷达ARPA系统可覆盖范围内,将闭路电视监控系统CCTV唯一稳定地捕 获到的单个水上目标记为T,分别利用雷达ARPA系统、闭路电视监控系统CCTV同时对单 个水上目标T进行多次连续扫描和观测,获得单个水上目标T的扫描坐标和多帧画面;
3)将步骤2)中参考单个水上目标T的ARPA坐标的多次扫描坐标转化为经纬度,根据相机 的内外参数决定单个水上目标T在闭路电视监控系统CCTV中成像的待校准位置;
4)通过Faster-RCNN、YoloV3算法,将步骤2)中k时刻CCTV系统获得的多帧画面,转化 为单个水上目标T在显示器上的实际屏幕位置,或采用手工标绘的方式实现该步骤;
5)将步骤3)和4)中获得的单个水上目标T在显示器上的待校准屏幕位置和实际屏幕位置 作为训练样本集合W,并把待校准屏幕位置和实际屏幕位置两点间的距离作为目标函数,构 建基于遗传算法的优化模型,获得最优参数集合;
6)通过步骤5),建立从ARPA目标T’,向CCTV屏幕坐标的映射关系,雷达扫描和CCTV可视的重叠范围中,都有不止一个目标,基于已经确定的映射关系,即可对水上m个目标{S1, S2,…,Sm}在显示器中的坐标位置进行估计。
所述步骤1)中所述雷达ARPA系统的雷达扫描半径记为r,将雷达ARPA系统扫描水上其他船舶目标,即ARPA目标相对于系统的角坐标记作(e,l),所述闭路电视监控系统CCTV用于获得水上目标的实时图像z,所述闭路电视监控系统CCTV摄像机的核心参数包括视域角θ、输出图像视域宽度w像素和视域高度h像素,所述定位设备用于获取经纬度坐标。
所述步骤2)中雷达ARPA系统扫描到的目标与闭路电视监控系统CCTV捕获的目标,具有唯一对应性,在k时刻由雷达ARPA系统多次扫描目标T,产生的唯一的ARPA目标的 扫描坐标为(e(k),l(k)),由闭路电视监控系统CCTV获得实时图像z的多帧画面为z(k),雷达 扫描半径为r(k),k为采样时刻,其中k=1,2,…,K,K≥20。
所述步骤3)具体为:将步骤2)中参考单个水上目标T的ARPA坐标的多次扫描坐标(e(k),l(k))转化为经纬度,表示为(b(k),d(k)),b表示纬度,d表示经度;目标在相机成像里的 屏幕坐标和空间位置存在固定的对应关系,根据相机的内外参数决定单个水上目标T在闭路 电视监控系统CCTV中成像的待校准位置(x-(k),y-(k))。
所述采取如下方法求取目标T在CCTV系统中成像的待校准位置(x-(k),y-(k)): k时刻目标T的空间横坐标x-(k),即与摄像头的视线射线呈垂直关系,相对于摄像机成像的横坐标是简单的线性映射关系,目标T的空间纵坐标y-(k),即与摄像头横的视线射线呈平行 关系,相对摄像机成像的纵坐标是上凸曲线关系,即距离越远纵向角度变化越慢、距离越近 变化越快,因此,可分别设计线性模型求取x-(k)、Logistic模型求取y-(k):
x-(k)=(b(k)/θ)*w*Δx (la)
Figure BDA0003261905380000032
其中,Δx,Δy,j是待定系数。
所述步骤2)中k时刻CCTV系统获得的多帧画面为z(k),转化为单个水上目标T在显示器上的实际屏幕位置为(x+(k),y+(k))。
所述待校准屏幕位置(x-(k),y-(k))和实际屏幕位置(x+(k),y+(k))作为训练样本集合W,并把 (x-(k),y-(k))和(x+(k),y+(k))两点间的距离作为目标函数,构建基于遗传算法的优化模型:
Figure RE-GDA0003456789610000032
s.t.0≤Δx≤1 (2b)
0≤Δy≤10 (2c)
-10≤j≤10 (2d)
其中,
Figure RE-GDA0003456789610000033
表示优化目标函数,G={Δx,Δy,j}表示需要优化的参数集,式(2b)~(2d) 表示优化过程必须满足的约束条件,D是(x-(k),y-(k))和(x+(k),y+(k))两点间的距离
Figure BDA0003261905380000034
得到最优参数集合G^表示为
G^={Δx^,Δy^,j^ (2f)
通过已有数据集的训练,即可通过求解式(2d),获得Δx,Δy,j待定系数的最优取值。
所述对水上m个目标{S1,S2,…,Sm}在显示器中的坐标位置进行估计,具体步骤如下:
6-1)根据步骤2),利用ARPA系统和CCTV系统分别获得第m个目标Sm的雷达扫描半径rm(k),ARPA坐标(em(k),lm(k)),m=1,2,…,M,M≥2;
6-2)根据步骤3)将各单一目标Sm的ARPA坐标(em(k),lm(k))转化为经纬度表示形式(bm(k), dm(k));
6-3)结合步骤5)中的最优参数集合G^,分别计算这m个目标在显示器上的估计屏幕位 置(xm^(k),ym^(k))
xm ^(k)=(bm(k)/θ)*w*Δx^ (3a)
Figure BDA0003261905380000041
所述雷达ARPA系统包括普通船用雷达、目标自动捕捉设备,可调范围为0.5~48海里。
所述闭路电视监控系统CCTV包括遥控摄像机及其辅助设备,所述闭路电视监控系统 CCTV可观测的距离为1~2海里,视域角θ为60°~180°、输出图像视域宽度w像素为 320~3840和视域高度h像素为240~2160。
相比于现有技术,本发明的优点在于:本发明先通过ARPA系统和CCTV系统扫描水上 单个参考目标,分别转化得到其在显示器上的待校准屏幕位置和实际屏幕位置;将这两个位 置间的距离作为目标函数,利用遗传算法优化模型训练得到最优的参数集合,建立从ARPA 目标向CCTV屏幕坐标的转化关系;最后将其用于水上多个目标下的视频影像坐标估计。所 提方法克服了各单一系统在面对水上多目标复杂环境下坐标估计的局限性,实现对多目标船 舶及其周边环境的精准识别,将大幅降低人在驾驶过程中的态势判断难度。根据本发明方法 编制的程序(编译环境LabVIEW,C++等)可以在计算机上运行,并联合雷达ARPA系统、 闭路电视监控系统CCTV、定位设备、罗经等硬件组成水上监测平台,实现对水上多个目标 的视频影像坐标估计功能。
附图说明
图1是本发明方法的流程框图。
图2是水上监测平台P的系统图。
具体实施方式
下面结合说明书附图和具体的实施例,对本发明作详细描述。
一种基于雷达扫描变量的水上多目标视频影像坐标估计方法,其流程框图如图1所示, 包括以下各步骤:
(1)建立水上监测平台P,其中包含雷达ARPA系统、闭路电视监控系统CCTV、定位设备(获取经纬度坐标)、艏向获取设备(一般为罗经);其中,雷达ARPA系统由普通船用 雷达、目标自动捕捉设备共同组成,雷达扫描半径记为r,可调范围为0.5~48海里,将雷达ARPA系统扫描水上其他船舶目标(后面称作ARPA目标)相对于系统的角坐标记作(e,l),CCTV系统由遥控摄像机及其辅助设备组成,用于获得水上目标的实时图像z,CCTV可观测的距离一般为1~2海里,其摄像机的核心参数包括视域角θ、输出图像视域宽度w像素和视域高度h像素,其中θ一般为60°~180°,w一般为320~3840,h一般为240~2160,对于特 定摄像机的某一固定时刻,上述值可以视作定值;
为便于对水上监测平台的理解,这里举例说明。选用日本JRC公司生产的JMA-5322-7BB 型号的雷达ARPA系统,调节雷达扫描半径r=3海里,选用海康威视公司生产的DS-2CD3T47EWD-L型号的CCTV系统,摄像机核心参数θ=88.7°,w=2560,h=1440。
(2)选定某一特定时刻,在雷达ARPA系统可覆盖范围内,将CCTV系统唯一稳定地捕获到的单个水上目标记为T,分别利用雷达ARPA系统、CCTV系统同时对其进行多次连 续扫描和观测,在该情况下,ARPA系统扫描到的目标与CCTV系统捕获的目标,具有唯一 对应性,在k时刻由雷达ARPA系统多次扫描目标T,产生的唯一的ARPA目标的扫描坐标 为(e(k),l(k)),由CCTV系统获得实时图像z的多帧画面为z(k),雷达扫描半径为r(k),k为采 样时刻,其中k=1,2,…,K,K≥20;
为便于对扫描坐标和多帧画面的理解,这里举例说明。现水上存在唯一船舶目标T,可 利用雷达ARPA系统和CCTV系统,每间隔1s对该船舶目标扫描一次,总共进行100次扫描, 获得100个ARPA扫描坐标{(e(1),l(1)),(e(2),l(2)),…,(e(100),l(100))}和与之相应的同一时刻下 的多帧画面{z(1),z(2),…,z(100)}。
(3)将步骤(2)中参考目标T的ARPA坐标的多次扫描坐标(e(k),l(k))转化为经纬度, 表示为(b(k),d(k)),b表示纬度,d表示经度;对于特定的相机,选定固定的观察角度,某一 目标在相机成像里的屏幕坐标,和空间位置存在固定的对应关系,一般由相机的内外参数决 定;然而,相机的内外参数一致性存在差异,且很难标定,因此,采取如下方法求取目标T 在CCTV系统中成像的待校准位置(x-(k),y-(k)):
根据公开资料显示,k时刻目标T的空间横坐标x-(k)(与摄像头的视线射线呈垂直关系), 相对于摄像机成像的横坐标是简单的线性映射关系,目标T的空间纵坐标y-(k)(与摄像头横 的视线射线呈平行关系),相对摄像机成像的纵坐标是上凸曲线关系,即距离越远纵向角度变 化越慢、距离越近变化越快,因此,可分别设计线性模型求取x-(k)、Logistic模型求取y-(k):
x-(k)=(b(k)/θ)*w*Δx (la)
Figure BDA0003261905380000051
其中,Δx,Δy,j是待定系数;
为便于理解,这里举例说明。在k=1时刻,ARPA坐标的扫描坐标(e(1)=820.4316,l(1)=0.9185),转化为经纬度坐标(b(1)=29.9724,d(1)=122.3662),式中的待定系数Δx,Δy,j的 初始值分别取Δx=0.095,Δy=8,j=-4.985,利用式(1a)、(1b)可计算得到在该采样时刻下,船舶 目标在CCTV系统中成像的待校准位置(x-(1)=82.1791,y-(1)=407.0104)。
(4)通过Faster-RCNN、YoloV3等算法,可将步骤(2)中k时刻CCTV系统获得的多 帧画面z(k),转化为参考目标T在显示器上的实际屏幕位置(x+(k),y+(k)),也可采用手工标绘的方式实现该步骤;
为便于理解,这里举例说明。在k=1时刻,结合CCTV系统获得的画面z(1),经过手工 标绘,得到该唯一船舶目标在显示器上的实际屏幕位置(x+(1)=85,y+(1)=400)。
(5)将步骤(3)和(4)中获得的参考目标T在显示器上的待校准屏幕位置(x-(k),y-(k)) 和实际屏幕位置(x+(k),y+(k))作为训练样本集合W,并把(x-(k),y-(k))和(x+(k),y+(k))两点间的距 离作为目标函数,构建基于遗传算法的优化模型
Figure RE-GDA0003456789610000062
s.t.0≤Δx≤1 (2b)
0≤Δy≤10 (2c)
-10≤j≤10 (2d)
其中,
Figure RE-GDA0003456789610000064
表示优化目标函数,G={Δx,Δy,j}表示需要优化的参数集,式(2b)~(2d) 表示优化过程必须满足的约束条件,D是(x-(k),y-(k))和(x+(k),y+(k))两点间的距离
Figure BDA0003261905380000062
得到最优参数集合G^表示为
G^={Δx^,Δy^,j^ (2f)
通过已有数据集的训练,即可通过求解式(2d),获得Δx,Δy,j待定系数的最优取值;
为便于理解,这里举例说明。通过步骤(1)~(4)可获得100次待校准屏幕位置{(x-(1), y-(1)),(x-(2),y-(2)),…,(x-(100),y-(100))}和100次实际屏幕位置{(x+(1),y+(1)),(x+(2),y+(2)),…, (x+(100),y+(100))},以(x-(k),y-(k))和(x+(k),y+(k))两点间的距离和最小为目标函数,构建优化模 型,经过优化得到最优参数集合G^={Δx^,Δy^,j^}={0.1,9.6428,-4.99}。
(6)通过步骤(5),即可建立从ARPA目标T’,向CCTV屏幕坐标的映射关系,在绝 大多数时候,雷达扫描和CCTV可视的重叠范围中,都有不止一个目标,基于已经确定的映 射关系,即可对水上m个目标{S1,S2,…,Sm}在显示器中的坐标位置进行估计,具体步骤如下:
(6-1)根据步骤(2),利用ARPA系统和CCTV系统分别获得第m个目标Sm的雷达扫 描半径rm(k),ARPA坐标(em(k),lm(k)),m=1,2,…,M,M≥2;
(6-2)根据步骤(3)将各单一目标Sm的ARPA坐标(em(k),lm(k))转化为经纬度表示形式 (bm(k),dm(k));
(6-3)结合步骤(5)中的最优参数集合G^,分别计算这m个目标在显示器上的估计屏 幕位置(xm^(k),ym^(k))
xm^(k)=(bm(k)/θ)*w*Δx^ (3a)
Figure BDA0003261905380000071
至此,实现了雷达ARPA目标和CCTV识别船舶目标的融合,建立起良性训练机制,即当目标孤立的时候,训练参数,当目标众多的时候,进行推理,从而在逐步使用的过程中,适应风浪、水位、摄像机老化带来的内外参数变化,确保足够的鲁棒性。
以下结合附图,详细介绍本发明方法的实施例:
本发明方法的流程框图如图1所示,核心部分是:先通过ARPA系统和CCTV系统扫描水上单个参考目标,分别转化得到其在显示器上的待校准屏幕位置和实际屏幕位置;再将这 两个位置间的距离作为目标函数,利用遗传算法优化模型训练得到最优的参数集合,建立从 ARPA目标向CCTV屏幕坐标的转化关系;最后将其用于水上多个目标下的视频影像坐标估 计。所提方法克服了各单一系统在面对水上多目标复杂环境下坐标估计的局限性,实现对多 目标船舶及其周边环境的精准识别,将大幅降低人在驾驶过程中的态势判断难度。
以下结合图2中所示的水上监测平台P,详细介绍本发明方法的各个步骤。
1、设备选型及水上监测平台搭建
以舟山码头为示范区,建立包含雷达ARPA系统、闭路电视监控系统CCTV、定位设备(获取经纬度坐标)、艏向获取(一般为罗经)等设备的水上监测平台P(图2),其中雷达 ARPA系统选用由日本JRC公司生产的JMA-5322-7BB型号设备,设置其扫描半径r=3海里; 闭路电视监控系统CCTV选用海康威视公司生产的DS-2CD3T47EWD-L型号设备,摄像机核 心参数θ=88.7°,w=2560,h=1440。
2、单个水上目标T的扫描坐标和多帧画面的获取
依照本发明方法的步骤(2)所述,现取舟山码头示范区内某一个水上船舶目标T,利用 雷达ARPA系统和CCTV系统对该船舶目标进行扫描,扫描间隔为1s,共扫描100次,可分别获得100个ARPA扫描坐标{(e(1),l(1)),(e(2),l(2)),…,(e(100),l(100))}和与之相应的同一时 刻下的多帧画面{z(1),z(2),…,z(100)}。
3、参考目标T在显示器上的待校准屏幕位置和实际屏幕位置的获取
依照本发明方法的步骤(3)的推理过程估计参考目标T在显示器上的待校准屏幕位置 (x-(k),y-(k)):获取k=1时刻ARPA扫描坐标(e(1),l(1))=(820.4316,0.9185),根据步骤(3)所 述,将其转化为经纬度(b(k),d(k))=(29.9724,122.3662);设置待定系数Δx,Δy,j的初始值分 别取Δx=0.095,Δy=8,j=-4.985,并根据步骤(3)中式(1a)和(1b)将经纬度(b(k),d(k))转化 为待校准屏幕位置(x-(k),y-(k)),结果如下:
x-(1)=(b(1)/θ)*w*Δx=(29.9724/88.7)*2560*0.095=82.1791
Figure BDA0003261905380000081
依照本发明方法的步骤(4)所述,在k=1时刻,采用手工标绘的方式,将CCTV系统获得的多帧画面z(1)进行转化,得到该唯一船舶目标在显示器上的实际屏幕位置(x+(k),y+(k))=(85,400)。
4、依照本发明方法步骤(3)和(4),获取参考目标T的100个ARPA扫描坐标{(e(1),l(1)), (e(2),l(2)),…,(e(100),l(100))}在显示器上的待校准屏幕位置{(x-(1),y-(1)),(x-(2),y-(2)),…, (x-(100),y-(100))}和多帧画面{z(1),z(2),…,z(100)}在显示器上的实际屏幕位置{(x+(1),y+(1)), (x+(2),y+(2)),…,(x+(100),y+(100))}作为训练样本集合W,并根据本发明方法步骤(5)构建参数 优化模型,可得训练后的待定系数的最优参数集合为G^={Δx^,Δy^,j^},结果如下:
表1训练后的待定系数最优值
Figure BDA0003261905380000082
5、依照本发明方法步骤(6),现利用水上监测平台对舟山码头示范区水上船舶目标进行 监测,取水上已有的8个目标{S1,S2,…,S8}为研究对象,对其在显示器中的坐标位置进行估 计:
依照本发明方法步骤(6-1)所述,根据步骤(2)获取k=2时刻第2个目标S2的雷达扫 描半径r2(2)=3海里,ARPA扫描坐标(e2(2),l2(2))=(821.8333,0.9183),根据根据步骤(3)将 其转化为经纬度(b2(2),d2(2))=(29.9726,122.3662),结合待定系数Δx^,Δy^,j^的最优值,并根 据步骤(6-3)中式(3a)和(3b)将经纬度(b2(2),d2(2))转化为待校准屏幕位置(x2^(2),y2^(2)), 结果如下:
x2^(2)=(b2(2)/θ)*w*Δx^=(29.9726/88.7)*2560*0.1=86.5049
Figure BDA0003261905380000091
这里只列举了k=2时刻第2个目标S2在显示器中的坐标位置估计过程,第k时刻第m个 目标Sm在显示器中的坐标位置(xm^(k),ym^(k))估计均可通过本发明方法获取,以实现雷达 ARPA目标和CCTV识别船舶目标的融合。

Claims (10)

1.一种基于雷达扫描变量的水上多目标视频影像坐标估计方法,其特征在于步骤包括:
1)建立水上监测平台P,所述检测平台P包括雷达ARPA系统、闭路电视监控系统CCTV、定位设备、艏向获取设备;
2)选定时刻,在雷达ARPA系统可覆盖范围内,将闭路电视监控系统CCTV唯一稳定地捕获到的单个水上目标记为T,分别利用雷达ARPA系统、闭路电视监控系统CCTV同时对单个水上目标T进行多次连续扫描和观测,获得单个水上目标T的扫描坐标和多帧画面;
3)将步骤2)中参考单个水上目标T的ARPA坐标的多次扫描坐标转化为经纬度,根据相机的内外参数决定单个水上目标T在闭路电视监控系统CCTV中成像的待校准位置;
4)通过Faster-RCNN、YoloV3算法,将步骤2)中k时刻CCTV系统获得的多帧画面,转化为单个水上目标T在显示器上的实际屏幕位置,或采用手工标绘的方式实现该步骤;
5)将步骤3)和4)中获得的单个水上目标T在显示器上的待校准屏幕位置和实际屏幕位置作为训练样本集合W,并把待校准屏幕位置和实际屏幕位置两点间的距离作为目标函数,构建基于遗传算法的优化模型,获得最优参数集合;
6)通过步骤5),建立从ARPA目标T’,向CCTV屏幕坐标的映射关系,雷达扫描和CCTV可视的重叠范围中,都有不止一个目标,基于已经确定的映射关系,即可对水上m个目标{S1,S2,…,Sm}在显示器中的坐标位置进行估计。
2.根据权利要求1所述的一种基于雷达扫描变量的水上多目标视频影像坐标估计方法,其特征在于所述步骤1)中所述雷达ARPA系统的雷达扫描半径记为r,将雷达ARPA系统扫描水上其他船舶目标,即ARPA目标相对于系统的角坐标记作(e,l),所述闭路电视监控系统CCTV用于获得水上目标的实时图像z,所述闭路电视监控系统CCTV摄像机的核心参数包括视域角θ、输出图像视域宽度w像素和视域高度h像素,所述定位设备用于获取经纬度坐标。
3.根据权利要求2所述的一种基于雷达扫描变量的水上多目标视频影像坐标估计方法,其特征在于所述步骤2)中雷达ARPA系统扫描到的目标与闭路电视监控系统CCTV捕获的目标,具有唯一对应性,在k时刻由雷达ARPA系统多次扫描目标T,产生的唯一的ARPA目标的扫描坐标为(e(k),l(k)),由闭路电视监控系统CCTV获得实时图像z的多帧画面为z(k),雷达扫描半径为r(k),k为采样时刻,其中k=1,2,…,K,K≥20。
4.根据权利要求3所述的一种基于雷达扫描变量的水上多目标视频影像坐标估计方法,其特征在于所述步骤3)具体为:将步骤2)中参考单个水上目标T的ARPA坐标的多次扫描坐标(e(k),l(k))转化为经纬度,表示为(b(k),d(k)),b表示纬度,d表示经度;目标在相机成像里的屏幕坐标和空间位置存在固定的对应关系,根据相机的内外参数决定单个水上目标T在闭路电视监控系统CCTV中成像的待校准位置(x-(k),y-(k))。
5.根据权利要求4所述的一种基于雷达扫描变量的水上多目标视频影像坐标估计方法,其特征在于所述采取如下方法求取目标T在CCTV系统中成像的待校准位置(x-(k),y-(k)):
k时刻目标T的空间横坐标x-(k),即与摄像头的视线射线呈垂直关系,相对于摄像机成像的横坐标是简单的线性映射关系,目标T的空间纵坐标y-(k),即与摄像头横的视线射线呈平行关系,相对摄像机成像的纵坐标是上凸曲线关系,即距离越远纵向角度变化越慢、距离越近变化越快,因此,可分别设计线性模型求取x-(k)、Logistic模型求取y-(k):
x-(k)=b(k)/θ)*w*Δx (1a)
Figure RE-FDA0003456789600000021
其中,Δx,Δy,j是待定系数。
6.根据权利要求4所述的一种基于雷达扫描变量的水上多目标视频影像坐标估计方法,其特征在于所述步骤2)中k时刻CCTV系统获得的多帧画面为z(k),转化为单个水上目标T在显示器上的实际屏幕位置为(x+(k),y+(k))。
7.根据权利要求6所述的一种基于雷达扫描变量的水上多目标视频影像坐标估计方法,其特征在于所述待校准屏幕位置(x-(k),y-(k))和实际屏幕位置(x+(k),y+(k))作为训练样本集合W,并把(x-(k),y-(k))和(x+(k),y+(k))两点间的距离作为目标函数,构建基于遗传算法的优化模型:
Figure RE-FDA0003456789600000022
s.t.0≤Δx≤1 (2b)
0≤Δy≤10 (2c)
-10≤j≤10 (2d)
其中,
Figure RE-FDA0003456789600000023
表示优化目标函数,G={Δx,Δy,j}表示需要优化的参数集,式(2b)~(2d)表示优化过程必须满足的约束条件,D是(x-(k),y-(k))和(x+(k),y+(k))两点间的距离
Figure RE-FDA0003456789600000024
得到最优参数集合G^表示为
G^={Δx^,Δy^,j^} (2f)
通过已有数据集的训练,即可通过求解式(2d),获得Δx,Δy,j待定系数的最优取值。
8.根据权利要求7所述的一种基于雷达扫描变量的水上多目标视频影像坐标估计方法,其特征在于所述对水上m个目标{S1,S2,…,Sm}在显示器中的坐标位置进行估计,具体步骤如下:
6-1)根据步骤2),利用ARPA系统和CCTV系统分别获得第m个目标Sm的雷达扫描半径rm(k),ARPA坐标(em(k),lm(k)),m=1,2,…,M,M≥2;
6-2)根据步骤3)将各单一目标Sm的ARPA坐标(em(k),lm(k))转化为经纬度表示形式(bm(k),dm(k));
6-3)结合步骤5)中的最优参数集合G^,分别计算这m个目标在显示器上的估计屏幕位置(xm^(k),ym^(k))
xm^(k)=(bm(k)/θ)*w*Δx^ (3a)
Figure RE-FDA0003456789600000031
9.根据权利要求1所述的一种基于雷达扫描变量的水上多目标视频影像坐标估计方法,其特征在于所述雷达ARPA系统包括普通船用雷达、目标自动捕捉设备,可调范围为0.5~48海里。
10.根据权利要求1所述的一种基于雷达扫描变量的水上多目标视频影像坐标估计方法,其特征在于所述闭路电视监控系统CCTV包括遥控摄像机及其辅助设备,所述闭路电视监控系统CCTV可观测的距离为1~2海里,视域角θ为60°~180°、输出图像视域宽度w像素为320~3840和视域高度h像素为240~2160。
CN202111075275.8A 2021-09-14 2021-09-14 一种基于雷达扫描变量的水上多目标视频影像坐标估计方法 Active CN114022775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111075275.8A CN114022775B (zh) 2021-09-14 2021-09-14 一种基于雷达扫描变量的水上多目标视频影像坐标估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111075275.8A CN114022775B (zh) 2021-09-14 2021-09-14 一种基于雷达扫描变量的水上多目标视频影像坐标估计方法

Publications (2)

Publication Number Publication Date
CN114022775A true CN114022775A (zh) 2022-02-08
CN114022775B CN114022775B (zh) 2024-04-30

Family

ID=80054165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111075275.8A Active CN114022775B (zh) 2021-09-14 2021-09-14 一种基于雷达扫描变量的水上多目标视频影像坐标估计方法

Country Status (1)

Country Link
CN (1) CN114022775B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115006765A (zh) * 2022-06-23 2022-09-06 中建八局第二建设有限公司 一种机器人快速灭火方法及快速灭火机器人

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010003274A (ja) * 2008-06-23 2010-01-07 National Maritime Research Institute 目視認識支援装置及び目視認識支援方法
CN108490415A (zh) * 2018-05-14 2018-09-04 浙江大学 一种智能sar雷达海上舰船目标识别系统
CN111157982A (zh) * 2019-11-20 2020-05-15 智慧航海(青岛)科技有限公司 基于岸基雷达的智能船舶船岸协同目标跟踪系统和方法
CN111523465A (zh) * 2020-04-23 2020-08-11 中船重工鹏力(南京)大气海洋信息系统有限公司 基于摄像机标定及深度学习算法的船舶身份识别系统
CN111610494A (zh) * 2020-05-27 2020-09-01 武汉理工大学 一种vts雷达配置信号覆盖优化方法
CN112927233A (zh) * 2021-01-27 2021-06-08 湖州市港航管理中心 一种船用激光雷达与视频联合目标捕捉方法
CN113112540A (zh) * 2021-04-09 2021-07-13 东南大学 一种在vts系统中使用ais标定cctv摄像头进行船舶图像目标定位的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010003274A (ja) * 2008-06-23 2010-01-07 National Maritime Research Institute 目視認識支援装置及び目視認識支援方法
CN108490415A (zh) * 2018-05-14 2018-09-04 浙江大学 一种智能sar雷达海上舰船目标识别系统
CN111157982A (zh) * 2019-11-20 2020-05-15 智慧航海(青岛)科技有限公司 基于岸基雷达的智能船舶船岸协同目标跟踪系统和方法
CN111523465A (zh) * 2020-04-23 2020-08-11 中船重工鹏力(南京)大气海洋信息系统有限公司 基于摄像机标定及深度学习算法的船舶身份识别系统
CN111610494A (zh) * 2020-05-27 2020-09-01 武汉理工大学 一种vts雷达配置信号覆盖优化方法
CN112927233A (zh) * 2021-01-27 2021-06-08 湖州市港航管理中心 一种船用激光雷达与视频联合目标捕捉方法
CN113112540A (zh) * 2021-04-09 2021-07-13 东南大学 一种在vts系统中使用ais标定cctv摄像头进行船舶图像目标定位的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓康全 等: "雷达模拟视频和电子海图图像叠加方法", 天津航海, no. 03, 30 September 2010 (2010-09-30), pages 1 - 4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115006765A (zh) * 2022-06-23 2022-09-06 中建八局第二建设有限公司 一种机器人快速灭火方法及快速灭火机器人

Also Published As

Publication number Publication date
CN114022775B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN110414396B (zh) 一种基于深度学习的无人艇感知融合算法
US10424205B2 (en) Auxiliary berthing method and system for vessel
US10378905B2 (en) Auxiliary berthing method and system for vessel
KR101666466B1 (ko) 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법
CN103065323A (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN104297758A (zh) 一种基于2d脉冲式激光雷达的辅助靠泊装置及其方法
CN113313047B (zh) 一种基于车道结构先验的车道线检测方法及系统
CN109982044B (zh) 一种基于cctv传感网的目标定位跟踪系统的跟踪方法
CN111381232A (zh) 一种基于光电一体化技术的河道安全管控方法
CN106370160A (zh) 一种机器人室内定位系统和方法
CN113112540B (zh) 一种在vts系统中使用ais标定cctv摄像头进行船舶图像目标定位的方法
CN112927233A (zh) 一种船用激光雷达与视频联合目标捕捉方法
CN114581675A (zh) 一种基于机器视觉与多源数据融合的海上船舶检测方法
Naus et al. Precision in determining ship position using the method of comparing an omnidirectional map to a visual shoreline image
CN114022775A (zh) 一种基于雷达扫描变量的水上多目标视频影像坐标估计方法
CN114252075A (zh) 一种电缆沟巡检机器人的路径跟踪方法及系统
CN113763484A (zh) 基于视频图像分析技术的船舶目标定位及速度估算方法
CN113569647A (zh) 一种基于ais的船舶高精度坐标映射方法
CN117075112A (zh) 一种方位角航迹匹配的无人艇雷达光电融合方法
CN114092372B (zh) 一种船舶电子航道图和全景视频图像叠加的方法及系统
CN113450598B (zh) 基于红外视频的船舶辅助航行方法及系统
CN115082811A (zh) 一种依据图像数据的海上航行船舶识别与距离测量的方法
CN115830140A (zh) 一种海上近程光电监控方法、系统、介质、设备及终端
CN114332682A (zh) 一种海上全景去雾目标识别方法
CN113971679B (zh) 一种基于计算机视觉与图像处理的海洋潮汐测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant