CN111968046A - 一种基于拓扑结构的雷达光电传感器目标关联融合方法 - Google Patents

一种基于拓扑结构的雷达光电传感器目标关联融合方法 Download PDF

Info

Publication number
CN111968046A
CN111968046A CN202010705533.5A CN202010705533A CN111968046A CN 111968046 A CN111968046 A CN 111968046A CN 202010705533 A CN202010705533 A CN 202010705533A CN 111968046 A CN111968046 A CN 111968046A
Authority
CN
China
Prior art keywords
target
detected
image
vts
vts system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010705533.5A
Other languages
English (en)
Other versions
CN111968046B (zh
Inventor
郑浩
朱德理
萨出拉
许建峰
隋德良
何红
韩晓宁
顾晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Laiwangxin Technology Research Institute Co ltd
Original Assignee
Nanjing Laiwangxin Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Laiwangxin Technology Research Institute Co ltd filed Critical Nanjing Laiwangxin Technology Research Institute Co ltd
Priority to CN202010705533.5A priority Critical patent/CN111968046B/zh
Publication of CN111968046A publication Critical patent/CN111968046A/zh
Application granted granted Critical
Publication of CN111968046B publication Critical patent/CN111968046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种基于拓扑结构的雷达光电传感器目标关联融合方法，实现异构传感器融合系统对目标的跟踪、监控、识别，可应用于船舶交通管理系统对重要港口、内河航道内船舶的监控和管理。本发明可应用在船舶交通管理系统中，区别于传统的雷达发现目标，光电配合监控查证的人工工作模式，采用基于拓扑结构的多源异构传感器信息融合技术将图像检测目标、VTS系统检测目标自动关联融合，实现对船舶目标的自动监控识别，大大提高了船舶交通管理系统的智能化水平。

Description

一种基于拓扑结构的雷达光电传感器目标关联融合方法
技术领域
本发明涉及一种基于拓扑结构的雷达光电传感器目标关联融合方法。
背景技术
船舶交通管理系统(英文简称VTS)由雷达、CCTV、AIS、无线通讯等子系统组成，利用甚高频(VHF)和雷达，结合电子海图(ECDIS)和卫星定位对在港湾或进出港口的船舶实施监控、协调，并为其提供咨询服务的系统。随着人类商业生产活动的增加，各大港口、航道内航行的船舶数量越来越多，需要实时掌握各类船舶信息。为了获得最佳的监管效果，依靠雷达、AIS等传感器来提供信息已经无法满足需求，这使监视管理系统发展有了新的思路：从单一传感器监视及探测向多元传感器协同探测方向发展。异构多传感器网是以多部不同频段、不同体制、不同极化方式的传感器进行合理的优化布站，从而形成一个统一的、有机的、整体的新体制监视系统，提高现有监视管理系统的综合能力。
在异构传感器网中，需要将网内不同传感器和信息源的数据加以判断、相关和融合，获取目标精确位置、身份估计以及实时的态势，这就是多传感器信息融合技术。其包括时空对准、互联/相关、滤波、识别态势评估等过程，其中多传感器目标互联是关键技术之一。目前，互联技术有基于假设检验的加权航迹关联方法、K近邻域方法、双门限检测的灰色航迹关联方法，以及基于计算机视觉技术的特征点匹配图谱方法等等。但在异构传感器融合过程中，考虑到各个传感器数据维度信息不同以及传感器本身存在定位偏差、测量误差以及数据处理过程中产生的坐标转换误差、虚假目标和漏报目标等多种因素影响，上述传统改进方法使得多个不同异构传感器平台目标的对应互联关系变得模糊，导致融合系统性能下降。
发明内容
发明目的：本发明采用目标网络拓扑结构的方法进行多源异构传感器目标的互联，实现目标的跟踪、融合、识别。方法以图像像素坐标系为基准坐标系，将VTS系统检测的目标空间位置映射到图像像素基准坐标系。在图像像素基准坐标系中，分别以各个传感器的目标为基准目标，通过图像像素坐标位置计算出其余目标相对基准目标的方位距离， 构建获得以基准目标为中心的网络拓扑结构。再计算评估各种网络拓扑结构的相似性， 得到当前融合处理时刻的互联目标对应关联关系， 最终得到目标的融合信息。
本发明具体提供了一种基于拓扑结构的雷达光电传感器目标关联融合方法， 包括如下步骤：
步骤1： 对VTS系统检测和图像检测到的目标进行滤波处理；
步骤2： 将VTS系统检测的目标经纬度位置转换到图像像素坐标系中， 获得VTS系统检测的目标像素位置；
步骤3：在图像像素坐标系中，计算目标间相对距离和相对方位，实现目标拓扑结构的构建； 这种新方法将目标的绝对位置转化到可信度更高的相对位置空间， 可提升多目标重叠等复杂场景下的异构传感器目标关联性能。
步骤4：建立VTS目标-图像目标像素距离粗关联矩阵；采用工程中常用的距离最优邻近算法实现VTS目标、 图像目标的粗关联。
步骤5：在图像像素坐标系中，计算目标拓扑结构的相似性，实现异构传感器目标的关联；
步骤6： 根据异构传感器目标关联关系， 将VTS系统检测到的船舶目标的静态信息自动添加到图像目标属性中， 完成目标的综合信息融合。
步骤1包括：采用现有的卡尔曼滤波模型分别对VTS系统检测到的目标和图像检测到的目标进行滤波， 实现目标航迹的平滑， 具体包括：
设 目 标状态方程为 X(k+1)＝F(k)X(k)+Γ(k)v(k) ， 量测方程为Z(k+1)＝H(k+1)X(k+1)+W(k+1)， 其中F(k)为状态转移矩阵， Γ(k)为过程噪声分布矩阵，v(k)为过程噪声向量，H(k+1)为量测矩阵，W(k+1)为具有协方差R(k+1)的零均值白色高斯量测噪声序列，目标状态估计向量
Figure BDA0002594544120000021
xk为目标X像素坐标，
Figure BDA0002594544120000022
为目标X像素速度，
Figure BDA0002594544120000023
为目标X像素加速度， yk为目标Y像素坐标，
Figure BDA0002594544120000024
为目标Y像素速度，
Figure BDA0002594544120000025
为目标Y像素加速度。Z(k)＝[zx zy]， zx为目标X像素探测坐标， zy为目标Y像素探测坐标。则现有卡尔曼递推滤波计算过程如下所示：
状态的一步预测
Figure BDA0002594544120000031
量测的预测
Figure BDA0002594544120000032
新息v(k+1)：
Figure BDA0002594544120000033
状态更新方程
Figure BDA0002594544120000034
协方差的一步预测P(k+1|k)：P(k+1|k)＝F(k)P(k|k)F'(k)+Q(k)
新息协方差S(k+1)：S(k+1)＝H(k+1)P(k+1|k)H'(k+1)+R(k+1)
增益K(k+1)：K(k+1)＝P(k+1|k)H'(k+1)S-1(k+1)
更新协方差P(k+1|k+1)：P(k+1|k+1)＝P(k+1|k)-K(k+1)S(k+1)K'(k+1)
k+1时刻，利用卡尔曼递推滤波方程实现VTS系统检测目标、图像检测目标的状态估计更新。同时，将VTS系统检测目标和图像检测目标的状态保存在对应的VTS目标滤波队列VtsDeque和图像目标滤波队列ImgDeque中。
步骤2包括：依据摄像机安装位置的经纬度、摄像机安装高度、摄像机俯仰角、摄像机内参(焦距)和VTS系统检测的目标的经纬度信息，采用小孔成像技术将VTS系统检测的目标的经纬度位置转换到图像像素坐标系中，获得VTS系统检测的目标像素位置。具体计算步骤如下：
步骤2-1，建立以相机为中心的二维坐标，相机位置为二维坐标中心点。通过获取相机焦距f、相机CCD宽度w、CCD高度h等计算相机的水平视场角α和垂直视场角β。
α＝2arctan(w/2f)
β＝2arctan(h/2f)
步骤2-2，计算VTS系统检测的目标在相机坐标系中的位置。将VTS系统检测的目标的经纬度位置转为相对于相机高度的垂直高度角和水平方位角，得出VTS系统检测的目标相对于相机视场角的垂直方位角度φ和水平方位角度比例
Figure BDA0002594544120000035
φ＝fabs(p-c)/a
Figure BDA0002594544120000036
步骤2-3，计算VTS目标在图像中的坐标位置。获取相机当前图像的长宽，通过目标的视场角比例和图像长宽即可得到VTS目标所在图像中的坐标位置。
步骤3包括：
步骤3-1，在图像像素坐标系中，依次选取VTS系统检测的一个目标为基准目标，计算其余VTS系统检测的目标到基准目标的相对方位、相对距离，构建出基准目标的拓扑结构，以此类推，构建完成VTS系统检测的所有目标的拓扑结构集合VtsTopol；
步骤3-2，在图像像素坐标系中，依次选取图像检测到的一个目标为基准目标，计算其余图像检测到的目标到基准目标的相对方位、相对距离，构建出基准目标的拓扑结构，以此类推，构建完成图像检测到的所有目标的拓扑结构集合ImgTopol。
步骤3-1包括：
步骤3-1-1，设VTS系统检测的一个目标为基准目标i，计算VTS系统检测的目标j与基准目标i的相对方位wij和相对距离dij，j＝1,2,...,N,j≠i，N表示VTS系统检测的目标总数，计算公式如下：
x’＝xj-xi，y’＝yj-yi，
xi,yi分别为目标i的X、Y像素坐标值，xj,yj分别为目标j的X、Y像素坐标值；x'表示目标i和目标j在X方向的误差，y'表示目标i和目标j在Y方向的误差；
依据直角坐标系到极坐标系变换关系，将x'和y'转换到极坐标距离dij和方位wij，即实现了目标绝对位置向相对位置空间的转换；
步骤3-1-2，按步骤3-1-1建立VTS系统检测的所有目标的拓扑结构集合VtsTopol。
步骤3-2包括：
步骤3-2-1，设图像检测到的一个目标为基准目标u，遍历计算图像检测到的目标v与基准目标u的相对方位wuv和相对距离duv，v＝1,2,...,M,v≠u，M表示图像检测到的目标总数，计算过程如下：
x’＝xv-xu，y’＝yv-yu，
xu,yu分别为目标u的X、Y像素坐标值，xv,yv分别为目标v的X、Y像素坐标值；x'表示目标u和目标v在X方向的误差，y'表示目标u和目标v在Y方向的误差；
依据直角坐标系到极坐标系变换关系，将x'和y'转换到极坐标距离duv和方位wuv。即实现了目标绝对位置向相对位置空间的转换；
步骤3-2-2，按步骤3-2-1建立图像检测到的所有目标的拓扑结构集合ImgTopol。
步骤4包括：
步骤4-1，建立VTS目标-图像目标像素距离粗关联的二维矩阵DisEnabe[N][M]；
步骤4-2，根据如下公式计算VTS系统检测的目标i和图像检测的目标j之间的像素欧式距离dij，
dij＝sqrt((xi-xj)2+(yi-yj)2)
其中，(xi,yi)为VTS系统检测的目标i的像素位置，(xj,yj)为图像检测的目标j的像素位置；
步骤4-3，更新DisEnabe[i][j]状态。如果dij≥MaxDis，则DisEnabe[i][j]＝0，说明VTS系统检测的目标和图像检测的目标不关联，否则DisEnabe[i][j]＝1，执行步骤5。MaxDis为目标不关联的最大距离门限。本发明中设置MaxDis＝120。
步骤5包括：
步骤5-1，遍历DisEnabe数组，如果DisEnabe[i][j]＝1,，i＝1,2,...,N,j＝1,2,...,M，说明VTS系统检测到的目标i与图像检测到的目标j可能存在关联关系，则执行步骤5-2；如果DisEnabe[i][j]＝0，说明VTS系统检测到的目标i与图像检测到的目标j不存在关联关系，则继续执行步骤5-1遍历下个图像目标；
步骤5-2，在VtsTopol集合和ImgTopol集合中，分别查找VTS系统检测到的目标i与图像检测到的目标j的拓扑结构Tvts(i)和Timg(j)；
步骤5-3，依据如下公式计算VTS系统检测到的目标i的拓扑结构和图像检测到的目标j的拓扑结构相似性值S：
DisErr＝dik-djt
AziErr＝wik-wjt
S＝α×DisErr+β×AziErr
其中，dik是VTS系统检测到的目标k相对步骤3-1-1中基准目标i的拓扑距离，djt是图像检测到的目标t相对基准目标j的拓扑距离，DisErr是dik和djt的距离差值；wik是VTS系统检测到的目标k相对基准目标i的拓扑方位，wjt是图像检测到的目标t相对基准目标j的拓扑方位，AziErr是wik和wjt的差值；α为距离误差的权重，β为方位误差的权重。这里，α＝0.7，β＝0.3。由上式可见，S采用了新的计算方法，即通过距离差和方位差两个不同维度的加权累计和得到拓扑结构的相似值。
步骤5-4，如果S≤Smin成立，则Smin＝S，说明VTS系统检测到的目标i和图像检测到的目标j的拓扑结构相似，执行步骤5-1遍历下个图像目标；如果图像目标遍历完毕，则执行步骤5-5；本发明中，初始化Smin＝50；
步骤5-5，如果S存在，则说明VTS系统检测到的目标i拓扑结构和图像检测到的目标j的拓扑结构最相似，即VTS系统检测到的目标i拓扑结构和图像检测到的目标j关联，VTS系统检测到的目标i关联处理完毕，遍历执行下一个VTS目标；
步骤5-6，重复步骤5-1～步骤5-5直至VTS所有检测到的目标关联处理完毕。有益效果：本发明考虑到各个异构传感器平台偏差、测量误差、虚假目标以及漏报目标对航迹关联的影响，构建了目标的拓扑网络结构。通过评估目标拓扑网络结构的相似性，获得最优相似拓扑结构，进而得到目标的对应互联关系。在船舶交通管理系统中，较好的实现了图像系统检测目标、VTS系统检测目标的关联融合，自动掌握船舶的信息，提升了船舶交通管理系统的智能化水平。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和或其他方面的优点将会变得更加清楚。
图1基于拓扑结构的雷达光电传感器目标关联处理总体流程图。
图2雷达光电传感器目标关联处理流程图。图3雷达光电传感器目标关联显示示意图。
具体实施方式
本发明提供了一种基于拓扑结构的雷达光电传感器目标关联融合方法。方法处理流程如图1所示，步骤如下：
步骤1，对接收的VTS系统检测目标和图像系统检测目标采用卡尔曼滤波模型进行滤波处理。
以VTS系统检测某目标i为例。k时刻，VTS系统检测目标i的探测位置为Z(k)＝(xk,yk)，则卡尔曼滤波器输出目标状态X(k)＝[xk 0 0 yk 0 0]。k+1时刻，VTS目标i的探测位置为Z(k+1)＝(xk+1,yk+1)，则卡尔曼滤波器输出目标状态X(k+1)＝[xk+1 vx 0 yk+1 vy 0]。其中，
vx＝(xk+1-xk)/T
vy＝(yk+1-yk)/T
k+2时刻起，采用卡尔曼滤波方程对VTS系统检测目标i进行迭代滤波处理。同时，将滤波结果存储在数据结构VtsDeque中。卡尔曼滤波方程如下：
状态的一步预测
Figure BDA0002594544120000071
量测的预测
Figure BDA0002594544120000072
新息v(k+1)：
Figure BDA0002594544120000073
状态更新方程
Figure BDA0002594544120000074
协方差的一步预测P(k+1|k)：P(k+1|k)＝F(k)P(k|k)F'(k)+Q(k)
新息协方差S(k+1)：S(k+1)＝H(k+1)P(k+1|k)H'(k+1)+R(k+1)
增益K(k+1)：K(k+1)＝P(k+1|k)H'(k+1)S-1(k+1)
更新协方差P(k+1|k+1)：P(k+1|k+1)＝P(k+1|k)-K(k+1)S(k+1)K'(k+1)本发明中，VTS系统检测目标航迹更新周期T＝3秒，图像目标航迹更新周期T＝1秒，
Figure BDA0002594544120000081
Figure BDA0002594544120000082
步骤2，依据摄像机的安装位置经纬度、摄像机高度、摄像机内参和VTS目标的经纬度信息，采用成熟的小孔成像技术模型将VTS系统检测目标经纬度位置转换到图像像素坐标系中，获得VTS系统检测目标像素位置。
a)建立以相机为中心的二维坐标，相机位置为二维坐标中心点。通过获取相机焦距f、相机CCD宽度w、CCD高度h等计算相机的水平视场角α和垂直视场角β。其中，相机焦距、相机CCD可参考相机型号获得。
α＝2arctan(w/2f)
β＝2arctan(h/2f)
b)计算VTS系统检测目标在相机坐标系中的位置。将VTS系统检测目标经纬度位置转为相对于相机高度的垂直高度角和水平方位角，得出VTS系统检测目标相对于相机视场角的垂直方位角度φ和水平方位角度比例
Figure BDA0002594544120000083
其中，h为相机高度，p为VTS系统检测目标相对相机水平方位，d为VTS系统检测目标相对相机的距离，c为相机中心垂直方位。c可以从相机产品参数中查询。
φ＝fabs(p-c)/a
Figure BDA0002594544120000084
c)计算VTS系统检测目标在图像中的坐标位置。获取相机当前图像的长宽，通过目标的视场角比例和图像长宽即可得到VTS系统检测目标所在图像中的坐标位置。
步骤3：在图像像素坐标系中，计算目标间相对距离和相对方位构建VTS系统检测目标、图像系统检测目标的拓扑结构集合。
a)设VTS系统检测的基准目标i，计算VTS系统检测目标j(j＝1,2,...,N,j≠i)与基准目标i的相对方位wij和相对距离dij。计算过程x'＝xj-xi，y'＝yj-yi，(xi,yi)为目标i的X、Y滤波处理后的像素坐标值，(xj,yj)为目标j的X、Y滤波处理后的像素坐标值。x'表示目标i和目标j在X方向的误差，y'表示目标i和目标j在Y方向的误差。再依据直角坐标系与极坐标系转换关系，将x'和y'转换到极坐标距离dij和方位wij。
dij＝sqrt(x'×x'+y'×y')
wij＝arctan(x'/y')
按上述步骤建立VTS系统检测所有目标的拓扑结构集合VtsTopol。
b)设图像基准目标u，遍历计算图像目标v(v＝1,2,...,M,v≠u)与基准目标u的相对方位wuv和相对距离duv。计算过程x'＝xv-xu，y'＝yv-yu，(xu,yu)为目标u的X、Y滤波处理后的像素坐标值，(xv,yv)为目标v的X、Y滤波处理后的像素坐标值。x'表示目标u和目标v在X方向的误差，y'表示目标u和目标v在Y方向的误差。再依据直角坐标系与极坐标系转换关系，将x'和y'转换到极坐标距离duv和方位wuv；
duv＝sqrt(x'×x'+y'×y')
wuv＝arctan(x'/y')
按上述步骤建立图像所有目标的拓扑结构集合ImgTopol。
步骤4，建立VTS目标-图像目标像素距离粗关联矩阵。采用工程中常用的距离最优邻近算法实现VTS目标、图像目标的粗关联。
a)建立VTS目标-图像目标像素距离粗关联矩阵DisEnabe[N][M]，N为VTS系统检测目标总数，M为图像系统检测目标总数。
b)设VTS系统检测目标i的像素位置为(xi,yi)，图像系统检测目标j的像素位置为(xj,yj)，根据下式计算VTS系统检测目标i和图像系统检测目标j之间的像素距离dij，
dij＝sqrt((xi-xj)2+(yi-yj)2)
c)更新DisEnabe[i][j]状态。若dij≥MaxDis，则DisEnabe[i][j]＝0，说明目标i和图像目标j不存在关联关系，否则DisEnabe[i][j]＝1。MaxDis为目标不关联的最大距离，本发明中MaxDis＝120。
步骤5：在图像像素坐标系中，对VTS系统检测目标和图像系统检测目标的位置采用距离、方位加权求和的新方法计算目标拓扑结构的相似性，实现异构传感器目标的关联。
步骤5-1，遍历DisEnabe数组。若DisEnabe[i][j]＝1,(i＝1,2,...,N,j＝1,2,...,M)，说明VTS系统检测目标i与图像系统检测目标j可能存在关联关系，此时依据步骤5-2计算目标拓扑结构的相似性；若DisEnabe[i][j]＝0，说明VTS系统检测目标i与图像系统检测目标j不存在关联关系，则继续执行步骤5-1遍历下个图像目标。
步骤5-2，在VtsTopol集合和ImgTopol集合中，分别查找VTS系统检测目标i和图像系统检测目标j的拓扑结构Tvts(i)和Timg(j)。本发明经过上述步骤处理后，计算的VTS目标i的某次拓扑结构如Tvts(i)＝{(151,348°),(240,53°)}，图像目标j的某次拓扑结构如Timg(i)＝{(147,341°),(249,47°)}。
步骤5-3，依据如下公式计算VTS系统检测目标i的拓扑结构和图像系统检测目标j的拓扑结构相似性度值S。
DisErr＝dik-djt
AziErr＝wik-wjt
S＝α×DisErr+β×AziErr
VTS系统检测目标i和图像系统检测目标j的拓扑结构都有2个目标。则DisErr和AziErr累积求和3次，即
DisErr＝abs(151-147)+abs(240-249)＝13
AizErr＝abs(348-341)+abs(53-47)＝13VTS系统检测目标i和图像系统检测目标j的拓扑结构相似性S＝0.7×13+0.3×13＝13。本发明中，考虑到传感器测量目标的距离比方位准确，因此距离误差权重α＝0.7，方位误差权重β＝0.3。
步骤5-4，若S≤Smin成立，则Smin＝S，说明VTS系统检测目标i和图像系统检测目标j的拓扑结构相似。执行步骤5-1遍历下个图像目标。如果图像目标遍历完毕，则执行步骤5-5。
本发明中设置Smin＝50。经计算S≤Smin成立，则Smin＝13同时记录VTS系统检测目标i和图像系统检测目标j关联。图像系统检测目标t的拓扑结构Timg(t)＝{(100,173°),(70,348°)}，经计算VTS系统检测目标i和图像系统检测目标t的拓扑结构相似性S＝295.7比Smin大。因此，VTS系统检测目标i和图像系统检测目标t关联，不更新Smin值。重复步骤5-4直至图像目标遍历完毕转步骤5-5。
步骤5-5，本例中Smin＝13，说明VTS系统检测目标i拓扑结构和图像系统检测目标j的拓扑结构最相似，即VTS系统检测目标i和图像系统检测目标j关联。VTS系统检测目标i关联处理完毕，遍历执行下一个VTS系统检测目标。
步骤5-6，重复步骤5-1～步骤5-5直至VTS所有目标关联处理完毕。
步骤5具体处理流程如图2所示。图3是雷达光电传感器目标关联显示示意图。
步骤6：根据异构传感器目标关联关系，将VTS系统检测目标的静态信息自动添加到图像目标属性中，完成目标的综合信息融合。
该步骤根据VTS系统检测目标和图像系统检测目标关联关系，将VTS系统检测目标的MMSI、船名、航向航速等静态属性数据添加到图像目标属性中，在图像上进行显示。
本发明提供了一种基于拓扑结构的雷达光电传感器目标关联融合方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (8)

1.一种基于拓扑结构的雷达光电传感器目标关联融合方法，其特征在于，包括如下步骤：
步骤1：对VTS系统检测和图像检测到的目标进行滤波处理；
步骤2：将VTS系统检测的目标经纬度位置转换到图像像素坐标系中，获得VTS系统检测的目标像素位置；
步骤3：在图像像素坐标系中，计算目标间相对距离和相对方位，实现目标拓扑结构的构建；
步骤4：建立VTS目标-图像目标像素距离粗关联矩阵；
步骤5：在图像像素坐标系中，计算目标拓扑结构的相似性，实现异构传感器目标的关联；
步骤6：根据异构传感器目标关联关系，将VTS系统检测到的船舶目标的静态信息自动添加到图像目标属性中，完成目标的综合信息融合。
2.根据权利要求1所述的方法，其特征在于，步骤1包括：采用现有的卡尔曼滤波模型分别对VTS系统检测到的目标和图像检测到的目标进行滤波，实现目标航迹的平滑。
3.根据权利要求2所述的方法，其特征在于，步骤2包括：依据摄像机安装位置的经纬度、摄像机安装高度、摄像机俯仰角、摄像机内参和VTS系统检测的目标的经纬度信息，采用小孔成像技术将VTS系统检测的目标的经纬度位置转换到图像像素坐标系中，获得VTS系统检测的目标像素位置。
4.根据权利要求3所述的方法，其特征在于，步骤3包括：
步骤3-1，在图像像素坐标系中，依次选取VTS系统检测的一个目标为基准目标，计算其余VTS系统检测的目标到基准目标的相对方位、相对距离，构建出基准目标的拓扑结构，以此类推，构建完成VTS系统检测的所有目标的拓扑结构集合VtsTopol；
步骤3-2，在图像像素坐标系中，依次选取图像检测到的一个目标为基准目标，计算其余图像检测到的目标到基准目标的相对方位、相对距离，构建出基准目标的拓扑结构，以此类推，构建完成图像检测到的所有目标的拓扑结构集合Im gTopol。
5.根据权利要求4所述的方法，其特征在于，步骤3-1包括：
步骤3-1-1，设VTS系统检测的一个目标为基准目标i，计算VTS系统检测的目标j与基准目标i的相对方位wij和相对距离dij，j＝1,2,...,N,j≠i，N表示VTS系统检测的目标总数，计算公式如下：
x′＝xj-xi，y′＝yj-yi，
xi,yi分别为目标i的X、Y像素坐标值，xj,yj分别为目标j的X、Y像素坐标值；x'表示目标i和目标j在X方向的误差，y'表示目标i和目标j在Y方向的误差；
依据直角坐标系到极坐标系变换关系，将x'和y'转换到极坐标距离dij和方位wij，即实现了目标绝对位置向相对位置空间的转换；
步骤3-1-2，按步骤3-1-1建立VTS系统检测的所有目标的拓扑结构集合VtsTopol。
6.根据权利要求5所述的方法，其特征在于，步骤3-2包括：
步骤3-2-1，设图像检测到的一个目标为基准目标u，遍历计算图像检测到的目标v与基准目标u的相对方位wuv和相对距离duv，v＝1,2,...,M,v≠u，M表示图像检测到的目标总数，计算过程如下：
x′＝xv-xu，y′＝yv-yu，
xu,yu分别为目标u的X、Y像素坐标值，xv,yv分别为目标v的X、Y像素坐标值；x'表示目标u和目标v在X方向的误差，y'表示目标u和目标v在Y方向的误差；
依据直角坐标系到极坐标系变换关系，将x'和y'转换到极坐标距离duv和方位wuv；即实现了目标绝对位置向相对位置空间的转换；
步骤3-2-2，按步骤3-2-1建立图像检测到的所有目标的拓扑结构集合Im gTopol。
7.根据权利要求6所述的方法，其特征在于，步骤4包括：
步骤4-1，建立VTS目标-图像目标像素距离粗关联的二维矩阵DisEnabe[N][M]；
步骤4-2，根据如下公式计算VTS系统检测的目标i和图像检测的目标j之间的像素欧式距离dij，
dij＝sqrt((xi-xj)2+(yi-yj)2)
其中，(xi,yi)为VTS系统检测的目标i的像素位置，(xj,yj)为图像目标j的像素位置；
步骤4-3，更新DisEnabe[i][j]状态，如果dij≥MaxDis，则DisEnabe[i][j]＝0，说明VTS系统检测的目标和图像检测的目标不关联，否则DisEnabe[i][j]＝1，执行步骤5；MaxDis为目标不关联的最大距离门限。
8.根据权利要求7所述的方法，其特征在于，步骤5包括：
步骤5-1，遍历DisEnabe数组，如果DisEnabe[i][j]＝1,，i＝1,2,...,N,j＝1,2,...,M，说明VTS系统检测到的目标i与图像检测到的目标j可能存在关联关系，则执行步骤5-2；如果DisEnabe[i][j]＝0，说明VTS系统检测到的目标i与图像检测到的目标j不存在关联关系，则继续执行步骤5-1遍历下个图像目标；
步骤5-2，在VtsTopol集合和Im gTopol集合中，分别查找VTS系统检测到的目标i与图像检测到的目标j的拓扑结构Tvts(i)和Timg(j)；
步骤5-3，依据如下公式计算VTS系统检测到的目标i的拓扑结构和图像检测到的目标j的拓扑结构相似性值S：
DisErr＝dik-djt
AziErr＝wik-wjt
S＝α×DisErr+β×AziErr
其中，dik是VTS系统检测到的目标k相对步骤3-1-1中基准目标i的拓扑距离，djt是图像检测到的目标t相对基准目标j的拓扑距离，DisErr是dik和djt的距离差值；wik是VTS系统检测到的目标k相对基准目标i的拓扑方位，wjt是图像检测到的目标t相对基准目标j的拓扑方位，AziErr是wik和wjt的差值；α为距离误差的权重，β为方位误差的权重；
步骤5-4，如果S≤Smin成立，则Smin＝S，说明VTS系统检测到的目标i和图像检测到的目标j的拓扑结构相似，执行步骤5-1遍历下个图像目标；如果图像目标遍历完毕，则执行步骤5-5；
步骤5-5，如果S存在，则说明VTS系统检测到的目标i拓扑结构和图像检测到的目标j的拓扑结构最相似，即VTS系统检测到的目标i拓扑结构和图像检测到的目标j关联，VTS系统检测到的目标i关联处理完毕，遍历执行下一个VTS目标；
步骤5-6，重复步骤5-1～步骤5-5直至VTS所有检测到的目标关联处理完毕。
CN202010705533.5A 2020-07-21 2020-07-21 一种基于拓扑结构的雷达光电传感器目标关联融合方法 Active CN111968046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010705533.5A CN111968046B (zh) 2020-07-21 2020-07-21 一种基于拓扑结构的雷达光电传感器目标关联融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010705533.5A CN111968046B (zh) 2020-07-21 2020-07-21 一种基于拓扑结构的雷达光电传感器目标关联融合方法

Publications (2)

Publication Number Publication Date
CN111968046A true CN111968046A (zh) 2020-11-20
CN111968046B CN111968046B (zh) 2024-02-23

Family

ID=73362954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010705533.5A Active CN111968046B (zh) 2020-07-21 2020-07-21 一种基于拓扑结构的雷达光电传感器目标关联融合方法

Country Status (1)

Country Link
CN (1) CN111968046B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112649803A (zh) * 2020-11-30 2021-04-13 南京航空航天大学 一种基于互相关系数的摄像机与雷达目标匹配方法
CN113450597A (zh) * 2021-06-09 2021-09-28 浙江兆晟科技股份有限公司 基于深度学习的船舶辅助航行方法及系统
CN114581785A (zh) * 2022-05-09 2022-06-03 中国科学院自动化研究所 多源异构数据融合的高炉煤气流分布状态识别方法及系统
CN115718905A (zh) * 2022-11-18 2023-02-28 中船重工鹏力（南京）大气海洋信息系统有限公司 一种面向vts系统的多传感器信息融合方法
CN116522548A (zh) * 2023-02-24 2023-08-01 中国人民解放军国防科技大学 一种基于三角拓扑结构的空地无人系统多目标关联方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101036833B1 (ko) * 2010-03-31 2011-05-25 국방과학연구소 표적 추적 시스템의 레이다 센서와 영상 센서 간의 정렬오차 추정 장치 및 방법
CN109031304A (zh) * 2018-06-06 2018-12-18 上海国际汽车城（集团）有限公司 基于视觉和毫米波雷达地图特征的隧道内车辆定位方法
CN109460740A (zh) * 2018-11-15 2019-03-12 上海埃威航空电子有限公司 基于ais与视频数据融合的船舶身份识别方法
CN110632589A (zh) * 2019-10-17 2019-12-31 安徽大学 一种雷达光电信息融合技术

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101036833B1 (ko) * 2010-03-31 2011-05-25 국방과학연구소 표적 추적 시스템의 레이다 센서와 영상 센서 간의 정렬오차 추정 장치 및 방법
CN109031304A (zh) * 2018-06-06 2018-12-18 上海国际汽车城（集团）有限公司 基于视觉和毫米波雷达地图特征的隧道内车辆定位方法
CN109460740A (zh) * 2018-11-15 2019-03-12 上海埃威航空电子有限公司 基于ais与视频数据融合的船舶身份识别方法
CA3100569A1 (en) * 2018-11-15 2020-05-22 Shanghai Advanced Avionics Co., Ltd. Ship identity recognition method base on fusion of ais data and video data
CN110632589A (zh) * 2019-10-17 2019-12-31 安徽大学 一种雷达光电信息融合技术

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHEOLJONG YANGDAVID K. HANHANSEOK KO: "Continuous hand gesture recognition based on trajectory shape information", 《PATTERN RECOGNITION LETTERS》, 23 October 2017 (2017-10-23) *
刘洋: "基于多传感器信息融合的机器人避障系统的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 July 2020 (2020-07-15) *
孙宁: "基于多源信息融合的智能汽车环境感知技术研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》, 15 February 2019 (2019-02-15) *
李财: "基于多传感器数据融合的AGV定位方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 January 2020 (2020-01-15) *
王成: "基于毫米波雷达和相机信息融合的危险目标检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, 15 August 2020 (2020-08-15) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112649803A (zh) * 2020-11-30 2021-04-13 南京航空航天大学 一种基于互相关系数的摄像机与雷达目标匹配方法
CN112649803B (zh) * 2020-11-30 2024-02-13 南京航空航天大学 一种基于互相关系数的摄像机与雷达目标匹配方法
CN113450597A (zh) * 2021-06-09 2021-09-28 浙江兆晟科技股份有限公司 基于深度学习的船舶辅助航行方法及系统
CN114581785A (zh) * 2022-05-09 2022-06-03 中国科学院自动化研究所 多源异构数据融合的高炉煤气流分布状态识别方法及系统
CN115718905A (zh) * 2022-11-18 2023-02-28 中船重工鹏力（南京）大气海洋信息系统有限公司 一种面向vts系统的多传感器信息融合方法
CN115718905B (zh) * 2022-11-18 2023-10-24 中船重工鹏力（南京）大气海洋信息系统有限公司 一种面向vts系统的多传感器信息融合方法
CN116522548A (zh) * 2023-02-24 2023-08-01 中国人民解放军国防科技大学 一种基于三角拓扑结构的空地无人系统多目标关联方法
CN116522548B (zh) * 2023-02-24 2024-03-26 中国人民解放军国防科技大学 一种基于三角拓扑结构的空地无人系统多目标关联方法

Also Published As

Publication number Publication date
CN111968046B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN110850403B (zh) 一种多传感器决策级融合的智能船水面目标感知识别方法
CN111968046B (zh) 一种基于拓扑结构的雷达光电传感器目标关联融合方法
CN111523465B (zh) 基于摄像机标定及深度学习算法的船舶身份识别系统
CN111986240A (zh) 基于可见光和热成像数据融合的落水人员检测方法及系统
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN116245916B (zh) 一种面向无人艇的红外舰船目标跟踪方法及装置
CN110501006A (zh) 一种异类传感器联合航迹关联与跟踪方法
Cao et al. Correlation-based tracking of multiple targets with hierarchical layered structure
CN115205559A (zh) 一种跨域车辆重识别及连续轨迹构建方法
Bai et al. Stereovision based obstacle detection approach for mobile robot navigation
CN106372590A (zh) 一种基于机器视觉的海面船只智能跟踪系统及其方法
Wu et al. A new multi-sensor fusion approach for integrated ship motion perception in inland waterways
CN110458089B (zh) 一种基于高低轨光学卫星观测的海上目标关联系统及方法
Lu et al. Fusion of camera-based vessel detection and ais for maritime surveillance
CN115031718A (zh) 一种多传感器融合的无人船同步定位与建图方法(slam)及系统
Zou et al. Sonar Image Target Detection for Underwater Communication System Based on Deep Neural Network.
CN113484864B (zh) 面向无人艇的航海雷达与光电吊舱协同环境感知方法
CN113392884B (zh) 基于lstm网络和注意力机制的坐标融合方法
CN113589848B (zh) 基于机器视觉的多无人机探测定位跟踪系统及方法
CN115718905A (zh) 一种面向vts系统的多传感器信息融合方法
Zhang et al. Vehicle detection and tracking in remote sensing satellite vidio based on dynamic association
Bloisi et al. A distributed vision system for boat traffic monitoring in the venice grand canal.
CN112767476A (zh) 一种快速定位系统、方法及应用
Chen et al. Research on localization method of driverless car based on fusion of GNSS and laser SLAM
Liu et al. Quadrotor visual navigation under GPS spoofing attack

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant