CN110632589B - 一种雷达光电信息融合技术 - Google Patents

一种雷达光电信息融合技术 Download PDF

Info

Publication number
CN110632589B
CN110632589B CN201910987019.2A CN201910987019A CN110632589B CN 110632589 B CN110632589 B CN 110632589B CN 201910987019 A CN201910987019 A CN 201910987019A CN 110632589 B CN110632589 B CN 110632589B
Authority
CN
China
Prior art keywords
radar
tracking
information
target
photoelectric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910987019.2A
Other languages
English (en)
Other versions
CN110632589A (zh
Inventor
冯博
徐超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN201910987019.2A priority Critical patent/CN110632589B/zh
Publication of CN110632589A publication Critical patent/CN110632589A/zh
Application granted granted Critical
Publication of CN110632589B publication Critical patent/CN110632589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种雷达光电信息融合技术，包括跟踪模式选择算法、雷达信息与视频信息深度匹配算法、像素坐标系与世界坐标系关系的建立、船只相对位置特征向量的构成、基于图像信息的光电平滑跟踪和基于雷达信息的光电平滑跟踪算法，所述跟踪模式选择算法通过判断跟踪方式切换信号flag的值，选择雷达唤醒光电进行图像识别跟踪或者平滑逼近控制算法跟踪。本发明通过采用雷达信息与视频信息深度匹配算法，并将雷达唤醒光电进行图像识别跟踪或者平滑逼近控制算法跟踪进行融合，可以根据实际跟踪情况适当切换合适的跟踪方法，同时雷达信息与视频信息深度匹配算法可以保证不会跟错目标，跟踪效果好，跟踪精度高，便于使用。

Description

一种雷达光电信息融合技术
技术领域
本发明涉及雷达探测相关技术领域，具体为一种雷达光电信息融合技术。
背景技术
雷达是通过蝙蝠进而发明的，是英文Radar的音译，源于radio detection andranging的缩写，意思为“无线电探测和测距”，即用无线电的方法发现目标并测定它们的空间位置。因此，雷达也被称为“无线电定位”。雷达是利用电磁波探测目标的电子设备。雷达发射电磁波对目标进行照射并接收其回波，由此获得目标至电磁波发射点的距离、距离变化率(径向速度)、方位、高度等信息，现有的雷达探测系统供应商普遍采用的雷达引导光电方式可以归纳为以下两种：雷达唤醒光电进行图像识别跟踪（基于图像处理）和平滑逼近控制算法跟踪（基于雷达航迹）。
但是，现有的雷达唤醒光电进行图像识别跟踪（基于图像处理）在目标视频画面受到遮挡、画面中出现多个运动目标、或是该目标运动速度很慢时，视频跟踪将会失败，平滑逼近控制算法跟踪（基于雷达航迹）很难保证目标在画面中心，由于雷达探测误差以及探测周期的限制，这种算法很难对有一定机动性的目标做平滑跟踪，目标在作加速、减速运动或大角度转弯时CCTV会跟丢目标。
发明内容
本发明的目的在于提供一种雷达光电信息融合技术，以解决上述背景技术中提到的现有的雷达唤醒光电进行图像识别跟踪（基于图像处理）在目标视频画面受到遮挡、画面中出现多个运动目标、或是该目标运动速度很慢时，视频跟踪将会失败，平滑逼近控制算法跟踪（基于雷达航迹）很难保证目标在画面中心，由于雷达探测误差以及探测周期的限制，这种算法很难对有一定机动性的目标做平滑跟踪，目标在作加速、减速运动或大角度转弯时CCTV会跟丢目标的问题。
为实现上述目的，本发明提供如下技术方案：一种雷达光电信息融合技术，包括跟踪模式选择算法、雷达信息与视频信息深度匹配算法、像素坐标系与世界坐标系关系的建立、船只相对位置特征向量的构成、基于图像信息的光电平滑跟踪和基于雷达信息的光电平滑跟踪算法。
优选的，所述跟踪模式选择算法通过判断跟踪方式切换信号flag的值，选择雷达唤醒光电进行图像识别跟踪或者平滑逼近控制算法跟踪，其中flag=1时，启动雷达唤醒光电进行图像识别跟踪，当flag=2时，则启动平滑逼近控制算法跟踪。
优选的，所述雷达信息与视频信息深度匹配算法用于读取当前帧的视频图像中船只在图像中的位置，同时读取雷达探测当前帧所有船只的航迹信息，然后将视频中的船只与雷达中的船只做特征匹配并在视频中识别待跟踪目标。
优选的，所述像素坐标系与世界坐标系关系的建立用于将视频中的图像投影到世界坐标系中，主要经过如下几个步骤：图像像素坐标系转换到图像物理坐标系、图像物理坐标系转换到相机坐标系、相机坐标系转换到世界坐标系。
优选的，所述船只相对位置特征向量的构成用于构件跟踪船只与其他船只以及光电设备之间的相对位置，其构成方法为：船只的中心点到其他船只的以及光电设备的距离和与正北方向的夹角组成一组特征向量。
优选的，所述基于图像信息的光电平滑跟踪通过视频图像内的信息，提取目标轮廓并更新目标特征，并计算出目标的PTZ，同时接收目标的雷达航迹，并根据目标雷达航迹计算出目标的PTZ，根据目标雷达航迹计算出目标的PTZ判断是否需要更改跟踪方式。
优选的，所述基于雷达信息的光电平滑跟踪算法根据雷达航迹读取目标位置，并计算出目标的PTZ，并实时更新目标的PTZ，同时查看系统时间，当系统时间间隔大于10分钟时，则切换跟踪方式。
本发明提供了一种雷达光电信息融合技术，具备以下有益效果：
本发明通过采用雷达信息与视频信息深度匹配算法，并将雷达唤醒光电进行图像识别跟踪或者平滑逼近控制算法跟踪进行融合，当光电设备按照雷达指示瞄准目标后，如果视频画面中有多艘船只，这时可以通过雷达信息与视频信息深度匹配算法在视频中多艘船只中识别出雷达指示的目标，当目标船只被其他船只遮挡以后，可以通过雷达信息与视频信息深度匹配算法可以发现视频中没有雷达指示的目标船只出现，立刻切换为基于雷达航迹信息的平滑跟踪。之后目标船只不再被遮挡时光电设备不会跟错目标，跟踪效果好，跟踪精度高，便于使用。
附图说明
图1为本发明的跟踪模式选择算法流程图；
图2为本发明的雷达信息与视频信息深度匹配算法流程图；
图3为本发明的像素坐标系与世界坐标系关系的建立示意图；
图4为本发明的像素坐标系与世界坐标系关系的建立过程示意图；
图5为本发明的船只相对位置特征向量构成示意图；
图6为本发明的基于图像信息的光电平滑跟踪算法流程图；
图7为本发明的基于雷达信息的光电平滑跟踪算法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例:
如图1-7所示，本发明提供一种技术方案：一种雷达光电信息融合技术，包括跟踪模式选择算法、雷达信息与视频信息深度匹配算法、像素坐标系与世界坐标系关系的建立、船只相对位置特征向量的构成、基于图像信息的光电平滑跟踪和基于雷达信息的光电平滑跟踪算法。
如图1所示，所述跟踪模式选择算法通过判断跟踪方式切换信号flag的值，选择雷达唤醒光电进行图像识别跟踪或者平滑逼近控制算法跟踪，其中flag=1时，启动雷达唤醒光电进行图像识别跟踪，当flag=2时，则启动平滑逼近控制算法跟踪，在利用雷达唤醒光电进行图像识别跟踪算法时，视频输入后，首先对视频的模糊度进行计算，当视频模糊时，开启雾透模式，然后再次判断视频是否模糊，若视频模糊则切换到基于雷达信息的光电平滑跟踪算法，若视频不模糊，则提取船只目标，并计算视频中船只的数量a，若数量a>1，则启动雷达信息与视频信息深度匹配算法在视频中多艘船只中识别出雷达指示的目标，若雷达指示的目标与视频目标不一致，则切换到基于雷达信息的光电平滑跟踪算法，若雷达指示的目标与视频目标一致则发送目标船只特征并开启基于视频图像信息的光电平滑跟踪；若a
Figure 310726DEST_PATH_IMAGE002
1，则综合光电参数选择雷达目标一定范围的航迹信息，并计算范围内的船只个数b,若a与b大致相等，则启动雷达信息与视频信息深度匹配算法，在视频中确定跟踪的目标船只，并发送目标船只特征同时开启基于视频图像信息的光电平滑跟踪，若若a与b不相等，则切换到基于雷达信息的光电平滑跟踪算法。
如图2所示，所述雷达信息与视频信息深度匹配算法首先读取当前帧的视频图像中船只在图像中的位置，并将视频中的船只投影到世界坐标系中，然后将船只在世界坐标系中的坐标对应到经纬度坐标中，船只和其他船只的相对位置以及船只和光电设备的相对位置构成特征向量；同时读取雷达探测当前帧所有船只的航迹信息，提取待跟踪目标的经纬度，根据目标到光电的距离以及光电设备的焦距，读取一定范围内的所有船只的坐标（经纬度），船只和其他船只的相对位置以及船只和光电设备的相对位置构成特征向量；然后将视频中的船只与雷达中的船只做特征匹配并在视频中识别待跟踪目标，可以通过雷达信息与视频信息深度匹配算法在视频中多艘船只中识别出雷达指示的目标，同时可以发现视频中没有雷达指示的目标船只出现，立刻切换为基于雷达航迹信息的光电平滑跟踪算法。
所述像素坐标系与世界坐标系关系的建立用于将视频中的图像投影到世界坐标系中，如图3-图4所示，其中相机的内参数是六个分别为：1/dx、1/dy、r、u0、v0、f；dx和dy表示：x方向和y方向的一个像素分别占多少长度单位，即一个像素代表的实际物理值的大小，其是实现图像物理坐标系与像素坐标系转换的关键；u0，v0表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。f为图像中心到摄像机中心的距离，r为摄像机的畸变系数；
相机的外参数是6个：三个轴的旋转参数分别为（ω、δ、θ）,然后把每个轴的3*3旋转矩阵进行组合（即先矩阵之间相乘），得到集合三个轴旋转信息的R，其大小还是3*3；T的三个轴的平移参数（Tx、Ty、Tz）。R、T组合成成的3*4的矩阵，其是转换到标定纸坐标的关键；
相机的u0，v0是固定，相机的畸变系数r是固定的，也从相机参数直接得到，dx和dy可以通过f、u0、v0、Tx、Ty、Tz这6个参数计算获得；ω、δ、θ可以从云台参数获得，Tx、Ty、Tz可以从雷达信息计算获得；图像中心到摄像机中心的距离f需要根据不同的相机不同的放大倍镜标定获得；
主要经过如下几个步骤：图像像素坐标系转换到图像物理坐标系、图像物理坐标系转换到相机坐标系、相机坐标系转换到世界坐标系。
船只相对位置特征向量的构成用于构件跟踪船只与其他船只以及光电设备之间的相对位置，其构成方法为：船只的中心点到其他船只的以及光电设备的距离和与正北方向的夹角组成一组特征向量，如图5为例：设有三艘船只A、B、C已知三艘船的坐标位置以及光电设备的坐标位置，A船的特征向量为（a，α，b，β，c，γ）。
如图6所示，所述基于图像信息的光电平滑跟踪通过视频图像内的信息，提取目标轮廓并更新目标特征，并计算出目标的PTZ，同时接收目标的雷达航迹，并根据目标雷达航迹计算出目标的PTZ，根据目标雷达航迹计算出目标的PTZ判断是否需要更改跟踪方式；
如图7所示，基于雷达信息的光电平滑跟踪算法根据雷达航迹读取目标位置，并计算出目标的PTZ，并实时更新目标的PTZ，同时查看系统时间，当系统时间间隔大于10分钟时，则切换跟踪方式。
本发明采用雷达信息与视频信息深度匹配算法，并将雷达唤醒光电进行图像识别跟踪或者平滑逼近控制算法跟踪进行融合，当光电设备按照雷达指示瞄准目标后，如果视频画面中有多艘船只，这时可以通过雷达信息与视频信息深度匹配算法在视频中多艘船只中识别出雷达指示的目标，当目标船只被其他船只遮挡以后，可以通过雷达信息与视频信息深度匹配算法可以发现视频中没有雷达指示的目标船只出现，立刻切换为基于雷达航迹信息的平滑跟踪。之后目标船只不再被遮挡时光电设备不会跟错目标，跟踪效果好，跟踪精度高，便于使用。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种雷达光电信息融合技术，其特征在于，包括跟踪模式选择算法、雷达信息与视频信息深度匹配算法、像素坐标系与世界坐标系关系的建立、船只相对位置特征向量的构成、基于图像信息的光电平滑跟踪和基于雷达信息的光电平滑跟踪算法；
所述像素坐标系与世界坐标系关系的建立用于将视频中的图像投影到世界坐标系中，主要经过如下几个步骤：图像像素坐标系转换到图像物理坐标系、图像物理坐标系转换到相机坐标系、相机坐标系转换到世界坐标系；
所述船只相对位置特征向量的构成用于构件跟踪船只与其他船只以及光电设备之间的相对位置，其构成方法为：船只的中心点到其他船只的以及光电设备的距离和与正北方向的夹角组成一组特征向量；
所述基于图像信息的光电平滑跟踪通过视频图像内的信息，提取目标轮廓并更新目标特征，并计算出目标的PTZ，同时接收目标的雷达航迹，并根据目标雷达航迹计算出目标的PTZ，根据目标雷达航迹计算出目标的PTZ判断是否需要更改跟踪方式；
所述基于雷达信息的光电平滑跟踪算法根据雷达航迹读取目标位置，并计算出目标的PTZ，并实时更新目标的PTZ，同时查看系统时间，当系统时间间隔大于10分钟时，则切换跟踪方式。
2.根据权利要求1所述的一种雷达光电信息融合技术，其特征在于：所述跟踪模式选择算法通过判断跟踪方式切换信号flag的值，选择雷达唤醒光电进行图像识别跟踪或者平滑逼近控制算法跟踪，其中flag＝1时，启动雷达唤醒光电进行图像识别跟踪，当flag＝2时，则启动平滑逼近控制算法跟踪。
3.根据权利要求1所述的一种雷达光电信息融合技术，其特征在于：所述雷达信息与视频信息深度匹配算法用于读取当前帧的视频图像中船只在图像中的位置，同时读取雷达探测当前帧所有船只的航迹信息，然后将视频中的船只与雷达中的船只做特征匹配并在视频中识别待跟踪目标。
CN201910987019.2A 2019-10-17 2019-10-17 一种雷达光电信息融合技术 Active CN110632589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910987019.2A CN110632589B (zh) 2019-10-17 2019-10-17 一种雷达光电信息融合技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910987019.2A CN110632589B (zh) 2019-10-17 2019-10-17 一种雷达光电信息融合技术

Publications (2)

Publication Number Publication Date
CN110632589A CN110632589A (zh) 2019-12-31
CN110632589B true CN110632589B (zh) 2022-12-06

Family

ID=68975356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910987019.2A Active CN110632589B (zh) 2019-10-17 2019-10-17 一种雷达光电信息融合技术

Country Status (1)

Country Link
CN (1) CN110632589B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190156B (zh) * 2020-01-08 2022-04-22 中国船舶重工集团公司第七二四研究所 基于雷达和光电的低慢小目标与海面小目标识别方法
CN111968046B (zh) * 2020-07-21 2024-02-23 南京莱斯网信技术研究院有限公司 一种基于拓扑结构的雷达光电传感器目标关联融合方法
CN114326828A (zh) * 2020-09-30 2022-04-12 中国电子科技集团公司第五十四研究所 一种地面目标的跟踪方法、电子设备以及计算机存储介质
CN112799051B (zh) * 2020-12-24 2022-12-09 济南和普威视光电技术有限公司 一种低慢小目标的自动捕获跟踪方法及系统
CN114299107A (zh) * 2021-10-28 2022-04-08 安徽瞭望科技有限公司 一种水域探测系统中多光电智能跟踪方法
CN114119676B (zh) * 2022-01-24 2022-08-09 西安羚控电子科技有限公司 基于多特征信息融合的目标检测跟踪识别方法和系统
CN114187328B (zh) * 2022-02-15 2022-07-05 智道网联科技(北京)有限公司 一种物体检测方法、装置和电子设备
CN115808683B (zh) * 2023-02-08 2023-04-07 安徽隼波科技有限公司 一种雷达光电联动跟踪方法
CN115856875A (zh) * 2023-02-20 2023-03-28 和普威视光电股份有限公司 一种基于雷达光电联动的船高测量方法、系统及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890274A (zh) * 2011-07-20 2013-01-23 镇江光宁航海电子科技有限公司 一种船用导航雷达arpa目标跟踪方法
CN109085570A (zh) * 2018-06-10 2018-12-25 南京理工大学 基于数据融合的车辆检测跟踪算法
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101901939B1 (ko) * 2016-06-14 2018-09-27 한국전자통신연구원 해상 교통 정보 관제 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890274A (zh) * 2011-07-20 2013-01-23 镇江光宁航海电子科技有限公司 一种船用导航雷达arpa目标跟踪方法
CN109085570A (zh) * 2018-06-10 2018-12-25 南京理工大学 基于数据融合的车辆检测跟踪算法
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法

Also Published As

Publication number Publication date
CN110632589A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
CN110632589B (zh) 一种雷达光电信息融合技术
EP3469306B1 (en) Geometric matching in visual navigation systems
CN111523465B (zh) 基于摄像机标定及深度学习算法的船舶身份识别系统
CN109212545A (zh) 基于主动视觉的多信源目标跟踪测量系统及跟踪方法
CN112016483B (zh) 目标检测的接力系统、方法、装置及设备
CN105225251B (zh) 基于机器视觉的超视距海上运动目标快速识别与定位装置及方法
CN112346096B (zh) 一种高低轨遥感卫星舰船目标航迹与点迹关联方法及系统
CN114509070B (zh) 一种无人机导航定位方法
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
Kumar et al. Radar and camera sensor fusion with ROS for autonomous driving
CN117406234A (zh) 基于单线激光雷达与视觉融合的目标测距和追踪的方法
CN114519845A (zh) 多传感数据融合方法、装置、计算机设备和存储介质
Kim et al. Deep-learning based multi-object detection and tracking using range-angle map in automotive radar systems
CN113850864B (zh) 一种面向室外移动机器人的gnss/lidar回环检测方法
CN115932834A (zh) 一种基于多源异构数据融合的反无人机系统目标检测方法
WO2023275544A1 (en) Methods and systems for detecting vessels
CN111292367B (zh) 一种基线可变的双目相机深度图生成方法
CN116805324A (zh) 一种跟踪对象检测方法、装置、设备及计算机存储介质
CN114442083A (zh) 一种基于视觉与多源雷达的自适应加权数据融合方法
CN110738706B (zh) 一种基于航迹推测的快速机器人视觉定位方法
CN116027319A (zh) 一种基于雷达光电目标融合的雷达自动标注系统及方法
CN110865368A (zh) 一种基于人工智能的雷达视频数据融合方法
CN117974766B (zh) 基于时空依据的分布式双红外传感器多目标同一性判定方法
CN111931638B (zh) 一种基于行人重识别的局部复杂区域定位系统及方法
CN117593650B (zh) 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant