CN113850848B - 无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法 - Google Patents
无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法 Download PDFInfo
- Publication number
- CN113850848B CN113850848B CN202111131301.4A CN202111131301A CN113850848B CN 113850848 B CN113850848 B CN 113850848B CN 202111131301 A CN202111131301 A CN 202111131301A CN 113850848 B CN113850848 B CN 113850848B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- tracking
- ship
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000000007 visual effect Effects 0.000 title claims abstract description 23
- 230000007774 longterm Effects 0.000 title claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 239000013598 vector Substances 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 16
- 230000011218 segmentation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000004873 anchoring Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/937—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of marine craft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Ocean & Marine Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法，包括：读取雷达图像与视觉传感器图像信息并进行预处理和深度处理；通过获取得到的雷达图像的比例尺，获取无人艇周围环境中的障碍物的距离、方位等；读取到障碍物目标信息控制视觉传感器旋转到障碍物方向，读取摄像机图像，使用YOLOv5s算法对无人艇航行环境中的障碍物进行检测，检测出无人艇航行环境中的海面船只；对视觉传感器中检测到目标船只使用卡尔曼滤波和匈牙利算法进行目标跟踪；通过目标检测算法得到目标在视觉图像中的位置信息控制云台转动实现长期的目标检测和跟踪，在出现短期和长期目标丢失时，采用记忆追踪和航海雷达辅助云台追踪的方案。
Description
技术领域
本发明涉及无人艇的智能感知与自主理解领域，尤其涉及一种无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法。
背景技术
无人艇在自主航行的过程当中，最为重要的是对航行海域环境信息地获取。目前路径规划多通过电子海图获取环境信息，电子海图对于航行环境中固定不变的碍航物显示较为准确，但是其无法显示在海面上动态移动的碍航物，包括渔船、游艇等船只目标。为解决这一问题，通过无人艇搭载雷达对航行过程中的实时信息进行获取。使用航海雷达可以达到一定的准确性，但是航海雷达容易受到海浪的影响，并且雷达无法对航行环境中的船只进行检测，而视觉传感器存在一般角度固定，不能对目标进行准确搜索。
发明内容
根据现有技术存在的问题，本发明公开了一种无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法，具体包括如下步骤：
读取搭载在无人艇上的航海雷达和视觉传感器采集到的目标船只的航行状态信息获取雷达图像和视觉传感器图像；
对雷达图像进行降像素、平滑和灰度处理，再对得到的图像进行连通域提取和面积滤波处理获得雷达清晰图像；
对雷达清晰图像进行障碍物轮廓提取，采用OpenCV库中的轮廓提取函数提取图像中的障碍物轮廓并求取障碍物质心，根据障碍物质心获取障碍物与无人艇的距离和方位信息；
基于所述距离和方位信息控制视觉传感器旋转到障碍物方向，读取视觉传感器图像，采用YOLOv5s算法对无人艇航行环境中的障碍物进行检测，获取无人艇航行环境中的目标船只；
采用卡尔曼滤波算法对视觉传感器中检测到的目标船只进行目标跟踪；
当视觉传感器中心检测到目标船只后，利用检测框中心点横坐标位置与图像中心点位置之间的差值控制云台的转动，从而对目标船只进行长期跟踪。
进一步的，所述采用卡尔曼滤波算法对视觉传感器中检测到的目标船只进行目标跟踪时，具体采用如下方式：
使用8维向量对图像中船只目标轨迹进行描述，其中(μ,ν)为预测框的中心坐标位置，框体的长宽比为γ，框体高度为h和这四个参数的速度信息使用卡尔曼滤波对跟踪轨迹信息进行预测，卡尔曼滤波器使用匀速模型和线性观测模型，观测向量选取为(μ,ν,γ,h)；
利用马氏距离的运动匹配和方向梯度直方图特征的二范数的融合值，对船只目标的预测位置和检测位置进行相似性的度量匹配；
对一个均值是μ，协方差阵为∑的随机变量，马氏距离M计算如下式所示：
使用马氏距离对船只目标的检测位置与卡尔曼滤波的跟踪信息进行运动匹配程度的计算：
式中d1(i,j)为第i条轨迹和第j个检测框间的运动匹配程度，为第i条轨迹卡尔曼滤波预测得到的协方差预测矩阵，yi为第i条轨迹状态向量，dj为第j个检测框状态向量；
对预测位置和检测位置进行相似性的度量匹配，即度量值d1(i,j)；
根据检测位置得到检测框、根据预测位置得到跟踪框，提取检测框和跟踪框之间的HOG特征归一化的向量，使用欧式距离对未匹配的检测框和跟踪框进行匹配，求取这两个向量间的欧氏距离，即对这两个向量的差向量的最大奇异值进行提取，即差向量的二范数，如果差向量的二范数越小，则两向量所代表的轮廓越相似：
d2(i,j)＝norm(Hi-H'j,2)
d2(i,j)为未匹配的第j个检测框和第i个跟踪框的HOG特征向量之间的欧式距离，Hi表示未匹配的第i个跟踪框的HOG特征的归一化向量，H'j表示未匹配的第j个检测框的HOG特征的归一化向量；
通过这两个度量值之间的融合值进行匈牙利匹配，融合值计算如下：
a＝λd1(i,j)+(1-λ)d2(i,j)
通过融合值表示检测框与跟踪框的匹配程度，设当前检测框由J个，轨迹有L条，能够获得一个L×J的目标匹配矩阵CL×J，使用匈牙利匹配算法找到匹配数量最大且匹配成功的全部检测框与轨迹的马氏距离之和最小的匹配方案；
进一步的，匈牙利匹配算法具体步骤如下：
(1)建立目标匹配矩阵CL×J。
(2)矩阵CL×J每行减去其最小元素，每行都会出现至少一个零元素，处理后矩阵变为C1。
(3)将C1中每列减去其最小元素，每列都会出现至少一个零元素，处理后矩阵变为C2。
(4)使用最少的直线对C2中零元素进行覆盖，如果这时直线条数和min{L,J}相等，转入(6)，反之转入(5)。
(5)找到C2中没有被(4)中直线覆盖的全部元素及其最小值a，未被覆盖元素所在行均减去a，覆盖的元素所在列加a，并返回(4)。
(6)从零元素最少行或列开始进行分配，直至分配结束，即可得到最优方案。如果每行每列都存在零元素，但只有找到L或者J个独立的零元素时，才是最优的匹配方案。寻找最优匹配方案步骤如下：
1)先选取只包含一个零元素的行，标记该零元素所在列包含的其他零元素为D，该零元素被标记为E。
2)再选取只包含一个零元素的列，标记该零元素所在行包含的其他零元素为D，该零元素被标记为E。
3)重复1和2两个步骤至不存在只包含一个零元素未被标记为D或E的行或列。
4)从剩下包含零元素最少的行或列中，选取零元素最少列的零元素标记为E，此元素同行与列的其他零元素均标记为D，直至全部零元素都被标记为D或E。
5)若被标记为E的零元素的个数为min{L,J}，则找到最优分配方案。
若一条轨迹较长时间被遮挡，则卡尔曼滤波器只能进行状态预测并未进行估计更新，则会产生概率弥散。只进行状态预测而未进行估计更新会导致协方差矩阵方差越来越大，这样可能让均值距离较远的点和分布中离的较近的点在马氏距离上相同，这将使马氏距离在对运动信息进行刻画时对轨迹的归类产生错误，进而导致检测框被分配至丢失时间长的轨迹而非时间上最近的轨迹。
通过使用级联匹配的方式消除上述情况对匹配的影响，将在时间上临近的几帧中出现船只目标赋予较高的分配权利，并对每一条的轨迹使用一个数值a记录该轨迹上次匹配成功到此刻的时间，设置阈值，如果a大于该阈值则认为轨迹结束。故每次匹配均为a相同的前提下进行考虑，解决上述问题。
在跟踪框与检测框匹配成功后，通过跟踪框得到船只目标图像跟踪结果，使用跟踪框能够避免船只被遮挡等问题导致检测框丢失而导致船只目标检测跟踪失败的问题。
由于采用了上述技术方案，本发明提供的一种无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法，该方法通过读取雷达实时图像和拍摄到的视觉传感器图像的相关信息后对雷达图像进行处理分析，得到航行环境中碍航物的方位和距离信息。通过获取得到的方位，调控制整视觉传感器的角度，并在视觉传感器上实现对海上船只目标的检测与跟踪。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的流程图；
图2为本发明中基于雷达图像预处理及深度处理流程图；
图3为本发明中基于雷达图像障碍物信息提取流程图；
图4为本发明中海上船只目标检测流程图；
图5为本发明中图像中船只目标跟踪步骤流程图；
图6为本发明中通过航海雷达协同视觉图像控制云台追踪的流程图；
图7为本发明中雷达和视觉传感器的位置关系图；
图8为本发明中雷达和视觉传感器等搭建连接图；
图9为本发明中对目标船只进行跟踪过程说明图。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
本发明公开的方法在实施前需要搭建实施装置，具体包括如下步骤：
S1：在无人艇上方搭载Simrad的嵌入式4G固态雷达，在雷达下方搭载着视觉传感器和移动云台，型号为海康威视DS-2DF7286，其自带可用485控制的云台，二者之间的位置关系如图7所示；
S2：雷达与控制计算机之间通过网络接口连接；
S3：视觉传感器与控制计算机之间通过AV转USB之间连接；
S4：惯性导航系统选取型号为XW-GI5631，云台和惯性导航系统通过串口转USB与控制计算机连接，各传感器与控制计算机连接如图8所示，实现了对本发明装置的搭建。
如图1所示的一种无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法，具体包括如下步骤：
S1：读取雷达图像与视觉传感器图像信息，对雷达图像与视觉传感器图像进行预处理和深度处理，具体处理方式如下：
(1)雷达图像旋转
视觉传感器的起始位置与航向位置保持一致，并使用仿射变换使雷达图像的正方向与无人艇的航向方向保持一致。
(2)雷达图像处理
为确保获取的信息准确，雷达图像需先进行处理后再进行信息提取。对雷达图像处理的步骤图如图2所示，需要先对雷达图像进行降像素、平滑处理、灰度处理等预处理，之后再进行连通域提取与面积滤波的深度处理。
进一步的如下：
1.降像素
由于雷达设备和图像数据采集软件采集得到的雷达图像，每张图片的分辨率较高，像素较高，导致计算机处理每张图片所需时间较长，无人艇需要对海上船只目标进行实时检测与跟踪，故需要缩短处理雷达图像所需时间，因此对获取到的雷达图像需进行降像素处理，在保证原有雷达图像的轮廓不变的情况下，降低了雷达图像的像素，提升了处理速度。
雷达图像降像素处理采用基于双线性插值法，该方法公式如下所示：
f(i+u,j+v)＝(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)
式中f(i,j)表示雷达原图像在(i,j)处像素值，i、j均为非负整数，u、v则是在区间[0,1)中的浮点数。通过该方法将雷达原图像像素降至计算机实时处理的像素范围内。
2.平滑处理
雷达图像易受到传感器、海杂波等因素的影响，故采集到的图像上容易出现一些亮度变化较大的点即噪声。为在提取目标时将这些噪声的影响降到最低，修补支离破碎的图像，提升在目标提取的准确度，对降像素后的图像进行平滑处理。在此处采用高斯滤波的方法进行平滑处理。
3.灰度化、阈值分割
为了进一步提升雷达图像的处理速度，降低处理过程中对计算机的资源占用，故将平滑处理后的图像进行灰度化。将图像由彩色图像转换到灰度图像的公式如下：
RGB-＞Gray:Y＝0.299*R+0.587*G+0.114*B
同时，为了使目标轮廓更为明显，便于后续处理，对灰度化处理的图像采用阈值分割的方法。灰度化处理后的雷达图像像素点的灰度值只为0和255，雷达图像上呈现出黑白两种效果，为使目标轮廓在图像上凸显出来，降低要处理的数据量。采用门限分割法来进行阈值分割。
4.连通域提取
对经过阈值分割后的图像提取图像中的连通区域，为后续的处理做准备。连通区域提取方法主要通过系统性地扫描图像直至扫描到连通区域中的一个点，并以其为起始点，跟踪其的轮廓，并对边界上的像素进行标记。当轮廓完整闭合时，扫描将回到上一个位置，直至再次发现新的成分。之后将轮廓当中里面的像素点进行填充，便能够形成完整的连通区域，之后便能够对连通区域进行求质心等操作。
5.面积滤波
经过降像素处理、平滑处理、灰度化、阈值分割和连通域提取后的图像，已经剔除了图像当中的大部分噪声，但仍然存在许多面积较小的噪声块。此类噪声与实际目标的像素块相比较小。故对阈值分割后的图像中的每个连通域进行遍历，求取每个连通域的像素面积，并设定一个阈值，将每个连通域的像素进行比较，将像素面积小于预设阈值的连通区域剔除，仅将像素面积较大的连通区域留下，从而实现面积滤波，根据面积滤波后的雷达图像提取障碍物信息，其过程如图3。
S2：通过S1中处理得到的图像雷达图像的比例尺，获取无人艇周围环境中的障碍物的距离、方位等信息；
(1)障碍物的轮廓提取：
S1处理后的图片需要进行轮廓提取，便于后续进行质心计算。对S1处理后图像使用OpenCV库中的轮廓提取函数将图像中障碍物轮廓提取出来
(2)障碍物质心求取：
先求取障碍物轮廓区域内几何距，
通过计算M00、M01、M10来得到障碍物区域质心(x,y)，公式如下：
(3)障碍物与本船距离及方位计算：
计算得到障碍物质心像素坐标(u1,v1)后，已知本船在雷达图像中的像素坐标(u0,v0)后，通过计算得到本船与障碍物之间的距离与方位。
无人艇与障碍物之间的距离l计算如下：
无人艇与障碍物之间的方位θ(θ为以船航向为零方向，顺时针方向为正)计算如下：
分为以下几种情况：
1.
2.
3.
4.
5.
根据障碍物与无人艇的距离远近决定视觉传感器转向距离无人艇最近船只的θ角的大小，同时通过目标距离控制视觉传感器焦距的变化。最后控制视觉传感器转向对应障碍物进行目标船只的检测与跟踪。
S3：利用读取到的障碍物目标信息控制视觉传感器旋转到障碍物方向，读取摄像机图像，深度学习中的YOLOv5s算法对无人艇航行环境中的障碍物进行检测，检测出无人艇航行环境中的船只，其检测过程如图4，具体采用如下方式：
采集大量船只图片，制作数据集来训练网络：在YOLOv5s的网络中，输入图像在经过网络输入端之后，图像经过Mosaic数据增强，提升对小目标的检测概率。使用自适应锚定框，解决算法中锚定框大小固定的问题，同时采用自适应图片缩放的方式，对输入的图像添加最少的黑边，解决以往算法中添加黑边较多，影响检测效果的问题。
在网络的Bockbone当中，采用了Focus结构和CSP结构，在YOLOv5s中有两种CSP结构，分别用在Backbone和Neck网络当中。在网络的Neck当中，采用CSP结构，加强网络特征融合的能力。
在网络的输出端，采用GIoU损失函数作为Bounding box的损失函数，最后采用非极大值抑制的方式从预测边界框中检测到目标所在的位置。
S4：对视觉传感器中检测到的目标船只使用卡尔曼滤波算法进行目标跟踪，其跟踪过程如图5，具体包括如下方式：
使用8维向量对图像中船只目标轨迹进行描述，其中(μ,ν)为预测框的中心坐标位置，框体的长宽比为γ，框体高度为h和这四个参数的速度信息使用卡尔曼滤波对跟踪轨迹信息进行预测。因在船载视觉传感器中前后帧图像所记录运动目标在实际物理空间的运动不会产生突变，故可近似认为其为线性匀速运动。故卡尔曼滤波器使用匀速模型和线性观测模型，观测向量选取为(μ,ν,γ,h)。
在卡尔曼滤波得到预测位置信息后，利用马氏距离的运动匹配和方向梯度直方图特征的二范数的融合值，对预测位置和检测位置进行相似性的度量匹配。
马氏距离是一种能够衡量两个来自统一分部的样本的相似性，能够把马氏距离用于定义两个服从统一分布并且协方差矩阵是∑的随机变量间的差异程度。故对一个均值是μ，协方差阵为∑的随机变量，马氏距离M计算如下式所示：
马氏距离能在不受量纲影响下对两向量间的相似性程度进行计算，故使用马氏距离对目标检测信息与卡尔曼滤波的跟踪信息运动匹配程度进行表示，计算如下式所示：
式中d1(i,j)为第i条轨迹与第j个检测框间的运动匹配程度为第i条轨迹卡尔曼滤波预测得到的协方差预测矩阵，yi为第i条轨迹状态向量，dj为第j个检测框状态向量。
用未匹配的检测框和跟踪框之间提取HOG特征归一化后向量的欧式距离来对进行匹配，求取这两个向量间的欧氏距离相当于对这两个向量的差向量的最大奇异值进行提取，即差向量的二范数。其值越小，则两向量所代表的轮廓越相似。
d2(i,j)＝norm(Hi-H'j,2)
d2(i,j)是未匹配的第j个检测框和第i个跟踪框的HOG特征向量之间的欧式距离，Hi表示未匹配的第i个跟踪框的HOG特征的归一化向量，H'j表示未匹配的第j个检测框的HOG特征的归一化向量。
最后通过这两个度量值之间的融合值进行匈牙利匹配。融合值计算如下：
a＝λd1(i,j)+(1-λ)d2(i,j)
通过融合值表示检测框与跟踪框的匹配程度，设当前检测框由J个，轨迹有L条，能够获得一个L×J的目标匹配矩阵CL×J，使用匈牙利匹配算法找到匹配数量最大且匹配成功的全部检测框与轨迹的马氏距离之和最小的匹配方案。算法具体步骤如下：
(1)建立目标匹配矩阵CL×J。
(2)矩阵CL×J每行减去其最小元素，每行都会出现至少一个零元素，处理后矩阵变为C1。
(3)将C1中每列减去其最小元素，每列都会出现至少一个零元素，处理后矩阵变为C2。
(4)使用最少的直线对C2中零元素进行覆盖，如果这时直线条数和min{L,J}相等，转入(6)，反之转入(5)。
(5)找到C2中没有被(4)中直线覆盖的全部元素及其最小值a，未被覆盖元素所在行均减去a，覆盖的元素所在列加a，并返回(4)。
(6)从零元素最少行或列开始进行分配，直至分配结束，即可得到最优方案。如果每行每列都存在零元素，但只有找到L或者J个独立的零元素时，才是最优的匹配方案。寻找最优匹配方案步骤如下：
1)先选取只包含一个零元素的行，标记该零元素所在列包含的其他零元素为D，该零元素被标记为E。
2)再选取只包含一个零元素的列，标记该零元素所在行包含的其他零元素为D，该零元素被标记为E。
3)重复1和2两个步骤至不存在只包含一个零元素未被标记为D或E的行或列。
4)从剩下包含零元素最少的行或列中，选取零元素最少列的零元素标记为E，此元素同行与列的其他零元素均标记为D，直至全部零元素都被标记为D或E。
5)若被标记为E的零元素的个数为min{L,J}，则找到最优分配方案。
若一条轨迹较长时间被遮挡，则卡尔曼滤波器只能进行状态预测并未进行估计更新，则会产生概率弥散。只进行状态预测而未进行估计更新会导致协方差矩阵方差越来越大，这样可能让均值距离较远的点和分布中离的较近的点在马氏距离上相同，这将使马氏距离在对运动信息进行刻画时对轨迹的归类产生错误，进而导致检测框被分配至丢失时间长的轨迹而非时间上最近的轨迹。
通过使用级联匹配的方式消除上述情况对匹配的影响，将在时间上临近的几帧中出现船只目标赋予较高的分配权利，并对每一条的轨迹使用一个数值a记录该轨迹上次匹配成功到此刻的时间，设置阈值，如果a大于该阈值则认为轨迹结束。故每次匹配均为a相同的前提下进行考虑，解决上述问题。
在跟踪框与检测框匹配成功后，通过跟踪框得到船只目标图像跟踪结果，使用跟踪框能够避免船只被遮挡等问题导致检测框丢失而导致船只目标检测跟踪失败的问题。
S5：对视觉传感器中检测到的目标船只中心点位置进行云台跟踪，具体包括如下步骤：当使用YOLOv5s目标检测算法检测目标时，能够得到检测框中心点在整幅图像当中的位置，其余整幅图像的中心点之间存在着一定的差值dx，通过此差值dx可以控制云台转动的方向和速度。云台转动的方向与dx的正负相关，云台转动的速度大小与dx的值相关，具体过程参照图9所示。
以上情况是指目标被检测到时的控制策略，但由于目标检测算法的限制，有可能会出现丢帧的情况，在刚开始丢帧时，启动定时器，若连续丢帧的时间较短时，可采用记忆追踪的方法，即使用最近一次计算出的控制指令来进行控制。若连续丢帧的时间较长，在此读取雷达图像，确定目标位置对云台进行控制，引导其转到目的角度，从而实现长期跟踪，具体过程如图6。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (1)
1.一种无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法，其特征在于包括：
读取搭载在无人艇上的航海雷达和视觉传感器采集到的目标船只的航行状态信息获取雷达图像和视觉传感器图像；
对雷达图像进行降像素、平滑和灰度处理，再对得到的图像进行连通域提取和面积滤波处理获得雷达清晰图像；
对雷达清晰图像进行障碍物轮廓提取，采用OpenCV库中的轮廓提取函数提取图像中的障碍物轮廓并求取障碍物质心，根据障碍物质心获取障碍物与无人艇的距离和方位信息；
基于所述距离和方位信息控制视觉传感器旋转到障碍物方向，读取视觉传感器图像，采用YOLOv5s算法对无人艇航行环境中的障碍物进行检测，获取无人艇航行环境中的目标船只；
采用卡尔曼滤波算法对视觉传感器中检测到的目标船只进行目标跟踪；
当视觉传感器中心检测到目标船只后，利用检测框中心点横坐标位置与图像中心点位置之间的差值控制云台的转动，从而对目标船只进行长期跟踪；
所述采用卡尔曼滤波算法对视觉传感器中检测到的目标船只进行目标跟踪时，具体采用如下方式：
使用8维向量对图像中船只目标轨迹进行描述，其中(μ,ν)为预测框的中心坐标位置，框体的长宽比为γ，框体高度为h和这四个参数的速度信息/>使用卡尔曼滤波对跟踪轨迹信息进行预测，卡尔曼滤波器使用匀速模型和线性观测模型，观测向量选取为(μ,ν,γ,h)；
利用马氏距离的运动匹配和方向梯度直方图特征的二范数的融合值，对船只目标的预测位置和检测位置进行相似性的度量匹配；
对一个均值是μ，协方差阵为∑的随机变量，马氏距离M计算如下式所示：
使用马氏距离对船只目标的检测位置与卡尔曼滤波的跟踪信息进行运动匹配程度的计算：
式中d1(i,j)为第i条轨迹和第j个检测框间的运动匹配程度，为第i条轨迹卡尔曼滤波预测得到的协方差预测矩阵，yi为第i条轨迹状态向量，dj为第j个检测框状态向量；
对预测位置和检测位置进行相似性的度量匹配，即度量值d1(i,j)；
根据检测位置得到检测框、根据预测位置得到跟踪框，提取检测框和跟踪框之间的HOG特征归一化的向量，使用欧式距离对未匹配的检测框和跟踪框进行匹配，求取这两个向量间的欧氏距离，即对这两个向量的差向量的最大奇异值进行提取，即差向量的二范数，如果差向量的二范数越小，则两向量所代表的轮廓越相似：
d2(i,j)＝norm(Hi-H'j,2)
d2(i,j)为未匹配的第j个检测框和第i个跟踪框的HOG特征向量之间的欧式距离，Hi表示未匹配的第i个跟踪框的HOG特征的归一化向量，H'j表示未匹配的第j个检测框的HOG特征的归一化向量；
通过这两个度量值之间的融合值进行匈牙利匹配，融合值计算如下：
a＝λd1(i,j)+(1-λ)d2(i,j)
通过融合值表示检测框与跟踪框的匹配程度，设当前检测框由J个，轨迹有L条，能够获得一个L×J的目标匹配矩阵CL×J，使用匈牙利匹配算法找到匹配数量最大且匹配成功的全部检测框与轨迹的马氏距离之和最小的匹配方案；
当跟踪框与检测框匹配成功后，通过跟踪框得到船只目标图像跟踪结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111131301.4A CN113850848B (zh) | 2021-09-26 | 2021-09-26 | 无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111131301.4A CN113850848B (zh) | 2021-09-26 | 2021-09-26 | 无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113850848A CN113850848A (zh) | 2021-12-28 |
| CN113850848B true CN113850848B (zh) | 2024-04-02 |
Family
ID=78980227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111131301.4A Active CN113850848B (zh) | 2021-09-26 | 2021-09-26 | 无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113850848B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332784A (zh) * | 2021-12-30 | 2022-04-12 | 江苏集萃深度感知技术研究所有限公司 | 基于机器视觉以及雷达的港口船体识别方法 |
| CN114415168A (zh) * | 2022-01-18 | 2022-04-29 | 舟山市质量技术监督检测研究院 | 一种无人水面艇航迹融合方法及装置 |
| CN114228937A (zh) * | 2022-02-28 | 2022-03-25 | 中国海洋大学 | 一种基于波浪滑翔器的船只识别系统 |
| CN114898222B (zh) * | 2022-04-21 | 2024-01-02 | 中国人民解放军91977部队 | 一种舰船目标航迹识别方法及装置 |
| CN115063452B (zh) * | 2022-06-13 | 2024-03-26 | 中国船舶重工集团公司第七0七研究所九江分部 | 一种针对海上目标的云台摄像头跟踪方法 |
| CN116360492B (zh) * | 2023-04-03 | 2024-01-30 | 北京科技大学 | 一种扑翼飞行机器人目标跟踪方法及系统 |
| CN117193305B (zh) * | 2023-09-21 | 2024-06-07 | 中兵智能创新研究院有限公司 | 一种复杂海况水陆航行器自主跟随感知追踪方法及设备 |
| CN117095161B (zh) * | 2023-10-20 | 2023-12-22 | 云南联合视觉科技有限公司 | 一种向量化编码的旋转目标检测方法及装置 |
| CN117237199B (zh) * | 2023-11-15 | 2024-01-26 | 中国科学院长春光学精密机械与物理研究所 | 基于无人机航拍生成模拟gmti雷达图像的方法 |
| CN118429388B (zh) * | 2024-06-28 | 2024-09-13 | 深圳市浩瀚卓越科技有限公司 | 基于图像处理的视觉追踪方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184816A (zh) * | 2015-08-18 | 2015-12-23 | 江苏科技大学 | 基于usv的视觉检测和水面目标追踪系统及其检测追踪方法 |
| CN109001725A (zh) * | 2018-06-07 | 2018-12-14 | 中国人民解放军海军工程大学 | 一种海上无人艇海上多目标跟踪方法 |
| CN111157982A (zh) * | 2019-11-20 | 2020-05-15 | 智慧航海（青岛）科技有限公司 | 基于岸基雷达的智能船舶船岸协同目标跟踪系统和方法 |
| CN113269098A (zh) * | 2021-05-27 | 2021-08-17 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于无人机的多目标跟踪定位与运动状态估计方法 |
-
2021
- 2021-09-26 CN CN202111131301.4A patent/CN113850848B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184816A (zh) * | 2015-08-18 | 2015-12-23 | 江苏科技大学 | 基于usv的视觉检测和水面目标追踪系统及其检测追踪方法 |
| CN109001725A (zh) * | 2018-06-07 | 2018-12-14 | 中国人民解放军海军工程大学 | 一种海上无人艇海上多目标跟踪方法 |
| CN111157982A (zh) * | 2019-11-20 | 2020-05-15 | 智慧航海（青岛）科技有限公司 | 基于岸基雷达的智能船舶船岸协同目标跟踪系统和方法 |
| CN113269098A (zh) * | 2021-05-27 | 2021-08-17 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于无人机的多目标跟踪定位与运动状态估计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113850848A (zh) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113850848B (zh) | 无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法 | |
| CN108765458B (zh) | 基于相关滤波的高海况无人艇海面目标尺度自适应跟踪方法 | |
| Muhovič et al. | Obstacle tracking for unmanned surface vessels using 3-D point cloud | |
| CN107844750B (zh) | 一种水面全景图像目标检测识别方法 | |
| Steccanella et al. | Waterline and obstacle detection in images from low-cost autonomous boats for environmental monitoring | |
| Sinisterra et al. | Stereovision-based target tracking system for USV operations | |
| Galceran et al. | A real-time underwater object detection algorithm for multi-beam forward looking sonar | |
| CN113627473B (zh) | 基于多模态传感器的水面无人艇环境信息融合感知方法 | |
| CN108830879A (zh) | 一种适用于遮挡场景的无人艇海面相关滤波目标跟踪方法 | |
| CN110070565B (zh) | 一种基于图像叠加的船舶轨迹预测方法 | |
| CN109859202B (zh) | 一种基于usv水面光学目标跟踪的深度学习检测方法 | |
| Bovcon et al. | Improving vision-based obstacle detection on USV using inertial sensor | |
| CN111723632A (zh) | 一种基于孪生网络的船舶跟踪方法及系统 | |
| CN110174109A (zh) | 一种基于海空协同的无人船多元联合导航方法 | |
| CN110298855B (zh) | 一种基于高斯混合模型和纹理分析的海天线检测方法 | |
| CN113837924B (zh) | 一种基于无人艇感知系统的水岸线检测方法 | |
| Alla et al. | Vision-based Deep Learning algorithm for Underwater Object Detection and Tracking | |
| CN113917930A (zh) | 一种基于感知数据的无人船航行状态控制方法 | |
| Weng et al. | Underwater object detection and localization based on multi-beam sonar image processing | |
| CN112348853B (zh) | 基于红外显著性特征融合的粒子滤波跟踪的方法 | |
| Kallasi et al. | Object detection and pose estimation algorithms for underwater manipulation | |
| CN111950549B (zh) | 一种基于海天线与视觉显著性融合的海面障碍物检测方法 | |
| CN111123267B (zh) | 合成孔径雷达图像舰船检测方法及装置 | |
| CN113743265A (zh) | 一种基于深度相机的自动驾驶可行驶区域检测方法及系统 | |
| CN112862865A (zh) | 水下机器人的检测识别方法、装置和计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |