CN110490909B - 一种auv及目标跟踪方法、装置、介质 - Google Patents
一种auv及目标跟踪方法、装置、介质 Download PDFInfo
- Publication number
- CN110490909B CN110490909B CN201910796462.1A CN201910796462A CN110490909B CN 110490909 B CN110490909 B CN 110490909B CN 201910796462 A CN201910796462 A CN 201910796462A CN 110490909 B CN110490909 B CN 110490909B
- Authority
- CN
- China
- Prior art keywords
- target object
- optical image
- matching
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本申请公开了一种AUV及目标跟踪方法、装置、介质，包括：获取声学图像；确定所述声学图像中的目标对象；获取包括所述目标对象的光学图像；对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标跟踪。这样，在对目标对象进行匹配时，能够利用声学图像和光学图像共同完成匹配，从而提升了目标匹配和跟踪的精确度。
Description
技术领域
本申请涉及水下目标跟踪技术领域，特别涉及一种AUV及目标跟踪方法、装置、介质。
背景技术
随着对海洋资源探测开发的需求不断增加以及对水中作业的需要，AUV(即Autonomous Underwater Vehicle，自主式水下潜器)技术的发展正日益受到国内外重视，基于AUV的目标检测、匹配和跟踪也成为具有重要意义的研究热点。
目前海洋探测的方法包括磁探测、声探测、光探测和红外探测等。除了声波外，其他几种波在水中的穿透能力十分有限，在水中衰减也快，而且波长越短，损失越大，即便使用大功率的低频电磁波，也只能传播几十米。然而，声波在水中传播的衰减较小，在水中的传播距离也远远大于其他几种波。声波因其在水下探测范围广的突出优点，成为探测海洋的主要方法。在目前声波探测中，前视声呐在AUV的实际应用居多，但由于水下多为声通讯，且水下环境较为复杂，所以声学图像中易产生较多杂音，因此会大大影响水下前视声呐所收集的声学图像的质量，进一步将影响目标物体匹配的准确率。另一方面，经典的光学图像目标跟踪技术虽然已经取得显著的进步，但由于在水下图像的清晰度会随着光的衰减和散射降低，并且由于光吸收，非均匀的光照使得水下图像的可识别度和可处理范围进一步变小，探测范围较小这一问题成为光学图像在水下探测的最大制约。
发明内容
有鉴于此，本申请的目的在于提供一种AUV及目标跟踪方法、装置、介质，能够在对目标对象进行匹配时，利用声学图像和光学图像共同完成匹配，从而提升目标匹配和跟踪的精确度。其具体方案如下：
第一方面，本申请公开了一种目标跟踪方法，应用于AUV，包括：
获取声学图像；
确定所述声学图像中的目标对象；
获取包括所述目标对象的光学图像；
对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标跟踪。
可选的，所述获取包括所述目标对象的光学图像，包括：
利用所述声学图像确定出所述目标对象所处的空间区域；
控制所述AUV行进至所述空间区域，然后对所述目标对象进行光学成像，得到包括所述目标对象的光学图像。
可选的，所述对所述目标对象进行光学成像，包括：
确定当前所述空间区域中是否存在视线遮挡物；
若是，则获取全景成像控制指令，在所述全景成像控制指令的控制下，对所述视线遮挡物进行全景的光学成像。
可选的，所述对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配之前，还包括：
利用所述声学图像对滤波器模板进行训练，得到对所述目标对象的响应最大的训练后MOSSE滤波器。
可选的，所述对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，包括：
将所述光学图像输入至所述训练后MOSSE滤波器，得到所述光学图像的响应图；
将所述响应图中响应值最大的位置确定为所述目标对象在所述光学图像中的位置，以完成所述目标对象的匹配。
可选的，还包括：
将所述匹配结果发送至后台设备，以便后台工作人员对所述匹配结果进行人工校验；
获取所述后台设备发送的人工校验结果；
若所述人工校验结果显示匹配成功，则触发所述利用匹配结果进行相应的目标追踪的步骤；
若所述人工校验结果显示匹配失败，则获取所述后台设备发送的由人工触发的成像调控指令，并在所述成像调控指令的控制下，对当前光学成像参数进行调整。
可选的，所述将所述光学图片输入至所述训练后MOSSE滤波器之前，还包括：
利用高斯金字塔对所述光学图像进行优化，得到优化后的所述光学图像。
第二方面，本申请公开了一种目标跟踪装置，应用于AUV，包括：
声学图像获取模块，用于获取声学图像；
目标对象确定模块，用于确定所述声学图像中的目标对象；
光学图像获取模块，用于获取包括所述目标对象的光学图像；
目标匹配跟踪模块，用于对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标追踪。
第三方面，本申请公开了一种AUV，包括处理器和存储器；其中，
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序以实现前述的目标跟踪方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的目标跟踪方法。
可见，本申请先获取声学图像，并确定所述声学图像中的目标对象，然后获取包括所述目标对象的光学图像，最后对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标跟踪。也即，本申请在对目标对象进行匹配时，能够利用声学图像和光学图像共同完成匹配，从而提升了目标匹配和跟踪的精确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种目标跟踪方法流程图；
图2为本申请公开的一种具体的目标跟踪方法流程图；
图3为本申请公开的一种目标跟踪装置结构示意图；
图4为本申请公开的一种AUV结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在目前声波探测中，前视声呐在AUV的实际应用居多，但由于水下多为声通讯，且水下环境较为复杂，所以声学图像中易产生较多杂音，因此会大大影响水下前视声呐所收集的声学图像的质量，进一步将影响目标物体匹配的准确率。另一方面，经典的光学图像目标跟踪技术虽然已经取得显著的进步，但由于在水下图像的清晰度会随着光的衰减和散射降低，并且由于光吸收，非均匀的光照使得水下图像的可识别度和可处理范围进一步变小，探测范围较小这一问题成为光学图像在水下探测的最大制约。为此，本申请提供了一种目标跟踪方案，能够在对目标对象进行匹配时，利用声学图像和光学图像共同完成匹配，从而提升了目标匹配和跟踪的精确度。
参见图1所示，本申请实施例公开了一种目标跟踪方法，应用于AUV，包括：
步骤S11：获取声学图像。
在具体的实施方式中，本实施例可以利用AUV搭载的声呐获取声学图像，比如，利用前视声呐获取声呐数据，进而利用声呐数据得到所述声学图像。
步骤S12：确定所述声学图像中的目标对象。
在一种具体的实施方式中，可以在AUV获取到声学图像后，将声学图像发送至后台设备，以便后台工作人员确定出所述声学图像中的目标对象，并将标注了目标对象的所述声学图像发送至AUV，比如，在所述声学图像中标注了一艘沉船，也即，标注的沉船为确定的待识别和追踪的目标对象。
在另一种具体的实施方式中，可以通过人工智能算法，识别所述声学图像中的目标对象，并将识别出的目标对象确定为待追踪的目标对象。具体的，可以利用训练样本数据，对基于深度学习算法构建的空白模型进行训练，得到训练后模型，然后将所述声学图像输入至所述训练后模型，以得到所述训练后模型输出的目标对象，其中，所述训练样本数据为包括所述目标对象的声学图像样本数据。
步骤S13：获取包括所述目标对象的光学图像。
在具体的实施方式中，先利用所述声学图像确定出所述目标对象所处的空间区域，然后控制所述AUV前进至所述空间区域，并对所述目标对象进行光学成像，得到包括所述目标对象的光学图像，其中，所述光学图像可以通过AUV搭载的光学摄像头对所述目标对象进行光学成像而得到。
并且，本实施例可以确定当前所述空间区域中是否存在视线遮挡物；若是，则获取全景成像控制指令，在所述全景成像控制指令的控制下，对所述视线遮挡物进行全景的光学成像，这样能够获取大视场成像，从而提高所述光学图像内包含所述目标对象的概率。例如，通过人工智能算法识别采集到的光学图像中存在一块巨石，则触发所述全景成像控制指令。
步骤S14：对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标跟踪。
在具体的实施方式中，本实施例先将所述光学图像输入至训练后MOSSE滤波器(即Minimum Output Sum of Squared Error filter，误差最小平方和滤波器)，得到所述光学图像的响应图，并将所述响应图中响应值最大的位置确定为所述目标对象在所述光学图像中的位置，以完成目标对象的匹配。可以理解的是，MOSSE滤波器为相关滤波器，相关滤波器是通过互相关来定位目标当前帧所在位置的，互相关用来度量两个信号在某个时刻的相似程度，在机器视觉领域指两个图像patch的互相匹配程度，MOSSE滤波器输出的响应值即为相关值，响应图中响应值最大的位置即为所述目标对象在所述光学图像中的位置。
也即，本实施例在对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配之前，先对滤波器模板进行训练，得到训练后MOSSE滤波器，具体可以包括：利用所述声学图像对滤波器模板进行训练，得到对所述目标对象的响应最大的训练后MOSSE滤波器。
具体的，利用所述声学图像对滤波器模板进行训练，公式为
其中，g为响应输出，f为输入的所述声学图像，h为滤波器模板，
表示卷积操作。由于时域求解响应图的运算量巨大，为减少运算量，因此利用卷积定理将其转换至频域，即
其中，F表示傅里叶变换，⊙为点乘操作，也即，本实施例将所述声学图像和所述滤波器模板变换到频域后，直接将变换后的所述声学图像和所述滤波器模板相乘，然后变换回时域，得到响应图，并根据响应图判断得到的当前滤波器是否对目标对象的响应最大，若当前滤波器对目标对象的响应不是最大，则继续训练，直到得到对所述目标对象的响应最大的训练后MOSSE滤波器。
进一步的，本实施例还可以将所述匹配结果发送至后台设备，以便后台工作人员对所述匹配结果进行人工校验，然后获取所述后台设备发送的人工校验结果，若所述人工校验结果显示匹配成功，则触发所述利用匹配结果进行相应的目标追踪的步骤，若所述人工校验结果显示匹配失败，则获取所述后台设备发送的由人工触发的成像调控指令，并在所述成像调控指令的控制下，对当前光学成像参数进行调整。例如，在所述成像调控指令的控制下，按照预设的图像采集轨道对响应图中响应值最大的位置对应的物体以预设频率进行光学成像；其中，所述图像采集轨道为以所述光学图像的响应图中响应值最大的位置对应的空间位置为圆心的圆轨道。这样可以提高采集到的光学图像中包含目标对象的概率，比如，在目标对象被遮挡物遮挡的情况下，通过这样的方式，可以采集到遮挡物后面的图像，从而采集到包括目标对象的光学图像。也可以在在所述成像调控指令的控制下，行进到当前AUV所在位置的上方、下方、左侧和右侧分别进行光学成像。这样，在所述目标对象改变位置时，能够提升采集到包括所述目标对象的光学图像的概率。
可见，本申请实施例先获取声学图像，并确定所述声学图像中的目标对象，然后获取包括所述目标对象的光学图像，最后对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标跟踪。也即，本申请实施例在对目标对象进行匹配时，能够利用声学图像和光学图像共同完成匹配，从而提升了目标匹配和跟踪的精确度。
参见图2所示，本申请实施例公开了一种具体的目标跟踪方法，包括：
步骤S21：获取声学图像。
步骤S22：确定出目标对象在所述声学图像中的位置。
步骤S23：获取包括所述目标对象的光学图像。
其中，关于上述步骤S21至S23的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S24：利用高斯金字塔对所述光学图像进行优化，得到优化后的所述光学图像。
在具体的实施方式中，先将初始的所述光学图像扩大一倍之后作为高斯金字塔的第1组第1层，将第1组第1层图像经高斯卷积即高斯平滑、高斯滤波之后作为第1组金字塔的第2层，高斯卷积函数为：
其中，G(x,y)为高斯变换后的光学图像，σ为平滑因子，其在Sift算子中的取值为固定值1.6，(x0,y0)表示每个点在初始光学图像中的对应点，(x-x0)、(y-y0)表示距离，e为自然常数。
将σ乘以一个比例系数k,得到一个新的平滑因子σ＝k*σ，用当前新的平滑因子来平滑第1组第2层图像，结果图像作为第3层。
如此多次进行高斯卷积，最终得到L层图像，在同一组中，每一层图像的尺寸都是一样的，只是平滑系数不一样。它们对应的平滑系数分别为：0，σ，kσ，k^2σ，k^3σ，……k^(L-2)σ。
将第1组倒数第三层图像做比例因子为2的降采样，得到的图像作为第2组的第1层，然后对第2组的第1层图像做平滑因子为σ的高斯平滑，得到第2组的第2层，多次进行高斯卷积操作，得到第2组的L层图像，同组内图像的尺寸是一样的，对应的平滑系数分别为：0，σ，kσ，k^2σ，k^3σ，……k^(L-2)σ。但是第2组图像的尺寸是第1组图像的一半。可以理解的是，通过多次降采样和高斯卷积，可以根据具体场景的需要，得到相应组数的不同尺寸的图像。这样，本实施例利用高斯金字塔对所述光学图像进行优化，得到优化后的光学图像，可以减少目标对象在声学图像和光学图像上可能存在不同尺寸为目标对象的匹配带来的误差。
步骤S25：对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标追踪。
其中，关于上述步骤S25的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
参见图3所示，本申请实施例公开了一种目标跟踪装置，应用于AUV，包括：
声学图像获取模块11，用于获取声学图像；
目标对象确定模块12，用于确定所述声学图像中的目标对象；
光学图像获取模块13，用于获取包括所述目标对象的光学图像；
目标匹配跟踪模块14，用于对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标追踪。
可见，本申请实施例先获取声学图像，并确定所述声学图像中的目标对象，然后获取包括所述目标对象的光学图像，最后对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标跟踪。也即，本申请实施例在对目标对象进行匹配时，能够利用声学图像和光学图像共同完成匹配，从而提升了目标匹配和跟踪的精确度。
其中，所述光学图像获取模块13，具体可以包括：
目标空间区域确定子模块，用于利用所述声学图像确定出所述目标对象所处的空间区域。
光学成像子模块，用于控制所述AUV行进至所述空间区域，然后对所述目标对象进行光学成像，得到包括所述目标对象的光学图像。
并且，所述光学成像子模块，具体可以包括：
遮挡物确定单元，用于确定当前所述空间区域中是否存在视线遮挡物。
光学成像子单元，用于在确定当前所述空间区域中存在视线遮挡物的情况下，则获取全景成像控制指令，在所述全景成像控制指令的控制下，对所述视线遮挡物进行全景的光学成像。
所述目标匹配跟踪模块14，具体可以包括：
响应图获取子模块，用于将所述光学图像输入至所述训练后MOSSE滤波器，得到所述光学图像的响应图。
目标位置确定子模块，用于将所述响应图中响应值最大的位置确定为所述目标对象在所述光学图像中的位置，以完成所述目标对象的匹配。
具体的，所述目标跟踪装置，还包括滤波器训练模块，用于利用所述声学图像对滤波器模板进行训练，得到对所述目标对象的响应最大的训练后MOSSE滤波器。
所述目标跟踪装置，还包括：图像优化模块，用于利用高斯金字塔对所述光学图像进行优化，得到优化后的所述光学图像。
进一步的，所述目标跟踪装置，还包括：匹配校验模块，用于将所述匹配结果发送至后台设备，以便后台工作人员对所述匹配结果进行人工校验；获取所述后台设备发送的人工校验结果；若所述人工校验结果显示匹配成功，则触发所述利用匹配结果进行相应的目标追踪的步骤；若所述人工校验结果显示匹配失败，则获取所述后台设备发送的由人工触发的成像调控指令，并在所述成像调控指令的控制下，对当前光学成像参数进行调整。
参见图4所示，本申请实施例公开了一种AUV20，包括处理器21和存储器22、声呐23以及光学摄像头24；其中，所述存储器22，用于保存计算机程序；所述处理器21，用于执行所述计算机程序，以实现以下步骤：
获取声学图像；确定所述声学图像中的目标对象；获取包括所述目标对象的光学图像；对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标跟踪。
可见，本申请实施例先获取声学图像，并确定所述声学图像中的目标对象，然后获取包括所述目标对象的光学图像，最后对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标跟踪。也即，本申请实施例在对目标对象进行匹配时，能够利用声学图像和光学图像共同完成匹配，从而提升了目标匹配和跟踪的精确度。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：利用所述声学图像确定出所述目标对象所处的空间区域；控制所述AUV行进至所述空间区域，然后对所述目标对象进行光学成像，得到包括所述目标对象的光学图像。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：确定当前所述空间区域中是否存在视线遮挡物；若是，则获取全景成像控制指令，在所述全景成像控制指令的控制下，对所述视线遮挡物进行全景的光学成像。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：利用所述声学图像对滤波器模板进行训练，得到对所述目标对象的响应最大的训练后MOSSE滤波器。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：将所述光学图像输入至所述训练后MOSSE滤波器，得到所述光学图像的响应图；将所述响应图中响应值最大的位置确定为所述目标对象在所述光学图像中的位置，以完成所述目标对象的匹配。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：将所述匹配结果发送至后台设备，以便后台工作人员对所述匹配结果进行人工校验；获取所述后台设备发送的人工校验结果；若所述人工校验结果显示匹配成功，则触发所述利用匹配结果进行相应的目标追踪的步骤；若所述人工校验结果显示匹配失败，则获取所述后台设备发送的由人工触发的成像调控指令，并在所述成像调控指令的控制下，对当前光学成像参数进行调整。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：利用高斯金字塔对所述光学图像进行优化，得到优化后的所述光学图像。
并且，所述声呐23用于获取声学图像，所述光学摄像头24用于获取光学图像。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现以下步骤：
获取声学图像；确定所述声学图像中的目标对象；获取包括所述目标对象的光学图像；对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标跟踪。
可见，本申请实施例先获取声学图像，并确定所述声学图像中的目标对象，然后获取包括所述目标对象的光学图像，最后对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标跟踪。也即，本申请实施例在对目标对象进行匹配时，能够利用声学图像和光学图像共同完成匹配，从而提升了目标匹配和跟踪的精确度。
本本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：利用所述声学图像确定出所述目标对象所处的空间区域；控制所述AUV行进至所述空间区域，然后对所述目标对象进行光学成像，得到包括所述目标对象的光学图像。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：确定当前所述空间区域中是否存在视线遮挡物；若是，则获取全景成像控制指令，在所述全景成像控制指令的控制下，对所述视线遮挡物进行全景的光学成像。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：利用所述声学图像对滤波器模板进行训练，得到对所述目标对象的响应最大的训练后MOSSE滤波器。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：将所述光学图像输入至所述训练后MOSSE滤波器，得到所述光学图像的响应图；将所述响应图中响应值最大的位置确定为所述目标对象在所述光学图像中的位置，以完成所述目标对象的匹配。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：将所述匹配结果发送至后台设备，以便后台工作人员对所述匹配结果进行人工校验；获取所述后台设备发送的人工校验结果；若所述人工校验结果显示匹配成功，则触发所述利用匹配结果进行相应的目标追踪的步骤；若所述人工校验结果显示匹配失败，则获取所述后台设备发送的由人工触发的成像调控指令，并在所述成像调控指令的控制下，对当前光学成像参数进行调整。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：利用高斯金字塔对所述光学图像进行优化，得到优化后的所述光学图像。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种AUV及目标跟踪方法、装置、介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (8)
1.一种目标跟踪方法，其特征在于，应用于AUV，包括：
获取声学图像；
确定所述声学图像中的目标对象；
获取包括所述目标对象的光学图像；
利用所述声学图像对滤波器模板进行训练，得到对所述目标对象的响应最大的训练后MOSSE滤波器；
对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标跟踪；
其中，所述对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，包括：
将所述光学图像输入至所述训练后MOSSE滤波器，得到所述光学图像的响应图；
将所述响应图中响应值最大的位置确定为所述目标对象在所述光学图像中的位置，以完成所述目标对象的匹配。
2.根据权利要求1所述的目标跟踪方法，其特征在于，所述获取包括所述目标对象的光学图像，包括：
利用所述声学图像确定出所述目标对象所处的空间区域；
控制所述AUV行进至所述空间区域，然后对所述目标对象进行光学成像，得到包括所述目标对象的光学图像。
3.根据权利要求2所述的目标跟踪方法，其特征在于，所述对所述目标对象进行光学成像，包括：
确定当前所述空间区域中是否存在视线遮挡物；
若是，则获取全景成像控制指令，在所述全景成像控制指令的控制下，对所述视线遮挡物进行全景的光学成像。
4.根据权利要求1所述的目标跟踪方法，其特征在于，还包括：
将所述匹配结果发送至后台设备，以便后台工作人员对所述匹配结果进行人工校验；
获取所述后台设备发送的人工校验结果；
若所述人工校验结果显示匹配成功，则触发所述利用匹配结果进行相应的目标追踪的步骤；
若所述人工校验结果显示匹配失败，则获取所述后台设备发送的由人工触发的成像调控指令，并在所述成像调控指令的控制下，对当前光学成像参数进行调整。
5.根据权利要求1至4任一项所述的目标跟踪方法，其特征在于，所述将所述光学图像输入至所述训练后MOSSE滤波器之前，还包括：
利用高斯金字塔对所述光学图像进行优化，得到优化后的所述光学图像。
6.一种目标跟踪装置，其特征在于，应用于AUV，包括：
声学图像获取模块，用于获取声学图像；
目标对象确定模块，用于确定所述声学图像中的目标对象；
光学图像获取模块，用于获取包括所述目标对象的光学图像；
目标匹配跟踪模块，用于对所述声学图像中的所述目标对象和所述光学图像中的所述目标对象进行匹配，并利用匹配结果进行相应的目标追踪；
所述目标跟踪装置，还包括滤波器训练模块，用于利用所述声学图像对滤波器模板进行训练，得到对所述目标对象的响应最大的训练后MOSSE滤波器；
所述目标匹配跟踪模块，具体包括：
响应图获取子模块，用于将所述光学图像输入至所述训练后MOSSE滤波器，得到所述光学图像的响应图；
目标位置确定子模块，用于将所述响应图中响应值最大的位置确定为所述目标对象在所述光学图像中的位置，以完成所述目标对象的匹配。
7.一种AUV，其特征在于，包括处理器和存储器；其中，
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序以实现如权利要求1至5任一项所述的目标跟踪方法。
8.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的目标跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910796462.1A CN110490909B (zh) | 2019-08-27 | 2019-08-27 | 一种auv及目标跟踪方法、装置、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910796462.1A CN110490909B (zh) | 2019-08-27 | 2019-08-27 | 一种auv及目标跟踪方法、装置、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110490909A CN110490909A (zh) | 2019-11-22 |
| CN110490909B true CN110490909B (zh) | 2020-10-16 |
Family
ID=68554440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910796462.1A Active CN110490909B (zh) | 2019-08-27 | 2019-08-27 | 一种auv及目标跟踪方法、装置、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110490909B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103454697A (zh) * | 2013-09-26 | 2013-12-18 | 上海海事大学 | 一种全覆盖水下搜救装置及其搜救方法 |
| CN106814408A (zh) * | 2017-01-12 | 2017-06-09 | 浙江大学 | 基于rov平台的水下文物集成探测装置 |
| CN107369178A (zh) * | 2017-07-26 | 2017-11-21 | 北京臻迪科技股份有限公司 | 一种水下目标的跟踪方法及水下设备 |
-
2019
- 2019-08-27 CN CN201910796462.1A patent/CN110490909B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103454697A (zh) * | 2013-09-26 | 2013-12-18 | 上海海事大学 | 一种全覆盖水下搜救装置及其搜救方法 |
| CN106814408A (zh) * | 2017-01-12 | 2017-06-09 | 浙江大学 | 基于rov平台的水下文物集成探测装置 |
| CN107369178A (zh) * | 2017-07-26 | 2017-11-21 | 北京臻迪科技股份有限公司 | 一种水下目标的跟踪方法及水下设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于声呐和机器视觉技术的水下机器人避障与目标跟踪研究;林奕雪;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190515(第5期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110490909A (zh) | 2019-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109507665A (zh) | 一种基于星载ais实时信息引导的星上自主成像方法 | |
| Bagnitsky et al. | Side scan sonar using for underwater cables & pipelines tracking by means of AUV | |
| US20210342977A1 (en) | Method And Apparatus For Image Restoration, Storage Medium And Terminal | |
| EP3702964A1 (en) | Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same | |
| JP7252120B2 (ja) | 核心性能指数を満たすことができるハードウェア最適化が行われるように、ｃｎｎで複数のブロック内の入力イメージから特徴を抽出する学習方法及び学習装置、それを利用したテスト方法及びテスト装置 | |
| CN112188088B (zh) | 水下自拍系统 | |
| CN105787886A (zh) | 一种基于多波束图像声纳的实时图像处理方法 | |
| JP7297164B2 (ja) | 画像取得設定にとらわれない人工知能（ａｉ）モジュールを用いた画像再構成 | |
| CN114418953B (zh) | 一种基于时间历程累计图像的声呐目标检测方法和系统 | |
| CN112965053B (zh) | 一种基于匹配垂直阵波束强度的浅海声源深度分辨方法 | |
| Yu et al. | Dual-branch framework: AUV-based target recognition method for marine survey | |
| CN106096617A (zh) | 一种基于改进主动轮廓模型的全景海天线提取方法 | |
| CN113256697B (zh) | 水下场景的三维重建方法、系统、装置和存储介质 | |
| CN110490909B (zh) | 一种auv及目标跟踪方法、装置、介质 | |
| CN107369178A (zh) | 一种水下目标的跟踪方法及水下设备 | |
| CN105488780A (zh) | 一种用于工业生产线的单目视觉测距追踪装置及其追踪方法 | |
| Tang et al. | A novel approach for automatic recognition of LPI radar waveforms based on CNN and attention mechanisms | |
| KR20220014678A (ko) | 영상의 깊이를 추정하는 방법 및 장치 | |
| IT202000017104A1 (it) | Sistema e metodo per la geolocalizzazione di un oggetto in acqua | |
| Jamieson et al. | DeepSeeColor: Realtime Adaptive Color Correction for Autonomous Underwater Vehicles via Deep Learning Methods | |
| WO2016197444A1 (zh) | 一种实现拍摄的方法及终端 | |
| CN113869148A (zh) | 基于自主水下航行器的触发式任务管理系统的方法 | |
| Al-Rawi et al. | Landmark detection from sidescan sonar images | |
| CN116402953B (zh) | 一种浮式平台上基于双立目数据的波面重构方法与装置 | |
| Peng et al. | An improved side scan sonar image processing framework for autonomous underwater vehicle navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |