CN107564033A - 一种水下目标的跟踪方法、水下设备和可穿戴设备 - Google Patents

Abstract

本发明提供了一种水下目标的跟踪方法、水下设备和可穿戴设备，其中，该方法包括：获取包括跟踪目标的跟踪图像；跟踪图像包括采用不同的摄像头分别采集的第一图像和第二图像；根据第一图像和第二图像计算水下设备与跟踪目标之间的相对位置信息，并基于相对位置信息对跟踪目标进行跟踪；在确定对跟踪目标跟踪失败时，向跟踪目标发射声呐报警信号；声呐报警信号中携带有跟踪目标偏离水下设备的偏差信息；接收跟踪目标发送的根据偏差信息生成的控制指令，根据该控制指令纠正水下设备自身的航向以根据纠正后的航向继续跟踪该跟踪目标。本发明结合双目跟踪和声呐通信实现了对跟踪目标的持续跟踪，避免了跟踪失败对水下目标带来的安全隐患，实用性较佳。

Description

一种水下目标的跟踪方法、水下设备和可穿戴设备

技术领域

本发明涉及目标跟踪技术领域，具体而言，涉及一种水下目标的跟踪方法、水下设备和可穿戴设备。

背景技术

在海洋科学的研究中，经常使用水下设备跟踪拍摄水下目标(如，潜水者)。其中，水下机器视觉作为一项通用技术，广泛协助水下应用，在机器人、无人机等方面都有着重要的作用。

在水下机器视觉中，往往需要定位每帧图像中目标的位置，而目标跟踪恰恰是其中的关键技术。由于光在水中传播的特性，水下视频的质量严重退化，目标的信息也严重失真，从而导致相关的水下目标跟踪方法存在有跟踪失败的很大可能性。

然而，相关技术中在对水下目标跟踪失败后尚无完善的解决方案以实现重新跟踪，无法确保水下目标的安全性，导致实用性较差。

发明内容

有鉴于此，本发明的目的在于提供一种水下目标的跟踪方法、水下设备和可穿戴设备，结合双目跟踪和声呐通信实现了对跟踪目标的持续跟踪，避免了跟踪失败对水下目标带来的安全隐患，实用性较佳。

第一方面，本发明实施例提供了一种水下目标的跟踪方法，所述方法包括：

水下设备获取包括跟踪目标的跟踪图像，其中，所述跟踪图像包括采用不同的摄像头分别采集的第一图像和第二图像；

根据所述第一图像和所述第二图像计算所述水下设备与所述跟踪目标之间的相对位置信息，并基于所述相对位置信息对所述跟踪目标进行跟踪；

在确定对所述跟踪目标跟踪失败时，向所述跟踪目标发射声呐报警信号，其中，所述声呐报警信号中携带有所述跟踪目标和所述水下设备之间的偏差信息；

接收所述跟踪目标发送的根据偏差信息生成的控制指令，并根据该控制指令纠正水下设备自身的航向以根据纠正后的航向继续跟踪所述跟踪目标。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述偏差信息包括所述跟踪目标距离所述水下设备的第一距离信息和所述跟踪目标偏离所述水下设备的第一角度信息。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述根据所述第一图像和所述第二图像计算所述水下设备与所述跟踪目标之间的相对位置信息，包括：

根据所述第一图像和所述第二图像计算所述水下设备与所述跟踪目标之间的第二距离信息；

对所述第一图像进行遍历搜索，确定所述跟踪目标在该第一图像中的第一坐标位置信息；或者，对所述第二图像进行遍历搜索，确定所述跟踪目标在该第二图像中的第二坐标位置信息；

根据所述第一坐标位置信息或者所述第二坐标位置信息确定所述跟踪目标相对所述水下设备的第二角度信息；

将所述第二距离信息和所述第二角度信息确定为相对位置信息。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述对所述第一图像进行遍历搜索，确定所述跟踪目标在该第一图像中的第一坐标位置信息，包括：

基于当前第一图像的上一个第一图像对应的第二距离信息和该上一个第一图像中的跟踪目标的尺度信息，以及所述当前第一图像对应的第二距离信息，确定该当前第一图像中的跟踪目标的尺度信息，其中，所述当前第一图像和所述上一个第一图像为采用同一个摄像头采集的图像；

按照确定的尺度信息对所述当前第一图像进行遍历搜索，确定所述跟踪目标在该当前第一图像中的第一坐标位置信息。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述根据所述第一图像和所述第二图像计算所述水下设备与所述跟踪目标之间的第二距离信息，包括：

从所述第一图像中提取第一图像特征信息，以及从所述第二图像中提取第二图像特征信息；

以所述第一图像特征信息作为参考信息，将所有的所述第二图像特征信息分别与任意一个所述参考信息进行立体匹配处理，得到匹配点对应关系；

按照所述匹配点对应关系，计算所述第一图像和所述第二图像之间的视差信息；

根据所述视差信息得到所述水下设备与所述跟踪目标之间的第二距离信息。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述从所述第一图像中提取第一图像特征信息，包括：

对所述第一图像进行检测，得到所述第一图像的第一跟踪目标区域；

提取所述第一跟踪目标区域的第一图像特征信息；

所述从所述第二图像中提取第二图像特征信息，包括：

对所述第二图像进行检测，得到所述第二图像的第二跟踪目标区域；

提取所述第二跟踪目标区域的第二图像特征信息。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，根据以下步骤确定是否对所述跟踪目标跟踪失败：

将任一所述跟踪图像中的跟踪目标与参考图像中的跟踪目标进行比对，确定第一匹配结果，其中，所述跟踪图像和所述参考图像为采用同一个摄像头采集的图像，所述参考图像为该摄像头首次拍摄到的包含跟踪目标的图像；

根据所述第一匹配结果，确定是否对所述跟踪目标跟踪失败。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，根据以下步骤确定是否对所述跟踪目标跟踪失败：

将所述第二距离信息与预设阈值进行对比，确定第二匹配结果；

根据所述第二匹配结果，确定是否对所述跟踪目标跟踪失败。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，根据以下步骤确定是否对所述跟踪目标跟踪失败：

向所述跟踪目标发射第一声呐信号，接收所述跟踪目标反射的第二声呐信号；

根据发射所述第一声呐信号的第一时间和接收所述第二声呐信号的第二时间之间的时间差计算所述水下设备与所述跟踪目标之间的第三距离信息；

将所述第二距离信息与所述第三距离信息进行比对，确定第三匹配结果；

根据所述第三匹配结果，确定是否对所述跟踪目标跟踪失败。

第二方面，本发明实施例还提供了一种水下目标的跟踪方法，所述方法包括：

可穿戴设备接收水下设备发送的声呐报警信号，其中，所述声呐报警信号中携带有跟踪目标和所述水下设备之间的偏差信息；

根据所述偏差信息生成对应的控制指令；

将所述控制指令发送至水下设备，以便于所述水下设备根据该控制指令纠正水下设备自身的航向并根据纠正后的航向继续跟踪所述跟踪目标。

第三方面，本发明实施例还提供了一种水下设备，所述设备包括：

图像获取模块，用于获取包括跟踪目标的跟踪图像，其中，所述跟踪图像包括采用不同的摄像头分别采集的第一图像和第二图像；

计算跟踪模块，用于根据所述第一图像和所述第二图像计算水下设备与所述跟踪目标之间的相对位置信息，并基于所述相对位置信息对所述跟踪目标进行跟踪；

信号发送模块，用于在确定对所述跟踪目标跟踪失败时，向所述跟踪目标发射声呐报警信号，其中，所述声呐报警信号中携带有所述跟踪目标和所述水下设备之间的偏差信息；

纠正跟踪模块，用于接收所述跟踪目标发送的根据偏差信息生成的控制指令，并根据该控制指令纠正水下设备自身的航向以根据纠正后的航向继续跟踪所述跟踪目标。

第四方面，本发明实施例还提供了一种可穿戴设备，所述设备包括：

信号接收模块，用于接收水下设备发送的声呐报警信号，其中，所述声呐报警信号中携带有跟踪目标和所述水下设备之间的偏差信息；

指令生成模块，用于根据所述偏差信息生成对应的控制指令；

指令发送模块，用于将所述控制指令发送至水下设备，以便于所述水下设备根据该控制指令纠正水下设备自身的航向并根据纠正后的航向继续跟踪所述跟踪目标。

本发明实施例提供的水下目标的跟踪方法、水下设备和可穿戴设备，与相关技术中在对水下目标跟踪失败后尚无完善的解决方案以实现重新跟踪，无法确保水下目标的安全性，导致实用性较差相比，其首先获取包括跟踪目标的跟踪图像，其中，跟踪图像包括采用不同的摄像头分别采集的第一图像和第二图像；然后根据第一图像和第二图像计算水下设备与跟踪目标之间的相对位置信息，并基于相对位置信息对跟踪目标进行跟踪；再者在确定对跟踪目标跟踪失败时，向跟踪目标发射声呐报警信号，其中，声呐报警信号中携带有跟踪目标偏离水下设备的偏差信息；最后接收跟踪目标发送的根据偏差信息生成的控制指令，并根据该控制指令纠正水下设备自身的航向以根据纠正后的航向继续跟踪该跟踪目标，其在确定跟踪失败时，向跟踪目标发送声呐报警信号以便于该跟踪目标生成对应的控制指令，通过该控制指令控制水下设备纠正航向继续进行跟踪上述跟踪目标，结合双目跟踪和声呐通信实现了对跟踪目标的持续跟踪，避免了跟踪失败对水下目标带来的安全隐患，实用性较佳。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种水下目标的跟踪方法的流程图；

图2示出了本发明实施例所提供的另一种水下目标的跟踪方法的流程图；

图3示出了本发明实施例所提供的另一种水下目标的跟踪方法的流程图；

图4示出了本发明实施例所提供的另一种水下目标的跟踪方法的流程图；

图5示出了本发明实施例所提供的另一种水下目标的跟踪方法的流程图；

图6示出了本发明实施例所提供的另一种水下目标的跟踪方法的流程图；

图7示出了本发明实施例所提供的另一种水下目标的跟踪方法的流程图；

图8示出了本发明实施例所提供的另一种水下目标的跟踪方法的流程图；

图9示出了本发明实施例所提供的一种水下设备的模块组成示意图；

图10示出了本发明实施例所提供的一种可穿戴设备的模块组成示意图。

主要元件符号说明：

11、图像获取模块；12、计算跟踪模块；13、信号发送模块；14、纠正跟踪模块；21、信号接收模块；22、指令生成模块；23、指令发送模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到相关技术中在对水下目标跟踪失败后尚无完善的解决方案以实现重新跟踪，无法确保水下目标的安全性，导致实用性较差。基于此，本发明实施例提供了一种水下目标的跟踪方法、水下设备和可穿戴设备，避免了跟踪失败对水下目标带来的安全隐患，实用性较佳。

参见图1所示的本发明实施例提供的水下目标的跟踪方法的流程图，该方法的执行主体是水下设备或者水下设备中的控制器或者其他控制芯片，所述方法具体包括如下步骤：

S101、获取包括跟踪目标的跟踪图像，其中，跟踪图像包括采用不同的摄像头分别采集的第一图像和第二图像；

具体的，考虑到本发明实施例提供的水下目标的跟踪方法的具体应用场景，本发明实施例中的跟踪图像是包括跟踪目标的两幅图像，该两幅图像是通过不同的两个摄像头或者双目摄像头同步采集的图像，但两幅图像对应的摄取角度并不相同。

S102、根据第一图像和第二图像计算水下设备与跟踪目标之间的相对位置信息，并基于相对位置信息对跟踪目标进行跟踪；

具体的，本发明实施例提供的水下目标的跟踪方法通过双目视觉算法计算水下设备与跟踪目标之间的相对位置信息，并基于该相对位置信息对跟踪目标进行跟踪。其中，上述相对位置信息包括根据第一图像和第二计算得到的水下设备与跟踪目标之间的第二距离信息，以及跟踪目标相对水下目标的第二角度信息。

S103、在确定对跟踪目标跟踪失败时，向跟踪目标发射声呐报警信号，其中，声呐报警信号中携带有跟踪目标和水下设备之间的偏差信息；

S104、接收跟踪目标发送的根据偏差信息生成的控制指令，并根据该控制指令纠正水下设备自身的航向以根据纠正后的航向继续跟踪该跟踪目标。

具体的，本发明实施例提供的水下目标的跟踪方法利用双目采集的图像数据对潜水者进行跟踪，以及航拍，当跟踪目标游出水下设备的视野范围之外或者跟踪失效时，通过声呐发射端向上述跟踪目标发出声呐报警信号，跟踪目标则能够自身携带的声呐接收端与上述声呐发射端之间的数据通信接收上述声呐报警信号，而自身携带的可穿戴设备则能够接收声呐接收端发送的声呐报警信号，并根据该声呐报警信号生成对应的控制指令以遥控水下设备的航向，并重新开始跟踪。其中，本发明实施例中的偏差信息包括跟踪目标距离水下设备的第一距离信息和跟踪目标偏离水下设备的第一角度信息，该第一距离信息和第一角度信息为声呐探测技术得到的信息。

其中，上述水下设备不仅能够接收可穿戴设备发送的控制指令以遥控自身的航向，还能够接收跟踪目标发送的其他控制指令以遥控自身的航向(如跟踪目标在观测到水下设备在其视野范围内时，发送该其他控制指令控制水下设备靠近该跟踪目标)，结合该其他控制指令和上述可穿戴设备的控制指令，能够更好的实现对跟踪目标的精准跟踪。

本发明实施例提供的水下目标的跟踪方法，与相关技术中在对水下目标跟踪失败后尚无完善的解决方案以实现重新跟踪，无法确保水下目标的安全性，导致实用性较差相比，其在确定跟踪失败时，向跟踪目标发送声呐报警信号以便于该跟踪目标生成对应的控制指令，通过该控制指令控制水下设备纠正航向继续进行跟踪上述跟踪目标，结合双目跟踪和声呐通信实现了对跟踪目标的持续跟踪，避免了跟踪失败对水下目标带来的安全隐患，实用性较佳。

考虑到本发明实施例提供的水下目标的跟踪方法是根据水下设备与跟踪目标之间的相对位置信息对跟踪目标进行跟踪的，可见，相对位置信息的确定是本发明实施例的关键步骤。为了更好的计算相对位置信息，上述S102的计算过程，具体通过如下步骤实现，参见图2所示的流程图，所述方法还包括：

S201、根据第一图像和第二图像计算水下设备与跟踪目标之间的第二距离信息；

S202、对第一图像进行遍历搜索，确定跟踪目标在该第一图像中的第一坐标位置信息；或者，对第二图像进行遍历搜索，确定跟踪目标在该第二图像中的第二坐标位置信息；

S203、根据第一坐标位置信息或者第二坐标位置信息确定跟踪目标相对水下设备的第二角度信息；

S204、将第二距离信息和第二角度信息确定为相对位置信息。

具体的，本发明实施例提供的水下目标跟踪方法首先根据第一图像和第二图像计算与相对位置信息对应的第二距离信息，然后再根据对第一图像或第二图像的遍历搜索结果确定与相对位置信息对应的第二角度信息。

为了避免在对第一图像进行遍历搜索以搜索到跟踪目标时，需要缩放或放大图像进行遍历搜索而带来计算量较大的问题，本发明实施例通过如下步骤确定跟踪目标在第一图像中的第一坐标位置信息，参见图3。

S301、基于当前第一图像的上一个第一图像对应的第二距离信息和该上一个第一图像中的跟踪目标的尺度信息，以及当前第一图像对应的第二距离信息，确定该当前第一图像中的跟踪目标的尺度信息，其中，当前第一图像和上一个第一图像为采用同一个摄像头采集的图像；

S302、按照确定的尺度信息对当前第一图像进行遍历搜索，确定跟踪目标在该当前第一图像中的第一坐标位置信息。

具体的，本发明实施例首先基于当前第一图像的上一个第一图像对应的第二距离信息和该上一个第一图像中的跟踪目标的尺度信息，以及当前第一图像对应的第二距离信息，确定该当前第一图像中的跟踪目标的尺度信息，然后再按照确定的尺度信息对当前第一图像进行遍历搜索，确定跟踪目标在该当前第一图像中的第一坐标位置信息。可见，本发明实施例通过上一个图像的尺度信息和距离信息，以及当前图像的距离信息确定了当前图像的尺度信息，根据该尺度信息和图像的尺寸之间的对应关系，能够保证在一个确定的尺度信息附近对图像进行缩放，从而在确定第一坐标位置信息时极大的降低了计算量。

同样的，本发明实施例通过如下步骤确定第二图像中的第二坐标位置信息，基于当前第二图像的上一个第二图像对应的第二距离信息和该上一个第二图像中的跟踪目标的尺度信息，以及当前第二图像对应的第二距离信息，确定该当前第二图像中的跟踪目标的尺度信息，其中，当前第二图像和上一个第二图像为采用同一个摄像头采集的图像；按照确定的尺度信息对当前第二图像进行遍历搜索，确定跟踪目标在该当前第二图像中的第二坐标位置信息。具体的实现方式与上述第一坐标位置信息的确定方式相同，在此不再赘述。

为了更好的计算水下设备与跟踪目标之间的第二距离信息，上述S201的计算过程，具体通过如下步骤实现，参见图4所示的流程图，所述方法还包括：

S401、从第一图像中提取第一图像特征信息，以及从第二图像中提取第二图像特征信息；

S402、以第一图像特征信息作为参考信息，将所有的第二图像特征信息分别与任意一个参考信息进行立体匹配处理，得到匹配点对应关系；

S403、按照匹配点对应关系，计算第一图像和第二图像之间的视差信息；

S404、根据视差信息得到水下设备与跟踪目标之间的第二距离信息。

具体的，考虑到上述第一图像和第二图像均由多个像素点构成，每个像素点均对应有相应的特征信息。本发明实施例所提供的水下目标的跟踪方法，对于双目摄像头摄取的第一图像和第二图像而言，将第一图像作为参考图像，则其对应的第一图像特征信息作为参考信息。其中，从第一图像中选取任意一个像素点，且该像素点对应其第一图像特征信息，从第二图像中的所有像素点中选取第二图像特征信息与该第一图像特征信息相匹配的像素点，即从第二图像中找到了与第一图像中的任意一个像素点相匹配的像素点，从而得到匹配点对应关系。

在本发明实施例中的双目视觉算法中，左摄像头投影中心为坐标原点，从原点到右摄像头投影中心为X轴，垂直为摄像机成像平面的前方为Z轴，垂直于X－Z平面向下为Y轴。通过上述立体匹配后，可以得出每个匹配点的视差，结合摄像头参数矩阵，从而得到水下设备与跟踪目标之间的第二距离信息。

考虑到在对第一图像和第二图像进行特征提取时，可以对第一图像和第二图像进行分割，然后通过分割的结果对第一图像和第二图像中的跟踪目标区域进行识别和特征提取，参见图5，上述S401具体通过如下步骤实现：

S501、分别对第一图像和第二图像进行检测，以得到第一图像的第一跟踪目标区域和第二图像的第二跟踪目标区域；

S502、提取第一跟踪目标区域的第一图像特征信息；以及，提取第二跟踪目标区域的第二图像特征信息。

具体的，在获取到包含有跟踪目标对应区域的第一图像和第二图像时，首先通过图像处理的方法将检测和识别上述第一图像和第二图像所包含的跟踪目标，得到第一图像的第一跟踪目标区域和第二图像的第二跟踪目标区域，然后对于得到的第一跟踪目标区域和第二跟踪目标区域所包含的图片像素进行切割和提取，以得到对应于第一跟踪目标区域的第一图像特征信息和对应于第二跟踪目标区域的第二图像特征信息。在得到跟踪目标的特征信息后，根据立体匹配原理对跟踪目标中各个特征点对应的特征区域分别进行匹配，得到对应的匹配点对应关系。

本发明实施例提供的水下目标的跟踪方法能够通过三种方式确定是否对跟踪目标跟踪失败，第一种方式是通过判断当前跟踪图像与参考图像之间的特征比对结果进行确定，第二种方式是根据水下设备和跟踪目标之间的第二距离信息与预设阈值之间的距离比对结果进行确定，第三种方式是根据第二距离信息与声呐探测到的第三距离信息之间的比对结果进行确定。上述第一种方式具体通过如下步骤实现，参见图6所示的流程图，所述方法还包括：

S601、根据任一跟踪图像中的跟踪目标与参考图像中的跟踪目标进行比对，确定第一匹配结果，其中，跟踪图像和参考图像为采用同一个摄像头采集的图像，参考图像为该摄像头首次拍摄到的包含跟踪目标的图像；

S602、根据第一匹配结果，确定是否对跟踪目标跟踪失败。

具体的，本发明实施例首先通过任一跟踪图像中的跟踪目标的图像特征信息与参考图像中的跟踪目标的图像特征信息之间进行对比，确定对应的第一匹配结果，然后根据该第一匹配结果确定是否对跟踪目标跟踪失败。即，在跟踪目标的跟踪目标与参考图像的跟踪目标特征比对不成功(如第一匹配结果小于预设阈值即判定两者特征比对不成功)时，根据对应的第一匹配结果确定对跟踪目标跟踪失败。

其中，上述参考图像可以是摄像头首次拍摄到的包含跟踪目标的图像，还可以是用户手动框选了跟踪目标的包含跟踪目标的图像，还可以是通过视觉算法首次检测到跟踪目标对应的图像。

另外，上述第二种方式则对应于根据第二距离信息与预设阈值确定的第二匹配结果确定是否对跟踪目标跟踪失败。

具体的，与第一种方式相对应的是，本发明实施例在水下设备与跟踪目标之间的第二距离信息大于预设阈值时即确定对跟踪目标跟踪失败。其中，本发明实施例采用双目方式对目标进行跟踪时，受限于不同水域下的应用场景将对应不同的预设阈值，从而满足不同用户的需求。

另外，上述第三种方式具体通过如下步骤实现，参见图7所示的流程图，所述方法还包括：

S701、向跟踪目标发射第一声呐信号，接收跟踪目标反射的第二声呐信号；

S702、根据发射第一声呐信号的第一时间和接收第二声呐信号的第二时间之间的时间差计算水下设备与跟踪目标之间的第三距离信息；

S703、将第二距离信息与第三距离信息进行比对，确定第三匹配结果；

S704、根据第三匹配结果，确定是否对跟踪目标跟踪失败。

考虑到声呐探测距离的优良特性，本发明实施例提供的水下目标的跟踪方法还能够根据声呐探测到的第三距离信息与双目计算得到的第二距离信息进行对比，并根据确定的第三匹配结果进一步确定是否对跟踪目标跟踪失败。

其中，本发明实施例中的第三距离信息是根据发射第一声呐信号的第一时间和接收第二声呐信号的第二时间之间的时间差计算得到的，本发明实施例在水下设备与跟踪目标之间的第二距离信息和声呐探测到的第三距离信息偏差较大时，确定对跟踪目标跟踪失败。

本发明实施例提供的水下目标的跟踪方法，与相关技术中在对水下目标跟踪失败后尚无完善的解决方案以实现重新跟踪，无法确保水下目标的安全性，导致实用性较差相比，其在确定跟踪失败时，向跟踪目标发送声呐报警信号以便于该跟踪目标生成对应的控制指令，通过该控制指令控制水下设备纠正航向继续进行跟踪上述跟踪目标，结合双目跟踪和声呐通信实现了对跟踪目标的持续跟踪，避免了跟踪失败对水下目标带来的安全隐患，实用性较佳。

本发明实施例还提供了一种水下目标的跟踪方法，该方法的执行主体是可穿戴设备或者可穿戴设备上的控制器或者其他控制芯片，参见图8，所述方法包括：

S801、接收水下设备发送的声呐报警信号，其中，声呐报警信号中携带有跟踪目标和水下设备之间的偏差信息；

S802、根据偏差信息生成对应的控制指令；

S803、将控制指令发送至水下设备，以便于水下设备根据该控制指令纠正水下设备自身的航向并根据纠正后的航向继续跟踪该跟踪目标。

具体的，本发明实施例提供的水下目标的跟踪方法首先接收水下设备发送的声呐报警信号，其中，声呐报警信号中携带有跟踪目标偏离水下设备的偏差信息，然后根据该偏差信息生成对应的控制指令，并将控制指令发送至水下设备，以便于水下设备根据该控制指令纠正水下设备自身的航向并根据纠正后的航向继续跟踪该跟踪目标，避免了跟踪失败对水下目标带来的安全隐患，实用性较佳。

本发明实施例提供的水下目标的跟踪方法，其接收水下设备发送的声呐报警信号以生成对应的控制指令，通过该控制指令控制水下设备纠正航向继续进行跟踪上述跟踪目标，结合双目跟踪和声呐通信实现了对跟踪目标的持续跟踪，避免了跟踪失败对水下目标带来的安全隐患，实用性较佳。

本发明实施例还提供了一种水下设备，该设备用于执行上述第一种水下目标的跟踪方法，参见图9，所述设备包括：

图像获取模块11，用于获取包括跟踪目标的跟踪图像，其中，跟踪图像包括采用不同的摄像头分别采集的第一图像和第二图像；

计算跟踪模块12，用于根据第一图像和第二图像计算水下设备与跟踪目标之间的相对位置信息，并基于相对位置信息对跟踪目标进行跟踪；

信号发送模块13，用于在确定对跟踪目标跟踪失败时，向跟踪目标发射声呐报警信号，其中，声呐报警信号中携带有跟踪目标和水下设备之间的偏差信息；

纠正跟踪模块14，用于接收跟踪目标发送的根据偏差信息生成的控制指令，并根据该控制指令纠正水下设备自身的航向以根据纠正后的航向继续跟踪该跟踪目标。

其中，本发明实施例中的偏差信息包括跟踪目标距离水下设备的第一距离信息和跟踪目标偏离水下设备的第一角度信息，该第一距离信息和第一角度信息为声呐探测技术得到的信息。

考虑到本发明实施例提供的水下设备是根据水下设备与跟踪目标之间的相对位置信息对跟踪目标进行跟踪的，可见，相对位置信息的确定是本发明实施例的关键步骤。为了更好的计算相对位置信息，上述计算跟踪模块12包括：

第一距离计算子模块，用于根据第一图像和第二图像计算水下设备与跟踪目标之间的第二距离信息；

遍历搜索子模块，用于对第一图像进行遍历搜索，确定跟踪目标在该第一图像中的第一坐标位置信息；或者，对第二图像进行遍历搜索，确定跟踪目标在该第二图像中的第二坐标位置信息；

第一信息确定子模块，用于根据第一坐标位置信息或者第二坐标位置信息确定跟踪目标相对水下设备的第二角度信息；

第二信息确定子模块，用于将第二距离信息和第二角度信息确定为相对位置信息。

考虑到在对第一图像进行遍历搜索以搜索到跟踪目标时，需要缩放或放大图像进行遍历搜索而带来计算量较大的问题，本发明实施例中的遍历搜索子模块：

尺度确认单元，用于基于当前第一图像的上一个第一图像对应的第二距离信息和该上一个第一图像中的跟踪目标的尺度信息，以及当前第一图像对应的第二距离信息，确定该当前第一图像中的跟踪目标的尺度信息，其中，当前第一图像和上一个第一图像为采用同一个摄像头采集的图像；

遍历搜索单元，用于按照确定的尺度信息对当前第一图像进行遍历搜索，确定跟踪目标在该当前第一图像中的第一坐标位置信息。

另外，本发明实施例中的尺度确认单元，还用于基于当前第二图像的上一个第二图像对应的第二距离信息和该上一个第二图像中的跟踪目标的尺度信息，以及当前第二图像对应的第二距离信息，确定该当前第二图像中的跟踪目标的尺度信息，其中，当前第二图像和上一个第二图像为采用同一个摄像头采集的图像；遍历搜索单元，还用于按照确定的尺度信息对当前第二图像进行遍历搜索，确定跟踪目标在该当前第二图像中的第二坐标位置信息。具体的实现方式与上述第一坐标位置信息的确定方式相同，在此不再赘述。

为了更好的计算水下设备与跟踪目标之间的第二距离信息，上述第一距离计算子模块包括：

特征提取单元，用于从第一图像中提取第一图像特征信息，以及从第二图像中提取第二图像特征信息；

匹配处理单元，用于以第一图像特征信息作为参考信息，将所有的第二图像特征信息分别与任意一个参考信息进行立体匹配处理，得到匹配点对应关系；

视差计算单元，用于按照匹配点对应关系，计算第一图像和第二图像之间的视差信息；

距离计算单元，用于根据视差信息得到水下设备与跟踪目标之间的第二距离信息。

考虑到在对第一图像和第二图像进行特征提取时，可以对第一图像和第二图像进行分割，然后通过分割的结果对第一图像和第二图像中的跟踪目标区域进行识别和特征提取，上述特征提取单元包括：

区域检测子单元，用于分别对第一图像和第二图像进行检测，以得到第一图像的第一跟踪目标区域和第二图像的第二跟踪目标区域；

特征提取子单元，用于提取第一跟踪目标区域的第一图像特征信息；以及，提取第二跟踪目标区域的第二图像特征信息。

本发明实施例提供的水下目标的跟踪方法能够通过三种方式确定是否对跟踪目标跟踪失败，第一种方式是通过判断当前跟踪图像与参考图像之间的特征比对结果进行确定，第二种方式是根据水下设备和跟踪目标之间的第二距离信息与预设阈值之间的距离比对结果进行确定，第三种方式是根据第二距离信息与声呐探测到的第三距离信息之间的比对结果进行确定。上述第一种方式对应的失败确定模块包括：

比对子模块，用于根据任一跟踪图像中的跟踪目标与参考图像中的跟踪目标进行比对，确定第一匹配结果，其中，跟踪图像和参考图像为采用同一个摄像头采集的图像，参考图像为该摄像头首次拍摄到的包含跟踪目标的图像；

失败确定子模块，用于根据第一匹配结果，确定是否对跟踪目标跟踪失败。

另外，上述第二种方式对应的比对子模块，还用于将第二距离信息与预设阈值进行对比，确定第二匹配结果；失败确定子模块，还用于根据第二匹配结果，确定是否对跟踪目标跟踪失败。

另外，上述第三种方式还包括第二距离计算子模块，该第二距离计算子模块，用于向跟踪目标发射第一声呐信号，接收跟踪目标反射的第二声呐信号；根据发射第一声呐信号的第一时间和接收第二声呐信号的第二时间之间的时间差计算水下设备与跟踪目标之间的第三距离信息；比对子模块，还用于将第二距离信息与第三距离信息进行比对，确定第三匹配结果；失败确定子模块，还用于根据第三匹配结果，确定是否对跟踪目标跟踪失败。

本发明实施例提供的水下设备，与相关技术中在对水下目标跟踪失败后尚无完善的解决方案以实现重新跟踪，无法确保水下目标的安全性，导致实用性较差相比，其在确定跟踪失败时，向跟踪目标发送声呐报警信号以便于该跟踪目标生成对应的控制指令，通过该控制指令控制水下设备纠正航向继续进行跟踪上述跟踪目标，结合双目跟踪和声呐通信实现了对跟踪目标的持续跟踪，避免了跟踪失败对水下目标带来的安全隐患，实用性较佳。

本发明实施例还提供了一种可穿戴设备，该设备用于执行上述第二种水下目标的跟踪方法，参见图10，所述设备包括：

信号接收模块21，用于接收水下设备发送的声呐报警信号，其中，声呐报警信号中携带有跟踪目标和水下设备之间的偏差信息；

指令生成模块22，用于根据偏差信息生成对应的控制指令；

指令发送模块23，用于将控制指令发送至水下设备，以便于水下设备根据该控制指令纠正水下设备自身的航向并根据纠正后的航向继续跟该踪跟踪目标。

本发明实施例提供的可穿戴设备，其接收水下设备发送的声呐报警信号以生成对应的控制指令，通过该控制指令控制水下设备纠正航向继续进行跟踪上述跟踪目标，结合双目跟踪和声呐通信实现了对跟踪目标的持续跟踪，避免了跟踪失败对水下目标带来的安全隐患，实用性较佳。

本发明实施例所提供的进行水下目标的跟踪方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种水下目标的跟踪方法，其特征在于，包括：

水下设备获取包括跟踪目标的跟踪图像，其中，所述跟踪图像包括采用不同的摄像头分别采集的第一图像和第二图像；

根据所述第一图像和所述第二图像计算所述水下设备与所述跟踪目标之间的相对位置信息，并基于所述相对位置信息对所述跟踪目标进行跟踪；

在确定对所述跟踪目标跟踪失败时，向所述跟踪目标发射声呐报警信号，其中，所述声呐报警信号中携带有所述跟踪目标和所述水下设备之间的偏差信息；

接收所述跟踪目标发送的根据偏差信息生成的控制指令，并根据该控制指令纠正水下设备自身的航向以根据纠正后的航向继续跟踪所述跟踪目标。

2.根据权利要求1所述的方法，其特征在于，所述偏差信息包括所述跟踪目标距离所述水下设备的第一距离信息和所述跟踪目标偏离所述水下设备的第一角度信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像和所述第二图像计算所述水下设备与所述跟踪目标之间的相对位置信息，包括：

根据所述第一图像和所述第二图像计算所述水下设备与所述跟踪目标之间的第二距离信息；

对所述第一图像进行遍历搜索，确定所述跟踪目标在该第一图像中的第一坐标位置信息；或者，对所述第二图像进行遍历搜索，确定所述跟踪目标在该第二图像中的第二坐标位置信息；

根据所述第一坐标位置信息或者所述第二坐标位置信息确定所述跟踪目标相对所述水下设备的第二角度信息；

将所述第二距离信息和所述第二角度信息确定为相对位置信息。

4.根据权利要求3所述的方法，其特征在于，所述对所述第一图像进行遍历搜索，确定所述跟踪目标在该第一图像中的第一坐标位置信息，包括：

基于当前第一图像的上一个第一图像对应的第二距离信息和该上一个第一图像中的跟踪目标的尺度信息，以及所述当前第一图像对应的第二距离信息，确定该当前第一图像中的跟踪目标的尺度信息，其中，所述当前第一图像和所述上一个第一图像为采用同一个摄像头采集的图像；

按照确定的尺度信息对所述当前第一图像进行遍历搜索，确定所述跟踪目标在该当前第一图像中的第一坐标位置信息。

5.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像和所述第二图像计算所述水下设备与所述跟踪目标之间的第二距离信息，包括：

从所述第一图像中提取第一图像特征信息，以及从所述第二图像中提取第二图像特征信息；

以所述第一图像特征信息作为参考信息，将所有的所述第二图像特征信息分别与任意一个所述参考信息进行立体匹配处理，得到匹配点对应关系；

按照所述匹配点对应关系，计算所述第一图像和所述第二图像之间的视差信息；

根据所述视差信息得到所述水下设备与所述跟踪目标之间的第二距离信息。

6.根据权利要求5所述的方法，其特征在于，所述从所述第一图像中提取第一图像特征信息，包括：

对所述第一图像进行检测，得到所述第一图像的第一跟踪目标区域；

提取所述第一跟踪目标区域的第一图像特征信息；

所述从所述第二图像中提取第二图像特征信息，包括：

对所述第二图像进行检测，得到所述第二图像的第二跟踪目标区域；

提取所述第二跟踪目标区域的第二图像特征信息。

7.根据权利要求1所述的方法，其特征在于，根据以下步骤确定是否对所述跟踪目标跟踪失败：

将任一所述跟踪图像中的跟踪目标与参考图像中的跟踪目标进行比对，确定第一匹配结果，其中，所述跟踪图像和所述参考图像为采用同一个摄像头采集的图像，所述参考图像为该摄像头首次拍摄到的包含跟踪目标的图像；

根据所述第一匹配结果，确定是否对所述跟踪目标跟踪失败。

8.根据权利要求3所述的方法，其特征在于，根据以下步骤确定是否对所述跟踪目标跟踪失败：

将所述第二距离信息与预设阈值进行对比，确定第二匹配结果；

根据所述第二匹配结果，确定是否对所述跟踪目标跟踪失败。

9.根据权利要求3所述的方法，其特征在于，根据以下步骤确定是否对所述跟踪目标跟踪失败：

向所述跟踪目标发射第一声呐信号，接收所述跟踪目标反射的第二声呐信号；

根据发射所述第一声呐信号的第一时间和接收所述第二声呐信号的第二时间之间的时间差计算所述水下设备与所述跟踪目标之间的第三距离信息；

将所述第二距离信息与所述第三距离信息进行比对，确定第三匹配结果；

根据所述第三匹配结果，确定是否对所述跟踪目标跟踪失败。

10.一种水下目标的跟踪方法，其特征在于，包括：

可穿戴设备接收水下设备发送的声呐报警信号，其中，所述声呐报警信号中携带有跟踪目标和所述水下设备之间的偏差信息；

根据所述偏差信息生成对应的控制指令；

将所述控制指令发送至水下设备，以便于所述水下设备根据该控制指令纠正水下设备自身的航向并根据纠正后的航向继续跟踪所述跟踪目标。

11.一种水下设备，其特征在于，包括：

图像获取模块，用于获取包括跟踪目标的跟踪图像，其中，所述跟踪图像包括采用不同的摄像头分别采集的第一图像和第二图像；

计算跟踪模块，用于根据所述第一图像和所述第二图像计算水下设备与所述跟踪目标之间的相对位置信息，并基于所述相对位置信息对所述跟踪目标进行跟踪；

信号发送模块，用于在确定对所述跟踪目标跟踪失败时，向所述跟踪目标发射声呐报警信号，其中，所述声呐报警信号中携带有所述跟踪目标和所述水下设备之间的偏差信息；

纠正跟踪模块，用于接收所述跟踪目标发送的根据偏差信息生成的控制指令，并根据该控制指令纠正水下设备自身的航向以根据纠正后的航向继续跟踪所述跟踪目标。

12.一种可穿戴设备，其特征在于，包括：

信号接收模块，用于接收水下设备发送的声呐报警信号，其中，所述声呐报警信号中携带有跟踪目标和所述水下设备之间的偏差信息；

指令生成模块，用于根据所述偏差信息生成对应的控制指令；

指令发送模块，用于将所述控制指令发送至水下设备，以便于所述水下设备根据该控制指令纠正水下设备自身的航向并根据纠正后的航向继续跟踪所述跟踪目标。