CN108038459A - 一种水下生物的检测识别方法、终端设备及存储介质 - Google Patents

Abstract

本申请适用于水下识别技术领域，提供了一种水下生物的检测识别方法，包括：获取水下拍摄的视频或者图片；检测并识别所述水下拍摄的视频或者图片中的水下生物，获得所述水下生物的图像；将符合预设条件的水下生物的图像以及预先存储的该水下生物的信息与所述水下拍摄的视频或者图片生成为增强现实的视频或者图片，通过本方法，用户可以实时获取识别的水下生物的相关信息，提高互动性。

Description

一种水下生物的检测识别方法、终端设备及存储介质

技术领域

本申请属于水下识别技术领域，尤其涉及一种水下生物的检测识别方法、终端设备及存储介质。

背景技术

水下生物的检测识别在海洋探测、水下监控、潜水作业、渔业捕捞、水下观光等多个领域有着巨大的应用价值。早期水下生物的检测识别通常基于声呐图像，但是声呐图像与摄像装置拍摄的图像存在较大差异，需要具有一定专业技术知识的人员处理，很难推广到普通用户群体。

目前，用户在水下通过摄像装置拍摄视频或图片，回到陆地上再对拍摄的视频或者图片进行水下生物的检测识别。然而，这种检测识别的方式，用户无法实时查看检测识别的水下生物的相关信息，用户的互动性较差。

发明内容

有鉴于此，本申请实施例提供了一种水下生物的检测识别方法、终端设备及存储介质，以解决目前水下生物的识别方法，用户无法实时获取识别的水下生物的相关信息、且互动性较差的问题。

本申请实施例的第一方面提供了一种水下生物的检测识别方法，包括：

获取水下拍摄的视频或者图片；

检测并识别所述水下拍摄的视频或者图片中的水下生物，获得所述水下生物的图像；

将符合预设条件的水下生物的图像以及预先存储的该水下生物的信息与所述水下拍摄的视频或者图片生成为增强现实的视频或者图片。

本申请实施例的第二方面提供了一种终端设备，包括：

获取模块，用于获取水下拍摄的视频或者图片；

识别模块，用于检测并识别所述水下拍摄的视频或者图片中的水下生物，获得所述水下生物的图像；

处理模块，用于将符合预设条件的水下生物的图像以及预先存储的该水下生物的信息与所述水下拍摄的视频或者图片生成为增强现实的视频或者图片。

本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例第一方面提供的所述方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现本申请实施例第一方面提供的所述方法的步骤。

本申请实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被一个或多个处理器执行时实现本申请实施例第一方面提供的所述方法的步骤。

本申请实施例首先获取水下拍摄的视频或者图片，然后检测并识别所述水下拍摄的视频或者图片中的水下生物，获得所述水下生物的图像，最后将符合预设条件的水下生物的图像以及预先存储的该水下生物的信息与所述水下拍摄的视频或者图片生成为增强现实的视频或者图片，由于将水下拍摄的视频或图片先检测并识别出符合预设条件的水下生物，然后将该水下生物预先存储的信息与检测到的该水下生物的图像以及水下拍摄的视频或图片生成为增强现实的视频或图片，使得用户能够实时获取识别到的水下生物的信息，增加了互动性、趣味性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种水下生物的检测识别方法的应用场景；

图2是本申请一实施例提供的一种水下生物的检测识别方法的实现流程示意图；

图3是本申请又一实施例提供的一种水下生物的检测识别方法的应用场景；

图4是本申请又一实施例提供的一种水下生物的检测识别方法的实现流程示意图；

图5是本申请一实施例提供的带检测框的水下生物的图像；

图6是本申请一实施例提供的目标水下生物的识别方法场景图；

图7是本申请一实施例提供的终端设备的示意框图；

图8是本申请又一实施例提供的终端设备的示意框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

为了说明本申请所述的技术方案，下面先通过具体的应用场景来进行说明。图1是本申请的应用场景，如图1所示，第一终端为用户在水下进行拍摄时携带的终端设备，主要用于在水下进行拍摄生成水下拍摄的视频或图片，第二终端从第一终端获取水下拍摄的视频或图片，检测并识别所述水下拍摄的视频或图片中的水下生物，获得所述水下生物的图像，将符合预设条件的水下生物的图像以及预先存储的该水下生物的信息与所述水下拍摄的视频或图片生成为增强现实的视频或图片，将生成的增强现实的视频或图片在第二终端进行显示或者将所述增强现实的视频或图片发送给第一终端，在第一终端进行显示。

当第一终端和第二终端作为两个独立的终端设备存在时，用户携带第一终端进入水下拍摄，然后将第一终端在水下拍摄的视频或图片通过有线或者无线的方式实时发送给所述第二终端，第二终端将生成的增强现实的视频或图片实时的发送给所述第一终端，用户在水下可以实时通过可视化界面查看增强现实的视频或图片。即如图1(a)所示的第一终端在水下进行拍摄，第二终端在陆地上进行视频或图像的处理。可以通过有线或无线的方式进行数据通信。

如果第一终端在水下时，由于网络的原因，并不能将水下拍摄的视频或图片实时的发送给所述第二终端，则可以在用户携带第一终端回到陆地后，再将第一终端拍摄的视频或者图片传输给所述第二终端，第二终端生成增强现实的视频或图片后直接在第二终端进行显示，。

所述第二终端还可以与所述第一终端集成在一起作为一个整体的终端设备，若所述第二终端与所述第一终端集成为一个终端设备，则用户携带该终端设备进入水下拍摄视频或图片，然后通过该终端设备检测并识别所述水下拍摄的视频或图片中的水下生物，获取所述水下生物的图像，将符合预设条件的水下生物的图像以及预先存储的该水下生物的信息与所述水下拍摄的视频或图片生成为增强现实的视频或图片，再将生成的增强现实的视频或图片通过该终端设备进行显示，

需要说明的是，第一终端和第二终端同时进入水下拍摄时，可以集成为一个终端设备；也可以作为两个独立的终端设备存在，例如，将第一终端和第二终端固定在一个机械壳体内部。

本申请实施例的第一终端、第二终端、第一终端和第二终端集成在一起形成的终端设备可以是水下作业设备，例如，水下机器人、水下监控系统，可以应用于水下活动人员，例如专业潜水员、潜水游客等。

下面具体描述第一终端、第二终端、第一终端和第二终端集成在一起形成的终端设备是如何进行水下生物的检测识别的，以下水下生物的检测识别方法的实施例中，本领域技术人员可以根据具体的方案应用于第一终端、第二终端或者，第一终端和第二终端集成在一起的终端设备。

图2是本申请一实施例提供的水下生物的检测识别方法的实现流程示意图，如图所示该方法可以包括以下步骤：

步骤S201，获取水下拍摄的视频或者图片。

在本申请实施例中，我们通过图3以一个应用场景具体为例，描述水下生物的检测识别方法的实现流程。如图3所示，用户可以由集成了摄像装置的第一终端在水下进行拍摄，第一终端上集成的摄像装置可以包括多个。第一终端通过摄像装置获得水下拍摄的视频或图片，第二终端从第一终端获取水下拍摄的视频或图片。还可以是，第一终端和第二终端集成为一个终端设备，该终端设备由用户携带进入水下，通过终端设备上集成的或者外接的摄像装置拍摄视频或图片，终端设备从摄像装置获取水下拍摄的视频或图片。

需要说明的是，第一终端可以是手机、平板电脑、录像机等具有拍摄功能的设备。第二终端为具有图像分析处理并生成增强现实的视频或图片的设备，例如计算机、服务器等。当然，所述第一终端和第二终端集成为一个终端设备时，该终端设备也可以是手机、平板电脑、录像机、计算机等既具有拍摄功能又具有图像分析处理和生成增强现实的视频或图像功能的设备。

还需要说明的是，水下拍摄的视频或图片可以是一个视频或一个图片，还可以是多个视频或多个图片，还可以是视频和图片同时存在。水下拍摄的视频或图片通常是用户在水下跟踪一个或一群水下生物拍摄的。视频的时长以及视频的个数均不作限制，图片的个数也不限制。当第一终端和第二终端作为独立的终端设备存在时，第一终端可以一边拍摄一边将拍摄的视频或图片发送给第二终端，例如，以数据包的形式一帧一帧的发送。这样，可实现实时识别水下生物，实时生成增强现实的视频或图片。

作为本申请又一实施例，在获取水下拍摄的视频或者图片之后，还包括：

检测所述水下拍摄的视频或图片的清晰度，若所述清晰度小于阈值，则生成提示信息。

在本申请实施例中，检测拍摄的视频或图片的清晰度可以更好的识别出水下生物，当清晰度较低时，可能拍摄的水下生物的特征不明显导致无法识别出水下生物，所以第一终端在拍摄的过程中就可以对拍摄的视频或图片进行清晰度检测。当然，对拍摄的视频或图片的清晰度的检测也可以应用在第二终端，第二终端从第一终端获取水下的视频或图片后，先对水下拍摄的视频或图片进行清晰度检测，若清晰度小于阈值，则生成提示信息，发送给第一终端。第一终端收到提示信息后，可以自动调节摄像装置的各项参数。也可以生成文字提示信息显示在可视化界面上，由用户手动调节摄像装置的各项参数。当第一终端和第二终端集成为一个终端设备时，提示信息为内部数据的传输，即终端设备根据实时拍摄的视频或图片可以实时或者以预定的时间间隔进行清晰度检测。

作为本申请又一实施例，在通过摄像装置拍摄水下的视频或者图片的过程中，若接收到用户通过可视化界面输入的第一指令，则根据所述第一指令调整当前拍摄的视频或图片中水下生物在画面中的位置或大小。

在本申请实施例中，用户拍摄的过程中能够实时查看拍摄的视频或图像，如果用户在拍摄过程中认为水下生物太多影响视野，或者由于位置姿态的原因导致水下生物无法全部显示在当前画面中，用户可以通过可视化界面输入第一指令，调整当前拍摄的视频或图片中水下生物在画面中的位置或大小。例如，用户通过两个手指在可视化界面上的触点之间的距离逐渐拉大的方法使得水下生物在画面中变大，同理，也可以通过两个手指在可视化界面上的触点之间的距离逐渐缩小的方法使得水下生物在画面中变小，或者通过单个触点上、下、左、右等方位拖动的方式驱动镜头的方向调整，使得水下生物在画面中的位置改变。当然，还可以通过双击的方式选定一个水下生物，通过快速滑动的方式，将该水下生物删除。实际应用中，还可以设置其它的触控指令作为第一指令，在此不做限制。

步骤S202，检测并识别所述水下拍摄的视频或者图片中的水下生物，获得所述水下生物的图像。

在本申请实施例中，如图3所示，第二终端通过预设的检测识别模型检测并识别所述水下拍摄的视频或图片中的水下生物，获得所述水下生物的图像。当然，若第一终端和第二终端集成为一个终端设备时，可以通过该终端设备执行该步骤。

具体可以先获取水下生物的区域，通常水下生物的区域会占据画面中的一部分，例如，水下生物在画面中的位置和大小。即，水下生物的区域为该水下生物在画面中的位置和大小，可以通过深度卷积神经网络进行实现水下生物的检测和识别。

作为本申请又一实施例，所述检测并识别所述水下拍摄的视频或者图片中的水下生物，获得所述水下生物的图像包括：

步骤S301，基于卷积神经网络从所述水下拍摄的视频或图片中提取二维特征，并将所述二维特征输入区域建议网络。

步骤S302，基于所述区域建议网络，根据所述二维特征检测所述水下拍摄的视频或图片中水下生物所在的区域。

步骤S303，在所述水下生物所在的区域识别所述水下生物，获得带检测框的水下生物图像。

在本申请实施例中，对水下生物进行检测识别的模型为基于卷积神经网络和区域建议网络的，当然，还可以结合池化层、全连接层、数据归一化层等来构建模型。构建的模型经过训练后，可以识别出一种或多种水下生物。当然，在构建的模型中还可以直接对水下生物进行分类，这时还需要增加概率输出层用于分类。

以上述的卷积神经网络、区域建议网络，再结合池化层、全连接层、数据归一化层等构建的模型为例，可以将水下拍摄的视频或图片输入所述卷积神经网络，所述卷积神经网络会输出每帧图片的二维特征，将所述二维特征再输入区域建议网络，区域建议网络会输出带检测框的图像，当然，每个图片中可能会包含有多个检测框，每个检测框还会带有一个得分，这个得分表示这个检测框中的区域存在水下生物的得分。最后会得到带检测框中的图像，检测框中是识别出的水下生物，如图5所示，是通过构建的模型获得的带检测框的水下生物的图像。

我们以一张图片为例，将该图片输入构建的模型后，若该图片中只有一个水下生物，则会生成一个带检测框的图像，检测框中就是该水下生物的图像。若存在n个水下生物，则可能会生成n个带检测框的图像，当然，由于多种因素，可能有一些水下生物该模型无法识别，所以也可能会生成小于n个带检测框的图像。

需要说明的是，构建的模型也是需要经过训练才能够对水下生物进行检测识别，具体的训练过程与本领域通用的卷积神经网络的训练过程一致。另外，在本领域中，还可以通过其它卷积神经网络或其他卷积神经网络的变形实现对水下生物的检测和识别，例如，Faster R-CNN、Y0L0、Mask-FCN、ResNet、 Inception、VGG、Inception、ResNet或者上述举例的组合等。

虽然本申请中的举例为通过卷积神经网络提取的为二维特征，实际应用中，并不限于二维特征，只要提取出了一帧图片的特征即可。

作为本申请又一实施例，当获得带检测框的图像之后，可以将带检测框的图像通过可视化界面显示，如果第一终端和第二终端作为两个独立的终端设备存在，则第二终端在获得带检测框的图像后，需要将带检测框的图像发送给第一终端，在第一终端进行显示。由于构建的水下生物的检测识别模型可能本身会存在一定的精度问题，画面中检测框的位置与水下生物的位置会存在一些偏差，例如，画面中检测框的位置过小，一部分水下生物在检测框的外面，或者画面中的水下生物与检测框的位置存在一定的偏差。这种情况下，用户是可以通过第一终端的可视化界面对检测框的位置和大小进行调整的。

当第一终端和第二终端作为一个整体的终端设备存在时，该终端设备在获得带检测框的水下生物图像后，若接收到用户通过可视化界面输入的第二指令，则根据所述第二指令调整画面中检测框的位置或大小。

在本申请实施例中，通过举例说明如何通过第二指令调整画面中检测框的位置和大小，例如，用户通过可视化界面查看检测识别出的水下生物时，若需要对某一个水下生物的检测框的位置或大小进行调整，则可以通过双击该水下生物的图像或者双击该水下生物的检测框内部的任意区域，在选中该水下生物的检测框后，检测框变为被编辑状态，用户可通过点击检测框的某一条边框实现对该边框的移动，通过4条边框的移动过程就能够实现对检测框的位置和大小的调整。当然也可以通过拖动编辑状态下的检测框实现位置的改变，通过两个手指在可视化界面上的触点的分离、拉近(拉伸或者缩放)实现检测框的大小的调整。

当然，实际应用中，还可以通过其它的基于手势识别的第二指令，实现检测框的位置和/或大小的调整。若是通过可视化界面能够输入第二指令，则要求所述可视化界面为触控屏幕，当然，也可以通过设置的物理按键实现第二指令的输入，在此不再一一举例。

作为本申请又一实施例，在检测并识别所述水下拍摄的视频或者图片中的水下生物，获得所述水下生物的图像之后，还包括：

将识别出的水下生物进行分类，获得不同类别的水下生物的图像集合，

所述水下生物包括：目标生物、危险生物、所述目标生物和危险生物之外的生物。

在本申请实施例中，所述目标生物、危险生物可以预先设置，在预设设置的目标生物和危险生物之外，还可能识别出其它水下生物，归为第三类，所述目标生物和危险生物之外的生物。例如，用户想观察蓝刺尾鱼时，可以将目标生物设置为蓝刺尾鱼，所述目标生物的个数不受限制。危险生物可以为预先设置的鲨鱼、章鱼、海胆等具有攻击性或有毒的水下生物。可以将当前水域中有可能出现的具有攻击性或有毒的水下生物设置为危险生物，也可以将人类目前认知的所有的具有攻击性或有毒的水下生物均设置为危险生物。当然实际应用中也可以不设置目标生物、危险生物、则识别出的所有水下生物均归为第三类。

在获得不同类别的水下生物的图像集合之后，还包括：将不同类别的水下生物的图像集合通过可视化界面进行显示。

在实际应用中，第二终端将不同类别的水下生物的图像集合发送至第一终端，在第一终端通过可视化界面显示；当第一终端和第二终端集成为一个终端设备时，在获得不同类别的水下生物的图像集合后，直接通过可视化界面显示。当然，可以通过点击不同类别的图像集合，查看每个类别图像集合下具体的水下生物。

所述将识别出的水下生物进行分类包括：

若识别出的水下生物在所在的画面中所占的面积比例大于第一预设比例，则确定该水下生物为目标生物；

或者，若识别出的水下生物在所在的画面中所占的横坐标跨度比例大于第二预设比例，和/或，若识别出的水下生物在所在的画面中所占的纵坐标跨度比例大于第三预设比例，则确定该水下生物为目标生物；

或者，基于预设的目标生物识别模型识别目标生物；

基于预设的危险生物识别模型识别危险生物。

在本申请实施例中，可以通过预设的目标生物识别模型识别目标生物，例如前述的设置目标生物为蓝刺尾鱼，则目标生物检测模型就是蓝刺尾鱼检测模型。当然，实际应用中还可以通过其它方式设置目标生物。例如，用户预先并不设置目标生物，而是，在水下进行拍摄时，用户可以选择感兴趣的水下生物进行拍摄，用户感兴趣并拍摄的水下生物设置为目标生物。用户感兴趣的水下生物通常会占据一副画面中的大部分区域。所以，可以设置若一副画面中检测并识别出的水下生物所占的画面与整副画面的比值大于第一预设比例，就可以确定该水下生物为目标生物；第一预设比例可以预先设置，例如设置为30％、 50％等。当水下生物的形状为特殊形状(长宽差距较大)时，通过水下生物在所在的画面中所占的面积比例可能就不适合。例如，如图6所示的海蛇。由于海蛇比较长，用户想要拍全面的海蛇图像，可能画面中海蛇的身体宽度就会非常窄。这样，海蛇在画面中所占的面积比例就会小于第一预设比例。所以可以设置：若识别出的水下生物在所在的画面中所占的横坐标跨度比例大于第二预设比例，和/或，若识别出的水下生物在所在的画面中所占的纵坐标跨度比例大于第三预设比例，则确定该水下生物为目标生物。横坐标和纵坐标的具体跨度可以通过检测框的长和宽来确定，通过检测框的长和宽分别占所在画面的长和宽的比例确定该水下生物是否为目标生物。横坐标跨度比例就为横坐标方向上的检测框边框线的长度所占横坐标方向上的画面的长度的比例。同理，纵坐标跨度比例就为纵坐标方向上的检测框边框线的长度所占纵坐标方向上的画面的长度的比例。实际应用中，可以仅设置识别出的水下生物在所在的画面中所占的横坐标跨度比例，也可以仅设置识别出的水下生物在所在的画面中所占的纵坐标跨度比例，还可以同时设置识别出的水下生物在所在的画面中所占的横坐标跨度比例和纵坐标跨度比例。跨度比例可以通过上述画面中检测框的边框线和画面的实际长宽的长度进行计算，也可以通过像素进行计算。例如如图6所示的海蛇图像，图像为324*220(横坐标方向*纵坐标方向)像素，如果海蛇对应横坐标跨度为260像素，则海蛇在所在的画面中所占的横坐标跨度比例 260/324。当然实际应用中还可以设置其它条件作为确定目标生物的条件，在此不一一举例。

危险生物的检测识别通常是基于预设的危险生物识别模型来识别危险生物。

作为本申请又一实施例，在基于预设的危险生物识别模型识别危险生物之后，还包括：

若识别到危险生物，则将当前水下区域设置为危险区域，并生成警示信息。

在本申请实施例中，只要识别到危险生物，不管画面中是否存在目标生物，以及目标生物所占的区域面积与所述危险生物所占的区域面积的大小、重合关系，都将当前水下区域设置为危险区域，并且生成警示信息。

如果第一终端和第二终端作为独立的两个终端设备，则第二终端在识别到水下生物后，生成警示信息，将该警示信息发送给第一终端，由第一终端发出声波警报、光波警报或振动波警报等以驱逐危险生物或者提示用户当前水域存在危险生物。如果第一终端和第二终端集成为一个终端设备，则该终端设备位于水下，在识别到危险生物之后，直接发出声波、光波或者振动波警报以驱逐水下生物，或在可视化界面上用文字信息提示用户离开当前水域。

步骤S203，将符合预设条件的水下生物的图像以及预先存储的该水下生物的信息与所述水下拍摄的视频或者图片生成为增强现实的视频或者图片。

所述预先存储的该水下生物的信息包括以下至少一项：预先存储的该水下生物的文字简介信息、声音简介信息、特效信息。

在本申请实施例中，所述预设条件可以是某一类别的水下生物，例如、目标生物，还可以是某一种生物，例如蓝刺尾鱼，还可以设置预设条件为无，即只要检测到水下生物，就生成增强显示的视频或图片，当然还可以设置其它预设条件。如图3所示，第二终端将符合预设条件的水下生物的图像以及预先存储的该水下生物的信息与所述水下拍摄的视频或者图片生成为增强现实的视频或者图片，可以将所述增强现实的视频或图片发送至第一终端显示。如果第一终端和第二终端集成为一个终端设备，则该终端设备将增强现实的视频或图片通过该终端设备的可视化界面显示。

生成增强现实的视频或图片可以使得用户能够实时获得符合预设条件的水下生物的信息，同时获得感官刺激，增加用户的互动性、趣味性。可以预先存储水下生物的文字简介信息、声音简介信息或特效信息。在生成增强现实的视频或图片时，可以将水下拍摄的视频或图片中检测到的所有水下生物从背景中抠掉，再将识别到的符合预设条件的水下生物的图像合成在该水下拍摄的视频或图片的背景中，然后将预先存储的符合预设条件的水下生物的信息合成在水上述包含了预设水下生物图像的背景中。相当于生成的增强现实的视频或图片中仅保留了背景、符合预设条件的水下生物的图像、预先存储的该水下生物的信息。当然，生成增强现实的视频或图片也可以保留检测到的不符合预设条件的水下生物。

如图5所示，生成的增强现实的图片中预先存储的符合预设条件的水下生物信息为文字简介信息。用户可以在观察看水下生物时，同时看到该水下生物的简介信息。

作为本申请又一实施例，所述第一终端还可以包括：为所述第一终端供电的第一电源，还可以包括：适于水下进行无线充电的备用电源。如果用户通过第一终端在水下拍摄视频或图片时，一旦出现第一电源电量不足的状况，就需要为第一终端更换电源，但是由于第一终端在水下作业，具有密封、防水的机械壳体，所以更换电源或者有线的方式进行充电比较困难，可以通过无线充电的方式对备用电源进行充电。避免了用户必须回到陆地进行充电的状况。当然第一电源和备用电源也可以为一个电源，即具有无线充电功能的电源。

本申请实施例不仅可以应用于水下作业的单个终端设备，还可以应用于水下进行拍摄的第一终端和陆地上进行图像处理的第二终端组成的水下生物检测识别的系统。无论应用于哪种设备或者哪种场合，用户可以实时获取检测识别到的水下生物的简介信息，并且增加了互动性、趣味性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图7是本申请一实施例提供的终端设备的示意框图，为了便于说明，仅示出与本申请实施例相关的部分。

该终端设备7可以是内置于现有的手机、平板电脑等终端设备内的软件单元、硬件单元或者软硬结合的单元，也可以作为独立的挂件集成到现有的例如手机、平板电脑等终端设备中，还可以作为独立的终端设备存在。如果以上述方法实施例中的为例，所述终端设备7可以为上述实施例中的第二终端，若是第一终端和第二终端集成为一个设备，则所述终端设备7可以是第一终端和第二终端集成为一体的终端设备。

所述终端设备7包括：

获取模块71，用于获取水下拍摄的视频或者图片；

识别模块72，用于检测并识别所述水下拍摄的视频或者图片中的水下生物，获得所述水下生物的图像；

处理模块73，用于将符合预设条件的水下生物的图像以及预先存储的该水下生物的信息与所述水下拍摄的视频或者图片生成为增强现实的视频或者图片。

可选的，所述识别模块72包括：

特征提取单元721，用于基于卷积神经网络从所述水下拍摄的视频或图片中提取二维特征，并将所述二维特征输入区域建议网络；

区域检测单元722，用于基于所述区域建议网络，根据所述二维特征检测所述水下拍摄的视频或图片中水下生物所在的区域；

图像获取单元723，用于在所述水下生物所在的区域识别所述水下生物，获得带检测框的水下生物图像。

可选的，所述水下生物包括：目标生物、危险生物、所述目标生物和危险生物之外的生物；

所述终端设备7还包括：

分类模块74，用于在检测并识别所述水下拍摄的视频或者图片中的水下生物，获得所述水下生物的图像之后，将识别出的水下生物进行分类，获得不同类别的水下生物的图像集合。

可选的，所述分类模块74还用于：

若识别出的水下生物在所在的画面中所占的面积比例大于第一预设比例，则确定该水下生物为目标生物；

或者，若识别出的水下生物在所在的画面中所占的横坐标跨度比例大于第二预设比例，和/或，若识别出的水下生物在所在的画面中所占的纵坐标跨度比例大于第三预设比例，则确定该水下生物为目标生物；

或者，基于预设的目标生物识别模型识别目标生物；

基于预设的危险生物识别模型识别危险生物。

可选的，所述终端设备7还包括：

警示模块75，用于在基于预设的危险生物识别模型识别危险生物之后，若识别到危险生物，则将当前水下区域设置为危险区域，并生成警示信息。

可选的，所述终端设备7还包括：

提示模块76，用于在获取水下拍摄的视频或者图片之后，检测所述水下拍摄的视频或图片的清晰度，若所述清晰度小于阈值，则生成提示信息。

可选的，所述获取模块71还用于：

通过摄像装置拍摄水下的视频或者图片；

所述终端设备7还包括：

第一调整模块，用于在通过摄像装置拍摄水下的视频或者图片的过程中，若接收到用户通过可视化界面输入的第一指令，则根据所述第一指令调整当前拍摄的视频或图片中水下生物在画面中的位置或大小。

可选的，所述终端设备7还包括：

第二调整模块，用于在获得带检测框的水下生物图像之后，若接收到用户通过可视化界面输入的第二指令，则根据所述第二指令调整画面中检测框的位置或大小。

可选的，所述预先存储的该水下生物的信息包括以下至少一项：预先存储的该水下生物的文字简介信息、声音简介信息、特效信息。

需要说明的是，如果图7所示的实施例为上述方法实施例中的第二终端，则提示模块生成的提示信息、警示模块生成的警示信息，或者处理模块生成的增强现实的视频或图片可以发送给第一终端，第一终端显示提示信息、警示信息、或者生成的增强现实的视频或图片，使得用户看到提示信息后，调整摄像装置的参数，第一终端根据生成的警示信息发出灯光报警、声波报警或振动报警，第一终端将收到的增强现实的视频或图片通过可视化界面显示。当然图7 所示的实施例还可以为上述方法实施例中的第一终端和第二终端集成在一起的终端设备，具体功能不在描述。

图7所示实施例未示出的第一调整模块和第二调整模块，可以单独应用于第一终端，也可以应用于第一终端和第二终端集成后的终端设备上。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述终端设备的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图8是本申请又一实施例提供的终端设备的示意框图。如图8所示，该实施例的终端设备8包括：一个或多个处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82。所述处理器80执行所述计算机程序82时实现上述各个水下生物的检测识别方法实施例中的步骤，例如图2所示的步骤S201至S203。或者，所述处理器80执行所述计算机程序 82时实现上述终端设备实施例中各模块/单元的功能，例如图7所示模块71至 73的功能。

示例性的，所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述终端设备8中的执行过程。例如，所述计算机程序82可以被分割成获取模块、识别模块、处理模块。

所述获取模块，用于获取水下拍摄的视频或者图片；

所述识别模块，用于检测并识别所述水下拍摄的视频或者图片中的水下生物，获得所述水下生物的图像；

所述处理模块，用于将符合预设条件的水下生物的图像以及预先存储的该水下生物的信息与所述水下拍摄的视频或者图片生成为增强现实的视频或者图片。

其它模块或者单元可参照图7所示的实施例中的描述，在此不再赘述。

需要说明的是，图8所示的终端设备的实施例，可以是第二终端，也可以是第一终端和第二终端集成在一起的终端设备。

所述终端设备包括但不仅限于处理器80、存储器81。本领域技术人员可以理解，图8仅仅是终端设备8的一个示例，并不构成对终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入设备、输出设备、网络接入设备、总线等。

所述处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器81可以是所述终端设备8的内部存储单元，例如终端设备8 的硬盘或内存。所述存储器81也可以是所述终端设备8的外部存储设备，例如所述终端设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (12)

1.一种水下生物的检测识别方法，其特征在于，包括：

获取水下拍摄的视频或者图片；

检测并识别所述水下拍摄的视频或者图片中的水下生物，获得所述水下生物的图像；

将符合预设条件的水下生物的图像以及预先存储的该水下生物的信息与所述水下拍摄的视频或者图片生成为增强现实的视频或者图片。

2.如权利要求1所述的水下生物的检测识别方法，其特征在于，所述检测并识别所述水下拍摄的视频或者图片中的水下生物，获得所述水下生物的图像包括：

基于卷积神经网络从所述水下拍摄的视频或图片中提取二维特征，并将所述二维特征输入区域建议网络；

基于所述区域建议网络，根据所述二维特征检测所述水下拍摄的视频或图片中水下生物所在的区域；

在所述水下生物所在的区域识别所述水下生物，获得带检测框的水下生物图像。

3.如权利要求1所述的水下生物的检测识别方法，其特征在于，所述水下生物包括：目标生物、危险生物、所述目标生物和危险生物之外的生物；

在检测并识别所述水下拍摄的视频或者图片中的水下生物，获得所述水下生物的图像之后，还包括：

将识别出的水下生物进行分类，获得不同类别的水下生物的图像集合。

4.如权利要求3所述的水下生物的检测识别方法，其特征在于，所述将识别出的水下生物进行分类包括：

若识别出的水下生物在所在的画面中所占的面积比例大于第一预设比例，则确定该水下生物为目标生物；

或者，若识别出的水下生物在所在的画面中所占的横坐标跨度比例大于第二预设比例，和/或，若识别出的水下生物在所在的画面中所占的纵坐标跨度比例大于第三预设比例，则确定该水下生物为目标生物；

或者，基于预设的目标生物识别模型识别目标生物；

基于预设的危险生物识别模型识别危险生物。

5.如权利要求4所述的水下生物的检测识别方法，其特征在于，在基于预设的危险生物识别模型识别危险生物之后，还包括：

若识别到危险生物，则将当前水下区域设置为危险区域，并生成警示信息。

6.如权利要求1所述的水下生物的检测识别方法，其特征在于，在获取水下拍摄的视频或者图片之后，还包括：

检测所述水下拍摄的视频或图片的清晰度，若所述清晰度小于阈值，则生成提示信息。

7.如权利要求1所述的水下生物的检测识别方法，其特征在于，所述获取水下拍摄的视频或者图片包括：

通过摄像装置拍摄水下的视频或者图片；

在通过摄像装置拍摄水下的视频或者图片的过程中，若接收到用户通过可视化界面输入的第一指令，则根据所述第一指令调整当前拍摄的视频或图片中水下生物在画面中的位置或大小。

8.如权利要求2所述的水下生物的检测识别方法，其特征在于，在获得带检测框的水下生物图像之后，还包括：

若接收到用户通过可视化界面输入的第二指令，则根据所述第二指令调整画面中检测框的位置或大小。

9.如权利要求1至8任一项所述的水下生物的检测识别方法，其特征在于，所述预先存储的该水下生物的信息包括以下至少一项：预先存储的该水下生物的文字简介信息、声音简介信息、特效信息。

10.一种终端设备，其特征在于，包括：

获取模块，用于获取水下拍摄的视频或者图片；

识别模块，用于检测并识别所述水下拍摄的视频或者图片中的水下生物，获得所述水下生物的图像；

处理模块，用于将符合预设条件的水下生物的图像以及预先存储的该水下生物的信息与所述水下拍摄的视频或者图片生成为增强现实的视频或者图片。

11.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现如权利要求1至9任一项所述方法的步骤。