CN109584274B - 一种水下动物的数量及其轨迹的检测方法及设备 - Google Patents

Abstract

本发明公开了一种水下动物的数量及其轨迹的检测方法及设备，其中，该方法包括：将拍摄水下动物的水下视频分割成若干个视频帧；通过图像目标检测算法对所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果；通过所述水下视频的时序信息和上下文信息对所述若干个单帧检测结果进行修正；根据修正后的所述若干个单帧检测结果，得到所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹；通过目标跟踪对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。通过本发明，能够快速且准确的识别出水下视频中水下动物的数量及其轨迹。

Description

一种水下动物的数量及其轨迹的检测方法及设备

技术领域

本发明涉及水下视频识别领域，特别涉及一种水下动物的数量及其轨迹的检测方法及设备。

背景技术

对于水下视频中的水下动物的数量及其轨迹的识别一般采用深度学习神经网络系统，但是在实践中发现深度学习神经网络系统需要提前训练深度学习网络模型，且由于深度网络结构复杂并且涉及到大量的超参数导致该模型的训练极度耗时，无法及时快速的识别水下视频中水下动物的数量及其轨迹。

发明内容

本发明提供一种水下动物的数量及其轨迹的检测方法及设备，能够快速且准确的识别出水下视频中水下动物的数量及其轨迹。

根据本发明的一个方面，提供了一种水下动物的数量及其轨迹的检测方法，包括以下步骤：将拍摄水下动物的水下视频分割成若干个视频帧；通过图像目标检测算法对所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果；通过所述水下视频的时序信息和上下文信息对所述若干个单帧检测结果进行修正；根据修正后的所述若干个单帧检测结果，得到所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹；通过目标跟踪对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。

优选地，所述通过图像目标检测算法对所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果，包括以下步骤：构建图像目标检测模型；将所述若干个视频帧的每一个视频帧转换为数据输入至所述图像目标检测模型中；获取所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹。

优选地，所述将若干个视频帧的每一个视频帧转换为数据输入至所述图像目标检测模型中，包括以下步骤：将所述若干个视频帧的每一个视频帧作为独立的图像，并将若干个图像的每一个图像的像素都调整为M*N个；将若干个图像的每一个图像中的目标用点(x,y)表示，获取点(x,y)的像素数据F(x,y)以及灰度值f(x,y)；其中，F(x,y)为M*N的矩阵，表示点(x,y)处的像素数据，f(x,y)表示点(x,y)处的灰度值；将若干个图像的每一个图像中的目标(x,y)对应的F(x,y)和f(x,y)输入所述图像目标检测模型中。

优选地，所述通过所述水下视频的时序信息和上下文信息对所述若干个单帧检测结果进行修正，包括以下步骤：根据所述水下视频的时序信息，将每一个视频帧的目标水下动物数量的检测结果都与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果进行比较；如果所述视频帧的目标水下动物数量的检测结果与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果不相同，则将所述视频帧的目标水下动物数量的检测结果修正为其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果；根据所述水下视频的上下文信息，识别每一个视频帧中的目标水下动物，并对每一个视频帧中的目标水下动物数量的检测结果进行修正；根据所述水下视频的上下文信息，对每一个视频帧中的每一个目标水下动物的轨迹的检测结果进行修正。

优选地，所述通过目标跟踪对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正，包括以下步骤：从所述水下视频中的目标水下动物中选取检测得分最高的目标水下动物作为第一起始锚点进行跟踪；在所述水下视频中以所述第一起始锚点为跟踪起点分别向前和向后进行跟踪，生成第一跟踪轨迹；从所述水下视频中除所述检测得分最高的目标水下动物之外的剩余目标水下动物中选取检测得分最高的目标水下动物作为第二起始锚点进行跟踪；在所述水下视频中以所述第二起始锚点为跟踪起点分别向前和向后进行跟踪，生成第二跟踪轨迹；以此类推，得到所述水下视频中每一个目标水下动物的跟踪轨迹；根据所述水下视频中每一个目标水下动物的跟踪轨迹，对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。

根据本发明的另一个方面，还提供了一种水下动物的数量及其轨迹的检测设备，包括：视频分割单元，用于将拍摄水下动物的水下视频分割成若干个视频帧；检测单元，用于通过图像目标检测算法对所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果；第一修正单元，用于通过所述水下视频的时序信息和上下文信息对所述若干个单帧检测结果进行修正；获取单元，用于根据修正后的所述若干个单帧检测结果，得到所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹；第二修正单元，用于通过目标跟踪对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。

优选地，所述检测单元包括：模型构建子单元，用于构建图像目标检测模型；数据输入子单元，用于将所述若干个视频帧的每一个视频帧转换为数据输入至所述图像目标检测模型中；获取子单元，用于获取所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹。

优选地，所述数据输入子单元包括：像素调整模块，用于将所述若干个视频帧的每一个视频帧作为独立的图像，并将若干个图像的每一个图像的像素都调整为M*N个；目标采样模块，用于将若干个图像的每一个图像中的目标用点(x,y)表示，获取点(x,y)的像素数据F(x,y)以及灰度值f(x,y)；其中，F(x,y)为M*N的矩阵，表示点(x,y)处的像素数据，f(x,y)表示点(x,y)处的灰度值；数据输入模块，用于将若干个图像的每一个图像中的目标(x,y)对应的F(x,y)和f(x,y)输入所述图像目标检测模型中。

优选地，所述第一修正单元包括：比较子单元，用于根据所述水下视频的时序信息，将每一个视频帧的目标水下动物数量的检测结果都与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果进行比较；第一修正子单元，用于当所述比较子单元比较所述视频帧的目标水下动物数量的检测结果与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果不相同时，将所述视频帧的目标水下动物数量的检测结果修正为其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果；第二修正子单元，用于根据所述水下视频的上下文信息，识别每一个视频帧中的目标水下动物，并对每一个视频帧中的目标水下动物数量的检测结果进行修正；轨迹修正子单元，用于根据所述水下视频的上下文信息，对每一个视频帧中的每一个目标水下动物的轨迹的检测结果进行修正。

优选地，所述第二修正单元包括：第一起点选取子单元，用于从所述水下视频中的目标水下动物中选取检测得分最高的目标水下动物作为第一起始锚点进行跟踪；第一轨迹生成子单元，用于在所述水下视频中以所述第一起始锚点为跟踪起点分别向前和向后进行跟踪，生成第一跟踪轨迹；第二起点选取子单元，用于从所述水下视频中除所述检测得分最高的目标水下动物之外的剩余目标水下动物中选取检测得分最高的目标水下动物作为第二起始锚点进行跟踪；第二轨迹生成子单元，用于在所述水下视频中以所述第二起始锚点为跟踪起点分别向前和向后进行跟踪，生成第二跟踪轨迹；跟踪轨迹生成子单元，用于根据第一跟踪轨迹和第二跟踪轨迹的生成方法，得到所述水下视频中每一个目标水下动物的跟踪轨迹；第三修正子单元，用于根据所述水下视频中每一个目标水下动物的跟踪轨迹，对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。

与现有技术相比较，本发明的有益效果如下：

通过本发明，将水下视频切割成若干个视频帧，然后再检测每个视频帧中水下动物的数量及其轨迹，通过水下视频的时序信息以及上下文信息对每个视频帧的检测结果进行修正，将若干个视频帧的检测结果进行结合产生水下视频中水下动物的数量及其轨迹的检测结果，最后通过目标跟踪方法对水下视频中的每一个水下动物进行轨迹跟踪，以便对上述检测结果进行修正。这样可以快速的对水下视频中的水下动物的数量及其轨迹进行检测，同时通过对检测结果的修正使得本发明的检测方法对水下视频中水下动物的数量及其轨迹的检测更加精准。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。附图中：

图1是根据本发明实施例的一种水下动物的数量及其轨迹的检测方法的流程图；

图2是根据本发明实施例的一种水下动物的数量及其轨迹的检测设备的结构框图；

图3是根据本发明实施例一的另一种水下动物的数量及其轨迹的检测方法的流程图。

具体实施方式

下面将结合本发明附图，对本发明技术方案进行描述，但所描述的实施例仅仅是本发明一部分实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种水下动物的数量及其轨迹的检测方法，图1是根据本发明实施例的一种水下动物的数量及其轨迹的检测方法的流程图，如图1所示，包括以下步骤：

步骤S101：将拍摄水下动物的水下视频分割成若干个视频帧；

步骤S102：通过图像目标检测算法对若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果；

步骤S103：通过水下视频的时序信息和上下文信息若干个单帧检测结果进行修正；

步骤S104：根据修正后的若干个单帧检测结果，得到水下视频中目标水下动物的数量和每一个目标水下动物的轨迹；

步骤S105：通过目标跟踪对水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。

在实施过程中，在步骤S102中，首先需要构建图像目标检测模型；再将若干个视频帧的每一个视频帧转换为数据输入至图像目标检测模型中；就可以获取若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹。

进一步的，将若干个视频帧的每一个视频帧转换为数据输入至图像目标检测模型中的具体实施方式为：将若干个视频帧的每一个视频帧作为独立的图像，并将若干个图像的每一个图像的像素都调整为M*N个；将若干个图像的每一个图像中的目标用点(x,y)表示，获取点(x,y)的像素数据F(x,y)以及灰度值f(x,y)；其中，F(x,y)为M*N的矩阵，表示点(x,y)处的像素数据，f(x,y)表示点(x,y)处的灰度值；将若干个图像的每一个图像中的目标(x,y)对应的F(x,y)和f(x,y)输入图像目标检测模型中。

在步骤S103中，根据水下视频的时序信息，将每一个视频帧的目标水下动物数量的检测结果都与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果进行比较；如果上述视频帧的目标水下动物数量的检测结果与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果不相同，则将上述视频帧的目标水下动物数量的检测结果修正为其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果；根据水下视频的上下文信息，识别每一个视频帧中的目标水下动物，并对每一个视频帧中的目标水下动物数量的检测结果进行修正；根据水下视频的上下文信息，对每一个视频帧中的每一个目标水下动物的轨迹的检测结果进行修正。

在步骤S105中，从水下视频中的目标水下动物中选取检测得分最高的目标水下动物作为第一起始锚点进行跟踪；在水下视频中以第一起始锚点为跟踪起点分别向前和向后进行跟踪，生成第一跟踪轨迹；从水下视频中除上述检测得分最高的目标水下动物之外的剩余目标水下动物中选取检测得分最高的目标水下动物作为第二起始锚点进行跟踪；在水下视频中以第二起始锚点为跟踪起点分别向前和向后进行跟踪，生成第二跟踪轨迹；以此类推，得到水下视频中每一个目标水下动物的跟踪轨迹；根据水下视频中每一个目标水下动物的跟踪轨迹，对水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。

通过上述步骤，将水下视频分割为若干个独立的视频帧来检测水下视频中水下动物的数量及其轨迹可以快速的得到检测结果，通过对检测的水下视频中水下动物的数量及其轨迹进行多次修正，可以得到更加准确的检测结果。

本发明实施例还提供了一种水下动物的数量及其轨迹的检测设备20，用于实现上述一种水下动物的数量及其轨迹的检测方法。

图2是根据本发明实施例的一种水下动物的数量及其轨迹的检测设备20的结构框图，如图2所示，该设备20包括：视频分割单元201，用于将拍摄水下动物的水下视频分割成若干个视频帧；检测单元202，用于通过图像目标检测算法对若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果；第一修正单元203，用于通过水下视频的时序信息和上下文信息对若干个单帧检测结果进行修正；获取单元204，用于根据修正后的若干个单帧检测结果，得到水下视频中目标水下动物的数量和每一个目标水下动物的轨迹；第二修正单元205，用于通过目标跟踪对水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。

对于一种水下动物的数量及其轨迹的检测设备20，检测单元202包括：模型构建子单元2021，用于构建图像目标检测模型；数据输入子单元2022，用于将若干个视频帧的每一个视频帧转换为数据输入至图像目标检测模型中；获取子单元2023，用于获取若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹。

对于一种水下动物的数量及其轨迹的检测设备20，数据输入子单元2022包括：像素调整模块20221，用于将若干个视频帧的每一个视频帧作为独立的图像，并将若干个图像的每一个图像的像素都调整为M*N个；目标采样模块20222，用于将若干个图像的每一个图像中的目标用点(x,y)表示，获取点(x,y)的像素数据F(x,y)以及灰度值f(x,y)；其中，F(x,y)为M*N的矩阵，表示点(x,y)处的像素数据，f(x,y)表示点(x,y)处的灰度值；数据输入模块20223，用于将若干个图像的每一个图像中的目标(x,y)对应的F(x,y)和f(x,y)输入图像目标检测模型中。

对于一种水下动物的数量及其轨迹的检测设备20，第一修正单元203包括：比较子单元2031，用于根据水下视频的时序信息，将每一个视频帧的目标水下动物数量的检测结果都与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果进行比较；第一修正子单元2032，用于当比较子单元2031比较视频帧的目标水下动物数量的检测结果与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果不相同时，将视频帧的目标水下动物数量的检测结果修正为其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果；第二修正子单元2033，用于根据水下视频的上下文信息，识别每一个视频帧中的目标水下动物，并对每一个视频帧中的目标水下动物数量的检测结果进行修正；轨迹修正子单元2034，用于根据水下视频的上下文信息，对每一个视频帧中的每一个目标水下动物的轨迹的检测结果进行修正。

对于一种水下动物的数量及其轨迹的检测设备20，第二修正单元205包括：第一起点选取子单元2051，用于从水下视频中的目标水下动物中选取检测得分最高的目标水下动物作为第一起始锚点进行跟踪；第一轨迹生成子单元2052，用于在水下视频中以第一起始锚点为跟踪起点分别向前和向后进行跟踪，生成第一跟踪轨迹；第二起点选取子单元2053，用于从水下视频中除检测得分最高的目标水下动物之外的剩余目标水下动物中选取检测得分最高的目标水下动物作为第二起始锚点进行跟踪；第二轨迹生成子单元2054，用于在水下视频中以第二起始锚点为跟踪起点分别向前和向后进行跟踪，生成第二跟踪轨迹；跟踪轨迹生成子单元2055，用于根据第一跟踪轨迹和第二跟踪轨迹的生成方法，得到水下视频中每一个目标水下动物的跟踪轨迹；第三修正子单元2056，用于根据水下视频中每一个目标水下动物的跟踪轨迹，对水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。

需要说明的是，装置实施例中描述的水下动物的数量及其轨迹的检测设备对应于上述的方法实施例，其具体的实现过程在方法实施例中已经进行过详细说明，在此不再赘述。

为了使本发明的技术方案和实现方法更加清楚，下面将结合优选的实施例对其实现过程进行详细描述。

实施例一

本实施例提供另一种水下动物的数量及其轨迹的检测方法，如图3所示，图3是根据本发明实施例一的另一种水下动物的数量及其轨迹的检测方法的流程图，包括以下步骤：

步骤S301：检测设备将拍摄水下动物的水下视频分割成若干个视频帧；

本发明实施例中，上述水下视频中可以包含多种水下动物，如虾、螃蟹、鱼等，本发明的检测设备可以识别出其中某一种水下动物并检测其数量和轨迹，这样就无需提前将水下动物进行分类然后再拍摄水下视频，节省了检测的时间，也减小了水下动物数量及其轨迹检测的工作量；

步骤S302：检测设备构建图像目标检测模型；

步骤S303：检测设备将若干个视频帧的每一个视频帧转换为数据输入至图像目标检测模型中；

本发明实施例中，上述步骤S303的具体实施方式为：将若干个视频帧的每一个视频帧作为独立的图像，并将若干个图像的每一个图像的像素都调整为M*N个；将若干个图像的每一个图像中的目标用点(x,y)表示，获取点(x,y)的像素数据F(x,y)以及灰度值f(x,y)；其中，F(x,y)为M*N的矩阵，表示点(x,y)处的像素数据，f(x,y)表示点(x,y)处的灰度值；将若干个图像的每一个图像中的目标(x,y)对应的F(x,y)和f(x,y)输入上述图像目标检测模型中；

需要说明的是，空间坐标(x,y)的数字化称为图像采样，而幅值数字化称为灰度级量化，对一幅图像采样时，若每行(横向)采样数为M，每列(纵向)采样数为N，则图像大小为M*N个像素，f(x,y)表示点(x,y)处的灰度值，则F(x,y)构成一个M*N实数矩阵；

步骤S304：检测设备获取若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹；

步骤S305：检测设备根据水下视频的时序信息，将每一个视频帧的目标水下动物数量的检测结果都与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果进行比较；如果视频帧的目标水下动物数量的检测结果与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果不相同，则执行步骤S306～步骤S314；如果视频帧的目标水下动物数量的检测结果与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果相同，则执行步骤S307～步骤S314；

作为一种可选的实施方式，当某一个视频帧的目标水下动物数量的检测结果与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果不相同，且其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果相同，就说明该视频帧的目标水下动物数量的检测结果存在漏检的情况，这就需要把该视频帧的目标水下动物数量的检测结果进行修正。当某一个视频帧的目标水下动物数量的检测结果与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果相同时，就说明连续相邻的三个视频帧的目标水下动物数量的检测结果均相同，充分证明了该视频帧的目标水下动物数量的检测结果的准确性和真实性，则无需对该视频帧的目标水下动物数量的检测结果进行修改；

具体的，视频的时序信息主要是通过宽度学习模型计算运动的传播的方法。时序性和一致性的评测对象是目标是否精准。而这需要首先检测出目标，然后对其进行跟踪，并在跟踪过程中对跟踪轨迹点进行分析处理，这样可以较好地缓解跟踪时的漂移现象，并能在轨迹异常时及时终止跟踪。由于单帧检测结果存在很多漏检目标，而相邻帧图像检测结果中可能包含这些漏检目标，所以可以借助前向后向传播，通过宽度学习模型计算运动的传播可以提高漏检目标的召回率，也就是说在T时刻，有T-1和T+1时刻来检测漏检的目标。这样就极大地保证了单帧检测结果的准确性；

可选的，对于单个视频帧的目标水下动物数量的检测结果准确性的判断方法可以是：检测设备根据水下视频的时序信息，将每一个视频帧的目标水下动物数量的检测结果进行归类，将检测结果相同的视频帧归为同一类，选出视频帧个数最多的检测结果作为水下视频的目标水下动物数量的检测结果，这种统计方法也能快速的检测出水下视频中目标水下动物的数量检测结果，同时通过概率统计使得检测结果具有很强的准确性；

步骤S306：检测设备将视频帧的目标水下动物数量的检测结果修正为其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果；

本发明实施例中，通过对单个视频帧的目标水下动物数量的检测结果的修正使得水下视频中目标水下动物数量的检测结果的准确性得到提高；

步骤S307：检测设备根据水下视频的上下文信息，识别每一个视频帧中的目标水下动物，并对每一个视频帧中的目标水下动物数量的检测结果进行修正；

本发明实施例中，视频的上下文信息主要是上下文抑制的方法，通过上下文抑制的方法可以较为准确的识别我们检测识别的目标水下动物，可以用宽度学习模型测试准确率和训练准确率来将水下动物的类别进行区分，检测得分较低的类别的水下动物可能是误检，需要对它进行抑制，经过上下文抑制处理之后的检测结果中正确的类别靠前，错误的靠后，从而提升对水下动物的识别精度；

步骤S308：检测设备根据水下视频的上下文信息，对每一个视频帧中的每一个目标水下动物的轨迹的检测结果进行修正；

本发明实施例中，目标在某些视频帧上会存在运动模糊，分辨率较低，遮挡等问题，即便是目前最好的图像目标检算法也不能很好地检测目标，所以需要根据视频的上下文信息对单个视频帧中目标水下动物的轨迹检测结果进行修正；

步骤S309：检测设备根据修正后的若干个单帧检测结果，得到水下视频中目标水下动物的数量和每一个目标水下动物的轨迹；

步骤S310：检测设备从水下视频中的目标水下动物中选取检测得分最高的目标水下动物作为第一起始锚点进行跟踪；

作为一种可选的实施方式，检测设备要想更加精确地检测出目标水下动物的数量，可以将每一个目标水下动物的轨迹全部跟踪生成，但这样就需要检测设备正确的识别出水下视频中全部的目标水下动物，由于目标水下动物有若干个，检测设备可以在若干个目标水下动物中先挑选检测得分最高的目标水下动物作为第一个跟踪目标，然后将该目标水下动物检测得分最高的视频节点作为跟踪起点向视频的前后两个方向分别跟踪该目标水下动物，以便生成该目标水下动物在水下视频中的完整运动轨迹；

步骤S311：检测设备在水下视频中以第一起始锚点为跟踪起点分别向前和向后进行跟踪，生成第一跟踪轨迹；

步骤S312：检测设备从水下视频中除检测得分最高的目标水下动物之外的剩余目标水下动物中选取检测得分最高的目标水下动物作为第二起始锚点进行跟踪；

作为一种可选的实施方式，当检测设备对第一个目标水下动物跟踪完成之后，需要将第一个目标水下动物的跟踪轨迹进行标记，然后检测设备再从若干个目标水下动物中除过已经被跟踪过的目标水下动物之外的目标水下动物中选择检测得分最高的目标水下动物作为第二个跟踪目标，然后将该目标水下动物检测得分最高的视频节点作为跟踪起点向视频的前后两个方向分别跟踪该目标水下动物，以便生成该目标水下动物在水下视频中的完整运动轨迹；需要注意的是，在跟踪第二个跟踪目标的过程中，如果遇到被标记的第一个跟踪目标的跟踪轨迹时就自动略过，去检测其他的轨迹点是否是第二个跟踪目标的运动轨迹，这样也避免了将同一个轨迹点重复检测多遍的情况出现，对于剩下还未被跟踪的目标也提高了其跟踪轨迹生成的速度；

步骤S313：检测设备在水下视频中以第二起始锚点为跟踪起点分别向前和向后进行跟踪，生成第二跟踪轨迹；以此类推，得到水下视频中每一个目标水下动物的跟踪轨迹；

作为一种可选的实施方式，在第二个跟踪目标的跟踪轨迹生成之后，将第二个跟踪目标的跟踪轨迹进行标记，然后再从水下视频中的若干个目标水下动物中除过已经被跟踪过的目标水下动物之外的目标水下动物中选择检测得分最高的目标水下动物作为第三个跟踪目标，然后将该目标水下动物检测得分最高的视频节点作为跟踪起点向视频的前后两个方向分别跟踪该目标水下动物，以便生成该目标水下动物在水下视频中的完整运动轨迹；依照这种方式，按照检测得分的高低顺序对若干个目标水下动物逐个进行跟踪，值得注意的是，某个目标水下动物的检测得分如果低于检测设备设定的阈值，就说明该目标检测动物并非是真正的需要检测的目标水下动物，也就不需要对其进行跟踪了；

步骤S314：检测设备根据水下视频中每一个目标水下动物的跟踪轨迹，对水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。

本发明实施例中，检测设备对目标水下动物进行跟踪生成的跟踪轨迹就是检测得到的目标水下动物的运动轨迹，检测设备对目标水下动物进行跟踪生成的跟踪轨迹的个数就是检测设备检测到的目标水下动物的数量，这样是的检测结果更加精准。

综合上述，通过上述实施例，将水下视频切割成若干个视频帧，然后再检测每个视频帧中水下动物的数量及其轨迹，通过水下视频的时序信息以及上下文信息对每个视频帧的检测结果进行修正，将若干个视频帧的检测结果进行结合产生水下视频中水下动物的数量及其轨迹的检测结果，最后通过目标跟踪方法对水下视频中的每一个水下动物进行轨迹跟踪，以便对上述检测结果进行修正。这样可以快速的对水下视频中的水下动物的数量及其轨迹进行检测，同时通过对检测结果的修正使得本发明的检测方法对水下视频中水下动物的数量及其轨迹的检测更加精准。

Claims (8)

1.一种水下动物的数量及其轨迹的检测方法，其特征在于，包括以下步骤：

将拍摄水下动物的水下视频分割成若干个视频帧；

通过图像目标检测算法对所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果；

通过所述水下视频的时序信息和上下文信息对所述若干个单帧检测结果进行修正；

根据修正后的所述若干个单帧检测结果，得到所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹；

从所述水下视频中的目标水下动物中选取检测得分最高的目标水下动物作为第一起始锚点进行跟踪；

在所述水下视频中以所述第一起始锚点为跟踪起点分别向前和向后进行跟踪，生成第一跟踪轨迹，并对所述第一跟踪轨迹进行标记；

从所述水下视频中除所述检测得分最高的目标水下动物之外的剩余目标水下动物中选取检测得分最高的目标水下动物作为第二起始锚点进行跟踪；

在所述水下视频中以所述第二起始锚点为跟踪起点分别向前和向后进行跟踪，生成第二跟踪轨迹，并对所述第二跟踪轨迹进行标记；以此类推，得到所述水下视频中每一个目标水下动物的跟踪轨迹；

根据所述水下视频中每一个目标水下动物的跟踪轨迹，对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。

2.根据权利要求1所述的方法，其特征在于，所述通过图像目标检测算法对所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果，包括以下步骤：

构建图像目标检测模型；

将所述若干个视频帧的每一个视频帧转换为数据输入至所述图像目标检测模型中；

获取所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹。

3.根据权利要求2所述的方法，其特征在于，所述将若干个视频帧的每一个视频帧转换为数据输入至所述图像目标检测模型中，包括以下步骤：

将所述若干个视频帧的每一个视频帧作为独立的图像，并将若干个图像的每一个图像的像素都调整为M*N个；

将若干个图像的每一个图像中的目标用点(x,y)表示，获取点(x,y)的像素数据F(x,y)以及灰度值f(x,y)；其中，F(x,y)为M*N的矩阵，表示点(x,y)处的像素数据，f(x,y)表示点(x,y)处的灰度值；

将若干个图像的每一个图像中的目标(x,y)对应的F(x,y)和f(x,y)输入所述图像目标检测模型中。

4.根据权利要求1所述的方法，其特征在于，所述通过所述水下视频的时序信息和上下文信息对所述若干个单帧检测结果进行修正，包括以下步骤：

根据所述水下视频的时序信息，将每一个视频帧的目标水下动物数量的检测结果都与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果进行比较；

如果所述视频帧的目标水下动物数量的检测结果与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果不相同，则将所述视频帧的目标水下动物数量的检测结果修正为其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果；

根据所述水下视频的上下文信息，识别每一个视频帧中的目标水下动物，并对每一个视频帧中的目标水下动物数量的检测结果进行修正；

根据所述水下视频的上下文信息，对每一个视频帧中的每一个目标水下动物的轨迹的检测结果进行修正。

5.一种水下动物的数量及其轨迹的检测设备，其特征在于，包括：

视频分割单元，用于将拍摄水下动物的水下视频分割成若干个视频帧；

检测单元，用于通过图像目标检测算法对所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果；

第一修正单元，用于通过所述水下视频的时序信息和上下文信息对所述若干个单帧检测结果进行修正；

获取单元，用于根据修正后的所述若干个单帧检测结果，得到所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹；

第二修正单元，用于通过目标跟踪对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正；

所述第二修正单元包括：

第一起点选取子单元，用于从所述水下视频中的目标水下动物中选取检测得分最高的目标水下动物作为第一起始锚点进行跟踪；

第一轨迹生成子单元，用于在所述水下视频中以所述第一起始锚点为跟踪起点分别向前和向后进行跟踪，生成第一跟踪轨迹，并对所述第一跟踪轨迹进行标记；

第二起点选取子单元，用于从所述水下视频中除所述检测得分最高的目标水下动物之外的剩余目标水下动物中选取检测得分最高的目标水下动物作为第二起始锚点进行跟踪；

第二轨迹生成子单元，用于在所述水下视频中以所述第二起始锚点为跟踪起点分别向前和向后进行跟踪，生成第二跟踪轨迹，并对所述第二跟踪轨迹进行标记；

跟踪轨迹生成子单元，用于根据第一跟踪轨迹和第二跟踪轨迹的生成方法，得到所述水下视频中每一个目标水下动物的跟踪轨迹；

第三修正子单元，用于根据所述水下视频中每一个目标水下动物的跟踪轨迹，对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。

6.根据权利要求5所述的设备，其特征在于，所述检测单元包括：

模型构建子单元，用于构建图像目标检测模型；

数据输入子单元，用于将所述若干个视频帧的每一个视频帧转换为数据输入至所述图像目标检测模型中；

获取子单元，用于获取所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹。

7.根据权利要求6所述的设备，其特征在于，所述数据输入子单元包括：

像素调整模块，用于将所述若干个视频帧的每一个视频帧作为独立的图像，并将若干个图像的每一个图像的像素都调整为M*N个；

目标采样模块，用于将若干个图像的每一个图像中的目标用点(x,y)表示，获取点(x,y)的像素数据F(x,y)以及灰度值f(x,y)；其中，F(x,y)为M*N的矩阵，表示点(x,y)处的像素数据，f(x,y)表示点(x,y)处的灰度值；

数据输入模块，用于将若干个图像的每一个图像中的目标(x,y)对应的F(x,y)和f(x,y)输入所述图像目标检测模型中。

8.根据权利要求5所述的设备，其特征在于，所述第一修正单元包括：

比较子单元，用于根据所述水下视频的时序信息，将每一个视频帧的目标水下动物数量的检测结果都与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果进行比较；

第一修正子单元，用于当所述比较子单元比较所述视频帧的目标水下动物数量的检测结果与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果不相同时，将所述视频帧的目标水下动物数量的检测结果修正为其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果；

第二修正子单元，用于根据所述水下视频的上下文信息，识别每一个视频帧中的目标水下动物，并对每一个视频帧中的目标水下动物数量的检测结果进行修正；

轨迹修正子单元，用于根据所述水下视频的上下文信息，对每一个视频帧中的每一个目标水下动物的轨迹的检测结果进行修正。

Images