CN116721459A - 一种钓鱼行为检测方法和系统 - Google Patents

Abstract

本发明提出了一种钓鱼行为检测方法和系统，该方法包括：获取待检测水域的原始图像，对原始图像进行水域位置分割得到水面区域掩膜图像；利用形态学对水面区域掩膜图像处理得到水面边界位置信息的掩膜图像；从水面边界位置信息的掩膜图像中框选出钓鱼区域位置信息；通过钓鱼区域位置信息对待检测图像进行裁切，检测裁切后图像得到边缘位置信息，对边缘位置信息进行直线检测拟合出图像中的鱼竿；结合水面区域位置和鱼竿位置获取钓鱼人员的手部位置信息；根据手部位置信息确定钓鱼人员位置，再通过钓鱼行为识别模型识别钓鱼人员行为。基于该方法，还提出了一种钓鱼行为检测系统，本发明提高了危险水域环境中的钓鱼行为检测精度，提高了检测效率。

Description

一种钓鱼行为检测方法和系统

技术领域

本发明属于钓鱼行为检测领域，特别涉及一种钓鱼行为检测方法和系统。

背景技术

近年来，钓鱼行为引发的人身安全事故越来越多，包括溺亡，导线触电等。然而河湖、水库面积广，人员巡检难度大，造成了管理不便的情况。

现有的钓鱼检测主要是依赖于安装监控摄像头对河湖岸边进行监控，然而视频监控容易存在监控死角，导致监控不完整，人工巡检难度大，从而严重影响钓鱼行为检测效果。此外通过单一的目标检测算法对人员进行检测，很容易出现误报问题，将行人误报为钓鱼人员，造成大量的人力资源浪费。因此，如何提供一种高效、可靠的巡检方案是目前本领域亟待解决的问题之一。

发明内容

为了解决上述技术问题，本发明提出了一种钓鱼行为检测方法和系统，通过结合无人机与深度学习技术，从无人机视角对钓鱼行为进行检测，避免了人工巡检难度大，监控设备范围小的问题。

为实现上述目的，本发明采用以下技术方案：

一种钓鱼行为检测方法，包括以下步骤：

获取待检测水域的原始图像，对获取的原始图像进行水域位置分割得到水面区域掩膜图像；

利用形态学对水面区域掩膜图像处理得到水面边界位置信息的掩膜图像；从水面边界位置信息的掩膜图像中框选出钓鱼区域位置信息；

通过所述钓鱼区域位置信息对待检测图像进行裁切，对裁切后的图像进行检测得到边缘位置信息，对所述边缘位置信息进行直线检测，拟合出位于图像中的鱼竿；结合水面区域位置和鱼竿位置获取钓鱼人员的手部位置信息；

根据所述钓鱼人员的手部位置信息确定钓鱼人员位置，然后再通过钓鱼行为识别模型识别钓鱼人员行为。

进一步的，所述钓鱼行为识别模型构建的过程包括：

标注待检测区域实时图像中的人员构建钓鱼行为分析数据集；

利用钓鱼行为分析数据集对钓鱼行为识别模型进行训练得到训练后的钓鱼行为识别模型。

进一步的，所述钓鱼行为识别模型采用基于深度学习的神经网络。

进一步的，所述通过钓鱼行为识别模型分析钓鱼人员行为的过程包括：

根据所述钓鱼人员的手部位置信息确定钓鱼人员在鱼竿的具体方位；并以钓鱼人员手部位置为中心，裁切预设大小的手部位置图像；

将所述手部位置图像输入至训练后的钓鱼行为分析模型中，识别钓鱼人员行为。

进一步的，所述获取待检测水域的原始图像，对获取的原始图像进行水域位置分割得到水面区域掩膜图像的详细过程包括：

通过在无人机上搭载图像采集模块，按照预设路线巡航获取待检测水域的原始图像；

对所述待检测水域的原始图像进行水面区域标注构建水面区域训练集；

利用所述水面区域训练集对水面分割算法进行训练，得到训练后的水面分割模型；

将待检测区域的实时图像输入至训练后的水面分割模型中得到水面区域掩膜图像。

进一步的，所述利用形态学对水面区域掩膜图像处理得到水面边界位置信息的掩膜图像的过程包括：

利用形态学对水面区域掩膜图像进行腐蚀操作得到腐蚀后的水面区域掩膜图像；

将所述水面区域掩膜图像和腐蚀后的水面区域掩膜图像进行异或操作得到水面边界位置信息的掩膜图像。

进一步的，所述从水面边界位置信息的掩膜图像中框选出钓鱼区域位置信息的过程包括：利用矩形框对水面边界位置信息的掩膜图像进行框选并获取矩形框的位置信息，所述矩形框的位置信息为钓鱼区域位置信息。

进一步的，所述通过所述钓鱼区域位置信息对待检测图像进行裁切，对裁切后的图像进行检测得到边缘位置信息的详细过程包括：

通过所述钓鱼区域位置信息对待检测图像进行裁切；

裁切后的图像使用Canny检测算法进行检测，生成边缘位置信息。

进一步的，对所述边缘位置信息进行直线检测，拟合出位于图像中的鱼竿的详细过程包括：使用霍夫变换算法对边缘位置信息进行直线检测拟合出图像中的鱼竿。

本发明还提出了一种钓鱼行为检测系统，包括第一处理模块、第二处理模块、第三处理模块和检测模块；

所述第一处理模块用于获取待检测水域的原始图像，对获取的原始图像进行水域位置分割得到水面区域掩膜图像；

所述第二处理模块用于利用形态学对水面区域掩膜图像处理得到水面边界位置信息的掩膜图像；从水面边界位置信息的掩膜图像中框选出钓鱼区域位置信息；

所述第三处理模块用于通过所述钓鱼区域位置信息对待检测图像进行裁切，对裁切后的图像进行检测得到边缘位置信息，对所述边缘位置信息进行直线检测，拟合出位于图像中的鱼竿；结合水面区域位置和鱼竿位置获取钓鱼人员的手部位置信息；

所述检测模块用于根据所述钓鱼人员的手部位置信息确定钓鱼人员位置，然后再通过钓鱼行为识别模型识别钓鱼人员行为。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明提出了一种钓鱼行为检测方法和系统，该方法包括：获取待检测水域的原始图像，对获取的原始图像进行水域位置分割得到水面区域掩膜图像；利用形态学对水面区域掩膜图像处理得到水面边界位置信息的掩膜图像；从水面边界位置信息的掩膜图像中框选出钓鱼区域位置信息；通过钓鱼区域位置信息对待检测图像进行裁切，对裁切后的图像进行检测得到边缘位置信息，对边缘位置信息进行直线检测，拟合出位于图像中的鱼竿；结合水面区域位置和鱼竿位置获取钓鱼人员的手部位置信息；根据钓鱼人员的手部位置信息确定钓鱼人员位置，然后再通过钓鱼行为识别模型分析钓鱼人员行为。基于一种钓鱼行为检测方法，还提出了一种钓鱼行为检测系统，本发明通过结合无人机与深度学习技术，从无人机视角对钓鱼行为进行检测，避免了人工巡检难度大，监控设备范围小的问题。

本发明提出的一种钓鱼行为检测方法，在进行一次检测钓鱼人员行为之后，还进行细颗粒度的二次分析，大大提高了危险水域环境中的钓鱼行为检测精度，提高了检测效率。

附图说明

图1为本发明实施例1提出的一种钓鱼行为检测方法流程图；

图2为本发明实施例1提出的水面边界位置信息示意图；

图3为本发明实施例1提出的鱼竿位置信息示意图；

图4为本发明实施例2提出的一种钓鱼行为检测系统示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

实施例1

本发明实施例1提出了一种钓鱼行为检测方法，通过无人机实时传输场景视频流信息获取图像帧，并利用云端算法实时处理图像帧信息。通过水面分割算法对无人机图像进行水域位置分割，在通过形态学的方式或者水面边界区域，通过直线检测的方式得到钓鱼竿与水域的位置信息，从到确定钓鱼人员，最后利用细粒度分类的方式二次判定人员行为，大大降低算法的误报率。

如图1为本发明实施例1提出的一种钓鱼行为检测方法流程图。

在步骤S100中，获取待检测水域的原始图像。本申请中通过无人机搭载H20T摄像头按照规定航线进行巡检，并传输原始图像到云端服务器。

在步骤S200中，对获取的原始图像进行水域位置分割得到水面区域掩膜图像；

对待检测水域的原始图像进行水面区域标注构建水面区域训练集；

利用水面区域训练集对水面分割算法进行训练，得到训练后的水面分割模型；

将待检测区域的实时图像输入至训练后的水面分割模型中得到水面区域掩膜图像。

本申请中水面分割算法采用基于深度学习的神经网络，水面分割模型在训练时，使用Adam优化器进行优化，动量为0.9，batch size为32，学习率为0.1，采用交叉熵损失函数和L1损失函数。

在步骤S300中，利用形态学对水面区域掩膜图像处理得到水面边界位置信息的掩膜图像；从水面边界位置信息的掩膜图像中框选出钓鱼区域位置信息；如图2为本发明实施例1提出的水面边界位置信息示意图；

步骤S300具体执行的过程包括：

利用形态学对水面区域掩膜图像进行腐蚀操作得到腐蚀后的水面区域掩膜图像；

将水面区域掩膜图像和腐蚀后的水面区域掩膜图像进行异或操作得到水面边界位置信息的掩膜图像；

利用矩形框对水面边界位置信息的掩膜图像进行框选并获取矩形框的位置信息，所述矩形框的位置信息为钓鱼区域位置信息。

在步骤S400中，通过钓鱼区域位置信息对待检测图像进行裁切，对裁切后的图像进行检测得到边缘位置信息，对边缘位置信息进行直线检测，拟合出位于图像中的鱼竿；结合水面区域位置和鱼竿位置获取钓鱼人员的手部位置信息。

通过钓鱼区域位置信息对待检测图像进行裁切；裁切后的图像使用Canny检测算法进行检测，生成边缘位置信息；使用霍夫变换算法对边缘位置信息进行直线检测拟合出图像中的鱼竿，然后结合水面区域位置和鱼竿位置获取钓鱼人员的手部位置信息。如图3为本发明实施例1提出的鱼竿位置信息示意图。其中鱼竿中远离水域的一段为钓鱼人员手部位置。

在步骤S500中，根据所述钓鱼人员的手部位置信息确定钓鱼人员位置，然后再通过钓鱼行为识别模型识别钓鱼人员行为；

标注待检测区域实时图像中的人员构建钓鱼行为分析数据集；

利用钓鱼行为分析数据集对钓鱼行为识别模型进行训练得到训练后的钓鱼行为识别模型；钓鱼行为识别模型采用基于深度学习的神经网络；7、钓鱼行为分析算法训练时，采用SGD优化器，动量为0.93，batch size为128，学习率为0.1，采用均方差损失函数，输出层采用Softmax进行概率判定，从而确认是否为钓鱼人员。

根据钓鱼人员的手部位置信息确定钓鱼人员在鱼竿的具体方位；并以钓鱼人员手部位置为中心，裁切预设大小的手部位置图像；钓鱼行为分析模型需要输入的图像为640*640。根据钓鱼人员手部位置信息可以确定行人具体位置在手部位置的左侧还是右侧，图像高度上手部位置在整体图像中心位置，因此可以确定具体人员位置信息。将手部位置图像输入至训练后的钓鱼行为分析模型中，识别钓鱼人员行为。

本发明实施例提出的一种钓鱼行为检测方法，基于无人机场景下的钓鱼行为检测方法，结合无人机技术与深度学习技术，通过云端算法能够实时处理无人机回传的场景数据，通过确定水域位置信息的方式确定钓鱼人与区域位置信息，并通过鱼竿与水岸的关系得到钓鱼人员的位置信息，最后通过行为分析的方式二次分析钓鱼人员行为，大大减少了误报率，提高工作效率。

实施例2

基于本发明实施例1提出的一种钓鱼行为检测方法，本发明实施例2还提出了一种钓鱼行为检测系统，如图4为本发明实施例2提出的一种钓鱼行为检测系统示意图，该系统包括：第一处理模块、第二处理模块、第三处理模块和检测模块；

第一处理模块用于获取待检测水域的原始图像，对获取的原始图像进行水域位置分割得到水面区域掩膜图像；

第二处理模块用于利用形态学对水面区域掩膜图像处理得到水面边界位置信息的掩膜图像；从水面边界位置信息的掩膜图像中框选出钓鱼区域位置信息；

第三处理模块用于通过钓鱼区域位置信息对待检测图像进行裁切，对裁切后的图像进行检测得到边缘位置信息，对边缘位置信息进行直线检测，拟合出位于图像中的鱼竿；结合水面区域位置和鱼竿位置获取钓鱼人员的手部位置信息；

检测模块用于根据钓鱼人员的手部位置信息确定钓鱼人员位置，然后再通过钓鱼行为识别模型识别钓鱼人员行为。

第一处理模块具体执行的过程包括：通过无人机搭载H20T摄像头按照规定航线进行巡检，并传输原始图像到云端服务器；对待检测水域的原始图像进行水面区域标注构建水面区域训练集；利用水面区域训练集对水面分割算法进行训练，得到训练后的水面分割模型；将待检测区域的实时图像输入至训练后的水面分割模型中得到水面区域掩膜图像。

本申请中水面分割算法采用基于深度学习的神经网络，水面分割模型在训练时，使用Adam优化器进行优化，动量为0.9，batch size为32，学习率为0.1，采用交叉熵损失函数和L1损失函数。

第二处理模块具体执行的过程包括：利用形态学对水面区域掩膜图像进行腐蚀操作得到腐蚀后的水面区域掩膜图像；

将水面区域掩膜图像和腐蚀后的水面区域掩膜图像进行异或操作得到水面边界位置信息的掩膜图像；

利用矩形框对水面边界位置信息的掩膜图像进行框选并获取矩形框的位置信息，所述矩形框的位置信息为钓鱼区域位置信息。

第三处理模块具体执行的过程包括：通过钓鱼区域位置信息对待检测图像进行裁切；裁切后的图像使用Canny检测算法进行检测，生成边缘位置信息；使用霍夫变换算法对边缘位置信息进行直线检测拟合出图像中的鱼竿，然后结合水面区域位置和鱼竿位置获取钓鱼人员的手部位置信息；其中鱼竿中远离水域的一段为钓鱼人员手部位置。

检测模块具体执行的过程包括：标注待检测区域实时图像中的人员构建钓鱼行为分析数据集；

利用钓鱼行为分析数据集对钓鱼行为识别模型进行训练得到训练后的钓鱼行为识别模型；钓鱼行为识别模型采用基于深度学习的神经网络；7、钓鱼行为分析算法训练时，采用SGD优化器，动量为0.93，batch size为128，学习率为0.1，采用均方差损失函数，输出层采用Softmax进行概率判定，从而确认是否为钓鱼人员。

根据钓鱼人员的手部位置信息确定钓鱼人员在鱼竿的具体方位；并以钓鱼人员手部位置为中心，裁切预设大小的手部位置图像；钓鱼行为分析模型需要输入的图像为640*640。根据钓鱼人员手部位置信息可以确定行人具体位置在手部位置的左侧还是右侧，图像高度上手部位置在整体图像中心位置，因此可以确定具体人员位置信息；将手部位置图像输入至训练后的钓鱼行为分析模型中，识别钓鱼人员行为。

本发明实施例2提出的一种钓鱼行为检测系统，基于无人机场景下的钓鱼行为检测方法，结合无人机技术与深度学习技术，通过云端算法能够实时处理无人机回传的场景数据，通过确定水域位置信息的方式确定钓鱼人与区域位置信息，并通过鱼竿与水岸的关系得到钓鱼人员的位置信息，最后通过行为分析的方式二次分析钓鱼人员行为，大大减少了误报率，提高工作效率。

本申请实施例提供的一种钓鱼行为检测系统中相关部分的说明可以参见本申请实施例1提供的一种钓鱼行为检测方法中对应部分的详细说明，在此不再赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种钓鱼行为检测方法，其特征在于，包括以下步骤：

获取待检测水域的原始图像，对获取的原始图像进行水域位置分割得到水面区域掩膜图像；

利用形态学对水面区域掩膜图像处理得到水面边界位置信息的掩膜图像；从水面边界位置信息的掩膜图像中框选出钓鱼区域位置信息；

通过所述钓鱼区域位置信息对待检测图像进行裁切，对裁切后的图像进行检测得到边缘位置信息，对所述边缘位置信息进行直线检测，拟合出位于图像中的鱼竿；结合水面区域位置和鱼竿位置获取钓鱼人员的手部位置信息；

根据所述钓鱼人员的手部位置信息确定钓鱼人员位置，然后再通过钓鱼行为识别模型识别钓鱼人员行为。

2.根据权利要求1所述的一种钓鱼行为检测方法，其特征在于，所述钓鱼行为识别模型构建的过程包括：

标注待检测区域实时图像中的人员构建钓鱼行为分析数据集；

利用钓鱼行为分析数据集对钓鱼行为识别模型进行训练得到训练后的钓鱼行为识别模型。

3.根据权利要求2所述的一种钓鱼行为检测方法，其特征在于，所述钓鱼行为识别模型采用基于深度学习的神经网络。

4.根据权利要求2所述的一种钓鱼行为检测方法，其特征在于，所述通过钓鱼行为识别模型分析钓鱼人员行为的过程包括：

根据所述钓鱼人员的手部位置信息确定钓鱼人员在鱼竿的具体方位；并以钓鱼人员手部位置为中心，裁切预设大小的手部位置图像；

将所述手部位置图像输入至训练后的钓鱼行为分析模型中，识别钓鱼人员行为。

5.根据权利要求1所述的一种钓鱼行为检测方法，其特征在于，所述获取待检测水域的原始图像，对获取的原始图像进行水域位置分割得到水面区域掩膜图像的详细过程包括：

通过在无人机上搭载图像采集模块，按照预设路线巡航获取待检测水域的原始图像；

对所述待检测水域的原始图像进行水面区域标注构建水面区域训练集；

利用所述水面区域训练集对水面分割算法进行训练，得到训练后的水面分割模型；

将待检测区域的实时图像输入至训练后的水面分割模型中得到水面区域掩膜图像。

6.根据权利要求1所述的一种钓鱼行为检测方法，其特征在于，所述利用形态学对水面区域掩膜图像处理得到水面边界位置信息的掩膜图像的过程包括：

利用形态学对水面区域掩膜图像进行腐蚀操作得到腐蚀后的水面区域掩膜图像；

将所述水面区域掩膜图像和腐蚀后的水面区域掩膜图像进行异或操作得到水面边界位置信息的掩膜图像。

7.根据权利要求6所述的一种钓鱼行为检测方法，其特征在于，所述从水面边界位置信息的掩膜图像中框选出钓鱼区域位置信息的过程包括：利用矩形框对水面边界位置信息的掩膜图像进行框选并获取矩形框的位置信息，所述矩形框的位置信息为钓鱼区域位置信息。

8.根据权利要求1所述的一种钓鱼行为检测方法，其特征在于，所述通过所述钓鱼区域位置信息对待检测图像进行裁切，对裁切后的图像进行检测得到边缘位置信息的详细过程包括：

通过所述钓鱼区域位置信息对待检测图像进行裁切；

裁切后的图像使用Canny检测算法进行检测，生成边缘位置信息。

9.根据权利要求8所述的一种钓鱼行为检测方法，其特征在于，对所述边缘位置信息进行直线检测，拟合出位于图像中的鱼竿的详细过程包括：使用霍夫变换算法对边缘位置信息进行直线检测拟合出图像中的鱼竿。

10.一种钓鱼行为检测系统，其特征在于，包括第一处理模块、第二处理模块、第三处理模块和检测模块；

所述第一处理模块用于获取待检测水域的原始图像，对获取的原始图像进行水域位置分割得到水面区域掩膜图像；

所述第二处理模块用于利用形态学对水面区域掩膜图像处理得到水面边界位置信息的掩膜图像；从水面边界位置信息的掩膜图像中框选出钓鱼区域位置信息；

所述第三处理模块用于通过所述钓鱼区域位置信息对待检测图像进行裁切，对裁切后的图像进行检测得到边缘位置信息，对所述边缘位置信息进行直线检测，拟合出位于图像中的鱼竿；结合水面区域位置和鱼竿位置获取钓鱼人员的手部位置信息；

所述检测模块用于根据所述钓鱼人员的手部位置信息确定钓鱼人员位置，然后再通过钓鱼行为识别模型识别钓鱼人员行为。