CN115497172B - 钓鱼行为检测方法、装置及边缘处理设备、存储介质 - Google Patents

Abstract

本发明公开了一种钓鱼行为检测方法、装置及边缘处理设备、存储介质，涉及图像处理技术领域。该方法包括：获取待检测场景的初始背景图和当前场景图；检测当前场景图中是否存在行人，若是，则对初始背景图和当前场景图进行预处理，以得到目标背景图和初始前景图；将目标背景图和初始前景图输入至预先构建且训练好的目标联合判定模型中，以检测是否存在钓鱼行为。由此，以提高钓鱼行为检测的检测准确度。

Description

钓鱼行为检测方法、装置及边缘处理设备、存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种钓鱼行为检测方法、装置及边缘处理设备、存储介质。

背景技术

野外池塘众多且人流量较少，因此会有不少钓鱼爱好者经常前往垂钓。然而，有些野外池塘的周围或池塘上方存在高压输电线路，在这些池塘下方钓鱼时，会存在巨大的触点风险，从而需要对池塘进行监测，以防止此类触电事故的发生。

在相关的池塘监测方法中，一部分是通过人工监测的方式监测鱼塘是否有人钓鱼，但是该方法成本高且实时性较低；还有一部分是基于图像检测分类算法对池塘进行监测。

其中，基于图像检测分类算法对池塘进行监测的一种方式为：先检测是否有行人；再对行人周围用语义分割的方法分割鱼竿，根据行人和鱼竿的信息判断是否存在人员钓鱼行为。还有一种方式为：先检测是否有行人，根据行人的朝向进行扩边剪裁，扩边后的图片包含行人和鱼竿信息；再使用分类器对钓鱼行为进行分类。这两种方法均是基于单张图片进行钓鱼行为判定，但是若遇到很复杂的池塘场景（例如，场景中有栏杆、电线、船桨等）时，会因为缺乏足够的判定信息导致一定程度的误判，从而检测准确度较低。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种钓鱼行为检测方法，以提高钓鱼行为检测的检测准确度。

本发明的第二个目的在于提出一种钓鱼行为检测装置。

本发明的第三个目的在于提出一种边缘处理设备。

本发明的第四个目的在于提出一种计算机可读存储介质。

为达上述目的，本发明第一个实施例提出了一种钓鱼行为检测方法，该方法包括：

获取待检测场景的初始背景图和当前场景图；检测所述当前场景图中是否存在行人，若是，则对所述初始背景图和所述当前场景图进行预处理，以得到目标背景图和初始前景图；将所述目标背景图和所述初始前景图输入至预先构建且训练好的目标联合判定模型中，以检测是否存在钓鱼行为。

本发明实施例的钓鱼行为检测方法，通过获取待检测场景的初始背景图和当前场景图；再检测当前场景图中是否存在行人，在当前场景图中存在行人时，则对初始背景图和当前场景图进行预处理，得到目标背景图和初始前景图；将目标背景图和初始前景图输入至预先构建且训练好的目标联合判定模型中，来检测是否存在钓鱼行为，由此通过提取出初始前景图中与目标背景图中相区别的特征，再通过判断该特征是否为人和鱼竿特征来检测是否存在钓鱼行为，能够有效降低复杂背景对检测的影响，提高了钓鱼行为检测的准确度。

在一些实现方式中，所述对所述初始背景图和所述当前场景图进行预处理，包括：获取所述当前场景图中行人的第一位置信息，并根据所述第一位置信息确定所述当前场景图中的行人区域；对所述行人区域进行扩展操作，得到所述当前场景图中行人的第二位置信息；根据所述第二位置信息对所述初始背景图和所述当前场景图进行裁剪，以得到所述目标背景图和所述初始前景图。

在一些实现方式中，所述目标联合判定模型的构建步骤包括：

创建基础特征提取模型，并在所述基础特征提取模型的中间层嵌入特征对比层，以得到所述目标联合判定模型，其中，所述基础特征提取模型的第一基础层用于提取得到所述目标背景图的背景特征图和所述初始前景图的前景特征图；所述特征对比层用于根据所述背景特征图和所述前景特征图，得到所述初始前景图中的目标前景区域；所述基础特征提取模型的第二基础层用于从所述目标前景区域中提取得到钓鱼行为相关特征，以根据所述钓鱼行为相关特征检测所述待检测场景是否存在钓鱼行为。

在一些实现方式中，根据所述背景特征图和所述前景特征图，得到所述初始前景图中的目标前景区域，包括：根据所述背景特征图和所述前景特征图确定第一中间图；将所述第一中间图沿着通道维度进行求和得到第二中间图；利用sigmoid函数对所述第二中间图进行映射，得到第三中间图；根据所述第三中间图和所述前景特征图得到所述目标前景区域。

在一些实现方式中，根据所述背景特征图和所述前景特征图，得到所述初始前景图中的目标前景区域，包括：对所述前景特征图和所述背景特征图沿着通道维度进行归一化处理，得到目标前景特征图和目标背景特征图；根据所述目标前景特征图和所述目标背景特征图确定相似度矩阵；根据所述相似度矩阵得到第三中间图；根据所述第三中间图和所述前景特征图得到所述目标前景区域。

在一些实现方式中，所述目标联合判定模型的训练步骤包括：获取图片对样本集，并对所述图片对样本集中的所有图片对进行打标签处理，所述图片对包括所述初始背景图和相应的所述当前场景图；利用数据增强算法对所述图片对进行预处理；将经过预处理的所述图片对输入至所述目标联合判定模型中，得到钓鱼行为判定结果；利用所述钓鱼行为判定结果和预设损失函数计算所述目标联合判定模型的损失值；根据所述损失值对所述目标联合判定模型的参数进行更新，直至所述目标联合判定模型收敛，得到训练好的所述目标联合判定模型。

在一些实现方式中，在检测到所述当前场景图中不存在行人时，所述方法还包括：根据所述当前场景图对所述初始背景图进行更新。

为达上述目的，本发明第二个实施例提出了一种钓鱼行为检测装置，该装置包括：

获取模块，用于获取待检测场景的初始背景图和当前场景图；行人检测模块，用于检测所述当前场景图中是否存在行人，若是，则对所述初始背景图和所述当前场景图进行预处理，以得到目标背景图和初始前景图；判定模块，用于将所述目标背景图和所述初始前景图输入至预先构建且训练好的目标联合判定模型中，以检测是否存在钓鱼行为。

本发明实施例的钓鱼行为检测装置，通过获取模块获取待检测场景的初始背景图和当前场景图；再通过行人检测模块检测当前场景图中是否存在行人，在当前场景图中存在行人时，则对初始背景图和当前场景图进行预处理，得到目标背景图和初始前景图；判定模块将目标背景图和初始前景图输入至预先构建且训练好的目标联合判定模型中，来检测是否存在钓鱼行为，由此通过提取出初始前景图中与目标背景图中相区别的特征，再通过判断该特征是否为人和鱼竿特征来检测是否存在钓鱼行为，能够有效降低复杂背景对检测的影响，提高了钓鱼行为检测的准确度。

为达上述目的，本发明第三个实施例提出了一种边缘处理器，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面实施例提出的钓鱼行为检测方法。

为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本发明第一方面实施例提出的钓鱼行为检测方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是本发明一个实施例的钓鱼行为检测方法的流程图；

图2是本发明实施例的对初始背景图和当前场景图进行预处理的方法的流程图；

图3是本发明实施例的当前场景图中行人区域的示意图；

图4是本发明实施例的目标联合判定模型的结构示意图；

图5是本发明一个实施例的得到目标前景区域方法的流程图；

图6是本发明另一个实施例的得到目标前景区域方法的流程图；

图7是本发明实施例的目标联合判定模型的训练方法的流程图；

图8是本发明实施例的钓鱼行为检测装置的方框图；

图9是本发明一个实施例的边缘处理设备的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的一种钓鱼行为检测方法、装置及边缘处理设备、存储介质。

图1是本发明一个实施例的钓鱼行为检测方法的流程图。如图1所示，该方法包括以下步骤：

步骤S110：获取待检测场景的初始背景图和当前场景图。

首先，需要在待检测场景中安装一个摄像装置，该摄像装置的安装位置可以为：能够保证摄像装置拍摄到整个鱼塘的任何位置处。选取待检测场景中没有人时的图片构建初始背景图。获取摄像装置实时拍摄的视频流，并将视频流处理成图片的形式，以得到待检测场景的当前场景图。

步骤S120：检测当前场景图中是否存在行人，若是，则对初始背景图和当前场景图进行预处理，以得到目标背景图和初始前景图。

由于钓鱼行为的主体一定是人，因此本实施例先判断当前场景图中是否存在人，在当前场景图中存在人时，再判断此人是否存在钓鱼行为。在本实施例中，可以利用行人检测算法来检测当前场景图中是否存在行人，例如，可以使用基于yolov5s的行人检测算法。此处不对行人检测算法进行具体限制。

在一些实施方式中，在检测到当前场景图中不存在行人时，根据当前场景图对初始背景图进行更新。具体地，使用上述行人检测算法未检测到当前场景图中存在行人时，则可以使用当前场景图更新初始背景图；并继续重新获得新的当前场景图，检测新的当前场景图中是否存在行人。

若使用上述行人检测算法检测到了当前场景图中存在行人时，则对初始背景图和当前场景图进行预处理，以缩小图片的检测范围。图2是本发明实施例的对初始背景图和当前场景图进行预处理的方法的流程图。如图2所示，在一些实施方式中，可以通过以下步骤对初始背景图和当前场景图进行预处理：

步骤S210：获取当前场景图中行人的第一位置信息，并根据第一位置信息确定当前场景图中的行人区域。

步骤S220：对行人区域进行扩展操作，得到当前场景图中行人的第二位置信息。

步骤S230：根据第二位置信息对初始背景图和当前场景图进行裁剪，以得到目标背景图和初始前景图。

具体地，上述行人检测算法检测到行人后，会输出行人的坐标值集合L={（x_i,y_i,w_i,h_i）|1≤i≤N}，将该坐标值集合进行记录下来并作为行人的第一位置信息。

图3是本发明实施例的当前场景图中行人区域的示意图。如图3所示，根据行人的第一位置信息可以从当前场景图中得到行人区域，其中，x_i,y_i,w_i,h_i分别表示行人区域的左上角横坐标、左上角纵坐标、宽度以及高度；i表示行人的索引，N为当前场景图中的总人数。

需要说明的是，当前场景图中可能会包含多个行人，因此需要获得每个行人对应的坐标值集合，并得到对应的行人区域。此外，行人区域所在坐标系的原点设置的位置可以由工作人员根据实际需求进行设置，例如，坐标系的原点可以设置为当前场景图的左上角，横轴正方向向右，纵轴正方向向下；坐标系的原点还可以设置为当前场景图的左下角，横轴正方向向右，纵轴正方向向上。

为了提高钓鱼行为检测的准确度，在得到行人区域后，可以将行人区域左右方向基于当前宽度扩展第一预设倍数，将行人区域上下方向基于当前高度扩展第二预设倍数，可以得到行人区域的第二位置信息L´={（x_i´,y_i´,w_i´,h_i´）|1≤i≤N}。需要说明的是，第一预设倍数和第二预设倍数可以相同也可以不同，第一预设倍数和第二预设倍数可以由工作人员根据实际需求进行设置，例如，第一预设倍数和第二预设倍数均可以设置为0.5。

作为一个示例，参照图3，当前场景图中的总人数为1，以当前场景图的左上角为坐标系原点，横轴正方向向右，纵轴正方向向下。获取的行人区域的第一位置信息为L={（4,7,6,8）|1≤1≤1}，第一预设倍数和第二预设倍数均设置为0.5。对行人区域按照第一预设倍数和第二预设倍数进行扩展后，可以得到行人的第二位置信息为L´={（1,3,12,16）|1≤1≤1}。

得到行人的第二位置信息后，可以根据第二位置信息对初始背景图和当前场景图进行裁剪，以缩小对初始背景图和当前场景图的检测范围。具体地，可以先根据第二位置信息对当前场景图进行裁剪，即在（x_i´,y_i´）的坐标位置处开始裁剪，并沿着横轴和纵轴的正方向分别剪裁w_i´和h_i´，得到所需的初始前景图的集合fimg={fimg_i|1≤i≤N}。同样的，按照对当前场景图的剪裁方式对初始背景图进行剪裁，得到目标背景图的集合bimg={bimg_i|1≤i≤N}。得到的初始前景图和目标背景图所展示的鱼塘区域相同，从而能够进行进一步的特征提取和特征对比过程。

步骤S130：将目标背景图和初始前景图输入至预先构建且训练好的目标联合判定模型中，以检测是否存在钓鱼行为。

将获得的目标背景图和初始前景图输入至预先构建且训练好的目标联合判定模型中，目标联合判定模型能够根据目标背景图和初始前景图，判定初始前景图中是否存在人和鱼竿，以检测是否存在钓鱼行为。

在一些实施方式中，目标联合判定模型的构建方式可以为：创建基础特征提取模型，并在基础特征提取模型的中间层嵌入特征对比层，以得到目标联合判定模型。其中，基础特征提取模型的第一基础层用于提取得到目标背景图的背景特征图和初始前景图的前景特征图；特征对比层用于根据背景特征图和前景特征图，得到初始前景图中的目标前景区域；基础特征提取模型的第二基础层用于从目标前景区域中提取得到钓鱼行为相关特征，以根据钓鱼行为相关特征检测待检测场景是否存在钓鱼行为。

具体地，可以先创建一个基础特征提取模型，基础特征提取模型可以选用ResNet、MobileNet、DenseNet、Transformer等此类模型，此处不对基础特征提取模型进行具体限制。创建基础特征提取模型后，在基础特征提取模型的中间层嵌入特征对比层，基础特征提取模型的其他层保持不变，以得到目标联合判定模型。

需要说明的是，基础特征提取模型包括输入层、中间层和输出层。在本实施例中，将基础特征提取模型原有的中间层记为第一基础层或第二基础层，将新嵌入基础特征提取模型的中间层记为特征对比层。

图4是本发明实施例的目标联合判定模型的结构示意图。

如图4所示，将目标背景图和初始前景图输入至目标联合判定模型后，第一基础层可以对目标背景图和初始前景图进行特征提取，得到相应的背景特征图和前景特征图。在本实施例中，可以使用目标联合判定模型的前三个中间层（即图4中的stage0、stage1以及stage2）作为第一基础层。将目标背景图和初始前景图输入至stage0后，stage0对目标背景图和初始前景图进行第一次特征提取，并将stage0的输出作为stage1的输入；stage1对目标背景图和初始前景图进行第二次特征提取，将stage1的输出作为stage2的输入；stage2对目标背景图和初始前景图进行第三次特征提取，得到背景特征图和前景特征图。

需要说明的是，目标联合判定模型对目标背景图和初始前景图进行特征提取的过程包含了特征提取过程和降低图像分辨率的过程。作为一个示例，降低图像分辨率的过程可以为：假设输入至stage0的目标背景图的尺寸为224*224（宽*高）；stage0将该目标背景图的分辨率降低1/2，得到尺寸为112*112的特征图；再将尺寸为112*112的特征图作为stage1的输入，stage1将尺寸为112*112的特征图的分辨率再降低1/2，得到尺寸为56*56的特征图；再将尺寸为56*56的特征图作为stage2的输入，stage2将尺寸为56*56的特征图的分辨率再降低1/2，则得到的背景特征图的尺寸为28*28。

继续参考图4，将stage2输出的背景特征图和前景特征图作为特征对比层的输入，特征对比层根据背景特征图和前景特征图进行特征对比，找到背景特征图和前景特征图之间的差异，从而进一步得到当前场景图中人和鱼竿的相关特征。在本实施例中，特征对比层进行特征对比的实现方式包括两种。

图5是本发明一个实施例的得到目标前景区域方法的流程图。如图5所示，在一些实施方式中，特征对比层可以通过以下步骤得到目标前景图：

步骤S510：根据背景特征图和前景特征图确定第一中间图。

步骤S520：将第一中间图沿着通道维度进行求和得到第二中间图。

步骤S530：利用sigmoid函数对第二中间图进行映射，得到第三中间图。

步骤S540：根据第三中间图和前景特征图得到目标前景区域。

首先，需要说明的是，背景特征图和前景特征图均可以以张量的表示形式参与整个计算过程。具体地，可以通过三个维度来表示背景特征图和前景特征图，三个维度分别为m*h*c，其中，m为背景特征图和前景特征图的宽度；h为背景特征图和前景特征图的高度；c为背景特征图和前景特征图的通道数。

得到背景特征图（m*h*c）和前景特征图（m*h*c）后，先利用前景特征图（m*h*c）减去背景特征图（m*h*c），得到第一中间图（m*h*c）。需要说明的是，计算过程即背景特征图和前景特征图维度之间的计算过程。

得到第一中间图（m*h*c）后，将第一中间图沿着通道数维度进行求和计算，得到第二中间图（m*h*1），即将第一中间图的通道数压缩为1。由于本实施例的目的是找到人和鱼竿的相关特征，因此，只需要找到人和鱼竿在宽度和高度的位置信息，不需要考虑人和鱼竿在通道维度的位置信息。这里将第一中间图的通道数压缩为1，能够方便后续的计算过程。

得到第二中间图（m*h*1）后，利用sigmoid函数对第二中间图进行映射，得到第三中间图。需要说明的是，sigmoid函数可以使用目前已有的sigmoid函数公式，此处不做赘述。此外，第三中间图能够反映图中每个区域与人和鱼竿特征的相关程度。

得到第三中间图（m*h*1）后，将第三中间图（m*h*1）和前景特征图（m*h*c）进行乘法计算，得到目标前景区域。即将第三中间图再映射到原前景特征图中，以从前景特征图中找到与人和鱼竿特征最为相关的区域，该区域即为目标前景区域。

图6是本发明另一个实施例的得到目标前景区域方法的流程图。如图6所示，在一些实施方式中，特征对比层还可以通过以下步骤得到目标前景图：

步骤S610：对前景特征图和背景特征图沿着通道维度进行归一化处理，得到目标前景特征图和目标背景特征图。

步骤S620：根据目标前景特征图和目标背景特征图确定相似度矩阵。

步骤S630：根据相似度矩阵得到第三中间图。

步骤S640：根据第三中间图和前景特征图得到目标前景区域。

具体地，先对背景特征图（m*h*c）和前景特征图（m*h*c）沿着通道维度（即c维度）进行L2范数归一化处理，得到目标前景特征图和目标背景特征图。需要说明的是，L2范数归一化处理是对向量X的每个维度数据x1，x2，……，xn都除以||X||₂得到一个新向量，具体地的L2范数归一化公式可以参考已有的L2范数归一化公式，此处不再赘述。

得到目标前景特征图和目标背景特征图后，再通过计算目标前景特征图（m*h*c）和目标背景特征图（m*h*c）之间的内积，得到相似度矩阵（m*h*1）。其中，内积的计算方式为：目标前景特征图各个维度与相应的目标背景特征图各个维度相乘。得到相似度矩阵后，利用1减去相似度矩阵，即可得到第三中间图（m*h*1）。本实施例中的第三中间图与上述实施例中的第三中间图相同。同样地，将第三中间图（m*h*1）和前景特征图（m*h*c）进行乘法计算，得到目标前景区域。

需要说明的是，特征对比层进行特征对比的实现方式不仅限于以上两种方式，还可根据实际需求进行变换，此处不做具体限制。

通过上述两种方式之一得到目标前景区域后，将目标前景区域作为目标联合判定模型中第二基础层的输入。需要说明的是，第二基础层用于对目标前景区域进行进一步特征提取，得到钓鱼行为相关特征，并根据钓鱼行为相关特征确定该场景当前是否存在钓鱼行为。参考图4，在本实施例中，可以仅使用目标联合判定模型中两个中间层（即图4中的stage3和stage4）作为第二基础层。将目标前景区域输入至stage3，stage3会对目标前景区域进行进一步地特征提取和降低分辨率操作，stage3的输出作为stage4的输入，stage4同样会再次对目标前景区域进行特征提取和降低分辨率操作，stage4最终会输出包含行人和鱼竿的特征图。需要说明的是，stage3和stage4的工作过程可以参考上述stage0、stage1以及stage2的工作过程，此处不再赘述。

得到包含行人和鱼竿的特征图后，将行人和鱼竿的特征图输入至目标联合判定模型的线性分类器classifier中。在本实施例中，目标联合判定模型包括了两个线性分类器，一个线性分类器用于判定钓鱼行为，另一个线性分类器用于判定非钓鱼行为。

将行人和鱼竿的特征图输入至目标联合判定模型的线性分类器后，通过线性分类器中的GAP（Global Average Pooling，全局平均池化层），将行人和鱼竿的特征图的空间维度压缩为1，从而将行人和鱼竿的特征图转化为一个一维特征向量；再利用两个线性分类器对该一维特征向量进行处理，并利用softmax函数得到存在钓鱼行为的概率和存在非钓鱼行为的概率。

作为一个示例，可以通过下式确定存在钓鱼行为的概率和存在非钓鱼行为的概率：

其中，X为一维特征向量，W₁为第一个线性分类器的权重，L₁为第一个线性分类器输出的数值，W₂为第二个线性分类器的权重，L₂为第二个线性分类器输出的数值，P₁为存在钓鱼行为的概率，P₂为存在非钓鱼行为的概率。

构建好目标联合判定模型后，还需要对目标联合判定模型进行训练。图7是本发明实施例的目标联合判定模型的训练方法的流程图。如图7所示，在一些实施方式中，可以通过以下步骤对目标联合判定模型进行训练：

步骤S710：获取图片对样本集，并对图片对样本集中的所有图片对进行打标签处理，图片对包括初始背景图和相应的当前场景图。

步骤S720：利用数据增强算法对图片对进行预处理。

步骤S730：将经过预处理的图片对输入至目标联合判定模型中，得到钓鱼行为判定结果。

步骤S740：利用钓鱼行为判定结果和预设损失函数计算目标联合判定模型的损失值。

步骤S750：根据损失值对目标联合判定模型的参数进行更新，直至目标联合判定模型收敛，得到训练好的目标联合判定模型。

具体地，先构造图片对样本集，图片对样本集中包含大量用于训练的图片对，图片对包括初始背景图{BF_j|1≤j≤K}和相应的当前场景图{TF_j|1≤j≤K}。其中，BF_j表示第j组图片对的初始背景图，TF_j表示第j组图片对的当前场景图，K表示图片对样本集的图片对总数。

对图片对样本集中的所有图片对进行打标签处理，标签为{label_j∈{0,1}|1≤j≤K}。其中，label_j表示第j组图片对的标签，当label_j取1时，表示该图片对包含钓鱼行为；当label_j取0时，表示该图片对不包含钓鱼行为。具体地，当label_j取1时，TF_j为包含人的钓鱼行为的当前场景图，BF_j为TF_j在同样场景下同区域的初始背景图；当label_j取0时，TF_j为不包含人的钓鱼行为的当前场景图，BF_j为TF_j在同样场景下、不同时间、同区域的初始背景图。

利用数据增强算法对打过标签的图片对进行预处理。在本实施例中，数据增强算法包括空间数据增强算法和像素级别的数据增强算法。具体地，对初始背景图和当前场景图使用同一套空间数据增强算法进行处理，空间增强算法包括（但不限于）：对初始背景图和当前场景图的水平反转、裁剪等。再对初始背景图和当前场景图使用不同的像素级别的数据增强算法，像素级别的数据增强算法包括（但不限于）：对初始背景图和当前场景图的色彩抖动处理、高斯噪声处理等。

将经过预处理的图片对输入至目标联合判定模型中，可以得到钓鱼行为判定结果。利用钓鱼行为判定结果计算目标联合判定模型的损失值，再根据损失值更新目标联合判定模型的模型参数，直至损失值不再下降并趋于稳定，目标联合判定模型收敛，得到训练好的目标联合判定模型。

在一些实施方式中，可以使用交叉熵损失函数作为预设损失函数来计算目标联合判定模型的损失值。交叉熵损失函数的具体函数公式可以参考已有的交叉熵损失函数公式，此处不再赘述。

由此，通过上述模型构建方式和模型训练方式，能够得到所需的目标联合判定模型。

在一些实施方式中，将目标背景图和初始前景图输入至目标联合判定模型后，目标联合判定模型会输出钓鱼行为判定结果，若钓鱼行为判定结果为存在钓鱼行为时，可以进行预警。

由此，通过对目标背景图和初始前景图进行特征提取，并对比背景特征图和前景特征图之间的差异，将背景中固定的且与鱼竿相似的信息（例如电线杆、线等）去除，保证得到的鱼竿特征信息的准确性，从而提高钓鱼行为检测的检测准确度，有效减少对背景中的各种杆、线等导致的误报。

图8是本发明实施例的钓鱼行为检测装置的方框图。

如图8所示，该装置800包括：用于获取待检测场景的初始背景图和当前场景图的获取模块810、用于检测当前场景图中是否存在行人，若是，则对初始背景图和当前场景图进行预处理，以得到目标背景图和初始前景图的行人检测模块820、用于将目标背景图和初始前景图输入至预先构建且训练好的目标联合判定模型中，以检测是否存在钓鱼行为的判定模块830。

由此，通过获取模块810获取待检测场景的初始背景图和当前场景图。再通过行人检测模块820检测当前场景图中是否存在行人，在当前场景图中存在行人时，则对初始背景图和当前场景图进行预处理，得到目标背景图和初始前景图。判定模块830将目标背景图和初始前景图输入至预先构建且训练好的目标联合判定模型中，来检测是否存在钓鱼行为。通过提取出初始前景图中与目标背景图中相区别的特征，再通过判断该特征是否为人和鱼竿特征来检测是否存在钓鱼行为，能够有效降低复杂背景对检测的影响，提高了钓鱼行为检测的准确度。

在一些实施方式中，行人检测模块820具体用于：获取当前场景图中行人的第一位置信息，并根据第一位置信息确定当前场景图中的行人区域；对行人区域进行扩展操作，得到当前场景图中行人的第二位置信息；根据第二位置信息对初始背景图和当前场景图进行裁剪，以得到目标背景图和初始前景图。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图9是本发明一个实施例的边缘处理设备的结构框图。

如图9所示，图9所示的边缘处理设备900包括：处理器901和存储器903。其中，处理器901和存储器903相连，如通过总线902相连。可选地，边缘处理设备900还可以包括收发器904。需要说明的是，实际应用中收发器904不限于一个，该边缘处理设备900的结构并不构成对本发明实施例的限定。

处理器901可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器901也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线902可包括一通路，在上述组件之间传送信息。总线902可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线902可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器903可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器903用于存储执行本发明请方案的应用程序代码，并由处理器901来控制执行。处理器901用于执行存储器903中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，边缘处理设备900包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图9示出的边缘处理设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种钓鱼行为检测方法，其特征在于，包括：

获取待检测场景的初始背景图和当前场景图；

检测所述当前场景图中是否存在行人，若是，则对所述初始背景图和所述当前场景图进行预处理，以得到目标背景图和初始前景图；

将所述目标背景图和所述初始前景图输入至预先构建且训练好的目标联合判定模型中，以检测是否存在钓鱼行为；

其中，所述目标联合判定模型的构建步骤包括：

创建基础特征提取模型，并在所述基础特征提取模型的中间层嵌入特征对比层，以得到所述目标联合判定模型，其中，

所述基础特征提取模型的第一基础层用于提取得到所述目标背景图的背景特征图和所述初始前景图的前景特征图；

所述特征对比层用于根据所述背景特征图和所述前景特征图，得到所述初始前景图中的目标前景区域；

所述基础特征提取模型的第二基础层用于从所述目标前景区域中提取得到钓鱼行为相关特征，以根据所述钓鱼行为相关特征检测所述待检测场景是否存在钓鱼行为；

根据所述背景特征图和所述前景特征图，得到所述初始前景图中的目标前景区域，包括：

根据所述背景特征图和所述前景特征图确定第一中间图；

将所述第一中间图沿着通道维度进行求和得到第二中间图；

利用sigmoid函数对所述第二中间图进行映射，得到第三中间图；

根据所述第三中间图和所述前景特征图得到所述目标前景区域。

2.根据权利要求1所述的钓鱼行为检测方法，其特征在于，所述对所述初始背景图和所述当前场景图进行预处理，包括：

获取所述当前场景图中行人的第一位置信息，并根据所述第一位置信息确定所述当前场景图中的行人区域；

对所述行人区域进行扩展操作，得到所述当前场景图中行人的第二位置信息；

根据所述第二位置信息对所述初始背景图和所述当前场景图进行裁剪，以得到所述目标背景图和所述初始前景图。

3.根据权利要求1所述的钓鱼行为检测方法，其特征在于，根据所述背景特征图和所述前景特征图，得到所述初始前景图中的目标前景区域，包括：

对所述前景特征图和所述背景特征图沿着通道维度进行归一化处理，得到目标前景特征图和目标背景特征图；

根据所述目标前景特征图和所述目标背景特征图确定相似度矩阵；

根据所述相似度矩阵得到第三中间图；

根据所述第三中间图和所述前景特征图得到所述目标前景区域。

4.根据权利要求1所述的钓鱼行为检测方法，其特征在于，所述目标联合判定模型的训练步骤包括：

获取图片对样本集，并对所述图片对样本集中的所有图片对进行打标签处理，所述图片对包括所述初始背景图和相应的所述当前场景图；

利用数据增强算法对所述图片对进行预处理；

将经过预处理的所述图片对输入至所述目标联合判定模型中，得到钓鱼行为判定结果；

利用所述钓鱼行为判定结果和预设损失函数计算所述目标联合判定模型的损失值；

根据所述损失值对所述目标联合判定模型的参数进行更新，直至所述目标联合判定模型收敛，得到训练好的所述目标联合判定模型。

5.根据权利要求1-4中任一项所述的钓鱼行为检测方法，其特征在于，在检测到所述当前场景图中不存在行人时，所述方法还包括：

根据所述当前场景图对所述初始背景图进行更新。

6.一种钓鱼行为检测装置，其特征在于，包括：

获取模块，用于获取待检测场景的初始背景图和当前场景图；

行人检测模块，用于检测所述当前场景图中是否存在行人，若是，则对所述初始背景图和所述当前场景图进行预处理，以得到目标背景图和初始前景图；

判定模块，用于将所述目标背景图和所述初始前景图输入至预先构建且训练好的目标联合判定模型中，以检测是否存在钓鱼行为；

其中，所述目标联合判定模型的构建步骤包括：

创建基础特征提取模型，并在所述基础特征提取模型的中间层嵌入特征对比层，以得到所述目标联合判定模型，其中，

所述基础特征提取模型的第一基础层用于提取得到所述目标背景图的背景特征图和所述初始前景图的前景特征图；

所述特征对比层用于根据所述背景特征图和所述前景特征图，得到所述初始前景图中的目标前景区域；

所述基础特征提取模型的第二基础层用于从所述目标前景区域中提取得到钓鱼行为相关特征，以根据所述钓鱼行为相关特征检测所述待检测场景是否存在钓鱼行为；

根据所述背景特征图和所述前景特征图，得到所述初始前景图中的目标前景区域，包括：

根据所述背景特征图和所述前景特征图确定第一中间图；

将所述第一中间图沿着通道维度进行求和得到第二中间图；

利用sigmoid函数对所述第二中间图进行映射，得到第三中间图；

根据所述第三中间图和所述前景特征图得到所述目标前景区域。

7.一种边缘处理设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1~5中任一项所述的钓鱼行为检测方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1~5中任一项所述的钓鱼行为检测方法。

Images