CN113158794A - 目标检测方法、边缘设备及计算机可读存储介质 - Google Patents

Abstract

本申请适用于计算机技术领域，提供了一种目标检测方法、边缘设备及计算机可读存储介质，该方法包括：获取边防监控视频的第一视频帧；采用第一目标检测算法对第一视频帧进行目标检测，得到第一目标检测结果；采用第二目标检测算法对第一视频帧进行目标检测，得到第二目标检测结果，第一目标检测算法的算法类别与第二目标检测算法的算法类别不同；根据第一目标检测结果和第二目标检测结果，确定第一视频帧对应的第一跟踪目标。该方法中，通过不同算法类别的目标检测算法对第一视频帧进行目标检测，可最大限度的检测出第一视频帧所包含的目标，提高了目标检测效率，再综合不同目标检测结果确定跟踪目标，可较大程度提高边防监控过程的监控效率。

Description

目标检测方法、边缘设备及计算机可读存储介质

技术领域

本申请属于计算机技术领域，尤其涉及一种目标检测方法、边缘设备及计算机可读存储介质。

背景技术

边防是国防不可分割的重要组成部分，我国国土幅员辽阔、边防线漫长，边防线的安全与否直接关系到我国的国土安全。早期的边防监控多以人工监控的形式进行，例如军人站岗、潜伏、监视等，但随着军事领域向数字化、多媒体化的方向发展，过去的人工监控方式已不能满足要求。因此，提高高科技手段的边防监控能力，对于维护国家稳定和经济建设的大好局面具有十分重要的意义。

传统的边防监控多采用前端探测设备采集监控视频，当对视频图像进行检测时发现可疑目标，便对该目标进行跟踪监控。但是，当前端探测设备的探测距离比较远时，目标在视频图像中的像素占比较小，采用传统技术进行目标检测时效率较低，导致不能及时发现目标，监控效率不高。

发明内容

本申请提供了一种目标检测方法、边缘设备及计算机可读存储介质，可以提高边防监控过程中目标检测的效率，进而提高监控效率。

第一方面，本申请提供了一种目标检测方法，应用于边缘设备，该方法包括：

获取边防监控视频的第一视频帧；

采用第一目标检测算法对第一视频帧进行目标检测，得到第一目标检测结果；

采用第二目标检测算法对第一视频帧进行目标检测，得到第二目标检测结果，第一目标检测算法的算法类别与第二目标检测算法的算法类别不同；

根据第一目标检测结果和第二目标检测结果，确定第一视频帧对应的第一跟踪目标。

上述目标检测方法，边缘设备通过采用不同算法类别的目标检测算法对第一视频帧进行目标检测，得到不同的目标检测结果，可最大限度的检测出第一视频帧所包含的目标，特别是远距离小目标，提高了目标检测效率，再综合不同的目标检测结果确定第一视频帧对应的跟踪目标，可较大程度提高边防监控过程的监控效率。另外，上述目标检测过程由边缘设备完成，还可节省后台计算资源，有效减少数据传输带宽。

在第一方面的一种可能的实现方式中，上述根据第一目标检测结果和第二目标检测结果，确定第一视频帧对应的第一跟踪目标，包括：

若第一目标检测结果包括检测到目标、第二目标检测结果包括未检测到目标，根据第一目标检测结果确定第一视频帧对应的第一跟踪目标。

在第一方面的一种可能的实现方式中，上述根据第一目标检测结果确定第一视频帧对应的第一跟踪目标，包括：

获取第一目标检测结果中检测到的目标的位置信息；

根据目标的位置信息，将距离第一视频帧的中心位置最近的目标作为第一跟踪目标。

在第一方面的一种可能的实现方式中，上述根据第一目标检测结果和第二目标检测结果，确定第一视频帧对应的第一跟踪目标，包括：

若第一目标检测结果包括未检测到目标、第二目标检测结果包括检测到目标，或者，第一目标检测结果和第二目标检测结果均包括检测到目标，根据第二目标检测结果确定第一视频帧对应的第一跟踪目标。

在第一方面的一种可能的实现方式中，上述根据第二目标检测结果确定第一视频帧对应的第一跟踪目标，包括：

获取第二目标检测结果中检测到的目标的类别信息和位置信息；

根据目标的类别信息、以及目标类别与威胁度的对应关系，确定目标的威胁度；

根据候选目标的位置信息，将距离第一视频帧的中心位置最近的候选目标作为第一跟踪目标；其中，候选目标为目标中威胁度大于或者等于预设阈值的目标，或者，候选目标为将目标按照威胁度大小进行排序后，所选取的预设数量的目标。

在第一方面的一种可能的实现方式中，上述方法还包括：

接收用户通过上位机发送的跟踪指令，跟踪指令包括跟踪模式，跟踪模式为手动跟踪模式或者自动跟踪模式；

在跟踪模式为手动跟踪模式的情况下，获取用户选取的第二跟踪目标，并对第二跟踪目标进行跟踪；第二跟踪目标为第一视频帧所包括的目标中的其中一个目标；

或者，

在跟踪模式为自动跟踪模式的情况下，对第一跟踪目标进行跟踪。

在第一方面的一种可能的实现方式中，上述方法还包括：

接收用户通过上位机发送的停止跟踪指令；

响应于停止跟踪指令，停止对第一跟踪目标或者第二跟踪目标进行跟踪。

在第一方面的一种可能的实现方式中，上述方法还包括：

将第一目标检测结果和/或第二目标检测结果叠加至第一视频帧，得到第二视频帧；

将第二视频帧发送至上位机，以使上位机将第二视频帧进行展示。

第二方面，本申请提供了一种目标检测装置，包括：

获取模块，用于获取边防监控视频的第一视频帧；

第一目标检测模块，用于采用第一目标检测算法对第一视频帧进行目标检测，得到第一目标检测结果；

第二目标检测模块，用于采用第二目标检测算法对第一视频帧进行目标检测，得到第二目标检测结果，第一目标检测算法的算法类别与第二目标检测算法的算法类别不同；

确定模块，用于根据第一目标检测结果和第二目标检测结果，确定第一视频帧对应的第一跟踪目标。

第三方面，本申请提供了一种边缘设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的目标检测方法。

第四方面，本申请提供了一种边防监控系统，包括：前端探测设备、边缘设备和上位机，前端探测设备、上位机分别与边缘设备通信连接；

前端探测设备用于采集边防监控视频；

边缘设备用于获取边防监控视频的第一视频帧；采用第一目标检测算法对第一视频帧进行目标检测，得到第一目标检测结果；采用第二目标检测算法对第一视频帧进行目标检测，得到第二目标检测结果，第一目标检测算法的算法类别与第二目标检测算法的算法类别不同；根据第一目标检测结果和第二目标检测结果，确定第一视频帧对应的第一跟踪目标；

上位机用于向边缘设备发送跟踪指令。

第五方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的目标检测方法。

第六方面，本申请提供了一种计算机程序产品，当计算机程序产品在边缘设备上运行时，使得边缘设备执行上述第一方面中任一项所述的目标检测方法。

可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的边防监控系统示意图；

图2是本申请一实施例提供的目标检测方法的流程示意图；

图3是本申请另一实施例提供的目标检测方法的流程示意图；

图4是本申请一实施例提供的第二视频帧的展示示意图；

图5是本申请又一实施例提供的目标检测方法的流程示意图；

图6是本申请一实施例提供的目标检测装置的结构示意图；

图7是本申请一实施例提供的边缘设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

通常，在边防监控场景中，考虑到边防场景特殊的环境，大多数监控系统都存在覆盖范围广、监控区域大的特点，前端探测设备的探测距离可能是几公里或几十公里。当探测距离较远时，目标在所采集的视频图像中所占像素比很小，那么在目标进入监控区域时，系统会很难及时发现目标；因此，传统技术的目标检测过程效率较低，导致不能及时发现目标，监控效率不高。本申请实施例提供的目标检测方法、边缘设备及计算机可读存储介质，旨在解决上述技术问题。

本申请实施例提供的目标检测方法可以应用于如图1所示的边防监控系统中，参见图1，该系统可以包括前端探测设备1、边缘设备2和上位机3，其中，前端探测设备1、上位机3分别与边缘设备2通信连接。上述边缘设备2可以为具有数据处理能力的计算机设备，上位机3可以为平板电脑、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备。

可以理解，前端探测设备1在开始工作后，可以采集边防监控视频。

然后，边缘设备2可以从前端探测设备1获取边防监控视频的第一视频帧，并采用第一目标检测算法对第一视频帧进行目标检测，得到第一目标检测结果；采用第二目标检测算法对第一视频帧进行目标检测，得到第二目标检测结果；然后根据第一目标检测结果和第二目标检测结果，确定第一视频帧对应的第一跟踪目标。通过融合第一目标检测结果和第二目标检测结果，可以提高目标检测效率，进而使系统及时发现目标，提高了监控效率。

接下来，上位机3可以向边缘设备2发送跟踪指令，该跟踪指令可以包括自动跟踪指令、手动跟踪指令和停止跟踪指令。自动跟踪指令用于边缘设备2对检测到的第一跟踪目标进行跟踪，手动跟踪指令用于边缘设备2对用户输入的第二跟踪目标进行跟踪，停止跟踪指令用于边缘设备2停止对跟踪目标进行跟踪。

下面对目标检测方法的实施过程做具体说明，图2示出了本申请提供的目标检测方法的示意性流程图，作为示例而非限定，该方法可以应用于上述边缘设备2中，该方法可以包括：

S101，获取边防监控视频的第一视频帧。

其中，前端探测设备在工作时会不断的采集包括目标的边防监控视频，该边防监控视频包括多张视频帧，本申请实施例将当前处理的视频帧作为第一视频帧。

可以理解，边缘设备在系统上电后，首先会进行系统初始化，例如读取配置文件，获得接入边防监控视频的实时流传输协议(real time streaming protocol，RTSP)地址、上位机IP地址及端口等。然后，边缘设备可以根据RTSP协议的URL地址获取第一视频帧。

需要说明的是，前端探测设备所采集的边防监控视频通常为第一数据格式，如H264数据格式、M3U8数据格式、FLV数据格式等，而边缘设备能够处理的数据格式为第二数据格式，如Mat数据格式等。因此，边缘设备在获取到边防监控视频后，还需要对第一数据格式的视频帧进行解码处理，得到第二数据格式的第一视频帧。可选地，边缘设备可以通过硬件解码器对第一数据格式的视频帧进行解码处理。

可选地，考虑到边防场景地势开阔、风沙较大，前端探测设备多安装于一些建筑(如铁塔)上，因此，前端探测设备在工作过程中难免会出现抖动，则所采集的边防监控视频成像效果可能会较差，尤其探测距离较远时，视频图像中的目标会出现模糊的现象。针对此问题，本申请实施例中，边缘设备还可以对获取的第一视频帧进行视频去抖，从而提高视频帧的图像质量及稳定性。示例性地，边缘设备可以采用电子稳像的相关算法对第一视频帧进行处理，电子稳像的相关算法包括但不限于灰度投影方法、基于图像特征方法、基于图像块方法和基于背景差法等。

S102，采用第一目标检测算法对第一视频帧进行目标检测，得到第一目标检测结果。

S103，采用第二目标检测算法对第一视频帧进行目标检测，得到第二目标检测结果，第一目标检测算法的算法类别与第二目标检测算法的算法类别不同。

其中，第一目标检测算法可以为传统类检测算法，包括但不限于基于背景建模的算法，如VIBE算法、码本算法等，该类算法可以较好的实现远距离的弱小目标检测。第二目标检测算法可以为基于深度学习的检测算法，通常会先建立一个基于深度学习的网络模型，如yolo模型(you only look once)、基于区域的卷积神经网络模型(region-convolutional neural networks，R-CNN)、快速的基于区域的卷积神经网络模型(fastregion-convolutional neural networks，fast R-CNN)、单阶段的多框预测模型(singleshot multibox detector，SSD)等，然后由该模型对第一视频帧进行目标检测，该类算法可以较好的实现近距离的目标检测。

可以理解，边缘设备采用第一目标检测算法对第一视频帧进行目标检测时，可以得到第一目标检测结果，采用第二目标检测算法对第一视频帧进行目标检测时，可以得到第二目标检测结果，该两个目标检测结果可以包含相同的目标，也可以包含不同的目标。可选地，第一目标检测结果和第二目标检测结果均可以包括目标的位置信息、尺寸信息和类别信息等，其中，位置信息可以用目标的中心点坐标进行表示，尺寸信息可以用矩形框的长和宽进行表示，该矩形框可以为能将目标包围的最小矩形，类别信息可以为人物类别、车辆类别等。

S104，根据第一目标检测结果和第二目标检测结果，确定第一视频帧对应的第一跟踪目标。

具体地，因第一目标检测结果和第二目标检测结果是由不同算法类别的算法所得到的，那么本申请实施例可以综合两个检测结果，以确定第一视频帧对应的第一跟踪目标。

作为示例而非限定的，对于第一目标检测结果和第二目标检测结果中所包含的相同目标(称为目标A)，边缘设备可以对第一目标检测结果合第二目标检测结果进行融合，例如将两个检测结果中的位置信息进行加权求和、将两个检测结果中的尺寸信息进行加权求和等；比如，第一目标检测结果中目标的位置信息为(x₁，y₁)，第二目标检测结果中目标的位置信息为(x₂，y₂)，则边缘设备可以对和进行加权求和，得到该目标A的融合位置信息。对于第一目标检测结果和第二目标检测结果中所包含的不同目标(称为目标B和C)，将其统一作为所检测到的目标。那么综合两个检测结果后，所得到的第一视频帧包含的目标为A、B和C。然后，边缘设备可以将A、B和C中距离视频帧中心点最近的目标作为第一跟踪目标。可选地，对于确定第一目标检测结果和第二目标检测结果中是否包含相同目标，可以根据目标的位置信息、尺寸信息和类别信息进行判断，例如两个目标的位置信息相近，尺寸信息匹配度较大，类别信息相同，则可认为是相同目标。

可选地，边缘设备确定了第一跟踪目标后，还可以将第一跟踪目标的目标信息(如位置信息、类别信息等)发送至上位机，以供用户实时掌握跟踪目标的动态信息。另外，边缘设备还可以向转台设备发送脱靶量信息，以控制转台设备跟着跟踪目标转动，使得转台设备上的前端探测设备实时拍摄目标视频。除此之外，边缘设备还可以将自身的状态数据(如正常和异常)发送至上位机，以供用户实时掌握边缘设备的工作状态。

本实施例中，边缘设备通过采用不同算法类别的目标检测算法对第一视频帧进行目标检测，得到不同的目标检测结果，可最大限度的检测出第一视频帧所包含的目标，特别是远距离小目标，提高了目标检测效率，再综合不同的目标检测结果确定第一视频帧对应的跟踪目标，可较大程度提高边防监控过程的监控效率。另外，上述目标检测过程由边缘设备完成，还可节省后台计算资源，有效减少数据传输带宽。

在一个实施例中，存在一种可能性是第一目标检测结果中包括检测到目标，而第二目标检测结果中包括未检测到目标，那么此时边缘设备只需根据第一目标检测结果确定第一视频帧对应的第一跟踪目标即可。

可选地，边缘设备可以获取第一目标检测结果中检测到的目标的位置信息，然后将距离第一视频帧的中心位置最近的目标作为第一跟踪目标。进一步地，为了减少第一视频帧中虚假目标对检测结果的影响，边缘设备还可以采用多目标数据关联方法将只存在一帧或几帧的目标(如随风飘扬的树叶等)去除，去除后再将距离第一视频帧的中心位置最近的目标作为第一跟踪目标；可选地，所采用的多目标数据关联方法包括但不限于匈牙利匹配算法、KM(kuhn-munkres)算法等。

可选地，边缘设备还可以获取第一目标检测结果中检测到的目标的类别信息，然后将与预设类别匹配的目标作为第一跟踪目标。例如，预设类别为无人机类别，那么边缘设备可以将所检测出来的无人机类别对应的目标作为第一跟踪目标。

在另一个实施例中，存在一种可能性是第一目标检测结果中包括未检测到目标，而第二目标检测结果中包括检测到目标，那么此时边缘设备只需根据第二目标检测结果确定第一视频帧对应的第一跟踪目标即可。

可选地，边缘设备可以获取第二目标检测结果中检测到的目标的类别信息和位置信息，然后可以根据目标的类别信息、以及预设的目标类别与威胁度的对应关系，确定检测到的目标的威胁度；比如，预设的目标类别与威胁度的对应关系为车辆的威胁度为1，人物的威胁度为0.9，动物的威胁度为0.8等。接下来，边缘设备可以将目标按照威胁度从大到小进行排序，并选取前50％的目标作为候选目标，或者将目标按照威胁度从小到大进行排序，并选取后50％的目标作为候选目标，或者选取威胁度大于或者等于预设阈值(如0.9)的目标作为候选目标。最后，边缘设备根据候选目标的位置信息，将距离第一视频帧的中心位置最近的候选目标作为第一跟踪目标。进一步地，边缘设备还可以采用多目标数据关联方法将只存在一帧或几帧的候选目标去除，去除后再将距离第一视频帧的中心位置最近的目标作为第一跟踪目标。

可以理解，边缘设备在进行上述系统初始化读取配置文件时，还可以获取到预设的目标类别与威胁度的对应关系，即先将此对应关系数据存入缓存中，可减少确定第一跟踪目标时的处理时间，提高处理效率。

在又一个实施例中，存在一种可能性是第一目标检测结果和第二目标检测结果中均包括检测到目标，此时，因第二目标检测结果是由基于深度学习的算法所处理得到的，其主要针对近距离目标的检测，且在边防监控场景中近距离的目标更具可疑性，因此，边缘设备也可以只根据第二目标检测结果确定第一视频帧对应的第一跟踪目标，具体实现过程可以参照上述实施例的描述，在此不再赘述。

上述实施例中，边缘设备通过综合不同的目标检测结果确定第一视频帧对应的跟踪目标，可较大程度提高边防监控过程的监控效率。

在一个实施例中，用户可以根据需求确定对目标的跟踪模式，并通过上位机输入跟踪指令，该跟踪指令包括跟踪模式；其中，输入跟踪指令的方式包括但不限于文字输入、语音输入或点击相关按钮输入等，例如鼠标点选、鼠标框选和键盘标号选。可选地，边缘设备与上位机之间可以采用socket协议进行数据通信，也可以采用Mqtt协议或其他协议进行数据通信；当边缘设备接收到上位机发送的跟踪指令后，可以解析该跟踪指令，根据解析结果确定跟踪模式，该跟踪模式可以为手动跟踪模式或者自动跟踪模式。例如解析结果中包括表征跟踪模式的字节，字节00代表手动跟踪模式，01代表自动跟踪模式。

在自动跟踪模式下，边缘设备可以获取上述第一跟踪目标在连续视频帧中的位置信息，以对第一跟踪目标进行跟踪。在手动模式下，所要进行跟踪的目标可以为用户通过上位机选取的第二跟踪目标，即用户可以通过上位机所展示的第一视频帧，选取一个用户认为可疑性较大的目标，则边缘设备可以获取第二跟踪目标在连续视频帧中的位置信息，以对第二跟踪目标进行跟踪。

进一步地，考虑到实际应用场景可能会存在如下情况：对第一跟踪目标进行短暂的跟踪后，用户通过对视频帧的观看确认其不属于威胁目标，比如跟踪车辆只是偶然路过、跟踪人员不是危险人物等；或者在跟踪过程中有新目标出现，且用户认为新目标的威胁度比当前跟踪目标的威胁度更大。对于此问题，本申请实施例中，用户可以通过上位机输入对正在跟踪目标(包括第一跟踪目标或者第二跟踪目标)的停止跟踪指令，边缘设备接收到该指令后，可以响应该指令并停止对正在跟踪目标进行跟踪。

本实施例中，用户可通过上位机输入跟踪指令或停止跟踪指令，可根据实际需求或突发情况灵活的对跟踪目标进行控制，提高了目标跟踪过程的灵活性及用户体验度。

在一个实施例中，考虑到用户会有观看边防监控视频的需求，那么，若将上述检测出来的目标标记在边防监控视频上，则可以较好的辅助监控人员快速地发现可疑目标。如图3所示，上述方法还包括：

S105，将第一目标检测结果和/或第二目标检测结果叠加至第一视频帧，得到第二视频帧。

S106，将第二视频帧发送至上位机，以使上位机将第二视频帧进行展示。

具体地，以第一目标检测结果为例，边缘设备将第一目标检测结果叠加至第一视频帧，即在第一视频帧上对目标进行矩形框标记，并显示该目标的类别信息。示例性地，图4展示了第二视频帧的一个示意图，图中叠加有标记目标的矩形框，并在矩形框旁边显示了该目标的类别(Car车辆、Person人物)。第二目标检测结果的叠加效果与第一目标检测结果类似，在此不再赘述。

然后边缘设备可以对得到的第二视频帧进行编码压缩，编码为H264格式的视频帧并存入帧队列buffer中。当用户想要观看第二视频帧，则可以通过上位机向边缘设备请求该视频帧，边缘设备便可以从buffer中获取第二视频帧，并发送至上位机进行展示。

本实施例中，边缘设备通过将目标检测结果叠加至第一视频帧，并发送至上位机进行展示，可使用户一目了然的找到视频中需要重点观察的目标，提高了用户的体验度及监控效率。

为更好理解上述目标检测方法的整个流程，下面再以一个实施例对该方法进行介绍，如图5所示，该方法可以包括：

S201，系统初始化，读取配置文件。

S202，获取边防监控视频的第一视频帧。

S203，采用第一目标检测算法对第一视频帧进行目标检测，得到第一目标检测结果；采用第二目标检测算法对第一视频帧进行目标检测，得到第二目标检测结果。

S204，根据第一目标检测结果和第二目标检测结果，确定第一视频帧对应的第一跟踪目标。

S205，接收用户通过上位机发送的跟踪指令，跟踪指令包括跟踪模式，跟踪模式为手动跟踪模式或者自动跟踪模式。

S206，在跟踪模式为手动跟踪模式的情况下，获取用户选取的第二跟踪目标，并对第二跟踪目标进行跟踪；在跟踪模式为自动跟踪模式的情况下，对第一跟踪目标进行跟踪。

S207，接收用户通过上位机发送的停止跟踪指令。

S208，响应于停止跟踪指令，停止对第一跟踪目标或者第二跟踪目标进行跟踪。

S209，将第一目标检测结果和/或第二目标检测结果叠加至第一视频帧，得到第二视频帧。

S210，将第二视频帧发送至上位机，以使上位机将第二视频帧进行展示。

需要说明的是，本实施例中各步骤的实现过程可以参见上述实施例的描述，其实现原理和技术效果类似，在此不再赘述。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例的目标检测方法，图6示出了本申请实施例提供的目标检测装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图6，该装置包括：获取模块21、第一目标检测模块22、第二目标检测模块23和确定模块24。

具体地，获取模块21，用于获取边防监控视频的第一视频帧；

第一目标检测模块22，用于采用第一目标检测算法对第一视频帧进行目标检测，得到第一目标检测结果；

第二目标检测模块23，用于采用第二目标检测算法对第一视频帧进行目标检测，得到第二目标检测结果，第一目标检测算法的算法类别与第二目标检测算法的算法类别不同；

确定模块24，用于根据第一目标检测结果和第二目标检测结果，确定第一视频帧对应的第一跟踪目标。

在一个实施例中，上述确定模块24，具体用于在第一目标检测结果包括检测到目标、第二目标检测结果包括未检测到目标的情况下，根据第一目标检测结果确定第一视频帧对应的第一跟踪目标。

在一个实施例中，上述确定模块24，具体用于获取第一目标检测结果中检测到的目标的位置信息；根据目标的位置信息，将距离第一视频帧的中心位置最近的目标作为第一跟踪目标。

在一个实施例中，上述确定模块24，具体用于在第一目标检测结果包括未检测到目标、第二目标检测结果包括检测到目标的情况下，或者，在第一目标检测结果和第二目标检测结果均包括检测到目标的情况下，根据第二目标检测结果确定第一视频帧对应的第一跟踪目标。

在一个实施例中，上述确定模块24，具体用于获取第二目标检测结果中检测到的目标的类别信息和位置信息；根据目标的类别信息、以及目标类别与威胁度的对应关系，确定目标的威胁度；根据候选目标的位置信息，将距离第一视频帧的中心位置最近的候选目标作为第一跟踪目标；其中，候选目标为目标中威胁度大于或者等于预设阈值的目标，或者，候选目标为将目标按照威胁度大小进行排序后，所选取的预设数量的目标。

在一个实施例中，上述装置还包括接收模块和跟踪模块；接收模块，用于接收用户通过上位机发送的跟踪指令，跟踪指令包括跟踪模式，跟踪模式为手动跟踪模式或者自动跟踪模式；跟踪模块，用于在跟踪模式为手动跟踪模式的情况下，获取用户选取的第二跟踪目标，并对第二跟踪目标进行跟踪；第二跟踪目标为第一视频帧所包括的目标中的其中一个目标；或者，在跟踪模式为自动跟踪模式的情况下，对第一跟踪目标进行跟踪。

在一个实施例中，上述接收模块，还用于接收用户通过上位机发送的停止跟踪指令；响应于停止跟踪指令，停止对第一跟踪目标或者第二跟踪目标进行跟踪。

在一个实施例中，上述装置还包括视频推流模块，用于将第一目标检测结果和/或第二目标检测结果叠加至第一视频帧，得到第二视频帧；将第二视频帧发送至上位机，以使上位机将第二视频帧进行展示。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图7为本申请一实施例提供的边缘设备的结构示意图。如图7所示，该实施例的边缘设备包括：至少一个处理器30(图7中仅示出一个)、存储器31以及存储在所述存储器31中并可在所述至少一个处理器30上运行的计算机程序32，所述处理器30执行所述计算机程序32时实现上述任意各个目标识别方法实施例中的步骤。

所述边缘设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该边缘设备可包括，但不仅限于，处理器30、存储器31。本领域技术人员可以理解，图7仅仅是边缘设备的举例，并不构成对边缘设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，该处理器30还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器31在一些实施例中可以是所述边缘设备的内部存储单元，例如边缘设备的硬盘或内存。所述存储器31在另一些实施例中也可以是所述边缘设备的外部存储设备，例如边缘设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器31还可以既包括所述边缘设备的内部存储单元也包括外部存储设备。所述存储器31用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种边防监控系统，具体可以参见上述图1所示的系统结构示意图，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在边缘设备上运行时，使得边缘设备执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到目标检测装置/边缘设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/边缘设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/边缘设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种目标检测方法，应用于边缘设备，其特征在于，所述方法包括：

获取边防监控视频的第一视频帧；

采用第一目标检测算法对所述第一视频帧进行目标检测，得到第一目标检测结果；

采用第二目标检测算法对所述第一视频帧进行目标检测，得到第二目标检测结果，所述第一目标检测算法的算法类别与所述第二目标检测算法的算法类别不同；

根据所述第一目标检测结果和所述第二目标检测结果，确定所述第一视频帧对应的第一跟踪目标。

2.如权利要求1所述的方法，其特征在于，所述根据所述第一目标检测结果和所述第二目标检测结果，确定所述第一视频帧对应的第一跟踪目标，包括：

若所述第一目标检测结果包括检测到目标、所述第二目标检测结果包括未检测到目标，根据所述第一目标检测结果确定所述第一视频帧对应的第一跟踪目标。

3.如权利要求2所述的方法，其特征在于，所述根据所述第一目标检测结果确定所述第一视频帧对应的第一跟踪目标，包括：

获取所述第一目标检测结果中检测到的目标的位置信息；

根据所述目标的位置信息，将距离所述第一视频帧的中心位置最近的目标作为所述第一跟踪目标。

4.如权利要求1所述的方法，其特征在于，所述根据所述第一目标检测结果和所述第二目标检测结果，确定所述第一视频帧对应的第一跟踪目标，包括：

若所述第一目标检测结果包括未检测到目标、所述第二目标检测结果包括检测到目标，或者，所述第一目标检测结果和所述第二目标检测结果均包括检测到目标，根据所述第二目标检测结果确定所述第一视频帧对应的第一跟踪目标。

5.如权利要求4所述的方法，其特征在于，所述根据所述第二目标检测结果确定所述第一视频帧对应的第一跟踪目标，包括：

获取所述第二目标检测结果中检测到的目标的类别信息和位置信息；

根据所述目标的类别信息、以及目标类别与威胁度的对应关系，确定所述目标的威胁度；

根据候选目标的位置信息，将距离所述第一视频帧的中心位置最近的候选目标作为所述第一跟踪目标；其中，所述候选目标为所述目标中威胁度大于或者等于预设阈值的目标，或者，所述候选目标为将所述目标按照威胁度大小进行排序后，所选取的预设数量的目标。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

接收用户通过上位机发送的跟踪指令，所述跟踪指令包括跟踪模式，所述跟踪模式为手动跟踪模式或者自动跟踪模式；

在所述跟踪模式为所述手动跟踪模式的情况下，获取用户选取的第二跟踪目标，并对所述第二跟踪目标进行跟踪；所述第二跟踪目标为所述第一视频帧所包括的目标中的其中一个目标；

或者，

在所述跟踪模式为所述自动跟踪模式的情况下，对所述第一跟踪目标进行跟踪。

7.如权利要求6所述的方法，其特征在于，所述方法还包括：

接收所述用户通过所述上位机发送的停止跟踪指令；

响应于所述停止跟踪指令，停止对所述第一跟踪目标或者所述第二跟踪目标进行跟踪。

8.如权利要求1所述的方法，其特征在于，所述方法还包括：

将所述第一目标检测结果和/或所述第二目标检测结果叠加至所述第一视频帧，得到第二视频帧；

将所述第二视频帧发送至上位机，以使所述上位机将所述第二视频帧进行展示。

9.一种边缘设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。

Images