CN116309721A - 基于多目标跟踪的视频折返识别方法、装置、设备及介质 - Google Patents

Abstract

本申请提供的基于多目标跟踪的视频折返识别方法、装置、设备及介质，对第一视频流中的目标物体进行多目标跟踪，得到对应的第二视频流；对第二视频流分别进行第一方向计数以及第二方向计数，得到每个所述视频帧的第一方向计数结果和第二方向计数结果；根据计数结果，获取每个视频帧的运动方向；根据每个视频帧的运动方向，获取第二视频流的折返识别结果；通过上述方式，基于多目标跟踪结果，对每一视频帧分别进行第一方向计数和第二方向计数，根据计数结果确定每一视频帧的运动方向，在不依靠其他相机参数以及位置坐标信息的情况下，就能够判断每一视频帧的运动方向，再根据每一视频帧的运动方向进行折返拍摄识别，有利于提高智能点数的准确性。

Description

基于多目标跟踪的视频折返识别方法、装置、设备及介质

技术领域

本申请涉及视频处理技术领域，尤其涉及一种基于多目标跟踪的视频折返识别方法、装置、设备及介质。

背景技术

在各行各业中都存在需要进行点数的业务场景，例如在养殖险保单业务中需要对被养殖的动物进行点数，通过视频跟踪技术对养殖场需要承保或理赔的动物进行快速精准的点数，可以有效提升工作人员的作业速度，减轻现场作业负担，在工作人员使用电子设备实际拍摄视频过程中，需要沿着拍摄方向移动以将所有目标物体拍摄进入视频中。在工作人员移动过程中不可避免地出现沿移动主方向的相反方向的镜头折返，该移动主方向即为拍摄方向，例如，移动主方向为右方向，工作人员可能会出现向左方向移动，出现左右的镜头折返；又如，移动主方向为右方向，工作人员可能会出现向左方向移动，出现上下的镜头折返。由于现有技术中的点数系统无法判断工作人员手持电子设备时的移动主方向，导致跟踪模块对同一个目标物体可能会有多条跟踪记录，无法直接根据目标物体跟踪记录的数目来判断目标物体的实际数量，不利于提高智能点数的准确性。

发明内容

鉴于以上问题，本申请实施例提供一种基于多目标跟踪的视频折返识别方法、装置、设备及介质，以解决上述技术问题。

第一方面，本申请实施例提供一种基于多目标跟踪的视频折返识别方法，包括：

对第一视频流中的目标物体进行多目标跟踪，得到所述第一视频流对应的第二视频流，其中，所述第二视频流包括至少一个目标物体的跟踪轨迹，所述跟踪轨迹包括至少一个包含对应所述目标物体的视频帧，每个所述包含对应所述目标物体的视频帧包括对应所述目标物体的检测框；

对所述第二视频流分别进行第一方向计数以及第二方向计数，得到所述第二视频流中每个所述视频帧的第一方向计数结果和第二方向计数结果，其中，所述第一方向与所述第二方向相反；

根据所述第一方向计数结果和所述第二方向计数结果，获取所述第二视频流中每个所述视频帧的运动方向；

根据所述第二视频流中每个所述视频帧的运动方向，获取所述第二视频流的折返识别结果。

可选地，所述对第一视频流中的目标物体进行多目标跟踪，得到所述第一视频流对应的第二视频流，包括：

根据所述目标物体的当前跟踪轨迹获取所述目标物体在所述第一视频流的当前视频帧中的预测框，其中，所述当前跟踪轨迹包括至少一个包含对应所述目标物体的视频帧，每个所述包含对应所述目标物体的视频帧包括对应所述目标物体的检测框，所述包含对应所述目标物体的视频帧位于所述当前视频帧之前；

对所述当前视频帧进行目标物体检测，获取所述当前视频帧的至少一个检测框，其中，所述当前视频帧的检测框中置信度大于或等于第一阈值的检测框被划分至第一检测框集合，所述当前视频帧的检测框中置信度小于第一阈值的检测框被划分至第二检测框集合；

将每个所述目标物体的当前跟踪轨迹对应的预测框与所述第一检测框集合进行匹配，得到每个所述目标物体的当前跟踪轨迹对应的预测框的第一匹配结果，将第一匹配结果为匹配成功的所述检测框更新至对应的所述目标物体的当前跟踪轨迹；

将第一匹配结果为匹配失败的所述预测框与所述第二检测框集合进行匹配，得到所述预测框的第二匹配结果，将第二匹配结果为匹配成功的所述检测框更新至对应的所述目标物体的当前跟踪轨迹；

将所述第一检测框集合中与所述预测框匹配失败的所述检测框作为新增目标物体的当前跟踪轨迹，将所述第二检测框集合中与所述预测框匹配失败的所述检测框删除。

可选地，所述对所述第二视频流分别进行第一方向计数以及第二方向计数，得到所述第二视频流中每个所述视频帧的第一方向计数结果和第二方向计数结果，包括：

若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第一边缘进入视频画面的至少一个目标物体，则所述视频帧的第一方向计数增加第一数量，第一数量为从第一边缘进入所述视频帧的目标物体的数量，所述第一边缘与所述第一方向对应；

若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第一边缘离开视频画面的至少一个目标物体，则所述视频帧的第一方向计数减少第二数量，第二数量为从第一边缘离开所述视频帧的目标物体的数量；

若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第二边缘进入视频画面的至少一个目标物体，则所述视频帧的第二方向计数增加第三数量，第三数量为从第二边缘进入所述视频帧的目标物体的数量，所述第二边缘与所述第二方向对应；

若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第二边缘离开视频画面的至少一个目标物体，则所述视频帧的第二方向计数减少第四数量，第四数量为从第二边缘离开所述视频帧的目标物体的数量。

可选地，所述根据所述第一方向计数结果和所述第二方向计数结果，获取所述第二视频流中每个所述视频帧的运动方向，包括：

若当前视频帧的第一方向计数结果大于前一视频帧的第一方向计数结果或当前视频帧的第二方向计数结果小于前一视频帧的第二方向计数结果，则确定所述当前视频帧的运动方向为第一方向；

若当前视频帧的第二方向计数结果大于前一视频帧的第二方向计数结果或当前视频帧的第一方向计数结果小于前一视频帧的第一方向计数结果，则确定所述当前视频帧的运动方向为第二方向。

可选地，所述根据所述第二视频流中每个所述视频帧的运动方向，获取所述第二视频流的折返识别结果，包括：

根据所述第二视频流中每个视频帧的运动方向将所述第二视频流划分为至少一个视频段，每个所述视频段中所有视频帧的运动方向相同；

若任一所述视频段的持续时间小于或等于预设时间阈值，则将所述视频段从所述第二视频流中过滤，得到过滤后的第二视频流；

根据所述过滤后的第二视频流中每个视频段的运动方向获取所述第二视频流的方向变化次数，若所述方向变化次数大于或等于第一预设次数阈值，则确定所述第二视频流的折返识别结果为出现折返拍摄。

可选地，所述根据所述第二视频流中每个所述视频帧的运动方向，获取所述第二视频流的折返识别结果，还包括：

针对持续时间小于或等于预设时间阈值的视频段，根据所述视频段中最后一个视频帧和第一个视频帧的目标方向计数结果的第一计数值之差，获取所述视频段对应的目标方向计数结果的第一计数减少值，其中，所述目标方向与所述视频段的运动方向相反；

若所述第一计数减少值大于或等于预设数量阈值，则确定所述第二视频流的折返识别结果为出现折返拍摄。

可选地，所述根据所述第二视频流中每个所述视频帧的运动方向，获取所述第二视频流的折返识别结果，还包括：

获取所述第二视频流在第一方向的持续总时间以及所述第二视频流在第二方向的持续总时间；

获取所述第一方向的持续总时间与所述第二方向的持续总时间的比值；

若所述比值大于或等于第一预设阈值且小于或等于第二预设阈值，则确定所述第二视频流的折返识别结果为出现折返拍摄。

第二方面，本申请实施例提供一种基于多目标跟踪的视频折返识别装置，包括：

跟踪模块，用于对第一视频流中的目标物体进行多目标跟踪，得到所述第一视频流对应的第二视频流，其中，所述第二视频流包括至少一个目标物体的跟踪轨迹，所述跟踪轨迹包括至少一个包含对应所述目标物体的视频帧，每个所述包含对应所述目标物体的视频帧包括对应所述目标物体的检测框；

计数模块，用于对所述第二视频流分别进行第一方向计数以及第二方向计数，得到所述第二视频流中每个所述视频帧的第一方向计数结果和第二方向计数结果，其中，所述第一方向与所述第二方向相反；

方向判断模块，用于根据所述第一方向计数结果和所述第二方向计数结果，获取所述第二视频流中每个所述视频帧的运动方向；

折返识别模块，用于根据所述第二视频流中每个所述视频帧的运动方向，获取所述第二视频流的折返识别结果。

第三方面，本申请实施例提供一种电子设备，包括处理器、以及与所述处理器耦接的存储器，所述存储器存储有可被所述处理器执行的程序指令；所述处理器执行所述存储器存储的所述程序指令时实现上述的基于多目标跟踪的视频折返识别方法。

第四方面，本申请实施例提供一种存储介质，所述存储介质内存储有程序指令，所述程序指令被处理器执行时实现能够实现上述的基于多目标跟踪的视频折返识别方法。

本申请实施例提供的基于多目标跟踪的视频折返识别方法、装置、设备及介质，对第一视频流中的目标物体进行多目标跟踪，得到所述第一视频流对应的第二视频流；对所述第二视频流分别进行第一方向计数以及第二方向计数，得到所述第二视频流中每个所述视频帧的第一方向计数结果和第二方向计数结果，其中，所述第一方向与所述第二方向相反；根据所述第一方向计数结果和所述第二方向计数结果，获取所述第二视频流中每个所述视频帧的运动方向；根据所述第二视频流中每个所述视频帧的运动方向，获取所述第二视频流的折返识别结果；通过上述方式，基于多目标跟踪结果，对每一视频帧分别进行第一方向计数和第二方向计数，根据计数结果确定每一视频帧的运动方向，在不依靠其他相机参数以及位置坐标信息的情况下，就能够判断每一视频帧的运动方向，再根据每一视频帧的运动方向进行折返拍摄识别，有利于提高智能点数的准确性。

附图说明

图1示出了本申请一实施例提供的基于多目标跟踪的视频折返识别方法的流程示意图；

图2示出了本申请一实施例中第一方向和第二方向示意图。

图3示出了本申请一实施例提供的基于多目标跟踪的视频折返识别装置的结构示意图。

图4示出了本申请一实施例提供的电子设备的结构示意图。

图5示出了本申请一实施例提供的存储介质的结构示意图。

具体实施方式

下面详细描述本申请的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性地，仅用于解释本申请，而不能理解为对本申请的限制。

为了使本技术领域的人员更好地理解本申请的方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例中，需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请实施例的描述中，“示例”或“例如”等词语用于表示举例、说明或描述。本申请实施例中描述为“举例”或“例如”的任何实施例或设计方案均不解释为比另一实施例或设计方案更优选或具有更多优点。使用“示例”或“例如”等词语旨在以清晰的方式呈现相对概念。

另外，本申请实施例中的“多个”是指两个或两个以上，鉴于此，本申请实施例中也可以将“多个”理解为“至少两个”。“至少一个”，可理解为一个或多个，例如理解为一个、两个或更多个。例如，包括至少一个，是指包括一个、两个或更多个，而且不限制包括的是哪几个，例如，包括A、B和C中的至少一个，那么包括的可以是A、B、C、A和B、A和C、B和C、或A和B和C。

需要说明的是，本申请实施例中，“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

本申请一实施例提供一种基于多目标跟踪的视频折返识别方法。所述基于多目标跟踪的视频折返识别方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该基于多目标跟踪的视频折返识别方法的电子设备中的至少一种。换言之，所述基于多目标跟踪的视频折返识别方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。

本申请一实施例提供了一种基于多目标跟踪的视频折返识别方法，请参阅图1所示，所述基于多目标跟踪的视频折返识别方法包括：

S11，对第一视频流中的目标物体进行多目标跟踪，得到所述第一视频流对应的第二视频流，其中，所述第二视频流包括至少一个目标物体的跟踪轨迹，所述跟踪轨迹包括至少一个包含对应所述目标物体的视频帧，每个所述包含对应所述目标物体的视频帧包括对应所述目标物体的检测框；

其中，第一视频流可以为用户拍摄的待识别视频，第一视频流包括用户手持电子设备拍摄的连续多个视频帧；或者，第一视频流可以包括用户手持电子设备拍摄的连续多个视频帧中的任意几个视频帧，对输入的待识别视频按照预先设定的抽帧间隔进行抽帧，以降低后续跟踪推理的运算速度，同时便于能更轻量级地部署在用户端。

其中，多目标跟踪的目的在于识别视频中各目标物体的边界框和身份，该身份可以用唯一性的标识编码进行表征。首先，针对第一视频流中的每个视频帧进行目标物体检测，在每个视频帧中采用检测框框选出目标物体，然后，对目标物体进行跟踪，获取各目标物体的跟踪轨迹。其中，按照预设的数据结构记录每个检测框的检测框数据(x,y,w,h,score,aid)，其中，w和h表示目标物体的检测框的中心点坐标，x和y分别表示目标物体的检测框的宽和高，score表示目标物体的预测框的置信度，aid表示检测框对应的目标物体的唯一性的身份标识。

其中，在进行目标物体跟踪的过程中，根据目标物体的当前跟踪轨迹预测该目标物体的预测框，再将该预测框与当前视频帧中各检测框进行匹配，将与预测框匹配的检测框的aid记录为该目标物体的唯一性的身份标识，该身份标识可以为跟踪轨迹编码。

其中，第二视频流为第一视频流经过多目标跟踪处理后得到的，第二视频流在第一视频流的每个视频帧上添加了目标物体的检测框以检测框数据，也就是说，第二视频流中每个视频帧在第一视频流中对应视频帧的基础上，显示了目标物体的检测框以检测框数据。

作为一种实施方式，步骤S11具体包括如下步骤：

S111，根据所述目标物体的当前跟踪轨迹获取所述目标物体在所述第一视频流的当前视频帧中的预测框，其中，所述当前跟踪轨迹包括至少一个包含对应所述目标物体的视频帧，每个所述包含对应所述目标物体的视频帧包括对应所述目标物体的检测框，所述包含对应所述目标物体的视频帧位于所述当前视频帧之前；

其中，目标物体的当前跟踪轨迹是根据位于当前视频帧之前的各视频帧进行跟踪得到的，位于当前视频帧之前的各视频帧可以称为历史帧，通过卡尔曼滤波算法对历史帧跟踪信息进行更新得到预测框，历史帧跟踪信息包括目标物体在至少一个历史帧中的检测框的检测框数据，记录预测框的预测框数据(x,y,w,h)，其中，w和h表示目标物体的预测框的中心点坐标，x和y分别表示目标物体的预测框的宽和高。所有的当前跟踪轨迹可以放入跟踪集合中。

S112，对所述当前视频帧进行目标物体检测，获取所述当前视频帧的至少一个检测框，其中，所述当前视频帧的检测框中置信度大于或等于第一阈值的检测框被划分至第一检测框集合，所述当前视频帧的检测框中置信度小于第一阈值的检测框被划分至第二检测框集合；

其中，当前视频帧中各检测框还没有进行目标物体跟踪，当前视频帧中各检测框的检测框数据中aid暂时为空。置信度较低的检测框可能是所框选的目标物体被遮挡的检测框，也可能是所框选的并未目标物体，如果直接将置信度较低的检测框过滤可能导致预测框无法匹配到检测框，因此，本实施方式保留了所有检测框，将置信度大于或等于第一阈值的检测框作为高置信度检测框放入第一检测框集合，将置信度小于第一阈值的检测框作为低置信度检测框放入第二检测框集合。

S113，将每个所述目标物体的当前跟踪轨迹对应的预测框与所述第一检测框集合进行匹配，得到每个所述目标物体的当前跟踪轨迹对应的预测框的第一匹配结果，将第一匹配结果为匹配成功的所述检测框更新至对应的所述目标物体的当前跟踪轨迹；

其中，先将预测框与第一检测集合中置信度较高的检测框进行匹配，若匹配成功，将与预测框匹配的检测框的检测框数据中aid更新为对应目标物体的跟踪轨迹编码，将与预测框匹配的检测框的检测框数据添加至预测框对应的目标物体的当前跟踪轨迹中。

S114，将第一匹配结果为匹配失败的所述预测框与所述第二检测框集合进行匹配，得到所述预测框的第二匹配结果，将匹配成功的所述检测框更新至对应的所述目标物体的当前跟踪轨迹；

其中，当预测框无法在第一检测框集合中匹配到检测框时，将预测框与第二检测集合中置信度较低的检测框进行匹配，若匹配成功，将与预测框匹配的检测框的检测框数据中aid更新为对应目标物体的跟踪轨迹编码，将与预测框匹配的检测框的检测框数据添加至预测框对应的目标物体的当前跟踪轨迹中。

S115，将所述第一检测框集合中与所述预测框匹配失败的所述检测框作为新增目标物体的当前跟踪轨迹，将所述第二检测框集合中与所述预测框匹配失败的所述检测框删除；

其中，当所有预测框分别与第一检测框集合中各检测框匹配完成后，第一检测框集合中剩余的检测框与跟踪集合中所有的当前跟踪轨迹的预测框均无法匹配，说明第一检测框集合中剩余的检测框所框选的目标物体在第一视频流中是第一次出现，赋予该新增目标物体唯一性的身份标识，即跟踪轨迹编码，检测框数据中aid更新为对应目标物体的跟踪轨迹编码，将该新增目标物体的当前跟踪轨迹放入跟踪集合中。

其中，当所有与第一检测框集合匹配失败的预测框分别与第二检测框集合中各检测框匹配完成后，第二检测框集合中剩余的检测框与跟踪集合中所有的当前跟踪轨迹的预测框均无法匹配，说明第二检测框集合中剩余的检测框所框选的对象不是目标物体，可以将第二检测框集合中剩余的检测框删除。

作为一种实施方式，可以将与第一检测框集合匹配失败且与第二检测框集合匹配失败的预测框对应的当前跟踪轨迹从跟踪集合中取出，放入丢失集合中。

S12，对所述第二视频流分别进行第一方向计数以及第二方向计数，得到所述第二视频流中每个所述视频帧的第一方向计数结果和第二方向计数结果，其中，所述第一方向与所述第二方向相反；

其中，第一方向和第二方向中，其中一个为移动主方向(拍摄方向)，另一个为折返方向，可以分别设置第一方向计数器和第二方向计数器。第一方向计数器对从第一方向对应的第一边缘进入画面的目标物体以及从第一方向对应的第一边缘离开画面的目标物体进行计数，第一方向计数器的计数规则为：若一个目标物体从第一边缘进入画面，则第一方向计数器的计数加1；若一个目标物体从第一边缘离开画面，则第一方向计数器的计数减1。第二方向计数器对从第二方向对应的第二边缘进入画面的目标物体以及从第二方向对应的第二边缘离开画面的目标物体进行计数，第二方向计数器的计数规则为：若一个目标物体从第二边缘进入画面，则第二方向计数器的计数加1；若一个目标物体从第二边缘离开画面，则第二方向计数器的计数减1。

作为一种实施方式，步骤S12具体包括如下步骤：

S121，若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第一边缘进入视频画面的至少一个目标物体，则所述视频帧的第一方向计数增加第一数量，第一数量为从第一边缘进入所述视频帧的目标物体的数量，所述第一边缘与所述第一方向对应；

S122，若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第一边缘离开视频画面的至少一个目标物体，则所述视频帧的第一方向计数减少第二数量，第二数量为从第一边缘离开所述视频帧的目标物体的数量；

S123，若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第二边缘进入视频画面的至少一个目标物体，则所述视频帧的第二方向计数增加第三数量，第三数量为从第二边缘进入所述视频帧的目标物体的数量，所述第二边缘与所述第二方向对应；

S124，若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第二边缘离开视频画面的至少一个目标物体，则所述视频帧的第二方向计数减少第四数量，第四数量为从第二边缘离开所述视频帧的目标物体的数量。

其中，当前视频帧是在前一视频帧的第一方向计数结果和第二方向计数结果的基础上继续进行计数。请参阅图2所示，当拍摄方向为第一方向时，目标物体会从第一边缘进入画面，并最终从第二边缘离开画面；当拍摄方向为第二方向时，目标物体会从第二边缘进入画面，并最终从第一边缘离开画面。例如，第一方向为左方向，第二方向为右方向。

S13，根据所述第一方向计数结果和所述第二方向计数结果，获取所述第二视频流中每个所述视频帧的运动方向；

其中，视频帧的运动方向对应视频帧的拍摄方向，当拍摄方向为第一方向时，目标物体会从第一边缘进入画面，并最终从第二边缘离开画面；当拍摄方向为第二方向时，目标物体会从第二边缘进入画面，并最终从第一边缘离开画面。例如，第一方向为左方向，第二方向为右方向。因此，当拍摄方向为第一方向时，当前视频帧的第一方向计数结果不小于前一视频帧，当前视频帧的第二方向计数结果不大于前一视频帧；当拍摄方向为第二方向时，当前视频帧的第二方向计数结果不小于前一视频帧，当前视频帧的第一方向计数结果不大于前一视频帧。

作为一种实施方式，步骤S13具体包括如下步骤：

S131，若当前视频帧的第一方向计数结果大于前一视频帧的第一方向计数结果或当前视频帧的第二方向计数结果小于前一视频帧的第二方向计数结果，则确定所述当前视频帧的运动方向为第一方向；

S132，若当前视频帧的第二方向计数结果大于前一视频帧的第二方向计数结果或当前视频帧的第一方向计数结果小于前一视频帧的第一方向计数结果，则确定所述当前视频帧的运动方向为第二方向。

其中，确定每个视频帧的运动方向为第一方向或第二方向。

S14，根据所述第二视频流中每个所述视频帧的运动方向，获取所述第二视频流的折返识别结果；

其中，如果出现折返拍摄，第二视频流会出现方向变化，例如，第1帧到第N1帧为第一方向，第N1+1帧到第N1+N2帧为第二方向，前N1帧与后N2帧的运动方向相反，说明可能出现了方向变化。但是，在对真实业务拍摄视频实际分析后发现，现实导致运动方向发生变化的因素有很多，其中解决难点在于如何区别轻微抖动和真实折返，其中，轻微抖动是人为或意外因素引起运动方向发生变化但是对后续的计数过程并未产生影响，而真实折返中运动方向的改变最终影响到了后续的计数过程。

在折返识别的第一种应用场景中，通过对运动方向的持续时间以及运动方向变化次数的设置，实现折返识别。作为一种实施方式，步骤S14具体包括如下步骤：

S141，根据所述第二视频流中每个视频帧的运动方向将所述第二视频流划分为至少一个视频段，每个所述视频段中所有视频帧的运动方向相同；

其中，将运动方向相同的连续的若干个视频帧作为一个视频段，将第二视频流按照时间顺序划分为若干个视频段，相邻的两个视频段的运动方向是相反的，例如，第1帧到第N1帧为第一方向，第N1+1帧到第N1+N2帧为第二方向，第N1+N2+1帧到第N1+N2+N3帧为第一方向，第1帧到第N1帧为第一个视频段，第一个视频段的运动方向为第一方向；第N1+1帧到第N1+N2帧为第二个视频段，第二个视频段的运动方向为第二方向，第N1+N2+1帧到第N1+N2+N3帧为第三个视频段，第三个视频段的运动方向为第一方向。

S142，若任一所述视频段的持续时间小于或等于预设时间阈值，则将所述视频段从所述第二视频流中过滤，得到过滤后的第二视频流；

其中，视频段的持续时间小于或等于预设时间阈值，说明该视频段可能是轻微抖动造成的，预设时间阈值一般是根据经验值进行设置的，将持续时间较短的视频段进行过滤后，持续时间较短的视频段将不会参与步骤S143中方向变化次数的统计，以免对折返识别产生影响。

S143，根据所述过滤后的第二视频流中每个视频段的运动方向获取所述第二视频流的方向变化次数，若所述方向变化次数大于或等于第一预设次数阈值，则确定所述第二视频流的折返识别结果为出现折返拍摄；

其中，方向变化次数根据各视频段的运动方向确定，例如，经过过滤之后，第二视频流包括第一视频段、第二视频段和第三视频段，第一视频段为第一方向，第二视频段为第一方向，第三视频段为第二方向，方向变化次数为1；又如，第二视频流包括第一视频段、第二视频段和第三视频段，第一视频段为第一方向，第二视频段为第二方向，第三视频段为第一方向，方向变化次数为2。第一预设次数阈值是根据经验设置的，例如可以设置为1，只要出现方向变化就认为出现了折返拍摄。考虑到拍摄视频时，容易在开头或结尾出现折返，例如可以将第一预设次数阈值设置为2或3，包容在开头和/或结尾出现的折返，以免造成工作人员需要重复拍摄待识别视频。

在折返识别的第二种应用场景中，在第一种应用场景的基础上，通过对运动方向的持续时间较短的视频段进行折返程度的识别。作为一种实施方式，步骤S14进一步包括如下步骤：

S144，针对持续时间小于或等于预设时间阈值的视频段，根据所述视频段中最后一个视频帧和第一个视频帧的目标方向计数结果的第一计数值之差，获取所述视频段对应的目标方向计数结果的第一计数减少值，其中，所述目标方向与所述视频段的运动方向相反；

其中，当手持电子设备的拍摄者移动速度较快时，在短时间内电子设备可能移动了较大的距离，如果出现上述情况，拍摄者在短时间内电子设备的移动距离较大，导致视频段中目标物体的计数结果产生较大的变化，产生了真实折返，但视频段可能会被误识别为轻微抖动，因此，针对持续时间较短的视频段，要进行折返程度的识别。

其中，假设视频段为真实折返，则移动主方向与该视频段的运动方向相反，目标方向可能为移动主方向，判断目标方向的计数减少程度，实现折返程度识别。若视频段的运动方向为第一方向，则目标方向为第二方向，根据所述视频段中最后一个视频帧和第一个视频帧的第二方向计数结果的第一计数值之差，获取所述视频段对应的目标方向计数结果的第一计数减少值；若视频段的运动方向为第二方向，则目标方向为第一方向，根据所述视频段中最后一个视频帧和第一个视频帧的第一方向计数结果的第一计数值之差，获取所述视频段对应的目标方向计数结果的第一计数减少值。

S145，若所述第一计数减少值大于或等于预设数量阈值，则确定所述第二视频流的折返识别结果为出现折返拍摄；

其中，预设数量阈值是按照经验进行设置的。

在折返识别的第三种应用场景中，考虑到实际拍摄中，可以会出现变化次数少但是持续时间上呈现大幅度的折返情况，所以采用比较整段视频中第一方向与第二方向的持续时长之比，符合上下限的阈值条件，则说明视频中第一方向和第二方向的时长相近，认定为典型的大幅度，少频次折返。

作为一种实施方式，步骤S14进一步包括如下步骤：

S146，获取所述第二视频流在第一方向的持续总时间以及所述第二视频流在第二方向的持续总时间；

S147，获取所述第一方向的持续总时间与所述第二方向的持续总时间的比值；

S148，若所述比值大于或等于第一预设阈值且小于或等于第二预设阈值，则确定所述第二视频流的折返识别结果为出现折返拍摄。

第三种应用场景在第一种应用场景的基础上，对两个方向的持续总时间的比值进行判断，能够识别出方向变化次数较少但折返程度较大的折返拍摄。

图3是本申请一实施例的基于多目标跟踪的视频折返识别装置的结构示意图。如图3所示，该基于多目标跟踪的视频折返识别装置30包括：跟踪模块31、计数模块32、方向判断模块33以及折返识别模块34，其中，跟踪模块31，用于对第一视频流中的目标物体进行多目标跟踪，得到所述第一视频流对应的第二视频流，其中，所述第二视频流包括至少一个目标物体的跟踪轨迹，所述跟踪轨迹包括至少一个包含对应所述目标物体的视频帧，每个所述包含对应所述目标物体的视频帧包括对应所述目标物体的检测框；计数模块32，用于对所述第二视频流分别进行第一方向计数以及第二方向计数，得到所述第二视频流中每个所述视频帧的第一方向计数结果和第二方向计数结果，其中，所述第一方向与所述第二方向相反；方向判断模块33，用于根据所述第一方向计数结果和所述第二方向计数结果，获取所述第二视频流中每个所述视频帧的运动方向；折返识别模块34，用于根据所述第二视频流中每个所述视频帧的运动方向，获取所述第二视频流的折返识别结果。

作为一种实施方式，跟踪模块31还用于：根据所述目标物体的当前跟踪轨迹获取所述目标物体在所述第一视频流的当前视频帧中的预测框，其中，所述当前跟踪轨迹包括至少一个包含对应所述目标物体的视频帧，每个所述包含对应所述目标物体的视频帧包括对应所述目标物体的检测框，所述包含对应所述目标物体的视频帧位于所述当前视频帧之前；对所述当前视频帧进行目标物体检测，获取所述当前视频帧的至少一个检测框，其中，所述当前视频帧的检测框中置信度大于或等于第一阈值的检测框被划分至第一检测框集合，所述当前视频帧的检测框中置信度小于第一阈值的检测框被划分至第二检测框集合；将每个所述目标物体的当前跟踪轨迹对应的预测框与所述第一检测框集合进行匹配，得到每个所述目标物体的当前跟踪轨迹对应的预测框的第一匹配结果，将第一匹配结果为匹配成功的所述检测框更新至对应的所述目标物体的当前跟踪轨迹；将第一匹配结果为匹配失败的所述预测框与所述第二检测框集合进行匹配，得到所述预测框的第二匹配结果，将第二匹配结果为匹配成功的所述检测框更新至对应的所述目标物体的当前跟踪轨迹；将所述第一检测框集合中与所述预测框匹配失败的所述检测框作为新增目标物体的当前跟踪轨迹，将所述第二检测框集合中与所述预测框匹配失败的所述检测框删除。

作为一种实施方式，计数模块32还用于：若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第一边缘进入视频画面的至少一个目标物体，则所述视频帧的第一方向计数增加第一数量，第一数量为从第一边缘进入所述视频帧的目标物体的数量，所述第一边缘与所述第一方向对应；若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第一边缘离开视频画面的至少一个目标物体，则所述视频帧的第一方向计数减少第二数量，第二数量为从第一边缘离开所述视频帧的目标物体的数量；若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第二边缘进入视频画面的至少一个目标物体，则所述视频帧的第二方向计数增加第三数量，第三数量为从第二边缘进入所述视频帧的目标物体的数量，所述第二边缘与所述第二方向对应；若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第二边缘离开视频画面的至少一个目标物体，则所述视频帧的第二方向计数减少第四数量，第四数量为从第二边缘离开所述视频帧的目标物体的数量。

作为一种实施方式，该方向判断模块33还用于：若当前视频帧的第一方向计数结果大于前一视频帧的第一方向计数结果或当前视频帧的第二方向计数结果小于前一视频帧的第二方向计数结果，则确定所述当前视频帧的运动方向为第一方向；若当前视频帧的第二方向计数结果大于前一视频帧的第二方向计数结果或当前视频帧的第一方向计数结果小于前一视频帧的第一方向计数结果，则确定所述当前视频帧的运动方向为第二方向。

作为一种实施方式，该折返识别模块34还用于：根据所述第二视频流中每个视频帧的运动方向将所述第二视频流划分为至少一个视频段，每个所述视频段中所有视频帧的运动方向相同；若任一所述视频段的持续时间小于或等于预设时间阈值，则将所述视频段从所述第二视频流中过滤，得到过滤后的第二视频流；根据所述过滤后的第二视频流中每个视频段的运动方向获取所述第二视频流的方向变化次数，若所述方向变化次数大于或等于第一预设次数阈值，则确定所述第二视频流的折返识别结果为出现折返拍摄。

作为一种实施方式，该折返识别模块34还用于：针对持续时间小于或等于预设时间阈值的视频段，根据所述视频段中最后一个视频帧和第一个视频帧的目标方向计数结果的第一计数值之差，获取所述视频段对应的目标方向计数结果的第一计数减少值，其中，所述目标方向与所述视频段的运动方向相反；若所述第一计数减少值大于或等于预设数量阈值，则确定所述第二视频流的折返识别结果为出现折返拍摄。

作为一种实施方式，该折返识别模块34还用于：获取所述第二视频流在第一方向的持续总时间以及所述第二视频流在第二方向的持续总时间；获取所述第一方向的持续总时间与所述第二方向的持续总时间的比值；若所述比值大于或等于第一预设阈值且小于或等于第二预设阈值，则确定所述第二视频流的折返识别结果为出现折返拍摄。

图4是本申请一实施例的电子设备的结构示意图。如图4所示，该电子设备40包括处理器41及和处理器41耦接的存储器42。

存储器42存储有用于实现上述任一实施例的所述基于多目标跟踪的视频折返识别方法的程序指令。

处理器41用于执行存储器32存储的程序指令以进行基于多目标跟踪的视频折返识别。

其中，处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

参阅图5，图5为本申请一实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现上述所有方法的程序指令51，所述存储介质可以是非易失性，也可以是易失性。其中，该程序指令51可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围。

以上所述的仅是本申请的实施方式，在此应当指出，对于本领域的普通技术人员来说，在不脱离本申请创造构思的前提下，还可以做出改进，但这些均属于本申请的保护范围。

Claims (10)

1.一种基于多目标跟踪的视频折返识别方法，其特征在于，包括：

对第一视频流中的目标物体进行多目标跟踪，得到所述第一视频流对应的第二视频流，其中，所述第二视频流包括至少一个目标物体的跟踪轨迹，所述跟踪轨迹包括至少一个包含对应所述目标物体的视频帧，每个所述包含对应所述目标物体的视频帧包括对应所述目标物体的检测框；

对所述第二视频流分别进行第一方向计数以及第二方向计数，得到所述第二视频流中每个所述视频帧的第一方向计数结果和第二方向计数结果，其中，所述第一方向与所述第二方向相反；

根据所述第一方向计数结果和所述第二方向计数结果，获取所述第二视频流中每个所述视频帧的运动方向；

根据所述第二视频流中每个所述视频帧的运动方向，获取所述第二视频流的折返识别结果。

2.根据权利要求1所述的基于多目标跟踪的视频折返识别方法，其特征在于，所述对第一视频流中的目标物体进行多目标跟踪，得到所述第一视频流对应的第二视频流，包括：

根据所述目标物体的当前跟踪轨迹获取所述目标物体在所述第一视频流的当前视频帧中的预测框，其中，所述当前跟踪轨迹包括至少一个包含对应所述目标物体的视频帧，每个所述包含对应所述目标物体的视频帧包括对应所述目标物体的检测框，所述包含对应所述目标物体的视频帧位于所述当前视频帧之前；

对所述当前视频帧进行目标物体检测，获取所述当前视频帧的至少一个检测框，其中，所述当前视频帧的检测框中置信度大于或等于第一阈值的检测框被划分至第一检测框集合，所述当前视频帧的检测框中置信度小于第一阈值的检测框被划分至第二检测框集合；

将每个所述目标物体的当前跟踪轨迹对应的预测框与所述第一检测框集合进行匹配，得到每个所述目标物体的当前跟踪轨迹对应的预测框的第一匹配结果，将第一匹配结果为匹配成功的所述检测框更新至对应的所述目标物体的当前跟踪轨迹；

将第一匹配结果为匹配失败的所述预测框与所述第二检测框集合进行匹配，得到所述预测框的第二匹配结果，将第二匹配结果为匹配成功的所述检测框更新至对应的所述目标物体的当前跟踪轨迹；

将所述第一检测框集合中与所述预测框匹配失败的所述检测框作为新增目标物体的当前跟踪轨迹，将所述第二检测框集合中与所述预测框匹配失败的所述检测框删除。

3.根据权利要求1所述的基于多目标跟踪的视频折返识别方法，其特征在于，所述对所述第二视频流分别进行第一方向计数以及第二方向计数，得到所述第二视频流中每个所述视频帧的第一方向计数结果和第二方向计数结果，包括：

若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第一边缘进入视频画面的至少一个目标物体，则所述视频帧的第一方向计数增加第一数量，第一数量为从第一边缘进入所述视频帧的目标物体的数量，所述第一边缘与所述第一方向对应；

若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第一边缘离开视频画面的至少一个目标物体，则所述视频帧的第一方向计数减少第二数量，第二数量为从第一边缘离开所述视频帧的目标物体的数量；

若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第二边缘进入视频画面的至少一个目标物体，则所述视频帧的第二方向计数增加第三数量，第三数量为从第二边缘进入所述视频帧的目标物体的数量，所述第二边缘与所述第二方向对应；

若根据所述至少一个目标物体的跟踪轨迹确定所述视频帧存在从第二边缘离开视频画面的至少一个目标物体，则所述视频帧的第二方向计数减少第四数量，第四数量为从第二边缘离开所述视频帧的目标物体的数量。

4.根据权利要求1所述的基于多目标跟踪的视频折返识别方法，其特征在于，所述根据所述第一方向计数结果和所述第二方向计数结果，获取所述第二视频流中每个所述视频帧的运动方向，包括：

若当前视频帧的第一方向计数结果大于前一视频帧的第一方向计数结果或当前视频帧的第二方向计数结果小于前一视频帧的第二方向计数结果，则确定所述当前视频帧的运动方向为第一方向；

若当前视频帧的第二方向计数结果大于前一视频帧的第二方向计数结果或当前视频帧的第一方向计数结果小于前一视频帧的第一方向计数结果，则确定所述当前视频帧的运动方向为第二方向。

5.根据权利要求1所述的基于多目标跟踪的视频折返识别方法，其特征在于，所述根据所述第二视频流中每个所述视频帧的运动方向，获取所述第二视频流的折返识别结果，包括：

根据所述第二视频流中每个视频帧的运动方向将所述第二视频流划分为至少一个视频段，每个所述视频段中所有视频帧的运动方向相同；

若任一所述视频段的持续时间小于或等于预设时间阈值，则将所述视频段从所述第二视频流中过滤，得到过滤后的第二视频流；

根据所述过滤后的第二视频流中每个视频段的运动方向获取所述第二视频流的方向变化次数，若所述方向变化次数大于或等于第一预设次数阈值，则确定所述第二视频流的折返识别结果为出现折返拍摄。

6.根据权利要求5所述的基于多目标跟踪的视频折返识别方法，其特征在于，所述根据所述第二视频流中每个所述视频帧的运动方向，获取所述第二视频流的折返识别结果，还包括：

针对持续时间小于或等于预设时间阈值的视频段，根据所述视频段中最后一个视频帧和第一个视频帧的目标方向计数结果的第一计数值之差，获取所述视频段对应的目标方向计数结果的第一计数减少值，其中，所述目标方向与所述视频段的运动方向相反；

若所述第一计数减少值大于或等于预设数量阈值，则确定所述第二视频流的折返识别结果为出现折返拍摄。

7.根据权利要求6所述的基于多目标跟踪的视频折返识别方法，其特征在于，所述根据所述第二视频流中每个所述视频帧的运动方向，获取所述第二视频流的折返识别结果，还包括：

获取所述第二视频流在第一方向的持续总时间以及所述第二视频流在第二方向的持续总时间；

获取所述第一方向的持续总时间与所述第二方向的持续总时间的比值；

若所述比值大于或等于第一预设阈值且小于或等于第二预设阈值，则确定所述第二视频流的折返识别结果为出现折返拍摄。

8.一种基于多目标跟踪的视频折返识别装置，其特征在于，包括：

跟踪模块，用于对第一视频流中的目标物体进行多目标跟踪，得到所述第一视频流对应的第二视频流，其中，所述第二视频流包括至少一个目标物体的跟踪轨迹，所述跟踪轨迹包括至少一个包含对应所述目标物体的视频帧，每个所述包含对应所述目标物体的视频帧包括对应所述目标物体的检测框；

计数模块，用于对所述第二视频流分别进行第一方向计数以及第二方向计数，得到所述第二视频流中每个所述视频帧的第一方向计数结果和第二方向计数结果，其中，所述第一方向与所述第二方向相反；

方向判断模块，用于根据所述第一方向计数结果和所述第二方向计数结果，获取所述第二视频流中每个所述视频帧的运动方向；

折返识别模块，用于根据所述第二视频流中每个所述视频帧的运动方向，获取所述第二视频流的折返识别结果。

9.一种电子设备，其特征在于，包括处理器、以及与所述处理器耦接的存储器，所述存储器存储有可被所述处理器执行的程序指令；所述处理器执行所述存储器存储的所述程序指令时实现如权利要求1～7中任一项所述的基于多目标跟踪的视频折返识别方法。

10.一种存储介质，其特征在于，所述存储介质内存储有程序指令，所述程序指令被处理器执行时实现能够实现如权利要求1～7中任一项所述的基于多目标跟踪的视频折返识别方法。

Images