CN110544271A - 抛物动作检测方法及相关装置 - Google Patents

Abstract

本申请公开了一种抛物动作检测方法及相关装置，其中，抛物动作检测方法包括分别对摄像器件拍摄得到的多帧图像进行光流检测，得到每帧图像中目标区域之外的至少一个光流轨迹；在每帧图像中剔除不符合预设轨迹条件的光流轨迹；基于每帧图像中剩余的光流轨迹，确定多帧图像中疑似存在抛物动作的目标帧图像；利用检测模型检测目标帧图像及至少一帧样本帧图像，确定是否存在抛物动作，其中，样本帧图像为位于目标帧图像之前和/或之后的图像。上述方案，能够提高抛物动作检测的准确性。

Description

抛物动作检测方法及相关装置

技术领域

本申请涉及计算机视觉领域，特别是涉及一种抛物动作检测方法及相关装置。

背景技术

伴随着海量摄像头不断布控在城市的各个角落，智能监控系统在业务上的需求也在快速扩充，从而来代替监控人员完成大量重复而繁重的工作。

其中，针对抛物动作检测的业务功能显得尤为重要。例如，在物流领域中，通过对分拣区域进行抛物动作检测，可以帮助物流管理人员了解是否存在抛掷客户快递的情况，以使管理人员在获悉存在该类情况时，可以及时干预，避免因抛掷而可能发生的物品损坏，有利于提升物流企业内部管理水平，提高企业形象。有鉴于此，如何准确检测抛物动作成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种抛物动作检测方法及相关装置，能够提高抛物动作检测的准确性。

为了解决上述问题，本申请第一方面提供了一种抛物动作检测方法，包括分别对摄像器件拍摄得到的多帧图像进行光流检测，得到每帧图像中目标区域之外的至少一个光流轨迹；在每帧图像中剔除不符合预设轨迹条件的光流轨迹；基于每帧图像中剩余的光流轨迹，确定多帧图像中疑似存在抛物动作的目标帧图像；利用检测模型检测目标帧图像及至少一帧样本帧图像，确定是否存在抛物动作，其中，样本帧图像为位于目标帧图像之前和/或之后的图像。

为了解决上述问题，本申请第二方面提供了一种抛物动作检测装置，包括检测模块、剔除模块、第一确定模块和第二确定模块，检测模块用于分别对摄像器件拍摄得到的多帧图像进行光流检测，得到每帧图像中目标区域之外的至少一个光流轨迹；剔除模块用于在每帧图像中剔除不符合预设轨迹条件的光流轨迹；第一确定模块用于基于每帧图像中剩余的光流轨迹，确定多帧图像中疑似存在抛物动作的目标帧图像；第二确定模块用于利用检测模型检测目标帧图像及至少一帧样本帧图像，确定是否存在抛物动作，其中，样本帧图像为位于目标帧图像之前和/或之后的图像。

为了解决上述问题，本申请第三方面提供了一种抛物动作检测装置，包括相互耦接的存储器和处理器，处理器用于执行存储器存储的程序指令，以实现上述第一方面的方法。

为了解决上述问题，本申请第四方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的方法。

上述方案，通过对摄像器件拍摄得到的多帧图像进行光流检测，从而得到每帧图像中目标区域之外的至少一个光流轨迹，并剔除每帧图像中不符合预设轨迹条件的光流轨迹，从而可以初步筛选出符合预设轨迹条件的光流轨迹，有助于提高后续进一步检测的准确性，并基于每帧图像中剩余的光流轨迹，确定多帧图像中疑似存在抛物动作的目标帧图像，以利用检测模型进一步对目标帧图像以及目标帧之前和/或之后的至少一帧样本帧图像进行检测，最终确定是否存在抛物动作，从而结合光流轨迹筛选和检测模型检测两种手段对摄像器件拍摄得到的多帧图像进行抛物动作的检测，进而提高抛物动作检测的准确性。

附图说明

图1是本申请抛物动作检测方法一实施例的流程示意图；

图2是图1中步骤S11一实施例的流程示意图；

图3是图1中步骤S12一实施例的流程示意图；

图4是图1中步骤S12另一实施例的流程示意图；

图5是图1中步骤S12又一实施例的流程示意图；

图6是图1中步骤S13一实施例的流程示意图；

图7是图1中步骤S14一实施例的流程示意图；

图8是图6中步骤S131一实施例的流程示意图；

图9是图6中步骤S132一实施例的流程示意图；

图10是图7中步骤S141一实施例的流程示意图；

图11是本申请抛物动作检测装置一实施例的框架示意图；

图12是本申请抛物动作检测装置另一实施例的框架示意图；

图13是本申请存储装置一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请抛物动作检测方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S11：分别对摄像器件拍摄得到的多帧图像进行光流检测，得到每帧图像中目标区域之外的至少一个光流轨迹。

摄像器件可以为夜视摄像头、红外摄像头等等。根据应用场景的不同可以选择不同类型的摄像器件。例如，针对环境幽暗、采光不佳的场所，摄像器件可以为夜视摄像头、红外摄像头；针对光线明亮的室内场所，摄像器件可以为一般的数字摄像头、网络摄像头；而针对室外无遮挡的场景，摄像器件可以防水摄像头，本实施例不做具体限制。

多帧图像可以为100帧图像、200帧图像、300帧图像等等，本实施例对在此不做具体限制。

目标区域可以为一矩形，且该矩形包围每帧图像中的目标，例如，针对物流领域，目标可以是分拣员等。或者，目标区域还可以为不规则图形，在一个实施场景中，为了使得到的目标区域之外的光流轨迹更加准确，目标区域可以为目标的轮廓区域。

光流(Optical Flow or Optic Flow)是关于视觉域中的物体运动检测中的概念，用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。所谓光流就是指图像表面出运动的速度。物体在运动的时候之所以能够被人眼发现，就是因为当物体运动时，会在人的视网膜上形成一系列的连续变化的图像，这些变化信息在不同时间，不断地流过眼镜视网膜，就好像一种光流经过一样，故称之为光流。

光流检测在样型识别、计算机视觉以及其他摄像处理领域中有着重要的作用。具体地，光流检测可用于检测运动、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等等。

关于光流检测的方法目前有基于梯度的方法、基于匹配的方法、基于能量的方法等等。比较典型的有：霍恩-山克方法(Horn-Schunck Method)、卢卡斯-卡纳德方法(Lucas-Kanade Method)等等。光流检测的方法为本领域的现有技术，本实施例在此不再赘述。

步骤S12：在每帧图像中剔除不符合预设轨迹条件的光流轨迹。

在一个实施场景中，为了更加准确地检测抛物动作，预设轨迹条件可以为光流轨迹符合抛物动作特征。进一步地，为了更加准确地描述抛物动作特征，可以结合光流轨迹从多个维度对抛物特征进行描述，例如：光流轨迹的轨迹长度、光流轨迹的相邻帧之间的位移、光流估计的速度变化、光流轨迹的拐点数量等等，本实施例在此不再一一举例。

步骤S13：基于每帧图像中剩余的光流轨迹，确定多帧图像中疑似存在抛物动作的目标帧图像。

在剔除掉每帧图像中不符合预设轨迹条件的光流轨迹之后，进一步基于每帧图像中剩余的光流轨迹，确定多帧图像中疑似存在抛物动作的目标帧图像。在一个实施场景中，为了更加准确地确定疑似存在抛物动作的目标帧图像，可以利用相较于正常搬运动作，抛物动作的持续时间较短这一特性，对每帧图像中剩余的光流轨迹所存续的帧数，确定本帧中是否疑似存在抛物动作，例如，本帧图像中剩余的光流轨迹持续存续了15帧，对于帧率为25fps(frame per second，帧率)的摄像器件而言，可以认为光流轨迹存续了0.6秒，对于身高1.7米的目标来说，假设其抛物时，对物体施加一水平初速度，且垂直初速度为零，加速度为10m/s²，因此，可估算出物体坠落时间为0.58秒，与光流轨迹的存续时间大致相同，从而可以认为本帧图像为疑似存在抛物动作的目标帧图像，当然，存续帧数的阈值可以结合摄像器件的帧率和检测到的光流轨迹的曲线特征(如：平抛、斜抛等等)、摄像器件所在的纬度(与重力加速度有关)进行设置，本实施例在此不做具体限制。

步骤S14：利用检测模型检测目标帧图像及至少一帧样本帧图像，确定是否存在抛物动作。

本实施例中，样本帧图像为位于目标帧图像之前和/或之后的图像。例如，样本帧图像是目标帧图像之前的图像，或者，样本帧图像是目标帧图像之后的图像，或者，样本帧图像是目标帧图像之前及其之后的图像，本实施例在此不做具体限制。

在一个实施场景中，为了提高检测模型的检测准确性，样本帧图像可以是位于目标帧图像之前第二预设数量帧图像和位于目标帧图像之后第二预设数量帧图像。第二预设数量可以根据应用场景进行设置，例如，结合摄像器件的帧率和检测到的光流轨迹的曲线特征(如：平抛、斜抛等等)、摄像器件所在的纬度(与重力加速度有关)进行设置。具体来说，可以将在中国境内(重力加速度约等于10m/s²)使用的摄像器件(假设帧率为15fps)，假设执行抛物动作的目标身高为1.7米，则在平抛时，抛物动作从开始到结束，大约维持0.58秒，也就是说，大约维持了7～8帧图像，因此，为了保全目标在执行抛物动作之前的准确动作，以及执行抛物动作时的动作，第二预设数量可以设置为7，在其他实施场景中，第二预设数量也可以取其他值，例如8、9、10等等，本实施例在此不做具体限制。

在一个实施场景中，为了使利用检测模型检测目标帧图像和样本帧图像而得到的检测结果更为准确，检测模型可以是预先利用存在抛物动作的训练集进行神经网络训练而得到的。关于神经网络以及神经网络的学习训练为本领域的现有技术，本实施例在此不再赘述。

上述方案，通过对摄像器件拍摄得到的多帧图像进行光流检测，从而得到每帧图像中目标区域之外的至少一个光流轨迹，并剔除每帧图像中不符合预设轨迹条件的光流轨迹，从而可以初步筛选出符合预设轨迹条件的光流轨迹，有助于提高后续进一步检测的准确性，并基于每帧图像中剩余的光流轨迹，确定多帧图像中疑似存在抛物动作的目标帧图像，以利用检测模型进一步对目标帧图像以及目标帧之前和/或之后的至少一帧样本帧图像进行检测，最终确定是否存在抛物动作，从而结合光流轨迹筛选和检测模型检测两种手段对摄像器件拍摄得到的多帧图像进行抛物动作的检测，进而提高抛物动作检测的准确性。

请参阅图2，图2是图1中步骤S11一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S111：对每帧图像进行目标检测，获得包含目标的目标区域。

目标检测(Object detection)是一种计算机视觉技术，旨在检测汽车、建筑物和人类等目标。这些目标通常可以通过图像或视频来识别。目标检测在视频监控、自动驾驶汽车、人体跟踪等领域得到了广泛的应用。目标检测往往定位图像中目标的存在，并在该目标周围绘制一个边界框。常见的目标检测包括：基于候选窗和深度学习分类，例如，R-CNN(Regions with Convolutional Neural Networks)、Fast R-CNN、Faster R-CNN、Mask R-CNN；以及基于深度学习的回归方法，例如，SSD(Single Shot MultiBox Defender)、YOLO(You Only Look Once)等等，关于目标检测为本领域的现有技术，本实施例在此不再赘述。

关于目标区域可以参阅上述实施例中的步骤S11，本实施例在此不再赘述。

步骤S112：对每帧图像进行光流检测，获得至少一个光流轨迹。

关于光流检测具体可以参见上述步骤S11，本实施例在此不再赘述。

本实施例中，上述步骤S111以及步骤S112可以先后执行，例如，先执行步骤S111，后执行步骤S112，也可以先执行步骤S112，后执行步骤S111。此外，上述步骤S111和步骤S112也可以同时执行，本实施例在此不做具体限制。

步骤S113：剔除目标区域中的光流轨迹，得到每帧图像中目标区域之外的至少一个光流轨迹。

在获得每帧图像的目标区域和光流轨迹之后，剔除目标区域中的光流轨迹，得到每帧图像中目标区域之外的光流轨迹，以排除目标自身移动而产生的光流轨迹对于抛物动作检测的干扰。

请参阅图3，图3是图1中步骤S12一实施例的流程示意图。本实施例中，预设轨迹条件至少包括光流轨迹的长度阈值，具体而言，可以包括如下步骤：

步骤S121：基于目标区域的尺寸确定长度阈值。

本实施例中，目标区域的尺寸与长度阈值为正相关关系，也就是说，目标区域的尺寸越大，长度阈值越大，目标区域的尺寸越小，长度阈值越小，因此，可以在远景时目标区域的尺寸较小的情况下，以及载近景时目标区域的尺寸较大的情况下，都可以支持对轨迹长度的检测、判断，使得长度阈值可以适应不同场景，避免不同场景需要设定不同长度阈值。

在一个具体的实施场景中，可以获取预设尺寸与目标尺寸之间的第一比值，将预设阈值和第一比值之间的第二比值作为长度阈值。预设尺寸和预设阈值是用户根据具体应用场景而预先设置的，例如，预设尺寸为200，预设阈值为20，则在远景场景下，目标区域的尺寸为50，第一比值为4，长度阈值即为5；在近景场景下，目标区域的尺寸为400，第一比值为0.5，长度阈值为40，当预设尺寸和预设阈值为其他值时，可以以此类推，本实施例在此不再赘述。

步骤S122：获取光流轨迹的轨迹长度。

光流轨迹的轨迹长度可以为光流轨迹上像素点的个数，例如，光流轨迹上有10个像素点，则光流轨迹的轨迹长度为10；光流轨迹上有20个像素点，则光流轨迹的轨迹长度为20，本实施例在此不再一一举例。

步骤S123：剔除轨迹长度小于长度阈值的光流轨迹。

在具体应用时，若光流轨迹的轨迹长度较小，则可能是正常移动而产生的光流轨迹，故此，应对该类轨迹予以滤除。

上述方案，通过滤除轨迹长度小于长度阈值的光流轨迹，可以进一步提高抛物检测的准确性；此外，通过将长度阈值与目标区域的尺寸设置为正相关关系，使得长度阈值可以适应于近景/远景场景，避免了用户再根据不同场景设置不同的长度阈值。

请参阅图4，图4是图1中步骤S12另一实施例的流程示意图。具体而言，预设轨迹条件还包括光流轨迹的位移阈值，在上述步骤S121之前，还可以进一步包括如下步骤：

步骤S41：获取每帧图像中光流轨迹与相邻帧图像的光流轨迹之间的光流位移。

在一个实施场景中，可以通过获取每帧图像中光流轨迹与相邻帧图像的光流轨迹之间间隔的像素点的个数而确定光流位移，例如，获取到某一帧图像中光流轨迹与相邻帧图像的光流轨迹之间间隔了5个像素点，从而可以确定该光流轨迹的光流位移为5。

步骤S42：剔除光流位移小于位移阈值的光流轨迹。

位移阈值可以由用户根据实际应用场景而进行设置，例如，位移阈值可以设置为8个像素点、9个像素点等等，本实施例在此不做具体限制。

上述方案，获取每帧图像中光流轨迹与相邻帧图像的光流轨迹之间的光流位移，从而可以剔除光流位移小于位移阈值的光流轨迹，进而可以剔除可能由于正常搬运而产生的光流轨迹，由此，可以进一步提高抛物检测的准确性。

请参阅图5，图5是图1中步骤S12又一实施例的流程示意图。具体而言，预设轨迹条件还包括光流轨迹中光流点的速度变化阈值、光流轨迹的拐点数量阈值，在上述步骤S123之后，还可以进一步包括：

步骤S51：获取光流轨迹中光流点的速度变化次数。

速度变化次数是指速度由快变慢、由慢变快的次数，例如，对于平抛而言，速度经历了由慢变快一次变化，而对于斜抛而言，速度经历了由快变慢，再由慢变快两次变化，而对于正常搬运，速度一般存在多次变化，因此，通过获取光流轨迹中光流点的速度变化次数，可以判断该光流轨迹是由抛物而产生的，还是由正常搬运而产生的。

步骤S52：剔除速度变化次数大于速度变化阈值的光流轨迹。

速度变化阈值可以设置为2，剔除速度变化次数大于2次的光流轨迹，剩下的光流轨迹大概率是由抛物而产生的。

步骤S53：剔除光流轨迹中拐点个数大于拐点数量阈值的光流轨迹。

若光流轨迹是由于抛物而产生的，则根据抛物线的轨迹特性，光流轨迹中一般不会出现超过2个拐点，故此，剔除光流轨迹中拐点个数大于拐点数量阈值的光流轨迹，可以进一步剔除可能由于正常搬运而产生的光流轨迹。

本实施例中，上述步骤S53以及步骤S51～步骤S52可以先后执行，即先执行步骤S51～步骤S52，后执行步骤S53，或者先执行步骤S53，后执行步骤S51～步骤S52，本实施例在此不做具体限制。

上述方案，获取光流轨迹中光流点的速度变化次数，并剔除速度变化次数大于速度变化阈值的光流轨迹，以及光流轨迹中拐点个数大于拐点数量阈值的光流轨迹，从而剔除可能由于正常搬运而产生的光流轨迹，由此，可以进一步提高抛物检测的准确性。

请结合参阅图6和图7，图6是图1中步骤S13一实施例的流程示意图，图7是图1中步骤S14一实施例的流程示意图。

具体而言，步骤S13可以包括如下步骤：

步骤S131：基于每帧图像中剩余的光流轨迹，确定每帧图像中疑似存在抛物动作的预警区域。

在将每帧图像中不符合预设轨迹条件的光流轨迹剔除后，剩余的光流轨迹则大概率是由抛物而产生的。由此，基于剩余的光流轨迹，可以确定每帧图像中疑似存在抛物动作的预警区域。

在一个具体的实施例中，请结合参阅图8，图8是图6中步骤S131一实施例的流程示意图，上述步骤S131具体可以包括：

步骤S81：分别获取包含剩余的光流轨迹的最小候选区域。

分别获取每帧图像中包含每条剩余的光流轨迹的最小候选区域，在一个实施场景中，最小候选区域为矩形框，也就是说，采用一个尺寸最小的矩形框将每帧图像中剩余的光流轨迹框柱，由此，可以在每帧图像中留下多个矩形框。

步骤S82：将包含所有最小候选区域的区域作为预警区域。

将包含所有最小候选区域的区域作为预警区域，在一个实施场景中，当最小候选区域为矩形框时，预警区域可以认为包含所有矩形框的区域，也就是说，预警区域可以包含每帧图像中所有剩余的光流轨迹。

步骤S132：基于当前帧图像的预警区域，及当前帧图像之后第一预设数量的帧图像的光流轨迹，确定多帧图像中的目标帧图像。

当前帧图像为多帧图像中的其中一帧，在一个实施场景中，可以顺次选取多帧图像中的其中一帧作为当前帧图像，从而来确定多帧图像中的目标帧图像。

在一个实施场景中，为了更加准确地确定目标帧图像，第一预设数量可以结合摄像器件的帧率和检测到的光流轨迹的曲线特征(如：平抛、斜抛等等)、摄像器件所在的纬度(与重力加速度有关)进行设置，具体可以参阅上述步骤S13，本实施例在此不再赘述。

在一个具体实施例中，请结合参阅图9，图9是图6中步骤S132一是实施例的流程示意图。具体而言，可以包含如下步骤：

步骤S91：判断当前帧图像之后第一预设数量的帧图像中对应于当前帧图像的预警区域中是否存在光流轨迹。若不存在，则执行步骤S92，若存在，则执行步骤S93。

由于抛物动作相较于正常搬运等动作持续时间较短，因此，可以通过判断当前帧之后的第一预设数量的帧图像中对应于当前帧图像的预警区域是否还存在光流轨迹来确定当前帧图像是否为目标帧图像，若还存在光流轨迹，则说明当前帧图像中的光流轨迹较大概率是由于正常搬运等动作而产生的，若不存在光流轨迹，则说明当前帧图像中的光流轨迹较大概率是由于抛物动作而产生的。

步骤S92：确定当前帧图像为目标帧图像。

若当前帧图像之后第一预设数量的帧图像中对应于当前帧图像的预警区域中还存在光流轨迹，则确定当前帧图像为目标帧图像。

步骤S93：从多帧图像中重新择一作为当前帧图像。

若当前帧图像之后第一预设数量的帧图像中对应于当前帧图像的预警区域中不存在光流轨迹，则确定当前帧图像并非目标帧图像，则从多帧图像中重新择一作为当前帧图像。

步骤S94：重新执行步骤S91。

从多帧图像中重新择一作为当前帧图像之后，重新执行上述步骤S91，以在摄像器件拍摄的过程中，不断地确定当前帧图像是否为疑似存在抛物动作的目标帧图像。

具体而言，步骤S14可以包括如下步骤：

步骤S141：分别提取目标帧图像和样本帧图像中对应于预警区域中的图像部分，并将每个提取的图像部分作为一检测图像。

分别提取目标帧图像和样本帧图像中对应于预警区域中的图像部分，并将每个提取的图像部分作为一检测图像，从而得到由若干个检测图像所组成的图像序列。

在一个具体实施例中，请结合参阅图10，图10是图7中步骤S141一实施例的流程示意图，为了囊括物体在运动过程中在目标帧图像和样本帧图像中的光流轨迹，使得提取到的检测图像完整地包含物体的运动轨迹，步骤S141可以具体包含如下步骤：

步骤S1010：将预警区域按照第一预设比例关系进行放大。

将预警区域按照第一预设比例关系进行放大，从而使得放大后的预警区域可以完整地包含物体在运动过程的轨迹。例如，预警区域A的大小为6*6，则可以以预警区域的中心为基点，向外扩展至50*50。

步骤S1020：获取目标帧图像和样本帧图像中对应于目标帧图像中放大后的预警区域的候选图像。

获取目标帧图像和样本帧图像中对应于目标帧图像中放大后的预警区域的候选图像。仍以上述预警区域A为例，获取放大后的预警区域A(即尺寸为50*50的预警区域)中的候选图像。

步骤S1030：将候选图像按照第二预设比例关系进行放大，得到检测图像。

将候选图像按照第二预设比例关系进行放大，从而得到检测图像，而样本帧图像和目标帧图像中的检测图像可以共同组成一图像序列。仍以上述放大后的预警区域A为例，将尺寸为50*50的候选图像按照第二预设比例关系进行放大，例如放大至200*200，从而能够较好地展示图像细节。

上述方案，将预警区域按照第一预设比例关系进行放大，并获取目标帧图像和样本帧图像中对应于目标帧图像中放大后的预警区域的候选图像，有利于使提取到的检测图像完整地包含物体的运动轨迹，并按照第二比例关系将候选图像进行放大，得到检测图像，从而使得得到的检测图像能够较好地展示图像细节，从而有利于最终利用检测模型对检测图像进行检测的结果更加准确。

步骤S142：利用检测模型检测检测图像，确定是否存在抛物动作。

利用检测模型检测由多个检测图像所组成的图像序列，从而进一步通过对图像序列的检测，确定是否存在抛物动作，降低了误报的可能性，进而进一步提高了抛物动作检测的准确性。

请参阅图11，图11是本申请抛物动作检测装置1100一实施例的框架示意图。抛物动作检测装置1100包括检测模块1110、剔除模块1120、第一确定模块1130、第二确定模块1140，检测模块1110用于分别对摄像器件拍摄得到的多帧图像进行光流检测，得到每帧图像中目标区域之外的至少一个光流轨迹，剔除模块1120用于在每帧图像中剔除不符合预设轨迹条件的光流轨迹，第一确定模块1130用于基于每帧图像中剩余的光流轨迹，确定多帧图像中疑似存在抛物动作的目标帧图像，第二确定模块1140用于利用检测模型检测目标帧图像及至少一帧样本帧图像，确定是否存在抛物动作，其中，样本帧图像为位于目标帧图像之前和/或之后的图像。

上述方案，通过对摄像器件拍摄得到的多帧图像进行光流检测，从而得到每帧图像中目标区域之外的至少一个光流轨迹，并剔除每帧图像中不符合预设轨迹条件的光流轨迹，从而可以初步筛选出符合预设轨迹条件的光流轨迹，有助于提高后续进一步检测的准确性，并基于每帧图像中剩余的光流轨迹，确定多帧图像中疑似存在抛物动作的目标帧图像，以利用检测模型进一步对目标帧图像以及目标帧之前和/或之后的至少一帧样本帧图像进行检测，最终确定是否存在抛物动作，从而结合光流轨迹筛选和检测模型检测两种手段对摄像器件拍摄得到的多帧图像进行抛物动作的检测，进而提高抛物动作检测的准确性。

在一些实施例中，第一确定模块1130包括第一确定单元，用于基于每帧图像中剩余的光流轨迹，确定每帧图像中疑似存在抛物动作的预警区域，第一确定模块1130还包括第二确定单元，用于基于当前帧图像的预警区域，及当前帧图像之后第一预设数量的帧图像的光流轨迹，确定多帧图像中的目标帧图像。

在一些实施例中，第二确定模块1140包括提取单元，用于分别提取目标帧图像和样本帧图像中对应于预警区域中的图像部分，并将每个提取的图像部分作为一检测图像，第二确定模块1140还包括第三确定单元，用于利用检测模型检测检测图像，确定是否存在抛物动作。

在一些实施例中，第一确定单元具体用于分别获取包含剩余的光流轨迹的最小候选区域，将包含所有最小候选区域的区域作为预警区域。

在一些实施例中，第二确定单具体用于判断当前帧图像之后第一预设数量的帧图像中对应于当前帧图像的预警区域中是否存在光流轨迹，若不存在，则确定当前帧图像为目标帧图像，若存在，则从多帧图像中重新择一作为当前帧图像，并重新执行判断当前帧图像之后第一预设数量的帧图像中对应于当前帧图像的预警区域中是否存在光流轨迹的步骤。

在一些实施例中，提取单元具体用于将预警区域按照第一预设比例关系进行放大，获取目标帧图像和样本帧图像中对应于目标帧图像中放大后的预警区域的候选图像，将候选图像按照第二预设比例关系进行放大，得到检测图像。

在一些实施例中，预设轨迹条件至少包括光流轨迹的长度阈值，剔除模块1120包括阈值确定单元，用于基于目标区域的尺寸确定长度阈值，剔除模块1120还包括获取单元，用于获取光流轨迹的轨迹长度，剔除模块1120还包括剔除单元，用于剔除轨迹长度小于长度阈值的光流轨迹，其中，目标区域的尺寸与长度阈值为正相关关系。

在一些实施例中，确定单元具体用于获取预设尺寸与目标区域的尺寸之间的第一比值，将预设阈值与第一比值之间的第二比值作为长度阈值。

在一些实施例中，预设轨迹条件还包括光流轨迹的位移阈值，获取单元还用于获取每帧图像中光流轨迹与相邻帧图像的光流轨迹之间的光流位移，剔除单元还用于剔除光流位移小于位移阈值的光流轨迹。

在一些实施例中，预设轨迹条件还包括光流轨迹中光流点的速度变化阈值、光流轨迹的拐点数量阈值，获取单元还用于获取光流轨迹中光流点的速度变化次数，剔除单元还用于剔除速度变化次数大于速度变化阈值的光流轨迹，剔除光流轨迹中拐点个数大于拐点数量阈值的光流轨迹。

在一些实施例中，样本帧图像包括位于目标帧图像之前第二预设数量帧图像和位于目标帧图像之后第二预设数量帧图像。

在一些实施例中，检测模块1110包括目标检测单元，用于对每帧图像进行目标检测，获得包含目标的目标区域，检测模块1110还包括光流检测单元，用于对每帧图像进行光流检测，获得至少一个光流轨迹，检测模块1110还包括初步剔除单元，用于剔除目标区域中的光流轨迹，得到每帧图像中目标区域之外的至少一个光流轨迹。

请参阅图12，图12是本申请抛物动作检测装置1200另一实施例的框架示意图。抛物动作检测装置1200包括相互耦接的存储器1210和处理器1220，处理器1220用于执行存储器1210存储的程序指令，以实现上述任一抛物动作检测方法实施例中的步骤。

具体而言，处理器1220用于控制其自身以及存储器1210以实现上述任一抛物动作检测方法实施例中的步骤。处理器1220还可以称为CPU(Central Processing Unit，中央处理单元)。处理器1220可能是一种集成电路芯片，具有信号的处理能力。处理器1220还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器1220可以由多个集成电路芯片共同实现。

本实施例中，处理器1220用于分别对摄像器件拍摄得到的多帧图像进行光流检测，得到每帧图像中目标区域之外的至少一个光流轨迹，处理器1220还用于在每帧图像中剔除不符合预设轨迹条件的光流轨迹，处理器1220还用于基于每帧图像中剩余的光流轨迹，确定多帧图像中疑似存在抛物动作的目标帧图像，处理器1220还用于利用检测模型检测目标帧图像及至少一帧样本帧图像，确定是否存在抛物动作，其中，样本帧图像为位于目标帧图像之前和/或之后的图像。

上述方案，通过对摄像器件拍摄得到的多帧图像进行光流检测，从而得到每帧图像中目标区域之外的至少一个光流轨迹，并剔除每帧图像中不符合预设轨迹条件的光流轨迹，从而可以初步筛选出符合预设轨迹条件的光流轨迹，有助于提高后续进一步检测的准确性，并基于每帧图像中剩余的光流轨迹，确定多帧图像中疑似存在抛物动作的目标帧图像，以利用检测模型进一步对目标帧图像以及目标帧之前和/或之后的至少一帧样本帧图像进行检测，最终确定是否存在抛物动作，从而结合光流轨迹筛选和检测模型检测两种手段对摄像器件拍摄得到的多帧图像进行抛物动作的检测，进而提高抛物动作检测的准确性。

在一些实施例中，处理器1220还用于基于每帧图像中剩余的光流轨迹，确定每帧图像中疑似存在抛物动作的预警区域，处理器1220还用于基于当前帧图像的预警区域，及当前帧图像之后第一预设数量的帧图像的光流轨迹，确定多帧图像中的目标帧图像。

在一些实施例中，处理器1220还用于分别提取目标帧图像和样本帧图像中对应于预警区域中的图像部分，并将每个提取的图像部分作为一检测图像，处理器1220还用于利用检测模型检测检测图像，确定是否存在抛物动作。

在一些实施例中，处理器1220还用于分别获取包含剩余的光流轨迹的最小候选区域，处理器1220还用于将包含所有最小候选区域的区域作为预警区域。

在一些实施例中，处理器1220还用于判断当前帧图像之后第一预设数量的帧图像中对应于当前帧图像的预警区域中是否存在光流轨迹，处理器1220还用于在判断不存在时，确定当前帧图像为目标帧图像，处理器1220还用于在判断存在时，从多帧图像中重新择一作为当前帧图像，并重新执行判断当前帧图像之后第一预设数量的帧图像中对应于当前帧图像的预警区域中是否存在光流轨迹的步骤。

在一些实施例中，处理器1220还用于将预警区域按照第一预设比例关系进行放大，处理器1220还用于获取目标帧图像和样本帧图像中对应于目标帧图像中放大后的预警区域的候选图像，处理器1220还用于将候选图像按照第二预设比例关系进行放大，得到检测图像。

在一些实施例中，预设轨迹条件至少包括光流轨迹的长度阈值，处理器1220还用于基于目标区域的尺寸确定长度阈值，处理器1220还用于获取光流轨迹的轨迹长度，处理器1220还用于剔除轨迹长度小于长度阈值的光流轨迹，其中，目标区域的尺寸与长度阈值为正相关关系。

在一些实施例中，处理器1220还用于获取预设尺寸与目标区域的尺寸之间的第一比值，处理器1220还用于将预设阈值与第一比值之间的第二比值作为长度阈值。

在一些实施例中，预设轨迹条件还包括光流轨迹的位移阈值，处理器1220还用于获取每帧图像中光流轨迹与相邻帧图像的光流轨迹之间的光流位移，处理器1220还用于剔除光流位移小于位移阈值的光流轨迹。

在一些实施例中，预设轨迹条件还包括光流轨迹中光流点的速度变化阈值、光流轨迹的拐点数量阈值，处理器1220还用于获取光流轨迹中光流点的速度变化次数，处理器1220还用于剔除速度变化次数大于速度变化阈值的光流轨迹，处理器1220还用于剔除光流轨迹中拐点个数大于拐点数量阈值的光流轨迹。

在一些实施例中，样本帧图像包括位于目标帧图像之前第二预设数量帧图像和位于目标帧图像之后第二预设数量帧图像。

在一些实施例中，处理器1220还用于对每帧图像进行目标检测，获得包含目标的目标区域，处理器1220还用于对每帧图像进行光流检测，获得至少一个光流轨迹，处理器1220还用于剔除目标区域中的光流轨迹，得到每帧图像中目标区域之外的至少一个光流轨迹。

在一些实施例中，抛物动作检测装置1200还包括摄像器件，用于拍摄得到多帧图像。

请参阅图13，图13为本申请存储装置1300一实施例的框架示意图。存储装置1300存储有能够被处理器运行的程序指令1310，程序指令1310用于实现上述任一抛物动作检测方法的实施例中的步骤。

上述方案，通过对摄像器件拍摄得到的多帧图像进行光流检测，从而得到每帧图像中目标区域之外的至少一个光流轨迹，并剔除每帧图像中不符合预设轨迹条件的光流轨迹，从而可以初步筛选出符合预设轨迹条件的光流轨迹，有助于提高后续进一步检测的准确性，并基于每帧图像中剩余的光流轨迹，确定多帧图像中疑似存在抛物动作的目标帧图像，以利用检测模型进一步对目标帧图像以及目标帧之前和/或之后的至少一帧样本帧图像进行检测，最终确定是否存在抛物动作，从而结合光流轨迹筛选和检测模型检测两种手段对摄像器件拍摄得到的多帧图像进行抛物动作的检测，进而提高抛物动作检测的准确性。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (14)

1.一种抛物动作检测方法，其特征在于，包括：

分别对摄像器件拍摄得到的多帧图像进行光流检测，得到每帧图像中目标区域之外的至少一个光流轨迹；

在每帧所述图像中剔除不符合预设轨迹条件的光流轨迹；

基于每帧所述图像中剩余的光流轨迹，确定所述多帧图像中疑似存在抛物动作的目标帧图像；

利用检测模型检测所述目标帧图像及至少一帧样本帧图像，确定是否存在抛物动作，其中，所述样本帧图像为位于所述目标帧图像之前和/或之后的图像。

2.根据权利要求1所述的抛物动作检测方法，其特征在于，所述基于每帧所述图像中剩余的光流轨迹，确定所述多帧图像中疑似存在抛物动作的目标帧图像包括：

基于每帧所述图像中剩余的光流轨迹，确定每帧图像中疑似存在抛物动作的预警区域；

基于当前帧图像的预警区域，及所述当前帧图像之后第一预设数量的帧图像的光流轨迹，确定所述多帧图像中的目标帧图像；

所述利用检测模型检测所述目标帧图像及至少一帧样本帧图像，确定是否存在抛物动作包括：

分别提取所述目标帧图像和所述样本帧图像中对应于所述预警区域中的图像部分，并将每个提取的图像部分作为一检测图像；

利用所述检测模型检测所述检测图像，确定是否存在抛物动作。

3.根据权利要求2所述的抛物动作检测方法，其特征在于，所述基于每帧图像中剩余的光流轨迹，确定每帧图像中疑似存在抛物动作的预警区域包括：

分别获取包含所述剩余的光流轨迹的最小候选区域；

将包含所有所述最小候选区域的区域作为所述预警区域。

4.根据权利要求2所述的抛物动作检测方法，其特征在于，所述基于当前帧图像的预警区域，及所述当前帧图像之后第一预设数量的帧图像的光流轨迹，确定所述多帧图像中的目标帧图像包括：

判断当前帧图像之后第一预设数量的帧图像中对应于所述当前帧图像的预警区域中是否存在光流轨迹；

若不存在，则确定所述当前帧图像为所述目标帧图像；

若存在，则从所述多帧图像中重新择一作为所述当前帧图像，并重新执行所述判断当前帧图像之后第一预设数量的帧图像中对应于所述当前帧图像的预警区域中是否存在光流轨迹的步骤。

5.根据权利要求2所述的抛物动作检测方法，其特征在于，所述分别提取所述目标帧图像和所述样本帧图像中对应于所述预警区域中的图像部分，并将每个提取的图像部分作为一检测图像包括：

将所述预警区域按照第一预设比例关系进行放大；

获取所述目标帧图像和所述样本帧图像中对应于所述目标帧图像中放大后的预警区域的候选图像；

将所述候选图像按照第二预设比例关系进行放大，得到所述检测图像。

6.根据权利要求1所述的抛物动作检测方法，其特征在于，所述预设轨迹条件至少包括所述光流轨迹的长度阈值，所述在每帧所述图像中剔除不符合预设轨迹条件的光流轨迹包括：

基于所述目标区域的尺寸确定所述长度阈值；

获取所述光流轨迹的轨迹长度；

剔除所述轨迹长度小于所述长度阈值的光流轨迹；

其中，所述目标区域的尺寸与所述长度阈值为正相关关系。

7.根据权利要求6所述的抛物动作检测方法，其特征在于，所述基于所述目标区域的尺寸确定所述长度阈值包括：

获取预设尺寸与所述目标区域的尺寸之间的第一比值；

将预设阈值与所述第一比值之间的第二比值作为所述长度阈值。

8.根据权利要求6所述的抛物动作检测方法，其特征在于，所述预设轨迹条件还包括所述光流轨迹的位移阈值；所述基于所述目标区域的尺寸确定所述长度阈值之前，所述方法还包括：

获取每帧所述图像中所述光流轨迹与相邻帧图像的光流轨迹之间的光流位移；

剔除所述光流位移小于所述位移阈值的光流轨迹。

9.根据权利要求6所述的抛物动作检测方法，其特征在于，所述预设轨迹条件还包括所述光流轨迹中光流点的速度变化阈值、所述光流轨迹的拐点数量阈值；所述剔除所述轨迹长度小于所述长度阈值的光流轨迹之后，所述方法还包括：

获取所述光流轨迹中光流点的速度变化次数；

剔除所述速度变化次数大于所述速度变化阈值的光流轨迹；

剔除所述光流轨迹中拐点个数大于所述拐点数量阈值的光流轨迹。

10.根据权利要求1所述的抛物动作检测方法，其特征在于，所述样本帧图像包括位于所述目标帧图像之前第二预设数量帧图像和位于所述目标帧图像之后第二预设数量帧图像；和/或，

所述分别对摄像器件拍摄得到的多帧图像进行光流检测，得到每帧图像中目标区域之外的至少一个光流轨迹包括：

对每帧所述图像进行目标检测，获得包含所述目标的目标区域；

对每帧所述图像进行光流检测，获得至少一个所述光流轨迹；

剔除所述目标区域中的光流轨迹，得到每帧所述图像中目标区域之外的至少一个光流轨迹。

11.一种抛物动作检测装置，其特征在于，包括：

检测模块，用于分别对摄像器件拍摄得到的多帧图像进行光流检测，得到每帧图像中目标区域之外的至少一个光流轨迹；

剔除模块，用于在每帧所述图像中剔除不符合预设轨迹条件的光流轨迹；

第一确定模块，用于基于每帧所述图像中剩余的光流轨迹，确定所述多帧图像中疑似存在抛物动作的目标帧图像；

第二确定模块，用于利用检测模型检测所述目标帧图像及至少一帧样本帧图像，确定是否存在抛物动作，其中，所述样本帧图像为位于所述目标帧图像之前和/或之后的图像。

12.一种抛物动作检测装置，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器存储的程序指令，以实现权利要求1至10任一项所述的抛物动作检测方法。

13.根据权利要求12所述的抛物动作检测装置，其特征在于，所述装置还包括摄像器件，用于拍摄得到所述多帧图像。

14.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至10任一项所述的抛物动作检测方法。