CN112907622A

CN112907622A - 视频中目标物体的轨迹识别方法、装置、设备、存储介质

Info

Publication number: CN112907622A
Application number: CN202110074506.7A
Authority: CN
Inventors: 颜子杰; 苏辉东
Original assignee: Xiamen Qixing Tonglian Technology Co ltd
Current assignee: Xiamen Qixing Tonglian Technology Co ltd
Priority date: 2021-01-20
Filing date: 2021-01-20
Publication date: 2021-06-04

Abstract

本发明实施例提供一种视频中目标物体的轨迹识别方法、装置、设备、存储介质，涉及视频检测技术领域。其中，这种轨迹识别方法包括如下步骤：S101、获取视频。S102、根据YOLO3模型获取视频中目标物体在不同帧上的位置坐标。S103、提取位置坐标生成坐标序列。S105、将坐标序列输入ARI MA模型预测时间序列。S106、根据时间序列在视频中标记出目标物体的预测运动轨迹，以根据预存运动轨迹对目标物体进行跟踪。本发明通过ARI MA模型预测时间序列大大缩小了目标检测的检测范围，能够同步跟踪检测目标物体，并在视频中标记出来目标物体的运动轨迹，具有很好的实际意义。

Description

视频中目标物体的轨迹识别方法、装置、设备、存储介质

技术领域

本发明涉及视频检测技术领域，具体而言，涉及一种视频中目标物体的轨迹识别方法、装置、设备、存储介质。

背景技术

近几年来，我国一直在发展视频跟踪技术，同时也是世界计算机领域的一大核心课题。这项技术的主要目的实际上就是通过计算机去模仿生物不限于人类的视觉，也就是说模仿生物视觉的一项技术。通过计算机获取视频信息可以很准确详细的得到视频中的相关信息，计算机都能更加的准确和迅速，使人类能够方便快速准确的获得想要的信息，大大降低了人为的失误和人力物力资源。

在先技术中，普遍只能对比视频或者图片中物体的检测，但无法满足更进一步去实现对视频中动态物体的跟踪检测。

发明内容

本发明提供了一种视频中目标物体的轨迹识别方法、装置、设备、存储介质，以改善相关技术中的无法对视频中动态物体进行跟踪检测的问题。

第一方面：

本发明实施例提供了一种视频中目标物体的轨迹识别方法，其包括如下步骤：

S101、获取视频；

S102、根据YOLO3模型获取所述视频中目标物体在不同帧上的位置坐标；

S103、提取所述位置坐标生成坐标序列；

S105、将所述坐标序列输入ARI MA模型预测时间序列；

S106、根据所述时间序列在所述视频中标记出所述目标物体的预测运动轨迹，以根据所述预存运动轨迹对所述目标物体进行跟踪。

可选地，在S105之前，还包括以下步骤：

S104、构建所述ARIMA模型。

可选地，所述位置坐标包括x坐标和y坐标；每个所述坐标序列包含单个目标物体的x坐标序列和y坐标序列；

可选地，步骤S104具体为：

S1041、提取所述x坐标序列和所述y坐标序列的前面部分进行差分、完整自相关和部分自相关操作，以获取所述ARIMA模型的自回归项p和移动平均项数q的取值范围；

S1042、根据所述取值范围和所述前面部分，分别获取不同p和q值组合下ARIMA模型预测生成的x坐标和y坐标的预测序列；

S1043、分别计算各p和q值组合对应的所述x坐标和y坐标的预测序列，与所述x坐标序列和所述y坐标序列的后面部分的均方差D_X和D_Y；

S1044、取均方差的绝对值之和最小时对应的p和q值组合，构建所述ARIMA模型。

可选地，所述步骤S103具体为：

S1031、提取各视频帧中的目标物体的所述位置坐标；其中，所述位置坐标包括x坐标和y坐标；

S1032、按照视频帧的先后顺序生成x坐标序列和y坐标序列。

第二方面：

本发明实施例提供一种视频中目标物体的轨迹识别装置，其包括以下模块：

视频获取模块，用于获取视频；

位置坐标模块，用于根据YOLO3模型获取所述视频中目标物体在不同帧上的位置坐标；

坐标序列模块，用于提取所述位置坐标生成坐标序列；

时间序列模块，用于将所述坐标序列输入ARIMA模型预测时间序列；

运动轨迹模块，用于根据所述时间序列在所述视频中标记出所述目标物体的预测运动轨迹，以根据所述预存运动轨迹对所述目标物体进行跟踪。

可选地，所述轨迹识别装置还包括：

模型构建模块，用于构建所述ARIMA模型。

可选地，模型构建模块包括：

取值范围单元，用于提取所述x坐标序列和所述y坐标序列的前面部分进行差分、完整自相关和部分自相关操作，以获取所述ARIMA模型的自回归项p和移动平均项数q的取值范围；

预测序列单元，用于根据所述取值范围和所述前面部分，分别获取不同p和q值组合下ARIMA模型预测生成的x坐标和y坐标的预测序列；

均方差单元，用于分别计算各p和q值组合对应的所述x坐标和y坐标的预测序列，与所述x坐标序列和所述y坐标序列的后面部分的均方差D_X和D_Y；

模型构建单元，用于取均方差的绝对值之和最小时对应的p和q值组合，构建所述ARIMA模型。

可选地，坐标序列模块包括：

位置坐标提取单元，用于提取各视频帧中的目标物体的所述位置坐标；其中，所述位置坐标包括x坐标和y坐标；

坐标序列生成单元，用于按照视频帧的先后顺序生成x坐标序列和y坐标序列。

第三方面：

本发明实施例提供一种视频中目标物体的轨迹识别设备，其包括处理器、存储器，以及存储在所述存储器内的计算机程序；所述计算机程序能够被所述处理器执行，以实现如第一方面任一段所述的视频中目标物体的轨迹识别方法。

第四方面：

本发明实施例提供一种计算机可读存储介质。所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面任一段所述的视频中目标物体的轨迹识别方法。

通过采用上述技术方案，本发明可以取得以下技术效果：

本发明实施例通过ARIMA模型预测时间序列大大缩小了目标检测的检测范围，能够同步跟踪检测目标物体，并在视频中标记出来目标物体的运动轨迹，具有很好的实际意义。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明第一实施例提供的轨迹识别方法的流程示意图。

图2是本发明第一实施例提供的轨迹识别方法识别后的效果图。

图3是本发明另一实施例提供的另一种轨迹识别方法的流程示意图。

图4是本发明第一实施例提供的x坐标序列的前31个的样本图。

图5是本发明第一实施例提供的图4进行一阶差分后的结果图。

图6是本发明第一实施例提供的图5进行ACF后的结果图。

图7是本发明第一实施例提供的图5进行PACF后的结果图。

图8是本发明第一实施例提供的第一组p，q值组合的预测图。

图9是本发明第一实施例提供的第二组p，q值组合的预测图。

图10是本发明第一实施例提供的第三组p，q值组合的预测图。

图11是本发明第二实施例提供的一种轨迹识别装置的结构示意图。

图12是本发明另一实施例提供的另一种轨迹识别装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

实施例中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些内容以外的顺序实施。

下面结合附图与具体实施方式对本发明作进一步详细描述：

实施例一：

请参阅图1，本发明第一实施例提供的一种视频中目标物体的轨迹识别方法。其可由轨迹识别设备(识别设备)执行。特别地，由识别设备中的一个或多个处理器来执行，以实现如下步骤：

S101、获取视频。

在本实施例中，视频可以是各个地方的监控所拍摄的实时画面。例如：电梯自动门的检测摄像头、限速拍照摄像头、十字路口的交通摄像头。本发明对此不作具体限定。

S102、根据YOLO3模型获取视频中目标物体在不同帧上的位置坐标。

在本实施例中，所述目标物体可以是处于运动或者静止状态的人、汽车、摩托车。本发明对此不作具体限定。所述位置坐标至少包括目标物体的中心位置在视频帧上的横纵坐标。

需要说明的是，一个视频帧上可以包含一个或者多个目标物体。YOLO3模型能够将视频帧上的目标物体区分开来，且全部标记出来，从而获得不同目标物体在不同视频帧上的位置坐标。YOLO3算法为现有技术，本发明在此不再赘述。

S103、提取位置坐标生成坐标序列。

在本实施例中，将视频帧中的位置坐标提取出来，按照目标对象进行分类，将同一个目标对象的位置坐标汇总成一个坐标序列。通过坐标序列能够将不同的目标对象区分来开。将同一个目标对象的位置坐标汇总成坐标序列不仅根据坐标序列标记出目标对象的历史轨迹，还能够为下一个步骤做准备。

在上述实施例的基础上，本发明一可选实施例中，步骤S103具体为：

S1031、提取各视频帧中的目标物体的位置坐标。其中，位置坐标包括x坐标和y坐标。

S1032、按照视频帧的先后顺序生成x坐标序列和y坐标序列。

在本实施例中，位置坐标包括x坐标和y坐标。每个坐标序列包含单个目标物体的x坐标序列和y坐标序列。在其它实施例中，位置坐标还包含用以标识目标物体的边界框的大小信息，以及边界框内物体的类型信息。通过坐标序列能够清楚的知道目标物体的位置。

S105、将坐标序列输入ARIMA模型预测时间序列。

在本实施例中，时间序列为预测的目标物体接下来的x方向和y方向的坐标。根据时间序列能够大致确定目标位置未来将移动到什么位置。YOLO3模型在检测的时候，只需要检测预测出来的目标位置，而不需要检测整张图像，不仅大大缩减了检测时间，而且能够实现实时的跟踪，具有很好的实际意义。

S106、根据时间序列在视频中标记出目标物体的预测运动轨迹，以根据预存运动轨迹对目标物体进行跟踪。跟踪结果如图2所示。

在本实施例中，运动轨迹就是目标物体的位置坐标的连线。本实施例通过ARIMA模型预测时间序列大大缩小了目标检测的检测范围，能够同步跟踪检测目标物体，并在视频中标记出来目标物体的运动轨迹。实现了对目标物体的目标识别和路径跟踪，具有很好的实际意义。

在上述实施例的基础上，本发明一可选实施例中，步骤S106可以替换为：

S106A、根据所述时间序列对所述目标物体进行跟踪检测。

S106B、根据所述跟踪检测的结果在所述视频中标记出所述目标物体的轨迹。

具体地，根据时间序列进行跟踪检测可以缩小了目标检测的检测范围，大大提高检测的速度，以实时跟踪目标物体。根据跟踪检测的结果实时的在视频中标记出来目标物体的运动轨迹，能够获得更为准确的运动轨迹。

在上述实施例的基础上，本发明一可选实施例中，如图3所示，在S105之前，还包括以下步骤：

S104、构建ARIMA模型。

ARIMA模型只能对一个时间序列进行预测，因此需要分别建立x坐标序列的ARIMA模型和y坐标序列的ARIMA模型，然后将两个模型的预测结果合并在一起，才能获得目标物体的预测位置。

步骤S104具体为：

S1041、提取x坐标序列和y坐标序列的前面部分进行差分、完整自相关和操作，以获取ARIMA模型的自回归项p和移动平均项数q的取值范围。

以x坐标序列为例进行说明，假设x坐标序列有50个样本数据。获取取值范围的步骤具体如下：

S1、选取x坐标序列的前31个训练数据，如图4所示(横坐标为时间，纵坐标坐标为x坐标的值)。

S2、对S1中选取的训练数据进行一阶差分，效果如图5所示，如果不理想可以进行多次差分。

S3、对差分的结果进行完整自相关(ACF)和部分自相关(PACF)操作，效果如图6、图7所示，确定x坐标序列的ARIMA模型的p,q值的取值范围。

y坐标序列采用相同的步骤获得取值范围。

S1042、根据取值范围和前面部分，分别获取不同p和q值组合下ARIMA模型预测生成的x坐标和y坐标的预测序列。

在本实施例中，遍历所述取值范围内的所有的p，q值组合，采用不同的p，q值组合建立多个ARIMA模型，并预测生成多个x坐标和y坐标的预测序列。

以x坐标序列为例进行说明，假设p,q值的取值范围为[2,3]，那么：

选取p＝2,q＝2作为ARIMA模型的p,q值进行预测。建立模型，往后预测30个数据。结果如图8所示(横坐标为时间，纵坐标坐标为x坐标的值)，图中两根折线，一根为样本数据中剩余的19个，另一根为预测值。

选取p＝3,q＝2作为ARIMA模型的p,q值进行预测。建立模型，往后预测30个数据。结果如图9所示(横坐标为时间，纵坐标坐标为x坐标的值)，图中两根折线，一根为样本数据中剩余的19个，另一根为预测值。

选取p＝2,q＝3作为ARIMA模型的p,q值进行预测。建立模型，往后预测30个数据。结果如图10所示(横坐标为时间，纵坐标坐标为x坐标的值)，图中两根折线，一根为样本数据中剩余的19个，另一根为预测值。

y坐标序列采用相同的步骤获得相同的多个预测值。

S1043、分别计算各p和q值组合对应的x坐标和y坐标的预测序列，与x坐标序列和y坐标序列的后面部分的均方差D_X和D_Y。

在本实施例中，计算各个p，q值组合时的预测序列和剩余19个样本数据之间的均方差，来评估那一组p，q值组合为最优值，从而选取最优的p，q值组合，以建立最符合真实情况的ARIMA模型。

以x坐标序列为例进行说明，首先计算图8至图10中的两根折线之间的误差值；然后计算该误差的均方差D_X。采用相同的步骤可以计算得到y坐标序列的均方差D_Y。x坐标序列和y坐标序列对应的均方差如下表所示；

表1均方差统计图

p	q	D<sub>(x)</sub>	D<sub>(y)</sub>	\|D<sub>(x)</sub>\|+\|D<sub>(y)</sub>\|
					2	2	0.52234	0.71728	1.23962
2	3	0.51730	0.72807	1.24537
					3	2	0.46889	0.70264	1.17153

S1044、取均方差的绝对值之和最小时对应的p和q值组合，构建ARIMA模型。

均方差的绝对值之和最小时，说明预测值和真实值最为接近。因此，选取对应的p，q值建立ARIMA模型，所得到的预测结果也最接近真实情况，具有很好的实际意义。根据表1所示，p＝3,q＝2时，|D_(x)|+|D_(y)|＝1.17153最小，所以取p＝3，q＝2为ARIMA模型的阶数。需要说明的是，在其它实施例中，构建ARIMA模型的步骤也可以采用其它现有的步骤，本发明对此不作限定。

实施例二：

如图11所示，本发明实施例提供一种视频中目标物体的轨迹识别装置，其包括以下模块：

视频获取模块110，用于获取视频。

位置坐标模块120，用于根据YOLO3模型获取视频中目标物体在不同帧上的位置坐标。

坐标序列模块130，用于提取位置坐标生成坐标序列。

时间序列模块150，用于将坐标序列输入ARIMA模型预测时间序列。

运动轨迹模块160，用于根据时间序列在视频中标记出目标物体的预测运动轨迹，以根据预存运动轨迹对目标物体进行跟踪。

可选地，如图12所示，轨迹识别装置还包括：

模型构建模块140，用于构建ARIMA模型。

可选地，位置坐标包括x坐标和y坐标。每个坐标序列包含单个目标物体的x坐标序列和y坐标序列。

可选地，模型构建模块140包括：

取值范围单元，用于提取x坐标序列和y坐标序列的前面部分进行差分、完整自相关和部分自相关操作，以获取ARIMA模型的自回归项p和移动平均项数q的取值范围。

预测序列单元，用于根据取值范围和前面部分，分别获取不同p和q值组合下ARIMA模型预测生成的x坐标和y坐标的预测序列。

均方差单元，用于分别计算各p和q值组合对应的x坐标和y坐标的预测序列，与x坐标序列和y坐标序列的后面部分的均方差D_X和D_Y。

模型构建单元，用于取均方差的绝对值之和最小时对应的p和q值组合，构建ARIMA模型。

可选地，坐标序列模块130包括：

位置坐标提取单元，用于提取各视频帧中的目标物体的位置坐标。其中，位置坐标包括x坐标和y坐标。

实施例三：

本发明实施例提供一种视频中目标物体的轨迹识别设备，其包括处理器、存储器，以及存储在存储器内的计算机程序。计算机程序能够被处理器执行，以实现如实施例一任一段的视频中目标物体的轨迹识别方法。

实施例四：

本发明实施例提供一种计算机可读存储介质。计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如实施例一任一段的视频中目标物体的轨迹识别方法。

在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备100，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种视频中目标物体的轨迹识别方法，其特征在于，包括：

获取视频；

根据YOLO3模型获取所述视频中目标物体在不同帧上的位置坐标；

提取所述位置坐标生成坐标序列；

将所述坐标序列输入ARIMA模型预测时间序列；

根据所述时间序列在所述视频中标记出所述目标物体的预测运动轨迹，以根据所述预存运动轨迹对所述目标物体进行跟踪。

2.根据权利要求1所述的轨迹识别方法，其特征在于，在将所述坐标序列输入ARIMA模型预测时间序列之前，还包括以下步骤：

构建所述ARIMA模型。

3.根据权利要求2所述的轨迹识别方法，其特征在于，所述位置坐标包括x坐标和y坐标；每个所述坐标序列包含单个目标物体的x坐标序列和y坐标序列；

构建所述ARIMA模型，具体为：

提取所述x坐标序列和所述y坐标序列的前面部分进行差分、完整自相关和部分自相关操作，以获取所述ARIMA模型的自回归项p和移动平均项数q的取值范围；

根据所述取值范围和所述前面部分，分别获取不同p和q值组合下ARIMA模型预测生成的x坐标和y坐标的预测序列；

分别计算各p和q值组合对应的所述x坐标和y坐标的预测序列，与所述x坐标序列和所述y坐标序列的后面部分的均方差D_X和D_Y；

取均方差的绝对值之和最小时对应的p和q值组合，构建所述ARIMA模型。

4.根据权利要求1至3任一项所述的轨迹识别方法，其特征在于，根据所述位置坐标生成坐标序列，具体为：

提取各视频帧中的目标物体的所述位置坐标；其中，所述位置坐标包括x坐标和y坐标；

按照视频帧的先后顺序生成x坐标序列和y坐标序列。

5.一种视频中目标物体的轨迹识别装置，其特征在于，包括：

视频获取模块，用于获取视频；

坐标序列模块，用于提取所述位置坐标生成坐标序列；

6.根据权利要求5所述的轨迹识别装置，其特征在于，所述轨迹识别装置还包括：

模型构建模块，用于构建所述ARIMA模型。

7.根据权利要求6所述的轨迹识别装置，其特征在于，所述位置坐标包括x坐标和y坐标；每个所述坐标序列包含单个目标物体的x坐标序列和y坐标序列；

所述模型构建模块包括：

8.根据权利要求5至7任一项所述的轨迹识别装置，其特征在于，所述坐标序列模块包括：

9.一种视频中目标物体的轨迹识别设备，其特征在于，包括处理器、存储器，以及存储在所述存储器内的计算机程序；所述计算机程序能够被所述处理器执行，以实现如权利要求1至4任意一项所述的视频中目标物体的轨迹识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至4任意一项所述的视频中目标物体的轨迹识别方法。