CN112465868A - 一种目标检测跟踪方法、装置、存储介质及电子装置 - Google Patents

Abstract

本发明实施例提供了一种目标检测跟踪方法、装置、存储介质及电子装置，其方法包括：获取对目标区域进行拍摄所得到的目标图像；解析目标图像，以确定目标图像中包含的目标标识信息；解析目标图像，确定目标对象的目标平面的目标平面信息；根据目标标识信息以及目标平面信息，对目标对象的运动进行分析。通过本发明，解决了相关技术中检测精度低，检测效率低的问题，进而达到了提高检测精度和检测效率的效果。

Description

一种目标检测跟踪方法、装置、存储介质及电子装置

技术领域

本发明实施例涉及通信领域，具体而言，涉及一种目标检测跟踪方法、装置、存储介质及电子装置。

背景技术

目前，视觉系统由于其应用场景的多样性以及成本优势，在许多领域均有较为深入的应用，例如，在汽车领域中，由于智能化汽车是如今汽车行业发展的重要趋势之一，其包含视觉系统的智能化应用已覆盖多种复杂驾驶场景，如高速驾驶、城市行车以及泊车、车辆主动安全系统应用等，其中，单双目前视、后视系统以及360度环视系统已经成为了现有高级辅助驾驶系统、自动驾驶系统的主流感知器件。

而目前的视觉系统由于采用的场景识别方式是基于传统图像特征识别来实现的，因而存在识别效率低、识别精度低等目标检测效果差问题。

针对视觉系统的目标检测效果差的问题，尚无能够较好的解决上述问题的技术方案。

发明内容

本发明实施例提供了一种目标检测方法、装置、存储介质及电子装置，以至少解决相关技术中目标检测效果差的问题。

根据本发明的一个实施例，提供了一种目标检测跟踪方法，包括：

获取对目标区域进行拍摄所得到的目标图像；

解析所述目标图像，以确定所述目标图像中包含的目标标识信息，其中，所述目标标识信息包括用于指示所述目标图像中包含的目标对象的第一标识信息以及所述目标对象所包含的关键点的第二标识信息；

解析所述目标图像，确定所述目标对象的目标平面的目标平面信息，其中，所述目标平面为所述目标图像中包括的所述目标对象被拍摄到的平面；

根据所述目标标识信息以及所述目标平面信息，对所述目标对象的运动进行分析。

在一个示例性实施例中，所述解析所述目标图像，以确定所述目标图像中包含的目标标识信息包括：

对所述目标图像进行区域运算操作，以得到所述目标图像的目标检测区域，其中，所述目标检测区域用于标识所述目标对象在所述目标图像中所处的第一区域以及所述目标对象所包含的关键点在所述目标图像中所处的第二区域；

对所述目标检测区域所标识的所述第一区域及所述第二区域进行第一分类识别运算，以确定所述目标图像中包含的所述目标标识信息。

在一个示例性实施例中，所述解析所述目标图像，确定所述目标对象的目标平面的目标平面信息包括：

基于所述目标标识信息，对第一特征图集进行第一特征计算，以得到所述目标对象的初始平面信息，其中所述第一特征图集为对所述目标图像进行第一尺度描述运算后所得到的；

对所述初始平面信息进行第一分类回归运算，以得到所述目标平面信息。

在一个示例性实施例中，所述解析所述目标图像，确定所述目标对象的目标平面的目标平面信息还包括：

根据所述目标平面信息，对第一特征图集中包括的满足第一预设条件的所述目标对象的特征信息依次进行第二特征计算和特征识别，以得到初始属性信息，其中所述第一特征图集为对所述目标图像进行第一尺度描述运算后所得到的；

对所述初始属性信息进行第二分类回归运算，以得到目标属性信息，其中，所述目标属性信息包括所述目标对象所包含的关键点的状态信息。

在一个示例性实施例中，所述根据所述目标标识信息以及所述目标平面信息，对所述目标对象的运动进行分析包括：

根据所述目标标识信息以及所述目标平面信息，以及第二目标标识信息以及第二目标平面信息对所述目标对象的运动进行分析，以确定所述目标对象的运动状态，其中，所述第二目标标识信息以及第二目标平面信息位对第一图像进行分析后所得到的，所述第一图像与所述目标图像为相邻的两帧图像。

在一个示例性实施例中，根据所述目标标识信息以及所述目标平面信息，以及第二目标标识信息以及第二目标平面信息对所述目标对象的运动进行分析，以确定所述目标对象的运动状态包括：

基于所述目标标识信息，对所述第一图像与所述目标图像进行第一特征计算以得到目标时序序列片段；

对所述目标时序序列片段进行目标记忆计算，以确定所述目标对象的运动状态。

在一个示例性实施例中，所述基于预设系数，判断所述第一图像中是否包含所述目标对象；

在判断结果为所述第一图像中包含所述目标对象的情况下，基于所述目标标识信息，对所述第一图像与所述目标图像进行第一特征计算以得到目标时序序列片段。

在一个示例性实施例中，所述方法还包括：

在确定所述目标图像中包含的目标对象的数量为至少两个的情况下，根据所述目标标识信息以及所述目标平面信息，确定距离计算参数；

根据所述距离计算参数，执行距离计算以确定至少两个所述目标对象彼此之间的距离。

在一个示例性实施例中，在所述确定所述目标对象的运动状态之后，所述方法还包括：

根据所述距离计算参数以及所述目标对象的运动状态，对所述目标对象进行跟踪及轨迹预测。

根据本发明的另一个实施例，提供了一种目标检测跟踪装置，包括：

目标图像采集模块，用于获取对目标区域进行拍摄所得到的目标图像；

第一图像解析模块，用于解析所述目标图像，以确定所述目标图像中包含的目标标识信息，其中，所述目标标识信息包括用于指示所述目标图像中包含的目标对象的第一标识信息以及所述目标对象所包含的关键点的第二标识信息；

第二图像解析模块，用于解析所述目标图像，确定所述目标对象的目标平面的目标平面信息，其中，所述目标平面为所述目标图像中包括的所述目标对象被拍摄到的平面；

运动分析模块，用于根据所述目标标识信息以及所述目标平面信息，对所述目标对象的运动进行分析。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，由于分别获取目标对象的目标标识信息和目标平面信息，因而能够对目标图像中的目标对象进行精确识别定位，因此，可以解决相关技术中目标检测效果差问题，达到提高检测精度和识别精度的效果。

附图说明

图1是本发明实施例的一种目标检测跟踪方法的移动终端的硬件结构框图；

图2根据本发明实施例的一种目标检测跟踪方法的流程图；

图3是根据本发明实施例的一种目标检测跟踪装置的结构框图；

图4是根据本发明的具体实施例的流程图；

图5是根据本发明的具体实施例的检测与分析神经网络拓扑图；

图6是根据本发明的具体实施例的距离计算网络拓扑示意图；

图7是根据本发明的具体实施例的行驶意图分析网络拓扑示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种目标检测跟踪方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种目标检测跟踪方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种目标检测跟踪方法，图2是根据本发明实施例的一种目标检测跟踪方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取对目标区域进行拍摄所得到的目标图像；

在本实施例中，目标图像可以是对初始图像进行预处理得到的，而对初始图像进行预处理是为了使目标图像的图像格式与处理设备的格式相同，从而方便对图像进行识别，提高图像识别效率；并减少初始图像中非目标对象的干扰，从而提高识别精度。

其中，对初始图像进行预处理包括对初始图像进行参数调整、3D图像降噪、裁剪、缩放以及归一化等操作，预处理过程的顺序可以根据实际需求进行调整，例如，可以先执行裁剪操作，再执行降噪操作，也可以先执行降噪操作，再进行裁剪操作，其中，参数调整包括曝光参数、增益参数、白平衡参数、数字宽动态参数等参数的调节，且参数调节可以(但不限于)通过调节图像采集设备的固化ISP模块算法来实现；对初始图像进行采集可以(但不限于)通过修改图像采集设备的相关参数来实现，例如调整分辨率以及采集频率等。

步骤S204，解析目标图像，以确定目标图像中包含的目标标识信息，其中，目标标识信息包括用于指示目标图像中包含的目标对象的第一标识信息以及目标对象所包含的关键点的第二标识信息；

在本实施例中，对目标图像进行解析以确定目标标识信息是为了根据目标标识信息对目标对象以及目标对象的关键点进行后续操作。

其中，目标标识信息包括(但不限于)目标对象的类别、数量、位置、以及目标对象的关键点的图像坐标位置等信息；目标标识信息的确定可以(但不限于)通过神经网络或者神经网络与其它算法相结合的方式来确定；目标对象的关键点可以(但不限于)包括目标对象的局部的结构特征，如车辆的车灯，行人的手臂等。

例如，可以依次通过神经网络运算操作、置信度阈值过滤、非极大值抑制等操作后来确定目标图像中车辆的类别(如背景、轿车、越野车、面包车、公交车、卡车等)、车辆位置、以及车身关键(如左右车灯、左右车灯等)的图像坐标位置。

步骤S206，解析目标图像，确定目标对象的目标平面的目标平面信息，其中，目标平面为目标图像中包括的所述目标对象被拍摄到的平面；

在本实施例中，对目标图像进行解析以确定目标对象的目标平面信息是为了确定目标对象的目标平面的平面特征信息，从而方便对目标对象进行后续处理。

其中，目标平面信息包括目标对象的目标平面的中心位置坐标、宽度、高度、以及位置方向等信息；目标平面信息的确定方式可以是通过图像截取或图像特征池化计算后，再通过级联的几何特征描述算法计算后获得，也可以通过预设的设备对目标图像进行设备处理后获得。

例如，可以对解析过程获得的图像进行图像截取或特征池化，随后再通过级联的几何特征描述算法进行描述计算，再将计算结果输入目标设备，以获得目标图像中的车辆的主平面(如横穿马路的车辆为车辆的主平面为车辆的侧面、同向车辆的主平面为车辆尾部、相向车辆的主平面为车辆头部)的中心位置坐标、宽度、高度、车辆的朝向等平面信息。

步骤S208，根据目标标识信息以及所述目标平面信息，对目标对象的运动进行分析。

在本实施例中，根据目标标识信息和目标平面信息对目标对象的运动状态进行分析时，由于目目标标识信息和目标平面信息已经包含了能够标识目标对象的运动状态的关键点的状态信息(如车量尾灯的状态信息等)，因而只需要对该关键点的状态信息进行识别运算即可判断出目标对象的运动状态，从而无需进行额外的计算，节约了计算量，提高了检测分析效率。

其中，分析操作可以(但不限于)包括利用卡尔曼滤波以及长短期记忆依次对目标时序图像片段中的车辆进行重合度、驶向意图以及目标跟踪的分析计算，从而完成运动状态的分析，也可以通过其它方式进行分析运算；目标对象的运动状态可以(但不限于)包括静止、匀速行驶、转弯、变道、加减速等。

例如，通过运动状态分析操作后，获得目标时序图像片段中的车辆的运动分析结果，并输出对应的标识码：0-静止，1-匀速行驶，2-变道，3-加减速，4-转弯。

通过上述步骤，由于对目标对象的目标标识信息和目标平面信息进行了采集，再通过采集的目标标识信息和目标平面信息进行运动状态分析；由于目标标识信息和目标平面信息分别包含目标对象的关键点的位置信息和坐标信息，因而能够提高对目标对象的精确定位，从而提高了对目标对象的检测的准确性，解决了相关技术中目标检测效果差的问题，提高了目标检测效果。

其中，上述步骤的执行主体可以为基站、终端等，但不限于此。

在一个可选的实施例中，解析目标图像，以确定目标图像中包含的目标标识信息包括：

步骤S2042，对目标图像进行区域运算操作，以得到目标图像的目标检测区域，其中，目标检测区域用于标识目标对象在目标图像中所处的第一区域以及目标对象所包含的关键点在目标图像中所处的第二区域；

步骤S2044，对目标检测区域所标识的第一区域及第二区域进行第一分类识别运算，以确定目标图像中包含的目标标识信息。

在本实施例中，先通过区域运算操作确定目标图像中用于检测的目标检测区域，从而在进行目标对象识别时只需要对目标检测区域进行检测即可，减少了计算量，提高了检测效率。

其中，区域运算操作可以(但不限于)是先采用神经网络运算对目标图像进行特征描述计算，随后再根据预设的条件对需要检测区域进行分类、识别、过滤，从而获得用于标识目标图像中的目标对象和/或目标对象的关键点的目标检测区域；第一分类识别运算可以(但不限于)是与神经网络运算级联的细粒度卷积特征描述算法以及分类、位置、关键点回归运算分支，也可以是其它算法。

在一个可选的实施例中，对目标图像进行区域运算操作，以得到目标图像的目标检测区域包括：

步骤S20422，对目标图像进行第一尺度描述运算，以得到第一特征图集，其中，第一特征图集包含不同尺度的特征图像；

步骤S20424，根据目标先验尺度以及预设的特征值，对目标图像中满足第二预设条件的检测区域进行潜在对象分类以及位置回归计算，以得到初始检测区域，其中，初始检测区域包含目标对象在目标图像中所处的第一区域以及目标对象所包含的关键点在目标图像中所处的第二区域；

步骤S20426，基于初始检测区域，对初始检测区域进行过滤操作，以得到目标检测区域。

在本实施例中，先对目标图像进行第一尺度描述运算是为了得到能够适应不同大小的目标对象的图集；而对潜在的检测区域进行对象分类和位置回归计算是为筛选出满足预设条件的检测区域，从而缩小检测范围，减少计算量；对初始检测区域进行过滤操作则是为了进一步筛选检测范围，从而进一步减少计算量。

其中，对目标图像进行第一尺度描述运算可以是对目标图像进行卷积、池化、激活、上采样以及通道级联等神经网络运算操作，随后再对神经网络运算结果进行多尺度场景特征描述，以生成多尺度卷积特征图谱，并讲话多尺度卷积图谱作为第一特征图集，其中，多尺度卷积图谱中的尺度可以有多个，优选的可以设置为5个，如尺寸分为1/4、1/8、1/16、1/32以及1/64的图集；预设的特征值可以(但不限于)是预设的目标对象的高宽比、画面面积占比等特征值；潜在对象分类以及位置回归计算可以是对潜在检测区域的潜在目标对象进行分类和位置回归；过滤操作可以(但不限于)是依次对初始检测区域进行置信度阈值过滤、非极大值抑制等处理操作；目标检测区域是在进行目标对象检测分析过程中进行检测分析的区域，即主要检测分析该目标检测区域中的目标对象。

例如，在进行目标图像中的车辆识别检测时，为确定目标检测区域，先通过利用卷积、池化、激活、上采样以及通道级联等神经网络运算操作对预处理后三通道图像输入进行多尺度场景特征描述，生成多尺度卷积特征图谱，随后基于预设的先验车辆目标尺度以及高宽比对车辆检测感兴趣区域进行潜在车辆目标分类与位置回归，回归结果再经经置信度阈值过滤，非极大值抑制等后处理操作后，输出对车辆进行检测的目标检测区域(x-中心横坐标，y-中心纵坐标，w-宽度，h-高度)。

需要说明的是，在进行神经网络计算和车辆目标分类与位置回归时，训练过程采用的图像标签(包括参考类别与图像坐标系位置)可以(但不限于)由人工标注所得，所采用损失函数L1如下，该函数主要包含车辆粗分类损失以及车辆区域建议回归损失：

其中，α1，α2为车辆粗分类损失(角标cls)以及车辆区域建议回归损失(角标bbox)所对应的权重系数；n1，n2为每个训练批次相应任务训练样本数。

在一个可选的实施例中，对目标检测区域所标识的第一区域及第二区域进行第一分类识别运算，以确定目标图像中包含的目标标识信息包括：

步骤S20442，基于目标检测区域，对目标检测区域进行第二特征计算，以得到目标区域特征图集，目标区域特征图集用于指示目标检测区域的目标特征的目标值；

步骤S20444，基于目标区域特征图集，对目标区域特征图集进行第三特征识别，以得到初始标识信息，其中，初始标识信息包含目标区域中包含的目标对象的标识信息；

步骤S20446，对初始标识信息进行第三分类回归运算，以得到目标标识信息。

在本实施例中，对目标检测区域进行第二特征计算，是为了对目标检测侧区域进行特征池化，从而得到目标检测区域中的目标对象的目标区域特征图集；随后再对得到的目标区域特征图集进行第三特征识别，以对目标检测区域中的目标对象的特征图谱进行卷积特征描述，并将卷积特征描述结果作为初始标识信息，再对初始标识信息进行第三分类回归运算，以分别得到不同的标识信息，并将得到的标识信息作为目标标识信息。

其中，卷积特征描述可以(但不限于)是通过级联的细粒度卷积特征描述算法来实现。

例如，再对目标图像中的车辆进行检测时，将对目标图像进行第一尺度描述运算得到的浅层图像特征以及目标检测区域进行车辆目标感兴趣区域特征池化，随后在对于池化后浅层车辆特征图谱执行级联细粒度车辆卷积特征描述后，将执行结果送入车辆分类、位置回归以及关键点回归分支，以输出车辆类别信息(如，0-背景，1-轿车，2-SUV，3-面包车，4-公交车，5-卡车，6-特种车辆，7-其他车辆)、车辆位置信息以及车身关键点图像坐标位置(1-左轮胎底部，2-右轮胎底部，3-左尾灯，4-右尾灯)信息。

需要说明的是，在进行卷积计算过程中，训练过程所采用损失函数L2如下，主要包含车辆精分类损失、精定位损失以及关键点定位损失：

其中，β1，β2，β3为车辆精分类损失(角标cls)、精定位损失(角标bbox)以及关键点定位损失(角标kpts)所对应的权重系数，m1，m2，m3为每个训练批次相应任务训练样本数。

在一个可选的实施例中，解析目标图像，确定目标对象的目标平面的目标平面信息包括：

步骤S2062，基于目标标识信息，对第一特征图集进行第一特征计算，以得到目标对象的初始平面信息，其中第一特征图集为对目标图像进行第一尺度描述运算后所得到的；

步骤S2064，对初始平面信息进行第一分类回归运算，以得到目标平面信息。

在本实施例中，对第一特征图集进行第一特征计算是为了将目标图像中包含的目标对象的平面信息进行提取，从而减少其它对象的平面信息对目标对象的识别造成的干扰。

例如，在对目标图像中的车辆进行检测时，可以基于目标图像进行第一尺度描述运算过程获得的原始图像或浅层图像特征，以及目标标识信息中包含的车辆目标精定位进行图像截取或特征池化，之后通过级联车辆几何特征描述进行特征藐视，随后将描述结果送入车辆朝向以及宽高回归分支，以输出图像坐标系下车辆主平面中心位置(x，y)(如，横穿车辆的主平面为车辆侧面、同向车辆的主平面为车辆尾部、相向车辆的主平面为车辆头部)、宽度(w)与高度(h)以及车辆朝向角度(0-360°)等目标平面信息。

需要说明的是，训练过程所采用损失函数L3如下，包括主平面分类与回归损失以及车辆朝向分类与回归损失：

其中，γ1，γ2为主平面分类与回归损失以及车辆朝向分类与回归损失所对应的权重系数，k1，k2为每个训练批次相应任务训练样本数。

在一个可选的实施例中，解析目标图像，确定目标对象的目标平面的目标平面信息还包括：

步骤S2066，根据目标平面信息，对第一特征图集中包括的满足第一预设条件的目标对象的特征信息依次进行第二特征计算和特征识别，以得到初始属性信息，其中第一特征图集为对目标图像进行第一尺度描述运算后所得到的；

步骤S2068，对初始属性信息进行第二分类回归运算，以得到目标属性信息，其中，目标属性信息包括目标对象所包含的关键点的状态信息。

在本实施例中，确定目标对象的目标属性信息是为了确定能够标识目标对象的运动状态的关键点的状态，从而能够在后续操作中对目标对象的运动状态进行判断。

其中，目标属性信息包括目标状态某个部位的状态属性信息，例如，车辆的车灯、行人的手臂、交通灯的指挥灯等；确定目标属性信息的方式可以(但不限于)是基于对目标图像的解析结果，根据目标平面信息，对目标对象的目标检测区域依次进行特征池化和目标属性特征描述运算，随后再通过预设的算法进行分类识别来获得；第一预设条件可以(但不限于)是指定运动方向的目标对象，如同向的车辆、相向的行人、停滞的物体等，也可以是指定运动状态的目标对象，如停滞的物体、处于运动状态的物体、时动时停的物体等，还可以是指定颜色的目标对象，如红色的物体、黑色的物体等，具体在使用时可以根据实际使用情况进行调整和设置。

例如，基于对目标图像进行解析时获得的原始图像浅层图像特征，根据目标平面信息中包含的车辆目标朝向以及主平面宽高等信息，对同向车辆的尾部区域进行图像截取或特征池化，随后通过目标属性特征描述算法进行计算，以获得如车辆尾灯状态(0-异常，1-关闭，2-开启)、转向状态(0-异常，1-关闭，2-开启)以及制动状态(0-异常，1-关闭，2-开启)等目标属性信息。

需要说明的是，在进行目标属性信息的进行计算的过程所采用的损失函数L4如下，主要包含各状态分类损失函数：

其中，p1为每个训练批次相应任务训练样本数，p2为车辆分析状态数(默认为3)。

在一个可选的实施例中，根据目标标识信息以及目标平面信息，对目标对象的运动进行分析包括：

根据目标标识信息以及目标平面信息，以及第二目标标识信息以及第二目标平面信息对目标对象的运动进行分析，以确定目标对象的运动状态，其中，第二目标标识信息以及第二目标平面信息位对第一图像进行分析后所得到的，第一图像与目标图像为相邻的两帧图像。

在本实施例中，分别对两帧相邻的图像进行运动分析，是为了精确的判断目标对象的运动状态，从而提高识别精度。

在一个可选的实施例中，根据目标标识信息以及目标平面信息，以及第二目标标识信息以及第二目标平面信息对目标对象的运动进行分析，以确定目标对象的运动状态包括：

步骤S2082，基于目标标识信息，对第一图像与目标图像进行第一特征计算以得到目标时序序列片段；

步骤S2084，对目标时序序列片段进行目标记忆计算，以确定目标对象的运动状态。

在本实施例中，对第一图像与目标图像进行第一特征计算是为了使第一图像和目标图像进行图像的同步化，从而适应不同的图像描述特征区别，方便进行识别；对目标时序序列片段进行目标记忆计算，是为了对目标时序序列中的目标对象的运动状态进行分类识别，从而得到目标对象在不同时序的图像中的运动状态；

其中，目标时序序列片段的长度可以是2s，且时序递归单元数为25，默认频率12.5Hz；而第一特征计算可以是在池化后细粒度车辆特征描述基础上，对第一图像与目标图像进行1x1卷积以适应图像描述特征区别；目标记忆计算，可以(但不限于)是将目标时序序列片段送入长短期记忆模块中进行计算来实现。

例如，在对车辆进行检测时，先输入相邻时序的第一图像和目标图像，随后在池化后细粒度车辆特征描述基础上对第一图像和目标图像进行1x1卷积以得到目标时序序列片段，再将目标时序序列片段送入长短期记忆模块进行目标记忆计算，以将目标时序序列片段包含的目标对象的运动状态进行分类，从而最终得到目标时序序列片段中对应的车辆行驶状态，并用如下形式进行标识，如，0-静止，1-匀速行驶，2-变道，3-加减速，4-转弯等。

需要说明的是，该过程所采用的损失函数L6如下：

其中，γ1，γ2为主平面分类与回归损失以及车辆朝向分类与回归损失所对应的权重系数，k1，k2为每个训练批次相应任务训练样本数。

基于上述分析结果，对于任意时刻t车辆行驶状态置信度输出S_i，t，将其与上一时刻相应行驶状态信息按预设权重累加的方式进行融合，计算方式如下：

S_i，t＝λS_i，t+(1-λ)S_i，t-1

在一个可选的实施例中，基于目标标识信息，对第一图像与目标图像进行第一特征计算以得到目标时序序列片段包括：

步骤S20822，基于预设系数，判断第一图像中是否包含目标对象；

步骤S20824，在判断结果为第一图像中包含目标对象的情况下，基于目标标识信息，对第一图像与目标图像进行第一特征计算以得到目标时序序列片段。

在本实施例中，基于预设系数对第一图像是否包含目标对象进行判断是为了判断目标图像中的目标对象是否与第一图像中的目标对象是否一致，从而减少其它目标对象的干扰，提高检测精度。

其中，预设系数可以是相邻时刻车辆目标图像坐标重合系数(IOU)以及相应时刻车辆目标细粒度特征图谱的相关系数(COR)，判断过程可以是根据预设的系数对目标图像以及第一图像中的目标对象的时序重合度以及相似性进行阈值过滤，当时序重合度以及相似性均大于预设值的情况下，则判断为相同的目标，即第一图像包含目标对象。

需要说明的是，相邻时刻车辆目标图像坐标重合系数(IOU)以及相应时刻车辆目标细粒度特征图谱的相关系数(COR)的计算方法分别如下所示：

COR＝fm_i*fm_j

在一个可选的实施例中，该方法还包括：

步骤S2086，在确定目标图像中包含的目标对象的数量为至少两个的情况下，根据目标标识信息以及目标平面信息，确定距离计算参数；

步骤S2088，根据距离计算参数，执行距离计算以确定至少两个目标对象彼此之间的距离。

在本实施例中，对目标对象进行距离计算是为了在判断至少两个的目标对象彼此之间的距离之后能够对目标对象进行跟踪。

例如，在对车辆进行检测时，可以根据标标识信息中包含的车辆目标类型、关键点以及目标平面信息中包含的车辆目标尾部几何输出信息，构造二维抽象距离计算必要输入参数，并将车道线结构化数据作为可选输入参数，随后将上述参数经相机参数、车辆类型等先验信息归一化后，利用卷积神经网络实现车辆距离估计计算，以得到至少两个车辆彼此之间的目标距离d以及该距离测量的不确定性b。

需要说明的是，该计算过程所用的损失函数如下：

其中，q1为每个训练批次相应任务训练样本数。

在一个可选的实施例中，在确定目标对象的运动状态之后，该方法还包括：

步骤S2010，根据距离计算参数以及目标对象的运动状态，对目标对象进行跟踪及轨迹预测。

在本实施例中，对目标对象进行轨迹跟踪和轨迹预测是为了方便对目标对象进行后续的数据处理，如监控等。

其中，对目标对象的跟踪和轨迹预测可以通过扩展(EKF)或者无轨(UKF)卡尔曼滤波运动学轨迹进行跟踪预测。

例如，在对车辆进行检测时，根据目标对象的运动状态分析结果，得到目标对象处于自动选择匀速、匀角速或匀加速等状态，随后通过对应的运动学模型，利用扩展(EKF)或者无轨(UKF)卡尔曼滤波对车辆目标运动学轨迹进行跟踪预测，输出车辆目标相对位置与相对速度信息。

需要说明的是，该过程需要引用的预测过程噪声由所选择的运动学模型根据更新频率所得。

在一个可选的实施例中，在确定目标对象的运动状态之后，该方法还包括：

步骤S2012，根据距离计算参数以及目标对象的运动状态，生成目标结构数据；

步骤S2014，将目标结构数据发送至目标终端。

在本实施例中，将分析操作的分析结果、目标标识信息、目标平面信息以及目标属性信息构造为目标结构数据，是为了方便对相关信息数据进行传输，从而提高数据传输效率。

其中，目标结构数据可以(但不限于)是以目标对象为目标的目标结构化数据，而将目标结构数据发送至目标终端的方式可以(但不限于)是通过以太网、USB或CAN等常用数据传输接口进行传输，也可以是通过其它网络进行传输，例如3G/4G/5G网络等；目标终端可以是移动终端，如手机等，也可以是固定终端，如个人电脑等。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的一种目标检测跟踪装置的结构框图，如图3所示，该装置包括：

目标图像采集模块32，用于获取对目标区域进行拍摄所得到的目标图像；

第一图像解析模块34，用于解析目标图像，以确定目标图像中包含的目标标识信息，其中，目标标识信息包括用于指示目标图像中包含的目标对象的第一标识信息以及目标对象所包含的关键点的第二标识信息；

第二图像解析模块36，用于解析目标图像，确定目标对象的目标平面的目标平面信息，其中，目标平面为目标图像中包括的目标对象被拍摄到的平面；

运动分析模块38，用于根据目标标识信息以及目标平面信息，对目标对象的运动进行分析。

在一个可选的实施例中，第一解析模块34包括：

区域运算单元342，用于对目标图像进行区域运算操作，以得到目标图像的目标检测区域，其中，目标检测区域用于标识目标对象在目标图像中所处的第一区域以及目标对象所包含的关键点在目标图像中所处的第二区域；

第一分类标识单元344，用于对目标检测区域所标识的第一区域及第二区域进行第一分类识别运算，以确定目标图像中包含的目标标识信息。

在一个可选的实施例中，区域运算单元342包括：

第一尺度描述子单元3422，用于对目标图像进行第一尺度描述运算，以得到第一特征图集，其中，第一特征图集包含不同尺度的特征图像；

回归运算子单元3424，用于根据目标先验尺度以及预设的特征值，对目标图像中满足第二预设条件的检测区域进行潜在对象分类以及位置回归计算，以得到初始检测区域，其中，初始检测区域包含目标对象在目标图像中所处的第一区域以及目标对象所包含的关键点在目标图像中所处的第二区域；

过滤子单元3426，用于基于初始检测区域，对初始检测区域进行过滤操作，以得到目标检测区域。

在一个可选的实施例中，第一分类标识单元344包括：

第二特征计算子单元3442，用于基于目标检测区域，对目标检测区域进行第二特征计算，以得到目标区域特征图集，目标区域特征图集用于指示目标检测区域的目标特征的目标值；

第三特征识别子单元3444，用于基于目标区域特征图集，对目标区域特征图集进行第三特征识别，以得到初始标识信息，其中，初始标识信息包含目标区域中包含的目标对象的标识信息；

第三分类回归子单元3446，用于对初始标识信息进行第三分类回归运算，以得到目标标识信息。

在一个可选的实施例中，第二图像模块36包括：

第一特征计算单元362，用于基于目标标识信息，对第一特征图集进行第一特征计算，以得到目标对象的初始平面信息，其中第一特征图集为对目标图像进行第一尺度描述运算后所得到的；

第一分类回归子单元64，用于对初始平面信息进行第一分类回归运算，以得到目标平面信息。

在一个可选的实施例中，第二图像模块36还包括：

平面计算单元366，用于根据目标平面信息，对第一特征图集中包括的满足第一预设条件的目标对象的特征信息依次进行第二特征计算和特征识别，以得到初始属性信息，其中第一特征图集为对目标图像进行第一尺度描述运算后所得到的；

第二分类回归单元368，用于对初始属性信息进行第二分类回归运算，以得到目标属性信息，其中，目标属性信息包括目标对象所包含的关键点的状态信息。

在一个可选的实施例中，运动分析模块38包括：

运动分析单元382，用于根据目标标识信息以及目标平面信息，以及第二目标标识信息以及第二目标平面信息对目标对象的运动进行分析，以确定目标对象的运动状态，其中，第二目标标识信息以及第二目标平面信息位对第一图像进行分析后所得到的，第一图像与目标图像为相邻的两帧图像。

在一个可选的实施例中，运动分析单元382包括：

时序计算子单元3822，用于基于目标标识信息，对第一图像与目标图像进行第一特征计算以得到目标时序序列片段；

状态计算子单元3824，对目标时序序列片段进行目标记忆计算，以确定目标对象的运动状态。

在一个可选的实施例中，时序计算子单元3822包括：

判断子单元38222，基于预设系数，判断第一图像中是否包含目标对象；

特征计算子单元38224，在判断结果为第一图像中包含目标对象的情况下，基于目标标识信息，对第一图像与目标图像进行第一特征计算以得到目标时序序列片段。

在一个可选的实施例中，该装置还包括：

距离参数计算模块386，用于在确定目标图像中包含的目标对象的数量为至少两个的情况下，根据目标标识信息以及目标平面信息，确定距离计算参数；

距离计算模块388，用于根据距离计算参数，执行距离计算以确定至少两个目标对象彼此之间的距离。

在一个可选的实施例中，该装置还包括：

轨迹跟踪模块310，用于根据距离计算参数以及目标对象的运动状态，对目标对象进行跟踪及轨迹预测。

在一个可选的实施例中，该装置还包括：

数据生成模块312，用于根据距离计算参数以及目标对象的运动状态，生成目标结构数据；

数据发送模块314，用于将目标结构数据发送至目标终端。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

下面结合具体的实施例中对本发明进行说明。

如图4所示，本发明包括以下步骤：

步骤S401，图像采集与预处理；

其中，图像采集主要包括，分辨率以及采集频率设置，该设置可以通过修改相机sensor出厂化配置参数实现。图像预处理主要包括曝光参数、增益参数以及白平衡参数自适应调节，图像3D降噪以及数字宽动态参数调节，上述调节均可通过调节相机固化ISP模块算法参数实现。预处理后图像经裁剪、缩放以及归一化等操作后，送入后续级联神经网络分析模块。

步骤S402，车辆及关键点检测；

该步骤主要基于预处理后三通道图像输入，采用多任务二阶卷积神经网络进行车辆及关键点检测。其中一阶段网络用于生成粗粒度车辆目标区域建议，二阶段网络用于细粒度车辆重验证、精定位以及关键点回归。其中，神经网络均基于人工标注生成训练样本标签，经离线训练、量化压缩后，部署于嵌入式终端。

如图4及图5所示，步骤S402包括如下步骤：

步骤S4021，车辆目标区域建议。

该步骤利用卷积、池化、激活、上采样以及通道级联等神经网络运算操作对预处理后三通道图像输入进行多尺度场景特征描述，生成多尺度(默认为5个尺度：1/4，1/8，1/16，1/32以及1/64)卷积特征图谱。

基于先验车辆目标尺度以及高宽比对车辆检测感兴趣区域进行潜在车辆目标分类与位置回归；

网络输出经置信度阈值过滤，非极大值抑制等后处理操作后，输出车辆建议目标区域(x-中心横坐标，y-中心纵坐标，w-宽度，h-高度)。

训练过程图像标签(参考类别与图像坐标系位置)由人工标注所得，所采用损失函数L1如下，主要包含车辆粗分类损失以及车辆区域建议回归损失：

其中，α1，α2为车辆粗分类损失(角标cls)以及车辆区域建议回归损失(角标bbox)所对应的权重系数；n1，n2为每个训练批次相应任务训练样本数。

步骤S4022，车辆目标重验证、精定位以及关键点回归；

如图5中车辆重验证与精定位分支所示，基于步骤S4021中浅层图像特征以及车辆目标区域建议结果进行车辆目标感兴趣区域特征池化，对于池化后浅层车辆特征图谱，级联细粒度车辆卷积特征描述后送入车辆分类、位置回归以及关键点回归分支，输出车辆类别(0-背景，1-轿车，2-SUV，3-面包车，4-公交车，5-卡车，6-特种车辆，7-其他车辆)以及车辆位置以及车身关键点图像坐标位置(1-左轮胎底部，2-右轮胎底部，3-左尾灯，4-右尾灯)。

训练过程所采用损失函数L2如下，主要包含车辆精分类损失、精定位损失以及关键点定位损失：

其中，β1，β2，β3为车辆精分类损失(角标cls)、精定位损失(角标bbox)以及关键点定位损失(角标kpts)所对应的权重系数，m1，m2，m3为每个训练批次相应任务训练样本数。

步骤S403，车辆目标几何分析；

如图5中车辆几何分析分支所示，基于步骤S402中原始图像或浅层图像特征输入，根据步骤S4022中车辆目标精定位输出进行图像截取或特征池化，之后级联车辆几何特征描述后送入车辆朝向以及宽高回归分支，输出图像坐标系下车辆主平面(横穿车辆为车辆侧面、同向车辆为车辆尾部、相向车辆为车辆头部)中心位置(x，y)、宽度(w)与高度(h)以及车辆朝向角度(0-360°)。训练过程所采用损失函数L3如下，包括主平面分类与回归损失以及车辆朝向分类与回归损失：

其中，γ1，γ2为主平面分类与回归损失以及车辆朝向分类与回归损失所对应的权重系数，k1，k2为每个训练批次相应任务训练样本数。

步骤S404，车辆目标属性分析；

如图5中车辆状态分析分支所示，基于2中原始图像或浅层图像特征输入，根据步骤S403中车辆目标朝向以及主平面宽高输出，对同向车辆尾部区域进行图像截取或特征池化，级联目标属性特征描述后送入车辆属性分析分支，输出车辆尾灯状态(0-异常，1-关闭，2-开启)、转向状态(0-异常，1-关闭，2-开启)以及制动状态(0-异常，1-关闭，2-开启)。训练过程所采用损失函数L4如下，主要包含各状态分类损失函数：

其中，p1为每个训练批次相应任务训练样本数，p2为车辆分析状态数(默认为3)。

步骤S405，车辆目标距离计算；

如图6所示，基于步骤S402中车辆目标类型、关键点以及步骤S403中车辆目标尾部几何输出信息，构造二维抽象距离计算必要输入，车道线结构化数据作为可选输入，该输入经相机参数、车辆类型等先验信息归一化后，利用卷积神经网络实现车辆距离估计，输出车辆目标距离d以及该距离测量的不确定性b。其中，离线训练所用损失函数L5如下，主要包括：

其中，q1为每个训练批次相应任务训练样本数。

步骤S406，车辆目标运动分析；

如图4及图7所示，基于上述单帧图像特征提取以及车辆目标分析结果，利用卡尔曼滤波以及长短期记忆对车辆目标时序运动进行分析，其中，该步骤主要包括车辆目标匹配、运动学轨迹跟踪以及行驶意图分析三部分。

步骤S4061，车辆目标匹配；

基于相邻时刻车辆目标图像坐标重合系数(IOU)以及相应时刻车辆目标细粒度特征图谱的相关系数(COR)阈值过滤，匹配时序车辆目标。

若目标时序重合度以及相似性均大于预设阈值，则匹配为同一目标；每匹配成功一次则新行人目标生命周期增加1，原目标ID传递给与之匹配的新目标，并从队列中清除原目标。IOU以及COR计算方法如下：

COR＝fm_i*fm_j

步骤S4062，车辆行驶意图分析；

主要包括基于步骤S4022中的细粒度车辆特征描述，利用长短期记忆神经网络(LSTM)进行车辆行驶意图分析，神经网络拓扑如图7所示。

例如，先输入时序序列片段，长度为2秒(时序递归单元数为25，默认频率12.5Hz)，随后在池化后细粒度车辆特征描述基础上进行1x1卷积以适应步骤S4022中应用的图像描述特征区别；之后送入长短期记忆模块，以输出时序片段对应的车辆行驶状态(0-静止，1-匀速行驶，2-变道，3-加减速，4-转弯)。

其中，训练过程所采用损失函数L6如下：

其中，γ1，γ2为主平面分类与回归损失以及车辆朝向分类与回归损失所对应的权重系数，k1，k2为每个训练批次相应任务训练样本数。

基于上述分析结果，对于任意时刻t车辆行驶状态置信度输出S_i，t，将其与上一时刻相应行驶状态信息按预设权重累加的方式进行融合，计算方式如下：

S_i，t＝λS_i，t+(1-λ)S_i，t-1

步骤S4063，车辆目标跟踪；

根据步骤S4062中车辆行驶状态分析结果，自动选择匀速、匀角速或匀加速运动学模型，利用扩展(EKF)或者无轨(UKF)卡尔曼滤波对车辆目标运动学轨迹进行跟踪预测，输出车辆目标相对位置与相对速度信息。预测过程噪声由所选择的运动学模型根据更新频率所得，测量值以及测量过程噪声由步骤S405中的神经网络的输出进行更新。

步骤S407，车辆目标结构化数据后处理；

综合步骤S402至步骤S406中神经网络车辆目标分析输出结果，构造车辆类目标结构化数据，主要包括车辆编号、状态信息、几何信息以及运动信息。按预定义协议，将上述结构化数据通过以太网、USB或CAN等常用车载数据传输接口发送至应用层。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种目标检测跟踪方法，其特征在于，包括：

获取对目标区域进行拍摄所得到的目标图像；

解析所述目标图像，以确定所述目标图像中包含的目标标识信息，其中，所述目标标识信息包括用于指示所述目标图像中包含的目标对象的第一标识信息以及所述目标对象所包含的关键点的第二标识信息；

解析所述目标图像，确定所述目标对象的目标平面的目标平面信息，其中，所述目标平面为所述目标图像中包括的所述目标对象被拍摄到的平面；

根据所述目标标识信息以及所述目标平面信息，对所述目标对象的运动进行分析。

2.根据权利要求1所述的方法，其特征在于，所述解析所述目标图像，以确定所述目标图像中包含的目标标识信息包括：

对所述目标图像进行区域运算操作，以得到所述目标图像的目标检测区域，其中，所述目标检测区域用于标识所述目标对象在所述目标图像中所处的第一区域以及所述目标对象所包含的关键点在所述目标图像中所处的第二区域；

对所述目标检测区域所标识的所述第一区域及所述第二区域进行第一分类识别运算，以确定所述目标图像中包含的所述目标标识信息。

3.根据权利要求1所述的方法，其特征在于，所述解析所述目标图像，确定所述目标对象的目标平面的目标平面信息包括：

基于所述目标标识信息，对第一特征图集进行第一特征计算，以得到所述目标对象的初始平面信息，其中所述第一特征图集为对所述目标图像进行第一尺度描述运算后所得到的；

对所述初始平面信息进行第一分类回归运算，以得到所述目标平面信息。

4.权利要求1所述的方法，其特征在于，所述解析所述目标图像，确定所述目标对象的目标平面的目标平面信息还包括：

根据所述目标平面信息，对第一特征图集中包括的满足第一预设条件的所述目标对象的特征信息依次进行第二特征计算和特征识别，以得到初始属性信息，其中所述第一特征图集为对所述目标图像进行第一尺度描述运算后所得到的；

对所述初始属性信息进行第二分类回归运算，以得到目标属性信息，其中，所述目标属性信息包括所述目标对象所包含的关键点的状态信息。

5.权利要求1所述的方法，其特征在于，所述根据所述目标标识信息以及所述目标平面信息，对所述目标对象的运动进行分析包括：

根据所述目标标识信息以及所述目标平面信息，以及第二目标标识信息以及第二目标平面信息对所述目标对象的运动进行分析，以确定所述目标对象的运动状态，其中，所述第二目标标识信息以及第二目标平面信息位对第一图像进行分析后所得到的，所述第一图像与所述目标图像为相邻的两帧图像。

6.权利要求5所述的方法，其特征在于，根据所述目标标识信息以及所述目标平面信息，以及第二目标标识信息以及第二目标平面信息对所述目标对象的运动进行分析，以确定所述目标对象的运动状态包括：

基于所述目标标识信息，对所述第一图像与所述目标图像进行第一特征计算以得到目标时序序列片段；

对所述目标时序序列片段进行目标记忆计算，以确定所述目标对象的运动状态。

7.权利要求6所述的方法，其特征在于，所述基于所述目标标识信息，对所述第一图像与所述目标图像进行第一特征计算以得到目标时序序列片段包括：

基于预设系数，判断所述第一图像中是否包含所述目标对象；

在判断结果为所述第一图像中包含所述目标对象的情况下，基于所述目标标识信息，对所述第一图像与所述目标图像进行第一特征计算以得到目标时序序列片段。

8.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在确定所述目标图像中包含的目标对象的数量为至少两个的情况下，根据所述目标标识信息以及所述目标平面信息，确定距离计算参数；

根据所述距离计算参数，执行距离计算以确定至少两个所述目标对象彼此之间的距离。

9.权利要求8所述的方法，其特征在于，在所述确定所述目标对象的运动状态之后，所述方法还包括：

根据所述距离计算参数以及所述目标对象的运动状态，对所述目标对象进行跟踪及轨迹预测。

10.一种目标检测跟踪装置，其特征在于，包括：

目标图像采集模块，用于获取对目标区域进行拍摄所得到的目标图像；

第一图像解析模块，用于解析所述目标图像，以确定所述目标图像中包含的目标标识信息，其中，所述目标标识信息包括用于指示所述目标图像中包含的目标对象的第一标识信息以及所述目标对象所包含的关键点的第二标识信息；

第二图像解析模块，用于解析所述目标图像，确定所述目标对象的目标平面的目标平面信息，其中，所述目标平面为所述目标图像中包括的所述目标对象被拍摄到的平面；

运动分析模块，用于根据所述目标标识信息以及所述目标平面信息，对所述目标对象的运动进行分析。

11.一种存储介质，其特征在于，所述介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至9任一项中所述的方法。

12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至9任一项中所述的方法。

Images