CN110956642A

CN110956642A - 多目标跟踪识别方法、终端及可读存储介质

Info

Publication number: CN110956642A
Application number: CN201911225045.8A
Authority: CN
Inventors: 刘志愿; 陈小明
Original assignee: Shenzhen Voxelsense Technology Co ltd
Current assignee: Shenzhen Voxelsense Technology Co ltd
Priority date: 2019-12-03
Filing date: 2019-12-03
Publication date: 2020-04-03

Abstract

本申请公开了一种多目标跟踪识别方法、终端和计算机可读存储介质，首先确定各目标的设备属性；然后基于所述设备属性，确定各所述目标需要的空间位置信息；最后基于各所述目标需要的空间位置信息，实现多目标的跟踪识别，从而在跟踪定位过程中有效区分出多个目标，并且获得多个目标的空间位置信息，从而有效提升了交互过程中定位的精确度和稳定性。

Description

多目标跟踪识别方法、终端及可读存储介质

技术领域

本申请涉及虚拟现实技术领域，尤其涉及一种多目标跟踪识别方法、终端及可读存储介质。

背景技术

随着计算机仿真技术的发展，虚拟现实技术(VR，Virtual Reality)的沉浸效果也在逐步提升。虚拟现实技术主要依赖于三维实时图形显示、三维定位跟踪、触觉及嗅觉传感技术、人工智能技术、高速计算与并行计算技术以及人的行为学研究等多项关键技术的发展。随着虚拟现实技术的发展，真正地实现虚拟现实，将引起整个人类生活与发展的很大变革。

然而，目前高精度的动作跟踪，特别是精度在1mm左右的跟踪，在有遮挡或者硬件条件限制等情况下，实现准确跟踪尤为困难，因此容易导致定位失败。由此可见，目前的跟踪识别系统精确度较低，稳定性不高。

发明内容

本申请的主要目的在于提供一种多目标跟踪识别方法、终端及计算机存储介质，旨在解决现有技术中，虚拟现实场景不同类型的交互目标运动速度不同，导致跟踪识别结果精确度较低，稳定性不高的技术问题。

为实现上述目的，本申请实施例提供一种多目标跟踪识别方法，所述多目标跟踪识别方法包括以下步骤：

确定各目标的设备属性；

基于所述设备属性，确定各所述目标需要的空间位置信息；

基于各所述目标需要的空间位置信息，实现多目标的跟踪识别。

可选地，所述设备属性包括第一类设备和第二类设备，所述确定各目标的设备属性的步骤包括：

若预设时间内，目标标记点之间的距离符合预设长度，则将所述目标作为第一目标，其中，所述第一目标的标记点为发光标记点，且各发光标记点波长不同；

若预设时间内，目标标记点形成的形状符合预设范围特征，则将所述目标作为第二目标；

若预设时间内，目标标记点形成的形状符合预设固定特征，则将所述目标作为第三目标；

将所述第一目标和所述第二目标作为第一类设备，将所述第三目标作为第二类设备。

可选地，所述基于所述设备属性，确定各所述目标需要的空间位置信息的步骤包括：

若所述目标的设备属性为第一类设备，则获取所述目标的标记点坐标和运动传感器数据，所述运动传感器设置于所述目标内，所述运动传感器包括加速度传感器和角速度传感器；

融合所述标记点坐标和所述运动传感器数据，得到所述第一类设备的空间位置信息。

可选地，所述基于所述设备属性，确定各所述目标需要的空间位置信息的步骤还包括：

若所述目标的设备属性为第二类设备，则获取所述目标的标记点坐标；

基于所述目标的标记点坐标，得到所述第二类设备的空间位置信息。

可选地，所述目标的标记点坐标为所述目标的X轴方向、Y轴方向和Z轴方向的位移信息和X轴方向、Y轴方向和Z轴方向的旋转角度信息综合所得的坐标，所述若所述设备属性为第一类设备，则获取所述目标的标记点坐标的步骤包括：

接收包括各所述目标标记点的图像；

标定所述图像的拍摄设备，获得所述拍摄设备的内部参数和外部参数，其中，所述内部参数包括所述拍摄设备的焦距、光心坐标以及所述拍摄设备成像时的畸变参数，所述外部参数包括计算各所述拍摄设备之间刚体变换关系；

基于所述内部参数和所述外部参数，对各所述拍摄设备进行立体匹配，得到各所述拍摄设备中任意两个拍摄设备之间的视差数据；

基于所述视差数据和相似三角形原理，确定各所述目标标记点在所述图像中的坐标。

可选地，所述融合所述标记点坐标和所述运动传感器数据，得到所述第一类设备的空间位置信息的步骤包括：

基于各所述运动传感器数据，获取所述加速度传感器所得的各所述目标的X轴方向、Y轴方向和Z轴方向的位移信息和所述角速度传感器所得的X轴方向、Y轴方向和Z轴方向的旋转角度信息；

基于预设精度调节标准，分别对所述标记点坐标和所述运动传感器数据进行调节，得到调节后标记点坐标和调节后运动传感器数据；

基于所述调节后标记点坐标，对所述调节后运动传感器数据进行校准，得到校准后的X轴方向、Y轴方向、Z轴方向的位移信息和X轴方向、Y轴方向、Z轴方向的旋转角度信息；

将所述校准后的X轴方向、Y轴方向、Z轴方向的位移信息和X轴方向、Y轴方向、Z轴方向的旋转角度信息作为各所述目标的空间位置信息。

可选地，所述若所述设备属性为第二类设备，则获取目标的标记点坐标的步骤包括：

利用轮廓提取算法提取包括所有目标标记点的光斑区域；

计算所述光斑区域的轮廓中心，以所述轮廓中心作为所述目标的标记点坐标。

可选地，所述基于所述目标的标记点坐标，得到所述第二类设备的空间位置信息的步骤包括：

基于所述目标的标记点坐标，利用相似三角形原理计算获得所述目标的标定坐标；

将所述目标的标定坐标进行滤波处理，得到各所述目标的空间位置信息。

本申请还提供一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多目标跟踪识别程序，所述多目标跟踪识别程序被所述处理器执行时实现如上所述的多目标跟踪识别方法的步骤。

本申请还提供一种计算机存储介质，所述计算机存储介质上存储有多目标跟踪识别程序，所述多目标跟踪识别程序被处理器执行时实现如上所述的多目标跟踪识别方法的步骤。

本申请在多目标跟踪识别的过程中，首先确定各目标的设备属性；然后基于所述设备属性，确定各所述目标需要的空间位置信息；最后基于各所述目标需要的空间位置信息，实现多目标的跟踪识别，从而在跟踪定位过程中有效区分出多个目标，并且获得多个目标需要的空间位置信息，从而有效提升了交互过程中定位的精确度和稳定性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一个可选的终端的硬件结构示意图；

图2为本申请多目标跟踪识别方法一实施例的流程示意图；

图3为图2中步骤S20的一细化流程示意图；

图4为图2中步骤S20的另一细化流程示意图；

图5为图3中步骤S21的一细化流程示意图；

图6为图3中步骤S22的一细化流程示意图；

图7为图4中步骤S23的一细化流程示意图；

图8为图4中步骤S24的一细化流程示意图；

图9为步骤S21中确定各目标标记点在图像中的坐标实现的示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

如图1所示，图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。

本申请实施例终端可以是固定终端，如物联网智能设备，包括智能空调、智能电灯、智能电源、智能路由器等智能家居；也可以是移动终端，包括智能手机、可穿戴的联网AR/VR装置、智能音箱、自动驾驶汽车等诸多联网设备。

如图1所示，该多目标跟踪识别系统的架构设计包括节点和服务器，其设备结构可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，该多目标跟踪识别系统还可以包括用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。用户接口可以包括显示屏(Display)、触摸屏、摄像头(包括AR/VR设备)等，可选用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口、蓝牙接口、探针接口、3G/4G/5G联网通信接口等)。

本领域技术人员可以理解，图1中示出的多目标跟踪识别系统结构并不构成对多目标跟踪识别系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及多目标跟踪识别程序。操作系统是管理和控制多目标跟踪识别系统硬件和软件资源的程序，支持多目标跟踪识别程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与多目标跟踪识别系统中其它硬件和软件之间通信。

在图1所示的多目标跟踪识别系统中，处理器1001用于执行存储器1005中存储的多目标跟踪识别程序，实现以下步骤：

进一步地，处理器1001可以调用存储器1005中存储的多目标跟踪识别程序，还执行以下操作：

确定各目标的设备属性；

基于所述设备属性，确定各所述目标需要的空间位置信息；

接收包括各所述目标标记点的图像；

利用轮廓提取算法提取包括所有目标标记点的光斑区域；

基于上述硬件结构，提出本申请多目标跟踪识别方法的各个实施例。

参照图2，本申请多目标跟踪识别方法一实施例提供一种多目标跟踪识别方法，所述方法包括:

步骤S10，确定各目标的设备属性；

步骤S20，基于设备属性，确定各目标需要的空间位置信息；

步骤S30，基于各目标需要的空间位置信息，实现多目标的跟踪识别。

设备属性指的是虚拟现实系统中用于区分各个待跟踪识别目标的特征量；因为在虚拟现实交互过程中不同运动速度的目标，确定空间位置信息所需要的信息是不同的，因此需要先确定目标的设备属性，再基于目标的设备属性确定各目标需要的空间位置信息。得到各目标需要的空间位置信息之后，就可以在多目标跟踪定位过程中有效区分出各个目标，并且结合多个目标需要的空间位置信息对目标进行定位、追踪，从而有效提升了交互过程中定位的精确度和稳定性。

在本实施例中，首先确定各目标的设备属性；然后基于所述设备属性，确定各所述目标需要的空间位置信息；最后基于各所述目标需要的空间位置信息，实现多目标的跟踪识别，从而在跟踪定位过程中有效区分出多个目标，并且获得多个目标的空间位置信息，从而有效提升了交互过程中定位的精确度和稳定性。

进一步地，在本申请多目标跟踪识别方法另一实施例中，步骤S10包括：

步骤S11，若预设时间内，目标标记点之间的距离符合预设长度，则将目标作为第一目标，其中，第一目标的标记点为发光标记点，且各发光标记点波长不同；

步骤S12，若预设时间内，目标标记点形成的形状符合预设范围特征，则将目标作为第二目标；

步骤S13，若预设时间内，目标标记点形成的形状符合预设固定特征，则将目标作为第三目标；

步骤S14，将第一目标和第二目标作为第一类设备，将第三目标作为第二类设备。

在本实施例中，由于不同作用的交互设备，运动速度差异很大，所以需要对各设备进行区分，以实现有针对性地跟踪。

如果在预设时间内，目标标记点之间的距离符合预设长度，则将目标作为第一目标，并且，第一目标的标记点为发光标记点，且各发光标记点波长不同。例如交互手柄，每个交互手柄是主动发光的，并且每个交互手柄的发光波长不同，以便区分不同的交互手柄。

如果预设时间内，目标标记点形成的形状符合预设范围特征，则将目标作为第二目标。例如交互手套，由于交互手套在用户的使用过程中，形状会发生变化，因此判断如果预设时间内，目标标记点形成的形状符合预设范围特征，则这个识别目标便是交互手套。

如果在预设时间内，目标标记点形成的形状符合预设固定特征，则将目标作为第三目标。例如3D眼镜，由于3D在用户的使用过程中，虽然位置会发生改变，但是3D眼镜上的特征点形成的形状是固定不变的(3D眼镜上设置有一些标记点，这些标记点可以接收光源并且反光)，因此判断如果预设时间内，目标标记点形成的形状符合预设固定特征，则这个识别目标便是3D眼镜。

进一步地，在本申请多目标跟踪识别方法又一实施例中，参照图3，步骤S20包括：

步骤S21，若设备属性为第一类设备，则获取目标的标记点坐标和运动传感器数据，运动传感器设置于目标内，运动传感器包括加速度传感器和角速度传感器；

步骤S22，融合标记点坐标和运动传感器数据，得到第一类设备的空间位置信息。

在本实施例中，通过在第一类设备内设置运动传感器，并辅以设置于立体显示设备上的拍摄设备，在交互过程中，通过利用拍摄设备采集到的第一类设备上标记点的成像图片中各标记点的坐标，获取目标的标记点坐标，并根据获目标的标记点坐标，对运动传感器的数据进行校准，得到精确度较高的第一类设备的空间位置信息，从而有效提升了交互过程中第一类设备定位的精确度和稳定性。

进一步地，在本申请多目标跟踪识别方法又一实施例中，参照图4，步骤S20还包括：

步骤S23，若设备属性为第二类设备，则获取目标的标记点坐标；

步骤S24，基于目标的标记点坐标，得到第二类设备的空间位置信息。

在本实施例中，通过在立体显示器开始播放立体显示内容时，通过拍摄设备拍摄第二类设备的二维图像，然后根据所述第二类设备上的标记点坐标确定第二类设备的空间位置。

进一步地，在本申请多目标跟踪识别方法又一实施例中，参照图5，步骤S21包括：

步骤S211，接收包括各目标标记点的图像；

步骤S212，标定图像的拍摄设备，获得拍摄设备的内部参数和外部参数，其中，内部参数包括拍摄设备的焦距、光心坐标以及拍摄设备成像时的畸变参数，外部参数包括计算各拍摄设备之间刚体变换关系；

步骤S213，基于内部参数和外部参数，对各拍摄设备进行立体匹配，得到各拍摄设备中任意两个拍摄设备之间的视差数据；

步骤S214，基于视差数据和相似三角形原理，确定各目标标记点在图像中的坐标。

在本实施例中，各目标(第一类设备)的标记点至少为一个，且各目标的标记点不重叠的设置于各目标上；其中，标记点是发光标记点，比如现有的电致发光的半导体材料芯片(如LED芯片)，或者是直接采用荧光材料在交互笔上涂覆的荧光点，具体的本领域的技术人员可以根据需要选择合适的材料作为发光标记点，此处不再一一列举，也不做限制。

值得一提的是，第一类设备可以为有线的，即在使用的时候，需要通过USB接口或其他通讯接口，将第一类设备与立体显示设备连通。也可以是无线的，即设备内置了蓝牙、WI-FI、近场传感设备NFC等无线通信模块，通过上述无线通信模块与立体显示设备中的无线通信模块或者服务器建立通信连接，具体的，本领域的技术人员可以根据需要选择，此处不做限制。

为了方便且能够较为精准的确定各所述标记点在所述图像中的坐标，本实施例中的拍摄设备优选多目红外摄像头模组，即该红外摄像头模组至少包括两个及以上的摄像头单元，具体的个数，本领域的技术人员可以根据需要设置，此处不做限制。

为了便于理解，以下以双目测距为例，即多目红外摄像头模组是由两个摄像单元组成的，结合图9进行具体说明：如图9所示，P是待测物体上的某一点(即第一类设备上的一个发光标记点)，OR与OT分别是两个摄像头的光心，点P在两个摄像头感光器上的成像点分别为P’和P”(摄像头的成像平面经过旋转后放在了镜头前方)，f为相机焦距，B为两相机中心距，Z为我们想求得的深度信息(即点P的坐标)，设点P’到点P”的距离为dis，则：dis＝B-(X_R-X_T)；

根据相似三角形原理：

可得：

由于焦距f和摄像头中心距B可通过标定得到，因此，从上述公式可以看出，只要获得了X_R-X_T(即，视差d)的值即可求得深度信息。从而确定各目标标记点在图像中的坐标。由于多目测距的使用已经较为成熟，关于其具体细节，此处不再赘述。

进一步地，在本申请多目标跟踪识别方法又一实施例中，参照图6，步骤S22包括：

步骤S221，基于各运动传感器数据，获取加速度传感器所得的各目标的X轴方向、Y轴方向和Z轴方向的位移信息和角速度传感器所得的X轴方向、Y轴方向和Z轴方向的旋转角度信息；

步骤S222，基于预设精度调节标准，分别对标记点坐标和运动传感器数据进行调节，得到调节后标记点坐标和调节后运动传感器数据；

步骤S223，基于调节后标记点坐标，对调节后运动传感器数据进行校准，得到校准后的X轴方向、Y轴方向、Z轴方向的位移信息和X轴方向、Y轴方向、Z轴方向的旋转角度信息；

步骤S224，将校准后的X轴方向、Y轴方向、Z轴方向的位移信息和X轴方向、Y轴方向、Z轴方向的旋转角度信息作为各目标的空间位置信息。

具体地，为了保证该精度调节标准的合理性，本实施例中所说的精度调节标准可以是通过对多个相同类型、相同配置的拍摄设备和运动传感器进行多次测试得到的数据进行分析处理，确定的一个可行的精度调节范围，比如要求所述标记点坐标和所述运动传感器数据需要达到毫米级的精确度，各标记点坐标中包括的对应轴的信息的单位、数值格式需要统一等，从而使得根据该精度调节标准，调节后的述标记点坐标和所述运动传感器数据的精度值统一。此外，应当理解的是，为了使所述述标记点坐标和所述运动传感器数据的精度值统一，上述精度调节标准，可以根据需要达到的人机交互效果确定，此处不做限制。

进一步地，在本申请多目标跟踪识别方法又一实施例中，参照图7，步骤S23包括：

步骤S231，利用轮廓提取算法提取包括所有目标标记点的光斑区域；

步骤S232，计算光斑区域的轮廓中心，以轮廓中心作为目标的标记点坐标。

在本实施例中，以3D眼镜为例，3D眼镜的标记点坐标得出过程如下：双目相机或多目相机中，一个相机拍摄得到的照片是二维的，在获取到包括完整的3D眼镜图像在内的二维图像时，首先将该图像转换为灰度图像。灰度图像是每个像素只有一个采样颜色的图像，这类图像通常显示为从最暗黑色到最亮的白色的灰度。灰度图像与黑白图像不同，在计算机图像领域中黑白图像只有黑色与白色两种颜色；但是，灰度图像在黑色与白色之间还有许多级的颜色深度。灰度图像经常是在单个电磁波频谱如可见光内测量每个像素的亮度得到的。

得到包括所有特征点在内的灰度图像后，对该灰度图像进行二值化处理，在二值化图像上利用轮廓提取算法提取特征点的光斑区域，计算光斑区域轮廓的中心作为特征点的图像坐标。然后对特征点的三维坐标进行测量。首先利用相机成像模型计算出每个特征的图像坐标对应的直线，然后通过直线交点计算出特征点的三维立体坐标。计算出特征点的三维立体坐标后，对其进行跟踪。利用现有算法可以跟踪特征点在二维图像上的图像坐标，进而根据二维图像坐标计算对应的三维立体坐标，即得到了3D眼镜的标记点坐标。并且，在得到所有预设特征点的三维立体坐标时，可以基于上述预设特征点还原出完整的3D眼镜的位置和结构，确定出眼镜所在的位置。

特征点是预先设置的分布在3D眼镜上不同位置的特征点，这些特征点的位置是固定的，因此可以在预设特征点确定之后，提炼出上述预设特征点的位置分布信息，例如，每个特征点和其他特征点之间的关系，以及每个特征点到其他特征点之间的距离。

轮廓提取算法，该算法的核心就是将图像目标的内部点消除，所谓内部点，我们要根据当前像素点的邻域来进行判断，假设邻域窗口为3*3窗口，如果当前像素P(x,y)的八个邻域像素满足如下条件，则该点即内部点：1，P(x,y)为目标像素，假设目标像素为黑色0，背景像素为白色255，那么P(x,y)＝0；2，P(x,y)的八个邻域像素均为目标像素0。把满足条件的内部点删除，换为背景点255，即可得到图像轮廓。在得到图像的轮廓后利用轮廓提取算法提取所有特征点的光斑区域，并计算光斑区域的轮廓中心，确定为特征点的图像坐标。计算光斑区域轮廓中心时，可以借助于多种现有方式，例如，提取图像轮廓，根据目标物体具体的宽高比，面积等信息筛选轮廓，生成轮廓凸包，获得目标物体中心；或是遍历每个轮廓坐标，求轮廓坐标的均值点。

根据下面的公式，可以在已知特征点二维图像坐标的情况下直接得到对应的三维空间坐标：

其中，(x，y，z)是特征点的3D空间坐标，(u，v)是特征点的图像坐标。在空间坐标或图像坐标中任意一个已知时，可以根据下面的公式得到另外一个坐标。左边的矩阵一般叫K矩阵，F是相机的焦距，cx、cy是相机的光心。右边是对应的一个投影方程，XYZ就是3D点的空间坐标，T是相机的光心，XYZ减T再乘以R就是3D点在图像坐标系下的坐标。

进一步地，在本申请多目标跟踪识别方法又一实施例中，参照图8，步骤S24包括：

步骤S241，基于目标的标记点坐标，利用相似三角形原理计算获得目标的标定坐标；

步骤S242，将所述目标的标定坐标进行滤波处理，得到各所述目标的空间位置信息。

在本实施例中，利用相似三角形原理计算获得目标的标定坐标与步骤S214的实施方法相同，在此不再赘述。

滤波处理的步骤如下：

(1)状态转移

选择位置和旋转的角度组成一个状态向量，x中的变量依次为位移三维坐标，位移速度，位移加速度，旋转角度，旋转角速度，旋转角加速度。

式中，x、y、z分别为位移三维坐标，

分别为三维位移速度、

分别为三维位移加速度、ψ、θ、

分别为三维旋转角度、

分别为三维旋转角速度、

分别为三维旋转角加速度，T为矩阵转置。

利用下式进行状态转移

式中，Xk为当前状态、Xk-1为前一次的状态、Wk-1为噪声，使用前一次的状态可以预测下一次的状态，Δt为前一次测量和本次测量的时间间隔。

(2)测量过程，测量量为位移是三维坐标和三轴旋转角度，就是每次计算得到的平移和旋转。

式中，Xk是当前的状态，Vk是噪声，xk、yk、zk是当前时刻(用k表示)的坐标，其余为旋转角度。

(3)通过以上模型即可运用滤波进行数据过滤得到比较稳定的数据，即得到的数据就是当前的位置x、y、z，以及三个旋转角度，共6个变量。

本申请还提供一种终端，所述终端包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的多目标跟踪识别程序，所述多目标跟踪识别程序被所述处理器执行时实现上述多目标跟踪识别方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多目标跟踪识别程序，所述多目标跟踪识别程序被处理器执行时实现上述的多目标跟踪识别方法的步骤。

在本申请多目标跟踪识别方法、终端及可读存储介质的实施例中，包含了上述多目标跟踪识别方法各实施例的全部技术特征，说明书拓展和解释内容与上述多目标跟踪识别方法各实施例基本相同，在此不做赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims

1.一种多目标跟踪识别方法，其特征在于，所述多目标跟踪识别方法包括：

确定各目标的设备属性；

基于所述设备属性，确定各所述目标需要的空间位置信息；

2.如权利要求1所述的多目标跟踪识别方法，其特征在于，所述设备属性包括第一类设备和第二类设备，所述确定各目标的设备属性的步骤包括：

3.如权利要求2所述的多目标跟踪识别方法，其特征在于，所述基于所述设备属性，确定各所述目标需要的空间位置信息的步骤包括：

4.如权利要求2所述的多目标跟踪识别方法，其特征在于，所述基于所述设备属性，确定各所述目标需要的空间位置信息的步骤还包括：

5.如权利要求3所述的多目标跟踪识别方法，其特征在于，所述目标的标记点坐标为所述目标的X轴方向、Y轴方向和Z轴方向的位移信息和X轴方向、Y轴方向和Z轴方向的旋转角度信息综合所得的坐标，所述若所述设备属性为第一类设备，则获取所述目标的标记点坐标的步骤包括：

接收包括各所述目标标记点的图像；

标定所述图像的拍摄设备，获得所述拍摄设备的内部参数和外部参数，其中，所述内部参数包括所述拍摄设备的焦距、光心坐标以及所述拍摄设备成像时的畸变参数，所述外部参数包括计算多各所述拍摄设备之间刚体变换关系；

6.如权利要求5所述的多目标跟踪识别方法，其特征在于，所述融合所述标记点坐标和所述运动传感器数据，得到所述第一类设备的空间位置信息的步骤包括：

7.如权利要求4所述的多目标跟踪识别方法，其特征在于，所述若所述设备属性为第二类设备，则获取目标的标记点坐标的步骤包括：

利用轮廓提取算法提取包括所有目标标记点的光斑区域；

8.如权利要求7所述的多目标跟踪识别方法，其特征在于，所述基于所述目标的标记点坐标，得到所述第二类设备的空间位置信息的步骤包括：

9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多目标跟踪识别程序，所述多目标跟踪识别程序被所述处理器执行时实现如权利要求1至8中任一项所述的多目标跟踪识别方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有多目标跟踪识别程序，所述多目标跟踪识别程序被处理器执行时实现如权利要求1至8中任一项所述的多目标跟踪识别方法的步骤。