CN110456905A - 定位跟踪方法、装置、系统及电子设备 - Google Patents

Abstract

本申请实施例公开了一种定位跟踪方法、装置、系统及电子设备，涉及显示技术领域。该定位跟踪方法包括：获取包含待跟踪用户的目标图像，所述待跟踪用户为携带所述终端设备及交互装置的用户；根据所述目标图像获取所述待跟踪用户的骨骼信息；利用所述待跟踪用户的骨骼信息获取所述交互装置的第一自由度信息；将所述第一自由度信息发送至所述终端设备。本方法利用外置图像处理装置获取的用户骨骼信息得到交互装置的第一自由度信息以及利用终端设备得到交互装置的第二自由度信息，通过第一自由度信息和第二自由度信息，可以更准确的对交互装置进行定位跟踪。

Description

定位跟踪方法、装置、系统及电子设备

技术领域

本申请涉及显示技术领域，更具体地，涉及一种定位跟踪方法、装置、系统及电子设备。

背景技术

随着科技的发展，机器智能化及信息智能化日益普及，通过机器视觉或者虚拟视觉等视觉装置来识别用户影像以实现人机交互的技术越来越重要。在借助视觉装置进行人机交互的领域中，如混合现实(Mediated Reality，MR)领域、增强现实(AugmentedReality，AR)领域、虚拟现实(Virtual Reality VR)领域、或者其他采用机器视觉的领域，大多需要利用视觉装置来采集用户影像或者控制器影像来作为交互输入信息，以实现人机交互。具体地例如在VR领域中，需要借助视觉装置采集控制器的影像以实现用户与VR环境的人机交互。为了更好地与虚拟环境中的物体进行交互，需要对显示装置(例如头戴显示装置、智能眼镜、智能手机等)或交互装置进行定位跟踪。因此，如何更加准确地进行定位跟踪是亟待解决的问题。

发明内容

本申请实施例提出了一种定位跟踪方法、装置系统及电子设备，能够提高交互装置定位跟踪的准确性。

第一方面，本申请实施例提供了一种定位跟踪方法，应用于定位跟踪系统的外置图像处理装置，定位跟踪系统还包括终端设备和交互装置。该方法包括：获取包含待跟踪用户的目标图像，待跟踪用户为携带终端设备及交互装置的用户；根据目标图像获取待跟踪用户的骨骼信息；利用待跟踪用户的骨骼信息获取交互装置的第一自由度信息；将第一自由度信息发送至终端设备，第一自由度信息用于指示终端设备基于第一自由度信息和/或第二自由度信息对交互装置进行跟踪，其中，第二自由度信息为终端设备根据获取的交互装置的图像得到。

第二方面，本申请实施例提供了一种定位跟踪方法，应用于定位跟踪系统的终端设备，定位跟踪系统还包括交互装置及外置图像处理装置。该方法包括：获取包含交互装置的图像，并根据图像获取交互装置的第二自由度信息；接收外置图像处理装置发送的交互装置的第一自由度信息，第一自由度信息为外置图像处理装置根据基于交互装置和待跟踪用户的目标图像得到的待跟踪用户的骨骼信息获取；基于第一自由度信息和/或第二自由度信息对交互装置进行跟踪。

第三方面，本申请实施例提供了一种定位跟踪装置，应用于定位跟踪系统的外置图像处理装置，定位跟踪系统还包括终端设备。该装置包括：目标图像获取模块、骨骼信息获取模块、第一信息获取模块、第二信息接收模块、信息融合模块和第一跟踪模块。其中，目标图像获取模块用于获取包含待跟踪用户的目标图像，待跟踪用户为携带终端设备及交互装置的用户。骨骼信息获取模块用于根据目标图像获取待跟踪用户的骨骼信息。第一信息获取模块用于利用待跟踪用户的骨骼信息获取交互装置的第一自由度信息。第一信息发送模块用于将第一自由度信息发送至终端设备，第一自由度信息用于指示终端设备基于第一自由度信息和/或第二自由度信息对交互装置进行跟踪，其中，第二自由度信息为终端设备根据获取的交互装置的图像得到。

第四方面，本申请实施例提供了一种定位跟踪装置，应用于定位跟踪系统的终端设备，定位跟踪系统还包括交互装置及外置图像处理装置。该装置包括：第二信息获取模块、第一信息获取模块、第二跟踪模块以及第二信息发送模块。其中，第二信息获取模块用于获取包含交互装置的图像，并根据图像获取交互装置的第二自由度信息。第一信息接收模块用于接收外置图像处理装置发送的交互装置的第一自由度信息，第一自由度信息为外置图像处理装置根据基于交互装置和待跟踪用户的目标图像得到的待跟踪用户的骨骼信息获取。第二跟踪模块用于基于第一自由度信息和/或第二自由度信息对交互装置进行跟踪。

第五方面，本申请提供了一种定位跟踪系统，该系统包括外置图像处理装置、终端设备及交互装置。其中，外置图像处理装置用于获取包含待跟踪用户的目标图像，根据目标图像获取待跟踪用户的骨骼信息，利用待跟踪用户的骨骼信息获取交互装置的第一自由度信息，并将第一自由度信息发送至终端设备；终端设备用于获取包含交互装置的图像，并根据图像获取交互装置的第二自由度信息；终端设备还用于基于第一自由度信息和/或第二自由度信息对交互装置进行跟踪。

第六方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面提供的定位跟踪方法。

第七方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的定位跟踪方法。

本申请实施例提供的方案，外置图像处理装置可以获取包含待跟踪用户的目标图像，待跟踪用户为携带终端设备及交互装置的用户，而利用目标图像则可以获取待跟踪用户的骨骼信息，利用该跟踪用户的骨骼信息可以获取到交互装置的第一自由度信息。终端设备可根据获取的交互装置的图像得到交互装置的第二自由度信息，基于所述第一自由度信息和/或第二自由度信息对交互装置进行定位跟踪，使第一自由度信息和第二自由度信息互补，可以更好的对交互装置进行定位跟踪，进而提高交互装置定位跟踪的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请实施例的应用场景的示意图。

图2示出了本申请一个实施例的定位跟踪方法的方法流程图。

图3示出了本申请一个实施例的定位跟踪方法中人体骨架关键节点示意图。

图4示出了本申请另一个实施例的定位跟踪方法的方法流程图。

图5示出了本申请另一个实施例的定位跟踪方法中其他步骤的流程图。

图6示出了本申请另一个实施例的定位跟踪方法中人体骨骼变化示意图。

图7示出了本申请另一个实施例的定位跟踪方法中步骤S230的流程图。

图8示出了本申请另一个实施例的定位跟踪方法中其他步骤的流程图。

图9示出了本申请另一个实施例的定位跟踪方法中目标图像示例图。

图10示出了本申请又一个实施例的定位跟踪方法的方法流程图。

图11示出了本申请又一个实施例的定位跟踪方法中显示装置上内容显示示意图。

图12示出了本申请又一个实施例的定位跟踪方法中目标图像包含多个人体图像示意图。

图13示出了本申请又一个实施例的定位跟踪方法中目标图像包含多个人体图像示意图。

图14示出了本申请再一个实施例的定位跟踪方法的方法流程图。

图15示出了本申请一个实施例定位跟踪装置的框图。

图16示出了本申请一个实施例定位跟踪装置中第一信息获取模块530的框图。

图17示出了本申请一个实施例定位跟踪装置的框图。

图18示出了本申请一个实施例定位跟踪系统的框图。

图19是本申请实施例的用于执行根据本申请实施例的定位跟踪方法的电子设备的框图。

图20是本申请实施例的用于保存或者携带实现根据本申请实施例的定位跟踪方法的程序代码的存储单元。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在增强现实和虚拟现实的技术中，位置追踪方法有外向内追踪技术(Outside-inTracking)和内向外追踪技术(Inside-out Tracking)，外向内追踪技术有较高的准确度，且其传输资料少，运算延迟低，可以降低因延迟产生的不适感，但是外向内追踪技术也存在一定的限制。例如，追踪远离传感器的测距或者物体被遮挡时，外接设备就无法准确获得准确的位置信息，并且外向内追踪技术中操作者不能随意离开传感器的有效监测区，在一定程度上限制了其自由活动的范围。内向外追踪技术主要通过外置的图像采集装置采集图像，从而实现对终端设备或控制器的定位追踪。例如，可采用激光定位或者红外定位等。与外向内追踪技术不同，内向外追踪技术不需要任何传感器，因此其可以在无硬件搭建、无标记的环境中使用，不受遮挡问题影响，也不受传感器监测范围的限制，故内向外追踪技术更多样的移动性与更高的自由度，也因为不依靠外界设备进行运算，对于终端设备的要求更高。内向外追踪技术是直接在终端设备上设置有图像采集装置，利用终端设备的图像采集装置采集图像，从而对控制器、终端设备等进行定位追踪。例如，微软的HoloLens采用的就是Inside-out的追踪技术。

传统的定位追踪方式多采用一种定位追踪方式进行追踪，用户在使用控制器时容易进入图像采集装置的视觉盲区，图像采集装置无法实时采集到控制器的图像(比如光点图像、或标记物图像等)，造成定位不准确或追踪丢失的问题。例如，采用外向内追踪技术时，用户背对外置的图像采集装置时，图像采集装置则无法采集控制器的图像；采用内向外追踪技术时，用户手拿着控制器，可能会拿到背后、身体两侧等位置，终端设备上的图像采集装置也无法实时采集到图像。

因此，为了克服上述缺陷，本申请在一个实施例中提供了一种定位跟踪方法，可以提高对交互装置进行定位跟踪的准确性。

下面对本申请实施例提供的定位跟踪方法的应用场景进行介绍。

请参阅图1，示出了本申请实施例提供的一种定位跟踪系统100。该显示系统100包括：外置图像处理装置10、终端设备20和交互装置30。

在一些实施方式中，外置图像处理装置10可以包括图像采集装置、处理器、存储器及通信单元等，其中，图像采集装置可以是红外摄像头、彩色摄像头、深度摄像头等，其主要用于对终端设备20以及交互装置30进行定位追踪的使用者的身体姿态进行检测。另外，该图像采集装置可以包括图像传感器，图像传感器可以是CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)传感器，或者CCD(Charge-coupled Device，电荷耦合元件)传感器等。

终端设备20可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备20为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。终端设备20也可以是与外接式头戴显示装置连接的手机等智能终端，即终端设备20可作为头戴显示装置的处理和存储设备，插入或者接入外接式头戴显示装置，在头戴显示装置中对虚拟内容进行显示。

如图1所示的终端设备20上可以设置有内置图像采集装置，该内置图像采集装置可以为红外摄像头、彩色摄像头等，该内置图像采集装置的具体类型在本申请实施例中并不作为限定。与外置图像处理装置10类似内置图像采集装置也可以包括图像传感器，图像传感器可以是CMOS传感器，或者CCD传感器等。

交互装置30上可以设置有标记物31，在使用交互装置30时，当标记物31处于终端设备20的内置图像采集装置的视觉范围内时，终端设备20的内置图像采集装置可以采集标记物31的图像，并对标记物31进行识别，得到交互装置30的位置及姿态信息，对交互装置30进行定位追踪。交互装置30用于供用户手持并操作，标记物31集成于交互设备30中。

作为一种实施方式，终端设备20能够获取交互装置30的六自由度信息，进而获得交互装置30的转动或移动等信息，则通过该转动或移动等信息与显示的虚拟对象进行交互，例如，随着交互装置30的转动，虚拟内容也跟随交互装置30的转动幅度和转动方向而转动。

标记物31可为具有拓扑结构的图案，拓扑结构是指标记物中的子标记物和特征点等之间连通关系。

在一些实施方式中，标记物31还可以为光点式的标记，终端设备20通过对光点追踪以获取相对位置、姿态等空间位置信息。在一个具体的实施方式中，可在交互装置30上设置光点和惯性测量单元(Inertial measurement unit，IMU)，终端设备可以通过图像传感器采集交互装置30上的光点图像，并通过惯性测量单元获取测量数据，根据该光点图像和测量数据即可确定交互装置30与终端设备之间的相对空间位置信息，实现对交互装置30的定位及追踪。其中，交互装置30上设置的光点可以是可见光点或者红外光点，光点的数量可以是一个或者由多个光点组成的光点序列。需要说明的是，具体的标记物31的形状、样式、颜色、特征点数量以及分布在本实施例中并不作为限定，仅需要标记物31能被终端设备20识别追踪即可。

在一个实施例中，惯性测量单元用于获取交互装置30的姿态信息。其中，惯性测量单元用于测量交互装置30的三轴姿态角(或角速率)以及加速度的装置。例如，通常惯性测量单元包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测交互装置30的三轴加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量交互装置30的角速度和加速度，并以此解算出交互装置30的姿态。

在一个实施例中，提供一种定位跟踪方法，可应用于定位跟踪系统的外置图像处理装置，定位跟踪系统还包括终端设备和交互装置，如图2所示该方法可以包括步骤S110至步骤S140。

步骤S110：获取包含待跟踪用户的目标图像，待跟踪用户为携带终端设备及交互装置的用户。

外置图像处理装置可以对其视觉范围内的待跟踪用户进行图像采集，得到目标图像，即目标图像中可以包括待跟踪用户，该待跟踪用户可指的是携带终端设备及交互装置的用户。其中，交互装置可以是由待跟踪用户手持，或者是佩戴于待跟踪用户身体的其他部位，待跟踪用户可以对交互装置进行一定的控制，即可以通过对交互装置进行移动、旋转、触控等动作与终端设备显示的虚拟对象进行交互。其中，待跟踪用户指的是正在使用终端设备以及交互装置的用户，其不仅头部可以佩戴有终端设备，而且手部可以持有交互装置。在一些实施方式中，当外置图像处理装置视觉范围中存在多个用户时，外置图像处理装置可以同时采集到多个人体图像，并从中选取至少有一个既携带有终端设备又携带有交互装置的用户作为待跟踪用户。

需要说明的是，目标图像中只佩戴有终端设备或者只携带有交互装置的用户也可以作为待跟踪用户，因待跟踪用户是不断运动的，故其相对于外置图像处理的位置和角度均是不断变化的，而外置图像处理装置因其拍摄角度的不同无法保证其可以同时拍摄到用户所有部位的图像，即外置图像处理装置采集到的目标图像中可能存在没有交互装置或者没有终端设备的情况。因此，外置图像处理装置采集的目标图像中待跟踪用户携带的装置中，需包括交互装置和终端设备中的至少一个。

步骤S120：根据目标图像获取待跟踪用户的骨骼信息。

外置图像处理装置获取到包含待跟踪用户的目标图像时，可以对该目标图像中的待跟踪用户进行行为识别，即利用图像识别技术获取到待跟踪用户的骨骼信息，该骨骼信息可以包括人体重要骨架关键节点的位置信息，人体骨架关键节点详细如图3所示。在对人体行为进行识别时，可以将人体骨架关键节点分为15个，分别是：头、脖子、右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝和胸部；也可以将人体骨架关键节点分为18个，分别是鼻子、脖子、右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、左眼、右眼、左耳以及右耳；或者可以将人体骨架关键节点分为25个，分别是鼻子、脖子、右肩、右肘、右腕、左肩、左肘、左腕、中臀围、右髋、右膝、右踝、左髋、左膝、左踝、左眼、右眼、左耳、右耳、左大趾、左小趾、左脚跟、右大趾、右小趾以及右脚跟。显然，人体骨架关键节点可以有多个，既可以是15个、18个或者是25个，也可以是其他的，人体骨架关键节点具体是多少个这里不进行明确限制。

在一个实施例中，骨骼信息指的是上述骨架关键节点的位置信息，其格式可以为(xi，yi，scorei)，其中(xi，yi)为人体骨骼关节点的坐标位置，i指的是人体骨骼关节点的编号。例如，当人体骨架关键节点为15个时，可以按照上述给出的骨架关键节点的先后顺序进行编号，如头的编号可以是1，脖子的编号可以是2、左肩的编号可以是6等，即左肩的坐标可以是(261，294)。score指的是骨架关键节点的状态，作为一种具体实施方式，骨架关键节点的状态有三种，分别是可见、不可见以及不在图内或不可预测，即当score＝1时骨架关键节点可见，score＝2时骨架关键节点不可见，score＝3时骨架关键节点不在图内或不可预测。例如，一张图中左肩被遮挡不可见时，则score＝2，故在这个示例中左肩的位置信息为(261，294，2)，其他骨架关键节点的位置信息的格式也是类似的，这里就不再进行一一赘述。

在一些实施方式中，可以利用LSTM(Long Short Term Memory，长短期记忆网络)、RNN(Recurrent Neural Network，递归神经网络)等神经网络对目标图像进行特征提取，进而得到待跟踪用户的骨骼信息。另外，每一时刻骨架对应人体的多个关节点所在的坐标位置信息均不相同，而一个时间序列则由若干帧组成。因此，通过分析这些骨骼信息就可以对待跟踪用户的行为或者动作做出预测。

步骤S130：利用待跟踪用户的骨骼信息获取交互装置的第一自由度信息。

待跟踪用户的骨骼信息可以包括待跟踪用户不同骨架关键节点的位置信息，通过分析这些骨架关键节点的位置信息可以得到待跟踪用户用于携带交互装置的身体部位的位置信息，还可根据骨架关键节点的位置信息推测待跟踪用户的身体姿态，以根据该携带交互装置的身体部位的位置信息及身体姿态等计算交互装置的第一自由度信息。例如，待跟踪用户手持交互装置，可获取手的位置信息，就可以得到交互装置的位置信息，结合待跟踪用户的身体姿态，可以推荐得到交互装置的位置及姿态信息，即利用待跟踪用户的骨骼信息可以获取到交互装置的第一自由度信息，其中，姿态信息可包括交互装置的旋转角度、朝向等信息。

步骤S140：将第一自由度信息发送至终端设备，第一自由度信息用于指示终端设备基于第一自由度信息和/或第二自由度信息对交互装置进行跟踪。

在一些实施方式中，外置图像处理装置可以接收终端设备发送的交互装置的第二自由度信息，通过上述介绍可以知道交互装置上设置有标记物，该第二自由度信息可以是交互装置相对终端设备的相对空间位置信息，或者是标记物相对终端设备的相对空间位置信息，该空间位置信息表示标记物的6DOF(degrEE of frEEdom，自由度)信息，6DOF信息可以包括是三个平移自由度和三个旋转自由度，三个平移自由度用于描述三维对象X，Y，Z坐标值；三个旋转自由度包括俯仰角(Pitch)、横滚角(Roll)及横向角(Yaw)。具体地，终端设备可以根据包含有标记物的图像对标记物进行识别追踪，以得到交互装置的第二自由度信息。

第一自由度信息为外置图像处理装置通过分析待跟踪用户的骨骼信息获取的，而第二自由度信息则是终端设备通过分析内置图像采集装置采集的包含标记物的目标图像获取的，第一自由度信息和第二自由度信息均可以作为交互装置的自由度信息。因此，可以利用该第二自由度信息对第一自由度信息进行优化，即外置图像处理装置可以利用终端设备发送的第二自由度信息对待跟踪用户的骨骼信息进行优化，以使外置图像处理装置获取的第一自由度信息更加准确，同时在一定程度上可以减少骨骼信息获取时所需的计算量。具体的，可以将第一自由度信息和第二自由度信息的平均值作为目标自由度信息，或者可以分配不同的比重对第一自由度信息和第二自由度信息进行加权计算等。

在另一些实施方式中，当外置图像处理装置无法获取包含待跟踪用户的目标图像时，或者外置图像处理装置获取到包含待跟踪用户的目标图像不完整或不准确时，外置图像处理装置可以接收终端设备发送的位置及姿态信息，该位置及姿态信息包括交互装置的第二自由度信息以及终端设备的第三自由度信息中的至少一种，根据目标图像和终端设备发送的位置及姿态信息可以获取到待跟踪用户的骨骼信息。换句话说，外置图像处理装置可以利用其接收的第二自由度信息和第三自由度信息中的至少一种可以反推出待跟踪用户的骨骼信息，如此可以保证外置图像处理装置在无法准确获取目标图像时，仍可以对待跟踪用户的骨骼信息进行获取。

需要说明的是，因交互装置上可以设置有标记物，故外置图像处理装置可以采集包含标记物的图像，并利用该标记物的图像并标记物进行识别，进而可以获取到交互装置的位置及姿态信息，即外置图像处理装置通过采集包含标记物的图像可以实现对交互装置的定位于跟踪。

本申请实施例提供的定位跟踪的方法中外置图像处理装置可以利用终端设备获取到的第二自由度信息对其自身获取到的第一自由度信息进行优化，即本申请可以利用第二自由度信息辅助第一自由度信息的计算与获取，进而可以使外置图像处理装置对交互装置的定位跟踪更加准确。

请参阅图4，本申请另一实施例提供了一种定位跟踪方法，该方法可应用于定位跟踪系统的外置图像处理装置，定位跟踪系统还包括终端设备和交互装置，该方法可以包括步骤S210至步骤S240。

步骤S210：获取包含待跟踪用户的目标图像，待跟踪用户为携带终端设备及交互装置的用户。

步骤S220：根据目标图像获取待跟踪用户的骨骼信息。

在一些实施方式中，外置图像处理装置根据目标图像获取到待跟踪用户的骨骼信息后，还可以通过该骨骼信息对待跟踪用户的行为做出预测进而发出提示，详细如图5所示，对待跟踪用户的行为进行预测的步骤，即S220可以包括步骤S221至步骤S223。

步骤S221：根据待跟踪用户的骨骼信息获取待跟踪用户的动作。

通过上述介绍可以知道，待跟踪用户的骨骼信息可以包括多个人体关键节点的位置信息，外置图像处理装置通过分析不同帧下多个人体关键节点的位置信息变化即可以对待跟踪用户的动作进行识别与预测。在一个实施例中，可以利用Mocap(Motion capture，动作捕捉)获取待跟踪用户的骨骼信息，Mocap是一种让待跟踪用户全身重要关节点穿戴好传感器之后，将传感器获取到的信息汇集到计算机中进行处理后，得到人体的关节点数据的系统，利用Mocap获取到的人体关节点的数据通常是3D(英文全称，中文)数据，即可以获取到每个关节点(x，y，z)坐标；也可以通过深度摄像头和彩色摄像头的配合对人体骨骼关节点进行估计；或者只利用RGB图像对待跟踪用户的姿态进行估计。本实施例中，外置图像处理装置主要是利用LSTM、RNN等神经网络对不同时间段的待跟踪用户的图像进行识别，获取到不同时刻的骨骼信息，通过对比前后不同时间段的骨骼信息来获取到待跟踪用户的动作。

步骤S222：根据待跟踪用户的动作判断待跟踪用户是否处于危险状态。

利用步骤S221获取到待跟踪用户的动作后，外置图像处理装置可以根据该动作来判断用户是否处于危险状态。具体的，可以获取目标时间段待跟踪用户的骨骼信息，并分析该目标时间段的骨骼信息变化，得出下个时间段对应的骨骼信息，根据下个时间段对应的骨骼信息就可以判断出待跟踪用户是否处于危险状态。如图6(a)所示的是目标时间段待跟踪用户的人体骨骼信息变化图，通过分析该时间段中待跟踪用户的骨骼信息就可以预测到下个时间段待跟踪用户的骨骼信息，详细如图6(b)所示。在一个实施例中利用图6(a)预测得到图6(b)的主要原因是图6(a)中不同时间点待跟踪用户的骨架关键节点的位置信息按照一定的趋势在不断发生改变。例如，图6(a)中三个不同时间点待跟踪用户的头和脖子骨骼节点y坐标不断减少，则可以在此基础上预测到待跟踪用户在下一个时间段其头和脖子的骨骼节点y坐标也可能会有继续下降的趋势。同理，其他骨骼信息的分析也同样是这样的，外置图像处理装置通过综合分析这些骨骼信息就可以判断用户是否处于危险状态。其中，处于危险状态指的是待跟踪用户有摔倒、倒地不起的危险或者待跟踪用户有被撞击的危险等，详细这有哪些危险状态这里不进行明确限制，只要用户的动作有大幅度的变化，都可以通过分析骨骼信息获取其动作，进而实现动作的分析与判断。

步骤S223：当待跟踪用户处于危险状态时，发送报警提示信息。

外置图像处理装置通过预测待跟踪用户的动作判断出待跟踪用户处于危险状态时，其可以发送报警信息，该报警信息可以发送至与待跟踪用户亲密度比较高的终端设备，而待跟踪用户的年龄或者行业不同则发送报警提示信息的对象也不相同。例如，与老人亲密度比较高的人可以是老人的子女、与小孩亲密度比较高的可以是小孩的父母、与孕妇亲密度比较高的可以是孕妇的丈夫等。当紧急联系人获取到报警提示信息，其可以即时联系待跟踪用户，尽量避免待跟踪用户出现摔伤而无人发现的情况。在另一些实施方式中，当待跟踪用户处于危险状态时，也可以直接发送报警信息至紧急联系电话，如直接拨打120急救电话，如此待跟踪用户可以得到即时的救治。

为了避免报警提示信息的误发送，在一些实施方式中，在确定用户处于危险状态时可以进一步的对用户的骨骼信息进行分析，预测待跟踪用户在处于危险状态之后的动作。例如，当判断待跟踪用户处于摔倒状态时，可以继续预测待跟踪用户在预设时间段内是否站起来，如果待跟踪用户有站起的动作，则表明摔倒未给待跟踪用户带来伤害或者是伤害比较轻，无需发送报警信息。而如果待跟踪用户摔倒后，在预设时间段内其未发生站起动作或者动作幅度比较小，则表明摔倒对待跟踪用户的伤害比较大，此时外置图像处理装置则可以发送报警提示信息。

步骤S230：利用待跟踪用户的骨骼信息获取交互装置的第一自由度信息。

在一些实施方式中，如图7所示，步骤S230可以包括步骤S231至步骤S233。

步骤S231：根据骨骼信息获取待跟踪用户目标部位的骨骼信息。

待跟踪用户目标部位指的是待跟踪用户重要骨骼信息中与交互装置紧密相关的身体部位，例如，待跟踪用户手持交互装置，则待跟踪用户的目标部位可以为待跟踪用户的手部，即根据骨骼信息获取待跟踪用户目标部位的骨骼信息主要是根据骨骼信息获取待跟踪用户手部的骨骼信息。通过上述介绍可以知道，骨骼信息中可以包含有人体多个骨架关键节点信息，而与手部相关的人体骨架关键节点有肩膀、手肘以及手腕，获取到骨骼信息即可获取到肩膀、手肘以及手腕这些骨架关键节点的骨骼信息。作为一种实施方式，目标部位的骨骼信息可以是在一个时间段内待跟踪用户目标部分的骨骼信息，或者目标部位的骨骼信息可以包括待跟踪用户不同帧下用户目标部位的骨骼信息。

步骤S232：利用目标部位的骨骼信息获取待跟踪用户目标部位的位置信息，目标部位为携带交互装置的身体部位。

外置图像处理装置获取到目标部位的骨骼信息可以对不同帧下目标部位的骨骼信息进行分析得到目标部位的位置变换结果，通过该位置变换结果可以对目标部位下个时间段目标部位的位置信息进行预测，即利用目标部位的骨骼信息获取待跟踪用户目标部位的位置信息。目标部位是携带有交互装置的身体部分，用户通常通过手部对交互装置进行控制，故目标部位可以为手部。

步骤S233：根据目标部位的位置信息获取交互装置的第一自由度信息。

通过上述介绍可以知道，目标部位是携带有交互装置的身体部位，因此获取到目标部位的位置信息即可预测到交互装置的位置及姿态信息。交互装置是待跟踪用户通过目标部位持有的，当待跟踪用户的目标部位位置信息发生改变时，交互装置的位置及姿态信息也可能随之发生改变，故分析不同帧下目标部位的位置信息，即可以预测到交互装置的位置即姿态信息，该位置及姿态信息即可作为交互装置的第一自由度信息。具体的，外置图像处理装置中可以设置有图像处理器或者神经网络加速引擎等设备，外置图像处理装置可以利用这些设备对其采集到的不同时刻的目标图像进行处理与计算，即外置图像处理装置可以通过人工智能或者机器学习算法对待跟踪用户的骨骼信息进行计算，进而可以获取到交互装置的第一自由度信息。

在一些实施方式中，为了使得获取到的第一自由度信息更加准确，本实施例可以对获取到的目标部位的位置信息进行修正，虽然交互装置与目标部位在位置信息上紧密相连，但是这二者之间也存在一定的不同。例如，待跟踪目标用户持有交互装置的姿势不同则交互装置的位置也可能不同。本申请可以利用目标部位与交互装置之间的位置关系对交互装置的位置信息进行修正，即分别获取待跟踪用户不同时刻下目标部位的位置信息和交互装置的位置信息，通过分析这些位置信息获取到目标部位与交互装置之间的位置关系，利用该位置关系即可以对交互装置的位置信息进行修正。

步骤S240：将第一自由度信息发送至终端设备，第一自由度信息用于指示终端设备基于第一自由度信息和/或第二自由度信息对交互装置进行跟踪。

在一些实施方式中，上述定位追踪方法可以包括如图8所示的步骤S250至步骤S260。

步骤S250：检测目标图像中是否有其他物体出现，其他物体指的是除待跟踪用户以外的其他人或物。

外置图像处理装置在对待跟踪用户持有的交互装置进行定位跟踪的同时可以实时对待跟踪用户周围的环境进行监测，进而可以保证待跟踪用户在使用定位跟踪系统时的安全性。换句话说，外置图像处理装置采集到目标图像后，不仅需要对目标图像中待跟踪用户的骨骼信息进行获取与分析，同时需对目标图像中出现的其他物体进行检测与分析。其中，其他物体指的是除待跟踪用户以外的其他人或物，待跟踪用户如果在室外使用定位跟踪系统，则会出现很多不可预料的情况，如待跟踪用户在使用时其面前可能突然出现动物、车辆或者其他人等，这些人或物出现在待跟踪用户所在的空间，均可能为待跟踪用户带来潜在伤害。例如，其他人或物出现可能与待跟踪用户发生碰撞事件。

在一个实施例中，外置图像处理装置可以利用目标检测网络对目标图像中的人或物进行检测，其中，目标检测网络可以为Faster R-CNN、R-FCN或者SSD网络等，具体使用哪种目标检测网络这里不进行明确限制，可以根据情况进行选择。利用目标检测网络对目标图像进行检测时，只要检测到目标图像中出现除待跟踪用户以外的任意一个其他物体，均判定有其他物体出现。如图9所示为外置图像处理装置采集的目标图像示例图，其中，头戴终端设备且手持交互装置的人为待跟踪用户201，手抱篮球的小男孩则是其他物体202，显然在该目标图像中有其他物体202出现，此时，如果其他物体202继续向前走就可能与待跟踪用户201发生身体接触或者身体碰撞等。

步骤S260：当目标图像中有其他物体出现时，发送安全提示信息至终端设备。

外置图像处理装置利用目标检测网络判定目标图像中有其他物体出现时，其可以发送安全提示信息至终端设备，利用终端设备以告知待跟踪用户其所在环境下有其他物体出现，该物体可能会对待跟踪用户造成潜在伤害。本实施例中提示信息可以包括图像提示、语音提示以及震动提示中的至少一种。图像提示是指终端设备通过图像的方式对待跟踪用户进行提示，图像提示可以是箭头提示、表情提示或者其他形式的图像提示等。语音提示是指终端设备通过语音的方式对待跟踪用户进行提示，为了增强待跟踪用户的体验感语音提示的声音可以根据待跟踪用户的喜好进行设置，声音可以是默认声音、儿童声音、明星声音甚至可以是待跟踪用户自己的声音，具体使用那种语音在这里不做限制。震动提示是指终端设备通过震动的方式对待跟踪用户进行提示，换句话说可以在终端设备中安装震动器，震动器可以包括微型电动机、凸轮以及橡胶套等，震动器利用凸轮产生离心力，离心力牵引马达快速抖动，继而带动终端设备震动，要说明的是，震动可以随着提示时间长短不断加强。

在一些实施例中，当目标图像中有其他物体出现时，外置图像处理装置可以获取待跟踪用户与其他物体之间的相对位置关系，并确定该相对位置关系是否满足预设条件，如果该相对位置关系满足预设条件，外置图像处理装置则发送安全提示信息至终端设备。相反，如果该相对位置关系未满足预设条件，外置图像处理装置则不需要发送安全提示信息至终端设备，如此可以保证提示信息发送的准确性，减少提示信息误发送的可能性。

在一些实施例中，相对位置关系可以是待跟踪用户与其他物体之间的预测距离，确定该相对位置关系是否满足预设条件包括：判断该预测距离是否小于预设距离，如果预测距离小于预设距离外置图像处理装置则发送安全提示信息至终端设备。

在另一些实施例中，相对位置关系可以是待跟踪用户与其他物体之间的预测角度，确定该相对位置关系是否满足预设条件包括：判断该预测角度是否小于第一预设角度，如果预测角度小于第一预设角度外置图像处理装置则发送安全提示信息至终端设备。外置图像处理装置也可以同时判断该预测角度是否大于第二预设角度，如果该预测角度大于第二预设角度，外置图像处理装置则发送安全提示信息至终端设备。例如，第一预设角度为190。而第二预设角度为170。，图9中外置图像处理装置获取到待跟踪用户201与其他物体202之间的预测角度为175。，显然，预测角度不仅小于第一预设角度190。，而且大于第二预设角度170。，此时外置图像处理装置就会向待跟踪用户佩戴的终端设备发送提示信息。

本申请实施例提供的定位跟踪的方法中外置图像处理装置不仅可以对目标图像中待跟踪用户的行为进行分析与预测，而且可以随时检测目标图像中是否有其他物体出现，通过对待跟踪用户骨骼信息的分析与预测可以预防待跟踪用户发生危险时即时被其他人发现，而对目标图像中其他物体的检测则可以避免在虚拟现实等无法获取外界情况的场景下，待跟踪用户与其他物体发生碰撞事故，即通过提示信息被跟踪用户可以实时监测器其所处环境是否安全。

请参阅图10，本申请又一实施例提供了一种定位跟踪方法，可应用于定位跟踪系统的外置图像处理装置，定位跟踪系统还包括终端设备和交互装置，该方法可以包括步骤S310至步骤S370。

步骤S310：获取包含待跟踪用户的目标图像，待跟踪用户为携带终端设备及交互装置的用户。

步骤S320：获取终端设备发送的通过终端设备显示的虚拟内容和第二自由度信息。

在一个实施例中，外置图像处理装置不仅可以利用其采集的目标图像获取到待跟踪用户的骨骼信息，进而得到交互装置的第一自由度信息，同时其可以接收终端设备发送的终端设备显示的虚拟内容和第二自由度信息。其中，虚拟内容的图像数据可以预存于终端设备上，并可根据终端设备的六自由度信息进行显示。在一些应用场景中，用户可以先通过终端设备或交互装置对需要进行显示的虚拟内容进行选择(例如打开不同的AR/VR应用程序)，再通过交互装置上的标记物对交互装置进行定位，最后在终端设备上显示该虚拟内容，而待跟踪用户也可以通过操作交互装置对虚拟内容进行旋转、位移、切换等。而第二自由度信息则是终端设备根据其内置图像采集装置采集的图像获取的交互装置的位置及姿态信息。

步骤S330：利用第二自由度信息对虚拟内容进行调整，并将目标图像与调整后虚拟内容进行叠加，得到目标视频。

在一些实施例中，外置图像处理装置可以获取其与终端设备的相对关系，该相对关系可以包括外置图像处理装置与终端设备之间的距离以及角度等信息，外置图像处理装置获取到该相对关系后，可以通过该相对关系对虚拟内容进行调整。具体的，采集的包含终端设备的图像，利用该图像获取外置图像处理装置与终端设备的距离及角度，并利用该距离和角度对虚拟内容的显示角度和显示内容进行调整。在另一些实施方式中，外置图像处理装置上也可以安装有距离传感器、角度传感器等，利用这些传感器外置图像处理装置可以实时获取其与终端设备的相对关系。外置图像处理装置获取到待跟踪用户的图像和终端设备上显示的虚拟内容后，其可以将待跟踪用户的图像叠加在终端设备发送的虚拟内容上，进而可以得到目标视频，即产生MR(Mix reality，混合现实)的视频效果。

步骤S340：将目标视频发送至显示装置，并指示显示装置对目标视频进行显示。

利用第二自由度信息对虚拟内容进行调整，并将目标图像与调整后虚拟内容进行叠加，即可得到目标视频，外置图像处理装置可以将该目标图像发送至显示装置(如电视机或者投屏等)，并指示该显示装置对目标视频进行显示。即显示装置接收到目标视频时，可以根据外置图像处理装置的指示将目标视频显示在其显示区域上。需要说明的是，显示装置在对目标视频进行显示时，可以先获取其显示区域的大小，并可从目标视频数据中获取到目标视频的大小，然后根据其显示区域的大小与目标视频的大小之间的缩放比例对目标视频的大小进行调整。

在一个实施例中，显示装置上显示的目标视频是目标图像和终端设备上显示的虚拟内容的叠加，目标视频在显示装置上的显示如图11所示，图11中的300指的是显示装置的显示区域，而待跟踪用户301和桌子302均为目标图像上的内容，而星系303则是待跟踪用户30头戴显示装置上显示的虚拟内容。显然，显示装置上最终显示的内容是终端设备上显示的虚拟内容和外置图像处理装置采集的目标图像内容的叠加。

综上所述，本实施例利用显示装置可以将目标图像和终端设备上显示的内容同时显示在第三装置上，如此可以使其他人清楚的看到待跟踪用户处于虚拟世界中，以及其与虚拟对象交互的场景画面。

步骤S350：根据目标图像获取待跟踪用户的骨骼信息。

外置图像处理装置在将目标视频发送至显示装置的同时可以根据目标图像获取待跟踪用户的骨骼信息，即待跟踪用户骨骼信息的获取与目标视频的发送这二者之间无明显的先后顺序。

在一些实施例中，当目标图像中包含有多个人体图像时，外置图像处理装置可以从这多个人体图像中查找到携带有交互装置和终端设备的人体图像，并将查找到的人体图像作为待跟踪用户图像。外置图像处理装置在多个人体图像中查找待跟踪用户的图像，可检测人体图像中是否包含有交互装置和终端设备，如果包含有这两个装置则可以将该人体图像作为待跟踪用户的图像。具体的，对目标图像上的多个人体图像进行图像分割得到每个人体图像，然后分别对每个人体图像进行目标关键点检测，本实施例中，目标关键点指的是交互装置和终端设备，如果人体图像中既包含有交互装置又包含有终端设备，那么该人体图像即可作为待跟踪用户的图像。

如图12所示目标图像中包含有三个人体图像，分别是304、305和306，外置图像处理装置采集到该目标图像可以先判断该目标图像上是否包含有多个人体图像，如果目标图像中包含有多个人体图像，外置图像处理装置可以对该目标图像中的每个人体图像进行分割，然后分别判断这些人体图像上是否同时佩戴终端设备并且手持交互装置。显然，图12中人体304和人体305上均未包含有终端设备和交互装置，而人体305不仅头戴终端设备并且其手持交互装置，因此可以将人体305作为待跟踪用户的图像。当外置图像处理装置获取到待跟踪用户的图像后，即可对该待跟踪用户图像进行识别，得到待跟踪用户的骨骼信息。

在另一些实施例中，当目标图像中携带有交互装置和终端设备的人体图像有多个时，可以将这些多个人体图像作为待选用户人体图像，并对每个待选人体图像中终端设备或交互装置上的信号标识进行识别，得到标识结果，根据标识结果确定待跟踪用户。换句话说，外置图像处理装置采集当目标图像后，当判定目标图像中包含有多个人体图像时可以对这些人体图像进行分割，得到每个人体图像，然后检测每个人体图像中是否包含有终端设备和交互装置，如果包含有则将该人体图像作为待跟踪用户的图像。但是如果这些人体图像中有两个以上均包含有终端设备和交互装置，则外置图像处理装置需根据这些人体图像中人体佩戴的终端设备或交互装置上的标识来确定哪个是待跟踪用户。本实施例中终端设备或交互装置上的标识可以是不同颜色的光点或者不同图像的标记物，外置图像处理装置通过识别这些标识即可准确定位出待跟踪用户。

如图13所示目标图像中包含有三个人体图像，分别是307、308和309，外置图像处理装置采集到该目标图像可以先判断该目标图像上是否包含有多个人体图像，如果目标图像中包含有多个人体图像，外置图像处理装置则对该目标图像中的每个人体图像进行分割，然后分别判断这些人体图像上是否同时佩戴终端设备并且手持交互装置，如果同时包含终端设备和交互装置的人体图像有多个，则外置图像处理装置可以将这些人体图作为待选用户人体图像，并对每个待选人体图像中终端设备或交互装置上的信号标识进行识别。显然，图13中人体308上未包含有终端设备和交互装置则确定该人体图像不是待跟踪用户图像。而人体307和人体309上均包含有终端设备和交互装置，则可以将人体307和人体308作为候选人体图像，此时外置图像处理装置可以分别对人体307和人体308中终端设备或者交互装置上的光点或标记物进行识别，进而得到待跟踪用户的图像。例如，外置图像处理装置中设置的待跟踪用户的终端设备上的光点是红色的，而其识别出人体307中终端设备上的光点颜色是绿色的，而人体309中终端设备上的光点颜色是红色的，那么通过识别与比对外置图像处理装置即可判定人体309为待跟踪用户的图像。当外置图像处理装置获取到待跟踪用户的图像后，即可对该待跟踪用户图像进行识别，得到待跟踪用户的骨骼信息。

步骤S360：利用待跟踪用户的骨骼信息获取交互装置的第一自由度信息。

步骤S370：将第一自由度信息发送至终端设备，第一自由度信息用于指示终端设备基于第一自由度信息和/或第二自由度信息对交互装置进行跟踪。

本申请实施例提供的定位跟踪方法中当目标图像中有多个人体图像时可以对这些人体图像进行分别检测进而确定出哪个才是外置图像处理装置需要定位跟踪的用户，如此在一定程度上可以防止目标图像中用户过多时出现干扰的情况。

请参阅图14，本申请再一实施例提供了一种定位跟踪方法，可应用于定位跟踪系统的终端设备，跟踪系统还包括外置图像处理装置，具体地，该方法可以包括步骤S410至步骤S430。

步骤S410：获取包含交互装置的图像，并根据图像获取交互装置的第二自由度信息。

获取图像采集装置采集的交互图像，当交互图像具有标记物，则对标记物进行识别，可以将具有标记物的图像称为第二目标图像，利用该第二目标图像可以获取终端设备与标记物之间的自由度信息，并将该自由度信息作为交互装置的第二自由度信息。具体的，终端设备可以通过识别第二目标图像中的标记物的特征点来确定第二自由度信息，也可以通过识别交第二目标图像中的子标记物的位置来确定第二自由度信息。作为一种实施方式，本申请实施例可以利用标记物的目标特征点来确定第二自由度信息，其目标特征点是从目标图像内的所有特征点中任意选取的特定数量的特征点的图像，根据其目标特征点的像素坐标和物理坐标，就可以获取终端设备与标记物之间的旋转自由度和移动自由度，旋转自由度和移动自由度组成第二自由度信息。

步骤S420：接收外置图像处理装置发送的交互装置的第一自由度信息，第一自由度信息为外置图像处理装置根据基于交互装置和待跟踪用户的目标图像得到的待跟踪用户的骨骼信息获取。

接收外置图像处理装置发送的交互装置的第一自由度信息和待跟踪用户的骨骼信息，在接收外置图像处理装置发送的交互装置的第一自由度信息和待跟踪用户的骨骼信息之后，终端设备可以获取待显示的虚拟内容数据，并利用待跟踪用户的骨骼信息和虚拟内容数据对虚拟内容进行渲染，最后对显示虚拟内容。

在一些实施方式中，终端设备可以直接通过预存的虚拟内容数据构建虚拟内容，或通过其他方式获取已构建的虚拟内容。作为一种方式，终端设备可根据交互装置上的标记物的身份信息构建虚拟内容，当识别图像中的标记物后，可获取与该标记物的身份信息对应的虚拟内容数据，并根据该虚拟内容数据构建虚拟内容，虚拟内容数据可包括用于建模的顶点数据、颜色数据、纹理数据等。不同身份信息的标记物可分别对应显示不同类型的虚拟内容，例如，身份信息为“编号1”的标记物显示的虚拟内容为三维虚拟汽车，“编号2”的标记物显示的虚拟内容为三维虚拟建筑等。

步骤S430：基于第一自由度信息和/或第二自由度信息对交互装置进行跟踪。

终端设备可以直接利用其获取的第二自由度信息对交互装置进行定位跟踪，也可以利用外置图像处理装置发送的第一自由度信息对交互装置进行定位跟踪，或者是结合第一自由度信息和第二自由度信息综合对交互装置进行定位跟踪，具体利用哪个自由度信息对交互装置进行定位跟踪这里不进行明确限制，可以根据实际情况进行选择。结合第一自由度信息和第二自由度信息对交互装置进行定位跟踪可以包括：将第一自由度信息和第二自由度信息的平均值作为目标自由度信息，或者可以分配不同的比重对第一自由度信息和第二自由度信息进行加权计算等。

在一个实施例中，当交互图像中不具有标记物或者标记物不在终端设备的视觉范围内时，可以获取外置图像处理装置发送的交互装置的第一自由度信息，并利用该第一自由度信息对交互装置进行定位跟踪。换句话说，当标记物不在终端设备的视觉范围内时，终端设备可以通过外置图像处理装置获取的第一自由度信息对交互装置上的标记物进行重定位。具体的，终端设备可以利用第一自由度信息获取到交互装置上标记物相对起始点的位置变化和姿态信息等，重新确定标记物起始点所在的位置，从而得到交互装置上标记物的位置及姿态信息，如此即可完成对标记物的重定位目的，即利用第一自由度信息对交互装置进行定位跟踪。需要说明的是，本实施例也可以利用第一自由度信息和/或第二自由度信息对终端设备进行定位与跟踪。

本申请实施例提供的定位跟踪方法中终端设备不仅可以利用其自身获取到的第一自由度信息对交互装置进行定位跟踪，也可以结合外置图像处理装置发送的第二自由度信息对交互装置进行进一步的跟踪，通过该方法可以使终端设备对交互装置的定位更加准确，同时当交互图像中不具有标记物时终端设备也可以借助第二自由度信息对交互装置进行定位，如此可以使交互装置的定位更加精确有效。

请参阅图15，其示出了本申请实施例提供的一种定位跟踪装置500的模块框图，该定位跟踪装置500应用于定位跟踪系统的外置图像处理装置，定位跟踪系统还包括终端设备，下面将针对图15所示的模块框图进行阐述，定位跟踪装置500可以包括：目标图像获取模块510、骨骼信息获取模块520、第一信息获取模块530和第一信息发送模块540。

目标图像获取模块510，用于获取包含待跟踪用户的目标图像，待跟踪用户为携带终端设备及交互装置的用户。

进一步的，获取终端设备发送的通过终端设备显示的虚拟内容和第二自由度信息，利用第二自由度信息对虚拟内容进行调整，并将目标图像与调整后虚拟内容进行叠加，得到目标视频，将目标视频发送至显示装置，并指示显示装置对目标视频进行显示。

骨骼信息获取模块520，用于根据目标图像获取待跟踪用户的骨骼信息。

进一步的，骨骼信息获取模块520用于根据待跟踪用户的骨骼信息获取待跟踪用户的动作，根据待跟踪用户的动作判断待跟踪用户是否处于危险状态，当待跟踪用户处于危险状态时，发送报警提示信息。

进一步的，骨骼信息获取模块520还用于接收终端设备发送的位置及姿态信息，位置及姿态信息包括交互装置的第二自由度信息及终端设备的第三自由度信息中的至少一种；根据目标图像、位置及姿态信息获取待跟踪用户的骨骼信息。

进一步的，当携带有交互装置和终端设备的人体图像有多个时，将多个人体图像作为待选用户人体图像，并对每个待选人体图像中终端设备或交互装置上的信号标识进行识别，得到标识结果，根据标识结果确定待跟踪用户，得到待跟踪用户图像。

第一信息获取模块530，用于利用待跟踪用户的骨骼信息获取交互装置的第一自由度信息。

进一步的，第一信息获取模块530还用于检测目标图像中是否有其他物体出现，其他物体指的是除待跟踪用户以外的其他人或物，当目标图像中有其他物体出现时，发送安全提示信息至终端设备。

在本申请实施例中，请参阅图16，第一信息获取模块530可以包括：骨骼信息获取单元531、位置信息获取单元532以及第一信息获取单元533。

骨骼信息获取单元531，用于根据骨骼信息获取待跟踪用户目标部位的骨骼信息。

位置信息获取单元532，用于利用目标部位的骨骼信息获取待跟踪用户目标部位的位置信息，目标部位为携带交互装置的身体部位。

第一信息获取单元533，用于根据目标部位的位置信息获取交互装置的第一自由度信息。

第一信息发送模块540，用于将第一自由度信息发送至终端设备，第一自由度信息用于指示终端设备基于第一自由度信息和/或第二自由度信息对交互装置进行跟踪，其中，第二自由度信息为终端设备根据获取的交互装置的图像得到。

请参阅图17，其示出了本申请实施例提供的一种定位跟踪装置600的模块框图，该定位跟踪装置600应用于定位跟踪系统的终端设备，终端设备包括内置图像采集装置，定位跟踪系统还包括外置图像处理装置，下面将针对图17所示的模块框图进行阐述，定位跟踪装置600可以包括：第二信息获取模块610、第一信息接收模块620以及第二跟踪模块630。

第二信息获取模块610，用于获取包含交互装置的图像，并根据图像获取交互装置的第二自由度信息。

进一步的，第二信息获取模块610用于获取图像采集装置采集的交互图像，当交互图像具有标记物，则对标记物进行识别，并获取终端设备与标记物之间的自由度信息，并将该自由度信息作为交互装置的第二自由度信息。当交互图像中不具有标记物时，获取外置图像处理装置发送的交互装置的第一自由度信息，根据交互装置的第一自由度信息，对交互装置进行定位跟踪。

第一信息接收模块620，用于接收外置图像处理装置发送的交互装置的第一自由度信息，第一自由度信息为外置图像处理装置根据基于交互装置和待跟踪用户的目标图像得到的待跟踪用户的骨骼信息获取。

进一步的，第一信息接收模块620用于接收外置图像处理装置发送的交互装置的第一自由度信息和待跟踪用户的骨骼信息。获取待显示的虚拟内容数据，利用待跟踪用户的骨骼信息和虚拟内容数据对虚拟内容进行渲染，显示虚拟内容。

第二跟踪模块630，用于基于第一自由度信息和/或第二自由度信息对交互装置进行跟踪。

请参阅图18，其示出了本申请实施例提供的一种定位跟踪系统的结构框图。该定位跟踪系统700可以包括外置图像处理装置710、终端设备720以及交互装置730。其中，外置图像处理装置710用于获取包含待跟踪用户的目标图像，根据目标图像获取待跟踪用户的骨骼信息，利用待跟踪用户的骨骼信息获取交互装置730的第一自由度信息，并将第一自由度信息发送至终端设备720；终端设备720用于获取包含交互装置730的图像，并根据图像获取交互装置730的第二自由度信息；终端设备720还用于基于第一自由度信息和/或第二自由度信息对交互装置730进行跟踪。

请参考图19，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备800可以包括一个或多个如下部件：处理器810、存储器820以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器820中并被配置为由一个或多个处理器810执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器810可以包括一个或者多个处理核。处理器810利用各种接口和线路连接整个电子设备800内的各个部分，通过运行或执行存储在存储器820内的指令、程序、代码集或指令集，以及调用存储在存储器820内的数据，执行电子设备800的各种功能和处理数据。可选地，处理器810可以采用数字信号处理(Digital Signal ProceSSing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器810可集成中央处理器(CentralProceSSing Unit，CPU)、图像处理器(Graphics ProceSSing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器810中，单独通过一块通信芯片进行实现。

存储器820可以包括随机存储器(Random ACCeSS Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器820可用于存储指令、程序、代码、代码集或指令集。存储器820可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备800在使用中所创建的数据等。

请参考图20，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质900中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质900可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质900包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质900具有执行上述方法中的任何方法步骤的程序代码910的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码910可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种定位跟踪方法，其特征在于，应用于定位跟踪系统的外置图像处理装置，所述定位跟踪系统还包括终端设备和交互装置，所述方法包括：

获取包含待跟踪用户的目标图像，所述待跟踪用户为携带所述终端设备及交互装置的用户；

根据所述目标图像获取所述待跟踪用户的骨骼信息；

利用所述待跟踪用户的骨骼信息获取所述交互装置的第一自由度信息；

将所述第一自由度信息发送至所述终端设备，所述第一自由度信息用于指示所述终端设备基于所述第一自由度信息和/或第二自由度信息对所述交互装置进行跟踪，其中，所述第二自由度信息为所述终端设备根据获取的所述交互装置的图像得到。

2.根据权利要求1所述的方法，其特征在于，所述利用所述待跟踪用户的骨骼信息获取所述交互装置的第一自由度信息，包括：

根据所述骨骼信息获取所述待跟踪用户目标部位的骨骼信息；

利用所述目标部位的骨骼信息获取所述待跟踪用户目标部位的位置信息，所述目标部位为携带所述交互装置的身体部位；

根据所述目标部位的位置信息获取所述交互装置的第一自由度信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像获取所述待跟踪用户的骨骼信息包括：

接收所述终端设备发送的位置及姿态信息，所述位置及姿态信息包括所述交互装置的第二自由度信息及所述终端设备的第三自由度信息中的至少一种；

根据所述目标图像、位置及姿态信息获取所述待跟踪用户的骨骼信息。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像获取所述待跟踪用户的骨骼信息之后，包括：

根据所述待跟踪用户的骨骼信息获取所述待跟踪用户的动作；

根据所述待跟踪用户的动作判断所述待跟踪用户是否处于危险状态；

当所述待跟踪用户处于危险状态时，发送报警提示信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像获取所述待跟踪用户的骨骼信息，包括：

当所述目标图像中包含有多个人体图像时，从所述多个人体图像中查找到携带有所述交互装置和所述终端设备的人体图像，并将查找到的人体图像作为待跟踪用户图像；

对所述待跟踪用户图像进行识别，得到所述待跟踪用户的骨骼信息。

6.根据权利要求1所述的方法，所述定位跟踪系统还包括显示装置；

所述获取包含待跟踪用户的目标图像之后，包括：

获取所述终端设备发送的通过所述终端设备显示的虚拟内容和所述第二自由度信息；

利用所述第二自由度信息对所述虚拟内容进行调整，并将所述目标图像与调整后虚拟内容进行叠加，得到目标视频；

将所述目标视频发送至所述显示装置，并指示所述显示装置对所述目标视频进行显示。

7.根据权利要求1所述的方法，其特征在于，所述利用所述待跟踪用户的骨骼信息获取所述交互装置的第一自由度信息之后，包括：

检测所述目标图像中是否有其他物体出现，所述其他物体指的是除待跟踪用户以外的其他人或物；

当所述目标图像中有其他物体出现时，发送安全提示信息至所述终端设备。

8.一种定位跟踪方法，其特征在于，应用于定位跟踪系统的终端设备，所述定位跟踪系统还包括交互装置及外置图像处理装置，所述方法包括：

获取包含所述交互装置的图像，并根据所述图像获取所述交互装置的第二自由度信息；

接收所述外置图像处理装置发送的所述交互装置的第一自由度信息，所述第一自由度信息为所述外置图像处理装置根据基于所述交互装置和待跟踪用户的目标图像得到的待跟踪用户的骨骼信息获取；

基于所述第一自由度信息和/或第二自由度信息对所述交互装置进行跟踪。

9.根据权利要求8所述的方法，其特征在于，所述接收所述外置图像处理装置发送的第一自由度信息，包括：

接收所述外置图像处理装置发送的所述交互装置的第一自由度信息和所述待跟踪用户的骨骼信息；

在所述接收所述外置图像处理装置发送的所述交互装置的第一自由度信息和所述待跟踪用户的骨骼信息之后，所述方法还包括：

获取待显示的虚拟内容数据；

利用所述待跟踪用户的骨骼信息和所述虚拟内容数据对虚拟内容进行渲染；

显示所述虚拟内容。

10.根据权利要求8所述的方法，其特征在于，所述交互装置设置有标记物；

所述获取包含所述交互装置的图像，并根据所述图像获取所述交互装置的第二自由度信息，包括：

获取图像采集装置采集的交互图像；

当所述交互图像具有标记物，则对所述标记物进行识别，并获取所述终端设备与所述标记物之间的自由度信息，并将该自由度信息作为所述交互装置的第二自由度信息；

所述基于所述第一自由度信息和/或第二自由度信息对所述交互装置进行跟踪，包括：

当所述交互图像中不具有标记物时，获取所述外置图像处理装置发送的所述交互装置的第一自由度信息；

根据所述交互装置的第一自由度信息，对所述交互装置进行定位跟踪。

11.一种定位跟踪装置，其特征在于，应用于定位跟踪系统的外置图像处理装置，所述定位跟踪系统还包括终端设备，所述终端设备与交互装置连接，所述装置包括：

目标图像获取模块，用于获取包含待跟踪用户的目标图像，所述待跟踪用户为携带所述终端设备及交互装置的用户；

骨骼信息获取模块，用于根据所述目标图像获取所述待跟踪用户的骨骼信息；

第一信息获取模块，用于利用所述待跟踪用户的骨骼信息获取所述交互装置的第一自由度信息；

第一信息发送模块，用于将所述第一自由度信息发送至所述终端设备，所述第一自由度信息用于指示所述终端设备基于所述第一自由度信息和/或第二自由度信息对所述交互装置进行跟踪，其中，所述第二自由度信息为所述终端设备根据获取的所述交互装置的图像得到。

12.一种定位跟踪装置，其特征在于，应用于定位跟踪系统的终端设备，所述定位跟踪系统还包括交互装置及外置图像处理装置，所述装置包括：

第二信息获取模块，用于获取包含所述交互装置的图像，并根据所述图像获取所述交互装置的第二自由度信息；

第一信息接收模块，用于接收所述外置图像处理装置发送的所述交互装置的第一自由度信息，所述第一自由度信息为所述外置图像处理装置根据基于所述交互装置和待跟踪用户的目标图像得到的待跟踪用户的骨骼信息获取；

第二跟踪模块，用于基于所述第一自由度信息和/或第二自由度信息对所述交互装置进行跟踪。

13.一种定位跟踪系统，其特征在于，所述定位跟踪系统包括外置图像处理装置、终端设备及交互装置；

所述外置图像处理装置用于获取包含待跟踪用户的目标图像，根据所述目标图像获取所述待跟踪用户的骨骼信息，利用所述待跟踪用户的骨骼信息获取所述交互装置的第一自由度信息，并将所述第一自由度信息发送至所述终端设备；

所述终端设备用于获取包含所述交互装置的图像，并根据所述图像获取所述交互装置的第二自由度信息；

所述终端设备还用于基于所述第一自由度信息和/或第二自由度信息对所述交互装置进行跟踪。

14.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-7任一项所述的方法。

15.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。