CN115984254A - 跟踪系统的失效检测方法和系统 - Google Patents

Abstract

本申请涉及一种跟踪系统失效检测方法，其中，该方法包括：通过运算处理模块，获取当前图像信息，并根据当前图像信息进行环境异常检测，环境异常检测包括：相机镜头遮挡检测、暗光环境检测和大景深环境检测；通过运算处理模块，获取当前IMU信息，并根据当前IMU信息进行用户异常行为异常检测，包括：跌落检测和撞击检测；通过运算处理模块，根据不同类型的环境异常检测结果和用户异常行为检测结果，输出对应的异常状态响应，指示AR设备进行相应的异常保护。通过本申请，解决了相关技术中跟踪系统由于缺乏失效检测导致用户体验不佳的问题，提供了一种对跟踪失效状态进行通用可靠的检测和保护的方法。

Description

跟踪系统的失效检测方法和系统

技术领域

本申请涉及增强现实领域，特别是涉及一种跟踪系统的失效检测方法和系统。

背景技术

位姿跟踪是AR眼镜等头显设备的核心基础功能，通过该项功能，可以获取当前的位姿数据(6DoF)；拥有6DoF跟踪能力，是AR设备能够实时显示虚实结合场景的前提条件。

跟踪系统的失效，即当前跟踪获取的6DoF不再符合用户实际的移动情况；其起因包括环境干扰和用户行为等，若继续基于错误的6DoF跟踪数据输出结果，将在用户界面显示不符合实际情况的虚实叠加内容。

在相关技术中，现有AR设备缺乏对跟踪失效状态进行通用可靠的检测和保护机制。当AR设备跟踪系统失效时(例如用户不小心遮挡了AR眼镜所搭载的相机)，会立即停止AR内容的显示，直到位姿跟踪系统恢复。

上述方式会导致用户感到困惑，使得AR体验过程割裂，严重影响用户的使用体验。

发明内容

本申请实施例提供了一种跟踪系统失效检测方法、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中跟踪系统由于缺乏失效检测导致用户体验不佳的问题。

在其中一些实施例中，本申请实施例提供了一种跟踪系统失效检测方法，其特征在于，应用在AR设备上，通过运算处理模块集成多维度的异常检测功能，所述方法包括：

通过运算处理模块，获取当前图像信息，并根据当前图像信息进行环境异常检测，所述环境异常检测包括：相机镜头遮挡检测、暗光环境检测和大景深环境检测；

通过所述运算处理模块，获取当前IMU信息，并根据当前IMU信息进行用户异常行为异常检测，包括：跌落检测和撞击检测；

通过所述运算处理模块，根据不同类型的环境异常检测结果和用户异常行为检测结果，输出对应的异常状态响应，指示所述AR设备进行相应的异常保护。

在其中一些实施例中，所述根据当前图像信息进行相机镜头遮挡检测包括：

获取当前图像的关键点，并获取所述关键点的响应强度和分布均匀度；

判断当前的所述响应强度是否处于第一预设响应强度区间，若是，输出异常状态响应为：当前相机镜头被遮挡；

判断当前的所述分布均匀度是都处于预设均匀度区间，若是，输出异常状态响应为：当前相机镜头被遮挡。

在其中一些实施例中，所述根据当前图像信息进行暗光环境检测包括：

获取当前图像的关键点，并获取所述关键点的响应强度；

判断所述关键点的响应强度是否处于第二预设响应强度区间，若是，输出异常状态响应为：AR设备当前处于暗光环境。

在其中一些实施例中，所述根据当前图像信息进行大景深环境监测包括：

获取连续图像帧的跟踪的关键点的长度和平均视差；

根据所述长度和平均视差，判断当前相机景深是否远大于相机的相对位移，若是，输出异常状态响应为：当前相机朝向大景深环境。

在其中一些实施例中，所述根据当前IMU信息进行用户异常行为异常检测包括：

根据所述当前IMU信息获取加速度变化量，判断所述加速度变化量是否大于第一变化阈值，若是，输出异常状态响应为：AR设备被撞击或跌落。

在其中一些实施例中，所述运算处理模块，根据不同类型的环境异常检测结果和用户异常行为检测结果，包括：

在所述异常状态响应是当前相机镜头被遮挡，或者AR设备当前处于暗光环境的情况下，指示AR设备进行3DoF更新；

在所述异常状态响应是当前相机朝向大景深环境的情况下，指示AR设备进行零速度更新；

在所述异常状态响应是AR设备被撞击或跌落的情况下，指示AR设备进行异常大家速度值滤除。

在其中一些实施例中，输出对应的异常状态响应，指示所述AR设备进行相应的异常保护之后，所述方法还包括：

持续检测当前AR设备是否触发以下条件中的任意一个：相机被遮挡、AR设备当前处于暗光环境、当前相机朝向大景深环境，若否，将位姿数据切换为6Dof。

在其中一些实施例中，应用在AR设备上，所述系统集成多维度的异常检测功能，包括：图像信息处理模块、IMU信息处理模块和响应指示模块，其中：

所述图像处理模块用于，获取当前图像信息，并根据当前图像信息进行环境异常检测，所述环境异常检测包括：相机镜头遮挡检测、暗光环境检测和大景深环境检测；

所述IMU信息处理模块用于，获取当前IMU信息，并根据当前IMU信息进行用户异常行为异常检测，包括：跌落检测和撞击检测；

所述响应指示模块用于，根据不同类型的环境异常检测结果和用户异常行为检测结果，输出对应的异常状态响应，指示所述AR设备进行相应的异常保护。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。

相比于相关技术，本申请实施例提供的跟踪系统失效检测方法，通过运算处理模块，获取当前图像信息，并根据当前图像信息进行环境异常检测，环境异常检测包括：相机镜头遮挡检测、暗光环境检测和大景深环境检测；取当前IMU信息，并根据当前IMU信息进行用户异常行为异常检测，包括：跌落检测和撞击检测；根据不同类型的环境异常检测结果和用户异常行为检测结果，输出对应的异常状态响应，指示AR设备进行相应的异常保护。解决了相关技术中跟踪系统由于缺乏失效检测导致用户体验不佳的问题，提供了一种对跟踪失效状态进行通用可靠的检测和保护的方法，从AR设备所处环境和用户行为模式两个维度，基于传感器信息对AR设备常见的异常使用模式进行全方位的监测，并对应地生成多维度提示信号，以及进行相应的异常保护。进行对于提升AR设备(尤其是AR眼镜)的用户使用体验，具有重要的指导价值。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种跟踪系统失效检测方法的应用环境示意图；

图2是根据本申请实施例的一种跟踪系统失效检测方法的流程图；

图3是根据本申请实施例的一种跟踪系统失效检测系统的结构框图；

图4是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

在本文中，需要理解的是，所涉及的术语可以是用于实现本发明一部分的技术手段或者其他总结性技术术语，例如，术语可以包括：

AR(Argument Reality)：增强现实，一种将虚拟信息与真实世界巧妙融合的技术，将计算机生成的文字、图像、三维模型、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，实现对真实世界的“增强”。

位姿(pose)：位置和姿态(朝向)，例如：在二维中一般是(x,y,yaw)，三维中一般是(x,y,z,yaw,pitch,roll)，包括6个自由度，6of(6Degrees Of Freedom)，后三个元素描述物体的姿态，其中yaw是航向角，绕Z轴旋转，pitch是俯仰角，绕Y轴旋转，roll是翻滚角，绕X轴旋转。

大景深环境：例如天空、湖面等，画面中清晰范围较大、空旷度较高的场景，

图像梯度：指图像某像素在x和y两个方向上的变化率(与相邻像素比较)，其是一个二维向量，由2个分量组成，X轴的变化、Y轴的变化。

本申请提供的一种跟踪系统失效检测方法，可以应用在如图1所示的应用环境中，图1是根据本申请实施例的一种跟踪系统失效检测方法的应用环境示意图，如图1所示，用户操作终端设备10在线下场景中进行AR体验。当终端设备10在收到撞击或者处于镜头被遮挡等异常状态，跟踪面临失效时，其内部的运算处理模块能够通用且可靠的检测到各类异常行为，并针对性的进行保护，进而提升用户的使用体验。需要说明的是，上述终端设备10可以是AR眼镜、智能手机、平板电脑、笔记本电脑等。

图2是根据本申请实施例的一种跟踪系统失效检测方法的流程图，如图2所示，该流程包括如下步骤：

S201，通过运算处理模块，获取当前图像信息，并根据当前图像信息进行环境异常检测，环境异常检测包括：相机镜头遮挡检测、暗光环境检测和大景深环境检测；

本实施例中，运算处理模块中集成多个维度的异常检测功能，可以从用户行为、光线等多方面对跟踪系统是否失效进行通用的检测。本实施例提供的方法应用在具备跟踪功能的AR设备上，AR设备可以是AR眼镜，也可以是具备AR体验功能的智能手机和平板电脑等终端设备。

需要说明的是，位姿跟踪功能是AR眼镜的核心基础功能，AR设备根据实时位姿数据在真实场景上叠加虚拟内容，位姿跟踪是AR设备能够实时显示虚拟叠加场景的前提条件。

部分异常情况会导致AR设备的跟踪系统失效，该异常情况可以由环境因素导致，例如，相机镜头被遮挡，或者相机处于暗光环境下；也可以由用户行为导致，例如，设备收到撞击或从高处跌落。

其中，针对于环境因素引发的跟踪失效，运算处理模块可以通过图像信息来进行判断，具体的，可以根据图像关键点的响应强度和分布规律判断相机镜头是否被遮挡或者处于暗光环境下；

另外，大景深环境也会导致跟踪系统的失效；本实施例中，运算处理模块通过判断连续图像帧之间关键点跟踪的长度以及平均视差，识别当前AR设备的视场是否朝向大景深环境。

S202，通过运算处理模块，获取当前IMU信息并根据当前IMU信息进行用户异常行为异常检测，包括：跌落检测和撞击检测；

用户行为如振动、跌落等极端因素，6DoF跟踪可能也会失效，导致无法持续提供6DoF跟踪能力。对于用户行为导致的跟踪系统失效，可以采用IMU(Inertial MeasurementUnit，惯性测量单元)中加速度的变化来实现检测；

具体的，可以设定一定的加速度变化阈值，通过将实时加速度与该阈值相比较，一旦加速度超过了该阈值，即认为当时设备收到了撞击或者被跌落。该阈值可以由本领域技术人员结合实际情况灵活指定，具体取值结果如何本实施例中不做具体限定。

需要说明的是，IMU设备是测量物体三轴姿态角(或角速度)以及加速度的装置，其通常由陀螺仪和加速度计组成。具体的，本实施例中，可以采用任意一种常见的轻量化IMU设备。

S203，通过运算处理模块，根据不同类型的环境异常检测结果和用户异常行为检测结果，输出对应的异常状态响应，指示AR设备进行相应的异常保护。

经过步骤S201和步骤S202，可以针对不同原因导致的跟踪失效进行通用性的检测及识别，具体包括：镜头被遮挡、设备处于暗光环境或朝向大景深环境，以及用户行为等；

本步骤S203中，运算处理模块可以针对不同类型的诱发原因针对性的输出不同种类的异常状态信息，以指示执行设备对应的进行异常保护；

具体的，当检测到跟踪失效的原因是相机朝向大景深环境时，可以指示AR设备进行零速度更新；

当检测到跟踪失效的原因是由于相机镜头被遮挡或者处于暗光环境是，可以指示AR设备进行3Dof更新；

当检测到跟踪失效的原因是由于设备跌落或撞击时，则可以通过异常大加速度值滤除，实现对AR设备的保护。

通过上述步骤S201至S203，相比较于相关技术中当跟踪失效时即不显示AR内容的方法，本申请实施例中，通过运算处理模块集成多维度的检测功能，对导致跟踪系统失效的原因进行通用且多方位的检测，进而可以针对每种异常状态进行相应的异常保护，从而极大的提升了用户的使用体验。

在其中一些实施例中，根据当前图像信息进行相机镜头遮挡检测包括：

获取当前图像的关键点，并获取关键点的响应强度和分布均匀度；

判断当前的响应强度是否处于第一预设响应强度区间，若是，输出异常状态响应为：当前相机镜头被遮挡；

需要说明的是，当相机在无遮挡状态下，图像关键点的响应强度普遍较大；对应的若在遮挡状态下，图像关键点的响应强度则较小；本实施例中，根据上述特点，利用图像关键点的实时响应响度判断当前相机镜头是否被遮挡。

进一步的，判断当前分布均匀度是都处于预设均匀度区间，若是，输出异常状态响应为：当前相机镜头被遮挡。

另外，在无遮挡状态下，图像关键点的分布也是相对均匀的；若未在遮挡状态下，则图像关键点的分布则极大程度出现不均匀；本实施例中，根据该项特点，利用图像关键点的分布情况判断当前镜头是否被遮挡。

具体的，可以设置一定的数值区间，如反映关键点响应强度的第一预设响应强度区间，或者反映关键点分布情况的预设均匀度区间；实际应用时，通过将当前图像的响应强度和分布均匀度，分别与上述两项区间值对比，以判断当前的分布均匀度是否处于预设均匀度区间，若是，输出异常状态响应为当前相机镜头被遮挡。其中，需要说明的是，上述两项区间值，也可以由本领域技术技术人员结合硬件参数具体设置，本申请实施例中对具体取值范围不做限定。

在其中一些实施例中，与检测相机镜头是否被遮挡的原理相同，可以根据当前图像信息中关键点的响应强度来判断当前相机是否处于暗光环境下。

具体的，判断关键点的响应强度是否处于第二预设响应强度区间，若是，输出异常状态响应为AR设备当前处于暗光环境；其中，该第二预设响应强度区间区别与上述用于遮挡判断的第一预设响应强度区间，其取值范围应略小于上述第一预设响应强度区间。

在其中一些实施例中，考虑到相机视野朝向大景深环境时，也可能导致跟踪失效。本申请中，运算处理模块同样可以检测该种类型的异常，具体的：

根据当前图像信息进行大景深环境监测包括：获取连续图像帧关键点的跟踪的长度和平均视差；根据长度和平均视差，判断当前相机景深是否远大于相机的相对位移，若是，输出异常状态响应为：当前相机朝向大景深环境。

需要说明的是，连续图像帧间关键点跟踪的长度越短，表示场景的空旷度越高，越大概率是天空、湖面等大景深环境。而连续图像帧间关键点之间的平均视差越小，表示场景的景深越大，越大概率是天空、湖面等环境。本实施中，利用该项特点，判断相机朝向是否处于大景深环境。

在其中一些实施例中，对于因为用户行为引发的跟踪失效，可以根据IMU数据进行检测判定，具体的，根据当前IMU信息进行用户异常行为异常检测包括：

根据当前IMU信息获取加速度变化量，判断加速度变化量是否大于第一加速度变化阈值，若是，输出异常状态响应为AR设备被撞击或跌落。即一旦加速度超过某一阈值，即认为AR眼镜发生了撞击或者跌落。

在其中一些实施例中，运算处理模块，根据不同类型的环境异常检测结果和用户异常行为检测结果，包括：

在异常状态响应是当前相机镜头被遮挡，或者AR设备当前处于暗光环境的情况下，指示AR设备进行3DoF更新。具体的，3DoF更新是指：仅基于设备搭载的陀螺仪传感器计算设备的3自由度姿态，即绕三轴的旋转。

在异常状态响应是当前相机朝向大景深环境的情况下，指示AR设备进行零速度更新。具体的，当相机观测到的场景图像信息没有明显变化时，算法系统会假定相机所在设备的移动速度为零，并依据“速度为零”这个先验信息支持位姿估计系统做受约束的位姿估计计算，从而提升大景深这类困难场景下位姿估计的稳定性。

在异常状态响应是AR设备被撞击或跌落的情况下，指示AR设备进行异常大加速度值滤除。具体的，在AR设备受到猛烈冲击时，加速度计会测量出极大的数值，而该类数值对位姿估计系统无益；故可识别并滤除上述极大的数值，避免将这些数值输入到算法系统。

进一步的，在输出对应的异常状态响应，指示AR设备进行相应的异常保护之后，方法还包括：

持续检测当前AR设备是否触发以下条件中的任意一个：相机被遮挡、AR设备当前处于暗光环境、当前相机朝向大景深环境，若否，将位姿数据切换为6Dof。

通过上述实施例，提供了一种通用的多维度的跟踪异常检测方法，并且对于不同类型的异常情况，可以对应的进行适当的异常保护，从而极大地提升了AR设备的使用可靠性，提升用户观感体验。

本实施例还提供了一种AR跟踪系统失效检测系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本申请实施例的一种跟踪系统失效检测系统的结构框图，如图3所示，系统应用在终端设备上，图像信息处理模块30、IMU信息处理模块31和响应指示模块32，其中。

图像处理模块30用于，获取当前图像信息，并根据当前图像信息进行环境异常检测，环境异常检测包括：相机镜头遮挡检测、暗光环境检测和大景深环境检测；

IMU信息处理模块31用于，获取当前IMU信息，并根据当前IMU信息进行用户异常行为异常检测，包括：跌落检测和撞击检测；

响应指示模块32用于，根据不同类型的环境异常检测结果和用户异常行为检测结果，输出对应的异常状态响应，指示AR设备进行相应的异常保护。

在一个实施例中，图4是根据本申请实施例的电子设备的内部结构示意图，如图4所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图4所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种AR跟踪系统失效检测方法，数据库用于存储数据。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种跟踪系统失效检测方法，其特征在于，应用在AR设备上，通过运算处理模块集成多维度的异常检测功能，所述方法包括：

通过运算处理模块，获取当前图像信息，并根据当前图像信息进行环境异常检测，所述环境异常检测包括：相机镜头遮挡检测、暗光环境检测和大景深环境检测；

通过所述运算处理模块，获取当前IMU信息，并根据当前IMU信息进行用户异常行为异常检测，包括：跌落检测和撞击检测；

通过所述运算处理模块，根据不同类型的环境异常检测结果和用户异常行为检测结果，输出对应的异常状态响应，指示所述AR设备进行相应的异常保护。

2.根据权利要求1所述的方法，其特征在于，所述根据当前图像信息进行相机镜头遮挡检测包括：

获取当前图像的关键点，并获取所述关键点的响应强度和分布均匀度；

判断当前的所述响应强度是否处于第一预设响应强度区间，若是，输出异常状态响应为：当前相机镜头被遮挡；

判断当前的所述分布均匀度是都处于预设均匀度区间，若是，输出异常状态响应为：当前相机镜头被遮挡。

3.根据权利要求1所述的方法，其特征在于，所述根据当前图像信息进行暗光环境检测包括：

获取当前图像的关键点，并获取所述关键点的响应强度；

判断所述关键点的响应强度是否处于第二预设响应强度区间，若是，输出异常状态响应为：AR设备当前处于暗光环境。

4.根据权利要求1所述的方法，其特征在于，所述根据当前图像信息进行大景深环境监测包括：

获取连续图像帧的关键点跟踪的长度和平均视差；

根据所述长度和平均视差，判断当前相机景深是否远大于相机的相对位移，若是，输出异常状态响应为：当前相机朝向大景深环境。

5.根据权利要求1所述的方法，其特征在于，所述根据当前IMU信息进行用户异常行为异常检测包括：

根据所述当前IMU信息获取当前加速度变化量，判断所述当前加速度变化量是否大于第一加速度变化阈值，若是，输出异常状态响应为：AR设备被撞击或跌落。

6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述运算处理模块，根据不同类型的环境异常检测结果和用户异常行为检测结果，包括：

在所述异常状态响应是当前相机镜头被遮挡，或者AR设备当前处于暗光环境的情况下，指示AR设备进行3DoF更新；

在所述异常状态响应是当前相机朝向大景深环境的情况下，指示AR设备进行零速度更新；

在所述异常状态响应是AR设备被撞击或跌落的情况下，指示AR设备进行异常大加速度值滤除。

7.根据权利要求2至4中任意一项所述的方法，其特征在于，输出对应的异常状态响应，指示所述AR设备进行相应的异常保护之后，所述方法还包括：

持续检测当前AR设备是否触发以下条件中的任意一个：相机被遮挡、AR设备当前处于暗光环境、当前相机朝向大景深环境，若否，将位姿数据切换至6Dof。

8.一种跟踪系统失效检测系统，其特征在于，应用在AR设备上，所述系统集成多维度的异常检测功能，包括：图像信息处理模块、IMU信息处理模块和响应指示模块，其中。

所述图像处理模块用于，获取当前图像信息，并根据当前图像信息进行环境异常检测，所述环境异常检测包括：相机镜头遮挡检测、暗光环境检测和大景深环境检测；

所述IMU信息处理模块用于，获取当前IMU信息，并根据当前IMU信息进行用户异常行为异常检测，包括：跌落检测和撞击检测；

所述响应指示模块用于，根据不同类型的环境异常检测结果和用户异常行为检测结果，输出对应的异常状态响应，指示所述AR设备进行相应的异常保护。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

Images