CN111198608B - 信息提示方法、装置、终端设备及计算机可读取存储介质 - Google Patents

Abstract

本申请实施例公开了一种信息提示方法、装置、终端设备及计算机可读取存储介质，涉及显示技术领域。该信息提示方法应用于终端设备，该信息提示方法包括：获取通过图像采集装置采集的目标图像，所述目标图像包括标记物；根据所述目标图像获取所述终端设备与所述标记物之间的相对空间位置关系，当所述相对空间位置关系满足预设条件时，生成提示信息，其中，所述预设条件用于限制所述标记物的位置及姿态中的至少一种条件。本方法可以在终端设备无法正常显示标记物的情况下对用户进行提示，通过所述方法可以提高终端设备对虚拟内容显示的准确性。

Description

信息提示方法、装置、终端设备及计算机可读取存储介质

技术领域

本申请涉及显示技术领域，更具体地，涉及一种信息提示方法、装置、终端设备及计算机可读取存储介质。

背景技术

近年来，随着科技的发展，虚拟现实(Virtual Reality，VR)、增强现实(AugmentedReality，AR)等技术逐渐成为国内外研究的热点，终端设备如何准确有效的对虚拟物体进行显示是亟待解决的问题。

发明内容

本申请实施例提出了一种信息提示方法、装置、终端设备及计算机可读取存储介质，能够提高终端设备对虚拟内容显示的准确性。

第一方面，本申请实施例提供了一种信息提示方法，应用于终端设备。该方法包括：获取通过图像采集装置采集的目标图像，所述目标图像包括标记物；根据所述目标图像获取所述终端设备与所述标记物之间的相对空间位置关系，当所述相对空间位置关系满足预设条件时，生成提示信息，其中，所述预设条件用于限制所述标记物的位置及姿态中的至少一种条件。

第二方面，本申请实施例提供了一种信息提示装置，应用于终端设备，所述装置包括：目标图像获取模块、相对空间位置关系获取模块、判断模块、提示模块，其中，所述目标图像获取模块用于获取通过图像采集装置采集的目标图像，所述目标图像包括标记物；所述相对空间位置关系获取模块用于根据所述目标图像获取所述终端设备与所述标记物之间的相对空间位置关系；判断模块用于判断所述相对空间位置关系是否满足预设条件，所述预设条件用于限制所述标记物的位置及姿态中的至少一种条件；提示模块用于当所述相对空间位置关系满足预设条件时，生成提示信息。

第三方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的信息提示方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的信息提示方法。

本申请提供的信息提示方法、装置、终端设备及计算机可读取存储介质，通过图像采集装置获取目标图像；根据所述目标图像获取所述终端设备与所述标记物之间的相对空间位置关系；当所述相对空间位置关系满足预设条件时，生成提示信息，其中，所述预设条件用于限制所述标记物的位置及姿态中的至少一种条件。本申请通过设定的预设条件判断是否生成提示信息，如果检测到终端设备与标记物之间的相对空间位置关系满足预设条件，可能导致出现无法准确识别标记物的情况，因此，此时生成提示信息，从而提醒用户调整终端设备与标记物之间的相对空间位置关系，以使标记物能够被准确识别，进而提高终端设备对虚拟内容显示的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请实施例的应用场景的示意图。

图2示出了本申请一个实施例的信息提示方法的方法流程图。

图3示出了本申请一个实施例的标记物与终端设备距离示意图。

图4示出了本申请一个实施例的标记物的位置与图像采集装置的视野范围的边界位置之间的位置关系的示意图。

图5示出了本申请一个实施例提供的标记物的位置与图像采集装置的视野范围的边界位置之间的距离的示意图。

图6示出了根据本申请一个实施例的标记物相对终端设备的姿态信息示意图。

图7示出了本申请一个实施例的提供的根据标记物的位置变化预测终端设备运动方向的示意图。

图8示出了本申请一个实施例通过表情进行提示的界面图。

图9示出了本申请另一个实施例通过箭头进行提示的界面图。

图10示出了本申请又一个实施例通过实时距离进行提示的界面图。

图11示出了本申请另一个实施例的信息提示方法的方法流程图。

图12示出了本申请一个实施例的信息提示装置的模块框图。

图13是本申请实施例的用于执行根据本申请实施例的信息提示方法的终端设备的框图。

图14是本申请实施例的用于保存或者携带实现根据本申请实施例的信息提示方法的程序代码的存储单元。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，术语“中央”、“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

随着VR、AR等技术的发展，VR/AR相关的终端设备逐渐走入了人们的日常生活中。当人们在使用VR/AR设备时，可通过终端设备(例如头戴显示器)对现实环境中的标记物(又称Marker或Tag)进行采集与识别，通过对标记物的识别可以获得终端设备与标记物之间的相对位置关系和旋转(姿态)信息，从而在终端设备上显示标记物相应的虚拟内容。但是，用户在使用的过程中通常会出现标记物丢失或无法清楚识别的情况。例如，用户在使用终端设备的时候旋转角度过大或这旋转速度太快等，都会导致终端设备无法识别标记物，如此在很大程度上会影响虚拟内容的正常显示。

下面对本申请实施例提供的信息提示方法的应用场景进行介绍。

请参见图1，示出了本申请实施例提供的信息提示方法的应用场景的示意图，该应用场景包括显示系统10。该显示系统10包括：终端设备100以及标记物200。

在本申请实施例中，标记物200可以设置于终端设备100的视野范围内，以使终端设备100可以采集标记物200的图像，并对标记物200进行识别。

在本申请实施例中，终端设备100可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是与外接式头戴显示装置连接的手机等智能终端，即终端设备100可作为头戴显示装置的处理和存储设备，插入或者接入外接式头戴显示装置，在头戴显示装置中对显示内容进行显示。

在本申请实施例中，如图1所示的终端设备100可以包括图像采集装置，图像采集装置安装于终端设备上。标记物200可以放置于终端设备100的图像采集装置的视野范围内，即图像采集装置可以采集到标记物200的图像。该标记物200的图像存储于终端设备100中，用于定位终端设备100相对标记物200的空间位置，以及识别标记物200的身份信息等。

在一些实施方式中，图像采集装置可以为红外摄像头、彩色摄像头等，图像采集装置的具体类型在本申请实施例中并不作为限定。另外，图像采集装置也可以包括图像传感器，图像传感器可以是CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)传感器，或者CCD(Charge-coupled Device，电荷耦合元件)传感器等等。

标记物200中可以包括至少一个子标记物，子标记物可以是具有一定形状的图案。在一个实施例中，每个子标记物可具有一个或多个特征点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。本申请实施方式中，不同标记物内的子标记物的分布规则不同，因此，每个标记物200可具备不同的身份信息，终端设备100通过识别标记物200中包含的子标记物，可以获取与标记物200对应的身份信息，该身份信息可以是编码等可用于唯一标识标记物200的信息，但不限于此。

终端设备100还可根据包含标记物200的图像获取与标记物200之间的位置关系和旋转信息，从而，终端设备100可根据与标记物200之间的位置关系和旋转信息显示虚拟内容，用户在佩戴终端设备时，可以看到虚拟内容与现实世界叠加进行显示，以获得增强现实或者混合现实的视觉效果。

请参阅图2，本申请在一个实施例中提供了一种信息提示方法，可应用于终端设备，该方法可以包括：

步骤S110：获取通过图像采集装置采集的目标图像，目标图像包括标记物。

获取通过图像采集装置采集的目标图像之前，需要先对目标图像进行采集，目标图像可以通过图像采集装置进行采集，在一些实施例中图像采集装置可以是上述图1所示的摄像头。

图像采集装置采集的目标图像中可以包括标记物，标记物可以是任意具有可识别特征标记的图形或物体，包含标记物的目标图像可存储于终端设备中，用于定位标记物相对终端的位置或姿态。在一个实施方式中，不同标记物内的子标记物的分布规则不同，因此，每个标记物可具备不同的身份信息，终端设备通过识别标记物中包含的子标记物，可以获取与标记物对应的身份信息，该身份信息可以是编码等可用于唯一标识标记物的信息，但不限于此。

作为一种实施方式，标记物的轮廓可以为矩形，当然，标记物的形状也可以是其他形状，在此不做限定。需要说明的是，具体的标记物的形状、样式、颜色、特征点数量以及分布在本实施例中并不作为限定，仅需要标记物能被终端设备识别追踪即可，例如，在其他可能的实施方式中，标记物还可以是条码、二维码或其他可识别图形。

另外，由于标记物中所包含的子标记物的特征信息不同，而不同的标记物中所包含的子标记物也不相同，由此，根据所采集到的目标图像中的子标记物的图像也能够确定位于图像采集装置的视野内的标记物的身份信息，从而能够显示与该标记物对应的虚拟内容。

具体地，根据所采集到的标记物的目标图像，确定该标记物在真实世界中的位置，以及终端设备与标记物之间的位置以及朝向关系等姿态信息，从而根据预设的标记物的位置及姿态信息与虚拟内容的对应关系，确定当前所采集的目标图像中的标记物对应的虚拟内容，并进行显示，用户通过佩戴的终端设备可以看到显示的虚拟内容与现实环境叠加。

步骤S120：根据目标图像获取终端设备与标记物之间的相对空间位置关系。

在一个实施例中，相对空间位置关系可以包括终端设备与标记物之间的目标距离，目标距离指的是终端设备与标记物之间的距离，具体如图3所示，终端设备可以获取通过图像采集装置采集的包含标记物的目标图像，并根据该目标图像获取与标记物之间的目标距离。作为一种实施方式，预先将标记物设置在不同的位置处，并将终端设备摆放在固定位置，可测量设置于各个位置的标记物与终端设备之间的距离。可以获取采集的设置在不同位置的标记物的目标图像内，各个标记物的轮廓大小，并根据各个位置的标记物与终端设备的距离以及对应位置上标记物在目标图像中的轮廓大小，获取距离与标记物的轮廓大小之间的对应关系。则在获取到终端设备采集的目标图像之后，分析该目标图像内标记物的轮廓大小，然后在距离与轮廓大小的对应关系中，查找标记物的轮廓大小对应的距离，从而就能够确定终端设备与标记物之间的目标距离。需要说明的是，目标距离也可以通过追踪技术进行实时获取，例如，可以利用Depth Map(深度图像)镜头生成标记物到镜头距离的实时分布图，如此就可以实时获取到终端设备与标记物的距离，另外，也可以利用磁力追踪、声学追踪、惯性追踪、光学追踪或者多传感器融合实时获取标记物与终端设备的距离，具体使用哪种方式不明确限定。

在一个实施例中，相对空间位置关系还可以包括标记物的位置与图像采集装置的视野范围的边界位置之间的距离，标记物的位置与图像采集装置的视野范围的边界位置之间的距离可以是标记物的位置与图像采集装置的边界的一个距离，具体如图4所示。图像采集装置的视野范围指的是图像采集装置可以采集到图像的范围，视野范围的边界指的是视野范围对应的区域范围的边缘位置，边缘位置可以为一个边界值也可以为一个边界区域值，作为一种实施方式，在获取到目标图像之后，将目标图像的水平边界作为水平视野，而将垂直边界作为垂直视野，如图5中，L₁和L₂为水平视野的水平边界，L₃和L₄为垂直视野的垂直边界，图中标记物的位置可以通过分析目标图像内标记物图像的像素坐标而获取，作为一种实施方式，以L₁和L₄的交点作为该目标图像的原点，则标记物的位置与图像采集装置的视野范围的边界位置之间的距离可以包括标记物与L₁之间的距离d₁、标记物与L₄之间的距离d₂、标记物与L₂之间的距离d₃或者是标记物与L₃之间的距离d₄，本实施例中可以将d₁、d₂、d₃和d₄中最小的距离值作为标记物的位置与图像采集装置的视野范围的边界位置之间的距离，如此就能够得到标记物的位置与图像采集装置的视野范围的边界位置之间的距离。

需要说明的是，视野范围可以结合视场角确定，图5中的视野范围，即各个边界线的确定，可以是直接将终端设备所采集的目标图像的边界作为图5中的各个边界线，则此时图像采集装置的视野范围为终端设备的极限视场角，即最大视场角，也可以是在终端设备所采集的目标图像内重新划定一个区域，作为终端设备的视野范围，则此时终端设备的视野范围小于终端设备的最大视场角。

视场角(Field of View，FOV)是指终端设备的视野大小，本实施例中视场角是指终端设备显示器边缘与观察点(眼睛)连线的夹角。视场角可以包括水平视场角、垂直视场角和对角线视场角，通常终端设备的视场角指的是水平视场角，不同的终端设备最佳的视场角是不相同的，例如，头戴显示器最佳视场角可以是120度，极限角可以接近180度。视场角是终端设备的固有属性，可以是上述的极限角，也可以是最佳视场角，例如，作为一种实施方式，视场角度可以是120度。

在一个实施例中，相对空间位置关系还可以包括标记物相对终端设备的姿态信息，如图6所示。标记物相对终端设备的姿态信息包括标记物的旋转方向以及旋转角度等信息。在本申请实施例中，当标记物在图像采集装置的视野范围内时，图像采集装置采集到包含标记物的目标图像，处理器获取到该目标图像及相关信息，运算识别出标记物并获取到该标记物相对终端设备的姿态信息。

需要说明的是，终端设备相对标记物的姿态信息可以通过识别目标图像中的标记物的特征点来确定，也可以通过识别标记物图像中子标记物的位置来确定。本实施例中可以利用标记物的目标特征点来确定标记物的姿态信息，其目标特征点是从目标图像内的所有特征点中任意选取的特定数量的特征点的图像，根据其目标特征点的像素坐标和物理坐标，就可以获取标记物相对终端设备的位置、旋转方向以及旋转角度等信息。

目标特征点的像素坐标指的是目标特征点在目标图像中的位置，每个目标特征点在目标图像中的像素坐标可以直接在图像采集装置对应的标记图中获得。标记物特征点的物理坐标指的是目标特征点在标记物对应的物理坐标系内的坐标，目标特征点的物理坐标即为特征点在对应标记物上的真实位置，可以通过物理坐标系获得目标特征点的坐标，因为这些特征点在物理坐标系上的距离都是可以测得的。

获取到目标图像中所有目标特征点的像素坐标和物理坐标之后，根据这些像素坐标和物理坐标获取标记物相对终端设备的位置和旋转信息，具体的，可以根据每个目标特征点的像素坐标、物理坐标和预先获取的图像采集装置的内参数，获取图像坐标系和物理坐标系的映射参数，再根据这个映射参数获取图像采集装置的相机坐标系和物理坐标系之间的旋转参数和平移参数，所述旋转参数和平移参数即为标记物相对终端设备的位置和旋转信息。

旋转参数表示相机坐标系与物理坐标系之间的旋转状态，也即图像采集装置在物理坐标系内与物理坐标系的各坐标轴的转动自由度。平移参数则表示相机坐标系与物理坐标系之间的移动状态，也即图像采集装置在物理坐标系内，与物理坐标系的各坐标轴的移动自由度。则旋转参数和平移参数即为图像采集装置在物理坐标系内的六自由度信息，能够表示图像采集装置在物理坐标系内的转动和移动状态，也即能够得到图像采集装置的视野与物理坐标系内的各坐标轴之间的角度和距离等。如此，就可以获取到标记物相对终端设备的姿态信息。

步骤S130：当相对空间位置关系满足预设条件时，生成提示信息，其中，预设条件用于限制标记物的位置及姿态中的至少一种条件。

具体地，相对空间位置关系可以包括终端设备与标记物之间的目标距离、目标图像中标记物的位置与图像采集装置的视野范围的边界位置之间的距离和标记物相对终端设备的姿态信息中的至少一种，而相对空间位置关系所包含的内容不同，则判断相对空间位置关系是否满足预设条件的方式也不同。

作为一种实施方式，相对空间位置关系包括终端设备与标记物之间的目标距离；判断相对空间位置关系是否满足预设条件，若满足，生成提示信息，包括：判断目标距离是否超出第一距离阈值；若超出第一距离阈值，则生成提示信息。

通过步骤S120可以获取到，目标距离是指终端设备与标记物之间的距离，第一距离阈值指的是终端设备与标记物之间的最大距离，当目标距离超出第一距离阈值，终端设备则生成提示信息。例如，第一距离阈值为20米，获取到的目标距离大于或者等于第一距离阈值时，终端设备则会发出提示。

作为一种实施方式，相对空间位置关系包括目标图像中标记物的位置与图像采集装置的视野范围的边界位置之间的距离；判断相对空间位置关系是否满足预设条件，若满足，生成提示信息，包括：判断目标图像中标记物的位置与图像采集装置的视野范围的边界位置之间的距离是否小于第二距离阈值；若目标图像中标记物的位置与图像采集装置的视野范围的边界位置之间的距离小于第二距离阈值，则生成提示信息。

具体地，上述标记物的位置与图像采集装置的视野范围的边界位置之间的距离可以是目标图像中标记物的位置与图像采集装置的视野范围的边界位置之间的距离，如图5中所示的d₁、d₂、d₃和d₄。由于，图像采集装置的视野范围的边界包括四个边界，如图5中的L₁、L₂、L₃和L₄，则获取目标图像中的标记物的像素位置距离每个边界的距离，获取最小的距离值作为本次要判定的标记物与边界线之间的距离，即本实施例中标记物的位置与图像采集装置的视野范围的边界位置之间的距离可以为d₁，判断d₁是否小于第二距离阈值，如果小于，则判定标记物的位置即将接近视野范围的边界位置，则终端设备生成提示信息。

作为一种实施方式，相对空间位置关系包括标记物相对终端设备的姿态信息；判断相对空间位置关系是否满足预设条件，若满足，生成提示信息，包括：判断旋转角度是否超出旋转角度预设值；若旋转角度超出旋转角度预设值，则生成提示信息。

其中，旋转角度预设值为预先设定的一个临界角度值，超过临界角度值时，标记物的正面(设置有标记图案的一面)无法被终端设备采集到，则用户无法看到该标记物的正面，而旋转角度预设值可以由用户而设定。

通过终端设备与标记物之间的目标距离、标记物的位置与图像采集装置的视野范围的边界位置之间的距离以及标记物相对终端设备的姿态信息可以判断是否进行提示，但是这些判断方式都可能会出现误判，因为相对空间位置关系只能判断标记物与终端设备的位置关系，当用户正在调整时是无法观察的，故可以根据多帧目标图像中标记物的图像位置确定标记物的位置及姿态变化，通过标记物的位置与姿态变换获取终端设备和/或标记物的预测运动信息。本申请实施例中预测运动信息中可以包括运动方向预测、运动速度预测和运动旋转方向预测，而标记物的位置及姿态变化可以包括终端设备与标记物之间的目标距离变化、标记物的位置与图像采集装置的视野范围的边界位置之间的距离变化以及标记物自身的姿态信息变化。

考虑到终端设备与标记物之间的距离超出第一距离预设值的时候，标记物与终端设备之间的距离可能正在不断变小，即标记朝着终端设备的方向运动，则此时可以不生成提示信息，而如果标记物与终端设备之间的距离正在不断变大，标记物做着远离终端设备的运动，则此时生成提示信息，因此，可以通过目标距离变化获得运动方向，通过运动方向和终端设备与标记物之间的距离变化共同判断是否生成提示信息。

考虑到标记物的位置与图像采集装置的视野范围的边界位置之间距离小于第二距离阈值的时候，标记物可能正在逐渐远离视野范围的边界而向视野范围的中心处移动，则此时标记物的位置与图像采集装置的视野范围的边界位置之间距离不断变大，此时可以不必生成提示信息，而如果标记物可能正在逐渐靠近视野范围的边界而向视视野范围的边界线处移动，标记物的位置与图像采集装置的视野范围的边界位置之间距离小于第二距离阈值时，则此时生成提示信息，因此，可以结合标记物的运动方向和标记物的位置与图像采集装置的视野范围的边界位置之间的距离的变化共同判断是否生成提示信息。

需要说明的是，终端设备的运动方向可以根据多帧目标图像中标记物的位置变化进行预测，通过运动方向和空间位置关系，判断是否生成提示信息。其中，根据多帧目标图像中标记物的位置变化预测设备终端的运动方向的实施方式可以是，获取当前所获取的目标图像之前连续几帧的包含有标记物的历史图像，获取每个历史图像中的标记物的像素坐标，则根据连续几帧图像中的标记物的像素坐标能够拟合出标记物的轨迹，如图7所示，W₃为当前所采集的目标图像中的标记物的位置，而W₂和W₁为当前目标图像之前的连续两帧的图像内的标记物的位置，根据W₁、W₂和W₃的像素位置就能够确定标记物的运动方向，如图7中所示，该标记物朝向边界线L₁运动。当然，也可以采用当前所采集的目标图像之后的连续几帧目标图像中的标记物的位置来确定标记物的运动方向，其具体实施方式可参考前述，在此不再赘述。

则通过运动方向和标记物的位置与图像采集装置的视野范围的边界位置之间距离，判断是否生成提示信息的实施方式可以是：判断目标图像中标记物的位置与图像采集装置的视野范围的边界位置之间的距离是否小于第二距离阈值，若目标图像中标记物的位置与图像采集装置的视野范围的边界位置之间的距离小于第二距离阈值，再获取运动方向，判断运动方向是否为远离视野范围的边界而向视野范围的中心处移动，如果是，则不生成提示信息，如果不是，则生成提示信息。

另外，考虑到标记物的旋转角度超出旋转角度预设值的时候，标记物的旋转角度可能正在逐渐减小，则此时可以不生成提示信息，而如果旋转角度可能正在增大，则此时生成提示信息，即可以结合运动方向和旋转角度综合判断是否生成提示信息，即可以综合标记物的旋转方向和旋转角度判断是否生成提示信息，如果标记物向下旋转且标记物的旋转角度大于旋转角度预设值，则生成提示信息，而如果标记物向上旋转且旋转角度不断减少，则不需要生成提示信息。

需要说明的是，终端设备与标记物之间的目标距离、标记物的位置与图像采集装置的视野范围的边界位置之间的距离以及标记物相对终端设备的姿态信息这三种相对空间位置关系至少一种满足预设条件时，终端设备就可以生成提示信息，这三种相对空间位置关系也可以相互结合来判断是否生成提示信息，例如，标记物的旋转角度超出了旋转角度预设值并且终端设备与标记物之间的目标距离超出第一距离阈值时，终端设备生成提示信息，并且提示信息中可以同时包括这两种提示。具体如何将这三种相对空间位置关系进行组合，这里不进行明确限制。

如果相对空间位置关系满足预设条件，终端设备生成提示信息，提示信息包括图像提示、语音提示以及震动提示中的至少一种。图像提示是指终端设备通过图像的方式对用户进行提示，图像提示可以是箭头提示、表情提示或者其他形式的图像提示，具体利用哪种提示方式这里不进行明确限制。例如，当相对空间位置关系满足预设条件时，终端设备可以通过虚拟的“悲伤”表情来提示用户标记物即将无法正常显示如图8所示，或者终端设备可以通过“箭头”来提示用户标记物即将无法正常显示如图9所示，终端设备也可以直接通过“实时距离”提示用户标记物即将无法正常显示如图10所示，提示的同时终端设备也可以提示用户做出相应的调整操作，提示调整可以用语音进行提示也可以用文字进行提示，具体通过哪种方式进行提示这里不做明确限制。需要说明的是，在进行图像提示的时候可以在终端设备上实时显示终端设备与标记物之间的位置关系，方便用户进行相应的调整。

语音提示是指终端设备通过语音的方式对用户进行提示，为了增强用户的体验感语音提示的声音可以根据用户的喜好进行设置，声音可以是默认声音、儿童声音、明星声音甚至可以是用户自己的声音，具体使用那种语音在这里不做限制。震动提示是指终端设备通过震动的方式对用户进行提示，换句话说可以在终端设备中安装震动器，震动器可以包括微型电动机、凸轮以及橡胶套等，震动器利用凸轮产生离心力，离心力牵引马达快速抖动，继而带动终端设备震动，要说明的是，震动可以随着提示时间长短不断加强。

本申请实施例中，当终端设备与标记物之间的目标距离超出第一距离阈值时，终端设备可以通过图像提示的箭头提示用户将终端设备与标记物之间的距离减小。终端设备也可以通过语音的方式进行提示，例如，语音提示可以为“目标距离即将超出第一距离阈值，请对目标距离进行调整”，另外在语音提示的同时可以在终端设备上显示图像，提示用户应该如何调整。另外，终端设备也可以通过震动的方式对用户进行提示，换句话说，当目标距离超出第一距离阈值时，终端设备可以通过震动的方式告知用户目标距离太大，进行一定的调整，如果用户还一直没有做出调整动作终端设备的震动可以不断加强。

另外，当标记物的位置与图像采集装置的视野范围的边界位置之间的距离小于第二距离阈值时，终端设备可以通过图像提示的箭头提示，告知用户将标记物的位置进行一定的调整，即可以通过对视野范围的调整，使得目标图像中的标记物的位置不超出图像采集装置的视野范围的边界位置。同理也可以通过语音提示与震动提示对用户进行提示，例如，可以语音提示用户“即将超出图像采集装置的视野范围的边界位置请通过向左旋转进行调整”。另外当姿态信息的旋转角度超出旋转角度预设值时，提示方式也是相同的，既可以用图像提示也可以用语音提示或震动提示，甚至是这三种提示方式的任意组合，具体用哪种方式这里不进行明确限制。

综上所述，终端设备在发出图像提示的时候可以同时结合多种提示方式，通过不同提示方式的配合使用可以在一定程度上增加用户的使用体验。例如，终端设备在发出语音提示的时候也可以通过图像提示告诉用户如何进行调整。具体如何对这些提示方式进行结合，这里不进行详细的描述，用户可以根据自己的需求进行设置。

另外，当标记物不在图像采集装置的视野范围内时，终端设备可以通过视觉惯性里程计(Visual-Inertial Odometry，VIO)实时获取终端设备的自由度信息，如图11所示，本申请另一实施例提供了一种信息提示方法，该方法包括步骤S210至步骤S250，如图11所示：

步骤S210：获取通过图像采集装置采集的目标图像，目标图像包括标记物。

步骤S220：判断标记物在不在终端设备的视野范围内。

如果标记物在终端设备的视野范围内则执行步骤S230，当终端设备无法检测标记物时，可以判断标记物不在终端设备的视野范围内，执行步骤S250。

步骤S230：根据目标图像获取终端设备与标记物之间的相对空间位置关系。

步骤S240：当相对空间位置关系满足预设条件时，生成提示信息，预设条件用于限制标记物的位置及姿态中的至少一种条件。

步骤S250：当标记物不在终端设备的视野范围内时，通过视觉惯性里程计实时获取终端设备的自由度信息，并根据自由度信息确定标记物相对终端设备的位置方向，根据位置方向生成提示信息。

终端设备可以通过VIO实时获取终端设备的自由度信息，该自由度信息可以包含终端设备的旋转、旋转方向等信息。终端设备可通过图像采集装置实时采集图像，VIO可以通过图像采集装置采集的图像中包含的关键点(或特征点)计算得到终端设备的相对自由度信息，进而推算出终端设备当前的位置和姿态。换句话说，VIO可以利用图像采集装置实时获取目标图像，通过惯性测量单元实时获取终端设备的角速度和加速度数据，VIO可以利用角速度和加速度数据建立初始空间三维地图。在初始空间三维地图的基础上结合图像采集装置获取的目标图像对空间三维地图进行实时更新，通过计算就可以获取到终端设备当前所在的位置。当标记物处于图像采集装置的视野范围内时，可将终端设备当前所处的位置作为起始点，并通过VIO不断计算终端设备相对起始点的位置变化和姿态信息等信息。当标记物不在视野范围内时，可以获取终端设备相对起始点的位置变化和姿态信息等信息，重新确定起始点所在的位置，从而得到标记物的实时位置和姿态信息，完成对标记物的重定位目的。需要说明的是，本实施例中步骤S250可以在步骤S230之后，也可以在步骤S230或者步骤S240之后，因为标记物的信息会根据用户的使用而发生改变，因此只要发生标记物不在终端视野范围内的情况都可以用步骤S220进行判断，只要判断出标记物不在终端设备内就可以执行步骤S250对标记物进行重定位。

进一步地，还可以结合旋转方向判断旋转角度是否超出旋转角度预设值；若超出旋转角度预设值，则生成提示信息。在一些实施例中，标记物的不同的旋转方向所对应的旋转角度预设值不同，则结合旋转方向判断旋转角度是否超出旋转角度预设值；若超出旋转角度预设值的具体实施方式为：获取标记物的旋转方向，根据该旋转方向获取该旋转方向对应的旋转角度预设值，判断旋转角度是否超出旋转角度预设值；若超出旋转角度预设值，则生成提示信息。其中，不同的旋转方向所对应的旋转角度预设值也是不同的，例如，旋转方向为垂直方向时，旋转角度预设值为75°，而旋转方向为水平方向时，旋转角度预设值为60°，则旋转方向与旋转角度预设值的对应关系可以预先设定，通过将所获取的当前的标记物的旋转方向在该对应关系查找，就能够获取到当前的标记物的旋转方向对应的旋转角度预设值。

请参阅图12，其示出了本申请实施例提供的一种信息提示装置600的模块框图，该信息提示装置600应用于终端设备，下面将针对图12所示的模块框图进行阐述，信息提示装置600可以包括：目标图像获取模块610、相对空间位置关系获取模块620、判断模块630以及提示模块640，其中：

目标图像获取模块610，用于获取通过图像采集装置采集的目标图像，目标图像包括标记物。

相对空间位置关系获取模块620，用于根据目标图像获取终端设备与标记物之间的相对空间位置关系。

判断模块630，用于判断相对空间位置关系是否满足预设条件，预设条件用于限制标记物的位置及姿态中的至少一种条件。

相对空间位置关系包括终端设备与标记物之间的目标距离，则判断模块630用于判断目标距离是否超出第一距离阈值；若超出第一距离阈值，则生成提示信息。

相对空间位置关系还包括目标图像中标记物的位置与图像采集装置的视野范围的边界位置之间的距离，则判断模块630还用于判断目标图像中标记物的位置与图像采集装置的视野范围的边界位置之间的距离是否小于第二距离阈值；若目标图像中标记物的位置与图像采集装置的视野范围的边界位置之间的距离小于第二距离阈值，则生成提示信息。

另外，判断模块630也可以根据多帧目标图像中标记物的图像位置确定标记物的位置及姿态变化，根据标记物的位置及姿态变化获取终端设备和/或标记物的预测运动信息，通过预测运动信息判断是否满足预设条件，若满足预设条件，则生成提示信息。

相对空间位置关系还包括标记物相对终端设备的姿态信息，标记物的姿态信息包括标记物的旋转角度，则判断模块630还用于判断旋转角度是否超出旋转角度预设值；若旋转角度超出旋转角度预设值，则生成提示信息。

另外，标记物的姿态信息还包括旋转方向，可以获取与旋转方向对应的旋转角度预设值，并判断旋转角度是否超出旋转方向对应的旋转角度预设值，若旋转角度超出与旋转方向对应的旋转角度预设值，则生成提示信息。

提示模块640，用于当相对空间位置关系满足预设条件时，生成提示信息。

需要注意的是，当标记物不在终端设备的视野范围内时终端设备通过视觉惯性里程计实时获取终端设备的自由度信息，并根据自由度信息确定标记物相对终端设备的位置方向，终端设备根据这个位置方向生成提示信息。

本申请实施例公开了一种信息提示装置，信息提示装置利用终端设备与标记物之间的相对空间位置关系，对用户进行提示，当判断相对空间位置关系满足预设条件时，则可以认为终端设备与标记物之间的位置关系影响了用户在使用终端设备观看在标记物的位置处所显示的虚拟图像，可以生成提示信息，这些提示信息可以是图像、语音或者箭头等，本申请实施例在提高终端设备对虚拟内容显示的准确性的同时且简单易于实现。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图13，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备700可以是智能手机、平板电脑、电子书等能够运行应用程序的终端设备。本申请中的终端设备700可以包括一个或多个如下部件：处理器710、存储器720以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器720中并被配置为由一个或多个处理器710执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器710可以包括一个或者多个处理核。处理器710利用各种接口和线路连接整个终端设备700内的各个部分，通过运行或执行存储在存储器720内的指令、程序、代码集或指令集，以及调用存储在存储器720内的数据，执行终端设备700的各种功能和处理数据。可选地，处理器710可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器710中，单独通过一块通信芯片进行实现。

存储器720可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器720可用于存储指令、程序、代码、代码集或指令集。存储器720可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备700在使用中所创建的数据等。

请参考图14，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种信息提示方法，其特征在于，应用于头戴显示器，所述方法包括：

获取通过图像采集装置采集的目标图像，所述目标图像包括标记物；

根据所述目标图像获取所述头戴显示器与所述标记物之间的相对空间位置关系；

当所述相对空间位置关系满足预设条件时，生成提示信息，其中，所述预设条件为所述标记物的位置及姿态中的至少一种条件，

所述当所述相对空间位置关系满足预设条件时，生成提示信息，包括：

根据多帧目标图像中所述标记物的图像位置确定所述标记物的位置及姿态变化，

根据所述标记物的位置及姿态变化获取所述头戴显示器和/或所述标记物的预测运动信息，

通过所述预测运动信息判断是否满足预设条件，若满足预设条件，则生成提示信息。

2.根据权利要求1所述的方法，其特征在于，所述相对空间位置关系包括所述头戴显示器与所述标记物之间的目标距离；

当所述相对空间位置关系满足预设条件时，生成提示信息，包括：

判断所述目标距离是否超出第一距离阈值；

若超出所述第一距离阈值，则生成提示信息。

3.根据权利要求1所述的方法，其特征在于，所述相对空间位置关系包括所述标记物的位置与所述图像采集装置的视野范围的边界位置之间的距离；

当所述相对空间位置关系满足预设条件时，生成提示信息，包括：

判断所述标记物的位置与所述图像采集装置的视野范围的边界位置之间的距离是否小于第二距离阈值；

若小于所述第二距离阈值，则生成提示信息。

4.根据权利要求1所述的方法，其特征在于，所述相对空间位置关系包括所述标记物相对所述头戴显示器的姿态信息，所述姿态信息包括旋转角度；

当所述相对空间位置关系满足预设条件时，生成提示信息，包括：

判断所述旋转角度是否超出旋转角度预设值；

若所述旋转角度超出所述旋转角度预设值，则生成提示信息。

5.根据权利要求4所述的方法，其特征在于，所述姿态信息还包括旋转方向；

当所述相对空间位置关系满足预设条件时，生成提示信息，包括：

获取与所述旋转方向对应的旋转角度预设值，并判断所述旋转角度是否超出所述旋转方向对应的旋转角度预设值；

若所述旋转角度超出与所述旋转方向对应的旋转角度预设值，则生成提示信息。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述标记物不在头戴显示器的视野范围内时，

通过视觉惯性里程计实时获取所述头戴显示器的自由度信息，并根据所述自由度信息确定所述标记物相对所述头戴显示器的位置方向；

根据所述位置方向生成提示信息。

7.一种信息提示装置，其特征在于，应用于头戴显示器，所述装置包括：

目标图像获取模块，用于获取通过图像采集装置采集的目标图像，所述目标图像包括标记物；

相对空间位置关系获取模块，用于根据所述目标图像获取所述头戴显示器与所述标记物之间的相对空间位置关系；

判断模块，用于判断所述相对空间位置关系是否满足预设条件，所述预设条件用于限制所述标记物的位置及姿态中的至少一种条件；

提示模块，用于当所述相对空间位置关系满足预设条件时，生成提示信息，所述当所述相对空间位置关系满足预设条件时，生成提示信息，包括：根据多帧目标图像中所述标记物的图像位置确定所述标记物的位置及姿态变化，根据所述标记物的位置及姿态变化获取所述头戴显示器和/或所述标记物的预测运动信息，通过所述预测运动信息判断是否满足预设条件，若满足预设条件，则生成提示信息。

8.一种头戴显示器，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-6任一项所述的方法。

9.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-6任一项所述的方法。

Images