CN114415839A - 一种信息显示方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种信息显示方法、装置、设备及存储介质，该方法包括：获取所述设备在第一时刻与第二时刻之间的位姿变化信息；利用所述位姿变化信息以及预设存储空间中保存的已被识别物体在所述第一时刻下的第一位置信息，确定所述已被识别物体在所述第二时刻下的第二位置信息；若所述第二位置信息满足预设条件，则获取所述预设存储空间中保存的所述已被识别物体的物体信息，并发送至设备显示画面中基于所述第二位置信息确定出的目标显示区域进行显示。通过上述技术方案，本申请能够减少特征点提取和匹配方面所带来的时间消耗，有效降低了视野画面中物体信息的显示延迟，从而提升了视野画面中物体信息的显示速度。

Description

一种信息显示方法、装置、设备及存储介质

技术领域

本发明涉及智能设备技术领域，特别涉及一种信息显示方法、装置、设备及存储介质。

背景技术

近年来，随着智能可穿戴设备的高速发展，能够将虚拟信息与真实场景进行叠加显示的智能设备也逐步走进人们日常生活和工作当中。这些设备融合了传感技术、三维建模和光学显示等手段，能够将计算机生成的文字、图像以及音视频等信息模拟仿真后，应用并显示在真实世界，作为真实世界信息的补充，如AR(即Augmented Reality，增强现实)设备和MR(即Mixed Reality，混合现实)设备等，均能够实现将虚拟信息和真实世界进行融合的效果。

当前上述智能设备通过提取视野画面内目标物体的特征点并进行特征点匹配，由此识别出目标物体信息以及视野画面内用于显示上述目标物体信息的目标显示区域，以在上述目标显示区域中对上述目标物体信息进行显示。其中，在对当前画面进行识别之后，如果接下来智能设备发生了移动，则目标物体相对于视野画面的位置也会随之发生偏移，此时需要通过重新提取特征点并进行特征点匹配的方式来识别出当前视野画面中的目标物体信息及其对应的目标显示区域。然而，提取目标物体的特征点并进行匹配是一个十分耗时的操作，由此会导致视野画面中物体信息的显示过程会出现比较明显的延迟。

发明内容

有鉴于此，本发明的目的在于提供一种信息显示方法、装置、设备及存储介质，能够有效减少视野画面中物体信息的显示延迟。其具体方案如下：

第一方面，本申请提供了一种信息显示方法，应用于将虚拟信息与真实场景进行叠加显示的设备，包括：

获取所述设备在第一时刻与第二时刻之间的位姿变化信息；

利用所述位姿变化信息以及预设存储空间中保存的已被识别物体在所述第一时刻下的第一位置信息，确定所述已被识别物体在所述第二时刻下的第二位置信息；

若所述第二位置信息满足预设条件，则获取所述预设存储空间中保存的所述已被识别物体的物体信息，并发送至设备显示画面中基于所述第二位置信息确定出的目标显示区域进行显示。

可选的，所述信息显示方法，还包括：

采集任意时刻下的真实场景画面；

将所述真实场景画面发送至预设的图像识别平台，以通过所述图像识别平台识别所述真实场景画面中的物体信息并检测所述真实场景画面中场景物体的位置信息，得到相应的图像识别结果；

将所述图像识别平台返回的所述图像识别结果保存至所述预设存储空间。

可选的，通过所述图像识别平台识别所述真实场景画面中的物体信息，包括：

利用所述图像识别平台中预先基于人工智能算法构建的图像识别模型，识别所述真实场景画面中场景物体的物体类型，并基于所述物体类型从预设信息库中查找与所述场景物体对应的具体描述信息。

可选的，通过所述图像识别平台检测所述真实场景画面中场景物体的位置信息，包括：

通过所述图像识别平台检测场景物体在所述真实场景画面中的画面区域尺寸信息，以及检测所述场景物体在与所述真实场景画面对应的图像坐标系中的二维坐标信息。

可选的，所述采集任意时刻下的真实场景画面，包括：

采集任意时刻下的真实场景画面以及画面深度信息；

相应的，将所述真实场景画面发送至预设的图像识别平台，以通过所述图像识别平台检测所述真实场景画面中场景物体的位置信息，包括：

将所述真实场景画面以及所述画面深度信息发送至预设的图像识别平台，以通过所述图像识别平台检测场景物体在所述真实场景画面中的画面区域尺寸信息，以及检测所述场景物体在与所述真实场景画面对应的图像坐标系中的二维坐标信息，并基于所述画面深度信息将所述二维坐标信息映射至相机坐标系，以得到所述场景物体在所述相机坐标系中的三维坐标信息。

可选的，所述将所述图像识别平台返回的所述图像识别结果保存至所述预设存储空间，包括：

将所述图像识别结果中的物体信息与当前所述预设存储空间中保存的物体信息进行比对，以从所述图像识别结果中筛选出当前未被保存于所述预设存储空间中的目标静态物体的物体信息；

将所述图像识别结果中所述目标静态物体的物体信息以及相应的位置信息保存至所述预设存储空间。

可选的，所述确定所述已被识别物体在所述第二时刻下的第二位置信息之后，还包括：

利用所述第二位置信息对所述预设存储空间中的所述第一位置信息进行更新。

可选的，所述若所述第二位置信息满足预设条件，则获取所述预设存储空间中保存的所述已被识别物体的物体信息，并发送至设备显示画面中基于所述第二位置信息确定出的目标显示区域进行显示，包括：

基于所述第二位置信息确定出所述已被识别物体在设备显示画面中对应的画面区域，并确定所述画面区域对应的物体尺寸与所述已被识别物体的完整尺寸之间的第一比值；

若所述第一比值不小于第一预设阈值，则确定所述画面区域的区域面积与所述设备显示画面的整个画面面积之间的第二比值；

若所述第二比值小于第二预设阈值，则将所述预设存储空间中保存的所述已被识别物体的物体信息发送至所述设备显示画面中基于所述画面区域确定出的目标显示区域进行显示。

可选的，所述将所述预设存储空间中保存的所述已被识别物体的物体信息发送至所述设备显示画面中基于所述画面区域确定出的目标显示区域进行显示，包括：

从所述设备显示画面上确定出与所述画面区域之间存在固定相对位置关系的目标显示区域，并将所述预设存储空间中保存的所述已被识别物体的物体信息发送至所述目标显示区域进行显示。

第二方面，本申请提供了一种信息显示装置，应用于将虚拟信息与真实场景进行叠加显示的设备，包括：

位姿获取模块，用于获取所述设备在第一时刻与第二时刻之间的位姿变化信息；

位置确定模块，用于利用所述位姿变化信息以及预设存储空间中保存的已被识别物体在所述第一时刻下的第一位置信息，确定所述已被识别物体在所述第二时刻下的第二位置信息；

信息显示模块，用于当所述第二位置信息满足预设条件，则获取所述预设存储空间中保存的所述已被识别物体的物体信息，并发送至设备显示画面中基于所述第二位置信息确定出的目标显示区域进行显示。

第三方面，本申请提供了一种电子设备，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现前述的信息显示方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的信息显示方法的步骤。

本申请中，在预设存储空间中预先保存了已被识别物体在第一时刻下的第一位置信息以及已被识别物体对应的物体信息，当获取到设备在第一时刻和第二时刻之间的位姿变化信息，则利用上述位姿变化信息以及上述预设存储空间中保存的已被识别物体在第一时刻下的位置信息，确定出已被识别物体在第二时刻下的位置信息，如果已被识别物体在第二时刻下的位置信息满足预设条件，则将上述预设存储空间中保存的该已被识别物体的物体信息发送至设备显示画面中基于上述第二位置信息确定出的目标显示区域进行显示，由此可见，本申请在对当前时刻下设备显示画面中的物体信息进行显示时，会先基于上一时刻下已被识别物体的第一位置信息以及这两个时刻之间设备的位姿变化信息，确定出当前时刻下上述已被识别物体的第二位置信息，如果第二位置信息符合预设条件，则可以基于上述第二位置信息确定出相应的目标显示区域，并直接从预设存储空间中获取上述已被识别物体的物体信息并将其显示在上述目标显示区域中，避免了需要通过重新进行特征点提取和特征点匹配才能够得到上述物体信息以及相应的目标显示区域，由此减少了特征点提取和匹配方面所带来的时间消耗，从而有效减少了视野画面中物体信息的显示延迟，提升了视野画面中物体信息的显示速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种信息显示方法流程图；

图2为本申请提供的一种图像识别流程图；

图3为本申请提供的一种具体的信息显示方法流程图；

图4至图9分别为不同情形下物体信息的显示示意图；

图10为本申请提供的一种信息显示方法时序图；

图11为本申请提供的一种信息显示装置结构示意图；

图12为本申请提供的一种电子设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

近年来，随着智能可穿戴设备的高速发展，能够将虚拟信息与真实场景进行叠加显示的智能设备也逐步走进人们日常生活和工作当中。上述智能设备在对当前画面进行识别后，如果接下来智能设备发生了移动，则目标物体相对于视野画面的位置也会随之发生偏移，此时需要通过重新提取特征点并进行特征点匹配的方式来识别出当前视野画面中的目标物体信息及其对应的目标显示区域，由于这个过程需要消耗过多的时间，从而导致视野画面中物体信息的显示过程会出现比较明显的延迟。

为此，本申请提供了一种信息显示方案，能够有效减少视野画面中物体信息的显示延迟。其中，上述信息显示方案具体应用于能够将虚拟信息与真实场景进行叠加显示的设备，该设备包括但不限于增强现实设备和混合现实设备等。

本申请中，上述设备通过自身的相机模组采集真实场景画面，并通过自身的通信接口将采集到的真实场景画面发送至预设的图像识别平台，以通过图像识别平台识别真实场景画面中的物体信息并检测真实场景画面中场景物体的位置信息，得到相应的图像识别结果。需要指出的是，上述图像识别平台通常是指位于具有较好运算能力的云端服务器中的图像识别平台，以利用云端服务器的运算能力强的特点提升真实场景画面的识别速度。当然，本申请也不排除可以利用上述设备中集成的图像识别组件或者利用与上述设备进行近程通信连接的计算机中集成的图像识别组件，来对真实场景画面进行图像识别，虽然上述设备或上述计算机自身的运算能力不如云端服务器，但由于避免了远程的通信请求和远程的通信响应，使得在通信传输方面能够节省一定的时间。

上述图像识别平台获得上述包含相应物体信息和位置信息的图像识别结果之后，通过相应的API(即Application Programming Interface，应用程序接口)接口将该图像识别结果返回至上述设备，以便上述设备将接收到的图像识别结果发送至预设存储空间进行保存，这样意味着，上述预设存储空间保存的物体信息和位置信息为已被识别物体的物体信息和位置信息。另外，需要指出的是，上述预设存储空间通常是指在上述设备内部集成的存储空间，这样一来，每当需要获取预设存储空间中保存的数据时，便可以直接从上述设备本地中读取出相应数据，有效减少了数据获取时间。当然，上述预设存储空间也可以是指与上述设备进行近程通信连接的计算机中的存储空间，每当需要获取预设存储空间中保存的数据时，可以通过近程数据访问方式从上述计算机中获取相应的数据。

在用户使用上述设备的过程中，上述设备通过自身内部集成的位姿检测组件，检测设备在当前时刻与上一时刻之间的位姿变化信息。其中，上述位姿检测组件可以基于IMU数据积分(IMU，即Inertial Measurement Unit，惯性测量单元)的方式来进行位姿检测，当然也可以采用基于结构光和IMU的SLAM(即Simultaneous Localization and Mapping，同步定位与建图)位姿估计技术或者基于TOF(即Time of flight，飞行时间)技术的位姿检测方式来进行位姿检测，在此不对本申请的位姿检测方式进行具体限定。

当检测到当前时刻与上一时刻之间的位姿变化信息后，上述设备获取预设存储空间中预先保存的已被识别物体在上一时刻下的位置信息，然后通过自身的处理器并利用上述位姿变化信息以及预设存储空间中保存的已被识别物体在上一时刻下的位置信息，计算已被识别物体在当前时刻下的位置信息，并在该位置信息满足预设条件的情况下，基于该位置信息从设备显示画面中确定出目标显示区域，然后将预设存储空间中保存的所述已被识别物体的物体信息发送至上述目标显示区域进行显示。本申请通过上述技术方案，能够减少特征点提取和匹配方面所带来的时间消耗，从而有效减少了视野画面中物体信息的显示延迟，提升了视野画面中物体信息的显示速度。

具体的，参见图1所示，本发明实施例公开了一种信息显示方法，应用于将虚拟信息与真实场景进行叠加显示的设备，包括：

步骤S11、获取所述设备在第一时刻与第二时刻之间的位姿变化信息。

可以理解的是，上述设备在使用过程中，由于用户的移动导致设备的位置和姿态也随之发生变化，此时通过设备内部集成的位姿检测组件，可以采集设备在第一时刻和第二时刻之间的位姿变化信息，其中具体包括设备在上述两个时刻之间的转向角度度数以及位移距离。

本实施例中，上述第一时刻和第二时刻通常是指前后相邻的两个时刻，当然在某些场景下，上述第一时刻和第二时刻之间也可以相隔若干数量个时刻。另外，本实施例中任意相邻两个时刻之间的时间间隔可以基于应用过程中的实际情况来进行确定，例如，本实施例中任意相邻两个时刻之间的时间间隔可以基于位姿检测组件的位姿信息采样频率来进行确定，或者基于设备显示画面的显示帧率来进行确定，在此不对其进行具体限定。

步骤S12、利用所述位姿变化信息以及预设存储空间中保存的已被识别物体在所述第一时刻下的第一位置信息，确定所述已被识别物体在所述第二时刻下的第二位置信息。

本实施例中，预先在预设存储空间中保存了已被识别物体在第一时刻下的第一位置信息。当获取到设备在第一时刻和第二时刻之间的位姿变化信息，则利用相应的时间索引信息从预设存储空间中查找已被识别物体在第一时刻下的第一位置信息，然后利用上述位姿变化信息和第一位置信息计算出已被识别物体在第二时刻下的第二位置信息。其中，本实施例可以基于第一时刻对应的时间戳信息，构造上述时间索引信息，如此一来，便可以通过上述时间索引信息从预设存储空间中检索出与第一时刻对应的已被识别物体的第一位置信息。

需要指出的是，本实施例在确定所述已被识别物体在所述第二时刻下的第二位置信息之后，还可以进一步利用所述第二位置信息对所述预设存储空间中的所述第一位置信息进行更新，也即将预设存储空间中保存的与第一时刻对应的第一位置信息替换为与第二时刻对应的第二位置信息。同理，上述预设存储空间中原先保存的已被识别物体在第一时刻下的第一位置信息，也可以是利用第一时刻与前一时刻之间的位姿变化信息以及预设存储空间中保存的已被识别物体在所述前一时刻下的位置信息，计算后得到的已被识别物体在第一时刻下的位置信息。当然，上述第一位置信息也可以是由专门的图像识别平台对第一时刻下采集到的真实场景画面进行图像识别后得到的位置信息。

步骤S13、若所述第二位置信息满足预设条件，则获取所述预设存储空间中保存的所述已被识别物体的物体信息，并发送至设备显示画面中基于所述第二位置信息确定出的目标显示区域进行显示。

本实施例中，上述第二位置信息需要满足预设条件，才获取预设存储空间中保存的所述已被识别物体的物体信息，并发送至设备显示画面中基于所述第二位置信息确定出的目标显示区域进行显示。可以理解的是，上述预设条件至少需要包含一个条件，即将上述第二位置信息投射至设备显示画面所在的画面坐标系后，所述第二位置信息对应的画面区域坐标不能完全位于设备显示画面之外，否则禁止从预设存储空间中获取所述已被识别物体的物体信息并进行显示。

本实施例中，预设存储空间保存的物体信息是通过对真实场景画面中的场景物体进行识别后得到的物体信息。通常情况下，首次识别到某个场景物体的物体信息后，将其保存至上述预设存储空间，并且以后通常不必将在其他真实场景画面中识别到的同一个场景物体的物体信息保存至上述预设存储空间。但是，考虑到同一个场景物体的具体描述信息可能在不同时间下会产生比较明显的变化，例如物品的价格信息等。这些情况下，为了避免出现设备显示画面上显示的物体信息过时的问题，需要在从当前真实场景画面识别到同一个场景物体的物体信息时，判断当前识别到的物体信息中的具体描述信息与预设存储空间在此之前保存的同一个场景物体的具体描述信息是否一致，如果一致则将当前识别到的该场景物体的物体信息丢弃不保存，如果不一致则利用当前识别到的该场景物体的物体信息对预设存储空间中保存的同一场景物体的物体信息进行替换更新。

本实施例中，预设存储空间可以将已被识别物体的位置信息与已被识别物体的物体信息进行绑定保存。利用上述时间索引信息从预设存储空间中查找到已被识别物体在第一时刻下的第一位置信息之后，如果计算出来的第二位置信息也满足预设条件，则可以从预设存储空间中查找与第一位置信息之间存在绑定关系的物体信息，并基于上述第二位置信息从设备显示画面中确定出目标显示区域，然后将查找到的物体信息发送至上述目标显示区域进行显示。

由此可见，本申请实施例在对当前时刻下设备显示画面中的物体信息进行显示时，会先基于上一时刻下已被识别物体的第一位置信息以及这两个时刻之间设备的位姿变化信息，确定出当前时刻下上述已被识别物体的第二位置信息，如果第二位置信息符合预设条件，则可以基于上述第二位置信息确定出相应的目标显示区域，并直接从预设存储空间中获取上述已被识别物体的物体信息并将其显示在上述目标显示区域中，避免了需要通过重新进行特征点提取和特征点匹配才能够得到上述物体信息以及相应的目标显示区域，由此减少了特征点提取和匹配方面所带来的时间消耗，从而有效减少了视野画面中物体信息的显示延迟，提升了视野画面中物体信息的显示速度。

基于前一实施例可知，本申请中可以通过对真实场景画面进行识别的方式来得到预设存储空间中的物体信息和位置信息。为此，本实施例接下来对真实场景画面的识别过程进行详细描述。参见图2所示，本实施例公开了一种图像识别过程，包括：

步骤S21、采集任意时刻下的真实场景画面。

步骤S22、将所述真实场景画面发送至预设的图像识别平台，以通过所述图像识别平台识别所述真实场景画面中的物体信息并检测所述真实场景画面中场景物体的位置信息，得到相应的图像识别结果。

步骤S23、将所述图像识别平台返回的所述图像识别结果保存至所述预设存储空间。

本实施例中，设备可以通过自身的相机模组对真实场景进行图像采集，以得到上述真实场景画面。

在一种具体实施方式中，上述相机模组是普通的用于采集二维图像的相机模组。本实施例中，将上述相机模组采集到的任意时刻下的二维的真实场景画面发送至预设的图像识别平台，以利用所述图像识别平台中预先基于人工智能算法构建的图像识别模型，识别所述真实场景画面中场景物体的物体类型，并基于所述物体类型从预设信息库中查找与所述场景物体对应的具体描述信息，以及通过所述图像识别平台检测场景物体在所述真实场景画面中的画面区域尺寸信息，并检测所述场景物体在与所述真实场景画面对应的图像坐标系中的二维坐标信息。也就是说，本实施例中通过图像识别平台识别得到的物体信息可以包括场景物体的物体类型以及具体描述信息，通过图像识别平台检测得到的位置信息包括场景物体在真实场景画面中的画面区域尺寸信息以及在与真实场景画面对应的图像坐标系中的二维坐标信息。其中，上述画面区域尺寸信息可以包括场景物体对应的画面区域宽度和画面区域高度，上述二维坐标信息包括场景物体对应的画面区域的左上角到垂直轴的距离以及左上角到水平轴的距离。

与上述实施方式对应的，在利用设备当前位姿变化信息和预设存储空间中目标场景物体在上一时刻下的位置信息计算当前时刻下目标场景物体的位置信息时，具体的过程可以包括基于所述位姿变化信息分别对所述预设存储空间中保存上一时刻下的画面区域尺寸信息和二维坐标信息进行变换，以得到变换后的画面区域尺寸信息和变换后的二维坐标信息，也即得到当前时刻下目标场景物体的位置信息。

另外，本实施例中的预设信息库是专门用来收集各种场景物体对应的当前最新的具体描述信息。每次在利用图像识别平台对接收到的真实场景图像进行识别时，可以从上述预设信息库中查找出场景物体对应的当前最新的具体描述信息，并将其与预设存储空间中当前保存的场景物体的具体描述信息进行比对，如果发现两者不一致，则可以利用从预设信息库中查找到的具体描述信息对预设存储空间中的具体描述信息进行替换更新。可以理解的是，上述预设信息库可以是预先集成在第三方服务器中的信息库，能够动态收集各种场景物体对应的当前最新的具体描述信息。

在另一种具体实施方式中，上述相机模组是指包含深度传感器的相机模组。本实施例中，通过上述相机模组采集任意时刻下的二维的真实场景画面以及画面深度信息，并将上述真实场景画面以及画面深度信息发送至预设的图像识别平台，以利用所述图像识别平台中预先基于人工智能算法构建的图像识别模型，识别所述真实场景画面中场景物体的物体类型，并基于所述物体类型从预设信息库中查找与所述场景物体对应的具体描述信息，以及通过所述图像识别平台检测场景物体在所述真实场景画面中的画面区域尺寸信息，并检测所述场景物体在与所述真实场景画面对应的图像坐标系中的二维坐标信息，然后基于所述画面深度信息将所述二维坐标信息映射至相机坐标系，以得到所述场景物体在所述相机坐标系中的三维坐标信息。其中，上述画面区域尺寸信息可以包括场景物体对应的画面区域宽度和画面区域高度。

与上述实施方式对应的，在利用设备当前位姿变化信息和预设存储空间中目标场景物体在上一时刻下的位置信息计算当前时刻下目标场景物体的位置信息时，具体的过程可以包括基于所述位姿变化信息分别对所述预设存储空间中保存上一时刻下的画面区域尺寸信息和三维坐标信息进行变换，以得到变换后的画面区域尺寸信息和变换后的三维坐标信息，也即得到当前时刻下目标场景物体的位置信息。

本实施例中，所述将所述图像识别平台返回的所述图像识别结果保存至所述预设存储空间，具体可以包括：将所述图像识别结果中的物体信息与当前所述预设存储空间中保存的物体信息进行比对，以从所述图像识别结果中筛选出当前未被保存于所述预设存储空间中的目标静态物体的物体信息；将所述图像识别结果中所述目标静态物体的物体信息以及相应的位置信息保存至所述预设存储空间。本实施例中，为了提升信息比对效率，可以在上述预设存储空间通过列表的形式来保存各种数据信息，并且在其中添加相应的基于物体信息构建的关键词索引信息，如物体类型关键词等，如此一来，在得到图像识别结果中的物体信息之后，通过上述关键词索引信息，在所述图像识别结果中的物体信息与当前预设存储空间中保存的物体信息之间进行信息索引对比，以从所述图像识别结果中筛选出当前未被保存于所述预设存储空间中的目标静态物体的物体信息。

本实施例中，当上述设备发现图像识别平台返回的任一时刻下真实场景画面的图像识别结果中，包括新物体的物体信息和位置信息，则可以将上述新物体的物体信息发送至设备显示画面中的相对于该新物体所在画面区域的上方区域进行显示。可以理解的是，在采集到新物体的真实场景画面到将新物体的物体信息发送至设备显示画面进行显示，这一过程中存在一定的时间延迟。例如，T2时刻下采集到相应的具有新物体的真实场景画面，但无法在T2时刻下便可以将该新物体的物体信息进行显示，而是需要先发送至图像识别平台进行图像识别以及将图像识别结果返回至设备处理器进行信息比对分析以确定出T2时刻下的场景中存在新物体，并将相应的新物体的物体信息传输至画面进行显示，整个环节需要花费的时间延迟为△，也即意味着将上述新物体的物体信息显示在画面时对应的时刻已是T2+△。

可以理解的是，本实施例在通过对图像识别结果中的物体信息和预设存储空间中保存的物体信息进行比对，可以确定各自对应的场景物体是否为同一个物体，如果是同一个物体则可以进一步判断该场景物体是否是静态物体，如果是静态物体则将所述图像识别结果中该静态物体的物体信息以及相应的位置信息保存至所述预设存储空间。

进一步的，为了判断真实场景画面中的目标场景物体是否是静态物体，本实施例可以对过去若干时刻下采集到的多张真实场景画面进行统一分析，以检测上述目标场景物体在这些真实场景画面中相对于场景中位置固定的参照物之间的相对位置是否发生变化，如果发生变化则判定上述目标场景物体是动态物体，如果没有发生变化则判定上述目标场景物体是静态物体。

需要说明的是，如果真实场景画面中的目标场景物体不是静态物体，而是动态物体，则需要通过设备上的深度传感器来探测第一时刻和第二时刻之间的目标场景物体的位姿变化信息，并基于所述设备的位姿变化信息、所述物体位姿变化以及预设存储空间中保存的目标场景物体在第一时刻下的第一位置信息，确定出目标场景物体在第二时刻下的第二位置信息。

参见图3所示，本申请实施例公开了一种具体的信息显示方法，包括：

步骤S31、获取所述设备在第一时刻与第二时刻之间的位姿变化信息。

步骤S32、利用所述位姿变化信息以及预设存储空间中保存的已被识别物体在所述第一时刻下的第一位置信息，确定所述已被识别物体在所述第二时刻下的第二位置信息。

步骤S33、基于所述第二位置信息确定出所述已被识别物体在设备显示画面中对应的画面区域，并确定所述画面区域对应的物体尺寸与所述已被识别物体的完整尺寸之间的第一比值。

本实施例中，第二位置信息中包括已被识别物体在真实场景画面中的画面区域尺寸信息以及相应的坐标信息，其中，该坐标信息可以是已被识别物体在与所述真实场景画面对应的图像坐标系中的二维坐标信息，或者是已被识别物体在相机坐标系中的三维坐标信息。

步骤S34、若所述第一比值不小于第一预设阈值，则确定所述画面区域的区域面积与所述设备显示画面的整个画面面积之间的第二比值。

本实施例中，如果上述已被识别物体在设备显示画面中的画面区域对应的物体尺寸与物体的完整尺寸之间的比值小于第一预设阈值，则表明当前已被识别物体对应的区域大部分或全部都已经位于设备显示画面之外了，此时不适合将所述预设存储空间中保存的所述已被识别物体的物体信息发送至所述设备显示画面进行显示，有利于提升用户体验。如果上述已被识别物体在设备显示画面中的画面区域对应的物体尺寸与物体的完整尺寸之间的比值不小于第一预设阈值，则表明当前上述已被识别物体大部分的区域都位于设备显示画面之内，此时需要进一步确定画面区域的区域面积与设备显示画面的整个画面面积之间的第二比值。

步骤S35、若所述第二比值小于第二预设阈值，则将所述预设存储空间中保存的所述已被识别物体的物体信息发送至所述设备显示画面中基于所述画面区域确定出的目标显示区域进行显示。

本实施例中，如果上述第二比值大于或等于上述第二预设阈值，则表明当前已被识别物体对应的画面区域遮盖了整个设备显示画面绝大部分的比例，此时也不适合将所述预设存储空间中保存的所述已被识别物体的物体信息发送至所述设备显示画面进行显示。如果上述第二比值小于第二预设阈值，则将所述预设存储空间中保存的所述已被识别物体的物体信息发送至所述设备显示画面中基于所述画面区域确定出的目标显示区域进行显示。

需要指出的是，上述第一预设阈值和第二预设阈值可以基于实际场景需要来进行不同额设定，例如，上述第一预设阈值可以设为30％，上述第二预设阈值可以设为70％。

本实施例中，通过图4至图9分别示出了不同情形下物体信息的显示示意图。

参见图4所示，假设T1时刻下，真实场景中有一盒牛奶，并且预先已经获取到这盒牛奶的产品类型、价钱信息以及对应的位置信息，此时可以基于这盒牛奶的位置信息将其产品类型MILK以及价钱标签信息$2显示在这盒牛奶的上方区域。

参见图5所示，假设T1时刻之后，这盒牛奶只有很少一部分的区域还留在设备显示画面，此时可以不对其价钱标签信息进行显示。

参见图6所示，假设T1时刻之后，这盒牛奶有一小部分区域已被移离设备显示画面，但是这盒牛奶大部分的区域依然留在设备显示画面之内，此时依然可以保留对其物体类型MILK和价钱标签信息$2的显示。

参见图7所示，假设T时刻之后，虽然这盒牛奶的大部分区域依然留在了设备显示画面，但是由于其对应的画面区域遮盖了整个设备显示画面绝大部分的比例，此时选择不对其价钱标签信息进行显示。

参见图8所示，假设T2时刻下，真实场景中新出现了一只杯子，此时由于还没有获取到这只杯子的相关信息，所以无法在T2时刻下便将这只杯子的物体信息进行显示，而是需要先发送至图像识别平台进行图像识别以及将图像识别结果返回给设备进行信息比对分析以确定出T2时刻下的场景中存在新物体，一只杯子，并将这只杯子的产品类型、价钱标签信息传输至画面进行显示，整个环节需要花费的时间延迟为△，也即意味着将这只杯子的物体信息显示在画面时对应的时刻已是T2+△，如图9所示。

本实施例中，所述将所述预设存储空间中保存的所述已被识别物体的物体信息发送至所述设备显示画面中基于所述画面区域确定出的目标显示区域进行显示，具体可以包括：从所述设备显示画面上确定出与所述画面区域之间存在固定相对位置关系的目标显示区域，并将所述预设存储空间中保存的所述已被识别物体的物体信息发送至所述目标显示区域进行显示。本实施例中，上述目标显示区域上述画面区域之间存在固定的相对位置关系，例如，上述目标显示区域可以是指位于上述画面区域的正上方的显示区域，或者是指位于上述画面区域的左侧的显示区域等，在此不对上述固定相对位置关系进行具体限定。

下面结合图10中公开的时序图，对本申请实施例的技术方案进行具体说明。

本实施例中，用于将虚拟信息与真实场景进行叠加显示的设备为AR穿戴设备，用于进行图像识别的集成了图像识别平台的云端服务器。其中，上述AR穿戴设备中集成了通信接口、相机模组(图中未示出)、位姿检测组件(图中未示出)、预设存储空间和显示模块。

首先，AR穿戴设备通过相机模组采集T1时刻下出现新物体A的真实场景画面，并通过自身的通信接口将上述T1时刻下的真实场景画面发送至云端服务器，以通过云端服务器中的图像识别平台识别T1时刻下真实场景画面中的物体信息并检测T1时刻下真实场景画面中场景物体的位置信息，得到相应的第一图像识别结果。

AR穿戴设备获取云端服务器返回的第一图像识别结果，并通过处理器从第一图像识别结果中提取出A物体的物体信息以及第一位置信息，并将A物体的物体信息和第一位置信息保存至预设存储空间。

在T2时刻到来时，AR穿戴设备通过位姿检测组件检测T1时刻和T2时刻之间的位姿变化信息，并通过相机模组采集T2时刻下出现新物体B的真实场景画面，然后通过通信接口将T2时刻下的真实场景画面发送至云端服务器，以通过云端服务器中的图像识别平台识别T2时刻下真实场景画面中的物体信息并检测T2时刻下真实场景画面中场景物体的位置信息，得到相应的第二图像识别结果。

AR穿戴设备从预设存储空间中获取T1时刻下A物体的第一位置信息，并利用T1时刻和T2时刻之间设备的位姿变化信息以及上述第一位置信息，确定A物体在T2时刻下的第二位置信息，并判断上述第二位置信息是否满足基于A物体位于画面边缘外的比例大小以及画面中A物体的面积大小占比构建的预设条件，如果满足则获取预设存储空间中保存的A物体的物体信息，并发送至设备显示画面中A物体的上方区域进行显示。

AR穿戴设备获取云端服务器返回的第二图像识别结果，并通过将第二图像识别结果与当前预设存储空间中保存的信息进行比对，当确定出第二图像识别结果中的B物体是场景中的新物体时，则将B物体的物体信息以及位置信息保存至预设存储空间。

相应的，参见图11所示，本申请实施例还公开了一种信息显示装置，应用于将虚拟信息与真实场景进行叠加显示的设备，包括：

位姿获取模块11，用于获取所述设备在第一时刻与第二时刻之间的位姿变化信息；

位置确定模块12，用于利用所述位姿变化信息以及预设存储空间中保存的已被识别物体在所述第一时刻下的第一位置信息，确定所述已被识别物体在所述第二时刻下的第二位置信息；

信息显示模块13，用于当所述第二位置信息满足预设条件，则获取所述预设存储空间中保存的所述已被识别物体的物体信息，并发送至设备显示画面中基于所述第二位置信息确定出的目标显示区域进行显示。

其中，关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

由此可见，本申请实施例在对当前时刻下设备显示画面中的物体信息进行显示时，会先基于上一时刻下已被识别物体的第一位置信息以及这两个时刻之间设备的位姿变化信息，确定出当前时刻下上述已被识别物体的第二位置信息，如果第二位置信息符合预设条件，则可以基于上述第二位置信息确定出相应的目标显示区域，并直接从预设存储空间中获取上述已被识别物体的物体信息并将其显示在上述目标显示区域中，避免了需要通过重新进行特征点提取和特征点匹配才能够得到上述物体信息以及相应的目标显示区域，由此减少了特征点提取和匹配方面所带来的时间消耗，从而有效减少了视野画面中物体信息的显示延迟，提升了视野画面中物体信息的显示速度。

进一步的，本申请实施例还提供了一种电子设备。图12是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。

图12为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、显示屏23、输入输出接口24、通信接口25、电源26、通信总线27以及传感器28。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的信息显示方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。

本实施例中，电源26用于为电子设备20上的各硬件设备提供工作电压；通信接口25能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口24，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。传感器28用于对周围环境的信息进行探测，包括但不限于深度传感器、惯性测量单元等。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括计算机程序221，存储方式可以是短暂存储或者永久存储。其中，计算机程序221除了包括能够用于完成前述任一实施例公开的由电子设备20执行的信息显示方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本申请实施例还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的信息显示方法。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种信息显示方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种信息显示方法，其特征在于，应用于将虚拟信息与真实场景进行叠加显示的设备，包括：

获取所述设备在第一时刻与第二时刻之间的位姿变化信息；

利用所述位姿变化信息以及预设存储空间中保存的已被识别物体在所述第一时刻下的第一位置信息，确定所述已被识别物体在所述第二时刻下的第二位置信息；

若所述第二位置信息满足预设条件，则获取所述预设存储空间中保存的所述已被识别物体的物体信息，并发送至设备显示画面中基于所述第二位置信息确定出的目标显示区域进行显示。

2.根据权利要求1所述的信息显示方法，其特征在于，还包括：

采集任意时刻下的真实场景画面；

将所述真实场景画面发送至预设的图像识别平台，以通过所述图像识别平台识别所述真实场景画面中的物体信息并检测所述真实场景画面中场景物体的位置信息，得到相应的图像识别结果；

将所述图像识别平台返回的所述图像识别结果保存至所述预设存储空间。

3.根据权利要求2所述的信息显示方法，其特征在于，通过所述图像识别平台识别所述真实场景画面中的物体信息，包括：

利用所述图像识别平台中预先基于人工智能算法构建的图像识别模型，识别所述真实场景画面中场景物体的物体类型，并基于所述物体类型从预设信息库中查找与所述场景物体对应的具体描述信息。

4.根据权利要求2所述的信息显示方法，其特征在于，通过所述图像识别平台检测所述真实场景画面中场景物体的位置信息，包括：

通过所述图像识别平台检测场景物体在所述真实场景画面中的画面区域尺寸信息，以及检测所述场景物体在与所述真实场景画面对应的图像坐标系中的二维坐标信息。

5.根据权利要求2所述的信息显示方法，其特征在于，所述采集任意时刻下的真实场景画面，包括：

采集任意时刻下的真实场景画面以及画面深度信息；

相应的，将所述真实场景画面发送至预设的图像识别平台，以通过所述图像识别平台检测所述真实场景画面中场景物体的位置信息，包括：

将所述真实场景画面以及所述画面深度信息发送至预设的图像识别平台，以通过所述图像识别平台检测场景物体在所述真实场景画面中的画面区域尺寸信息，以及检测所述场景物体在与所述真实场景画面对应的图像坐标系中的二维坐标信息，并基于所述画面深度信息将所述二维坐标信息映射至相机坐标系，以得到所述场景物体在所述相机坐标系中的三维坐标信息。

6.根据权利要求2所述的信息显示方法，其特征在于，所述将所述图像识别平台返回的所述图像识别结果保存至所述预设存储空间，包括：

将所述图像识别结果中的物体信息与当前所述预设存储空间中保存的物体信息进行比对，以从所述图像识别结果中筛选出当前未被保存于所述预设存储空间中的目标静态物体的物体信息；

将所述图像识别结果中所述目标静态物体的物体信息以及相应的位置信息保存至所述预设存储空间。

7.根据权利要求1所述的信息显示方法，其特征在于，所述确定所述已被识别物体在所述第二时刻下的第二位置信息之后，还包括：

利用所述第二位置信息对所述预设存储空间中的所述第一位置信息进行更新。

8.根据权利要求1至7任一项所述的信息显示方法，其特征在于，所述若所述第二位置信息满足预设条件，则获取所述预设存储空间中保存的所述已被识别物体的物体信息，并发送至设备显示画面中基于所述第二位置信息确定出的目标显示区域进行显示，包括：

基于所述第二位置信息确定出所述已被识别物体在设备显示画面中对应的画面区域，并确定所述画面区域对应的物体尺寸与所述已被识别物体的完整尺寸之间的第一比值；

若所述第一比值不小于第一预设阈值，则确定所述画面区域的区域面积与所述设备显示画面的整个画面面积之间的第二比值；

若所述第二比值小于第二预设阈值，则将所述预设存储空间中保存的所述已被识别物体的物体信息发送至所述设备显示画面中基于所述画面区域确定出的目标显示区域进行显示。

9.根据权利要求8所述的信息显示方法，其特征在于，所述将所述预设存储空间中保存的所述已被识别物体的物体信息发送至所述设备显示画面中基于所述画面区域确定出的目标显示区域进行显示，包括：

从所述设备显示画面上确定出与所述画面区域之间存在固定相对位置关系的目标显示区域，并将所述预设存储空间中保存的所述已被识别物体的物体信息发送至所述目标显示区域进行显示。

10.一种信息显示装置，其特征在于，应用于将虚拟信息与真实场景进行叠加显示的设备，包括：

位姿获取模块，用于获取所述设备在第一时刻与第二时刻之间的位姿变化信息；

位置确定模块，用于利用所述位姿变化信息以及预设存储空间中保存的已被识别物体在所述第一时刻下的第一位置信息，确定所述已被识别物体在所述第二时刻下的第二位置信息；

信息显示模块，用于当所述第二位置信息满足预设条件，则获取所述预设存储空间中保存的所述已被识别物体的物体信息，并发送至设备显示画面中基于所述第二位置信息确定出的目标显示区域进行显示。

11.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至9任一项所述的信息显示方法的步骤。

12.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的信息显示方法的步骤。

Images