CN111161357B - 信息处理方法及装置、增强现实设备和可读存储介质 - Google Patents

Abstract

本公开提供了一种信息处理方法，包括：获得增强现实设备所在物理空间的当前时刻的第一图像，该第一图像包括通过镜面反射的第二图像；以及根据针对当前时刻的预测信息，从第一图像中提取得到一个或多个第一特征，以根据一个或多个第一特征确定相机的位姿信息。其中，增强现实设备包括相机和惯性传感器；预测信息根据增强现实设备中惯性传感器的运动信息确定；针对当前时刻的预测信息包括第二特征在相机坐标系中的预测位置，第二特征包括从前一时刻的第二图像中提取得到的特征，一个或多个第一特征不包括第二特征。本公开还提供了一种信息处理装置、一种增强现实设备及一种计算机可读存储介质。

Description

信息处理方法及装置、增强现实设备和可读存储介质

技术领域

本公开涉及增强现实技术领域；尤其涉及一种信息处理方法及装置、增强现实设备和可读存储介质。

背景技术

随着科技的快速发展，将真实世界信息和虚拟世界信息“无缝”集成的新技术增强现实有望能够应用于更多场景中，以丰富现实世界，构建更加丰富和美好的世界。

相关技术中，在增强现实设备遇到镜面环境时，由于镜面反射出的图像会随着增强现实设备中相机的运动而改变位置，从而导致在前后两帧图像中匹配的特征点在实际三维空间中的位置并不相同。这无疑会使得增强现实设备在图像处理时出现严重的错误匹配，从而影响显示虚拟图像的精度。

发明内容

本公开的一个方面提供了一种信息处理方法，该方法包括：获得增强现实设备所在物理空间的当前时刻的第一图像，该第一图像包括通过镜面反射的第二图像；以及根据针对当前时刻的预测信息，从第一图像中提取得到一个或多个第一特征，以根据一个或多个第一特征确定相机的位姿信息。其中，增强现实设备包括相机和惯性传感器；预测信息根据增强现实设备中惯性传感器的运动信息确定。针对当前时刻的预测信息包括第二特征在相机坐标系中的预测位置，第二特征包括从前一时刻的第二图像中提取得到的特征，一个或多个第一特征不包括第二特征。

可选地，从第一图像中提取得到一个或多个第一特征包括：根据第二特征在相机坐标系中的预测位置，确定第二特征在第一图像中的预测位置；以第二特征在第一图像中的预测位置为中心，确定第一图像的追踪范围；以及根据追踪范围，采用光流法追踪得到一个或多个第一特征。

可选地，上述信息处理方法还包括在提取得到一个或多个第一特征之后：获得惯性传感器在当前时刻的第一运动信息；以及根据第一运动信息，确定针对下一时刻的预测信息，以更新针对当前时刻的预测信息。

可选地，上述根据第一运动信息，确定针对下一时刻的预测信息包括：根据第一运动信息和相机与惯性传感器之间的外参，确定相机在当前时刻的第二运动信息；以及根据第二运动信息，确定针对下一时刻的预测信息。

可选地，上述信息处理方法还包括在获得第一运动信息之前，获得惯性传感器检测得到的惯性数据。上述根据第二运动信息，确定针对下一时刻的预测信息包括：获得一个或多个第一特征在第一图像中的第一位置信息；根据第一位置信息、惯性数据和前一时刻的图像中与一个或多个第一特征匹配的特征的第二位置信息，确定相机的位姿信息；以及根据一个或多个第一特征中第三特征的第一位置信息、位姿信息及第二运动信息，确定针对下一时刻的预测信息。其中，第三特征包括从当前时刻的第二图像中提取得到的特征。

可选地，上述信息处理方法还包括在获得增强现实设备所在物理空间的当前时刻的图像之前：标定相机和惯性传感器，得到相机和惯性传感器之间的外参。

本公开的另一方面提供了一种信息处理装置，该装置包括：图像获得模块，用于获得增强现实设备所在物理空间的当前时刻的第一图像，该第一图像包括通过镜面反射的第二图像；特征提取模块，用于根据针对当前时刻的预测信息，从第一图像中提取得到一个或多个第一特征，以根据一个或多个第一特征在确定相机的位姿信息。其中，增强现实设备包括相机和惯性传感器；预测信息根据增强现实设备中惯性传感器的运动信息确定；针对当前时刻的预测信息包括第二特征在相机坐标系中的预测位置，第二特征包括从前一时刻的第二图像中提取得到的特征，一个或多个第一特征不包括第二特征。

可选地，上述特征提取模块包括：位置确定子模块，用于根据第二特征在相机坐标系中的预测位置，确定第二特征在第一图像中的预测位置；范围确定子模块，用于以第二特征在第一图像中的预测位置为中心，确定第一图像的追踪范围；以及特征追踪子模块，用于根据追踪范围，采用光流法追踪得到一个或多个第一特征。

本公开的另一方面还提供了一种增强现实设备，该设备包括：相机，用于获得增强现实设备所在物理空间的图像；一个或多个处理器，与相机连接，用于获得图像；存储装置，用于存储一个或多个程序。其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述的信息处理方法。

本公开的另一方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述的信息处理方法。

根据本公开的实施例，在镜面环境下提取增强现实设备所在物理空间的图像中的特征时：相较于仅根据图像提取特征的技术方案，本公开通过结合根据惯性传感器的运动信息确定的预测信息进行提取，可以至少部分地避免提取得到与前一时刻镜面反射的图像中的特征匹配的特征，从而可以保证确定相机位姿时依据的特征为相较于相机固定不动的特征，提高相机位姿确定的准确性。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1A示意性示出了根据本公开实施例的信息处理方法及装置、增强现实设备和可读存储介质的应用场景图；

图1B示意性示出了在增强现实设备移动时通过镜面追踪物体的示意图；

图2示意性示出了根据本公开示例性实施例一的信息处理方法的流程图；

图3示意性示出了根据本公开实施例的从图像中提取得到至少一个特征的流程图；

图4示意性示出了根据本公开示例性实施例二的信息处理方法的流程图；

图5示意性示出了根据本公开实施例的根据第一运动信息确定针对下一时刻的预测信息的流程图；

图6示意性示出了根据本公开实施例的根据第二运动信息确定针对下一时刻的预测信息的流程图；

图7示意性示出了根据本公开示例性实施例三的信息处理方法的流程图；

图8示意性示出了根据本公开实施例的信息处理装置的结构框图；以及

图9示意性示出了根据本公开实施例的增强现实设备的结构框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

本公开实施例提供了一种信息处理方法，该方法包括：获得增强现实设备所在物理空间的当前时刻的第一图像，该第一图像包括通过镜面反射的第二图像；以及根据针对当前时刻的预测信息，从第一图像中提取得到一个或多个第一特征，以根据一个或多个第一特征确定相机的位姿信息。其中，增强现实设备包括相机和惯性传感器；预测信息根据增强现实设备中惯性传感器的运动信息确定。针对当前时刻的预测信息包括第二特征在相机坐标系中的预测位置，第二特征包括从前一时刻的第二图像中提取得到的特征，一个或多个第一特征不包括第二特征。

本公开实施例的信息处理方法，在镜面环境下提取增强现实设备所在物理空间的图像中的特征时，结合根据惯性传感器的运动信息确定的预测信息进行提取，相较于仅根据图像提取特征的技术方案，可以至少部分地避免提取得到与前一时刻镜面反射的图像中的特征匹配的特征，从而可以保证确定相机位姿时依据的特征为相较于相机固定不动的特征，提高相机位姿确定的准确性。相较于依靠外加传感器获取位置固定不动的特征的技术方案，可以至少部分的降低硬件成本和维护成本，增加设备的稳定性。

以下将结合图1A～图1B对本公开提供的信息处理方法的应用场景进行详细描述。

图1A示意性示出了根据本公开实施例的信息处理方法及装置、增强现实设备和可读存储介质的应用场景图，图1B示意性示出了在增强现实设备移动时通过镜面追踪物体的示意图。需要注意的是，图1A所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1A所示，该应用场景100例如可以包括用户110、镜子120和增强现实设备130，其中，用户110佩戴增强现实设备130，镜子120位于用户110和增强现实设备130所在的物理空间中。用户110可以通过增强现实设备130观看所在物理空间，并在增强现实设备130的作用下，在为用户110展示所在物理空间的真实图像的同时，在目标物体上增加显示虚拟物体，以为用户110提供更多的信息。

其中，增强现实设备130例如可以包括相机和惯性测量单元(IMU，InertialMeasurement Unit)。该相机例如可以为单目相机，具体例如可以为RGB-D相机。该惯性测量单元用于测量物体三轴姿态角(或角速率)及加速度的装置。IMU可以包括三个单轴的加速度计和三个单轴的陀螺，加速度计检测物理在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度。

根据本公开的实施例，为了确定相机的位姿，一般需要通过对特征的追踪来确定。在追踪特征时，如图1B所示，用户110例如可以佩戴增强现实设备130沿着与镜子120的宽度平行的方向移动，例如用户110可以由C1点移动至C2。在用户位于C1点时，用户通过镜子120看到物理空间中的物体A时，相对于用户而言，物体A的反射点在A1点。而当用户移动至C2点时，用户通过镜子120看到物理空间中的物体A时，相对于用户而言，物体A的反射点由A1点移动至A2点。此种情况下，若以物体A的反射点作为特征来确定增强现实设备130中相机的位姿时，由于物体A的反射点是移动的，而并非固定不动，因此存在典型的匹配错误，导致确定的相机的位姿不准确。

为了解决在镜面环境下该相机位姿不准确的问题，可以在确定相机的位姿时，根据IMU检测得到的惯性数据来优化相机位姿。但随着追踪距离和/或追踪时间的累积，会由于IMU本身的检测误差导致位姿精准度逐渐降低。或者，也可以在增强现实设备中设置除IMU外的其他传感器来获取相机的位置信息。但这无疑会提高硬件成本和维护成本，增加设备的不稳定性。

为了解决该问题，同时保证设备的高稳定性，及相机位姿的精准度不会随着追踪距离和追踪时间的累积而降低，本公开提供的信息处理方法例如可以通过引入惯性传感器来确定增强现实设备130中相机的运动。在追踪特征时，综合考虑该相机的运动来进行追踪。例如，可以在对特征进行追踪时，根据相机的运动来预测追踪特征的预测位置，例如可以结合相机的运动预测特征所在位置为A3点，然后在该预测位置附近进行追踪的特征的筛选，以将追踪的错误的特征(物体A的反射点A2点)剔除。从而保证确定相机位姿的特征点的准确性，使得该方法尤其适用于增强现实设备需要进行长距离、长时间工作的场景。

需要说明的是，本公开实施例的信息处理方法例如可以由增强现实设备130执行。相应地，信息处理装置可以设置于增强现实设备130中。可以理解的是，图1A中的增强现实设备的结构仅作为示例以利于理解本公开，本公开对此不作限定。

以下结合图1A～图1B，参考图2～图7对本公开实施例提供的信息处理方法进行详细描述。

图2示意性示出了根据本公开示例性实施例一的信息处理方法的流程图。

如图2所示，该实施例的信息处理方法例如可以包括操作S210～操作S220。

在操作S210，获得增强现实设备所在物理空间的当前时刻的第一图像，该第一图像包括通过镜面反射的第二图像。

根据本公开的实施例，增强现实设备包括相机和惯性传感器，其中，惯性传感器例如可以为前述的IMU。该操作S210获得的图像例如可以是相机在当前时刻拍摄得到的图像。该相机的视角范围内包括镜子120，因此，拍摄得到的图像中包括通过镜面反射的图像。

在操作S220，根据针对当前时刻的预测信息，从第一图像中提取得到一个或多个第一特征，以根据一个或多个第一特征确定所述相机的位姿信息。

根据本公开的实施例，预测信息根据例如可以是根据增强现实设备中惯性传感器的运动信息确定的。针对当前时刻的预测信息包括第二特征在相机坐标系中的预测位置，该第二特征可以包括：通过操作S210相同的方法获得的前一时刻拍摄得到的图像中，包括的通过镜面反射的第二图像中提取得到的特征。其中，惯性传感器的运动信息例如可以根据其检测得到的三轴加速度及三轴角速率确定得到。

根据本公开的实施例，考虑到对于单目相机，是根据当前时刻图像与前一时刻图像中匹配的特征来确定位姿信息的。为了保证用于确定相机的位姿信息的特征中不包括位置不固定的特征，从当前时刻的图像中提取得到的一个或多个第一特征中不包括前述的第二特征。

根据本公开的实施例，由于操作S210中获得的第一图像包括通过镜面反射的第二图像。因此该操作S220中提取得到的第一特征中包括从通过镜面反射的第二图像提取得到的第三特征。该第三特征可以用于确定针对下一时刻的预测信息。

根据本公开的实施例，通过根据预测信息来提取特征，可以将前一时刻的图像中通过镜面反射的图像中的特征剔除，从而可以剔除错误的特征，至少部分地避免特征错误匹配的情况。因此，在根据前一时刻的图像和当前时刻的图像中的匹配特征确定相机的位姿时，可以保证确定的相机位姿的准确性，并因此可以提高虚拟物体与真实物体的融合度，提高用户体验。

图3示意性示出了根据本公开实施例的从图像中提取得到至少一个特征的流程图。

如图3所示，从图像中提取得到至少一个特征的操作S220例如可以包括操作S321～操作S323。

在操作S321，根据第二特征在相机坐标系中的预测位置，确定第二特征在第一图像中的预测位置。

根据本公开的实施例，相机坐标系为三维坐标系，第二特征在相机坐标中的预测位置例如可以包括：该第二特征对应的三维空间中的目标物体在相机坐标系中的预测坐标值。该操作S321例如可以包括：根据相机坐标系与图像坐标系的转换关系，将该目标物体在相机坐标系中的预测坐标值转换为第二特征在图像坐标系中的预测坐标值。相应地，第二特征在第一图像中的预测位置为第二特征在图像坐标系中的预测坐标值。

在操作S322，以第二特征在第一图像中的预测位置为中心，确定第一图像的追踪范围。

该操作S322例如可以包括：确定第二特征在第一图像中的预测位置为中心，向外辐射预定距离得到的图像范围为追踪范围。其中，该预定距离可以根据实际需求进行设定，该预定距离应以该第一图像的追踪范围内不包括该第二特征为前提进行设定。

根据本公开的实施例，该预定距离例如可以根据惯性传感器在前一时刻的运动信息、第二特征在前一时刻的图像中的位置及小孔成像原理确定，以保证该预定距离小于物体在镜面的反射点在该前一时刻到当前时刻移动的距离。

在操作S323，提取所述第一图像的追踪范围内的特征，得到一个或多个第一特征。

根据本公开的实施例，该操作S323例如可以包括：采用SIFT(Scale-InvariantFeature Transform，尺度不变特征变换)特征提取算法、HOG特征提取方法或预训练得到的神经网络提取该第一图像的追踪范围内的图像包括的特征，得到第一特征。该第一特征例如可以包括该追踪范围内包括的物体的边缘点、物体的角点、物体的纹理特征等。

根据本公开的实施例，为了便于提取后续获得的图像中的特征，应实时根据惯性传感器的运动信息来更新预测信息。

图4示意性示出了根据本公开示例性实施例二的信息处理方法的流程图。

如图4所示，该实施例的信息处理方法除了操作S210～操作S220外，还可以包括操作S430～操作S440。

在操作S430，获得惯性传感器在当前时刻的第一运动信息。

根据本公开的实施例，为了便于获得惯性传感器的第一运动信息，该实施例的信息处理方法例如还可以包括在操作S430之前，获得传感器检测得到的惯性数据。该惯性数据可以包括通过惯性传感器的三轴加速度和三轴角速率。该惯性数据例如可以包括当前时刻的惯性数据及当前时刻之前的预定时段内每个时刻的惯性数据。其中，预定时段可以根据实际需求进行设定，或者，该预定时段例如可以根据惯性传感器的响应时间进行设定等，本公开对此不作限定。

操作S430例如可以包括：通过将惯性数据中的三轴加速度针对该预定时段进行积分，得到惯性传感器在当前时刻的速度。然后根据惯性数据中包括的当前时刻的三轴角速率确定当前时刻的角速度。以确定的惯性传感器在当前时刻的速度和角速度作为当前时刻的第一运动信息。

在操作S440，根据第一运动信息，确定针对下一时刻的预测信息，以更新针对所述当前时刻的预测信息。该操作S440例如可以通过图5描述的流程来实现，在此不再详述。

图5示意性示出了根据本公开实施例的根据第一运动信息确定针对下一时刻的预测信息的流程图。

如图5所示，根据第一运动信息确定针对下一时刻的预测信息的操作S440例如可以包括操作S541～操作S542。

在操作S541，根据第一运动信息和相机与惯性传感器之间的外参，确定相机在当前时刻的第二运动信息。

根据本公开的实施例，由于在增强现实设备的使用过程中，相机和惯性传感器的相对位置是固定的。因此，根据相机与惯性传感器之间的位置相对关系、以及惯性传感器的速度和角速度，可以得到相机的速度和角速度。该操作S541例如可以包括：根据相机与惯性传感器之间的外参，转换惯性传感器在当前时刻的速度得到相机在当前时刻的速度，转换惯性传感器在当前时刻的速度得到相机在当前时刻的角速度。

根据本公开的实施例，相机与惯性传感器之间的外参例如可以包括旋转矩阵R和平移向量T。该旋转矩阵R和平移向量T具体为基于惯性传感器建立的三维坐标系与基于相机建立的三维坐标系之间的转换关系。因此，若惯性传感器在当前时刻的速度为V_IMU，则转换得到的相机在当前时刻的速度V_camera＝R*V_IMU+T。基于相同的方法，根据惯性传感器在当前时刻的角速度，可以得到相机在当前时刻的角速度。相机在当前时刻的第二运动信息包括该转换得到的相机在当前时刻的速度和角速度。

在操作S542，根据第二运动信息，确定针对下一时刻的预测信息。

根据本公开的实施例，该操作S542例如可以包括：先从操作S220中得到的一个或多个第一特征中，确定从通过镜面反射的第二图像中的特征为第三特征。然后确定该第三特征在第一图像中的位置，并根据该在第一图像中的位置确定第三特征对应的物理空间中目标点在相机坐标系中的位置。最后根据目标点在相机坐标系中的位置及相机在当前时刻的速度和角速度，确定在下一时刻时第三特征对应的目标点在相机坐标系中的位置。将该下一时刻时第三特征对应的目标点在相机坐标系中的位置作为第三特征在相机坐标系中的预测位置，从而得到针对下一时刻的预测信息。

根据本公开的实施例，该操作S542例如可以通过图6描述的流程来实现，在此不再详述。

图6示意性示出了根据本公开实施例的根据第二运动信息确定针对下一时刻的预测信息的流程图。

如图6所示，根据第二运动信息确定针对下一时刻的预测信息的操作S542例如可以包括操作S6421～操作S6423。

在操作S6421，获得一个或多个第一特征在第一图像中的第一位置信息。

根据本公开的实施例，该操作S6421例如可以包括：确定一个或多个第一特征中，每个第一特征在基于第一图像建立的图像坐标系中的坐标值，以该坐标值作为第一位置信息。

在操作S6422，根据第一位置信息、惯性数据和前一时刻的图像中与一个或多个第一特征匹配的特征的第二位置信息，确定相机的位姿信息。

根据本公开的实施例，该操作S6422例如可以包括：先获取通过操作S210类似的方法获得的增强现实设备所在物理空间在前一时刻的图像的一个或多个第四特征，以及每个第四特征在基于前一时刻的图像建立的图像坐标系中的坐标值。该第四特征例如可以是通过操作S321～操作S322类似的方法得到，并存储于增强现实设备中的存储空间中的。每个第四特征在基于前一时刻的图像建立的图像坐标系中的坐标值即为第二位置信息。在得到该一个或多个第四特征后，将每个第一特征与一个或多个第四特征中的每个特征进行比对，确定一个或多个第四特征中是否包括与该每个第一特征匹配的特征。最终得到一个或多个匹配特征组，每个匹配特征组包括匹配的一个第一特征和一个第四特征。最后根据该一个或多个匹配特征组中匹配的第一特征的第一位置信息和第四特征的位置信息，以及惯性数据来确定相机的位姿信息。

根据本公开的实施例，根据第一特征的第一位置信息、匹配的第四特征的第二位置信息及惯性数据确定相机的位姿信息例如可以包括：先根据第一特征与第四特征的匹配，将第一位置信息和第二位置信息匹配起来，以相机的位姿信息为变量，根据该匹配结果构建BA(Bundle adjustment)优化问题，构成图像对相机的位姿信息的约束。然后对获得当前时刻的第一图像与获得前一时刻的图像之间的时间段内的采集的多组惯性数据进行预积分，根据该预积分的结果和高斯误差传播模型构建得到IMU数据对相机的位姿信息的约束。最后将两部分约束条件加在一起形成联合最小二乘优化问题，通过利用高斯-牛顿法对该联合最小二乘优化问题进行求解，确定取最小值时变量(相机的位姿信息)的取值为最终确定的相机的位姿信息。

在操作S6423，根据一个或多个第一特征中第三特征的第一位置信息、位姿信息及第二运动信息，确定针对下一时刻的预测信息。

该操作S6432例如可以包括：先确定一个或多个特征中包括的前述的第三特征。其中，在确定第三特征时，例如可以通过识别第一图像，确定镜面所覆盖的图像范围，然后确定从该图像范围中提取得到的特征为第三特征。然后根据相机的位姿信息及第二运动信息，确定相机在下一时刻的位姿信息。例如，若当前时刻相机的位姿信息中的位置信息为世界坐标系中的点p0(x0，y0，z0)，相机的第二运动信息中的速度为v，则相机在下一时刻的位置信息p1(x1，y1，z1)＝p0(x0，y0，z0)+v*dt。其中，dt为当前时刻与下一时刻之间的时间间隔。

在确定了相机在下一时刻的位姿信息及第三特征点后，根据该第三特征在基于第一图像建立的二维坐标系中的坐标值、相机的内参，转换得到该第三特征对应的物理空间中的目标点的坐标值。该坐标值为目标点在基于相机建立的三维坐标中的坐标值。最后根据该坐标值及相机的第一运动信息及位姿，确定第三特征对应的目标点在下一时刻的预测坐标值。

根据本公开的实施例，为了提高预测信息的准确性，例如可以在使用增强现实设备时，先对增强现实设备中的相机和惯性传感器进行标定。

图7示意性示出了根据本公开示例性实施例三的信息处理方法的流程图。

如图7所示，该实施例的信息处理方法除了操作S210～操作S220，及操作S430～操作S440外，还可以包括操作S750。该操作S750可以在操作S210之前执行。

在操作S750，标定相机和惯性传感器，得到相机和惯性传感器之间的外参。根据本公开的实施例，该操作S750例如可以包括：对相机与惯性传感器之间的相对位姿的标定，以及对相机和惯性传感器之间的时间差的标定。其中，相对位姿标定的结果包括前述相机与惯性传感器之间的外参，例如可以包括旋转矩阵R和平移向量T。

图8示意性示出了根据本公开实施例的信息处理装置的结构框图。

如图8所示，该实施例的信息处理装置800例如可以包括图像获得模块810和特征提取模块820。

图像获得模块810用于获得增强现实设备所在物理空间的当前时刻的第一图像，该第一图像包括通过镜面反射的第二图像(操作S210)。

特征提取模块820用于根据针对当前时刻的预测信息，从第一图像中提取得到一个或多个第一特征，以根据一个或多个第一特征确定相机的位姿信息(操作S220)。其中，增强现实设备包括相机和惯性传感器；预测信息根据增强现实设备中惯性传感器的运动信息确定；针对当前时刻的预测信息包括第二特征在相机坐标系中的预测位置，第二特征包括从前一时刻的第二图像中提取得到的特征，一个或多个第一特征不包括第二特征。

根据本公开的实施例，上述特征提取模块820例如可以包括位置确定子模块821、范围确定子模块822和特征追踪子模块823。位置确定子模块821用于根据第二特征在相机坐标系中的预测位置，确定第二特征在第一图像中的预测位置(操作S321)。范围确定子模块822用于以第二特征在第一图像中的预测位置为中心，确定第一图像的追踪范围(操作S322)。特征追踪子模块823用于提取第一图像的追踪范围内的特征，得到一个或多个第一特征(操作S323)。

根据本公开的实施例，如图8所示，该信息处理装置800例如还可以包括运动信息获得模块830和预测信息确定模块840。运动信息获得模块830用于获得惯性传感器在当前时刻的第一运动信息(操作S430)。预测信息确定模块840用于根据第一运动信息，确定针对下一时刻的预测信息，以更新针对当前时刻的预测信息(操作S440)。

根据本公开的实施例，如图8所示，预测信息确定模块840例如可以包括第一确定子模块841和第二确定子模块842。第一确定子模块841用于根据第一运动信息和相机与惯性传感器之间的外参，确定相机在当前时刻的第二运动信息(操作S541)。第二确定子模块842用于根据第二运动信息，确定针对下一时刻的预测信息(操作S542)。

根据本公开的实施例，如图8所示，上述信息处理装置800例如还可以包括惯性数据获得模块850，用于在运动信息获得模块830获得第一运动信息之前，获得惯性传感器检测得到的惯性数据。上述第二确定子模块842具体例如可以通过以下操作确定预测信息：获得一个或多个第一特征在第一图像中的第一位置信息(操作S6421)；根据第一位置信息、惯性数据和前一时刻的图像中与一个或多个第一特征匹配的特征的第二位置信息，确定相机的位姿信息(操作S6422)；以及根据一个或多个第一特征中第三特征的第一位置信息、位姿信息及第二运动信息，确定针对下一时刻的预测信息(操作S6423)。其中，第三特征包括从当前时刻的第二图像中提取得到的特征。

如图8所示，上述信息处理装置800还可以包括标定模块860，用于在图像获得模块810获得当前时刻增强现实设备所在物理空间的图像之前，标定相机和惯性传感器，得到相机和惯性传感器之间的外参(操作S750)。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图9示意性示出了根据本公开实施例的增强现实设备的结构框图。

如图9所示，增强现实设备900包括处理器910、计算机可读存储介质920、相机930和惯性传感器940。该增强现实设备900例如可以为图1A描述的增强现实设备130，可以执行根据本公开实施例的信息处理方法。

具体地，处理器910例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器910还可以包括用于缓存用途的板载存储器。处理器910可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质920，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。

计算机可读存储介质920可以包括计算机程序921，该计算机程序921可以包括代码/计算机可执行指令，其在由处理器910执行时使得处理器910执行根据本公开实施例的方法或其任何变形。

计算机程序921可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序921中的代码可以包括一个或多个程序模块，例如包括921A、模块921B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器910执行时，使得处理器910可以执行根据本公开实施例的方法或其任何变形。

根据本发明的实施例，增强现实设备900例如可以根据相机930拍摄的图像及惯性观感器940检测得到的惯性数据来执行信息处理方法。其中，相机930例如可以为RGB-D相机，惯性传感器940例如可以为IMU。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (8)

1.一种信息处理方法，包括：

获得增强现实设备所在物理空间的当前时刻的第一图像，所述第一图像包括通过镜面反射的第二图像；以及

根据针对所述当前时刻的预测信息，从所述第一图像中提取得到一个或多个第一特征，以根据所述一个或多个第一特征确定相机的位姿信息，

其中，所述增强现实设备包括所述相机和惯性传感器；预测信息根据所述增强现实设备中惯性传感器的运动信息确定；所述针对所述当前时刻的预测信息包括第二特征在所述相机坐标系中的预测位置，所述第二特征包括从前一时刻的第二图像中提取得到的特征，所述一个或多个第一特征不包括所述第二特征；

其中，从所述第一图像中提取得到所述一个或多个第一特征包括：

根据所述第二特征在所述相机坐标系中的预测位置，确定所述第二特征在所述第一图像中的预测位置；

以所述第二特征在所述第一图像中的预测位置为中心，确定所述第一图像的追踪范围；以及

提取所述第一图像的追踪范围内的特征，得到所述一个或多个第一特征。

2.根据权利要求1所述的方法，还包括在提取得到所述一个或多个第一特征之后：

获得所述惯性传感器在所述当前时刻的第一运动信息；以及

根据所述第一运动信息，确定针对下一时刻的预测信息，以更新所述针对所述当前时刻的预测信息。

3.根据权利要求2所述的方法，其中，所述根据所述第一运动信息，确定针对下一时刻的预测信息包括：

根据所述第一运动信息和所述相机与所述惯性传感器之间的外参，确定所述相机在所述当前时刻的第二运动信息；以及

根据所述第二运动信息，确定所述针对下一时刻的预测信息。

4.根据权利要求3所述的方法，其中：

所述方法还包括在获得所述第一运动信息之前，获得所述惯性传感器检测得到的惯性数据；

所述根据所述第二运动信息，确定所述针对下一时刻的预测信息包括：

获得所述一个或多个第一特征在所述第一图像中的第一位置信息；

根据所述第一位置信息、所述惯性数据和前一时刻的图像中与所述一个或多个第一特征匹配的特征的第二位置信息，确定所述相机的位姿信息；以及

根据所述一个或多个第一特征中第三特征的第一位置信息、所述位姿信息及所述第二运动信息，确定所述针对下一时刻的预测信息，

其中，所述第三特征包括从当前时刻的第二图像中提取得到的特征。

5.根据权利要求3所述的方法，还包括在获得增强现实设备所在物理空间的当前时刻的图像之前：

标定所述相机和所述惯性传感器，得到所述相机和所述惯性传感器之间的外参。

6.一种信息处理装置，包括：

图像获得模块，用于获得增强现实设备所在物理空间的当前时刻的第一图像，所述第一图像包括通过镜面反射的第二图像；

特征提取模块，用于根据针对所述当前时刻的预测信息，从所述第一图像中提取得到一个或多个第一特征，以根据所述一个或多个第一特征在确定相机的位姿信息，

其中，所述增强现实设备包括所述相机和惯性传感器；预测信息根据所述增强现实设备中惯性传感器的运动信息确定；所述针对所述当前时刻的预测信息包括第二特征在所述相机坐标系中的预测位置，所述第二特征包括从前一时刻的第二图像中提取得到的特征，所述一个或多个第一特征不包括所述第二特征；

其中，所述特征提取模块包括：

位置确定子模块，用于根据所述第二特征在所述相机坐标系中的预测位置，确定所述第二特征在所述第一图像中的预测位置；

范围确定子模块，用于以所述第二特征在所述第一图像中的预测位置为中心，确定所述第一图像的追踪范围；以及

特征追踪子模块，用于根据所述追踪范围，采用光流法追踪得到所述一个或多个第一特征。

7.一种增强现实设备，包括：

相机，用于获得所述增强现实设备所在物理空间的图像；

一个或多个处理器，与所述相机连接，用于获得所述图像；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行权利要求1～5中任一项所述的信息处理方法。

8.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行权利要求1～5中任一项所述的信息处理方法。