CN113436309A - 一种场景重建方法、系统、装置及扫地机器人 - Google Patents

Abstract

本发明公开了一种场景重建方法、系统、装置及扫地机器人，其中，所述方法包括：获取当前的环境状态；根据当前的环境状态选择第一位姿或第二位姿作为适用于当前时刻的位姿，并根据选择的第一位姿和/或第二位姿建立场景模型；其中，第一位姿为当前时刻的图像数据对应的位姿，第二位姿为当前时刻的惯性测量数据对应的位姿。本申请提供的技术方案，能够提高场景重建的准确性和鲁棒性。

Description

一种场景重建方法、系统、装置及扫地机器人

技术领域

本发明涉及数据处理技术领域，特别涉及一种场景重建方法、系统、装置及扫地机器人。

背景技术

在当前的三维场景重建技术中，可以利用相机获取场景的图像，并通过提取图像特征、利用图像特征进行特征匹配等手段得到匹配的图像特征。然后，可以基于匹配的图像特征进行稀疏重建，从而得到各个图像的相机位姿。最终，可以基于相机位姿进行稠密重建，得到稠密点云，该稠密点云便可以用于重建三维场景。

目前的三维重建过程中，由于室内场景比较复杂，基于相机获取的图像来重建室内场景时，可能会导致准确性和鲁棒性较低的情况。

发明内容

本申请的目的在于提供一种场景重建方法、系统、装置及扫地机器人，能够提高场景重建的准确性和鲁棒性。

为实现上述目的，本申请一方面提供一种场景重建方法，所述方法包括：获取当前的环境状态；根据当前的环境状态选择第一位姿或第二位姿作为适用于当前时刻的位姿，并根据选择的第一位姿和/或第二位姿建立场景模型；其中，第一位姿为当前时刻的图像数据对应的位姿，第二位姿为当前时刻的惯性测量数据对应的位姿。

为实现上述目的，本申请另一方面还提供一种场景重建系统，所述系统包括：环境状态获取单元，用于获取当前的环境状态；位姿选择单元，用于根据当前的环境状态选择第一位姿或第二位姿作为适用于当前时刻的位姿，并根据选择的第一位姿和/或第二位姿建立场景模型；其中，第一位姿为当前时刻的图像数据对应的位姿，第二位姿为当前时刻的惯性测量数据对应的位姿。

为实现上述目的，本申请另一方面还提供一种场景重建装置，所述场景重建装置包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，用于实现以下功能：获取当前的环境状态；根据当前的环境状态选择第一位姿或第二位姿作为适用于当前时刻的位姿，并根据选择的第一位姿和/或第二位姿建立场景模型；其中，第一位姿为当前时刻的图像数据对应的位姿，第二位姿为当前时刻的惯性测量数据对应的位姿。

为实现上述目的，本申请另一方面还提供一种扫地机器人，所述扫地机器人包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，用于实现以下功能：获取当前的环境状态；根据当前的环境状态选择第一位姿或第二位姿作为适用于当前时刻的位姿，并根据选择的第一位姿和/或第二位姿建立场景模型；其中，第一位姿为当前时刻的图像数据对应的位姿，第二位姿为当前时刻的惯性测量数据对应的位姿。

由上可见，本申请一个或者多个实施方式提供的技术方案，在进行场景重建时，可以获取当前的环境状态，该环境状态可以比较准确地体现室内场景。在某些环境状态下，比如在亮度突变、视觉信息不够明显等情况下，依赖图像数据生成的位姿会发生比较大的错误，此时，可以采用惯性测量单元中的惯性测量数据生成的位姿，从而使得生成的三维模型比较准确。由于图像数据能够准确地表征室内场景，但图像数据容易受到外界环境影响，而惯性测量数据只与设备自身的运动状态有关，其生成的位姿不会受到外界环境影响，因此结合这两种数据进行场景重建，能够保证较高的准确性和鲁棒性。

附图说明

为了更清楚地说明本发明实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施方式中场景重建方法的步骤示意图；

图2是本发明实施方式中场景重建的流程图；

图3是本发明实施方式中像素点映射的示意图；

图4是本发明实施方式中场景重建系统的功能模块示意图；

图5是本发明实施方式中场景重建装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施方式及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施方式仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。

在实际应用中，进行三维场景重建的设备上可以安装图像传感器，该图像传感器具备图像采集功能。通过该图像传感器，可以在设备的行进过程中采集室内场景对应的图像数据。在一个具体应用示例中，该图像传感器可以是RGB-D传感器。通过该RGB-D传感器，可以采集到RGB-D数据，在该RGB-D数据中，可以包括RGB图像和深度图像。

在现有技术中，可以通过对图像传感器采集的图像数据进行处理，从而进行三维场景重建。然而，通过图像传感器捕捉室内场景时，很可能会遇到亮度突变、视觉信息不够明显、转向过快等环境状态不稳定的情况。例如，当设备从向阳处移动至背光处时，图像传感器采集到的图像可能会出现亮度突变的情况。又例如，室内场景很可能会出现纹理信息不够丰富、深度变化不够明显的区域。这些区域例如可以是墙壁、天花板、地板等。当图像传感器采集这些区域的图像时，会由于缺少足够的视觉信息，而导致无法进行图像之间的准确匹配。因此，仅仅依靠图像传感器采集的图像数据，可能无法进行高精度的场景重建。

鉴于此，本申请一个实施方式提供一种场景重建方法，该方法可以由进行三维场景重建的设备执行，也可以由专门负责数据处理的服务器执行。其中，进行三维场景重建的设备可以是机器人、自动驾驶汽车、虚拟现实眼镜等。举例来说，扫地机器人在行进过程中，可以采集所需的各项数据，然后利用内置的操作系统对采集的数据进行处理，从而完成场景重建的过程。又例如，扫地机器人可以与天猫精灵、云端服务器等具备数据处理功能的设备进行通信，从而将采集的各项数据上传至具备数据处理功能的设备中，从而通过具备数据处理功能的设备对采集的数据进行处理，进而完成场景重建的过程。

请参阅图1和图2，本申请一个实施方式提供的场景重建方法，可以包括以下多个步骤。

S1：获取当前的环境状态。

在本实施方式中，进行三维场景重建的设备上可以安装图像传感器和惯性测量单元(Inertial measurement unit，IMU)。其中，图像传感器可以是RGB-D传感器。当然，随着技术的发展和可替代方案的出现，图像传感器还可以是其它图像格式的传感器。例如可以是CMYK传感器、CMY传感器、HSL传感器、HSV传感器、YUV传感器等。惯性测量单元中可以包括加速度计和陀螺仪，其中，加速度计可以测量扫地机器人在正交的三个方向的加速度分量，陀螺仪可以测量设备在正交的三个方向的角速度分量。

图像传感器可以采集室内场景的图像数据，IMU则可以根据扫地机器人的运行状态，生成对应的惯性测量数据。在本申请中，基于当前时刻的图像数据生成的位姿第一位姿，基于当前时刻的惯性测量数据生成的位姿为第二位姿。

在本实施方式中，设备可以从图像传感器中读取图像数据，并且可以从IMU中读取惯性测量数据。图像数据和惯性测量数据可以由服务器或者设备中的数据处理模块处理。具体地，图像数据中可以包括彩色图像和深度图像(depth image)。其中，彩色图像的格式可以与图像传感器所支持的图像格式保持一致。例如，对于RGB-D传感器而言，彩色图像可以是RGB图像。深度图像中的像素点，可以表征图像传感器与场景中各个点的距离。

当前的环境状态可以从图像数据中获取。具体地，环境状态可以通过图像数据中相邻图像帧之间的匹配残差来表征。获取图像数据中当前时刻的图像帧，和位于该当前时刻的图像帧之前且与所述当前时刻的图像帧相邻的目标图像帧，计算当前时刻的图像帧和目标图像帧之间的匹配残差，根据匹配残差获得当前的环境状态。计算当前时刻的图像帧和所述目标图像帧之间的匹配残差包括：计算所述当前时刻的图像帧和所述目标图像帧中相互映射的像素点之间的像素差值。

计算所述当前时刻的图像帧和所述目标图像帧中相互映射的像素点之间的像素差值，具体地，首先根据现有技术中的方案，对图像数据进行处理，从而生成当前时刻的图像帧和所述目标图像帧之间的初始相对位姿。遍历目标图像帧中的各个像素点，并根据目标图像帧和当前时刻的图像帧之间的初始相对位姿，在当前时刻的图像帧中查询各个像素点映射得到的像素点。例如，在图3中，通过初始相对位姿，可以将目标图像帧中位于第一行第一列的像素点，映射至当前时刻的图像帧中位于第四行第五列处的像素点。通常而言，相互映射的两个像素点在亮度或深度上应当是一致的。而如果出现了亮度突变或深度突变的情况，则会使得相互映射的两个像素点的值出现偏差。鉴于此，可以通过计算当前时刻的图像帧和目标图像帧中相互映射的像素点之间的差值，来判断当前的环境状态。具体地，在计算出每一对相互映射的像素点之间的差值之后，可以将这些差值相加，从而可以得到当前时刻的图像帧和目标图像帧之间的匹配残差。该匹配残差越小，说明当前时刻的环境状态越稳定。因此，可以将计算得到的匹配残差与指定的匹配残差阈值进行比较，如果计算得到的匹配残差大于或者等于该匹配残差阈值，则表明两个图像帧的匹配度不够好，当前时刻的环境状态不稳定；反之，则表明当前时刻的环境状态稳定。匹配残差阈值可以是针对大量的正常匹配残差进行统计得到的一个经验值，在实际应用中可以灵活改变匹配残差阈值的大小。

在一个实施方式中，像素差值包括亮度差值和深度差值，可以从这两方面分别计算出对应的匹配残差。例如，当这两种匹配残差均大于或者等于对应的匹配残差阈值时，才可以判定当前时刻的环境状态不稳定。又例如，只要这两种匹配残差中的一个大于或者等于对应的匹配残差阈值，就可以判定当前时刻的环境状态不稳定。此外，在实际应用中，还可以分别为这两种匹配残差分配不同的权重值，然后通过加权求和的方式，得到一个综合的匹配残差。

S3：根据当前的环境状态选择第一位姿或第二位姿作为适用于当前时刻的位姿，并根据选择的第一位姿和/或第二位姿建立场景模型；其中，第一位姿为当前时刻的图像数据对应的位姿，第二位姿为当前时刻的惯性测量数据对应的位姿。

在本实施方式中，根据环境状态是否稳定，可以选择对应的第一位姿或者第二位姿。具体地，如果当前时刻的图像帧和目标图像帧之间的匹配残差大于或者等于预设匹配残差阈值，表面当前环境状态不稳定，将当前时刻的图像数据生成的第一位姿作为所述当前时刻的位姿；如果当前时刻的图像帧和目标图像帧之间的匹配残差小于预设匹配残差阈值，则表面当前环境状态稳定，将当前时刻的惯性测量数据生成的第二位姿作为适用于所述当前时刻的位姿。

在另一个较佳的实施方式中，如果当前时刻的图像帧和目标图像帧之间的匹配残差小于预设匹配残差阈值，则进一步计算当前时刻的图像帧的位姿和目标图像帧的位姿差值，如果两者位姿差值大于或者等于预设位姿差值，则说明基于当前时刻的图像帧生成的位姿可能并不正确，需要进一步验证；如果两帧之间的像素差值小于预设位姿差值，则当前时刻的图像帧的位姿正确，采用当前时刻的图像帧的位姿(也即第一位姿)作为当前时刻的位姿。

如果当前时刻的图像帧的位姿为待验证位姿，为进一步判断待验证位姿是否正确，比较当前时刻的第一位姿与第二位姿，若两者的差值大于或者等于指定差值阈值，则将当前的第二位姿作为适用于所述当前时刻的位姿；若两者的差值小于所述指定差值阈值，则将当前的第一位姿作为适用于所述当前时刻的位姿。

进一步比较第一位姿与第二位姿的原因是，当前时刻的图像帧的位姿和目标图像帧的位姿差值大于或者等于预设位姿差值时，只能对当前时刻的图像帧的位姿是否正确做出一个初步的验证，说明当前时刻的图像帧生成的位姿可能并不正确，需要进一步验证。由于惯性测量数据往往只与设备自身的运动状态相关，其生成的位姿不会受到外界环境的影响，因此，基于惯性测量数据计算得到的位姿在多数情况下能保证一定的准确性，在当前时刻的图像帧生成的位姿可能并不正确时，可以利用惯性测量数据生成的位姿基本正确的特性，比较当前时刻的惯性测量数据生成的位姿和图像帧生成的位姿，从而进一步判断当前时刻的图像帧生成的位姿是否正确。

由于当前时刻的图像帧的位姿和目标图像帧的匹配残差大于或者等于预设匹配残差阈值时，也只能说明当前时刻的图像帧生成的位姿可能并不正确，为进一步提高判断的准确率，在另一个较佳的实施方式中，如果前时刻的图像帧和目标图像帧之间的匹配残差大于预设匹配残差阈值，表明当前环境很可能不稳定，为进一步确认当前环境是否不稳定，进一步比较当前时刻的第一位姿与第二位姿，若两者的差值大于或者等于指定差值阈值，说明图像数据生成的第一位姿发生了较大的误差，应将当前的第二位姿作为适用于所述当前时刻的位姿；若两者的差值小于所述指定差值阈值，说明图像数据生成的第一位姿并没有发生大的误差，则将当前的第一位姿作为适用于所述当前时刻的位姿。

结合图像数据和惯性测量数据生成最终的位姿后，便可以按照现有的技术，对该位姿进行处理，从而完成场景重建的过程。具体地，可以根据生成的位姿对稀疏的特征点云进行稠密重建，从而得到稠密点云，便可以利用该稠密点云进行场景重建。

在一个实施方式中，为了使得重建的场景更加精确，可以在场景重建过程中进行回环检测。具体地，在重建出当前场景之后，可以对该当前场景进行编码存储，并可以从历史重建的场景中，识别是否存在与该当前场景相似的历史场景。如果存在，则表示产生了回环。后续，可以通过回环检测技术，直接由历史场景直接推算当前场景的位姿，从而使得位姿的结果更加精确，进而提高了场景重建的精确度。

在一个具体应用场景中，地宝机器人在完成配网之后，可以与云端的服务器保持通信连接。这样，地宝机器人在清扫室内的过程中，可以通过RGB-D相机采集室内的图像数据，通常可以通过惯性测量单元采集惯性测量数据。图像数据和惯性测量数据均可以定期上传至云端的服务器中。这样，云端的服务器可以结合这两方面的数据进行室内场景重建，并可以将重建得到的室内模型或者室内地图发送至地宝机器人处，从而使得地宝机器人能够更好地规划清扫路径。具体地，地宝机器人采集到的图像数据中，往往会包含墙壁、天花板、地板等纹理信息不够丰富、深度变化不够明显的区域，这些区域的图像帧之间的差异可能并不大，基于图像数据生成的相对位姿可能会不够准确。鉴于此，可以结合惯性测量数据生成的相对位姿，对图像数据生成的相对位姿进行校正，从而保证室内场景的建模精度，进而使得地宝机器人能够根据生成的地图更加准确地规划清扫路径。

在另一个具体应用场景中，地宝机器人可以直接对采集的图像数据和惯性测量数据进行处理，从而进行室内场景重建，并可以将重建得到的室内模型或者室内地图存储在本地。后续，用户可以通过APP直接查看地宝机器人中存储的室内地图，并向地宝机器人下达区域清扫指令。

在另一个具体应用场景中，自动驾驶车辆可以通过采集行驶路径中的图像数据和车辆自身的惯性测量数据，从而进行行驶路径周边的三维场景重建，并可以基于重建的场景进行路径规划和导航。在车辆行驶过程中，很可能会遇到亮度突变的情况。例如，车辆可能会从阴影下行驶至阳光中，在这种情况下，基于图像数据生成的相对位姿误差会较大，此时可以利用惯性测量数据生成的相对位姿进行位姿校正，从而使得重建的三维场景更加准确，进而保证路径规划的准确性和自动驾驶的安全性。

在另一个具体应用场景中，当用户戴着虚拟现实眼镜玩游戏时，虚拟现实眼睛可以同时采集用户所处环境中的图像数据以及用户运动时产生的惯性测量数据，并且虚拟现实眼睛可以基于采集到的数据进行用户所处环境的重建。用户在玩游戏过程中，很可能会突然转身或者大幅度移动，此时，图像数据的相邻图像帧之间差异较大，基于图像数据生成的位姿可能会不够准确。因此，可以结合惯性测量数据生成的相对位姿，对图像数据生成的相对位姿进行校正，从而保证室内场景的建模精度。

请参阅图4，本申请还提供一种场景重建系统，所述系统包括：

环境状态获取单元，用于获取当前的环境状态；

位姿选择单元，用于根据当前的环境状态选择第一位姿或第二位姿作为适用于当前时刻的位姿，并根据选择的第一位姿和/或第二位姿建立场景模型；其中，第一位姿为当前时刻的图像数据对应的位姿，第二位姿为当前时刻的惯性测量数据对应的位姿。

在一个实施方式中，如果当前环境状态稳定，将当前的第一位姿作为适用于所述当前时刻的位姿；如果当前环境状态非稳定，将当前的第二位姿作为适用于所述当前时刻的位姿。

在一个实施方式中，环境状态获取单元包括：

图像帧读取模块，用于在所述图像数据中读取当前时刻的图像帧，并读取位于所述当前时刻的图像帧之前且与所述当前时刻的图像帧相邻的目标图像帧；

匹配残差计算模块，用于计算当前时刻的图像帧与目标图像帧之间的匹配残差，并根据匹配残差获得当前的环境状态。

在一个实施方式中，匹配残差计算模块包括：

像素差值计算模块，用于计算所述当前时刻的图像帧和所述目标图像帧中相互映射的像素点之间的像素差值。

在一个实施方式中，如果两帧之间的像素差值大于或者等于预设像素差值，则当前环境状态不稳定；如果两帧之间的像素差值小于预设像素差值，则当前环境状态稳定。

在一个实施方式中，所述位姿选择单元包括：

位姿差值计算模块，用于当两帧之间的像素差值小于预设像素差值时，计算当前时刻的图像帧的位姿和目标图像帧的位姿差值；

位姿判断模块，用于如果两者位姿差值大于或者等于预设位姿差值，则判定当前时刻的图像帧的位姿为待验证位姿；如果两帧之间的像素差值小于预设位姿差值，则判定当前时刻的图像帧的位姿正确。

在一个实施方式中，所述位姿选择单元还包括：

差值比较模块，用于如果当前时刻的图像帧的位姿为待验证位姿，则比较当前时刻的第一位姿与第二位姿，若两者的差值大于或者等于指定差值阈值，则将当前的第二位姿作为适用于所述当前时刻的位姿；若两者的差值小于所述指定差值阈值，则将当前的第一位姿作为适用于所述当前时刻的位姿。

在一个实施方式中，所述位姿选择单元包括：

位姿比较模块，用于如果当前环境不稳定，比较当前时刻的第一位姿与第二位姿；

位姿确定模块，用于若两者的差值大于或者等于指定差值阈值，则将当前的第二位姿作为适用于所述当前时刻的位姿；若两者的差值小于所述指定差值阈值，则将当前的第一位姿作为适用于所述当前时刻的位姿。

请参阅图5，本申请还提供一种场景重建装置，所述场景重建装置包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，用于实现以下功能：

获取当前的环境状态；

根据当前的环境状态选择第一位姿或第二位姿作为适用于当前时刻的位姿，并根据选择的第一位姿和/或第二位姿建立场景模型；

其中，第一位姿为当前时刻的图像数据对应的位姿，第二位姿为当前时刻的惯性测量数据对应的位姿。

本申请还提供一种扫地机器人，所述扫地机器人包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，用于实现以下功能：

获取当前的环境状态；

根据当前的环境状态选择第一位姿或第二位姿作为适用于当前时刻的位姿，并根据选择的第一位姿和/或第二位姿建立场景模型；

其中，第一位姿为当前时刻的图像数据对应的位姿，第二位姿为当前时刻的惯性测量数据对应的位姿。

在本实施方式中，所述存储器可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方法的媒体加以存储。该存储器可以包括：利用电能方式存储信息的装置，如RAM、ROM等；利用磁能方式存储信息的装置，如硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置，如CD或DVD。当然，还有其他方式的存储器，例如量子存储器、石墨烯存储器等等。

在本实施方式中，所述处理器可以按任何适当的方式实现。例如，所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。

本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。

由上可见，本申请一个或者多个实施方式提供的技术方案，在进行场景重建时，可以获取当前的环境状态，该环境状态可以比较准确地体现室内场景。在某些环境状态下，比如在亮度突变、视觉信息不够明显等情况下，依赖图像数据生成的位姿会发生比较大的错误，此时，可以采用惯性测量单元中的惯性测量数据生成的位姿，从而使得生成的三维模型比较准确。由于图像数据能够准确地表征室内场景，但图像数据容易受到外界环境影响，而惯性测量数据只与设备自身的运动状态有关，其生成的位姿不会受到外界环境影响，因此结合这两种数据进行场景重建，能够保证较高的准确性和鲁棒性。

本领域内的技术人员应明白，本发明的实施方式可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施方式而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (21)

1.一种场景重建方法，其特征在于，所述方法包括：

获取当前的环境状态；

根据当前的环境状态选择第一位姿或第二位姿作为适用于当前时刻的位姿，并根据选择的第一位姿和/或第二位姿建立场景模型；

其中，第一位姿为当前时刻的图像数据对应的位姿，第二位姿为当前时刻的惯性测量数据对应的位姿。

2.根据权利要求1所述的方法，其特征在于，如果当前环境状态稳定，将当前的第一位姿作为适用于所述当前时刻的位姿；如果当前环境状态非稳定，将当前的第二位姿作为适用于所述当前时刻的位姿。

3.根据权利要求1所述的方法，其特征在于，所述图像数据从图像传感器中获取，所述惯性测量数据从惯性测量单元中获取。

4.根据权利要求1所述的方法，其特征在于，从图像数据获得当前的环境状态。

5.根据权利要求4所述的方法，其特征在于，所述从图像数据获得当前的环境状态，包括：

在所述图像数据中读取当前时刻的图像帧，并读取位于所述当前时刻的图像帧之前且与所述当前时刻的图像帧相邻的目标图像帧；

计算当前时刻的图像帧与目标图像帧之间的匹配残差，并根据匹配残差获得当前的环境状态。

6.根据权利要求5所述的方法，其特征在于，所述计算当前时刻的图像帧与目标图像帧之间的匹配残差包括：

计算所述当前时刻的图像帧和所述目标图像帧中相互映射的像素点之间的像素差值。

7.根据权利要求6所述的方法，其特征在于，所述图像数据包括彩色图像和深度图像，所述像素差值包括亮度差值和/或深度差值。

8.根据权利要求6所述的方法，其特征在于，如果两帧之间的像素差值大于或者等于预设像素差值，则当前环境状态不稳定；如果两帧之间的像素差值小于预设像素差值，则当前环境状态稳定。

9.根据权利要求8所述的方法，其特征在于，当两帧之间的像素差值小于预设像素差值时，计算当前时刻的图像帧的位姿和目标图像帧的位姿差值，如果两者位姿差值大于或者等于预设位姿差值，则当前时刻的图像帧的位姿为待验证位姿；如果两帧之间的像素差值小于预设位姿差值，则当前时刻的图像帧的位姿正确。

10.根据权利要求9所述的方法，其特征在于，如果当前时刻的图像帧的位姿为待验证位姿，则比较当前时刻的第一位姿与第二位姿，若两者的差值大于或者等于指定差值阈值，则将当前的第二位姿作为适用于所述当前时刻的位姿；若两者的差值小于所述指定差值阈值，则将当前的第一位姿作为适用于所述当前时刻的位姿。

11.根据权利要求2或8所述的方法，其特征在于，如果当前环境不稳定，比较当前时刻的第一位姿与第二位姿，若两者的差值大于或者等于指定差值阈值，则将当前的第二位姿作为适用于所述当前时刻的位姿；若两者的差值小于所述指定差值阈值，则将当前的第一位姿作为适用于所述当前时刻的位姿。

12.一种场景重建系统，其特征在于，所述系统包括：

环境状态获取单元，用于获取当前的环境状态；

位姿选择单元，用于根据当前的环境状态选择第一位姿或第二位姿作为适用于当前时刻的位姿，并根据选择的第一位姿和/或第二位姿建立场景模型；其中，第一位姿为当前时刻的图像数据对应的位姿，第二位姿为当前时刻的惯性测量数据对应的位姿。

13.根据权利要求12所述的系统，其特征在于，如果当前环境状态稳定，将当前的第一位姿作为适用于所述当前时刻的位姿；如果当前环境状态非稳定，将当前的第二位姿作为适用于所述当前时刻的位姿。

14.根据权利要求12所述的系统，其特征在于，环境状态获取单元包括：

图像帧读取模块，用于在所述图像数据中读取当前时刻的图像帧，并读取位于所述当前时刻的图像帧之前且与所述当前时刻的图像帧相邻的目标图像帧；

匹配残差计算模块，用于计算当前时刻的图像帧与目标图像帧之间的匹配残差，并根据匹配残差获得当前的环境状态。

15.根据权利要求14所述的系统，其特征在于，匹配残差计算模块包括：

像素差值计算模块，用于计算所述当前时刻的图像帧和所述目标图像帧中相互映射的像素点之间的像素差值。

16.根据权利要求15所述的系统，其特征在于，如果两帧之间的像素差值大于或者等于预设像素差值，则当前环境状态不稳定；如果两帧之间的像素差值小于预设像素差值，则当前环境状态稳定。

17.根据权利要求16所述的系统，其特征在于，所述位姿选择单元包括：

位姿差值计算模块，用于当两帧之间的像素差值小于预设像素差值时，计算当前时刻的图像帧的位姿和目标图像帧的位姿差值；

位姿判断模块，用于如果两者位姿差值大于或者等于预设位姿差值，则判定当前时刻的图像帧的位姿为待验证位姿；如果两帧之间的像素差值小于预设位姿差值，则判定当前时刻的图像帧的位姿正确。

18.根据权利要求17所述的系统，其特征在于，所述位姿选择单元还包括：

差值比较模块，用于如果当前时刻的图像帧的位姿为待验证位姿，则比较当前时刻的第一位姿与第二位姿，若两者的差值大于或者等于指定差值阈值，则将当前的第二位姿作为适用于所述当前时刻的位姿；若两者的差值小于所述指定差值阈值，则将当前的第一位姿作为适用于所述当前时刻的位姿。

19.根据权利要求13或16所述的系统，其特征在于，所述位姿选择单元包括：

位姿比较模块，用于如果当前环境不稳定，比较当前时刻的第一位姿与第二位姿；

位姿确定模块，用于若两者的差值大于或者等于指定差值阈值，则将当前的第二位姿作为适用于所述当前时刻的位姿；若两者的差值小于所述指定差值阈值，则将当前的第一位姿作为适用于所述当前时刻的位姿。

20.一种场景重建装置，其特征在于，所述场景重建装置包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，用于实现以下功能：

获取当前的环境状态；

根据当前的环境状态选择第一位姿或第二位姿作为适用于当前时刻的位姿，并根据选择的第一位姿和/或第二位姿建立场景模型；

其中，第一位姿为当前时刻的图像数据对应的位姿，第二位姿为当前时刻的惯性测量数据对应的位姿。

21.一种扫地机器人，其特征在于，所述扫地机器人包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，用于实现以下功能：

获取当前的环境状态；

根据当前的环境状态选择第一位姿或第二位姿作为适用于当前时刻的位姿，并根据选择的第一位姿和/或第二位姿建立场景模型；

其中，第一位姿为当前时刻的图像数据对应的位姿，第二位姿为当前时刻的惯性测量数据对应的位姿。

Images