CN112220405A - 自移动工具清扫路线更新方法、装置、计算机设备和介质 - Google Patents

Abstract

本申请涉及智能家居技术领域，特别是涉及一种自移动工具清扫路线更新方法、装置、计算机设备和介质。所述方法包括：采集自移动工具所处空间的实景图像，实景图像中包括目标障碍物体；获取空间的三维模型数据；基于三维模型数据以及实景图像，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体；当三维模型数据中不存在与目标障碍物体对应的目标虚拟物体时，则根据实景图像更新三维模型数据；基于更新后的三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线。采用本方法能够提升清扫路线更新的智能化水平。

Description

自移动工具清扫路线更新方法、装置、计算机设备和介质

技术领域

本申请涉及智能家居技术领域，特别是涉及一种自移动工具清扫路线更新方法、装置、计算机设备和介质。

背景技术

伴随着经济的高速发展，自移动工具的应用越来越广泛，例如扫地机器人等。与此同时，自移动工具也变得更加智能，如扫地机器人由最开始的随机清扫，逐渐变为借助视觉、激光建图(simultaneous localization and mapping，slam)技术的智能清扫。

在传统技术中，用于执行清扫工作的自移动工具在碰到障碍物体后，由于无法获得障碍物体的整体信息，只能凭借沿墙传感器沿着障碍物体边缘行走，同时由于对障碍物几何尺寸的感知不够精确，仍会发生碰撞，并不能智能化对清扫路线进行更新。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升清扫路线更新的智能化水平的自移动工具清扫路线更新方法、装置、计算机设备和存储介质。

一种自移动工具清扫路线更新方法，所述方法包括：

采集自移动工具所处空间的实景图像，实景图像中包括目标障碍物体；

获取空间的三维模型数据；

基于三维模型数据以及实景图像，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体；

当三维模型数据中不存在与目标障碍物体对应的目标虚拟物体时，则根据实景图像更新三维模型数据；

基于更新后的三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线。

在其中一个实施例中，三维模型数据中包括虚拟自移动工具、虚拟物体以及虚拟自移动工具与各虚拟物体之间的各相对位置；

基于三维模型数据以及实景图像，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体，包括：

根据实景图像，确定目标障碍物体与自移动工具之间的实际距离；

根据实际距离以及各相对位置，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体。

在其中一个实施例中，根据实际距离以及各相对位置，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体，包括：

当各相对位置中存在等于实际距离的目标相对位置时，则确定三维模型数据中存在与目标障碍物体对应的目标虚拟物体；

当各相对位置中存在不等于实际距离的目标相对位置时，则确定三维模型数据中不存在与目标障碍物体对应的目标虚拟物体。

在其中一个实施例中，根据实景图像更新三维模型数据，包括：

对实景图像进行特征提取，得到实景图像中目标障碍物体的特征数据；

根据特征数据构建对应目标障碍物体的虚拟物体，并根据虚拟物体更新三维模型数据。

在其中一个实施例中，对实景图像进行特征提取，得到实景图像中目标障碍物体的特征数据，包括：

对实景图像进行多尺度特征提取，得到多个尺度的图像特征；

采用相邻两阶特征逐层融合的方式，对相邻两个尺度的图像特征进行特征融合，得到多个尺度的融合特征；

分别对各尺度的融合特征进行回归处理，得到对应各尺度的融合特征的回归结果；

对多个回归结果进行筛选，并基于筛选的回归结果得到实景图像中目标障碍物体的特征数据。

在其中一个实施例中，基于更新后的三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线，包括：

获取预设规划的初始清扫路线；

判断构建的对应目标障碍物体的虚拟物体的坐标位置是否与初始清扫路线的路线坐标重合；

当坐标位置与初始清扫路线的路线坐标重合时，则根据更新后的三维模型数据更新初始清扫路线。

在其中一个实施例中，生成更新后的清扫路线之后，还包括：

获取自移动工具的当前位置；

根据自移动工具的当前位置以及更新后的清扫路线，确定完成清扫所需耗电量；

获取自移动工具的剩余电量；

根据自移动工具的剩余电量以及所需耗电量，判断自移动工具的剩余电量是否充足；

当确定自移动工具的剩余电量充足时，则按照更新后的清扫路线继续进行清扫。

一种自移动工具清扫路线更新装置，所述装置包括：

实景图像采集模块，用于采集自移动工具所处空间的实景图像，实景图像中包括目标障碍物体；

三维模型数据获取模块，用于获取空间的三维模型数据；

判断模块，用于基于三维模型数据以及实景图像，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体；

三维模型数据更新模块，用于当三维模型数据中不存在与目标障碍物体对应的目标虚拟物体时，则根据实景图像更新三维模型数据；

清扫路线更新模块，用于基于更新后的三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法的步骤。

上述自移动工具清扫路线更新方法、装置、计算机设备和介质，通过采集自移动工具所处空间环境的实景图像，实景图像中包括目标障碍物体，获取空间环境的三维模型数据，并基于三维模型数据以及实景图像，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体，进一步，当三维模型数据中不存在与目标障碍物体对应的目标虚拟物体时，则根据实景图像更新三维模型数据，并基于更新后的三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线。从而，可以根据采集的到的自移动工具所输出空间环境的实景图像以及三维模型数据，进行障碍物判定，并在判定存在障碍物时，对三维模型数据进行更新，并重新规划清扫路线，提升了路线规划的智能化水平。并且，通过三维模型进行清扫路线的更新规划，可以在自移动工具触碰到障碍物体之前记性规划，以躲避障碍物，避免了自移动工具直接撞击障碍物体造成冲击损伤，可以提升自移动工具的使用寿命。

附图说明

图1为一个实施例中自移动工具清扫路线更新方法的应用场景图；

图2为一个实施例中自移动工具清扫路线更新方法的流程示意图；

图3为一个实施例中数字孪生模型空间与实体空间之间对应关系的示意图；

图4为一个实施例中三维模型数据更新方法的流程示意图；

图5为一个实施例中清扫路线更新方法的流程示意图；

图6为一个实施例中自移动工具清扫路线更新装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的自移动工具清扫路线更新方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102采集自移动工具所处空间的实景图像，实景图像中包括目标障碍物体，然后传送至服务器104。服务器104获取空间的三维模型数据，并基于三维模型数据以及获取到的实景图像，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体。进一步，当服务器104确定三维模型数据中不存在与目标障碍物体对应的目标虚拟物体时，则根据实景图像更新三维模型数据，并基于更新后的三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线。其中，终端102可以是各种照相机、录像机等图像采集设备，也可以包括但不限于是各种装载有图像采集功能的个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种自移动工具清扫路线更新方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S202，采集自移动工具所处空间的实景图像，实景图像中包括目标障碍物体。

其中，自移动工具可以是各种可以自动移动的工具，例如，可以是扫地机器人、物业机器人等工具。在本实施例中，自移动工具具体是指可以执行清扫任务的工具，例如，扫地机器人等。

自移动工具所处空间是指自移动工具需要清洁的空间区域，例如，可以是一整套房间或者是一栋楼等。实景图像是指通过采集设备采集的实体空间的图像，实景图像可以包括采集到的实景空间中目标障碍物体，该目标障碍物体可以是但不限于墙体、桌椅、床、柜子、茶几、沙发、水壶或者儿童玩具等。

在本实施例中，可以在自移动工具顶部安装一图像采集设备，以通过该图像采集设备实施采集自移动工具在工作过程中的所处空间的实景图像。本领域技术人员可以理解的是，该图像采集设备可以是普通相机，采集的可以是普通的RGB图像，该采集设备也可以是深度相机，采集的实景图像可以包括RGB图像，还可以包括深度点云数据，本申请对此不作限制。

步骤S204，获取空间的三维模型数据。

其中，三维模型数据是指通过各种建筑信息化模型技术(Building InformationModeling，BIM)所构建生成的模型数据。参考图3，三维模型数据是与实体空间完全一致的数字孪生模型空间，三维模型数据中可以包括与实体空间中的各个实体物体相对应的虚拟物体，即与实体空间中家具(障碍物)所对应的家具(虚拟障碍物)，三维模型数据中还可以包括各虚拟物体的名称、材质、位置信息以及相关尺寸参数等数据，例如，墙体、桌椅、床、柜子、茶几、沙发、水壶或者儿童玩具等，还可以包括在实体空间中执行清扫任务的A设备对应的A设备模型，即自移动工具，例如扫地机器人等。

在本实施例中，服务器可以基于空间的二维图纸数据，预先构建三维模型，并存储于服务器数据库中，并基于任务需求，从数据库中获取三维模型数据，并进行后续的处理。

可选地，服务器在获取到三维模型数据后，还可以对三维模型数据进行转换，转换为2D时定位与地图构建(simultaneous localization and mapping，slam)所需要的NDT(Niton Data Transfer File)文件，然后再进行处理，本申请对此不做限制。

步骤S206，基于三维模型数据以及实景图像，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体。

如前所述，三维模型数据中可以包括多个虚拟物体，例如，墙体、桌椅、床、柜子、茶几、沙发、水壶或者儿童玩具，服务器可以根据三维模型数据中的各虚拟物体与实景图像中的目标障碍物体进行比较，以确定三维模型数据中是否存在对应的目标障碍物体的目标虚拟物体。

具体地，服务器可以根据三维模型数据中各虚拟物体的物体信息与实景图像中国目标障碍物体的物体信息进行比较，例如，尺寸、色彩、物体标签、位置信息等记性比较，以判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体。

步骤S208，当三维模型数据中不存在与目标障碍物体对应的目标虚拟物体时，则根据实景图像更新三维模型数据。

在本实施例中，当服务器确定三维模型数据中不存在与目标障碍物体对应的目标虚拟物体时，即该目标障碍物体为新的物体时，则服务器可以根据采集得到实景图像对三维模型数据进行更新。

具体地，服务器从实景图像中提取出目标障碍物体的物体信息，然后基于物体信息构建对应的虚拟物体，并基于构建的虚拟物体对三维模型数据进行更新。

在本实施例中，服务器根据实景图像更新三维模型数据可以在服务器中进行虚拟物体的构建，并进行更新，也可以是将通过云端进行虚拟物体的构建，并生成更新数据，然后接受云端反馈的更新数据，并基于云端反馈更新数据对三维模型数据进行更新。

步骤S210，基于更新后的三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线。

其中，初始清扫路线是指自移动工具在执行清扫任务之前服务器基于三维模型数据所生成的清扫路线。

在本实施例中，服务器可以根据三维模型数据中各虚拟物体的物体标签，例如，热水瓶或者电风扇等不能碰撞的物体，服务器可以在三维模型数据中设定禁止碰撞标签，若是小孩的玩具或者帘子等物体，服务器可以在模型中设置允许碰撞标签。

进一步，服务器可以根据设定的各物体标签以及三维模型数据中的各虚拟障碍物体，通过模拟的方式生成初始清扫路线。

在本实施例中，服务器可以根据初始清扫路线，生成对应的清洁指令，并控制自移动工具执行。例如，按照初始清扫路线，控制自移动工具进行回旋扫、贴边走、加大吸力、减缓清洁速度等。

在本实施例中，服务器在自移动工具在执行清扫的过程中确定三维模型数据中不存在与目标障碍物体对应的目标虚拟物体时，则基于更新后的三维模型数据更新初始清扫路线。具体地，更新初始清扫路线可以是指的原有初始清扫路线的基础上更新或者是重新生成清扫路线，本申请对此不作限制。

上述自移动工具清扫路线更新方法中，通过采集自移动工具所处空间环境的实景图像，实景图像中包括目标障碍物体，获取空间环境的三维模型数据，并基于三维模型数据以及实景图像，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体，进一步，当三维模型数据中不存在与目标障碍物体对应的目标虚拟物体时，则根据实景图像更新三维模型数据，并基于更新后的三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线。从而，可以根据采集的到的自移动工具所输出空间环境的实景图像以及三维模型数据，进行障碍物判定，并在判定存在障碍物时，对三维模型数据进行更新，并重新规划清扫路线，提升了路线规划的智能化水平。并且，通过三维模型进行清扫路线的更新规划，可以在自移动工具触碰到障碍物体之前记性规划，以躲避障碍物，避免了自移动工具直接撞击障碍物体造成冲击损伤，可以提升自移动工具的使用寿命。

在其中一个实施例中，三维模型数据中包括虚拟自移动工具、虚拟物体以及虚拟自移动工具与各虚拟物体之间的各相对位置。

其中，虚拟自移动工具是指在三维模型数据中对应实体空间中自移动工具的工具，虚拟自移动工具在三维模型数据中的位置信息与实体空间中自移动工具的位置信息一致。

在本实施例中，服务器可以根据三维模型数据中虚拟自移动工具的位置信息与各虚拟位置的位置信息，确定虚拟自移动工具与各虚拟物体之间的各相对位置。

在本实施例中，基于三维模型数据以及实景图像，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体，可以包括：根据实景图像，确定目标障碍物体与自移动工具之间的实际距离；根据实际距离以及各相对位置，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体。

如前所述，图像采集设备可以是深度相机等采集设备，服务器可以根据图像采集设备采集的实景图像中的深度数据准确确定采集设备与采集到的实景图像中物体之间的位置距离，即确定目标障碍物体与自移动工具之间的实际距离。

在其他实施例中，服务器也可以通过发射探测信号的方式确定目标障碍物体与自移动工具之间的实际距离。例如，服务器通过安装于自移动工具顶部的探测信号收发装置发射探测信号至目标障碍物体，并接收目标障碍物体反射探测信号的反射信号，并通过探测信号的发射时间、接收反射信号的接收时间以及探测信号在空气中的传播速度确定目标障碍物体与自移动工具之间的实际距离。

在本实施例中，服务器可以根据实际距离以及各相对位置，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体。

在其中一个实施例中，服务器根据实际距离以及各相对位置，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体，可以包括：当各相对位置中存在等于实际距离的目标相对位置时，则确定三维模型数据中存在与目标障碍物体对应的目标虚拟物体；当各相对位置中存在不等于实际距离的目标相对位置时，则确定三维模型数据中不存在与目标障碍物体对应的目标虚拟物体。

具体地，服务器在确定目标障碍物体与自移动工具之间的实际距离后，可以将实际距离与三维模型数据中得到的各相对位置进行一一比对。

在本实施例中，当服务器确定各相对位置中存在等于实际距离的目标相对位置时，即相对位置等于实际距离，则服务器可以确定三维模型数据中存在与目标障碍物体对应的目标虚拟物体，即服务器可以确定该目标相对位置对应的虚拟物体为与目标障碍物体对应的目标虚拟物体。当服务器确定各相对位置中不存在等于实际距离的目标相对位置时，则可以确定三维模型数据中不存在与目标障碍物体对应的目标虚拟物体。

上述实施例中，通过根据实景图像，确定目标障碍物体与自移动工具之间的实际距离，然后根据实际距离以及各相对位置，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体，从而可以通过三维模型数据对各虚拟物体均进行比较判定，避免漏判错判的可能性，提升准确性。

在其中一个实施例中，参考图4，根据实景图像更新三维模型数据，可以包括：

步骤S402，对实景图像进行特征提取，得到实景图像中目标障碍物体的特征数据。

其中，特征数据是指示实景图像中目标障碍物体特殊性或者唯一性的数据，可以包括但不限于色彩特征、尺寸特征、纹理特征以及材质特征等。

在本实施例中，服务器可以通过对实景图像进行特征提取，得到实景图像中的目标障碍物体的障碍物信息，例如，提取实景图像中实体障碍物体的尺寸信息等。

在本实施例中，服务器对实景图像进行特征提取可以通过各种图像识别技术进行，本实施例对此不作限制。

步骤S404，根据特征数据构建对应目标障碍物体的虚拟物体，并根据虚拟物体更新三维模型数据。

具体地，服务器在获取到特征数据后，可以根据特征数据中包括的目标障碍物体的长宽高尺寸，构建对应的虚拟物体，然后根据对应的位置信息，更新至三维模型数据中。

本领域技术人员可以理解的是，此处服务器根据特征数据构建对应目标障碍物体的虚拟物体可以仅是构建一个虚拟模型，该虚拟模型仅用于指示存在有一个虚拟物体，但并不构建详细的色彩参数、材质属性以及纹理属性等，从而可以是服务器快速完成模型构建，提升构建效率，也可以降低服务器的系统资源以及功耗。

在本实施例中，通过对实景图像进行特征提取，得到实景图像中目标障碍物体的特征数据，然后根据特征数据构建对应目标障碍物体的虚拟物体，并根据虚拟物体更新三维模型数据，从而，可以提取的特征数据进行对应虚拟物体的构建，并更新三维模型数据，可以使得三维模型数据更加完善，提升模型的准确性以及基于模型进行定位以及路径规划的准确定。

在其中一个实施例中，对实景图像进行特征提取，得到实景图像中目标障碍物体的特征数据，可以包括：对实景图像进行多尺度特征提取，得到多个尺度的图像特征；采用相邻两阶特征逐层融合的方式，对相邻两个尺度的图像特征进行特征融合，得到多个尺度的融合特征；分别对各尺度的融合特征进行回归处理，得到对应各尺度的融合特征的回归结果；对多个回归结果进行筛选，并基于筛选的回归结果得到实景图像中目标障碍物体的特征数据。

在本实施例中，服务器对实景图像进行特征提取可以是通过神经网络模型进行的，例如可以是Center Net网络模型。

具体地，在进行实景图像特征提取前，服务器可以通过训练集数据对构建的初始神经网络模型进行预先训练并进行测试。

在本实施例中，在神经网络模型训练并预测通过后，服务器可以将实景图像输入至神经网络模型，并进行连续多尺度特征提取，以得到对应多个不同尺度的特征图。

进一步，服务器按照高阶层到低阶层的顺序，依次对相邻两阶的特征图进行特征融合，以得到对应各尺度的融合特征。

进一步，服务器分别对各尺度的特征图进行回归处理，得到对应各尺度的融合特征的回归结果。并且，服务器可以通过非极大值抑制准则(Non-Maximum Suppression，NMS)进行后处理，对多个回归结果进行筛选，并基于筛选的回归结果得到实景图像中目标障碍物体的特征数据。

在本实施例中，为提升神经网络模型处理的准确性，服务器可以在将实景图像输入至神经网络模型之前，对实景图像记性预处理，例如，调整实景图像的尺寸，使得调整后的实景图像的尺寸符合神经网络模型的输入要求。

上述实施例中，通过对实景图像进行多尺度特征的提取，并对提取的多个尺度的图像特征进行特征融合，得到多个尺度的融合特征，然后对各尺度的车辆融合特征进行回归处理并进行筛选，从而最终输出的特征数据为从多个数据中按照最优筛选得到，可以使得到的特征数据更加准确，以提升后续数据处理的准确性。

在其中一个实施例中，参考图5，基于更新后的三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线，可以包括：

步骤S502，获取预设规划的初始清扫路线。

如前所述，初始清扫路线是指自移动工具在执行清扫任务之前服务器基于三维模型数据所生成的清扫路线。

在本实施例中，服务器在生成初始清扫路线后，可以将其存储与数据库中，当服务器确定需要进行清扫路线更新或者是需要指示自移动工具执行清扫任务时，则可以从数据库中获取。

步骤S504，判断构建的对应目标障碍物体的虚拟物体的坐标位置是否与初始清扫路线的路线坐标重合。

具体地，服务器可以根据初始清扫路线，确定初始清扫路线上的各路线坐标，然后服务器可以根据目标障碍物体的虚拟物体的坐标位置，判断其是否位于初始清扫路线的路线坐标上，即是否与初始清扫路线的路线坐标重合。

步骤S506，当坐标位置与初始清扫路线的路线坐标重合时，则根据更新后的三维模型数据更新初始清扫路线。

在本实施例中，当坐标位置与初始清扫路线的路线坐标重合时，即坐标一致时，则服务器可以确定该目标障碍物体阻碍了自移动工具的前行路线，则服务器可以确定对初始清扫路线进行更新，并通过更新后清扫路线控制自移动工具继续执行清扫任务。

在另一实施例中，当服务器确定坐标位置与初始清扫路线的路线坐标不重合时，则服务器继续基于初始清扫路线继续控制自移动工具继续执行清扫任务。

上述实施例中，通过获取预设规划的初始清扫路线，判断构建的对应目标障碍物体的虚拟物体的坐标位置是否与初始清扫路线的路线坐标重合，然后当坐标位置与初始清扫路线的路线坐标重合时，则根据更新后的三维模型数据更新初始清扫路线，从而，可以根据目标障碍物体的坐标位置实时对清扫路线进行更新，避免自移动工具与目标障碍物体撞击造成自移动工具或者目标障碍物体损坏，减少损失。

在其中一个实施例中，生成更新后的清扫路线之后，还可以包括：获取自移动工具的当前位置；根据自移动工具的当前位置以及更新后的清扫路线，确定完成清扫所需耗电量；获取自移动工具的剩余电量；根据自移动工具的剩余电量以及所需耗电量，判断自移动工具的剩余电量是否充足；当确定自移动工具的剩余电量充足时，则按照更新后的清扫路线继续进行清扫。

其中，当前位置是指自移动工具在执行清扫任务过程中实时获取的位置。具体地，服务器可以将三维模型数据中虚拟自移动工具的位置信息作为自移动工具的当前位置。

进一步，服务器可以根据自移动工具的当前位置以及更新后的清扫路线，确定自移动工具执行清扫任务的剩余清扫路径，并模拟计算自移动工具执行剩余清扫任务所需耗电量，例如，根据自移动工具百公里耗电量以及剩余清扫路径，计算所需耗电量。

在本实施例中，服务器尅获取自移动工具的剩余电量，并根据自移动工具的剩余电量以及所需耗电量，判断自移动工具的剩余电量是否充足。

在其中一个实施例中，当剩余电量小于或等于所需耗电量时，则服务器可以确定自移动工具的剩余电量不充足，则服务器可以确定停止清扫任务，并控制自移动工具返回初始位置进行电量补充，并在电量补充完成后在继续执行清扫任务。

在本实施例中，当剩余电量大于所需耗电量时，则服务器可以确定自移动工具的剩余电量充足，则服务器可以按照更新后的清扫路线控制自移动工具继续进行清扫。

可选地，当剩余电量大于所需耗电量时，则服务器可以计算剩余电量与所需耗电量的电量差值，并通过预设阈值进行判定。具体地，当电量差值大于或等于预设阈值时，则服务器可以确定自移动工具的剩余电量充足，反之，则确定自移动工具的剩余电量不充足。

在本实施例中，预设阈值可以根据自移动工具从完成清扫任务的位置至回到电量补充的位置所需的耗电量进行确定，从而可以保障自移动工具不会应为完成清扫任务后而无法回到电量补充位置等情况的发生，可以保障自移动工具的正常运行。

上述实施例中，通过对自移动工具完成清扫所需耗电量进行计算，并与移动工具的剩余电量进行比较判定，从而，可以保障自移动工具有足够电量执行清扫任务，保障清扫任务的正常执行。

应该理解的是，虽然图2、图4和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4和图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种自移动工具清扫路线更新装置，包括：实景图像采集模块100、三维模型数据获取模块200、判断模块300、三维模型数据更新模块400和清扫路线更新模块500，其中：

实景图像采集模块100，用于采集自移动工具所处空间的实景图像，实景图像中包括目标障碍物体。

三维模型数据获取模块200，用于获取空间的三维模型数据。

判断模块300，用于基于三维模型数据以及实景图像，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体。

三维模型数据更新模块400，用于当三维模型数据中不存在与目标障碍物体对应的目标虚拟物体时，则根据实景图像更新三维模型数据。

清扫路线更新模块500，用于基于更新后的三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线。

在其中一个实施例中，三维模型数据中可以包括虚拟自移动工具、虚拟物体以及虚拟自移动工具与各虚拟物体之间的各相对位置。

在本实施例中，判断模块300可以包括：

实际距离确定子模块，用于根据实景图像，确定目标障碍物体与自移动工具之间的实际距离。

判断子模块，用于根据实际距离以及各相对位置，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体。

在其中一个实施例中，判断子模块可以包括：

第一确定单元，用于当各相对位置中存在等于实际距离的目标相对位置时，则确定三维模型数据中存在与目标障碍物体对应的目标虚拟物体。

第二确定单元，用于当各相对位置中存在不等于实际距离的目标相对位置时，则确定三维模型数据中不存在与目标障碍物体对应的目标虚拟物体。

在其中一个实施例中，三维模型数据更新模块400可以包括：

特征提取子模块，用于对实景图像进行特征提取，得到实景图像中目标障碍物体的特征数据。

三维模型数据更新子模块，用于根据特征数据构建对应目标障碍物体的虚拟物体，并根据虚拟物体更新三维模型数据。

在其中一个实施例中，特征提取子模块可以包括：

特征提取单元，用于对实景图像进行多尺度特征提取，得到多个尺度的图像特征。

融合单元，用于采用相邻两阶特征逐层融合的方式，对相邻两个尺度的图像特征进行特征融合，得到多个尺度的融合特征。

回归处理单元，用于分别对各尺度的融合特征进行回归处理，得到对应各尺度的融合特征的回归结果。

特征数据生成单元，用于对多个回归结果进行筛选，并基于筛选的回归结果得到实景图像中目标障碍物体的特征数据。

在其中一个实施例中，清扫路线更新模块500可以包括：

初始清扫路线获取子模块，用于获取预设规划的初始清扫路线。

判断子模块，用于判断构建的对应目标障碍物体的虚拟物体的坐标位置是否与初始清扫路线的路线坐标重合。

清扫路线更新子模块，用于当坐标位置与初始清扫路线的路线坐标重合时，则根据更新后的三维模型数据更新初始清扫路线。

在其中一个实施例中，上述装置还可以包括：

当前位置获取模块，用于在清扫路线更新模块500生成更新后的清扫路线之后，获取自移动工具的当前位置。

所需耗电量确定模块，用于根据自移动工具的当前位置以及更新后的清扫路线，确定完成清扫所需耗电量。

剩余电量获取模块，用于获取自移动工具的剩余电量。

电量判断模块，用于根据自移动工具的剩余电量以及所需耗电量，判断自移动工具的剩余电量是否充足。

继续执行模块，用于当确定自移动工具的剩余电量充足时，则按照更新后的清扫路线继续进行清扫。

关于自移动工具清扫路线更新装置的具体限定可以参见上文中对于自移动工具清扫路线更新方法的限定，在此不再赘述。上述自移动工具清扫路线更新装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储实景图像、三维模型数据以及清扫路线等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种自移动工具清扫路线更新方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：采集自移动工具所处空间的实景图像，实景图像中包括目标障碍物体；获取空间的三维模型数据；基于三维模型数据以及实景图像，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体；当三维模型数据中不存在与目标障碍物体对应的目标虚拟物体时，则根据实景图像更新三维模型数据；基于更新后的三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线。

在其中一个实施例中，三维模型数据中可以包括虚拟自移动工具、虚拟物体以及虚拟自移动工具与各虚拟物体之间的各相对位置。

在本实施例中，处理器执行计算机程序时实现基于三维模型数据以及实景图像，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体，可以包括：根据实景图像，确定目标障碍物体与自移动工具之间的实际距离；根据实际距离以及各相对位置，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体。

在其中一个实施例中，处理器执行计算机程序时实现根据实际距离以及各相对位置，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体，可以包括：当各相对位置中存在等于实际距离的目标相对位置时，则确定三维模型数据中存在与目标障碍物体对应的目标虚拟物体；当各相对位置中存在不等于实际距离的目标相对位置时，则确定三维模型数据中不存在与目标障碍物体对应的目标虚拟物体。

在其中一个实施例中，处理器执行计算机程序时实现根据实景图像更新三维模型数据，可以包括：对实景图像进行特征提取，得到实景图像中目标障碍物体的特征数据；根据特征数据构建对应目标障碍物体的虚拟物体，并根据虚拟物体更新三维模型数据。

在其中一个实施例中，处理器执行计算机程序时实现对实景图像进行特征提取，得到实景图像中目标障碍物体的特征数据，可以包括：对实景图像进行多尺度特征提取，得到多个尺度的图像特征；采用相邻两阶特征逐层融合的方式，对相邻两个尺度的图像特征进行特征融合，得到多个尺度的融合特征；分别对各尺度的融合特征进行回归处理，得到对应各尺度的融合特征的回归结果；对多个回归结果进行筛选，并基于筛选的回归结果得到实景图像中目标障碍物体的特征数据。

在其中一个实施例中，处理器执行计算机程序时实现基于更新后的三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线，可以包括：获取预设规划的初始清扫路线；判断构建的对应目标障碍物体的虚拟物体的坐标位置是否与初始清扫路线的路线坐标重合；当坐标位置与初始清扫路线的路线坐标重合时，则根据更新后的三维模型数据更新初始清扫路线。

在其中一个实施例中，处理器执行计算机程序时实现生成更新后的清扫路线之后，还可以实现以下步骤：获取自移动工具的当前位置；根据自移动工具的当前位置以及更新后的清扫路线，确定完成清扫所需耗电量；获取自移动工具的剩余电量；根据自移动工具的剩余电量以及所需耗电量，判断自移动工具的剩余电量是否充足；当确定自移动工具的剩余电量充足时，则按照更新后的清扫路线继续进行清扫。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：采集自移动工具所处空间的实景图像，实景图像中包括目标障碍物体；获取空间的三维模型数据；基于三维模型数据以及实景图像，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体；当三维模型数据中不存在与目标障碍物体对应的目标虚拟物体时，则根据实景图像更新三维模型数据；基于更新后的三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线。

在其中一个实施例中，三维模型数据中可以包括虚拟自移动工具、虚拟物体以及虚拟自移动工具与各虚拟物体之间的各相对位置。

在本实施例中，计算机程序被处理器执行时实现基于三维模型数据以及实景图像，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体，可以包括：根据实景图像，确定目标障碍物体与自移动工具之间的实际距离；根据实际距离以及各相对位置，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体。

在其中一个实施例中，计算机程序被处理器执行时实现根据实际距离以及各相对位置，判断三维模型数据中是否存在与目标障碍物体对应的目标虚拟物体，可以包括：当各相对位置中存在等于实际距离的目标相对位置时，则确定三维模型数据中存在与目标障碍物体对应的目标虚拟物体；当各相对位置中存在不等于实际距离的目标相对位置时，则确定三维模型数据中不存在与目标障碍物体对应的目标虚拟物体。

在其中一个实施例中，计算机程序被处理器执行时实现根据实景图像更新三维模型数据，可以包括：对实景图像进行特征提取，得到实景图像中目标障碍物体的特征数据；根据特征数据构建对应目标障碍物体的虚拟物体，并根据虚拟物体更新三维模型数据。

在其中一个实施例中，计算机程序被处理器执行时实现对实景图像进行特征提取，得到实景图像中目标障碍物体的特征数据，可以包括：对实景图像进行多尺度特征提取，得到多个尺度的图像特征；采用相邻两阶特征逐层融合的方式，对相邻两个尺度的图像特征进行特征融合，得到多个尺度的融合特征；分别对各尺度的融合特征进行回归处理，得到对应各尺度的融合特征的回归结果；对多个回归结果进行筛选，并基于筛选的回归结果得到实景图像中目标障碍物体的特征数据。

在其中一个实施例中，计算机程序被处理器执行时实现基于更新后的三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线，可以包括：获取预设规划的初始清扫路线；判断构建的对应目标障碍物体的虚拟物体的坐标位置是否与初始清扫路线的路线坐标重合；当坐标位置与初始清扫路线的路线坐标重合时，则根据更新后的三维模型数据更新初始清扫路线。

在其中一个实施例中，计算机程序被处理器执行时实现生成更新后的清扫路线之后，还可以实现以下步骤：获取自移动工具的当前位置；根据自移动工具的当前位置以及更新后的清扫路线，确定完成清扫所需耗电量；获取自移动工具的剩余电量；根据自移动工具的剩余电量以及所需耗电量，判断自移动工具的剩余电量是否充足；当确定自移动工具的剩余电量充足时，则按照更新后的清扫路线继续进行清扫。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种自移动工具清扫路线更新方法，其特征在于，所述方法包括：

采集自移动工具所处空间的实景图像，所述实景图像中包括目标障碍物体；

获取所述空间的三维模型数据；

基于所述三维模型数据以及所述实景图像，判断所述三维模型数据中是否存在与所述目标障碍物体对应的目标虚拟物体；

当所述三维模型数据中不存在与所述目标障碍物体对应的目标虚拟物体时，则根据所述实景图像更新所述三维模型数据；

基于更新后的所述三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线。

2.根据权利要求1所述的方法，其特征在于，所述三维模型数据中包括虚拟自移动工具、虚拟物体以及所述虚拟自移动工具与各虚拟物体之间的各相对位置；

所述基于所述三维模型数据以及所述实景图像，判断所述三维模型数据中是否存在与所述目标障碍物体对应的目标虚拟物体，包括：

根据所述实景图像，确定所述目标障碍物体与自移动工具之间的实际距离；

根据所述实际距离以及各所述相对位置，判断所述三维模型数据中是否存在与所述目标障碍物体对应的目标虚拟物体。

3.根据权利要求2所述的方法，其特征在于，所述根据所述实际距离以及各所述相对位置，判断所述三维模型数据中是否存在与所述目标障碍物体对应的目标虚拟物体，包括：

当各所述相对位置中存在等于所述实际距离的目标相对位置时，则确定所述三维模型数据中存在与所述目标障碍物体对应的目标虚拟物体；

当各所述相对位置中存在不等于所述实际距离的目标相对位置时，则确定所述三维模型数据中不存在与所述目标障碍物体对应的目标虚拟物体。

4.根据权利要求1所述的方法，其特征在于，所述根据所述实景图像更新所述三维模型数据，包括：

对所述实景图像进行特征提取，得到所述实景图像中目标障碍物体的特征数据；

根据所述特征数据构建对应所述目标障碍物体的虚拟物体，并根据所述虚拟物体更新所述三维模型数据。

5.根据权利要求4所述的方法，其特征在于，所述对所述实景图像进行特征提取，得到所述实景图像中目标障碍物体的特征数据，包括：

对所述实景图像进行多尺度特征提取，得到多个尺度的图像特征；

采用相邻两阶特征逐层融合的方式，对相邻两个尺度的图像特征进行特征融合，得到多个尺度的融合特征；

分别对各尺度的融合特征进行回归处理，得到对应各尺度的融合特征的回归结果；

对多个回归结果进行筛选，并基于筛选的回归结果得到所述实景图像中目标障碍物体的特征数据。

6.根据权利要求4所述的方法，其特征在于，所述基于更新后的所述三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线，包括：

获取预设规划的初始清扫路线；

判断构建的对应所述目标障碍物体的虚拟物体的坐标位置是否与所述初始清扫路线的路线坐标重合；

当所述坐标位置与所述初始清扫路线的路线坐标重合时，则根据更新后的所述三维模型数据更新所述初始清扫路线。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述生成更新后的清扫路线之后，还包括：

获取自移动工具的当前位置；

根据所述自移动工具的当前位置以及所述更新后的清扫路线，确定完成清扫所需耗电量；

获取所述自移动工具的剩余电量；

根据所述自移动工具的剩余电量以及所述所需耗电量，判断所述自移动工具的剩余电量是否充足；

当确定所述自移动工具的剩余电量充足时，则按照所述更新后的清扫路线继续进行清扫。

8.一种自移动工具清扫路线更新装置，其特征在于，所述装置包括：

实景图像采集模块，用于采集自移动工具所处空间的实景图像，所述实景图像中包括目标障碍物体；

三维模型数据获取模块，用于获取所述空间的三维模型数据；

判断模块，用于基于所述三维模型数据以及所述实景图像，判断所述三维模型数据中是否存在与所述目标障碍物体对应的目标虚拟物体；

三维模型数据更新模块，用于当所述三维模型数据中不存在与所述目标障碍物体对应的目标虚拟物体时，则根据所述实景图像更新所述三维模型数据；

清扫路线更新模块，用于基于更新后的所述三维模型数据对预先生成的初始清扫路线进行更新，生成更新后的清扫路线。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images