CN104714547B

CN104714547B - 带有相机的自主园林车辆

Info

Publication number: CN104714547B
Application number: CN201410858241.XA
Authority: CN
Inventors: 波·佩特尔松
Original assignee: Hexagon Technology Center GmbH
Current assignee: Hexagon Technology Center GmbH
Priority date: 2013-12-12
Filing date: 2014-11-27
Publication date: 2018-03-27
Anticipated expiration: 2034-11-27
Also published as: US20150163993A1; EP2884364B1; CN104714547A; US9603300B2; EP2884364A1

Abstract

带有相机的自主园林车辆。一种使用无人自主园林车辆产生缩放地形信息的方法，所述园林车辆包括：驱动单元，所述驱动单元包括一组至少一个驱动轮；以及连接到所述至少一个驱动轮以用于提供所述园林车辆的可移动性的马达；园林工具；以及用于拍摄地形的图像的相机，所述相机以已知的方式相对于所述园林车辆被定位和对齐。在所述方法中，在所述地形中移动所述园林车辆，同时，通过拍摄地形部分的图像序列使得所述图像序列中的至少两个(连续的)图像覆盖所述地形中的许多相同点而同时地产生一组图像数据，其中，在移动的同时，所述地形部分由所述相机的观察区域在所述相机的各个位置限定。

Description

带有相机的自主园林车辆

技术领域

本发明主要涉及包含相机的无人自主园林车辆和在运动过程中的园林车辆的帮助下产生地形信息的方法。

背景技术

常见的自主园林车辆如割草机通常包含许多用于提供环境数据检测的传感器，其允许控制车辆使得识别和避免地形中可能的障碍。此外，自主割草机通常根据将被修剪地形上的随机路径移动，其中地形的限定区域在给定的时间段内被切割。由于割草机在相同地形部分上多次(随机类型)移动，那个时间段相对较长，从而非常晚的首次到达地形的其它部分。

此外，从WO2007/051972得知，割草机使用测绘功能收集地形的位置信息。位置信息是通过基于安装在割草机上的相机拍摄的地形图像获得。

再者，现有的园林车辆或割草机主要用于在地形中或类似的独立于各自地形的特定状况下切割植物或割草，特别是如果地面或植物干涸或者如果地形部分包含高湿度，并且因此植物的生长是不可能的或加剧的。因此，相应的地形部分由园林车辆处理，其中不良地形条件被维持，且没有提供对植物生长的改善。即在每个切割循环，不管地形条件如何，或不采取进一步行动以提供地形的改善，割草机例如被在这样的地形部分上驾驶。

而且，根据自主割草机，但也对于现有技术中已知的可替代的园林车辆，如此割草机或车辆的工作区域是由嵌入在地面中的某种布线来限定。割草机或车辆包含布线检测单元，用于检测接近或到达带有布线的相应地形部分(在其下方安装了布线)，其中指定的控制命令能够在一个方向上引导割草机，以至不能更接近布线或从布线移开。为了提供割草机运动的这种限制，布线最初被埋入地下规定的深度。因此，为各个自主割草机准备地形是相当耗时的，并且涉及到环境的侵扰。

发明内容

因此，本发明的目的是提供改进的自主园林车辆，用于自主处理指定地形，其中，园林车辆以地形被更有效处理的方式运动，尤其是其中在每个地形部分上基本上仅仅行驶一次。

而且，本发明的目的是提供改进的园林车辆，其在实施园林处理的过程中能够获得地形信息，以便提供在地形中精确的方向和定位。

然而，本发明的另一个目的是提供关联于各自地形部分的相对位置信息的有关地形条件的信息。尤其地，地形信息与绝对位置信息相关联和/或提供至自主园林车辆的操作者。

本发明的再一个目的是为如此的园林车辆提供各自的导航功能，以使割草机的受控运动能够在限定区域以内。

再者，本发明的目的是提供在没有上述提及的环境侵扰条件下自主园林车辆的使用，尤其是在不具有埋入布线的条件下提供园林车辆的自主控制。那个目的还涉及利用地上的地形信息控制和导航园林车辆。

然而本发明的另一个目的是提供用于通过在进一步地形信息条件下，更有效的自主处理指定地形的无人自主割草机。

本发明涉及一种使用无人自主园林车辆产生缩放地形信息的方法。所述园林车辆包括：驱动单元，所述驱动单元包括一组至少一个驱动轮以及连接到所述至少一个驱动轮以用于提供所述园林车辆的可移动性的马达；园林工具；以及用于拍摄地形的图像的相机，所述相机以已知的方式相对于所述园林车辆被定位和对齐。根据特定的实施方式，所述相机绕至少一个轴可枢转地布置。所述方法包括以下步骤：

·在所述地形中移动所述园林车辆，同时通过拍摄地形部分的图像序列，使得所述图像序列中的至少两个图像，尤其是连续的图像，覆盖所述地形中的许多相同点，而同时地产生一组图像数据，其中，在移动的同时，所述地形部分由所述相机的观察区域在所述相机的各个位置限定；

·将同步定位和测绘(SLAM)算法应用至所述一组图像数据，并由此导出地形数据，所述地形数据包括：

○表示拍摄的所述地形的点云；以及

○与所述园林车辆在所述地形中的相对位置相关的位置数据，尤其是，与

所述园林车辆在所述点云中的相对位置的位置数据；以及

·通过将绝对标尺信息应用至所述地形数据而缩放所述点云，尤其是缩放所述位置数据。

无人自主园林车辆将被理解为任何种类的地面园林车辆，能够自主和自动控制(即，通过相应的算法)在指定的工作区域内移动。

位置数据涉及自主园林车辆在地形中的实际(相对)位置。每个拍摄的地形部分涉及园林车辆的相应位置，因为用于拍摄各个图像的相机的姿态为已知的，并且园林车辆的相对位置可从图像序列中导出。换言之，地形数据可以包括关于园林车辆位置和所拍摄的地形部分位置的位置信息。

位置数据的缩放尤其是应理解为在坐标系中限定相应位置，即，根据位置导出实际坐标(x，y和z)。

而且，位置数据尤其涉及园林车辆在地形中的方向，并且因此可以提供关于园林车辆的6DoF(6个自由度)信息。

同步定位和测绘(SLAM)是同时地建立环境(地形)图的进程，尤其是基于环境中的静态特征或地标，并利用此图获得车辆(这个例子中的自主园林车辆)的位置的估计值。车辆凭借其性能从通过安装在园林车辆上的相机返回的数据提取有用的导航信息。

收集地形信息的方法开始于园林车辆的未知位置，并且没有先验知识，例如地形中它的位置或者地标位置。

视觉系统用于提供数据至SLAM算法，以为园林车辆形成导航系统。这个技术，也被称为可视SLAM(VSLAM)，使用被动感应通过相机以提供低功率和动态定位系统。图像处理用于在由相机获取的图像中定位特征，尤其是不同(连续)图像中地形的相同点。

特征被输入到SLAM算法，其随后能够准确计算每个特征的三维位置，并且因此，尤其是，当园林车辆围绕周围空间移动时，开始建立三维地图。

系统(园林车辆)能够建立其环境的地图，同时使用那个地图定位其自身，有望使园林车辆在未知环境中自主操作。

园林车辆的相机可以被实现为全景相机，即相机提供围绕至少一个轴的视场达360°。此类相机尤其由特定光学元件(通过专门设计的透镜)提供了相对较大的视场，和/或包括用于分割和/或放大相机的初始视场的反射镜。尤其是，全景相机包络括抛物线或圆锥状反射镜，以用于提供高达360°的视场。

根据本发明的具体实施例，无人自主园林车辆被实施为无人自主割草机，尤其是其中园林工具是切割工具的形式。下面关于本发明的园林车辆的评论也被理解为是可转移到这样的无人自主割草机上，并且反之亦然(涉及自主割草机的评论可转移到园林车辆上)。

根据本发明的具体实施方法，所述绝对标尺信息是通过接收来自所述园林车辆的传感器单元的运动数据而导出的，所述园林车辆的所述传感器单元提供与通过移动所述园林车辆所覆盖的距离相关的信息，所述传感器单元被设计为：用于检测所述园林车辆的车轮，尤其是所述至少一个驱动轮，的旋转的传感器，和/或距离测量单元，尤其是DISTO模块，用于通过发射激光并接收对象反射的所述激光而测量到所述对象的距离，和/或范围相机，尤其是RIM相机，和/或惯性测量单元(IMU)。

根据本发明了进一步具体实施例，所述绝对标尺信息是通过如下的方式而导出的：拍摄所述地形中的已知的外观和/或位置的参照体的参考图像，并且通过基于在拍摄的所述参考图像中的所述参照体的所述外观的图像处理，并且尤其是，所述相机的已知放大比例而导出所述绝对标尺信息，尤其是其中，所述参照体的尺寸、空间方向和/或形状是预先已知的。

从标志点(参照体)相对的观察，根据创造性方法，提供了同时计算车辆位置的估计值以及地标位置的估计值。当持续运动时，车辆建立地标的完整地图，并使用这些以提供车辆位置的连续估计。通过追踪车辆和在环境中可识别特征之间的相对位置，车辆的位置和特征的位置可以被同时估计。在关于车辆位置的外部信息缺失的情况下，这个算法提出了具有在未知环境中进行导航的必要工具的自主系统。

·关于由园林车辆产生的数据的处理，根据本发明，图像数据组和/或地形数据可以被发送到数据库并存储在其中，其中所述园林车辆包括存储单元，所述存储单元包括所述数据库。而且，用于控制所述园林车辆的远程控制单元包括所述存储单元，所述存储单元包括所述数据库，和/或，所述数据库具体实施为数据云，尤其是存储在远程服务器上，尤其是其中，所述地形数据通过基于同步定位和测绘算法的云计算从所述图像数据导出，并且/或者，通过云计算执行所述点云的缩放。

现在参考如下的区域的确定，即，在该区域内，园林车辆被指定移动和工作。在那种情况下，根据本发明，用于所述园林车辆的工作区域的边界线通过基于地形图而训练和设置边界线来规定，其中，在所述边界线内，所述园林车辆是可控的，以自主地移动和工作。

训练边界线是通过以下操作提供的：沿期望的路径移动所述园林车辆，拍摄与所述路径对应的地形和相对于所述路径的限定邻近地区的一系列边界图像，所述一系列边界图像表示所述图像序列，以及提供所述一系列边界图像以用于控制所述园林车辆。当在地形图的基础上设置所述边界线时，边界位置数据被提供用于控制所述园林车辆。

尤其是，在边界线是通过训练确定的情况下，通过图像处理连续比较所述一系列边界图像中的所述边界图像与实际图像，当在所述工作区域内移动所述园林车辆的同时，所述实际图像被拍摄，基于所述比较而导出每个实际图像的匹配率，并且基于所述匹配率而控制所述园林车辆的运动，使得所述园林车辆只在所述工作区域内自动移动。如果所述匹配率超过预定的匹配阈值，则可以提供用于改变所述园林车辆的运动方向的运动控制命令。

根据本发明的具体实施例，从所述一组图像数据和/或从表示至少一个指定地形部分的实际状态的所述地形数据提取至少一个状态参数，所述状态尤其涉及至少一种植物和/或地面的状态，将对于各个状态的预定阈值与所述状态参数比较，并且基于所述预定阈值和所述状态参数的比较而导出园丁信息。

所述状态参数提供一组地形因子中的至少一个地形因子，所述一组地形因子至少包括以下因子：

·株高，尤其是草长，

●植物生长，尤其是灌木和树篱的生长，

●所述地形的湿度，

●植物的密度，

●所述地形的平面度，以及

●所述地形的亮度或颜色。

根据有关园丁信息的更具体的实施例，所述园丁信息被提供给所述园林车辆的用户，尤其是，连同与相应的至少一个指定地形部分的被建议的处理有关的相关推荐，和/或基于所述园丁信息应用所述园林工具，所述园林工具尤其被设计为切割工具，尤其是树篱切割器、树枝切割器、草切割器或剪刀、施肥单元、杀虫剂单元、浇灌单元或草坪修剪器。

根据本发明的另一个实施例，所述园林工具基于所述地形数据而被应用(通过工具的受控引导)，尤其是基于点云，其中

●所述地形数据至少表示拍摄的地形中的对象的实际形状，

·提供表示用于所述对象的目标形状的园林数据，并且

·基于所述园林数据而引导所述园林工具，使得所述对象的实际形状转变为所述目标形状。

尤其是，其中基于所述地形数据而将所述园林车辆定位于所述地形中的指定位置，并且根据基于所述地形数据和所述园林数据的植物的指定形状而引导所述园林工具。

这种功能提供了地形中的灌木丛、树篱或树等的各自的和自动的(即自主控制的)形状。尤其是，园林数据被提供作为表示要塑造的对象的至少一个指定形状和尺寸的数字数据(例如，CAD数据)。

根据本发明的进一步实施例，提供用于控制所述地形中的另一个园林单元的控制信息，其中所述控制信息通过所述地形数据以及所述地形中的所述另一个园林单元的实际位置和方向而被导出，其中所述园林单元的所述位置和方向通过数据处理(如果当拍摄图像用于生成地形数据时，该园林单元位于地形中)或通过覆盖所述园林单元的至少一部分以及尤其是所述地形的一部分的图像的图像处理从所述地形数据而被导出，尤其是，其中所述园林单元包括6-DoF(6个自由度)目标，所述6-DoF目标通过覆盖6-DoF目标的图像的图像处理来提供具有六个自由度的所述园林单元的所述方向的确定。

由此，所述另一个园林单元的一种基于图像的追踪可以由园林车辆来提供。这样的追踪可以基于在激光追踪系统中已知的追踪方法。

基于通过自主园林车辆拍摄图形的图像提供的地形信息，本发明的上述方面提供了地形中的另外的园林单元的控制。如所提到的，如此的另外的单元的位置和/或方向可从地形数据中获取(地形数据包括园林单元的图像数据)。可选地，从覆盖地形的该单元的至少一部分的附加图像处理附加图像数据，其中根据附加图像数据的单元的相对位置和/或方向被引用至地形数据，例如通过各自生成的点云和/或图像的处理。

而且，控制信息可被提供给另一个园林单元的操作者，包括与园林单元相对于地形的引导有关的指令(手动或控制的自主)，尤其是为了实现将通过另一个园林单元处理的相应植物的指定雕塑。

根据本发明的园林车辆或割草机可以进一步提供它的实际位置的确定。为了这一点，通过比较至少一个拍摄的定位图像的导出的定位图像数据与预先已知的图像数据，园林车辆的位置基于至少一个拍摄的定位图像而确定。

尤其地，园林车辆的位置被确定，其中一组限定的特征，尤其是一组限定特征的相应幅值的单独值，从定位图像数据导出，并且相比于参考特征组，尤其是特征的相关参考值，参考特征组涉及到预先知道的图像数据，并且由于各组参考特征被关联至地形中的限定位置，园林车辆在地形中的位置通过那个比较而被导出。

根据本发明的优选实施例，基于所述点云，尤其是基于所述地形数据，而创建数字地形图，尤其是数字地形模型。

本发明还涉及无人自主园林车辆，所述无人自主园林车辆包括：驱动单元，所述驱动单元包括一组至少一个驱动轮以及连接到所述至少一个驱动轮以用于提供所述园林车辆的可移动性的马达；园林工具；用于拍摄地形的图像的相机，所述相机以已知的方式相对于所述园林车辆被定位和对齐；以及用于控制所述园林车辆的控制单元。

再者，所述园林车辆通过分别控制执行以下步骤而提供适应于产生缩放地形信息的功能：

●将同步定位和测绘(SLAM)算法应用至所述一组图像数据，并由此导出地形数据，所述地形数据包括：

。表示拍摄的所述地形的点云；以及

。与所述园林车辆在所述地形中的相对位置，尤其是，所述园林车辆在所

述点云中的相对位置，相关的位置数据；以及

根据本发明的一个实施例，无人自主园林车辆被实现为无人自主割草机，尤其是其中园林工具被实现为切割工具。

尤其地，无人自主园林车辆被设计成使得如上面概述的方法可由园林车辆执行，尤其是，其中所述园林车辆包括处理单元，并且通过控制单元和处理单元提供所述方法的执行。

根据本发明的实施例，所述无人自主园林车辆包括：计数传感器，所述计数传感器对所述园林车辆的车轮的转数，尤其是至少一个驱动轮的转数，进行计数，所述计数传感器提供所述绝对标尺信息，和/或，距离测量单元，尤其是DISTO模块，用于通过发射激光并接收对象反射的所述激光而测量到所述对象的距离，和/或，范围相机，尤其是RIM相机，和/或，旋转装置，用于旋转所述相机使得所述相机能够在期望的方向上对齐，以用于拍摄提供所述绝对标尺信息的参照体或所述地形部分。

而且，本发明涉及具有用于控制和执行上述方法的计算机可执行指令的计算机程序产品，尤其是，当所述计算机可执行指令运行在上述无人自主园林车辆的控制单元上时，并且尤其是，当所述计算机可执行指令运行在上述无人自主园林车辆的处理单元上时。

根据本发明的具体实施例，所述园林车辆的运动依据施加在所述园林车辆的至少一个车轮或切割工具上的测量转矩而被控制。

附图说明

纯粹以举例的方式，参照附图中示意性示出的工作实例，在下文中更详细地描述或解释根据本发明的方法和设备。具体地，

图1示出了根据本发明的包含一组两个驱动轮、导向轮、切割工具和相机的园林车辆(这里：无人自主割草机)；

图2示出了根据本发明的割草机的另一个实施例；

图3示出了根据本发明的割草机的另一个具体实施例；

图4示出了通过根据本发明的无人割草机被自主割草的地形；和

图5通过流程图说明了利用根据本发明的无人自主园林车辆生成缩放地形信息的方法。

具体实施方式

图1示出了根据本发明的无人自主园林车辆，被实现为无人自主割草机1，包含一组两个驱动轮5、导向轮6、切割工具7和相机10。关于根据显示的箭头A的行驶方向，驱动轮5在割草机1的后部被布置在相反的两侧(左和右)。驱动轮5被以独立的方式驱动，以根据驱动轮5的各自的旋转速率提供割草机1的方向。尤其地，提供两个马达-每个被连接到驱动轮中的一个-用于控制割草机的运动，作为驱动轮5的旋转速率。

根据本发明的替代实施例(未示出)，至少一个驱动轮5是由马达驱动并且通过朝向指定方向转动导向轮6来实现导向割草机1。

切割工具7包括一组切割刀片(至少一个)，其中切割工具7是可围绕轴线B转动，并且从而通过旋转切割刀片来切割植物。切割工具7的位置是可变的，如同它分别到地面或割草机1底侧的距离。

而且，相机10安装在割草机1的前部，用于当割草机1在地面上运动时拍摄地形(环境)的图像(产生一组图像数据)。相机10提供以拍摄一系列地形图像，其中拍摄图像的速率(帧每秒)被选择，使得两个(连续的)图像覆盖地形中的一定数量的相同点，即，帧速率尤其是根据割草机1的速度可调节。

由于当割草时割草机1的位置(和方向)连续变化，并且相机10的位置(以及方向)同时变化，每个拍摄的图像覆盖替代的地形部分。拍摄的地形部分从而由相机10的可视区域和相应的姿态限定。

通过在处理单元上的相应算法的执行，SLAM(同步定位和测绘)是基于(连续的)图像的序列而进行。处理单元可以位于割草机1上，或者可以被实现为从割草机接收数据(通过无线通信)的远程单元，并提供处理后的数据或控制信号至割草机1，例如处理单元被集成到割草机1的远程或现场控制器。地形数据通过运用SLAM算法而产生。

在执行SLAM算法的环境中，从图像数据组(拍摄的图像)计算以点云型式的地形的表面的空间表现(＝地形数据)，例如3D模型。备选地，并且作为对应于SLAM原理的测绘和定位的原理也依赖于本发明的范围，这个计算可以通过限定的来自运动结构(SFM)算法完成，其中所述算法可以是带有代码的存储程序的一部分。SLAM或SFM算法可以基于带有观察源的全景或仿射相机投影模型，观察源包含图像对、图像元组和/或视频序列和标记类型例如稀疏特征对应、致密的光流场、线或曲线，或不从图像中提取任何标记的直接SFM技术。

在本发明的上下文中，SLAM和SFM都被认为是用于生成地形信息的等同的方法。

作为例子，下面的算法被描述，其包含其中发现许多图像对应(＝地形中的相同点)用于图像数据组的至少一些图像的步骤。使用特征检测和匹配算法，例如SIFT、SURF、BRISK、BRIEF等，这个被完成。可选择地，在视频序列的情况下，可以使用追踪算法在每个视频帧中找到对应。使用例如Kanade-Lucas-Tomasi(KLT)功能追踪器或另外的追踪算法可以实现追踪。

使用一对连续图像，相关的相机姿态，即位置和方向，在局部坐标系中被确定。算法使用鲁棒搜索以找到图像对的相机10的3D平移和旋转，例如第二图像相对于第一图像的相对位置和方向。有了这些位置，在两幅图中看到的所有特征的3D位置使用前方交会而计算。这给出了3D点组和两个初始图像(帧)的位置和方向。

在接下来的步骤中，附加图像(帧)被添加到现有的重构中。使用已重构的3D点，相机10在图像拍摄期间已经具有的位置和取向可使用后方交会来计算。添加新的图像之后，使用重构的帧中的所有测量结果，3D点的位置被改善。

尤其地，作为最终或中间步骤，使用束调整，全部解决方案被改善。算法的这部分是重投影误差的非线性的最小二乘法最小化。其将优化所有3D点和所有相机位置的位置和方向。

如果记录中包含来自相同位置的多个图像，例如当割草机停止移动时，来自相同位置的这些图像被匹配。这会增加总的精度。

备选地，其它的SLAM算法可以用来恢复相机10的位置和方向。为进一步加快过程，在数据的记录过程中图像可以被传送到控制和评估单元。

在方法的进一步发展中，进一步改善地形表面的空间表现可以通过计算密集的点云而实现，例如用于每个图像像素的3D坐标，利用例如密集匹配算法，例如深度图融合或平面扫描。

在下一步骤中，点云以及尤其地用于割草机的位置数据，尤其是对于每个拍摄的地形部分(地形的空间表示)，在关于已知绝对参考的信息的帮助下按比例缩放。有利的是，地形数据的垂直和水平方向都使用已知的垂直参考来确定。

根据本发明的具体实施例，地形数据的如此缩放通过已知形状和/或结构的参照体的图像的拍摄和处理来实现，尤其是细长的参照体，由于其细长的形状其限定例如长轴并且包含至少两个限定的视觉可检测的标记，由此至少两个点在参照体上限定。参照体可以被设计为例如在彼此限定的距离上具有两个或多个光学标记的条或标尺条。

在至少两个点之间的绝对距离，尤其是至少两个点的相对于物体的长轴的空间关系，是已知的。这个参照体放置在或紧邻于将被修剪的地形。相机10帮助参照体在至少一些图像上成像或附加至拍摄的区域图像。相对于地形的至少两个空间位置被确定为例如在至少两个点还基于SLAM评估。然后，将点云基于在所确定的至少两个空间位置之间的测量距离和在参照体的至少两个点之间的已知绝对距离进行缩放。

这样的参照体也可以通过在具有已知距离的地形中的可在图像中检测到的限定的点或对象而形成。这个已知的距离可以通过用测量设备诸如距离测量仪(电子测距仪、EDM)的测量来获取，其可以被集成在割草机中，例如以DISTO模块的形式(比照图2)。这样的视觉可检测的点可以由边缘或相比于周围具有不同特性的点来确定。视觉可检测点还可以包含光学标记，例如彩色斑点或类似圆形的几何形状。作为例子，参照体因此可通过已知尺寸的对象而形成，例如对象的高度或宽度或者它的部分的高度或宽度。

根据本发明的另一个具体实施例，当产生图像数据组的过程中，即当割草的过程中，绝对标尺信息是通过测量割草机1的延伸而获取。

为此目的，割草机1包含测量单元，用于检测割草机1的至少一个轮5、6的旋转或旋转状态，尤其是至少一个驱动轮5。这样的单元可以具体化为计数传感器，其计算轮5、6的转数或者可以构建为角度检测单元，用于连续确定轮5、6相对于割草机1的角度位置。这样的单元可以具体地被设计为角度编码器。此外，各个轮5、6的尺寸是已知的(例如直径、半径或周长)，并且从而割草机1的移动距离能够基于检测轮5、6的尺寸和轮旋转而获取。换言之，地形中的割草机1的位置变化的绝对测量被提供。

由相机拍摄的图像或相应地形部分关联至相应的测量的移动距离。由此，基于所拍摄的图像的地形数据(点云)通过将测量的距离与获取的点云和/或与割草机位置相关的位置数据比较，是可缩放的。再进一步，地形的缩放地图是可处理的。

因此，根据每个用于提供绝对标尺的替代物，给出用于收集缩放的地形信息并且同时生成地形的地图的有效方法。因此，割草机1能够放置在未知地形，其中通过执行基于当在地形中移动割草机1时被拍摄的图像的SLAM，割草机1的导航被激活。

图2示出了根据本发明的另一个实施例。割草机1(其表示根据本发明的园林车辆)还包括一组驱动轮5、导向轮6和切割工具7。此外，两个相机10a、10b附接在割草机1，用于拍摄地形20的图像，即尤其是地面21的和例如灌木和/或树22的。相机10a和10b被设计成相对于割草机1附接可旋转(即可枢转；相比箭头)。相机附件的那个设计允许对齐相机10a、10b，使得部分地形可拍摄，其最适合用于精确的通过SLAM获取地形信息。

相机10a、10b的至少一个可以是提供具有可变的视频帧速率图像的摄像机。图像追踪细节，用于在不同的图像中确定相同的点，可以通过这种视频序列的帮助得以实现。

另外，割草机1包含电子距离测量单元12，用于通过发射激光束13并接收反射的光束确定到对象的距离，如到树22。距离可以基于测量发射的激光脉冲的传播时间(飞行时间)直到在单元12中接收到相应的反射光脉冲为止而获取。可替换地，相应距离是基于其它已知原理而获取。这种电子距离测量单元12尤其设计如同激光DISTO模块(尤其如同莱卡测量系统公司(Leica Geosystems AG)提供的)。

根据本发明，地形信息的缩放，其当移动割草机1的过程中能够通过SLAM基于地形20的拍摄的图像而被获取，通过关联地形信息与来自电子距离测量单元12的距离信息而完成。对于这一点，到地形20中的指定对象的距离，例如到指定的(反射)体，到建筑物或到工厂，都由规定的时间间隔确定，尤其是连续地，通过电子距离测量单元12。根据本发明的具体实施例，至对象的距离值的确定被提供给每个拍摄图像，尤其是其中距离测量和图像拍摄同步进行。因此，提供了各个拍摄图像的两个参考点之间的绝对距离和用于图像的以及用于地形图的缩放，其基于图像。此外，获取的点云和/或位置数据可以在所测量的距离的帮助下进行缩放。

尤其地，电子距离测量单元12被连接到割草机1，使得单元12和激光束13可围绕两个轴旋转。这样的设计使能够保持对准地形中的一个指定的点上，同时移动割草机1并且连续地收集割草机1关于那个点的位置信息(通过距离测量)。为保持对准到这样的固定点上，割草机1可以进一步包含传感器单元，其允许确定割草机1的方向，例如相对于重力矢量(例如，倾斜传感器和/或加速度传感器)，并对齐电子距离测量单元12，用于基于所确定的方向而保持对准点。

图3示出根据本发明的无人自主园林车辆的另一个具体实施例，再次由相应的割草机1表示，其中割草机1基本上设计为已经在图1和2中示出的。作为与先前描述的实施例的区别，割草机1包含连接到支撑单元的相机10c，该支撑单元提供了相机10c相对于割草机1关于两个轴的自动对准。因此，为了在环境中对准指定点，相机10c的视图的区域可在任何方向对齐。因此，在割草机1的运动期间，例如为了保持规定对象在视场内，相机的对齐可被采用。

此外，割草机1包含观察单元11。该观察单元11如这里所示被集成在割草机1的壳体中，但根据备选实施例(未示出)，观察单元11也可以是例如位于割草机1的壳体的顶上。观察单元11包含另外的相机和距离确定功能，尤其是其中该另外的相机包含距离确定功能并且建立例如作为RIM相机(范围图像相机)。这样的RIM相机提供根据拍摄的视场的图像信息和用于拍摄图像的规定数量的像素中的每个像素的范围信息，其中范围信息通常提供至图像中的各物体(或其一部分)的距离。RIM相机可以构造为使得为相机的传感器的每个像素(或限定的像素组)提供受控制的光脉冲的飞行时间的测量。

根据本发明的另一个具体实施例，割草机1只包含观带有相机的观察单元11，但不具有另外的相机10-10c。

类似如同结合图2描述的缩放程序，通过使用来自观察单元11的距离信息，完成了这里的地形信息的相应的缩放。到对象的距离是(连续地)通过距离确定功能的帮助来确定的，并且因此，获取了用于割草机1的移动距离的绝对测量。

绝对测量与点的各自相对位置关联，所述点是要被限定用于拍摄图像(例如自动按指定的算法或按SLAM算法)，并且获取的点云的缩放和例如创建的地图(带有与割草机位置相关的位置数据)是基于所述关联而应用。

此外，由距离确定功能传递的范围信息尤其可以由SLAM算法进行处理，并提供了地形信息的更精确的确定。

图4示出将由根据本发明的无人割草机1自主割草的地形20。地形20的区域由围栏25、树篱26和小河24限定。此外，地形20包含两棵树22，树22表示相对于割草机1的工作的障碍物。

根据本发明，割草机1包含用于为将被割草的地形20确定边界线15的功能，其中边界线15限制割草机1的运动区域。对于这样的边界确定，割草机1沿地形20的边界移动，例如通过手动控制割草机1，由此，边界区域的图像由割草机1的相机拍摄并存储在存储单元中，用于提供表示边界区域的参考图像数据。相应的边界线15从那些数据获取(例如，通过图像处理)。边界线15可通过特定坐标表示(通过SLAM和缩放获取)，所述特定坐标关联于图像数据，尤其是分别拍摄的图像。

割草机1为在地形1内自主运动的控制则是基于参考图像数据，其中当前拍摄图像对比于参考数据，并且基于那个比较确定接近边界线15的状态。割草机1被控制，使得接近边界线15至规定距离是允许的。如果割草机1移动到接近线15，则提供控制命令用于在可选择的方向(例如，在相反方向)上操纵割草机1。尤其是如果割草机穿过边界线15，它将停止。

可选地，在割草机1在地形20中自主运动的过程中，边界线15被获取，其中所拍摄的图像被提供到图像处理单元同时基于图像处理获取了地形边界，尤其是通过基于表示地形边界结构(例如围栏)的预先限定的结构或图案的特征提取。边界线15还由图像处理而获得。例如，如果割草机1靠近树篱26或围栏25并且获取这些结构的相应图像，则这些图像提供至图像处理并且对比于参考图案，其示意性地表示围栏和/或树篱。此外，提供了表示水的参考图案或彩色结构，用于能够检测水，尤其是小河24。

根据本发明，相应的边界信息与通过SLAM算法获取的绝对位置信息以及通过缩放获取的地形信息关联。因此，地形中的边界线15的绝对位置是已知的。

本发明的又一方面涉及地形的至少一部分的特定或当前状态的位置参考检测。为了那个，处理拍摄的图像以便获取状态参数，其表示地形部分的实际状态，状态尤其涉及至少一种植物和/或地面的条件(即健康)。

为了从各地形部分的状态视点来评估它们，用于地形部分的各状态参数对比于预定义的参考参数，尤其是对比于状态参数的各阈值。基于上述比较，即，根据参数是否超过阈值，可以生成有关地形部分的各状态信息。

如此的状态信息作为园丁信息提供给系统的用户。园丁信息可以包含地形部分的位置，关于地形部分的状态与阈值的偏差的相对测量，和/或用户关于如何处理地形部分以提高它的当前状态的建议。

尤其地，园丁信息-以及割草机1产生的或割草机1接收到的任何其它信息可经由无线通信链路，例如经由无线电、蓝牙、WiFi或移动电话通信标准(例如GSM)，发送到用户。例如，信息通过智能电话被接收并处理。

根据本发明的具体实施例，如果相应地形部分的待检测参数超过规定的阈值，则提供一组地形因子中的至少一个地形因子，该组包括以下因子

·株高，尤其是草长，

·植物生长，尤其是灌木和树篱，

·地形的湿度，

·植物的密度，例如草秆

·地形的平面度，和

·地形的亮度或颜色。

根据本发明的割草机1的具体实施例，割草机1包含：用于处理地形、地面和/或植物的附加工具。这样的工具可以根据园丁信息和/或根据用户的命令而被应用。在执行地形部分的相应处理的情况下，割草机被启用-根据地形的测绘-以移动到相应地形部分并应用指定的工具。

在那种情况下，割草机例如包含园丁工具，园丁工具尤其被设计为施肥单元、浇水单元或草坪修剪器。

根据本发明的另一个实施例，割草机1包含用于在将被修剪的地形20中检测障碍物(这里：树22)的功能。如此检测是通过图像处理由割草机1的相机拍摄的图像而提供的。另外，各障碍物22的位置的确定可通过使用地形数据的缩放和SLAM算法来完成。

根据本发明的又一实施例(这里未示出)，在地形20中提供对接站点是为了给割草机1的电池再充电。如果电池的充电水平低于规定的极限，基于所收集的地形数据(例如地形图)，割草机1被控制以移动到对接站点，尤其是在直接路径中。对接站点可以包含清洁单元，该清洁单元在对接状态下提供在对割草机1的相机的清洁。

图5示出了用于利用根据本发明的无人自主园林车辆(例如割草机)产生缩放地形信息，即地形的缩放的点云，的方法。

首先，园林车辆位于未知地形或环境中的任意点(步骤31)。根据具体实施例，园林车辆可以位于已知的地形。

为了收集地形信息，园林车辆在地形中移动(例如根据随机路径或者根据重新定义的运动策略)(步骤32)，由此它获取(与园林车辆以及它的相机的姿态和相机属性对应的相应地形部分的)地形的图像。

图像的拍摄被控制，使得依次拍摄的图像将覆盖地形中的至少部分公共的子区域(如果车辆直线移动而没有意想不到的影响)，以在连续图像中的每个图像中的地形中提供相同的点。在这种情况下，拍摄图像的频率根据园林车辆的运动是可改变的，尤其是根据移动过程中园林车辆的移动速度和方向变化。

同步定位和测绘(SLAM)的方法被应用(步骤33)至所拍摄的图像以便获取地形信息。如上所述，这样的SLAM提供在地形中定位园林车辆的可能性以及(同时)为地形测绘的可能性，尤其是通过生成点云(例如，在通过车辆的运动提供的立体摄影测量的基础上)或被覆盖地形的地图和模型，并且确定园林车辆在那个地形中(在点云中)的位置。

用于实现这样的SLAM的可能的方法是基于以下原理。园林车辆被放置在环境中的任意位置(步骤31)，那个任意位置限定了坐标系的原点，并且从而车辆在那个坐标系中的第一(原点)位置是已知的。开始于那个第一已知位置，园林车辆在地形中运动并且拍摄地形的图像(步骤32)。第一图像覆盖第一地形部分，第二图像仍然覆盖共同表示第二地形部分的第一地形部分的一部分和地形附加区域，并且下一个图像覆盖第二地形部分的一部分和另外的附加地形区域(等等)。

依靠拍摄的(重叠的)图像，通过处理拍摄的图像，尤其是在至少两个图像上在地形中识别共同的位置，提供车辆运动的追踪，即，车辆的相应位置是可确定的(步骤34)。此外，地形的地图(例如以一个大的点云的形式)可通过处理图像而创建，使得基于多个拍摄的图像的一个紧密结合的(即连续的)点云在图像中的识别的相同点的基础上是可处理的(步骤35)。尤其地，用于计算点云的立体基础(基于例如两个连续的图像)可以由园林车辆的运动和图像拍摄频率来提供。

因此，SLAM过程被配置成逐步生成地形的地图(点云)并且连续不断地确定园林车辆在运动过程中的当前位置。

地形中的位置和地图是基于上面的过程而获取。然而，这种过程不提供缩放的地图，或者地形中的相对位置的测量(作为实例，两个位置之间的距离)。地图仅仅基于图像数据，其中园林车辆的确定位置也从图像数据导出。图像数据不提供有关地形中的距离的任何信息。因此，待处理的地形的整个地图可以被导出，由此那个地图初始地表示整个地形，但以未缩放的方式，即，点云的单个点之间的距离是未知的。

根据本发明，点云(尤其是用于园林车辆的位置数据)的相应缩放是通过应用绝对标尺信息(例如距离的量度)至地形数据(步骤36)而完成。绝对标尺信息是通过几种方法获取，如同在图1-3的上下文中描述。根据这些方法，例如通过测量园林车辆的车轮的旋转(其中，车轮的直径是已知的)，通过连续测量在地形中至对象的距离并且由距离测量单元或RIM相机确定到那个对象的距离变化，和/或通过拍摄和处理地形中限定标记的图像，可以获取绝对测量。

作为缩放步骤36的结果，提供了缩放的地形数据34a、35a(点云和位置信息)。

如此的经缩放的数据允许生成具有精确测量的地形的地图以及准确确定并提供园林车辆的当前位置。此外，经缩放的地形数据使得改进园林车辆在地形中的运动规划，从而更有效地覆盖整个地形区域，即，减小由园林车辆行驶直到到达或处理每个地形部分的距离，或者减小依赖于园林车辆的电池的充电状态的规划行驶距离。

上面描述的用于利用园林车辆和/或园林车辆的导航来收集信息的方法类似地可通过现有技术已知的自主工作真空清洁器而应用。

Claims

1.一种使用无人自主园林车辆(1)产生缩放地形信息的方法，所述园林车辆(1)包括：

●驱动单元，所述驱动单元包括：

○一组至少一个驱动轮(5)；以及

○连接到所述至少一个驱动轮(5)以用于提供所述园林车辆(1)的可移动性的马达；

●园林工具(7)；以及

●用于拍摄地形(20)的图像的相机(10-10c)，所述相机(10-10c)以已知的方式相对于所述园林车辆(1)被定位和对齐，

其中，所述方法包括以下步骤：

●在所述地形(20)中移动所述园林车辆(1)，同时通过拍摄地形部分的图像序列，使得所述图像序列中的至少两个图像覆盖所述地形(20)中的许多相同点，而同时地产生一组图像数据，其中，在移动的同时，所述地形部分由所述相机(10-10c)的观察区域在所述相机(10-10c)的各个位置限定；

●将同步定位和测绘SLAM算法应用至所述一组图像数据，并由此导出地形数据，所述地形数据包括：

○表示拍摄的所述地形(20)的三维点云；以及

○与所述园林车辆(1)在所述地形(20)中的相对位置相关的位置数据；

以及

●通过将绝对标尺信息应用至所述地形数据而缩放所述三维点云。

2.根据权利要求1所述的方法，其特征在于

通过将绝对标尺信息应用至所述地形数据而缩放所述位置数据。

3.根据权利要求1所述的方法，其特征在于

所述绝对标尺信息是通过接收来自所述园林车辆(1)的传感器单元的运动数据而导出的，所述园林车辆(1)的所述传感器单元提供与通过移动所述园林车辆(1)所覆盖的距离相关的信息，所述传感器单元被设计为：

●用于检测所述园林车辆(1)的车轮(5，6)的旋转的传感器，和/或

●距离测量单元(12)，用于通过发射激光(13)并接收对象(22)反射的所述激光而测量到所述对象(22)的距离，和/或

●范围相机，和/或

●惯性测量单元IMU。

4.根据权利要求3所述的方法，其特征在于

所述距离测量单元(12)是DISTO模块。

5.根据权利要求1至4中的任一项所述的方法，其特征在于

所述绝对标尺信息是通过如下的方式而导出的：拍摄所述地形(20)中的已知的外观和/或位置的参照体的参考图像，并且通过基于在拍摄的所述参考图像中的所述参照体的所述外观的图像处理和所述相机(10-10c)的已知放大比例而导出所述绝对标尺信息。

6.根据权利要求5所述的方法，其特征在于

所述参照体的尺寸、空间方向和/或形状是预先已知的。

7.根据权利要求1至4中的任一项所述的方法，其特征在于

发送所述一组图像数据和/或所述地形数据至数据库并将所述数据存储在所述数据库中，其中

●所述园林车辆(1)包括存储单元，所述存储单元包括所述数据库，和/或

●用于控制所述园林车辆(1)的远程控制单元包括所述存储单元，所述存储单元包括所述数据库，和/或

●所述数据库具体实施为数据云。

8.根据权利要求7所述的方法，其特征在于

所述地形数据通过基于同步定位和测绘SLAM算法的云计算从所述图像数据导出，并且/或者，通过云计算执行所述三维点云的缩放。

9.根据权利要求1至4中的任一项所述的方法，其特征在于

用于所述园林车辆(1)的工作区域的边界线(15)通过下述操作来规定，其中，在所述边界线内，所述园林车辆(1)是可控的，以自主地移动和工作：

●通过下述操作来训练所述边界线(15)：

○沿期望的路径移动所述园林车辆(1)，

○拍摄与所述路径对应的地形和相对于所述路径的限定邻近地区的一系列边界图像，所述一系列边界图像表示所述图像序列，以及

○提供所述一系列边界图像以用于控制所述园林车辆(1)，或者

●在地形图的基础上设置所述边界线(15)，其中边界位置数据被提供用于控制所述园林车辆(1)。

10.根据权利要求9所述的方法，其特征在于

在所述边界线(15)通过训练而被确定的情况下，

●通过图像处理连续比较所述一系列边界图像中的所述边界图像与实际图像，当在所述工作区域内移动所述园林车辆(1)的同时，所述实际图像被拍摄，

●基于所述比较而导出每个实际图像的匹配率，并且

●基于所述匹配率而控制所述园林车辆(1)的运动，使得所述园林车辆(1)只在所述工作区域内自动移动。

11.根据权利要求1至4中的任一项所述的方法，其特征在于

●从所述一组图像数据和/或从表示至少一个指定地形部分的实际状态的所述地形数据提取至少一个状态参数，

●将对于各个状态的预定阈值与所述状态参数比较，并且

●基于所述预定阈值和所述状态参数的比较而导出园丁信息。

12.根据权利要求11所述的方法，其特征在于

●株高，

●植物生长，

●所述地形的湿度，

●植物的密度，

●所述地形的平面度，以及

所述地形的亮度或颜色。

13.根据权利要求12所述的方法，其特征在于

●所述园丁信息被提供给所述园林车辆(1)的用户，和/或

●基于所述园丁信息应用所述园林工具(7)。

14.根据权利要求13所述的方法，其特征在于

所述园丁信息连同与相应的至少一个指定地形部分的被建议的处理有关的相关推荐被提供给所述园林车辆(1)的所述用户。

15.根据权利要求13所述的方法，其特征在于

所述园林工具(7)是树篱切割器、树枝切割器、草切割器或剪刀、施肥单元、杀虫剂单元、浇灌单元或草坪修剪器。

16.根据权利要求1至4中的任一项所述的方法，其特征在于

基于所述地形数据应用所述园林工具(7)，其中

●所述地形数据至少表示拍摄的地形(20)中的对象(22，26)的实际形状，

●提供表示用于所述对象(22，26)的目标形状的园林数据，并且

●基于所述园林数据而引导所述园林工具(7)，使得所述对象(22，26)的实际形状转变为所述目标形状。

17.根据权利要求16所述的方法，其特征在于

基于所述地形数据而将所述园林车辆(1)定位于所述地形(20)中的指定位置，并且根据基于所述地形数据和所述园林数据的植物(22，26)的指定形状而引导所述园林工具(7)。

18.根据权利要求1至4中的任一项所述的方法，其特征在于

●提供用于控制所述地形(20)中的另一个园林单元的控制信息，其中所述控制信息通过所述地形数据以及所述地形(20)中的所述另一个园林单元的实际位置和方向而被导出，其中所述园林单元的所述位置和方向通过数据处理或通过覆盖所述园林单元的至少一部分以及所述地形(20)的一部分的图像的图像处理从所述地形数据而被导出，并且/或者

●基于所述三维点云而创建数字地形图。

19.根据权利要求18所述的方法，其特征在于

所述园林单元包括6自由度目标，所述6自由度目标通过图像处理提供具有六个自由度的所述园林单元的所述方向的确定。

20.一种无人自主园林车辆(1)，所述无人自主园林车辆包括：

●驱动单元，所述驱动单元包括：

○一组至少一个驱动轮(5)；以及

●园林工具(7)；

●用于拍摄地形(20)的图像的相机(10-10c)，所述相机(10-10c)以已知的方式相对于所述园林车辆(1)被定位和对齐；以及

●用于控制所述园林车辆(1)的控制单元，

其特征在于

所述园林车辆(1)通过分别控制执行以下步骤而提供适应于产生缩放地形信息的功能：

○表示拍摄的所述地形(20)的三维点云；以及

以及

21.根据权利要求20所述的无人自主园林车辆(1)，其特征在于

通过将绝对标尺信息应用所述地形数据而缩放所述位置数据。

22.根据权利要求20或21所述的无人自主园林车辆(1)，其特征在于

●所述园林车辆(1)被设计成使得根据权利要求1至19中的任一项所述的方法能由所述园林车辆(1)执行，并且/或者

●所述园林车辆(1)包括：

○计数传感器，所述计数传感器对所述园林车辆(1)的车轮(5，6)的转数进行计数，所述计数传感器提供所述绝对标尺信息，和/或

○距离测量单元(12)，用于通过发射激光(13)并接收对象(22)反射的所述激光而测量到所述对象(22)的距离，和/或

○范围相机，和/或

○旋转装置，用于旋转所述相机(10-10c)使得所述相机(10-10c)能够在期望的方向上对齐，以用于拍摄提供所述绝对标尺信息的参照体或所述地形部分。

23.根据权利要求22所述的无人自主园林车辆(1)，其特征在于

所述园林车辆(1)包括处理单元，并且通过所述控制单元和所述处理单元提供所述方法的执行。

24.根据权利要求22所述的无人自主园林车辆(1)，其特征在于

所述距离测量单元(12)是DISTO模块。

25.一种存储有用于控制和执行根据权利要求1至19中的任一项所述的方法的计算机可执行指令的计算机可读存储介质。