CN109033948A - 识别边界边缘的至少一个区段的方法和相关方法、系统 - Google Patents

识别边界边缘的至少一个区段的方法和相关方法、系统 Download PDF

Info

Publication number
CN109033948A
CN109033948A CN201810593552.6A CN201810593552A CN109033948A CN 109033948 A CN109033948 A CN 109033948A CN 201810593552 A CN201810593552 A CN 201810593552A CN 109033948 A CN109033948 A CN 109033948A
Authority
CN
China
Prior art keywords
boundary edge
robot
sequence
section
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810593552.6A
Other languages
English (en)
Other versions
CN109033948B (zh
Inventor
M.赖纳特
A.施特罗迈尔
S.策特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Andreas Stihl AG and Co KG
Original Assignee
Andreas Stihl AG and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Andreas Stihl AG and Co KG filed Critical Andreas Stihl AG and Co KG
Publication of CN109033948A publication Critical patent/CN109033948A/zh
Application granted granted Critical
Publication of CN109033948B publication Critical patent/CN109033948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D34/00Mowers; Mowing apparatus of harvesters
    • A01D34/006Control or measuring arrangements
    • A01D34/008Control or measuring arrangements for automated or remotely controlled operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及用于识别要被处理的区域的边界边缘的至少一个区段的方法、用于在要被处理的区域上操作自主移动绿化区域维护机器人的方法、识别系统和具有这种识别系统和自主移动绿化区域维护机器人的绿化区域维护系统。

Description

识别边界边缘的至少一个区段的方法和相关方法、系统
技术领域
本发明涉及用于识别要被处理的区域的边界边缘的至少一个区段的方法、用于在要被处理的区域上操作自主移动绿化区域维护机器人的方法、识别系统和具有这种识别系统和自主移动绿化区域维护机器人的绿化区域维护系统。
背景技术
用于识别要被处理的区域的边界边缘的至少一个区段的方法、用于在要被处理的具有边界边缘的区域上操作自主移动绿化区域维护机器人的方法、识别系统和具有这种识别系统和自主移动绿化区域维护机器人的绿化区域维护系统是已知的。
发明内容
本发明解决提供一种用户友好的用于识别要被处理的区域的边界边缘的至少一个区段的方法的问题。本发明还解决提供一种用于在要被处理的具有边界边缘的区域上操作自主移动绿化区域维护机器人的方法、提供一种识别系统以及提供一种绿化区域维护系统的问题。
本发明通过提供具有权利要求1的特征的方法来解决该问题。由本发明解决的问题还通过具有权利要求6的特征的方法、具有权利要求8的特征的识别系统和具有权利要求11的特征的绿化区域维护系统来解决。在从属权利要求中描述了本发明的有利的改进方案和/或改善方案。
根据本发明的用于尤其由自主移动绿化区域维护机器人识别要被处理的区域的边界边缘的至少一个区段的方法包括以下步骤:a)借助于相机来记录、尤其自动地记录实时(live)图像;b)使所记录的实时图像与目标符号叠加、尤其自动地叠加并且显示、尤其自动地显示与目标符号叠加的实时图像;c)瞄准具有目标符号的区段并且尤其由用户通过使相机定向来沿着区段引导目标符号;d)在引导过程期间借助于相机记录、尤其自动地记录区段的图像序列;e)在所记录的图像序列的相应图像中将以目标符号引用的图像点标记、尤其自动地标记为边界边缘图像点;f)基于边界边缘图像点获得和/或确定、尤其自动地获得边界边缘的区段的位置坐标序列。
该方法使得有可能以用户友好的方式识别区域的边界边缘的区段的位置坐标序列。该方法的顺序可以相对容易地理解,就用户而言花费相对少的时间,并且几乎不需要用户的任何体力劳动或者不需要用户的体力劳动。
该区域可以例如是室外区域、尤其未被密封的地面、或绿化区域、诸如具有草坪的长草区域。该边界边缘可以通过栅栏、墙、小路、露台、树篱、苗圃、池塘、地形之间的过渡、标记和/或以其他方式来限定或划界。
该相机可以有利地是数字相机。
步骤a)和b)可以被称为实时查看模式和/或实时预览模式。在这种情况下,实时图像可以实时地与目标符号叠加并且显示。换言之:步骤a)和b)可以同时被执行,有利地被重复数次。该目标符号可以被称为十字线。
步骤a)和b)使得有可能如在步骤c)中那样瞄准具有目标符号的区段并且通过使相机定向来沿着区段引导目标符号。步骤a)和b)可以有利地与步骤c)同时被执行,尤其在步骤c)期间被重复数次。步骤a)、b)和步骤c)的瞄准可以被称为搜索。
在步骤d)中记录的图像序列中的至少一些图像自身可以用作步骤a)的实时图像。替代地,在步骤d)中记录的图像可以与实时图像不同。
步骤e)的标记可以在相应图像自身中和/或作为附加到图像的元信息进行。尤其,实时图像中的中心图像点或中心像素可以与目标符号叠加和/或在所记录的图像序列中相应地被标记。步骤e)可以与步骤d)同时被执行和/或在步骤d)之后的时间被执行。
步骤e)使得有可能提供边界边缘图像点序列,并且因此使得步骤f)变成可能。步骤f)可以与步骤e)同时被执行和/或在步骤e)之后的时间被执行。可以有利地存储所获得的位置坐标序列。
位置坐标可以是局部坐标系中的相对坐标和/或全局坐标系、诸如行星地球的地理坐标系中的绝对坐标。尤其,可以将相对坐标变换成全局坐标。可以借助于至少一个位置确定设备来有利地识别相机在图像序列的记录期间的位置。该位置可以作为元信息被附加到所记录的图像序列的图像中的至少一些、尤其所有图像并且被包括在步骤f)中。另外或替代地,可以尤其借助于至少一个加速度传感器、至少一个转速传感器和/或至少一个位置确定设备在目标符号沿着该区段的引导过程期间感测相机的定向。该定向可以作为元信息被附加到所记录的图像序列的图像中的至少一些、尤其所有图像并且被包括在步骤f)中。
在本发明的一个改进方案中,步骤d)包括从不同位置和/或从不同角度和/或从不同立足点记录区段的图像序列。另外或替代地,步骤d)包括记录包括深度信息的区段的图像序列。可以通过相机的平移移动来到达各个位置。可以尤其借助于至少一个加速度传感器、至少一个转速传感器和/或至少一个位置确定设备来感测相机的平移移动。该平移移动可以作为元信息被附加到所记录的图像序列的图像中的至少一些、尤其所有图像并且被包括在步骤f)中。另外或替代地,可以通过另一相机来到达各个位置;尤其,立体相机可以包括所述相机和所述另一相机。哪个图像已经被哪个相机记录可以作为元信息被附加到所记录的图像序列的图像中的至少一些、尤其所有图像并且被包括在步骤f)中。所述相机可以是TOF相机以便实现深度信息。TOF相机是可以通过飞行时间法来测量距离的3D相机系统。该深度信息可以被包括在步骤f)中。
在本发明的一个改进方案中,在步骤f)中,借助于摄影测量法基于边界边缘图像点来获得边界边缘的区段的位置坐标序列。摄影测量法可以被理解为意指一组通过远程感测的测量方法和评估方法,以便根据对象的图像来确定和/或重建其空间位置或三维形式。有利地,借助于捆绑调整、运动结构和/或视觉同时定位和映射。换句话说:可以从所记录的图像序列创建区域的边界边缘的区段的地图,尤其三维地图。基于边界边缘图像点,可以识别边界边缘的区段在地图中的位置坐标序列。如果地图已经可用,则可以基于边界边缘图像点在地图中识别边界边缘的区段的位置坐标序列。
在本发明的一个改进方案中,该方法包括以下步骤:g)记录区段的实时图像;h)基于所获得的边界边缘的区段的位置坐标序列使所记录的实时图像与边界边缘线叠加以及显示与边界边缘线叠加的实时图像。步骤g)和h)使得增强现实对于用户来说变成可能。增强现实可以被理解为意指信息的视觉表示,尤其借助于叠加和/或重叠用附加信息和/或虚拟对象来补充图像。这使得用户有可能以容易的方式实施所获得的边界边缘的区段的位置坐标序列的视觉检查和/或检验。像步骤a)和b)一样,步骤g)和h)可以被称为实时查看模式;尤其,步骤g)和h)可以同时被执行。步骤g)和h)可以在步骤a)、b)、c)、d)、e)和f)之后被执行。另外或替代地,步骤g)可以与步骤a)同时被执行,尤其可以对应于步骤a)。因此,步骤h)可以与步骤b)同时被执行。边界边缘线也可以被称为虚拟喷雾(virtual spray)。
在本发明的一个改进方案中,该方法包括以下步骤:i)输出所获得的边界边缘的区段的位置坐标序列;j)使得所获得的位置坐标序列能够用于处理。步骤i)可以有利地基于步骤g)和h);尤其,可以以增强现实模式来显示所获得的边界边缘的区段的位置坐标序列。处理可以包括编辑、更改、置换和/或平滑。有利地可以存储处理后的位置坐标序列。
本发明还涉及一种用于在具有边界边缘的要被处理的区域上操作自主移动绿化区域维护机器人的方法。根据本发明的方法包括先前描述的用于识别边界边缘的至少一个区段的方法。该方法还包括以下步骤:根据所获得的边界边缘的至少所述区段的位置坐标序列来控制、尤其自动地控制自主移动绿化区域维护机器人在要被处理的区域上的移动,使得绿化区域维护机器人保持在要被处理的区域上,尤其在边界边缘内。
这使得有可能借助于自主移动绿化区域维护机器人来自主地维护要被处理的区域。自主维护可以意指绿化区域维护机器人可以以自力更生的、自作用的、自我决定的或自我控制的方式和/或独立于用户在要被处理的区域上移动和/或行动,以及/或者可以选择至少一个参数、诸如尤其路线参数和/或转向点。自主维护可以附加地或替代地意指绿化区域维护机器人可以自动地开始工作和/或结束工作。在自主维护期间,不需要由用户来控制、尤其远程地控制绿化区域维护机器人。换言之,不在自主维护期间,绿化区域维护机器人可以尤其在没有人控制和/或引导的情况下工作。该自主移动绿化区域维护机器人可以被称为服务机器人。该绿化区域维护机器人可以有利地包括用于维护要被处理的区域的维护工具。
在本发明的一个改进方案中,该自主移动绿化区域维护机器人包括机器人相机,尤其可定向机器人相机。该方法包括以下步骤:借助于机器人相机记录、尤其自动地记录要被处理的区域的至少一部分、尤其边界边缘的至少所述区段的机器人图像。该方法包括:根据所记录的机器人图像控制、尤其自动地控制自主移动绿化区域维护机器人在要被处理的区域上的移动。
本发明还涉及一种尤其用于执行先前描述的方法的识别系统。根据本发明的识别系统包括可定向相机、计算单元和显示屏。该可定向相机被配置成在相机的定向过程期间记录要被处理的区域的边界边缘的至少所述区段的实时图像和图像序列。该计算单元被配置成使所记录的实时图像与目标符号叠加,在所记录的图像序列的相应图像中将以目标符号引用的图像点标记为边界边缘图像点,以及基于边界边缘图像点来获得和/或确定边界边缘的区段的位置坐标序列。该显示屏被配置成显示与目标符号叠加的实时图像。
该识别系统使得有可能以用户友好的方式来识别区域的边界边缘的区段的位置坐标序列。
该相机可以有利地是数字相机。该显示屏可以被称为电子取景器。该显示屏可以尤其被配置为用于输出所获得的边界边缘的区段的位置坐标序列并且用于处理的触摸屏。该计算单元可以有利地附加地被配置为用于至少存储边界边缘的区段的位置坐标序列的存储单元。尤其,该识别系统可以包括用于感测相机的位置、定向和/或平移移动的至少一个加速度传感器、至少一个转速传感器和/或至少一个位置确定设备。该计算单元可以被配置成与加速度传感器、转速传感器和/或位置确定设备(如果提供的话)合作。
在本发明的一个改进方案中,该识别系统包括移动和/或便携式识别设备。该移动识别设备包括可定向相机和显示屏。该移动识别设备可以有利地包括计算单元。该移动识别设备尤其可以是智能电话和/或平板电脑。
在一个改进方案中,该识别系统包括另一可定向相机。另外或替代地,该可定向相机包括TOF相机。该识别系统可以尤其包括立体相机,该立体相机可以包括该相机和该另一相机。
本发明还涉及一种尤其用于执行先前描述的方法的绿化区域维护系统。根据本发明的绿化区域维护系统包括先前描述的识别系统、自主移动绿化区域维护机器人和控制单元。该控制单元被配置成根据所获得的边界边缘的至少所述区段的位置坐标序列来控制自主移动绿化区域维护机器人在要被处理的区域上的移动,使得绿化区域维护机器人保持在要被处理的区域上,尤其在边界边缘内。
这使得有可能借助于自主移动绿化区域维护机器人来自主地维护要被处理的区域。
该控制单元可以被配置成与识别系统合作。该绿化区域维护机器人可以尤其包括控制单元。该绿化区域维护机器人可以有利地包括用于维护要被处理的区域的维护工具。
在本发明的一个改进方案中,该自主移动绿化区域维护机器人包括机器人相机、尤其可定向机器人相机。该机器人相机被配置成记录要被处理的区域的至少一部分的机器人图像。该控制单元被配置成根据所记录的机器人图像来控制自主移动绿化区域维护机器人在要被处理的区域上的移动。
在本发明的一个改进方案中,该识别系统包括标识传输单元。该控制单元包括控制传输单元。该标识传输单元和控制传输单元被配置成彼此合作并且以无线的和/或无线缆的方式传送所获得的边界边缘的至少所述区段的位置坐标序列。这使得用户友好传输变成可能。
在本发明的一个改进方案中,该自主移动绿化区域维护机器人被配置为包括草坪割草工具的草坪割草机器人。该绿化区域维护机器人可以尤其被配置为覆盖割草机器人。该草坪割草工具可以有利地包括至少一个割草线、至少一个塑料切割机、至少一个金属切割机和/或具有至少一个切割边缘和/或具有至少一个切齿的金属切割刀片。这可以允许借助于草坪割草工具来切割草、草本植物、多树木矮树丛、或更小的树/灌木。该草坪割草工具可以有利地被配置为旋转草坪割草工具并且用于在没有对刃的情况下通过被称为自由切割方法的方法来切割要被切割的材料,尤其用于通过草坪割草工具的离心力来产生切割操作。
附图说明
本发明的另外的优点和方面从权利要求和下面基于图所解释的本发明的优选示例性实施例的以下描述显露出来,在所述图中:
图1示出根据本发明的方法的流程图,
图2示出根据本发明的识别系统的后视图,
图3示出图2的识别系统的前视图,
图4示出根据本发明的绿化区域维护系统的自主移动绿化区域维护机器人的示意图,
图5示出要借助于图1的方法以及图2和3的识别系统识别的以及要借助于图4的绿化区域维护机器人处理的区域的俯视图,
图6示出与图5的区域的边界边缘的区段的目标符号叠加的实时图像,以及
图7示出与对应于图6的区段的边界边缘线叠加的实时图像。
具体实施方式
图2和3示出根据本发明的识别系统20。该识别系统20包括可定向相机21、计算单元22和显示屏23。该可定向相机21被配置成在相机21的定向过程期间记录实时图像1、5(如可以在图6和7中看到的)、以及要被处理的区域100的边界边缘101的至少一个区段102的图像1的序列(如可以在图5中看到的)。该计算单元22被配置成使所记录的实时图像1与目标符号10叠加,在所记录的图像序列的相应图像1中将以目标符号10引用的图像点2标记为边界边缘图像点,以及基于边界边缘图像点获得边界边缘101的至少区段102的位置坐标x1、y1的序列。该显示屏23被配置成显示与目标符号10叠加的实时图像1(如可以在图6中看到的)。在示出的示例性实施例中,栅栏形式的边界边缘101限制或限定要被处理的具有草坪的长草区域形式的区域100。
因此,该识别系统20使得有可能以用户友好的方式识别要被处理的区域100的边界边缘101的至少区段102的位置坐标x1、y1的序列。
详细地,该相机21是数字相机,尤其TOF相机。该计算单元22附加地被配置为用于至少存储边界边缘101的位置坐标x1、y1的序列的存储单元。该显示屏23被配置为触摸屏,尤其用于输出所获得的位置坐标x1、y1的序列并用于处理所述位置坐标。
该识别系统20是智能电话形式的移动识别设备。该移动识别设备包括可定向相机21和显示屏23并且另外还包括计算单元22。
此外,该识别系统20包括标识传输单元24。在示出的示例性实施例中,该移动识别设备包括标识传输单元24。
图1示出根据本发明的用于尤其借助于先前描述的识别系统200至少识别要被处理的区域100的边界边缘101的区段102的方法。在步骤a)中,借助于相机21来记录实时图像1。在步骤b)中,使所记录的实时图像1与十字线形式的目标符号10实时地叠加,并且实时地显示与目标符号10叠加的实时图像1,如可以在图6中看到的。步骤a)和b)可以被称为实时查看模式。在步骤c)中,瞄准具有目标符号10的区段102,并且尤其由用户200借助于对相机21进行定向沿着区段102引导目标符号10,如通过箭头在图5中指示的。在步骤d)中,在引导过程期间借助于相机21来记录区段102的图像1的序列。在示出的示例性实施例中,在步骤d)中记录的图像1用作步骤a)的实时图像。在步骤e)中,在所记录的图像1的序列的相应图像中,以目标符号10引用的图像点2被标记为边界边缘图像点,如可以在图6中看到的。在示出的示例性实施例中,使实时图像1中的中心图像点2与目标符号10叠加并且相应地,在所记录的图像1的序列中,该中心图像点被标记为边界边缘图像点。在步骤f)中,基于边界边缘图像点获得边界边缘101的至少区段102的位置坐标x1、y1的序列。在示出的示例性实施例中,随后存储所获得的位置坐标x1、y1的序列。如通过坐标轴在图5中指示的,位置坐标x1、y1是区域100的局部坐标系中的相对坐标。
因此,该方法相应地使得有可能以用户友好的方式识别要被处理的区域100的边界边缘101的至少区段102的位置坐标x1、y1的序列。
详细地,步骤d)包括从各个位置P1、P2记录边界边缘101的图像1的序列,如可以在图5中看到的。在示出的示例性实施例中,通过相机21的平移移动来到达各个位置P1、P2;尤其,用户围绕长草区域100走动。另外,步骤d)包括尤其借助于TOF相机21记录包括深度信息的边界边缘101的图像1的序列。在替代的示例性实施例中,步骤d)可以仅包括从各个位置记录边界边缘的图像序列或仅包括记录包括深度信息的边界边缘的图像序列可能就足够了。在另外的替代的示例性实施例中,可以通过另一相机来到达各个位置;尤其,该识别系统可以包括立体相机,其可以包括所述相机和所述另一相机。
在步骤f)中,借助于摄影测量法基于边界边缘图像点来获得边界边缘101的位置坐标x1、y1的序列。换句话说:由所记录的图像1的序列创建区域100的边界边缘101的三维地图。基于边界边缘图像点,获得边界边缘101在地图中的位置坐标x1、y1的序列。为了地图可以不仅包括边界边缘101,而且包括区域100的内部,区域100的内部的附加记录是可能的。为了能够区分边界边缘101的记录与区域100的内部的记录,边界边缘101的记录可以在步骤c)的引导过程的开始借助于触摸屏23上的开始按钮来开始,并且在引导过程完成之后借助于触摸屏23上的停止按钮来结束,如可以在图3中看到的。
此外,该方法包括步骤g)和h)。在步骤g)中,借助于相机21来记录边界边缘101的另外的实时图像5。在步骤h)中,借助于计算单元22基于所获得的边界边缘101的位置坐标x1、y1的序列使所记录的实时图像5与边界边缘线1实时地叠加,并且借助于显示屏23实时地显示与边界边缘线11叠加的实时图像5,如在图7中通过阴影线指示的。步骤g)和h)使增强现实对于用户200来说变成可能。这使用户200有可能以容易的方式实施所获得的边界边缘101的位置坐标x1、y1的序列的视觉检查。在示出的示例性实施例中,在步骤a)、b)、c)、d)、e)和f)之后的时间执行步骤g)和h)。换言之:在完成边界边缘101的位置坐标x1、y1的序列的获得之后的时间进行视觉检查。在替代的示例性实施例中,步骤g)可以与步骤a)同时被执行。相应地,步骤h)可以与步骤b)同时被执行。换句话说:在边界边缘101的识别还没有完全完成的时候,可以借助于边界边缘线11来指示已经识别的位置坐标x1、y1。在这种情况下,在图5中指示的从左至右的目标符号10的引导的情况下,将在图6的图像中从图像的左边缘沿着边界边缘101至目标符号10来指示边界边缘线11。
此外,该方法包括步骤i)和j)。在步骤i)中,尤其在步骤g)和h)的增强现实模式中输出所获得的边界边缘101的位置坐标x1、y1的序列。在步骤j)中,尤其借助于触摸屏23使所获得的位置坐标x1、y1的序列能够用于处理。有利地可以随后存储处理后的位置坐标x1、y1的序列。
该识别系统20是根据本发明的绿化区域维护系统30的一部分。除了识别系统20之外,该绿化区域维护系统30包括自主移动绿化区域维护机器人50和控制单元60,如在图4中示出的。该控制单元60被配置成根据所获得的边界边缘101的位置坐标x1、y1的序列来控制绿化区域维护机器人50在要被处理的区域100上的移动,使得绿化区域维护机器人50保持在区域100上,尤其在边界边缘101内。在示出的示例性实施例中,该绿化区域维护机器人50包括控制单元60。该控制单元60被配置成与识别系统20合作。
因此,该绿化区域维护系统30使得有可能借助于自主移动绿化区域维护机器人50来自主地维护区域100。
相应地,根据本发明的用于在具有边界边缘101的要被处理的区域100上操作自主移动绿化区域维护机器人50的方法包括先前描述的用于识别边界边缘101的方法。此外,该方法包括以下步骤:根据所获得的边界边缘101的位置坐标x1、y1的序列来控制绿化区域维护机器人50在区域100上的移动,使得绿化区域维护机器人50保持在区域100上,尤其在边界边缘101内。
因此,该方法使得有可能借助于自主移动绿化区域维护机器人50来自主地维护要被处理的区域100。
详细地,该自主移动绿化区域维护机器人50包括可定向机器人相机51。该机器人相机51被配置成记录要被处理的区域100的至少一部分、尤其边界边缘101的至少区段102的机器人图像。该控制单元60被配置成根据所记录的机器人图像来控制绿化区域维护机器人50在区域100上的移动。
相应地,该方法包括以下步骤:借助于机器人相机51来记录要被处理的区域100的至少部分的机器人图像。该方法包括根据所记录的机器人图像来控制自主移动绿化区域维护机器人50在区域100上的移动。
详细地,该控制单元60包括控制传输单元61。该识别系统20的标识传输单元24和控制传输单元61被配置成彼此合作并且尤其从移动识别设备向自主移动绿化区域维护机器人以无线方式传送所获得的边界边缘101的位置坐标x1、y1的序列。
该自主移动绿化区域维护机器人50被配置为包括草坪割草工具52的草坪割草机器人,尤其被配置为覆盖割草机器人。在示出的示例性实施例中,该草坪割草工具52包括具有切齿的金属切割刀片。该草坪割草工具52被配置为旋转草坪割草工具52并且用于通过自由切割方法切割要被处理的区域100,尤其用于通过草坪割草工具52的离心力来产生切割操作。
该自主移动绿化区域维护机器人50还具有可枢转的前运行轮53、和彼此分开驱动的后运行轮54。因此,该绿化区域维护机器人50可以在要被处理的区域100上自动地移动并操控自己。此外,该绿化区域维护机器人50具有用于驱动草坪割草工具52的电动机(没有被示出)。在替代的示例性实施例中,该绿化区域维护机器人50可以包括用于驱动草坪割草工具52的内燃机、尤其汽油机。而且,绿化区域维护机器人50包括用于向后运行轮54供应驱动功率的可再充电电池组(没有被示出)和用于驱动草坪割草工具52的电动机。在替代的示例性实施例中,该绿化区域维护机器人可以包括燃料电池或用于供应驱动功率的其他种类的驱动功率源。
此外,该绿化区域维护系统30包括用于自主移动绿化区域维护机器人50的基站70,该基站在这里被布置在区域100的边界边缘101处,如可以在图5的底部处看到的。在示出的示例性实施例中,该基站70被配置为用于对绿化区域维护机器人50的可再充电电池组进行再充电、尤其进行自动再充电的充电站。
如上面示出并且解释的示例性实施例使得清楚的,本发明提供用户友好的用于识别要被处理的区域的边界边缘的至少一个区段的有利方法,以及用于在要被处理的区域上操作自主移动绿化区域维护机器人的方法、识别系统和具有识别系统和自主移动绿化区域维护机器人的绿化区域维护系统。

Claims (14)

1.用于识别要被处理的区域(100)的边界边缘(101)的至少一个区段(102)的方法,该方法包括以下步骤:
a)使用相机(21)来记录实时图像(1),
b)使所记录的实时图像与目标符号(10)叠加并且显示具有所叠加的目标符号的实时图像(1),
c)瞄准具有所述目标符号的所述区段并且通过使所述相机定向来沿着所述区段引导所述目标符号,
d)在引导过程期间使用所述相机来记录所述区段的图像(1)的序列,
e)在所记录的图像的序列的相应图像中将以所述目标符号引用的图像点(2)标记为边界边缘图像点,以及
f)基于所述边界边缘图像点来获得所述边界边缘的所述区段的位置坐标(x1、y1)的序列。
2.根据权利要求1所述的方法,其中步骤d)包括:
- 从不同位置(P1、P2)记录所述区段(102)的图像(1)的序列,以及/或者
- 记录包括深度信息的所述区段的图像(1)的序列。
3.根据权利要求1或2所述的方法,
- 其中在步骤f)中使用摄影测量法基于所述边界边缘图像点(2)来获得所述边界边缘(101)的所述区段(102)的位置坐标(x1、y1)的序列。
4.根据前述权利要求中的任一项所述的方法,该方法包括以下步骤:
g)记录所述区段(102)的实时图像(5),以及
h)基于所获得的所述边界边缘(101)的所述区段的位置坐标(x1、y1)的序列使所记录的实时图像与边界边缘线(11)叠加以及显示具有所叠加的边界边缘线的实时图像(5)。
5.根据前述权利要求中的任一项所述的方法,该方法包括以下步骤:
i)输出所获得的所述边界边缘(101)的所述区段(102)的位置坐标(x1、y1)的序列,以及
j)使得所获得的位置坐标的序列能够用于处理。
6.用于在具有边界边缘(101)的要被处理的区域(100)上操作自主移动绿化区域维护机器人(50)的方法,
-其中该方法包括根据前述权利要求中的任一项所述的用于识别边界边缘(101)的方法,以及
-其中该方法包括以下步骤:
根据所获得的所述边界边缘的位置坐标(x1、y1)的序列来控制所述自主移动绿化区域维护机器人(50)在要被处理的区域(100)上的移动,使得所述绿化区域维护机器人保持在要被处理的区域上。
7.根据权利要求6所述的方法,
-其中所述自主移动绿化区域维护机器人(50)包括机器人相机(51),
-其中该方法包括以下步骤:
使用所述机器人机器(51)来记录要被处理的区域(100)的至少一部分的机器人图像,以及
-其中该方法包括:
根据所记录的机器人图像来控制所述自主移动绿化区域维护机器人(50)在要被处理的区域上的移动。
8.识别系统(20),尤其用于实施根据权利要求1至5中的任一项所述的方法,该识别系统包括:
-可定向相机(21),其中该可定向相机被配置成在所述相机的定向过程期间记录要被处理的区域(100)的边界边缘(101)的至少一个区段(102)的实时图像(1)以及图像(1)的序列,
- 计算单元(22),其中该计算单元被配置成使所记录的实时图像与目标符号(10)叠加,在所记录的图像的序列的相应图像中将以所述目标符号引用的图像点(2)标记为边界边缘图像点,以及基于所述边界边缘图像点来获得所述边界边缘的所述区段的位置坐标(x1、y1)的序列,以及
- 显示屏(23),其中该显示屏被配置成显示具有所叠加的目标符号的实时图像(1)。
9.根据权利要求8所述的识别系统(20),
- 其中该识别系统(20)包括移动识别设备,其中该移动识别设备包括可定向相机(21)和所述显示屏(23)。
10.根据权利要求8或9所述的识别系统(20),
- 其中该识别系统(20)包括另一可定向相机,和/或
- 所述可定向相机(21)包括TOF相机。
11.绿化区域维护系统(30),尤其用于实施根据权利要求6或7所述的方法,该绿化区域维护系统包括:
- 根据权利要求8至10中的任一项所述的识别系统(20),
- 自主移动绿化区域维护机器人(50),以及
- 控制单元(60),其中该控制单元被配置成根据所获得的所述边界边缘(101)的位置坐标(x1、y1)的序列来控制所述自主移动绿化区域维护机器人在要被处理的区域(100)上的移动,使得所述绿化区域维护机器人保持在要被处理的区域上。
12.根据权利要求11所述的绿化区域维护系统(30),
- 其中所述自主移动绿化区域维护机器人(50)包括机器人相机(51),其中该机器人相机被配置成记录要被处理的区域(100)的至少一部分的机器人图像,以及
- 其中所述控制单元(60)被配置成根据所记录的机器人图像来控制所述自主移动绿化区域维护机器人在要被处理的区域(100)上的移动。
13.根据权利要求11或12所述的绿化区域维护系统(30),
- 其中所述识别系统(20)包括标识传输单元(24),并且其中所述控制单元(60)包括控制传输单元(61),其中所述标识传输单元和所述控制传输单元被配置成彼此合作并且以无线的方式传送所获得的所述边界边缘(101)的位置坐标(x1、y1)的序列。
14.根据权利要求11至13中的任一项所述的绿化区域维护系统(30),
- 其中所述自主移动绿化区域维护机器人(50)是包括草坪割草工具(52)的草坪割草机器人。
CN201810593552.6A 2017-06-09 2018-06-11 识别边界边缘的至少一个区段的方法和相关方法、系统 Active CN109033948B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17175376.7 2017-06-09
EP17175376.7A EP3413155B1 (de) 2017-06-09 2017-06-09 Verfahren zum erfassen mindestens eines abschnitts eines begrenzungsrands einer zu bearbeitenden fläche, verfahren zum betreiben eines autonomen mobilen grünflächenbearbeitungsroboters, erfassungssystem und grünflächenbearbeitungssystem

Publications (2)

Publication Number Publication Date
CN109033948A true CN109033948A (zh) 2018-12-18
CN109033948B CN109033948B (zh) 2023-11-03

Family

ID=59215465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810593552.6A Active CN109033948B (zh) 2017-06-09 2018-06-11 识别边界边缘的至少一个区段的方法和相关方法、系统

Country Status (3)

Country Link
US (1) US10809740B2 (zh)
EP (1) EP3413155B1 (zh)
CN (1) CN109033948B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446350B (zh) * 2014-09-26 2018-05-29 科沃斯机器人股份有限公司 自移动机器人移动界限划定方法
EP3413155B1 (de) * 2017-06-09 2020-02-26 Andreas Stihl AG & Co. KG Verfahren zum erfassen mindestens eines abschnitts eines begrenzungsrands einer zu bearbeitenden fläche, verfahren zum betreiben eines autonomen mobilen grünflächenbearbeitungsroboters, erfassungssystem und grünflächenbearbeitungssystem
TWI744536B (zh) * 2018-06-19 2021-11-01 宏正自動科技股份有限公司 直播系統及其直播方法
WO2021124516A1 (ja) * 2019-12-19 2021-06-24 株式会社ガク・アソシエイツ 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム
CN113556679A (zh) * 2020-04-24 2021-10-26 苏州科瓴精密机械科技有限公司 自移动机器人工作区域虚拟边界的生成方法、系统、自移动机器人及可读存储介质
CN114494838A (zh) * 2020-11-09 2022-05-13 苏州科瓴精密机械科技有限公司 一种障碍物识别方法、装置、设备、介质及除草机器人

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080056610A1 (en) * 2005-01-31 2008-03-06 Yamato Kanda Image Processor, Microscope System, and Area Specifying Program
DE102007060056A1 (de) * 2007-12-13 2009-06-18 Robert Bosch Gmbh Ansteuersystem und Ansteuerverfahren für ein Roboterfahrzeug sowie Roboterfahrzeug
CN104541218A (zh) * 2012-09-27 2015-04-22 皇家飞利浦有限公司 自主移动机器人和用于操作自主移动机器人的方法
CN104699101A (zh) * 2015-01-30 2015-06-10 深圳拓邦股份有限公司 可定制割草区域的机器人割草系统及其控制方法
CN105829985A (zh) * 2013-12-19 2016-08-03 伊莱克斯公司 具有周边记录功能的机器人清洁设备
CN106489103A (zh) * 2014-10-10 2017-03-08 美国iRobot公司 机器人草坪修剪边界确定

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3916240B2 (ja) * 2003-08-07 2007-05-16 松下電器産業株式会社 運転支援装置及び運転支援方法
US8456534B2 (en) * 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US7636126B2 (en) * 2005-06-22 2009-12-22 Sony Computer Entertainment Inc. Delay matching in audio/video systems
US7855737B2 (en) * 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
DE102009052629A1 (de) 2009-11-10 2011-05-12 Vorwerk & Co. Interholding Gmbh Verfahren zur Steuerung eines Roboters
JP5505007B2 (ja) * 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP5827508B2 (ja) * 2011-07-13 2015-12-02 ヤマハ発動機株式会社 車両用障害物検出装置及びそれを用いた車両
JP2013228821A (ja) * 2012-04-24 2013-11-07 Mamiya-Op Nequos Co Ltd 作業機械及びその構成装置、コンピュータプログラム
US9072218B2 (en) * 2012-07-09 2015-07-07 Deere & Company Boundary sensor assembly for a robotic lawn mower, robotic lawn mower and robotic lawn mower system
DE102013102941A1 (de) 2013-03-22 2014-09-25 Miele & Cie. Kg Selbstfahrendes Reinigungsgerät und Verfahren zum selbsttätigen Anfahren und/oder Reinigen einer verunreinigten Fläche mit dem selbstfahrenden Reinigungsgerät
DE102013212605A1 (de) 2013-06-28 2014-12-31 Robert Bosch Gmbh Verfahren zu einer Arbeitsbereichserfassung zumindest eines Arbeitsbereichs eines autonomen Serviceroboters
JP6144596B2 (ja) * 2013-09-30 2017-06-07 Dmg森精機株式会社 表示装置
US9684435B2 (en) * 2014-01-13 2017-06-20 Disney Enterprises, Inc. Camera selection interface for producing a media presentation
DE102015100419A1 (de) 2015-01-13 2016-07-14 Miele & Cie. Kg Verfahren und Anordnung zum Bearbeiten von Bodenflächen
US10708526B2 (en) * 2015-04-22 2020-07-07 Motorola Mobility Llc Method and apparatus for determining lens shading correction for a multiple camera device with various fields of view
WO2017092905A1 (en) * 2015-12-03 2017-06-08 Graf Plessen Mogens Max Sophus Edzard System and method for navigation guidance of a vehicle in an agricultural field
US20180035606A1 (en) * 2016-08-05 2018-02-08 Romello Burdoucci Smart Interactive and Autonomous Robotic Property Maintenance Apparatus, System, and Method
EP3413155B1 (de) * 2017-06-09 2020-02-26 Andreas Stihl AG & Co. KG Verfahren zum erfassen mindestens eines abschnitts eines begrenzungsrands einer zu bearbeitenden fläche, verfahren zum betreiben eines autonomen mobilen grünflächenbearbeitungsroboters, erfassungssystem und grünflächenbearbeitungssystem

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080056610A1 (en) * 2005-01-31 2008-03-06 Yamato Kanda Image Processor, Microscope System, and Area Specifying Program
DE102007060056A1 (de) * 2007-12-13 2009-06-18 Robert Bosch Gmbh Ansteuersystem und Ansteuerverfahren für ein Roboterfahrzeug sowie Roboterfahrzeug
CN104541218A (zh) * 2012-09-27 2015-04-22 皇家飞利浦有限公司 自主移动机器人和用于操作自主移动机器人的方法
CN105829985A (zh) * 2013-12-19 2016-08-03 伊莱克斯公司 具有周边记录功能的机器人清洁设备
CN106489103A (zh) * 2014-10-10 2017-03-08 美国iRobot公司 机器人草坪修剪边界确定
CN104699101A (zh) * 2015-01-30 2015-06-10 深圳拓邦股份有限公司 可定制割草区域的机器人割草系统及其控制方法

Also Published As

Publication number Publication date
EP3413155A1 (de) 2018-12-12
US10809740B2 (en) 2020-10-20
CN109033948B (zh) 2023-11-03
EP3413155B1 (de) 2020-02-26
US20180356832A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
CN109033948A (zh) 识别边界边缘的至少一个区段的方法和相关方法、系统
CN104714547B (zh) 带有相机的自主园林车辆
CN106662452B (zh) 割草机器人的地图构建
JP6240384B2 (ja) 自律走行作業システム
US10845804B2 (en) Parcel mapping via electrical resistance detection of a robotic vehicle
CN109640621A (zh) 用于果园、种植园和温室的、使用空中无人机收割和稀释的装置、系统和方法
EP3158409B1 (en) Garden visualization and mapping via robotic vehicle
KR102295824B1 (ko) 잔디깎기 로봇의 지도 생성방법
US20170345210A1 (en) Garden mapping and planning via robotic vehicle
EP3686704B1 (en) Method for generating a representation and system for teaching an autonomous device operating based on such representation
CN104111653A (zh) 自动行走设备及其工作区域判断方法
EP3237984A1 (en) Area exclusion for operation of a robotic vehicle
CN112764416A (zh) 自行走割草系统和户外行走设备
JP2017221222A (ja) 自律走行作業システム
CN114721385A (zh) 虚拟边界建立方法、装置、智能终端及计算机存储介质
JP7004131B2 (ja) 管理システム、管理方法及び管理プログラム
CN109005864A (zh) 确定特定控制参数范围的方法和相关方法、系统、机器人
CN211698708U (zh) 自动工作系统
Scarfe Development of an autonomous kiwifruit harvester: a thesis presented in partial fulfilment of the requirements for the degree of Doctor of Philosophy in Industrial Automation at Massey University, Manawatu, New Zealand.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant