CN102189557B - 控制设备、控制方法和程序 - Google Patents

控制设备、控制方法和程序 Download PDF

Info

Publication number
CN102189557B
CN102189557B CN201110060837.1A CN201110060837A CN102189557B CN 102189557 B CN102189557 B CN 102189557B CN 201110060837 A CN201110060837 A CN 201110060837A CN 102189557 B CN102189557 B CN 102189557B
Authority
CN
China
Prior art keywords
movable body
information
user
indication information
environmental map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110060837.1A
Other languages
English (en)
Other versions
CN102189557A (zh
Inventor
岩井嘉昭
周藤泰广
长阪宪一郎
田中章爱
鬼头隆志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102189557A publication Critical patent/CN102189557A/zh
Application granted granted Critical
Publication of CN102189557B publication Critical patent/CN102189557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40393Learn natural high level command, associate its template with a plan, sequence

Abstract

提供了一种控制设备、控制方法和程序,该控制设备包括:执行单元,用于允许可移动体执行预定过程;存储单元,用于存储可移动体的可移动区域的环境地图;检测单元,用于检测有关可移动体周边的信息;更新单元,用于基于检测单元检测的有关可移动体周边的信息来更新环境地图;以及获取单元,用于根据使用者输入获取代表使用者指示的指示信息,其中,执行单元参考环境地图来允许可移动体执行基于指示信息的过程,以及更新单元基于指示信息以及由可移动体基于指示信息执行的过程来更新环境地图。

Description

控制设备、控制方法和程序
技术领域
本发明涉及控制设备、控制方法和程序。
背景技术
近来,已开发了能够根据机器人周围的外部状态或者机器人自身的内部状态独立执行操作的机器人(在下文中,称作“可移动体”)。例如,已开发了如下的机器人,在行走操作中,为了检测外部障碍物以避免障碍物,其规划动作路径,或者其创建周边环境的障碍物地图,以基于地图决定动作路径(日本未审查专利申请公开No.2003-269937和2006-11880)。
例如,在日本未审查专利申请公开No.2003-269937中,通过从由机器人设备获取的三维距离信息中检测地板表面来估算障碍物的存在或不存在。详细地,可以通过环境地图把机器人设备的周边环境表示成被划分成具有预定尺寸的网格的、以机器人为中心的坐标系统的地图信息,且可以针对地图的每个网格持有障碍物的存在概率。把存在概率超过预定阈值的网格识别为障碍物,以使得辨识机器人的周边环境。此外,在日本未审查专利申请公开No.2006-11880中,可以在对诸如实际上并不存在的障碍物或平面的观测噪声示出高抵抗性的情况下在高度方向上以高解析度表示周边环境。
发明内容
在日本未审查专利申请公开No.2003-269937和2006-11880中,机器人通过独立持有机器人周围的物体、障碍物等的存在概率来创建环境地图。然而,对通过如下方式简化对机器人的工作指示的需求已日益增加:允许在环境地图中反映使用者对机器人指示的信息以及根据指示的动作的存在概率。
鉴于以上内容,期望提供如下这种新型的和改进的控制设备、控制方法和程序,其能够通过与使用者的交互来更新机器人周边的信息以及简化对机器人的指示。
根据本发明的一个实施例,提供了一种控制设备,其包括:
执行单元,用于允许可移动体执行预定过程;
存储单元,用于存储可移动体的可移动区域的环境地图;
检测单元,用于检测有关可移动体周边的信息;
更新单元,用于基于检测单元检测的有关可移动体周边的信息更新环境地图;以及
获取单元,用于根据使用者输入获取代表使用者指示的指示信息,
其中,执行单元参考环境地图来允许可移动体执行基于指示信息的过程,以及
更新单元基于指示信息以及由可移动体基于指示信息执行的过程来更新环境地图。
在控制设备中,环境地图包括代表物体存在概率的信息,检测单元检测可移动体周围的物体,以及更新单元更新环境地图中包括的物体的存在概率。
在控制设备中,更新单元通过把关于指示信息中包括的物体的信息与物体的存在概率相关联来更新环境地图。
在控制设备中,更新单元通过把指示信息中包括的指示语与物体的存在概率相关联来更新环境地图。
在控制设备中,更新单元按预定时间间隔更新指示语的出现概率。
在控制设备中,执行单元分析指示信息以及允许可移动体执行把指示信息中包括的、使用者指示的物体移动到使用者位置的过程。
在控制设备中,执行单元允许可移动体移动到使用者指示的物体的地点、以及在抓取物体的情况下移动到使用者的位置。
控制设备进一步包括:确定单元,用于确定执行单元执行的可移动体的过程是否对应于使用者的指示。
在控制设备中,当确定单元确定执行单元执行的可移动体的过程与使用者的指示一致时,更新单元增加关于指示信息中包括的物体的信息的存在概率。
在控制设备中,更新单元增加在指示信息中包括的所指示地点中的所指示物体的存在概率。
在控制设备中,更新单元增加在指示信息中包括的所指示时间的指示语的存在概率。
根据本发明的一个实施例,提供了一种用于控制可移动体的方法,包括步骤:
根据使用者输入获取代表使用者指示的指示信息;
参考存储单元中存储的、可移动体的可移动区域的环境地图来允许可移动体执行基于指示信息的过程;
检测有关可移动体周边的信息;
基于检测的有关可移动体周边的信息来更新环境地图;以及
基于指示信息以及由可移动体基于指示信息执行的过程来更新环境地图。
根据本发明的一个实施例,提供了一种用于允许计算机作为控制设备的程序,其中,控制设备包括:
执行单元,用于允许可移动体执行预定过程;
存储单元,用于存储可移动体的可移动区域的环境地图;
检测单元,用于检测有关可移动体周边的信息;
更新单元,用于基于检测单元检测的有关可移动体周边的信息更新环境地图;以及
获取单元,用于根据使用者输入获取代表使用者指示的指示信息,
其中,执行单元参考环境地图来允许可移动体执行基于指示信息的过程,以及
更新单元基于指示信息以及由可移动体基于指示信息执行的过程来更新环境地图。
根据本发明的上述实施例,可以通过与使用者的交互更新有关机器人周边的信息以及简化对机器人的指示。
附图说明
图1是示出根据本发明一个实施例的控制设备的硬件配置的方框图。
图2是示出了根据同样实施例的控制设备的功能配置的方框图。
图3是示出了根据同样实施例的环境地图生成过程的流程图。
图4是说明了根据同样实施例的环境地图的存在概率的图。
图5是示出了根据同样实施例的更新环境地图的过程的流程图。
图6是示出了根据同样实施例的更新环境地图的过程的流程图。
图7是说明了根据同样实施例的环境地图的层级化结构的图。
具体实施方式
在下文中,将参照附图详细描述本发明的优选实施例。注意,在本说明书和附图中,功能和结构基本上一样的结构元件标注了同样的附图标记,略去了对这些结构元件的重复说明。
进一步地,将按以下次序描述“本发明的实施例”。
1.本实施例的目的
2.控制设备的硬件配置
3.控制设备的功能配置
4.控制设备的操作的详细内容
<1.本实施例的目的>
首先,将描述本实施例的目的。近来,已开发了能够根据机器人周围的外部状态或者机器人自身的内部状态来独立执行操作的机器人(在下文中,也称作“可移动体”)。例如,已开发了如下的机器人,在行走行为中,为了检测外部障碍物以避免障碍物,其安排动作路径,或者其创建周边环境的障碍物地图,以基于地图决定动作路径(日本未审查专利申请公开No.2003-269937和2006-11880)。
例如,在日本未审查专利申请公开No.2003-269937中,通过从由机器人设备获取的三维距离信息中检测地板表面来估算障碍物的存在或不存在。详细地,可以通过环境地图把机器人设备的周边表示成被划分成具有预定尺寸的网格的、以机器人为中心的坐标系统的地图信息,并且可以针对地图的每个网格持有障碍物的存在概率。把存在概率超过预定阈值的网格识别为障碍物,以使得辨识机器人的周边。此外,在日本未审查专利申请公开No.2006-11880中,可以在对诸如实际上并不存在的障碍物或平面的观测噪声示出高抵抗性的情况下在高度方向上以高解析度表示周边环境。
在日本未审查专利申请公开No.2003-269937和2006-11880中,机器人通过独立持有机器人周围的物体、障碍物等的存在概率来创建环境地图。然而,对通过如下方式简化对机器人的工作指示的需求已日益增加:允许在环境地图中反映使用者对机器人指示的信息以及根据指示的动作的存在概率。在此方面,考虑到这一点,已创建了根据本实施例的控制设备100。根据控制设备100,能够通过与使用者的交互来更新有关机器人周边的信息以及能够简化对机器人的指示。
<2.控制设备的硬件配置>
接下来,将参照图1描述根据本实施例的控制设备100的硬件配置。图1是示出了控制设备100的硬件配置的方框图。如图1中所示,控制设备100包括中央处理单元(CPU)11、只读存储器(ROM)12、随机访问存储器(RAM)13、主机总线14、桥接器15、外部总线16、接口17、输入装置18、输出装置19、存储装置(硬盘驱动器;HDD)20、驱动器21、连接端口22、以及通信装置23。
CPU 11作为操作处理装置和控制装置,并根据各种程序对控制设备100的整体操作进行控制。此外,CPU 11可以是微处理器。ROM 12存储CPU 11使用的程序、操作参数等。RAM 13主要存储用于CPU 11执行的程序、在CPU 11的执行中适当改变的参数等。CPU 11、ROM 12和RAM 13通过包括CPU总线等的主机总线14彼此相连。
主机总线14连接到诸如外围组件互连/接口(PCI)总线的外部总线16。另外,主机总线14、桥接器15和外部总线16并非必定彼此分开。例如,可以把主机总线14、桥接器15和外部总线16的功能集成到单个总线中。
输入装置18例如包括:用于允许使用者输入信息的诸如鼠标、键盘、触摸板、按钮、麦克风、开关或操纵杆的输入部件;用于基于来自使用者的输入来生成输入信号以及把输入信号输出到CPU 11的输入控制电路等。控制设备100的使用者可以操作输入装置18,从而向控制设备100输入各项数据或者指示控制设备100执行处理操作。
输出装置19例如包括:诸如阴极射线管(CRT)显示装置、液晶显示(LCD)装置、有机发光显示(OLED)装置和灯的显示装置;以及诸如扬声器或耳机的音频输出装置。输出装置19例如输出再现的内容。详细地,显示装置以文本或图像的形式显示诸如再现的视频数据的各项信息。同时,音频输出装置把再现的音频数据等转换成音频以及输出音频。
存储装置20是被配置成根据本实施例的控制设备100的存储单元的实例的数据存储装置,以及可以包括存储介质、用于在存储介质上记录数据的记录装置、用于从存储介质读取数据的读取装置、用于擦除存储介质上记录的数据的擦除装置等。存储装置20例如包括HDD。存储装置20驱动硬盘以及存储由CPU 11执行的程序和各项数据。
驱动器21是用于存储介质的并内置在控制设备100中的或者设置在控制设备100的外侧的读写器。驱动器21读取在装配于其上的诸如磁盘、光盘、磁光盘或半导体存储器的可拆除存储介质上记录的信息,以及把信息输出到RAM 13。
连接端口22是连接到外部装置的接口,以及例如是用于连接到能够通过通用串行总线(USB)等传输数据的外部装置的端口。
通信装置23例如是用于连接到通信网络5的、包括通信装置等的通信接口。此外,通信装置23可以是兼容无线局域网(LAN)的通信装置、兼容无线USB的通信装置、或者用于执行有线通信的有线通信装置。至此,已描述了控制设备100的硬件配置。
<3.控制设备的功能配置>
接下来,将参照图2描述控制设备100的功能配置。图2是示出了控制设备100的功能配置的方框图。如图2中所示,控制设备100包括图像识别单元101、检测单元102、存储单元104、更新单元106、执行单元107、获取单元108、确定单元110等。
检测单元102具有检测有关机器人周边信息的功能。详细地,检测单元102基于从诸如立体摄像装置或激光测距仪的各种传感器提供的周边的图像信息或3D信息来检测周边地板表面。此外,检测单元102可以基于3D信息检测周边地板表面以检测地板表面上的物体。另外,检测单元102可以注册地板表面的构造,以基于与注册构造不同的构造的存在或不存在检测物体。
另外,当检测到物体在除了地板表面之外的表面上时,检测单元102可以检测物体是什么。可以通过图像识别单元101获取关于物体是什么的信息。图像识别单元101可以学习物体的图像的图像特征量以及物体的概念、名称等(通过把它们彼此相关联)。结果是,检测单元102可以通过把立体摄像装置等获取的物体的图像特征量与图像识别单元101学习的物体的图像特征量相比较来检测物体是什么。
此外,当可以抓取物体时,检测单元102可以检测物体的重量。把检测单元102检测的机器人的周边信息存储在存储单元104的环境地图105中或者提供给更新单元106。
存储单元104中存储的环境地图105是指出机器人可移动区域的环境的信息。详细地,在环境地图105中,可以把机器人的周边表示成被划分为预定尺寸的网格的、以机器人为中心的坐标系统的地图信息。此外,可以针对环境地图的每个网格持有障碍物的存在概率。把存在概率超过预定阈值的网格识别为障碍物,以使得辨识机器人的周边。
另外,在环境地图105中,可以通过三维网格表示障碍物的存在概率。例如,可以通过其中把四平方米、4cm的水平解析度和1cm的竖直解析度定义成一个区格(cell)的三维网格来表示它。机器人例如可以按诸如一秒30次的预定时间间隔获取周边状态。当机器人正在移动时,通过三维网格表示的空间每时每刻地改变。例如,对于获取的区格,可以用1表示可见区格,可以用0.5表示不可见区格。可以对每秒30次测量逐步更新占据概率。
此外,环境地图105可以具有把整个地图和局部地图层级化的结构。在这种情形中,当把时间信息考虑在内时,每个局部地图具有三维结构。此外,与局部地图中每个网格(x,y,t)相关联的信息包括物体的存在概率、物体的信息(名称、重量)、来自使用者的指示语的概率等。来自使用者的指示语包括在由后面将描述的获取单元108获取的、表示使用者指示的指示信息中包括的‘它’、‘那个’等。
更新单元106具有基于由检测单元102检测的可移动体的周边信息更新环境地图105的功能。详细地,更新单元106更新与环境地图的每个网格相关联的物体的存在概率。此外,更新单元106基于后面将描述的、执行单元107执行的可移动体的过程来更新环境地图。另外,当检测单元102已检测到物体的名称和重量时,更新单元106更新与网格相关联的物体的名称和重量。
获取单元108具有根据使用者输入获取代表使用者指示的指示信息的功能。指示信息例如包括关于使用者想要拥有的物体的信息等,如,物体的地点或物体的名称。此外,指示信息可以包括代表使用者指示的语句,如,“把果汁拿到起居室”或“把那个拿给我”。获取单元108为执行单元107提供来自使用者的指示信息。获取单元108可以根据使用者的指示信息获取上下文(如,使用者与机器人之间的位置关系以及机器人的地点),并把它提供给执行单元107。
执行单元107具有参考环境地图105允许机器人执行基于指示信息的过程的功能。执行单元107分析获取单元108提供的指示信息以及允许机器人执行把指示信息中包括的以及使用者指示的物体移动到使用者位置的过程。进一步讲,执行单元107把机器人移动到使用者指示的物体的地点,允许机器人抓取物体以及把机器人移动到使用者的位置。
例如,当使用者给出“把那个拿给我”的指示时,执行单元107参考环境地图105估算‘那个’对应的物体。如上所述,每时每刻地把在指示信息中包括的指示语的出现概率存储在环境地图105中。结果是,执行单元107可以分析使用者给出了“把那个拿给我”的指示的时间和地点,从而根据每时每刻持有的‘那个’的概率来估算‘那个’是什么。
另外,更新单元106可以通过把在来自使用者的指示中包括的以及由执行单元107执行的指示语与物体的存在概率相关联来更新环境地图。而且,更新单元106可以按预定时间间隔更新指示语的出现概率。即,更新单元106在机器人已做了动作的时间和地点增加网格或环境地图的‘那个’要指示的概率。
确定单元110具有确定根据使用者输入、在执行单元107的执行下的机器人执行过程是否对应于使用者指示的功能。当确定单元110确定在执行单元107的执行下的机器人执行过程与使用者的指示一致时,更新单元106增加关于指示信息中包括的物体的信息的存在概率。
另外,当确定单元110确定在执行单元107的执行下的机器人执行过程与使用者的指示一致时,更新单元106增加在指示信息中包括的所指示地点的所指示物体的存在概率。而且,更新单元106增加在所指示时间的诸如‘那个’的指示语的存在概率。在实施例中,把地板表面描述成了机器人可以抓取物体的区域。然而,本发明不限于此。例如,可以把诸如桌子或架子的平面设置成机器人可以抓取物体的区域。至此,已描述了控制设备100的功能配置。
<4.控制设备的操作的详细内容>
接下来,将参照图3至图7详细描述控制设备100的操作。图3是示出了控制设备100中的环境地图生成过程的流程图。在图3中,将描述可移动体独立移动以生成或更新环境地图的情形作为实例。
如图3中所示,首先,随着机器人的移动,控制设备100执行自身位置估算(S102)。根据自身位置估算,控制设备100估算环境地图上机器人的位置。在步骤S102中,当已经生成了环境地图时,控制设备100确定机器人所在的环境地图上的网格。然而,当尚未生成环境地图时,控制设备100确定预定坐标系统上的自身位置。
接下来,控制设备100获取机器人周围的3D数据和图像数据(S104)。在步骤S104中,控制设备100使用来自诸如立体摄像装置或激光测距仪的传感器的信息获取机器人周围的3D信息和图像信息。
随后,控制设备100基于3D信息执行地板表面检测,以检测地板表面上的物体(S106)。此外,在步骤S106中,控制设备100可以预先注册地板表面的构造,以及通过与注册构造不同的构造的存在或不存在来检测物体。
控制设备100确定在除了地板表面之外的表面上是否存在物体(S108)。在步骤S108中,当确定在除了地板表面之外的表面上存在物体时,控制设备100使用图像识别单元101识别物体是什么。然而,在步骤S110中,当未能识别物体或者不存在物体对应的识别机器时,把物体信息设置成未知。
此外,控制设备100通过允许机器人推动或抓取物体来验证物体是否可被抓取。当物体可被抓取时,控制设备100获取关于物体重量的信息。在步骤S108中,当确定在除了地板表面之外的表面上不存在物体时,执行步骤S112的过程。
随后,控制设备100根据步骤S106中物体的检测结果以及步骤S110中物体的识别结果更新环境地图(Map)信息(S112)。在步骤S108中,当确定在除了地板表面之外的表面上不存在物体时,控制设备100减小物体将会在环境地图上的相应位置处的概率。
另外,在步骤S108中,当确定在除了地板表面之外的表面上存在物体时,控制设备100增加物体将会在环境地图上的相应位置处的概率。然而,当已经存在有关环境地图的信息时,有必要基于以往测量的数据来检查当前估算的信息。因此,当先前信息与检测到的物体信息不一致时,有可能多个不同物体在环境地图上的同样地点处。
图4是说明了环境地图的存在概率的图。图4是示出反映了障碍物存在概率的三维网格的图。由三维网格表示的区域例如通过其中把四平方米、4cm的水平解析度和1cm的竖直解析度定义成一个区格的三维网格来表示。此外,例如,由于按诸如每秒30次的预定时间间隔获取周边状态,所以当机器人正在移动时,通过三维网格表示的空间每时每刻地改变。对于获取的区格,可以用1表示可见区格,可以用0.5表示不可见区格。可以对每秒30次测量逐步更新存在概率。
基于障碍物不在把测量点连接到观测中心的直线上的算法来执行图4中示出的三维网格的创建和更新。例如,针对在作为要测量点的区格p与机器人设备的诸如立体摄像装置的拍摄装置之间的区格,执行空过程。继而,针对作为测量点p的区格执行占据过程。
三维网格持有针对区格C的障碍物存在概率(障碍物的占据概率)p(C),空过程和占据过程是针对每个区格的统计学过程。空过程用于减小障碍物的存在概率,以及占据过程用于增加障碍物的存在概率。在本实施例中,使用贝叶斯更新规则作为计算空过程和占据过程的存在概率的方法的实例。
在空过程中,如下面公式1所表示的减小占据概率。在占据过程中,如下面公式2所表示的增加占据概率。公式1代表在表明区格C的占据概率的p(C)指示“占据”的条件下区格C的概率。此外,在公式1或公式2中,代表是否占据区格C的概率p(occ|...)和p(empty|...)是预定阈值th。
公式1
...(公式1)
公式2
...(公式2)
至此,已描述了控制设备100中的环境地图生成过程。接下来,将参照图5描述基于根据使用者指示的动作的环境地图更新过程。图5是示出了基于根据使用者指示的动作的环境地图更新过程的流程图。如图5中所示,首先,获取使用者的指示信息(S202)。在步骤S202中,从使用者获取诸如目标物体的地点和目标物体的名称的信息作为使用者的指示信息。
接下来,在步骤S204中把机器人移动到指定地点(S204)。在步骤S204中,由于可以在机器人的移动期间获取各项观测数据,所以可以执行图3中示出的基于自主移动的环境地图更新过程。此外,当移动机器人时,可以基于先前生成或更新的环境地图的信息来决定最佳动作路径。
在步骤S204中把机器人移动到指定地点之后,在指定地点处检测物体,并且把检测位置保持为环境地图上的信息(S206)。此外,机器人抓取步骤S206中检测的物体(S208)。
随后,把机器人移动到使用者的地点(S210)。即使在步骤S210中,也可以在机器人的移动期间获取观测数据以及可以更新环境地图。
把步骤S208中抓取的物体移交给使用者(S212)。在此,确认在步骤S212中移交给使用者的物体是否是使用者指示的物体(S214)。在步骤S214中,执行确认,以使得可以防止由于机器人对物体的误识别或错误移动而在环境地图中反映不正确的物体信息。
当在步骤S214中确认移交给使用者的物体是使用者指示的物体时,更新环境地图(S216)。在步骤S216中,增加环境地图上诸如包括物体的检测地点、物体的名称和重量等的物体信息的存在概率。不同于如图3中所示独立更新环境地图的过程,当根据使用者的指示更新环境地图时,由于使用者确认物体的名称等,所以可以显著更新环境地图的存在概率。
接下来,将参照图6描述使用者给出“把那个拿给我”的指示的情况下的过程。图6是示出了使用者给出“把那个拿给我”的指示的情况下的过程的流程图。如图6中所示,首先,获取“把那个拿给我”的指示作为使用者的指示信息(S222)。
在使用者于步骤S222中给出“把那个拿给我”的指示之后,识别诸如使用者与机器人之间的位置关系、机器人的当前地点或当前时间的上下文(S224)。例如,识别机器人的当前地点是起居室还是厨房,根据当前时间识别早上、白天或夜晚。通过使用上下文,根据环境地图信息估算“那个”对应的物体。
这里,将描述环境地图的层级化结构。如图7中所示,环境地图具有包括整个地图和局部地图的层级化结构。此外,在把时间轴信息考虑在内时局部地图具有三维结构。与环境地图的每个像素(x,y,t)相关联的信息包括物体的存在概率、物体的信息(名称、重量)、来自使用者的指示语的概率等。
通过增加或减小如上所述的所有概率来更新环境地图。以时间和空间的方式更新概率密度。然而,诸如“那个”的指示语的概率仅在该时刻的空间中被更新。例如,如示例图63中所示,每时每刻地更新在厨房61中的由“那个”指示的物体的概率。这是因为由“那个”指示的物体的概率根据时间的流逝而改变。每时每刻地更新“那个”的概率,以使得可以允许机器人正确地解释来自使用者的“把那个拿给我”的指示的“那个”。
返回图6,在步骤S224中,在估算“那个”对应的物体之后,使用者可以确认使用者指示的“那个”是否是估算的物体。结果是,可以更可靠地把使用者指示的物体移动到使用者。
在步骤S224中估算使用者指示为“那个”的物体,而后基于环境地图信息把机器人移动到使用者所指示物体的位置(S226)。在步骤S226中,可以在机器人的移动期间获取各项观测数据,以及可以根据需要更新环境地图。
随后,机器入检测和抓取物体(S228)。在步骤S228中,当有必要时,可以使用环境地图上注册的物体的名称来执行使用者进行的确认。例如,可以通过文本显示指示为“那个”的物体的名称是否是诸如“PET瓶”或“果汁”的名称,或者可以把物体的图像显示给使用者。
接下来,机器人移动到使用者的地点(S230)。即使在步骤S230中,也可以在机器人的移动期间获取观测数据,以及可以更新环境地图。
随后,把步骤S228中抓取的物体移交给使用者(S232)。此处,确认在步骤S232中移交给使用者的物体是否是使用者指示的物体(S234)。在步骤S234中,当确认移交给使用者的物体对应于使用者指示的“那个”时,更新环境地图(S236)。在步骤S236中,更新环境地图相应点的物体信息。即,增加在某个上下文中要指示为“那个”的概率。
至此,已描述了使用者给出“把那个拿给我”的指示时的过程。如上所述,根据本实施例,参照环境地图来允许机器人执行基于来自使用者的指示信息的过程,以及基于来自使用者的指示信息或者基于指示信息的可移动体的过程来更新环境地图。结果是,可以通过与使用者的交互把各项信息添加到环境地图。
虽然以上已参照附图描述了本发明的优选实施例,但本发明不限于以上实例。本领域技术人员可以在所附权利要求的范围内发现各种变换和修改,应当理解,它们将自然落入本发明的技术范围下。
例如,不一定以按流程图中描述的次序的时间序列执行本说明书中控制设备100的过程中的每个步骤。即,虽然控制设备100的过程中的每个步骤是不同过程,但可以通过并行方式执行过程中的各步骤。
此外,可以通过用于示出与上述控制设备100的每个元件等同的功能的计算机程序来创建控制设备100等中内置的诸如CPU、ROM和RAM的硬件。另外,还提供了用于存储计算机程序的存储介质。
本申请包含与2010年3月16日提交日本专利局的日本在先专利申请JP 2010-059621中公开的主题相关的主题,其全部内容经引用并入本文。

Claims (10)

1.一种控制设备,包括:
执行单元,用于允许可移动体执行预定过程;
存储单元,用于存储可移动体的可移动区域的环境地图;
检测单元,用于检测有关可移动体周边的信息;
更新单元,用于基于检测单元检测的有关可移动体周边的信息来更新环境地图;以及
获取单元,用于根据使用者输入获取代表使用者指示的指示信息,
其中,所述执行单元参考环境地图来允许可移动体执行基于指示信息的过程,以及
所述更新单元基于指示信息以及由可移动体基于指示信息执行的过程来更新环境地图,
其中,所述环境地图包括代表物体存在概率的信息,所述检测单元检测可移动体周围的物体,并且所述更新单元更新环境地图中包括的物体的存在概率,
其中,所述更新单元通过把关于指示信息中包括的物体的信息与物体的存在概率相关联来更新环境地图。
2.如权利要求1所述的控制设备,其中,所述更新单元通过把指示信息中包括的指示语与物体的存在概率相关联来更新环境地图。
3.如权利要求2所述的控制设备,其中,所述更新单元按预定时间间隔更新指示语的出现概率。
4.如权利要求1所述的控制设备,其中,所述执行单元分析指示信息以及允许可移动体执行把指示信息中包括的、使用者所指示的物体移动到使用者位置的过程。
5.如权利要求1所述的控制设备,其中,所述执行单元允许可移动体移动到使用者所指示物体的地点以及在抓取物体的情况下移动到使用者的位置。
6.如权利要求1所述的控制设备,进一步包括:确定单元,用于确定所述执行单元执行的可移动体的过程是否对应于使用者的指示。
7.如权利要求6所述的控制设备,其中,当所述确定单元确定执行单元执行的可移动体的过程与使用者的指示一致时,所述更新单元增加关于指示信息中包括的物体的信息的存在概率。
8.如权利要求7所述的控制设备,其中,所述更新单元增加在指示信息中包括的所指示地点中的所指示物体的存在概率。
9.如权利要求7所述的控制设备,其中,所述更新单元增加在指示信息中包括的所指示时间的指示语的存在概率。
10.一种用于控制可移动体的方法,包括步骤:
根据使用者输入获取代表使用者指示的指示信息;
参考存储单元中存储的、可移动体的可移动区域的环境地图来允许可移动体执行基于指示信息的过程;
检测有关可移动体周边的信息;
基于检测的可移动体周边的信息来更新环境地图;以及
基于指示信息以及由可移动体基于指示信息执行的过程来更新环境地图,
其中,所述环境地图包括代表物体存在概率的信息,在所述检测的步骤中检测可移动体周围的物体,并且在所述更新的步骤中,更新环境地图中包括的物体的存在概率,
其中,在所述更新的步骤中,通过把关于指示信息中包括的物体的信息与物体的存在概率相关联来更新环境地图。
CN201110060837.1A 2010-03-16 2011-03-09 控制设备、控制方法和程序 Active CN102189557B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-059621 2010-03-16
JP2010059621A JP5560794B2 (ja) 2010-03-16 2010-03-16 制御装置、制御方法およびプログラム

Publications (2)

Publication Number Publication Date
CN102189557A CN102189557A (zh) 2011-09-21
CN102189557B true CN102189557B (zh) 2015-04-22

Family

ID=44201270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110060837.1A Active CN102189557B (zh) 2010-03-16 2011-03-09 控制设备、控制方法和程序

Country Status (5)

Country Link
US (1) US20110231018A1 (zh)
EP (1) EP2366503A3 (zh)
JP (1) JP5560794B2 (zh)
KR (1) KR101708061B1 (zh)
CN (1) CN102189557B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20115923A0 (fi) * 2011-09-21 2011-09-21 Zenrobotics Oy Iskunvaimennusrakenne
KR101439249B1 (ko) * 2012-06-28 2014-09-11 한국과학기술연구원 공간 점유 정보를 이용한 로봇 동작 생성 장치 및 방법
JP6141782B2 (ja) * 2014-03-12 2017-06-07 株式会社豊田自動織機 無人搬送車と在庫管理システムの連動システムにおける地図情報更新方法
JP6416590B2 (ja) * 2014-03-31 2018-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 物管理システムおよび運搬ロボット
DE102015214743A1 (de) * 2015-08-03 2017-02-09 Audi Ag Verfahren und Vorrichtung in einem Kraftfahrzeug zur verbesserten Datenfusionierung bei einer Umfelderfassung
DE102015119501A1 (de) * 2015-11-11 2017-05-11 RobArt GmbH Unterteilung von Karten für die Roboternavigation
WO2017082388A1 (ja) * 2015-11-11 2017-05-18 パイオニア株式会社 セキュリティ装置、セキュリティ制御方法、プログラム及び記憶媒体
US10093021B2 (en) * 2015-12-02 2018-10-09 Qualcomm Incorporated Simultaneous mapping and planning by a robot
CN105397812B (zh) * 2015-12-28 2017-07-18 青岛海通机器人系统有限公司 移动机器人及基于移动机器人更换产品的方法
JP6713057B2 (ja) * 2016-11-08 2020-06-24 シャープ株式会社 移動体制御装置および移動体制御プログラム
CN110268338B (zh) * 2017-02-09 2022-07-19 谷歌有限责任公司 使用视觉输入进行代理导航
CN106802668B (zh) * 2017-02-16 2020-11-17 上海交通大学 基于双目与超声波融合的无人机三维避撞方法及系统
JP2021081758A (ja) * 2018-03-15 2021-05-27 ソニーグループ株式会社 制御装置、制御方法及びプログラム
EP3784449A1 (en) * 2018-05-30 2021-03-03 Sony Corporation Control apparatus, control method, robot apparatus and program
CN110968083B (zh) * 2018-09-30 2023-02-10 科沃斯机器人股份有限公司 栅格地图的构建方法、避障的方法、设备及介质
JP2020064385A (ja) * 2018-10-16 2020-04-23 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2020090332A1 (ja) * 2018-10-30 2020-05-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020179459A1 (ja) * 2019-03-06 2020-09-10 ソニー株式会社 地図作成装置、地図作成方法、及びプログラム
DE112020002287T5 (de) * 2019-05-09 2022-02-17 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
CN113465614B (zh) * 2020-03-31 2023-04-18 北京三快在线科技有限公司 无人机及其导航地图的生成方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1846951A (zh) * 2005-04-11 2006-10-18 中国科学院自动化研究所 一种自动拾取物体的智能移动机器人控制装置及方法
CN101093503A (zh) * 2006-06-20 2007-12-26 三星电子株式会社 在移动机器人中建立网格地图的方法、设备和介质
CN101154110A (zh) * 2006-09-29 2008-04-02 三星电子株式会社 基于真实空间的图像来控制移动装置的方法、设备和介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663333B2 (en) * 2001-06-12 2010-02-16 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
JP4206702B2 (ja) * 2002-07-17 2009-01-14 日産自動車株式会社 内燃機関の排気浄化装置
WO2004040390A1 (de) * 2002-10-23 2004-05-13 Siemens Aktiengesellschaft Verfahren und anordnung sowie computerprogramm mit programmcode-mitteln und computerprogramm-produkt zur bildung einer graphenstruktur zur beschreibung einer fläche mit einer freifläche und einer belegtfläche
EP1586423B1 (en) * 2002-12-10 2011-10-05 Honda Motor Co., Ltd. Robot control device, robot control method, and robot control program
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
JP4479372B2 (ja) 2004-06-25 2010-06-09 ソニー株式会社 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
JP2007219645A (ja) * 2006-02-14 2007-08-30 Sony Corp データ処理方法、データ処理装置およびプログラム
KR100791382B1 (ko) * 2006-06-01 2008-01-07 삼성전자주식회사 로봇의 이동 경로에 따라 소정 영역의 특성에 관한 정보를수집하고 분류하는 방법 및 상기 영역 특성에 따라제어되는 로봇, 상기 영역 특성을 이용한 ui 구성 방법및 장치
US7587260B2 (en) * 2006-07-05 2009-09-08 Battelle Energy Alliance, Llc Autonomous navigation system and method
US20090234788A1 (en) * 2007-03-31 2009-09-17 Mitchell Kwok Practical Time Machine Using Dynamic Efficient Virtual And Real Robots
JP2009093308A (ja) * 2007-10-05 2009-04-30 Hitachi Industrial Equipment Systems Co Ltd ロボットシステム
JP4968684B2 (ja) * 2007-12-10 2012-07-04 本田技研工業株式会社 目標経路設定支援システム
JP4788722B2 (ja) * 2008-02-26 2011-10-05 トヨタ自動車株式会社 自律移動ロボット、自己位置推定方法、環境地図の生成方法、環境地図の生成装置、及び環境地図のデータ構造
JP4999734B2 (ja) * 2008-03-07 2012-08-15 株式会社日立製作所 環境地図生成装置、方法及びプログラム
JP5259286B2 (ja) * 2008-07-16 2013-08-07 株式会社日立製作所 3次元物体認識システム及びそれを用いた棚卸システム
JP5169638B2 (ja) 2008-09-01 2013-03-27 株式会社大林組 地中構造物の構築方法
EP2821876A3 (en) * 2008-09-03 2015-05-20 Murata Machinery, Ltd. Route planning method, route planning unit, and autonomous mobile device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1846951A (zh) * 2005-04-11 2006-10-18 中国科学院自动化研究所 一种自动拾取物体的智能移动机器人控制装置及方法
CN101093503A (zh) * 2006-06-20 2007-12-26 三星电子株式会社 在移动机器人中建立网格地图的方法、设备和介质
CN101154110A (zh) * 2006-09-29 2008-04-02 三星电子株式会社 基于真实空间的图像来控制移动装置的方法、设备和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大尺度环境下移动机器人同时定位与地图创建研究;郭利进;《中国优秀硕士学位论文全文数据库》;20090115;正文第62、65-76页 *

Also Published As

Publication number Publication date
EP2366503A3 (en) 2013-05-22
KR101708061B1 (ko) 2017-02-17
JP5560794B2 (ja) 2014-07-30
US20110231018A1 (en) 2011-09-22
JP2011189481A (ja) 2011-09-29
EP2366503A2 (en) 2011-09-21
KR20110104431A (ko) 2011-09-22
CN102189557A (zh) 2011-09-21

Similar Documents

Publication Publication Date Title
CN102189557B (zh) 控制设备、控制方法和程序
US11830618B2 (en) Interfacing with a mobile telepresence robot
US11468983B2 (en) Time-dependent navigation of telepresence robots
CN109998429B (zh) 用于情境感知的移动清洁机器人人工智能
CN108290294B (zh) 移动机器人及其控制方法
US20200306989A1 (en) Magnetometer for robot navigation
US20190096089A1 (en) Enabling use of three-dimensonal locations of features with two-dimensional images
CN109414142A (zh) 用于训练机器人沿着路线自主行进的系统和方法
CN105074691A (zh) 上下文感知定位、映射和跟踪
CN104769640A (zh) 使用多个传感器来进行绘图与定位
CN115471731A (zh) 图像处理方法、装置、存储介质及设备
US20240091950A1 (en) Probabilistic approach to unifying representations for robotic mapping
JP2021131713A (ja) 自己位置推定システム及び移動体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant