CN101078632A - 移动机器人及其控制方法和程序 - Google Patents
移动机器人及其控制方法和程序 Download PDFInfo
- Publication number
- CN101078632A CN101078632A CNA2006101523717A CN200610152371A CN101078632A CN 101078632 A CN101078632 A CN 101078632A CN A2006101523717 A CNA2006101523717 A CN A2006101523717A CN 200610152371 A CN200610152371 A CN 200610152371A CN 101078632 A CN101078632 A CN 101078632A
- Authority
- CN
- China
- Prior art keywords
- image
- edge image
- predicted
- advanced positions
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
Abstract
本发明公开了一种在诸如工厂之类环境中行进的移动机器人,其包括:路径规划单元,该单元基于估计出的当前行进位置规划到目的地的行进路径,并向行进控制单元输出行进命令来执行行进控制,以便沿所述行进路径而行;行进位置预测单元,该单元将由轮转角传感器检测到的行进距离累加到估计出的当前行进位置中,以便预测当前行进位置;预测图像生成单元,该单元基于所述环境的布局信息生成多个预测边缘图像,所述多个预测边缘图像由边缘信息构成,并且是在照相机被假设放置在预测出的当前行进位置上和在当前行进位置附近的候选位置上时捕获到的;边缘图像生成单元,该单元从照相机捕获的实际图像中生成实际边缘图像;以及位置估计单元,该单元将边缘图像与所述多个预测边缘图像相比较,估计出相似度最大的预测边缘图像的候选位置,并更新路径规划单元和行进位置预测单元中的行进位置。
Description
技术领域
本发明涉及可以执行各种动作的移动机器人及其控制方法和程序,该移动机器人能够执行的动作例如是给人作向导或引路、运输物体以及来回走动或巡逻;更具体而言,本发明涉及行进到目的地位置并同时从捕获的照相机图像中估计当前行进位置的移动机器人及其控制方法和程序。
背景技术
最近,除了工作在制造场所的工业机器人之外,对适合人们用于例如家用、福利、医疗服务和公共事务的移动机器人的开发也正在进行中。这样的机器人需要根据自我位置估计方法的自动移动功能,在此自我位置估计方法中,机器人自身在行进中的位置被利用(一个或多个)传感器估计出,以便沿目标轨迹(路径)而行。作为移动机器人的自我位置估计方法,推算定位(dead reckoning)被频繁采用,该推算定位根据转角传感器利用移动机器人的模型获得的轮子转角来估计行进位置。机器人利用环境中的特定标记来识别位置的方法也被采用,所述特定标记例如是如白线等之类的路标、磁轨以及角隅棱镜(corner cube)。此外,作为不使用特定标记的方法,还提出了通过根据照相机获得的图像测量墙或地面的边缘的位置和方向来估计机器人的位置和姿态的方法(JP 09-053939)。
但是,这些传统的机器人自我位置估计方法包含以下问题。首先,根据轮子转角估计移动机器人行进位置的推算定位方法的问题在于轮子的滑动等会导致误差积累。因此,将推算定位和陀螺传感器组合起来的方法被广泛采用;但是,虽然滑动等的影响可以消除,但是仍旧存在由于陀螺仪的偏移导致的误差积累。机器人利用特定标记识别环境中的位置的方法的问题在于必须在环境中放置特定标记,这提高了成本。此外,在通过根据照相机的图像测量墙和地面的边缘的位置和方向来估计机器人的位置和姿态的方法中,必须预先注册多种指定图像特性在真实空间中的位置。在当前环境下,这种注册操作是一种人为操作,其中在每次测量和注册的地点及其位置上,特性例如是利用人眼来确定的,这存在需要长时间工作的问题。
发明内容
另外,根据本发明,提供了一种能够通过利用照相机的图像来容易而精确地估计行进位置的移动机器人及其控制方法和程序。
本发明提供了一种移动机器人。在本发明中,一种在诸如工厂之类环境中行进的移动机器人,其特征在于具有:
路径规划单元,该单元基于估计出的当前行进位置规划到目的地的行进路径并输出行进命令;
行进控制单元,该单元执行行进控制,以便基于所述路径规划单元的行进命令来沿所述行进路径而行;
位置预测单元,该单元将由轮子的转角传感器检测到的行进距离累加到所述估计出的当前行进位置中,并预测当前行进位置;
预测图像生成单元,该单元基于所述环境的布局信息生成多个预测边缘图像,所述多个预测边缘图像由边缘信息构成,并且是在成像单元被假设放置在所述位置预测单元预测的当前行进位置上和在所述当前行进位置附近的候选位置上时捕获到的;
边缘图像生成单元,该单元从由所述成像单元捕获的行进方向上的实际图像中提取出边缘信息并生成实际边缘图像;以及
位置估计单元,该单元将所述实际边缘图像与所述多个预测边缘图像相比较,估计出相似度最大的预测边缘图像的候选位置作为行进位置,并更新所述路径规划单元和所述位置预测单元中的行进位置。
这里,所述位置估计单元计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的相关性,并估计出相关性最大的预测边缘图像的候选位置,作为所述行进位置。
所述位置估计单元可以计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的重叠像素的数目,并估计出重叠像素数目最多的预测边缘图像的候选位置,作为所述行进位置。
所述预测图像生成单元针对每个所述候选位置改变所述成像单元的图像捕获方向,并生成所述多个预测边缘图像。
所述预测图像生成单元基于所述成像单元的照相机参数和所述布局信息的三维坐标生成所述预测边缘图像。
本发明的移动机器人每隔预定行进距离或每隔预定移动时间重复基于所述实际边缘图像和所述多个预测边缘图像对当前行进位置的估计过程。
(方法)
本发明提供了一种对移动机器人的控制方法。在本发明中,一种对在诸如工厂之类环境中行进的移动机器人的控制方法,其特征在于具有:
路径规划步骤,在该步骤中,基于估计出的当前行进位置对到目的地的行进路径进行规划并输出行进命令;
行进控制步骤,在该步骤中,执行行进控制,以便基于所述路径规划步骤的行进命令来沿所述行进路径而行;
位置预测步骤,在该步骤中,将由轮子的转角传感器检测到的行进距离累加到所述估计出的当前行进位置中,并预测当前行进位置;
预测图像生成步骤,在该步骤中,基于所述环境的布局信息生成多个预测边缘图像,所述多个预测边缘图像由边缘信息构成,并且是在成像单元被假设放置在所述位置预测步骤中预测的当前行进位置上和在所述当前行进位置附近的候选位置上时捕获到的;
边缘图像生成步骤,在该步骤中,从由所述成像单元捕获的行进方向上的实际图像中提取出边缘信息并生成实际边缘图像;以及
位置估计步骤,在该步骤中,将所述实际边缘图像与所述多个预测边缘图像相比较,估计出相似度最大的预测边缘图像的候选位置作为行进位置,并更新所述路径规划步骤和所述位置预测步骤中的行进位置。
(程序)
本发明提供了一种控制移动机器人的程序。本发明的程序的特征在于致使在诸如工厂之类环境中行进的移动机器人的计算机执行以下步骤:
路径规划步骤,在该步骤中,基于估计出的当前行进位置对到目的地的行进路径进行规划并输出行进命令;
行进控制步骤,在该步骤中,执行行进控制,以便基于所述路径规划步骤的行进命令来沿所述行进路径而行;
位置预测步骤,在该步骤中,将由轮子的转角传感器检测到的行进距离累加到所述估计出的当前行进位置中,并预测当前行进位置;
预测图像生成步骤,在该步骤中,基于所述环境的布局信息生成多个预测边缘图像,所述多个预测边缘图像由边缘信息构成,并且是在成像单元被假设放置在所述位置预测步骤中预测的当前行进位置上和在所述当前行进位置附近的候选位置上时捕获到的;
边缘图像生成步骤,在该步骤中,从由所述成像单元捕获的行进方向上的实际图像中提取出边缘信息并生成实际边缘图像;以及
位置估计步骤,在该步骤中,将所述实际边缘图像与所述多个预测边缘图像相比较,估计出相似度最大的预测边缘图像的候选位置作为行进位置,并更新所述路径规划步骤和所述位置预测步骤中的行进位置。
根据本发明,在利用轮子的转角传感器通过推算定位预测出的移动机器人的当前行进位置附近设置多个候选位置,基于环境的布局信息(例如柱子和墙的位置和高度)生成预测边缘图像,这些预测边缘图像由边缘信息构成,并且是在成像单元被假设放置在每个候选位置上时捕获到的,在候选位置上的预测边缘图像被与由从实际图像中提取出的边缘信息构成的实际边缘图像相比较,并估计出与之最相似的预测边缘图像的候选位置,作为机器人的当前行进位置。因此,仅通过在移动机器人中预先存储描述墙、柱子位置等的环境的相对简单的布局信息,就可以容易地生成预测边缘图像,不需要执行预先注册实际空间中的多种指定图像特性的位置的操作,并且可以简单而精确地执行利用照相机图像的自我位置估计。
此外,当通过预测边缘图像和实际边缘图像之间的比较对相似度的确定是利用图像的相关性值来评价的,并且相关性值最大的预测边缘图像的坐标位置被估计出以作为行进位置时,预测边缘图像和实际边缘图像的不同细节的影响被消除,从而可以实现稳定的比较过程,此外,由于该过程是通过对边缘信息的相关性计算来执行的,因此减少了计算量,并且可以利用小设备来实现。
此外,当通过预测边缘图像和实际边缘图像之间的比较对相似度的确定是利用边缘图像的重叠像素数目来评价的,并且重叠像素数目最多处的预测边缘图像的候选位置被估计出以作为行进位置时,与图像相关相比,可以实现更稳定的比较过程,并且因为计算的是相应边缘像素的总数,因此与相关性计算相比,可以以更小计算量来实现。
此外,多个预测边缘图像是在针对每个候选位置改变成像单元的图像捕获方向的同时生成的;因此,在同一候选位置上生成多个具有不同图像捕获方向的预测边缘图像,并且这些预测边缘图像被与实际边缘图像相比较。即使实际图像的图像捕获方向偏离了规划的行进方向,只要可以获得具有最大相似度的预测边缘图像,就可以估计出正确的行进位置,并且可以进一步增强行进位置的估计精确度。
此外,在生成预测边缘图像(预测边缘图像是在成像单元被假设布置在候选位置上时生成的)的过程中,可以基于成像单元的照相机参数和布局信息的三维坐标来容易而精确地执行所述生成过程。
此外,以预定行进距离或预定移动时间的处理周期,基于实际边缘图像和多个预测边缘图像对当前行进位置的估计过程被重复;因此,可以通过缩短处理周期来提高估计精确度。从以下参考附图的详细描述中,本发明的上述和其他目的、特征和优点将变得更加明显。
附图说明
图1是根据本发明的移动机器人的实施例的说明图;
图2是应用了图1的实施例的移动机器人的硬件配置的框图;
图3是示出根据本发明的移动机器人控制设备的实施例的功能配置的框图;
图4是利用本发明的路径规划生成的规划路径的说明图;
图5是根据本发明实施例在行进期间执行的使用照相机捕获的图像的行进位置估计过程的说明图;
图6是被设置在用于生成预测边缘图像的预测行进位置附近的候选位置的说明图;
图7是在本发明实施例的位置估计过程中利用相关性计算获得实际边缘图像和预测边缘图像之间相似度的过程的说明图;
图8是在本发明实施例的位置估计过程中利用重叠像素的数目获得实际边缘图像和预测边缘图像之间相似度的过程的说明图;以及
图9A和9B是本发明实施例中的行进位置估计过程的流程图。
具体实施方式
图1是根据本发明的移动机器人的实施例的说明图。在图1中,本实施例的移动机器人10包括五个单元,即头部单元12、身体14、移动单元16、左臂20-1和右臂20-2。当水平观察移动机器人10时,其大小为直径大约60cm,其高度大约130cm。头部单元12可以相对于身体14水平转动,并且使用成像设备(例如CCD)的照相机18朝向前方并附接到头部单元12。照相机18的视线方向可以通过转动头部单元12来调整。如果在头部单元12上安装多个具有不同视线方向的照相机,则可以通过切换照相机来立即改变视觉方向,而无需使用上下左右旋转(pan/tilt)机制。在左臂20-1和右臂20-2中,分别提供了具有四个自由度的关节和抓取操作所需的钳子,利用关节,手可以移动到任意位置。装配有触摸屏的LCD22被安装在身体14上,从而使得可以执行移动机器人10的各种显示和所需操作。在移动单元16中提供了左和右驱动轮以及辅助轮,并且可以通过独立驱动左和右驱动轮来直行、后退和转向。
图2是并入在本实施例的移动机器人中的硬件配置的框图。在图2中,在移动机器人10中,并入了CPU板46、DSP板48和图像处理板50,作为移动机器人的控制设备,并且这些控制设备通过网络总线52彼此相连。装配有触摸屏的LCD 22和扬声器54被连接到CPU板46,而CPU板46执行用户界面和操作指令的过程。各个传感器32-1到32-n经由传感器板56连接到DSP板48,用在各种驱动器中的马达28-1到28-n经由马达控制板58也连接到DSP板48。DSP板48主要执行实时处理,例如包括移动机器人的行进控制。加载在移动机器人上的多个照相机18-1到18-n经由照相机切换板60连接到图像处理板50。图像处理板50利用照相机切换板60切换到并选择将经历图像处理的照相机18-1到18-n中的任意一个,并且从所选照相机中读取的图像信息被图像处理板50进行图像处理,以便执行必要的机器人操作。
图3是示出根据本发明的移动机器人控制设备的实施例的功能配置的框图,该移动机器人控制设备是利用根据图2所示移动机器人的硬件配置的环境来实现的。在图3中,本实施例的移动机器人控制设备包括路径规划单元24、行进控制单元26、行进位置预测单元34、预测图像生成单元36、环境布局信息数据库38、位置估计单元40、图像输入单元42和边缘图像生成单元44。路径规划单元24基于位置估计单元40确定的当前行进位置规划到目的地(预先设置的)的行进路径并将行进命令发布到行进控制单元26。响应于该行进命令,行进控制单元26通过驱动马达28-1和28-2来独立驱动左和右驱动轮30-1和30-2并致使移动机器人沿规划的路径行进到目的地。行进控制单元26连接到作为控制负载的马达28-1和28-2,并且马达28-1和28-2独立驱动设置在图1的移动单元26中的左和右驱动轮30-1和30-2。针对辅助轮30-3和30-4设置了轮转角传感器32,该轮转角传感器32输出与辅助轮30-3和30-4伴随驱动轮30-1和30-2的移动发生的旋转相对应的脉冲信号。辅助轮的数目可以是一个。例如,当采用图4的布局环境作为示例时,根据规划路径对移动机器人的行进控制如下所述。当相对移动机器人10的当前位置设置了任意目的地62时,路径规划单元24例如规划出作为期望路径64的最短路线,该最短路线穿过通向目的地62并由房间66-1到66-4包围的走廊68。当规划出期望路径64时,从位置估计单元40获得的当前行进位置被与期望路径64相比较,并向行进控制单元26输出行进命令以沿期望路径64而行。行进控制单元26使得移动机器人通过驱动马达28-1和28-2而借助驱动轮30-1和30-2的驱动作用来沿期望路径64行进。根据来自路径规划单元24的行进命令,在期望路径64中的直行移动距离L1、L2和L3以及在转向点P1和P2的转向信息被利用;行进距离是通过对在行进期间从轮转角传感器32检测到的脉冲计数,将其中每个脉冲乘以每个脉冲的行进距离,再将它们累加而获得的;当等于期望路径64中设置的距离L1时,得知到达转向点P1;行进方向向左转90度;随后行进直行距离L2;在转向点P2处行进方向向右转90度,最后通过行进行进距离L3到达目的地62。在行进控制单元26基于根据期望路径64来自路径规划单元24的行进命令进行行进控制时,由于例如轮子的滑率会在轮转角传感器32的检测精度方面引起误差,并且在估计的行进位置和实际行进位置之间引起误差;因此,在本实施例中,通过利用照相机18拍摄的图像估计移动机器人的正确当前行进位置并在更新行进位置的同时执行行进控制,从而能够根据期望路径64精确而平滑地执行到目的地62的行进。在本实施例中,对移动机器人的当前行进位置的估计是由行进位置预测单元34、预测图像生成单元36、充当成像单元的照相机18、图像输入单元42、边缘图像生成单元44和位置估计单元40来执行的。行进位置预测单元34将基于来自轮转角传感器32的检测到的脉冲计算出的相对于在位置估计单元40中估计出的行进位置的行进距离累积起来并预测当前行进位置。预测图像生成单元36假设基于预先存储在环境布局信息数据库38中的环境布局信息(例如柱子和墙的位置和高度)将照相机18放置在由行进位置预测单元34预测的当前行进位置及其附近的候选位置上,并生成由成像边缘信息构成的多个预测边缘图像。在此过程中,由预测图像生成单元36执行的预测边缘图像的生成在每次行进位置预测单元34获得的行进距离达到预定距离ΔL(例如ΔL=1m)时被执行。每次行进位置预测单元34行进了预定距离ΔL时,由照相机18拍摄的移动机器人的行进方向的图像被输入图像输入单元42,并且图像输入单元将其输出到边缘图像生成单元44,生成实际边缘图像并将其输出到位置估计单元40,其中在实际边缘图像中,仅提取出实际图像中的柱子和墙的边缘。位置估计单元40将从边缘图像生成单元44输出的实际边缘图像与由预测图像生成单元36生成的多个候选位置的预测边缘图像相比较,估计与当前行进位置有最大相似度的预测边缘图像的候选位置,并将路径规划单元24和行进位置预测单元34中的行进位置更新为估计的正确位置。
图5是在行进期间利用照相机捕获的图像执行的根据本实施例的行进位置估计过程的说明图。图5是在移动机器人10沿着图4所示规划路径64行进期间,移动机器人10在规划路径64的行进方向改变点P1点处向左转90度之后移动机器人10的状态,并且假设在此时执行利用照相机捕获的图像的行进位置估计过程。在此情况下,移动机器人10在箭头所示方向上行进,并且装载在移动机器人上的照相机18也处于箭头所示的视线方向上并以虚线所示角度α拍摄实际图像。在图5中移动机器人10的位置被看作预测位置,该预测位置是相对于图3的行进位置预测单元34中先前估计的位置的行进距离的累积,该行进距离的累积是基于轮转角传感器32的检测的脉冲计算出的。由于该预测位置在实践中包括由于轮子滑动引起的误差,因此移动机器人10的预测位置和当前位置不总是匹配。在基于移动机器人10的行进位置预测单元34预测的行进位置处,图3的预测图像生成单元36设置p×q的候选位置矩阵72,其例如围绕预测行进位置70在x方向上包含p块,并在y方向上包含q块(与图6一样),并且包括候选位置矩阵72的预测行进位置70的矩阵的交叉点被设置为候选位置。然后,通过在将照相机18假设放置在候选位置时捕获图像获得的边缘图像被作为来自布局信息的预测边缘图像生成,其中所述布局信息例如是预先存储在环境布局信息数据库38中的柱子和墙的位置和高度。在图6的候选矩阵72的情况下,候选位置的数目为p×q,其中包括预测行进位置70。对于候选位置矩阵72,例如设置一个候选区域,该候选区域距离穿过预测行进位置70的中心线±15cm,并且例如设置大约1000个点作为候选点的数目(p×q)。此外,在本实施例中,在包括预测行进位置70的候选位置中的每个位置处,照相机的视线方向假设被定向在视线方向74-2和74-3(这两个方向相对于与机器人移动方向相对应的视线方向74-1向左和向右偏离大约±6度)上,并且从布局信息中生成预测边缘图像。因此,除了关于当前预测进行位置的对行进位置的正确估计之外,在预测行进位置70处关于移动机器人的移动方向的正确方向估计也可被实现。在候选位置矩阵72中每个候选位置处,照相机的视线方向可能仅被固定在对应于移动方向的视线方向74-1上,并且向在左和右方向上±6度的视线方向74-2和74-3上的移动可被省略。对于设置在预测行进位置70附近的用于生成预测边缘图像的候选位置的数目,可以根据安装在移动机器人上的图2所示图像处理板50的处理能力来确定任意数目的候选位置。这里,由图3所示位置估计单元40执行的实际边缘图像和预测边缘图像之间的比较和对相似度最大的候选位置的确定可以使用以下两种方法中的任一方法来执行:(1)在一种方法中,计算实际边缘图像和预测边缘图像之间的相关性,并估计出相关性最大的候选位置作为行进位置,或者(2)在另一方法中,计算实际边缘图像和预测边缘图像的重叠像素的数目,并估计出重叠像素数目最多的候选位置作为行进位置。
图7是根据相关性计算确定相似度的过程的说明图。在图7中,例如通过对照相机18捕获的实际图像76执行微分处理来对图像76执行边缘提取78,并且获得实际边缘图像80,该实际边缘图像80包括提取出的边缘部分,这些边缘部分充当实际图像76中的走廊、墙和天花板之间的边界。同时,与实际图像76的输入同步地,基于照相机18被放置在设置在预测行进位置70附近的候选位置上(例如如图6所示)的假设,从布局信息中生成预测边缘图像82-1到82-n。然后,在相关性计算84中,分别对实际边缘图像80和预测边缘图像82-1到82-n执行相关性计算。这里,基于布局信息的预测边缘图像82-1到82-n可以从基于处于如下状态的照相机18的照相机参数的计算中生成和获得:在所述状态中,照相机18假设被放置在设置在预测行进位置70附近的候选位置上(见图6)。在本实施例中,预测边缘图像可以通过以下方式由设置在候选位置上的照相机捕获:由照相机将基于布局信息的三维布局空间转换成从设置在候选位置上的照相机观察到的二维平面图像。当这种关系被数学化时,预测边缘图像可以作为在照相机被假设设置在每个候选位置上的情况下的三维布局空间的平面图像而生成。在将三维布局空间转换成二维平面图像的关系表达式中使用的系数是照相机参数。更具体而言,当布局三维空间中的点(X,Y,Z)出现在照相机图像中的点(Xc,Yc)处时,它们之间的关系可以由以下表达式提供。
这里,Hc是中间变量。3×4矩阵的系数C11到C34是照相机参数并且包括所有信息,例如照相机的位置与姿态以及镜头的价格。由于总共存在12个照相机参数C11到C34,因此照相机参数C11到C34的值可以由布局三维空间和照相机的二维图像中的6个或更多个参考点预先确定。当照相机参数C11到C34的值是以这种方式预先确定的时,并且当照相机被放置在任意候选位置上时,将布局三维空间转换成预测边缘图像的转换表达式可以由以下表达式提供。
当表达式(2)和(3)被应用到代表基于候选位置获得的布局三维空间中的边缘的所有像素坐标(X,Y,Z)时,代表预测边缘图像中的边缘的所有像素可被获得。图7中的在实际边缘图像80和预测边缘图像82-1到82-n之间执行的相关性计算84可以由以下表达式提供。
这里,表达式(4)中的Rij代表布局三维空间中的边缘图像的每个像素,Sij代表预测边缘图像的每个像素值,并且n代表图像中的像素数目。在本实施例中这种利用图像对当前行进位置的估计中,实际边缘图像是从实际图像中提取出的,将与其进行比较的环境是预测边缘图像,预测边缘图像仅由充当代表不与实际环境的图像信息相关的柱子和墙的位置和高度的地图信息的布局信息构成,布局信息的数据量与实际环境图像相比要小得多并且可以容易地从诸如环境的设计图之类的信息中获得,并且将布局信息注册到移动机器人的过程可以被容易地执行。而且,在对当前行进位置的估计过程中,相似度最大的候选位置是通过借助从实际图像中提取出的实际边缘图像和从设置在预测行进位置附近的候选位置中观察到并基于布局信息生成的预测边缘图像之间的相关性计算来匹配相似度而估计出的;因此,由于它们是边缘图像,因此即使对于图像处理,像素数目也会少得多,并且对正确当前位置的估计可以由小设备以更高速度执行。图8是本实施例的位置估计中,根据构成边缘的重叠像素数目获得实际边缘图像和预测边缘图像之间的相似度的过程的说明图。在图8中,边缘提取78是通过对实际图像76执行微分处理来执行的,以便确定实际边缘图像80。同时,分别针对设置在预测行进位置附近的候选位置从布局信息中生成预测边缘图像82-1到82-n。在该状态中,与实际边缘图像80最相似的预测边缘图像被检测出;因此,在本实施例中,例如,生成重叠确定图像86-1,其中实际边缘图像80与预测边缘图像82-1相重叠,并且在重叠确定图像86-1中,在实际边缘图像80的边缘部分与预测边缘图像82-1的边缘部分相重叠的部分中的总像素数目被计算出。针对这样的实际边缘图像80和预测边缘图像82-1到82-n的重叠确定图像86-1到86-n中的每一个获得边缘图像的重叠像素的数目,确定重叠像素数目最多的预测边缘图像82-i,并估计出其候选位置,作为当前行进位置。在比较借助图7的相关性计算确定最大相似度的方法和借助重叠像素数目确定最大相似度的方法时,在对实际边缘图像80的提取不充分并且边缘不连续的情况下,在相关性计算的情况下,相关性值以与不连续性相对应的方式减小;但是,在边缘重叠像素的数目的情况下,即使在实际边缘图像的边缘中生成了不连续性,边缘的不连续性也不会影响对重叠像素的数目的确定,只要边缘的不连续性处于边缘的重叠部分之外的其他部分中即可,并且与相关性计算相比,可以更稳定地执行最大相似度的比较处理。借助图7的相关性计算来确定最大相似度的过程和借助图8的重叠像素确定最大相似度的过程可以单独执行,也可以组合执行。例如,由图7的相关性计算获得的相关性值可以被排序,顶部的预定数目个候选位置可被选出,对图8的重叠像素的数目的确定过程可被应用到所选候选位置的预测边缘图像,并且与有最多重叠像素的预测边缘图像相对应的候选位置可被估计出,作为行进位置。
图9A和9B是本实施例中的行进位置估计过程的流程图,并且下面将参考图3来描述该流程图。在图9A和9B中,首先,在步骤S1中,例如由行进位置预测单元34基于从轮转角传感器32输出的脉冲来检查行进距离是否已经到达设置的距离ΔL;并且,当其已到达设置的距离ΔL时,在步骤S2中清除行进距离,然后从步骤S3开始启动行进位置估计过程。在行进位置估计过程中,在步骤S3中,最大相似度被初始化为0;然后,在步骤S4中,图像输入单元42获得照相机18在该点捕获的照相机图像,并且边缘图像生成单元44通过微分处理生成边缘图像。然后,在步骤S5中,由行进位置预测单元34预测的当前行进位置被获得,并且在步骤S6中,由预测图像生成单元36例如像图6那样在预测行进位置附近设置候选位置。接下来,在步骤S7中,选择候选位置之一,并生成在所选候选位置处的预测边缘图像。具体而言,假设照相机18被假设放置在所选候选位置上,并且利用上述表达式(2)和(3)中的照相机参数C11到C34将从环境布局信息数据库38的布局信息中获得的关于布局三维空间的布局三维信息的边缘图像转换成二维平面边缘图像,从而生成预测边缘图像。接下来,在步骤S8中,实际边缘图像和预测边缘图像的相似度被计算。该相似度的计算是如图7所示的相关性计算84或如图8所示的对边缘重叠像素数目的计算。随后,在步骤S9中,计算出的相似度被与该点的最大相似度相比较。由于这是第一比较过程,因此最大相似度为0(如步骤S3所初始化的);因此,计算出的相似度总是大于等于0,并且过程前进到步骤S10,其中最大相似度被更新为在步骤S8中计算出的相似度,并且该点处的候选位置被记录。随后,过程前进到步骤S11,如果被处理的候选位置的数目小于预先确定的预定阈值,过程则返回步骤S6,生成下一候选位置并重复步骤S7到S10的过程。作为重复步骤S6到S11的过程的结果,多个候选点的预测边缘图像中具有最大相似度的候选位置总是留作记录的结果。当候选位置的数目在步骤S11中超过阈值时,过程前进到步骤S12,其中由于在步骤S10中记录的候选位置是具有最大相似度的候选位置,因此其被设置为当前行进位置。随后,在步骤S13中检查是否已经到达目的地。如果尚未到达,过程则返回步骤S1,并重复类似的过程;如果已经到达目的地,则终止行进位置估计过程的序列。本发明还提供了由装载在移动机器人(具体而言,如图2所示硬件配置)上的计算机执行的程序,并且程序的内容是根据图9A和9B的流程图的内容。本发明还包括不损害其目的和优点的任意修改,并且本发明不受以上描述的实施例中所示的数字值所限制。
Claims (18)
1.一种在诸如工厂之类环境中行进的移动机器人,其特征在于具有:
路径规划单元,该单元基于估计出的当前行进位置规划到目的地的行进路径并输出行进命令;
行进控制单元,该单元执行行进控制,以便基于所述路径规划单元的行进命令来沿所述行进路径而行;
位置预测单元,该单元将由轮子的转角传感器检测到的行进距离累加到所述估计出的当前行进位置中,并预测当前行进位置;
预测图像生成单元,该单元基于所述环境的布局信息生成多个预测边缘图像,所述多个预测边缘图像由边缘信息构成,并且是在成像单元被假设放置在所述位置预测单元预测的当前行进位置上和在所述当前行进位置附近的候选位置上时捕获到的;
边缘图像生成单元,该单元从由所述成像单元捕获的行进方向上的实际图像中提取出边缘信息并生成实际边缘图像;以及
位置估计单元,该单元将所述实际边缘图像与所述多个预测边缘图像相比较,估计出相似度最大的预测边缘图像的候选位置作为行进位置,并更新所述路径规划单元和所述位置预测单元中的行进位置。
2.如权利要求1所述的移动机器人,其特征在于所述位置估计单元计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的相关性,并估计出相关性最大的预测边缘图像的候选位置,作为所述行进位置。
3.如权利要求1所述的移动机器人,其特征在于所述位置估计单元计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的重叠像素的数目,并估计出重叠像素数目最多的预测边缘图像的候选位置,作为所述行进位置。
4.如权利要求2或3所述的移动机器人,其特征在于
所述预测图像生成单元针对每个所述候选位置改变所述成像单元的图像捕获方向,并生成所述多个预测边缘图像。
5.如权利要求1所述的移动机器人,其特征在于所述预测图像生成单元基于所述成像单元的照相机参数和所述布局信息的三维坐标生成所述预测边缘图像。
6.如权利要求1所述的移动机器人,其特征在于所述基于所述实际边缘图像和所述多个预测边缘图像对当前行进位置的估计过程每隔预定行进距离或每隔预定移动时间被执行一次。
7.一种对在诸如工厂之类环境中行进的移动机器人的控制方法,其特征在于具有:
路径规划步骤,在该步骤中,基于估计出的当前行进位置对到目的地的行进路径进行规划并输出行进命令;
行进控制步骤,在该步骤中,执行行进控制,以便基于所述路径规划步骤的行进命令来沿所述行进路径而行;
位置预测步骤,在该步骤中,将由轮子的转角传感器检测到的行进距离累加到所述估计出的当前行进位置中,并预测当前行进位置;
预测图像生成步骤,在该步骤中,基于所述环境的布局信息生成多个预测边缘图像,所述多个预测边缘图像由边缘信息构成,并且是在成像单元被假设放置在所述位置预测步骤中预测的当前行进位置上和在所述当前行进位置附近的候选位置上时捕获到的;
边缘图像生成步骤,在该步骤中,从由所述成像单元捕获的行进方向上的实际图像中提取出边缘信息并生成实际边缘图像;以及
位置估计步骤,在该步骤中,将所述实际边缘图像与所述多个预测边缘图像相比较,估计出相似度最大的预测边缘图像的候选位置作为行进位置,并更新所述路径规划步骤和所述位置预测步骤中的行进位置。
8.如权利要求7所述的对移动机器人的控制方法,其特征在于,在所述位置估计步骤中,计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的相关性,并估计出相关性最大的预测边缘图像的候选位置,作为所述行进位置。
9.如权利要求7所述的对移动机器人的控制方法,其特征在于,在所述位置估计步骤中,计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的重叠像素的数目,并估计出重叠像素数目最多的预测边缘图像的候选位置,作为所述行进位置。
10.如权利要求8或9所述的对移动机器人的控制方法,其特征在于,在所述预测图像生成步骤中,针对每个所述候选位置改变所述成像步骤的图像捕获方向,并生成所述多个预测边缘图像。
11.如权利要求7所述的对移动机器人的控制方法,其特征在于,在所述预测图像生成步骤中,所述预测边缘图像是基于所述成像步骤的照相机参数和所述布局信息的三维坐标生成的。
12.如权利要求7所述的对移动机器人的控制方法,其特征在于,所述基于所述实际边缘图像和所述多个预测边缘图像对当前行进位置的估计过程每隔预定行进距离或每隔预定移动时间被执行一次。
13.一种存储有程序的计算机可读存储介质,所述程序的特征在于致使在诸如工厂之类环境中行进的移动机器人的计算机执行以下步骤:
路径规划步骤,在该步骤中,基于估计出的当前行进位置对到目的地的行进路径进行规划并输出行进命令;
行进控制步骤,在该步骤中,执行行进控制,以便基于所述路径规划步骤的行进命令来沿所述行进路径而行;
位置预测步骤,在该步骤中,将由轮子的转角传感器检测到的行进距离累加到所述估计出的当前行进位置中,并预测当前行进位置;
预测图像生成步骤,在该步骤中,基于所述环境的布局信息生成多个预测边缘图像,所述多个预测边缘图像由边缘信息构成,并且是在成像单元被假设放置在所述位置预测步骤中预测的当前行进位置上和在所述当前行进位置附近的候选位置上时捕获到的;
边缘图像生成步骤,在该步骤中,从由所述成像单元捕获的行进方向上的实际图像中提取出边缘信息并生成实际边缘图像;以及
位置估计步骤,在该步骤中,将所述实际边缘图像与所述多个预测边缘图像相比较,估计出相似度最大的预测边缘图像的候选位置作为行进位置,并更新所述路径规划步骤和所述位置预测步骤中的行进位置。
14.如权利要求13所述的存储介质,其特征在于,在所述位置估计步骤中,计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的相关性,并估计出相关性最大的预测边缘图像的候选位置,作为所述行进位置。
15.如权利要求13所述的存储介质,其特征在于,在所述位置估计步骤中,计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的重叠像素的数目,并估计出重叠像素数目最多的预测边缘图像的候选位置,作为所述行进位置。
16.如权利要求14或15所述的存储介质,其特征在于,
在所述预测图像生成步骤中,针对每个所述候选位置改变所述成像步骤的图像捕获方向,并生成所述多个预测边缘图像。
17.如权利要求13所述的存储介质,其特征在于,在所述预测图像生成步骤中,所述预测边缘图像是基于所述成像步骤的照相机参数和所述布局信息的三维坐标生成的。
18.如权利要求13所述的存储介质,其特征在于,所述基于所述实际边缘图像和所述多个预测边缘图像对当前行进位置的估计过程每隔预定行进距离或每隔预定移动时间被执行一次。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006146218A JP2007316966A (ja) | 2006-05-26 | 2006-05-26 | 移動ロボット、その制御方法及びプログラム |
JP2006146218 | 2006-05-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101078632A true CN101078632A (zh) | 2007-11-28 |
Family
ID=38480680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2006101523717A Pending CN101078632A (zh) | 2006-05-26 | 2006-09-28 | 移动机器人及其控制方法和程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20070276541A1 (zh) |
EP (1) | EP1860515A3 (zh) |
JP (1) | JP2007316966A (zh) |
KR (1) | KR100801527B1 (zh) |
CN (1) | CN101078632A (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102007767A (zh) * | 2008-04-17 | 2011-04-06 | 松下电器产业株式会社 | 成像位置确定方法和成像位置确定设备 |
CN101738195B (zh) * | 2009-12-24 | 2012-01-11 | 厦门大学 | 基于环境建模与自适应窗口的移动机器人路径规划方法 |
CN102547126A (zh) * | 2012-01-17 | 2012-07-04 | 苏州佳世达电通有限公司 | 监视系统及其控制方法 |
CN103459099A (zh) * | 2011-01-28 | 2013-12-18 | 英塔茨科技公司 | 与一个可移动的远程机器人相互交流 |
CN103517789A (zh) * | 2011-05-12 | 2014-01-15 | 株式会社Ihi | 运动预测控制装置和方法 |
CN103552091A (zh) * | 2013-09-29 | 2014-02-05 | 爱马特(江苏)自动化有限公司 | 机械手装置上的移送滚轮与轨道状态的检测装置 |
CN104204726A (zh) * | 2012-03-06 | 2014-12-10 | 日产自动车株式会社 | 移动物体位置姿态估计装置和移动物体位置姿态估计方法 |
CN104508584A (zh) * | 2012-10-23 | 2015-04-08 | 夏普株式会社 | 设备控制装置和自走式电子设备 |
CN104842360A (zh) * | 2014-02-19 | 2015-08-19 | 丰田自动车株式会社 | 用于移动机器人的移动控制方法 |
CN104898658A (zh) * | 2014-03-06 | 2015-09-09 | 丰田自动车株式会社 | 自主移动机器人及其控制方法 |
CN105865451A (zh) * | 2016-04-19 | 2016-08-17 | 深圳市神州云海智能科技有限公司 | 用于移动机器人室内定位的方法和设备 |
CN105943162A (zh) * | 2010-10-21 | 2016-09-21 | 伊顿株式会社 | 手术机器人的移动控制/补偿方法及其装置 |
CN106647409A (zh) * | 2016-12-30 | 2017-05-10 | 华南智能机器人创新研究院 | 一种定位控制工业机器人作业的方法及系统 |
CN106940560A (zh) * | 2010-07-01 | 2017-07-11 | 德国福维克控股公司 | 具有区域划分的测绘制图 |
CN107427270A (zh) * | 2015-02-23 | 2017-12-01 | 西门子保健有限责任公司 | 用于医疗诊断装置的自动定位的方法和系统 |
CN108474653A (zh) * | 2016-01-20 | 2018-08-31 | 三菱电机株式会社 | 三维计测装置及其计测辅助处理方法 |
CN108712946A (zh) * | 2017-08-23 | 2018-10-26 | 深圳蓝胖子机器人有限公司 | 货物摆放方法、装置、系统以及电子设备和可读存储介质 |
CN109996045A (zh) * | 2012-12-14 | 2019-07-09 | 三星电子株式会社 | 用于家庭监视的方法和装置 |
CN111307165A (zh) * | 2020-03-06 | 2020-06-19 | 新石器慧通(北京)科技有限公司 | 一种车辆的定位方法、定位系统及无人车辆 |
CN111837083A (zh) * | 2018-01-12 | 2020-10-27 | 佳能株式会社 | 信息处理装置、信息处理系统、信息处理方法和程序 |
Families Citing this family (127)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040162637A1 (en) | 2002-07-25 | 2004-08-19 | Yulun Wang | Medical tele-robotic system with a master remote station with an arbitrator |
US7813836B2 (en) | 2003-12-09 | 2010-10-12 | Intouch Technologies, Inc. | Protocol for a remotely controlled videoconferencing robot |
US8077963B2 (en) | 2004-07-13 | 2011-12-13 | Yulun Wang | Mobile robot with a head-based movement mapping scheme |
US9198728B2 (en) | 2005-09-30 | 2015-12-01 | Intouch Technologies, Inc. | Multi-camera mobile teleconferencing platform |
US8849679B2 (en) | 2006-06-15 | 2014-09-30 | Intouch Technologies, Inc. | Remote controlled robot system that provides medical images |
JP2010517803A (ja) | 2007-02-13 | 2010-05-27 | ポール エイチ. ナイ, | パーソナルアフェクターマシーン |
US9160783B2 (en) | 2007-05-09 | 2015-10-13 | Intouch Technologies, Inc. | Robot system that operates through a network firewall |
JP2009011362A (ja) * | 2007-06-29 | 2009-01-22 | Sony Computer Entertainment Inc | 情報処理システム、ロボット装置及びその制御方法 |
JP4661838B2 (ja) * | 2007-07-18 | 2011-03-30 | トヨタ自動車株式会社 | 経路計画装置及び方法、コスト評価装置、並びに移動体 |
WO2009136969A2 (en) * | 2008-01-22 | 2009-11-12 | Carnegie Mellon University | Apparatuses, systems, and methods for apparatus operation and remote sensing |
JP4978494B2 (ja) * | 2008-02-07 | 2012-07-18 | トヨタ自動車株式会社 | 自律移動体、及びその制御方法 |
KR100926783B1 (ko) * | 2008-02-15 | 2009-11-13 | 한국과학기술연구원 | 물체인식 및 인식된 물체를 포함하는 주변 환경 정보를바탕으로 한 로봇의 자기 위치 추정 방법 |
US10875182B2 (en) | 2008-03-20 | 2020-12-29 | Teladoc Health, Inc. | Remote presence system mounted to operating room hardware |
CN101546424B (zh) * | 2008-03-24 | 2012-07-25 | 富士通株式会社 | 图像处理方法和装置及水印检测系统 |
US8179418B2 (en) | 2008-04-14 | 2012-05-15 | Intouch Technologies, Inc. | Robotic based health care system |
US8170241B2 (en) | 2008-04-17 | 2012-05-01 | Intouch Technologies, Inc. | Mobile tele-presence system with a microphone system |
KR100974543B1 (ko) * | 2008-06-09 | 2010-08-11 | 삼성중공업 주식회사 | 도장 시뮬레이션 시스템 및 방법과 이를 위한 기록매체 |
US9193065B2 (en) | 2008-07-10 | 2015-11-24 | Intouch Technologies, Inc. | Docking system for a tele-presence robot |
US9842192B2 (en) | 2008-07-11 | 2017-12-12 | Intouch Technologies, Inc. | Tele-presence robot system with multi-cast features |
JP4806435B2 (ja) * | 2008-09-10 | 2011-11-02 | 日本輸送機株式会社 | 3次元モデルを用いた自己位置認識手法及び自己位置認識システム |
KR101538775B1 (ko) | 2008-09-12 | 2015-07-30 | 삼성전자 주식회사 | 전방 영상을 이용한 위치 인식 장치 및 방법 |
US8340819B2 (en) | 2008-09-18 | 2012-12-25 | Intouch Technologies, Inc. | Mobile videoconferencing robot system with network adaptive driving |
EP2343615B1 (en) * | 2008-10-01 | 2018-10-31 | Murata Machinery, Ltd. | Autonomous movement device |
US8996165B2 (en) | 2008-10-21 | 2015-03-31 | Intouch Technologies, Inc. | Telepresence robot with a camera boom |
US8234032B2 (en) * | 2008-11-10 | 2012-07-31 | Electronics And Telecommunications Research Institute | Method and apparatus for generating safe path of mobile robot |
US9138891B2 (en) | 2008-11-25 | 2015-09-22 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
US8463435B2 (en) | 2008-11-25 | 2013-06-11 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
KR101553522B1 (ko) * | 2008-12-29 | 2015-09-16 | 삼성전자 주식회사 | 로봇 및 그 제어 방법 |
US8849680B2 (en) | 2009-01-29 | 2014-09-30 | Intouch Technologies, Inc. | Documentation through a remote presence robot |
KR101524020B1 (ko) * | 2009-03-06 | 2015-05-29 | 엘지전자 주식회사 | 로봇 청소기의 점진적 지도 작성 및 위치 보정 방법 |
US8897920B2 (en) | 2009-04-17 | 2014-11-25 | Intouch Technologies, Inc. | Tele-presence robot system with software modularity, projector and laser pointer |
JP5310285B2 (ja) * | 2009-06-12 | 2013-10-09 | 日産自動車株式会社 | 自己位置推定装置及び自己位置推定方法 |
US8384755B2 (en) | 2009-08-26 | 2013-02-26 | Intouch Technologies, Inc. | Portable remote presence robot |
US11399153B2 (en) | 2009-08-26 | 2022-07-26 | Teladoc Health, Inc. | Portable telepresence apparatus |
WO2011064821A1 (ja) | 2009-11-27 | 2011-06-03 | トヨタ自動車株式会社 | 自律移動体及びその制御方法 |
KR101100827B1 (ko) * | 2009-11-30 | 2012-01-02 | 한국생산기술연구원 | 도로주행 로봇의 자기 위치 인식방법 |
KR101146128B1 (ko) * | 2009-12-22 | 2012-05-16 | 연세대학교 산학협력단 | 분할 기반 이미지 매칭을 이용한 내비게이션 방법 및 장치 |
US11154981B2 (en) | 2010-02-04 | 2021-10-26 | Teladoc Health, Inc. | Robot user interface for telepresence robot system |
US8670017B2 (en) | 2010-03-04 | 2014-03-11 | Intouch Technologies, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
NO20100339A1 (no) * | 2010-03-10 | 2011-05-23 | Seabed Rig As | Fremgangsmåte og anordning for å sikre drift av automatisk eller autonomt utstyr |
US9014848B2 (en) * | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
US10343283B2 (en) | 2010-05-24 | 2019-07-09 | Intouch Technologies, Inc. | Telepresence robot system that can be accessed by a cellular phone |
US10808882B2 (en) | 2010-05-26 | 2020-10-20 | Intouch Technologies, Inc. | Tele-robotic system with a robot face placed on a chair |
KR101731968B1 (ko) * | 2010-11-01 | 2017-05-04 | 삼성전자주식회사 | 로봇의 리로케이션 장치 및 방법 |
JP4937400B1 (ja) * | 2010-11-05 | 2012-05-23 | 株式会社東芝 | 探索省略領域設定関数生成方法、探索省略領域設定方法、オブジェクト探索方法、探索省略領域設定関数生成装置、探索省略領域設定装置、及びオブジェクト探索装置 |
US9264664B2 (en) | 2010-12-03 | 2016-02-16 | Intouch Technologies, Inc. | Systems and methods for dynamic bandwidth allocation |
US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
US10769739B2 (en) | 2011-04-25 | 2020-09-08 | Intouch Technologies, Inc. | Systems and methods for management of information among medical providers and facilities |
JP5092037B1 (ja) * | 2011-05-16 | 2012-12-05 | 株式会社東芝 | 探索省略領域設定関数生成方法、探索省略領域設定方法、オブジェクト探索方法、探索省略領域設定関数生成装置、探索省略領域設定装置、及びオブジェクト探索装置 |
US9098611B2 (en) | 2012-11-26 | 2015-08-04 | Intouch Technologies, Inc. | Enhanced video interaction for a user interface of a telepresence network |
US20140139616A1 (en) | 2012-01-27 | 2014-05-22 | Intouch Technologies, Inc. | Enhanced Diagnostics for a Telepresence Robot |
CN102288176B (zh) * | 2011-07-07 | 2013-01-30 | 中国矿业大学(北京) | 基于信息融合的煤矿救灾机器人导航系统及方法 |
KR101264914B1 (ko) | 2011-07-11 | 2013-05-15 | (주)유알에프 | 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법 |
US8836751B2 (en) | 2011-11-08 | 2014-09-16 | Intouch Technologies, Inc. | Tele-presence system with a user interface that displays different communication links |
US8902278B2 (en) | 2012-04-11 | 2014-12-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
US9251313B2 (en) | 2012-04-11 | 2016-02-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
WO2013176758A1 (en) | 2012-05-22 | 2013-11-28 | Intouch Technologies, Inc. | Clinical workflows utilizing autonomous and semi-autonomous telemedicine devices |
US9361021B2 (en) | 2012-05-22 | 2016-06-07 | Irobot Corporation | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
CN103488172B (zh) * | 2012-06-13 | 2016-10-05 | 苏州宝时得电动工具有限公司 | 自动工作系统及其控制方法 |
JP6202544B2 (ja) * | 2012-08-27 | 2017-09-27 | アクティエボラゲット エレクトロラックス | ロボット位置決めシステム |
CN102854880B (zh) * | 2012-10-08 | 2014-12-31 | 中国矿业大学 | 面向混合地形区域不确定环境的机器人全局路径规划方法 |
US9811759B2 (en) * | 2012-12-10 | 2017-11-07 | Mitsubishi Electric Corporation | NC program searching method, NC program searching unit, NC program creating method, and NC program creating unit |
CN105101855A (zh) | 2013-04-15 | 2015-11-25 | 伊莱克斯公司 | 具有伸出的侧刷的机器人真空吸尘器 |
US10448794B2 (en) | 2013-04-15 | 2019-10-22 | Aktiebolaget Electrolux | Robotic vacuum cleaner |
CN103383569B (zh) * | 2013-05-31 | 2016-12-28 | 浙江工业大学 | 基于线性时序逻辑的移动机器人最优巡回路径设定方法 |
SG2013042890A (en) * | 2013-06-03 | 2015-01-29 | Ctrlworks Pte Ltd | Method and apparatus for offboard navigation of a robotic device |
US9782896B2 (en) * | 2013-11-28 | 2017-10-10 | Mitsubishi Electric Corporation | Robot system and control method for robot system |
US10045675B2 (en) | 2013-12-19 | 2018-08-14 | Aktiebolaget Electrolux | Robotic vacuum cleaner with side brush moving in spiral pattern |
WO2015090397A1 (en) | 2013-12-19 | 2015-06-25 | Aktiebolaget Electrolux | Robotic cleaning device |
KR102124235B1 (ko) | 2013-12-19 | 2020-06-24 | 에이비 엘렉트로룩스 | 주변 기록 기능을 갖는 로봇 청소 디바이스 |
US10433697B2 (en) | 2013-12-19 | 2019-10-08 | Aktiebolaget Electrolux | Adaptive speed control of rotating side brush |
US9946263B2 (en) | 2013-12-19 | 2018-04-17 | Aktiebolaget Electrolux | Prioritizing cleaning areas |
US10149589B2 (en) | 2013-12-19 | 2018-12-11 | Aktiebolaget Electrolux | Sensing climb of obstacle of a robotic cleaning device |
KR102137857B1 (ko) | 2013-12-19 | 2020-07-24 | 에이비 엘렉트로룩스 | 로봇 청소 장치 및 랜드마크 인식 방법 |
EP3082539B1 (en) | 2013-12-20 | 2019-02-20 | Aktiebolaget Electrolux | Dust container |
JP5850958B2 (ja) * | 2014-01-24 | 2016-02-03 | ファナック株式会社 | ワークを撮像するためのロボットプログラムを作成するロボットプログラミング装置 |
CN103767708A (zh) * | 2014-01-24 | 2014-05-07 | 成都万先自动化科技有限责任公司 | 呼气检测癌症医用机器人 |
JP6599603B2 (ja) * | 2014-04-18 | 2019-10-30 | 東芝ライフスタイル株式会社 | 自律走行体 |
EP3159122A4 (en) * | 2014-06-17 | 2018-05-30 | Yujin Robot Co., Ltd. | Device and method for recognizing location of mobile robot by means of search-based correlation matching |
US10518879B1 (en) * | 2014-07-10 | 2019-12-31 | Hrl Laboratories, Llc | System and method for drift-free global trajectory estimation of a mobile platform |
EP3167341B1 (en) | 2014-07-10 | 2018-05-09 | Aktiebolaget Electrolux | Method for detecting a measurement error in a robotic cleaning device |
US10499778B2 (en) | 2014-09-08 | 2019-12-10 | Aktiebolaget Electrolux | Robotic vacuum cleaner |
EP3190938A1 (en) | 2014-09-08 | 2017-07-19 | Aktiebolaget Electrolux | Robotic vacuum cleaner |
US10877484B2 (en) | 2014-12-10 | 2020-12-29 | Aktiebolaget Electrolux | Using laser sensor for floor type detection |
WO2016091320A1 (en) | 2014-12-12 | 2016-06-16 | Aktiebolaget Electrolux | Side brush and robotic cleaner |
JP6532530B2 (ja) | 2014-12-16 | 2019-06-19 | アクチエボラゲット エレクトロルックス | ロボット掃除機の掃除方法 |
CN107003669B (zh) | 2014-12-16 | 2023-01-31 | 伊莱克斯公司 | 用于机器人清洁设备的基于经验的路标 |
EP3889728A3 (en) | 2014-12-31 | 2021-12-01 | SZ DJI Technology Co., Ltd. | Selective processing of sensor data |
WO2016113904A1 (ja) * | 2015-01-16 | 2016-07-21 | 株式会社日立製作所 | 3次元情報算出装置、3次元情報算出方法、および自律移動装置 |
US10168699B1 (en) * | 2015-01-30 | 2019-01-01 | Vecna Technologies, Inc. | Interactions between a vehicle and a being encountered by the vehicle |
JP6411917B2 (ja) * | 2015-02-27 | 2018-10-24 | 株式会社日立製作所 | 自己位置推定装置および移動体 |
JP6743828B2 (ja) | 2015-04-17 | 2020-08-19 | アクチエボラゲット エレクトロルックス | ロボット掃除機およびロボット掃除機を制御する方法 |
KR102445064B1 (ko) | 2015-09-03 | 2022-09-19 | 에이비 엘렉트로룩스 | 로봇 청소 장치의 시스템 |
JP6782903B2 (ja) * | 2015-12-25 | 2020-11-11 | 学校法人千葉工業大学 | 自己運動推定システム、自己運動推定システムの制御方法及びプログラム |
USD857072S1 (en) * | 2016-01-22 | 2019-08-20 | Symbotic, LLC | Automated guided vehicle |
JP7035300B2 (ja) | 2016-03-15 | 2022-03-15 | アクチエボラゲット エレクトロルックス | ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品 |
GB2563785B (en) * | 2016-03-28 | 2021-03-03 | Groove X Inc | Autonomously acting robot that performs a greeting action |
WO2017194102A1 (en) | 2016-05-11 | 2017-11-16 | Aktiebolaget Electrolux | Robotic cleaning device |
EP3508049B1 (en) | 2016-06-30 | 2022-08-24 | Techtronic Outdoor Products Technology Limited | An autonomous lawn mower |
US11172608B2 (en) | 2016-06-30 | 2021-11-16 | Tti (Macao Commercial Offshore) Limited | Autonomous lawn mower and a system for navigating thereof |
CN106217385A (zh) * | 2016-07-19 | 2016-12-14 | 东莞市优陌儿智护电子科技有限公司 | 三马达陪护机器人 |
JP6392817B2 (ja) * | 2016-08-04 | 2018-09-19 | ファナック株式会社 | シミュレーション装置 |
US10210603B2 (en) * | 2016-10-17 | 2019-02-19 | Conduent Business Services Llc | Store shelf imaging system and method |
KR102567525B1 (ko) * | 2016-11-17 | 2023-08-16 | 삼성전자주식회사 | 이동 로봇 시스템, 이동 로봇 및 이동 로봇 시스템의 제어 방법 |
USD871477S1 (en) * | 2017-02-17 | 2019-12-31 | Safelog Gmbh | Automated guided vehicle |
US11862302B2 (en) | 2017-04-24 | 2024-01-02 | Teladoc Health, Inc. | Automated transcription and documentation of tele-health encounters |
JP2018185240A (ja) * | 2017-04-26 | 2018-11-22 | 大成建設株式会社 | 位置特定装置 |
CN107030711A (zh) * | 2017-04-27 | 2017-08-11 | 陆兴华 | 一种新型送餐机器人 |
WO2018219473A1 (en) | 2017-06-02 | 2018-12-06 | Aktiebolaget Electrolux | Method of detecting a difference in level of a surface in front of a robotic cleaning device |
US10425622B2 (en) | 2017-07-18 | 2019-09-24 | The United States Of America As Represented By The Secretary Of The Army | Method of generating a predictive display for tele-operation of a remotely-operated ground vehicle |
CN107515606A (zh) * | 2017-07-20 | 2017-12-26 | 北京格灵深瞳信息技术有限公司 | 机器人实现方法、控制方法及机器人、电子设备 |
US10483007B2 (en) | 2017-07-25 | 2019-11-19 | Intouch Technologies, Inc. | Modular telehealth cart with thermal imaging and touch screen user interface |
US11636944B2 (en) | 2017-08-25 | 2023-04-25 | Teladoc Health, Inc. | Connectivity infrastructure for a telehealth platform |
WO2019063066A1 (en) | 2017-09-26 | 2019-04-04 | Aktiebolaget Electrolux | CONTROL FOR MOVING A ROBOTIC CLEANING DEVICE |
JP6638753B2 (ja) * | 2018-03-19 | 2020-01-29 | カシオ計算機株式会社 | 自律移動装置、自律移動方法及びプログラム |
US10617299B2 (en) | 2018-04-27 | 2020-04-14 | Intouch Technologies, Inc. | Telehealth cart that supports a removable tablet with seamless audio/video switching |
CN108772841A (zh) * | 2018-05-30 | 2018-11-09 | 深圳市创艺工业技术有限公司 | 一种智能巡逻机器人 |
KR20190141303A (ko) * | 2018-06-14 | 2019-12-24 | 엘지전자 주식회사 | 이동 로봇의 동작 방법 |
JP2020005146A (ja) * | 2018-06-28 | 2020-01-09 | 株式会社リコー | 出力制御装置、表示端末、情報処理装置、移動体、遠隔制御システム、出力制御方法、プログラムおよび撮影制御装置 |
US10940851B2 (en) * | 2018-12-12 | 2021-03-09 | Waymo Llc | Determining wheel slippage on self driving vehicle |
JP7234724B2 (ja) * | 2019-03-20 | 2023-03-08 | 株式会社リコー | ロボットおよび制御システム |
CN112017239B (zh) * | 2019-05-31 | 2022-12-20 | 北京市商汤科技开发有限公司 | 确定目标对象朝向方法、智能驾驶控制方法和装置及设备 |
CA3143033C (en) * | 2019-06-12 | 2024-01-23 | Boom Interactive Inc. | Data serialization extrusion for converting two-dimensional images to three-dimensional geometry |
CN111123953B (zh) * | 2020-01-09 | 2022-11-01 | 重庆弘玑隆程科技有限公司 | 人工智能大数据下粒子化移动机器人组及其控制方法 |
CN113885485B (zh) * | 2020-06-17 | 2023-12-22 | 苏州科瓴精密机械科技有限公司 | 机器人行走控制方法、系统,机器人及存储介质 |
JP2022023643A (ja) * | 2020-07-27 | 2022-02-08 | キヤノン株式会社 | 視線位置処理装置、撮像装置、学習装置、視線位置処理方法、学習方法、及びプログラム |
CN117245672B (zh) * | 2023-11-20 | 2024-02-02 | 南昌工控机器人有限公司 | 摄像头支架模块化装配的智能运动控制系统及其方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2861014B2 (ja) * | 1989-01-18 | 1999-02-24 | 株式会社デンソー | 物体認識装置 |
EP0488828B1 (en) * | 1990-11-30 | 1996-08-14 | Honda Giken Kogyo Kabushiki Kaisha | Control device of an autonomously moving body and evaluation method for data thereof |
JP3176701B2 (ja) * | 1992-04-15 | 2001-06-18 | 本田技研工業株式会社 | 移動体の現在位置認識処理装置 |
JPH06259131A (ja) * | 1993-03-09 | 1994-09-16 | Olympus Optical Co Ltd | 移動ロボットの誘導制御装置 |
US5525883A (en) * | 1994-07-08 | 1996-06-11 | Sara Avitzour | Mobile robot location determination employing error-correcting distributed landmarks |
JPH0953939A (ja) * | 1995-08-18 | 1997-02-25 | Fujitsu Ltd | 自走車の自己位置測定装置および自己位置測定方法 |
WO2000003311A2 (de) * | 1998-07-08 | 2000-01-20 | Siemens Aktiengesellschaft | Verfahren und anordnung zur ermittlung eines ähnlichkeitsmasses einer ersten struktur mit mindestens einer vorgegebenen zweiten struktur |
US7366595B1 (en) * | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
US20020169586A1 (en) * | 2001-03-20 | 2002-11-14 | Rankin James Stewart | Automated CAD guided sensor planning process |
JP2004012429A (ja) * | 2002-06-11 | 2004-01-15 | Mitsubishi Heavy Ind Ltd | 自己位置/姿勢同定装置、及び自己位置/姿勢同定方法 |
JPWO2004102222A1 (ja) * | 2003-05-13 | 2006-07-13 | 富士通株式会社 | 物体検出装置、物体検出方法、物体検出プログラム、距離センサ |
JP4264380B2 (ja) * | 2004-04-28 | 2009-05-13 | 三菱重工業株式会社 | 自己位置同定方法及び該装置 |
KR20050114312A (ko) * | 2004-06-01 | 2005-12-06 | 안희태 | 초음파위성을 이용한 청소로봇 |
-
2006
- 2006-05-26 JP JP2006146218A patent/JP2007316966A/ja active Pending
- 2006-08-30 US US11/512,338 patent/US20070276541A1/en not_active Abandoned
- 2006-09-11 EP EP06254730A patent/EP1860515A3/en not_active Withdrawn
- 2006-09-27 KR KR1020060093893A patent/KR100801527B1/ko not_active IP Right Cessation
- 2006-09-28 CN CNA2006101523717A patent/CN101078632A/zh active Pending
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102007767A (zh) * | 2008-04-17 | 2011-04-06 | 松下电器产业株式会社 | 成像位置确定方法和成像位置确定设备 |
CN101738195B (zh) * | 2009-12-24 | 2012-01-11 | 厦门大学 | 基于环境建模与自适应窗口的移动机器人路径规划方法 |
CN106940560A (zh) * | 2010-07-01 | 2017-07-11 | 德国福维克控股公司 | 具有区域划分的测绘制图 |
CN105943162A (zh) * | 2010-10-21 | 2016-09-21 | 伊顿株式会社 | 手术机器人的移动控制/补偿方法及其装置 |
CN104898652B (zh) * | 2011-01-28 | 2018-03-13 | 英塔茨科技公司 | 与一个可移动的远程机器人相互交流 |
CN103459099A (zh) * | 2011-01-28 | 2013-12-18 | 英塔茨科技公司 | 与一个可移动的远程机器人相互交流 |
CN103459099B (zh) * | 2011-01-28 | 2015-08-26 | 英塔茨科技公司 | 与一个可移动的远程机器人相互交流 |
CN104898652A (zh) * | 2011-01-28 | 2015-09-09 | 英塔茨科技公司 | 与一个可移动的远程机器人相互交流 |
CN103517789B (zh) * | 2011-05-12 | 2015-11-25 | 株式会社Ihi | 运动预测控制装置和方法 |
CN103517789A (zh) * | 2011-05-12 | 2014-01-15 | 株式会社Ihi | 运动预测控制装置和方法 |
CN102547126A (zh) * | 2012-01-17 | 2012-07-04 | 苏州佳世达电通有限公司 | 监视系统及其控制方法 |
CN104204726B (zh) * | 2012-03-06 | 2017-05-31 | 日产自动车株式会社 | 移动物体位置姿态估计装置和移动物体位置姿态估计方法 |
CN104204726A (zh) * | 2012-03-06 | 2014-12-10 | 日产自动车株式会社 | 移动物体位置姿态估计装置和移动物体位置姿态估计方法 |
CN104508584A (zh) * | 2012-10-23 | 2015-04-08 | 夏普株式会社 | 设备控制装置和自走式电子设备 |
CN104508584B (zh) * | 2012-10-23 | 2017-10-20 | 夏普株式会社 | 设备控制装置和自走式电子设备 |
CN109996045A (zh) * | 2012-12-14 | 2019-07-09 | 三星电子株式会社 | 用于家庭监视的方法和装置 |
CN103552091A (zh) * | 2013-09-29 | 2014-02-05 | 爱马特(江苏)自动化有限公司 | 机械手装置上的移送滚轮与轨道状态的检测装置 |
CN104842360A (zh) * | 2014-02-19 | 2015-08-19 | 丰田自动车株式会社 | 用于移动机器人的移动控制方法 |
CN104898658A (zh) * | 2014-03-06 | 2015-09-09 | 丰田自动车株式会社 | 自主移动机器人及其控制方法 |
CN104898658B (zh) * | 2014-03-06 | 2017-11-03 | 丰田自动车株式会社 | 自主移动机器人及其控制方法 |
CN107427270A (zh) * | 2015-02-23 | 2017-12-01 | 西门子保健有限责任公司 | 用于医疗诊断装置的自动定位的方法和系统 |
CN107427270B (zh) * | 2015-02-23 | 2021-01-05 | 西门子保健有限责任公司 | 用于医疗诊断装置的自动定位的方法和系统 |
CN108474653A (zh) * | 2016-01-20 | 2018-08-31 | 三菱电机株式会社 | 三维计测装置及其计测辅助处理方法 |
CN108474653B (zh) * | 2016-01-20 | 2020-03-20 | 三菱电机株式会社 | 三维计测装置及其计测辅助处理方法 |
CN105865451A (zh) * | 2016-04-19 | 2016-08-17 | 深圳市神州云海智能科技有限公司 | 用于移动机器人室内定位的方法和设备 |
CN105865451B (zh) * | 2016-04-19 | 2019-10-01 | 深圳市神州云海智能科技有限公司 | 用于移动机器人室内定位的方法和设备 |
CN106647409A (zh) * | 2016-12-30 | 2017-05-10 | 华南智能机器人创新研究院 | 一种定位控制工业机器人作业的方法及系统 |
CN106647409B (zh) * | 2016-12-30 | 2018-12-21 | 华南智能机器人创新研究院 | 一种定位控制工业机器人作业的方法及系统 |
CN108712946A (zh) * | 2017-08-23 | 2018-10-26 | 深圳蓝胖子机器人有限公司 | 货物摆放方法、装置、系统以及电子设备和可读存储介质 |
CN111837083A (zh) * | 2018-01-12 | 2020-10-27 | 佳能株式会社 | 信息处理装置、信息处理系统、信息处理方法和程序 |
CN111307165A (zh) * | 2020-03-06 | 2020-06-19 | 新石器慧通(北京)科技有限公司 | 一种车辆的定位方法、定位系统及无人车辆 |
Also Published As
Publication number | Publication date |
---|---|
US20070276541A1 (en) | 2007-11-29 |
EP1860515A3 (en) | 2011-05-11 |
KR20070113939A (ko) | 2007-11-29 |
JP2007316966A (ja) | 2007-12-06 |
EP1860515A2 (en) | 2007-11-28 |
KR100801527B1 (ko) | 2008-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101078632A (zh) | 移动机器人及其控制方法和程序 | |
CN111496770B (zh) | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 | |
EP3971686A1 (en) | Ar scenario-based gesture interaction method and apparatus, storage medium, and communication terminal | |
JP6942177B2 (ja) | ロボットが学習した経路を自律的に走行するように初期化するためのシステムおよび方法 | |
US8265791B2 (en) | System and method for motion control of humanoid robot | |
CN110275540A (zh) | 用于扫地机器人的语义导航方法及其系统 | |
US20130245824A1 (en) | Method and system for training a robot using human-assisted task demonstration | |
CN106874854A (zh) | 基于嵌入式平台的无人机车辆跟踪方法 | |
CN1899773A (zh) | 能识别图像的移动对象和安装此对象的移动对象定向系统 | |
CN109676602B (zh) | 行走机器人的自适应标定方法、系统、设备及存储介质 | |
WO2015024407A1 (zh) | 基于电力机器人的双目视觉导航系统及方法 | |
CN103680291A (zh) | 基于天花板视觉的同步定位与地图绘制的方法 | |
CN111993383A (zh) | 服务器硬盘自动更换机器人及服务器硬盘自动更换方法 | |
CN212497739U (zh) | 服务器硬盘自动更换机器人 | |
CN101574586A (zh) | 毽球机器人及控制方法 | |
KR101021470B1 (ko) | 영상 데이터를 이용한 로봇 움직임 데이터 생성 방법 및 생성 장치 | |
Holz et al. | Continuous 3D sensing for navigation and SLAM in cluttered and dynamic environments | |
CN110295728A (zh) | 搬运系统及其控制方法、地砖铺贴系统 | |
EP3712802A1 (en) | Method for representing an environment of a mobile platform | |
CN113515143A (zh) | 机器人导航方法、机器人及计算机可读存储介质 | |
CN115643903A (zh) | 基于机器视觉的苹果自动采摘装置及其控制方法 | |
Nie et al. | A survey of extrinsic parameters calibration techniques for autonomous devices | |
Hasan et al. | Implementation of vision based object tracking robot | |
TWI788253B (zh) | 適應性移動操作設備及方法 | |
KR102555708B1 (ko) | 타일 격자무늬 추적 자율주행 로봇을 위한 위치 인식 및 주행 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Open date: 20071128 |