CN100339871C - 环境识别设备及方法、路径规划设备及方法以及机器人 - Google Patents
环境识别设备及方法、路径规划设备及方法以及机器人 Download PDFInfo
- Publication number
- CN100339871C CN100339871C CNB2004101005189A CN200410100518A CN100339871C CN 100339871 C CN100339871 C CN 100339871C CN B2004101005189 A CNB2004101005189 A CN B2004101005189A CN 200410100518 A CN200410100518 A CN 200410100518A CN 100339871 C CN100339871 C CN 100339871C
- Authority
- CN
- China
- Prior art keywords
- plane
- robot
- environmental map
- barrier
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013461 design Methods 0.000 title claims description 18
- 230000007613 environmental effect Effects 0.000 claims description 183
- 230000004888 barrier function Effects 0.000 claims description 158
- 238000001514 detection method Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims 2
- 239000000284 extract Substances 0.000 abstract description 21
- 230000009471 action Effects 0.000 description 25
- 230000033001 locomotion Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 23
- 238000005096 rolling process Methods 0.000 description 19
- 210000002414 leg Anatomy 0.000 description 13
- 238000012360 testing method Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 244000145841 kine Species 0.000 description 10
- 210000003128 head Anatomy 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 210000000544 articulatio talocruralis Anatomy 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 210000000323 shoulder joint Anatomy 0.000 description 6
- 210000003857 wrist joint Anatomy 0.000 description 6
- 206010049669 Dyscalculia Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 210000002310 elbow joint Anatomy 0.000 description 4
- 210000002683 foot Anatomy 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004513 sizing Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 208000010877 cognitive disease Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000000245 forearm Anatomy 0.000 description 3
- 210000000629 knee joint Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241001455273 Tetrapoda Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000001699 lower leg Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005039 memory span Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 210000002303 tibia Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种环境识别设备和一种环境识别方法,能够绘制一个环境地图,所述地图用于判断是否可以移动到一个发现有一个或多个高于或低于地面的台阶的区域,以及一种路径规划设备和一种路径规划方法,能够利用这种环境地图适当地规划一个移动路径,和一种装配有这种环境识别设备及路径规划设备的机器人。该机器人包括一个环境识别部分,它包括多个适于从视差图像或距离图像中计算平面参数并提取包括地面在内的多个平面的平面提取部分401,一个适于识别包括地面在内的多个平面上的障碍物的障碍物识别部分402,和一个环境地图更新部分403,适于基于障碍物识别部分402的识别结果为每个平面绘制环境地图(障碍物地图)并更新当前环境地图,以及一个路径规划部分404,它适于基于这些环境地图产生路径规划。当在地面环境地图中的一个平面上发现一个障碍物但在该平面环境地图上没有发现障碍物时,该路径规划部分404将该平面选择为路径候选。
Description
技术领域
本发明涉及一种环境识别设备和一种环境识别方法,它们可以用于从有障碍物存在的环境中的三维数据中提取一个平面,并在所提取的平面中识别出障碍物,其中该三维数据包括视差图像数据和距离图像数据;本发明还涉及一种路径规划设备和一种路径规划方法,用于通过环境识别而获得的环境地图为基础,规划一个从当前位置到目标位置的移动路径;此外本发明还涉及一种配备有上述环境识别设备或路径规划设备的机器人。
本申请要求申请日为2003年9月19日的日本专利申请No.2003-329129的优先权,该申请的全部在此引用作为参考。
背景技术
“机器人”是一种电力或者磁力驱动使其具有类似人类(生物)动作的机器。在日本,二十世纪六十年代后期机器人开始普及,但他们中大多数是工业机器人,包括操作以及传送机器人,它们被设计来实现工厂中的自动化以及无人生产线。
近年以来,人们一直致力于研究能够在人们日常生活环境的各个方面担任助手并且具有象人类一样的行为的实用机器人。与工业机器人不同,实用机器人具有学习如何使自己适应具有不同个性的人并且适应我们的日常生活环境的各个方面的不同情况的能力。例如,“宠物型”机器人具有类似四脚动物例如狗或者猫的身体机制和动作,而“人类型”机器人或者“类人外形”机器人则通过使用人类或者其他两脚动物的身体机制和动作作为模型来进行设计,并且已经开始实际使用。
如果与工业机器人相比较,实用机器人可以表演来娱乐人类,因此有些时候它们被称为娱乐机器人。此外,正在研究中的这种类型的某些机器人可以根据一些外部传感器输出识别外部情况,并且响应外部信息和内部条件独立工作。
同时,不必多说,对一个独立(autonomous)机器人来说,具有识别其周围环境、规划一个移动路径以及按照所规划的路径进行移动的能力是很重要的。为了使一个机器人可以识别环境,获得关于该机器人周围的障碍物信息是很必要的。因此,该机器人需要从包括有视差图像数据和距离图像数据的三维数据中检测一个平面,该平面可能是地面(floor),并识别所述障碍物。
公开号为No.3340599的日本专利申请公开了一种平面估算方法,其利用哈夫(Hough)变换来从三维数据中检测一平面以用于精确获得一个平面上的距离数据。上述专利文献所描述的技术中,在一个获得的空间图像中,通过将立体图像划分为小的矩形区域,从所述小的区域中获取距离数据,再通过哈夫变换从M距离数据中提供一个平面通过线路,来估算一个平面,其中该M距离数据是包含在将很多小的区域沿着水平方向合并所形成的每个大的区域中,并且对所有大的区域都进行上述相同操作。
然而,因为一个移动型机器人通过这种方式检测一如地面的平面,准备一个移动路径规划以便避开地面上为障碍物的对象。接下来,当一个独立移动机器人被设计来检测一个从地面突起的为障碍物的对象的时候,所出现的问题是当一个该机器人实际能在其上移动的楼梯被检测为障碍物的时候,该机器人可能将其判断为不能在上面移动。除非将包含楼梯的位置和轮廓的信息以及机器人能在其上移动的事实提前输入到该机器人中,否则这种能够登楼梯的机器人可能将其识别为一个障碍物。
发明内容
考虑到上述现有技术的识别环境,由此本发明的目的在于提供一种环境识别设备和一种环境识别方法以及一种路径规划设备和一种路径规划方法,和一种装配有上述环境识别设备及路径规划设备的机器人装置。该环境识别设备和环境识别方法能够绘制一个环境地图,用于判断是否可以移动到一个发现具有一个或多个高于或低于一个地面的台阶的区域,所述路径规划设备和路径规划方法能够利用所述环境地图适当地规划一个移动路径。
根据本发明的一个方面,上述的发明目的是这样实现的,即将一个环境识别设备提供给一个在包含一个或多个障碍物的环境中的移动型机器人以识别该环境,该装置包括:平面检测装置,用于基于输入图像计算平面参数,并基于该平面参数检测平面,其中该平面检测装置适于检测一组平面,该组平面中包括一个用作参考的参考平面以及一个或多个基本上与所述参考平面平行的其它平面;障碍物识别装置,用于识别由该平面检测装置检测的平面上存在的障碍物;和环境地图更新装置,用于为该组平面中的每个平面绘制一个环境地图和/或根据由障碍物识别装置所识别的障碍物的信息更新现有环境地图;其中该环境地图更新装置适于为该组平面中具有被所述障碍物识别装置识别出的障碍物的平面绘制环境地图和/或更新现有环境地图。
因此根据本发明,使一个移动型机器人不仅可以检测一例如地面的参考平面而且可以检测多个平行于该参考平面的平面,以及绘制一个环境地图或更新每一平面的现有环境。换句话说,该机器人能够产生环境地图以用于三维地识别该环境。
该参考平面可能是所述地面或所述机器人移动的移动平面。因此,当该移动型机器人在该地面上移动时,该地面被用作参考平面。另一方面,当该移动型机器人在一个楼梯上移动时,该机器人正在其上移动的平面被用作参考平面。
优选地,该机器人能够在其上移动的每一平面应当具有一定表面区域。优选地,在所述参考平面以及每一平面之间的高度差不应大于一预定值。优选地,所述平面除所述参考平面以外还包括一个平面,其高度表明了该机器人识别范围内的所述参考平面具有最小的高度差异。那么,如果所述机器人适合于提取一个平面,其高度与所述参考平面高度的差异是所述机器人能够跨过的。那么,该平面极有可能被选为该机器人的移动路径的一部分。
根据本发明的另一个方面,提供一种环境识别方法,该方法被在一个包含一个或多个障碍物的环境中的移动型机器人使用来识别所述环境,该方法包括:平面检测步骤,基于输入图像计算平面参数,并基于该平面参数检测平面;障碍物识别步骤,识别在该平面检测步骤中检测的平面上存在的任何障碍物,其中该平面检测步骤适于检测一组平面,该组平面包括一个用作参考的参考平面和一个或多个基本上与该参考平面平行的平面;和环境地图更新步骤,为该组平面中的每个平面绘制一个环境地图,和/或基于在该障碍物识别步骤中识别的障碍物信息更新现有环境地图;其中该环境地图更新步骤适于为该组平面中具有在障碍物识别步骤中被识别出的障碍物的平面,绘制环境地图和/或更新现有环境地图。
根据本发明的又一个方面,提供了将一种路径规划设备,该设备被在包含一个或多个障碍物的环境中的一个移动型机器人使用,以便规划一个从当前位置到目标位置的移动路径,该设备包括:平面检测装置,用于基于输入图像计算平面参数,并基于该平面参数检测一个用作参考的参考平面,以及一组包括一个或多个不同于该参考平面且与该参考平面基本上平行的平面;障碍物识别装置,用于识别在由平面检测装置检测的该组平面的每一个上存在的障碍物;环境地图更新装置,为该组平面中的每个平面绘制一个环境地图和/或基于由障碍物识别装置识别的障碍物信息,更新现有的环境地图;以及路径规划装置,用于基于由环境地图更新装置绘制和/或更新的环境地图为机器人规划移动路径。
因此,根据本发明,一个机器人可以通过提取多个互相平行的平面以及取得有关在任一平面上的任何障碍物的信息,而获得包括三维环境地图的一组环境地图,并且可以在所述多个的环境地图基础上规划一个移动路径。所以,如果与仅仅在单个环境地图的基础上制订的路径规划相比,由一个根据本发明的路径规划装置制定的上述路径规划能够提供一个较宽的变化范围。
所述路径规划装置能够以一预定方式将各环境地图分为多个区域,计算当从所述机器人的当前位置移动到一个目标位置时经过每一区域所必需的成本,以及根据所述计算出的成本来规划一个移动路径。因此,其能够选择成本最小的路径。
所述环境地图可包括包含一个或多个障碍物的障碍物区域,以及允许自由运动的自由空间区域和未观测的区域,以及如果一个相应于当前移动平面的第一环境地图包含一个或多个障碍物区域,则所述路径规划装置就参考一个相应于与当前移动平面不同的一个平面的第二环境地图,并且如果所述障碍物区域为一个在第二环境地图中的自由空间区域,则所述障碍物区域被认为是可移动区域。如果一个环境地图仅用于一个地面,则一个不能行走的区域可能具有多个平面的环境地图,并且能够通过参考这种环境地图选择移动路径候选。
根据本发明的另一个方面,提供一种路径规划方法,该方法由在一个包含一个或多个障碍物的环境中由移动型机器人使用,以规划从当前位置移动到一个目标位置的移动路径,该方法包括:平面检测步骤,用于基于输入图像计算平面参数,并基于该平面参数检测一个用作参考的参考平面,以及一组包括一个或多个不同于该参考平面且与该参考平面基本上平行的平面;障碍物识别步骤,用于识别在平面检测步骤中检测的该组平面的每一个上存在的障碍物;环境地图更新步骤,为该组平面中的每个平面绘制一个环境地图和/或基于在障碍物识别步骤中识别的障碍物信息,更新现有的环境地图;以及路径规划步骤,用于基于在环境地图更新步骤中绘制和/或更新的环境地图为机器人规划移动路径。
根据本发明的另一个方面,提供一种可以在包含一个或多个障碍物的环境中独立移动的移动型机器人,并且所述机器人具有一个环境识别设备用于识别所述环境,所述环境识别设备包括:平面检测装置,用于基于输入图像计算平面参数,并基于该平面参数检测平面,其中该平面检测装置适于检测一组平面,该组平面中包括一个用作参考的参考平面以及一个或多个基本上与所述参考平面平行的其它平面;障碍物识别装置,用于识别由该平面检测装置检测的平面上存在的障碍物;和环境地图更新装置,用于为该组平面中的每个平面绘制一个环境地图,和/或根据由障碍物识别装置所识别的障碍物的信息更新现有环境地图;其中该环境地图更新装置适于为该组平面中具有被所述障碍物识别装置识别出的障碍物的平面绘制环境地图和/或更新现有环境地图。
根据本发明的另一个方面,提供一种机器人,使其适于在包含一个或多个障碍物的环境中独立规划一个从当前位置到目标位置的移动路径,并且具有一个路径规划设备用于识别所述环境以及规划一个移动路径,所述路径规划设备包括:平面检测装置,用于基于输入图像计算平面参数,并基于该平面参数检测一个用作参考的参考平面,以及一组包括一个或多个不同于该参考平面且与该参考平面基本上平行的平面;障碍物识别装置,用于识别在由平面检测装置检测的该组平面的每一个上存在的障碍物;环境地图更新装置,为该组平面中的每个平面绘制一个环境地图和/或基于由障碍物识别装置识别的障碍物信息,更新现有的环境地图;以及路径规划装置,用于基于由环境地图更新装置绘制和/或更新的环境地图为机器人规划移动路径。
因此,根据本发明的环境识别设备以及环境识别方法适用于提取一组彼此平行的平面以及基于该平面组中识别出的障碍物的信息,绘制一组显示每一平面中所述障碍物占有率的环境地图。因此,机器人可以在一个包含一个或多个障碍物的环境中独立移动并能三维地掌握所述环境。
因此,根据本发明的路径规划设备以及路径规划方法适合于,通过参考一组用于三维地掌握所述环境的环境地图来规划一个移动路径,并由此能够提供一个较宽的移动范围。例如,他们能够规划包括一个或多个机器人能够登上的一层或多层楼梯的移动路径。
根据本发明的机器人能够基于从根据一组平面获得的一组环境地图三维地掌握环境,该环境中存在一个或多个障碍物,所述平面包括一个可能是地面的参考平面以及一组与所述参考平面平行的一组平面。当这样一组环境地图用于规划一个移动路径时,就可以规划一个穿过一个区域的移动路径,如果参考通过仅参考机器人当前正移动的平面绘制的环境地图,则该区域可能被判定为不可行走的。因此,所述机器人在没有任何外部指令的情况下能够选择楼梯等类似物并将它放在所述移动路径中,并且自动地执行上楼梯的动作。
附图说明
图1是根据本发明一个机器人的实施例的简略方框图;
图2是图1的机器人的软件配置的示意图;
图3是图1的机器人的软件的操作流程图;
图4A是用于图1的机器人的计算障碍物网格的操作流程图,以及图4B示出用于图1的机器人的计算绝对坐标的操作流程图;
图5是参与从提取多个平面到规划图1的机器人的移动路径的处理操作的功能单元的示意图;
图6是图1的机器人在提取一个平面时用于产生视差图像的操作示意图;
图7是图1的机器人从一个输入图像中识别障碍物的操作流程图;
图8是图1的机器人检测一个平面参数的操作流程图;
图9是当检测一个平面参数时,图1的机器人所使用的一个参数空间(θ,)(投票空间)的频率曲线图;
图10是将由多个平面检测区域401检测出的平面参数(θ,)用作角度和偏移量的函数,以及由所检测的平面参数指示的相应平面而形成的直方图;
图11是将机器人的照相机坐标系变换成其底部接触地面的坐标系的示意图;
图12是在一个地面上选择的测试点的示意图;
图13A是图1的机器人的观察视野示意图,图13B是从所述机器人视野中提取的地面图像示意图,图13C是通过变换图13B的坐标而获得的平面(二维)上的一个障碍物的示意图;
图14是从在由障碍物信息产生的环境地图上的所述机器人的当前位置到目标位置的路径示意图;
图15A是一个机器人试图移动到一楼梯上的示意图,以及图15B是当前绘制的环境地图的示意图;
图16是图15A的机器人的路径规划算法的流程图;
图17是由图15A的机器人实际绘制的一个环境地图;
图18是由图15A的机器人实际绘制的另一个环境地图;
图19是由图15A的机器人实际绘制的再一个环境地图;
图20是一个机器人试图移动到一个楼梯上的示意图;
图21是图20的试图移动到楼梯上的机器人所绘制的环境地图示意图;
图22A和22B是所述机器人试图从一个平面移动到另一个平面的一个实例的示意图,图22A是所述机器人试图一步步移动到另一个房间的示意图,图22B是这两个房间的环境地图的示意图;
图23是上述实施例的机器人的示意性透视图;
图24是所述机器人的每个连接点的自由度的示意图;以及
图25是所述机器人的控制系统示意图,其中示出了该系统的配置。
具体实施方式
现在,本发明将要结合附图更加详细地描述根据本发明的机器人的一个实施例。该实施例中的机器人是一个能够独立移动的机器人,它是通过装配了一个用于提取多个平面并且绘制显示在每一个平面上的障碍物(如果有的话)信息的环境地图的环境识别设备,以及一个用于根据由所述环境识别设备绘制的环境地图规划一个移动路径的路径规划设备来实现的。
该实施例中的所述环境识别设备适合于提取一个参考平面作为参考以及平行于该参考平面,的多个平行平面,该参考平面可以是装配有上述设备的所述机器人的一只脚所在的平面(站立平面)。然后,所述环境识别设备计算障碍物在每一平行平面上的占有率并且绘制一个地图。装有该设备的并有腿移动型机器人能够判断楼梯台阶是否构成一个障碍物以及它是否能够移动到其上,该机器人可以判断一个包括台阶的区域不是障碍物,并且将所述台阶作为路径候选物来规划一个移动路径。
该实施例是一个装备有一个环境识别设备以及一个路径规划设备并且适合于独立移动的两脚行走型机器人。图1是根据本发明的机器人的实施例的简略方框图。如图1所示,机器人1具有一个头单元3,其装备有一对CCD照相机200R、200L以及一个装备在CCD照相机200R、200L(此后将它们分别称为右眼200R和左眼200L)下游的立体图像处理设备210。由眼睛或所述CCD照相机所拾取的右眼图像201R以及左眼图像201L,被输入到所述立体图像处理设备210。所述立体图像处理设备210计算图像201R、201L的视差信息(不同数据)(距离信息),并对每一帧交替为左右产生彩色图像(YUV:亮度Y,UV色差)D1以及视差图像(YDR:亮度Y,视差D,可靠性R)D2。这里,“视差”这一术语指的是在空间中一个点的左眼图像和右眼图像之间的差,该差作为离各照相机的点的距离的函数变化。
所述彩色图像D1以及所述视差图像D2输入到包含在机器人1的躯干部分260中的CPU 220(控制部分)。所述机器人1的每一处关节装备有一个或多个致动器230,每一关节的致动器的马达根据从CPU 220反馈的控制信号D3的命令值作为命令来驱动。每一个关节(致动器)具有一个电位器,以便将所述致动器的马达的旋转角度传输到所述CPU 220。机器人的传感器240包括设置在各致动器的电位器、设置在脚底部的接触式传感器以及设置在躯干部分的陀螺(gyro)传感器,传感器240基于每一关节当前角度、设置信息、姿势信息及其他有关该机器人的信息来监视该机器人的当前状态,并且将这些信息输出到所述CPU 220来作为传感器数据D4。CPU 220从立体图像处理设备210中接收所述彩色图像D1以及所述视差图像D2,以及包括来自致动器230所有关节的角度数据的所述传感器数据D4,来作为它的软件输入。
本实施例的机器人的软件以一个对象接一个对象为基础来配置,并且被设计来识别位置、移动量、周围障碍物和机器人的环境地图,它执行一个处理操作,用于输出该机器人最终能够接受的动作的动作串。用于示出该机器人的位置的机器人的坐标系,典型地包括一个世界参照系统的照相机坐标系(此后也将其称为绝对坐标系),该坐标系具有位于根据一特定对象而选择的一个预定位置的原点,其中该特定对象例如是一个路标;和一个以机器人为中心的坐标系(此后也将其称为绝对坐标系),该坐标系将该机器人本身所在位置作为原点。
图2示出本实施例的机器人软件配置的示意图。参考图2,每个圆圈表示被称为对象或处理的一个实体。整个系统作为对象操作相互异步通信。每个对象被驱动以交换数据,并通过用于通过共享存储器对象间互相通信和消息通信的技术来调用一个程序。
如图2所示,软件300包括一个运动测距部分KINE 310,一个平面提取部分PLEX 320,一个网格(grid)占有率计算部分(占有网格)OG 330,一个路标位置检测部分(路标传感器)CLS 340,一个绝对坐标计算部分(定位)LZ 350以及一个动作决定部分(位于行为层)SBL 360。所述软件300的该处理操作以一个对象接一个对象为基础来执行。
现在,如图2所示的机器人1的软件操作将在下面进行描述。图3是如图2所示的机器人的软件300的操作流程图。
参考图3,图像数据D5和传感器数据D4输入到图2所示的软件300的运动测距部分KINE 310。所述图像数据D5包括上面描述的彩色图像D1的数据以及视差图像D2的数据。所述传感器数据D4包括关于机器人关节角度的数据。所述运动测距部分KINE 310接收所述输入数据D5、D4,并更新存储在存储器中的图像数据和传感器数据(步骤S1)。
然后,运动测距部分KINE 310在图像数据D5和传感器数据D4之间建立时间对应(步骤S2)。更具体地,它计算确定当获得所述图像数据D5的一个图像时所述传感器数据D4的每一关节的角度。然后,它利用所述关于关节角度的数据,将具有以机器人1所在位置作为原点的以机器人为中心的坐标系,转换成设置在头单元2的照相机200R/L的坐标系(步骤S3)。所述运动测距部分KINE 310适合于从所述以机器人为中心的坐标系中引出所述照相机坐标系的一个齐次变换矩阵,以及将该齐次变换矩阵D6和相应的图像数据传输到识别图像的对象。更具体地,该运动测距部分KINE 310将齐次变换矩阵D6和相应的视差图像D2输出到多个平面提取部分PLEX 320,还将齐次变换矩阵D6和彩色图像D1输出到路标位置检测部分CLS 340。
然后,该软件300利用底部传感器,基于从所述传感器数据D4获得的步行参数以及该机器人1所走的步数来计算该机器人1的移动量,然后计算该机器人1在所述以机器人为中心的坐标系中的移动量。所述以机器人为中心的坐标系中的移动量在下文中也可被称为测距(odometry)。该测距D7随后输出到所述网格占用率计算部分OG 330以及所述绝对坐标计算部分LZ 350。然后,当所述路标位置检测部分CLS340以及所述绝对坐标计算部分LZ 350计算并且更新该绝对坐标(步骤S4,S5)时,所述多个平面提取部分PLEX 320以及所述网格占用率计算部分OG 330计算并且更新所述障碍物的网格占用率(环境地图)。
在步骤S4、S5中,所述多个平面提取部分PLEX 320和所述网格占用率计算部分OG 330的处理操作,以及所述路标位置检测部分CLS 340和所述绝对坐标计算部分LZ 350的处理操作是同步并行进行的。
更具体地,在步骤S4中计算确定所述障碍物网格是以这种方式进行的,即包括由所述运动测距部分KINE 310所计算的运动数据的齐次变换矩阵D6和从立体照相机获得的相应的视差图像D2,被首先输入到所述多个平面提取部分PLEX 320,来更新存储在所述存储器中的数据(步骤S11)。然后,通过所述立体照相机的校准参数及其他参数,从所述视差图像D2中计算所述三维位置数据(范围数据)(步骤12)。其后,除墙和桌子以外的平面典型地通过哈夫变换由所述范围数据来提取。另外,与机器人的一个脚底或两个脚底所接触的对应平面从所述坐标变换矩阵D6中获得,并且选择出地面,而从地面到不位于该地面的一点,例如,一个位于高于一预定阈值的位置并被认为是一个障碍物的点被计算并且所获得的障碍物信息D8被输出到所述网格占有率计算部分330(步骤S13)。
此外,如下文中将要更详细描述的,该实施例中的平面提取部分PLEX 320不仅提取地面还提取一组包括多个平行于所述地面的平面,并且计算从所述地面到不位于该地面并被认为是一个障碍物的一点的距离,以及从每一平面到不位于该平面并被认为是一个障碍物的一点的距离。然后,所述平面提取部分PLEX 320将获得的障碍物信息输出到所述网格占有率计算部分330。当所述机器人在其上移动的平面,例如,所述地面,被选为参考平面并提取与所述参考平面存在小高度差的平面,所提取的平面将为机器人的移动提供有效的候选平面。换句话说,如在下文中详细描述的,优先通过提取与所述地面存在小高度差的并且所述机器人能够在其上移动的平面来绘制环境地图,并且当一个通过轮子移动或者用腿以两个或四个脚移动的行走型机器人执行所述路径规划时,所述环境地图能够被有效地使用。就距离而言接近所述参考平面的平面能够被来优先提取。
由于参考平面以及一组平行于所述参考平面的多个平面被提取,并且每一平面上的障碍物(如果存在的话)被识别出来,所述障碍物信息就被输出到所述网格占有率计算部分330。所述平行于可以是地面的参考平面的平面将在下文中进行描述,这组平面不仅可以包括平行于所述地面的平面,而且还可包括与所述参考平面之间存在一个小角度的平面,例如坡度。
当由所述运动测距部分KINE 310计算确定的测距314以及通过所述平面提取部分PLEX 320计算确定的有关所观察到的障碍物321的信息,被输入到所述网格占有率计算部分OG 330,就更新所述存储在存储器中的数据(步骤S14)。然后,代表所述障碍物是否被发现位于地面上的概率的每一障碍物的网格占有率,被概率更新(步骤S15)。
另外,代表该障碍物是否被发现位于所述地面以外的一组平面中任一个平面上的概率的每一障碍物的网格占有率,被概率更新。
所述网格占有率计算部分OG 330保持显示在所述机器人1周围,例如,在一个机器人1为中心的4m半径圆圈中障碍物的信息(所述障碍物的网格占有率),以及指出所述机器人旋转角方向的方位信息的环境地图,并且更新该环境地图。因此,当输出识别的更新结果(障碍物信息D8)时,所述上层或者所述实施例的路径规划确定部分SBL 360,能够制定一个避开所述障碍物的规划。如上所述,所述网格占有率计算部分OG 330从所述平面提取部分PLEX 320接收多个平面以及关于其的障碍物信息,以便可以更新每一平面的环境地图。
另一方面,为了在计算步骤S4中的绝对坐标,首先当齐次变换矩阵D6和彩色图像D1作为运动数据从运动测距部分KINE 310中输入到路标位置检测部分CLS 340中时,就更新存储在存储器中的相应的数据(步骤S21)。然后,执行处理图像D1的操作以检测该机器人1事先适于识别的任一彩色路标。然后,彩色图像D1中的彩色路标的位置和大小被转换为照相机坐标系中的位置。另外,齐次变换矩阵D6用于将照相机坐标系中的彩色路标的位置转换为以机器人为中心的坐标系中的位置,并且在以机器人为中心的坐标系中的有关彩色路标的信息D10(彩色路标相对位置信息)被输出到绝对左边计算部分LZ 350中(步骤S22)。
更具体地,路标位置检测部分CL 340从机器人1的传感器信息中识别出该机器人1的自身位置(位置和姿势),以及关于机器人1在一个环境中动作的动作信息,其中该环境典型地包括示出可以是绿、粉、蓝或一些其他颜色的色彩的人造的彩色路标。
当绝对坐标计算部分LZ 350从运动测距部分KINE 310中接收测距D7,并从路标位置检测部分CLS 340中接收彩色路标相对位置信息D10,就更新存储在存储器中的相应的数据(步骤S23)。然后,通过利用由绝对坐标计算部分LZ350事先识别的彩色路标的绝对坐标(世界坐标系中的)、彩色路标相对位置信息D10和测距D7,机器人的绝对坐标(世界坐标系中的机器人位置)被概率计算(步骤S24)。然后,绝对坐标位置D11被输出到路径规划确定部分SBL 360。
现在回到图3,当路径规划确定部分SBL 360从网格占有率部分OG 330中接收每个平面的障碍物信息D9并从绝对坐标计算部分LZ 350中接收绝对坐标位置D11时,就更新存储在存储器中的相应的数据(步骤S5)。然后,路径规划确定部分SBL 360基于来自网格占有率计算部分OG 330的障碍物信息D9和来自绝对坐标计算部分LZ 350的机器人1的当前绝对坐标,而获取机器人1周围是否发现障碍物的识别结果,并产生一个机器人可以走到目标点的路径而不会撞到任何障碍物,其中所述目标点以机器人的绝对坐标系或以机器人为中心的坐标系来表示。然后,路径规划确定部分SBL 360发出一个沿该路径移动的动作命令。换句话说,路径规划确定部分SBL 360基于输入数据并根据环境来判断机器人1可以执行的动作,并输出动作串(步骤S6)。
当由用户对机器人进行导航时,可以这样设置以使对机器人周围是否存在障碍物的识别由网格占有率计算部分OG 330来给出,并且将由绝对坐标计算部分LZ 350给出的机器人当前位置提供给用户,并响应于用户的输入来发出动作命令。
这样,如果与只拥有一个地面环境地图的情况相比,该实施例的机器人的动作范围可以被扩宽,这是因为通过平面提取部分PLEX 320提取了包括地面的一组多个平面,绘制了示出多个平面的占有率的环境地图并产生了基于与各平面相应的这组多个环境地图的路径规划。例如,在移动路径中包括走上一个或多个楼梯的区域,以使得机器人可以穿过这些区域。换句话说,当机器人产生一个路径规划时,它就不仅参考一个对应于它正在移动的地面的环境地图,还要参考对应于与该地面平行的多个平面的环境地图,以便能够三维地掌握环境并规划一个三维移动路径。
现在,将在下面更详细地描述该实施例中的能提取互相平行的多个平面并准备一个可行的路径规划的机器人。图5是参与从提取多个平面到规划机器人的移动路径的处理操作的功能单元的示意图。在图5中,示出一个环境识别部分,它包括多个适于从视差图像或距离图像中计算平面参数并提取多个平面的平面提取部分401,一个适于识别包括地面在内的多个平面上的障碍物的障碍物识别部分402,一个环境地图更新部分403,它适于基于障碍物识别部分402的识别结果绘制环境地图(障碍物地图)并更新当前环境地图,以及一个路径规划部分404,它适于基于这些环境地图产生路径规划。注意到这些,虽然这些部分以图5中的功能块来示出,但上述处理操作按如图2所示的一个对象接一个对象地进行处理。
多个平面提取部分401和障碍物识别部分402接收齐次变换矩阵以及如图6所示的从左眼图像201L和右眼图像201R获得的相应的视差图像,并且接着如图7所示的处理顺序,检测平面参数以识别任一障碍物。
为了检测平面参数,首先多个平面检测部分401接收齐次变换矩阵和相应的视差图像(步骤S31)。以立体视觉获得的(立体照相机)或通过范围传感器操作的视差图像312(或距离图像),通过采用合适的校准(calibration)能够容易地转换为三维数据。换句话说,照相机坐标的用于每个象素的三维位置数据(x,y,z),利用吸收透镜失真和来自视差图像的立体匹配误差而获得的校准参数,可产生为距离图像(步骤S32)。每个三维数据都有特定的可靠性参数,它是基于可以是视差图像或距离图像的输入图像的可靠性而获得的,并可以根据该可靠性参数选择或不选择该三维数据,以便挑选出输入数据。
然后,可从所选的三维数据组中随机地采样数据并由哈夫变换假定平面。更具体地,当法向矢量的方向是(θ,)并且到原点的距离是d时,计算出平面参数(θ,,d)并对投票(poll)空间(θ,ψ,d)=(θ,cosθ,d)进行直接投票以推定(assume)一个平面。结果,在图像中起支配作用的平面参数就被检测出来(步骤S33)。
现在,将详细描述步骤S33中检测平面参数的方法。多个平面提取部分401不仅提取平面的平面参数,其中该平面例如是机器人的腿部接触或在其上移动的地面(以下被称为参考平面),而且还提取与参考平面平行的多个平面的平面参数。图8是图1的机器人检测一个平面参数的操作流程图。如前所述,对每个三维数据计算可靠性参数,并且将可靠性参数小于一个预定阈值的三维数据丢弃,以挑选出输入数据。选出的一组三维数据(x,y,z)和伴随着各数据的可靠性参数(可靠性r)被输出(步骤S41),并且这组三维数据被采样以推定(assume)一个平面参数(步骤S42)。
用于采样三维数据(x,y,z)的采样方法包括:
(1)随机采样方法,
(2)随机地从全部三维数据中选择一个参考点,然后从剩余数据中,对在参考点附近发现的或在三维空间中相对于该参考点具有充分小的距离的一组数据进行采样的方法,以及
(3)以多个分辨率级扫描三维数据,并形成互相接近的数据组(例如,在每一数据组中数据在三维空间中互相之间以充分小的距离分开)作为子集。
一组数据,其中数据在三维空间中互相之间以充分小的距离分开,可以为这样的数据,即使得每个数据与参考点的距离在阈值dmin和另一阈值dmax之间。
如果假设从输入数据或从另外的其它信息中发现起支配作用的一个平面并且该平面具有很大的面积,使用一种采样整个图像作为采样的广泛对象的技术是有效的。另一方面,当要采样的图像包括小台阶时,对小面积的数据进行采样的技术是有效的。
然后,从所提取的子集中计算平面参数。在如下描述的三个平面参数计算方法中选择最合适的一个。
通过第一种参数计算方法,可以获得平面α,该平面是由包括标准向量(θ,)的方向和距离坐标系原点的距离d的三个参数(θ,,d)所定义的,使用如直接解方法由不在一条直线上的三个点的三维数据计算而得。
第二种参数计算方法,是一种通过主要分量分析来估计平面参数的方法。通过这种方法,对通过划分利用三维空间中紧密靠近的区域的合适的分辨率粒度(granularity)和合适的分辨率来对整个图像进行扫描得到的三维数据输入而得的每一组数据进行主要分量分析,估计而得平面参数。
第三种参数计算方法,是一种采用最小平方方法的方法。例如,通过以合适的分辨率粒度和合适的分辨率扫描整个图像而得的距离图像,被分成小的矩形区域,并为三维空间中的紧密靠近的区域划分所获得的三维数据组。然后,通过使用最小平方方法计算平面参数。
其后,为一个参数平面投票所获得的平面参数(步骤S43)。这时,由于用于定义一个平面的平面参数形成相对于原始三维直角坐标空间的极坐标,鲁棒又非常精确的数据可通过设置一个投票(polling)空间而获得,以使投票隙(slot)(网格)具有与原始相应的空间相同的大小,并建立(θ,ψ,d)=(θ,cosθ,d)或(θ,ψ,d)=(2θsin(π/4-θ/2)cos,2sin(π/4-θ/2)sin,d)的关系。然后,可降低采样的数量以实现高速处理。通常,选票(vote)的权与用于投票的权相同,因此为每个选票给定投票值1。然而,考虑到错误的本质,相对于噪声的鲁棒性可通过给选票加权来改善。例如,根据上述可靠性参数,用于计算确定投票对象的原始三维数据的标准误差偏离,或者当原始三维数据的分布是投影在视线中心的球形平面上时所使用的误差估计,选票的投票值可以等于0.5或2。
然后,判断选票的总数是否超过一个阈值Nmax,或者是否超过阈值Nmax并且投票值的分布是否形成一个满意度峰值(步骤S44)。当在峰值位置的网格数据相对于选票的总数有一个等于或大于相的预定值的比例时,或者在峰值位置的网格的选票数或投票值(获得的投票值)的总数等于或大于一个预定值时,满意度峰值可能被获得。另一方面,如果判断出获得了满意度峰值,峰值位置或峰值附近位置的网格中的平面参数就被处理为加权的平均数。如果判断出没有获得满意度峰值,处理操作就回到步骤S42,在那里从三维数据组中提取数据子集并计算平面参数。
平面的参数可通过图9所示的参数空间(θ,)(投票空间)直方图来检测。可以推定当参数得到较差投票时那里存在着障碍物,反之,可以推定当参数得到较好投票时那里是一个平面。
然后,执行确定在峰值处和峰值附近的加权平均值的操作(步骤S45)。由于判断加权平均值的操作,可更加准确地获得峰值的推定位置。这样,可以推定具有粒度等级低于每个网格的代表参数的量化大小的参数。
然后,使用推定的参数值的初始值(θ0,0,d0)来执行叠加操作以推定更精确的平面参数(步骤S46),其中推定的参数值是由确定加权平均值和三维坐标的操作而获得的。当作为叠加结果的参数的收敛值的变化或当叠加操作重复多于预定的次数时,叠加终止。然后,判断结果的可靠性,以便输出最后确定的平面参数(θ,,d)及其可靠性。
当通过哈夫变换来推定初始参数值,如果实时地通过滤波器组(FBK)获得三维数据的复用分辨率,就可能通过使用低分辨率的三维数据来加速处理操作。另一方面,可通过在叠加操作时使用高分辨率的三维数据提高精确度级别。换句话说,相当接近推定平面的点作为采样被提取出来,其中该推定平面是使用初始参数值而获得的。
如上所述,在投票时,可以在峰值和峰值附近执行判断加权平均值的操作,并通过对选票进行不同地加权来获得推定的非常可靠的数据以便区分投票的值,执行操作以选择一种适于计算伴随着三维数据或平面参数的可靠性参数的方法,并执行从投票值的分布中推定峰值的操作。然后,就可以采用平面参数作为用来定义一个平面的初始参数,以叠加操作来定义一个非常可靠的平面。而且,通过计算平面的可靠性,,使用伴随着各三维数据的可靠性参数和叠加操作中的残留误差,并连同用于平面的数据一同输出平面可靠性,有助于下游的处理操作,其中各三维数据用于计算最终定义的平面。这样,通过使用对起支配作用的平面的参数进行定义的概率方法来提取平面,其中起支配作用的平面的参数包括在三维数据中,并且该三维数据是通过对基于投票而推定的概率密度函数或直方图进行选择而得的。然后,就有可能通过使用获得的平面参数而知道从原始图像中获得的距离测量点距该平面的距离。应该注意的是上面描述的是示意性的提取平面的方法,也可依照设备的精确度和性能及其他因素来选择其他的平面提取方法来实现本发明的目的。
如早先所提出的,本实施例的多个平面检测部分401同时提取包括地面在内的多个平面。图10是将由多个平面检测部分401检测出的平面参数(θ,)用作角度和偏移量的函数,以及由所检测的平面参数指示的相应平面而形成的直方图示意图。
参考图10,在以上述方式投票而得的平面参数的直方图中,如果地面PL1与峰值H1相应,就有可能提取与地面PL1平行并分别与峰值H2、H3相应的平面PL2、PL3。
然后,随后将详细描述的障碍物识别部分402将比参考平面高出一个预定阈值的图像的任一部分识别为障碍物,其中该参考平面典型地是地面。然而,通过提取与参考平面平行的多个平面,就有可能将任一比地面高或低的平坦的区域识别为另外的平面。另外,就可能准备一个包括每一平面的障碍物信息的环境地图,其中平面被识别为另外的平面。然后,这种另外的平面可用作准备移动规化时的移动路径的候选,这将在下面给予详细描述。
现在,回到图7,照相机坐标系的齐次变换矩阵被变换为图11所示的机器人的脚底接触地面坐标系(步骤S34)。然后,计算由照相机坐标系表示的接触地面参数PL。然后,由于将步骤S33中从图像中检测的平面与步骤S34中检测的脚底接触地面PL相比较,从图像的平面参数中选择地面和多个与其平行的平面(步骤S35)。通过识别这种多个平面并保留用于每个平面的环境地图,机器人能够从一个区域移动到另一与第一区域有高度差的区域。换句话说,机器人可以上下楼梯。步骤S35所检测的地面指示机器人当前站立或移动的平面。
然后,通过使用步骤S35中所选择的平面参数,从原始距离图像中选择在每个平面上的一点(步骤S36)。这种操作通过下面的公式(1)和(2)并根据相应平面的距离小于一个阈值Dth的情况来执行。
d<Dth ......(2)
在图12中,当阈值Dth为1cm时,在出自选择的一组多个平面的地面上选择出选择测量点(以x表示)。在图12中,黑点是那些判断为不是平面的点。
这样,不在步骤S36所选择的平面上并包括不在地面上的点的那些点在步骤S37中被识别为障碍物。地面上的那些点(x,y)中的每个都用地面坐标和高度z来表示。例如,如果这种点的高度z为z<0,则该点位于地面以下。然后,机器人可以判断它能在一个比该机器人的高度高的障碍物的下面通过,所以这个障碍物实际上不是一个障碍物。
图13A是一个机器人的观察视图,图13B是从机器人观察视图中提取的地面图像。如果通过将地面图像中的高度z降低到0(z=0)来变换坐标系,那么就可以如图13C所示二维地表示地面和障碍物。
障碍物识别部分402可以稳定地提取平面,这是因为它以多个测量点来提取平面。另外,它可以通过比较从图像获得的候选平面与从机器人姿势中获得的平面参数,来选择正确的平面作为地面。还有,它能选择多个与该地面平行的平面。因此如下面将要更详细描述的,如果存在与该地面平行的平面,机器人就将其判断为可以移动的区域。换句话说,机器人常规地只检测地面并因此将表现出与地面存在一个高度差的任一区域判断为它不可移动的障碍物。相反,如果环境地图表示机器人当前站立的平面(地面)是可移动的范围而另一区域是不可移动的区域,该实施例的机器人就通过将不可移动的区域选择为它能移动的候选移动路径,来扩宽其行走范围。
机器人,或者其障碍物识别部分,实际上识别的不是障碍物而是地面和其他平面。换句话说,它不依靠障碍物的形状和大小来识别障碍物。另外,以距离地面的距离来表示障碍物,因此能够检测小台阶和凹坑。还有,它能通过考虑机器人自身的大小来判断是越过障碍物还是在障碍物下经过。而且,障碍物最后在二维地面上表示出来,以便现有机器人所使用的路径规划技术能够应用到该机器人中,并且如果与使用三维表示的情况相比,这种规划路径的操作能够以高速度来实施。
环境地图更新部分403具有环境地图,该环境地图包括关于以机器人为中心的坐标系的地图信息和指示机器人在一个环境地图中从预定的角方向转过的角方向的方位信息,其中该以机器人为中心的坐标系被划分以形成具有预定大小网孔的网格,并且其中的角方向是X轴方向或Y轴方向。环境地图分别与可以是地面的参考平面和多个与该地面平行的平面相对应,这些平面由多个平面提取部分401提取并典型地具有4平米的大小。在每个地图中,根据障碍物信息计算障碍物占有率,其中障碍物信息是障碍物识别部分402为每个网格的网(mesh)孔所输入的,该网格例如具有4cm×4cm的预定大小。
当机器人1移动并且输入测距D7时,环境地图更新部分403更新环境地图以及预先存储在存储器中的方位信息,或者是它先前识别的环境地图和方位取向信息,其中该方位取向信息作为机器人的方位(移动的差角)和移动距离(移动的差量)的变化的函数。当每个环境地图被分成区域或预定的大小时,就可以这样设置以便当移动的差量小于每个区域的预定大小时更新该环境地图,而当移动量超过网格的每个区域的预定大小时更新该环境地图。然后,通过更新环境地图的操作就能降低计算和复制存储器的成本。用来计算障碍物占有率的环境地图的大小和网格的网孔大小可依照情况适当地进行修改,以便进一步降低计算和复制存储器的成本。
环境地图更新部分403根据由障碍物识别部分402提供的障碍物信息而产生的环境地图中的每个点,根据网格的每个网孔的障碍物占有率,都可被分为三个种类(区域),如图14所示。
第一区域是存在着障碍物的区域AO(在图14中以黑色表示,并在下文中将其称为障碍物区域)。第二区域是自由空间(没有障碍物存在的空间)中的区域AF(在图14中以白色表示,并在下文中将其称为自由空间区域)。第三区域是未观测量(unsurveyed)区域AU(图14中的阴影区域),在其中没有进行观测以对障碍物定位。
环境地图更新部分403为每个平面绘制地图,或根据由环境识别部分402识别出的障碍物信息来更新现有环境地图。例如,当如图15A所示,机器人1位于一个它能识别的楼梯500的位置时,该机器人首先观测一个预定的方向,该方向可以是目标移动的方向。结果,平面检测部分401检测地面PL1以及与地面PL1平行的台阶面PL2和PL3。然后,障碍物识别部分402在这三个平面PL1至PL3上获取有关障碍物(如果有的话)的信息,并分别为平面PL1至PL3绘制环境地图501至503,如图15B所示,或者更新现有环境地图。
在用于地面PL1的环境地图501中,楼梯500位于比地面高出h1的高度的一个平面(台阶面)上,以及位于比地面高出h2的高度的另一平面(台阶面)上,所以被分类为障碍物区域AO。在用于平面PL2的环境地图502中,台阶面PL3位于比台阶面PL2高出一个高度(h2-h1)的平面上,而地面PL1位于比台阶面PL2低h1的高度的平面上,所以台阶面PL2和PL3都被分类为障碍物区域AO。相似的,在用于台阶面PL3的环境地图503中,地面PL1和台阶面PL2都比台阶面PL3低,所以他们都被分类为障碍物区域AO。
然后,路径规划部分404从来自障碍物识别部分402的障碍物信息中,获得机器人1周围是否存在障碍物的识别结果。它还从图2所示的绝对坐标计算部分LZ350中获得机器人1的当前位置的绝对坐标。然后,它产生一个机器人可移动到目标点而不会碰到任何障碍物的路径,并发出沿该路径移动的命令,其中该目标点是以绝对坐标系或以机器人为中心的坐标系来表示的。简而言之,它响应于从输入数据识别的环境来确定机器人1要采取的动作,并输出动作串。
现在,将参考图16的流程图描述路径规划部分404使用的路径规划算法。
首先,如图14所示,机器人眼睛的方向朝向目标方向,以绘制一个障碍物地图(环境地图)(步骤S51),该障碍物地图是连接目标位置PX当前位置PO的直线路径周围的周长。然后,观察距离图像并测量该距离,以绘制一个环境地图或更新现有的相应的环境地图(步骤S52)。
然后,基于所准备的环境地图规划一个路径(步骤S53)。如果机器人只有地面的环境地图,那么将假设未观测的区域AU和自由空间区域AF是可移动的区域,并据此来规划一个路径。然而,该实施例的机器人检测多个平面并为其中的每个平面绘制环境地图。然后,机器人保留最近更新的环境地图。例如,如果机器人当前正在移动的平面是地面,则所有高于地面的区域都被分类为障碍物区域AO。然而,当机器人从当前位置PO前进到路径上的一个位置P1时,它能判断障碍物区域AU1是否构成一个障碍物,或者障碍物区域AU1是否被检测为其他平面。
然后,如果在地面的环境地图中,该区域是一个障碍物区域AU1但却被检测为其他平面,机器人就参考与其他平面相应的环境地图,如果区域AU1是自由空间区域AF或未检测区域AU,就将该区域AU1认为是可移动区域。如果机器人向被认为是可移动区域的区域Ao1移动,就遵循一个避开撞到机器人自身的区域的路径规划。更具体地,机器人计算所有可移动区域的移动成本,并能规划一个最小化成本的路径。
图17到图19示出机器人按时间顺序所保留的环境地图。如图17到图19所示,随着机器人的移动可获得新的障碍物信息,以便更新环境地图并定义新的移动路径。如早先所提及的,每个环境地图典型地覆盖2平方米的区域,机器人处于这一区域的中心并且该区域被分为100×100网孔的网格,以便计算每个网孔的障碍物占有率。机器人1可以基于环境地图来规划一个路径,其中该路径可以如图17到图19的410到412所指示的时间进行修改。
在图14中,虽然障碍物区域AO由黑色来表示而自由空间区域AF由白色来表示的同时,但周围阴影区域是未观测区域AU,其他区域是测量区域,如图17到19所示。换句话说,白色区域位于一个平面上并表示有非常多的自由空间区域AF可使机器人自由移动。区域越黑,该区域的障碍物占有率越高。简而言之,颜色的层次表示障碍物占有率。这样设置以使当一个区域的亮度低于一个预定水平时就将该区域认为是自由空间区域AF,并将所有其他的区域认为是障碍物区域AO。可选择地,可以这样设置以便考虑灰度(Sradanon)来计算移动成本。
当规划一个移动路径时,机器人1可计算在它从当前位置开始所经过的环境地图中的网格的每个网孔所花费的移动成本,并选择最小化该成本的网格的网孔。
为了路径规划,A*搜索技术可以用于最小化整个路稄的成本。这种A*搜索技术采用评估函数f,,并且是最佳首选搜索技术,其中的h函数是许可的。优选地,有效点用于任何试探(heuristic)函数。
虽然机器人自己判断每个是否可以在其上移动的区域,但这里假设选择最佳参数以使机器人不选择一个自由空间区域AF,其中该自由空间区域AF是一个高出机器人可迈上的限制值一个高度的平面,也不选择一个自由空间区域AF,其中该自由空间区域AF是一个小于限制值一个高度的平面但具有一个机器人不能在其上移动的较小面积。如果一个区域被认为是真正的障碍物区域AO,因为它在所有的其他环境地图中既不是自由空间区域AF也不是未检测区域AU,那么它将不能成为用于机器人的路径的候选,因为经过该区域的移动成本是非常大的。
步骤S53中典型地通过采用A*搜索技术而产生的路径,在步骤S54中被检验,看看该机器人是否可以真的遵循该路径。然后,如果它不是一个机器人可以遵循以避开障碍物的路径(“否”),路径规划部分404就判断出如果继续测量也不能规划一个可移动的路径,并终止路径规划操作,然后将这些告诉机器人(步骤S55)。
如果在步骤S53中可以采用A*搜索技术规划一个可移动路径(“是”),处理操作就前进到步骤S56,在那里检验是否在输出路径上发现任一未观测的区域。如果在步骤S56中没有在路径上发现未观测的区域(“否”),那么在步骤S57中,至目标位置的移动路径就作为规划好的路径输出。另一方面,如果在步骤S56中在路径上发现未观测的区域(“是”),处理操作就前进到步骤S58,在那里计算从当前位置到该未观测区域的步数,并检验所计算的步数是否超过一个预定的阈值。
如果在步骤S58中发现步数超过该阈值(“是”),则处理操作前进到步骤S59,以输出到未观测区域的可移动路径并返回到步骤S51。另一方面,如果,在步骤S58中发现到未观测区域的步数没有超过阈值(“否”),则通过控制机器人眼睛的方向来观测该未观测区域,以便测量到该未观测区域的距离(步骤S60)并更新障碍物地图。
当存在着与地面平行的平面时,采用上述路径规划算法的路径规划部分404即使当地面的环境地图上的一个区域既不是未观测区域AU也不是自由空间区域AF而是障碍物区域AO时,也可以判断它是否是机器人可移动的区域。这样,与只有一个地面的环境地图的情况相比,就能显著扩宽机器人可移动的路径的范围。另外,当这样设置以使机器人只观测在输出路径上发现的未观测区域AU时,就可以在短时间内有效地产生一个移动路径规划,因为不需要执行观阻测操作以及距离图像计算操作,它们对于移动到目标位置来说是不必要的。
虽然例如地面的参考平面被提取为第一平面,然后多个实质上与该参考平面平行的平面在上面的描述中被提取,但可以这样设置以便使倾斜的平面例如斜坡路也被提取出来,如果它们相对于参考平面的倾斜度较小并且机器人可以在其移动。然后,可以获得它们的障碍物信息,以便准备环境地图并考虑到这些情况来更新环境地图。
现在,将基于按上述方法计算的成本描述适于上下楼梯的两脚行走型机器人。图20是这种机器人移动到一个楼梯上的示意图,图21示出了用于图20的移动到楼梯上的机器人的环境地图。在下面的说明中,机器人当前正移动的平面(机器人的至少一只脚所在的平面;步行平面)被选择为参考平面PL。假设台阶平面PL1到PL4形成在地面PL0的上部,且它们的高度分别是h1至h4(h1<h2<h3<h4)。
还假设机器人1正在参考平面PL=PL0上,并且正要从地面PL0经由台阶平面PL1到PL3开始上台阶。首先,机器人1的平面检测部分401注意到地面PL0的周围情况并检测地面PL0。然后,如果存在平行于地面PL0的平面,就检测这些平面。此时,虽然地面检测部分401提取所有在识别范围内发现并平行于地面PL0的平面,但可以这样设置以使地面检测部分401提取距离地面PL0的距离最小和第二小的两个平面,以便限制机器人需要存储的环境地图的数量,因为机器人的存储器容量是有限的。在图20的实例中,地面检测部分401检测从地面PL0观测各的高度分别为h1和h2的台阶平面PL1和PL2。结果,就能减少算法操作的量。另外,与地面PL0平行但对于机器人攀爬来说高度又太大的平面将不会被提取。
然后,障碍物识别部分402在提取平面PL0至PL2上识别障碍物如果有的活了,并基于由环境地图更新部分403所识别的障碍物信息来计算每个平面上的障碍物的网格占有率。然后,如图14那样为平面PL0至PL2绘制环境地图。更具体地,绘制图21所示的环境地图511至513。
然后,机器人1在地面PL0上移动,首先基于地面PL0的环境地图511来准备一个路径规划,如图21所示。虽然台阶平面PL1和其它与地面PL0具有高度差的台阶平面在环境地图511中被分类为障碍物区域AO,但环境地图511中的障碍物区域AO在台阶平面PL1的环境地图512中是平面PL1的一部分,并被识别为自由空间区域AF。机器人1通过参考作为其它平面所检测的台阶平面PL1的环境地图512,来判断它是否可以移动到台阶平面PL1上,其中该台阶平面PL1在环境地图511中被认为是障碍物区域AO。然后,如上所述,机器人计算从其当前位于的区域(网格)移动上相邻区域(网格)的成本。如果只使用地面PL0的环境地图,在环境地图512中被认为是自由空间区域AF的区域将被认为是障碍物区域AO,致使移动到这些区域的成本变得非常高,并且机器人1将会判断它不能移动上那里。然而,当三维地保留环境地图时,将降低移动到这些区域的成本,并且这些环境地图也可以为移动路径提供候选。
如果判断为机器人1可以移动上台阶平面PL1,就从障碍物识别部分402接收有关台阶平面PL1距地面PL0高度为h1的信息,并从环境地图512中判断台阶平面PL1是否有一个足够大的表面积可以使机器人1移动到那里。然后,机器人1基于这些信息判断它是否能移动上台阶平面PL1。虽然高于地面PL0的台阶平面PL1和PL2以上述方式被提取,但可以这样设置以使机器人1也提取低于参考平面PL的平面,并计算移动上或移动下的成本。当从一个平面移动到另一平面的每单位距离的移动成本,与在同一平面移动的每单位距离的移动成本是不同的。当参考平面PL的环境地图511中的障碍物区域AO在其他平面的环境地图中也是障碍物区域AO时,如果当机器人只保留一个环境地图,那么在这种区域上移动的成本就被认定是较高的,机器人就会判断它不可能在那里移动。
如果机器人1判断它能移动到台阶平面PL1并选择台阶平面PL1作为移动路径,那么它就真的移动到台阶平面PL1。如果机器人1迈上楼梯,机器人1的至少一只脚所在的参考平面就换为台阶平面PL1。在台阶平面PL1上,机器人1再次提取参考平面PL以及相对于参考平面PL来说高度较小的两个平面。
当参考平面PL=台阶平面PL1,就提取台阶平面PL1、地面PL0和台阶平面PL2,以便能使用在地面PL0上绘制的环境地图。然而,如果发现一个或多个新障碍物,就更新环境地图511至513。
这样,通过重复上述处理操作直到台阶平面PL4,机器人1能够从台阶平面PL1开始一步步爬上楼梯。虽然从参考平面观察到的高度相对较小的两个平面(台阶平面)在上述描述中被选择出来,其中这两个平面是机器人1判断能够在其上移动的平面,但每当机器人1上或下一个台阶时就改变由该机器人1选择的两个平面。换句话说,每改变参考平面,机器人就提取不同的其它平面。这一点将参考下面描述的平面跟踪。
这样,攀爬到台阶平面PL3的机器人1的环境地图更新部分403产生一组用于地面PL0到台阶平面PL4的环境地图510,如图20所示。在该实例中,虽然机器人提取参考平面和其它两个从参考平面观察到的高度相对较小的平面,并准备它们的环境地图,但可以这样安排以使,当机器人1能够移动到的多于两个的平面被检测时,这两个平面可以被提取并准备它们的环境地图。
由于环境地图被三维地保留,就可以不仅计算同一平面上的移动成本,还可以计算从一个平面到另一个平面的移动成本,以便通过估计成本来选择到目标位置成本最小的路径。
现在,将描述机器人1从一个平面移动到另一个平面的另一实施例。图22A和22B示意性地示出了机器人从一个平面移动到另一个平面的另一实例。图22A示出了机器人从一个房间一步步移动到另一个房间,图22B示出了各房间的环境地图。在该实例中,假设房间RA直接连到房间RB,房间RB的地面PLB比房间RA的地面PLA高。
当机器人1在房间RA移动时,房间RA的地面PLA被选择为当前参考平面,并绘制如图22B所示的环境地图521。由于房间RB的地面PLB比房间RA的地面PLA高,房间RB的地面PLB就被认为是障碍物区域AO。然后,当房间RB进入机器人1的可视区域时,由于房间RB的地面PLB是与房间RA的地面PLA平行的,就提取该地面PLB并为其绘制环境地图522。
当为房间RB的地面PLB绘制环境地图522时,在地面PLA的环境地图521中被认为是障碍物区域AO并计算出具有高成本的地面PLB,在环境地图522中被认为是机器人1可以移动的自由空间区域AF。然后,降低其移动成本,并产生移动到房间RB的新的移动路径。
这样,机器人1在只拥有一个环境地图521时不能只在房间RA中移动,而由于自动识别了与地面PLA平行的地面PLB并绘制了环境地图522,就使机器人1独立地从地面PLA移动到地面PLB,扩宽了机器人1可以移动的区域。
现在,将描述适于在这种环境中提取多个平面的两脚行走型机器人,三维地识别环境并执行 一种平面跟踪操作以遵循一个路径规划。人形机器人是一种能够在日常生活环境或其它环境的各个方面支持人类动作的实用机器人。娱乐机器人不仅能够根据其内部状态(恼怒、悲伤、喜悦、愉快等等)来行动,还能够产生人类的基本动作。
参考图23,机器人1包括一个躯干单元2,头单元3在预定位置与该躯干单元2连接。同时,一对手臂单元4R/L和一对腿单元5R/L在左右两侧连接(R和L是表示“左”和“右”前缀)。
图24示意性地示出机器人1每个关节的自由度。支撑头单元3的颈关节具有由颈关节偏航轴、颈关节俯仰轴和颈关节滚动轴实现的三个自由度。
每个手臂单元4R/L都有一个肩关节俯仰轴、肩关节滚动轴、上臂偏航轴、肘关节俯仰轴、前臂偏航轴、腕关节俯仰轴、腕关节滚动轴和手部114。手部114实际上是多关节/多自由度结构并包括多个手指。然而,由于手部114的动作只在小程度内参与并影响机器人1的姿态控制和行走控制,因此手部114的自由度在这里的说明中被假设为零。因此,每个手臂单元都有七个自由度。
躯干单元2具有由躯干俯仰轴、躯干滚动轴和躯干偏航轴实现的三个自由度。
每个腿单元5R/L都具有臀关节偏航轴、臀关节俯仰轴、臀关节滚动轴、膝关节俯仰轴、踝关节俯仰轴、踝关节滚动轴和脚部121。在这里的说明中,臀关节俯仰轴和臀关节滚动轴的交点定义了机器人1的臀关节的位置。虽然脚部121实际上是一种包括具有多关节/多自由度的脚底的结构,但机器人1的脚底被定义为自由度等于零。因此,每个腿单元都有六个自由度。
概括而言,整个机器人1具有总数为3+7×2+3+6×2=32个自由度。然而,娱乐机器人1的自由度被限制为32。自由度的数量以及关节的数量可依照需要来增减,以满足设计和准备包括说明书中描述的内容的机器人的需要。
如上所指出的,机器人1的每个自由度都由一个致动器来实现。机器人的致动器优选地小且轻型,这对使机器人看起来像活动的人且没有不自然的肿大是必要的,并且对以两脚移动的不稳定结构的姿态进行控制来说是必要的。
图25示意性地示出了机器人1的控制系统的配置。参考图25,机器人1包括躯干单元2、头单元3、一对手臂单元4R/L和一对腿单元5R/L,连同控制这些单元的适应性并协调这些单元的动作的控制单元200,使得机器人1像一个人体,以便使机器人1自然地平稳行动。
机器人1的整个动作由控制单元200进行综合控制。控制单元200包括一个含有CPU(中央处理单元)、DRAM、闪速ROM和其它主要电路元件(未示出)的主控制部分,以及含有用于在供电电路和机器人1的元件之间交换数据和命令的接口(未示出)的外围电路部分。
当实施本发明时,控制单元200安装的位置不受任何特定限制的约束。更具体地,虽然它安装在图25所示的躯干单元2中,但它也可以装备在头单元3中。还可以,将控制单元200设置在机器人1的体外,使其以有线或无线的通信线路与机器人1进行通信。
图24所示的机器人1的每个关节的自由度将由相应的致动器实现。更具体地,头单元3的颈关节偏航轴、颈关节俯仰轴和颈关节滚动轴分别具有颈关节偏航轴致动器101、颈关节俯仰轴致动器102和颈关节滚动轴致动器103。
另外,用于拾取周围的外部图像的CCD(电荷耦合器件)摄影机,连同用于测量机器人到一个位于该机器人前方的物体的距离的距离传感器,用于收集外部声音的麦克风,用于输出声音的扬声器以及用于检测压力的压力传感器一起,设置在头单元3中,其中压力是由用户发出的例如“抚摸”或“击打”等物理动作而产生的。
躯干单元2的躯干俯仰轴、躯干滚动轴、躯干偏航轴分别具有躯干俯仰轴致动器104、躯干滚动轴致动器105和躯干偏航轴致动器106。躯干单元2还具有作为电源来驱动机器人1移动的电池。该电池是由不可充电/可充电电池构成。
手臂单元4R/L分别被分为上臂单元41R/L、肘关节单元42R/L和前臂单元43R/L。在每个手臂单元4R/L中,肩关节俯仰轴、肩关节滚动轴、上臂偏航轴、肘关节俯仰轴、前臂偏航轴、腕关节俯仰轴和腕关节滚动轴分别具有肩关节俯仰轴致动器107、肩关节滚动轴致动器108、上臂偏航轴致动器109、肘关节俯仰轴致动器110、前臂偏航轴致动器111、腕关节俯仰轴致动器112和腕关节滚动轴致动器113。
腿单元5R/L分别被分为大腿单元51R/L、膝单元52R/L和胫骨单元53R/L。在每个腿单元5R/L中,臀关节偏航轴、臀关节俯仰轴、臀关节滚动轴、膝关节俯仰轴、踝关节俯仰轴和踝关节滚动轴分别具有臀关节偏航轴致动器115、臀关节俯仰轴致动器116、臀关节滚动轴致动器117、膝关节俯仰轴致动器118、踝关节俯仰轴致动器119、踝关节滚动轴致动器120。优选地,用于关节的致动器101、102...中的每个都以小AC伺服致动器来实现,其中该伺服致动器直接由齿轮驱动,其伺服控制系统以单一芯片来实现并且装备在致动器的电动机单元中。
躯干单元2、头单元3、手臂单元4R/L和腿单元5R/L的致动器驱动控制部分分别具有辅助的控制部分。另外,腿单元5R/L分别具有触地确认传感器,用于检测机器人的任一只脚的脚底或者两只脚的脚底是否在地面上。还有,用于感测机器人姿态的姿态传感器31设置在躯干单元2中。
每个触地确认传感器包括接近度传感器或设置在脚底的微开关。通过组合加速度传感器和陀螺传感器来形成姿态传感器31。
可以基于触地确认传感器的输出,判断在机器人行走或跑步的动作中,左右腿中的每一条腿当前是站在地面上还是悬在空中。另外,可以基于姿态传感器31的输出检测机器人的躯干部分的倾斜度和姿势。
主控制部分可以根据传感器的输出,动态地改变控制对象的姿态。更具体地,主控制部分自适应地控制辅助控制部分,以协调的方式产生驱动机器人1的手臂、躯干和腿的正常移动模式。
通过定义每条腿的移动、ZMP(零力矩点)轨迹、躯干的移动、每条手臂的移动和腰的高度,同时将符合各定义的用于指示移动的命令传送到辅助控制部分,来实现机器人1的正常移动。然后,辅助控制部分对从主控制部分接收的命令进行解释并分别向致动器101、102...输出控制信号。这里出现的“ZMP”一词指的是由于地面对行走的机器人施加的反作用力产生的力矩降为零的地面上的一点。这里出现的“ZMP轨迹”一词指的是在机器人1行走的同时ZMP移动的轨迹。ZMP的概念及其应用用于判断行走的机器人的稳定性在MiomirVukobratovic的“LEGGED LOCOMOTION ROBOTS”(Ichiro Kato et al.,“Walking Robot and Artificial Feet”(Nikkan Kogyo Shinbun))中给出了描述。
如上所述,在机器人1中,辅助控制部分对从主控制部分接收的命令进行解释,并向致动器101、102...输出驱动控制信号以控制驱动各单元的操作。结果,机器人1可稳定地转换目标姿态安在并以稳定的姿态行走。
机器人1的控制单元200如上所述控制机器人的姿态,并综合处理来自加速度传感器、接触传感器和触地确认传感器的信息,来自CCD摄影机的图像信息和来自麦克风的声音信息。在控制单元200中,主控制部分通过相应的集线器(未示出)连接到包括加速传感器、陀螺传感器、接触传感器、距离传感器、麦克风和扬声器、致动器、CCD摄影机和电池的各种传感器中。
主控制部分通过各内部接口,顺序地取得来自传感器的传感器数据、图像数据和声音数据,并将它们存储在DRAM的预定位置中。另外,主控制部分顺序地取得来自电池的关于电池剩余电量的电池剩余电量数据,并将它们存储在DRAM的预定位置中。当中主控制部分控制机器人1的活动时,就使用存储在DRAM中的传感器数据、图像数据、声音数据和电池剩余电量数据。
在给机器人1供电的机器人1的操作初始阶段,主控制部分读出控制程序并将其存储在DRAM中。而且,主控制部分基于由主控制部分以上述方式顺序地存储在DRAM中的传感器数据、图像数据、声音数据和电池剩余电量数据,判断机器人自己及它周围的状况,以及是否存在着来自用户的给予机器人的一条指令或另一动作。
还有,主控制部分基于存储在DRAM中的控制程序并根据机器人自己的状况来确定机器人的行为。同时,主控制部分基于确定结果,通过驱动相关的致动器而使机器人进行动作,包括所谓的“作手势”和“挥手”。
这样,机器人1能基于控制程序判断自己及其周围的状况,并响应于由用户给出的指令和作出的动作,独立地行动。
不需要指出本发明决不限制于上述实施例,在不脱离本发明的范围内可以各种方式进行修改或改变。
Claims (24)
1、一种环境识别设备,由处在包括一个或多个障碍物的环境中的行走型机器人使用以识别该环境,该设备包括:
平面检测装置,用于基于输入图像计算平面参数,并基于该平面参数检测平面,其中该平面检测装置适于检测一组平面,该组平面中包括一个用作参考的参考平面以及一个或多个基本上与所述参考平面平行的其它平面;
障碍物识别装置,用于识别由该平面检测装置检测的平面上存在的障碍物;和
环境地图更新装置,用于为该组平面中的每个平面绘制一个环境地图,和/或根据由障碍物识别装置所识别的障碍物的信息更新现有环境地图;
其中该环境地图更新装置适于为该组平面中具有被所述障碍物识别装置识别出的障碍物的平面绘制环境地图和/或更新现有环境地图。
2、根据权利要求1的设备,其中参考平面是地面。
3、根据权利要求1的设备,其中参考平面是机器人正在其上移动的平面。
4、根据权利要求1的设备,其中每个平面都有一个允许机器人在其上移动的表面区域。
5、根据权利要求1的设备,其中除了参考平面之外的其它平面是距所述参考平面的高度差不大于一个预定值的平面。
6、根据权利要求1的设备,其中除了参考平面之外的其它平面包含在机器人的识别范围内的距参考平面具有最小高度差的平面。
7、根据权利要求1的设备,其中环境地图包括发现障碍物的障碍物区域,机器人可以移动的自由空间区域和未观测区域。
8、根据权利要求1的设备,其中平面检测装置包括平面计算装置,用于在三维数据组的三个或多于三个的点上采样通过转换作为输入图像输入的视差图像或距离图像获得的三维数据;以及平面确定装置,用于对一个投票空间对由平面计算装置获得的多个平面参数进行投票,并基于投票结果确定一组平面。
9、根据权利要求1的设备,还包括:
距离图像产生装置,通过使用基于从设置在该机器人中的多个成像装置获得的图像数据而计算得出的视差图像,以及与在设置多个成像装置的位置的视差数据相应的齐次变换矩阵,产生距离图像;以及
平面检测装置,适于基于该距离图像计算平面参数。
10、根据权利要求3的设备,其中障碍物识别装置适于识别至少在所述该组平面中的机器人正在移动的平面上的障碍物,环境地图更新装置适于绘制机器人正移动的平面的环境地图及/或更新该平面的现有环境地图。
11、一种环境识别方法,由处在包括一个或多个障碍物的环境中的行走型机器人使用以识别该环境,该方法包括:
平面检测步骤,基于输入图像计算平面参数,并基于该平面参数检测平面;
障碍物识别步骤,识别在该平面检测步骤中检测的平面上存在的任何障碍物,其中该平面检测步骤适于检测一组平面,该组平面包括一个用作参考的参考平面和一个或多个基本上与该参考平面平行的平面;和
环境地图更新步骤,为该组平面中的每个平面绘制一个环境地图,和/或基于在该障碍物识别步骤中识别的障碍物信息更新现有环境地图;
其中该环境地图更新步骤适于为该组平面中具有在障碍物识别步骤中被识别出的障碍物的平面,绘制环境地图和/或更新现有环境地图。
12、根据权利要求11的方法,其中参考平面是地面。
13、根据权利要求11的方法,其中参考平面是机器人正在其上移动的平面。
14、根据权利要求11的方法,其中每个平面都有一个允许机器人在其上移动的表面区域。
15、根据权利要求11的方法,其中除了参考平面之外的其它平面是距所述参考平面的高度差不大于一个预定值的平面。
16、根据权利要求11的方法,其中除了参考平面之外的其它平面包括在机器人的识别范围内的距参考平面具有最小高度差的平面。
17、一种路径规划设备,由处在包含一个或多个障碍物的环境中的一个移动型机器人使用,以便规划一个从当前位置到目标位置的移动路径,该设备包括:
平面检测装置,用于基于输入图像计算平面参数,并基于该平面参数检测一个用作参考的参考平面,以及一组包括一个或多个不同于该参考平面且与该参考平面基本上平行的平面;
障碍物识别装置,用于识别在由平面检测装置检测的该组平面的每一个上存在的障碍物;
环境地图更新装置,为该组平面中的每个平面绘制一个环境地图,和/或基于由障碍物识别装置识别的障碍物信息,更新现有的环境地图;以及
路径规划装置,用于基于由环境地图更新装置绘制和/或更新的环境地图为机器人规划移动路径。
18、根据权利要求17的设备,其中路径规划装置适于以一种预定的方式将每个环境地图分为多个区域,计算当机器人从当前位置移动到目标位置所要经过的每个区域所需要的移动成本,并基于所计算的成本规划移动路径。
19、根据权利要求17的设备,其中
环境地图包括包含有一个或多个障碍物的障碍物区域,允许自由移动的自由空间区域和未观测区域;以及
如果与当前行走平面对应的第一环境地图包括一个或多个障碍物区域,则路径规划装置参考与当前行走平面不同的一个平面对应的第二环境地图,并且如果该障碍物区域在该第二环境地图上是一个自由空间区域时,那么该障碍物区域就被认为是可移动的区域。
20、一种路径规划方法,用于由在一个包含一个或多个障碍物的环境中的移动型机器人使用,以规划从当前位置移动到一个目标位置的移动路径,包括:
平面检测步骤,用于基于输入图像计算平面参数,并基于该平面参数检测一个用作参考的参考平面,以及一组包括一个或多个不同于该参考平面且与该参考平面基本上平行的平面;
障碍物识别步骤,用于识别在平面检测步骤中检测的该组平面的每一个上存在的障碍物;
环境地图更新步骤,为该组平面中的每个平面绘制一个环境地图,和/或基于在障碍物识别步骤中识别的障碍物信息,更新现有的环境地图;以及
路径规划步骤,用于基于在环境地图更新步骤中绘制和/或更新的环境地图为机器人规划移动路径。
21、根据权利要求20的方法,其中路径规划步骤适于以一种预定的方式将每个环境地图分为多个区域,计算当机器人从当前位置移动到目标位置所要经过的每个区域所需要的移动成本,并基于所计算的成本规划移动路径。
22、根据权利要求20的方法,其中
环境地图包括包含有一个或多个障碍物的障碍物区域,允许自由移动的自由空间区域和未观测区域;以及
如果与当前行走平面对应的第一环境地图包括一个或多个障碍物区域,则在路径规划步骤中参考与当前行走平面不同的一个平面对应的第二环境地图,并且如果该障碍物区域在该第二环境地图上是一个自由空间区域时,那么该障碍物区域就被认为是可移动的区域。
23、一种机器人,适于在包含一个或多个障碍物的环境中独立移动并且具有一个环境识别设备用于识别所述环境,所述环境识别设备包括:
平面检测装置,用于基于输入图像计算平面参数,并基于该平面参数检测平面,其中该平面检测装置适于检测一组平面,该组平面中包括一个用作参考的参考平面以及一个或多个基本上与所述参考平面平行的其它平面;
障碍物识别装置,用于识别由该平面检测装置检测的平面上存在的障碍物;和
环境地图更新装置,用于为该组平面中的每个平面绘制一个环境地图,和/或根据由障碍物识别装置所识别的障碍物的信息更新现有环境地图;
其中该环境地图更新装置适于为该组平面中具有被所述障碍物识别装置识别出的障碍物的平面绘制环境地图和/或更新现有环境地图。
24、一种机器人,适于在包含一个或多个障碍物的环境中独立规划一个从当前位置到目标位置的行走路径,并且具有一个路径规划设备用于识别所述环境以及规划一个行走路径,该路径规划设备包括:
平面检测装置,用于基于输入图像计算平面参数,并基于该平面参数检测一个用作参考的参考平面,以及一组包括一个或多个不同于该参考平面且与该参考平面基本上平行的平面;
障碍物识别装置,用于识别在由平面检测装置检测的该组平面的每一个上存在的障碍物;
环境地图更新装置,为该组平面中的每个平面绘制一个环境地图和/或基于由障碍物识别装置识别的障碍物信息,更新现有的环境地图;以及
路径规划装置,用于基于由环境地图更新装置绘制和/或更新的环境地图为机器人规划移动路径。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003329129A JP3994950B2 (ja) | 2003-09-19 | 2003-09-19 | 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置 |
JP329129/2003 | 2003-09-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1617170A CN1617170A (zh) | 2005-05-18 |
CN100339871C true CN100339871C (zh) | 2007-09-26 |
Family
ID=34458461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004101005189A Expired - Fee Related CN100339871C (zh) | 2003-09-19 | 2004-09-17 | 环境识别设备及方法、路径规划设备及方法以及机器人 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7865267B2 (zh) |
JP (1) | JP3994950B2 (zh) |
KR (1) | KR101121763B1 (zh) |
CN (1) | CN100339871C (zh) |
Families Citing this family (164)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3945279B2 (ja) * | 2002-03-15 | 2007-07-18 | ソニー株式会社 | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 |
JP3994950B2 (ja) * | 2003-09-19 | 2007-10-24 | ソニー株式会社 | 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置 |
WO2005088244A1 (ja) * | 2004-03-17 | 2005-09-22 | Sony Corporation | 平面検出装置、平面検出方法、及び平面検出装置を搭載したロボット装置 |
JP4533659B2 (ja) * | 2004-05-12 | 2010-09-01 | 株式会社日立製作所 | レーザー計測により地図画像を生成する装置及び方法 |
JP4479372B2 (ja) * | 2004-06-25 | 2010-06-09 | ソニー株式会社 | 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置 |
JP3752251B2 (ja) * | 2004-07-01 | 2006-03-08 | シャープ株式会社 | 自走式移動車 |
US11835343B1 (en) * | 2004-08-06 | 2023-12-05 | AI Incorporated | Method for constructing a map while performing work |
KR100673087B1 (ko) * | 2005-01-21 | 2007-01-22 | (주) 시리우스 | 로봇용 사물인식시스템 |
JP2006239844A (ja) * | 2005-03-04 | 2006-09-14 | Sony Corp | 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置 |
US7627423B2 (en) * | 2005-03-10 | 2009-12-01 | Wright Ventures, Llc | Route based on distance |
US7266477B2 (en) | 2005-06-22 | 2007-09-04 | Deere & Company | Method and system for sensor signal fusion |
JP2007199965A (ja) * | 2006-01-25 | 2007-08-09 | Matsushita Electric Works Ltd | 自律移動装置 |
JP4506685B2 (ja) | 2006-02-17 | 2010-07-21 | トヨタ自動車株式会社 | 移動型ロボット |
KR100843085B1 (ko) * | 2006-06-20 | 2008-07-02 | 삼성전자주식회사 | 이동 로봇의 격자지도 작성 방법 및 장치와 이를 이용한영역 분리 방법 및 장치 |
JP4961860B2 (ja) * | 2006-06-27 | 2012-06-27 | トヨタ自動車株式会社 | ロボット装置及びロボット装置の制御方法 |
CN100449444C (zh) * | 2006-09-29 | 2009-01-07 | 浙江大学 | 移动机器人在未知环境中同时定位与地图构建的方法 |
GB2442776A (en) | 2006-10-11 | 2008-04-16 | Autoliv Dev | Object detection arrangement and positioning system for analysing the surroundings of a vehicle |
KR100823739B1 (ko) * | 2006-12-08 | 2008-04-21 | 한국전자통신연구원 | 주변 환경 변화에 신속하게 적응하여 환경 지도를 작성할수 있는 이동체의 환경 지도 작성 장치 및 그 방법 |
US7974460B2 (en) * | 2007-02-06 | 2011-07-05 | Honeywell International Inc. | Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles |
CN101033971B (zh) * | 2007-02-09 | 2011-02-16 | 中国科学院合肥物质科学研究院 | 一种移动机器人地图创建系统及地图创建方法 |
JP4645601B2 (ja) | 2007-02-13 | 2011-03-09 | トヨタ自動車株式会社 | 環境地図の生成方法及び移動ロボット |
DE102007008903A1 (de) * | 2007-02-23 | 2008-08-28 | Abb Technology Ag | Einrichtung zum Steuern eines Roboters |
JP2009025898A (ja) | 2007-07-17 | 2009-02-05 | Toyota Motor Corp | 経路計画装置、経路計画方法及び移動体 |
US8116519B2 (en) * | 2007-09-26 | 2012-02-14 | Honda Motor Co., Ltd. | 3D beverage container localizer |
US9651388B1 (en) * | 2007-10-25 | 2017-05-16 | Rockwell Collins, Inc. | System and method for improved simultaneous localization and mapping |
WO2009067458A1 (en) * | 2007-11-21 | 2009-05-28 | Honda Motor Co., Ltd. | Learning capture points for humanoid push recovery |
KR100934904B1 (ko) * | 2007-12-28 | 2010-01-06 | 재단법인대구경북과학기술원 | 거리 추정 장치 및 추정 방법 |
JP5067215B2 (ja) * | 2008-03-17 | 2012-11-07 | トヨタ自動車株式会社 | 移動ロボット及び環境地図生成方法 |
CN101581936B (zh) | 2008-05-16 | 2012-01-25 | 深圳富泰宏精密工业有限公司 | 利用手机控制两足式机器人的系统及方法 |
US8265425B2 (en) * | 2008-05-20 | 2012-09-11 | Honda Motor Co., Ltd. | Rectangular table detection using hybrid RGB and depth camera sensors |
KR101009940B1 (ko) * | 2008-05-30 | 2011-01-20 | 최진원 | 지능형 공간인지 방법 및 시스템 |
JP4615038B2 (ja) * | 2008-06-23 | 2011-01-19 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
KR101495333B1 (ko) * | 2008-07-02 | 2015-02-25 | 삼성전자 주식회사 | 장애물 검출 장치 및 방법 |
US8229176B2 (en) | 2008-07-25 | 2012-07-24 | Navteq B.V. | End user image open area maps |
US8825387B2 (en) | 2008-07-25 | 2014-09-02 | Navteq B.V. | Positioning open area maps |
US8099237B2 (en) | 2008-07-25 | 2012-01-17 | Navteq North America, Llc | Open area maps |
US8339417B2 (en) * | 2008-07-25 | 2012-12-25 | Navteq B.V. | Open area maps based on vector graphics format images |
US20100021013A1 (en) * | 2008-07-25 | 2010-01-28 | Gale William N | Open area maps with guidance |
US8374780B2 (en) * | 2008-07-25 | 2013-02-12 | Navteq B.V. | Open area maps with restriction content |
US20100023251A1 (en) * | 2008-07-25 | 2010-01-28 | Gale William N | Cost based open area maps |
US8417446B2 (en) * | 2008-07-25 | 2013-04-09 | Navteq B.V. | Link-node maps based on open area maps |
US8705792B2 (en) * | 2008-08-06 | 2014-04-22 | Toyota Motor Engineering & Manufacturing North America, Inc. | Object tracking using linear features |
EP2154650A1 (en) * | 2008-08-12 | 2010-02-17 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | 3D time-of-flight camera system and position/orientation calibration method therefor |
CN101650189B (zh) * | 2008-08-14 | 2012-07-04 | 恩斯迈电子(深圳)有限公司 | 行走路径规划方法与避开动态障碍物的导航方法 |
CN101387888B (zh) * | 2008-09-27 | 2010-12-15 | 江南大学 | 基于二进制量子粒子群算法的移动机器人路径规划方法 |
DK2343615T3 (en) * | 2008-10-01 | 2019-02-18 | Murata Machinery Ltd | Independent movement device |
CN101436300B (zh) * | 2008-12-10 | 2012-10-31 | 东软集团股份有限公司 | 障碍物分割方法及装置 |
US8547448B2 (en) * | 2008-12-12 | 2013-10-01 | Panasonic Corporation | Image processing device and image processing method to generate a plan map |
US8108148B2 (en) * | 2009-02-27 | 2012-01-31 | Toyota Motor Engineering & Manufacturing, North America, Inc. | Method and system for mapping environments containing dynamic obstacles |
JP5216690B2 (ja) * | 2009-06-01 | 2013-06-19 | 株式会社日立製作所 | ロボット管理システム、ロボット管理端末、ロボット管理方法およびプログラム |
KR101619076B1 (ko) * | 2009-08-25 | 2016-05-10 | 삼성전자 주식회사 | 모바일 플랫폼의 동적 물체 검출 및 추적 방법 |
KR101123836B1 (ko) * | 2009-09-28 | 2012-03-16 | 버츄얼빌더스 주식회사 | 어반 컴퓨팅 방법, 어반 컴퓨팅에서의 경로 탐색 방법, 및 어반 컴퓨팅 장치 |
JP4849178B2 (ja) * | 2010-03-15 | 2012-01-11 | トヨタ自動車株式会社 | 移動型ロボット |
JP2011209019A (ja) * | 2010-03-29 | 2011-10-20 | Sony Corp | ロボット装置及びロボット装置の制御方法 |
KR101145820B1 (ko) * | 2010-04-08 | 2012-05-16 | 버츄얼빌더스 주식회사 | 공간분석 방법 및 그 시스템 |
CN101852609B (zh) * | 2010-06-02 | 2011-10-19 | 北京理工大学 | 一种基于机器人双目立体视觉的地面障碍物检测方法 |
DE102010017689A1 (de) * | 2010-07-01 | 2012-01-05 | Vorwerk & Co. Interholding Gmbh | Selbsttätig verfahrbares Gerät sowie Verfahren zur Orientierung eines solchen Gerätes |
CN101968357B (zh) * | 2010-09-21 | 2012-02-22 | 北京交通大学 | 一种从二维图像序列检测平面区域的方法 |
KR101706092B1 (ko) * | 2010-09-29 | 2017-02-14 | 삼성전자주식회사 | 3차원 물체 추적 방법 및 장치 |
JP5452442B2 (ja) * | 2010-10-25 | 2014-03-26 | 株式会社日立製作所 | ロボットシステム及び地図更新方法 |
TWI421707B (zh) * | 2010-11-10 | 2014-01-01 | Univ Nat Taiwan | 行人空間行為學習系統及其方法 |
JP4991023B2 (ja) * | 2010-11-12 | 2012-08-01 | パナソニック株式会社 | 移動経路探索装置および移動経路探索方法 |
CN101996516A (zh) * | 2010-11-22 | 2011-03-30 | 南京信息工程大学 | 基于矢量法的路径规划预处理方法 |
KR101761313B1 (ko) * | 2010-12-06 | 2017-07-25 | 삼성전자주식회사 | 로봇 및 로봇의 경로생성방법 |
KR101306286B1 (ko) * | 2010-12-17 | 2013-09-09 | 주식회사 팬택 | X-레이 뷰 기반의 증강 현실 제공 장치 및 방법 |
US9429438B2 (en) * | 2010-12-23 | 2016-08-30 | Blackberry Limited | Updating map data from camera images |
DE102011003064A1 (de) * | 2010-12-29 | 2012-07-05 | Robert Bosch Gmbh | Verfahren zur Bearbeitung einer Fläche mittels eines Roboter-Fahrzeugs |
US8799201B2 (en) | 2011-07-25 | 2014-08-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for tracking objects |
JP2013022705A (ja) * | 2011-07-25 | 2013-02-04 | Sony Corp | ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム |
JP5849522B2 (ja) * | 2011-08-18 | 2016-01-27 | 株式会社リコー | 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 |
JP5961945B2 (ja) * | 2011-08-18 | 2016-08-03 | 株式会社リコー | 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 |
US20130060461A1 (en) * | 2011-09-07 | 2013-03-07 | INRO Technologies Limited | Method and apparatus for using pre-positioned objects to localize an industrial vehicle |
JP5959899B2 (ja) * | 2012-03-30 | 2016-08-02 | 本田技研工業株式会社 | 接触状態推定装置 |
US9552503B2 (en) * | 2012-05-01 | 2017-01-24 | 5D Robotics, Inc. | Distributed positioning and collaborative behavior determination |
CN102785244A (zh) * | 2012-07-20 | 2012-11-21 | 浙江工业大学 | 一种多轴伺服机械手空间圆弧规划控制方法 |
TWI496090B (zh) * | 2012-09-05 | 2015-08-11 | Ind Tech Res Inst | 使用深度影像的物件定位方法與裝置 |
CN102929279B (zh) * | 2012-11-07 | 2014-11-05 | 无锡普智联科高新技术有限公司 | 基于三维空间密集存储区域的多机器人路径规划方法 |
WO2014084832A2 (en) * | 2012-11-29 | 2014-06-05 | United Technologies Corporation | Comfort estimation and incentive design for energy efficiency |
CA2950791C (en) * | 2013-08-19 | 2019-04-16 | State Grid Corporation Of China | Binocular visual navigation system and method based on power robot |
CN104423381B (zh) * | 2013-08-30 | 2017-09-29 | 联想(北京)有限公司 | 一种电子设备及其保护方法 |
CN104516350B (zh) * | 2013-09-26 | 2017-03-22 | 沈阳工业大学 | 一种复杂环境中的移动机器人路径规划方法 |
KR102172954B1 (ko) * | 2013-11-08 | 2020-11-02 | 삼성전자주식회사 | 보행 보조 로봇 및 보행 보조 로봇의 제어 방법 |
CN103699136B (zh) * | 2014-01-14 | 2016-08-31 | 河海大学常州校区 | 基于蛙跳算法的智能家庭服务机器人系统及服务方法 |
KR102150297B1 (ko) | 2014-01-15 | 2020-09-01 | 삼성전자주식회사 | 보행 보조 로봇 및 보행 보조 로봇의 제어 방법 |
CN103815826B (zh) * | 2014-01-28 | 2017-02-15 | 广西科技大学鹿山学院 | 智能玻璃清洁器及其控制方法 |
US9358685B2 (en) * | 2014-02-03 | 2016-06-07 | Brain Corporation | Apparatus and methods for control of robot actions based on corrective user inputs |
JP5949814B2 (ja) * | 2014-03-06 | 2016-07-13 | トヨタ自動車株式会社 | 自律移動ロボット、及びその制御方法 |
ES2675363T3 (es) * | 2014-06-05 | 2018-07-10 | Softbank Robotics Europe | Procedimiento de construcción de un mapa de probabilidad entre la ausencia y la presencia de obstáculos para un robot autónomo |
CN104063541B (zh) * | 2014-06-18 | 2017-12-01 | 南京邮电大学 | 基于分层决策机制的多机器人协作方法 |
WO2016013095A1 (ja) * | 2014-07-25 | 2016-01-28 | 株式会社日立製作所 | 自律移動装置 |
CN104331884B (zh) * | 2014-10-29 | 2017-03-29 | 上海大学 | 四触角履带机器人的爬楼梯参数获取系统 |
CN104552293B (zh) * | 2014-11-11 | 2016-07-06 | Abb技术有限公司 | 用于调节机器人路径的方法和系统 |
DE102015105211A1 (de) * | 2015-04-07 | 2016-10-13 | Vorwerk & Co. Interholding Gmbh | Verfahren zur Bearbeitung eines Bodens |
US9594377B1 (en) * | 2015-05-12 | 2017-03-14 | Google Inc. | Auto-height swing adjustment |
CN106292654B (zh) * | 2015-06-03 | 2021-05-25 | 北京京东尚科信息技术有限公司 | 一种绘制区域地图的方法和装置 |
KR101734654B1 (ko) * | 2015-06-25 | 2017-05-11 | 현대자동차주식회사 | 레이저 스캐너를 이용한 센서 중심 좌표계의 점유 격자 지도를 작성하는 시스템 및 방법 |
US9886035B1 (en) | 2015-08-17 | 2018-02-06 | X Development Llc | Ground plane detection to verify depth sensor status for robot navigation |
JP2017041125A (ja) * | 2015-08-20 | 2017-02-23 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2017071143A1 (en) | 2015-10-30 | 2017-05-04 | SZ DJI Technology Co., Ltd. | Systems and methods for uav path planning and control |
CN107209854A (zh) | 2015-09-15 | 2017-09-26 | 深圳市大疆创新科技有限公司 | 用于支持顺畅的目标跟随的系统和方法 |
JP6703820B2 (ja) * | 2015-11-11 | 2020-06-03 | シャープ株式会社 | 自走式電子機器 |
CN105303949B (zh) * | 2015-11-30 | 2018-01-19 | 中国矿业大学 | 一种基于煤矿巷道的机器人视觉实验环境系统 |
JP6558239B2 (ja) * | 2015-12-22 | 2019-08-14 | アイシン・エィ・ダブリュ株式会社 | 自動運転支援システム、自動運転支援方法及びコンピュータプログラム |
US9798327B2 (en) * | 2016-01-08 | 2017-10-24 | King Fahd University Of Petroleum And Minerals | Apparatus and method for deploying sensors |
US11037320B1 (en) | 2016-03-01 | 2021-06-15 | AI Incorporated | Method for estimating distance using point measurement and color depth |
US10311590B1 (en) * | 2016-03-01 | 2019-06-04 | Al Incorporated | Method for estimating distance using point measurement and color depth |
CN105739500B (zh) * | 2016-03-29 | 2020-06-30 | 海尔优家智能科技(北京)有限公司 | 一种智能扫地机器人的交互控制方法及装置 |
JP6660242B2 (ja) * | 2016-04-25 | 2020-03-11 | 本田技研工業株式会社 | ロボットの制御信号を伝送するための光ファイバ配線構造 |
US10196104B1 (en) | 2016-05-04 | 2019-02-05 | Schaft Inc. | Terrain Evaluation for robot locomotion |
CN107728609A (zh) * | 2016-08-10 | 2018-02-23 | 鸿富锦精密电子(天津)有限公司 | 智能运动控制系统及智能运动控制方法 |
CN106426190A (zh) * | 2016-10-18 | 2017-02-22 | 河池学院 | 一种防碰撞机器人 |
CN106774301B (zh) * | 2016-10-25 | 2020-04-24 | 纳恩博(北京)科技有限公司 | 一种避障跟随方法和电子设备 |
JP6457469B2 (ja) * | 2016-12-08 | 2019-01-23 | ファナック株式会社 | 移動ロボットの干渉領域設定装置 |
WO2018108832A1 (en) * | 2016-12-14 | 2018-06-21 | Starship Technologies Oü | Robot, system and method detecting and/or responding to transitions in height |
US10274327B2 (en) | 2016-12-29 | 2019-04-30 | Fastzach, Llc | Configurable routes |
CN108318046B (zh) * | 2017-01-18 | 2020-12-15 | 华为技术有限公司 | 路径规划方法和装置 |
CN106909149B (zh) * | 2017-03-14 | 2020-09-22 | 深圳蓝因机器人科技有限公司 | 一种深度摄像头避障的方法及装置 |
JP2018163614A (ja) * | 2017-03-27 | 2018-10-18 | カシオ計算機株式会社 | 自律移動装置、自律移動方法およびプログラム |
JP6751469B2 (ja) * | 2017-03-28 | 2020-09-02 | 株式会社日立産機システム | 地図作成システム |
US10293485B2 (en) * | 2017-03-30 | 2019-05-21 | Brain Corporation | Systems and methods for robotic path planning |
CN108931977A (zh) * | 2017-06-06 | 2018-12-04 | 北京猎户星空科技有限公司 | 机器人环境建图方法、装置及机器人 |
CN109425352A (zh) * | 2017-08-25 | 2019-03-05 | 科沃斯机器人股份有限公司 | 自移动机器人路径规划方法 |
CN108733065B (zh) * | 2017-09-29 | 2021-06-04 | 北京猎户星空科技有限公司 | 一种机器人的避障方法、装置及机器人 |
KR102629762B1 (ko) * | 2017-10-02 | 2024-01-29 | 소니그룹주식회사 | 환경 정보 갱신 장치, 환경 정보의 갱신 방법 및 프로그램 |
US11274929B1 (en) * | 2017-10-17 | 2022-03-15 | AI Incorporated | Method for constructing a map while performing work |
US10612929B2 (en) | 2017-10-17 | 2020-04-07 | AI Incorporated | Discovering and plotting the boundary of an enclosure |
JP7025896B2 (ja) * | 2017-11-13 | 2022-02-25 | 株式会社日立産機システム | クレーンシステム、および、クレーンの制御方法 |
CN107877518B (zh) * | 2017-11-27 | 2020-04-28 | 国网智能科技股份有限公司 | 一种巡检机器人及其防坠落方法和装置 |
CN109895088B (zh) * | 2017-12-10 | 2022-05-31 | 湖南特辉电力科技有限公司 | 一种机器人驱动装置 |
US10638906B2 (en) * | 2017-12-15 | 2020-05-05 | Neato Robotics, Inc. | Conversion of cleaning robot camera images to floorplan for user interaction |
CN108154516B (zh) * | 2018-01-30 | 2020-06-09 | 北京进化者机器人科技有限公司 | 面向封闭空间的点云拓扑分割方法及装置 |
CN108334111A (zh) * | 2018-02-11 | 2018-07-27 | 中国联合网络通信集团有限公司 | 搬运机器人的控制装置、系统和方法 |
JP6981530B2 (ja) * | 2018-03-05 | 2021-12-15 | 日本電気株式会社 | ロボット管理システム、ロボット管理方法、情報処理装置、情報処理方法および情報処理プログラム |
CN108582073B (zh) * | 2018-05-02 | 2020-09-15 | 北京邮电大学 | 一种基于改进的随机路标地图法的机械臂快速避障方法 |
US11372475B2 (en) | 2018-05-10 | 2022-06-28 | Sony Corporation | Information processing apparatus, information processing method, and floor modeling system |
CN108692736B (zh) * | 2018-05-28 | 2020-07-07 | 暗物智能科技(广州)有限公司 | 一种基于深度学习的智能学步方法及其系统 |
US11407111B2 (en) | 2018-06-27 | 2022-08-09 | Abb Schweiz Ag | Method and system to generate a 3D model for a robot scene |
CN109015643A (zh) * | 2018-08-17 | 2018-12-18 | 徐润秋 | 一种行走机器人行走线路控制方法 |
US11110603B2 (en) | 2018-10-02 | 2021-09-07 | Toyota Research Institute, Inc. | Systems and methods for naïve physics for contact and contact-awareness in robotic teleoperation |
US11747825B2 (en) * | 2018-10-12 | 2023-09-05 | Boston Dynamics, Inc. | Autonomous map traversal with waypoint matching |
US11287826B2 (en) * | 2018-10-12 | 2022-03-29 | Boston Dynamics, Inc. | Terrain aware step planning system |
US11256261B1 (en) * | 2018-10-16 | 2022-02-22 | Amazon Technologies, Inc. | System for movement of autonomous mobile device |
TWI665609B (zh) * | 2018-11-14 | 2019-07-11 | 財團法人工業技術研究院 | 住戶行為辨識系統與住戶行為辨識方法 |
CN109506654B (zh) * | 2018-11-14 | 2020-10-20 | 飞牛智能科技(南京)有限公司 | 低空航路规划方法及装置、飞行器 |
CN109445438B (zh) * | 2018-12-05 | 2022-03-04 | 英华达(上海)科技有限公司 | 基于地图分享的巡航装置的巡航控制方法及系统 |
CN109814564A (zh) * | 2019-01-29 | 2019-05-28 | 炬星科技(深圳)有限公司 | 目标对象的检测、避障方法、电子设备及存储介质 |
CN111568309B (zh) * | 2019-02-19 | 2023-12-05 | 北京奇虎科技有限公司 | 防跌落方法、装置、扫地设备及计算机可读存储介质 |
US10906184B2 (en) | 2019-03-29 | 2021-02-02 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
EP4010659A1 (en) | 2019-08-06 | 2022-06-15 | Boston Dynamics, Inc. | Intermediate waypoint generator |
US11958183B2 (en) | 2019-09-19 | 2024-04-16 | The Research Foundation For The State University Of New York | Negotiation-based human-robot collaboration via augmented reality |
CN112631266A (zh) * | 2019-09-20 | 2021-04-09 | 杭州海康机器人技术有限公司 | 一种移动机器人感知障碍信息的方法、装置 |
JPWO2021070651A1 (zh) | 2019-10-10 | 2021-04-15 | ||
JP7468543B2 (ja) * | 2019-10-25 | 2024-04-16 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラムおよび飛行体 |
CN110812841B (zh) * | 2019-11-08 | 2021-11-02 | 腾讯科技(深圳)有限公司 | 虚拟世界中的虚拟表面判断方法、装置、设备及介质 |
CN110727272B (zh) * | 2019-11-11 | 2023-04-18 | 广州赛特智能科技有限公司 | 一种多台机器人的路径规划调度系统及方法 |
CN111006666B (zh) * | 2019-11-21 | 2021-10-29 | 深圳市优必选科技股份有限公司 | 机器人路径规划方法、装置、存储介质和机器人 |
CN111693421B (zh) * | 2020-06-24 | 2023-02-24 | 新乡市食品药品检验所 | 一种无菌室环境检测机器人及检测方法 |
CN111752279B (zh) * | 2020-07-09 | 2023-09-08 | 上海有个机器人有限公司 | 一种机器人多传感器融合自检方法和系统 |
CN112558599B (zh) * | 2020-11-06 | 2024-04-02 | 深圳拓邦股份有限公司 | 机器人工作控制方法、装置及机器人 |
CN112587378B (zh) * | 2020-12-11 | 2022-06-07 | 中国科学院深圳先进技术研究院 | 基于视觉的外骨骼机器人足迹规划系统、方法及存储介质 |
EP4318407A1 (en) * | 2021-03-22 | 2024-02-07 | Sony Group Corporation | Information processing device, information processing method, and program |
CN114063614B (zh) * | 2021-10-27 | 2023-07-25 | 山东科技大学 | 基于机载单目视觉感知的多小型机器人系统混合队形快速收敛方法 |
CN114348579A (zh) * | 2021-12-31 | 2022-04-15 | 深圳云天励飞技术股份有限公司 | 搬运机器人的控制方法及相关设备 |
WO2023157235A1 (ja) * | 2022-02-18 | 2023-08-24 | 日本電気株式会社 | 計算装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5979377A (ja) * | 1982-10-29 | 1984-05-08 | Hitachi Ltd | 階段認識方法およびその装置 |
JPS60200314A (ja) * | 1984-03-26 | 1985-10-09 | Hitachi Ltd | 移動ロボット誘導方法 |
JPS60217412A (ja) * | 1984-04-13 | 1985-10-31 | Hitachi Ltd | 移動ロボツトの移動制御装置 |
JPH04365104A (ja) * | 1991-06-13 | 1992-12-17 | Toshiba Corp | 最適化経路計画装置及び自律移動ロボット |
JPH05223549A (ja) * | 1992-02-10 | 1993-08-31 | Honda Motor Co Ltd | 移動体の階段などの認識方法 |
US5378969A (en) * | 1992-04-15 | 1995-01-03 | Honda Giken Kogyo Kabushiki Kaisha | Navigation control system for mobile robot |
CN1161268A (zh) * | 1995-12-01 | 1997-10-08 | 三星电子株式会社 | 机器人的环境识别装置及其控制方法 |
JPH11265454A (ja) * | 1998-03-18 | 1999-09-28 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
CN1230478A (zh) * | 1997-12-31 | 1999-10-06 | 三星电子株式会社 | 机器人行走路径规划装置和方法 |
US20010024514A1 (en) * | 2000-03-22 | 2001-09-27 | Shinichi Matsunaga | Image processing device, singular spot detection method, and recording medium upon which singular spot detection program is recorded |
JP2003256811A (ja) * | 2002-03-01 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | 3次元情報復元装置、3次元情報復元方法、3次元情報復元方法のプログラムおよびこのプログラムを記録した記録媒体 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5377106A (en) * | 1987-03-24 | 1994-12-27 | Fraunhofer Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Process for navigating an unmanned vehicle and a vehicle for the same |
US5748199A (en) * | 1995-12-20 | 1998-05-05 | Synthonics Incorporated | Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture |
US7747055B1 (en) * | 1998-11-25 | 2010-06-29 | Wake Forest University Health Sciences | Virtual endoscopy with improved image segmentation and lesion detection |
KR100501093B1 (ko) * | 2000-11-17 | 2005-07-18 | 혼다 기켄 고교 가부시키가이샤 | 2족 보행 로봇 |
JP3824608B2 (ja) * | 2001-08-01 | 2006-09-20 | ソニー株式会社 | 脚式移動ロボット及びその動作制御方法 |
CN1273912C (zh) * | 2001-08-23 | 2006-09-06 | 索尼公司 | 机器人装置、面容识别方法和面容识别装置 |
CN1304177C (zh) * | 2001-10-22 | 2007-03-14 | 索尼公司 | 机器人装置及其控制方法 |
JP3968501B2 (ja) * | 2001-11-30 | 2007-08-29 | ソニー株式会社 | ロボットの自己位置同定システム及び自己位置同定方法 |
US6732015B2 (en) * | 2002-03-14 | 2004-05-04 | Kabushiki Kaisha Toshiba | Robot system |
JP3945279B2 (ja) * | 2002-03-15 | 2007-07-18 | ソニー株式会社 | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 |
US6999851B2 (en) * | 2002-08-30 | 2006-02-14 | Sony Corporation | Robot apparatus and motion controlling method therefor |
US7072740B2 (en) * | 2002-12-16 | 2006-07-04 | Sony Corporation | Legged mobile robot |
JP3994950B2 (ja) * | 2003-09-19 | 2007-10-24 | ソニー株式会社 | 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置 |
-
2003
- 2003-09-19 JP JP2003329129A patent/JP3994950B2/ja not_active Expired - Fee Related
-
2004
- 2004-09-16 US US10/941,813 patent/US7865267B2/en not_active Expired - Fee Related
- 2004-09-17 CN CNB2004101005189A patent/CN100339871C/zh not_active Expired - Fee Related
- 2004-09-17 KR KR1020040074645A patent/KR101121763B1/ko not_active IP Right Cessation
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5979377A (ja) * | 1982-10-29 | 1984-05-08 | Hitachi Ltd | 階段認識方法およびその装置 |
JPS60200314A (ja) * | 1984-03-26 | 1985-10-09 | Hitachi Ltd | 移動ロボット誘導方法 |
JPS60217412A (ja) * | 1984-04-13 | 1985-10-31 | Hitachi Ltd | 移動ロボツトの移動制御装置 |
JPH04365104A (ja) * | 1991-06-13 | 1992-12-17 | Toshiba Corp | 最適化経路計画装置及び自律移動ロボット |
JPH05223549A (ja) * | 1992-02-10 | 1993-08-31 | Honda Motor Co Ltd | 移動体の階段などの認識方法 |
US5378969A (en) * | 1992-04-15 | 1995-01-03 | Honda Giken Kogyo Kabushiki Kaisha | Navigation control system for mobile robot |
CN1161268A (zh) * | 1995-12-01 | 1997-10-08 | 三星电子株式会社 | 机器人的环境识别装置及其控制方法 |
CN1230478A (zh) * | 1997-12-31 | 1999-10-06 | 三星电子株式会社 | 机器人行走路径规划装置和方法 |
JPH11265454A (ja) * | 1998-03-18 | 1999-09-28 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
US20010024514A1 (en) * | 2000-03-22 | 2001-09-27 | Shinichi Matsunaga | Image processing device, singular spot detection method, and recording medium upon which singular spot detection program is recorded |
JP2003256811A (ja) * | 2002-03-01 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | 3次元情報復元装置、3次元情報復元方法、3次元情報復元方法のプログラムおよびこのプログラムを記録した記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
KR101121763B1 (ko) | 2012-03-23 |
JP2005092820A (ja) | 2005-04-07 |
JP3994950B2 (ja) | 2007-10-24 |
US7865267B2 (en) | 2011-01-04 |
KR20050028859A (ko) | 2005-03-23 |
CN1617170A (zh) | 2005-05-18 |
US20050131581A1 (en) | 2005-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100339871C (zh) | 环境识别设备及方法、路径规划设备及方法以及机器人 | |
CN111055281B (zh) | 一种基于ros的自主移动抓取系统与方法 | |
CN106607907B (zh) | 一种移动视觉机器人及其测控方法 | |
CN100351055C (zh) | 机器人的步行控制装置和步行控制方法 | |
US8289321B2 (en) | Method and apparatus for detecting plane, and robot apparatus having apparatus for detecting plane | |
CN1221357C (zh) | 有腿可移动机器人及其控制方法和相对运动测量传感器 | |
CN1162681C (zh) | 三维物体识别方法及使用该方法的零件抓取系统 | |
CN1698067A (zh) | 图像识别设备、方法和机器人设备 | |
CN110275540A (zh) | 用于扫地机器人的语义导航方法及其系统 | |
CN1647535A (zh) | 物体检测装置、物体检测服务器以及物体检测方法 | |
US20060241827A1 (en) | Obstacle avoiding apparatus, obstacle avoiding method, obstacle avoiding program and mobile robot apparatus | |
US20040013295A1 (en) | Obstacle recognition apparatus and method, obstacle recognition program, and mobile robot apparatus | |
WO2008099652A1 (ja) | 環境地図の生成方法及び移動ロボット | |
CN109202885A (zh) | 一种物料搬运移动复合机器人 | |
KR20080088519A (ko) | 다리식 이동 로봇 | |
CN1816729A (zh) | 三维形状测量方法及其测量设备 | |
CN112849898B (zh) | 一种自驱动机器人及自驱动机器人的搬运方法 | |
CN114505840B (zh) | 一种自主操作箱式电梯的智能服务机器人 | |
CN109164802A (zh) | 一种机器人迷宫行走方法、装置及机器人 | |
CN111958593B (zh) | 一种语义智能变电站巡视作业机器人视觉伺服方法及系统 | |
CN1697724A (zh) | 机器人设备及其控制方法 | |
CN112578799B (zh) | 四足机器人自主充电方法及自主充电四足机器人 | |
CN104667488B (zh) | 在运动平台中产生全方向位移抵消的方法和系统 | |
CN115082734A (zh) | 铝电解槽火眼视频巡检系统及过热度深度学习识别方法 | |
Gassmann et al. | Real-time 3d map building for local navigation of a walking robot in unstructured terrain |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070926 Termination date: 20200917 |
|
CF01 | Termination of patent right due to non-payment of annual fee |