CN107428008A - 机器人的触摸感知 - Google Patents
机器人的触摸感知 Download PDFInfo
- Publication number
- CN107428008A CN107428008A CN201580075508.0A CN201580075508A CN107428008A CN 107428008 A CN107428008 A CN 107428008A CN 201580075508 A CN201580075508 A CN 201580075508A CN 107428008 A CN107428008 A CN 107428008A
- Authority
- CN
- China
- Prior art keywords
- data
- touch
- robot
- map
- arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 34
- 239000000523 sample Substances 0.000 claims description 26
- 230000009471 action Effects 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 14
- 210000002615 epidermis Anatomy 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000004140 cleaning Methods 0.000 abstract description 24
- 230000004927 fusion Effects 0.000 abstract description 16
- 230000008447 perception Effects 0.000 abstract description 9
- 239000002245 particle Substances 0.000 description 37
- 239000000463 material Substances 0.000 description 31
- 230000036544 posture Effects 0.000 description 26
- 230000004888 barrier function Effects 0.000 description 25
- 230000008859 change Effects 0.000 description 21
- 238000001514 detection method Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 18
- 238000013500 data storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 239000000919 ceramic Substances 0.000 description 8
- 239000002453 shampoo Substances 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 238000005498 polishing Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 244000078534 Vaccinium myrtillus Species 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000004744 fabric Substances 0.000 description 4
- 239000008267 milk Substances 0.000 description 4
- 210000004080 milk Anatomy 0.000 description 4
- 235000013336 milk Nutrition 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241000406668 Loxodonta cyclotis Species 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 3
- 239000004020 conductor Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 235000003095 Vaccinium corymbosum Nutrition 0.000 description 2
- 235000017537 Vaccinium myrtillus Nutrition 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 2
- 235000021014 blueberries Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920001296 polysiloxane Polymers 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005201 scrubbing Methods 0.000 description 2
- 239000000344 soap Substances 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- -1 Cleaning pad Substances 0.000 description 1
- 229920000965 Duroplast Polymers 0.000 description 1
- 229920001875 Ebonite Polymers 0.000 description 1
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 235000004443 Ricinus communis Nutrition 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000012190 activator Substances 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 239000004411 aluminium Substances 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000418 atomic force spectrum Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 239000011083 cement mortar Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000004851 dishwashing Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000005662 electromechanics Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011151 fibre-reinforced plastic Substances 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 235000020094 liqueur Nutrition 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910001092 metal group alloy Inorganic materials 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000009991 scouring Methods 0.000 description 1
- 239000003566 sealing material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 239000002002 slurry Substances 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- UGODCLHJOJPPHP-AZGWGOJFSA-J tetralithium;[(2r,3s,4r,5r)-5-(6-aminopurin-9-yl)-4-hydroxy-2-[[oxido(sulfonatooxy)phosphoryl]oxymethyl]oxolan-3-yl] phosphate;hydrate Chemical compound [Li+].[Li+].[Li+].[Li+].O.C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP([O-])(=O)OS([O-])(=O)=O)[C@@H](OP([O-])([O-])=O)[C@H]1O UGODCLHJOJPPHP-AZGWGOJFSA-J 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
- B25J11/0085—Cleaning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/081—Touching devices, e.g. pressure-sensitive
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/085—Force or torque sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/086—Proximity sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/026—Acoustical sensing devices
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0227—Control of position or course in two dimensions specially adapted to land vehicles using mechanical sensing means, e.g. for sensing treated area
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40574—Laserscanner combined with tactile sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40625—Tactile sensor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/02—Arm motion controller
- Y10S901/09—Closed loop, sensor feedback controls arm movement
- Y10S901/10—Sensor physically contacts and follows work contour
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Acoustics & Sound (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
能够执行目标定向任务的诸如机器人的装置可以包括一个或多个触摸传感器,以接收关于环境内的对象和结构的位置的触摸感知反馈。融合引擎可以被配置为将触摸感知数据与诸如从图像或距离传感器接收的数据之类的其他类型的传感器数据组合。装置可以使用诸如贝叶斯推断模型的推断模型将距离传感器数据与触摸传感器数据组合。触摸传感器可以被安装到机器人的可调节臂上。装置可以使用其从触摸传感器和距离传感器两者接收的数据来创建其环境的地图并执行诸如清洁或移动对象的目标定向任务。
Description
相关申请的交叉引用
本申请要求2014年12月9日提交的、题为“INTELLIGENT MACHINE-BASED CLEAN-UPAND DECLUTTERING OF AN UNSTRUCTURED ENVIRONMENT(基于智能机器的非结构环境的清理及整理)”的美国临时申请No.62/089,416的申请日的优先权和权益,该临时申请以其整体内容通过引用并入本文。本申请还要求2015年1月15日提交的、题为“CLOUD-BASEDROBOTIC SOFTWARE WITH DOWNLOADABLE APPS(具有可下载APP的基于云的机器人软件)”的美国临时申请No.62/103,573的申请日的优先权和权益,该临时申请以其整体内容通过引用并入本文。最后,本申请要求2015年3月27日提交的、题为“EXTENSIONS ANDAPPLICATIONS FOR ROBOTS CAPABLE OF MANIPULATION(用于能够操纵的机器人的扩展及应用)”的美国临时申请No.62/139,172的优先权和权益,所有上文所引用的申请以其整体内容通过参考并入本文。
技术领域
本专利说明书涉及诸如机器人的机器及装置领域,所述机器人能够接收接触传感器数据以使用来自触摸传感器和图像传感器两者的数据来执行目标定向的任务。
背景技术
尽管如太空旅行、全球即时通信和自动驾驶汽车的其他科幻小说主流已经实现,但是通用家用机器人一直没有实现,即使最先进的研究型机器人也难以做简单的工作,如折叠毛巾。
特别期望自动化的一组任务是与清洁有关的任务。这涉及到移动对象,然后清洁表面,可能替换属于特定空间中的那些对象。本专利说明书描述了执行这些功能的方法和装置。
家用机器人存在于现今。现今出售的大多数家用机器人都是机器人吸尘器。这些机器人中最佳者为了地图构建的目的而感测它们的环境,但是所有家用吸尘机器人都缺少有目的地操纵对象的能力(虽然它们可能意外地将一些对象推到地板上)。
一些机器人玩具具有可以操纵小型对象的机械臂。通常,这些机器人限于远程控制操作,或有时基于传感器输入遵循决策树的简单预编程序列。在最好的情况下,这些玩具具有非常有限的感知,诸如循着张纸上所画的线,或寻找或避免光线的能力。这些玩具决不执行所期望的清洁表面或空间的任务。
已经使用包括折叠毛巾的高级任务的研究型机器人演示了更先进的感知和对象识别。然而,本专利说明书的作者尚不知道演示除自主清洁除地板之外的空间任务的任何机器人或其他设备。作者已知的最接近的现有技术包括看起来像清洁房间的PR1研究型机器人的视频,该机器人实际上由其中一个研究人员遥控。作者已知的其他现有技术包括是由加利福尼亚州的门洛帕克(Menlo Park)的SRI建造的、被称为“Fetch”的机器人,该机器人可以抓握并拾取对象并标识它们。这种机器人不包括随后将对象放好的能力,并且不具有任何清洁表面的能力。本专利说明书中所描述的技术中的一项是触摸感知。一些研究人员已经经常在包括触觉学的遥控应用的上下文中演示了触摸的感测。然而,除吸尘机器人上的碰撞开关外,本专利说明书的作者尚不知道用于自主对象和/或环境识别的触摸感知的任何演示。
因此,需要可以用于自主对象和/或环境识别的机器人感知的新颖方法。进一步需要将触摸传感器数据与视觉传感器数据组合以自主地执行活动的新颖方法。
发明内容
本发明的一个目的是提供一种能够执行目标定向任务的诸如机器人的装置。在一些实施例中,该装置使用一个或多个触摸传感器以接收关于环境内的对象和结构的位置的触摸感知反馈。在优选的实施例中,该装置可以包括融合引擎,以将触摸感知数据与其他类型的传感器数据(诸如从图像或距离传感器接收的数据)组合。在一些实施例中,该装置可以使用贝叶斯推断模型将距离传感器数据与触摸传感器数据组合。在另外的一些实施例中,触摸传感器可以被安装到机器人的臂上,以检测压力的水平和压力的方向。该装置然后可以使用其从触摸传感器和距离传感器两者接收的数据来创建其环境的地图并执行诸如清洁或移动对象的目标定向任务。
附图说明
本发明的一些实施例被图示为示例并且不受附图的限制,在附图中相同的附图标记可以指示相似的元件,并且其中:
图1:图1描绘了根据本文所描述的各种实施例的、包括可动臂的可动机器人装置的一个示例的透视图。
图2:图2图示了示出根据本文所描述的各种实施例的可动机器人装置的一个示例的元件中的一些元件的框图。
图3:图3示出了根据本文所描述的各种实施例的可动机器人装置的处理单元的一个示例可包括元件中的一些元件的框图。
图4:图4描绘了根据本文所描述的各种实施例的可动臂的一个示例的透视图。
图5:图5图示了根据本文所描述的各种实施例的、包括机电表皮的触摸传感器的一个示例的透视图。
图6:图6示出了根据本文所描述的各种实施例的、可以联接到可动臂的执行器套件的一个示例的透视图。
图7:图7描绘根据本文所描述的各种实施例的、图6的执行器套件移除示例性附件底座后的透视图。
图8:图8图示了根据本文所描述的各种实施例的、图6的执行器套件移除示例性附件底座和示例性触摸传感器外盖后的透视图。
图9:图9示出了根据本文所描述的各种实施例使用离散二维扫描仪对对象的两个示例扫描,扫描仪的扫描可以用于环境地图构建。
图10:图10描绘了根据本文所描述的各种实施例的数据对象的对象库的一个示例的框图。
图11:图11图示了图示有根据本文所描述的各种实施例的、可以用作软件规则引擎并且可以提供机器人触摸感知的一些模块的框图。
图12:图12示出了根据本文所描述的各种实施例的、用于组合传感器数据以执行目标定向的动作的方法的一个示例的框图。
具体实施方式
本文所使用的术语仅为了描述特定实施例的目的,而不旨在限制本发明。如本文所使用的,术语“和/或”包括相关联的所列举的项中的一个或多个的任何及所有组合。如本文所使用的,单数形式旨在包括复数形式以及单数形式,除非上下文明确指示了其他情形。应当进一步理解,术语“包括”和/或“含有”当用在本说明书中时指明所陈述的特征、步骤、操作、元件和/或部件的存在,但不排除存在或添加一个或多个其他的特征、步骤、操作、元件、部件和/或它们的组。
除非另有定义,本文所使用的所有术语(包括技术术语和科学术语)具有由本发明所属于的领域的普通技术人员所通常理解的相同的含义。应当进一步理解,诸如通常使用的字典中所定义的那些术语应当被解释为具有与它们在相关领域及本公开的上下文中的含义一致的含义,并且不应当以理想化或过于形式的意义来解释,除非本文明确地这样定义。在描述本发明中,应当理解,公开了许多技术和步骤。这些中的每一个具有各自的益处,并且每一个可以结合其他所公开的技术中的一项或多项或者在一些情况下所有其他所公开的技术来使用。因此,为了清楚起见,本说明书将避免以不必要的方式重复单个步骤的每个可能组合。然而,应当以这样的组合全部在本发明和权利要求的范围之内的理解来阅读说明书和权利要求。
本文公开了使用机器人感知来创建环境的环境地图的新方法。在以下描述中,为了说明的目的,阐述了许多具体细节,以便提供对本发明的透彻理解。然而,对本领域技术人员来说明显的是本发明可以在没有这些具体细节的情况下被实践。
本公开应当被认为是本发明的范例,而不旨在将本发明限制为由下文的图片或描述图示的具体实施例。
现在将通过示例并通过参考表示优选及备选的实施例的所附图片来描述本发明。图1图示了根据各种实施例的可动机器人装置(“机器人”)100的一个示例。在一些实施例中,机器人可以是能够执行任务的任何机器或装置。在由图1所示的非限制性示例中,机器人100包括具有可动臂(“臂”)200的主体11,可动臂200可操作地联接到主体11。一个或多个运送器12可以有助于机器人100跨过诸如地面和地板的表面的运动和/或通过空气的(诸如推进器和其他空气运输使能装置),一个或多个运送器12也可以联接到主体11。主体电动机33可以联接到一个或多个运送器12并且被配置为操作运送器12。在备选实施例中,主体11可以不可动的,并且机器人100可以使可动臂200大体上静止。电源32可以向处理单元21提供电力,处理单元21可以与主体11和/或臂200的功能元件电气通信。臂200可以在近端211处联接到主体11并在远端212处联接到执行器套件220,其中一个或多个零件206和关节201将近端211连接到远端212。附件300可以联接到执行器套件220(诸如联接到附件底座221),附件300可以被引导与可能在环境中发现的对象401和表面处于接触。机器人100还可以包括可以接收触摸输入的一个或多个触摸传感器35、36,触摸输入可以用于形成环境以及可能在环境中发现的对象401和表面的地图。另外,机器人100可以包括可以提供距离信息的距离传感器37,距离信息也可以用于形成环境以及可能在环境中发现的对象401和表面的地图。
图2图示了示出根据本文所描述的各种实施例的可动机器人装置100的一个示例的元件中的一些元件的框图。在优选实施例中,机器人100可以包括一个或多个控制输入31、处理单元21、电源32、主体电动机33、臂电动机34、主体触摸传感器35、臂触摸传感器36、距离传感器37和/或麦克风38。本领域普通技术人员应当理解,图2以草图的方式描绘了机器人100,而实际实施例可以包括附加的部件或元件,并且被适当地配置为支持本文未详细描述的已知或常规的物理部件及操作特征。
优选地,机器人100可以包括用户可以与之交互的一个或多个控制输入31,诸如可转动的控制旋钮、可按压的钮扣式开关、滑动式开关、翘板式开关或可以用于将用户输入电传达到机器人100(诸如,到处理单元)的任何其他适当的输入。例如,控制输入31可以包括由用户操纵以控制机器人100的功能的开关。
在一些实施例中,机器人100可以包括电源32,其可以向可能需要电力的任何部件提供电力。电源32可以包括诸如锂离子电池、镍镉电池、碱性电池之类的电池,或任何其他适当类型的电池、燃料电池、电容器,或任何其他类型的能量存储和/或电力释放设备。在另外的一些实施例中,电源32可以包括电源线、动能或压电电池充电设备、太阳能电池或光伏电池、和/或感应式充电或无线功率接收器。
在一些实施例中,机器人100可以包括一个或多个主体电动机33,其可以用于通过一个或多个运送器12来移动机器人100。主体电动机33可以包括有刷DC电动机、无刷DC电动机、开关磁阻电动机、交直流两用电动机、AC多相鼠笼或绕线转子感应电动机、AC SCIM分相电容器起动电动机、AC SCIM分相电容器运转式电动机、AC SCIM分相辅助起动绕组电动机、AC感应罩极电动机、绕线转子同步电动机、磁滞电动机、同步磁阻电动机、盘式或轴向转子电动机、步进电动机或者任何其他类型的电动或非电动机。一个或多个运送器12可以被配置为有助于机器人100跨过表面的运动。在一些实施例中,运送器12可以包括轮子(如由图1的示例所示的)、脚轮、履带或轨道、低摩擦衬垫或减震器、低摩擦板、滑板、浮筒、或被配置为减小机器人100与期望在之上移动的表面之间的摩擦的任何其他的适当设备。在另外的一些实施例中,运送器12可以包括推进器、小型化的喷气发动机、或可以允许机器人100飞行或起类似于无人驾驶飞机操作的任何其他的空气运输使能设备。在另外的一些实施例中,运送器12可以包括翼片、喷水器、螺旋桨、或可以允许机器人100在水面上或水面下运动的任何其他的水运输使能设备。在另外的一些实施例中,运送器12可以包括火箭及离子推进器、陀螺仪、或可以允许机器人100在空间中运动的任何其他的空间运输使能设备。
在一些实施例中,机器人100可以包括一个或多个臂电动机34,其可以用于移动臂200的一个或多个零件206和/或其他部件。臂电动机34可以包括诸如可以用于主体电动机33的任何适当类型的电动机。在优选的实施例中,臂电动机34可以包括致动器,致动器可以由通常为电流、液压流体压力或气动压力的能量源来操作并将该能量转换成运动。致动器的示例可以包括:梳状驱动器,数字微镜装置,电动机,电活性聚合物,液压缸,压电致动器,气动致动器,伺服机构,热双压电晶片,螺旋千斤顶,或任何其他类型的液压、气动、电动、机械和磁性类型的致动器。
在一些实施例中,机器人100可以包括一个或多个主体触摸传感器35和/或臂触摸传感器36。通常,触摸传感器35、36可以检测对象或表面与触摸传感器35、36所联接到的部件之间的接触。在优选实施例中,触摸传感器35、36可以被配置为当表面或对象与触摸传感器35、36所联接到的部件接触时检测对象或表面与触摸传感器35、36所联接到的部件之间的力或压力。主体触摸传感器35可以联接到机器人100的主体11,并且可以被配置为在对象或表面与主体11的主体触摸传感器35所联接到的部件之间接触期间检测接触和/或压力。臂触摸传感器36可以联接到机器人100的臂200,并且可以被配置为在对象或表面与臂200的臂触摸传感器36所联接到的部件之间接触期间检测接触和/或压力。
在一些实施例中,机器人100可以包括一个或多个距离传感器37。距离传感器37可以包括诸如固定的(单束)或旋转的(扫掠的)飞行时间(TOF)或基于结构光的激光测距仪、3D高清晰度LiDAR、3D闪光激光雷达、2D或3D声呐传感器之类的传感器以及一个或多个2D相机。另外,距离传感器37还可以包括被动热红外传感器、光电池或反射传感器、雷达传感器、电离辐射传感器的反射,诸如主动或被动的声呐传感器、超声波传感器、光纤传感器、电容性传感器、霍尔效应传感器、或能够在没有任何物理接触的情况下检测附近对象和表面的存在的任何其他传感器。通常,距离传感器37可以包括能够提供描述距离传感器37与所检测的对象或表面之间的距离的信息的任何类型的传感器。
在一些实施例中,机器人100可以包括一个或多个麦克风38。麦克风38可以被配置为拾取或记录来自机器人100周围的环境的音频信息,并且优选地来自向机器人100说话或发出语音命令的用户的音频信息。在优选实施例中,麦克风38可以包括将空气中的声音转换成电信号的任何声电换能器或传感器。在另外的一些实施例中,麦克风38可以包括诸如电磁感应麦克风(动态麦克风)、电容改变麦克风(电容器麦克风)和压电性麦克风(压电麦克风)的任何类型的麦克风,以从空气压力变化产生电信号。在另外的一些实施例中,麦克风38可以与机器人100处于网络通信中,并且可以包括使用数字通信来发送信息的麦克风,包括遥控器、智能电话、平板计算机、膝上型计算机、和具有将声音转换成数据分组以用于传送到机器人100(诸如通过有线或无线连接)的能力的其他类似的电子设备中的麦克风,包括在传达到机器人100之前由含有麦克风的电子设备执行预处理(包括语音识别)的实施。
图3描绘了根据本文所描述的各种实施例的可动机器人装置100(图1和图2)的处理单元的一个示例可包括元件中的一些的框图。在一些实施例中以及在本示例中,机器人100可以是数字设备,其在硬件架构方面包括通常含有一个或多个处理器22的一个或多个处理单元21,以及可选地输入/输出(I/O)接口30、可选无线电23、数据存储装置24和存储器25。本领域普通技术人员应当理解,图3以草图的方式描绘了处理单元21,并且实际实施例可以包括附加的部件或元件以及适当配置的处理逻辑,以支持本文中未详细描述的已知或常规的操作特征。部件和元件(22、30、23、24和25)经由本地接口26而通信地耦合。如本领域已知的,本地接口26可以例如但不限于是一个或多个总线或其他有线或无线连接。本地接口26可以具有诸如控制器、缓冲器(高速缓存)、驱动器、中继器和接收器等的附加元件(为了简单起见省略了这些元件),以实现通信。另外,本地接口26可以包括地址、控制和/或数据连接,以实现上述部件间合适的通信。
处理器22是用于执行软件指令的硬件设备。处理器22可以是任何定制或商业上可获得的处理器、中央处理单元(CPU)、与处理单元21相关联的多个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、或通常用于执行软件指令的任何设备。当处理单元21处于操作中时,处理器22被配置为执行存储在存储器25内的软件,以向存储器25传达数据并传达来自存储器25的数据,并且从而按照软件指令来总体上控制机器人100的操作。在一个示例性实施例中,处理器22可以包括针对功耗和移动应用而优化的移动优化处理器。
I/O接口30可以包括一个或多个控制输入31、处理单元21、电源32、主体电动机33、臂电动机34、主体触摸传感器35、臂触摸传感器36和/或距离传感器37。I/O接口30可用于接收和记录环境信息并控制机器人100的一个或多个功能,以允许其通过环境来交互并移动。I/O接口30还可以包括例如串行端口、并行端口、小型计算机系统接口(SCSI)、红外(IR)接口、射频(RF)接口、通用串行总线(USB)接口等,其可以用于向诸如计算机设备、编程单元和控制器的其他电子设备发送和接收数据。
可选无线电23实现到外部接入设备或网络的无线通信。在一些实施例中,无线电23可以在WIFI频带上操作,并且可以通过无线网络与一个或多个电子设备通信,从而允许由机器人100发送和接收数据。无线电23可以支持任何数目的适当的无线数据通信协议技术或方法,包括但不限于:RF;IrDA(红外);蓝牙;ZigBee(以及IEEE802.15协议的其他版本);IEEE 802.11(任何版本);IEEE 802.16(WiMAX或任何其他版本);直接序列扩频;近场通信(NFC);跳频扩频;长期演进(LTE);蜂窝/无线/无绳电信协议(例如3G/4G等);无线家庭网络通信协议;寻呼网络协议;磁感应;卫星数据通信协议;诸如那些在WMTS频段中操作的无线医院或医疗保健设施网络协议;GPRS;诸如无线USB的版本的专有无线数据通信协议;以及用于无线通信的任何其他协议。
数据存储装置24可以用于存储数据。数据存储装置24可以包括易失性存储器元件(例如,随机存取存储器(诸如DRAM、SRAM、SDRAM等的RAM))、非易失性存储器元件(例如,闪存、ROM、硬盘驱动器、磁带、CDROM等)及其任何组合。此外,数据存储装置24可以包含电子、磁性、光学和/或其他类型的存储介质。
存储器25可以包括易失性存储器元件(例如,随机存取存储器(诸如DRAM、SRAM、SDRAM等的RAM))、非易失性存储器元件(例如,ROM、硬盘驱动器等)及其任何组合。此外,存储器25可以包含电子、磁性、光学和/或其他类型的存储介质。注意,存储器25可以具有分布式架构,其中各种部件彼此远离地定位,但是可以由处理器22访问。存储器25中的软件可以包括一个或多个软件程序,其中每个软件程序包括用于实现逻辑功能的可执行指令的有序列表。
在图3的示例中,存储器系统25中的软件包括适当的操作系统(O/S)27和程序28。操作系统27本质上控制输入/输出接口30功能的执行,并提供调度、输入输出控制、文件和数据管理、存储器管理以及通信控制及有关服务。操作系统27可以是例如LINUX(或另一UNIX版本)、安卓(可从Google获得)、塞班OS、机器人OS(ROS)、微软Windows CE、微软Windows 7移动、iOS(可从苹果公司获得)、webOS(可从惠普公司获得)、黑莓OS(可从黑莓公司获得)等。程序28可以包括被配置为向设备100提供终端用户功能的各种应用、扩展等。例如,示例性程序28可以包括但不限于环境变量分析、环境地图构建以及输入/输出接口30功能的调制。在如图11所示的典型示例中,用于机器人触摸感知的程序28可以包括地图构建模块600,地图构建模块600可以进一步包括地图构建引擎601、触摸引擎602、距离引擎603、融合引擎604和/或功能等价物。
另外,许多实施例从要由例如计算设备的元件执行的动作序列的角度来描述。应当认识到,本文所描述的各种动作可以通过特定电路(例如,专用集成电路(ASIC))、通过由一个或多个处理器执行的程序指令或通过两者的组合来执行。此外,本文所描述的这些动作序列可以被认为全部体现在任何形式的计算机可读存储介质内,计算机可读介质具有存储于其中的对应计算机指令的集合,计算机指令在执行时将使得相关联的处理器执行本文所描述的功能。因此,本发明的各种方面可以被体现在许多不同的形式中,所有这些形式都被认为在所要求保护的主题的范围之内。另外,对于本文所描述的实施例中的每一个,任何这样的实施例的对应形式在本文中可以被描述为例如“被配置为”执行所描述的动作的“逻辑”。
处理单元21还可以包括耦合到总线的主存储器,以用于存储信息以及要由处理器22执行的指令,主存储器诸如随机存取存储器(RAM)或其他动态存储设备(例如,动态RAM(DRAM)、静态RAM(SRAM)及同步DRAM(SDRAM))。另外,主存储器可以用于在处理器22执行指令期间存储临时变量或其他中间信息。处理单元21可以进一步包括耦合到总线的只读存储器(ROM)或其他静态存储设备(例如,可编程ROM(PROM)、可擦除PROM(EPROM)及电可擦除PROM(EEPROM)),以用于存储用于处理器22的静态信息和指令。
在一些实施例中,机器人可以包括检测机器人与环境中的对象或表面之间的接触的能力。这种接触检测可以通过诸如主体触摸传感器35和/或臂触摸传感器36的一个或多个触摸传感器来实现。在另外的一些实施例中,触摸传感器35、36可以通过检测机器人100上的表面的位移,例如减震器的按压、机电表皮组件50(图5)的变形,或能够在设备与对象或表面之间接触时提供电气通信的其他机电检测设备来操作。在另外的一些实施例中,触摸传感器35、36可以通过检测施加到机器人100上的关节的力大于通常移动关节所需的力来操作。在另外的一些实施例中,触摸传感器35、36可以通过检测机器人上的致动器正施加的力来操作,例如通过直接测量扭矩,或例如通过测量由致动器所需的电流,或例如通过测量目标位置与致动器的实际位置之间的误差。在另外的一些实施例中,触摸传感器35、36可以包括光学或超声波传感器,其可以能够通过检测非常紧密的接近来检测机器人100的一部分与环境中的对象或表面之间的接触。
在一些实施例中,检测机器人100上的致动器正施加的力可以通过测量流过臂200中的一组电动机34或致动器(其示例在图1和图4中示出)的电流来实现,在地面连接处将由该组致动器施加的力确定为一组。图1和图4示出了根据本文所描述的各种实施例的附接到机器人100的主体11的臂200的一个示例。臂200可以包括任意数目的关节,在这一图示中由具有一个或多个臂电动机34的铰链关节201来表示关节,一个或多个臂电动机34控制一个或多个铰链关节201的运动。在这一示例中,臂200施加所示方向上的力299,其中阻力以相等的大小施加在相反的方向上。臂200可以包括诸如一个、二个、三个、四个、五个、六个、七个或更多个的任何数目的关节201、臂电动机34和/或零件206。应当理解,本文所描述的臂200是示例性的,并且可以使用任何其他类型或式样的铰接或非铰接的臂,包括通过伸缩零件而不是通过旋转关节而移动的臂。
在一些实施例中,对环境中的表面和对象的感知可以使用由一个或多个触摸传感器35、36提供的触摸数据和/或使用由一个或多个距离传感器37提供的距离数据来实现。在另外的一些实施例中,机器人100可以使用触摸数据和/或距离数据来创建表示在该处已经检测到障碍物(例如,表面和对象)的位置的数据结构。该数据结构可以是局部环境的映射,并且在本文中有时被称为“地图”。这样的地图的一种表示是数字的2或3维数组,所述数字指示特定特征(例如墙)在特定位置(由数组下标表示)中的可能性。地图可以采用本领域技术人员已知的其他形式,诸如地图中非零位置的数组或链表。
在一些实施例中,针对机器人100的不同姿态(即,位置和取向)来创建局部环境的地图。例如,机器人100可以处于一个姿态中并使用由触摸传感器35、36接收的触摸数据,来构建由可动臂200可到达的区域的地图,然后转动或移动到不同的姿态并构建由臂200可到达的新区域的地图。在一些实施例中,这些地图可以例如通过使用航位推算(诸如,当移动机器人100时,诸如车轮的运送器12(图1)转动多远)而被融合到一起,以算出地图之间的近似关系,通过如图像处理领域的技术人员所熟知的那样使用例如运动估计算法来匹配两个地图的重叠特征,从而来执行地图的彼此精细调整。
在一些实施例中,可以使用触摸传感器35、36和诸如距离传感器37的非触摸传感器的组合来构建地图。例如,距离传感器37可以包括3D激光距离传感器,其可以用于提供可以用于构建远距对象402(图9)和近距对象401(图1)的地图的距离数据。来自触摸传感器35、36的触摸数据可以用于构建近距对象401、402的地图。近距对象401、402的地图可以包括对于距离传感器37不可获得的信息(诸如对象401、402的背侧的形状之类的),或关于质地的信息(诸如水泥浆或少量的浮垢的位置之类)。相反地,距离传感器37可以提供不能通过触摸获得的数据,诸如触摸传感器35、36不能触及的特征的位置,或者关于尚未被触摸的特征的数据。在一些实施例中,来自从触摸传感器和非触摸传感器提供的数据的特征被置于分离的地图上,然后通过触摸传感器35、36与非触摸传感器37之间的位置校准的知识的组合,和/或通过基于两个地图上都显现的特征而将地图对齐,从而将所述分离的地图处理为一个融合的地图。特别地,粗略融合可以通过触摸传感器35、36与非接触传感器37之间的位置校准的知识而出现,而地图的相对位置的精细调整通过匹配两个地图上都显现的特征而发生。
在一些实施例中,触摸传感器35、36和非触摸传感器37可以将它们的数据直接放置在同一地图上。在一些实施例中,来自触摸传感器35、36和非触摸传感器37的数据可以分别被标记为基于触摸和基于非触摸。例如,来自基于触摸的传感器35、36的数据可以被标记为基于触摸的数据,而来自基于非触摸的距离传感器37的数据可以被标记为基于非触摸的数据。
在另外的一些实施例中,机器人100的位置和姿态可以通过触摸其周围的对象401、402以使用触摸传感器35、36获得触摸数据来确定。对象401、402的位置和结构可以随着触摸数据的获得而同时确定。这可以使用诸如贝叶斯推断的本领域技术人员已知的技术来完成。贝叶斯推断可以通过遗传算法(诸如粒子滤波)或明确定义的预测建模(诸如卡尔曼滤波)来实现。距离或基于非触摸的数据、以及来自触摸传感器35、36的数据或基于触摸的数据可以使用它们的准确性和精度的统计期望通过贝叶斯推断来组合它们,从而被融合成单一数据模型。在一些其他实施例中,基于触摸的数据和基于非触摸的数据可以使用诸如频率推断、倾向推断或信念状态推断的任何其他类型的统计推断来融合。
为了导航的目的,使用粒子滤波器和其他遗传算法来构建二维或三维空间的地图可以被称为SLAM,其代表即时定位与地图构建。一些SLAM实现使用旋转激光距离传感器,其读取各个方向上距离的连续流。SLAM也可以使用来自诸如3D深度传感器的距离传感器37的数据或RGB视频的特征分类来应用。
在本文所描述的机器人触摸感知的一些实施例中,粒子滤波可以用于生成机器人100的位置和取向的统计似然模型。在本领域中,位置和取向的组合被称为“姿态”。当使用粒子滤波时,关于机器人100姿态(诸如主体11或臂200的姿态之类)的猜测被称为“粒子”。对于这些粒子中的每一个,距离传感器37的距离数据或邻近数据被绘制在地图上。连续距离数据与地图一致的粒子被认为更有可能是正确的,因此概率计数器增加,而显示了不一致数据的粒子被认为不太可能是正确的,因此概率计数器减小。当概率计数器小于截止值时,该粒子被认为是确认不正确的,并被新的粒子代替。同时,距离数据最常被标识为在环境中不变的、诸如墙壁和静止对象401、402(从现在起将被称为障碍物)的位置,被认为更有可能是实际的障碍物,因此与在该位置处具有障碍物相关联的概率计数器增加,而不一致地具有落在其上的距离读数的位置被认为不太可能是障碍物位置,因此与在该位置处具有障碍物相关联的概率计数器减小。
包括障碍物的环境的相当好的地图以及关于机器人100的姿态的非常好的猜测非常快地出现。所得到的障碍物地图连同最可能的姿态一起可以用于导航机器人100通过环境。所有这些都是现有技术,并且是本领域中的任何人所已知的。数学家将这种一般类型的问题描述为同时推断两个问题的解决方案—在这一情况下的两个问题是障碍物的位置和机器人的姿态。数学家可能将粒子滤波所属的解决方案的种类称为期望最大化(EM)算法。存在落入可以同样用于解决这类问题的属于一般类别的EM算法的其他技术,诸如卡尔曼滤波。另外,可以存在也可以使用的其他贝叶斯推断技术。以下描述基于粒子滤波,但是本领域技术人员应当认识到,可以等价地使用任何其他的EM算法、贝叶斯推断算法或可以同时解决两个或更多个概率问题的任何其他技术。
必须由包括可动臂的机器人解决的问题比简单的导航问题更复杂。如果这样的机器人是移动的,则可以使用距离传感器37和标准SLAM来确定其姿态以及墙壁和障碍物的位置。然而,这样的机器人还可以在3D空间内构建障碍物(例如墙壁和对象)的位置的地图。被描述为离散网格位置的3D地图可以被称为体素地图,在体素地图中,这样的地图元素是体素。3D地图的其他表示是本领域技术人员已知的。例如,非离散坐标的集合被称为点云,其中每个坐标元素是点。另一3D地图格式是使用单位法向量和集合顶点而定义的多边形表面的集合,作为表面图。各种形式的地图构建还可以向集合中的每个元素添加附加信息,诸如统计置信度和最后观察时间。为了说明的目的,以下讨论将基于体素地图,但是本领域技术人员应当认识到,讨论可以取代地映射到地图的任何表示,诸如点云、表面地图或尚未讨论的其他的地图表示。
地图可以包括障碍物的特性,例如当按压时它们是否移动。在一些实施例中,地图可以利用由诸如深度相机的距离传感器37捕获的距离数据来创建,距离数据被映射到三维地图数据结构上。在另外的一些实施例中,距离传感器37的姿态可以通过另一手段来确定,例如通过标准2D SLAM技术。一种或多种EM算法可以应用于来自距离传感器37的距离数据。例如,如果EM算法被实现为粒子滤波,则对于由距离传感器37捕获的每个数据点,用于二维或三维地图数据结构中的对应的体素或其他地图元素的似然计数器增加。同时,用于位于距离传感器37的路径中但未被距离传感器37读取为表面的体素或其他地图元素的似然计数器减少。
在优选实施例中,诸如深度相机的距离数据测量设备距离传感器37可以安装在可动臂200上,可动臂200又安装或联接到机器人100的移动主体11,如图1所示。在另外的一些实施例中,标准SLAM技术可以用于确定主体11的姿态,并且臂200上的关节201的测量的位置(诸如通过使用旋转编码器而测量每个关节201的位置)可以用于确定臂200的元件相对于主体11的姿态。主体11的姿态可以与臂200相对于主体11的姿态在数学上组合,以确定臂200相对于整体环境的姿态。
在一些实施例中,臂200相对于主体11的姿态可以使用被称为为视觉伺服的技术来确定,其中将被称为基准的独特视觉标志被放置在臂200上并由相机追踪。
在一些实施例中,环境的地图和臂200的姿态可以使用EM算法来确定。在另外的一些实施例中,粒子滤波可以用于创建地图并确定臂200的姿态。例如,可以为臂200的可能位置创建粒子。到最近的障碍物的距离和方向的一个或多个元组可以通过以下方式来测量:例如通过使用深度相机距离传感器37来一次性确定多个方向上到最近障碍物的距离,或者通过使用距离传感器37来确定单个方向上到最近障碍物的距离。元组和粒子的每个组合可以与最近障碍物的位置的概率的3D地图进行比较。如果元组和粒子的组合指示了可能是最近障碍位置的位置,那么粒子似然的度量可以增大,而如果元组和粒子的组合指向不太可能是最近的障碍物位置的位置,那么粒子似然的度量可以减小。增大或减小可以与似然成比例。给定体素或其他地图元素是最近障碍物的位置的概率、与元组和粒子指示其是最近障碍物的位置的体素或其他地图元素的组合的数目成比例地增加。没有指示其是最近障碍物的位置的元组和粒子组合的体素或其他地图元素可以降低其概率度量。被认为非常不可能的粒子可以被具有被认为更有可能的姿态的颗粒代替。在优选实施例中,每个距离传感器37读取一次,可以反复地重复这些步骤。机器人臂200的姿态可以被认为是具有最高似然度量的粒子的姿态。在一些实施例中,粒子概率被报告给软件的更高级别。在一些其他实施例中,可以使用除粒子过滤之外的技术,并且它们在功能上是等价的。
在一些实施例中,可以根据用于机器人100和/或臂200的姿态的最高似然粒子的正确性的概率进行决策。该决策可以包括以下各项中的一个或多个:关于是否继续第一操作(诸如擦拭)或执行第二操作(诸如校准)的决策,在第二操作之后返回到第一操作;关于是否暂停以允许粒子似然由于持续的传感器读数而稳定下来从而允许改进地图的决策;和/或由于位置确定的不确定性而放弃当前操作的决策。
对于标准2D SLAM,初始及替换粒子的选择可以通过适当的方法来实现。例如,如果机器人100的位置被认为是已知的,则针对机器人100的位置和取向选择与机器人100在最近的扫描中具有相同且几乎相同的位置和取向的粒子,以及针对当前SLAM例如通过应用通过机器人的驱动轮或其他运送器12的转动所期望的运动矢量而预测的用于位置和取向的粒子。如果机器人100的位置是未知的,则通常为可能空间内的一些数目的随机位置和取向产生颗粒。
在一些实施例中,确定臂200的三维姿态的方法可以包括基于臂200的弹性或弹力产生表示臂200的位置的颗粒,诸如通过可选地基于机器人臂的基于物理的数学模型来计算当臂200由于缺乏刚性而上下弹跳和/或从一侧弹到另一侧时臂200的端部的可能位置的近似。
在一些实施例中,确定臂200的三维姿态的方法可以包括基于臂200的端部卡住而产生颗粒。例如,臂200可以被命令移动,但部分的臂可能不能移动,因此机器人主体11可以例如通过旋转而被移动。
在一些实施例中,距离测量使用由一个或多个触摸传感器35、36提供的基于触摸的数据来执行。一个或多个触摸传感器35、36可以位于机器人100上的任何地方,诸如沿着臂200和/或主体11的任何位置。触摸传感器35、36可以是能检测机器人100的部件与其环境之间的紧密接近或机械接触的任何传感器。这被理解为还包括通过测量触摸的结果来间接检测触摸、接近和/或接触的传感器,例如检测机器人手臂200撞击表面的声音的声音传感器,或数据可以被检查用于指示与表面接触的加速度尖峰的加速度计,或在接触表面时在所报告的数据中具有类似尖峰的压力或应变测量器。触摸传感器35、36还可以包括但不限于电容性触摸传感器、压力传感器(诸如力敏电阻器和称重传感器)和/或诸如通常可获得的光学接近传感器的短距离二元接近传感器。
在一些实施例中,环境的地图以及臂200和/或主体11的姿态可以使用由一个或多个触摸传感器35、36提供的触摸数据来确定。例如,可以针对臂200的可能位置产生粒子。每个触摸传感器35、36的移动的预期方向可以基于用于臂关节201中的每一个的臂电动机34速度和/或用于主体11运送器(诸如驱动轮)的主体电动机33速度来计算。移动的预期方向可以与触摸传感器35、36是否检测到与对象401、402的接触的二元度量结合。该方向和二元度量可以组合成元组,其可以以与前面针对基于距离传感器的元组所描述的完全相同的方式使用。
在一些实施例中,基于触摸传感器35、36数据的元组及基于距离传感器37距离数据的元组可以使用相同的3D障碍物概率地图来处理。在另外的一些实施例中,元组可以基于多个因子而被分配可靠性得分。例如,来自一个或多个触摸传感器35、36的触摸数据可以被认为比由一个或多个距离传感器37提供的距离数据更准确和可靠。在这样的情况下,触摸数据元组可以以如下因子增加概率,该因子从来自距离数据元组的概率增长按比例放大,例如每个触摸元组可以以距离数据元组的改变的两倍来影响地图上的概率。概率缩放因子可以根据不同的情况而不同。这样的情况可以包括传感器35、36、37的位置。例如,主体11上的触摸传感器35、36可能具有非常高的概率缩放因子,因为它的位置是众所周知的,而臂200的端部上的触摸传感器35、36可能具有较低的概率缩放因子,因为其位置更不确定。这样的情况还可以包括机器人臂200的位置。例如,如果机器人臂200在处于折叠位置时比在处于伸展位置时具有臂位置的更精确地检测,则概率缩放因子可以相应地基于臂200的位置而改变。
在优选的实施例中,以下示例性传感器配置中的一个或多个可以通过期望的概率缩放因子促成环境的单个3D障碍物概率地图:安装在机器人臂200上的深度相机距离传感器37;安装到机器人臂200的端部的一组臂触摸传感器36,其测量施加到安装到附件底座221的附件300(诸如清洁垫或其他表面接口)的压力;沿着臂200的一组臂触摸传感器36,包括在一个或多个关节201处的一个传感器;在主体11的外围上的一组主体触摸传感器35;和/或检测诸如将在楼梯的飞行中发生的那样的地板下降的二元传感器。
在一些实施例中,机器人将其臂的端部移动跨过表面,例如以擦拭表面。在另外的一些实施例中,压力传感器35、36可以是多维的,并且可以用于在移动期间测量压力。多维压力传感器35、36可以检测以下方向中的一个或多个方向上的压力,为了说明的目的相对于具有垂直于表面而施加的压力的擦拭垫来描述以下方向。例如,多维压力传感器35、36可以联接到附件底座221,诸如清洁或抛光垫的附件300可以附接到附件底座221。多维压力传感器35、36然后可以检测压力,诸如垫的顶部或底部的法向压力、垫的左侧或右侧的法向压力、将垫向左或向右旋转的压力、平行于垫的上边缘或下边缘的压力、平行于垫的左边缘或右边缘的压力。
在一些实施例中,控制回路可以用于控制臂200的端部在其移动跨过表面时的压力。可以利用任何类型的控制回路。用于物理致动系统的常见类型的控制回路被称为PID(比例、积分和微分)回路,然而存在可以同样好地使用的许多其他种类的控制回路。在另外的一些实施例中,机器人100被配置为通过使用控制回路(诸如使用一组触摸传感器36的PID回路)来移动诸如平垫、其他平坦对象或旋转擦洗刷的附件300,附件300可以固定到臂200上的附件安底座221,并且可以垂直于具有复合曲线的对象,触摸传感器诸如那些检测垂直于垫的顶部/底部和左侧/右侧的压力的传感器。在优选实施例中,垫可以具有检测垂直于垫的压力的三个触摸传感器输入。这三个传感器可以形成三角形。通过简单的算术,这三个传感器36可以用于计算垂直于垫的上部、垫的下部、垫的左部和垫的右部的压力。
在诸如上文所讨论的控制回路中,计算误差(所期望的值减去实际值),控制器试图通过改变诸如电动机33、34的有源元件的状态或位置来最小化所述误差。在上文所描述的控制回路中,误差是方向中的每一个方向上所期望的压力减去实际压力,并且控制器控制电动机以最小化该误差。在一些实施例中,控制回路误差可以用作触摸传感器读数。例如,显示了预期的或高的压力的控制回路误差表示指示表面被触摸的读数,而指示低于目标压力(例如零压力)的规定量的压力表示指示表面未被触摸的读数。在一些其他实施例中,触摸数据可以来自以下各项中的一项或多项:来自用于擦拭垫或探针的控制回路的误差读数,来自为了确定障碍物的位置的目的而明确进行的触摸的触摸数据;偶然和未预期的积极的触摸,例如臂200在其未被预期时指示触摸;当触摸被预期时触摸的缺少,例如当臂200被认为已经移动到接触诸如桌子的表面的位置时,臂200未检测到触摸。
在一些实施例中,3D地图包括包含障碍物的位置的概率以及其他视觉信息两者,其他视觉信息可以包括但不限于:亮度、饱和度和/或色调(如将直接由诸如相机的距离传感器37测量的);透明度(例如,当光直接照射在对象后方、或者通过使光从对象后方的表面或对象反射而照射在对象后方时,亮度、饱和度和/或色调的改变);和/或变化(例如,所测量的亮度、饱和度和/或色调在读数间的标准偏差)。
在一些实施例中,可以创建触摸数据特性的3D地图。该地图可以包括当触摸时表面是否移动,可选地连同需要多少力,可选地连同当压力释放时表面是否返回到原始位置。这样的检测可以使用以下步骤来执行:将附接有压力传感器36的机器人臂200朝着表面移动,直到首次检测到压力;试图在相同的方向上进一步移动机器人臂200,直到达到规定的最大允许压力或达到规定的最大允许位移;将机器人臂200返回到首次检测到压力的位置,测量压力降至零的机器人臂200的位置。本领域技术人员应当认识到,存在将产生类似结果并在功能上等同于这一序列的其他序列的机器人臂200的移动。
在一些实施例中,可以创建诸如表面质地检测的触摸数据特性的3D地图。这样的检测可以使用以下步骤来执行:用垂直于表面的恒定力将探针或垫附件300移动跨过表面;测量移动垫或探针所需的横向力;可选地,以不同的法向力重复该过程。横向力可以与表面的粗糙度成比例,其中光滑表面要求很小的横向力来移动垫或探针,而粗糙表面可能要求更大的横向力。可以选择探针的形状以排除由小特征引起的粗糙度。如果探头是球体,则小球体可以检测包括小特征和大特征两者的粗糙度。较大的球体探针可以排除归因于基本上比球体的半径小的特征的粗糙度。可以选择各种探针形状。诸如球体之类的对称形状将相等地检测水平和垂直粗糙度,而诸如具有圆形边缘的矩形之类的非对称形状可以优先检测单个方向上的粗糙度。这样的探针可以用于检测归因于例如浴室瓷砖中的灌浆线的粗糙度。
在一些实施例中,触摸数据特性的3D地图与障碍物的概率的3D地图和/或视觉特性的3D地图中的任一个或两个一起使用。在一些实施例中,创建了臂200卡住或不能移动的位置的3D地图。这可以是可以与先前描述的3D地图中的一个或多个组合的3D体素地图。
在一些实施例中,可以通过触摸传感器35、36来检测表面材料的变化或不同类型的材料,并且可以应用也利用触摸的特殊清洁算法。为清楚起见,下文所呈现的示例谈论灌浆,但是表面材料的诸如砖头中的填缝料、砂浆等的其他变化也同样适用。为了本说明的目的,具有污垢使得光滑的表面摸上去粗糙的表面的区域(例如脏瓷砖),可以被认为是表面材料的变化(脏瓷砖与干净的瓷砖)。在优选实施例中,算法可以包括执行将探针移动跨过感兴趣的表面的机器人。探针可以包括具有如下这样的形状的对象,即当对象从例如瓷砖的表面移动到灌浆时,通过提供阻力的改变,而这样的形状能够“捕捉”材料中的一种,例如灌浆。这样的形状的一个示例将是具有半球形端部的杆,其在移动跨过被灌浆分离的瓷砖的表面时将下降到灌浆线中。这样的形状的另一示例是鬓毛刷,与存在于光滑表面上相比在粗糙表面上的横向运动将提供大的阻力。可以保持垂直于表面的恒定压力。当跨过表面改变(例如灌浆线)时,移动跨过表面所需的力将改变,并且当回到第一材料(例如瓷砖)上时,则将返回到其原始值。
在一些实施例中,探针可以在两个或更多个行进方向上移动跨过表面。力开始改变的位置可能是在材料的变化(例如灌浆)开始之后,而力开始返回到先前值的位置可能是在材料的变化(例如灌浆)结束之后。针对不同方向与位置的力曲线可以使用基于物理的模型来组合,该基于物理的模型考虑了探头形状、材料改变的区域的形状(例如,瓷砖从灌浆凸出来)和/或材料性质(例如,灌浆更粗糙,因此需要更大的力来使探针移动跨过它)。通过在材料改变(例如,灌浆)上进行两个或更多个方向,灌浆的实际位置可以被更精确地确定。
在一些实施例中,可以使用视觉系统来帮助标识材料改变(例如,灌浆)位置。通过力的改变所检测的材料改变位置可以与来自视觉系统的边缘检测数据进行比较,并且如果存在边缘,那么视觉系统边缘可以用于校正材料改变(例如,灌浆)位置。在一些实施例中,线(例如,直线)可以使用数学领域技术人员所知的标准曲线拟合技术来与视觉数据和/或基于探针的数据拟合。在另外的一些实施例中,可以制作材料改变(例如,灌浆线)的地图。
在一些实施例中,可以清洁位于主要材料的表面下方的次要材料(例如,位于瓷砖的表面下方的灌浆)。在优选实施例中,这种清洁可以由附件300执行,附件300可用作探针,诸如可以附接到机器人100(例如,附接到臂200的远端)的清洁垫、布、旋转刷或其他清洁设备。在一些实施例中,清洁垫、布、旋转刷或其他清洁设备的边缘可以被转动,以进入到次要材料形成的坑或凹陷中。在另外的一些实施例中,可以执行前后来回的擦洗动作。在又另外的一些实施例中,垫或布被施加有振动,以改善清洁。在另外的一些实施例中,次要材料(例如,灌浆)可以利用旋转刷来清洁。
图5描绘了根据本文所描述的各种实施例的包括机电表皮组件50的触摸传感器的一个示例的透视图。在一些实施例中,机器人100与其他事物(包括但不限于对象、墙壁及机器人100本身的元件)之间的碰撞可以通过柔性压敏机电表皮组件50来检测。这样的表皮组件50可以用拉伸的诸如导电硅酮或橡胶的导电表皮材料51构造,使得作为一个示例呈现为导电表面52。在一些实施例中,表皮组件50的导电表面52可以由导电材料的拉伸线53形成,例如以橡胶带形状的导电橡胶。几何形状可以被设计成使得表皮材料51的变形导致接触导电表面52,从而完成电路。检测变形的位置可以通过分割导电表皮(例如,通过具有交替的导电材料和非导电材料的条)或通过分割导电表面来完成。如果表皮51在一个方向(例如,垂直地)上被分割,并且导电表面52可以在另一个方向(例如,水平地)上被分割,则变形的完整位置信息是可获得的。可以通过具有在接触点处具有电阻的导电表皮材料51以使得连接的电阻将指示有多少表皮材料51接触导电表面52,来检测与变形有关的力的大小或区域。
在一些实施例中,被配置为提供触摸数据的机电表皮组件50也可以通过发送通过表皮51的AC信号来构造,AC信号是以最大效率与特定距离处的下面的表面共振地耦合的频率。在这种情况下,不需要两个表面51、52之间的完全接触,因为耦合的量由两个表面51、52彼此间的距离确定,该距离又受到表皮组件50所施加的压力的影响。
现在转到图1及图6-图8,在优选实施例中,机器人100可以被配置为移动诸如平垫、其他平坦对象或旋转擦洗刷之类的附件300,附件300可以固定到执行器套件220,如图1所示。执行器套件220可以联接到臂200,诸如联接到远端212,并且可以被配置为固定附件300。在一些实施例中以及如图6-图8所示,执行器套件220可以包括一个或多个臂触摸传感器36、距离传感器37和/或附件底座221。通常,附件底座221可以被配置为将附件300联接到执行器套件220,其中附件300通常被配置为与环境中的对象401、402以及表面接触或互相作用。例如,附件底座221可以被配置为如图1所示的那样固定清洁垫附件300,其可以被移动以接触或擦拭对象401的表面。
附件底座221可以被配置成多种形状和尺寸,以允许多种类型的附件300,例如垫、刷子、探针、空气喷嘴、喷水器、磨光垫、抛光刷、灌浆清洁刷或垫、抓握或夹持设备、或者可以被移动到与对象401、402接触的任何其他类型的附件。在优选实施例中,附件300可以由机器人100和/或臂200移动到与对象401、402接触,以允许机器人完成目标定向的动作,诸如清洁、抛光、干燥、洗涤、磨光、打磨、除尘、喷涂或任何其他类型的动作或活动。例如,清洁刷附件300可以固定到执行器套件220的附件底座221,执行器套件220联接到机器人100的臂200的远端212。机器人100可以移动到接近对象401、402,然后移动臂200以磨动清洁刷跨过对象,从而完成清洁对象401、402的一部分的目标定向动作。
在优选实施例中,附件底座221可以联接到臂触摸传感器36,并被配置为当附件底座221和/或固定到附件底座221的附件300被移动到与对象401、402或表面接触时接收触摸数据。例如,附件底座221(图6)可以联接到触摸传感器外盖222(图7),触摸传感器外盖222被配置为屏蔽或覆盖一个或多个(诸如三个)臂触摸传感器36。这三个传感器36可以如图8所示的那样定位成大体上三角形的形状,并且通过简单的算术,这三个传感器36可以用于计算当底座221和/或固定到附件底座221的附件300被移动到与对象401、402或表面接触时垂直于底座221的上部、下部、左部和右部的压力。在一些其他实施例中,执行器套件220可以包括定位成大体上三角形形状的三个触摸传感器36,其可由三个力敏电阻器和触摸传感器外盖222形成,触摸传感器盖222可以具有三个突起,每个突起被定位成接触力敏电阻器。附件底座221可以联接到触摸传感器外盖222,从而允许触摸传感器36在固定到附件底座221的附件300接触对象401、402时接收触摸数据,从而使得外盖222上的一个或多个突起与一个或多个力敏电阻器互相作用。
图9图示了使用离散二维距离传感器37对对象的两个示例扫描,距离传感器37的扫描可以根据本文所描述的各种实施例用于环境地图构建。在一些实施例中,扫描可以由可以定位在执行器套件220(图1、图6-图8)上或定位在机器人100上的任何位置的一个或多个距离传感器37来完成。图9示出了从侧面或从不同角度扫描的示例情况。图9示出了大体上圆柱形对象402的两个示例扫描,根据本文所述的各种实施例,这两个示例扫描可以使用离散的二维距离传感器37A、37B或者通过将单个距离传感器37移动到两个不同的位置A、B来完成,并且其扫描分别遵循路径603和604,导致离散扫描读数或距离数据近似针对位于位置A的传感器37A的椭圆605和针对位于位置B的传感器37B的椭圆606。在这一实施例中,沿对象402的位置点可以与利用库条目中指定的可能参数值的范围由在每个库条目中的原始形状的组合产生的值进行比较,搜索数据存储装置308(图11)中的数据库,以查看是否存在产生低于阈值的误差(诸如均方误差)的一组参数值。参数值可以包括尺寸、直径、嵌条的尺寸或形状等中的零个或多个。阈值可以是绝对数,也可以根据相关因子进行缩放,诸如对象的尺寸或者该类型的对象402可能具有多少变化(例如,制造特定尺寸的乐高积木以填塞偏差,而肥皂条可以是各种各样的不同尺寸)。选择参数值可以使用寻找全局最小值领域所熟知的技术,例如随机种子起始点,随后是从该种子开始的最小值定向搜索。
在一些实施例中,可以对同一空间进行多个平行扫描,例如水平地在距离参考点(诸如,最大平坦表面)1英寸、3英寸和5英寸的高度处,以提供用于与对象的库502(图12)一起使用的距离数据。可选地,库502可以包含对齐的所有三个扫描的期望值。在一些实施例中,一个或多个垂直扫描的期望值可以被包括在库502中。在这种实施例中,扫描可以在一个方向上进行,通过将扫描数据与库数据进行比较来产生一组对象候选匹配。根据在执行垂直扫描时匹配的情况,可以对匹配进行划入或排除。
图12示出了根据本文所描述的各种实施例的与对象401、402相关联的数据的对象库502数据库的一个示例的框图。在一些实施例中,存在表面形状和/或对象的库502。库502可以包括针对在环境中已经或可能遇到的一个或多个对象的数据记录50,并优选地针对每个对象401、402的数据记录501。库502可以以数据库的形式,数据库可以存储在可由机器人100的处理单元21访问的数据存储装置308中。可选地,数据存储装置308可以是处理单元21可本地访问的和/或通过无线电23或其他网络接口可远程访问的基于云的数据存储装置308。每个数据记录501可以包括一个或多个数据字段或类别,例如名称类别511、形状数据类别512、可以改变的参数的类别513、属性类别514、对刺激的反应的类别515、重心类别516、抓握类别517、清洁类别518、附接类别519和/或可以接收或存储与对象401、402相关联的数据的任何其他类别或数据字段。
对象401(图1)、402(图9)的扫描(通过触摸、3D测距或其他3D检测技术)可以与库502内的对象数据记录501相匹配。图10中示例性形式所示的库502可以包含关于对象401、402的附加信息,例如,可以在属性类别514中存储它们是否是固定的(如,水龙头手柄)或可动的(如,洗发水瓶),可以在类别514中存储它们是由什么材料制成的,可以在类别515-518中存储穿过表面(例如用于清洁)所必需的运动、如何抓握用于移动的对象401、402等。库502还可以包括关于对象401、402的信息,其表示可以在类别515中存储的对象对刺激的反应,诸如当力施加到顶部时其是否移动,或者需要相互作用和计算两者而确定的特性,例如可以在类别516中存储的对象401、402的重心或洗发水的充满量。
存在对象401、402可以与库502中的对象匹配的多种方式。在一些实施例中,对象401、402可以作为精确匹配与库502中的对象数据记录501匹配。库502将包括数据记录501中的表示每个对象的形状的一组数据,并且沿着未知对象401、402的位置点将在允许某些误差的情况下与形状库进行比较。例如,沿着未知对象401、402的位置点可以与库502中的形状类别512进行比较,以及生成沿着未知对象401、402的位置点与库502中的形状之间的最小均方误差,只要误差低于阈值就向具有最低的最小均方误差的库形状声明匹配。
在一些实施例中,对象401、402可以参数化地作为原始形状的组合与库502中的对象的数据记录501匹配。原始形状可以包括但不限于圆柱形、圆锥形、具有或不具有圆角的直线体。例如,库502可以确定沿着对象401、402的与圆柱形一致的一组位置点是瓶子。或者可以更具体的——具有与直径为2至5英寸的圆柱形一致的下部及较小直径的圆柱形的上部的任何对象401、402是洗发水瓶。当我们谈论“与圆柱形一致”时,指代来自上方的显示了对象401、402从上方观察时是圆形的距离传感器数据或触摸传感器数据,和/或来自侧面的显示了半个圆柱形的扫描或触摸(另一半被对象的前部遮蔽),和/或来自不同角度的显示了椭圆形的扫描或触摸。
在一些实施例中,对象401、402可以功能上与库502中的对象的数据记录501匹配。将考虑一组规则,其形成用于对象401、402的类型的决策树。例如,触摸水平表面的对象401、402被假定为如洗发水瓶的独立对象,而不触摸水平表面的对象401、402被假定为如水龙头手柄的固定对象。
在一些实施例中,表示对象401、402的不同变体的范围的一组参数可以与库502中的对象的数据记录501一起存储。例如,矩形对象401、402将生成的位置点可以连同描述对象可能具有的旋转的可允许范围的参数(例如,圆柱形对象将具有单次旋转测试,因为旋转无关紧要,而方形对象可以在90度旋转中每隔5度进行旋转测试,可选地忽略大于90度的旋转,因为它们将与小于90度的旋转相同)一起在库502中。在另一示例中,矩形对象401、402将生成的位置点可以连同描述缩放的可允许范围的参数一起在库502中。例如,仅单一尺寸可用的对象401、402(例如,烈酒杯)可以具有将指示仅应当以1x缩放测试与参考点的比较的参数,而多个尺寸可用的对象401、402(诸如,洗发水瓶或酒瓶)可以具有指示可以针对从例如以0.5x到3x的尺寸进行测试的参数。
在一些实施例中,对象401、402可以通过将其推动非常短的距离(诸如0.25英寸)来测试其是固定的或可动的。如果它们提供阻力,则它们是固定的,如果它们移动,则它们是可动的对象。对象对例如被推动的预期响应可以被包括在库502中,并且可以用作用于对象匹配的参数514中的一个。
在一些实施例中,距离数据或触摸数据的取向可以通过假定近似水平的直表面是精确水平的且通过假定近似垂直的直表面是精确垂直的来校正。由于具有水平和/或垂直特征的对象是非常常见的,因此在许多情况下这可以降低将对象401、402与库502中的对应对象匹配所必需的计算复杂度。
在一些实施例中,与对象401、402互相作用的运动可以被包括在库502中。例如,对于清洁应用,如果表面必须被喷洒和擦拭,那么对于每个库数据记录501或参数形状,喷洒和擦拭可以是预定的一组动作。在相同的清洁应用中,可能有一些对象401、402可以有意要被跳过(如,肥皂条)或被从路径中移出(如,洗发水瓶)。针对这些其他互相作用的指令可以被包括在库502中,所述指令包括针对动作或执行该动作所需的确切姿态的一组参数(如果合适的话)。
在一些实施例中,测量对象401、402的形状可以依次地或作为群组地例如使用触摸传感器数据或触摸感知和/或相机和/或距离传感器37来测量。在一些实施例中,对象401、402的形状可以在被操纵(诸如,被抓握和/或提升)之前和/或之后测量。在一些实施例中,对象401、402的形状可以与库502中的对象的数据记录501的形状数据匹配。
在一些实施例中,对象401、402的形状可以与库502中的对象的数据记录501或库502中的对象的类别511-519匹配。例如,库502可以包含具有匹配特定拼图块的参数的条目,而库502还可以包含覆盖诸如低于一定尺寸的拼图块或硬质对象的类别的条目。
在一些实施例中,诸如那些由布制成的可变形对象401、402可以被包括在库502中。在一个实施例中,它们通过它们形状的组合以及通过它们是可变形(例如,当施加力时它们改变形状)的事实来标识。在一些实施例中,一个对象类别是可变形对象401、402的对象类别。
在一些实施例中,对象401、402及库502中的对象类别可以包括指示对象或对象类别归入哪个类别的字段。类别可以形成数据结构,使得对象类别(诸如,拼图块)也可以属于另一类别(诸如,硬质对象401、402)。
在一些实施例中,机器人100包括抓握器。抓握器将能够与对象401、402接合,例如以便提升它们。抓握器可以使用以下技术中的零个或多个:通过在指状物间保持住对象401、402特征来保持对象401、402的指状物;吸力;电粘附;其他粘附手段;针或其他穿孔器具;诸如叉子或勺子的餐具;和/或与对象401、402机械接合的特殊形状,例如,容纳拖把手柄的正确形状的套管。
在一些实施例中,对象401、402可以由自主机器放置到物理容器中,或者被放置到针对特定对象或对象类别所指定的地方中。
在一些实施例中,当遇到对象401、402时,对象401、402的表示(诸如,照片或3D扫描)可以连同诸如在哪里发现对象401、402以及对象401、402放置在哪里的信息一起被添加到数据库。
在一些实施例中,当遇到对象401、402时,关于对象401、402的数据(例如,其重量)可以连同诸如在哪里发现对象401、402以及对象401、402放置在哪里的信息一起被添加到数据库。在另外的一些实施例中,诸如重量的数据用于向用户报告关于剩余多少量的信息,例如警告所有者他们几乎用光了牛奶,和/或采取诸如订购更多牛奶的动作。在另外的一些实施例中,机器人100使用RFID识读器来查询附近的对象并为RFID使能的对象的位置编制目录。
在一些实施例中,机器人100在被指定为需要整理操作的区域内可选地一次一个地提升每个对象401、402。它可以诸如利用触摸传感器35、36和/或距离传感器37来进行对象401、402的形状测量,然后可以将其与对象数据库中的信息进行比较,通过这种手段,对象的身份或对象类别可以被确定。然后,它可以将对象401、402放置在容器中或放置在为该类型的对象401、402指定的另一类型的位置中。
在一些实施例中,一些或所有对象401、402可以被放回它们所来的位置。数据库可以保持对在哪里发现对象401、402的追踪。在一些实施例中,可以查询数据库以查找关于对象401、402的信息,例如它们看起来像什么或它们被发现的位置,或者它们现在所驻留的位置,以提供远程察看对象401、402的能力,以查看其状态(例如,从远程的位置检查淋浴室中的洗发水瓶的最新照片,以查看是否需要购买更多的洗发水)。在另外的一些实施例中,可以查询数据库以查找关于对象401、402的信息,例如它们看起来像什么或它们被发现的位置,或者它们现在所驻留的位置,以提供查找失踪对象401、402的能力(例如,查找失踪的汽车钥匙在哪)。在又另外的一些实施例中,可以查询数据库以查找关于对象401、402的信息,例如它们看起来像什么或它们被发现的位置,或者它们现在所驻留的位置,以提供远程察看对象的能力,从而查看对象上的信息(例如,检查其上具有密码的一张纸)。
在一些实施例中,机器人100可以将一组对象401、402从一个位置移动到另一个位置,执行转换期间的动作。为此,对象401、402可以被扫描以提供触摸数据和/或距离数据,并且可以如先前所公开的那样与对象库502中的对象数据记录501匹配。在一个实施例中,对象401、402的来源地或目的地(或两者)位置中的一个是结构化的环境,其具有可以保持特定类型的对象401、402的空间,并且机器人100可以将对象的库数据记录501与被标记为容纳所述对象401、402的空间匹配。例如,机器人100可以通过从水槽移动对象401、402(例如,脏盘)来填充洗碗机,之后对象401、402被清洗,然后对象401、402被放置到目的地中的适当位置中(例如,盘被放置到洗碗机架内的沟槽中)。
在优选实施例中,机器人100可以包括:抓握器;一个或多个传感器35、36、37;对象库502,其中抓握器一次提升一个对象401、402,并且由触摸传感器35、36和/或距离传感器37进行一组对象形状测量,其与对象库502中的每个条目进行比较,确定针对对象401、402的最佳匹配,并且将对象401、402放置到数据记录501所声称的适合于该类型的对象401、402的位置中。
在一些另外的优选实施例中,机器人100可以包括含有一个或多个触摸传感器35、36的一个或多个传感器35、36、37,以及在诸如在机器人100可访问的存储器或数据库308内的环境或对象401、402的表示,其中从触摸传感器35、36收集的数据在其内被添加到环境或对象的表示。
在一些另外的优选实施例中,机器人100可以包括含有一个或多个触摸传感器35、36的一个或多个传感器35、36、37,其中由基于触摸的传感器35、36提供的信息用于在其内构建环境和/或对象401、402的一部分的地图。
图11图示了图示有根据本文所描述的各种实施例的一些模块的框图,这些模块可以用作软件规则引擎或程序28(图3)并且可以在处理单元21(图3)的存储器25(图3)中被执行。在优选实施例中,程序28可以包括地图构建模块600,地图构建模块600可以包括根据本文所描述的各种实施例的地图构建引擎601、触摸引擎602、距离引擎603和/或融合引擎604。在一些实施例中,一个或多个引擎601-604的一个或多个功能可以由一个或多个其他引擎601-604执行。
地图构建模块600可以被配置为有助于数据在一个或多个引擎601-604之间的传输和/或有助于数据在一个或多个引擎601-604与数据存储装置308之间的传输,数据存储装置308可以包括对象库502(图10)。另外,地图构建模块600可以输出可以用于移动机器人100、臂200和/或执行器套件220的数据。在一些实施例中,数据存储装置308可以远离机器人100。机器人100可以通过有线或无线网络连接来访问数据存储装置308。另外,两个或更多个机器人100可以促成并访问数据存储装置308中的诸如对象库502(图10)的数据。在另外的一些实施例中,机器人本地的存储器25可以用作数据存储装置308。
触摸引擎602可以被配置为从一个或多个主体触摸传感器35和/或臂触摸传感器36接收触摸数据。当机器人100包括触摸传感器35、36的部分有意地接触或如处理单元21所指令地接触对象、在没有来自处理单元21指令的情况下无意地接触对象时、和/或来自机器人100的移动部分(例如,跨过对象或障碍物的表面执行器套件220的附件底座221),可以接收触摸数据。
类似地,距离引擎603可以被配置为从一个或多个距离传感器37接收距离数据。这种距离数据可以包括对象的扫描605、606(图9)、和/或距离传感器37或机器人100的一部分与环境中的对象或障碍物的表面之间的距离数据。
地图构建引擎601可以被配置为使用触摸数据和/或距离数据来创建表示已经检测到障碍物(例如,表面和对象)的位置的数据结构。这种数据结构可以是本地环境的映射,并且在本文中有时被称为“地图”。这样的地图的一种表示是2或3维数字数组,所述数字指示特定特征(诸如,墙)在特定位置(由数组下标表示)中的可能性。地图可以采用本领域技术人员已知的其他形式,诸如地图中非零位置的数组或链表。由触摸引擎602提供的来自触摸传感器35、36的触摸数据可以用于构建靠近的对象401的地图。相反地,由距离引擎提供的来自距离传感器37的距离数据可以提供不可通过触摸获得的数据,诸如不能由触摸传感器35、36触及的特征的位置或者关于尚未被触摸的特征的数据。
在一些实施例中,一旦地图构建引擎601创建触摸数据地图和距离地图之后,融合引擎604于是就可以通过如下方式将两个地图融合成单个地图:通过触摸传感器35、36与非触摸传感器37之间的位置校准的知识的组合,和/或通过基于两个地图上都显现的特征而将地图对齐。特别地,粗略融合可以通过触摸传感器35、36与非接触传感器37之间的位置校准的知识而进行,而地图的相对位置的精细调整通过匹配两个地图上都显现的特征而进行。在备选实施例中,融合引擎604可以接收触摸数据和距离传感器数据,并且可以将数据融合或组合。所融合数据然后可以被提供到地图构建引擎601,地图构建引擎601然后可以制作包括触摸数据和距离传感器数据两者的单个地图。
在优选实施例中,地图构建模块600可以接收地图或地图数据,并使用它来确定机器人100和/或臂在环境内或与对象有关的位置。地图构建模块600可以使用粒子滤波或任何其他方法,用于确定机器人100和/或臂在环境内或与对象相关的位置。另外,地图构建模块可以被配置为基于接收到的地图或地图数据以及所确定的机器人100和/或臂200的位置来移动机器人100和/或臂200。
图12示出了根据本文所描述的各种实施例的用于组合传感器数据以执行目标定向动作的方法(“方法”)700的一个示例的框图。在一些实施例中,该方法可以通过在步骤702中从距离传感器37接收距离传感器数据而开始701。在一些实施例中,步骤702可以由距离引擎603来执行,距离引擎603可以向地图构建引擎601和/或融合引擎604提供包括距离测量的距离数据。
接下来,在步骤703中,触摸数据可以由触摸传感器35、36接收。在一些实施例中,步骤703可以由触摸引擎602执行,触摸引擎602可以向地图构建引擎601和/或融合引擎604提供通过接触对象或表面而接收到的触摸数据。
在步骤704中,距离数据和触摸数据可以由可动机器人装置100的处理单元组合。在一些实施例中,一旦地图构建引擎已经创建触摸数据地图和距离地图之后,融合引擎604于是就可以通过如下方式将两个地图融合成包括单个地图的融合或组合数据:通过触摸传感器35、36与非触摸传感器37之间的位置校准的知识的组合,和/或通过基于两个地图上都显现的特征而将地图对齐。在备选实施例中,融合引擎604可以接收触摸数据及距离传感器数据,并将数据融合或组合。所融合或所组合数据然后可以被提供到地图构建引擎602,地图构建引擎601然后可以制作包括触摸数据和距离传感器数据两者的单个地图。
最后,在步骤705中,所组合的距离数据和触摸数据可以用于操纵机器人装置100,以完成目标定向动作。在优选实施例中,地图构建模块600可以接收地图或地图数据,并使用它来确定机器人100和/或臂在环境内或与对象有关的位置。地图构建模块600可以使用粒子滤波或任何其他方法,用于确定机器人100和/或臂在环境内或与对象相关的位置。另外,地图构建模块可以被配置为基于接收到的地图或地图数据及所确定的机器人100和/或臂200的位置来移动机器人100和/或臂200。通过移动机器人100和/或臂200,机器人装置100可以被操纵以完成目标定向动作,诸如清洁、抛光、干燥、洗涤、磨光、打磨、除尘、喷涂或任何其他类型的动作或活动。例如,清洁垫附件300可以固定到执行器套件220的附件底座221,执行器套件220联接到机器人100的臂200的远端212。机器人100可以移动到接近对象401,然后移动臂200以跨过对象磨动清洁垫,从而完成清洁对象401的一部分的目标定向动作。在步骤705完成之后,方法700可以结束706。
虽然已经提供了一些材料,但是在一些其他实施例中,机器人100包括的诸如本文所讨论的主体11、可动臂200和/或任何其他元件之类的元件可以由耐久材料制成,耐久材料诸如铝、钢、其他金属和金属合金、木材、硬橡胶、硬塑料、纤维增强塑料、碳纤维、玻璃纤维、树脂、聚合物或包括材料的组合的任何其他适当的材料。另外,一个或多个元件可以由耐久且略有柔性的材料制成或包括耐久且略有柔性的材料,耐久且略有柔性的材料诸如软塑料、硅酮、软橡胶或包括材料的组合的任何其他适当的材料。在一些实施例中,工具100包括的元件中的一个或多个可以通过热结合、化学结合、粘合剂、扣式紧固件、夹式紧固件、铆钉式紧固件、螺纹式紧固件、其他类型的紧固件或任何其他适当的关节方法而联接或连接在一起。在一些其他的实施例中,机器人100包括的元件中的一个或多个可以通过以下方式联接或可移除地连接:通过压入配合或卡合配合在一起,通过诸如钩环式或紧固件、磁性类型紧固件、螺纹式紧固件、可密封舌槽紧固件、卡扣紧固件、夹式紧固件、扣式紧固件、棘轮式紧固件的一个或多个紧固件,压锁式连接方法,转锁式连接方法,滑锁式连接方法或如本领域技术人员可以想象的那样用于相同的功能的任何其他适当的临时连接方法。在另外的一些实施例中,机器人100包括的元件中的一个或多个可以通过与机器人100的另一元件连接并与其整体形成来联接。
虽然本文参考优选实施例及其具体示例对本发明进行了说明和描述,但是对本领域普通技术人员来说将显而易见的是,其他实施例和示例可以执行类似的功能和/或实现类似的结果。所有这样的等价实施例和示例都在本发明的精神和范围内,从而被设想,并且旨在由所附权利要求覆盖。
Claims (20)
1.一种利用机器人装置来完成目标定向动作的方法,所述机器人使用机器人触摸感知,所述方法包括以下步骤:
-从距离传感器接收距离数据;
-从触摸传感器接收触摸数据;
-使用处理器将所述距离数据和触摸数据组合,以生成组合数据;以及
-使用所述组合数据来操纵所述机器人装置完成所述目标定向动作。
2.根据权利要求1所述的方法,其中所述距离数据和触摸数据用于创建环境的数字地图。
3.根据权利要求1所述的方法,其中所述目标定向动作从由以下各项构成的组中选择:接触对象,接触表面,避免与对象接触,以及避免与表面接触。
4.根据权利要求1所述的方法,其中所述距离数据和触摸数据使用贝叶斯推断来组合。
5.根据权利要求1所述的方法,其中触摸数据用于确定所述机器人装置的姿态。
6.根据权利要求1所述的方法,其中所述机器人装置包括联接到所述触摸传感器的探针,并且位置触摸输入通过将所述探针跨过表面移动而被接收。
7.根据权利要求1所述的方法,其中所述机器人装置包括联接到所述触摸传感器的探针,并且位置触摸输入通过将所述探针移动到与通过距离数据所检测到的对象接触而被接收。
8.根据权利要求2所述的方法,其中通过所述机器人装置接触不在所述地图上的对象来接收位置触摸输入导致所述机器人装置将得到的信息添加到所述地图。
9.根据权利要求2所述的方法,其中对象的位置使用触摸数据来确定。
10.根据权利要求1所述的方法,其中所述机器人装置进一步包括连接到臂的主体,并且其中所述机器人装置使用所述组合数据来操纵所述臂。
11.一种用于完成目标定向动作的机器人装置,所述装置包括:
-电源;
-臂,可操作地连接到主体,其中所述臂具有被配置为生成触摸数据的第一触摸传感器;
-距离传感器,被配置为生成距离数据;
-处理器,被配置为将来自所述第一触摸传感器的所述触摸数据与来自所述距离传感器的所述距离数据组合;并且
其中所述处理器使得所述臂执行目标定向动作。
12.根据权利要求11所述的装置,进一步包括被配置为操作传输运送器的电动机。
13.根据权利要求11所述的装置,进一步包括第二触摸传感器。
14.根据权利要求13所述的装置,其中所述第二触摸传感器是定位在所述装置的所述主体上的主体触摸传感器。
15.根据权利要求11所述的装置,其中所述第一触摸传感器包括机电表皮。
16.根据权利要求11所述的装置,进一步包括被配置为存储数字地图的存储器。
17.根据权利要求16所述的装置,其中所述数字地图由所述处理器通过以下步骤构建:使用距离数据创建第一地图,使用触摸数据创建第二地图,然后通过匹配存在于所述第一地图和所述第二地图两者上的特征将所述第一地图和所述第二地图组合。
18.根据权利要求17所述的装置,其中所述数字地图由处理器使用贝叶斯推断来构造。
19.根据权利要求11所述的装置,其中所述臂进一步包括联接到所述触摸传感器的探针,并且位置触摸信息通过将所述探针跨过表面移动而被接收,以确定对象的位置。
20.根据权利要求19所述的装置,其中所述处理器被配置为使用来自所述探针的所述位置触摸输入来创建对象库。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462089416P | 2014-12-09 | 2014-12-09 | |
US62/089,416 | 2014-12-09 | ||
US201562103573P | 2015-01-15 | 2015-01-15 | |
US62/103,573 | 2015-01-15 | ||
US201562139172P | 2015-03-27 | 2015-03-27 | |
US62/139,172 | 2015-03-27 | ||
PCT/IB2015/059453 WO2016092476A1 (en) | 2014-12-09 | 2015-12-09 | Robotic touch perception |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107428008A true CN107428008A (zh) | 2017-12-01 |
Family
ID=56093454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580075508.0A Pending CN107428008A (zh) | 2014-12-09 | 2015-12-09 | 机器人的触摸感知 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10618174B2 (zh) |
EP (1) | EP3230016A4 (zh) |
JP (3) | JP6800416B2 (zh) |
CN (1) | CN107428008A (zh) |
WO (1) | WO2016092476A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108393903A (zh) * | 2018-05-18 | 2018-08-14 | 王栓林 | 智能猪舍消毒清洗机器人 |
WO2020047792A1 (en) * | 2018-09-06 | 2020-03-12 | Lingdong Technology (Beijing) Co. Ltd | Slef-driving vehicle system with retractable sensor head |
CN111202470A (zh) * | 2018-11-21 | 2020-05-29 | 北京石头世纪科技股份有限公司 | 智能清洁设备、重定位方法及装置、存储介质、电子设备 |
CN111941454A (zh) * | 2020-08-17 | 2020-11-17 | 江苏昱博自动化设备有限公司 | 一种助力机械手用夹具 |
CN113263505A (zh) * | 2020-02-17 | 2021-08-17 | 丰田研究所股份有限公司 | 使用具有可变形传感器的机器人来确定位置的系统 |
CN113280855A (zh) * | 2021-04-30 | 2021-08-20 | 中国船舶重工集团公司第七一三研究所 | 一种多源传感货叉智能感知系统及方法 |
CN114351778A (zh) * | 2021-04-23 | 2022-04-15 | 江苏中科水务机器人科技有限公司 | 一种水下清淤机器人 |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160097422A1 (en) * | 2014-10-01 | 2016-04-07 | John Burke | Self Locking Pivot Mount for Machine Mounted Devices |
US20200409382A1 (en) * | 2014-11-10 | 2020-12-31 | Carnegie Mellon University | Intelligent cleaning robot |
US10618174B2 (en) * | 2014-12-09 | 2020-04-14 | Aeolus Robotics, Inc. | Robotic Touch Perception |
US10471594B2 (en) * | 2015-12-01 | 2019-11-12 | Kindred Systems Inc. | Systems, devices, and methods for the distribution and collection of multimodal data associated with robots |
USD811491S1 (en) * | 2015-12-14 | 2018-02-27 | Wen-Hsien Lee | Toy robotic arm |
US9541633B2 (en) * | 2016-04-29 | 2017-01-10 | Caterpillar Inc. | Sensor calibration system |
US10542799B2 (en) * | 2016-05-20 | 2020-01-28 | Shadecraft, LLC | Intelligent shading system with movable base assembly |
CN107713906B (zh) * | 2016-08-11 | 2019-11-22 | 鸿富锦精密电子(天津)有限公司 | 清洁装置 |
US10265850B2 (en) * | 2016-11-03 | 2019-04-23 | General Electric Company | Robotic sensing apparatus and methods of sensor planning |
JP2018147359A (ja) * | 2017-03-08 | 2018-09-20 | 富士ゼロックス株式会社 | サービス提供システムおよび要求受付ロボット |
CN107030691B (zh) * | 2017-03-24 | 2020-04-14 | 华为技术有限公司 | 一种看护机器人的数据处理方法及装置 |
US10470841B2 (en) | 2017-03-28 | 2019-11-12 | Steris Inc. | Robot-based rack processing system |
US10941553B2 (en) | 2017-06-16 | 2021-03-09 | Altan Robotech Inc. | Robotic cleaning apparatus and related methods |
US10941555B2 (en) | 2017-06-16 | 2021-03-09 | Altan Robotech Inc. | Robotic cleaning apparatus and related methods |
DE102017113286A1 (de) * | 2017-06-16 | 2018-12-20 | Vorwerk & Co. Interholding Gmbh | System mit mindestens zwei sich selbsttätig fortbewegenden Bodenbearbeitungsgeräten |
CN109124543A (zh) * | 2017-06-16 | 2019-01-04 | 奥坦机器人科技有限公司 | 机器人清洁装置及其相关方法 |
EP3415064A1 (en) * | 2017-06-16 | 2018-12-19 | Altan Robotech Inc. | Robotic cleaning apparatus and related methods |
DE102017118554A1 (de) * | 2017-08-15 | 2019-02-21 | Vorwerk & Co. Interholding Gmbh | Staubsauger mit Positionsbestimmung sowie Verfahren zum Betreiben eines Staubsaugers |
USD838069S1 (en) | 2017-08-17 | 2019-01-08 | Altan Robotech Inc. | Cleaning robot |
JP6991791B2 (ja) * | 2017-08-25 | 2022-01-13 | キヤノン株式会社 | 複合センサ |
CN109464280A (zh) * | 2017-09-07 | 2019-03-15 | 南宁市富久信息技术有限公司 | 一种针对腐蚀化学品罐区的可判断位置移动洗眼器 |
CN107618045A (zh) * | 2017-09-22 | 2018-01-23 | 成都易维控科技有限公司 | 一种实时驱动控制的机械臂 |
US10921763B1 (en) * | 2017-10-25 | 2021-02-16 | Alarm.Com Incorporated | Baby monitoring using a home monitoring system |
DE102017127339A1 (de) * | 2017-11-20 | 2019-05-23 | Schwamborn Gerätebau Gmbh | Anbaugerät sowie Handhabungsvorrichtung mit einem Anbaugerät |
US11453123B2 (en) * | 2017-12-27 | 2022-09-27 | Stmicroelectronics, Inc. | Robotic device with time-of-flight proximity sensing system |
CN108115706A (zh) * | 2017-12-31 | 2018-06-05 | 芜湖哈特机器人产业技术研究院有限公司 | 一种多轴飞机清洗机器人的控制系统 |
CN108674524B (zh) * | 2018-05-04 | 2023-07-07 | 佛山科学技术学院 | 一种位置可调节的agv防撞避障安全保护装置 |
JP2019209421A (ja) * | 2018-06-04 | 2019-12-12 | 国立大学法人 東京大学 | 評価装置、評価方法、およびプログラム |
CN108972553B (zh) * | 2018-08-06 | 2021-08-13 | 北京邮电大学 | 一种基于粒子滤波算法的空间机械臂故障检测方法 |
CN110834343A (zh) * | 2018-08-17 | 2020-02-25 | 北京猎户星空科技有限公司 | 用于机器人的机器手指、触摸感知装置及机器人 |
JP7121925B2 (ja) * | 2018-09-07 | 2022-08-19 | 株式会社リコー | 連結装置、連結走行装置及び自律走行装置 |
JP7153322B2 (ja) * | 2018-09-28 | 2022-10-14 | 学校法人福岡大学 | ロボットセンサ |
US10857684B2 (en) | 2018-10-18 | 2020-12-08 | Toyota Research Institute, Inc. | Robots with perception-based fiber-optic tactile sensing and methods for providing the same |
US11143508B2 (en) * | 2019-01-02 | 2021-10-12 | Abraham Joseph Mitchell | Handheld device for calculating locations coordinates for visible but uncharted remote points |
JP2022519495A (ja) * | 2019-01-31 | 2022-03-24 | ライトハンド ロボティックス, インコーポレイテッド | 把持デバイスモダリティ |
FI20195384A1 (fi) * | 2019-05-09 | 2020-11-10 | Pitomaalaus Oy | Menetelmä, työmaarobotti ja tietokoneohjelmatuote työtoimenpiteen tekemiseksi |
CN110238859A (zh) * | 2019-05-10 | 2019-09-17 | 长沙学院 | 一种楼梯攀爬清洁机器人 |
CN110259067B (zh) * | 2019-06-11 | 2020-07-10 | 清华大学 | 机器人的瓷砖铺设位置识别方法和系统 |
WO2021033509A1 (ja) * | 2019-08-21 | 2021-02-25 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US11584003B2 (en) * | 2019-11-05 | 2023-02-21 | Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company | Aerial vehicle comprising compliant arm |
US11115069B2 (en) * | 2020-01-24 | 2021-09-07 | Nxp B.V. | Near-field wireless device for distance measurement |
CN111590611B (zh) * | 2020-05-25 | 2022-12-02 | 北京具身智能科技有限公司 | 一种基于多模态主动感知的物品分类回收方法 |
EP4157589A4 (en) * | 2020-05-26 | 2024-02-28 | Edda Technology, Inc. | METHOD FOR PLANNING ROBOT PATH WITH STATIC AND DYNAMIC COLLISION AVOIDANCE IN AN UNCERTAIN ENVIRONMENT |
US20220182853A1 (en) * | 2020-12-03 | 2022-06-09 | Faro Technologies, Inc. | Automatic handling of network communication failure in two-dimensional and three-dimensional coordinate measurement devices |
WO2022185761A1 (ja) * | 2021-03-04 | 2022-09-09 | ソニーグループ株式会社 | 情報処理システム、情報処理方法および情報処理装置 |
CA3219543A1 (en) * | 2021-05-17 | 2022-11-24 | Cobionix Corporation | Proximity sensing autonomous robotic systems and apparatus |
US20220388171A1 (en) * | 2021-06-03 | 2022-12-08 | Intrinsic Innovation Llc | Robotic workspace introspection via force feedback |
CN114063667B (zh) * | 2021-10-25 | 2022-06-28 | 南京航空航天大学 | 一种基于压力敏感电阻的无源自适应振动控制方法 |
CN114593308B (zh) * | 2022-03-15 | 2023-11-24 | 江苏大发建设工程有限公司 | 一种油烟管道检测用机器人底盘 |
US20230305557A1 (en) * | 2022-03-27 | 2023-09-28 | Third Wave Automation, Inc. | Methods and apparatus for supporting remote control operation of devices taking into consideration communications latency, environmental conditions, and/or a task to be performed |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0271982A (ja) * | 1988-09-05 | 1990-03-12 | Takenaka Komuten Co Ltd | クリーンルーム計測ロボット |
JPH0546239A (ja) * | 1991-08-10 | 1993-02-26 | Nec Home Electron Ltd | 自律走行ロボツト |
JP2008023630A (ja) * | 2006-07-19 | 2008-02-07 | Toyota Motor Corp | アームを誘導可能な移動体およびアームを誘導する方法 |
WO2011146254A2 (en) * | 2010-05-20 | 2011-11-24 | Irobot Corporation | Mobile human interface robot |
CN104055462A (zh) * | 2013-03-21 | 2014-09-24 | Lg电子株式会社 | 机器人清洁器及其操作方法 |
CN104115082A (zh) * | 2012-02-08 | 2014-10-22 | 罗伯特有限责任公司 | 自动启动自定位过程的方法 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4818173A (en) | 1983-04-12 | 1989-04-04 | Polaroid Corporation | Robot arm member relative movement sensing apparatus |
JPH0419081A (ja) | 1990-05-15 | 1992-01-23 | Seiko Instr Inc | 真空内搬送ロボット |
US5459329A (en) * | 1994-09-14 | 1995-10-17 | Georgia Tech Research Corporation | Video based 3D tactile reconstruction input device having a deformable membrane |
JP3218913B2 (ja) | 1995-04-14 | 2001-10-15 | ミノルタ株式会社 | 自律走行車 |
US5740328A (en) | 1996-08-12 | 1998-04-14 | The Regents Of The University Of California | Apparatus for robotic positional referencing and calibration |
JPH11192196A (ja) | 1998-01-06 | 1999-07-21 | Meidensha Corp | 壁面清掃ロボット |
JP2003515210A (ja) * | 1999-11-18 | 2003-04-22 | ザ プロクター アンド ギャンブル カンパニー | 家庭用清掃ロボット |
US7761184B2 (en) | 2003-03-23 | 2010-07-20 | Sony Corporation | Robot apparatus and control method thereof |
WO2006006624A1 (ja) | 2004-07-13 | 2006-01-19 | Matsushita Electric Industrial Co., Ltd. | 物品保持システム、ロボット及びロボット制御方法 |
WO2006088629A2 (en) * | 2005-01-26 | 2006-08-24 | The General Hospital Corporation | System and method for providing a combined bioprosthetic specification of goal state and path of states to goal |
JP2006239844A (ja) | 2005-03-04 | 2006-09-14 | Sony Corp | 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置 |
US8260463B2 (en) | 2006-02-02 | 2012-09-04 | Kabushiki Kaisha Yaskawa Denki | Robot system |
JP2007219645A (ja) * | 2006-02-14 | 2007-08-30 | Sony Corp | データ処理方法、データ処理装置およびプログラム |
JP2007319989A (ja) | 2006-06-01 | 2007-12-13 | Matsushita Electric Ind Co Ltd | ロボットおよびロボットを用いた扉開閉方法 |
WO2009094670A1 (en) * | 2008-01-25 | 2009-07-30 | The Trustees Of Columbia University In The City Of New York | Systems and methods for force sensing in a robot |
JP5208649B2 (ja) * | 2008-09-29 | 2013-06-12 | 本田技研工業株式会社 | 移動装置 |
JP5195465B2 (ja) * | 2009-01-28 | 2013-05-08 | トヨタ自動車株式会社 | ロボット制御装置及び方法 |
US8280837B2 (en) * | 2009-05-28 | 2012-10-02 | GM Global Technology Operations LLC | Contact state estimation for multi-finger robot hands using particle filters |
KR101741583B1 (ko) | 2009-11-16 | 2017-05-30 | 엘지전자 주식회사 | 로봇 청소기 및 그의 제어 방법 |
US9014848B2 (en) * | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
US9286810B2 (en) * | 2010-09-24 | 2016-03-15 | Irobot Corporation | Systems and methods for VSLAM optimization |
US8908911B2 (en) | 2011-03-04 | 2014-12-09 | Qualcomm Incorporated | Redundant detection filtering |
US10481265B2 (en) * | 2011-12-21 | 2019-11-19 | Robotic paradigm Systems LLC | Apparatus, systems and methods for point cloud generation and constantly tracking position |
CN104271322B (zh) * | 2012-03-08 | 2016-09-21 | 品质制造有限公司 | 触敏机器人抓手 |
US9186793B1 (en) * | 2012-08-31 | 2015-11-17 | Brain Corporation | Apparatus and methods for controlling attention of a robot |
US9053617B2 (en) | 2012-11-21 | 2015-06-09 | Novasentis, Inc. | Systems including electromechanical polymer sensors and actuators |
WO2014190208A2 (en) * | 2013-05-22 | 2014-11-27 | Neurala, Inc. | Methods and apparatus for early sensory integration and robust acquisition of real world knowledge |
US10089415B2 (en) * | 2013-12-19 | 2018-10-02 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
US20150371440A1 (en) * | 2014-06-19 | 2015-12-24 | Qualcomm Incorporated | Zero-baseline 3d map initialization |
US9757862B2 (en) * | 2014-10-16 | 2017-09-12 | Technische Universität München | Tactile sensor |
US10618174B2 (en) * | 2014-12-09 | 2020-04-14 | Aeolus Robotics, Inc. | Robotic Touch Perception |
KR20180087798A (ko) * | 2017-01-25 | 2018-08-02 | 엘지전자 주식회사 | 이동 로봇 및 그 제어방법 |
-
2015
- 2015-12-08 US US14/963,189 patent/US10618174B2/en active Active
- 2015-12-09 EP EP15867279.0A patent/EP3230016A4/en not_active Withdrawn
- 2015-12-09 JP JP2017531769A patent/JP6800416B2/ja active Active
- 2015-12-09 WO PCT/IB2015/059453 patent/WO2016092476A1/en active Application Filing
- 2015-12-09 CN CN201580075508.0A patent/CN107428008A/zh active Pending
-
2020
- 2020-03-11 US US16/815,001 patent/US11345039B2/en active Active
- 2020-11-04 JP JP2020184377A patent/JP7124033B2/ja active Active
-
2022
- 2022-05-11 US US17/742,361 patent/US11839984B2/en active Active
- 2022-08-10 JP JP2022127712A patent/JP7437462B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0271982A (ja) * | 1988-09-05 | 1990-03-12 | Takenaka Komuten Co Ltd | クリーンルーム計測ロボット |
JPH0546239A (ja) * | 1991-08-10 | 1993-02-26 | Nec Home Electron Ltd | 自律走行ロボツト |
JP2008023630A (ja) * | 2006-07-19 | 2008-02-07 | Toyota Motor Corp | アームを誘導可能な移動体およびアームを誘導する方法 |
WO2011146254A2 (en) * | 2010-05-20 | 2011-11-24 | Irobot Corporation | Mobile human interface robot |
CN104115082A (zh) * | 2012-02-08 | 2014-10-22 | 罗伯特有限责任公司 | 自动启动自定位过程的方法 |
CN104055462A (zh) * | 2013-03-21 | 2014-09-24 | Lg电子株式会社 | 机器人清洁器及其操作方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108393903A (zh) * | 2018-05-18 | 2018-08-14 | 王栓林 | 智能猪舍消毒清洗机器人 |
WO2020047792A1 (en) * | 2018-09-06 | 2020-03-12 | Lingdong Technology (Beijing) Co. Ltd | Slef-driving vehicle system with retractable sensor head |
US11099568B2 (en) | 2018-09-06 | 2021-08-24 | Lingdong Technology (Beijing) Co. Ltd | Self-driving vehicle system with retractable sensor head |
CN111202470A (zh) * | 2018-11-21 | 2020-05-29 | 北京石头世纪科技股份有限公司 | 智能清洁设备、重定位方法及装置、存储介质、电子设备 |
CN113263505A (zh) * | 2020-02-17 | 2021-08-17 | 丰田研究所股份有限公司 | 使用具有可变形传感器的机器人来确定位置的系统 |
CN113263505B (zh) * | 2020-02-17 | 2024-02-13 | 丰田研究所股份有限公司 | 使用具有可变形传感器的机器人来确定位置的系统 |
CN111941454A (zh) * | 2020-08-17 | 2020-11-17 | 江苏昱博自动化设备有限公司 | 一种助力机械手用夹具 |
CN114351778A (zh) * | 2021-04-23 | 2022-04-15 | 江苏中科水务机器人科技有限公司 | 一种水下清淤机器人 |
CN113280855A (zh) * | 2021-04-30 | 2021-08-20 | 中国船舶重工集团公司第七一三研究所 | 一种多源传感货叉智能感知系统及方法 |
CN113280855B (zh) * | 2021-04-30 | 2022-07-26 | 中国船舶重工集团公司第七一三研究所 | 一种多源传感货叉智能感知系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2022160652A (ja) | 2022-10-19 |
JP2018501973A (ja) | 2018-01-25 |
EP3230016A1 (en) | 2017-10-18 |
JP6800416B2 (ja) | 2020-12-16 |
WO2016092476A1 (en) | 2016-06-16 |
US20160158942A1 (en) | 2016-06-09 |
US11839984B2 (en) | 2023-12-12 |
US10618174B2 (en) | 2020-04-14 |
US20220347851A1 (en) | 2022-11-03 |
US11345039B2 (en) | 2022-05-31 |
US20200262081A1 (en) | 2020-08-20 |
JP7124033B2 (ja) | 2022-08-23 |
EP3230016A4 (en) | 2018-08-29 |
JP7437462B2 (ja) | 2024-02-22 |
JP2021011016A (ja) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107428008A (zh) | 机器人的触摸感知 | |
KR102455845B1 (ko) | 로봇 맵핑 시스템 및 방법 | |
US11808580B1 (en) | Methods for finding the perimeter of a place using observed coordinates | |
US11027425B1 (en) | Space extrapolation for robot task performance | |
US20240118700A1 (en) | Mobile robot and control method of mobile robot | |
CN108885456B (zh) | 一种控制自主式移动机器人的方法 | |
CN109551476A (zh) | 结合云服务系统的机器人系统 | |
CN107072457A (zh) | 清洁机器人及其控制方法 | |
WO2020015548A1 (zh) | 机器人控制方法、机器人及存储介质 | |
US11642780B2 (en) | Monitoring of surface touch points for precision cleaning | |
JP2021151694A (ja) | 可変形センサを持つロボットを使用して位置を測定するためのシステム | |
CN111487980B (zh) | 智能设备的控制方法、存储介质及电子设备 | |
CN111609853A (zh) | 三维地图构建方法、扫地机器人及电子设备 | |
US11487013B2 (en) | Creation and loading of mapping data on autonomous robotic devices | |
KR20200142865A (ko) | 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 | |
Choi et al. | Grid-based visual slam in complex environments | |
Nguyen et al. | PPS-tags: Physical, Perceptual and Semantic tags for autonomous mobile manipulation | |
Habibullah et al. | Room mapping and automatic vacuum cleaner robot | |
Klasing | Aspects of 3D perception, abstraction, and interpretation in autonomous mobile robotics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171201 |
|
WD01 | Invention patent application deemed withdrawn after publication |