CN107943944A - 环境探索系统和方法 - Google Patents
环境探索系统和方法 Download PDFInfo
- Publication number
- CN107943944A CN107943944A CN201711187115.6A CN201711187115A CN107943944A CN 107943944 A CN107943944 A CN 107943944A CN 201711187115 A CN201711187115 A CN 201711187115A CN 107943944 A CN107943944 A CN 107943944A
- Authority
- CN
- China
- Prior art keywords
- database
- sensing data
- object type
- task
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013459 approach Methods 0.000 claims abstract description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 description 10
- 230000004888 barrier function Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 235000012054 meals Nutrition 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000003599 detergent Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 244000283207 Indigofera tinctoria Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004851 dishwashing Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000014347 soups Nutrition 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
Abstract
本公开提供一种环境探索方法和系统,该方法包括:通过如下方式维持对象类别的数据库:从自主机器的传感器接收感测数据,从感测数据获得对象特征,并将获得的感测数据与数据库的对应的对象类别相关联,其中,数据库存储有与对应的类别特征关联的多个对象类别;识别对象的类别和与所要求的任务相关的对应的类别特征;基于识别出的类别特征,计算具有用于执行任务的优选操作集的工作计划;并且生成并传送自主机器指令给致动器以执行所计算的优选操作集。
Description
技术领域
本公开总体上涉及自主机器进行的环境探索,更具体涉及执行任务机器人。
本申请基于申请号为US15/607,559、申请日为2017年5月29日的美国专利申请提出,并要求该美国专利申请的优先权,该美国专利申请的全部内容在此引入本申请作为参考。
背景技术
用于机器人探索的公知方法通常使用同步定位与地图构建(SLAM),其中机器人通过探索新区域来创建新环境的地图,并同步地使用已知区域的地图进行导航和探索。
发明内容
根据本公开的一些实施例的一个方面,提供了一种环境探索方法,包括:通过如下方式维持对象类别的数据库:从自主机器的传感器接收感测数据,从感测数据获得对象特征,并将获得的感测数据与数据库的对应的对象类别相关联,其中,数据库存储有与对应的类别特征关联的多个对象类别;识别对象的类别和与要求任务相关的对应的类别特征;基于所识别的类别特征,计算工作计划,该工作计划具有用于执行任务的优选操作集;并且生成并传送自主机器指令给致动器以执行所计算的优选操作集。
可选地,该方法包括将从感测数据获得的特征归于所关联的对象类别。
可选地,该方法包括,接收来自用户的要求命令,通过自然语言处理器(NLP)解释该命令,验证工作计划的可行性,并请求用户确认工作计划。
可选地,计算工作计划包括基于所识别的类别特征将任务分解成分层操作集。
可选地,该方法包括,确定获取的对象特征是否属于数据库的相关的对象类别,并且在数据库中找到相关的对象类别的情况下,用对应的对象类别标识对相应感测数据进行标记,并存储标记的感测数据。
可选地,在数据库中找不到相关的对象类别的情况下,创建新的对象类别,用新类别的标识标记对应的感测数据并存储标记的感测数据。
可选地,在从感测数据中识别的特征集除了包括所找到的类别的特征之外还包括附加特征的情况下,创建包括附加特征的对象子类别,用创建的子类别的标识标记附加特征并存储标记的感测数数据。
可选地,对象类别的数据库存储实体对象的类别和概念对象的类别。
可选地,概念对象为潜在的任务目标。
可选地,数据库包括对象类别之间的关系,其中关系不同的类型或级别在数据库中表示为不同,其中对象类别之间的每个关系具有取决于关联的强度或类型的权重值。
可选地,对象类别之间的关系的权重值表示来自各个类别的对象被相关的可能性。
可选地,权重值基于当前事件或状况而动态地变化。
根据本公开的一些实施例的一个方面,提供了一种环境探索系统,包括:对象类别的数据库,其存储与对应的类别特征关联的多个对象类别;自主机器,其具有传感器和致动器;以及处理器,其配置为:从自主机器的传感器接收感测数据,从感测数据获得对象特征,并将获得的感测数据与数据库的对应的对象类别相关联,其中,识别对象的类别和与所要求的任务相关的对应的类别特征,基于识别出的特征,计算具有用于执行任务的优选操作集的工作计划,并且生成并传送自主机器指令给致动器以执行所计算的优选操作集。
附图说明
所公开的主题的非限制性示例性实施例或特征在下列附图中图示。
在附图中:
图1为根据本发明一些实施例的环境探索系统的示意性示图;
图2为根据本发明一些实施例的环境探索方法的示意性流程图;
图3为根据本发明一些实施例的对象数据库的示例性部分的示意性示图;
图4为根据本发明一些实施例的任务执行方法的示意性流程图;
图5为根据本发明一些实施例的将任务分解成操作集的任务工作计划的示意图。
在下面对附图进行详细的具体参照时,需要强调的是,所特别示出的只是以示例的方式给出,并且是为了图示地讨论本发明实施例。在这点上,对附图给出的说明使得本领域技术人员清楚本发明的实施例是如何实施的。
出现在一个以上附图中的相同或重复或等同或类似的结构、元件或部件总体上标以同样的附图标记,可选地具有附加的字母以区类别似的实体或实体的变型,并且可能不会重复标记和/或描述。参照先前出现过的元件意味着无需进一步引用出现它们的图或说明。
图中示出的组件和特征的尺寸选择是为了方便或清楚显示,而不必按标度或真实透视图示出。为了清楚起见,一些元件或结构未示出或仅部分示出和/或以不同透视图或从不同视点示出。
具体实施方式
本发明的一些实施例可包括系统,方法和/或计算机程序产品。计算机程序产品可包括有形的非暂态计算机可读存储介质(或媒介),其上具有计算机可读程序指令,用于致使处理器执行本发明的方案。用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集体系结构(ISA)指令、机器指令、机器依赖指令、微代码、固件指令、状态设定数据、或者以一种以上编程语言的组合写成的源代码或目标代码,包括面向对象的编程语言和/或传统的过程化语言。
在详细解释本发明的至少一个实施方式之前,要理解的是,本发明不必限于实施方式中描述的具体结构细节和以下说明中给出的和/或附图中示出的和/或例子中的组件和/或方法。本发明能够有其他实施例,或者能够以各种方式实施或执行。
现在参见图1,其为根据本发明一些实施例的环境探索系统100的示意性示图。系统100可包括自主机器20,例如移动机器人、家用机器人和/或自主导引车。自主机器20可以包括、通信于和/或受控于处理器10、存储器15、控制器16和/或数据库18。
自主机器20可以包括运动致动器22,诸如,例如车轮、轨道、腿、和/或任何其他合适的运动致动器。此外,自主机器20可以包括有利于可由机器20执行的多个操作和/或任务的多个致动器24、和可以感测关于机器20的环境的数据的多个传感器。传感器26可以包括例如视觉传感器、3D扫描仪、光探测和测距(激光雷达;LIDAR)扫描仪、声波测距(声纳)扫描仪、和/或任何其他合适的环境传感器。在本发明的一些实施例中,自主机器20可以是家用机器人,其配置为执行家务活诸如,例如清洁、烹饪、收纳整理、洗衣、和/或任何其他合适的家务。
自主机器20可以通过运动致动器22在某个环境中移动,该环境可以例如是室内环境或自然环境,并且可以通过致动器24而在该环境中执行任务。处理器10可以传送指令给控制器16,控制器16继而可以通过生成控制信号并将控制信号传送给致动器24和22来控制致动器24和22。处理器10可以生成指令,例如基于预先编程的和/或学习的指令。致动器24可以包括例如车轮致动器、臂致动器、显示致动器、扬声器致动器、和/或任何其他合适的电机和/或控制器。
进一步参见图2,其为根据本发明一些实施例的环境探索方法200的示意性流程图。在本发明的一些实施例中,如方框210中所示,处理器10可以例如在移动和/或执行动作的同时,接收并汇集来自传感器26的数据。处理器10可以整合从传感器26接收的数据以获得关于自主机器20的环境的信息以及该环境中的对象。处理器10可以使用该汇集后的数据,例如与预先存储的数据结合,用于创建存储在数据库18中的多层地图,进一步用于由自主机器20进行的导航和动作。
如方框220中表示的,处理器10可在接收到的感测数据中识别位于所探索的环境中的对象的特征。在本公开的一些实施例中,处理器10可以通过由机器20在所探索的环境中导航来创建和更新地图并执行特征识别,连续地接收和处理感测数据,跟踪所创建地图中的变化,和/或进行图案和/或对象识别。
数据库18可以包括内部相关对象数据库181和任务数据库182。对象数据库可以存储分层对象类别,其各具有对应的唯一标识(ID)并与表示对象类别的各个特征和与其他对象的关系的标记一起存储。每个分层对象类别定义了对象类,例如具有某个特征集的对象,即类别特征。类别特征可由处理器10使用以基于对象属性计算用于执行某个任务的优选操作集。例如,对象的重量和/或移动对于计算最佳路线和/或用于清洁房屋的操作集或与涉及移动对象的任何其他任务来说是重要的。处理器10可以获得从相关的对象类别中获得诸如重量等特征并且/或计算例如移动诸如椅子、桌子和/或钢琴的对象的花费。因此,例如,处理器10可以计算最佳的合算方案,即用于执行任务的路线和/或动作集。
现在参见图3,其为根据本发明一些实施例的对象数据库181的示例性部分300的示意性图表说明。数据库部分300可包括多个对象类别50a-50k。每个对象类别可关联于类别特征,诸如与类别50a相关的属性52a。
对象类别可包括实体对象类别诸如,例如椅子、桌子、钢笔、汽车、门或烤箱,以及概念的类别诸如,例如番茄汤,洗过的还湿的衣服,或者家庭晚餐。任务数据库182中的任务可由这样的概念性对象类别来定义,例如任务目标。例如,对象类别晚餐60可以是概念性类别,定义了晚餐的概念。类别晚餐60可以是定义了任务数据库182中的任务的目标。
数据库部分300包括对象类别51a-50k之间的关系,在图3中表示为对象类别之间的连接线。在一些情况下,关系可以是上下位的,诸如类别家具51b和类别椅子50a之间的关系,类别椅子50a是类别家具50a的子类别。在一些情况下,关系可以是派生的,诸如类别桌子50e和类别椅子50a之间的关系。
关系的不同类型和/或级别可以不同地表明在数据库181中。例如,对象类别之间的每个关系可具有与关联的强度和/或类型对应的权重值,例如由连接在类别桌子50e和类别椅子50a之间的粗实线所示出的。例如,权重值可以表示来自各个类别的对象相关的可能性,例如类别50a的对象与类别50e的对象相关的可能性。权重值可基于当前事件和/或状况而动态地改变。例如,在准备家庭晚餐的活动任务的情况下,例如由类别晚餐60来定义,类别椅子50a和类别桌子50e之间的关联提高了。该机制类似于人类大脑中的注意机制,当在黑暗房间中专心地搜寻猫时(例如在听到它的喵喵声之后),比仅在随意地注视房间时将有更高的可能性更快发现它。
返回图2,基于在感测数据中识别的对象的特征集,如方框230中所指示的,处理器10可确定对象是否属于数据库181的相关对象类别。如方框240中所指示,在处理器10于数据库181中发现相关的对象类别的情况下,处理器10用对应的对象类别ID标记对应的感测数据,然后用标记的感测数据更新数据库,如方框270中所指示。如方框250中所指示,在处理器10未于数据库181中发现相关的对象类别的情况下,处理器10创建新的对象类别,并用新的对象类别的ID标记对应的感测数据,然后用标记的感测数据更新数据库,如方框270中所指示。标记的感测数据可以存储在数据库18中的标记的数据数据库183中,例如根据对象类别ID标记进行索引。存储的标记感测数据可用于进一步的离线处理,例如为了确定物质和/或对象的特征,特征可与对应的对象类别相关地进行存储。
对象类别可包括其他类别,即子类别,其由同一类别定义并包括更多具体的定义,例如包括要求用于匹配子类别的附加特征。另外,类别在对象数据库181中具有预存的特征,其由处理器10归于识别为属于该类别的对象。在从感测数据中识别的特征集除了包括类别特征之外还包括附加特征的情况下,如方框260中所指示,处理器10可创建包括这些附加特征的对象子类别,用创建的子类别的ID标记这些附加的特征,然后用标记的感测数据更新数据库,如方框270中所指示。
处理器10可以归类一些对象为永久性或可动性,即,将属于这些类别的对象标记为永久的或者可动的障碍物。在本公开的一些实施例中,处理器10可以识别并标记每个对象为永久的或可动的障碍物,因此创建地图层,用于表示环境的哪些区域是可由自主机器20进行导航的、以及构成不可导航区域的不可动障碍物都位于哪里。例如,处理器10可以通过对象识别,即,将对象识别为具有已知属性的已知对象,来将对象识别为可动的或永久的。例如,处理器10可以通过图像处理来识别对象为属于某个类别,并根据该类别来将对象标记为永久的或可动的障碍物。
在本发明的一些实施例中,估计的和/或典型的重量超过预定义阈值的对象,例如重家具,可由处理器10标记为不可动或在一定条件下可动,例如半永久障碍物。可动障碍物可包括例如椅子、轻家具、各种家居对象、自行车、电视机、手提箱、计算机、坐垫和/或其他合适的可动对象。在本发明的一些实施例中,处理器10可以识别并相应地标记自身能进行移动的自主对象,例如人类、动物、家庭宠物、玩具、机器人和/或其他合适的自主对象。
在一些情况下,处理器10可将障碍物的标记在永久和可动之间改变。在一些实施例中,处理器10可生成如何移动障碍物的具体说明。例如,上锁的门可标记为永久障碍物,其能够改变状态而变为可动。一旦门被解锁,它可以从关闭状态移动至打开状态并且反之亦然,因此变为可动对象。
在本公开的一些实施例中,处理器10可以基于接收到的传感器数据将具体对象标记为永久的或者可动。例如,自主机器20可以进行导航,例如在室内环境中,并且获取传感器数据流并提供给处理器10。例如,处理器10在数据流中的不同时间帧在不同位置识别对象,或者仅在一些时间帧中在某个位置识别出对象。因此,处理器10将该对象标记为可动。在一些实施例中,自主机器20可以在环境中导航时物理地接触、推和/或移动对象,感测该移动,并因此标记该对象为可动。
根据本公开的一些实施例,由系统100关于位于其环境中的对象而采集、存储和/或整合的数据可促使以优化方式执行任务。例如,处理器10可以基于传感器和/或存储的数据,获得和/或计算涉及某些任务的对象的例如重量、硬/软,易碎性和/或可动性,例如为了计算操作的优选顺序和/或优选路线。
在一些实施例中,处理器10可以计算执行任务的最佳、最快、最高效和/或最经济的方式,即,从初始状态A到达状态B。对于从状态A转换到状态B的任务,处理器10可以在存储的地图上计算路径,包括动作和/或动作的顺序,例如,来最小化行进时间和/或消耗的能量。例如,在任务为准备膳食的情况下,初始状态A为冰箱中的一套产品且桌子上无膳食,并且最终状态B为端上桌子的晚餐。优化准则可以包括准备期间和事后清洁的最小时间量和/或最小能耗,例如给定碗碟套和/或膳食品质等级。
在一些情况下,为了计算任务的最佳路径,处理器10可以要求关于环境中对象属性的数据,例如为了计算,例如在旋转椅子和桌子或橱柜之间寻找并/或确定哪个对象的移动消耗更少能量。处理器10可基于接收的传感器数据识别对象,并从数据库中获取所存储的关于对象属性的信息。例如,处理器10可识别桌子上的杯子,估计杯子的尺寸并查询数据库获得所估计尺寸的杯子的属性。
任务数据库182可存储可由机器20执行的任务的分层任务类别,其中每个任务可以包括可由控制器16控制的操作集。例如,收集公寓中四散的脏衣服的任务可以分解为更简单的动作直到基础动作,诸如推进到某个位置和/或抓取在某个位置的对象。数据库182中的每个任务可以存储有关于与数据库182的其他任务的关系的指示或与对象数据库181的对象类别的关系的指示。用于执行任务的操作集可以是由处理器10计算的最佳操作集,下面详细描述。存储在任务数据库182中的任务还可以包括和/或相关于用于执行任务的规则集,并且/或处理器10根据规则集计算操作集。例如,洗衣任务可包括关于待洗物的尺寸、重量和颜色的规则,并且应当使用关于这些规则的洗衣剂和/或洗涤程序。
任务类别可以包括,例如,使对象移动,清洁,洗衣家务诸如收集衣物、将衣物放进洗衣剂,将衣物移动到干燥机、叠好并将其放入衣柜,将脏碗碟放入洗碗机并将干净的碗碟放到碗碟架上,在清洁屋子期间移动家具,将屋子里四散的诸如玩具的物件归置到适当的位置,操作食物准备晚餐,和/或任何其他合适的任务。在一些实施例中,任务可以与指令存储在数据库182中,指令是关于任务应当在何时和/或在何种状况下执行。
当识别对象时,如方框280中所指示,处理器10可以检查任务数据库182是否包括与识别的对象有关的任务。例如,涉及对象的任务,要求使用对象,要求移动对象或者要求用对象进行的其他操作可以标记为与对象有关。如方框290中所指示,在任务数据库182包括与识别的对象相关的任务的情况下,如果需要,处理器10可以执行相关的任务,和/或基于新的传感器数据更新任务参数。更新的内容可以包括例如,包括在任务中的操作和/或操作的顺序、执行操作的方式、和/或任务的任何其他合适的参数。
下面参见图4,其为图示了根据本发明一些实施例的用于执行任务的方法400的示意性流程图。如方框310中所指示,处理器10可以从用户接收命令,例如通过用户界面(UI)110。UI 100可以包括网络接口以经由数字通信(诸如经由蜂窝网络)接收命令、Wi-Fi、蓝牙、TCP/IP和/或任何其他合适的网络和/或协议。用户界面(UI)110可以包括键盘、按钮、语音用户界面、视频、情绪识别、3D扫描仪、激光扫描仪、和/或任何其他合适的用户界面和/或命令识别方法。如方框320中所指示,处理器10可以解释命令,例如将命令翻译给存储在数据库18中的对象和/或任务,例如通过自然语言处理器(NLP)11和语音识别引擎12。在一些实施例中,为了防止错误动作,处理器10可以请求用户确认所请求的任务,如方框330中所指示。例如,处理器10可以通过UI 110将解释的命令表示给用户,例如通过生成和显示文本和/或例如由语音生成器121生成和发出语音。在一些实施例中,如果解释的命令是错误的,处理器10可以请求用户重复命令并且/或者执行重复的解释处理。
如方框340中所指示,一旦确认了解释的命令,处理器10可以构建如何执行任务的工作计划,例如通过基于对象属性来计算用于执行任务的优选操作集,如下面所详细描述的。操作集可以包括例如现成的指令,其可以是存储在数据库18中和/或由处理器10从网络、云和/或远程服务器搜索并下载的。在计算过程中,处理器10可以识别任务的目标,例如所期望的目标状态,以及所涉及的对象的属性,以计算最佳路径和/或最佳操作集。
下面参见图5,为根据本发明一些实施例的示出了分解成操作集的任务500的任务工作计划的示意图。任务500分解成更小的任务,例如主步骤510-550,每个主步骤分别分解成基础动作510a-510d、520a-520h、530a-530c、540a-540d和550a-550c。
返回图4,在一些实施例中,一旦计算了操作集,处理器10可以验证工作计划的可行性,如方框350中所指示。例如,处理器10可以核实所有必须的对象和/或资源是可用的并且准备好使用。例如,处理器10可以指令自主装置20探索相关环境以确保环境和/或要求的对象是可用的并且以准备好用于任务。
在一些实施例中,如方框360中所指示,一旦工作计划准备好和/或经验证,处理器10可以通过UI 110将计算出的计划表示给用户,例如通过文本和/或通过声音,并请求用户的确认。作为响应,用户可以确认计划,编辑计划,和/或拒绝计划。在计划未经确认和/或未被拒绝的情况下,处理器10可以请求用户编辑计划和/或可以执行重复的任务构建。
如方框370中所指示,例如一旦工作计划经验证和/或经确认,处理器10可以执行计划。例如,处理器10可以根据工作计划生成用于执行所要求任务的指令,例如可用动作生成器引擎14,其可以提供指令给控制器16。工作计划指示可以存储在命令储存器141中以备后用。
在本发明的一些实施例中,接收到的和/或预定义的指令可以存储在命令储存器141中用于在以后的时间或事件中启用。例如,在一些情况下,一旦机器20遇到和/或感测到某个对象,就执行与这个对象相关的预先存储在储存器141中的任务。
在本发明的一些实施例中,处理器10可以基于感测数据识别某个任务应该启用,并且生成用于控制器16的相应指令。例如,处理器10可以例如通过与对象数据库181中的污迹类别相关的特征来识别污迹。然后,处理器10可以在数据库182中找到清洁污迹的任务,其要求例如即刻的动作和/或在某些条件下的动作。如果要求即刻的动作并且/或者满足条件,处理器10生成用于控制器16的对应的指令以清洁污迹。在一些实施例中,储存器141可以存储定时任务,使得机器20在对应的预先排定的时间启动任务的执行。
在本公开的一些实施例的上下文中,以例子的方式且不作限定地,诸如“操作”或“执行”的术语意味着能力,分别诸如“可操作”或“可执行”。
组合术语诸如,例如“事物属性”意味着事物的属性,除非可以另行从其上下文清楚地明白。
术语“处理器”或“计算机”或其系统,在此使用为本领域的普通语境,诸如通用处理器、或者便携式装置诸如智能手机或笔记本计算机、或者微型处理器、或者RISC处理器、或者DSP,可能包括附加的元件诸如存储器或通信端口。可选地或附加地,术语“处理器”或者“计算机”或其派生代表这样的设备,其能够执行所提供的或者并入的程序和/或能够控制和/或访问数据存储设备和/或其他设备诸如输入和输出端口。术语“处理器”或“计算机”还代表多个处理器或计算机连接和/或链接和/或否则进行通信,可能共享一个以上其他资源诸如存储器。
术语“软件”、“程序”、“软件过程”或“过程”或“软件代码”或“代码”或“应用”可以根据其上下文交换地使用,并代表一个以上指示或指令或电子电路用于执行通常表示算法和/或其他处理或方法的操作序列。程序存储在介质内(或上),诸如RAM、ROM或光盘,或嵌入可由设备访问的电路中并可由诸如处理器的设备或其他电路执行。处理器和程序可至少部分地构成同一设备,诸如电子门阵列,诸如FPGA或ASIC,其设计为执行操作的编程序列,可选地包括或链接于处理器或其他电路。
对于对象而言,术语“配置”和/或“适用”或其变体意味着至少使用软件和/或电子电路和/或辅助设备,其设计为和/或实现为和/或可操作或运行为达成目标。
存储和/或包括程序和/或数据的装置构成制造物品。除非另外指定,程序和/或数据存储在非暂态介质内(或上)。
在公开电气或电子装备的情况下,假设合适的电源用于其操作。
流程图和方框图示出了根据本公开主题的各个实施例的系统、方法和计算机程序产品的可能实施的架构、功能性或操作。对此,流程图或方框图中的每个框可表示程序代码的模块、段或部分,其包括一个或多个可执行指令用于实施指定的逻辑功能。还应当注意的是,在一些备选实施中,图示的或描述的操作可以以不同的顺序或组合或作为同时的操作而发生,而不是顺序操作,以实现同样或等同的效果。
下面权利要求中的所有手段或步骤加上功能元件的相应结构、物质、动作和等同物旨在包括用于执行与如所具体要求保护的其他所要求保护的元件组合的功能的结构、物质或动作。如在此所使用的,单数形式“一个”和“该”旨在也包括复数形式,除非上下文清楚地指明了其他情况。将进一步理解,术语“包括”、“包含”和/或“具有”和这些术语的其他组合在使用在本说明书中时,指定了规定的特征、整数、步骤、操作、元件和/或部件,但不排除一个以上其他特征、整数、步骤、操作、元件、部件和/或其组的存在或附加。
在此使用的专门名词除非另外指定,不应当理解为限制,并且仅为了描述特定实施例的目的而不旨在限制所公开的主题。虽然图示或描述了所公开的主题的某些实施例,但将会清楚的是本公开不限于在此描述的实施例。不排除多种修改、改变、变型、替换和等同方案。
Claims (13)
1.一种环境探索方法,包括:
通过如下方式维持对象类别的数据库:
从自主机器的传感器接收感测数据并从所述感测数据中获取对象的特征,
且将所获得的感测数据与所述数据库的对应的对象类别相关联,其中所述数据库存储有与对应的类别特征关联的多个对象类别;
识别与所要求的任务相关的对象的类别和对应的类别特征;
基于所识别的类别特征,计算工作计划,所述工作计划具有用于执行所述任务的优选操作集;以及
生成自主机器指令并传送给致动器以执行所计算的优选操作集。
2.如权利要求1所述的方法,包括将从所述感测数据获得的所述特征归于所关联的对象类别。
3.如权利要求1所述的方法,包括接收来自用户的要求命令,通过自然语言处理器NLP解释该命令,验证所述工作计划的可行性,并请求用户确认所述工作计划。
4.如权利要求1所述的方法,其中,计算工作计划包括基于所识别的类别特征将所述任务分解成分层操作集。
5.如权利要求1所述的方法,包括确定所获取的对象特征是否属于所述数据库的相关的对象类别,并且在所述数据库中找到相关的对象类别的情况下,用对应的对象类别标识对对应的感测数据进行标记,并存储所标记的感测数据。
6.如权利要求5所述的方法,其中,在所述数据库中找不到相关的对象类别的情况下,创建新的对象类别,用新类别的标识标记对应的感测数据并存储所标记的感测数据。
7.如权利要求5所述的方法,其中,在从所述感测数据中识别的特征集除了包括所找到的类别的特征之外还包括附加特征的情况下,创建包括所述附加特征的对象子类别,用所创建的子类别的标识标记所述附加特征并存储所标记的感测数据。
8.如权利要求1所述的方法,其中,所述对象类别的数据库存储实体对象的类别和概念对象的类别。
9.如权利要求8所述的方法,其中,所述概念对象为任务的潜在目标。
10.如权利要求8所述的方法,其中,所述数据库包括对象类别之间的关系,其中关系不同的类型或级别在所述数据库中表示为不同,其中对象类别之间的每个关系具有取决于关联的强度或类型的权重值。
11.如权利要求10所述的方法,其中,对象类别之间的关系的所述权重值表示来自各个类别的对象被相关的可能性。
12.如权利要求10所述的方法,其中,所述权重值基于当前事件或状况而动态地变化。
13.一种环境探索系统,包括:
对象类别的数据库,其存储与对应的类别特征关联的多个对象类别;
自主机器,其具有传感器和致动器;以及
处理器,其配置为:
从所述自主机器的所述传感器接收感测数据并从所述感测数据中获取对象的特征;
将所获取的感测数据与所述数据库的对应的对象类别相关联;
识别与所要求的任务相关的对象的类别和所述对应的类别特征;
基于所识别的特征,计算具有用于执行所述任务的优选操作集的工作计划;以及
生成自主机器指令并传送给致动器以执行所计算的优选操作集。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/607,559 | 2017-05-29 | ||
US15/607,559 US20180341271A1 (en) | 2017-05-29 | 2017-05-29 | Environment exploration system and method |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107943944A true CN107943944A (zh) | 2018-04-20 |
Family
ID=61931041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711187115.6A Pending CN107943944A (zh) | 2017-05-29 | 2017-11-24 | 环境探索系统和方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180341271A1 (zh) |
CN (1) | CN107943944A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110928302A (zh) * | 2019-11-29 | 2020-03-27 | 华中科技大学 | 一种人机协同自然语言空间导航方法及系统 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102177489B1 (ko) * | 2018-08-17 | 2020-11-11 | 주식회사 마크베이스 | 센서 태그 데이터를 위한 색인 검색 방법 및 장치 |
JP2023062237A (ja) * | 2021-10-21 | 2023-05-08 | アセントロボティクス株式会社 | 対象デジタルツインモデル生成システム、ロボットの制御システム、仮想店舗生成システム、対象デジタルツインモデル生成方法、ロボットの制御方法、および仮想店舗生成方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100077327A1 (en) * | 2008-09-22 | 2010-03-25 | Microsoft Corporation | Guidance across complex tasks |
CN101925905A (zh) * | 2007-12-12 | 2010-12-22 | 3M创新有限公司 | 根据特征图像流程识别和验证未知文档 |
CN103118291A (zh) * | 2013-02-22 | 2013-05-22 | 浪潮齐鲁软件产业有限公司 | 一种广告信息在机顶盒上的呈现方法 |
US8452451B1 (en) * | 2011-05-06 | 2013-05-28 | Google Inc. | Methods and systems for robotic command language |
US20130339886A1 (en) * | 2012-06-18 | 2013-12-19 | Computer Pundits, Inc. | Tools for dynamic database driven catalog building |
CN103793448A (zh) * | 2012-10-26 | 2014-05-14 | 财团法人资讯工业策进会 | 文章信息提供方法以及系统 |
US20140267230A1 (en) * | 2013-03-14 | 2014-09-18 | Angel Gaming, Llc | Physical and Environmental Simulation Using Causality Matrix |
CN104462372A (zh) * | 2014-12-09 | 2015-03-25 | 武汉理工大学 | 一种基于文件驱动的项目进度控制方法及系统 |
CN104640677A (zh) * | 2012-06-21 | 2015-05-20 | 睿信科机器人有限公司 | 训练和操作工业机器人 |
US20150286701A1 (en) * | 2014-04-04 | 2015-10-08 | Quantum Corporation | Data Classification Aware Object Storage |
US20160059412A1 (en) * | 2014-09-02 | 2016-03-03 | Mark Oleynik | Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries |
WO2016100235A1 (en) * | 2014-12-16 | 2016-06-23 | Amazon Technologies, Inc. | Robotic grasping of items in inventory system |
CN106575365A (zh) * | 2014-02-28 | 2017-04-19 | 河谷控股Ip有限责任公司 | 对象识别特点分析系统和方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102345579B1 (ko) * | 2015-12-15 | 2021-12-31 | 삼성전자주식회사 | 이미지 관련 서비스를 제공하기 위한 방법, 저장 매체 및 전자 장치 |
US9740207B2 (en) * | 2015-12-23 | 2017-08-22 | Intel Corporation | Navigating semi-autonomous mobile robots |
US10166676B1 (en) * | 2016-06-08 | 2019-01-01 | X Development Llc | Kinesthetic teaching of grasp parameters for grasping of objects by a grasping end effector of a robot |
EP3407209A1 (en) * | 2017-05-22 | 2018-11-28 | Fujitsu Limited | Apparatus and method for extracting and storing events from a plurality of heterogeneous sources |
-
2017
- 2017-05-29 US US15/607,559 patent/US20180341271A1/en not_active Abandoned
- 2017-11-24 CN CN201711187115.6A patent/CN107943944A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101925905A (zh) * | 2007-12-12 | 2010-12-22 | 3M创新有限公司 | 根据特征图像流程识别和验证未知文档 |
US20100077327A1 (en) * | 2008-09-22 | 2010-03-25 | Microsoft Corporation | Guidance across complex tasks |
US8452451B1 (en) * | 2011-05-06 | 2013-05-28 | Google Inc. | Methods and systems for robotic command language |
US20130339886A1 (en) * | 2012-06-18 | 2013-12-19 | Computer Pundits, Inc. | Tools for dynamic database driven catalog building |
CN104640677A (zh) * | 2012-06-21 | 2015-05-20 | 睿信科机器人有限公司 | 训练和操作工业机器人 |
CN103793448A (zh) * | 2012-10-26 | 2014-05-14 | 财团法人资讯工业策进会 | 文章信息提供方法以及系统 |
CN103118291A (zh) * | 2013-02-22 | 2013-05-22 | 浪潮齐鲁软件产业有限公司 | 一种广告信息在机顶盒上的呈现方法 |
US20140267230A1 (en) * | 2013-03-14 | 2014-09-18 | Angel Gaming, Llc | Physical and Environmental Simulation Using Causality Matrix |
CN106575365A (zh) * | 2014-02-28 | 2017-04-19 | 河谷控股Ip有限责任公司 | 对象识别特点分析系统和方法 |
US20150286701A1 (en) * | 2014-04-04 | 2015-10-08 | Quantum Corporation | Data Classification Aware Object Storage |
US20160059412A1 (en) * | 2014-09-02 | 2016-03-03 | Mark Oleynik | Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries |
CN104462372A (zh) * | 2014-12-09 | 2015-03-25 | 武汉理工大学 | 一种基于文件驱动的项目进度控制方法及系统 |
WO2016100235A1 (en) * | 2014-12-16 | 2016-06-23 | Amazon Technologies, Inc. | Robotic grasping of items in inventory system |
US20170021499A1 (en) * | 2014-12-16 | 2017-01-26 | Amazon Technologies, Inc. | Generating robotic grasping instructions for inventory items |
Non-Patent Citations (3)
Title |
---|
MITSUHIRO OCHI ETAL.: "Gait training in subacute non-ambulatory stroke patients using a full weight-bearing gait-assistance robot:A prospective, randomized, open, blinded-endpoint trail", 《JOURNAL OF THE NEUROLOGICAL SCIENCES》 * |
张万绪等: "改进适应度的异构多机器人任务分配", 《西北大学学报(自然科学版)》 * |
李霞等: "采用栅格理论的多机器人系统任务元管理方法", 《电光与控制》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110928302A (zh) * | 2019-11-29 | 2020-03-27 | 华中科技大学 | 一种人机协同自然语言空间导航方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
US20180341271A1 (en) | 2018-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111543902B (zh) | 地面清洁方法、装置、智能清洁设备和存储介质 | |
Li et al. | Behavior-1k: A benchmark for embodied ai with 1,000 everyday activities and realistic simulation | |
CN111657798B (zh) | 基于场景信息的清扫机器人控制方法、装置和清扫机器人 | |
CN103093453B (zh) | 计算可改变实体的姿势和/或形状 | |
Pangercic et al. | Semantic object maps for robotic housework-representation, acquisition and use | |
CN107943944A (zh) | 环境探索系统和方法 | |
Galindo et al. | Multi-hierarchical semantic maps for mobile robotics | |
Gu et al. | Conceptgraphs: Open-vocabulary 3d scene graphs for perception and planning | |
CN104932534B (zh) | 一种云机器人清扫物品的方法 | |
Barber et al. | Mobile robot navigation in indoor environments: Geometric, topological, and semantic navigation | |
Liu et al. | Extracting semantic indoor maps from occupancy grids | |
Sheng et al. | Robot semantic mapping through human activity recognition: A wearable sensing and computing approach | |
CN109242963A (zh) | 一种三维场景模拟装置和设备 | |
CN106782029A (zh) | 室内地图生成方法及装置 | |
Li et al. | Towards ros based multi-robot architecture for ambient assisted living | |
Zaenker et al. | Hypermap mapping framework and its application to autonomous semantic exploration | |
Bayoumi et al. | Speeding up person finding using hidden Markov models | |
Haidu et al. | Automated models of human everyday activity based on game and virtual reality technology | |
Bastianelli et al. | Knowledge representation for robots through human-robot interaction | |
Awaad et al. | Finding ways to get the job done: An affordance-based approach | |
Estevez et al. | Enabling garment-agnostic laundry tasks for a robot household companion | |
JP2004268148A (ja) | 生活空間用の物品移動システム、及びロボット操作装置 | |
Nocentini et al. | Learning-based control approaches for service robots on cloth manipulation and dressing assistance: a comprehensive review | |
Kranz et al. | Robots, objects, humans: Towards seamless interaction in intelligent environments | |
Galindo et al. | Multihierarchical interactive task planning: application to mobile robotics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20220208 |
|
AD01 | Patent right deemed abandoned |