CN110110245B - 一种家庭环境下动态物品搜索方法及装置 - Google Patents

一种家庭环境下动态物品搜索方法及装置 Download PDF

Info

Publication number
CN110110245B
CN110110245B CN201910372439.XA CN201910372439A CN110110245B CN 110110245 B CN110110245 B CN 110110245B CN 201910372439 A CN201910372439 A CN 201910372439A CN 110110245 B CN110110245 B CN 110110245B
Authority
CN
China
Prior art keywords
article
room
knowledge
static
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910372439.XA
Other languages
English (en)
Other versions
CN110110245A (zh
Inventor
田国会
张营
李泚泚
陈焕朝
张梦洋
张森彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201910372439.XA priority Critical patent/CN110110245B/zh
Publication of CN110110245A publication Critical patent/CN110110245A/zh
Application granted granted Critical
Publication of CN110110245B publication Critical patent/CN110110245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries

Abstract

本发明公开了一种家庭环境下动态物品搜索方法及装置,该方法包括以下步骤:接收服务任务,提取出待搜索的目标动态物品信息;从知识库中获取待搜索的目标动态物品在所有房间的概率,构建候选房间序列,确定最佳搜索房间;获取在最佳搜索房间以及其他候选房间中待搜索的目标动态物品最相关的静态物品;从知识库中获取最相关的静态物品与待搜索的目标动态物品之间的位置关系;搜索并识别出最相关的静态物品,根据最相关的静态物品与待搜索的目标动态物品之间的位置关系,搜索并识别出目标动态物品。本发明不仅可以让服务机器人快速的在已知家庭环境或半未知家庭环境中搜索到所需动态物品,还可以在未知家庭环境有效地推理并找到所需动态物品。

Description

一种家庭环境下动态物品搜索方法及装置
技术领域
本公开涉及物品搜索技术领域,具体涉及一种应用于家庭环境中的动态物品搜索方法及装置。
背景技术
随着人口老龄化问题日益加剧,以及人们对高品质生活服务的追求,促使了对家庭服务机器人的需求不断增加。同时随着机器人技术的不断发展,服务机器人的智能化程度也不断提高,这使得家庭服务机器人为人们提供日常任务成为可能。对服务机器人而言,一个重要的需求是其具有日常操作任务的技能。
服务机器人要想自主的完成日常操作任务,前提是其在接受到操作任务后,能够在动态非结构的家庭环境中找到所需要操作的物品。然而,这类物品(需要操作的物品)通常具有体积较小、位置易变化等特点,以及家庭环境中物品摆放较拥挤等,从而增加了服务机器人搜索到物品的困难。
中国发明申请号为200910230704.7公开了一种基于RFID的物品搜寻方法,该方法是在物品上粘贴RFID标签,然后通过安装在房间内固定式RFID系统来定位物品的位置,如果物品超出检测系统,则机器人利用携带的移动式RFID系统实现物品的检测与定位。该方法需要事先对物品进行改造(如粘贴标签),不但增加了成本还改变的家庭环境,影响用户的日常使用。
中国发明申请号为201780000587.8公开了一种可用于服务机器人的家庭物品搜索方法,根据用户提供的服务任务,搜索装置获取对应搜索物品的3D模型,然后结合监控系统和该物品的历史位置信息进行物品的搜索。首先,该方法需要在家庭环境中大范围的安装监控系统,这将会引起用户隐私安全问题;其次,该方法也不适用于未知家庭环境中的物品搜索,同时未考虑家庭物品具有高动态性等特点。
发明内容
为了克服上述现有技术的不足,本公开提供了一种应用于家庭环境中的动态物品搜索方法及装置,不仅可以让服务机器人快速的在已知家庭环境或半未知家庭环境中搜索到所需动态物品,还可以在未知家庭环境有效地推理并找到所需动态物品。
本公开的第一方面提供的一种家庭环境下动态物品搜索方法的技术方案是:
一种家庭环境下动态物品搜索方法,该方法包括以下步骤:
接收服务任务,提取出待搜索的目标动态物品信息;
从知识库中获取待搜索的目标动态物品在所有房间的概率,构建候选房间序列,确定最佳搜索房间;
筛选出在最佳搜索房间以及其他候选房间中待搜索的目标动态物品最相关的静态物品;
从知识库中获取最相关的静态物品与待搜索的目标动态物品之间的位置关系;
搜索并识别出最相关的静态物品,根据最相关的静态物品与待搜索的目标动态物品之间的位置关系,搜索并识别出目标动态物品。
本公开的第二方面提供的一种家庭环境下动态物品搜索装置的技术方案是:
一种家庭环境下动态物品搜索装置,该装置包括:
任务接收模块,用于接收服务任务,提取出待搜索的目标动态物品信息;
知识获取模块,用于从知识库中获取待搜索的目标动态物品在所有房间的概率;
任务处理模块,用于构建候选房间序列,确定最佳搜索房间,筛选出在最佳搜索房间以及其他候选房间中待搜索的目标动态物品最相关的静态物品,并从知识库中获取最相关的静态物品与待搜索的目标动态物品之间的位置关系;
目标搜索模块,用于搜索并识别出最相关的静态物品,根据最相关的静态物品与待搜索的目标动态物品之间的位置关系,搜索并识别出目标动态物品。
通过上述技术方案,本公开的有益效果是:
(1)本公开基于开源知识库建立了家庭物品-房间空间位置概率模型,根据该模型可以推理出所需物品最可能被放置在的房间类型,从而有效减少服务机器人搜索所需物品过程中对其它区域的探索;
(2)本公开提出的家庭物品搜索方法,通过位置不易改变的大物品引导所需的动态小物品的搜索,可减少服务机器人在房间内搜索所需动态物品的空间;
(3)本公开通过本体技术对动态物品和静态物品的位置关系进行知识建模,可以为服务机器人提供明确的搜索知识,指引机器人的搜索方向,进一步提高对所需动态物品的搜索效率;
(4)本公开为服务机器人在家庭环境下实施家庭物品搜索提供了一种可行方案,有助于服务机器人在家庭环境下高效的完成服务任务。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解,本公开的示意性实施例及其说明用于解释本申请,并不构成对本公开的不当限定。
图1是实施例一家庭环境下动态物品搜索方法的流程图;
图2是实施例二家庭环境下动态物品搜索装置的结构图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本公开提供进一步的说明。除非另有指明,本公开使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供一种家庭环境下动态物品搜索方法,建立了家庭物品-房间空间位置概率模型,提出了家庭物品搜索技巧,还通过本体技术对物品进行知识建模。
请参阅附图1,所述动态物品搜索方法包括以下步骤:
S101,构建知识库。
具体地,所述步骤101的具体实现步骤为:
S1011,从开源知识库中获取相应的知识建立家庭物品-房间空间位置概率模型,并储存在知识库中。
在本实施例中,所述开源知识库包括家庭场景、家庭物品与房间、家庭物品与家庭物品关系的开源数据集或搜索引擎等,如:LabelMe[http://labelme.csail.mit.edu/ Release3.0],ConceptNet[http://www.conceptnet.io]等。
具体地,从开源知识库中可以获得家庭环境中物品与房间的空间位置关系,通过统计其出现的位置、次数等信息,可计算出家庭物品出现在房间的概率分布,得到家庭物品-房间空间位置概率模型。所述家庭物品-房间空间位置概率模型包含家庭物品出现在各个房间的概率P。
房间类型(如:客厅、卧室等)记为R,物品记为O,Ri表示开源知识库中某一个房间类型,那么该房间类型Ri被统计的次数记为N(Ri),同时在房间Ri中出现某一物品Oj次数记为N(Oj,Ri),从而可以得出物品Oj出现在房间Ri条件下的概率分布:
Figure BDA0002050446280000051
其中,i,j属于正整数。
在本实施例中,为了补充统计物品次数过程中出现遗漏或者物品个数为0的情况,引入了参数λ,0<λ<1,如在本实施例中,参数λ=0.5,那么上述概率分布(公式(1))则可表示为:
Figure BDA0002050446280000052
其中,n表示物品的个数。
S1012,采用本体技术构建物品知识模型。
本体技术是对特定领域中概念及其属性和相互关系明确的形式化规范描述。本体的形式化定义为
Figure BDA0002050446280000053
其中
Figure BDA0002050446280000054
表示本体(ontology),
Figure BDA0002050446280000055
表示类(class)的集合;P表示属性(property)的集合,描述了类与类、实例与实例、实例与数值之间的二元关系;
Figure BDA0002050446280000056
表示实例(individual)的集合,实例是类的元素;
Figure BDA0002050446280000057
表示公理(axiom)的集合,包括类公理、属性公理、实例公理。类公理表示类与类之间的相互关系(包含或等价);属性公理表示属性与属性之间的相互关系(包含、等价或互逆)及属性的特征(传递性、对称性、函数性或反函数性);实例公理表示实例之间的关系(等价或不同);
Figure BDA0002050446280000061
表示事实(fact)的集合,除了公理以外的其他关系都用事实表示。
在本实施例中,采用本体技术,并借助protégé工具对静态物品和动态物品进行了知识建模,得到物品知识模型,以明确静态物品和动态物品之间的位置关系。静态物品是指物品体积大且其位置不经常发生变化,比如床、沙发、书桌等物品,记为OS;动态物品是指物品体积小且其位置经常发生变化,比如水杯、茶壶、抱枕等物品,记为OD;通常执行操作任务所需的物品就是动态物品,本实施例主要针对搜索动态物品而提供的一种搜索方法。
该物品知识模型可以为服务机器人搜索到静态物品时引导服务机器人快速地找到所需动态物品。所述物品知识模型包括静态物品和动态物品之间的位置关系,分别为:isIn(OD,OS),isOn(OD,OS),isUnder(OD,OS)和isNextTo(OD,OS)。
具体地,isIn(OD,OS)表示动态物品OD在静态物品OS的里面,如:isIn(Plate,Cabinet)表示盘子在橱柜里面;isOn(OD,OS)表示动态物品OD在静态物品OS的上面,如:isOn(Cup,Table)表示杯子在桌子的上面;isUnder(OD,OS)表示动态物品OD在静态物品OS的下面,如:isUnder(Kettle,Table)表示水壶在桌子的下面;isNextTo(OD,OS)表示动态物品OD在静态物品OS的旁边,如:isNextTo(Chair,Table)表示椅子在桌子的旁边。
需要说明的是,isIn(OD,OS),isOn(OD,OS),isUnder(OD,OS)和isNextTo(OD,OS)均表示实例之间的属性关系。
S102,搜索动态物品。
具体地,所述步骤102的具体实现方式如下:
S1021,接收服务任务,提取出待搜索的目标动态物品O′D
具体地,服务机器人接收到服务任务,提取出完成该任务需要搜索的目标动态物品O′D
S1022,判断是否明确待搜索的目标动态物品O′D的位置,如果服务机器人已知待搜索的目标动态物品O′D的位置,那么转到步骤10211;如果待搜索的目标动态物品O′D的位置是未知的,则转到步骤1023。
S1023,判断服务机器人是否可以自主规划出机器人当前位置到所有房间R的行驶路线,如果可以规划出机器人当前位置到房间R的行驶路线,则表明服务机器人是在已知家庭环境(或半未知家庭)中执行动态物品搜索,那么转到步骤1024;如果不能规划出机器人当前位置到房间R的行驶路线,则表明服务机器人是在未知家庭环境中执行动态物品搜索,那么转到步骤1027。
S1024,根据家庭环境中房间的位置和机器人当前的位置,规划出机器人从当前位置到房间Ri的行驶路线,并计算路线长度Li,然后计算出从机器人当前位置到房间Ri的行驶路线长度占从机器人当前位置到所有房间R的路线长度和的比值PL,i
具体地,从机器人当前位置到房间Ri的行驶路线占机器人当前位置到所有房间R的比值PL,i的计算公式为:
Figure BDA0002050446280000071
其中,N表示家庭环境中包含房间的个数。
S1025,从知识库中获取待搜索的目标动态物品O′D在所有房间R的概率P。
S1026,根据从机器人当前位置到房间Ri的行驶路线占机器人当前位置到所有房间R的比值和待搜索的动态物品O′D在所有房间R的概率P,构建候选房间序列,确定最佳搜索房间R*,进入步骤1029。
具体地,构建待搜索的候选房间序列
Figure BDA0002050446280000081
其中
Figure BDA0002050446280000082
函数T[PL,i,P(Ri|O′D)]为比值PL,i与概率P(Ri|O′D)之间的折中。序列
Figure BDA0002050446280000083
是按照“比值PL,i越小,同时概率P(Ri|O′D)越大”的方法进行排列的房间类型序列,也就是比值PL,i越小越好,同时概率P(Ri|O′D)越大越好,
Figure BDA0002050446280000084
等于P(Ri|O′D)的取值由大到小排列后房间类型,也就是将O′D放置在的房间类型进行由大到小排列的房间类型序列。
确定最佳搜索房间R*,
Figure BDA0002050446280000085
也就是函数T[PL,i,P(Ri|O′D)]为PL,i取最小值时,同时P(Ri|O′D)取最大值的折中。
S1027,从知识库中待搜索的动态物品O′D在所有房间R的概率P;根据知识库中知识,基于贝叶斯法则执行位置推理,推理出需搜索的候选房间
Figure BDA0002050446280000086
其中
Figure BDA0002050446280000087
等于P(Ri|O′D)的取值由大到小排列后房间类型,也就是将O′D放置在的房间类型进行由大到小排列的房间类型序列。
S1028,决策出最佳搜索房间R*。
Figure BDA0002050446280000088
也就是O′D最可能放置的房间类型R′,即R*=R′,其中,R′为:
R′=argmaxP(Ri|O′D) (4)
其中,O′D为待搜索的动态物品;Ri表示开源知识库中某一个房间类型。
S1029,获取在最佳搜索房间R*中待搜索的动态物品O′D最可能相关联的静态物品
Figure BDA0002050446280000089
以及其他候选房间
Figure BDA00020504462800000810
中待搜索的动态物品O′D最可能相关联的静态物品
Figure BDA0002050446280000091
家庭物品搜索技巧即通过位置不易改变的大物品引导所需的动态小物品的搜索,为此在本实施例中,将家庭物品分为了两类:静态物品和动态物品。
静态物品是指物品体积大且其位置不经常发生变化,比如床、沙发、书桌等物品,记为OS;动态物品是指物品体积小且其位置经常发生变化,比如水杯、茶壶、抱枕等物品,记为OD;通常执行操作任务所需的物品就是动态物品,本实施例主要针对搜索动态物品而提供的一种搜索方法;
所述静态物品OS和所述动态物品OD都属于物品O,根据公式(3),动态物品OD,b和静态物品OS,a同时出现在某一个房间的概率分布为:
Figure BDA0002050446280000092
其中,a,b属于正整数。
根据待搜索的动态物品O′D,首先采用贝叶斯法则推理出待搜索的动态物品O′D最可能被放置在的房间R′,然后,推理出在房间R′中待搜索的动态物品O′D最可能相关联的静态物品OS′,通过该静态物品OS′来引导服务机器人搜索所需动态物品O′D,由于静态物品体积大且位置不经常发生变化,所以极易被发现。
在房间R′中待搜索的动态物品O′D最可能相关联的静态物品OS′为:
OS′=argmaxP(OS,a|O′D,R′) (5)
其中,O′D为待搜索的动态物品;OS,a为静态物品;Ri表示开源知识库中某一个房间类型。
具体地,在最佳搜索房间R*中待搜索的动态物品O′D最可能相关联的静态物品
Figure BDA0002050446280000093
为:
Figure BDA0002050446280000101
如果在最佳搜索房间R*中没有找到待搜索的动态物品O′D,那么服务机器人按照
Figure BDA0002050446280000102
中的排列顺序进入下一个房间搜索,直到找到最相关静态物品
Figure BDA0002050446280000103
S10210,根据步骤1029得到的最相关静态物品
Figure BDA0002050446280000104
从知识库中获取静态物品
Figure BDA0002050446280000105
与待搜索的动态物品O′D之间的位置关系,同时获得在其它候选房间
Figure BDA0002050446280000106
中O′D与其最可能相关联的静态物品
Figure BDA0002050446280000107
的位置关系,以用来引导机器人在房间内进行物品的搜索。
S10211,服务机器人进行待搜索的物品O′D的搜索,并对将变化的知识更新到知识库中以维护知识的准确性。
具体地,服务机器人可根据上述得到的最佳搜索房间R*,以及最关联静态物品
Figure BDA0002050446280000108
与动态物品O′D之间的位置关系进行自主完成物品O′D的搜索;服务机器人可在已知动态物品O′D位置的情况下直接自主完成物品的搜索。
在本实施例中,服务机器人自主导航到最佳搜索房间R*中,因为直接搜索O′D较为困难,因此服务机器人先搜到并识别出O′D最可能相关联的静态物品
Figure BDA0002050446280000109
然后根据静态物品
Figure BDA00020504462800001010
与待搜索的动态物品O′D之间的位置关系,引导机器人搜索并识别出动态物品O′D,假设获取到静态物品
Figure BDA00020504462800001011
与需要搜索的动态物品O′D的位置关系为
Figure BDA00020504462800001012
那么机器人直接在静态物品
Figure BDA00020504462800001013
上面搜索,而不是其它位置,以实现动态物品的高效搜索。
需要说明的是,由于完成服务任务所需要搜索的动态物品O′D通常体积较小并且位置极易变动,所以,如果直接搜索该物品O′D则需要彻底的探索整个家庭环境,这就使得机器人搜索效率低,为此,本实施例中首先推理出放置物品O′D的最佳搜索房间R*,以减少搜索房间的数目,然后推理出在房间R*中与O′D最可能相关联的静态物品
Figure BDA0002050446280000111
在此获取静态物品
Figure BDA0002050446280000112
与所需要搜索的动态物品O′D之间直接的位置关系,来引导机器人搜索物品O′D,从而进一步减少房间R*内的搜索空间,实现动态物品的高效搜索。
服务机器人搜索到静态物品后,可根据静态物品和动态物品之间的位置关系引导机器人直接搜索动态物品,比如,服务机器人要搜索动态物品Cup,并且推理出动态物品Cup与静态物品Table密切相关,那么可以直接从知识库获取动态物品Cup与静态物品Table之间的位置关系,如isOn(Cup,Table),从而服务机器人在检测到Table后,会在Table的上面寻找动态物品Cup,而不是其它的地方,进而可以减少搜索空间。当在房间R*中找到物品O′D时,则完成动态物品搜索任务;否则,服务机器人将按照其它候选房间
Figure BDA0002050446280000113
排列顺序进行依次搜索,直到找到物品O′D结束。
实施例二
本实施例提供一种家庭环境下动态物品搜索装置。请参阅附图2,该装置包括开源知识获取模块201、物品知识构建模块202、知识库管理模块203、知识更新模块204、知识获取模块205、任务处理模块206、环境判别模块207、路径规划模块208、知识推理模块209、知识决策模块210、自主导航模块207、物品识别模块208和场景识别模块209。
所述开源知识获取模块201,用于从开源知识库中获取家庭物品与房间之间的关系,建立家庭物品-房间空间位置概率模型,并储存在知识库中。
具体地,所示开源知识源是指包含家庭场景、家庭物品-房间、家庭物品与家庭物品关系的开源数据集或搜索引擎,如:LabelMe[http://labelme.c2ail.mit.edu/Relea2e3.0],ConceptNet[http://www.conceptnet.io]等。
所述物品知识构建模块202,用于采用本体技术,构建静态物品与动态物品之间明确的位置关系,得到物品知识模型,并储存在知识库中。
具体地,所述物品知识构建模块202具体用于:
采用本体技术,并借助protégé工具对静态物品和动态物品进行了知识建模,得到物品知识模型,所述物品知识模型包含静态物品和动态物品之间四种位置关系为:isIn(OD,O2),isOn(OD,O2),isUnder(OD,O2)和isNextTo(OD,O2)。
所述知识库管理模块203,用于对知识库中的知识进行管理和维护,以保持其知识的增长与准确性。
在本实施例中,所述开源知识获取模块201所建立家庭物品-房间空间位置概率模型,以及物品知识构建模块202所建立的物品知识模型都将会储存在知识库中,并由知识库管理模块203进行管理维护;
所述知识更新模块204,用于检验知识库中的知识与家庭环境中的知识是否保持一致性,如果检测到家庭环境发生变化(如:水杯从卧室被拿到了客厅),则知识更新模块204会根据变化的信息更新到知识库中(如:由水杯在卧室之前的知识更新成水杯在客厅)。
所述知识获取模块205,用于对知识库中的知识按需进行提取。
具体地,所述知识获取模块205会根据知识推理模块209和知识决策模块210的需求抽取知识库中的相应的知识。
所述任务接收模块206,用于提取出任务信息中待搜索的目标动态物品,如:帮我把水杯拿过来,则通过任务处理模块206会提取出所需要搜索的目标动态物品是水杯。
所述环境判别模块207,用于判别当前服务机器人是处于已知家庭环境、未知家庭环境、半未知家庭环境。
所述路径规划模块208,用于规划机器人从当前位置到各个房间的行驶路径和计算规划路线的长度,并计算出从机器人当前位置到房间Ri的行驶路线长度占机器人当前位置到所有房间R的路线长度和的比值。
具体地,所述路径规划模块208可以根据任务处理模块210提取出的目标物品、家庭环境中房间的位置和机器人当前的位置进行路径规划,并计算路线长度和长度占总长度的比值。
假如服务机器人在一个半未知或已知的家庭环境中,已明确该家庭环境存在4个房间,那么路径规划模块208可以规划出机器人当前位置到房间1的长度为L1,到房间2的长度为L2,到房间3的长度为L3,到房间4的长度为L4,并可返回它们之间的比值,也即是
Figure BDA0002050446280000131
Figure BDA0002050446280000132
所述知识推理模块209,用于推理出与目标物品最相关的静态物品,以及目标物品最可能放置在最佳房间类型。
具体地,知识推理模块209根据任务处理模块210提取出的目标物品,结合知识获取模块205提供的知识,采用贝叶斯法则推理出目标物品可能被放置在的房间类型,以及在推理的房间内与目标物品最相关的静态物品。
所述知识决策模块210,用于决策出在搜索目标物品的任务中搜索候选房间类型
Figure BDA0002050446280000133
并确定最佳搜索房间类型R*,以及在所有候选房间类型
Figure BDA0002050446280000134
和最佳搜索房间类型R*中决策出与目标物品所有相关联的静态物品
Figure BDA0002050446280000135
和最可能相关联的静态物品
Figure BDA0002050446280000136
并可以根据知识获取模块205提供的知识得到目标物品与其相关联的静态物品
Figure BDA0002050446280000141
Figure BDA0002050446280000142
的位置关系知识,如:isIn(OD,O2),isOn(OD,O2),isUnder(OD,O2)和isNextTo(OD,O2)。
具体地,知识决策模块210在决策过程中,可分为两种情况:一种情况是服务机器人在未知家庭环境下,那么知识决策模块210所决策的最佳搜索房间类型R*就是知识推理模块209所推理出的目标物品最可能放置的房间类型,其它候选房间类型
Figure BDA0002050446280000143
则按照P(Ri|O′D)取值由大到小房间类型Ri的排列顺序;另一种情况下服务机器人在已知或者半未知家庭环境下,那么知识决策模块210所决策的最佳搜索房间类型R*是在知识推理模块209所推理出的目标物品最可能放置的房间类型的基础上,考虑机器人当前位置到所有房间的比值,也就是比值PL,i越小越好,同时概率P(Ri|O′D)越大越好,进而决策出最佳搜索房间类型R*,而其它候选房间类型
Figure BDA0002050446280000144
则按照“比值PL,i越小,同时概率P(Ri|O′D)越大”的策略进行排列。
知识推理模块209在确定最佳搜索房间R*和其它候选房间类型
Figure BDA0002050446280000145
的基础上,结合决策出推理出在房间类型R*和其它候选房间类型
Figure BDA0002050446280000146
中O′D最可能相关联的静态物品
Figure BDA0002050446280000147
Figure BDA0002050446280000148
然后结合知识获取模块205获取目标物品与
Figure BDA0002050446280000149
Figure BDA00020504462800001410
的位置关系知识。
所述自主导航模块211,用于在家庭环境中执行动态物品搜索,直到搜索到目标物品才终止搜索任务。
具体地,自主导航模块211根据知识决策模块210决策出的最佳搜索房间R*、与目标物品最可能相关联的静态物品
Figure BDA00020504462800001411
以及目标物品与
Figure BDA00020504462800001412
的位置关系知识,进行自主的完成目标搜索任务。
如果在最佳搜索房间R*内没有找到目标物品,那么机器人会按照候选房间
Figure BDA0002050446280000151
中除R*房间以外的排列顺序依次进行探索,同时根据目标物品相应最可能相关联的静态物品
Figure BDA0002050446280000152
以及目标物品与
Figure BDA0002050446280000153
的位置关系知识进行搜索,直到搜索到目标物品终止搜索任务。
所述物品识别模块212,用于对家庭物品(包括动态物品和静态物品)的识别,并为自主导航模块211提供识别结果。
所述场景识别模块213,用于对家庭场景(如房间类型)的识别,并为自主导航模块211提供识别结果。
本实施例提出的家庭环境下动态物品搜索装置,不仅可以让服务机器人快速的在已知家庭环境或半未知家庭环境中搜索到所需动态物品,还可以在未知家庭环境有效地推理并找到所需动态物品。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (9)

1.一种家庭环境下动态物品搜索方法,其特征是,该方法包括以下步骤:
接收服务任务,提取出待搜索的目标动态物品信息;
从知识库中获取待搜索的目标动态物品在所有房间的概率,构建候选房间序列,确定最佳搜索房间;
筛选出在最佳搜索房间以及其他候选房间中与待搜索的目标动态物品最相关的静态物品;所述目标动态物品最相关的静态物品的获取方法为:
获取目标动态物品与静态物品同时出现在同一房间的次数,计算目标动态物品与静态物品出现在同一房间的概率;
选取目标动态物品与静态物品出现在同一房间的概率最大值,将该概率最大值所对应的静态物品作为目标动态物品最相关的静态物品;
从知识库中获取最相关的静态物品与待搜索的目标动态物品之间的位置关系;
搜索并识别出最相关的静态物品,根据最相关的静态物品与待搜索的目标动态物品之间的位置关系,搜索并识别出目标动态物品。
2.根据权利要求1所述的家庭环境下动态物品搜索方法,其特征是,所述知识库包括家庭物品-房间空间位置概率模型和物品知识模型。
3.根据权利要求2所述的家庭环境下动态物品搜索方法,其特征是,所述家庭物品-房间空间位置概率模型的建立方法为:
从开源知识库中获取家庭环境中物品与房间的空间位置关系,统计各房间类型出现的次数以及物品出现在各房间的次数信息,计算家庭物品出现在各房间的概率分布,得到家庭物品-房间空间位置概率模型;
所述物品知识模型的建立方法为:
采用本体技术,建立静态物品与动态物品之间的位置关系,包括动态物品在静态物品的里面、动态物品在静态物品的上面、动态物品在静态物品的下面以及动态物品在静态物品的旁边,得到物品知识模型。
4.根据权利要求1所述的家庭环境下动态物品搜索方法,其特征是,所述最佳搜索房间的确定方法为:
判断是否能规划出从机器人当前位置到所有房间的行驶路线;
若能规划,则获取从机器人当前位置到所有房间的路线长度,计算从机器人当前位置到每个房间的路线长度占从机器人当前位置到所有房间的路线长度之和的比值;
从知识库中获取待搜索的目标动态物品在所有房间的概率;构建从机器人当前位置到每个房间的路线长度占从机器人当前位置到所有房间的路线长度之和的比值与从知识库中获取待搜索的目标动态物品在每个房间的概率的函数;
按照比值小,概率大的方式,将所有函数值进行排序,得到候选房间序列;选取候选房间序列中第一个候选房间作为最佳搜索房间;
若不能规划,则从知识库中获取待搜索的目标动态物品在所有房间的概率;按照由大到小的方式排列概率,得到候选房间序列;选取候选房间序列中第一个候选房间作为最佳搜索房间。
5.一种家庭环境下动态物品搜索装置,其特征是,该装置包括:
任务接收模块,用于接收服务任务,提取出待搜索的目标动态物品信息;
知识获取模块,用于从知识库中获取待搜索的目标动态物品在所有房间的概率;
任务处理模块,用于构建候选房间序列,确定最佳搜索房间,筛选出在最佳搜索房间以及其他候选房间中与待搜索的目标动态物品最相关的静态物品,并从知识库中获取最相关的静态物品与待搜索的目标动态物品之间的位置关系;所述目标动态物品最相关的静态物品的获取方法为:
获取目标动态物品与静态物品同时出现在同一房间的次数,计算目标动态物品与静态物品出现在同一房间的概率;
选取目标动态物品与静态物品出现在同一房间的概率最大值,将该概率最大值所对应的静态物品作为目标动态物品最相关的静态物品;
目标搜索模块,用于搜索并识别出最相关的静态物品,根据最相关的静态物品与待搜索的目标动态物品之间的位置关系,搜索并识别出目标动态物品。
6.根据权利要求5所述的家庭环境下动态物品搜索装置,其特征是,还包括开源知识获取模块、物品知识构建模块、知识库管理模块和知识更新模块;
所述开源知识获取模块,用于从开源知识库中获取家庭物品与房间之间的关系,建立家庭物品-房间空间位置概率模型,并储存在知识库中;
所述物品知识构建模块,用于采用本体技术,构建静态物品与动态物品之间的位置关系,得到物品知识模型,并储存在知识库中;
所述知识库管理模块,用于对知识库中的知识进行管理和维护;
所述知识更新模块,用于检验知识库中的知识与家庭环境中的知识是否保持一致性,如果检测到家庭环境发生变化,则根据变化的信息更新到知识库中。
7.根据权利要求5所述的家庭环境下动态物品搜索装置,其特征是,所述任务处理模块包括环境判别模块、路径规划模块和知识决策模块;
所述环境判别模块,用于判别当前服务机器人是处于已知家庭环境、未知家庭环境或半未知家庭环境;
所述路径规划模块,用于规划从机器人当前位置到所有房间的行驶路线,计算从机器人当前位置到所有房间的路线长度,并计算从机器人当前位置到每个房间的路线长度占从机器人当前位置到所有房间的路线长度之和的比值;
所述知识决策模块,用于在已知或者半未知家庭环境下,获取待搜索的目标动态物品在所有房间的概率;构建从机器人当前位置到每个房间的行驶路线长度占从机器人当前位置到所有房间的路线长度和的比值与从知识库中获取待搜索的目标动态物品在每个房间的概率的函数;按照比值小,概率大的方式,将所有函数值进行排序,得到候选房间序列;选取候选房间序列中第一个候选房间作为最佳搜索房间;计算目标动态物品与静态物品出现在最佳搜索房间的概率,将该概率最大值所对应的静态物品作为目标动态物品最相关的静态物品;从知识库中获取最相关的静态物品与待搜索的目标动态物品之间的位置关系。
8.根据权利要求7所述的家庭环境下动态物品搜索装置,其特征是,所述任务处理模块还包括知识推理模块;所述知识推理模块,用于在未知家庭环境下,根据知识获取模块得到的待搜索的目标动态物品在所有房间的概率;按照由大到小的方式排列概率,得到候选房间序列;选取候选房间序列中第一个候选房间作为最佳搜索房间,计算目标动态物品与静态物品出现在最佳搜索房间的概率,将该概率最大值所对应的静态物品作为目标动态物品最相关的静态物品;从知识库中获取最相关的静态物品与待搜索的目标动态物品之间的位置关系。
9.根据权利要求5所述的家庭环境下动态物品搜索装置,其特征是,所述目标搜索模块包括自主导航模块、物品识别模块和场景识别模块;
所述物品识别模块,用于搜索并识别出最相关的静态物品;
所述场景识别模块,用于对家庭场景进行识别;
所述自主导航模块,用于根据最相关的静态物品与待搜索的目标动态物品之间的位置关系,搜索并识别出目标动态物品。
CN201910372439.XA 2019-05-06 2019-05-06 一种家庭环境下动态物品搜索方法及装置 Active CN110110245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910372439.XA CN110110245B (zh) 2019-05-06 2019-05-06 一种家庭环境下动态物品搜索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910372439.XA CN110110245B (zh) 2019-05-06 2019-05-06 一种家庭环境下动态物品搜索方法及装置

Publications (2)

Publication Number Publication Date
CN110110245A CN110110245A (zh) 2019-08-09
CN110110245B true CN110110245B (zh) 2021-03-16

Family

ID=67488363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910372439.XA Active CN110110245B (zh) 2019-05-06 2019-05-06 一种家庭环境下动态物品搜索方法及装置

Country Status (1)

Country Link
CN (1) CN110110245B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190012B (zh) * 2021-05-10 2022-08-12 山东大学 一种机器人任务自主规划方法及系统
CN116009561B (zh) * 2023-03-24 2023-07-25 科大讯飞股份有限公司 机器人及其寻桩方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902271A (zh) * 2012-10-23 2013-01-30 上海大学 基于双目视觉的机器人目标识别与抓取系统及方法
CN105894702A (zh) * 2016-06-21 2016-08-24 南京工业大学 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
CN108256463A (zh) * 2018-01-10 2018-07-06 南开大学 基于esn神经网络的移动机器人场景识别方法
CN108290294A (zh) * 2015-11-26 2018-07-17 三星电子株式会社 移动机器人及其控制方法
CN108983625A (zh) * 2018-07-20 2018-12-11 山东大学深圳研究院 一种智能家居系统及服务生成方法
CN109132313A (zh) * 2018-10-26 2019-01-04 北京旷视科技有限公司 物品移动系统、取货机器人、搬运机器人及方法
CN109711246A (zh) * 2018-09-30 2019-05-03 鲁东大学 一种动态物体识别方法、计算机装置及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10850395B2 (en) * 2017-05-19 2020-12-01 Stc.Unm System and methods for multiple-place swarm foraging with dynamic depots

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902271A (zh) * 2012-10-23 2013-01-30 上海大学 基于双目视觉的机器人目标识别与抓取系统及方法
CN108290294A (zh) * 2015-11-26 2018-07-17 三星电子株式会社 移动机器人及其控制方法
CN105894702A (zh) * 2016-06-21 2016-08-24 南京工业大学 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
CN108256463A (zh) * 2018-01-10 2018-07-06 南开大学 基于esn神经网络的移动机器人场景识别方法
CN108983625A (zh) * 2018-07-20 2018-12-11 山东大学深圳研究院 一种智能家居系统及服务生成方法
CN109711246A (zh) * 2018-09-30 2019-05-03 鲁东大学 一种动态物体识别方法、计算机装置及可读存储介质
CN109132313A (zh) * 2018-10-26 2019-01-04 北京旷视科技有限公司 物品移动系统、取货机器人、搬运机器人及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种家庭服务机器人的环境语义认知机制;田国会等;《华中科技大学学报(自然科学版)》;20181220;第46卷(第12期);18-23 *
基于标识归属关系的室内服务机器人物品搜寻识别与定位;李文静等;《计算机辅助设计与图形学学报》;20181215;第30卷(第12期);2335-2343 *
智能空间中的服务机器人路径规划;薛英花等;《智能系统学报》;20100615;第5卷(第3期);260-265 *

Also Published As

Publication number Publication date
CN110110245A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
Bormann et al. Room segmentation: Survey, implementation, and analysis
CN107844560B (zh) 一种数据接入的方法、装置、计算机设备和可读存储介质
CN102572390B (zh) 对监视对象者的行动进行监视的装置以及方法
US8214079B2 (en) Central information processing system and method for service robot having layered information structure according to recognition and reasoning level
CN109829435A (zh) 一种视频图像处理方法、装置及计算机可读介质
Borzooei et al. Semi global domination sets in vague graphs with application
Lu et al. Spatio-temporal joins on symbolic indoor tracking data
CN110110245B (zh) 一种家庭环境下动态物品搜索方法及装置
Yue et al. Detect: Deep trajectory clustering for mobility-behavior analysis
CN106557728B (zh) 查询图像处理和图像检索方法和装置以及监视系统
Janssen et al. Process model discovery from sensor event data
CN105389341A (zh) 一种客服电话重复来电工单的文本聚类与分析方法
CN105589974A (zh) 基于Hadoop平台的监控视频检索方法和系统
US20150339591A1 (en) Collegial Activity Learning Between Heterogeneous Sensors
CN110990576A (zh) 基于主动学习的意图分类方法、计算机设备和存储介质
CN112395502A (zh) 一种页面显示方法、装置、电子设备及计算机存储介质
CN111368060B (zh) 对话机器人的自学习方法、装置、系统、电子设备及介质
Perner How to compare and interpret two learnt Decision Trees from the same Domain?
Wietrzykowski et al. Adopting the FAB-MAP algorithm for indoor localization with WiFi fingerprints
EP4068163A1 (en) Using multiple trained models to reduce data labeling efforts
Kami et al. Algorithm for detecting significant locations from raw GPS data
Abel et al. Regional based query in graph active learning
Kim et al. A multi‐criteria decision‐making approach for geometric matching of areal objects
CN115237967A (zh) 场景推荐方法、电子设备、存储介质和产品
Li et al. A dynamic processing system for sensor data in IoT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant