CN108009583A - 一种可寻物的智能可移动设备及智能寻物方法 - Google Patents

Abstract

本发明提供了一种可寻物的智能可移动设备及智能寻物方法，其中，智能寻物方法包括：接收寻物指令；解析寻物指令得到目标物品标签；控制电子设备移动并拍照；利用物品识别模型识别拍照得到的图像，若识别出图像中含有已标记物品，则输出物品标签；将该物品标签与目标物品标签相比较，若输出的物品标签含有目标物品标签，则确定已找到目标物品。本发明能够节省人们寻找物品的时间，提高寻物效率。

Description

一种可寻物的智能可移动设备及智能寻物方法

技术领域

本发明涉及人工智能领域，特别涉及一种可寻物的智能可移动设备及智能寻物方法。

背景技术

目前，随着机器人技术的发展，机器人的应用越来越多，近来越来越多地应用于家庭，比如各种智能扫地机、智能管家、智能玩具等。家用机器人已经能执行主人的指示甚至能自主地代替人类执行一些任务；还有一些智能玩具为孩子带来比普通玩具更多的乐趣，成为陪伴孩子的好伙伴。

在家庭生活中经常遇到的一类问题是，由于家人的大意经常找不到一些小物件，比如钥匙、U盘、勺子、指甲剪、梳子、纽扣、针、瓶盖、笔、眼镜、手机、交通卡等，甚至拖鞋、袜子等衣物。为了找这些小物件往往会浪费人们大量的时间。

发明内容

本发明提供了一种可寻物的智能可移动设备及智能寻物方法，用于解决现有技术中人工寻物存在浪费时间的缺陷，且现有技术中智能机器人不具备寻物功能的缺陷。

本发明提供了一种智能寻物方法，包括：

接收寻物指令；

解析所述寻物指令得到目标物品标签；

控制电子设备移动并拍照；

利用物品识别模型识别拍照得到的图像，若识别出所述图像中含有已标记物品，则输出物品标签；

将输出的物品标签与所述目标物品标签相比较，若输出的物品标签含有目标物品标签，则确定已找到目标物品。

优选地，所述的智能寻物方法，所述物品识别模型的建立过程包括：

通过物品图像及其物品标签训练深度神经网络模型，将训练好的深度神经网络模型作为所述物品识别模型。

优选地，所述的智能寻物方法，利用所述物品识别模型识别拍照得到的图像时，若物品识别模型识别出图像中可能含有已标记物品，则输出可能的物品标签及其可能性比例，显示图像、可能的物品标签及其可能性比例或显示图像、可能性比例最高的物品标签，由用户确认或修改物品标签。

优选地，所述的智能寻物方法，利用所述物品识别模型识别拍照得到的图像时，若在所述图像中未识别出已标记物品，则显示所述图像，由用户输入物品标签；根据所述图像及用户输入的物品标签训练完善所述物品识别模型。

优选地，所述的智能寻物方法，根据所述图像及用户输入的物品标签训练完善所述物品识别模型的过程包括：

对所述图像进行图像处理，以得到多个处理后的图像；

通过处理后的图像及其物品标签训练完善所述物品识别模型。

优选地，所述的智能寻物方法，在对所述图像进行图像处理之前还包括：对所述图像进行预处理，以得到单物品图像。

优选地，所述的智能寻物方法，所述图像处理包括对所述图像进行缩放变换、剪切变换、旋转变换、色度变换中的一个或多个操作。

优选地，所述的智能寻物方法，所述物品图像及其物品标签从已经建立好的物品识别数据库获取。

优选地，所述的智能寻物方法，确定已找到目标物品之后还包括：控制所述电子设备停止移动并停止拍照。

优选地，所述的智能寻物方法，确定已找到目标物品之后还包括：控制所述电子设备发出提示信息，和/或控制所述电子设备取回所述目标物品。

优选地，所述的智能寻物方法，确定已找到目标物品之后还包括：控制用户终端设备发出提示信息。

优选地，所述的智能寻物方法，确定已找到目标物品之后还包括：获取所述电子设备的位置信息，将所述位置信息发送至用户终端设备显示。

本发明提供了一种数据处理装置，包括：

接收模块，用于接收寻物指令；

解析模块，用于解析所述寻物指令得到目标物品标签；

控制模块，用于控制电子设备移动并拍照；

识别模块，用于利用物品识别模型识别拍照得到的图像，若识别出所述图像中含有已标记物品，则输出物品标签；

比较模块，用于将输出的物品标签与所述目标物品标签相比较，若输出的物品标签含有目标物品标签，则确定已找到目标物品，否则，控制所述电子设备继续移动并拍照。

本发明提供了一种可寻物的智能可移动设备，包括：运动单元、拍摄单元、通信单元、存储单元及数据处理单元；

所述运动单元用于移动；

所述拍摄单元用于拍照；

所述通信单元用于接收寻物指令并将其发送至所述数据处理单元；

所述存储单元连接所述数据处理单元，用于存储物品识别模型；

所述数据处理单元用于接收到寻物指令后控制所述运动单元移动，控制所述拍摄单元拍照，解析所述寻物指令得到目标物品标签，利用所述物品识别模型识别拍照得到的图像，若识别出所述图像中含有已标记物品则输出物品标签，将输出的物品标签与所述目标物品标签相比较，若输出的物品标签含有目标物品标签，则确定已找到目标物品。

优选地，所述的智能可移动设备，所述通信单元连接用户终端设备，用于接收所述用户终端设备发送的寻物指令。

优选地，所述的智能可移动设备，所述数据处理单元确定已找到目标物品之后，还控制所述用户终端设备发出提示信息。

优选地，所述的智能可移动设备，所述数据处理单元确定已找到目标物品之后，控制所述运动单元停止移动，控制所述拍摄单元停止拍照。

优选地，所述的智能可移动设备，所述数据处理单元还连接物品识别数据库，用于从所述物品识别数据库获取物品图像及其物品标签，根据所述物品图像及其物品标签训练深度神经网络模型，将训练好的深度神经网络模型作为所述物品识别模型。

优选地，所述的智能可移动设备，所述数据处理单元还连接服务器，用于将拍照得到的图像发送至所述服务器。

优选地，所述的智能可移动设备，还包括：输入单元，连接所述数据处理单元，用于供用户输入寻物指令。

优选地，所述的智能可移动设备，所述输入单元包括语音输入器、麦克风、键盘及触摸屏中的一个或多个。

优选地，所述的智能可移动设备，还包括：报警单元，连接所述数据处理单元，用于根据所述数据处理单元的控制发出提示信息。

优选地，所述的智能可移动设备，还包括：执行单元，连接所述数据处理单元，用于根据所述数据处理单元的控制获取目标物品。

优选地，所述的智能可移动设备，所述执行单元为机械臂，或机械手，或机械臂末端的抓起装置。

优选地，所述的智能可移动设备，所述抓起装置为磁铁或吸盘。

优选地，所述的智能可移动设备，还包括，定位单元，用于提供位置信息；

所述数据处理单元确定找到目标物品之后还获取位置信息，将位置信息发送至用户终端设备显示。

本发明提供了一种智能寻物系统，包括：第一电子设备及第二电子设备；

所述第一电子设备在第二电子设备的控制下移动并拍照，将拍照得到的图像发送至所述第二电子设备；

所述第二电子设备包括数据处理单元及存储器；所述存储器用于存储物品识别模型；所述数据处理单元用于接收寻物指令，解析寻物指令得到目标物品标签，接收第一电子装置发送的图像，利用所述物品识别模型识别接收到的图像，若所述物品识别模型识别出所述图像中含有已标记物品则输出物品标签，将输出的物品标签与所述目标物品标签相比较，若输出的物品标签含有目标物品标签，则确定已找到目标物品。

优选地，所述的智能寻物系统，所述第二电子设备确定已找到目标物品之后，控制所述第一电子设备停止移动及拍照。

优选地，所述的智能寻物系统，所述第一电子设备包括：运动单元、拍摄单元、通信单元及处理单元；

所述运动单元用于使第一电子设备移动；

所述拍摄单元用于在所述运动单元移动过程中拍照；

所述通信单元用于与所述第二电子设备进行通信；

所述处理单元连接所述运动单元、所述拍摄单元及所述通信单元，用于通过所述通信单元接收第二电子设备的控制指令，根据控制指令控制运动单元及拍摄单元工作，通过所述通信单元将拍照得到的图像发送给所述第二电子设备。

优选地，所述的智能寻物系统，所述第一电子设备还包括：报警单元，连接所述处理单元；

所述第二电子设备确定已找到目标物品之后，控制所述报警单元发出提示信息。

优选地，所述的智能寻物系统，所述第一电子设备还包括：定位单元，连接所述处理单元，用于提供位置信息；

所述处理单元通过所述通信单元将所述位置信息发送至所述第二电子设备。

优选地，所述的智能寻物系统，所述第二电子设备确定已找到目标物品之后，显示所述位置信息并发出提示信息。

优选地，所述的智能寻物系统，所述第二电子设备确定已找到目标物品之后，将所述位置信息发送至一第三电子设备显示，并控制所述第三电子设备发出提示信息。

本发明通过在智能可移动设备中存储物品识别模型，能够使智能可移动设备对运动过程中拍照得到的图像进行识别，输出物品标签，接着，智能可移动设备将输出的物品标签与目标物品标签相比较来确定是否找到目标物品，能够节省人们寻找物品的时间，提高寻物效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本发明实施例的智能寻物方法的流程图；

图1b为本发明实施例的物品识别模型的训练方法流程图；

图2a为本发明实施例的深度神经网络模型的训练用图的示意图；

图2b为本发明实施例的深度神经网络模型的训练用图的示意图；

图3为本发明实施例的数据处理装置的结构图；

图4为本发明实施例的可寻物的智能可移动设备的结构图；

图5a为本发明一个实施例的电子设备为行走式智能玩具的示意图；

图5b为本发明一个实施例的电子设备为带机械臂的履带式机器人的示意图；

图5c为本发明一个实施例的电子设备为带机械臂的智能玩具的示意图；

图6为本发明实施例的智能寻物方法的流程图；

图7为本发明实施例的智能寻物系统的结构图；

图8为本发明实施例的第一电子设备的结构图。

具体实施方式

为了使本发明的技术特点及效果更加明显，下面结合附图对本发明的技术方案做进一步说明，本发明也可有其他不同的具体实例来加以说明或实施，任何本领域技术人员在权利要求范围内做的等同变换均属于本发明的保护范畴。

在本说明书的描述中，参考术语“一实施例”、“一具体实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

本发明所述的智能寻物方法及可寻物的智能可移动设备应用于空间中的寻物，空间例如为厂房、办公室、居民室内、社区等室内、室外空间，本发明对具体的应用空间不作限定。

如图1a所示，图1a为本发明实施例的智能寻物方法的流程图。本实施例提供的智能寻物方法能够借助物品识别模型对运动过程中拍照得到的图像进行识别，输出物品标签，将输出的物品标签与目标物品标签相比较来确定是否找到目标物品，能够节省人们寻找物品的时间，提高寻物效率。

具体的，本实施例所述的智能寻物方法，包括，

步骤101：接收寻物指令。详细的说，寻物指令包括至少一个目标物品标签，寻物指令由用户通过终端设备、电子设备或遥控器发出，本发明对寻物指令的发出方不做限定。

步骤102：解析寻物指令得到目标物品标签。目标物品标签例如为物品名称(即人类对物品认知的名称)或物品标记(即根据需求重新对物品命名，如规定001为钥匙)等，本发明对目标物品标签具体为何不做限定。

步骤103：控制电子设备移动并拍照。电子设备例如为后续实施例所述的智能可移动设备(比如具有拍照功能的扫地机器人等)，本发明对电子设备具体为何不做限定，只要具有移动及拍照功能的设备均属于电子设备的保护范围。

步骤104：利用物品识别模型识别拍照得到的图像，若识别出所述图像中含有已标记物品，则输出物品标签，例如拍照得到的图像包含钥匙、遥控器、手机这三个物品，且物品识别模型有训练过这三个物品，物品标签分别为“钥匙”、“遥控器”及“手机”，则通过本步骤会输出“钥匙”、“遥控器”及“手机”。本发明中，物品识别模型识别的图像既可以是所述电子设备实际拍照得到的图像，也可以是由下文介绍的由拍照图像进行图像处理、图像变换或图像预处理后得到的图像，详见下面描述。

本步骤实施时，包括100％确定图像中含有已标记物品及图像中可能含有已标记物品(即物品识别模型无法明确图像中是100％的某个已标记物品)这两种情况。对于100％确定图像中含有已标记物品的情况，物品识别模型会输出物品标签。对于图像中可能含有已标记物品的情况，物品识别模型会输出可能的(已标记物品的)物品标签及其可能性比例。

可选的，物品标签对于图像中可能含有已标记物品的情况，将图像、可能的物品标签及其可能性比例或图像、可能性比例最高的物品标签发送给用户终端设备显示或由电子设备显示，由用户确认或修改物品标签。比如，若图像中包括物品“手机”，若物品识别模型认为该物品有80％的可能性是“手机”，20％的可能性是“遥控器”，显示的内容可以是“手机80％，遥控器20％”及该图像，也可以是“手机”及该图像，由用户确定或修改其物品标识。又如，若图像中包括物品A“手机”和物品B“钥匙”，且物品识别模型认为物品A有60％的可能性是“手机”，40％的可能性是“遥控器”，而物品B有30％可能性是“勺子”、30％可能性是“玩具”、40％可能性是“钥匙”，则可以将这几个物品的识别结果(包括其可能性比例)分别显示，比如显示的内容可以是“物品A＝手机60％，遥控器40％；物品B＝钥匙40％，勺子30％，玩具30％”及该图像，也可以是“物品A＝手机；物品B＝钥匙”及该图像，由用户确定或修改其物品标识。通过上述方法，由用户辅助纠错的方式，能够提高物品识别的准确率。进一步的，可根据图像及用户确认或修改(用户可在已有标签库中选择正确物品标签或用户自己创建物品标签)的物品标签训练完善物品识别模型，从而扩展物品识别模型可识别的物品类型。

步骤105；将物品识别模型输出的物品标签与所述目标物品标签相比较，若输出的物品标签含有目标物品标签，则确定已找到目标物品，否则，控制电子设备继续移动并拍照。

实施时，本实施例所述的智能寻物方法可被制成一计算机应用程序，运行于数据处理单元或用户终端设备中。所述用户终端设备比如为手机、pad、电脑等，数据处理单元例如为ARM、DSP、FPGA、GPU等具有运算、信息处理、控制等功能的可编程处理器，该数据处理单元可设置在所述电子设备上。为了能够减轻电子设备本身的运算负担，从而降低电子设备的成本，还可将数据处理单元设置在用户终端设备或服务器上的集中式运算中心或分布式运算中心，分布式运算是指由分别设置在电子设备、用户终端设备、服务器上的至少2个上述可编程处理器共同实现上述的智能寻物方法。

本发明一实施例中，上述步骤104中使用的物品识别模型，也就是类型化的物品图像与物品标签之间的对应关系的函数，可以理解为根据图像中物品的类型(关键特征及其组合)将图像归类为相应的物品标签，比如，从含有钥匙的大量图像(如图2a所示，图2a中每个钥匙或每串钥匙为一图像)中得到能表征“钥匙”物品标签的关键特征及其组合，又比如，从含有笔的大量图像(如图2b所示，图2b中每个笔或每组笔为一图像)中得到能表征“笔”物品标签的关键特征及其组合。

物品识别模型可预先由服务器或电子设备建立，其建立过程包括：通过物品图像及其物品标签训练深度神经网络模型，将训练好的深度神经网络模型作为物品识别模型。详细的说，如图1b所示，首先设置深度神经网络模型，其次输入大量物品图像及其物品标签(通常每个物品图像仅含有一个物品，即其物品标签是唯一的)训练上一步设置的深度神经网络模型，训练完成后，得到物品识别模型。可选的，深度神经网络模型包括卷积层、非线性层及池化层，通过应用Softmax函数获取每种场景归一化的概率，并通过交叉熵损失作为误差函数对深度神经网络模型进行训练。本领域技术人员应当理解，深度神经网络(DNN)是指有很多隐含层的神经网络，也叫多层神经网络或多层感知机，因此有多个隐含层的内卷积神经网络、循环神经网络都属于深度神经网络，因此由这些方法训练得到的用于识别物品的深度神经网络模型都是本发明所指的物品识别模型，都在本发明的保护范围之内。

一些实施方式中，建模使用的物品图像可从已经建立好的物品识别数据库获取。所述物品识别数据库可以理解为包含了大量的图像，且每个图像仅显示一种物品,每个图像均已预先设置好了物品标签，如图像中显示物品的名称。如图2a、2b所示，图2a所示的每个图像均显示且仅显示物品“钥匙”，预先通过人工识别和/或机器识别的方式对每个图像均已设置了“钥匙”的物品标签，图2b所示的每个图像均显示且仅显示物品“笔”，预先通过人工识别和/或机器识别的方式对每个图像均已设置了“笔”的物品标签。

实施时，若从物品识别数据库获取的物品图像数量小于预定阈值，如100百万，则为了丰富样本库，训练深度神经网络模型之前还包括：对物品图像进行图像处理，以得到多个处理后的图像，增加图像数量从而增加训练素材，以便后续在通过图像处理后的图像及其物品标签训练所述深度神经网络模型时增加识别的准确率。图像处理包括对拍照图像进行缩放变换、剪切变换、旋转变换、色度变换中的一个或多个操作，以及本领域技术人员了解的其它方式的对于远近、角度、形状、光色等的图像变换，每个物品图像的图像处理可以相同也可以不同。

其它实施方式中，建立物品识别模型使用的物品图像可实时采集或采用已投入运行的电子设备于实际工作场景下在工作过程中拍照得到的图像，通过人工识别和/或机器识别图像得到物品标签。详细的说，这些实际拍照得到的图像中，通常会包括多个物品，若直接用于建模将会影响物品识别模型的精度，此时优选的，可以对实际拍照得到的图像进行预处理(如通过裁剪或修图的方式将实际图像中各单个物品凸显出)以得到单物品图像，然后，通过人工识别和/或机器识别预处理后的图像得到物品标签。

实施时，由于实际拍照得到的图像数量通常比较少，比如几百张，不足以对物品识别模型进行训练得到精准的识别结果，上述对实际拍照得到的图像进行预处理之后还包括：通过“缩放变换、剪切变换、旋转变换、色度变换”等图像处理方式对预处理后的图像进行图像处理，使得图像处理后的图像扩展增加图像数量，比如扩展100倍至1000倍，得到几万张或几十万张图像。用图像处理得到的图像训练深度神经网络模型得到物品识别模型。

本发明一实施例中，上述步骤104中，若在拍照得到的图像中未识别出已标记物品，还包括：

步骤1041，将拍照得到的图像发送至用户终端设备显示或由所述电子设备显示，由用户对图像进行识别，比如判断/选择/填写图像中物品的物品标签，用户可自创物品标签或从标签库中选择相应的物品标签；

步骤1042，根据拍照得到的图像及用户输入的物品标签训练完善物品识别模型。

详细的说，如果用户输入的物品标签是物品识别模型中已有的标签，则将所述图像作为已有标签的图像训练完善物品识别模型，比如，将一张含有无法识别物品的图像显示给用户，用户输入该图像中含有的物品标签为“钥匙”，而“钥匙”是物品识别模型中已有的标签，则将该图像中的该物品识别为“钥匙”，将该图像中的物品归入原有标签“钥匙”类别，对“钥匙”这一物品类别进行了扩充。否则，根据用户输入的物品标签建立新标签，将所述图像作为新标签的图像训练完善物品识别模型，比如，将一张含有无法识别物品的图像显示给用户，用户输入该图像中含有的物品标签为“指甲剪”，而物品识别模型中并没有“指甲剪”这个标签，则在物品识别模型中新建“指甲剪”这个标签，并将该图像作为“指甲剪”这一物品的训练图片对物品识别模型进行训练完善，当含有“指甲剪”这一物品的图像逐渐增多积累到一定量时，物品识别模型就扩展了对“指甲剪”这一物品的识别。

本实施例能够使物品识别模型识别出更多类型的物品，并逐步提高每个类型物品识别的准确率。

一些具体实施方式，为了增加训练素材，根据拍照得到的图像及用户输入的物品标签训练完善所述物品识别模型的过程包括：对拍照得到的图像进行图像处理，以得到多个处理后的图像；通过处理后的图像及其物品标签训练完善所述物品识别模型。其中，图像处理包括对图像进行缩放变换、剪切变换、旋转变换、色度变换中的一个或多个操作，以及本领域技术人员了解的其它方式的对于远近、角度、形状、光色等的图像变换。

优选的，由于实际拍照得到的图像中通常会包括多个物品，上述具体实施方式中对拍照得到的图像进行图像处理之前还包括：对拍照得到的图像进行预处理(如通过裁剪或修图的方式将实际图像中各单个物品凸显出)以得到单物品图像，由单物品图像训练的物品识别模型的精准度更高。

本发明一实施例中，为了对物品识别模型的识别结果进行人工纠错，还可将所拍图像及其物品标签发送至用户终端设备，以由用户根据所拍图像判断物品标签是否错误，若错误，用户可在已有标签库中选择正确物品标签或用户自己创建物品标签。

本发明一实施例中，为了避免找到目标物品之后电子设备仍在工作，上述步骤105确定找到目标物品之后还包括：控制电子设备停止移动并停止拍照。若所述电子设备在寻物前正在执行其它任务，如执行清洁任务、保安巡逻任务、保姆叫醒任务、陪伴儿童任务等，则所述电子设备在执行完寻物任务后，可以恢复执行原任务。

本发明一实施例中，为了使用户尽快获知寻物情况，上述步骤105确定找到目标物品之后还包括：控制电子设备发出提示信息，例如发出简单提示音或发出“已发现某某物品”等语音；和/或控制电子设备取回目标物品。

本发明一实施例中，为了避免用户因距离所述电子设备太远而无法了解寻物情况，上述步骤105确定找到目标物品之后还包括：控制用户终端设备发出提示信息，比如向用户终端设备发出物品图像及物品标签(同时，若识别错误，用户可以对物品标签进行修改，比如选择已有的其它标记或新建标记)；也可以是声音报警信息或语音提示信息。

本发明一实施例中，为了使用户准确获知目标物品的位置，上述步骤105确定已找到目标物品之后还包括：获取所述电子设备的位置信息，将所述位置信息发送至用户终端设备显示。本发明的位置信息可以是所述电子设备在找到目标物品时自身的位置，也可以是经过计算得到的目标物品的位置，还可以是目标物品所在的工作场景区域的位置，比如物品袜子的位置信息既可以是所述电子设备找到袜子时所述电子设备在工作场景地图上某个二维坐标代表的点，也可以是计算得到的袜子在工作场景地图上某个二维坐标代表的点，还可以表示为工作场景地图上表示“卧室”——袜子所在区域——的空间区域。所述位置信息可以是在已有的全部或部分工作空间或工作场景的地图里标记的位置，所述地图既可以是之前已建立的完整地图，也可以是正在建立的部分区域地图。

基于同一发明构思，本发明还提供了一种数据处理装置，如下面的实施例所述。由于该装置解决问题的原理与智能寻物方法相似，因此该装置的实施可以参见智能寻物方法的实施，重复之处不再赘述。

如图3所示，图3为本发明实施例的数据处理装置的结构图。具体的，数据处理装置包括：

接收模块301，用于接收寻物指令；

解析模块302，用于解析寻物指令得到目标物品标签；

控制模块303，用于控制电子设备移动并拍照；

识别模块304，用于利用物品识别模型识别拍照得到的图像，若识别出图像中含有已标记物品，则输出物品标签；

比较模块305，用于将物品识别模型输出的物品标签与目标物品标签相比较，若输出的物品标签含有目标物品标签，则确定已找到目标物品，否则，控制电子设备继续移动并拍照。

如图4所示，图4为本发明实施例的可寻物的智能可移动设备的结构图。本实施例通过在智能可移动设备中存储物品识别模型，能够使智能可移动设备对拍照得到的图像进行识别，输出物品标签，接着，智能可移动设备将该物品标签与目标物品标签相比较来确定是否找到目标物品，能够节省人们寻找物品的时间，提高寻物效率。

具体的，智能可移动设备包括：运动单元401、拍摄单元402、通信单元403、存储单元404及数据处理单元405。实施时，智能可移动设备还包括壳体，该壳体可根据需求进行设计，本发明对其材质、形状、大小不做限定。拍摄单元402、通信单元403、存储单元404及数据处理单元405设置在壳体内，运动单元401可以是设置在壳体上作为壳体一部分的底盘，或可搭载壳体的独立底盘，运动单元401移动使得整个智能可移动设备移动。

运动单元401连接数据处理单元405，用于在数据处理单元的控制下移动。详细的说，运动单元包括电机及运动部件，电机驱动运动部件，用于根据数据处理单元的控制驱动运动部件移动。运动部件例如为轮子、履带或行走部件，本发明对运动部件具体为何不做限定。

拍摄单元402连接数据处理单元405，用于对周围环境拍照，并将拍照得到的图像发送至数据处理单元405。拍摄单元具有拍照和/或摄像功能，例如为照相机、摄像头(如鱼眼摄像头)等。

通信单元403连接数据处理单元405，用于接收寻物指令并将其发送至数据处理单元405。实施时，通过通信单元403连接用户终端设备来接收用户终端设备发送的寻物指令。通信单元可以为有线通信设备，也可以为无线通信设备，如WiFi模块，GPRS模块，Zigbee模块，蓝牙模块等。

存储单元404连接数据处理单元305，用于存储物品识别模型。

数据处理单元405用于接收到寻物指令后控制运动单元401移动，控制拍摄单元402拍照，解析寻物指令得到目标物品标签，利用物品识别模型识别拍照得到的图像，若物品识别模型识别出图像中含有已标记物品则输出物品标签，将物品识别模型输出的物品标签与目标物品标签相比较，若输出的物品标签含有目标物品标签，则确定已找到目标物品，控制运动单元401停止移动，控制拍摄单元402停止拍照，否则，则控制运动单元401继续移动，控制拍摄单元402继续拍照。详细的说，数据处理单元可设置在智能可移动设备本地，也可设置在用户终端设备或网络服务器上，当数据处理单元设置在智能可移动设备本地时，运动单元401、拍摄单元402及通信单元403可直接连接数据处理单元，当数据处理单元设置在用户终端设备或网络服务器时，运动单元401及拍摄单元402通过通信单元403连接数据处理单元。实施时，数据处理单元可选用ARM、DSP、FPGA、GPU、CPU等具有运算、信息处理、控制等功能的可编程处理器，本发明对数据处理单元类型、型号不做限定。

本实施例在实施时，可在智能可移动设备中集成其它功能，如集成扫地功能，语音交互功能等，如集成扫地功能，可将该智能可移动设备称之为扫地机器人，如集成语音交互功能，可将该智能可移动设备称之为智能玩具，如行走式智能玩具(如图5a所示)，带机械臂的智能玩具(如图5c所示)。智能可移动设备可在执行其它工作时接收寻物指令，如执行清洁任务、保安巡逻任务、保姆叫醒任务、陪伴儿童任务、其它寻物任务等，具体执行何种任务由智能可移动设备的具体设定或集成的其它功能而定，智能可移动设备完成寻物任务后，恢复执行原任务。

本发明一实施例中，为了减轻智能可移动设备的存储负担，数据处理单元识别完图像后，会删除图像或通过通信单元将图像发送至用户终端设备或网络服务器。

本发明一实施例中，为了增加寻物指令的输入方式，智能可移动设备还包括：输入单元406，连接数据处理单元405，用于供用户在智能可移动设备上直接发出寻物指令。具体的，输入单元406包括语音输入器、麦克风、键盘及触摸屏中的一个或多个，以及本领域技术人员了解的其它输入方式。

本发明一实施例中，物品识别模型是由数据处理单元训练深度神经网络模型得到的，具体实现方式为：数据处理单元405通过通信单元403连接物品识别数据库(例如，可以存储在网络服务器上)，从物品识别数据库获取物品图像及其物品标签，根据所述物品图像及其物品标签训练深度神经网络模型，将训练好的深度神经网络模型作为所述物品识别模型。当然，物品识别模型还可以由本地服务器或网络服务器(包括云服务器)训练得到，数据处理单元仅需从本地服务器或网络服务器下载已建立完成的物品识别模型即可。

进一步的，数据处理单元405还可以通过通信单元403连接服务器，将拍摄单元拍照得到的图像发送至本地服务器或网络服务器，由本地服务器或网络服务器中训练建立的物品识别模型识别所述图像，节省了数据处理单元的算力，能够降低智能可移动设备的成本。

本发明一实施例中，为了在确定找到目标物品之后尽快提示用户，数据处理单元405确定找到目标物品之后，还向用户终端设备发出提示信息，例如发出简单提示音或发出“已发现某某物品”等语音。

进一步实施例中，为了使用户尽快获知寻物情况，智能可移动设备还包括：报警单元407，连接数据处理单元405，用于根据数据处理单元405的控制发出提示信息。详细的说，报警单元可以为LED灯、报警器、扬声器等具有提醒作用的器件，本发明对报警单元具体类型不做限定。

本发明一实施例中，为了使智能可移动设备能够获取目标物品，智能可移动设备还包括：执行单元408，连接数据处理单元405，用于根据数据处理单元的控制获取目标物品。详细的说，执行单元可以为机械臂(如图5c)，或机械手(如图5b)，或机械臂末端的抓起装置，机械末端的抓起装置例如为磁铁、吸盘等，以将目标物品吸起，对磁铁而言，被吸起物品需是铁质材料，对于吸盘而言，被吸起物品可以是表面光滑的玻璃、瓷器、塑料等。

本发明一实施例中，为了能够追踪智能可移动设备的位置，智能可移动设备还包括，定位单元409，连接数据处理单元405，用于提供位置信息。智能可移动设备可以根据位置信息创建地图，以便后续在地图上定位。数据处理单元405确定找到目标物品之后还获取位置信息，将位置信息发送至用户终端设备显示。详细的说，定位单元可以是里程计、IMU惯性测量单元、激光测距仪之一或其任意组合，也可以是拍摄单元402或单独的摄像头以及根据拍摄单元或摄像头的图像进行SLAM算法得到实时位置的定位模块。

为了更清楚说明本发明所述智能可移动设备的操作过程，下面以控制智能可移动设备寻找钥匙为例进行详细的说明,寻物指令由用户通过输入单元发出或用户通过用户终端设备发出，如图6所示，智能可移动设备的处理过程包括：

1)接收寻物指令，其中，寻物指令包括目标物品标签——“钥匙”；

2)解析寻物指令得到目标物品标签——“钥匙”；

3)控制智能可移动设备移动并拍照；

4)利用物品识别模型识别拍照得到的图像，若识别出图像中含有已标记物品，则输出物品标签(包括100％确定图像中含有已标记物品及图像中可能含有已标记物品这两种情况；对于100％确定图像中含有已标记物品的情况，物品识别模型会输出物品标签；对于图像中可能含有已标记物品的情况，物品识别模型会输出可能的物品标签及其可能性比例)物品标签，执行5)，若图像中无已标记物品，则执行7)；对于图像中可能含有已标记物品的情况，除了可以执行5)之外，还可以执行7)’；

5)判断输出的物品标签是否包含目标物品标签——“钥匙”，若判断结果为是，则确定已找到目标物品，执行6)，否则，返回执行3)；

6)发出通知指令，和/或将目标物品抓回到用户的位置(可通过定位单元确定用户移动终端的位置信息，并基于其自身的位置信息移动到用户的位置信息处)，和/或将自身的位置信息发送至用户终端设备，和/或控制用户终端设备设备报警，和/或停止移动及拍照，和/或恢复执行原任务；

7)将图像发送给用户终端设备，由用户判断图像中是否含有目标物品钥匙，若含有，则控制智能可移动设备停止移动及拍照和/或恢复执行原任务，同时用户还在用户终端设备中输入物品标签，由用户终端设备存储图像及物品标签；

7)’对于图像中可能含有已标记物品的情况，将图像、可能的物品标签及其可能性比例，或图像、可能性比例最高的物品标签发送给用户终端设备显示，由用户确认或修改物品标签，用户终端设备存储图像及用户确认或输入的物品标签；

8)对拍照得到的图像进行预处理(如通过裁剪或修图的方式将实际图像中各单个物品凸显出)以得到单物品图像；

9)对8)预处理后含有单个物品的图像进行图像处理，以增加图像数量；图像处理方式如上文所述，此处不再赘述；

10)利用8)预处理后含有单个物品的图像及9)图像处理后的图像训练完善物品识别模型，以增加可识别的物品类型。

如图7所示，图7为本发明实施例的智能寻物系统的结构图。具体的，智能寻物系统包括：第一电子设备701及第二电子设备702。

第一电子设备701在第二电子设备702的控制下移动并拍照，将拍照得到的图像发送给第二电子设备702。

第二电子设备702包括数据处理单元及存储器；存储器用于存储物品识别模型，物品识别模型用于根据数据处理单元的调用识别图像，若识别出图像中含有已标记物品，则输出物品标签；数据处理单元用于接收寻物指令，解析寻物指令得到目标物品标签，接收第一电子装置发送的图像，调用物品识别模型识别接收到的图像物品标签，将物品识别模型输出的物品标签与目标物品标签相比较，若输出的物品标签含有目标物品标签，则确定已找到目标物品，控制第一电子设备701停止移动及拍照，否则，控制第一电子设备701继续移动并拍照。

详细的说，第一电子设备通过有线或无线方式连接第二电子设备，第一电子设备例如为前述实施例所述的智能可移动设备(如具有拍照功能的扫地机器人、具有拍照及移动功能的智能玩具等)，本发明对第一电子设备具体如何不做限定，具有拍照、移动及通信功能的设备均属于本发明所述第一电子设备的保护范围。第二电子设备包括但不限于遥控器、用户终端设备或服务器，如第二电子设备为用户终端设备或服务器，则上述数据处理单元可以为安装在用户终端设备或服务器上的应用程序。

本发明提供的智能寻物系统通过第一电子设备及第二电子设备的配合使用，由第一电子设备在运动过程中进行拍照，由第二电子设备对拍照的得到的图像进行识别，能够自动分辨不同的物品，找到目标物品，节省人们寻找物品的时间。

一具体实施例中，如图8所示，第一电子设备701包括：运动单元801、拍摄单元802、通信单元803及处理单元804。运动单元801用于使第一电子设备801产生移动；

拍摄单元802用于在运动单元移动过程中拍照；

通信单元803用于与第二电子设备802进行通信；

处理单元804连接运动单元801、拍摄单元802及通信单元803，用于通过通信单元803接收第二电子设备的控制指令，根据控制指令控制运动单元801及拍摄单元802工作，通过通信单元803将拍照得到的图像发送给第二电子设备802。

进一步的，为了使用户尽快获知寻物情况，第一电子设备801还包括：报警单元805，连接处理单元804。第二电子设备802确定已找到目标物品之后，控制报警单元805发出提示信息。

进一步的，为了便于第二电子设备实时定位第一电子设备的位置，第一电子设备还包括：定位单元806，连接处理单元804，用于提供位置信息。处理单元804通过通信单元803将位置信息发送至第二电子设备802。

实施时，若第二电子设备为用户手持设备，且具备显示及发声功能，如智能遥控器或终端设备，则第二电子设备确定已找到目标物品之后，会在显示器上显示位置信息并通过扬声器发出提示信息。

若第二电子设备不具备显示及发声功能，或第二电子设备距离用户较远，如为服务器，则第二电子设备确定已找到目标物品之后，会将位置信息发送至一第三电子设备显示，并控制第三电子设备发出提示信息。该第三电子设备为用户经常使用的设备，如遥控器或终端设备。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅用于说明本发明的技术方案，任何本领域普通技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围应视权利要求范围为准。

Claims (10)

1.一种智能寻物方法，其特征在于，包括：

接收寻物指令；

解析所述寻物指令得到目标物品标签；

控制电子设备移动并拍照；

利用物品识别模型识别拍照得到的图像，若识别出所述图像中含有已标记物品，则输出物品标签；

将输出的物品标签与所述目标物品标签相比较，若输出的物品标签含有目标物品标签，则确定已找到目标物品。

2.如权利要求1所述的智能寻物方法，其特征在于，所述物品识别模型的建立过程包括：

通过物品图像及其物品标签训练深度神经网络模型，将训练好的深度神经网络模型作为所述物品识别模型。

3.如权利要求1或2所述的智能寻物方法，其特征在于，利用所述物品识别模型识别拍照得到的图像时，若在所述图像中未识别出已标记物品，则显示所述图像，由用户输入物品标签；根据所述图像及用户输入的物品标签训练完善所述物品识别模型。

4.如权利要求3所述的智能寻物方法，其特征在于，根据所述图像及用户输入的物品标签训练完善所述物品识别模型的过程包括：

对所述图像进行图像处理，以得到多个处理后的图像；

通过处理后的图像及其物品标签训练完善所述物品识别模型。

5.一种可寻物的智能可移动设备，其特征在于，包括：运动单元、拍摄单元、通信单元、存储单元及数据处理单元；

所述运动单元用于移动；

所述拍摄单元用于拍照；

所述通信单元用于接收寻物指令并将其发送至所述数据处理单元；

所述存储单元连接所述数据处理单元，用于存储物品识别模型；

所述数据处理单元用于接收到寻物指令后控制所述运动单元移动，控制所述拍摄单元拍照，解析所述寻物指令得到目标物品标签，利用所述物品识别模型识别拍照得到的图像，若识别出所述图像中含有已标记物品则输出物品标签，将输出的物品标签与所述目标物品标签相比较，若输出的物品标签含有目标物品标签，则确定已找到目标物品。

6.如权利要求5所述的智能可移动设备，其特征在于，所述通信单元连接用户终端设备，用于接收所述用户终端设备发送的寻物指令。

7.如权利要求5所述的智能可移动设备，其特征在于，还包括：输入单元，连接所述数据处理单元，用于供用户输入寻物指令。

8.如权利要求5所述的智能可移动设备，其特征在于，还包括：报警单元，连接所述数据处理单元，用于根据所述数据处理单元的控制发出提示信息。

9.如权利要求5所述的智能可移动设备，其特征在于，还包括：执行单元，连接所述数据处理单元，用于根据所述数据处理单元的控制获取目标物品。

10.如权利要求5所述的智能可移动设备，其特征在于，还包括，定位单元，用于提供位置信息；

所述数据处理单元确定找到目标物品之后还获取位置信息，将位置信息发送至用户终端设备显示。