CN107977625A - 一种可寻物的智能可移动设备及智能寻物方法 - Google Patents

Abstract

本发明提供了一种可寻物的智能可移动设备及智能寻物方法，包括：建立物品位置关系库：利用物品识别模型识别工作过程中得到的图像，若识别出所述图像含有已标记物品则确定该物品的位置，建立物品标签与位置的对应关系；由各已标记物品的物品标签与其位置的对应关系构成所述物品位置关系库；还包括：寻找物品：接收寻物指令，解析寻物指令得到目标物品标签，将所述目标物品标签与物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，控制所述电子设备移动至目标物品标签对应的位置或取回物品。本发明能够节省人们寻找物品的时间，提高寻物效率。

Description

一种可寻物的智能可移动设备及智能寻物方法

技术领域

本发明涉及人工智能领域，特别涉及一种可寻物的智能可移动设备及智能寻物方法。

背景技术

目前，随着机器人技术的发展，机器人的应用越来越多，近来越来越多地应用于家庭，比如各种智能扫地机、智能管家、智能玩具等。家用机器人已经能执行主人的指示甚至能自主地代替人类执行一些任务；还有一些智能玩具为孩子带来比普通玩具更多的乐趣，成为陪伴孩子的好伙伴。

在家庭生活中经常遇到的一类问题是，由于家人的大意经常找不到一些小物件，比如钥匙、U盘、勺子、指甲剪、梳子、纽扣、针、瓶盖、笔、眼镜、手机、交通卡等，甚至拖鞋、袜子等衣物。为了找这些小物件往往会浪费人们大量的时间。

发明内容

本发明提供了一种可寻物的智能可移动设备及智能寻物方法，用于解决现有技术中人工寻物存在浪费时间的缺陷，且现有技术中智能机器人不具备寻物功能的缺陷。

一种智能寻物方法，包括：

建立物品位置关系库：利用物品识别模型识别电子设备移动过程中得到的图像，若所述物品识别模型识别出所述图像含有已标记物品则确定该物品的位置，建立该物品的物品标签与位置的对应关系；由各已标记物品的物品标签与其位置的对应关系构成所述物品位置关系库；

寻找物品：接收寻物指令，解析所述寻物指令得到目标物品标签，将所述目标物品标签与物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，输出目标物品标签对应的位置和/或控制所述电子设备移动至目标物品标签对应的位置。

优选地，所述的智能寻物方法，还可以包括：更新物品位置关系库：在电子设备移动过程中找到所述物品位置关系库中的物品时或每隔预定时间间隔更新物品位置关系库。

优选地，所述的智能寻物方法，所述物品识别模型的建立过程还可以包括：通过物品图像及其物品标签训练深度神经网络模型，将训练好的深度神经网络模型作为所述物品识别模型。

优选地，所述的智能寻物方法，若所述物品识别模型识别出所述图像中可能含有已标记物品，则输出可能的物品标签及其可能性比例；显示所述图像、可能的物品标签及其可能性比例或显示所述图像、可能性比例最高的物品标签，以由用户确认或修改物品标签；根据所述图像及用户确认或修改的物品标签训练完善所述物品识别模型。

优选地，所述的智能寻物方法，若所述物品识别模型在所述图像中未识别出已标记物品，则显示所述图像，由用户输入物品标签；根据所述图像及用户输入的物品标签训练完善所述物品识别模型。

优选地，所述的智能寻物方法，根据所述图像及用户输入的物品标签训练完善所述物品识别模型的过程可以包括：

对所述图像进行图像处理，以得到多个处理后的图像；

通过处理后的图像及其物品标签训练完善所述物品识别模型。

优选地，所述的智能寻物方法，在进行图像处理之前还可以包括：对所述图像进行预处理，以得到单物品图像。

优选地，所述的智能寻物方法，所述图像处理可以包括对图像进行缩放变换、剪切变换、旋转变换、色度变换中的一个或多个操作。

优选地，所述的智能寻物方法，所述物品图像及其物品标签可以从已经建立好的物品识别数据库获取。

优选地，所述的智能寻物方法，确定已找到目标物品之后还可以包括：输出所述目标物品标签，和/或控制所述电子设备发出提示信息和/或控制所述电子设备取回所述目标物品。

优选地，所述的智能寻物方法，确定已找到目标物品之后还可以包括：控制所述电子设备在工作场景地图中标记目标物品标签对应的位置。

优选地，所述的智能寻物方法，确定已找到目标物品之后还可以包括：控制用户终端设备发出提示信息。

优选地，所述的智能寻物方法，确定找到目标物品之后还可以包括：控制用户终端设备显示目标物品标签对应的位置和/或显示在目标物品位置的旁边拍摄的图像。

一种数据处理装置，包括：

建库模块，用于建立物品位置关系库：利用物品识别模型识别电子设备移动过程中得到的图像，若所述物品识别模型识别出所述图像含有已标记物品则确定该物品的位置，建立该物品的物品标签与位置的对应关系，由所述对应关系构成所述物品位置关系库；

寻物模块，用于寻找物品：接收寻物指令，解析所述寻物指令得到目标物品标签，将所述目标物品标签与物品位置关系库中的物品标签相比较，若物品位置关系库中含有的物品标签与所述目标物品标签相同，则确定已找到目标物品，控制所述电子设备输出目标物品标签对应的位置和/或移动至目标物品标签对应的位置。

一种可寻物的智能可移动设备，包括：运动单元、拍摄单元、通信单元、存储单元、定位单元及数据处理单元；

所述运动单元连接所述数据处理单元，用于移动；

所述拍摄单元连接所述数据处理单元，用于拍照；

所述定位单元连接所述数据处理单元，用于确定智能可移动设备的位置；

所述通信单元连接所述数据处理单元，用于接收寻物指令并将其发送至所述数据处理单元；

所述存储单元连接所述数据处理单元，用于存储物品识别模型；

所述数据处理单元用于建立物品位置库：利用物品识别模型识别智能可移动设备得到的图像，若所述物品识别模型识别出所述图像含有已标记物品，则由定位单元确定该物品的位置并将该物品的位置发送给数据处理单元，由数据处理单元建立该物品的物品标签与位置的对应关系，由各已标记物品的物品标签与其位置的对应关系构成物品位置关系库；

所述数据处理单元还用于寻找物品：接收寻物指令；解析所述寻物指令得到目标物品标签；将所述目标物品标签与物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，控制所述智能可移动设备输出目标物品标签对应的位置和/或控制所述运动单元带动智能可移动设备移动至所述目标物品标签对应的位置。

一种可寻物的智能可移动设备，包括：运动单元、拍摄单元、通信单元、定位单元及控制单元，所述定位单元、运动单元、拍摄单元及通信单元连接所述控制单元；

所述运动单元用于移动；

所述拍摄单元用于拍照；

所述定位单元用于确定智能可移动设备的位置；

所述控制单元用于通过所述通信单元将所述智能可移动设备得到的图像发送至数据处理单元，供所述数据处理单元利用物品识别模型识别图像，若所述物品识别模型识别出所述图像含有已标记物品则由所述定位单元确定该物品的位置，通过通信单元将该物品的位置发送给数据处理单元，由数据处理单元建立该物品的物品标签与位置的对应关系，由各已标记物品的物品标签与其位置的对应关系构成物品位置关系库；

所述控制单元还用于接收寻物指令，并将其发送至所述数据处理单元，供所述数据处理单元解析所述寻物指令得到目标物品标签，将所述目标物品标签与所述物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，发送目标物品标签对应的位置；

所述控制单元还用于接收目标物品标签对应的位置，控制所述智能可移动设备输出目标物品标签对应的位置和/或控制所述运动单元带动智能可移动设备移动至所述目标物品标签对应的位置。

一种可寻物的智能可移动设备，包括：运动单元、拍摄单元、通信单元、定位单元及控制单元，所述定位单元、运动单元、拍摄单元及通信单元连接所述控制单元；

所述运动单元用于移动；

所述拍摄单元用于拍照；

所述定位单元用于确定智能可移动设备的位置；

所述控制单元用于通过所述通信单元将所述智能可移动设备得到的图像发送至数据处理单元，供所述数据处理单元利用物品识别模型识别图像，若所述物品识别模型识别出所述图像含有已标记物品则由所述定位单元确定该物品的位置，通过通信单元将该物品的位置发送给数据处理单元，由数据处理单元建立该物品的物品标签与位置的对应关系，由各已标记物品的物品标签与其位置的对应关系构成物品位置关系库；

所述控制单元还用于获取所述物品位置关系库；

所述控制单元还用于接收寻物指令，解析所述寻物指令得到目标物品标签，将所述目标物品标签与所述物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，控制所述智能可移动设备输出目标物品标签对应的位置和/或控制所述运动单元带动智能可移动设备移动至所述目标物品标签对应的位置。

优选地，所述的智能可移动设备，所述通信单元可以连接用户终端设备，用于接收所述用户终端设备发送的寻物指令。

优选地，所述的智能可移动设备，所述数据处理单元可以连接物品识别数据库，用于从所述物品识别数据库获取物品图像及其物品标签，根据所述物品图像及其物品标签训练深度神经网络模型，将训练好的深度神经网络模型作为所述物品识别模型。

优选地，所述的智能可移动设备，所述数据处理单元还可以连接本地服务器或网络服务器，用于将拍照得到的图像发送至所述本地服务器或网络服务器。

优选地，所述的智能可移动设备，所述数据处理单元确定已找到目标物品之后，还可以输出目标物品标签，和/或控制所述用户终端设备发出提示信息。

优选地，所述的智能可移动设备，所述数据处理单元确定已找到目标物品之后，还可以将目标物品标签对应的位置和/或所述智能可移动设备在目标物品位置的旁边拍摄的图像发送至用户终端设备显示。

优选地，所述的智能可移动设备，还可以包括：输入单元，连接所述数据处理单元，用于供用户输入寻物指令。

优选地，所述的智能可移动设备，还可以包括：输入单元，连接所述控制单元，用于供用户输入寻物指令。

优选地，所述的智能可移动设备，还可以包括显示单元，连接所述数据处理单元，用于显示目标物品标签对应的位置或在工作场景地图中标记目标物品标签对应的位置。

优选地，所述的智能可移动设备，还可以包括显示单元，连接所述控制单元，用于显示目标物品标签对应的位置或在工作场景地图中标记目标物品标签对应的位置。

优选地，所述的智能可移动设备，还可以包括：报警单元，连接所述数据处理单元，用于根据所述数据处理单元的控制发出提示信息。

优选地，所述的智能可移动设备，还可以包括：报警单元，连接所述控制单元，用于根据所述控制单元的控制发出提示信息。

优选地，所述的智能可移动设备，还可以包括：执行单元，连接所述数据处理单元，用于根据所述数据处理单元的控制获取目标物品。

优选地，所述的智能可移动设备，还可以包括：执行单元，连接所述控制单元，用于根据所述控制单元的控制获取目标物品。

一种智能寻物系统，包括：第一电子设备及第二电子设备；

所述第一电子设备在第二电子设备的控制下移动并拍照，将拍照得到的图像发送至所述第二电子设备；

所述第二电子设备包括数据处理单元及存储器；所述存储器用于存储物品识别模型；所述数据处理单元用于建立物品位置关系库：利用物品识别模型识别所述第一电子设备得到的图像，若所述物品识别模型识别出所述图像含有已标记物品则确定该物品的位置，建立该物品的物品标签与位置的对应关系，将对应关系存储于存储器，由存储的各已标记物品的物品标签与其位置的对应关系构成物品位置关系库；

所述数据处理单元还用于接收寻物指令，解析所述寻物指令得到目标物品标签；将所述目标物品标签与物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，输出目标物品标签对应的位置和/或控制所述第一电子设备移动至目标物品标签对应的位置。

优选地，所述的智能寻物系统，所述第二电子设备确定已找到目标物品之后，显示所述目标物品标签对应的位置并发出提示信息。

优选地，所述的智能寻物系统，所述第二电子设备确定已找到目标物品之后，将所述目标物品标签对应的位置发送至一第三电子设备显示，并控制所述第三电子设备发出提示信息。

本发明通过在智能可移动设备中存储物品识别模型，能够使智能可移动设备对运动过程中拍照得到的图像进行识别，建立物品位置关系库，待用户需要寻找物品时，告知智能可移动设备目标物品标签，智能可移动设备将所述目标物品标签与物品位置关系库中的物品标签相比较来确定是否找到目标物品，能够节省人们寻找物品的时间，提高寻物效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本发明一实施例的物品位置关系库建立过程的流程图；

图1b为本发明一实施例的物品寻找过程的流程图；

图1c为本发明另一实施例的物品位置关系库建立过程的流程图；

图2a为本发明一实施例的深度神经网络模型的训练用图的示意图；

图2b为本发明一实施例的深度神经网络模型的训练用图的示意图；

图3为本发明一实施例的物品识别模型的训练方法流程图；

图4为本发明一实施例的数据处理装置的结构图；

图5为本发明一实施例的可寻物的智能可移动设备的结构图；

图6a为本发明一实施例的电子设备为行走式智能玩具的示意图；

图6b为本发明一实施例的电子设备为带机械臂的履带式机器人的示意图；

图6c为本发明一实施例的电子设备为带机械臂的智能玩具的示意图；

图7为本发明另一实施例的可寻物的智能可移动设备的结构图；

图8为本发明再一实施例的可寻物的智能可移动设备的结构图；

图9为本发明一实施例的智能寻物系统的结构图。

具体实施方式

为了使本发明的技术特点及效果更加明显，下面结合附图对本发明的技术方案做进一步说明，本发明也可有其他不同的具体实例来加以说明或实施，任何本领域技术人员在权利要求范围内做的等同变换均属于本发明的保护范畴。

在本说明书的描述中，参考术语“一实施例”、“一具体实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

本发明所述的智能寻物方法及可寻物的智能可移动设备应用于空间中的寻物，空间例如为厂房、办公室、居民室内、社区等室内、室外空间，本发明对具体的应用空间不作限定。

本发明一实施例中，如图1a及图1b所示，通过建立物品位置关系库，根据寻物指令及物品位置关系库来自动确定是否找到目标物品，能够节省人们寻找物品的时间，提高寻物效率。具体的，智能寻物方法包括，

步骤S100，建立物品位置关系库，包括：

步骤S110，利用物品识别模型识别电子设备移动过程中得到的图像，若所述物品识别模型识别出所述图像含有已标记物品则进入步骤S120。优选的，还可以同时输出该(已标记物品的)物品标签。详细的说，物品识别模型识别的图像可以为电子设备执行主要任务过程(如执行清洁、保安巡逻、保姆叫醒、陪伴儿童等任务)中拍摄的图像，或执行其它寻物任务过程中拍摄的图像。电子设备例如为后续实施例所述的智能可移动设备(比如具有拍照功能的扫地机器人等)，本发明对电子设备具体为何不做限定，只要具有移动及拍照功能的设备均属于电子设备的保护范围。物品识别模型识别的是图像中的物品，若识别出图像中含有已标记物品，则用该已标记物品的物品标签标记该物品。本发明中，物品识别模型识别的图像既可以是所述电子设备实际拍照得到的图像，也可以是由下文介绍的由拍照图像进行图像处理、图像变换或图像预处理后得到的图像，详见下面描述。

步骤S120，确定该物品的位置，建立、存储该物品的物品标签与位置的对应关系。物品位置的确定可通过现有方法实现，例如，物品位置可用电子设备在工作场景地图中通过IMU(惯性测量单元)、里程计、激光测距仪等定位设备和/或基于摄像头及SLAM算法的定位模块或定位单元确定的位置表示等，本发明对此不作限定。

步骤S130，由上述步骤存储的各已标记物品的物品标签与其位置的对应关系构成所述物品位置关系库。物品位置关系库包括已标记物品的物品标签及其在工作场景地图中的位置，其具体形式可以是数据库或关联物品及其位置的索引表等，本发明对此不作限定。实施时，所述物品位置可以是工作场景地图上的具体二位坐标，也可按工作场景区域的类型(如厨房、卧室、客厅等)将所述物品位置分类到具体的空间区域。比如，物品袜子的位置既可以表示为工作场景地图上某个二维坐标代表的点，也可以表示为工作场景地图上表示“卧室”的空间区域。

步骤S200，寻找物品，包括：

步骤S210，接收寻物指令。详细的说，寻物指令包括目标物品标签，寻物指令由用户通过终端设备、所述电子设备或遥控器发出，本发明对寻物指令的发出方不做限定。

步骤S220，解析所述寻物指令得到目标物品标签。目标物品标签例如为物品名称(即人类对物品认知的名称)或物品标记(即根据需求重新对物品命名，如规定001为钥匙)等，本发明对目标物品标签具体为何不做限定。

步骤S230，将所述目标物品标签与物品位置关系库中的物品标签逐一相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，输出目标物品标签对应的位置和/或控制所述电子设备移动至目标物品标签对应的位置。详细的说，可控制电子设备和/或用户终端设备和/或通过网络在远程显示设备上输出目标物品标签对应的位置，比如为播放和/或显示目标物品标签对应的位置，本发明对此不做限定。

寻物指令可以包含多个目标物品标签，用户可指定多个目标物品的寻找顺序；也可以由所述电子设备解析寻物指令得到这些目标物品标签后，根据这些物品在工作场景地图上的相对位置关系自动安排寻物顺序。比如寻物指令包括三个物品：“钥匙”、“袜子”、“Kitty猫”，所述电子设备经过计算发现，“袜子”和“Kitty猫”距离很近(比如都在卧室)，而距离“钥匙”较远(比如“钥匙”在客厅)，而电子设备当前在卧室，则所述电子设备可以自动安排寻物顺序，即先在卧室寻找“袜子”和“Kitty猫”，再去客厅寻找“钥匙”。

进一步的，为了保证物品位置关系库的准确性，智能寻物方法还包括：

步骤S300，更新物品位置关系库：在电子设备移动过程中找到所述物品位置关系库中的物品时或每隔预定时间间隔重新建立物品位置库。实施时，若物品位置关系库按工作场景区域的类型(如厨房、卧室、客厅等)将所述物品位置分类到具体的空间区域，则可按工作场景区域类型对物品位置关系库进行更新，比如某一工作场景区域类型的物品被寻找的次数多，则增加该工作场景区域类型内物品位置关系库的更新频率。

本实施例所述的智能寻物方法可被制成一计算机应用程序，运行于数据处理单元或用户终端设备中。所述用户终端设备比如为手机、pad、电脑等，数据处理单元例如为ARM、DSP、FPGA、GPU等具有运算、信息处理、控制等功能的可编程处理器，该数据处理单元可设置在所述电子设备上。为了能够减轻电子设备本身的运算负担，从而降低电子设备的成本，还可将数据处理单元设置在用户终端设备或网络服务器上的集中式运算中心或分布式运算中心，分布式运算是指由分别设置在电子设备、用户终端设备、服务器上的至少2个上述可编程处理器共同实现上述的智能寻物方法。

本发明一实施例中，上述步骤S110中使用的物品识别模型，也就是类型化的物品图像与物品标签之间的对应关系的函数，可以理解为根据图像中物品的类型(关键特征及其组合)将图像归类为相应的物品标签，比如，从含有钥匙的大量图像(如图2a所示，图2a中每个钥匙或每串钥匙为一图像)中得到能表征“钥匙”物品标签的关键特征及其组合，又比如，从含有笔的大量图像(如图2b所示，图2b中每个笔或每组笔为一图像)中得到能表征“笔”物品标签的关键特征及其组合。

物品识别模型可预先由服务器或电子设备建立，其建立过程包括：通过物品图像及其物品标签训练深度神经网络模型，将训练好的深度神经网络模型作为物品识别模型。详细的说，如图3所示，首先设置深度神经网络模型，其次输入大量物品图像及其物品标签(通常每个物品图像仅含有一个物品，即其物品标签是唯一的)训练上一步设置的深度神经网络模型，训练完成后，得到物品识别模型。可选的，深度神经网络模型包括卷积层、非线性层及池化层，通过应用Softmax函数获取每种场景归一化的概率，并通过交叉熵损失作为误差函数对深度神经网络模型进行训练。本领域技术人员应当理解，深度神经网络(DNN)是指有很多隐含层的神经网络，也叫多层神经网络或多层感知机，因此有多个隐含层的内卷积神经网络、循环神经网络都属于深度神经网络，因此由这些方法训练得到的用于识别物品的深度神经网络模型都是本发明所指的物品识别模型，都在本发明的保护范围之内。

一些实施方式中，建立物品识别模型使用的物品图像可从已经建立好的物品识别数据库获取。所述物品识别数据库可以理解为包含了大量的图像，且每个图像仅显示一种物品,每个图像均已预先设置好了物品标签，如图像中显示物品的名称。如图2a、2b所示，图2a所示的每个图像均显示且仅显示物品“钥匙”，预先通过人工识别和/或机器识别的方式对每个图像均已设置了“钥匙”的物品标签，图2b所示的每个图像均显示且仅显示物品“笔”，预先通过人工识别和/或机器识别的方式对每个图像均已设置了“笔”的物品标签。

实施时，若从物品识别数据库获取的物品图像数量小于预定阈值，如100百万，则为了丰富样本库，训练深度神经网络模型之前还包括：对物品图像进行图像处理，以得到多个处理后的图像，增加图像数量从而增加训练素材，以便后续在通过图像处理后的图像及其物品标签训练所述深度神经网络模型时增加识别的准确率。图像处理包括对拍照图像进行缩放变换、剪切变换、旋转变换、色度变换中的一个或多个操作，以及本领域技术人员了解的其它方式的对于远近、角度、形状、光色等的图像变换，每个物品图像的图像处理可以相同也可以不同。

其它实施方式中，建立物品识别模型使用的物品图像可实时采集或采用已投入运行的电子设备于实际工作场景下在工作过程中拍照得到的图像，通过人工识别和/或机器识别图像得到物品标签。详细的说，这些实际拍照得到的图像中，通常会包括多个物品，若直接用于建模将会影响物品识别模型的精度，此时优选的，可以对实际拍照得到的图像进行预处理(如通过裁剪或修图的方式将实际图像中各单个物品凸显出)以得到单物品图像，然后，通过人工识别和/或机器识别预处理后的图像得到物品标签。

实施时，由于实际拍照得到的图像数量通常比较少，比如几百张，不足以对物品识别模型进行训练得到精准的识别结果，上述对实际拍照得到的图像进行预处理之后还包括：通过“缩放变换、剪切变换、旋转变换、色度变换”等图像处理方式对预处理后的图像进行图像处理，使得图像处理后的图像扩展增加图像数量，比如扩展100倍至1000倍，得到几万张或几十万张图像。用图像处理得到的图像训练深度神经网络模型得到物品识别模型。

本发明一实施例中，上述步骤S110物品识别模型识别出所述图像中含有已标记物品包括100％确定所述图像中含有已标记物品及所述图像中可能含有已标记物品(即物品识别模型无法明确所述图像中是100％的某个已标记物品)这两种情况。对于100％确定所述图像中含有已标记物品的情况，物品识别模型会输出物品标签。对于所述图像中可能含有已标记物品的情况，物品识别模型会输出可能的(已标记物品的)物品标签及其可能性比例。

可选的，对于图像中可能含有已标记物品的情况，将所述图像、可能的物品标签及其可能性比例或所述图像、可能性比例最高的物品标签发送给用户终端设备显示或由电子设备显示，由用户确认或修改物品标签。比如，若图像中包括物品“手机”，若物品识别模型认为该物品有80％的可能性是“手机”，20％的可能性是“遥控器”，显示的内容可以是“手机80％，遥控器20％”及该图像，也可以是“手机”及该图像，由用户确定或修改其物品标识。又如，若图像中包括物品A“手机”和物品B“钥匙”，且物品识别模型认为物品A有60％的可能性是“手机”，40％的可能性是“遥控器”，而物品B有30％可能性是“勺子”、30％可能性是“玩具”、40％可能性是“钥匙”，则可以将这几个物品的识别结果(包括其可能性比例)分别显示，比如显示的内容可以是“物品A＝手机60％，遥控器40％；物品B＝钥匙40％，勺子30％，玩具30％”及该图像，也可以是“物品A＝手机；物品B＝钥匙”及该图像。

通过上述方法，由用户辅助纠错的方式，能够提高物品识别的准确率。进一步的，可根据图像及用户确认或修改(用户可在已有标签库中选择正确物品标签或用户自己创建物品标签)的物品标签训练完善物品识别模型，从而扩展物品识别模型可识别的物品类型。

本发明一实施例中，如图1c所示，上述步骤S110物品识别模型若在所述图像中未识别出已标记物品，还包括：

步骤111，将所述图像发送至用户终端设备显示或由所述电子设备显示，由用户对所述图像进行识别，比如判断/选择/填写图像中物品的物品标签，用户可自创物品标签或从标签库中选择相应的物品标签；

步骤112，根据所述图像及用户输入的物品标签训练完善物品识别模型。

详细的说，如果用户输入的物品标签是物品识别模型中已有的标签，则将所述图像作为已有标签的图像训练完善物品识别模型，比如，将一张含有无法识别物品的图像显示给用户，用户输入该图像中含有的物品标签为“钥匙”，而“钥匙”是物品识别模型中已有的标签，则将该图像中的该物品识别为“钥匙”，将该图像中的物品归入原有标签“钥匙”类别，对“钥匙”这一物品类别进行了扩充。否则，根据用户输入的物品标签建立新标签，将所述图像作为新标签的图像训练完善物品识别模型，比如，将一张含有无法识别物品的图像显示给用户，用户输入该图像中含有的物品标签为“指甲剪”，而物品识别模型中并没有“指甲剪”这个标签，则在物品识别模型中新建“指甲剪”这个标签，并将该图像作为“指甲剪”这一物品的训练图片对物品识别模型进行训练完善，当含有“指甲剪”这一物品的图像逐渐增多积累到一定量时，物品识别模型就扩展了对“指甲剪”这一物品的识别。

在完成上述完善物品识别模型的步骤S111和S112之后，再执行上述的步骤S120及其后续步骤。

本实施例能够使物品识别模型识别出更多类型的物品，并逐步提高每个类型物品识别的准确率。

一些具体实施方式，为了增加训练素材，根据所述图像及用户输入的物品标签训练完善所述物品识别模型的过程包括：对所述图像进行图像处理，以得到多个处理后的图像；通过处理后的图像及其物品标签训练完善所述物品识别模型。其中，图像处理包括对图像进行缩放变换、剪切变换、旋转变换、色度变换中的一个或多个操作，以及本领域技术人员了解的其它方式的对于远近、角度、形状、光色等的图像变换。

优选的，由于实际拍照得到的图像中通常会包括多个物品，上述具体实施方式中对所述图像进行图像处理之前还包括：对所述图像进行预处理(如通过裁剪或修图的方式将实际图像中各单个物品凸显出)以得到单物品图像，由单物品图像训练的物品识别模型的精准度更高。

本发明一实施例中，为了使用户尽快获知寻物情况，上述步骤S230确定已找到目标物品之后还包括：控制电子设备发出提示信息，例如发出简单提示音或发出“已发现某某物品”等语音；和/或控制电子设备取回目标物品。

本发明一实施例中，上述步骤S230确定找到目标物品之后还包括：输出所述目标物品标签(步骤S220中解析寻物指令得到的目标物品标签)，以由用户确认上述方法自动找到的目标物品是否为用户的寻物指令中设定的目标物品。详细的说，可控制电子设备和/或用户终端设备和/或通过网络在远程显示设备上输出目标物品标签，比如为播放和/或显示目标物品标签，本发明对此不做限定。

本发明一实施例中，为了避免用户因距离所述电子设备太远而无法了解寻物情况，上述步骤S230确定已找到目标物品之后还包括：控制用户终端设备发出提示信息，提示信息可以是声音报警信息或语音提示信息。

本发明一实施例中，为了使用户准确获知目标物品的位置，上述步骤S230确定已找到目标物品之后还包括：控制用户终端设备显示目标物品标签对应的位置。具体实施时，还可控制用户终端设备显示目标物品位置的旁边拍摄的图像(比如包括所述目标物品的图像或目标物品旁边的环境图像)，由用户根据这些图像找到目标物品。

本发明一实施例中，为了使用户直观了解目标物品的位置，上述步骤S230确定已找到目标物品之后还包括：控制所述电子设备在工作场景地图(比如为已建成的完整地图或正在建立的部分区域地图)中标记目标物品标签对应的位置。物品的位置的获得及表示参见上述步骤S120、S130部分的说明，此次不再赘述。

基于同一发明构思，本发明还提供了一种数据处理装置，如下面的实施例所述。由于该装置解决问题的原理与智能寻物方法相似，因此该装置的实施可以参见智能寻物方法的实施，重复之处不再赘述。

如图4所示，图4为本发明一实施例的数据处理装置的结构图。具体的，数据处理装置包括：包括：

建库模块401，用于建立物品位置关系库：利用物品识别模型识别电子设备移动过程中得到的图像，若所述物品识别模型识别出所述图像含有已标记物品则确定该物品的位置，建立、存储该物品的物品标签与位置的对应关系，由各已标记物品的物品标签与其位置的对应关系构成所述物品位置关系库；

寻物模块402，用于寻找物品：接收寻物指令，解析所述寻物指令得到目标物品标签，将所述目标物品标签与物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，输出目标物品标签对应的位置和/或控制所述电子设备移动至目标物品标签对应的位置。

如图5所示，图5为本发明一实施例的可寻物的智能可移动设备的结构图。本发明提供的可寻物的智能可移动设备能够节省人们寻找物品的时间，提高寻物效率。

具体的，智能可移动设备包括：定位单元500、运动单元501、拍摄单元502、通信单元503、存储单元504及数据处理单元505。实施时，智能可移动设备还包括壳体，该壳体用于容置各单元，其中，拍摄单元502、通信单元503、存储单元504及数据处理单元505设置在壳体内，运动单元501可以是设置在壳体上作为壳体一部分的底盘，也可以为可搭载壳体的独立底盘。该壳体可根据需求设计成各种造型，本发明对其材质、形状、大小不做限定。

运动单元501连接数据处理单元505，用于在数据处理单元505的控制下使得整个智能可移动设备移动。详细的说，运动单元包括电机及运动部件，电机用于根据数据处理单元的控制驱动运动部件移动。运动部件例如为轮子、履带或行走部件，本发明对运动部件具体为何不做限定。

拍摄单元502连接数据处理单元505，用于对周围环境拍照，并将拍照得到的图像发送至数据处理单元505。拍摄单元具有拍照和/或摄像功能，例如为照相机、摄像头(如鱼眼摄像头)等。

所述定位单元500连接所述数据处理单元505，用于确定智能可移动设备的位置。定位单元500可以是IMU(惯性测量单元)、里程计、激光测距仪之一或其任意组合，也可以是拍摄单元502或单独的摄像头以及根据拍摄单元或摄像头的图像进行SLAM算法得到实时位置的定位模块。

通信单元503连接数据处理单元505，用于接收寻物指令并将其发送至数据处理单元505。实施时，通过通信单元503连接用户终端设备来接收用户终端设备发送的寻物指令。通信单元可以为有线通信设备，也可以为无线通信设备，如WiFi模块，GPRS模块，Zigbee模块，蓝牙模块等。

存储单元504连接数据处理单元505，可以用于存储物品识别模型。

数据处理单元505用于建立物品位置库：利用物品识别模型识别拍摄单元502拍照得到的图像或图像处理、图像转换、图像预处理得到的图像，若物品识别模型识别出所述图像中含有已标记物品则定位单元确定该物品的位置(从定位单元获取该物品的位置，或由定位单元将该物品的位置发送给数据处理单元)，由数据处理单元建立该物品的物品标签与位置的对应关系，可以将所述对应关系存储于存储单元，由存储的各已标记物品的物品标签与其位置的对应关系构成物品位置关系库。

数据处理单元505还用于寻找物品：接收寻物指令，解析所述寻物指令得到目标物品标签，将所述目标物品标签与物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，控制所述智能可移动设备输出目标物品标签对应的位置和/或控制运动单元501带动智能可移动设备移动至目标物品标签对应的位置。详细的说，数据处理单元可选用ARM、DSP、FPGA、GPU、CPU等具有运算、信息处理、控制等功能的可编程处理器，本发明对数据处理单元类型、型号不做限定。

实施时，可在智能可移动设备中集成其它功能，如集成扫地功能，语音交互功能等，如集成扫地功能，可将该智能可移动设备称之为扫地机器人，如集成语音交互功能，可将该智能可移动设备称之为智能玩具，如行走式智能玩具(如图6a所示)，带机械臂的智能玩具(如图6c所示)。智能可移动设备可在执行其它任务(如执行清洁任务、保安巡逻任务、保姆叫醒任务、陪伴儿童任务、其它寻物任务等，具体执行何种任务由智能可移动设备的具体设定或集成的其它功能而定)时进行图像采集。其它任务执行与建立物品位置关系库可同步执行。同样，智能可移动设备还可在执行其它任务时接收寻物指令，智能可移动设备完成寻物任务后，恢复执行原任务。

进一步的，为了减轻智能可移动设备的存储负担，数据处理单元识别完图像后，会删除图像或通过通信单元将图像发送至用户终端设备或网络服务器。

进一步的，为了增加寻物指令的输入方式，智能可移动设备还包括：输入单元506，连接数据处理单元505，用于供用户在智能可移动设备上直接发出寻物指令。具体的，输入单元506包括语音输入器、麦克风、键盘及触摸屏中的一个或多个，以及本领域技术人员了解的其它输入方式。

进一步的，物品识别模型是由数据处理单元训练深度神经网络模型得到的，具体实现方式为：数据处理单元505通过通信单元503连接物品识别数据库(例如，可以存储在网络服务器上)，从物品识别数据库获取物品图像及其物品标签，根据所述物品图像及其物品标签训练深度神经网络模型，将训练好的深度神经网络模型作为所述物品识别模型。当然，物品识别模型还可以由本地服务器或网络服务器(包括网络服务器)训练得到，数据处理单元仅需从本地服务器或网络服务器下载已建立完成的物品识别模型即可。

进一步的，数据处理单元505还可以通过通信单元503连接本地服务器或网络服务器，将拍摄单元拍照得到的图像发送至本地服务器或网络服务器，由本地服务器或网络服务器中训练建立的物品识别模型识别所述图像，节省了数据处理单元的算力，能够降低智能可移动设备的成本。

进一步的，为了使用户尽快获知目标物品位置，数据处理单元505确定已找到目标物品之后，通过通信单元503将目标物品标签对应的位置发送至用户终端设备显示。具体实施时，还可将所述智能可移动设备在目标物品位置的旁边拍摄的图像发送至用户终端设备显示，由用户确定图像中是否有其设定的目标物品，并根据图像找到目标物品。

进一步的，为了使用户尽快获知寻物情况，智能可移动设备还包括报警单元507，连接数据处理单元505，数据处理单元505确定已找到目标物品之后，控制报警单元507发出提示信息。详细的说，报警单元可以为LED灯、报警器、扬声器等具有提醒作用的器件，本发明对报警单元具体类型不做限定。

进一步的，为了避免用户因距离智能可移动设备太远而无法了解寻物情况，数据处理单元505确定已找到目标物品之后，通过通信单元503控制所述用户终端设备发出提示信息。例如发出简单提示音或发出“已发现某某物品”等语音。

进一步的，数据处理单元505确定已找到目标物品之后，还输出所述目标物品标签(解析寻物指令得到的目标物品标签)，以由用户确认智能可移动设备自动找到的目标物品是否为用户设定的目标物品。详细的说，可控制智能可移动设备和/或用户终端设备和/或通过网络在远程显示设备上输出目标物品标签，比如为播放和/或显示目标物品标签，本发明对此不做限定。

进一步的，为了使用户直观的获知目标物品位置，智能可移动设备还包括显示单元508，连接数据处理单元505，数据处理单元505确定已找到目标物品之后，控制显示单元508显示目标物品标签对应的位置或在工作场景地图中标记目标物品标签对应的位置。

进一步的，为了使智能可移动设备能够获取目标物品，智能可移动设备还包括执行单元509，连接数据处理单元505，数据处理单元505于智能可移动设备移动到目标物品标签对应的位置后控制执行单元509获取目标物品。详细的说，执行单元可以为机械臂(如图6c)，或机械手(如图6b)，或机械臂末端的抓起装置，机械末端的抓起装置例如为磁铁、吸盘等，以将目标物品吸起，对磁铁而言，被吸起物品需是铁质材料，对于吸盘而言，被吸起物品可以是表面光滑的玻璃、瓷器、塑料等。

如图7所示，图7为本发明另一实施例的可寻物的智能可移动设备的结构图。本发明提供的可寻物的智能可移动设备能够节省人们寻找物品的时间，提高寻物效率。同时识别及寻物过程由设置在智能可移动设备之外的数据处理单元实现，能够减轻智能可移动设备的运算负担，提高识别效率。

具体的，智能可移动设备包括：定位单元700、运动单元701、拍摄单元702、通信单元703及控制单元704，其中，定位单元700、运动单元701、拍摄单元702及通信单元703连接控制单元704。

运动单元701用于移动。详细的说，运动单元包括电机及运动部件，电机用于根据数据处理单元的控制驱动运动部件移动。运动部件例如为轮子、履带或行走部件，本发明对运动部件具体为何不做限定。

拍摄单元702用于对周围环境拍照。拍摄单元具有拍照和/或摄像功能，例如为照相机、摄像头(如鱼眼摄像头)等。

定位单元700用于确定智能可移动设备的位置，可以是IMU(惯性测量单元)、里程计、激光测距仪之一或其任意组合，也可以是拍摄单元或单独的摄像头以及根据拍摄单元或摄像头的图像进行SLAM算法得到实时位置的定位模块。

控制单元704例如为ARM、DSP、FPGA、GPU等具有运算、信息处理、控制等功能的可编程处理器，用于通过通信单元703将智能可移动设备得到的图像发送至数据处理单元。本发明中，发送至数据处理单元的图像既可以是所述可移动智能设备实际拍照得到的图像，也可以是由拍照图像进行图像处理、图像变换或图像预处理后得到的图像。数据处理单元设置在移动终端和/或网络服务器上，用于利用物品识别模型识别图像，若物品识别模型识别出图像中含有已标记物品则由所述定位单元700确定该物品的位置，通过通信单元703将该物品的位置发送给数据处理单元，由数据处理单元建立、存储该物品的物品标签与位置的对应关系，由各已标记物品的物品标签与其位置的对应关系构成物品位置关系库。数据处理单元建立物品识别模型及识别图像的过程已在前述实施例进行了说明，此处不再赘述。

控制单元704还用于接收寻物指令(例如由与通信单元703相连的用户终端设备发送给安装在智能可移动设备上的控制单元704；在另一个实施例中，控制单元也可以是用户终端设备上的功能模块)，并将其发送至数据处理单元，供数据处理单元解析所述寻物指令得到目标物品标签，将所述目标物品标签与所述物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，发送目标物品标签对应的位置。

控制单元704还用于接收目标物品标签对应的位置，控制所述智能可移动设备输出目标物品标签对应的位置和/或控制运动单元701带动智能可移动设备移动至目标物品标签对应的位置。

进一步的，物品识别模型是由数据处理单元训练深度神经网络模型得到的，具体实现方式为：数据处理单元直接或通过通信单元703连接物品识别数据库，从物品识别数据库获取物品图像及其物品标签，根据所述物品图像及其物品标签训练深度神经网络模型，将训练好的深度神经网络模型作为所述物品识别模型。当然，物品识别模型还可以由本地服务器或网络服务器训练得到，数据处理单元仅需从本地服务器或网络服务器下载已建立完成的物品识别模型即可。

进一步的，数据处理单元还可以直接或通过通信单元703连接本地服务器或网络服务器，将拍摄单元拍照得到的图像发送至本地服务器或网络服务器，由本地服务器或网络服务器中训练建立的物品识别模型识别所述图像，节省了数据处理单元的算力，能够降低智能可移动设备的成本。

进一步的，为了增加寻物指令的输入方式，智能可移动设备还包括：输入单元705，连接控制单元704，用于供用户输入寻物指令。具体的，输入单元705包括语音输入器、麦克风、键盘及触摸屏中的一个或多个，以及本领域技术人员了解的其它输入方式。

进一步的，为了使用户尽快获知寻物情况，智能可移动设备还包括报警单元706，连接控制单元704，控制单元704接收到目标物品标签对应的位置之后控制报警单元706发出提示信息。详细的说，报警单元可以为LED灯、报警器、扬声器等具有提醒作用的器件，本发明对报警单元具体类型不做限定。

进一步的，为了使用户直观的获知目标物品位置，智能可移动设备还包括显示单元707，连接控制单元704，控制单元704接收到目标物品标签对应的位置之后控制显示单元707显示目标物品标签对应的位置或在工作场景地图中标记目标物品标签对应的位置。

进一步的，为了使智能可移动设备能够获取目标物品，智能可移动设备还包括执行单元708，连接控制单元704，控制单元704于智能可移动设备移动到目标物品标签对应的位置后控制执行单元708获取目标物品。详细的说，执行单元可以为机械臂(如图6c)，或机械手(如图6b)，或机械臂末端的抓起装置，机械末端的抓起装置例如为磁铁、吸盘等，以将目标物品吸起，对磁铁而言，被吸起物品需是铁质材料，对于吸盘而言，被吸起物品可以是表面光滑的玻璃、瓷器、塑料等。

进一步的，数据处理单元确定已找到目标物品之后，还输出所述目标物品标签(解析寻物指令得到的目标物品标签)，以由用户确认自动找到的目标物品是否为用户设定的目标物品。详细的说，可控制智能可移动设备和/或用户终端设备和/或通过网络在远程显示设备上输出目标物品标签，比如为播放和/或显示目标物品标签，本发明对此不做限定。

进一步的，为了避免用户因距离智能可移动设备太远而无法了解寻物情况，控制单元704在接收到目标物品标签对应的位置时还通过通信单元703控制用户终端设备发出提示信息。

进一步的，为了使用户尽快获知目标物品位置，数据处理单元还将目标物品标签对应的位置发送至用户终端设备显示。具体实施时，还可将所述智能可移动设备在目标物品位置的旁边拍摄的图像发送至用户终端设备显示，由用户确定图像中是否有其设定的目标物品，并根据图像找到目标物品。

在本发明的其它实施例中，控制单元可以是在用户终端设备上或智能可移动设备上。如果控制单元在智能可移动设备上，则通过用户终端设备接收寻物指令时，可以是由通信单元接收寻物指令；但如果控制单元在用户终端设备上，此时由智能可移动设备本身输入或语音输入，则控制单元是由智能可移动设备自身的I/O设备获取寻物指令。实际上，在本发明的实施例中，控制单元可以在用户终端设备上或智能可移动设备上，数据处理单元可以在用户终端设备上或网络服务器上，因此在控制单元和数据处理单元都在用户终端设备上时，不需要通过通信单元传输，而其它的3种情况则需要通信单元传输。

如图8所示，图8为本发明再一实施例的可寻物的智能可移动设备的结构图。本发明提供的可寻物的智能可移动设备能够节省人们寻找物品的时间，提高寻物效率。同时具体识别过程由设置在智能可移动设备之外的数据处理单元实现，能够减轻智能可移动设备的运算负担，提高识别效率。

具体的，智能可移动设备包括：定位单元800、运动单元801、拍摄单元802、通信单元803及控制单元804，其中，运动单元801、拍摄单元802及通信单元803连接控制单元804。

运动单元801用于移动。详细的说，运动单元包括电机及运动部件，电机用于根据数据处理单元的控制驱动运动部件移动。运动部件例如为轮子、履带或行走部件，本发明对运动部件具体为何不做限定。

拍摄单元802用于对周围环境拍照。拍摄单元具有拍照和/或摄像功能，例如为照相机、摄像头(如鱼眼摄像头)等。

定位单元800用于确定智能可移动设备的位置。定位单元可以是IMU(惯性测量单元)、里程计、激光测距仪之一或其任意组合，也可以是拍摄单元或单独的摄像头以及根据拍摄单元或摄像头的图像进行SLAM算法得到实时位置的定位模块。

控制单元804例如为ARM、DSP、FPGA、GPU等具有运算、信息处理、控制等功能的可编程处理器，用于通过通信单元803将拍摄单元802拍照得到的图像发送至数据处理单元。数据处理单元设置在移动终端和/或网络服务器上，用于利用物品识别模型识别图像，若物品识别模型识别出图像中含有已标记物品则由所述定位单元800确定该物品的位置，通过通信单元803将该物品的位置发送给数据处理单元，由数据处理单元建立、存储该物品的物品标签与位置的对应关系，由各已标记物品的物品标签与其位置的对应关系构成物品位置关系库。数据处理单元建立物品识别模型及识别图像的过程已在前述实施例进行了说明，此处不再赘述。

控制单元804还用于获取物品位置关系库，比如每隔预定时间间隔获取一次物品位置关系库。

控制单元804还用于接收寻物指令(如由用户终端设备发送)，解析寻物指令得到目标物品标签，将目标物品标签与物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，控制所述智能可移动设备输出目标物品标签对应的位置和/或控制运动单元801带动智能可移动识别移动至目标物品标签对应的位置。

进一步的，物品识别模型是由数据处理单元训练深度神经网络模型得到的，具体实现方式为：数据处理单元直接或通过通信单元803连接物品识别数据库(比如，数据处理单元在用户终端设备上，通过WiFi或移动网络从网络服务器上的物品识别数据库中获取图像训练物品识别模型)，从物品识别数据库获取物品图像及其物品标签，根据所述物品图像及其物品标签训练深度神经网络模型，将训练好的深度神经网络模型作为所述物品识别模型。当然，物品识别模型还可以由本地服务器或网络服务器训练得到，数据处理单元仅需从本地服务器或网络服务器下载已建立完成的物品识别模型即可。

进一步的，数据处理单元还可以直接或通过通信单元803连接本地服务器或网络服务器，将拍摄单元拍照得到的图像发送至本地服务器或网络服务器，由本地服务器或网络服务器中训练建立的物品识别模型识别所述图像，节省了数据处理单元的算力，能够降低智能可移动设备的成本。

进一步的，为了增加寻物指令的输入方式，智能可移动设备还包括：输入单元805，连接控制单元804，用于供用户输入寻物指令。具体的，输入单元805包括语音输入器、麦克风、键盘及触摸屏中的一个或多个，以及本领域技术人员了解的其它输入方式。

进一步的，为了使用户尽快获知寻物情况，智能可移动设备还包括报警单元806，连接控制单元804，控制单元804确定找到目标物品之后控制报警单元806发出提示信息。详细的说，报警单元可以为LED灯、报警器、扬声器等具有提醒作用的器件，本发明对报警单元具体类型不做限定。

进一步的，为了使用户直观的获知目标物品位置，智能可移动设备还包括显示单元807，连接控制单元804，控制单元804确定找到目标物品之后控制显示单元807显示目标物品标签对应的位置或在工作场景地图中标记目标物品标签对应的位置。

进一步的，为了使智能可移动设备能够获取目标物品，智能可移动设备还包括执行单元808，连接控制单元804，控制单元804于智能可移动设备移动到目标物品标签对应的位置后控制执行单元808获取目标物品。详细的说，执行单元可以为机械臂(如图6c)，或机械手(如图6b)，或机械臂末端的抓起装置，机械末端的抓起装置例如为磁铁、吸盘等，以将目标物品吸起，对磁铁而言，被吸起物品需是铁质材料，对于吸盘而言，被吸起物品可以是表面光滑的玻璃、瓷器、塑料等。

进一步的，为了避免用户因距离智能可移动设备太远而无法了解寻物情况，控制单元804在确定找到目标物品之后还通过通信单元803控制用户终端设备发出提示信息，和/或将目标物品标签对应的位置和/或所述智能可移动设备在所述目标物品位置的旁边拍摄的图像发送至用户终端设备显示。

进一步的，控制单元确定已找到目标物品之后，还输出所述目标物品标签(解析寻物指令得到的目标物品标签)，以由用户确认自动找到的目标物品是否为用户设定的目标物品。详细的说，可控制智能可移动设备和/或用户终端设备和/或通过网络在远程显示设备上输出目标物品标签，比如为播放和/或显示目标物品标签，本发明对此不做限定。

如图9所示，图9为本发明实施例的智能寻物系统的结构图。具体的，智能寻物系统包括：第一电子设备910及第二电子设备920。

第一电子设备910在第二电子设备802的控制下移动并拍照，将拍照得到的图像发送给第二电子设备920。

第二电子设备920包括数据处理单元及存储器。存储器用于存储物品识别模型。

数据处理单元用于建立物品位置关系库：利用物品识别模型识别第一电子设备801得到的图像，若物品识别模型识别出所述图像含有已标记物品则确定该物品的位置，建立该物品的物品标签与位置的对应关系，将对应关系存储于存储器，由存储的各已标记物品的物品标签与其位置的对应关系构成物品位置关系库。

数据处理单元还用于接收寻物指令；解析所述寻物指令得到目标物品标签，将目标物品标签与存储器存储的物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，输出目标物品标签对应的位置和/或控制所述第一电子设备移动至目标物品标签对应的位置。

详细的说，第一电子设备通过有线或无线方式连接第二电子设备，第一电子设备例如为前述实施例所述的智能可移动设备(如具有拍照功能的扫地机器人、具有拍照及移动功能的智能玩具等)，本发明对第一电子设备具体如何不做限定，具有拍照、移动及通信功能的设备均属于本发明所述第一电子设备的保护范围。第二电子设备包括但不限于遥控器、用户终端设备或服务器。如第二电子设备为用户终端设备或服务器，则上述数据处理单元可以为安装在用户终端设备或服务器上的应用程序。

本发明提供的智能寻物系统通过第一电子设备及第二电子设备的配合使用，由第一电子设备在运动过程中进行拍照，由第二电子设备对拍照的得到的图像进行识别，建立物品位置关系库，根据寻物指令及物品位置关系库来自动确定是否找到目标物品，能够节省人们寻找物品的时间，提高寻物效率。

实施时，若第二电子设备为用户手持设备，且具备显示及发声功能，如智能遥控器或终端设备，则第二电子设备确定已找到目标物品之后，会在显示器上显示定位信息并通过扬声器发出提示信息。

若第二电子设备不具备显示及发声功能，或第二电子设备距离用户较远，如为服务器，则第二电子设备确定已找到目标物品之后，会将定位信息发送至一第三电子设备显示，并控制第三电子设备发出提示信息。该第三电子设备为用户经常使用的设备，如遥控器或终端设备。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅用于说明本发明的技术方案，任何本领域普通技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围应视权利要求范围为准。

Claims (10)

1.一种智能寻物方法，其特征在于，包括：

建立物品位置关系库：利用物品识别模型识别电子设备移动过程中得到的图像，若所述物品识别模型识别出所述图像含有已标记物品则确定该物品的位置，建立该物品的物品标签与位置的对应关系；由各已标记物品的物品标签与其位置的对应关系构成所述物品位置关系库；

寻找物品：接收寻物指令，解析所述寻物指令得到目标物品标签，将所述目标物品标签与物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，输出目标物品标签对应的位置和/或控制所述电子设备移动至目标物品标签对应的位置。

2.如权利要求1所述的智能寻物方法，其特征在于，所述物品识别模型的建立过程包括：

通过物品图像及其物品标签训练深度神经网络模型，将训练好的深度神经网络模型作为所述物品识别模型。

3.如权利要求1所述的智能寻物方法，其特征在于，确定已找到目标物品之后还包括：输出所述目标物品标签，和/或控制所述电子设备发出提示信息和/或控制所述电子设备取回所述目标物品。

4.如权利要求1所述的智能寻物方法，其特征在于，确定已找到目标物品之后还包括：控制所述电子设备在工作场景地图中标记目标物品标签对应的位置。

5.一种可寻物的智能可移动设备，其特征在于，包括：运动单元、拍摄单元、通信单元、存储单元、定位单元及数据处理单元；

所述运动单元连接所述数据处理单元，用于移动；

所述拍摄单元连接所述数据处理单元，用于拍照；

所述定位单元连接所述数据处理单元，用于确定智能可移动设备的位置；

所述通信单元连接所述数据处理单元，用于接收寻物指令并将其发送至所述数据处理单元；

所述存储单元连接所述数据处理单元，用于存储物品识别模型；

所述数据处理单元用于建立物品位置库：利用物品识别模型识别智能可移动设备得到的图像，若所述物品识别模型识别出所述图像含有已标记物品，则由定位单元确定该物品的位置并将该物品的位置发送给数据处理单元，由数据处理单元建立该物品的物品标签与位置的对应关系，由各已标记物品的物品标签与其位置的对应关系构成物品位置关系库；

所述数据处理单元还用于寻找物品：接收寻物指令；解析所述寻物指令得到目标物品标签；将所述目标物品标签与物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，控制所述智能可移动设备输出目标物品标签对应的位置和/或控制所述运动单元带动智能可移动设备移动至所述目标物品标签对应的位置。

6.一种可寻物的智能可移动设备，其特征在于，包括：运动单元、拍摄单元、通信单元、定位单元及控制单元，所述定位单元、运动单元、拍摄单元及通信单元连接所述控制单元；

所述运动单元用于移动；

所述拍摄单元用于拍照；

所述定位单元用于确定智能可移动设备的位置；

所述控制单元用于通过所述通信单元将所述智能可移动设备得到的图像发送至数据处理单元，供所述数据处理单元利用物品识别模型识别图像，若所述物品识别模型识别出所述图像含有已标记物品则由所述定位单元确定该物品的位置，通过通信单元将该物品的位置发送给数据处理单元，由数据处理单元建立该物品的物品标签与位置的对应关系，由各已标记物品的物品标签与其位置的对应关系构成物品位置关系库；

所述控制单元还用于接收寻物指令，并将其发送至所述数据处理单元，供所述数据处理单元解析所述寻物指令得到目标物品标签，将所述目标物品标签与所述物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，发送目标物品标签对应的位置；

所述控制单元还用于接收目标物品标签对应的位置，控制所述智能可移动设备输出目标物品标签对应的位置和/或控制所述运动单元带动智能可移动设备移动至所述目标物品标签对应的位置。

7.一种可寻物的智能可移动设备，其特征在于，包括：运动单元、拍摄单元、通信单元、定位单元及控制单元，所述定位单元、运动单元、拍摄单元及通信单元连接所述控制单元；

所述运动单元用于移动；

所述拍摄单元用于拍照；

所述定位单元用于确定智能可移动设备的位置；

所述控制单元用于通过所述通信单元将所述智能可移动设备得到的图像发送至数据处理单元，供所述数据处理单元利用物品识别模型识别图像，若所述物品识别模型识别出所述图像含有已标记物品则由所述定位单元确定该物品的位置，通过通信单元将该物品的位置发送给数据处理单元，由数据处理单元建立该物品的物品标签与位置的对应关系，由各已标记物品的物品标签与其位置的对应关系构成物品位置关系库；

所述控制单元还用于获取所述物品位置关系库；

所述控制单元还用于接收寻物指令，解析所述寻物指令得到目标物品标签，将所述目标物品标签与所述物品位置关系库中的物品标签相比较，若物品位置关系库中含有与所述目标物品标签相同的物品标签，则确定已找到目标物品，控制所述智能可移动设备输出目标物品标签对应的位置和/或控制所述运动单元带动智能可移动设备移动至所述目标物品标签对应的位置。

8.如权利要求5至7任一项所述的智能可移动设备，其特征在于，所述通信单元连接用户终端设备，用于接收所述用户终端设备发送的寻物指令。

9.如权利要求5所述的智能可移动设备，其特征在于，还包括：输入单元，连接所述数据处理单元，用于供用户输入寻物指令。

10.如权利要求6或7所述的智能可移动设备，其特征在于，还包括：输入单元，连接所述控制单元，用于供用户输入寻物指令。