CN106156799B - 智能机器人的物体识别方法及装置 - Google Patents

Abstract

本发明公开了一种智能机器人的物体识别方法及装置，该方法包括：指示接收步骤，接收来自用户对目标物体进行识别的学习指示；信息获取步骤，响应该学习指示并获取该目标物体的图片以及用户语音输入的该目标物体的识别参数；标签存储步骤，根据所述识别参数，为所述图片设定标签并进行存储；以及物体识别步骤，当接收到物体识别指示时，根据所述标签识别所述目标物体。本发明能够提高智能机器人的物体识别能力，以较低的成本实现大量物体的识别，并且对定制外形的物体也能实现识别，改善用户体验，提升智能机器人的智能性和类人性。

Description

智能机器人的物体识别方法及装置

技术领域

本发明涉及智能机器人领域，尤其涉及一种智能机器人的物体识别方法及装置。

背景技术

随着智能机器人产品的逐渐普及，更多的智能机器人走进家庭，成为孩子的玩伴和大人的管家。

智能机器人进行物体识别时，传统的物体识别方式是通过收集互联网上的大量数据建立庞大数据库来帮助机器人识别物体，这样的做法在复杂的用户使用场景中容易造成无法识别的情况。比如用户想要机器人识别一支特定的定制笔，但是由于机器人数据库中没有这支笔的数据而无法识别造成用户体验较差。

因此，亟需一种智能机器人的物体识别方案，该方案可以提高智能机器人的物体识别能力，以较低的成本实现大量物体的识别，并且对定制外形的物体也能实现识别，改善用户体验，提升智能机器人的智能性和类人性。

发明内容

本发明所要解决的技术问题之一是需要提供一种提高智能机器人的物体识别能力，以较低的成本实现大量物体的识别，并且对定制外形的物体也能实现识别的智能机器人的物体识别方法及装置。

为了解决上述技术问题，本申请的实施例首先提供了一种智能机器人的物体识别方法，包括：指示接收步骤，接收来自用户对目标物体进行识别的学习指示；信息获取步骤，响应该学习指示并获取该目标物体的图片以及用户语音输入的该目标物体的识别参数；标签存储步骤，根据所述识别参数，为所述图片设定标签并进行存储；以及物体识别步骤，当接收到物体识别指示时，根据所述标签识别所述目标物体。

优选地，所述识别参数包括物体的种类、名称和颜色。

优选地，在所述信息获取步骤中，进一步包括：获取用户所指物体的图片；对获取的图片进行解析，将图片中的被指物体作为目标物体，获取该目标物体的图片。

优选地，在所述标签存储步骤中，将所述图片存储在图片库中，所述图片库中的图片分类存储。

优选地，在所述物体识别步骤中，进一步包括：当接收到物体识别指示时，获取需识别物体的图片；对图片进行分析，确定图片中需识别物体的类别；从所述图片库对应类别区域中查找匹配图片，当所述需识别物体的图片与所存储的物体图片相匹配时，输出所存储的物体的图片对应的标签。

另一方面，本发明还提供了一种智能机器人的物体识别装置，包括：指示接收单元，其接收来自用户对目标物体进行识别的学习指示；信息获取单元，其响应该学习指示并获取该目标物体的图片以及用户语音输入的该目标物体的识别参数；标签存储单元，其根据所述识别参数，为所述图片设定标签并进行存储；以及物体识别单元，其当接收到物体识别指示时，根据所述标签识别所述目标物体。

优选地，所述识别参数包括物体的种类、名称和颜色。

优选地，所述信息获取单元进一步获取用户所指物体的图片，对获取的图片进行解析，将图片中的被指物体作为目标物体，获取该目标物体的图片。

优选地，所述标签存储单元将所述图片存储在图片库中，所述图片库中的图片分类存储。

优选地，所述物体识别单元进一步包括以下子单元：图片获取子单元，其当接收到物体识别指示时，获取需识别物体的图片；类别确定子单元，其对图片进行分析，确定图片中需识别物体的类别；匹配子单元，其从所述图片库对应类别区域中查找匹配图片，当所述需识别物体的图片与所存储的物体图片相匹配时，输出所存储的物体的图片对应的标签。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本发明实施例的智能机器人的物体识别方法，通过机器人对目标物体进行识别的学习，将学习到的物体以图片和设定标签关联存储，在接收到物体识别指示时，能够根据标签识别目标物体。因此，可以提高智能机器人的物体识别能力，以较低的成本实现大量物体的识别，并且对定制外形的物体也能实现识别，改善用户体验，提升智能机器人的智能性和类人性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1是根据本发明实施例的智能机器人的物体识别装置100的结构框图。

图2是根据本发明实施例的物体识别单元140的结构框图。

图3是根据本发明实施例的智能机器人的物体识别方法的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的智能机器人的物体识别装置100的结构框图。如图1所示，本申请实施例的智能机器人的物体识别装置100，主要包括：指示接收单元110、信息获取单元120、标签存储单元130以及物体识别单元140。

指示接收单元110，其接收来自用户对目标物体进行识别的学习指示。

对于智能机器人无法实现识别的物体，可以通过用户教学的方式，令机器人学会该物体的识别。具体地，用户通过语音向机器人发出学习指示，利用自动语音识别(Automatic Speech Recognition，简称ASR)指令唤醒机器人告知机器人需要学习设定物体，这时指示接收单元110开始启动，接收来自用户对设定物体进行识别的学习指示。

自动语音识别是智能机器人自动将用户的语音内容转换为相应的文字，然后通过文字执行相应命令。在用户向机器人发出类似于“现在我们要学习一个物体”的语音后，指示接收单元110通过自动语音识别技术被唤醒，在将上述语音转换为文本后，可以通过文语转换(TTS)技术发出语音“好的，开始学习”，告知用户可以开始学习了。

信息获取单元120，其与指示接收单元110连接，响应该学习指示并获取该目标物体的图片以及用户语音输入的该目标物体的识别参数，其中，识别参数包括物体的种类、名称和颜色。

进一步，信息获取单元120获取用户所指物体的图片，对获取的图片进行解析，将图片中的被指物体作为目标物体，获取该目标物体的图片。信息获取单元120利用机器人的摄像头获取用户所指物体的图片，该图片中一般会包括除了目标物体以外的其他物，因此需要对该获取的图片进行解析，获取仅包括该目标物的图片。而所谓的目标物一般为被用户指向的物体。

用户向机器人展示物体的同时，还会通过语音的方式告诉机器人这个物体是什么。对于“这个物体是什么”的内容中一般会包括该物体的识别参数，如语音内容为“这个物体属于球类，是一个红色的足球”，则信息获取单元120进一步通过自动语音识别技术，将该段语音内容转换成文本，获取“球类”、“红色”和“足球”内容的识别参数。

标签存储单元130，其与信息获取单元120连接，根据识别参数，为图片设定标签并进行存储。具体地，标签存储单元130会将图片存储在图片库中，图片库中的图片分类存储。

以上面所说的红色足球为例，标签存储单元130会给仅包括红色足球的图片设定一个标签，由于识别参数为“球类”、“红色”和“足球”，因此可以将该识别参数内容直接作为该图片的标签，并将带有标签的图片存储在图片库中的球类图片子库中。

图片库中的图片已经被预先进行了多层级的分类，比如球类、文具类等可以作为顶级类，足球、铅笔等可以作为一级子类等。容易理解，将不同物体图片进行分类存储，能够使机器人在后面物体识别的过程中更加迅速地识别出设定物体，提高准确率和识别效率。

通过上述各单元一系列的操作，机器人已经认识了设定物体，因此，在用户后期需要机器人识别该物体时，机器人可以较为准确地识别出来，不会出现无法识别的情况。

物体识别单元140，其当接收到物体识别指示时，根据标签识别目标物体。如图2所示，该物体识别单元140主要包括：图片获取子单元1402、类别确定子单元1404和匹配子单元1406。

具体地，当接收到物体识别指示时，图片获取子单元1402获取需识别物体的图片，然后类别确定子单元1404对图片进行分析，确定图片中需识别物体的类别。最后，匹配子单元1406从所述图片库对应类别区域中查找匹配图片，当需识别物体的图片与所存储的物体图片相匹配时，输出所存储的物体的图片对应的标签。

当用户需要让机器人识别物体时，则会向机器人发出类似于“请问这个物体是什么”语音指令，伴随着语音的发出，用户会用手指向待识别物体。物体识别单元140也通过自动语音识别指令被启动，其中的图片获取子单元1402通过利用机器人的摄像头获取需识别物体的图片。该图片中一般也会包括除需要识别的物体之外的其他物，因此需要对该图片进行解析。

类别确定子单元1404对图片进行分析获取仅包括需识别物体的图片，然后确定图片中需识别物体的类别。类别确定子单元1404在对图片中的物体的类别进行确定的过程，可以通过图像预处理、图像分割、特征选择与特征提取以及进行分类识别等技术手段实现。

匹配子单元1406对物体图片进行匹配的过程如下：从图片库对应类别区域中查找匹配图片，获取需识别物体的图片与每个图片的各部分的相似度，根据各部分的相似度，判定是否为所要查找的匹配图片。相似度越高，则匹配度越高，因此，匹配子单元1406将匹配度最高的图片作为与待识别物体的图片相匹配的图片。

匹配子单元1406在从图片库对应类别区域中查找到匹配图片后，通过TTS技术将所存储的物体的图片对应的标签以语音方式输出，告知用户该物体是什么。例如，若该匹配图片对应的标签为“球类”、“红色”和“足球”，则匹配子单元1406将文本内容转换成语音内容，向用户发出“该物体属于球类，是红色的足球”的语音。

本发明实施例的智能机器人的物体识别装置以人机对话的形式，让用户教机器人认识用户拿的物体是什么，机器人学习之后，在用户需要机器人识别该物体时，机器人就会做出正确识别，因此相比现有的基于大数据库来识别物体的方法，大大拓展了使用场景和识别准确性。

下面参照图3中的流程对智能机器人的物体识别方法进行分步说明。

如图3所示，基于对话的物体识别实现之前首先要利用步骤S310、S320和S330让用户教会机器人认识此物体。具体步骤为：

(步骤S310)

首先，指示接收单元110接收来自用户对目标物体进行识别的学习指示。

具体地，在用户拿着或指着一个设定物体，向机器人发出类似于“现在我们要学习一个物体”的语音后，指示接收单元110通过自动语音识别技术被唤醒，在将上述语音转换为文本后，可以通过文语转换(TTS)技术发出语音“好的，开始学习”，告知用户可以开始学习了。

(步骤S320)

接着，信息获取单元120响应该学习指示并获取该目标物体的图片以及用户语音输入的该目标物体的识别参数，其中，识别参数包括物体的种类、名称和颜色。

进一步，信息获取单元120获取用户所指物体的图片，对获取的图片进行解析，将图片中的被指物体作为目标物体，获取该目标物体的图片。信息获取单元120利用机器人的摄像头获取用户所指物体的图片，该图片中一般会包括除了目标物体以外的其他物，因此需要对该获取的图片进行解析，获取仅包括该目标物的图片。

用户向机器人展示物体的同时，还会通过语音的方式告诉机器人这个物体是什么。对于“这个物体是什么”的内容中一般会包括该物体的识别参数，如语音内容为“这个物体属于球类，是一个红色的足球”，则信息获取单元120进一步通过自动语音识别技术，将该段语音内容转换成文本，获取“球类”、“红色”和“足球”内容的识别参数。

在本发明实施例中设计了如下三个场景，让机器人在不同的场景中学习不同的物体。

场景1：用户向机器人展示一个类型的物体，比如：球，笔，服饰等等类型的物体，然后通过对话交互和机器人学习让机器人认识这些物体。

场景2：用户向机器人展示一个类型物体中的各种子类物体，比如：足球，篮球，乒乓球等这些属于球类的物体，但是子分类不同，通过对话交互和机器人学习让机器人认识这些物体。

场景3：用户向机器人展示一个类型相同子类中的不同颜色的物体，比如：红色的足球，黄色的网球等等，然后通过对话交互和机器人学习让机器人认识这些物体。

(步骤S330)

接着，标签存储单元130根据识别参数，为图片设定标签并进行存储。此过程与机器人自身的图片库构建联系，达到智能机器人记忆的目的。具体地，标签存储单元130会将图片存储在图片库中，图片库中的图片分类存储。

以上面所说的红色足球为例，标签存储单元130会给仅包括红色足球的图片设定一个标签，由于识别参数为“球类”、“红色”和“足球”，因此可以将该识别参数内容直接作为该图片的标签，并将带有标签的图片存储在图片库中的球类图片子库中。

图片库中的图片已经被预先进行了多层级的分类，比如球类、文具类等可以作为顶级类，足球、铅笔等可以作为一级子类等。容易理解，将不同物体图片进行分类存储，能够使机器人在后面物体识别的过程中更加迅速地识别出设定物体，提高准确率和识别效率。

通过上述一系列步骤，机器人已经认识了设定物体，因此，在用户后期需要机器人识别该物体时，机器人可以较为准确地识别出来，不会出现无法识别的情况。

(步骤S340)

物体识别单元140当接收到物体识别指示时，根据标签识别目标物体。

具体地，当接收到物体识别指示时，图片获取子单元1402获取需识别物体的图片，然后类别确定子单元1404对图片进行分析，确定图片中需识别物体的类别。最后，匹配子单元1406从所述图片库对应类别区域中查找匹配图片，当需识别物体的图片与所存储的物体图片相匹配时，输出所存储的物体的图片对应的标签。

当用户需要让机器人识别物体时，则会向机器人发出类似于“请问这个物体是什么”语音指令，伴随着语音的发出，用户会用手指向待识别物体。物体识别单元140也通过自动语音识别指令被启动，其中的图片获取子单元1402通过利用机器人的摄像头获取需识别物体的图片。该图片中一般也会包括除需要识别的物体之外的其他物，因此需要对该图片进行解析。

类别确定子单元1404对图片进行分析获取仅包括需识别物体的图片，然后确定图片中需识别物体的类别。

匹配子单元1406对物体图片进行匹配的过程如下：从图片库对应类别区域中查找匹配图片，获取需识别物体的图片与每个图片的各部分的相似度，根据各部分的相似度，判定是否为所要查找的匹配图片。相似度越高，则匹配度越高，因此，匹配子单元1406将匹配度最高的图片作为与待识别物体的图片相匹配的图片。

匹配子单元1406在从图片库对应类别区域中查找到匹配图片后，通过TTS技术将所存储的物体的图片对应的标签以语音方式输出，告知用户该物体是什么。例如，若该匹配图片对应的标签为“球类”、“红色”和“足球”，则匹配子单元1406将文本内容转换成语音内容，向用户发出“该物体属于球类，是红色的足球”的语音。

本发明实施例通过拟人化的对话形式，让机器人去学习用户给它看到的物体，并在进行记忆，在后期物体识别时，能够准确地识别出物体。解决了现有的从网上获取大量物体数据，并将用户实际需要识别的物体与数据库进行比对造成的识别不准确问题，大大提高了识别的准确性，并且，可以通过用户教学的方式扩充智能机器人的图片库，以较小的成本实现大量物体的识别，并且识别的准确度较高，体现了机器人的自我学习能力，更容易被用户接受。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法中的全部或部分步骤，所述的存储介质，如：ROM/RAM、磁碟、光盘等。

Claims (4)

1.一种智能机器人的物体识别方法，通过智能机器人对目标物体进行识别的学习，将学习到的物体以图片和设定标签关联存储，在接收到物体识别指示时，能够根据标签识别目标物体，该方法包括：

指示接收步骤，接收来自用户对目标物体进行识别的学习指示；

信息获取步骤，响应该学习指示并获取该目标物体的图片以及用户语音输入的该目标物体的识别参数，所述识别参数包括物体的种类、名称和颜色；

标签存储步骤，根据所述识别参数，为所述图片设定标签并进行存储，其中，将该识别参数的内容直接作为该图片的标签，将所述图片存储在图片库中，所述图片库中的图片被预先进行了多层级的分类存储；以及

物体识别步骤，当接收到物体识别指示时，获取需识别物体的图片，对图片进行分析，通过图像预处理、图像分割、特征选择与特征提取以及进行分类识别来确定图片中需识别物体的类别，从所述图片库对应类别区域中查找匹配图片，获取需识别物体的图片与每个图片的各部分的相似度，根据各部分的相似度，判断是否为所要查找的匹配图片，当所述需识别物体的图片与所存储的物体图片相匹配时，输出所存储的物体的图片对应的标签。

2.根据权利要求1所述的物体识别方法，其特征在于，在所述信息获取步骤中，进一步包括：

获取用户所指物体的图片；

对获取的图片进行解析，将图片中的被指物体作为目标物体，获取该目标物体的图片。

3.一种智能机器人的物体识别装置，通过智能机器人对目标物体进行识别的学习，将学习到的物体以图片和设定标签关联存储，在接收到物体识别指示时，能够根据标签识别目标物体，该装置包括：

指示接收单元，其接收来自用户对目标物体进行识别的学习指示；

信息获取单元，其响应该学习指示并获取该目标物体的图片以及用户语音输入的该目标物体的识别参数，所述识别参数包括物体的种类、名称和颜色；

标签存储单元，其根据所述识别参数，为所述图片设定标签并进行存储，其中，将该识别参数的内容直接作为该图片的标签，将所述图片存储在图片库中，所述图片库中的图片被预先进行了多层级的分类存储；以及

物体识别单元，其当接收到物体识别指示时，根据所述标签识别所述目标物体；

所述物体识别单元进一步包括以下子单元：

图片获取子单元，其当接收到物体识别指示时，获取需识别物体的图片；

类别确定子单元，其对图片进行分析，通过图像预处理、图像分割、特征选择与特征提取以及进行分类识别来确定图片中需识别物体的类别；

匹配子单元，其从所述图片库对应类别区域中查找匹配图片，获取需识别物体的图片与每个图片的各部分的相似度，根据各部分的相似度，判断是否为所要查找的匹配图片，当所述需识别物体的图片与所存储的物体图片相匹配时，输出所存储的物体的图片对应的标签。

4.根据权利要求3所述的物体识别装置，其特征在于，所述信息获取单元进一步获取用户所指物体的图片，对获取的图片进行解析，将图片中的被指物体作为目标物体，获取该目标物体的图片。

Images