CN106649494A - 基于多模态信息的智能机器人衣服推荐方法及推荐系统 - Google Patents

Abstract

本发明公开了一种基于多模态信息的智能机器人衣服推荐方法及推荐系统，该推荐方法包括接收并解析用户的请求智能机器人为其进行衣服推荐的指令；根据所述指令调用智能机器人视觉系统获取用户信息，以所述用户信息作为进行衣服推荐的分析数据；针对所述分析数据进行解析并生成衣服推荐。这种衣服推荐方法及系统能够帮助用户塑造良好的个人形象，提高用户体验。

Description

基于多模态信息的智能机器人衣服推荐方法及推荐系统

技术领域

本发明属于智能机器人领域，尤其涉及一种基于多模态信息的智能机器人衣服推荐方法及推荐系统。

背景技术

随着智能机器人技术的发展，智能机器人的应用已经逐渐深入到人们生活的各个方面。从辅助教学、医疗卫生到公共服务的各个方面，都能见到智能机器人忙碌的身影。

同时，人们对智能机器人的需求也日益增多，不再仅仅停留于对指令的执行阶段，人们更希望利用智能机器人自身的功能来为他们提供更多的建议与帮助。因此，需要不断提高智能机器人的交互能力，来满足用户的交互需求

发明内容

本发明所要解决的技术问题之一是需要提供一种满足人们日益增长的交互需求的智能机器人。

为了解决上述技术问题，本申请的实施例首先提供了一种基于多模态信息的智能机器人衣服推荐方法，包括：接收并解析用户的请求智能机器人为其进行衣服推荐的指令；根据所述指令调用智能机器人视觉系统获取用户信息，以所述用户信息作为进行衣服推荐的分析数据；针对所述分析数据进行解析并生成衣服推荐。

优选地，所述用户信息包括以下各项中的一项或多项：年龄、性别、发型、体型、肤色，所述根据所述指令调用智能机器人视觉系统获取用户信息，包括：调用智能机器人视觉系统采集用户的图像信息；对所述图像信息进行识别以获取用户信息。

优选地，所述分析数据还包括环境信息，在根据所述指令调用智能机器人视觉系统获取用户信息的同时查询环境信息。

优选地，所述环境信息包括天气状况与节假日信息。

优选地，所述针对所述分析数据进行解析并生成衣服推荐，包括：将所述分析数据输入服装推荐模型，利用所述服装推荐模型进行解析生成衣服推荐；所述服装推荐模型基于历史搭配数据训练得到。

本申请的实施例还提供了一种基于多模态信息的智能机器人衣服推荐系统，包括：接收模块，其接收并解析用户的请求智能机器人为其进行衣服推荐的指令；数据获取模块，其根据所述指令调用智能机器人视觉系统获取用户信息，以所述用户信息作为进行衣服推荐的分析数据；推荐生成模块，其针对所述分析数据进行解析并生成衣服推荐。

优选地，所述用户信息包括以下各项中的一项或多项：年龄、性别、发型、体型、肤色，所述数据获取模块调用智能机器人视觉系统采集用户的图像信息，并对所述图像信息进行识别以获取用户信息。

优选地，所述分析数据还包括环境信息，所述数据获取模块在根据所述指令调用智能机器人视觉系统获取用户信息的同时查询环境信息。

优选地，所述环境信息包括天气状况与节假日信息。

优选地，所述推荐生成模块将所述分析数据输入服装推荐模型，利用所述服装推荐模型进行解析生成衣服推荐，所述服装推荐模型基于历史搭配数据训练得到。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

通过智能机器人收集多模态信息，并利用服装推荐模型对收集到的多模态信息进行处理，进而生成服装搭配推荐，能够帮助用户塑造良好的个人形象，提高用户体验。

本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1为根据本发明第一实施例的基于多模态信息的智能机器人衣服推荐方法的流程示意图；

图2为根据本发明第二实施例的基于多模态信息的智能机器人衣服推荐方法的流程示意图；

图3为根据本发明一示例的为用户进行服装搭配推荐的流程示意图；

图4为根据本发明第三实施例的基于多模态信息的智能机器人衣服推荐系统的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

本发明实施例提供一种帮助用户智能的进行衣服的挑选和搭配的衣服推荐方法和推荐系统，该系统主要应用于运行在具备多模态交互的机器人操作系统的机器人上面。

第一实施例：

如图1所示，本发明第一实施例的基于多模态信息的智能机器人衣服推荐方法的流程包括以下步骤：

步骤S110、接收并解析用户的请求智能机器人为其进行衣服推荐的指令。

步骤S120、根据接收到的指令调用智能机器人视觉系统获取用户信息，以用户信息作为进行衣服推荐的分析数据。

步骤S130、针对分析数据进行解析并生成衣服推荐。

具体的，在步骤S110中，智能机器人所接收的指令可以是由用户通过智能机器人的接收装置直接输入的指令，也可以是安装于智能机器人操作系统的应用APP生成的内部调用指令。

举例而言，用户向智能机器人发出语音指令，“**(智能机器人的名字)，我今天穿什么衣服好呢？”。智能机器人在接收到上述语音指令后，首先将语音指令转换成对应的文本信息，然后对文本信息进行解析。具体的，可以通过智能机器人的语义分析系统，得到用户的指令。

又如，用户启动安装于智能机器人操作系统的服装推荐应用APP，通过点选该应用的功能按键，例如选择“衣服推荐”功能，则该应用APP启动衣服推荐功能模块，该模块同时向智能机器人发出内部调用指令。智能机器人通过该内部调用的指令信息获取用户的指令。

接下来，在步骤S120中，智能机器人根据其接收到的指令调用其自身的视觉系统来获取用户的信息。

智能机器人视觉系统主要由摄像头等视觉拍摄设备组成。在接收到用户的请求与衣服推荐相关的指令后，智能机器人调用视觉系统采集并存储用户的图像信息，根据存储的图像信息进行识别，从中获取用户的信息。用户的信息主要涉及与衣服搭配推荐相关的信息，例如可以包括年龄、性别、身高、发型、体型、肤色等。

根据用户的性别，智能机器人能够获知是为用户搭配男性着装，还是女性着装。

根据用户的年龄，智能机器人能够获知是为用户搭配清新时尚的着装，还是成熟稳重的着装。

根据用户的身高，智能机器人能够获知是为用户搭配适合高挑人士的着装，还是能够使身材矮小的人显得挺拔的着装。

根据用户的发型，智能机器人能够大致获知用户将要出席的场合，例如如果用户的发型经过细心的打理，很正式，说明用户将要出席一个庄重的场合。而如果用户的发型只是随意梳理的，则说明用户将要出席的是一个较私人、较随意的场合。

根据用户的体型，智能机器人能够获知是为用户推荐宽松的服装，还是为用户推荐修身的服装。

根据用户的肤色，智能机器人可以选择提亮用户肤色的服装，或是依据用户的肤色判断出用户的种族等身份信息，根据用户的不同种族为用户推荐符合他们身份的服装。

需要说明的是，上述所例举的用户信息并不是穷举，只是用于说明本实施例，并不构成对本发明的限定。例如用户的图像信息中很容易获取用户的面部特征，例如用户是大眼睛还是小眼睛，是圆脸还是长脸，是比较张扬的五官还是比较秀气的五官等，均可以识别并存储为用户的相关信息。

智能机器人通过存储的用户的图像信息来识别的用户信息，并将上述分析得出的用户信息作为下一步进行服装推荐的分析数据进行存储。

另外，还需要说明的是，智能机器人对图像信息进行识别的方法，可以采用现有技术中通用的图像识别方法来进行，本实施例中对此不做限定。

在步骤S130中，针对获取的各项分析数据进行解析，根据解析结果生成服装推荐。

在本实施例中，可以根据服装推荐模型进行推荐。具体的，将各项分析数据依次输入服装推荐模型，服装推荐模型会根据自身的模型算法对输入的各项分析数据进行解析，并进一步生成衣服推荐。

其中，服装推荐模型是基于历史搭配数据通过训练得到的。具体的，历史搭配数据可以尽可能地与用户前述的用户信息相对应，即一项历史搭配数据可以包括用户信息和搭配的服装。

进一步地，用户信息可以包括年龄、性别、身高、发型、体型、肤色等。

由于服装推荐模型基于大量的历史搭配数据获得，因此根据服装推荐模型获得的服装推荐更加符合大众的审美以及更能被普遍接受。这种基于智能机器人的服装推荐方法结合用户特征为用户推荐服装，可以帮助用户塑造良好的个人形象，提高用户体验。

下面结合一示例进一步说明本发明实施例。

智能机器人通过解析用户输入的语音需求指令，接收到用户需要智能机器人为其进行服装推荐的请求，于是智能机器人开启摄像头，通过摄像头获取用户的图像信息。

智能机器人通过对用户的图像信息的识别，获取的与用户信息相关的如下分析数据：

用户的年龄：22岁

用户的性别：女

用户的发型：齐刘海

用户的体型：偏瘦

用户的肤色：偏白

用户的身高：160cm

智能机器人将上述各项分析数据输入到服装推荐模型中，通过服装推荐模型对各项分析数据的解析，获取如下几种推荐的衣服搭配：

搭配一：浅色连衣裙搭配高跟凉鞋。

搭配二：浅色POLO衫搭配果色九分裤搭配休闲的帆布鞋。

搭配三：浅色宽松毛衣搭配牛仔裤搭配中筒靴。

根据本发明的实施例，能够能的帮助用户挑选和搭配衣服，帮助用户塑造良好的个人形象，提高用户体验。

通过上述示例的推荐结果发现，智能机器人根据用户信息分别给出几款休闲搭配，且分别给出了针对不同季节的搭配结果，如果用户只是需要几种可选的服装推荐结果，则上述搭配推荐的组合可以满足用户的需要。但如果用户时间有限，且急需一种当下就要进行着装的搭配，也就是说，用户可能只需要上述智能机器人给出的几种搭配结果中的一种组合，那么智能机器人给出的多种组合既要耗费较多的分析时间，又不能很好地满足用户的需要。

本发明的第二实施例针对上述问题提出解决方案。

第二实施例：

如图2所示，本发明第一实施例的基于多模态信息的智能机器人衣服推荐方法的流程包括以下步骤：

步骤S210、接收并解析用户的请求智能机器人为其进行衣服推荐的指令。

步骤S220、根据接收到的指令调用智能机器人视觉系统获取用户信息。

步骤S230、基于智能机器人视觉系统及查询系统共同获取环境信息。

步骤S240、以所述用户信息与环境信息作为进行衣服推荐的分析数据。

步骤S250、针对分析数据进行解析并生成衣服推荐。

具体的，在步骤S210中，智能机器人所接收的指令可以是由用户通过智能机器人的接收装置直接输入的指令，也可以是安装于智能机器人操作系统的应用APP生成的内部调用指令。

该步骤执行与第一实施例中的步骤S110相同的操作，此处不再赘述。

在步骤S220中，智能机器人根据其接收到的指令调用其自身的视觉系统来获取用户的信息。

智能机器人视觉系统主要由摄像头等视觉拍摄设备组成。在接收到用户的请求与衣服推荐相关的指令后，智能机器人调用视觉系统采集并存储用户的图像信息，根据存储的图像信息进行识别，从中获取用户的信息。用户的信息主要涉及与衣服搭配推荐相关的信息，例如可以包括年龄、性别、身高、发型、体型、肤色等。

该步骤执行与第一实施例中的步骤S120相同的操作，此处不再赘述。

接下来，在步骤S230中，基于智能机器人的视觉系统及查询系统共同获取环境信息。

在本实施例中，环境信息可以包括天气状况信息与节假日信息。

进一步地，天气状况可以指当日的日期。如果用户处于室内的话，室内环境的温度、湿度等。如果用户处于户外的话，户外环境的温度、湿度、日照雨雪、风力等。

根据当日的日期，智能机器人能够获知用户所处的当前环境的季节，是春天、夏天、秋天还是冬天，基于季节来为用户推荐适合于不同季节的服装搭配。

根据用户所处室内环境的温度、湿度，智能机器人能够进一步调节搭配的方向，例如智能机器人已经得知用户将要出席一个室内的聚会，那么此时为其进行服装搭配推荐时，就可以根据当前室内环境的温度、湿度等信息进行相关的推测，并给出合适的推荐。

同样的，如果用户处于户外，根据户外环境的温度、湿度、日照雨雪、风力等，智能机器人能够获知自然环境状态，对于那些用户需要去参加一个户外活动的场景，可以参考户外环境的信息给出合适的推荐。

智能机器人更可以这些环境信息提供一些细节搭配。例如当智能机器人获知户外艳阳高照时，可以根据其他的服装推荐为用户搭配一顶帽子来遮挡烈日。

另外，智能机器人根据节假日信息可以判断出一些重要节假日的习俗服装搭配。例如如果智能机器人获知今天是国人的传统佳节春节，在用户让智能机器人为其推荐服装搭配的时候，智能机器人会主要考虑节假日的影响因素，为用户推荐唐装或色彩更加丰富，更加喜庆的服装搭配。

智能机器人获取天气状况信息与节假日信息等环境信息时可以通过多种途径。包括通过特定的传感器获取环境信息，通过对用户的图像信息进行识别来获取环境信息，或开启其他信息查询模块通过查询获取。

具体的，首先，智能机器人可以通过自身配置的传感器来获取天气状况信息。例如利用温度传感器获取环境温度，利用湿度传感器获取环境湿度。

另外，智能机器人在对用户的图像信息进行识别的时候，也可以获取除用户信息以外的一些环境信息。例如通过识别用户的图像信息，智能机器人发现尽管现在的时间是夏季的下午2点钟，但用户所处环境的能见度很低，由此智能机器人可能会判断如果用户要出门的话，最好搭配适于突发天气的服装，例如在已经推荐的搭配的基础上再多加一件外套，以防止突然降雨导致的温度骤降。

智能机器人通过开启其他信息查询模块查询所需要的信息包括查询其内部的专家库信息、通过连接网络查询网络预报的天气信息，节假日信息等。智能机器人也可以查询通过对用户的个人行为进行记录所得到的日志信息。

智能机器人何时获取环境信息，以及需要获取多少内容的环境信息也可以根据需要进行选择。

具体的，可以根据对用户的语音指令的解析来判断是否需要获取环境信息。

举例而言，用户向智能机器人发出语音指令，“**(智能机器人的名字)，我明天要去参加XX的生日Party，穿什么去好呢？”。智能机器人接收到上述语音指令后，通过对语音指令进行解析，判断出用户需要智能机器人为其推荐去参加生日Party的服装。

接下来，用户启动其他信息查询模块，通过连接网络来查询明天的天气信息，辅助天气信息为用户进行服装推荐。

另外，智能机器人也可以查询操作系统中所存储的记录用户的个人行为的日志信息，通过日志信息判断用户与办生日Party的XX之间的关系，是亲密的朋友还是上下级关系，智能机器人根据这些信息能够进一步明确为用户推荐何种类型的服装。

需要说明的是，上述所例举的环境信息并不是穷举，只是用于说明本实施例，并不构成对本发明的限定。

在步骤S240中，智能机器人将获取的环境信息与用户信息一起进行存储，以存储的用户信息与环境信息作为进行衣服推荐的分析数据。

另外，还需要说明的是，智能机器人对图像信息进行识别的方法，可以采用现有技术中通用的图像识别方法来进行，本实施例中对此不做限定。

最后在步骤S250中，针对获取的各项分析数据进行解析，根据解析结果生成服装推荐。

在本实施例中，可以根据服装推荐模型进行推荐。具体的，将包括用户信息与环境信息在内的各项分析数据依次输入服装推荐模型，服装推荐模型会根据自身的模型算法对输入的各项分析数据进行解析，并进一步生成衣服推荐。

其中，服装推荐模型是基于历史搭配数据通过训练得到的。具体的，历史搭配数据可以尽可能地与用户前述的用户信息以及环境信息相对应，即一项历史搭配数据可以包括用户信息、环境信息和搭配的服装。

进一步地，如前所述，对于不同的应用情况，可能需要考虑的环境信息并不相同，此时，智能机器人会根据服装推荐模型其内部预先设定的优先级别进行选择。

由于服装推荐模型基于大量的历史搭配数据获得，因此根据服装推荐模型获得的服装推荐更加符合大众的审美以及更能被普遍接受。

这种基于智能机器人的服装推荐方法结合用户特征为用户推荐服装，可以帮助用户塑造良好的个人形象，提高用户体验。

在本发明的实施例中，进一步考虑了环境信息对服装搭配推荐的影响，通过结合用户信息与环境信息进行服装搭配推荐，提高了服装搭配推荐的准确性，同时有利于进一步节省选择衣服的时间。

下面结合一示例进一步说明本发明实施例。

智能机器人通过解析用户输入的语音需求指令，接收到用户需要智能机器人为其进行服装推荐的请求，于是智能机器人开启摄像头，通过摄像头获取用户的图像信息。

智能机器人通过对用户的图像信息的识别，获取的与用户信息相关的如下分析数据：

用户的年龄：22岁

用户的性别：女

用户的发型：齐刘海

用户的体型：偏瘦

用户的肤色：偏白

用户的身高：160cm

智能机器人启动其他信息查询模块，获取的与环境信息相关的如下分析数据：

当前天气：阳光明媚

当前温度：25℃

当前节假日信息：星期六

智能机器人将上述各项分析数据输入到服装推荐模型中，通过服装推荐模型对各项分析数据的解析，获取如下推荐的衣服搭配：

搭配一：浅色连衣裙搭配高跟凉鞋。

上述推荐的详细流程如图3所示。

可以看出，由于本发明实施例考虑了环境信息对服装搭配推荐的影响，使得服装搭配推荐的结果更具有针对性，可以显著地节省使用服装搭配推荐获取衣服推荐的时间。

第三实施例：

图4为根据本发明第三实施例的基于多模态信息的智能机器人衣服推荐系统的结构示意图，如图所示，该系统包括：

接收模块41，其接收并解析用户的请求智能机器人为其进行衣服推荐的指令。

数据获取模块42，其根据接收到的指令调用智能机器人视觉系统获取用户信息，以用户信息作为进行衣服推荐的分析数据。

推荐生成模块43，其针对分析数据进行解析并生成衣服推荐。

其中，数据获取模块42调用智能机器人视觉系统采集用户的图像信息，并对图像信息进行识别以获取用户信息。

用户信息包括年龄、性别、发型、体型、肤色等。

数据获取模块42在根据接收到的指令调用智能机器人视觉系统获取用户信息的同时查询环境信息。分析数据还包括环境信息。环境信息包括天气状况与节假日信息。

推荐生成模块43将分析数据输入服装推荐模型，利用服装推荐模型进行解析生成衣服推荐，服装推荐模型基于历史搭配数据训练得到。

上述各功能模块的具体操作可参考第一实施例与第二实施例中的方法步骤获取，此处不再赘述。

本发明实施例的服装推荐系统，通过智能机器人收集多模态信息，并利用服装推荐模型对收集到的多模态信息进行处理，进而生成服装搭配推荐，能够帮助用户塑造良好的个人形象，提高用户体验。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种基于多模态信息的智能机器人衣服推荐方法，包括：

接收并解析用户的请求智能机器人为其进行衣服推荐的指令；

根据所述指令调用智能机器人视觉系统获取用户信息，以所述用户信息作为进行衣服推荐的分析数据；

针对所述分析数据进行解析并生成衣服推荐。

2.根据权利要求1所述的方法，其特征在于，所述用户信息包括以下各项中的一项或多项：年龄、性别、发型、体型、肤色，所述根据所述指令调用智能机器人视觉系统获取用户信息，包括：

调用智能机器人视觉系统采集用户的图像信息；

对所述图像信息进行识别以获取用户信息。

3.根据权利要求1或2所述的方法，其特征在于，所述分析数据还包括环境信息，在根据所述指令调用智能机器人视觉系统获取用户信息的同时查询环境信息。

4.根据权利要求3所述的方法，其特征在于，所述环境信息包括天气状况与节假日信息。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述针对所述分析数据进行解析并生成衣服推荐，包括：

将所述分析数据输入服装推荐模型，利用所述服装推荐模型进行解析生成衣服推荐；

所述服装推荐模型基于历史搭配数据训练得到。

6.一种基于多模态信息的智能机器人衣服推荐系统，包括：

接收模块，其接收并解析用户的请求智能机器人为其进行衣服推荐的指令；

数据获取模块，其根据所述指令调用智能机器人视觉系统获取用户信息，以所述用户信息作为进行衣服推荐的分析数据；

推荐生成模块，其针对所述分析数据进行解析并生成衣服推荐。

7.根据权利要求6所述的系统，其特征在于，所述用户信息包括以下各项中的一项或多项：年龄、性别、发型、体型、肤色，所述数据获取模块调用智能机器人视觉系统采集用户的图像信息，并对所述图像信息进行识别以获取用户信息。

8.根据权利要求6或7所述的系统，其特征在于，所述分析数据还包括环境信息，所述数据获取模块在根据所述指令调用智能机器人视觉系统获取用户信息的同时查询环境信息。

9.根据权利要求8所述的系统，其特征在于，所述环境信息包括天气状况与节假日信息。

10.根据权利要求6至9中任一项所述的系统，其特征在于，所述推荐生成模块将所述分析数据输入服装推荐模型，利用所述服装推荐模型进行解析生成衣服推荐，所述服装推荐模型基于历史搭配数据训练得到。