CN111553304A - 一种信息处理方法、终端和装置 - Google Patents

Abstract

本发明提供一种信息处理方法、终端和装置，终端响应用户针对投影界面的预设区域执行的第一特定操作，通过摄像装置拍摄投影界面的识别区，以获取位于识别区的食材的食材图片；其中，投影界面为通过投影装置投射到平面进行显示的界面，识别区的数量至少为一个；将食材图片输入至预先得到的分类模型，获取分类模型对食材图片进行识别处理后输出的食材图片中食材的名称；根据名称获取与名称相对应的食材信息；其中，食材信息用于体现出食材营养成分、食材处理方式和食材相关菜谱中的至少一种；通过投影装置在投影界面的显示区显示食材信息。从而使得搜索方式多样化，用户可以将不认识的食材置于识别区进行搜索，以满足用户的搜索需求。

Description

一种信息处理方法、终端和装置

技术领域

本发明涉及智能控制技术领域，具体涉及一种信息处理方法、终端和装置。

背景技术

用户在进行烹饪时可以借助菜谱或是厨艺指导类的应用软件。现有的菜谱或是厨艺指导类的应用软件可以根据菜品名称去查找菜品需要的食材及其做法。例如输入番茄炒蛋，搜索到其需要的食材为番茄和鸡蛋，以及番茄炒蛋的做法。但是现有的菜谱或是厨艺指导类的应用软件会存在如下问题：

一、用户面对一种或多种自己不太了解的食材，不知道食材可以做成的菜品名称；二、若用户完全没有厨房经验，可能都不知晓大部分食材的具体名称，就更不清楚食材可以制成的菜品名称了。就拿莴笋来说，没有处理过莴笋的用户，在第一次看到未处理的莴笋情况下可能认不出，这样用户不知道应该输入哪个菜品名称，就无法通过现有的菜谱或是厨艺指导类的应用软件完成对莴笋的处理和烹饪。

由此可知，现有的菜谱或是厨艺指导类的应用软件存在搜索方式单一化，无法满足用户的搜索需求。

发明内容

有鉴于此，本发明实施例提供一种信息处理方法、终端和装置，可以实现搜索方式多样化，并且用户可以将不认识的食材放置于识别区进行搜索，以满足用户的搜索需求。

为实现上述目的，本发明实施例提供如下技术方案：

一种信息处理方法，包括：

响应用户针对投影界面的预设区域执行的第一特定操作，通过摄像装置拍摄所述投影界面的识别区，以获取位于所述识别区的食材的食材图片；其中，所述投影界面为通过投影装置投射到平面进行显示的界面，所述识别区的数量至少为一个；

将所述食材图片输入至预先得到的分类模型，获取所述分类模型对所述食材图片进行识别处理后输出的所述食材图片中食材的名称；

根据所述名称获取与所述名称相对应的食材信息；其中，所述食材信息用于体现出食材营养成分、食材处理方式和食材相关菜谱中的至少一种；

通过所述投影装置在所述投影界面的显示区显示所述食材信息。

可选的，在某些可选的实施方式中，所述根据所述名称获取与所述名称相对应的食材信息，包括：

根据当前的使用模式，确定需要获取的食材信息的类型；

根据所述名称和确定的食材信息的类型，获取与所述名称和确定的食材信息的类型相对应的食材信息。

可选的，在某些可选的实施方式中，所述使用模式为模式集合中的一种模式，所述模式集合包括：食材识别模式、食材处理模式、食材组合模式和全流程模式；其中，

所述使用模式为食材识别模式时，获取到的所述食材信息至少体现出食材的名称和食材营养成分；

所述使用模式为食材处理模式时，获取到的所述食材信息至少体现出食材处理方式；

所述使用模式为食材组合模式时，获取到的所述食材信息至少体现出食材相关菜谱；

所述使用模式为全流程模式时，获取到的所述食材信息至少体现出食材的名称、食材营养成分、食材处理方式和食材相关菜谱。

可选的，在某些可选的实施方式中，还包括：响应识别到用户针对所述投影界面的第二特定操作，获取与所述第二特定操作对应的食材信息；

通过所述投影装置在所述投影界面的显示区显示与所述第二特定操作对应的食材信息，以切换所述显示区显示的食材信息。

可选的，在某些可选的实施方式中，还包括：若所述分类模型识别出所述识别区未放置食材，则通过所述投影装置在所述投影界面的显示区显示用于提示用户放置食材的提示信息；

和/或

若所述分类模型识别出所述识别区未放置有效食材，则通过所述投影装置在所述投影界面的显示区显示用于提示用户放置与所述识别区所放置食材相匹配的食材的提示信息。

可选的，在某些可选的实施方式中，所述分类模型的得到过程包括：

获取用于训练的食材样本图片；其中，所述食材样本图片对应人工标注的食材的名称；

使用所述食材样本图片和与所述食材样本图片对应的食材的名称，在特定运行框架下对深度学习网络模型进行训练测试，直至得到满足测试条件的分类模型；

若所述特定运行框架与使用分类模型进行识别处理的智能终端的运行框架不兼容，将所述满足测试条件的分类模型转换为适用于所述智能终端的运行框架下运行的分类模型；

将适用于所述智能终端的运行框架下运行的分类模型导入到所述智能终端中。

一种终端，所述终端包括：投影装置、摄影装置和处理器；

所述处理器与所述投影装置电连接，并与所述摄影装置电连接；

所述投影装置，用于将投影界面投射到平面上；

所述处理器，配置用于：

响应用户针对所述投影界面的预设区域执行的第一特定操作，通过摄像装置拍摄所述投影界面的识别区，以获取位于所述识别区的食材的食材图片；其中，所述识别区的数量至少为一个；

将所述食材图片输入至预先得到的分类模型，获取所述分类模型对所述食材图片进行识别处理后输出的所述食材图片中食材的名称；

根据所述名称获取与所述名称相对应的食材信息；其中，所述食材信息用于体现出食材营养成分、食材处理方式和食材相关菜谱中的至少一种；

通过所述投影装置在所述投影界面的显示区显示所述食材信息。

结合上述的终端，在某些可选的实施方式中，所述处理器，用于根据当前的使用模式，确定需要获取的食材信息的类型，根据所述名称和确定的食材信息的类型，获取与所述名称和确定的食材信息的类型相对应的食材信息。

结合上述的终端，在某些可选的实施方式中，所述使用模式为模式集合中的一种模式，所述模式集合包括：食材识别模式、食材处理模式、食材组合模式和全流程模式；

其中，所述使用模式为食材识别模式时，获取到的所述食材信息至少体现出食材的名称和食材营养成分；

所述使用模式为食材处理模式时，获取到的所述食材信息至少体现出食材处理方式；

所述使用模式为食材组合模式时，获取到的所述食材信息至少体现出食材相关菜谱；

所述使用模式为全流程模式时，获取到的所述食材信息至少体现出食材的名称、食材营养成分、食材处理方式和食材相关菜谱。

一种信息处理装置，包括：食材图片获取单元、食材名称获取单元、第一食材信息获取单元和第一食材信息显示单元；

所述食材图片获取单元，用于响应用户针对投影界面的预设区域执行的第一特定操作，通过摄像装置拍摄所述投影界面的识别区，以获取位于所述识别区的食材的食材图片；其中，所述投影界面为通过投影装置投射到平面进行显示的界面，所述识别区的数量至少为一个；

所述食材名称获取单元，用于将所述食材图片输入至预先得到的分类模型，获取所述分类模型对所述食材图片进行识别处理后输出的所述食材图片中食材的名称；

所述第一食材信息获取单元，用于根据所述名称获取与所述名称相对应的食材信息；其中，所述食材信息用于体现出食材营养成分、食材处理方式和食材相关菜谱中的至少一种；

所述第一食材信息显示单元，用于通过所述投影装置在所述投影界面的显示区显示所述食材信息。

上述方案的信息处理方法、终端和装置，响应用户针对投影预设区域执行的第一特定操作，通过摄像装置拍摄投影界面的识别区，以获取位于识别区的食材的食材图片；通过将食材图片输入至预先得到的分类模型，获取分类模型对食材图片进行识别处理后输出的食材图片中食材的名称；然后根据名称获取与名称相对应的食材信息；其中，食材信息用于体现出食材营养成分、食材处理方式和食材相关菜谱中的至少一种；通过投影装在在投影界面的显示区显示所述食材信息，实现通过识别区的食材图片搜索出与食材图片中的食材相对应的食材信息，相对于现有技术来说可改变现有搜索方式，从而可以在现有基于用户输入信息进行搜索的前提下增加基于识别区放置的食材进行搜索，使得搜索方式多样化，并且用户在不认识食材的情况下可以将不认识的食材放置于识别区进行搜索，以满足用户的搜索需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的一种信息处理方法的流程图；

图2为本发明提供的一种信息处理方法的识别区投影界面示意图；

图3为本发明提供的另一种信息处理方法的流程图；

图4为本发明提供的一种信息处理方法的首页投影界面示意图；

图5为本发明提供的一种信息处理方法在食材识别模式下的显示区投影界面示意图；

图6为本发明提供的一种信息处理方法在食材处理模式下的显示区投影界面示意图；

图7为本发明提供的一种信息处理方法在食材组合模式下的识别区投影界面示意图；

图8为本发明提供的一种信息处理方法在食材组合模式下的显示区投影界面示意图；

图9为本发明提供的一种信息处理方法中得到分类模型的流程图；

图10为本发明提供的一种信息处理装置的结构示意图。

具体实施方式

随着人们生活水平的提高，人们对于吃的方面越来越讲究。特别是在煮菜这方面，越来越多的人为了煮出更好吃，更不一样的菜品，经常使用菜谱或是厨艺指导类的应用软件。用户在进行烹饪时可以借助菜谱或是厨艺指导类的应用软件辅助用户做出满意的菜品。现有的菜谱或是厨艺指导类的应用软件可以根据菜品名称去查找菜品需要的食材及其做法，例如输入菜谱名“番茄炒蛋”，搜索到其需要的食材为番茄和鸡蛋，以及番茄炒蛋的做法。但是现有的菜谱或是厨艺指导类的应用软件会存在如下问题：

一、用户面对一种或多种自己不太了解的食材，不知道食材可以做成的菜品名称；二、若用户完全没有厨房经验，可能都不知晓大部分食材的具体名称，就更不清楚食材可以制成的菜品名称了。就拿莴笋来说，没有处理过莴笋的用户，在第一次看到未处理的莴笋情况下可能认不出，这样用户不知道应该输入哪个菜品名称，就无法通过现有的菜谱或是厨艺指导类的应用软件完成对莴笋的处理和烹饪。

针对用户在现有的应用软件时可能会面临的上述问题，经本申请发明人研究发现，现有的应用软件的搜索方式过于单一，无法满足不同用户人群对于菜谱或是厨艺指导类的应用软件的不同需求。针对上述问题，本申请提供了下述方案，以解决现有的应用软件的搜索方式过于单一的问题。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

如图1所示，示出了本发明提供的一种信息处理方法，可以包括以下步骤：

S100、响应用户针对投影界面的预设区域执行的第一特定操作，通过摄像装置拍摄所述投影界面的识别区，以获取位于所述识别区的食材的食材图片；其中，所述投影界面为通过投影装置投射到平面进行显示的界面，所述识别区的数量至少为一个；

在本实施例中，投影界面在用户执行第一特定操作前通过投影装置投射到平面上，投影界面所在平面可以是一水平面，也可以是一垂直面。在使用过程中可根据用户的观看视野，调整投影装置的投影角度，以通过投影装置将投影界面投影在与用户的观看视野相匹配的平面上。此外投影界面所在平面也可以在使用过程中发生变化，例如，获取食材的食材图片时，投影界面可以投影在水平面，以方便用户将需要拍照的食材放置在识别区内。这样用户将食材放置在识别区后可以挪开手，不需要一直把持食材，不仅方便用户，还避免了识别区内出现除了需要识别的食材以外的其他东西，比如人的手或其他用来固定食材的物体，提高识别食材的准确度。获得食材信息后用于显示食材信息的投影界面可以投影在垂直面上以方便用户查看食材信息，这样用户不需要低着头查看食材信息，可以提高用户体验度。此处是以获取食材的食材图片和显示食材信息过程中，投影界面所在平面的示例性说明，本发明对投影界面所在平面不作限制，任何可行的方式均属于本发明的保护范围。

上述第一特定操作可以是触发摄像装置拍摄投影界面的识别区的操作，第一特定操作可以是针对投影界面的预设区域的触摸操作，例如图2示出了用于放置食材的投影界面的一种可行方式，第一特定操作可以是触摸“立即识别”的触摸操作。当用户触摸“立即识别”后，触发摄像装置拍摄投影界面的识别区，从而获得识别区内的食材的照片，相对应的预设区域是“立即识别”所在区域。当然第一特定操作也可以是其他操作，如第一特定操作是一个针对投影界面的一种隔空手势，对于隔空手势的姿势本实施例不进行限定。

S200、将所述食材图片输入至预先得到的分类模型，获取所述分类模型对所述食材图片进行识别处理后输出的所述食材图片中食材的名称；

其中，本文所说的分类模型的一种可行方式是：分类模型可以是已经提前训练好的深度学习网络模型，该分类模型可以采用深度学习网络模型的基础模型架构，以已有的食材图片和对食材图片中食材的名称标注信息来训练具有基础模型架构的深度学习网络模型，来得到本实施例中的分类模型。该分类模型所能识别的食材类型本实施例不进行限定，例如分类模型可以识别出日常生活中常见的各种食材，包括新鲜的瓜果蔬菜、生鲜活禽、农产品加工产品等。

S300、根据所述名称获取与所述名称相对应的食材信息；其中，所述食材信息用于体现出食材营养成分、食材处理方式和食材相关菜谱中的至少一种；例如可以接收服务器反馈的与食材的名称相对应的食材信息，或者从自身存储的数据中获取与食材的名称相对应的食材信息。

S400、通过所述投影装置在所述投影界面的显示区显示所述食材信息。

可以理解的是：本文所说的显示区与识别区可以在同一个投影界面里，显示区与识别区分别占据当前投影界面的一部分，显示区与识别区也可以处在不同的投影界面。例如投影装置先投影出包括识别区的投影界面，待识别食材完成后，再投影出包括显示区的投影界面，对于包括识别区的投影界面和包括显示区的投影界面，识别区和显示区可以占据投影界面的整个区域，以便于识别和显示。

食材信息在显示区中显示时，显示区的文字颜色和/或图片颜色可以根据当前投影界面的背景颜色进行改变，使得显示区显示的文字颜色和/或图片颜色可以适应背景颜色变化，以在投影界面中凸现出显示文字和/或图片。例如，当前投影界面的背景颜色为白色，那么显示区的文字颜色可以为黑色，如此可以清晰地显示食材信息，达到凸现食材信息的目的。

此外，在显示食材信息过程中，投影界面还可以显示能够更改食材信息显示的相关元素，例如显示能够更改食材信息显示的控件。例如投影界面在显示体现食材营养成分的显示信息的同时显示与食材处理方式和食材相关菜谱中的至少一种相对应的控件。在检测到任一控件被触发的情况下显示与触发控件相对应的食材信息，例如与食材处理方法对应的控件被触发的情况下显示体现食材处理方式的食材信息。这里需要说明的一点是：在更改食材信息显示过程中，可以在已显示的食材信息基础上增加一种食材信息，或者可以替换已显示的食材信息。

上述方案的信息处理方法，响应用户针对投影预设区域执行的第一特定操作，通过摄像装置拍摄投影界面的识别区，以获取位于识别区的食材的食材图片；通过将食材图片输入至预先得到的分类模型，获取分类模型对食材图片进行识别处理后输出的食材图片中食材的名称；然后根据名称获取与名称相对应的食材信息；其中，食材信息用于体现出食材营养成分、食材处理方式和食材相关菜谱中的至少一种；通过投影装在在投影界面的显示区显示所述食材信息，实现通过识别区的食材图片搜索出与食材图片中的食材相对应的食材信息，相对于现有技术来说可改变现有搜索方式，从而可以在现有基于用户输入信息进行搜索的前提下增加基于识别区放置的食材进行搜索，使得搜索方式多样化，并且用户在不认识食材的情况下可以将不认识的食材放置于识别区进行搜索，以满足用户的搜索需求。

如图3所示，可选的，在某些可选的实施方式中，所述S300中的根据所述名称获取与所述名称相对应的食材信息，包括：

S301、根据当前的使用模式，确定需要获取的食材信息的类型；

S302、根据所述名称和确定的食材信息的类型，获取与所述名称和确定的食材信息的类型相对应的食材信息。例如获得食材的名称和食材信息的类型后，向服务器发送用于获取食材信息数据的请求，在该请求中携带有食材的名称和食材信息的类型，由服务器反馈与食材的名称和食材信息的类型相对应的食材信息。当然对于实施本申请提供的信息处理方法的终端来说，终端可以存储食材信息，从自身存储的食材信息中提取出与食材的名称和食材信息的类型相对应的食材信息。

其中，图3中的步骤S100、S200和S400已在图1实施方式中说明，本实施方式对此不再赘述。

可以理解的是：本文所说的与所述名称相对应的食材信息包括的内容，不仅与食材的名称有关，还可以与当前的使用模式有关。即针对任一食材，所获得并显示的食材信息会根据当前的使用模式的不同而不同，由此说明食材信息的类型可以与当前模式匹配，以当前的使用模式限定需要获取的食材信息。

其中当前的使用模式可以是默认的一种使用模式或者是用户从模式集合中选择的一种模式，在某些可选的实施方式中，模式集合包括：食材识别模式、食材处理模式、食材组合模式和全流程模式；其中，

所述使用模式为食材识别模式时，获取到的所述食材信息至少体现出食材的名称和食材营养成分；

所述使用模式为食材处理模式时，获取到的所述食材信息至少体现出食材处理方式；

所述使用模式为食材组合模式时，获取到的所述食材信息至少体现出食材相关菜谱；

所述使用模式为全流程模式时，获取到的所述食材信息至少体现出食材的名称、食材营养成分、食材处理方式和食材相关菜谱。

例如如图4所示，在进入图2所示的投影界面之前的投影界面可以为图4所示的类似“首页”的首页投影界面，在首页投影界面下，用户可以通过触摸“食材识别”、“食材处理”、“食材组合”和“全流程”中的任一区域，从而选择相应的模式，不同的区域对应不同的模式。

例如用户可以触摸图4所示的首页投影界面中的“食材识别”以进入如图2所示的投影界面，在该界面下识别食材，则当前的使用模式为“食材识别模式”。

应理解，图4所示的首页投影界面中还包括：食材照片随机轮播区、精选菜谱展示区和美食集合展示区等区域。这仅是首页投影界面的一种布局方式，其他可行的布局方式也属于本发明的保护范围，本发明对首页投影界面的布局不作限制，同样的通过触摸选择使用模式也是一种示例说明，对此本实施例不进行限定。

现实生活中，有些用户可能对某些食材不是很了解，甚至可能不知道某些食材叫什么。针对这种情况，用户可以通过触摸图4中的“食材识别”从模式集合中使用“食材识别模式”作为当前的使用模式，在选择当前的使用模式之后通过投影装置可以投影如图2的投影界面，在该投影界面的识别区放置待识别的食材。当获取到针对投影界面的第一特定操作，如获取到针对投影界面中的“立即识别”的触摸操作，通过摄像装置获取识别区的食材图片，然后通过分类模型识别出食材图片中食材的名称，进一步获取到与食材的名称对应的食材信息，通过这些食材信息，用户可以快速了解该食材，提高用户对该食材的认知。例如食材信息可以包括：食材的名称、食材图片、食材热量、食材适宜人群、食材营养成分和食材相关菜谱等，如图5所示。从而通过食材的名称和食材图片获知食材叫什么以及其外观，通过食材营养成分可以知道食材的价值等。

现实生活中，有些用户可能不知道该如何处理某些食材，例如某些用户可能不知道如何将鱼处理干净，比如去鱼线的操作。针对这种情况，用户可以通过触摸图4中的“食材处理”从模式集合中使用“食材处理模式”作为当前的使用模式，在选择当前的使用模式之后通过投影装置可以投影该模式的投影界面，在该投影界面的识别区放置待识别的食材。当获取到针对投影界面的第一特定操作，如获取到针对投影界面中的“立即识别”的触摸操作，通过摄像装置获取识别区的食材图片，然后通过分类模型识别出食材图片中食材的名称，进一步获取到与食材的名称对应的食材信息，食材信息可以包括：食材名称、食材图片、食材热量、食材适宜人群和食材处理方式等，这些食材信息可以在显示区中显示。用户可以通过触摸显示区中的“食材处理方式”从而获得相应食材的食材处理方式。

如图6所示，食材处理方式可以通过图片或文字的方式展示，也可以通过视频的方式展示，如此可以避免因用户不知道如何处理食材导致无从下手，一定程度上可以提高用户的做菜的效率。

在实际使用过程中，如果仅通过一种食材进行搜索，搜索得到的菜谱可能太多，用户还需要从众多菜谱中寻找想要的菜谱，比较麻烦。针对这种情况，用户可以触摸图4中的“食材组合”，并在“食材组合模式”下投影装置投影出一个至少包括两个识别区的投影界面，两个识别区分别放置一种食材，如图7所示。通过拍照识别得到这两种食材的名称，然后获取到获得同时包括这两种食材的各种菜谱，当然还可以获得这两种食材的名称、图片和热量等，如图8所示。用户可以通过触摸的方式，触摸任意一个菜谱，从而获得该菜谱的具体内容，如此可以提高用户搜索获得目标菜谱的效率。

可选的，菜谱的具体内容的展示方式可以是以视频方式进行展示，也可以是以图片或文字的方式进行展示，还可以是上述各种方式的组合，本发明对此不作限制。

应理解，针对一些完全不知道如何煮菜的用户来说，用户可能既不了解食材，也不知道如何处理食材和不知道所拥有的食材可以做到什么样的菜品。这些用户可以选择在“全流程”模式下，获得识别区内的食材的全部信息，用户通过这些信息可以快速了解识别区内的食材并学习如何处理这些食材，以及这些食材的菜谱。

例如，用户触摸“全流程”并在该模式下的投影界面的至少两个识别区分别放置食材，如放置西红柿和鸡蛋，则所获得的食材信息可以包括上述“食材识别”、“食材处理”和“食材组合”等所获得的全部内容，并依据上述顺序逐步显示，可以是自动逐步显示，也可以是通过用户触摸类似“下一步”预设区域的方式触发逐步显示食材信息。本发明对食材信息的显示顺序和显示位置不作限制，对食材信息逐步显示的方式也不作限制，任何可行的方式均属于本发明所保护的范围。

可选的，在某些可选的实施方式中，所述方法还包括：

响应识别到用户针对所述投影界面的第二特定操作，获取与所述第二特定操作对应的食材信息；

通过所述投影装置在所述投影界面的显示区显示与所述第二特定操作对应的食材信息，以切换所述显示区显示的食材信息。

应理解，本文所说的第二特定操作是用来切换显示区显示的食材信息，一种方式是：第二特定操作可以改变当前的使用模式，例如可以是用户通过触摸选择食材识别模式、食材处理模式、食材组合模式和全流程模式中的任一种的触摸操作，通过触摸操作来改变当前的使用模式，使得显示区显示的食材信息随使用模式的改变而改变。第二特定操作还可以是在不改变当前的使用模式下改变食材信息的一种操作，例如显示区显示的食材信息包括至少两种类型，显示区可能会显示一种类型，那么通过第二特定操作可以从当前显示的类型切换至其他类型，以更改食材信息的显示，或者显示区的尺寸有限导致部分食材信息不能显示在显示区内，则通过第二特定操作来切换，如通过第二特定操作使显示区能够呈现出滑动效果，从而达到改变显示的食材信息的目的，在本实施例中对第二特定操作不作限定，任何可行的方式均属于本发明的保护范围。

可选的，在某些可选的实施方式中，所述方法还包括：若所述分类模型识别出所述识别区未放置食材，则通过所述投影装置在所述投影界面的显示区显示用于提示用户放置食材的提示信息；其中当识别区未放置食材(没有放置食材到识别区)时，可以在显示区通过显示提示信息的方式提醒用户放置食材和/或通过语音提醒的方式提醒用户放置食材，本发明对提醒用户放置食材的方式不作限制，任何可行的方式均属于本发明的保护范围。

和/或

若所述分类模型识别出所述识别区未放置有效食材，则通过所述投影装置在所述投影界面的显示区显示用于提示用户放置与所述识别区所放置食材相匹配的食材的提示信息。

在本实施例中，有效食材表明识别区放置有食材但通过分类模型没有准确识别出该食材的具体名称，在这种情况下提示信息不单单提示用户放置食材还能够提示用户放置与识别区已放置的食材相匹配的食材，例如提示用户在识别区放置哪种食材。

其中与识别区已放置的食材相匹配的食材可以是分类模型计算得到，一种方式是：通过分类模型对该食材图片进行识别得到可能是该食材的所有名称的可信度，从这些名称中选择可信度最高的名称以提醒用户放置该名称的食材。例如，用户在识别区放置了一种食材，通过分类模型识别该食材的食材图片得到的可信度分别是：为西红柿的可信度为90％、为苹果的可信度为87％、为红色灯笼椒的可信度为50％，但分类模型中设置可信度大于99％的名称才可以作为食材的名称。在这种情况下可以选择可信度最高的名称，即西红柿作为该食材可能的名称显示在显示区，提醒用户在识别区放置西红柿，通过这种方式可以减少错误识别食材的概率，提高系统的可靠性和用户的效率。

此外在本实施例中若分类模型识别出识别区未放置有效食材，还可以在显示区中显示提示用户调整识别区内的食材的角度的提示信息，这是因为对食材拍摄过程中，拍摄角度不同抓取到的食材部位也不同，若抓取到的食材部位不能体现出食材的特点(即与其他食材的区别之处)则会影响分类模型的识别，因此本实施例可以通过提示信息来提示用户调整识别区内食材的角度，以通过重新拍摄识别的方式来识别。

如图9所示，可选的，在某些可选的实施方式中，所述分类模型的得到过程包括：

S201、获取用于训练的食材样本图片；其中，所述食材样本图片对应人工标注的食材的名称；

S202、使用所述食材样本图片和与所述食材样本图片对应的食材的名称，在特定运行框架下对深度学习网络模型进行训练测试，直至得到满足测试条件的分类模型；

S203、若所述特定运行框架与使用分类模型进行识别处理的智能终端的运行框架不兼容，将所述满足测试条件的分类模型转换为适用于所述智能终端的运行框架下运行的分类模型；

S204、将适用于所述智能终端的运行框架下运行的分类模型导入到所述智能终端中。

可选的，本文所说的满足测试条件的模型可以是识别食材正确率大于预设值的模型，对于预设值本发明对此不作限制。

一种终端，所述终端包括：投影装置、摄影装置和处理器；

所述处理器与所述投影装置电连接，并与所述摄影装置电连接；

所述投影装置，用于将投影界面投射到平面上；

所述处理器，配置用于：

响应用户针对所述投影界面的预设区域执行的第一特定操作，通过摄像装置拍摄所述投影界面的识别区，以获取位于所述识别区的食材的食材图片；其中，所述识别区的数量至少为一个；

将所述食材图片输入至预先得到的分类模型，获取所述分类模型对所述食材图片进行识别处理后输出的所述食材图片中食材的名称；

根据所述名称获取与所述名称相对应的食材信息；其中，所述食材信息用于体现出食材营养成分、食材处理方式和食材相关菜谱中的至少一种；

通过所述投影装置在所述投影界面的显示区显示所述食材信息。

结合上述的终端，在某些可选的实施方式中，所述处理器，用于根据当前的使用模式，确定需要获取的食材信息的类型，根据所述名称和确定的食材信息的类型，获取与所述名称和确定的食材信息的类型相对应的食材信息。

结合上述的终端，在某些可选的实施方式中，所述使用模式为模式集合中的一种模式，所述模式集合包括：食材识别模式、食材处理模式、食材组合模式和全流程模式；其中，

所述使用模式为食材识别模式时，获取到的所述食材信息至少体现出食材的名称和食材营养成分；

所述使用模式为食材处理模式时，获取到的所述食材信息至少体现出食材处理方式；

所述使用模式为食材组合模式时，获取到的所述食材信息至少体现出食材相关菜谱；

所述使用模式为全流程模式时，获取到的所述食材信息至少体现出食材的名称、食材营养成分、食材处理方式和食材相关菜谱。

如图10所示，本发明提供的一种信息处理装置，包括：食材图片获取单元100、食材名称获取单元200、第一食材信息获取单元300和第一食材信息显示单元400；

所述食材图片获取单元100，用于响应用户针对投影界面的预设区域执行的第一特定操作，通过摄像装置拍摄所述投影界面的识别区，以获取位于所述识别区的食材的食材图片；其中，所述投影界面为通过投影装置投射到平面进行显示的界面，所述识别区的数量至少为一个；

所述食材名称获取单元200，用于将所述食材图片输入至预先得到的分类模型，获取所述分类模型对所述食材图片进行识别处理后输出的所述食材图片中食材的名称；

所述第一食材信息获取单元300，用于根据所述名称获取与所述名称相对应的食材信息；其中，所述食材信息用于体现出食材营养成分、食材处理方式和食材相关菜谱中的至少一种；

所述第一食材信息显示单元400，用于通过所述投影装置在所述投影界面的显示区显示所述食材信息。

可选的，在某些可选的实施方式中，所述第一食材信息获取单元100，包括：食材信息的类型确定单元和第一食材信息获取子单元；

所述食材信息的类型确定单元，用于根据当前的使用模式，确定需要获取的食材信息的类型；

所述第一食材信息获取子单元，用于根据所述名称和确定的食材信息的类型，获取与所述名称和确定的食材信息的类型相对应的食材信息。

可选的，在某些可选的实施方式中，所述装置还包括：第二食材信息获取单元和第二食材信息显示单元；

所述第二食材信息获取单元，用于响应识别到用户针对所述投影界面的第二特定操作，获取与所述第二特定操作对应的食材信息；

所述第二食材信息显示单元，用于通过所述投影装置在所述投影界面的显示区显示与所述第二特定操作对应的食材信息，以切换所述显示区显示的食材信息。

可选的，在某些可选的实施方式中，所述装置还包括：提示信息显示单元；

所述提示信息显示单元，用于若所述分类模型识别出所述识别区未放置食材，则通过所述投影装置在所述投影界面的显示区显示用于提示用户放置食材的提示信息；

和/或

若所述分类模型识别出所述识别区未放置有效食材，则通过所述投影装置在所述投影界面的显示区显示用于提示用户放置与所述识别区所放置食材相匹配的食材的提示信息。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种信息处理方法，其特征在于，包括：

响应用户针对投影界面的预设区域执行的第一特定操作，通过摄像装置拍摄所述投影界面的识别区，以获取位于所述识别区的食材的食材图片；其中，所述投影界面为通过投影装置投射到平面进行显示的界面，所述识别区的数量至少为一个；

将所述食材图片输入至预先得到的分类模型，获取所述分类模型对所述食材图片进行识别处理后输出的所述食材图片中食材的名称；

根据所述名称获取与所述名称相对应的食材信息；其中，所述食材信息用于体现出食材营养成分、食材处理方式和食材相关菜谱中的至少一种；

通过所述投影装置在所述投影界面的显示区显示所述食材信息。

2.如权利要求1所述的信息处理方法，其特征在于，所述根据所述名称获取与所述名称相对应的食材信息，包括：

根据当前的使用模式，确定需要获取的食材信息的类型；

根据所述名称和确定的食材信息的类型，获取与所述名称和确定的食材信息的类型相对应的食材信息。

3.如权利要求2所述的信息处理方法，其特征在于，所述使用模式为模式集合中的一种模式，所述模式集合包括：食材识别模式、食材处理模式、食材组合模式和全流程模式；其中，

所述使用模式为食材识别模式时，获取到的所述食材信息至少体现出食材的名称和食材营养成分；

所述使用模式为食材处理模式时，获取到的所述食材信息至少体现出食材处理方式；

所述使用模式为食材组合模式时，获取到的所述食材信息至少体现出食材相关菜谱；

所述使用模式为全流程模式时，获取到的所述食材信息至少体现出食材的名称、食材营养成分、食材处理方式和食材相关菜谱。

4.如权利要求1所述的信息处理方法，其特征在于，还包括：响应识别到用户针对所述投影界面的第二特定操作，获取与所述第二特定操作对应的食材信息；

通过所述投影装置在所述投影界面的显示区显示与所述第二特定操作对应的食材信息，以切换所述显示区显示的食材信息。

5.如权利要求1所述的信息处理方法，其特征在于，还包括：若所述分类模型识别出所述识别区未放置食材，则通过所述投影装置在所述投影界面的显示区显示用于提示用户放置食材的提示信息；

和/或

若所述分类模型识别出所述识别区未放置有效食材，则通过所述投影装置在所述投影界面的显示区显示用于提示用户放置与所述识别区所放置食材相匹配的食材的提示信息。

6.如权利要求1至5任意一项所述的信息处理方法，其特征在于，所述分类模型的得到过程包括：

获取用于训练的食材样本图片；其中，所述食材样本图片对应人工标注的食材的名称；

使用所述食材样本图片和与所述食材样本图片对应的食材的名称，在特定运行框架下对深度学习网络模型进行训练测试，直至得到满足测试条件的分类模型；

若所述特定运行框架与使用分类模型进行识别处理的智能终端的运行框架不兼容，将所述满足测试条件的分类模型转换为适用于所述智能终端的运行框架下运行的分类模型；

将适用于所述智能终端的运行框架下运行的分类模型导入到所述智能终端中。

7.一种终端，其特征在于，所述终端包括：投影装置、摄影装置和处理器；

所述处理器与所述投影装置电连接，并与所述摄影装置电连接；

所述投影装置，用于将投影界面投射到平面上；

所述处理器，配置用于：

响应用户针对所述投影界面的预设区域执行的第一特定操作，通过摄像装置拍摄所述投影界面的识别区，以获取位于所述识别区的食材的食材图片；其中，所述识别区的数量至少为一个；

将所述食材图片输入至预先得到的分类模型，获取所述分类模型对所述食材图片进行识别处理后输出的所述食材图片中食材的名称；

根据所述名称获取与所述名称相对应的食材信息；其中，所述食材信息用于体现出食材营养成分、食材处理方式和食材相关菜谱中的至少一种；

通过所述投影装置在所述投影界面的显示区显示所述食材信息。

8.根据权利要求7所述的终端，其特征在于，所述处理器，用于根据当前的使用模式，确定需要获取的食材信息的类型，根据所述名称和确定的食材信息的类型，获取与所述名称和确定的食材信息的类型相对应的食材信息。

9.根据权利要求8所述的终端，其特征在于，所述使用模式为模式集合中的一种模式，所述模式集合包括：食材识别模式、食材处理模式、食材组合模式和全流程模式；其中，

所述使用模式为食材识别模式时，获取到的所述食材信息至少体现出食材的名称和食材营养成分；

所述使用模式为食材处理模式时，获取到的所述食材信息至少体现出食材处理方式；

所述使用模式为食材组合模式时，获取到的所述食材信息至少体现出食材相关菜谱；

所述使用模式为全流程模式时，获取到的所述食材信息至少体现出食材的名称、食材营养成分、食材处理方式和食材相关菜谱。

10.一种信息处理装置，其特征在于，包括：食材图片获取单元、食材名称获取单元、第一食材信息获取单元和第一食材信息显示单元；

所述食材图片获取单元，用于响应用户针对投影界面的预设区域执行的第一特定操作，通过摄像装置拍摄所述投影界面的识别区，以获取位于所述识别区的食材的食材图片；其中，所述投影界面为通过投影装置投射到平面进行显示的界面，所述识别区的数量至少为一个；

所述食材名称获取单元，用于将所述食材图片输入至预先得到的分类模型，获取所述分类模型对所述食材图片进行识别处理后输出的所述食材图片中食材的名称；

所述第一食材信息获取单元，用于根据所述名称获取与所述名称相对应的食材信息；其中，所述食材信息用于体现出食材营养成分、食材处理方式和食材相关菜谱中的至少一种；

所述第一食材信息显示单元，用于通过所述投影装置在所述投影界面的显示区显示所述食材信息。

Images