CN113591576A - 食材信息的检测方法和装置、存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种食材信息的检测方法和装置、存储介质及电子装置，其中，上述方法包括：从多个角度获取食材存储空间中的多张图像，其中，食材存储空间中存储了一个或者多个目标食材；从多张图像中识别一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型；根据目标食材类型和目标食材模型确定每个目标食材的目标食材信息。采用上述技术方案，解决了相关技术中，对食材信息的检测准确性较差等问题。

Description

食材信息的检测方法和装置、存储介质及电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种食材信息的检测方法和装置、存储介质及电子装置。

背景技术

随着科学技术的进步和人工智能的发展，智能算法也越来越多的应用到日常生活中，对于冰箱而言，作为使用频率较高的生活日常家电之一，其智能化发展是至关重要的，而智能化的最关键问题，就在于对日常生活提供便利。目前智能冰箱所提供的食材识别方式往往会出现食材识别不全面，不准确的情况，导致无法为用户提供准确的食材信息。

针对相关技术中，对食材信息的检测准确性较差等问题，尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种食材信息的检测方法和装置、存储介质及电子装置，以至少解决相关技术中，对食材信息的检测准确性较差等问题。

根据本发明实施例的一个实施例，提供了一种食材信息的检测方法，包括：从多个角度获取食材存储空间中的多张图像，其中，所述食材存储空间中存储了一个或者多个目标食材；从所述多张图像中识别所述一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型；根据所述目标食材类型和所述目标食材模型确定所述每个目标食材的目标食材信息。

在一个示例性实施例中，从所述多张图像中识别所述一个或者多个目标食材中每个目标食材所对应的目标食材类型，包括：将所述多张图像输入目标识别模型，得到所述目标识别模型输出的一个或者多个初始食材类型，其中，所述目标识别模型根据标注有食材类型的样本图像对初始识别模型进行训练得到；对所述初始食材类型进行去重处理，得到所述每个目标食材所对应的所述目标食材类型。

在一个示例性实施例中，在将所述多张图像输入目标识别模型之前，所述方法还包括：将所述样本图像输入所述初始识别模型，得到所述初始识别模型输出的食材类型，其中，所述样本图像中包括标注有食材类型的多个食材；根据所述样本图像所标注的食材类型与所述初始识别模型所输出的食材类型之间的关系，对所述初始识别模型的模型参数进行调整，直至所述样本图像所标注的食材类型与所述初始识别模型所输出的食材类型之间的关系满足所述初始识别模型对应的训练条件；将使所述样本图像所标注的食材类型与所述初始识别模型所输出的食材类型之间的关系满足所述初始识别模型对应的训练条件的模型参数确定为所述目标识别模型的目标模型参数。

在一个示例性实施例中，获取每个目标食材所对应的目标食材模型，包括：从所述多张图像中获取所述每个目标食材在目标角度下的目标截图；将所述目标截图与多个食材模型进行匹配，得到候选食材模型；根据所述目标截图中所提取的食材特征对所述候选食材模型的模型参数进行调整，得到所述每个目标食材所对应的目标食材模型。

在一个示例性实施例中，在将所述目标截图与多个食材模型进行匹配之前，所述方法还包括：获取多个食材类型中每个食材类型的食材图像；使用所述食材图像对所述每个食材类型的食材进行三维重建，得到所述多个食材类型一一对应的所述多个食材模型。

在一个示例性实施例中，根据所述目标食材类型和所述目标食材模型确定所述每个目标食材的目标食材信息，包括：从具有对应关系的食材类型和食材属性中，获取所述目标食材类型对应的目标食材属性；根据所述目标食材模型的目标模型参数确定所述目标食材模型的目标模型属性；根据所述目标食材属性和所述目标模型属性确定所述每个目标食材的目标食材信息。

在一个示例性实施例中，根据所述目标食材属性和所述目标模型属性确定所述每个目标食材的目标食材信息，包括：将所述目标食材属性所包括的目标食材密度与所述目标模型属性所包括的目标模型体积相乘，得到目标食材质量；将所述目标食材质量与所述目标食材属性所包括的单位热量信息相乘，得到目标食材热量作为所述目标食材信息。

根据本发明实施例的另一个实施例，还提供了一种食材信息的检测装置，包括：第一获取模块，用于从多个角度获取食材存储空间中的多张图像，其中，所述食材存储空间中存储了一个或者多个目标食材；处理模块，用于从所述多张图像中识别所述一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型；确定模块，用于根据所述目标食材类型和所述目标食材模型确定所述每个目标食材的目标食材信息。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述食材信息的检测方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的食材信息的检测方法。

在本发明实施例中，从多个角度获取食材存储空间中的多张图像，其中，食材存储空间中存储了一个或者多个目标食材；从多张图像中识别一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型；根据目标食材类型和目标食材模型确定每个目标食材的目标食材信息，即对于食材存储空间从多个角度获取多张图像，从获取的多张图像中识别出食材存储空间所存储的一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型，结合目标食材类型和目标食材模型快速准确地确定出每个目标食材的目标食材信息。采用上述技术方案，解决了相关技术中，对食材信息的检测准确性较差等问题，实现了提高对食材信息的检测准确性的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种食材信息的检测方法的计算机终端的硬件结构框图；

图2是根据本发明实施例的食材信息的检测方法的流程图；

图3是根据本发明实施例的用于食材信息的检测的智能冰箱的示意图；

图4是根据本发明实施例的食材信息的检测过程的示意图；

图5是根据本发明实施例的一种食材信息的检测装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例所提供的方法实施例可以在计算机终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种食材信息的检测方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的食材信息的检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种食材信息的检测方法，应用于上述计算机终端，图2是根据本发明实施例的食材信息的检测方法的流程图，该流程包括如下步骤：

步骤S202，从多个角度获取食材存储空间中的多张图像，其中，所述食材存储空间中存储了一个或者多个目标食材；

步骤S204，从所述多张图像中识别所述一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型；

步骤S206，根据所述目标食材类型和所述目标食材模型确定所述每个目标食材的目标食材信息。

通过上述步骤，从多个角度获取食材存储空间中的多张图像，其中，食材存储空间中存储了一个或者多个目标食材；从多张图像中识别一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型；根据目标食材类型和目标食材模型确定每个目标食材的目标食材信息，即对于食材存储空间从多个角度获取多张图像，从获取的多张图像中识别出食材存储空间所存储的一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型，结合目标食材类型和目标食材模型快速准确地确定出每个目标食材的目标食材信息。采用上述技术方案，解决了相关技术中，对食材信息的检测准确性较差等问题，实现了提高对食材信息的检测准确性的技术效果。

在上述步骤S202提供的技术方案中，食材存储空间可以但不限于包括任何具有食材存储功能的设备、装置或者区域，比如：冰箱、冰柜、冰库、保温箱，仓库等等。

可选地，在本实施例中，从多个角度获取食材存储空间中的多张图像可以但不限于是朝向食材存储空间中所存储的食材的方向拍摄的。

可选地，在本实施例中，可以在食材存储空间中部署一个可转动或者可移动的摄像头，通过该摄像头从多个角度获取食材存储空间的多张图像。或者，也可以在食材存储空间中多个位置部署多个可转动或者可移动的摄像头，通过多个摄像头中每个摄像头从一个或者多个角度获取食材存储空间的一张或者多张图像，从而得到上述多张图像。

可选地，在本实施例中，从M(大于1的正整数)个角度中的每个角度可以但不限于获取N(大于或者等于1的正整数)张图像。从而得到M×N张图像作为上述多张图像。

在一个可选的实施方式中，以食材存储空间为智能冰箱为例，图3是根据本发明实施例的用于食材信息的检测的智能冰箱的示意图，如图3所示，冰箱的存储仓的顶部以及四个面上各部署了一个摄像头(摄像头1至摄像头5)，处理器获取摄像头1至摄像头5拍摄的多张图像，从多张图像中识别出每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型，再根据目标食材类型和目标食材模型确定每个目标食材的目标食材信息。

在上述步骤S204提供的技术方案中，食材存储空间中存储的一个或者多个目标食材是食材存储空间中存储的全部食材，通过获取的多张图像识别出食材存储空间中存储的每种食材的目标食材类型。

可选地，在本实施例中，识别出的食材所对应的食材类型可以但不限于是分级表示的，比如：食材类型包括多个大类，每个大类下划分了多个小类，每个小类中又包括多个分支，每个分支下包括多个品种，例如：识别出的目标食材类型为：果蔬鲜花-热带水果-荔枝龙眼-海南荔枝。

可选地，在本实施例中，目标食材所对应的目标食材模型可以但不限于包括三维模型或者三维体素化的模型等等。

在一个示例性实施例中，在上述步骤S204中，可以但不限于通过以下方式从多张图像中识别一个或者多个目标食材中每个目标食材所对应的目标食材类型：将所述多张图像输入目标识别模型，得到所述目标识别模型输出的一个或者多个初始食材类型，其中，所述目标识别模型根据标注有食材类型的样本图像对初始识别模型进行训练得到；对所述初始食材类型进行去重处理，得到所述每个目标食材所对应的所述目标食材类型。

可选地，在本实施例中，目标识别模型是使用包括多种食材，并且标注了各种食材的食材类型的样本图像对初始识别模型进行训练得到的。使用时将食材存储空间中获取的多张图像输入到目标识别模型中，目标识别模型就能够识别出食材存储空间中所存储的全部食材的食材类型。

可选地，在本实施例中，通过多张图像识别食材可以避免食材被遮挡，能够保证食材存储空间中的所有食材都能够被识别到。

可选地，在本实施例中，在将多张图像输入到目标识别模型之前还可以但不限于对多张图像进行预处理，比如：可以对多张图像进行拼接，得到拼接图像输入到目标识别模型中，或者也可以对多张图像进行剪裁，除去不包括食材的部分(比如图像的四周部分)，得到食材部分的图像输入到目标识别模型中，再或者还可以先对多张图像进行拼接，得到拼接图像，再对拼接图像进行剪裁，得到剪裁图像，将剪裁图像输入到目标识别模型中进行食材的识别。

在一个示例性实施例中，在将所述多张图像输入目标识别模型之前，可以但不限于通过以下方式对初始识别模型进行训练，得到目标识别模型：将所述样本图像输入所述初始识别模型，得到所述初始识别模型输出的食材类型，其中，所述样本图像中包括标注有食材类型的多个食材；根据所述样本图像所标注的食材类型与所述初始识别模型所输出的食材类型之间的关系，对所述初始识别模型的模型参数进行调整，直至所述样本图像所标注的食材类型与所述初始识别模型所输出的食材类型之间的关系满足所述初始识别模型对应的训练条件；将使所述样本图像所标注的食材类型与所述初始识别模型所输出的食材类型之间的关系满足所述初始识别模型对应的训练条件的模型参数确定为所述目标识别模型的目标模型参数。

可选地，在本实施例中，样本图像所标注的食材类型与初始识别模型所输出的食材类型之间的关系可以但不限于通过预先设定的初始识别模型对应的损失函数来表示。初始识别模型对应的训练条件可以但不限于是使得损失函数收敛等等由损失函数表示的条件。

可选地，在本实施例中，还可以设定跳出上述训练过程的最大迭代次数，比如：10次，50次，100次等等。如果上述训练过程中模型的迭代次数达到设定的最大迭代次数时样本图像所标注的食材类型与初始识别模型所输出的食材类型之间的关系还未能满足初始识别模型对应的训练条件，则直接跳出训练过程并提醒工作人员，由工作人员对初始识别模型的参数或者超参数或者训练条件或者损失函数等因素进行调整后，再进行训练。

在一个示例性实施例中，在上述步骤S204中，可以但不限于通过以下方式获取每个目标食材所对应的目标食材模型：从所述多张图像中获取所述每个目标食材在目标角度下的目标截图；将所述目标截图与多个食材模型进行匹配，得到候选食材模型；根据所述目标截图中所提取的食材特征对所述候选食材模型的模型参数进行调整，得到所述每个目标食材所对应的目标食材模型。

可选地，在本实施例中，每个目标食材在目标角度下的目标截图可以但不限于是目标食材在任意随机角度下的截图，或者也可以是从多张图像中找到的目标食材在某个特定角度下的截图。

可选地，在本实施例中，候选食材模型的模型参数可以但不限于包括模型的长宽高等尺寸参数。

在一个示例性实施例中，在将所述目标截图与多个食材模型进行匹配之前，可以但不限于通过以下方式得到每种食材类型对应的食材模型：获取多个食材类型中每个食材类型的食材图像；使用所述食材图像对所述每个食材类型的食材进行三维重建，得到所述多个食材类型一一对应的所述多个食材模型。

可选地，在本实施例中，可以但不限于通过三维(3D)重建技术构建每个食材类型对应的食材模型。

可选地，在本实施例中，预先训练出各种食材类型对应的食材模型，使用某种食材的某个角度的图像就能够从预先创建的食材模型中确定出该食材对应的模型，再根据图像中提取的信息对模型的参数进行调整，就能够得到食材的实际模型。

在上述步骤S206提供的技术方案中，得到的每个目标食材的目标食材信息可以但不限于包括：食材的热量信息，食材的新鲜度信息等等。

在一个示例性实施例中，在上述步骤S206中，可以但不限于通过以下方式根据目标食材类型和目标食材模型确定每个目标食材的目标食材信息：从具有对应关系的食材类型和食材属性中，获取所述目标食材类型对应的目标食材属性；根据所述目标食材模型的目标模型参数确定所述目标食材模型的目标模型属性；根据所述目标食材属性和所述目标模型属性确定所述每个目标食材的目标食材信息。

可选地，在本实施例中，预先存储了具有对应关系的食材类型和食材属性，食材属性可以但不限于包括：食材密度，水分含量，色泽等信息。

可选地，在本实施例中，结合识别出的目标食材属性以及构建出的目标食材模型上得到的目标模型属性，即可确定出目标食材实际的目标食材信息。

在一个示例性实施例中，可以但不限于通过以下方式根据目标食材属性和目标模型属性确定每个目标食材的目标食材信息：将所述目标食材属性所包括的目标食材密度与所述目标模型属性所包括的目标模型体积相乘，得到目标食材质量；将所述目标食材质量与所述目标食材属性所包括的单位热量信息相乘，得到目标食材热量作为所述目标食材信息。

可选地，在本实施例中，目标食材属性可以但不限于包括目标食材密度和单位热量信息，目标模型属性可以但不限于包括目标模型体积，食材的密度与体积相乘即可得到食材的质量，即目标食材质量，再将目标食材质量与单位热量信息相乘，从而得到目标食材的目标食材热量，提供给用户参考。

可选地，在本实施例中，单位热量信息可以但不限于用于指示单位重量(比如每100克)的食材所具有的热量信息。热量信息可以但不限于包括：能量值，蛋白质含量，脂肪含量，反式脂肪酸含量，碳水化合物含量，钠含量，维生素含量等等。

为了更好的理解上述食材信息的检测方法的过程，以下再结合可选实施例对上述食材信息的检测过程的实现方法流程进行说明，但不用于限定本发明实施例的技术方案。

在本实施例中提供了一种食材信息的检测方法，该方法基于多摄像头对冰箱食材进行识别，使用多个摄像头对冰箱中的食材进行拍摄，解决了食材遮挡的问题，从而全面准确地识别出冰箱中存储的全部食材的食材种类，通过食材3D重建得到食材的体积，从而结合食材种类和食材的体积得到食材的卡路里信息(即热量信息)。图4是根据本发明实施例的食材信息的检测过程的示意图，如图4所示，首先获取冰箱拍摄的多摄像头图像，可以取5张图像，包括冰箱冷藏室四面各一张，顶部一张。对5张图像使用图像拼接算法进行拼接，得到食材的拼接图像，对拼接后的图像使用食材识别算法进行食材类型的识别，比如：食材识别算法可以但不限于使用深度学习目标检测识别算法如YoloV4或Faster-Rcnn等模型结构，得到食材的类型信息，然后对食材的类型进行去重处理，得到最终的目标食材类型。另外通过对5张图像的3D建模，得到食材的三维模型，从而获取到食材的体积信息，结合食材的类型信息和食材的体积信息，即可得到食材的卡路里信息。

通过上述过程，解决了冰箱食材识别存在遮挡的问题及卡路里信息识别不准确的问题。通过多个摄像头同时采集图像和对采集后的图像进行识别解决了单个摄像头无法识别遮挡食材的问题，同时基于多摄像头的食材3D重建，得到食材的体积，从而得到食材的卡路里信息，解决了食材卡路里信息识别不准确的问题。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

图5是根据本发明实施例的一种食材信息的检测装置的结构框图；如图5所示，包括：

第一获取模块52，用于从多个角度获取食材存储空间中的多张图像，其中，所述食材存储空间中存储了一个或者多个目标食材；

处理模块54，用于从所述多张图像中识别所述一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型；

确定模块56，用于根据所述目标食材类型和所述目标食材模型确定所述每个目标食材的目标食材信息。

通过上述实施例，从多个角度获取食材存储空间中的多张图像，其中，食材存储空间中存储了一个或者多个目标食材；从多张图像中识别一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型；根据目标食材类型和目标食材模型确定每个目标食材的目标食材信息，即对于食材存储空间从多个角度获取多张图像，从获取的多张图像中识别出食材存储空间所存储的一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型，结合目标食材类型和目标食材模型快速准确地确定出每个目标食材的目标食材信息。采用上述技术方案，解决了相关技术中，对食材信息的检测准确性较差等问题，实现了提高对食材信息的检测准确性的技术效果。

在一个示例性实施例中，所述处理模块，用于：将所述多张图像输入目标识别模型，得到所述目标识别模型输出的一个或者多个初始食材类型，其中，所述目标识别模型根据标注有食材类型的样本图像对初始识别模型进行训练得到；对所述初始食材类型进行去重处理，得到所述每个目标食材所对应的所述目标食材类型。

在一个示例性实施例中，所述装置还包括：输入模块，用于在将所述多张图像输入目标识别模型之前，将所述样本图像输入所述初始识别模型，得到所述初始识别模型输出的食材类型，其中，所述样本图像中包括标注有食材类型的多个食材；调整模块，用于根据所述样本图像所标注的食材类型与所述初始识别模型所输出的食材类型之间的关系，对所述初始识别模型的模型参数进行调整，直至所述样本图像所标注的食材类型与所述初始识别模型所输出的食材类型之间的关系满足所述初始识别模型对应的训练条件；确定模块，用于将使所述样本图像所标注的食材类型与所述初始识别模型所输出的食材类型之间的关系满足所述初始识别模型对应的训练条件的模型参数确定为所述目标识别模型的目标模型参数。

在一个示例性实施例中，所述处理模块，用于：从所述多张图像中获取所述每个目标食材在目标角度下的目标截图；将所述目标截图与多个食材模型进行匹配，得到候选食材模型；根据所述目标截图中所提取的食材特征对所述候选食材模型的模型参数进行调整，得到所述每个目标食材所对应的目标食材模型。

在一个示例性实施例中，所述装置还包括：第二获取模块，用于在将所述目标截图与多个食材模型进行匹配之前，获取多个食材类型中每个食材类型的食材图像；重建模块，用于使用所述食材图像对所述每个食材类型的食材进行三维重建，得到所述多个食材类型一一对应的所述多个食材模型。

在一个示例性实施例中，所述确定模块，包括：获取单元，用于从具有对应关系的食材类型和食材属性中，获取所述目标食材类型对应的目标食材属性；第一确定单元，用于根据所述目标食材模型的目标模型参数确定所述目标食材模型的目标模型属性；第二确定单元，用于根据所述目标食材属性和所述目标模型属性确定所述每个目标食材的目标食材信息。

在一个示例性实施例中，所述第二确定单元，用于：将所述目标食材属性所包括的目标食材密度与所述目标模型属性所包括的目标模型体积相乘，得到目标食材质量；将所述目标食材质量与所述目标食材属性所包括的单位热量信息相乘，得到目标食材热量作为所述目标食材信息。

本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

S1，从多个角度获取食材存储空间中的多张图像，其中，所述食材存储空间中存储了一个或者多个目标食材；

S2，从所述多张图像中识别所述一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型；

S3，根据所述目标食材类型和所述目标食材模型确定所述每个目标食材的目标食材信息。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，从多个角度获取食材存储空间中的多张图像，其中，所述食材存储空间中存储了一个或者多个目标食材；

S2，从所述多张图像中识别所述一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型；

S3，根据所述目标食材类型和所述目标食材模型确定所述每个目标食材的目标食材信息。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种食材信息的检测方法，其特征在于，包括：

从多个角度获取食材存储空间中的多张图像，其中，所述食材存储空间中存储了一个或者多个目标食材；

从所述多张图像中识别所述一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型；

根据所述目标食材类型和所述目标食材模型确定所述每个目标食材的目标食材信息。

2.根据权利要求1所述的食材信息的检测方法，其特征在于，从所述多张图像中识别所述一个或者多个目标食材中每个目标食材所对应的目标食材类型，包括：

将所述多张图像输入目标识别模型，得到所述目标识别模型输出的一个或者多个初始食材类型，其中，所述目标识别模型根据标注有食材类型的样本图像对初始识别模型进行训练得到；

对所述初始食材类型进行去重处理，得到所述每个目标食材所对应的所述目标食材类型。

3.根据权利要求2所述的食材信息的检测方法，其特征在于，在将所述多张图像输入目标识别模型之前，所述方法还包括：

将所述样本图像输入所述初始识别模型，得到所述初始识别模型输出的食材类型，其中，所述样本图像中包括标注有食材类型的多个食材；

根据所述样本图像所标注的食材类型与所述初始识别模型所输出的食材类型之间的关系，对所述初始识别模型的模型参数进行调整，直至所述样本图像所标注的食材类型与所述初始识别模型所输出的食材类型之间的关系满足所述初始识别模型对应的训练条件；

将使所述样本图像所标注的食材类型与所述初始识别模型所输出的食材类型之间的关系满足所述初始识别模型对应的训练条件的模型参数确定为所述目标识别模型的目标模型参数。

4.根据权利要求1所述的食材信息的检测方法，其特征在于，获取每个目标食材所对应的目标食材模型，包括：

从所述多张图像中获取所述每个目标食材在目标角度下的目标截图；

将所述目标截图与多个食材模型进行匹配，得到候选食材模型；

根据所述目标截图中所提取的食材特征对所述候选食材模型的模型参数进行调整，得到所述每个目标食材所对应的目标食材模型。

5.根据权利要求4所述的食材信息的检测方法，其特征在于，在将所述目标截图与多个食材模型进行匹配之前，所述方法还包括：

获取多个食材类型中每个食材类型的食材图像；

使用所述食材图像对所述每个食材类型的食材进行三维重建，得到所述多个食材类型一一对应的所述多个食材模型。

6.根据权利要求1所述的食材信息的检测方法，其特征在于，根据所述目标食材类型和所述目标食材模型确定所述每个目标食材的目标食材信息，包括：

从具有对应关系的食材类型和食材属性中，获取所述目标食材类型对应的目标食材属性；

根据所述目标食材模型的目标模型参数确定所述目标食材模型的目标模型属性；

根据所述目标食材属性和所述目标模型属性确定所述每个目标食材的目标食材信息。

7.根据权利要求6所述的食材信息的检测方法，其特征在于，根据所述目标食材属性和所述目标模型属性确定所述每个目标食材的目标食材信息，包括：

将所述目标食材属性所包括的目标食材密度与所述目标模型属性所包括的目标模型体积相乘，得到目标食材质量；

将所述目标食材质量与所述目标食材属性所包括的单位热量信息相乘，得到目标食材热量作为所述目标食材信息。

8.一种食材信息的检测装置，其特征在于，包括：

第一获取模块，用于从多个角度获取食材存储空间中的多张图像，其中，所述食材存储空间中存储了一个或者多个目标食材；

处理模块，用于从所述多张图像中识别所述一个或者多个目标食材中每个目标食材所对应的目标食材类型，并获取每个目标食材所对应的目标食材模型；

确定模块，用于根据所述目标食材类型和所述目标食材模型确定所述每个目标食材的目标食材信息。

9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。

Images