CN108647734B - 一种食物图像大数据采集方法、采集系统及食物识别方法 - Google Patents

Abstract

一种食物图像大数据采集方法、采集系统及食物识别方法，其中，采集方法包括步骤：构建对食物进行实景采集的采集装置，采集装置具有一容纳腔，且采集装置于容纳腔内安装有用于采集食物视频的视频采集设备；构建用于旋转食物的旋转托盘，并将旋转托盘安装于采集装置的容纳腔内；待食物以不同形状放置于旋转托盘后，控制旋转托盘旋转，及控制视频采集设备对旋转的食物进行视频采集；将预设时间段内采集的食物视频转化为相应的食物图像，以获得多角度的食物图像。使得本申请提供的采集方法能获得大量的、丰富的食物图像，进而，通过该方法获取的食物图像训练的识别模型具有较高的识别精度，从而利用该识别模型能精准的识别出食物类型。

Description

一种食物图像大数据采集方法、采集系统及食物识别方法

技术领域

本发明涉及食物参数大数据采集技术领域，具体涉及一种食物图像大数据采集方法、采集系统及食物识别方法。

背景技术

微波炉、烤箱、蒸箱等家电的自动化控制中，对食材的识别是最关键也是最重要的步骤，目前，对食材的识别方法有很多种，大都是通过识别模型对采集的食材图像进行识别；在食材识别之前，需要先训练识别模型，而识别模型训练需要大量的食材图像，因此，前期需要对食材图像进行大数据的采集；现有的前期食材图像采集大都是利用摄像头拍摄静态的食材图像，以获取大量的食材图像，然后再利用这些食材图像对识别模型进行训练，但是，由于食材类型丰富，而且相同类型的食材(如液体食材)放置在不同容器中呈现不同的形状，很难做到食材图像的大量丰富采集，相应的，对识别模型训练所使用的食材图像类型单一，从而导致训练后的识别模型不能对食材进行精准的识别。

发明内容

针对训练识别模型前期采集食物图像受限的问题，本申请提供一种食物图像大数据采集方法，针对微波炉、烤箱、冰箱等家电的特殊应用，采用食物图像时，每次仅对单一品种的食物进行食物图像采集，且将食物放置以不同形状分别进行食物图像采集，具体采集的过程包括步骤：

构建对食物进行实景采集的采集装置，采集装置具有一容纳腔，且采集装置于容纳腔内安装有用于采集食物视频的视频采集设备；

构建用于旋转食物的旋转托盘，并将旋转托盘安装于采集装置的容纳腔内；

待食物以不同形状放置于旋转托盘后，控制旋转托盘旋转，及控制视频采集设备对旋转的食物进行视频采集；

将预设时间段内采集的食物视频转化为相应的食物图像，以获得多角度的食物图像。

一种实施例中，还包括对采集装置的容纳腔的背景进行单一化处理的步骤。

一种实施例中，单一化处理具体为：将容纳腔的内表面涂成黑色。

一种实施例中，还包括根据容纳腔的内部结构，在容纳腔内布设LED灯组的步骤，LED灯组发射的光用于形成容纳腔的背景光。

一种实施例中，控制视频采集设备对旋转的食物进行视频采集的过程中，还包括控制LED灯组的亮度参数及视频采集设备的拍摄参数。

一种实施例中，将预设时间段内采集的食物视频转化为相应的食物图像，具体为：将采集的食物视频每N帧转化为一张图像，N为正整数。

一种实施例中，若食物通过一食物模具放置于旋转托盘上，还包括根据获得的多角度食物图像分别采集并获得对应角度的食物模具图像的步骤。

根据第二方面，一种实施例中提供一种食物图像大数据采集系统，包括：

采集装置，具有一容纳腔，容纳腔内安装有用于采集食物视频的视频采集设备；

旋转托盘，安装于容纳腔内，用于旋转食物；

控制装置，与视频采集设备和旋转托盘信号连接，用于待食物以不同形状放置于旋转托盘后，控制旋转托盘旋转，及控制视频采集设备对旋转的食物进行视频采集；同时，还用于获取视频采集设备采集的食物视频，及将食物视频转化为相应的食物图像并存储。

一种实施例中，若食物通过一食物模具放置于旋转托盘上，控制装置还根据获得的多角度食物图像分别采集并获得对应角度的食物模具图像并存储。

一种实施例中，容纳腔的内表面涂覆有黑色。

一种实施例中，还包括LED灯组，LED灯组根据容纳腔的内部结构布设于容纳腔内，LED灯组发射的光用于形成容纳腔的背景光。

一种实施例中，视频采集设备为广角摄像头。

根据第三方面，一种实施例中提供一种食物识别方法，包括步骤：

创建用于识别食物的识别模型；

利用上述任一种所述的食物图像大数据采集方法获取用于训练识别模型的食物图像；

对食物图像中的食物进行标定；

利用标定的食物图像对识别模型进行训练；

利用训练好的识别模型对待识别的食物图像进行分类识别。

一种实施例中，对食物图像中的食物进行标定，具体为：对每一张食物图像中的食物的位置、形状和大小进行标定。

一种实施例中，还包括根据标定的食物的位置、形状和大小估算出食物的体积和重量的步骤。

一种实施例中，还包括利用食物图像中的食物模具图像对识别模型进行训练的步骤。

一种实施例中，若待识别的食物具有一食物模具，还包括利用训练好的识别模型对食物模具进行识别的步骤。

一种实施例中，识别模型为caffe模型，caffe模型对待识别的食物图像进行识别的具体步骤为：

利用caffe模型的卷积层对待识别的食物图像进行卷积处理，获取数据特征值；

利用caffe模型的池化层对数据特征值进行降采样处理，获取降采样的数据特征值；

利用caffe模型的激活层对降采样的数据特征值进行激活操作；

利用caffe模型的全连接层对激活后的数据特征值进行全连接，并传输给分类器；

利用分类器对全连接的数据特征值进行分类识别。

依据上述实施例的食物图像大数据采集方法，由于通过构建采集装置对食物进行实景采集，且采用视频拍摄采集旋转的食物视频，并将食物视频转化为相应的若干个食物图像，与现有的拍摄静态食物图像相比，本申请通过视频采集的方式可以获取食物旋转360°时所对应的各个角度的食物图像，及，针对每一品种的食物分别放置在不同容器中进行食物图像采集，使得本申请提供的采集方法能获得大量的、丰富的食物图像，进而，通过该方法获取的食物图像训练的识别模型具有较高的识别精度，从而利用该识别模型能精准的识别出食物类型。

附图说明

图1为食物图像大数据采集方法流程图；

图2为食物识别方法流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

在本发明实施例中，通过创建一种食物图像采集方法，以获得大量的、丰富的、多角度的食物图像，为训练识别模型提供充足的供训练使用的食物图像，以提高识别模型的精确度，进而提高识别模型对食物识别的识别度。

实施例一：

本例提供的食物图像大数据采集方法的流程图如图1所示，具体包括如下步骤。

需要说明的是，本例的采集方法是针对微波炉、烤箱、微蒸烤、微烤箱、蒸箱、冰箱等家电中的食物识别的前期工作准备的，具体的，是针对食物识别所需要的识别模型的训练工作准备的，更具体的是，利用本例的采集方法获取的食物图像对识别模型进行训练。

针对上述家电的特殊性，本例的采集方法在采集食物图像时，每次仅对单一品种的食物进行食物图像采集，且将食物以不同形状分别进行食物图像采集，如，将食物放置在不同形状的容器中，以获取食物的不同形状，即，每次采集的食物一定要单一化，且训练后的识别模型针对不同形状容器所盛放的食物均能精确识别。

为了能够获取多角度、大量的、丰富的食物图像，具体的采集方法如下。

S10：构建对食物进行实景采集的采集装置，采集装置具有一容纳腔，且采集装置于容纳腔内安装有用于采集食物视频的视频采集设备。

本例的对食物进行实景采集，该实景指的是食物放置在家电中的真实环境，也即是对食物进行数据采集时，其采集环境就是食物放置在家电中的真实环境，而非是脱离食物在家电中的真实环境对食物图像进行采集，如，不是在大自然环境下对食物进行图像采集，更具体的，如，不是将食物放置于桌子上，对食物进行图像采集。

对食物进行实景采集，这样做的效果是：利用采集的食物图像训练识别模型后，当该识别模型真正地应用到家电中对食物进行识别时，能在家电内部环境存在干扰的情况也对食物进行精确识别。

为了对食物进行实景采集，本例的采集装置具有模拟家电内部环境的功能，根据具体的应用场景不同，本例的采集装置能模拟不同功能家电的内部环境，具体的，当针对微波炉内的食物图像采集时，本例的采集装置能模拟微波炉的内部环境，当针对烤箱内的食物图像采集时，本例的采集装置能模拟微波炉的内部环境，即根据不同家电的应用利用与其相匹配的采集装置对食物图像进行采集。

具体的，采集食物图像时要尽量排除背景干扰，本例对采集装置的容纳腔的背景进行单一化处理，使采集装置的背景单一化，如，可以将容纳腔的内表面涂成黑色，在其他实施例中，可以将容纳腔的内表面涂成其他单一的颜色，不一定要限定为黑色。

本例的采集装置根据模拟的家电内部环境的不同，采集装置的制造可以参考相对应家电的制造方法，如，模拟微波炉内部环境的采集装置，其可以参考微波炉的造型及制造方法制作，只是，采集装置与现实中真实的微波炉不同之外在于，要根据多角度采集食物图像的目的，对采集装置的内部构造进行改造，如，增加旋转托盘，如，容纳腔内表面涂黑，如，增加背景光等。

对食物图像采集时，为了保证食物主体的完整性，采集食物图像时要使食物整个曝光在视频采集设备下，使拍摄的图像能覆盖整个食物，优选的，本例的视频采集设备为广角摄像头，如，采用120°的广角摄像头，这样，在容纳腔中食物能整个的暴露在视频采集设备下。需要说明的是，本例的视频采集设备为广角摄像头时，其广视角、像素等具体参数可以根据实际需要具体设定，如，广视角的范围可以在90°～150°之间设定，像素可以为百万像素等。

S20：构建用于旋转食物的旋转托盘，并将旋转托盘安装于采集装置的容纳腔内。

为了对食物进行多角度图像采集，本例设计了一个旋转托盘，该旋转托盘能实现360°旋转，进而，当食物放置在该旋转托盘上时，该旋转托盘能带动该食物进行360°旋转。

S30：待食物以不同形状放置于旋转托盘后，控制旋转托盘旋转，及控制视频采集设备对旋转的食物进行视频采集。

需要说明的是，食物可以通过不同形状的容器放置于旋转托盘上，食物也可以不通过特定的容器直接放置在旋转托盘上，由于食物颜色的复杂性，使得采样时出现曝光过度，或者曝光不够的现象出现，为避免这种现象出现，本例还包括根据容纳腔的内部结构，在容纳腔内布设LED灯组，该LED灯组发射的光用于形成容纳腔的背景光，这样，控制视频采集设备对旋转的食物进行视频采集的过程中，还要控制LED灯组的亮度参数和视频采集设备的拍摄参数，使得拍出来的食物图像曝光合理。LED灯组的安装位置可以根据不同的应用进行对应的设定，及视频采集设备的拍摄参数，如曝光时间、色彩饱和度、对比度等参数，以及LED灯组的亮度参数也可以根据具体的应用进行对应的设定。

S40：将预设时间段内采集的食物视频转化为相应的食物图像，以获得多角度的食物图像数据。

该预设时间段内采集的食物视频可以根据实际需要设计预设时间段，如，可以将食物旋转360°的时间段作为预设时间段，也可以将食物旋转720°的时间段作为预设时间段，也可以直接设置视频采集设备的视频拍摄时长，然后通过视频转化图片工具，将采集到的视频每N帧转化为一张图像，其中N为正整数，这样就能得到多张不同角度的食物图像；如，将视频拍摄时长设置为30秒，每秒50帧，每10帧转化为一张图像，这样，每个视频可转化为100多张食物图像。

通过本例的采集方法，在对食物进行实景采集的同时，还能采集到食物各个角度、各种形状的图像，极大地丰富了食物图像采样的数据，解决了食物图像采样单一的问题。

由于食物具有多种类型，针对特殊类型的食物，如面点类的食物，进一步，如面包食物，在制作面包类的食物时，都会使用相应的食物模具，这时，不仅要对食物图像进行采集，还要对使用的食物模具图像进行采集，即，若食物通过一食物模具放置于旋转托盘上，还根据获得的多角度食物图像分别采集并获得对应角度的食物模具图像，这样，在后续训练识别模型的过程中，还可以根据该食物模具图像对该识别模型进行相应的训练，使得，训练后的识别模型可以通过对食物模具的识别进而判断出正在烹饪的食物，从而进行烹饪的参数控制。

实施例二：

基于实施例一，本例提供一种食物图像大数据采集系统，包括采集装置、旋转托盘和控制装置；其中，采集装置具有一容纳腔，该容纳腔内安装有用于采集食物视频的视频采集设备；旋转托盘安装于容纳腔内，用于旋转食物；控制装置与视频采集设备和旋转托盘信号连接，待食物通过某一形状的容器放置于旋转托盘后，用于控制旋转托盘旋转，及控制视频采集设备对旋转的食物进行视频采集；同时，还用于获取视频采集设备采集的食物视频，及将食物视频转化为相应的食物图像并存储。

相应的，若食物通过一食物模具放置于旋转托盘上，控制装置还根据获得的多角度食物图像分别采集并获得对应角度的食物模具图像并存储，以实现针对不同类型的食物，进行多样化采集。

为了使采集装置的背景单一化，本例的容纳腔的内表面涂覆有黑色，本例的采集装置的具体应用请参考实施例一，本例不作赘述。

为了使视频采集设备拍出来的图像曝光合理，本例还包括LED灯组，LED灯组根据容纳腔的内部结构布设于容纳腔内，LED灯组发射的光用于形成容纳腔的背景光，这样，控制装置控制视频采集设备对旋转的食物进行视频采集的过程中，还包括控制LED灯组的亮度及视频采集设备的曝光时间等参数，避免采样过程中出现曝光过度，或者曝光不够的问题。

本例的食物图像大数据采集系统具体实现的过程请参考实施例一，本例不作赘述。

实施例三：

基于实施例一，本例提供一种食物识别方法，其流程图如图2所示，具体包括以下步骤。

S100：创建用于识别食物的识别模型。

本例的识别模型不作具体限定，实用应用中可以创建不同类型的识别模型，本例以基于caffe平台创建的caffe模型为例进行说明，caffe模型由可学习参数、结构参数、训练参数三部分组成，caffe模型的具体原理及文件格式是本领域技术人员所熟知的，本例不作赘述。

S200：利用实施例一中的食物图像大数据采集方法获取用于训练识别模型的食物图像。

本例是利用实施例一中的食物图像大数据采集方法对训练识别模型所需的食物图像进行采集，这样，就能获得多角度的、大量的、丰富的食物图像，利用这些食物图像对识别模型进行训练，便可以得到精确度较高的识别模型，也即，本例训练后的识别模型与现有的采用单一的食物图像训练后的识别模型相比具有较高的识别精度。

S300：对食物图像中的食物进行标定。

由于视频采集设备采集食物视频，由此获得的食物图像不仅包括了食物本身还进一步包括了用于存放食物的器具，如存放食物的盘子，为了提高识别模型的训练精度，本例还需要对获得的食物图像中的食物进行标定，具体为：对每一张食物图像中的食物的位置、形状和大小进行标定，比如，通过标定线框将食物图像中的食物进行标定起来，这样，标定线框内的图像仅为食物本身的图像，也即是，通过该标定可以将食物图像中的食物与存放食物的器具区别开，待训练识别模型时，仅利用标定的食物的图像对识别模型进行训练。S400：利用标定的食物的图像对识别模型进行训练。

由于该标定的食物的图像仅为食物本身，不包括其他器具，因此，通过获取的食物本身的图像对识别模型进行训练，可以大大提高识别模型的精度。

另外，由于实施例一中对食物进行大数据采集时，是根据不同类型的食物进行多样化的采集，如，当为面包类的食物时，在获得多角度食物图像时，还会采集对应角度的食物模具图像，因此，利用标定的食物的图像对识别模型进行训练的同时，还进一步利用食物图像中的食物模具图像对识别模型作进一步的训练。

S500：利用训练好的识别模型对待识别的食物图像进行分类识别。

caffe模型对待识别的食物图像进行分类识别的具体步骤为：

利用caffe模型的卷积层对待识别的食物图像进行卷积处理，获取数据特征值；

利用caffe模型的池化层对数据特征值进行降采样处理，获取降采样的数据特征值；

利用caffe模型的激活层对降采样的数据特征值进行激活操作；

利用caffe模型的全连接层对激活后的数据特征值进行全连接，并传输给分类器；

利用分类器对全连接的数据特征值进行分类识别。

另外，由于通过标定，可以获取食物的位置、形状和大小这些标定数据，在本例中，还可以对这些标定数据进行深加工，以获取对食物的其他信息进行识别的目的，如，可以利用这些标定数据估算出食物的体积和重量，即，通过本例的食物识别方法，不仅可以准确的识别出食物的类型，还能进一步对食物的体积和重量进一步识别，通过识别的食物体积和重量可以更加精确的控制食物的加工过程。

相应的，若待识别的食物具有一食物模具时，还包括利用训练好的识别模型对食物模具进行识别，这样，不仅可以对粥类、海鲜类等食物通过食物图像进行识别，还能对面包类的食物通过对食物模具的识别判断出正在烹饪的食物，从而进地烹饪的参数控制。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (18)

1.一种食物图像大数据采集方法，其特征在于，所述食物图像大数据采集方法用于对微波炉、烤箱、微蒸烤、微烤箱、蒸箱或冰箱中的食物进行图像采集，每次仅对单一品种的食物进行食物图像采集，且将所述食物以不同形状分别进行食物图像采集，包括步骤：

构建对食物进行实景采集的采集装置，所述采集装置具有一容纳腔，且所述采集装置于所述容纳腔内安装有用于采集食物视频的视频采集设备；所述采集装置具有模拟微波炉、烤箱、微蒸烤、微烤箱、蒸箱或冰箱内部真实环境的功能，以实现对食物进行实景采集；

构建用于旋转食物的旋转托盘，并将所述旋转托盘安装于所述采集装置的容纳腔内；

待食物以不同形状放置于所述旋转托盘后，控制所述旋转托盘旋转，及控制所述视频采集设备对旋转的食物进行视频采集；

将预设时间段内采集的食物视频转化为相应的食物图像，以获得多角度的食物图像。

2.如权利要求1所述的食物图像大数据采集方法，其特征在于，还包括对所述采集装置的容纳腔的背景进行单一化处理的步骤。

3.如权利要求2所述的食物图像大数据采集方法，其特征在于，所述单一化处理具体为：将所述容纳腔的内表面涂成黑色。

4.如权利要求1所述的食物图像大数据采集方法，其特征在于，还包括根据所述容纳腔的内部结构，在所述容纳腔内布设LED灯组的步骤，所述LED灯组发射的光用于形成所述容纳腔的背景光。

5.如权利要求4所述的食物图像大数据采集方法，所述控制视频采集设备对旋转的食物进行视频采集的过程中，还包括控制所述LED灯组的亮度参数及所述视频采集设备的拍摄参数。

6.如权利要求1所述的食物图像大数据采集方法，其特征在于，所述将预设时间段内采集的食物视频转化为相应的食物图像，具体为：将采集的食物视频每N帧转化为一张图像，N为正整数。

7.如权利要求1所述的食物图像大数据采集方法，其特征在于，若食物通过一食物模具放置于所述旋转托盘上，还包括根据获得的多角度食物图像分别采集并获得对应角度的食物模具图像的步骤。

8.一种食物图像大数据采集系统，其特征在于，所述食物图像大数据采集系统用于对微波炉、烤箱、微蒸烤、微烤箱、蒸箱或冰箱中的食物进行图像采集，每次仅对单一品种的食物进行食物图像采集，且将所述食物以不同形状分别进行食物图像采集，包括：

采集装置，具有一容纳腔，所述容纳腔内安装有用于采集食物视频的视频采集设备；所述采集装置具有模拟微波炉、烤箱、微蒸烤、微烤箱、蒸箱或冰箱内部真实环境的功能，以实现对食物进行实景采集；

旋转托盘，安装于所述容纳腔内，用于旋转食物；

控制装置，与所述视频采集设备和旋转托盘信号连接，待食物以不同形状放置于所述旋转托盘后，用于控制所述旋转托盘旋转，及控制所述视频采集设备对旋转的食物进行视频采集；同时，还用于获取所述视频采集设备采集的食物视频，及将所述食物视频转化为相应的食物图像并存储。

9.如权利要求7所述的食物图像大数据采集系统，其特征在于，若食物通过一食物模具放置于所述旋转托盘上，所述控制装置还根据获得的多角度食物图像分别采集并获得对应角度的食物模具图像并存储。

10.如权利要求7所述的食物图像大数据采集系统，其特征在于，所述容纳腔的内表面涂覆有黑色。

11.如权利要求7所述的食物图像大数据采集系统，其特征在于，还包括LED灯组，所述LED灯组根据所述容纳腔的内部结构布设于所述容纳腔内，所述LED灯组发射的光用于形成所述容纳腔的背景光。

12.如权利要求7所述的食物图像大数据采集系统，其特征在于，所述视频采集设备为广角摄像头。

13.一种食物识别方法，其特征在于，包括步骤：

创建用于识别食物的识别模型；

利用权利要求1-7任一种所述的食物图像大数据采集方法获取用于训练所述识别模型的食物图像；

对所述食物图像中的食物进行标定；

利用标定的食物图像对所述识别模型进行训练；

利用训练好的识别模型对待识别的食物图像进行分类识别。

14.如权利要求13所述的食物识别方法，其特征在于，所述对食物图像中的食物进行标定，具体为：对每一张所述食物图像中的食物的位置、形状和大小进行标定。

15.如权利要求14所述的食物识别方法，其特征在于，还包括根据标定的食物的位置、形状和大小估算出食物的体积和重量的步骤。

16.如权利要求13所述的食物识别方法，其特征在于，还包括利用食物图像中的食物模具图像对所述识别模型进行训练的步骤。

17.如权利要求16所述的食物识别方法，其特征在于，若待识别的食物具有一食物模具，还包括利用训练好的识别模型对所述食物模具进行识别的步骤。

18.如权利要求13所述的食物识别方法，其特征在于，所述识别模型为caffe模型，所述caffe模型对所述待识别的食物图像进行识别的具体步骤为：

利用caffe模型的卷积层对所述待识别的食物图像进行卷积处理，获取数据特征值；

利用caffe模型的池化层对所述数据特征值进行降采样处理，获取降采样的数据特征值；

利用caffe模型的激活层对所述降采样的数据特征值进行激活操作；

利用caffe模型的全连接层对激活后的数据特征值进行全连接，并传输给分类器；

利用所述分类器对所述全连接的数据特征值进行分类识别。

Images