CN107077709A - 营养素量计算装置及具备该装置的冰箱 - Google Patents

Abstract

本发明提供一种通过简单的操作来计算食材的营养素量的营养素量计算装置及具备该装置的冰箱。营养素量计算装置(10)具备称量食材(16)并且对其进行拍摄的测量器(12)、以及基于从测量器(12)输入的信息进行该食材种类的推定等的便携式终端(24)。测量器(12)主要具备称量部(14)、配置在称量部(14)上方的拍摄部(18)和照明部(20)、以及与称量部(14)连接的控制部(22)。采用这样的结构，营养素量计算装置(10)能够计算载置于测量器(12)的食材(16)所含的营养素量，并向使用者提示该计算结果。

Description

营养素量计算装置及具备该装置的冰箱

技术领域

本发明涉及一种用于使用者计算饭菜中所用的食材的营养素含量的营养素量计算装置及具备该装置的冰箱。

背景技术

使用者计算所摄取的食材及饭菜的营养素量对于健康管理及维持健康状态而言非常重要。饭菜的营养素量由饭菜所用的食材的种类及数量决定，因此能够基于食材的信息来计算饭菜的营养素量。具体而言，称量食材的重量，将该重量乘以每单位量的食材的营养素量，由此能够计算出该食材的总营养素量。但是，使用者每次做饭菜时都进行这样的计算作业太麻烦。

下述专利文献1中记载了一种能够自动计算食材的卡路里的卡路里计算装置。具体而言，参照图1及【0011】－【0021】等，这里所述的卡路里计算装置1包括测量部20、重量检测部30和控制部70。此外，测量部20测量分析对象物S所含的水分，重量检测部30测量分析对象物S的重量。控制部70使用测量部的测量结果及重量检测部的测量结果计算分析对象物S的卡路里。由此，具有能够测算例如作为食品的分析对象物S的卡路里的效果。

现有技术文献

专利文献

专利文献1：日本特开2014－126559号公报

发明内容

但是，在上述专利文献1记载的发明中，从简化卡路里的计算方法的观点出发尚有改善的余地。具体而言，为了使用于计算卡路里的测量部动作，需要使用者对另外设置的操作部进行操作。此外，在通常的烹调中会使用多种食材，而该卡路里计算装置必须按每种食材进行用于计算卡路里的作业。

并且，在专利文献1记载的卡路里计算装置中，基于解析对象物S的水分比率来计算分析对象物S的卡路里。但是，在使用红外线等的解析方法中，虽然能够对解析对象物的表面状态进行解析，但是难以解析内部状态，因此难以确定其种类。由此，存在难以适当地对解析对象物S的卡路里进行解析的情况。

并且，在专利文献1中，基于食材所含的蛋白质、碳水化合物等的重量来计算总卡路里，但除此以外，如果还能够推定维生素等无机物等营养素含量，则能够进一步提高使用者的便利性。

本发明的目的在于提供一种通过简单的操作就能够使使用者推定饭菜中所用的食材的营养素量的营养素量计算装置及具备该装置的冰箱。

本发明提供一种营养素量计算装置，其具备：食材拍摄单元，其拍摄烹调前的食材来得到食材图像数据；食材称量单元，其称量上述食材来得到食材重量数据；食材种类推定单元，其基于上述食材图像数据来推定上述食材的种类；以及营养素量计算单元，其基于上述食材的种类和上述食材重量数据，来计算上述食材所含的营养素量，上述食材拍摄单元在由上述食材称量单元称量的上述食材重量数据的变动小于一定值时拍摄上述食材。

进而，本发明的营养素量计算装置中，上述食材称量单元通过以一定间隔称量上述食材来获取上述食材重量数据，上述食材拍摄单元在此前称量出的多次的上述食材重量数据的标准偏差小于一定值的情况下拍摄上述食材。

进而，本发明的营养素量计算装置中，上述食材拍摄单元在上述食材重量数据与上一次拍摄时不同的情况下拍摄上述食材，由此在每次载置上述食材时都对被依次载置于上述食材称量单元的上述食材进行拍摄。

进而，本发明的营养素量计算装置中，上述食材拍摄单元在载置于上述食材称量单元的上述食材的重量确定后经过了一定期间之后拍摄上述食材。

进而，本发明的营养素量计算装置中，上述食材种类推定单元基于上述食材图像数据计算图像特征量，从将上述图像特征量与上述食材的种类相关联地列表化的食材清单中选择上述图像特征量接近的上述食材，上述营养素量计算单元通过将所选择的上述食材的每单位量的营养素量与上述食材重量数据相乘来计算上述食材的营养素量。

进而，本发明的营养素量计算装置中，由上述食材种类推定单元选出的上述食材的种类和上述图像特征量追加到上述食材清单。

进而，本发明的营养素量计算装置中，上述食材拍摄单元通过在每次载置上述食材时都对被依次载置于上述食材称量单元的上述食材进行拍摄来获取多个上述食材图像数据，上述食材种类推定单元通过求取最新的上述食材图像数据与上一次拍摄的上述食材图像数据的差值来确定新追加的上述食材的图像部分，基于上述图像部分计算上述图像特征量。

进而，本发明的营养素量计算装置中，上述食材种类推定单元及上述营养素量计算单元作为便携式终端的功能来实现。

并且，本发明提供一种冰箱，其具备上述营养素量计算装置。

发明效果

本发明的营养素量计算装置中，其具备：食材拍摄单元，其拍摄烹调前的食材来得到食材图像数据；食材称量单元，其称量上述食材来得到食材重量数据；食材种类推定单元，其基于上述食材图像数据来推定上述食材的种类；以及营养素量计算单元，其基于上述食材的种类和上述食材重量数据，来计算上述食材所含的营养素量，上述食材拍摄单元在由上述食材称量单元称量的上述食材重量数据的变动小于一定值时拍摄上述食材。因此，通过在由食材称量单元测算的重量的变动小于一定值之后拍摄食材，能够更清晰地拍摄载置于食材称量单元的食材，提高使用该食材图像数据的推定的精度。并且，食材拍摄单元基于食材称量单元的输出来拍摄食材，因此即使使用者不进行用于拍摄的特别操作，也能够拍摄食材。

进而，本发明的营养素量计算装置中，上述食材称量单元通过以一定间隔称量上述食材来获取上述食材重量数据，上述食材拍摄单元在此前称量出的多次的上述食材重量数据的标准偏差小于一定值的情况下拍摄上述食材。因此，能够在更稳定化的状态下使用食材拍摄单元拍摄食材。

进而，本发明的营养素量计算装置中，上述食材拍摄单元在上述食材重量数据与上一次拍摄时不同的情况下拍摄上述食材，由此在每次载置上述食材时都对被依次载置于上述食材称量单元的上述食材进行拍摄。因此，即使使用者不进行用于拍摄的特别操作，也能够逐次拍摄食材的图像数据。

进而，本发明的营养素量计算装置中，上述食材拍摄单元在载置于上述食材称量单元的上述食材的重量确定后经过了一定期间之后拍摄上述食材。因此，能够防止错误地将使用者的操作食材的手等写入食材图像数据。

进而，本发明的营养素量计算装置中，上述食材种类推定单元基于上述食材图像数据计算图像特征量，从将上述图像特征量与上述食材的种类相关联地列表化所得到的食材清单选择上述图像特征量接近的上述食材，上述营养素量计算单元通过将所选择的上述食材的每单位量的营养素量与上述食材重量数据相乘来计算上述食材的营养素量。因此，使用基于图像的色彩等计算出的图像特征量来确定食材的种类，因而即使使用者不输入食材的名称等，也能够容易地确定食材的种类。

进而，本发明的营养素量计算装置中，将由上述食材种类推定单元选择的上述食材的种类和上述图像特征量追加到上述食材清单。因此，从下一次的检索起使用的食材清单的数量增加，因而能够提高基于此后的图像特征量来推定食材种类的精度。

进而，本发明的营养素量计算装置中，上述食材拍摄单元通过在每次载置上述食材时都对被依次载置于上述食材称量单元的上述食材进行拍摄来获取多个上述食材图像数据，上述食材种类推定单元通过求取最新的上述食材图像数据与上一次拍摄的上述食材图像数据的差值来确定新追加的上述食材的图像部分，基于上述图像部分计算上述图像特征量。因此，仅使用食材被拍摄的部分的图像数据计算食材的图像特征量，因而能够更精确地计算图像特征量，提高连续推定食材的种类的精度。

进而，本发明的营养素量计算装置中，上述食材种类推定单元及上述营养素量计算单元作为便携式终端的功能来实现。因此，经由便携式终端与电话通信线路连接，利用存储在服务器中的信息，由此能够提高推定上述食材种类的精度。

并且，本发明的冰箱具备上述营养素量计算装置。因此，使用于储藏食材的冰箱具有计算食材的营养素量的功能，由此能够提高使用冰箱的使用者的便利性。

附图说明

图1是表示本发明的第一实施方式涉及的营养素量计算装置的示意图。

图2是表示使用本发明的第一实施方式涉及的营养素量计算装置计算营养素量的方法的流程图。

图3是表示使用本发明的第一实施方式涉及的营养素量计算装置计算营养素量的方法的流程图。

图4是表示在使用本发明的第一实施方式涉及的营养素量计算装置计算营养素量的方法中基于图像数据推定食材种类的方法的图。

图5是表示本发明的第二实施方式涉及的营养素量计算装置的图，(A)是表示营养素量计算装置的结构的框图，(B)是表示所使用的数据结构的框图。

图6(A)是表示本发明的第二实施方式涉及的营养素量计算装置的结构的立体图，(B)是表示冰箱的立体图。

图7是表示用本发明的第二实施方式涉及的营养素量计算装置计算饭菜的营养素量的方法的流程图。

图8是表示用本发明的第二实施方式涉及的营养素量计算装置计算饭菜的营养素量的方法的流程图。

附图标记说明

10 营养素量计算装置

12 测量器

14 称量部

16、A、B、C 食材

18 拍摄部

20 照明部

22 控制部

24 便携式终端

26 显示部

28 服务器

30 食材图像数据

32 食材图像数据

34 食材图像数据

36 食材图像数据

38 食材图像数据

40 食材图像数据

42 食材图像数据

44 食材图像数据

46 食材图像数据

110 营养素量计算装置

112 食材拍摄单元

114 食材称量单元

116 饭菜拍摄单元

118 饭菜称量单元

120 营养素量计算单元

122 存储单元

124 营养素量计算数据

125 食材数据库

126 食材图像数据

127 饭菜数据库

128 食材重量数据

129 食材营养素量数据库

130 饭菜图像数据

131 饭菜营养素量数据库

132 饭菜重量数据

134 底座

136 支承部

138 拍摄部

140 食材

142 冰箱

144 门

146 门

148 门

150 门

152 小门

154 拍摄部

156 服务器

158 通信网络

具体实施方式

(第一实施方式)

下面，对本实施方式涉及的营养素量计算装置10进行说明。

图1中说明营养素量计算装置10的结构。营养素量计算装置10具备称量烹调前的食材16并且对其进行拍摄的测量器12、以及基于从测量器12输入的信息来推定该食材的种类并计算营养素量的便携式终端24。营养素量计算装置10的主要功能是计算载置于测量器12的食材16所含的营养素量，并向使用者提示该计算结果。因此，使用者通过将烹饪前的食材16载置于测量器12，能够容易地知晓该食材16的营养素量。在本实施方式中，营养素例如包含卡路里、盐分等无机物、维生素、蛋白质、碳水化合物、脂肪等。

此外，除了上述测量器12及便携式终端24以外，本实施方式的营养素量计算装置10也可以包括服务器28。在这种情况下，便携式终端24或测量器12经由互联网等通信网络与服务器28连接。然后，将拍摄食材16所得到的食材图像数据、表示该食材16种类(食材名)的食材ID、表示该食材16重量的食材重量数据从便携式终端24发送到服务器28。此外，在服务器28中，存储并解析从多个使用者的便携式终端24发送来的这些数据，并将基于该解析结果的解析信息反馈给便携式终端24，由此能够提高基于拍摄食材16所得到的食材图像数据来推定该食材16的种类的精度。

测量器12主要包括称量部14(食材称量单元)、配置在称量部14的上方的拍摄部18(食材拍摄单元)和照明部20、以及与称量部14连接的控制部22。

称量部14是所谓的电子天平，将表示载置在其上表面的食材16的重量的电信号传递给控制部22。为了使被载置的食材16的外边缘清晰，称量部14的上表面的颜色采用与一般的食材的颜色不同的颜色。在本实施方式中，基于由称量部14称量的食材重量数据来计算食材16的营养素量，因此与仅基于食材图像数据进行计算的情况相比，能够更精确地计算营养素量。

拍摄部18例如由CCD等拍摄元件构成，配置在称量部14的上方。拍摄部18通过从上方拍摄载置有食材16的称量部14来得到食材图像数据。所得到的食材图像数据被传送给控制部22。在拍摄部18拍摄食材16时，拍摄部18与称量部14的相对位置固定。因此，能够稳定地拍摄载置在称量部14的上表面的食材16。在本实施方式中，拍摄部18获取食材图像数据的时间基于称量部14的输出而决定，但该事项将参照图2等在后文中说明。

照明部20例如由LED构成，配置在称量部14的上方且位于拍摄部18的附近。照明部20具有在拍摄部18拍摄食材16时向食材16发光的功能。照明部20相对于拍摄部18及称量部14的相对位置固定，因此能够使拍摄食材16时的条件相同，从而提高使用所获取的食材图像数据推定食材16种类时的精度。

控制部22安装有规定的控制程序，被输入有上述食材图像数据及食材重量数据，并且具有对拍摄部18、照明部20的动作进行控制的功能。此外，控制部22还具有与配置在测量器12附近的便携式终端24进行通信的功能。控制部22和便携式终端24可以进行有线连接，也可以进行无线连接。在无线连接的情况下，例如能够采用Wi-Fi标准的数据通信。

便携式终端24例如是使用者所有的智能手机，安装有用于控制上述测量器12的应用程序。便携式终端24具备例如作为触摸面板的显示部26，能够将由上述拍摄部18拍摄的食材图像数据显示在显示部26。此外，也能够如后述那样通过操作显示部26来确定食材16的种类。便携式终端24预先分别存储有作为营养素量计算单元、食材种类推定单元的程序。

在本实施方式中，使用者操作与测量器12分开设置的便携式终端24来推定食材16的营养素量，但是也可以将两者的功能统合。即，也可以在测量器12设置触摸面板等操作部，通过使用者操作该操作部，进行食材16的选择等。

下面，基于图2，并参照上述图1对使用上述营养素量计算装置10计算食材16的营养素量的方法进行说明。这里，以下所述的步骤S11至步骤S13、步骤S16至步骤S21的各步骤由上述测量器12进行。另一方面，步骤S14至步骤S15、步骤S22至步骤S36由便携式终端24进行。

首先，为了计算食材16的营养素量，使用者接通测量器12的电源(步骤S10、S11)。接着，从称量部14获取作为与重量相关的信息的初始重量数据，作为初始值(0g)记录在控制部22(步骤S12)。然后，由拍摄部18拍摄处于上表面没有载置食材16的状态的称量部14(步骤S13)。所拍摄的初始的食材图像数据作为初始值保存在控制部22。

这里，在测量器12周围的照度不足等情况下，为了清晰地拍摄称量部14的上表面，可以在由拍摄部18拍摄称量部14时由照明部20照射称量部14。在这种情况下，为了使拍摄条件均一化，在通过后述的步骤拍摄食材16的食材图像数据时也利用照明部20进行照射。

接着，在作为智能手机的便携式终端24启动专用的应用程序之后，通过使用Wi-Fi标准的无线连接等，将测量器12与便携式终端24连接(步骤S14)。然后，该应用程序从测量器12获取通过上述步骤得到的初始的食材重量数据及初始的食材图像数据(步骤S15)。

然后，将预定烹调的食材16载置在测量器12的称量部14的上表面(步骤S16)。由称量部14测算出的食材重量数据被逐次传递给控制部22，但是在刚刚将食材16载置于称量部14时，由称量部14测算的食材重量数据的值并不稳定。因此，在本实施方式中，进行等待直到食材重量数据的值成为一定值(步骤S17)。并且，在本实施方式中，为了抑制处理食材的使用者的手进入食材图像数据而导致推定食材16的精度下降，在步骤S17中由称量部14称量的食材重量数据稳定之后，还要再等待一定时间才拍摄(步骤S18)。

经过了上述一定时间之后，此时由称量部14测算的食材16的食材重量数据被记录在控制部22，并且通过由拍摄部18从上方拍摄食材16，得到食材图像数据(步骤S19、S20)。然后，将所获取的食材重量数据和食材图像数据从测量器12发送到便携式终端24(步骤S21)。

在以下的步骤中，由便携式终端24基于发送来的食材图像数据及食材重量数据，计算该食材16的种类及营养素量。

具体而言，首先，求取与上一次接收到的食材重量数据的值的差值(步骤S22)。即，在称量第一次的食材16的情况下，从载置第一次的食材16时的食材重量数据的值中减去没有载置食材16的状态即0g。此外，在称量第二次的食材16的情况下，从载置第二次的食材16时的食材重量数据的值中减去载置第一次的食材16时的食材重量数据的值。

参照图4对该事项进行详细说明。在图4中，示意性地示出了依次称量并拍摄三种食材A、B、C时的图像处理等的状况。最初，将食材A载置于称量部14测算出的重量Xg直接作为食材A的食材重量数据用于其后的处理。接着，在食材B载置于称量部14的情况下测算Yg，但将(Y－X)g作为食材B的食材重量数据。此外，进而在食材C载置于称量部14的情况下测算Zg，将(Z－Y－X)g作为食材B的食材重量数据。

接着，通过求取与上一次拍摄所得到的食材图像数据的差值，将更新的图像部分用作新追加的食材16的图像(步骤S23、S24)。

参照图4对该事项进行说明。例如，获取最初将食材A载置于称量部14时的食材图像数据30，基于与没有载置食材时的食材图像数据(这里未图示)的差值，生成食材A的图像部分被分离出的食材图像数据32。然后，在进一步载置食材B而获取食材图像数据36的情况下，通过求取食材图像数据30与食材图像数据36的差值，生成食材B的图像部分被分离出的食材图像数据38。进而，在进一步载置食材C而获取食材图像数据42的情况下，求取食材图像数据36与食材图像数据42的差值，生成食材C的图像部分被分离出的食材图像数据44。

接着，计算图像特征量(步骤S25)。具体而言，基于如上述那样生成的图像部分的色彩及粗糙度，计算使该图像部分的特征数值化所得到的图像特征量。然后，从“过去选择的食材清单”及事先学习数据中检索图像特征量接近的食材(步骤S26)。在该“过去选择的食材清单”中，将表示过去选择的食材16的种类的食材ID与该图像特征量相关联地列表化。此外，事先学习数据是便携式终端24的应用程序上线时预先输入的，是将食材ID与其图像特征量相关联地列表化而得到的。在以下的说明中，有时也将“过去选择的食材清单”及事先学习数据总称为食材清单。然后，从该食材清单中检索由步骤S25计算出的图像特征量和图像特征量较接近的食材(步骤S26)。

在步骤S27中，在便携式终端24的显示部26显示食材清单中的与作为检索对象的食材图像特征量较接近的上位多个候选食材。这里，在显示部26显示候选食材的情况下，可以显示食材名，也可以显示模拟食材的图像。

这里，理论上也能够从食材清单中采用图像特征量最接近的食材作为检索对象的食材。在本实施方式中，如后述那样从食材清单中选择多个图像特征量较接近的食材，并由使用者从该多个食材中选择检索对象食材，由此能够提高推定食材16的精度。

在显示部26显示的食材中有检索对象食材的情况下(步骤S28，“是”)，使用者操作作为触摸面板的显示部26等来选择正解的食材(步骤S29)。此时，如图4的下部所示那样，可以在显示部26显示表示所选择的食材的食材图像数据34、40、46。

此外，将与所选择的食材16对应的食材ID和该食材16的图像特征量相关联地追加到“过去选择的食材清单”中(步骤S30)。由此，在下一次的食材的候选检索中能够利用这次的检索结果，因此能够提高候选检索的精度。即，能够使其根据使用者的生活习惯学习“过去选择的食材清单”。

另一方面，在通过步骤S28显示的食材候选中没有正解的食材的情况下(步骤S28，“否”)，使用者向便携式终端24对食材16进行文字输入，从食材主表中检索名字与所输入的食材名相同的食材(步骤S31)。这里，食材主表(Master)是使食材ID与该食材的营养素量相对应地列表化而得到的。基于所输入的文字的检索结果显示在便携式终端24的显示部26(步骤S32)。

然后，使用者从所显示的食材中选择正解的食材(步骤S33)。与上述步骤S30同样，相关联地记录表示所选择的食材16的食材ID及其图像特征量(步骤S34)。

接着，使用通过上述步骤确定的食材16的种类及其重量，计算食材16的营养素量(步骤S35)。具体而言，通过将与包含在上述食材主表中的食材ID关联的每单位量的营养素量乘以食材16的重量来计算食材16所含的营养素量。这里，如上所述，本实施方式的营养素量包含卡路里、盐分等无机物、维生素、蛋白质、碳水化合物、脂肪等。此外，累计(积算)的营养素量显示在便携式终端24的显示部26(步骤S36)。由此，使用者能够知晓载置于测量器12的食材16所含的全部营养素量。

针对使用者准备的各食材16进行上述步骤S16至步骤S36的各步骤(步骤S37)。

下面，参照图3，对在将食材16载置于称量部14之后对其进行拍摄的步骤S16至步骤S21进行详细说明。

首先，在将食材16载置于称量部14之后，测量器12的控制部22从称量部14获取表示食材16的重量的食材重量数据(步骤S50)。该食材重量数据的获取以一定间隔连续地进行，例如以0.1秒间隔连续地进行。在本实施方式中，通过对连续获取的食材重量数据应用以下的步骤，能够在稳定的状态下获取食材图像数据，从而提高使用该食材图像数据推定食材种类的精度。

接着，为了实现后述的运算处理，将作为模拟数据的食材重量数据转换成数字数据(步骤S51)。接着，第t次的循环中求取此前五次的食材重量数据的平均值w(t)(步骤S52)。例如，如果该食材重量数据被第五次测量，就计算第一次至第五次的食材重量数据的平均值。进而，使用该此前五次的食材重量数据，计算此前五次的食材重量数据的标准偏差α(t)(步骤S53)。

如果通过上述步骤计算出的标准偏差α(t)小于规定的值(例如0.5)(步骤S54，“是”)，则判断为此前五次测算出的食材重量数据的值正在收敛。即，控制部22能够判断为食材重量数据的时间变动足够小，食材16的姿态稳定，能够清晰地拍摄食材图像数据。

接着，在步骤S55中，判断食材重量数据的时间变动是否经过了不稳定状态(例如超过3g的变动)并且食材重量数据是否与上一次拍摄时的食材重量数据不同。通过对食材重量数据的时间变动经过了不稳定状态进行确认，能够防止如下情况，即、根据测量器12的长时间使用时的漂移现象，在不进行食材16的追加的状况下，食材重量数据稍稍变化(例如3g以下)的情况下拍摄部18进行拍摄。此外，通过对食材重量数据与上一次拍摄时的食材重量数据不同进行确认，能够仅在新有食材16载置于称量部14的情况下拍摄后述的食材16。

在食材重量数据的时间变动经过了不稳定状态并且食材重量数据与上一次拍摄时不同的情况下(步骤S55，“是”)，确定测算出的食材重量数据(步骤S57)。进而，为了使使用者的操作食材16的手从拍摄部18的视野中避开，控制部22在经过规定时间(例如0.5秒)之后用拍摄部18拍摄食材16，得到食材图像数据。并且，称量部14判断为过渡到了稳定状态。另一方面，在食材重量数据没有经过不稳定状态或者食材重量数据与上一次拍摄时相同的情况下(步骤S55，“否”)，不确定食材重量数据而返回上述步骤S51。

此外，如果上述标准偏差α(t)为0.5以上(步骤S54，“否”)，则确认第t次(例如第五次)测量的食材重量数据与第t－1次(例如第四次)测量的食材重量数据之差的绝对值是否为规定值(例如3克)以下(步骤S56)。如果上述值为规定值以上(步骤S56，“是”)，则存在在称量部14载置了新的食材16的可能性，判断为食材重量数据的时间变动过渡到了不稳定状态，返回上述步骤S51。另一方面，如果上述值小于规定值(步骤S56，“否”)，则判断为食材重量数据的时间变动仍处于稳定状态，返回上述步骤S51。

根据上述的本实施方式，通过将食材16载置于称量部14，拍摄部18基于称量部14的输出来拍摄食材16，因此即使使用者不进行用于拍摄的特别操作，也能够容易地获取食材图像数据。

此外，在由称量部14测算的食材重量数据的偏差值为规定值以下的情况下拍摄部18拍摄食材16，因此能够拍摄在称量部14的上表面处于静止的状态的食材16，能够获取清晰的食材图像数据，从而提高推定食材16的种类的精度。

进而，在本实施方式中，基于称量部14的输出，由拍摄部18获取食材图像数据，并使用该食材图像数据在便携式终端24侧计算食材16的营养素量。这里，本实施方式中的食材图像数据是静止图像。如果没有基于称量部14的输出来决定拍摄静止图像的时期的功能，则需要解析动态图像来计算食材的营养素量，但是动态图像的解析所要求的信息处理量比静止图像多。因此，在本实施方式中能够使便携式终端24侧的信息处理量大量减少，并且能够减少耗电量。

在本实施方式中，食材图像数据是拍摄在称量部14的上表面处于静止状态的食材16所得到的图像数据，因此在推定食材16的种类这方面是精度最高的图像数据。因此，就算与解析动态图像来计算食材的营养素量的情况相比，推定食材16种类的精度也毫不逊色。即，本实施方式以称量部14的输出为触发，进行最适于食材16的解析的食材图像数据的拍摄，能够将要解析的数据的信息量抑制得较低，并且高精度地计算食材16的营养素量。

这里，参照图4，在上述实施方式中，追加食材16的同时计算营养素量，但是也可以在中途削减食材16。在这种情况下，控制部22能够通过由称量部14称量的食材重量数据減少而检测出食材16削减的情况。此外，控制部22通过将由拍摄部18拍摄的食材图像数据与此前的食材图像数据进行比较来确定削减的食材16的种类。

进而，上述营养素量计算装置10也可以作为冰箱的功能而被组装。通过使储藏多种食材16的冰箱具有计算食材16的营养素量的功能，能够提高冰箱的附加价值。

本实施方式在用服务器28进行食材16的营养素量的计算时特别有效。如上所述，食材图像数据是静止图像，信息量比动态图像少得多。但是，食材图像数据是以称量部14的输出为触发来进行拍摄而得到的，因此精度较高。因此，能够减少通过通信线路发送到服务器28的信息量，并且高精度地计算食材16的营养素量。

(第二实施方式)

下面，基于附图对本发明的实施方式涉及的营养素量计算装置110进行详细说明。在本实施方式涉及的营养素量计算装置110中，基于拍摄烹调前的食材140所得到的食材图像数据计算营养素量，并且将通过烹调这些食材140所得到的饭菜的种类与饭菜图像数据130对应地记录。由此，仅拍摄烹调后的饭菜的图像就能够计算该营养素量。

图5(A)是表示营养素量计算装置110的概略结构的框图，图5(B)是表示为了计算营养素量而参照的营养素量计算数据124的框图。

参照图5(A)，本实施方式的营养素量计算装置110具备食材拍摄单元112、食材称量单元114、饭菜拍摄单元116、饭菜称量单元118、营养素量计算单元120和存储单元122。营养素量计算装置110的概略功能是基于用于饭菜的食材140或饭菜自身的重量数据及图像数据容易地计算被烹调的饭菜的营养素量。

食材拍摄单元112是用于对预定烹调的食材140进行彩色拍摄的单元。具体而言，由CCD等拍摄元件等构成食材拍摄单元112。通过食材拍摄单元112拍摄食材140来生成食材图像数据126，该食材图像数据126被传送给营养素量计算单元120。这里，食材拍摄单元112可以逐个拍摄饭菜所用的食材140，也可以拍摄多个同种的材料。

食材称量单元114是称量预定烹调的食材140的重量的单元。通过由食材称量单元114称量食材140，得到表示食材140的重量的食材重量数据128，该食材重量数据128被传送给营养素量计算单元120。这里，食材称量单元114可以逐个称量食材140，也可以同时称量多个同种的食材140。

饭菜拍摄单元116是用于拍摄通过烹调上述食材140而制作的饭菜的单元。通过由饭菜拍摄单元116拍摄饭菜所得到的饭菜图像数据130被传送给营养素量计算单元120。

饭菜称量单元118是用于称量被烹调的饭菜的单元。通过由饭菜称量单元118称量饭菜而得到的饭菜重量数据132被传送给营养素量计算单元120。

这里，上述食材拍摄单元112和饭菜拍摄单元116可以分开设置，也可以兼用一个拍摄单元。并且，食材称量单元114和饭菜称量单元118可以分开设置，也可以兼用一个拍摄单元。

营养素量计算单元120基于从上述各单元传送来的各数据计算被烹调的饭菜的营养素量。例如采用CPU作为营养素量计算单元120。此外，除了饭菜的营养素量以外，营养素量计算单元120还可以如后述那样计算盐分等营养素量。

具体而言，在基于食材140计算饭菜的营养素量的情况下，基于食材图像数据126推定食材140的种类，使被推定出的食材140的每单位量的营养素量乘以食材重量数据128等来计算各食材140的营养素量。然后，将饭菜所用的全部食材140的营养素量相加来计算饭菜预定的饭菜营养素量。

此外，在基于与被烹调的饭菜相关的数据计算营养素量的情况下，基于饭菜图像数据130推定饭菜的种类，通过使被推定出的饭菜的每单位量的营养素量乘以饭菜重量数据132等来计算饭菜的营养素量。

关于饭菜的营养素量的具体的计算方法，将在后文中参照图7等所示的流程图来说明。

存储单元122是用于保存由上述各单元得到的各图像数据、各重量数据等的单元。具体而言，采用硬盘或半导体存储装置作为存储单元122。此外，营养素量计算装置110不一定具备存储单元122，也可以使用经由网络等连接的服务器等作为存储单元，将上述各数据保存在服务器中。

参照图5(B)，对用于计算上述营养素量的营养素量计算数据124进行说明。营养素量计算数据124包括食材图像数据126、食材重量数据128、饭菜图像数据130、饭菜重量数据132、食材数据库125、饭菜数据库127、食材营养素量数据库129、饭菜营养素量数据库131。

下面，对上述各数据进行说明。食材图像数据126是通过由上述食材拍摄单元112拍摄而得到的静止图像的图像数据。食材重量数据128是通过由食材称量单元114称量而得到的表示食材140的重量的数据。饭菜图像数据130是通过由饭菜拍摄单元116拍摄对食材140进行烹调而制作的饭菜所得到的静止图像的图像数据。饭菜重量数据132是通过由饭菜称量单元118称量所制作的饭菜而测算出的表示饭菜的重量的数据。

食材数据库125是由将从食材图像数据126提取的特征与食材140的种类相关联的数据构成的数据库，例如是使从食材图像数据126提取的色彩或表面粗糙度与食材140相关联的数据库。饭菜数据库是将饭菜图像数据130与饭菜的种类相关联的数据库，例如由将饭菜表面的色彩等与饭菜的种类相关联的数据构成。

食材营养素量数据库129是将食材140与该食材140的每单位量的营养素量相关联的数据库。饭菜营养素量数据库131是将饭菜与该饭菜的每单位量的营养素量相关联的数据库。作为上述数据，可以采用公共机关通常公布的数据，可以采用使用者使用本实施方式的营养素量计算装置110累积、修改的数据，也可以组合使用上述两种数据。

这里，上述数据库也可以统合两个以上的数据库。例如可以将食材数据库125和饭菜数据库127统合成一个数据库使用。此外，可以将食材营养素量数据库129和饭菜营养素量数据库131统合成一个数据库使用。

参照图6，对被具现化的营养素量计算装置110的结构进行说明。图6(A)是表示营养素量计算装置110的具体结构的立体图，图6(B)是表示组装有营养素量计算装置110的冰箱142的立体图。

参照图6(A)，营养素量计算装置110包括用于载置食材140的底座134、端部固定于该底座134的可动式支承部136、以及设置于支承部136的拍摄部138。

底座134是具有用于载置食材140的平坦面的板状部件，内置有用于称量食材140的称量组件。此外，该称量组件以及从拍摄部138接收各种数据来计算营养素量的营养素量计算单元120可以内置于底座134。

支承部136是配置于底座134的端部附近的棒状部件，其下端以能够旋转的方式与底座134连接。此外，在底座134的上表面设置有与支承部136的形状对应的凹状区域，因此倒下的支承部136可收纳在该凹状区域内。

在支承部136的上端部附近设置有例如由CCD等构成的拍摄部138。拍摄部138安装于能够在使支承部136立起的状态下拍摄被载置于底座134的上表面的食材140的位置。通过由拍摄部138拍摄而得到的食材图像数据126被传送给内置于底座134的处理部。

这里，参照图5(B)说明的营养素量计算数据124可以记录在内置于营养素量计算装置110的硬盘等记录介质中，也可以记录在配置于外部的记录装置中。或者，营养素量计算数据124的一部分可以记录在内置于营养素量计算装置110的记录装置中，营养素量计算数据124的另一部分可以记录在配置于外部的记录装置中。这里，营养素量计算数据124的全部或一部分记录在服务器156中。营养素量计算装置110和服务器156经由互联网等通信网络158连接。上述营养素量计算装置110的使用方法将在后文中参照图7等来说明。

图6(B)中示出了冰箱142作为上述营养素量计算装置110的一个应用例。该冰箱142具备冷藏室及冷冻室等多个储藏室，各储藏室的前面开口部由门144、146、148、150以能够开闭的方式封闭。例如，门144能够以左右任一侧端部为支点在左右方向上旋转开闭，门146、148、150在前后方向上开闭。

小门152是使门146的一部分能够在前后方向上旋转的门，以下端为支点进行旋转开闭。处于开放状态的小门152的上表面具有作为图6(A)所示的底座134的功能。并且，在门146的开口部分附近配置有用于拍摄食材140的拍摄部154。

在使用者使用冰箱142计算饭菜的营养素量时，首先，打开小门152，将食材140或饭菜载置于该打开状态的小门152的上表面。然后，用内置于小门152的称量组件称量该食材140或饭菜。此外，用拍摄部154拍摄该食材140或饭菜。由此，进行食材140或饭菜的称量及拍摄。

通过将营养素量计算装置110组装于冰箱142，由于多数情况下饭菜所用的食材140通常是储藏在冰箱内的，所以能够立即对食材140进行称量等，能够更容易地进行称量及拍摄。

基于图7及图8，并参照上述各图，对使用营养素量计算装置110计算饭菜的营养素量的方法进行说明。图7表示烹调特定饭菜的最初阶段的营养素量计算方法，图8表示烹调特定饭菜的第二次以后的营养素量计算方法。这里，以下说明的各数据可保存在图6(A)所示的营养素量计算装置110或服务器156等中。

参照图7，对烹调特定饭菜的最初阶段的营养素量计算方法进行说明。

首先，使图6(A)所示的营养素量计算装置110启动(步骤S111)。具体而言，使支承部136相对于底座134立起，使启动开关为接通(ON)状态。

然后，将烹调前的食材140载置于底座134的上表面(步骤S112)。在图6(A)中，例示了采用烹调前的鱼作为食材140的情况。这里，在底座134的上表面仅载置有一个食材140，但是可以在底座134的上表面载置多个同种的食材140。由此，能够简便地进行食材140的称量及拍摄。

接着，用拍摄部138拍摄载置于底座134的上表面的食材140(步骤S113)。具体而言，根据需要，在用未图示的发光单元对食材140照射光的状态下用拍摄部138拍摄食材140。由此，能够获得拍摄食材140所得到的食材图像数据126。所获取的食材图像数据126存储在硬盘等存储单元中。这里，被拍摄的食材140可以是加工前的食物，也可以是加工后的食物。例如，如果食材140是香蕉，则可以是剥皮之前的状态，也可以是剥皮之后的状态。如果拍摄剥皮之前的香蕉，则用该图像进行食材140的推定，将相当于皮的部分去除后进行营养素量计算。另一方面，如果拍摄剥皮之后的香蕉，则用该食材图像数据126进行食材140的推定，设其整体都用作食材140来计算营养素量。

接着，基于上述食材图像数据126来推定食材的种类(步骤S114)。作为基于食材图像数据126推定食材140的方法能够使用各种方法，这里，作为一个示例，对关注食材140表面的色彩和粗糙度来推定食材140的方法进行说明。

具体而言，参照图6(A)，基于上述食材图像数据126提取食材140被拍摄的部分，提取与该部分的色彩及表面粗糙度相关的数据。另一方面，在图5(B)所示的食材数据库125中，按各种食材表格化有该食材表面的色彩、表面粗糙度、种类等。由此，将基于食材图像数据126提取出的食材140的色彩及表面粗糙度与食材数据库125中按各种食材记录的色彩及表面粗糙度进行比较，使这些值最近似的食材为“被推定的食材”。

接着，使用者判断通过前一步骤推定的食材是否正确(步骤S115)。具体而言，在营养素量计算装置110附带的显示装置等显示被推定的食材的图像及名称。然后，如果使用者判断为被推定的食材是正确的，则进行确定操作转移到下一步骤(步骤S115，“是”)。另一方面，如果所显示的食材不正确(步骤S115，“否”)，则对使用者显示(提示)色彩及粗糙度接近的其他食材(步骤S116)。其结果是，如果新显示的食材是正确的，则转移到下一步骤(步骤S117，“是”)，如果不正确，则进一步推定显示其他食材(步骤S117，“否”)。另外，进行该判断的步骤S115、S117也可以由使用者操作营养素量计算装置110自身具备的开关及触摸面板来进行。进而，也可以在安装有特定应用程序的智能手机等便携式信息终端上显示被推定的食材的图像及名称，由使用者操作该便携式信息终端来进行。

这里，在通过步骤S115及步骤S117来确定了食材140的种类的情况下，将这些步骤中的、食材图像数据126与食材140的组合作为正确的内容来相关联地存储。即，修改图5(B)所示的食材数据库125。然后，从下一次起该组合由步骤S114使用，由此提高上述推定的精度。

通常，每单位量的营养素量由食材140的种类决定，通过上述步骤确定载置于营养素量计算装置110的食材140的种类，由此能够计算该营养素量。将用于确定食材140种类的种类数据保存，在后面的步骤中使用。

此外，在上述步骤S115至步骤S117中，如果被推定的食材140不正确则提示其他食材140，但是如果该推定的不正确次数在规定次数以上(例如五次以上)，则使用者可以通过手动输入来输入食材140。由此，能够简化使用者选择食材140的步骤。

接着，称量载置于营养素量计算装置110的底座134的上表面的食材140(步骤S118)。具体而言，用内置于底座134的称量组件测量食材140的重量。通过该测量而得到的食材重量数据128存储在营养素量计算装置110具备的存储装置中。

接着，通过营养素量计算装置110具备的CPU等运算单元(营养素量计算单元120)，使用上述食材140的种类的推定结果及食材重量数据128，计算被烹调的预定饭菜的总营养素量(第一推定饭菜营养素量)(步骤S119)。

具体而言，在食材营养素量数据库129(图5(B))中，按各食材被数据化有该食材每单位量的营养素量。因此，按各食材140将食材重量数据128乘以每单位量的营养素量，并将它们相加，由此能够计算被烹调的饭菜的总营养素量(第一推定饭菜营养素量)。

上述步骤S112至步骤S119的作业按各食材140来进行。作为一个示例，在烹调咖喱的情况下，对胡萝卜、洋葱、肉、马铃薯等各材料进行步骤S112至步骤S117的作业。由此，各食材140的种类被确定，并对它们进行称量·累计。此外，被累计的食材140和营养素量显示在营养素量计算装置110具备的显示屏等通知使用者。计算出的食材140和营养素量可以按营养素量进行累计而与饭菜相关联地存储，在后面的步骤中作为营养素量数据库使用。

在步骤S120中，基于上述食材140来烹调饭菜。例如对上述胡萝卜等材料进行炒、煮等来烹调咖喱。

接着，将通过烹调制作的饭菜载置于图6(A)所示的底座134进行称量(步骤S121)。在该步骤中，由于将饭菜与饭菜使用的锅等容器一起载置于底座134，所以通过预先存储容器的重量等，将容器的重量从总重量中减去，由此能够仅称量饭菜的重量。通过本步骤，能够得到被烹调的饭菜的饭菜重量数据132。进而，通过使用拍摄部138拍摄载置于底座134的饭菜，能够得到饭菜图像数据130。

这里，也可以在上述步骤S120与步骤S121之间进行选择具体的烹调方法的步骤。具体而言，使用者经由触摸面板等输入单元向营养素量计算装置110输入煮、炒、蒸、炸等烹调方法。一般而言，即使所使用的食材140是同种同量的，但是如果烹调方法不同，则饭菜的营养素量是不同的。例如，在炒的情况下烹调中使用的油被添加到饭菜中，因此烹调出的饭菜的营养素量比蒸的情况高。由此，例如在输入“炒”作为烹调方法时，还要考虑所使用的油量重新计算饭菜的营养素量，由此能够提高被计算的营养素量的精度。

进而，通过用拍摄部138拍摄载置于底座134的上表面的饭菜，得到饭菜图像数据130。这里，拍摄饭菜的上表面。

接着，基于由前一步骤得到的饭菜图像数据130来推定被烹调的饭菜(步骤S123)。该推定方法可以与上述步骤S113相同。

具体而言，参照图6(A)，基于上述食材图像数据126提取饭菜被拍摄的部分，提取与该部分的色彩及表面粗糙度相关的数据。另一方面，在图5(B)所示的饭菜数据库127中，按各饭菜表格化有该饭菜的上表面的色彩、表面粗糙度、种类等。由此，将基于饭菜图像数据130提取的饭菜的色彩及表面粗糙度与记录在饭菜数据库127中的色彩及表面粗糙度进行比较，使这些值最近似的饭菜为“被推定的饭菜”。

接着，使用者判断通过前一步骤被推定出的饭菜是否正确(步骤S124)。具体而言，在营养素量计算装置110附带的显示装置等显示被推定出的饭菜的图像及名称。然后，如果使用者判断为被推定出的饭菜正确，则进行确定操作来结束营养素量的计算(步骤S127)。另外，通过确定被烹调的饭菜的种类并进行称量，将基于饭菜图像数据130被推定出的饭菜的种类(例如咖喱)与其每单位量的营养素量相关联。然后，表示该事项的数据被登记在图5(B)所示的饭菜营养素量数据库131中，从下一次的饭菜起能够使用该数据。

另一方面，如果所显示的饭菜不正确(步骤S124，“否”)，则对使用者显示(提示)色彩及粗糙度接近的其他饭菜(步骤S125)。其结果是，如果该被推定出的饭菜是正确的，则转移到下一步骤(步骤S126，“是”)，如果不正确，则进一步推定显示其他饭菜(步骤S126，“否”)。

此外，在上述步骤S124至步骤S126中，如果被推定出的饭菜不正确，则提示其他饭菜，但是如果该推定的不正确次数在规定次数以上(例如五次以上)，则使用者可以通过手动输入来输入饭菜的种类。由此，能够简化使用者进行选择的步骤。

这里，在确定饭菜的种类之后，将这些步骤中的、饭菜图像数据130与饭菜的组合作为正确的内容相关联地作为饭菜数据库127存储。具体而言，按各饭菜，将饭菜的种类与每单位量的营养素量相关联地存储。并且，从下一次的饭菜起由步骤S123使用该组合，由此提高上述推定的精度。

在上述的本实施方式的营养素量计算方法中，首先，根据步骤S113至步骤S116所示的方法，即使使用者不输入食材140的种类，也能够通过上述图像解析来确定食材140的种类，因此能够提高便利性。同样，通过步骤S122至步骤S125所示的方法还能够确定饭菜的种类，因此不需要该输入作业，能够提高便利性。

下面，参照图8，来说明使用者对相同的饭菜进行的第二次以后的烹饪方法。这里所示的烹调方法与基于图7说明的方法通用，这里不同之处在于烹调前不进行食材140的拍摄及称量。

首先，在使图6(A)所示的营养素量计算装置110启动之后(步骤S151)，使用食材140进行烹调(步骤S152)。这里，假设在相同的使用者进行烹调的情况下烹调所用的食材140的种类及比例是类似的，为了简化，食材140的拍摄及称量能够省略。另外，即使在烹调相同饭菜的情况下，如果所使用的食材140的种类及比例不同，则也可以进行食材140的拍摄及称量。

这里，在进行了饭菜的烹调之后，使用者可以如上述那样向营养素量计算装置110输入烹调的种类(炒、煮)等。由此，能够考虑到烹调所用的调味料等而精确地计算营养素量。

在烹调结束之后，将该饭菜载置于图6(A)所示的营养素量计算装置110的底座134的上表面，并测算其重量，由此得到饭菜重量数据132(步骤S153)。然后，通过使用拍摄部138从上方拍摄饭菜来得到饭菜图像数据130(步骤S154)。

接着，基于饭菜图像数据130来推定被烹调的饭菜的种类，在该推定错误的情况下进行更正(步骤S155、S156、S157、S158)。上述各步骤的具体方法与参照图7说明的步骤S123、S124、S125、S126相同。

接着，基于通过上述步骤得到的与饭菜的种类相关的数据及饭菜重量数据132，来计算被烹调的饭菜的营养素量(步骤S159)。此外，在本步骤中，准备将各饭菜与其每单位量的营养素量相关联所得到的营养素量数据库，使称量出的饭菜的重量乘以对应种类的饭菜的每单位量的营养素量来计算总营养素量。

具体而言，根据图7所示的营养素量计算方法，预先记录有在作为对象的使用者烹调例如咖喱时的、被烹调的咖喱的每单位量的营养素量。该信息作为图5(B)所示的饭菜营养素量数据库131按饭菜的种类被记录。因此，通过将记录在饭菜营养素量数据库131中的、作为对象的饭菜的每单位量的营养素量乘以由上述步骤S153称量出的饭菜重量数据132，来计算饭菜的总营养素量(第二推定饭菜营养素量)(步骤S160)。

根据上述营养素量计算方法，使用与根据图7所示的第一次的烹调而拍摄的食材140相关的信息，来推定被烹调的饭菜的每单位量的营养素量。由此，仅对烹调后的饭菜进行拍摄及称量，就能够计算其营养素量。

上述的本实施方式例如能够以如下方式变更。

在图7所示的步骤S118中，也可以考虑所使用的调味料、材料的损失率来计算营养素量。由此，能够更精确地计算营养素量。

这里，上述各实施方式能够相互组合实施。例如，第一实施方式中记载的食材16的称量方法及拍摄方法也能够应用于第二实施方式。

Claims (9)

1.一种营养素量计算装置，其特征在于，具备：

食材拍摄单元，其拍摄烹调前的食材来得到食材图像数据；

食材称量单元，其称量所述食材来得到食材重量数据；

食材种类推定单元，其基于所述食材图像数据来推定所述食材的种类；以及

营养素量计算单元，其基于所述食材的种类和所述食材重量数据，来计算所述食材所含的营养素量，

所述食材拍摄单元在由所述食材称量单元称量的所述食材重量数据的变动小于一定值时拍摄所述食材。

2.根据权利要求1所述的营养素量计算装置，其特征在于：

所述食材称量单元通过以一定间隔称量所述食材来获取所述食材重量数据，

所述食材拍摄单元在此前称量出的多次的所述食材重量数据的标准偏差小于一定值的情况下拍摄所述食材。

3.根据权利要求1或2所述的营养素量计算装置，其特征在于：

所述食材拍摄单元在所述食材重量数据与上一次拍摄时不同的情况下拍摄所述食材，由此在每次载置所述食材时都对被依次载置于所述食材称量单元的所述食材进行拍摄。

4.根据权利要求1至3中任一项所述的营养素量计算装置，其特征在于：

所述食材拍摄单元在载置于所述食材称量单元的所述食材的重量确定后经过了一定期间之后拍摄所述食材。

5.根据权利要求1至4中任一项所述的营养素量计算装置，其特征在于：

所述食材种类推定单元基于所述食材图像数据计算图像特征量，从将所述图像特征量与所述食材的种类相关联地列表化的食材清单中选择所述图像特征量接近的所述食材，

所述营养素量计算单元通过将所选择的所述食材的每单位量的营养素量与所述食材重量数据相乘来计算所述食材的营养素量。

6.根据权利要求5所述的营养素量计算装置，其特征在于：

由所述食材种类推定单元选出的所述食材的种类和所述图像特征量追加到所述食材清单。

7.根据权利要求1至6中任一项所述的营养素量计算装置，其特征在于：

所述食材拍摄单元通过在每次载置所述食材时都对被依次载置于所述食材称量单元的所述食材进行拍摄来获取多个所述食材图像数据，

所述食材种类推定单元通过求取最新的所述食材图像数据与上一次拍摄的所述食材图像数据的差值来确定新追加的所述食材的图像部分，基于所述图像部分计算所述图像特征量。

8.根据权利要求1至7中任一项所述的营养素量计算装置，其特征在于：

所述食材种类推定单元及所述营养素量计算单元作为便携式终端的功能来实现。

9.一种冰箱，其特征在于，具备：权利要求1至权利要求8中任一项所述的营养素量计算装置。