CN113874678A - 食物测量方法、装置及程序 - Google Patents

Abstract

本发明涉及一种食物测量方法，本发明基于针对形成于装有食物的餐具的多个空间的尺寸、深度及容量的信息和由拍摄单元拍摄到的图像来计算食物量。

Description

食物测量方法、装置及程序

技术领域

本发明涉及一种测量食物的方法，更具体而言，涉及一种利用体积来测量食物的量的方法。

背景技术

最近，随着越来越多的人想要保持诸如健康饮食(Well-Being)、减肥饮食(Diet)等的健康的食谱，对测量食物的技术的需求正在增加。

利用此，在诸如学校、企业、军队、政府机关、医院等的给多人配餐的场所，也测量给人进行配餐、供餐的食物的量，由此测量配餐量和剩餐量，从而具有通过预测需求量和供应量来进行有效的配餐管理并管理接受配餐的人的卡路里等的诸多优点。

然而，由于目前公开的大部分技术仅限于对通过相机拍摄的图像简单地进行图像搜索，因此准确度显著降低，并且由于在图像搜索过程中，其准确度降低，从而存在诸如卡路里计算等的后续步骤中可能发生更大的误差的问题。

因此，本发明的发明人提出了一种能够准确地分析并计算食物的发明，而不是简单地对食物进行图像搜索。

发明内容

技术问题

用于解决如上所述的问题的本发明可以提供一种利用由立体相机或深度测量装置拍摄到的图像的按像素的高度信息来计算食物的体积的食物测量方法。

并且，本发明可以提供一种利用配餐餐具的信息对计算出的食物的体积进行校正的食物测量方法。

本发明期望解决的技术问题并不限于以上所提及的技术问题，本领域技术人员可以通过以下的记载明确理解未提及的其他技术问题。

技术方案

用于解决上述的技术问题的根据本发明的一实施例的食物测量方法包括如下步骤：分析部对配餐餐具(用户接受配餐的餐具)图像进行分析，以识别收容于所述餐具的一个以上的食物；计算部利用餐具信息和所述餐具图像内的食物的图像来计算各食物的体积；以及所述计算部利用食物信息和所述计算出的各食物的体积来计算各食物的重量，其中，所述服务器包括：数据库，存储有空餐具图像、包括针对形成在所述餐具的多个空间的尺寸、深度及容量的餐具信息、包括按食物的单位体积的重量的食物信息。

并且，用于解决上述的技术问题的根据本发明的一实施例的食物测量服务器包括：数据库，存储有空餐具图像、包括针对形成在所述餐具的多个空间的大小、深度及容量的餐具信息、包括按食物的单位体积的重量的食物信息；分析部，对配餐餐具(用户接受配餐的餐具)图像进行分析，以识别收容于所述餐具的一个以上的食物；以及计算部，利用所述餐具信息和所述餐具图像内的食物的图像来计算各食物的体积，并利用所述食物信息和所述计算出的各食物的体积来计算各食物的重量。

并且，用于解决上述的技术问题的根据本发明的一实施例的食物测量装置包括：数据库，存储有空餐具图像、包括针对形成在所述餐具的多个空间的大小、深度及容量的餐具信息、包括按食物的单位体积的重量的食物信息；分析部，对配餐餐具(用户接受配餐的餐具)图像进行分析，以识别收容于所述餐具的一个以上的食物；以及计算部，利用所述餐具信息和所述餐具图像内的食物的图像来计算各食物的体积，并利用所述食物信息和所述计算出的各食物的体积来计算各食物的重量。

除此之外，还可以提供用于实现本发明的其他方法、其他系统以及记录有用于执行所述方法的计算机程序的计算机可读记录介质。

技术效果

根据如上所述的本发明，可以利用通过立体相机或深度测量装置拍摄的图像的按像素的高度信息来计算食物的体积，从而具有能够计算出准确的食物的体积的效果。

并且，本发明可以对通过关于配餐餐具空间的尺寸、深度及容量的信息来计算出的食物的体积进行校正，从而具有能够更准确地计算食物的体积的效果。

本发明的效果并不限于以上提及的效果，本领域技术人员可以通过以下的记载明确理解未提及的其他技术问题。

附图说明

图1是根据本发明的一实施例的食物测量方法的流程图。

图2A是根据本发明的一实施例的餐具的立体图。

图2B是在背面或侧面附着有识别码的餐具的立体图。

图3是根据本发明的实施例的收容有食物的餐具的立体图。

图4是在图3中在一个空间堆叠有两种食物的餐具的立体图。

图5是未划分空间的餐具的立体图。

图6是为了提高判断食物类型的准确度而提供高度化的局部模型的方法的流程图。

图7是根据本发明的另一实施例的食物测量方法的流程图。

图8是用于说明背景目标的桌子的立体图。

图9是根据本发明的一实施例的食堂运营信息及用餐主体的管理信息的提供方法的流程图。

图10是根据本发明的实施例的食物测量服务器的框图。

图11是图10的管理部的详细框图。

图12是根据本发明的实施例的食物测量装置的框图。

图13至图16是根据本发明的实施例的食物测量装置的立体图。

图17是根据本发明的实施例的食物测量装置的画面。

图18是根据本发明的实施例的食物测量服务器的框图。

图19是根据本发明的实施例的用户终端的框图。

具体实施方式

参照与附图一起详细后述的实施例，则可以明确本发明的优点和特征以及达成这些的方法。然而本发明可以实现为彼此不同的多种形态，并不限于以下公开的实施例，提供本实施例仅使本发明的公开完整并用于向本发明所属技术领域中具有普通知识的人员完整地告知本发明的范围，本发明仅由权利要求的范围所定义。

本说明书中使用的术语用于说明实施例，而不是限制本发明。在本说明书中，除非在语句中特别提到，单数型也包括复数型。说明书中使用的“包含(comprises)”和/或“包括(comprising)”不排除除了所提及的构成要素之外的一个以上的其他构成要素的存在或添加。在整个说明书中，相同的附图标记指代相同的构成要素，“和/或”包括所提及的构成要素中的每一个和一个以上的所有组合。虽然“第一”、“第二”等用于叙述多种构成要素，但这些构成要素显然不受限于这些术语。这些术语仅用于将一个构成要素与另一构成要素进行区分。因此，以下提及的第一构成要素在本发明的技术思想内，显然也可以是第二构成要素。

除非有其他定义，否则本说明书中所使用的所有术语(包括技术及科学术语)可使用于能够被本发明所属技术领域的普通技术人员共同理解的含义。并且，一般所使用的词典中定义的术语不会被理想地或过度地解释，除非有特别明确地定义。

以下，参照附图对本发明的实施例进行详细说明。

在进行说明之前，将简要说明本说明书中所使用的术语的含义。但是，术语的说明用于帮助理解本说明书，因此，应注意，在未明确记载为限定本发明的事项的情况下，并非以限定本发明的技术思想的含义来使用。

参照图1至图5，对根据本发明的一实施例的食物测量方法进行说明。根据本发明的一实施例的食物测量方法借由计算机而执行，在此，计算机是指食物测量服务器100或食物测量装置200。即，拍摄借由食物测量装置200而执行，但是其他步骤可以借由食物测量服务器100或食物测量装置200而执行。

图1是根据本发明的一实施例的食物测量方法的流程图，图2A是根据本发明的一实施例的餐具的立体图，图2B是在背面或侧面附着有识别码的餐具的立体图，图3是根据本发明的实施例的收容有食物的餐具的立体图，图4是在图3中在一个空间堆叠有两种食物的餐具的立体图，图5是未划分空间的餐具的立体图，图6是为了提高判断食物类型的准确度而提供高度化的局部模型的方法的流程图。

根据本发明的实施例的食物测量方法可以在食堂的配餐区或退餐区执行，并且食堂可以是诸如自助餐厅(cafeteria)或自助餐(buffet)之类的自助食堂，可以是用户为了接收食物而移动餐具500并用餐的场所，或者可以是诸如学校、公司或军队之类的向群体提供用餐的场所。在此，食堂可以配备有接收食物或餐具500的配餐口和在用餐后丢弃剩余食物并返还餐具500的退餐口，但并不限于此。

然而，根据本发明的实施例的食物测量方法并不限于在食堂执行，尤其，并不局限于在自助餐厅执行，可以在其他类型的食堂或家庭执行，也可以在每个位置执行。

并且，为了便于说明，将利用划分有空间510的餐盘形状的餐具500进行说明，但是餐具500的形状并不限于此。

参照图1，接收部110接收通过食物测量装置200的拍摄部250而拍摄的装有食物的餐具的图像(步骤S20)。

接收部110对接收到的装有食物的餐具图像进行标准化(normalization)，标准化是指根据预定的基准(例如，尺寸、亮度、旋转、倾斜度等)对接收到的装有食物的餐具图像进行调整或变形。

拍摄部250只要能够获得图像数据和深度数据，则其构成不受限制。例如，拍摄部250可以包括RGB相机、2D相机、3D相机、飞行时间(ToF：Time of Flight)相机、光场相机(light field camera)、立体(stereo)相机、事件(event)相机、红外线相机中的至少一种，只要能够测量图像数据和深度数据，其构成不受限制。

另外，拍摄部250除了拍摄食物或装有食物的餐具之外，还可以为了识别用餐主体而拍摄用餐主体的生物信息。在此，用餐主体的生物信息可以是用餐主体的面部、虹膜或指纹，但不限于此。尽管可以在一个拍摄部250同时或单独地拍摄食物或装有食物的餐具和用餐主体的生物信息，但是也可以分离用于拍摄食物或装有食物的餐具的拍摄部250a和用于拍摄用餐主体的生物信息的拍摄部250b。

在若干实施例中，在拍摄沿着传送带270而移动的餐具500的情况下，食物测量装置200的拍摄部250即使包括单个相机，除了可以获得图像数据之外，还可以获得深度数据。这是因为，若利用单个拍摄部250来分别拍摄餐具500在传送带270上的第一位置的情形和餐具500在传送带270上移动而位于第二位置的情形，则可以获得与利用包括多个相机的拍摄部250拍摄停止的餐具500的情形相同的效果。

由于相机是识别光的装置，因此相机受到诸如光反射之类的环境的影响较多。因此，需要通过利用包括两个以上的相机的拍摄部250进行拍摄来最小化环境的影响。然而，即使利用包括两个以上的相机的拍摄部250进行拍摄，也可能受到环境的影响，因此需要对其进行校正。

因此，为了根据食堂的特性、环境进行最优化，计算机通过学习模块所拍摄的图像来学习现场的状况，并以滤波处理、固定物体及参考物体(后述的背景目标)为基准来识别环境状态。

另外，在利用根据本发明的一实施例的食物测量装置200来拍摄餐具500的情况下，与借由拍摄部250而从上侧拍摄餐具500的同时，食物测量装置200可以感测针对餐具500的识别信息530或针对用餐主体的识别信息。即，可以与餐具图像接收步骤S20同时或单独地利用食物测量装置200来识别用餐主体(步骤S21)。

具体而言，参照图2B，针对餐具500的识别信息可以包括于餐具500，例如，可以以QR码530(QR code：Quick Response code)或条形码的形态物理地包括于餐具500，除此之外，数字或字母的组合、图形、符号的组合等的多样的码形态的识别信息也可以包括于餐具500。此外，针对餐具500的识别信息可以记录在诸如RFID芯片之类的多样的半导体装置等而包括于餐具500。为此，食物测量装置200可以包括识别信息感测部251，并可以布置于食物测量装置200，以便在拍摄部250从上侧拍摄餐具500时，识别信息传感器251也同时感测针对餐具500的识别信息。

例如，如图2B所示，当QR码530位于餐具500的背面或侧面的情况下，识别信息感测部251可以以与拍摄部250面对的方式位于下侧，或者可以以沿水平方向识别QR码530的方式设置，但是识别信息感测部251的位置不限于此，只要在拍摄部250拍摄餐具500的上面时，可以同时感测餐具500的识别信息，则识别信息感测部251可以布置在多样的位置。

在若干实施例中，在餐具500的识别信息位于餐具500的上侧的情况下，食物测量装置200可以不包括单独的识别信息感测部251，并可以通过分析利用拍摄部250测量的餐具图像来确认餐具500的识别信息。

此外，针对用餐主体的识别信息可以借由认证部160而被检测，例如，可以应用利用针对用餐主体的图像拍摄而确认生物信息的面部识别、虹膜识别或指纹识别等的方式。

并且，认证部160也可以通过识别包括有由用餐主体所持有的RFID芯片的标签或包括有QR码、条形码、数字或文字的组合、图形、符号的组合等多样的码形态的识别信息的标签来感测关于用餐主体的识别信息。

在利用根据本发明的实施例的食物测量方法的情况下，可以利用所测量的结果来计算多样的信息，根据食物测量装置200能够识别针对餐具500的识别信息530和针对用餐主体的识别信息中的哪一个，计算出的信息可能存在差异。

首先，在设置于配餐区的食物测量装置200和设置于退餐区的食物测量装置200均不能识别针对餐具500的识别信息530而仅能够识别针对用餐主体的识别信息的情况下，可以利用根据本实施例的食物测量方法来计算针对各个用餐主体的信息和针对该用餐主体所属的群体的信息。

相反，在设置于配餐口的食物测量装置200和设置于退餐口的食物测量装置200均不能识别针对用餐主体的识别信息而仅能够识别针对餐具500的识别信息530的情况下，利用根据本实施例的食物测量方法不能计算针对各个用餐主体的信息，而仅能够计算针对该用餐主体所属的群体的信息。

此外，在设置于配餐口的食物测量装置200均可以识别针对餐具500的识别信息530和针对用餐主体的识别信息并且设置在退餐口的食物测量装置200不能识别针对餐具500的识别信息530而仅能够识别针对用餐主体的识别信息的情况下，即使设置在退餐口的食物测量装置200不能识别针对餐具500的识别信息530，也可以利用配餐口处的信息来指定由针对特定用餐主体所持有的餐具500的识别信息530，因此，可以利用根据本实施例的食物测量方法来计算针对各个用餐主体的信息和针对该餐主体所属的群体的信息。

另外，食物识别装置30也可以不包括单独的认证部160，而是通过食物测量装置200的输入装置(未图示)从用餐主体接收识别信息。

因此，在若干实施例中，在接收部110接收通过拍摄部250拍摄的餐具图像的步骤(步骤S520)中，接收部110接收除了餐具图像之外还可以同时接收针对餐具500的识别信息及针对用餐主体的识别信息中的至少一个。

接着，参照图1，校正部150可以执行对包括有食物的餐具图像进行校正(步骤S25)。

更详细而言，校正部150可以利用装有食物的餐具图像数据来去除噪声分量，并识别餐具图像的倾斜度并校正为水平状态的图像。如此校正的图像可以在后述的体积计算步骤S50中利用。

在食堂拍摄餐具时，可以在餐具被放置在特定位置的状态下无晃动地进行拍摄，但是也有拍摄部250拍摄在传送带270上移动的餐具500的情况，也有在用餐主体端着餐具500的状态下通过食物测量装置200拍摄餐具500的情况，并且在若干实施例中，用户端着餐具500行走的情况也可以被拍摄部250拍摄。

因此，由于餐具图像可能被拍摄得不清楚，并且可能在餐具的角度倾斜的状态下拍摄到餐具图像，所以校正部150识别餐具图像的晃动或倾斜度，选择晃动或倾斜度最小的餐具图像，并将餐具图像校正为水平状态的图像，从而能够准确地计算食物的体积。

首先，校正部150为了从标准化的餐具图像中选择晃动最小的餐具图像，可以分析标准化的多个餐具图像，例如，校正部150可以按各像素单元确认图像的模糊程度并由此选择晃动最小且清楚的餐具图像。

接着，校正部150可以以餐具图像中的餐具500未被食物遮挡而暴露的区域为对象来计算从拍摄部250到多个暴露的区域的距离，并可以利用计算出的到多个暴露的区域的距离来计算餐具图像中的餐具50的倾斜度。接着，校正部150可以利用计算出的倾斜度来校正拍摄到的餐具图像，使其成为水平状态。

具体而言，校正部150可以利用餐具图像中的深度数据来提取餐具500的形状。由于餐具图像中的餐具500和除了餐具500之外的背景在深度数据方面存在差异，因此校正部150可以利用深度信息从餐具图像中提取餐具500。

校正部150在餐具500中的未被食物遮挡而暴露的区域中确认平坦(flat)的区域，并在平坦区域中确定至少三处以上的点，并确认所确定的三处以上的点的深度数据。

在此，确认三处以上的点的深度数据是为了利用三处以上的点来生成虚拟平面并确认该平面的倾斜度，校正部150可以利用确定的三处以上的点的深度数据来计算餐具500的倾斜度，并利用计算出的倾斜度来校正拍摄到的餐具图像。

在若干实施例中，在平坦的区域中确定至少三处以上的点之后，将针对所确定的三处以上的点中的每个点的周围点的平均深度数据作为各个点的深度数据，而代替确认所确定的三处以上的点的深度数据，从而为了计算倾斜度而利用相对较多的信息，能够提高计算出的倾斜度的准确度。

在若干实施例中，在利用确定的三处以上的点的深度数据来计算餐具500的倾斜度的过程中，可以导出根据连接各个点的线的梯度(gradient)值，并由此计算餐具500的倾斜度并利用计算出的倾斜度来校正拍摄到的餐具图像。

在若干实施例中，校正部150可以从餐具图像中掌握餐具50的轮廓，并将拍摄到的餐具图像中的餐具50的轮廓与用于利用为参考图像的未倾斜的餐具图像中的餐具50的轮廓进行比较，从而可以计算拍摄到的餐具图像中的餐具50的倾斜度。接着，校正部150可以利用计算出的倾斜度来校正拍摄到的餐具图像。

并且，由于在通过接收部110接收到的装有两种食物的餐具图像数据中可能会根据现场的状况(晃动、光反射等)而产生噪声，因此可以比较两个餐具图像来去除噪声。

接着，参照图1，提取部120从装有食物的餐具图像数据中提取收容于餐具500的各个空间510的食物图像数据(步骤S530)。

更详细而言，由于餐具图像包括有餐具500的图像和食物的图像两者，因此上述步骤意味着从餐具图像中提取食物图像数据。例如，提取部120可以利用通过利用人工智能算法训练的模型来提取食物图像数据，以便区分食物和非食物。在此，在餐具500包括多个空间510的情况下，提取部120可提取各个空间510的食物图像数据。

另外，参照图5，示出了多个食物收容于未划分空间的一个餐具500的情形，但是由于餐具500内未划分空间，提取部120可能识别为包括多个食物的一个整体食物图像550。在此情况下，提取部120需要追加执行将一个整体食物图像数据分离为各个食物图像数据而提取的过程。

接着，参照图1，判断部130通过提取到的食物图像数据来判断各个食物的类型(S40步骤)。

判断部130可以利用提取到的食物图像数据来判断食物类型。例如，判断部130可以包括为了识别食物类型而基于图像学习的模型，但是判断食物类型的方法并不限于此。

在根据本实施例的食物测量方法中，为了提高食物类型的识别率，可以通过以下方式将利用人工智能算法学习的模型针对利用食物测量方法的个别对象进行最优化。个别对象可以是例如个别食堂或个别用餐主体，但不限于此。

首先，参照图6，接收部110接收用于对从食堂或用餐主体等个别对象学习的模型进行最优化的最优化信息(S31步骤)。

作为用于进行最优化的对象的学习模型是主模型(master model)，主模型是以如下方式进行学习的模型：将由食物测量装置200或用户终端300拍摄到的图像数据或被处理的结果作为数据集来区分食物类型。

由于主模型是将食物测量方法中所利用的所有拍摄到的图像数据或被处理的结果作为数据集来构建的模型，因此为了判断特定的食物图像数据的类型，主模型将掌握在数十、数百、数千种食物类型的类中对应的特定食物图像数据是哪种食物类型。

对主模型进行最优化是减少为了掌握特定的食物图像数据的食物类型而需要考虑的食物类型的类的情况数。为此，可以获取针对食堂或用餐主体等个别对象的最优化信息。

即，接收部110可以接收针对个别对象的最优化信息。作为最优化信息，可以是例如由个别食堂销售或提供的菜单信息或个别用餐主体经常摄取的食物类型等的由各个个别对象摄取或由利用个别对象的用餐主体摄取的概率较高的食物类型的信息。

接着，参照图6，判断部130基于最优化信息在主模型中对类进行最优化来计算局部模型(步骤S32)。

判断部130基于最优化信息选定与对应的个别对象相关度较高的食物类型的类，并以将主模型中考虑的食物类型的类缩小为与该个别对象相关度较高的食物类型的类的方式对主模型的类进行最优化，从而计算出针对对应的个别对象的局部模型。

接着，参照图6，判断部130通过利用与个别对象相关的图像数据进行学习而对局部模型进行高度化(步骤S33)。

判断部130可以利用与个别对象相关的图像数据或与个别对象相关的处理结果来对计算出的局部模型进行学习，从而可以对局部模型进行高度化。

在此，与个别对象相关的图像数据可以是对在作为个别对象的个别食堂内拍摄的图像数据或对在个别食堂内拍摄的图像数据进行处理的结果，或者是对由作为个别对象的个别用餐主体而拍摄的图像数据或对由个别用餐主体拍摄的图像数据进行处理的结果。

另外，在判断部130通过利用与个体对象相关的图像数据或与个体对象相关的处理结果对计算出的局部模型进行学习来对局部模型进行高度化的过程中，判断部130可以在利用人工智能算法进行学习的过程中改变学习参数、学习周期等多样的变量而进行学习，并利用所进行的学习方式中具有最高准确度的学习方式来进行高度化过程。

接着，参照图6，判断部130可以提供高度化的局部模型，利用该高度化的局部模型，判断部130通过所提取的食物图像数据来判断各食物的类型，从而能够提高准确度(步骤S34)。

在若干实施例中，作为先行的步骤，还可以包括接收部110接收由食堂提供的食物列表信息的步骤(步骤S10)。

在此情况下，在判断食物类型的步骤(步骤S40)中，判断部130也可以通过将所提取的食物图像数据与食物列表信息进行匹配来确定各食物的类型。

如此，判断部130可以通过分析食物图像数据来自主地判断食物的类型，也可以通过与存储的食物列表信息进行匹配来判断食物的类型，并且判断食物的类型的方式不限于此。

接着，参照图1，计算部140利用所提取的食物图像数据的按像素的高度信息(即，三维距离数据)来计算各食物的体积(步骤S50)。

如上所述，由于餐具图像是通过可获取深度数据的拍摄部250而拍摄的，因此食物图像数据包括作为深度数据的按像素的高度信息(三维距离数据)，并可以利用该高度信息来计算各食物的体积。

拍摄部350，在此，计算机包括数据库170，在所述数据库170存储有餐具图像及包括针对形成在餐具500的多个空间510的尺寸、深度及容量的餐具信息。

并且，体积计算步骤(步骤S50)还可以包括如下步骤：校正部150对利用包括收容有各食物的空间510的尺寸、深度和容量的餐具信息来计算出的食物的体积进行校正。

由于各个空间510的深度根据餐具500的类型而不同，因此校正部150利用餐具信息时可以更准确地判断食物堆积的程度。由于根据本实施例的计算机的数据库170中存储有针对食堂所使用的餐具500的数据，因此利用根据本实施例的食物测量方法时可以利用餐具信息更准确地计算出所提取的各食物的体积。

例如，在收容于餐具500内的特定的空间510的食物的类型被判断部130判断为液体的情况下，计算部140可以利用液体和对应的空间510相接触的位置和包括对应空间510的尺寸、深度及容量的餐具信息来计算液体的体积。

若在特定的空间510收容诸如“汤”之类的液体形态的食物，则必然会产生“汤”和对应的空间510在一定的高度相接触的部分。计算部140利用该信息来识别在餐具图像中液体形态的食物与对应的空间510相接触的位置，并利用对应的空间510的餐具信息(尺寸、深度、容量)来计算食物的体积。

例如，图3所示的“A”区域中示出了“汤”和空间510相接触的部分，并且计算部140可以通过如图像数据内的“A”区域的部分来确认液体和收容有液体的空间510相接触的位置。并且，计算部140可以通过利用餐具信息(例如，容量)而计算直至“A”区域的高度为止的体积来计算出“汤”的体积。

在若干实施例中，如图5所示，可以对未划分空间的一个餐具500执行追加校正。在体积计算步骤中，在判断为在食物图像数据中多个食物收容于一个餐具500内的未划分空间的情况下，计算部140向提取部120请求多个食物中的每一个的图像数据，并计算各个食物的体积。

并且，计算部140可以利用所提取的全部食物图像数据来计算全部食物的体积，并且可以将在体积计算步骤中计算出的各食物的体积的总和与通过全部食物图像数据而计算出的体积进行比较，从而可以校正各食物的体积。

在若干实施例中，体积计算步骤(步骤S50)还可以包括计算堆叠的食物的体积的步骤(步骤S51)。

更详细而言，在餐具500内的特定的空间510可以堆叠有多个食物。因此，在识别出在餐具500内的特定的空间510堆叠有彼此不同的食物的情况下，计算部140利用位于上侧的食物的图像数据、计算出的体积信息以及对应的空间510的尺寸、深度及容量信息来计算位于下侧的食物的体积。

图4是示出在餐具中收容有米饭的空间510中在米饭的上方堆叠有煎蛋的图。计算部140通过餐具信息和煎蛋的图像数据来计算煎蛋的大小和体积。

并且，计算部140可以通过煎蛋的大小和体积信息来预测收容于该空间510的米饭的高度，与此同时，利用餐具信息来计算收容于该空间510的米饭的体积。

具体而言，计算位于下侧的食物(例如，米饭)被位于上侧的食物(例如，煎蛋)遮挡的面积，并利用位于下侧的食物(例如，米饭)中未被位于上侧的食物(例如，煎蛋)遮挡的区域的高度来计算被位于上侧的食物(例如，煎蛋)遮挡的区域的高度，从而计算位于下侧的食物(例如，米饭)被位于上侧的食物(例如，煎蛋)遮挡的区域的体积。

为此，位于下侧的食物(例如，米饭)被位于上侧的食物(例如，煎蛋)遮挡的区域的高度可以被设定为位于下侧的食物(例如，米饭)未被位于上侧的食物(例如，煎蛋)遮挡的区域的高度的平均值，但不限于此。

在若干实施例中，在计算机的数据库170可以预先存储有针对堆叠在其他食物的上侧的食物的数据(例如，煎蛋、鱼、紫菜等)。例如，可以作为主要堆叠在食物的上侧的食物的数据而包括体积数据或重量数据，由此，计算部140也可以快速地计算出堆叠在上侧的食物的体积。

另外，体积计算步骤(步骤S50)还可以包括校正部150对餐具图像内与餐具一起拍摄的噪声分量进行校正的步骤(步骤S52)。即，校正部150在装有食物的餐具图像数据内检测不是食物但具有体积的噪声分量，并在计算各食物的体积的步骤中，还可以包括执行从计算出的食物的体积中排除检测到的噪声分量的体积的校正步骤。

在此，噪声分量是指不是食物而具有体积的物体，并且由于噪声分量的体积，食物的体积可以被计算为大于实际体积。因此，为了准确地计算食物的体积，校正部150可以在拍摄图像内识别噪声分量并执行在由计算部140计算出的食物的体积中排除对应的噪声分量的体积的校正。

例如，手或餐具类(例如，勺筷、叉子、刀具等)可以是不是食物而具有体积的噪声分量，此外，乳制品的盖子等也可以对应于此，但并不限于此。例如，在计算机的数据库170可以预先存储有针对对应于噪声分量的对象的噪声信息，并且校正部150可以在所拍摄的图像内识别噪声分量并执行从由计算部140计算出的食物的体积中排除对应的噪声分量的体积的校正。

作为一示例，在校正噪声分量的步骤中，校正部150可以执行在餐具图像中识别针对用户的手的图像并在由计算部140计算出的食物的体积值中排除手的体积值的校正。具体而言，可以在用户端着餐具500的状态下借由食物测量装置200而拍摄餐具500，并且可能因拿着餐具500的手的图像数据而导致计算食物的体积发生错误，因此校正部150可以执行从通过装有食物的餐具图像数据而计算出的食物的体积值中排除诸如手的身体部位的体积值的校正，从而可以在食物的体积计算步骤(S50)中提高准确度。

作为一实施例，校正部150可以预先学习针对空餐具500和勺筷的图像数据，从而在餐具图像内包括勺筷的情况下，校正部150可以识别此情况并执行排除勺筷的体积值的校正。

更详细而言，校正部150检测装有食物的餐具图像数据内是否存在用户的手或餐具类。并且，在餐具图像内包括有用户的手或餐具类的情况下，可以从通过装有食物的餐具图像数据而计算出的食物的体积值中排除用户的手或餐具类的体积值。

由于上述的校正部150的构成和操作，根据本发明的实施例的食物测量方法在在执行后续步骤时将发挥能够提高准确度的效果。

接着，参照图1，计算部140利用在步骤S50中计算出的各食物的体积信息和食物信息来计算包括各食物的重量的用餐信息(步骤S60)。

计算机的数据库170中存储有包括按食物的单位体积的重量、按各食物的单位重量的卡路里信息、按各食物的单位重量的营养成分信息的食物信息。

根据食物的类型，单位体积的重量不同，热量(卡路里)也彼此不同。因此，在本发明的实施例中，包括按各食物的单位体积的重量的食物信息存储在数据库170中，并且计算部140利用该食物信息从食物的体积信息计算食物的重量。

利用该重量信息，在重量计算步骤(步骤S60)之后，计算部140可以利用计算出的各食物的重量信息来计算收容于用户的配餐餐具的食物的卡路里，此外，可以计算用户摄取的营养成分信息，并且可以基于食物或包括于食物的营养成分来计算诸如过敏注意事项之类的附加特殊信息。

此外，计算部140可以利用食物的类型和各食物的体积或重量来计算针对对应的食物的价格信息。

计算部140可以将包括于上述的用餐信息的信息提供给食物测量装置200的显示部210或用户终端300的显示部310。在下面说明提供给显示部210、310的画面的UI。

例如，计算部140可以使在配餐口的显示部210或310显示的信息与在退餐口的显示部210或310显示的信息不同。例如，在配餐口的显示部210或310可以显示针对食物类型的信息、针对卡路里的信息、营养成分信息、过敏信息及价格信息等，在退餐口的显示部210或310在上述信息之外可以追加显示针对实际摄取量的信息。然而，借由计算部140而计算出的用餐信息并不限于此，可以利用拍摄到的信息或存储在数据库170的信息来无线地显示多样的信息。

据此，用餐主体可以根据所提供的价格信息，以现金、卡、转账、QR码标注、RFID标注、面部识别等的方式，通过食物测量装置200的结算部240或用户终端300来进行结算。

作为一实施例，尽管在食堂可以配备有可测量餐具500重量的重量测量装置(未图示)，但是并不限于此，还可以包括如下步骤：接收部110接收由配备于食堂的重量测量装置(未图示)测量的配餐餐具500的重量信息；以及校正部150通过将在步骤S560中计算出的各食物的重量和空餐具的重量的总和与所述接收到的重量信息进行匹配来校正各食物的重量。

上述的校正步骤可以被选择性地采用并使用，并且由于在测量重量的过程中可能因用户的手或各种因素而导致测量的重量与实际重量不同，因此在重量信息测量得不同并超过阈值的程度的情况下，可以不执行校正步骤。

以下，参照图7及图8，对作为食物测量装置200而利用用户终端300的根据另一实施例的食物测量方法进行说明。然而，以与根据本发明的一实施例的食物测量方法的不同之处为主进行说明，对于相同的内容将省略说明。图7是根据本发明的另一实施例的食物测量方法的流程图，图8是用于说明背景目标的桌子的立体图。

根据本发明的另一实施例的食物测量方法借由计算机而执行，在此，计算机是指食物测量服务器100或用户终端300。即，拍摄借由用户终端300而执行，但是其他步骤可以借由食物测量服务器100或用户终端300而执行。

在此，用户终端300是可移动的便携式终端，并且设置有与食物测量方法相关的服务应用程序。用户终端300可以获取图像数据和深度数据。为此，用户终端300可以包括RGB相机、2D相机、3D相机、飞行时间(ToF：Time of Flight)相机、光场相机(light fieldcamera)、立体(stereo)相机、事件(event)相机、红外线相机中的至少一种。

例如，用户终端300是诸如计算机、超移动PC(UMPC：Ultra Mobile PC)、工作站、上网本(net-book)、个人数字助理(PDA：Personal DigitalAssistants)、便携式(portable)计算机、网络平板电脑(web tablet)、无线电话(wireless phone)、移动电话(mobilephone)、智能电话(smart phone)、电子书(e-book)、便携式多媒体播放器(PMP：portablemultimedia player)、便携式游戏机、导航(navigation)装置、黑盒(blackbox)或数码相机(digitalcamera)之类的电子装置中的一种，可以包括可安装并可运行与食物测量服务器100或食物测量装置200相关的食物测量应用的所有用户装置。

首先，参照图7，接收部110接收通过用户终端300的拍摄部350而拍摄的餐具图像(步骤S20)。

在此，可以根据设置在用户终端300的服务应用程序的拍摄请求来拍摄食物，并且服务应用程序可以通过图像或声音向用户提供针对食物拍摄方法、角度等的指南。

作为一实施例，服务应用程序可以请求以彼此不同的角度拍摄食物两次以上。在不利用3D相机或ToF相机的情况下，若在彼此不同的角度拍摄食物两次以上，则可以通过将两张以上的装有食物的餐具图像数据进行比较来获取深度数据。并且，即使深度数据的获取不是目的，在拍摄两次以上的情况下，在后续的计算和校正步骤中具有提高准确度的效果。

接着，参照图7，校正部150可以执行餐具图像校正(步骤S25)。

作为一实施例，在餐具图像接收步骤(S10步骤)中，当通过用户终端300的拍摄部350拍摄食物时，可以接收通过用户终端300的陀螺仪传感器(未图示)测量的用户终端300的倾斜度信息。校正部150可以利用用户终端300的倾斜度信息来校正所拍摄的装有食物的餐具图像数据的倾斜度。

根据本发明的实施例，在用户握持用户终端300并通过拍摄部350拍摄食物的过程中，可能发生一定角度的倾斜，因此可以执行上述步骤，以将装有食物的餐具图像数据校正为水平状态。

接着，参照图7，提取部120从装有食物的餐具图像数据中提取收容于餐具500的空间510的食物图像数据(步骤S30)。

由于通过用户终端300拍摄的餐具图像中并非仅包括食物，因此为了准确地计算体积，在本步骤中从图像中仅提取食物图像数据。

提取部120可以利用从背景识别食物并提取的功能而从背景准确地提取食物，并且在包括两个以上的食物的情况下，可以分别分离并提取两个以上的食物的图像数据，在该过程中，可以利用通过使用人工智能算法而学习的模型。

接着，参照图7，判断部130通过所提取的食物图像数据来判断各食物的类型(S40步骤)。

判断部130利用通过使用人工智能算法而学习的模型来判断提取部120提取的各食物图像数据的食物类型。在若干实施例中，在输出具有相似的准确度的多个判断结果的情况下，判断部130可以在用户终端300输出多个判断结果，并使用户通过用户终端300的服务应用程序输入或选择合适的结果。

接着，参照图7，计算部140利用所提取的食物图像数据的按像素的高度信息(即，三维距离数据)来计算各食物的体积(步骤S50)。

体积计算步骤(S50步骤)可以包括体积校正步骤(S53)。作为一实施例，在体积校正步骤(S53步骤)中，为了校正体积，可以利用背景目标。

在体积校正步骤(步骤S53)中，判断部130可以识别包括在接收到的餐具图像内的背景目标，校正部150可以基于识别出的背景目标的尺寸信息、位置信息来校正在步骤S50中计算出的各食物的体积。

参照图8，校正部150可以将背景目标和各食物的高度信息进行比较来执行各食物的体积的校正，也可以将背景目标和各食物的尺寸信息进行比较来执行各食物的体积的校正。

在此，背景目标作为通过拍摄部350与食物一起被拍摄或单独被拍摄，可以利用收容有食物的餐具500、桌子540、勺筷、用户的手指等。然而，本发明不限于此，只要是具有普通尺寸的对象，背景目标可以能够适用任何对象。例如，背景目标可以是诸如硬币、钞票、智能电话(按产品类型)等的其大小被确定的任何对象。

在若干实施例中，背景目标可以通过用户终端300的拍摄部350单独拍摄并且其尺寸信息预先存储于数据库170。据此，校正部150可以基于背景目标的尺寸或高度从提取的食物图像数据中以较高的准确度预测食物的体积。

作为第一示例，服务应用程序可以使用户通过拍摄部350在预定距离拍摄用户的手。或者，服务应用程序也可以实际测量用户的手/手指的实际尺寸并进行输入。

并且，接收部110分析拍摄用户的手的图像，并将针对用户的手的实际尺寸的信息存储在数据库170。

然后，若判断部130识别出用户的手包括在接收到的餐具图像中，则可以将用户的手设定为背景目标，并且校正部150可以基于背景目标的位置信息和尺寸信息来校正由计算部140计算出的各食物的体积。

作为第二示例，服务应用程序可以使用户通过拍摄部350在预定距离处拍摄在家中使用的餐具500、桌子540、勺筷等。此时，桌子540可以指用户布置餐具500并用餐的餐桌或饭桌。

具体而言，计算机可以分析通过用户终端300的拍摄部350而拍摄的针对用户在家中使用的餐具500的图像，并将包括针对对应的餐具500的尺寸、深度及容量信息的餐具500信息存储在数据库170中。

更详细而言，由于在通过根据本发明的实施例的用户终端300的拍摄部350拍摄的图像存储有按像素的高度信息，因此当计算部140接收到关于空餐具500的图像数据时，可以利用餐具的图像数据的按像素的高度信息来计算针对餐具的尺寸、深度及容量信息，并将这些信息作为餐具信息存储在数据库170中。

并且，作为食物图像的分析结果，在食物中存在收容于所述餐具500的食物的情况下，计算部140利用收容有对应的食物的餐具500的尺寸、深度及容量信息来执行计算出的各食物的体积的校正。

如上所述，若已知对应的餐具500的尺寸、深度及容量信息，则可以执行校正步骤而获得更准确的结果。

在若干实施例中，服务应用程序可以请求用户实际测量餐具500、桌子540、勺筷等的实际尺寸并输入到用户终端300(例如，桌子540的水平长度、垂直长度或周长信息)。

作为第三示例，将说明利用与食物不相关的背景目标的情况。例如，用户可以将500元硬币(本说明书中均表示韩元)与食物图像一起拍摄，并可以通过服务应用程序输入作为背景目标一起拍摄了500元硬币。

因此，判断部130识别包括在所接收的包含食物的餐具图像内的500元硬币(背景目标)，并且校正部150基于500元硬币(背景目标)的尺寸信息而对计算的各食物的体积进行校正。

如此，由于大多数人通常使用而其尺寸已确定的对象可以用作背景目标，因此用户可以容易地将周围对象与食物一起拍摄，使得校正部可以校正各食物的体积。

并且，可以通过以多样的方式利用位置信息(食堂、食堂等)、天气信息(紫外线、食物类型减少)、用户的状态信息(减肥期间、运动期间、治病期间、用药期间等)、个人偏好信息及周围设备信息来校正体积，从而可以提高准确度。

作为第四示例，计算机可以存储通过多个用户的用户终端300拍摄的图像数据和通过对应的图像数据计算的信息、针对与拍摄对应图像的场所匹配的食堂的信息而构建大数据。

例如，当A用户在B食堂订购C菜单并通过用户终端300拍摄C菜单时，将判断包括在C菜单的食物的类型并计算各食物的体积，计算机将这样的信息存储在数据库170中并用作大数据。

并且，通过特定用户的用户终端300接收食物图像数据，将拍摄食物图像的位置信息和判断出的食物的类型与计算机内的数据库170的数据进行匹配，从而可以检测匹配到的明细的先前计算结果，并且利用该结果可以校正计算出的各食物的体积信息。

例如，在D用户在与B食堂匹配的位置拍摄食物并发送食物图像数据的情况下，将位置信息与大数据进行匹配并判断为D用户位于B食堂，并且查询与所订购的菜单匹配的先前结果数据并执行针对计算出的体积信息的校正。

关于此，也可以应用于相反的情况。更详细而言，首先存储针对食物的数据，并且当用户在食堂结账时，若知道用户订购了什么食物，则可以反向检索存储的数据来记录体积和营养信息。

综上所述，服务应用程序可以在借由用户终端300的拍摄时请求用户在拍摄食物之前以图像或声音拍摄背景目标，或者可以请求用户与食物一起拍摄背景目标。并且，判断部130可以识别接收到的背景目标，校正部150可以基于背景目标的位置信息和尺寸信息来校正由计算部140计算出的各食物的体积。

接着，参照图7，计算部140利用在步骤S50中计算出的各食物的体积信息和食物信息来计算包括各食物的重量的食物信息(步骤S60)。

计算机可以利用上述的根据本发明的实施例的食物测量方法来测量在食堂或家庭中用餐的各用餐主体的配餐量(指用餐前食物量)和剩餐量，并可以利用配餐量和剩餐量来计算用餐量。

并且，计算机可以利用在食堂或家庭用餐的用餐主体的配餐量、剩餐量、用餐量来生成食堂的运营信息、用餐主体的管理信息，作为用餐主体的管理信息，例如可以包括用户的营养状态、饮食习惯、偏食与否等。

以下，参照图9，对根据本发明的一实施例的食堂运营信息及用餐主体的管理信息提供方法进行说明。图9是根据本发明的一实施例的食堂运营信息及用餐主体的管理信息的提供方法的流程图。

首先，参照图9，接收部110获取通过配备于配餐口的配餐口拍摄部250或用户终端300的拍摄部350而拍摄的用餐前餐具数据(用餐前餐具图像数据)，计算部140利用该数据计算用餐主体的配餐量(步骤S110)。详细的说明与通过图1至图8进行的说明相同，可以同时执行针对用餐主体的识别步骤(步骤S120)。在此，用餐前餐具是指在用餐前的用餐主体的餐具500装有食物的状态的餐具500。

接着，参照图9，获取通过配备于退餐口的退餐口拍摄部250或用户终端300的拍摄部350而拍摄的用餐后餐具数据(用餐后餐具图像数据)，计算部140利用该数据计算用餐主体的剩餐量(步骤S120)。详细的说明与通过图1至图8进行的说明相同，可以同时执行关于用餐主体的识别步骤(步骤S120)。在此，用餐后餐具是指用餐后的用餐主体的餐具500。

接着，参照图9，计算部140利用计算出的配餐量和剩餐量来计算对应用餐主体的用餐量(步骤S130)。

通过步骤S110至S120，计算机可以计算用餐主体所分配到由食堂提供的各食物菜单的配餐量和用餐之后剩余的剩餐量以及摄入量(食物量)，从而可以确保针对用餐主体摄入了多少饭和菜、剩了多少的量等的信息。

并且，根据本发明的实施例的计算机为了提高食物量计算的准确度可以执行以下操作。

作为一实施例，计算部140执行通过上述步骤计算出的用餐主体的用餐量与剩餐量之和是否与配餐量一致的验证，根据验证结果得出不一致的情况下，计算部140校正通过上述步骤而计算出的用餐量、剩餐量及配餐量中的至少一个，使得用餐量与剩餐量之和与配餐量一致，并将根据此而生成的结果记录到数据库170。

并且，计算部140执行通过上述步骤而计算出的食堂用餐主体的用餐量的总和与剩餐量的总和之和是否与配餐量的总和一致的验证，根据验证结果得出不一致的情况下，计算部140可以校正通过上述步骤而计算出的用餐量的总和、剩餐量的总和及配餐量的总和中的至少一个，使得用餐量的总和与剩餐量的总和之和与配餐量的总和一致，并将根据此而生成的结果记录到数据库170。

并且，计算部140执行通过所述步骤而计算出的食堂用餐主体的用餐量的总和及剩餐量的总和是否与配餐量的总和一致的验证，并记录到数据库170。更详细而言，计算部140验证在食堂用餐的用餐主体的配餐量的总和与剩餐量的总和的差值是否与用餐量的总和一致。

并且，计算部140可以通过将在食堂中准备的食物量的总和与在食堂中产生的剩餐量的总量、在食堂中产生的剩余食物量的总量以及对应食堂的用餐主体的用餐量的总和之和进行比较来执行验证，并且根据验证结果而产生差异的情况下，计算部140可以校正剩餐量的总量、剩余食物量的总量及用餐量的总和中的至少一个，使得在食堂中产生的食物量的总和与在食堂中产生的剩餐量的总量、在食堂中产生的剩余食物量的总量及对应食堂的用餐主体的用餐量的总和之和一致，例如，可以校正用餐量，并将根据此而生成的结果记录到数据库170。

在此，剩餐量可以是分配给用餐主体而用餐主体用餐后剩下的食物的量，剩余食物量可以是未分配给用餐主体而剩下的食物的量，剩余食物量可以通过所述步骤而计算，或者通过单独的方法而计算。

并且，在数据库170可以存储有由食堂为每次配餐而准备的食物量的总重量、剩余食物量的总体积(重量)及剩餐量的总重量的测量结果，并且计算部140将准备的食物量的总体积(重量)与剩餐量的总体积(重量)、剩余食物量的总体积(重量)及通过上述步骤而计算出的食堂用餐主体的用餐量的总和之和进行比较而执行验证，并且根据验证结果而产生差异的情况下，计算部140可以校正通过上述步骤而计算出的用餐主体的用餐量的总和，使得在食堂中准备的食物量的总和与在食堂中产生的剩餐量的总量、在食堂中产生的剩余食物量的总量及对应食堂的用餐主体的用餐量的总和之和一致，并将根据此而生成的结果记录到数据库170。

如此，计算部140可以利用各种信息来执行验证并记录根据计算/校正的准确度，从而能够掌握问题并改善。

例如，在数据库170可以存储有由食堂为每次配餐而准备的食物量的总体积(重量)和剩餐量的总体积(重量)的测量结果，并且计算部140可以将准备的食物量的总体积(重量)和剩餐量的总体积(重量)之间的差值与通过上述步骤而计算出的食堂的用餐主体的食物量的总和进行比较来执行验证，并记录到数据库170(例如，若在食堂准备的A菜单的总体积是200并且A菜单被全部分配且没有剩余量，则分配给用餐主体的A菜单的总体积应该接近200)。

另外，为了计算准确的用餐量，需在用餐前和用餐后进行拍摄，但可能会发生用户因失误未在用餐后进行拍摄的情况。

因此，计算部140接收在用餐前装有食物的餐具图像数据后，在超过预先设定的时间的状况下，在未拍摄及未接收到用餐后餐具图像数据的情况下，判断为未进行用餐后餐具图像数据的拍摄，并计算用户的预计用餐量。

例如，计算部140可以认为用户没有留下剩餐并计算出用户的预计用餐量，也可以通过存储在数据库170的用户的平均用餐量、状态信息(减肥、增肥中、运动中等)、饥饿程度、针对包括在用餐前食物图像的菜单的用户的喜好度、菜单的味道信息等来计算出用户的预计用餐量并存储在数据库170。

接着，参照图9，计算机的管理部180基于登记在食堂的用餐主体的配餐量、剩餐量及用餐量而生成食堂的运营信息(步骤S140)。

接着，参照图9，计算机的管理部180基于登记在食堂的用餐主体的配餐量、剩餐量及用餐量而生成各个用餐主体的管理信息(步骤S150)。

步骤S140是指生成有助于食堂的运营的运营信息。

更详细而言，管理部180的配餐量调节模块181利用为配餐而在食堂准备的总配餐准备量、完成配餐的用餐主体的配餐量的总和以及剩余用餐主体的人数的信息来计算出剩余用餐主体的人均目标配餐量，并提供给食堂管理食堂管理员装置(未图示)。

此时，食堂管理员指在食堂内设计食谱并直接向用餐主体执行配餐的负责人，在食堂的食堂管理员前面可以与要分配的料理一起设置有诸如显示装置30之类的食堂管理员设备。

因此，若配餐量调节模块181向食堂管理员显示器提供针对剩余用餐主体的人均目标配餐量的信息，则食堂管理员可以利用该信息来调节关于剩余用餐主体的配餐量。

在本发明的实施例中，食堂管理员可以指如上所述的在食堂内直接向用餐主体执行配餐的负责人，也可以指管理食堂的管理员或食堂的营养师。

通过如上所述的构成，若配餐准备量相比于剩余用餐主体的人数剩剩的较多，则可以提高针对剩余用餐主体的人均目标配餐量，从而可以获得减少食物垃圾的效果。

并且，若配餐准备量相比于剩余用餐主体的人数相比不足，则可以减少针对剩余用餐主体的人均目标配餐量，从而能够获得防止因食物不足而产生不能用餐的人员(用餐主体)的效果。

作为一实施例，运营信息生成步骤(步骤S140)可以包括如下步骤：由配餐组管理模块183检查各配餐人员的所属关系，按所属关系存储配餐量、剩餐量及用餐量，并利用此来生成包括按各所属关系的喜好食物、不喜好食物、剩餐量、营养状态中的至少一个的按所属关系的信息；以及将天气、星期和按所属关系的日程信息与所述按所属关系的信息进行匹配来提取针对此的关联性信息。

此时，配餐人员的所属关系在公司的情况下可以指公司、集团、小组等，在学校的情况下可以指系、班等，在军队的情况下可以指军团、师团、连队、大队、中队、小队、分队。

并且，按所属关系的日程信息在公司的情况下可以指季度、正在进行的项目及事业，在学校的情况下可以指学期、考试期间等，在军队的情况下可以指各种训练期间等。

因此，根据本发明的实施例，可以根据用餐主体的所属关系而利用针对喜好食物和不喜好食物的信息来掌握按所属关系的食物的偏好，并可以配备针对后续配餐菜单的准确的指导。

并且，管理员可以按所属关系而掌握剩餐量和营养状态。

并且，通过将天气、星期和按所属关系的日程信息与按所属关系的信息进行匹配而提取关联性信息，从而管理员能够根据天气、星期而确认用餐主体的食欲或食物偏好的变化，并且在军队的情况下，能够根据各种训练日程而掌握军人的用餐量等是如何变化的。

管理员利用如上所述的信息根据军队所属关系和训练日程而适当地调节配餐菜单和配餐量，从而能够向进行训练日程的军人提供适当的配餐。

作为一实施例，在运营信息生成步骤(步骤S140)中，在按食堂配餐量相似，但剩餐量存在预定量以上的差异的情况下，管理部可以判断为剩餐量较小的食堂的食材等级和烹饪方法优异，并可以将对应食堂的食材供应信息和食物的烹饪方法提供给其他食堂的食堂管理员设备。

例如，若在两处或其以上的食堂中的食物菜单和配餐量相似，但剩餐量存在较大的差异，则可能表示指剩餐量较少的食堂的食材等级较高且烹饪方法优异，而剩餐量较多的食堂的食材等级较低且烹饪方法较差。

因此，通过管理部向其他食堂的食堂管理员设备提供产生较少剩餐量的食堂的食材供应信息和食物的烹饪方法，从而起到提高食堂的质量的效果。

作为一实施例，管理信息生成步骤(步骤S150)包括如下步骤：用餐主体管理模块185利用各用餐主体的身体信息、配餐量、剩餐量及用餐量来生成各用餐主体的包括有喜好食物、不喜好食物、平均剩餐量、营养状态、平均用餐量中的至少一个的按对象的信息。

并且，包括如下步骤：用餐主体管理模块185利用所述按对象的信息来计算各用餐主体的体力管理信息、肥胖风险度，在未设定为减肥状态的用餐主体的用餐量在预定时间内减少至预定量以下或者剩餐量在预定时间内增加至预定量以上的情况下，将对应用餐主体设定为注意对象。

例如，由于大部分军人进行规律的生活和日程，因此需要稳定地接受营养状态，若没有私人问题，则大部分情况下维持恒定的用餐量。但是，在因发生私人问题而积极性下降且状态不好的情况下，可能在用餐量中表现出这种情况，因此可以利用这种情况早期发现每个人的问题。

因此，在未设定为减肥状态的用餐主体的用餐量在预定时间内减少至预定量以下的情况下，用餐主体管理模块185判断为对应用餐主体发生问题而食欲下降，并将对应用餐主体设定为注意对象。

并且，在未设定为减肥状态的用餐主体的剩餐量在预定时间内增加至预定量以上的情况下，用餐主体管理模块185判断为对应用餐主体被分配的食物量为与之前相似的水平，但因食欲下降而减少用餐量，从而剩餐量增加，并将对应用餐主体设定为注意对象。

如上所述，用餐主体管理模块185对每个用餐主体进行管理，并将怀疑发生问题的用餐主体设定为注意对象，从而具有如下效果：在如军队等场所，能够对如关心士兵之类的人员发生事故之前早期发现危险征兆，从而能够准备管理员进行咨询等的对策。

除此之外，由于用餐主体管理模块185生成包括各用餐主体的营养状态和平均用餐量等信息的按对象的信息，因此管理员利用如上所述的信息不仅能够确认按所属关系的特征和状态，还能够确认每个人的特征和状态。

作为一实施例，运营信息生成步骤(S140步骤)包括如下步骤：计算用餐主体的平均喜好食物、不喜好食物、用餐量，配餐菜单推荐模块187利用该计算结果导出食堂的一个以上的推荐菜单和配餐准备量，并提供给食堂管理员设备。

在每天至少进行1、2次以上的配餐的食堂中，每天考虑用餐主体的偏好和营养状态来制定配餐菜单对于食堂管理员来说是非常棘手的业务。

甚至，若考虑营养状态，则与用餐主体的偏好(喜好食物)不符，从而产生较多剩餐(食物垃圾)，若按照用餐主体的偏好来匹配，则存在难以匹配营养状态的问题。

因此，配餐菜单推荐模块187计算出用餐主体的平均喜好食物、不喜好食物、按食物菜单的用餐量，并利用此与推荐菜单一起导出配餐准备量而提供，从而具有使食堂管理员、管理员有助于管理食堂的效果。

并且，为了实现这样的算法，在计算机的数据库170存储有按食物的相关度。例如，在A、B、C的食物的相关度较高且对应食堂的用餐主体喜好B食物的情况下，可以判断为A和C食物也被喜好的可能性较高。

此时，配餐菜单推荐模块187可以利用以下说明的食物菜单的喜好信息、味道评估分数来导出推荐菜单。

作为一实施例，管理部180的配餐菜单评估模块189的特征在于，可以基于配餐量、剩餐量及用餐量来生成运营信息及管理信息，并可以利用分配到的食物中的每一个的配餐量的变化量和剩餐量的变化量来评估各个食物菜单的喜好度及分配到的食物本身的味道评估分数。

在计算机的数据库170存储有针对由食堂配餐的食物的配餐量的基准值。在用餐主体接受配餐时通过食物的外观或气味等而认为很美味的情况下，增加配餐量，或者在相反的情况下，减少配餐量，并且在用餐的过程中认为食物没有味道的情况下，将剩下较多的对应食物。

上述的构成利用如上所述的特征来评估分数，更详细而言，根据如下的基准来进行判断。

第一，在特定食物的配餐量大于基准值且剩餐量小于基准值的情况下，配餐菜单评估模块189可以提高对应食物菜单的喜好度并提高被分配的对应食物本身的味道评估分数。

在此情况下，这意味着在配餐员(用餐主体)接受配餐的过程中通过肉眼看到食物，并且由于食物是自身喜欢的食物，因此增加了对应食物的配餐量，并且在用餐时判断为食物是美味的，从而判断为对应食物被完全摄取或剩下较少的对应食物。

因此，配餐菜单评估模块189将对应食物菜单的喜好分数评估为高，并且还将被分配的对应食物的味道评估分数评估为高，从而评估为正确地进行了食材的选择或食物的烹饪。

第二，在特定食物的配餐量大于基准值且剩餐量大于基准值的情况下，配餐菜单评估模块189可以提高对应食物菜单的喜好度并降低被分配的对应食物本身的味道评估分数。

在此情况下，这意味着在配餐员接受配餐的过程中通过肉眼看到食物，并且由于食物是自身喜欢的食物，因此增加了对应食物的配餐量，但是在用餐时判断为食物的味道与自身所期望的味道不同或没有味道，因此剩下较多的对应食物，从而判断为剩餐量大于基准值。

因此，配餐菜单评估模块189可以提高关于对应食物菜单的喜好分数，但是将被分配的对应食物本身的味道评估分数评估为低，从而评估为食材的选择或食物的烹饪没有被适当地进行。

第三，在特定食物的配餐量小于基准值且剩餐量小于基准值的情况下，配餐菜单评估模块189可以降低对应食物菜单的喜好度并提高被分配的对应食物本身的味道评估分数。

在此情况下，这意味着在配餐员接受配餐的过程中通过肉眼看到食物，并且由于食物不是自身喜欢的食物，因此减少了对应食物的配餐量，但是在用餐时意外地判断为食物是美味的，因此判断为对应食物被完全摄取或剩下较少的对应食物。

因此，配餐菜单评估模块189将对应食物菜单的喜好分数评估为低，但是将被分配的对应食物本身的味道评估分数评估为高，从而评估为对应食物不被配餐员喜好，但是食材的选择或食物的烹饪被适当地进行，因此配餐员满意。

第四，在特定食物的配餐量小于基准值且剩餐量大于基准值的情况下，配餐菜单评估模块189降低对应食物菜单的喜好度并降低被分配的对应食物本身的味道评估分数。

在此情况下，这意味着在配餐员接受配餐的过程中通过肉眼看到食物，并且由于食物不是自身喜欢的食物，因此减少了对应食物的配餐量，并且在用餐时也判断为食物没有味道，因此判断为剩下较多的对应食物且剩餐量大于基准值。

因此，配餐菜单评估模块189将关于对应食物菜单的喜好分数评估为低，并将被分配的对应食物本身的味道评估分数评估为低，从而评估为对应食物不是配餐员喜好的食物，且食材的选择或食物的烹饪没有被适当地进行。

由于如上所述的配餐菜单评估模块189的构成，食堂管理员可以通过用餐主体对各食物菜单的喜好度(喜好分数)和食物的味道评估分数来为用餐主体准备配餐菜单和食材等，并且可以确认食物烹饪过程中是否存在问题。

作为一实施例，管理部180的用餐主体管理模块185基于用餐主体的用餐量而生成各用餐主体摄取的营养信息，并基于以预定时间周期生成的营养信息而导出并提供营养摄取现状信息。

此时，用餐主体管理模块185可以将导出的信息提供给用餐主体的终端，即用户终端300、用餐主体的监护人的终端、用餐主体的管理员的终端、食堂管理员的终端等。

作为一实施例，管理部180可以利用用餐主体的用餐量和饮食习惯信息来执行用于改善营养状态并减少剩餐量的程序。

管理部180可以基于用餐主体的用餐量和剩餐量来掌握各用餐主体的营养信息及饮食习惯信息。并且，根据利用此而导出的各用餐主体的营养状态及剩餐量的变化来提供奖励或惩罚。

更详细而言，这意味着管理部180基于用餐主体的按食物的剩餐量和用餐量来掌握各用餐主体是否具有均衡的营养摄入和正确的饮食习惯，并且在每次配餐时与先前记录进行比较，当判断为营养状态被改善时，向对应的用餐主体提供诸如奖赏、积分之类的奖励，当判断为营养状态没有被改善或恶化时，提供诸如处罚之类的惩罚。

并且，这意味着管理部180在每次配餐时存储并监测各用餐主体的剩餐量，当判断为特定用餐主体的剩餐量减少时，向对应的用餐主体提供奖励，当判断为剩餐量没有减少反而增加时，向对应的用餐主体提供诸如处罚之类的惩罚。

如上所述，由于掌握各用餐主体的营养信息和饮食习惯信息，并根据行为变化而提供奖励或惩罚，因此可以自然地引导用餐主体均匀地摄取营养而不偏食，并可以减少食物垃圾的产生。

例如，在用餐主体为如学生或患者等需要监护人的管理的情况下，管理部180的用餐主体管理模块185可以将通过拍摄部250而获取的用餐主体的餐前餐具图像、餐后餐具图像而提供给用餐主体监护人的终端。

并且，用餐主体的监护人通过应用程序确认照片，从而能够确认用餐主体是否正常用餐。

在学生或患者的情况下，由于为了健康而需要均匀且充分地摄取营养状态，因此需要持续地管理，并且需要向监护人提供针对对应学生的营养状态的信息。

因此，用餐主体管理模块185周期性地接收各学生或患者的身体信息或健康信息并进行管理，并考虑身体信息和学校日程等而导出针对按学生的基础代谢量和所需的营养素等的信息。

并且，用餐主体管理模块185基于学生或患者的配餐菜单、用餐量数据、基础代谢量来判断营养状态、饮食习惯。

用餐主体管理模块185将以如上所述的方式确保并判断的信息提供给用户终端300、用餐主体监护人终端，同时通过各用餐主体的营养状态和饮食习惯来导出对应用餐主体在家中适合摄取的推荐菜单，并可以根据状况推荐营养剂。

例如，这意味着作为评价A学生的饮食习惯和营养状态的结果，若判断为可能缺乏维生素A、D，则导出能够充分摄取维生素A、D的菜单作为推荐菜单，若判断为维生素A、D的缺乏程度严重，则推荐营养剂。

在此，即使用餐主体不是学生或患者，计算机也可以基于被分析的用户的营养状态、饮食习惯、是否偏食等，在用户的营养状态不均衡的情况下，可以导出用户所需的营养素并符合用户的饮食习惯的同时用于用户的营养状态的菜单，从而向用户终端300提供信息，还可以提供针对各种营养剂的信息，从而发挥广告效果。

此外，在利用用户终端300的情况下对可提供的服务进行说明。由于计算机可以按食物的类型掌握用户摄取的量，因此可以分析用户的饮食习惯，并可以利用针对各食物所包括的营养素的信息来掌握用户的营养摄取。

并且，可以通过设置在用户终端300的服务应用程序来接收用户的身体信息，并可以利用如上所述的身体信息来计算出用户的基础代谢量。

并且，可以利用以如上所述的方式导出的用户的营养状态和饮食习惯信息来导出匹配于用户的一个以上的食物菜单并提供给服务应用程序，也可以与其它食物订购应用联动而提供信息。

此时，服务应用程序可以从用户直接输入而接收喜好食物、不喜好食物，并接收针对用户的过敏(Allergy)、疾病等的信息，从而从推荐菜单中排除用户不能食用的食物。

并且，判断部130利用这些信息，在通过便携式装置50的拍摄部55拍摄的食物图像内包括有用户不能食用的食物的情况下，向服务应用程序提供警告(通知)，以防止用户意外地食用对应的食物。

作为一实施例，服务应用程序可以与用户使用并穿戴的可穿戴设备联动而接收各种测量数据。在包括这种构成的情况下，计算机可以更详细地确保用户的基础代谢量、健康信息等，也可以作为各种健康管理信息来利用。

计算机通过用户终端300而收集针对用户每次用餐时的餐前食物量、用餐量、剩餐量的数据并存储到数据库170，从而形成针对用户的营养状态、饮食习惯信息等的信息，并收集针对用户的身体信息、通过各种健康、运动应用程序而收集的用户的活动指数、活动信息、运动信息等的数据而形成用户的健康管理信息。

并且，除此之外，与健康管理应用程序、医疗信息应用程序等联动而收集用户的医疗信息，从而可以从用户的营养状态、饮食习惯信息、健康管理信息、医疗信息导出适合于用户的定制型食谱、健康辅助食品的信息而提供，也可以通过服务应用程序直接销售与此相关的商品。

例如，在加入由外部服务器(未图示)提供的服务应用程序的服务的情况下，可以提供多样的形态的服务，诸如提供综合检查、向用户提供定制的健康辅助食品、每周递送一次定制的食谱等。

以下，对用于实现根据本发明的实施例的食物测量方法的装置及服务器进行说明。

参照图10，对根据本发明的一实施例的食物测量服务器100进行说明。图10是根据本发明的实施例的食物测量服务器的框图，图11是图10的管理部的详细框图。

参照图5，根据本发明的实施例的食物测量服务器100包括接收部110、提取部120、判断部130、计算部140、校正部150、认证部160、数据库170、通信部190。

然而，在若干实施例中，服务器10还可以包括比图5中所示的构成要素更少或更多的构成要素。

接收部110接收通过一个以上的拍摄部250而拍摄的餐具图像。

提取部120从装有食物的餐具图像数据中提取收容于餐具500的各个空间510的食物图像数据。

判断部130通过所提取的食物图像数据来判断各食物的类型。

计算部140利用所提取的食物图像数据的按像素的高度信息来计算各食物的体积。

在数据库170存储有空餐具图像、包括关于形成在餐具500中的多个空间510的尺寸、深度及容量的餐具信息以及包括按食物的单位体积重量的食物信息。

管理部180包括配餐量调节模块181、配餐组管理模块183、配餐对象管理模块185、配餐菜单推荐模块187及配餐菜单评估模块189，各个模块的功能如上所述。

通信部190可以执行通信以接收从设置在食堂的拍摄部250拍摄到的餐具图像，并且可以起到将由服务器10计算而生成的各种信息发送到负责人或用户的终端的作用。

认证部160对从诸如食物测量装置200、自助服务装置30等的装置接收的用户信息进行认证来识别用户，并加载针对用户的各种信息。

并且，将通过服务器10的计算部140计算出的针对配餐餐具内的食物的重量、卡路里等的信息向通过认证部160而进行认证的用户的终端提供。此时，可以通过由服务器10本身提供的服务应用程序来提供信息。

并且，根据本发明的实施例的计算机(服务器、装置)为了提高食物计算的准确度可以执行以下操作。

作为一实施例，计算部140执行通过上述步骤计算出的用餐主体的用餐量与剩餐量之和是否与配餐量一致的验证，在根据验证结果是不一致的情况下，计算部140可以校正通过上述步骤而计算出的用餐量、剩餐量及配餐量中的至少一个，使得用餐量与剩餐量之和与配餐量一致，并将根据此而生成的结果记录到数据库170。

并且，计算部140执行通过上述步骤而计算出的食堂用餐主体的用餐量的总和与剩餐量的总和之和是否与配餐量的总和一致的验证，在根据验证结果使不一致的情况下，计算部140可以校正通过上述步骤而计算出的用餐量的总和、剩餐量的总和及配餐量的总和中的至少一个，使得用餐量的总和与剩餐量的总和之和与配餐量的总和一致，并将根据此而生成的结果记录到数据库170。

更详细而言，计算部140验证在食堂用餐的用餐主体的配餐量的总和与剩餐量的总和的差值是否与用餐量的总和一致。

并且，计算部140可以将在食堂中准备的食物的总和与在食堂中产生的剩餐量的总量、在食堂中产生的剩余食物量的总量以及对应食堂的用餐主体的用餐量的总和之和进行比较来执行验证，并且在根据验证结果产生差异的情况下，计算部140可以校正剩餐量的总量、剩余食物量的总量及用餐量的总和中的至少一个，使得在食堂中准备的食物的总和与在食堂中产生的剩餐量的总量、在食堂中产生的剩余食物量的总量及对应食堂的用餐主体的用餐量的总和之和一致，例如，可以校正用餐量，并将根据此而生成的结果记录到数据库170。

在此，剩餐量可以是分配给用餐主体且用餐主体用餐后剩下的食物的量，剩余食物量可以是未分配给用餐主体而剩下的食物的量，剩余食物量可以通过所述步骤而计算，或者通过单独的方法而计算。

更具体地，在数据库170可以存储有由食堂为每次配餐而准备的食物的总体积(重量)、剩余食物量的总体积(重量)及剩餐量的总体积(重量)的测量结果，并且计算部140将准备的食物的总体积(重量)与剩餐量的总体积(重量)、剩余食物量的总体积(重量)及通过上述步骤而计算出的食堂用餐主体的用餐量的总和之和进行比较而执行验证，并且在根据验证结果产生差异的情况下，计算部140可以校正通过所述步骤而计算出的用餐主体的用餐量的总和，使得在食堂中准备的食物的总和与在食堂中产生的剩餐量的总量、在食堂中产生的剩余食物量的总量及对应食堂的用餐主体的用餐量的总和之和一致，并将根据此而生成的结果记录到数据库170。(例如，若在食堂准备的A菜单的总体积是200并且A菜单被分配而没有剩余量，则分配给用餐主体的A菜单的体积的总和应该接近200)。

如上所述，计算部140可以利用各种信息执行验证并记录根据计算/校正的准确度，从而能够掌握问题并改善。

作为一实施例，根据本发明的实施例的计算部140的人工智能算法可以作为体积识别的验证及可靠性增加方案而执行利用图像学习结果的体积识别准确度比较及补充操作。例如，可以输入针对彼此不同的量的面包的图像，并对针对体积的尺寸进行判断，在发生误差或噪声的情况下重新对面包进行学习，从而能够提高准确度。

以上说明的根据本发明的实施例的食物测量服务器100与通过图1至图9说明的食物测量方法仅在发明的类型上不同，内容相同，因此省略重复的说明、示例。

以下，图12是根据本发明的实施例的食物测量装置的框图，图13至图16是根据本发明的实施例的食物测量装置的立体图，图17是根据本发明的实施例的食物测量装置的画面。

食物测量装置200可以配备于进行配餐的场所，并包括接收部110、提取部120、判断部130、计算部140、校正部150、认证部160、数据库170、通信部190、显示部210、结算部240、拍摄部250。然而，在若干实施例中，食物测量装置200还可以包括比图12中所示的构成要素更少或更多的构成要素。

参照图13及图14，食物测量装置200配备有用于放置餐具500的测量区域220或平板230。参照图13及图14，拍摄部250对放置于测量区域220或平板230的餐具500进行拍摄。

并且，在测量区域220或平板230的内部可以形成有重量测量装置(未图示)，以测量放置在测量区域220或平板230的上表面的的配餐餐具的重量。

接收部110接收通过一个以上的拍摄部250而拍摄的餐具图像。在此，拍摄部250可以布置成在餐具500的上侧能够拍摄餐具500的上表面，在存在识别信息感测部251的情况下，识别信息感测部251可以布置成执行借由拍摄部250的对餐具500的拍摄同时，能够从上侧、下侧或侧面感测餐具500的识别信息。

提取部120从装有食物的餐具图像数据提取收容于餐具500的各空间510的食物图像数据。

判断部130通过所提取的食物图像数据来判断各食物的类型。

计算部140利用所提取的食物图像数据的按像素的高度信息来计算各食物的体积。

在数据库170存储有空餐具图像、包括针对形成在餐具500中的多个空间510的尺寸、深度及容量的餐具信息以及包括按食物的单位体积重量的食物信息。

通信部190可以执行通信以接收从设置在食堂的拍摄部250拍摄到的餐具图像，并且可以起到将由服务器10计算而生成的各种信息发送到负责人或用户的终端的作用。

认证部160对从诸如食物测量装置200、自助服务装置等的装置接收的用户信息进行认证来识别用户，并加载针对用户的各种信息。

通过服务器10的计算部140计算出的针对配餐餐具内的食物的重量、卡路里等的信息提供给通过认证部160而进行认证的用户的终端。此时，可以通过由服务器10本身提供的服务应用程序来提供信息。

食物测量装置200可以包括显示器240，并且可以输入并接收用于认证用户的用户认证信息，并且可以显示通过显示器拍摄的图像。

并且，在配备有如图13所示形态的食物测量装置200的情况下，若用户将餐具500移动到测量区域220，则配备于测量区域220内的拍摄部250拍摄餐具，从而能够获取餐具图像、用餐后餐具图像。并且，食物测量装置200本身配备有结算部240，使得用户可以同时进行食物测量和支付。

在若干实施例中，参照图14的(C)，食物测量装置200可以不包括平板230，并且可以在用餐人员端着餐具500的状态下执行借由拍摄部250的拍摄和借由识别信息感测部251的感测。

在若干实施例中，参照图15，食物测量装置200可以设置于设置有传送带270的退餐口。在餐具500借由传送带270而移动的过程中，拍摄部250可以在餐具500的上侧拍摄餐具500。

在若干实施例中，食物测量装置200可以包括拍摄部250、识别信息感测部251及认证部160，拍摄部250可以位于相对最高的区域，认证部160可以位于拍摄部250与识别信息感测部251之间，识别信息感测部251可以位于相对最低的区域。由于食物测量装置200具有这样的结构，因此拍摄部250、识别信息感测部251及认证部160仅通过用餐主体停止在食物测量装置200前面也可以从用餐主体及餐具500获取必要的信息，由此，可以减少用餐主体的不便。

拍摄部250位于最高区域的目的是为了从上侧拍摄餐具500。若认证部160识别用餐主体的面部，则当用餐主体端起餐具500时，由于餐具500位于用餐主体的面部的下方，因此认证部160可以位于识别信息感测部251的上方。在此，餐具500的识别信息530可以位于餐具500的侧面，并且在用餐主体端着餐具50而站立的情况下，可以被识别信息感测部251识别。

另外，识别信息感测部251及认证部160并不是始终运行，而是可以仅在借由拍摄部250而拍摄餐具500并被识别的情况下运行，由此，借由拍摄部250的对餐具500的识别变成一种使能器，从而能够有效地运行识别信息感测部251及认证部160。

参照图16，食物测量装置200可以竖立在桌子上或悬挂在墙壁上。显示部210位于食物测量装置200的前面，在食物测量装置200的前面设有用于拍摄食物或装有食物的餐具的拍摄部250a和用于拍摄用餐主体的生物信息的拍摄部250b。

食物测量装置200的上部可以向前方倾斜，并且用于拍摄食物或装有食物的餐具的拍摄部250a可以位于食物测量装置200的倾斜区域而拍摄位于下方的餐具500。虽然用于拍摄用餐主体的生物信息的拍摄部250b被示出为不位于倾斜的区域，但是也可以位于倾斜的区域。

并且，当用餐主体利用食物测量装置200或用户终端300拍摄装有食物的餐具500时，图17的画面可以显示在显示部210/310。

例如，可以显示借由拍摄部250/350而拍摄的装有食物的餐具的图像，并且可以显示针对食物的类型和与其对应的卡路里的信息。并且，在饮料等装在杯子的情况下，可以在对应的杯子显示饮料的高度。与此同时，还可以显示针对当摄取食物时为了消耗卡路里而要进行的运动和运动时间的信息。此外，还可以同时显示预计要摄取的食物的营养信息和价格信息。此外，图18及图19分别与图10及图12相比，仅在用户终端300执行食物测量装置200的作用上存在差异，因而省略详细说明。

以上说明的根据本发明的实施例的食物测量装置200与通过图1至图9说明的食物测量方法仅在发明的类型上不同，内容相同，因此省略重复的说明、示例。

以上所述的根据本发明的一实施例的食物测量方法可以实现为程序(或者应用)而存储在介质中，以与作为硬件的计算机结合而执行。

上述的程序可以包括所述计算机的处理器(CPU)通过所述计算机的装置接口可读取的由C、C++、JAVA、机器语言等计算机语言代码化的代码(Code)，以使所述计算机通过读取程序而执行实现为程序的所述方法。这些代码可以包括与定义执行所述方法而需要的功能的函数等相关的功能性代码(FunctionalCode)，还可以包括所述计算机的处理器按照预定的步骤执行所述功能而所需的执行步骤相关控制代码。并且，这些代码还可以包括所述计算机的处理器执行所述功能所需的附加信息或者有关媒体应参照在所述计算机的内部或者外部存储器的哪一个位置的存储器参照相关代码。并且，当所述计算机的处理器为了实现所述功能而需要与远端(Remote)的其他任何计算机或者服务器等进行通信时，代码还可以包括针对如下的通信相关代码：利用所述计算机的通信模块来与远端的其他任何计算机或者服务器等如何进行通信；当通信时需要收发何种信息。

所述存储介质不是诸如寄存器、高速缓存、存储器等的短时间存储数据的介质，而是表示半永久性地存储数据并且能够被设备读取(reading)的介质。具体地，所述存储介质有ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等，但并不限于此。即，所述程序可以存储在所述计算机可以连接的多种服务器上的多种记录介质或者用户的所述计算机上的多种记录介质。此外，所述介质可以分布在通过网络连接的计算机系统中，以分布的方式存储计算机可读代码。

与本发明的实施例相关而说明的方法或者算法的步骤可以直接由硬件来实现，或者借由通过硬件执行的软件模块来实现，或者借由这些的结合来实现。软件模块可以驻留在RAM(Random Access Memory)、ROM(Read Only Memory)、可擦除可编程只读存储器(EPROM：Erasable Programmable ROM)、电可擦除可编程只读存储器(EEPROM：Electrically Erasable Programmable ROM)、闪存(Flash Memory)、硬盘、可移动盘、CD-ROM或者本发明所属技术领域中公知的任意形态的计算机可读记录介质中。

以上参照附图说明了本发明的实施例，但本领域技术人员可以理解的是，可以在不改变本发明的其技术思想或者必要特征的情况下以其他具体形态实施。因此，以上记载的实施例应当理解为在所有方面均为示例性的，而不是局限性的。

Claims (14)

1.一种食物测量方法，所述方法借由计算机而执行，包括如下步骤：

对装有食物的餐具进行拍摄及测量之后，接收部接收装有食物的餐具图像数据和针对所述装有食物的餐具的深度数据；

校正部计算所述装有食物的餐具的倾斜度，并根据计算出的倾斜度对所述装有食物的餐具图像数据和针对所述装有食物的餐具的深度数据进行校正；

提取部从被校正的所述装有食物的餐具图像数据提取收容于餐具的食物图像数据；

判断部通过所述提取的食物图像数据来判断食物的类型；以及

计算部利用被校正的针对所述装有食物的餐具的深度数据来计算食物的体积。

2.根据权利要求1所述的食物测量方法，其中，

所述校正部计算所述装有食物的餐具的倾斜度是通过如下方式进行：

所述校正部通过分析所述装有食物的餐具图像数据来计算所述装有食物的餐具的倾斜度，或者利用针对在所述装有食物的餐具上的多个点的深度数据来计算所述装有食物的餐具的倾斜度，或者基于与所述装有食物的餐具一起进行拍摄及测量的参考对象的倾斜度来计算所述装有食物的餐具的倾斜度，或者基于拍摄及测量装置的倾斜度来计算所述装有食物的餐具的倾斜度。

3.根据权利要求1所述的食物测量方法，其中，

在所述校正的步骤中，所述校正部根据计算出的倾斜度对所述装有食物的餐具图像数据进行校正是通过如下方式进行：

所述校正部根据计算出的倾斜度将所述装有食物的餐具图像数据校正为水平状态的图像数据，使得所述装有食物的餐具图像数据内的所述餐具成为水平的状态。

4.根据权利要求1所述的食物测量方法，其中，

在计算所述体积的步骤中，所述校正部根据计算出的倾斜度对针对所述装有食物的餐具的深度数据进行校正是通过如下方式进行：

所述校正部根据计算出的倾斜度对关于所述装有食物的餐具的深度数据进行校正，使得通过针对所述装有食物的餐具的深度数据而计算出的餐具成为水平的状态。

5.根据权利要求1所述的食物测量方法，其中，

在计算食物的体积的步骤中，所述校正部在所述装有食物的餐具图像数据内检测出不是食物但具有体积的噪声分量，并从计算出的食物的体积中排除检测出的噪声分量的体积。

6.根据权利要求1所述的食物测量方法，其中，

所述计算机包括：数据库，存储有空餐具图像数据、包括针对形成在所述餐具的至少一个空间的尺寸、深度及容量中至少一个的餐具数据，

所述体积计算步骤还包括如下步骤：

所述校正部对利用包括收容有食物的空间的尺寸、深度及容量中的至少一个的所述餐具数据而计算出的食物的体积进行校正。

7.根据权利要求6所述的食物测量方法，其中，

在所述数据库存储有包括按食物的单位体积的重量的食物数据，

在所述体积计算步骤之后，还包括如下步骤：

所述计算部利用所述计算出的食物的体积数据和所述食物数据来计算食物的重量。

8.根据权利要求1所述的食物测量方法，其特征在于，

所述计算机包括：数据库，存储有包括食物菜单数据、食堂位置数据、日期数据及时间数据中的至少一个的判断参考信息，

还包括：

在所述判断的步骤中，所述判断部将所述提取的食物图像数据与所述食物相关信息进行匹配来导出食物列表候补组之后，判断各食物的类型。

9.根据权利要求1所述的食物测量方法，其中，

计算所述各食物的体积的步骤包括如下步骤：

在所述餐具内堆叠有彼此不同的食物的情况下，所述计算部计算位于下侧的食物被位于上侧的食物遮挡的区域的体积。

10.根据权利要求8所述的食物测量方法，其中，

所述计算部计算位于下侧的食物被位于上侧的食物遮挡的区域的体积是通过如下方式进行：

所述计算部计算位于下侧的食物被位于上侧的食物遮挡的区域的面积，

所述计算部利用位于下侧的食物中没有被位于上侧的食物遮挡的区域的高度来计算被位于上侧的食物遮挡的区域的高度，

所述计算部利用计算出的面积和高度来计算位于下侧的食物被位于上侧的食物遮挡的区域的体积。

11.根据权利要求1所述的食物测量方法，其中，

所述体积计算步骤还包括如下步骤：

在收容于所述餐具内的特定空间的食物被判断为液体的情况下，通过液体与对应的空间相接触的位置和对应的空间的尺寸、深度及容量信息来计算液体的体积。

12.一种食物测量服务器，包括：

接收部，对装有食物的餐具进行拍摄及测量之后，接收装有食物的餐具图像数据和针对所述装有食物的餐具的深度数据；

校正部，计算所述装有食物的餐具的倾斜度，并根据计算出的倾斜度对所述装有食物的餐具图像数据和针对所述装有食物的餐具的深度数据进行校正；

提取部，从被校正的所述装有食物的餐具图像数据提取收容于餐具的食物图像数据；

判断部，通过所述提取的食物图像数据来判断食物的类型；以及

计算部，利用被校正的针对所述装有食物的餐具的深度数据来计算食物的体积。

13.一种食物测量装置，包括：

接收部，对装有食物的餐具进行拍摄及测量之后，接收装有食物的餐具图像数据和针对所述装有食物的餐具的深度数据；

校正部，计算所述装有食物的餐具的倾斜度，并根据计算出的倾斜度对所述装有食物的餐具图像数据和针对所述装有食物的餐具的深度数据进行校正；

提取部，从被校正的所述装有食物的餐具图像数据提取收容于餐具的食物图像数据；

判断部，通过所述提取的食物图像数据来判断食物的类型；以及

计算部，利用被校正的针对所述装有食物的餐具的深度数据来计算食物的体积。

14.一种程序，与作为硬件的计算机结合，为了执行根据权利要求1至权利要求11中的任一项权利要求所述的方法而存储于介质。

Images