CN104112060A - 信息处理装置和存储介质 - Google Patents

Abstract

公开了信息处理装置和存储介质。信息处理装置包括：检测单元，被配置成从通过对用户的进食进行成像而获得的图像中检测作为进食目标的多件食物；以及推荐单元，被配置成在所述多件食物中实时地至少推荐后续要摄入的食物，使得用户按照满足预定目的的顺序摄入检测单元检测的所述多件食物。

Description

信息处理装置和存储介质

相关申请的交叉引用

本申请要求在2013年4月18日提交的日本优先权专利申请JP2013-087527的权益，其全部内容通过引用并入本申请中。

技术领域

本公开涉及信息处理装置和存储介质。

背景技术

近年来，随着进食生活变得丰富，增加了这样的担忧：会由于诸如肥胖、高血脂和高血糖的各种症状而危害人类健康。由于此原因，已经开发了用于支持进食生活的各种技术以改善人类进食方面的健康。

例如，JP2007-48180A公开了下述技术：该技术用于实时监视用户在进餐期间的心率并执行导航以使得用户基于心率的变化而以适当的速度摄入膳食。

此外，JP2002-149828A公开了下述技术：该技术用于将进餐之前、进餐期间以及进餐之后的拍摄图像传送给诸如营养学家或医生的指导者，并接收来自位于远处的指导者的关于营养均衡的指导或菜单。

发明内容

通常，即使对于同样的食物（下文中，“食物”可以包括饮品），也知道营养成分的吸收率根据进食（下文中，“进食”可以包括饮用）的顺序而变化。然而，JP2007-48180A和JP2002-149828A没有提及基于根据进食顺序的营养成分的吸收率的变化的、这样的进食顺序的任何实时导航。

希望提供能够通过实时执行关于进食顺序的导航来促进用户的健康的新颖的改进的信息处理装置和新颖的改进的存储介质。

根据本公开的实施例，提供了一种信息处理装置，其包括：检测单元，被配置成从通过对用户的进食进行成像而获得的图像检测作为进食目标的多件食物；以及推荐单元，被配置成在所述多件食物中实时地至少推荐后续要摄入的食物，以使得用户按照满足预定目的的顺序摄入检测单元检测的所述多件食物。

根据本公开的实施例，提供了一种非暂态计算机可读存储介质，其中存储有程序，所述程序使计算机执行：从通过对用户的进食进行成像而获得的图像中检测作为进食目标的多件食物；以及在所述多件食物中实时地至少推荐后续要摄入的食物，使得用户按照满足预定目的的顺序摄入所检测的所述多件食物。

根据本公开的上述实施例，可以通过实时地执行关于进食顺序的导航来促进用户的健康。

附图说明

图1是示出根据本公开的实施例的推荐处理的概况的说明图；

图2是示出根据第一实施例的HMD（眼镜式头戴显示器）的内部配置的框图；

图3是示出根据第一实施例的HMD所显示的图像的示例的说明图；

图4是示出根据第一实施例的HMD的推荐处理的流程图；

图5是示出根据第二实施例的推荐系统的概况的说明图；

图6是示出根据第二实施例的推荐系统的配置的说明图；

图7是示出根据第二实施例的推荐系统的推荐处理的流程图；以及

图8是示出根据变型示例的推荐系统的概况的说明图。

具体实施方式

下文中，将参照附图详细描述本公开的优选实施例。注意，在本说明书和附图中，对具有基本上相同的功能配置的构成元件给出相同的附图标记，并且将省略其重复描述。

将按以下顺序进行描述。

1.根据本公开的实施例的推荐处理的概况

2.实施例

2-1.第一实施例

2-1-1.HMD的配置

2-1-2.HMD的操作处理

2-2.第二实施例

2-2-1.推荐系统的概况

2-2-2.推荐系统的配置

2-2-3.推荐系统的操作处理

2-2-4.变型示例

3.结论

<<1.根据本公开的实施例的推荐处理的概况>>

首先，将参照图1描述根据本公开的实施例的推荐处理的概况。

图1是示出根据本公开的实施例的推荐处理的概况的说明图。如图1所示，眼镜式头戴显示器（HMD）1安装在用户8上。HMD1包括安装单元，该安装单元具有例如框架结构，该框架结构以半圆形从头部两侧向头部背部延伸并悬挂于两个耳廓上，如图1所示，以被安装在用户8上。

此外，HMD1被配置成使得在安装状态下用于左眼和右眼的一对显示单元2被布置为紧接在用户8的双眼之前，也就是，布置在通常的眼镜的镜片所位于的位置处。例如，在显示单元2上显示成像镜头3a所成像的真实空间的拍摄图像。此外，显示单元2为透射型。而且，通过使显示单元2进入HMD1的通过状态，即透明状态或半透明状态，即使在像眼镜那样不变地安装HMD1时，用户8在通常的生活中也不会体验到麻烦。

此外，如图1所示，当HMD1安装在用户8上时，把用户的观看方向用作被摄物体方向来执行成像的成像镜头3a被布置为在HMD1中朝向前方。此外，安装了在成像镜头3a的成像方向上执行照明的发光单元4a。发光单元4a例如由发光二极管（LED）形成。

此外，虽然图1中仅在左耳侧示出，但是安装了可以在安装状态下插入用户的右耳孔和左耳孔的一对耳机扬声器5a。

此外，图1所示的HMD1的外观仅是一个示例，并且可以考虑用于将HMD1安装在用户上的各种结构。HMD1通常可以被形成为眼镜式或头戴式安装单元。在本实施例中，显示单元2至少可以安装成紧在用户的眼睛前面。此外，不仅这对显示单元2可以安装成与双眼对应，而且单个显示单元也可以安装成与一个眼睛对应。

此外，虽然在图1所示的示例中成像镜头3a和执行照明的发光单元4a被布置成在右眼侧朝向前方，但是其也可以布置在左眼侧或可以布置在双眼侧。

此外，单个耳机扬声器5a可以被安装以使其安装在仅一只耳朵上，而不是左立体声扬声器和右立体声扬声器。

另外，可以配置成不包含耳机扬声器5a。此外，可以配置成不包含发光单元4a。

上面描述了图1所示的HMD1的外观。

这里，作为一种进食健康膳食的方法的示例，可以考虑通过例如用于减少脂类或碳水化合物的量的菜单来施加膳食限制以抑制所摄入的总卡路里。然而，由于营养成分的吸收率根据进食顺序而变化，所以不能说人吸收的总卡路里是通过仅抑制所摄入的总卡路里来抑制的。例如，当用户在空腹时开始进食碳水化合物时，存在血糖水平急剧上升的可能性。此外，由于膳食限制使得用户对没有进食他或她想进食的东西感到不满足并降低了进餐的愉悦感，因此难以连续执行膳食限制。鉴于这样的情况，当可以实时地执行用户进食顺序的导航时，显著改善用于支持饮食生活的技术的便利性。

因此，根据上述情况，产生了根据本公开的每个实施例的推荐处理。根据本公开的每个实施例的推荐处理是实时地执行通过推荐后续要摄入的食物的进食顺序的导航的处理。

具体地，图1所示的HMD1（信息处理装置）使成像镜头3a对位于桌子上的多道菜肴20进行成像，并从拍摄图像中把菜肴20检测为作为多个进食目标的食物。在图1所示的示例中，HMD1把沙拉21、韭菜炒肝22、肉菜23和煮好的米饭24检测为作为进食目标的菜肴20。然后，HMD1可以通过在显示单元2上显示后续要摄入的菜肴20来针对用户8执行进食顺序的导航，以使得用户8按照满足预定目的的顺序摄入菜肴20。

可以不同地考虑满足预定目的的顺序。这里，例如，可以考虑抑制用户8的血糖水平上升。如上所述，当用户在空腹时开始进食碳水化合物时，存在血糖水平急剧上升的可能性。因此，HMD1推荐用户8在摄入蔬菜之后再摄入碳水化合物。

作为HMD1执行的推荐处理的示例，例如，如图1所示，显示单元2显示图像P1，其中以强调的方式显示后续要摄入的菜肴20。假设用户为了抑制血糖水平上升的目的而首先摄入蔬菜，HMD1显示表示沙拉21的导航图像25，以使得用户首选摄入包含许多蔬菜的沙拉21。此时，HMD1可以以重叠的方式在拍摄图像上显示导航图像25，或可以在控制显示单元2以使得设置半透射式之后显示导航图像25，以与存在于真实空间中的沙拉21对应。

上面描述了根据本实施例的推荐处理的概况。接着，将参照图2至4描述根据本公开的实施例的执行推荐处理的HMD1（信息处理装置）的配置和操作处理。

<<2.实施例>>

<2-1.第一实施例>

[2-1-1.HMD的配置]

图2是示出根据第一实施例的HMD1的内部配置的框图。如图2所示，根据本实施例的HMD1包括显示单元2、成像单元3、音频输出单元5、存储单元7以及控制单元10-1。此外，在图2中，部分省略了图1所示的配置。

（成像单元3）

成像单元3包括镜头系统、驱动系统和固态图像传感器阵列，该镜头系统包括成像镜头3a、光圈、变焦镜头和聚集镜头，该驱动系统对镜头系统执行聚焦操作或变焦操作，并且该固态图像传感器阵列对可从镜头系统获得的成像光进行光电转换并生成成像信号。可以由例如电荷耦合器件（CCD）传感器阵列或互补金属氧化物半导体（CMOS）传感器阵列来实现固态图像传感器阵列。成像单元3输出被认为是数字信号的关于拍摄图像的数据。

此外，成像单元3还可以包括照明单元4，照明单元4包括图1所示的发光单元4a以及使发光单元4a（例如，LED）发光的发光电路。此外，在拍摄图像时，成像单元3可以在通过使照明单元4向前发光来对用户8的视场方向照明之后执行成像。

成像单元3对作为用户8的进食目标的菜肴20或用户8的进食（诸如用户8的进食动作）进行成像，并且然后输出拍摄图像。

（存储单元7）

存储单元7具有累积用户8过去的进食历史的累积单元的功能。例如，当存储单元7累积用户8去年的进食历史时，控制单元10-1可以识别用户8的进食趋势，诸如用户8喜爱的食物或进食顺序、咀嚼次数、以及进餐所花费的时间。此外，当存储单元7累积用户8上周的进食历史时，控制单元10-1可以识别用户8当前不足的营养物质。

（控制单元10-1）

控制单元10-1用作运算处理装置和控制装置，并根据各种程序控制HMD1中的所有操作。由例如中央处理单元（CPU）或微处理器来实现控制单元10-1。此外，控制单元10-1可以包括存储要使用的程序或运算参数的只读存储器（ROM）以及临时存储适当地变化的参数的随机存取存储器（RAM）。

具体地，控制单元10-1基于成像单元3输出的拍摄图像来选择用户8后续要摄入的食物，并通过显示单元2和音频输出单元5中的至少一个来向用户8推荐所选择的食物。控制单元10-1用作检测单元11、识别单元12和推荐单元13-1。

（检测单元11）

检测单元11具有从通过对用户8的进食进行成像而获得的图像中检测作为进食目标的多件食物的功能。例如，在图1所示的示例中，检测单元11把沙拉21、韭菜炒肝22、肉菜23和煮好的米饭24检测为作为用户8的进食目标的多件食物。检测单元11向推荐单元13-1输出检测结果。

（推荐单元12）

推荐单元12具有从通过对用户8的进食进行成像而获得的图像中识别用户8的进食情况的功能。食物情况的示例包括用户8的进食动作以及作为用户8的进食目标的多件食物的外观。例如，在图1所示的示例中，推荐单元12基于成像单元3拍摄的图像来识别用户8现在要开始进食。此后，当用户8摄入沙拉21时，识别单元12识别到用户8摄入沙拉21或沙拉21的量由于用户8的摄入而减少。此外，识别单元12识别用户8是否将推荐单元13-1所推荐的食物摄入了推荐单元13-1所推荐的食物的量。此外，识别单元12可以识别位置，诸如作为用户8的进食目标的多件食物的位置、诸如筷子或叉子的进食用具的位置以及用户8的手的位置。识别单元12向推荐单元13-1输出识别结果。

（推荐单元13-1）

推荐单元13-1具有如下功能：实时地从多件食物之中至少推荐后续要摄入的食物，以使得用户8按照满足预定目的的顺序摄入检测单元11检测到的多件食物。首先，推荐单元13-1按照满足预定目的的顺序选择检测单元11至少检测到的多件食物之中的后续要摄入的食物。推荐单元13-1所执行的推荐处理包括选择后续要摄入的食物的选择处理以及推荐并显示所选择的食物的推荐显示处理。下文中，将顺次描述选择处理和推荐显示处理。

·选择处理

可以考虑满足预定目的的各种顺序。例如，在糖尿病对策的目的的情况下设置的顺序是醋、乳制品、蔬菜、诸如肉或豆腐的蛋白质物质、以及诸如米饭或面包的碳水化合物的顺序，该顺序是抑制用户8的血糖水平上升的顺序。此外，在肥胖症对策的目的的情况下设置的顺序是醋、乳制品、蔬菜、蛋白质和碳水化合物的顺序，该顺序是抑制用户8的血糖水平上升的顺序。此外，在婴儿教育的目的的情况下设置的顺序是“金字塔进食（triangular eating）”的顺序，该顺序是良好平衡膳食的顺序。此外，在享受的目的的情况下设置的顺序被认为是在喝酒之前摄入牛奶以及在喝酒之后摄入面条的顺序。此外，在舒适膳食的目的情况下设置的顺序被认为是直到冷冻食物或烫的食物的温度变为适当的温度为止才摄入其它食物的顺序。此外，在遵从医生指导的目的的情况下设置的顺序是基于医生的指导的顺序。

例如，在图1所示的示例中，当设置糖尿病对策的目的时，推荐单元13-1选择包含许多蔬菜的沙拉21作为首先要摄入的食物。然后，推荐单元13-1通过从显示单元2和音频输出单元5中的至少一个输出所选择的食物来实时地从多件食物之中向正在进食的用户8推荐后续要摄入的食物。例如，在图1所示的示例中，推荐单元13-1通过在显示单元2上显示示出了表示沙拉21的导航图像25的图像P1来实时地向用户8推荐沙拉21。

基于用于根据这样的目的确定顺序的规则，推荐单元13-1推荐检测单元11检测到的多件食物之中的后续要摄入的食物。例如，在糖尿病对策的目的的情况下设置的规则按照醋、乳制品、蔬菜、蛋白质物质和碳水化合物的顺序来调整推荐。在图1所示的示例中，推荐单元13-1基于该规则推荐包含许多蔬菜的沙拉21。这样的推荐顺序的规则可以被存储在存储单元7中或可以被存储在服务器等（未示出）的数据库（DB）中，并且推荐单元13-1可以参考通信单元（未示出）的推荐顺序的规则来适当地执行推荐。此外，可以由用户8设置或可以根据用户8的状况等自动地通过HMD1来设置规则。

推荐单元13-1还基于存储单元7累积的历史来至少推荐后续要摄入的食物。例如，基于存储单元7累积的去年的历史，推荐单元13-1根据用户8的进食趋势（诸如用户8的喜爱的食物或进食顺序、咀嚼次数、以及进餐所花费的时间）来改变推荐顺序。由于按照根据用户8的偏好的顺序向用户8推荐食物，所以用户8可以按照推荐单元13-1推荐的顺序自然地（无压力地）摄入食物。此外，基于存储单元7累积的上周的历史，推荐单元13-1可以改变推荐顺序，以使得用户8可以吸收更多的对用户8当前不充足的营养物质。

此外，推荐单元13-1还基于识别单元12所识别的情况来至少推荐后续要摄入的食物。例如，推荐单元13-1基于用户8已经进食推荐食物的情况来向用户8推荐后续要摄入的食物。此外，推荐单元13-1可以决定所推荐食物的摄入量。于是，当识别单元12识别到用户8摄入了由推荐单元13-1推荐的所决定的食物的量时，推荐单元13-1可以再次向用户8推荐后续要摄入的食物。

此外，当用户8没有进食推荐食物而是进食另外的食物时，推荐单元13-1警告用户8或停止推荐。此时，推荐单元13-1可以再次选择要推荐给用户8的食物。此外，当新的食物添加到用户8的进食目标时，推荐单元13-1再次选择后续要摄入的食物并向用户8推荐所选择的食物。此外，当识别到用户8是儿童时，推荐单元13-1将目的改变为教育，并根据“金字塔进食”来推荐食物以使得可以防止残留食物。

推荐单元13-1每次可以基于识别单元12所识别的情况来选择至少后续每次要摄入的食物，或可以预先决定优选摄入顺序并基于根据该情况决定的顺序来向用户推荐食物。例如，在图1所示的示例中，推荐单元13-1可以基于用户8现在要开始进食的情况来首先选择要摄入的沙拉21。此外，推荐单元13-1可以预先决定顺序，以使得第一个选择包含许多蔬菜的沙拉21，第二个选择包含次多蔬菜的韭菜炒肝22，第三个选择作为蛋白质物质的肉菜23，并且第四个选择作为碳水化合物的煮好的米饭24。·推荐显示处理

推荐单元13-1生成以强调的方式示出后续要摄入的食物的强调图像，并通过使显示单元2显示强调图像来向用户8推荐后续要摄入的食物。可以考虑各种类型的强调图像。例如，如图1所示，强调图像可以是表示后续要摄入的沙拉21的导航图像25。此外，强调图像可以是表示针对每种食物的优选摄入顺序的图像。例如，在图1所示的示例中，强调图像可以是如下图像：其中，指示“第一”被添加到沙拉21，指示“第二”被添加到韭菜炒肝22，指示“第三”被添加到肉菜23，并且指示“第四”被添加到煮好的米饭24。此外，强调图像可以是以圆形包围后续要摄入的食物或使后续要摄入的食物高亮的图像。这里，将参照图3描述推荐单元13-1生成的强调图像的其它示例。

图3是根据第一实施例的HMD1所显示的图像的示例的说明图。如图3的图像P2所示，强调图像可以是美化后续要摄入的食物的外观的图像。图3所示的图像P2通过使后续要摄入的沙拉21的外观闪光来向用户8传递有食欲的印象。因此，用户8首先摄入自然上看起来有食欲的沙拉21。当强调图像美化食物的外观时，相比于清楚地显示图1所示的导航图像25或顺序等的示例，用户8可以按照推荐单元13-1推荐的顺序自然地摄入食物。此外，推荐单元13-1可以生成用户8喜爱的食物材料被添加到要摄入的食物的图像，或用用户8喜爱的另外的食物替换食物的图像，以作为强调图像。

此外，推荐单元13-1通过生成以禁止的方式示出禁止后续摄入的食物的禁止图像并使显示单元2显示该禁止图像来间接地向用户8推荐后续要摄入的食物。可以考虑各种类型的禁止图像。例如，如图3的图像P2所示，禁止图像可以是使禁止后续摄入的食物的外观劣化的图像。图3所示的图像P2通过使除了后续要摄入的沙拉21之外的禁止后续要摄入的食物（即韭菜炒肝22和肉菜23）看起来烧焦并且使煮好的米饭24看起来不卫生，而给用户8造成不好看的印象。因此，用户8避开看起来自然无食欲的韭菜炒肝22、肉菜23和煮好的米饭24，并首先摄入沙拉21。当禁止图像是使食物的外观劣化的图像时，可以通过使用户8自然地避开禁止后续要摄入的食物来间接地且自然地向用户8推荐后续要摄入的食物。此外，推荐单元13-1可以生成用户8不喜欢的食物材料被添加到禁止摄入的食物的图像，或用用户8不喜欢的另外的食物替换食物的图像，以作为禁止图像。

此外，如图3的图像P3所示，禁止图像可以是对用户8遮蔽禁止后续摄入的食物的图像。在图3所示的图像P3中，用户8仅可识别沙拉21，因为使除了后续要摄入的沙拉21之外的食物（即韭菜炒肝22、肉菜23和煮好的米饭24）变灰以禁止被后续要摄入。因此，用户8可以首先摄入可识别的沙拉21。

此外，推荐单元13-1可以以食物中的食物材料为单位推荐优选的摄入顺序。例如，在图1所示的示例中，推荐单元13-1可以推荐用户按照韭菜炒肝22中包含的豆芽菜、韭菜和肝的顺序摄入食物。

（显示单元2）

显示单元2在控制单元10-1的控制下显示拍摄图像、或推荐单元13-1所生成的强调图像或禁止图像。

此外，根据本实施例的显示单元2实时地显示拍摄图像，并且还以重叠的方式显示强调图像或禁止图像以与所显示的拍摄图像中的每个食物的位置对应。替选地，在显示单元2被设置为通过状态（没有显示拍摄图像）之后，显示单元2可以显示强调图像或禁止图像以与存在于真实空间中的食物的位置对应。

（音频输出单元5）

音频输出单元5包括图1所示的一对耳机麦克风5a以及对应于耳机麦克风5a的放大器电路。此外，音频输出单元5可以被形成为所谓的骨传导扬声器。音频输出单元5在控制单元10-1的控制下输出（再现）音频信号数据。

上面描述了根据本实施例的HMD1的内部配置。接下来，将描述根据本实施例的HMD1的操作处理。

[2-1-2.HMD的操作处理]

根据本实施例的HMD1被安装在用户8上，并且在用户8的进餐期间实时地至少显示用户8后续要摄入的食物。将参照图4具体描述HMD1执行的这样的推荐处理。

图4是示出根据第一实施例的HMD1的推荐处理的流程图。如图4所示，HMD1的成像单元3首先开始步骤S104中的对食物成像。

接着，在步骤S108，推荐单元13-1设置推荐顺序的规则。例如，推荐单元13-1基于存储单元7中累积的用户8的过去饮食生活的历史，出于糖尿病对策的目的而设置抑制血糖水平上升的规则。

随后，在步骤S112，检测单元11从成像单元3拍摄的图像中检测作为用户8的进食目标的多件食物。例如，在图1所示的示例中，检测单元11检测沙拉21、韭菜炒肝22、肉菜23和煮好的米饭24。

接着，在步骤S116，推荐单元13-1选择后续要摄入的食物。具体地，推荐单元13-1基于推荐顺序的规则、识别单元12所识别的进食情况以及在存储单元7中累积的进食历史来从检测单元11检测到的多件食物之中选择后续要摄入的食物。例如，在图1所示的示例中，推荐单元13-1基于抑制血糖水平上升的规则以及用户现在要开始进食的情况来选择包含许多蔬菜的沙拉21作为后续要摄入的食物。

然后，在步骤S120，推荐单元13-1向用户8推荐所选择的食物。具体地，推荐单元13-1生成强调所选择的食物的强调图像和禁止其它未选食物的禁止图像中的至少一个，并在显示单元2上显示所生成的图像。例如，如图3的图像P2所示，推荐单元13-1执行推荐显示，以使得所选的沙拉21的外观美化而使其它食物（即韭菜炒肝22、肉菜23和煮好的米饭24）的外观劣化。

随后，在步骤S124，识别单元12识别用户8的进食情况。具体地，基于成像单元3拍摄的图像，识别单元12识别用户8是否摄入推荐单元13-1推荐的食物，并识别诸如进食速度或咀嚼次数的进食动作，或识别用户8摄入的食物减少。此时，当识别单元12识别到用户8进食除了推荐食物之外的食物时，推荐单元13-1再次执行推荐处理或警告。当用户8没有遵从推荐处理或警告时，推荐处理停止。此外，当识别单元12识别到新的食物作为用户8的进食目标被添加时，推荐单元13-1再次选择后续要摄入的食物并再次向用户8推荐所选择的食物。

接着，在步骤S128，识别单元12确定用户8是否摄入了推荐单元13-1推荐的食物的预定量。具体地，识别单元12确定用户8是否将推荐单元13-1推荐的食物摄入了推荐单元13-1决定的量。

当用户8没有摄入推荐单元13-1推荐的食物的预定量（步骤S128中为否）时，在步骤S132推荐单元13-1选择相同的食物并且处理再次返回到步骤S120。因此，推荐单元13-1继续推荐相同的食物，直到用户8摄入推荐食物的所决定的量为止。

相反地，当用户8摄入推荐单元13-1推荐的食物的预定量（步骤S128中为是）时，在步骤S136识别单元12确定食物是否剩余。具体地，基于成像单元3拍摄的图像，识别单元12识别作为用户8的进食目标的食物是否剩余。

当食物剩余（S136中为是）时，处理再次返回到步骤S112，并且HMD1继续执行针对用户8的推荐处理。

相反地，当食物没有剩余（S136中为否）时，推荐处理结束。

上面描述了根据本实施例的HMD1的操作处理。

（补充）

HMD1不仅可以显示要摄入的食物和禁止摄入的食物以使得用户8可以识别食物，而且HMD1还可以执行包含游戏组件的显示。作为示例，当用户8按照推荐顺序进食食物时，可以给出高得分，或者可以呈现两种推荐，而这两种推荐之一被设置为正确答案。因此，用户8会乐于按照推荐顺序进食食物。

此外，在本实施例中，描述了HMD1通过图像显示在视觉上向用户8推荐食物的示例，但是本公开的实施例不限于本示例。例如，当HMD1推荐用户8不喜欢的食物时，可以通过捏住用户8的鼻子来阻止气味或为用户8提供用户8喜爱的另外的食物的气味来执行推荐处理。因此，即使用户8不喜欢对他或她的健康好的食物，HMD1也可以支持用户8以使得用户8可以按照推荐顺序进食食物而不是避开食物。

此外，在本实施例中，HMD1已经被描述为信息处理装置的示例，但是本公开的实施例不限于此。信息处理装置的示例包括眼镜式显示器、数码相机、数码视频摄像机、个人数字助理（PDA）、个人计算机（PC）、笔记本式PC、平板终端、智能电话、便携式电话终端、便携式音乐再现装置、便携式视频处理装置以及便携式游戏装置。

此外，在本实施例中，已经描述了HMD1的控制单元10-1基于拍摄图像执行推荐处理的事实，但是可以在云上执行推荐处理。例如，在HMD1中，在云上经由通信单元（未示出）传送成像单元3拍摄的图像，可以基于云上的图像选择后续要摄入的食物，可以接收所生成的强调图像和禁止图像，并且显示单元2可以基于强调图像和禁止图像来执行推荐显示。此外，HMD1可以具有检测单元11、识别单元12、推荐单元13-1和存储单元17的功能中的一些功能，并且云端可以具有其它功能。

<2-2.第二实施例>

本实施例是推荐后续要摄入的食物并通过用户8握住的进食用具引导用户8的实施例。首先，将参照图5描述根据本实施例的推荐系统的概况。

[2-2-1.推荐系统的概况]

图5是示出根据第二实施例的推荐系统的概况的说明图。如图5所示，根据本实施例的推荐系统包括摄像装置30、服务器40、以及用作进食用具的筷子50。在根据本实施例的推荐系统中，摄像装置30将在摄像装置30对用户8的进食成像时获得的图像传送给服务器40，服务器40选择用户8后续要摄入的食物，并且筷子50将用户8引导至服务器40选择的食物。

筷子50例如使用发射绿光的发光单元54a以及发射红光的发光单元54b来引导用户8。例如，可以推荐服务器40选择的食物，并且可以以下述方式引导用户8：当用户8使筷子50接近服务器40选择的食物时，发光单元54a发射绿光，而当用户8使筷子50接近其它食物时，发光单元54b发射红光。此外，筷子50可以通过振动或陀螺力矩来引导用户8。此外，在本说明书中，已经描述了使用筷子50作为进食用具的示例，但是也可以使用刀、叉、勺等作为进食用具。

在图5所示的示例中，假设用户出于糖尿病对策的目的而首先摄入蔬菜，推荐系统控制筷子50以使得用户首先摄入包含许多蔬菜的沙拉21。更具体地，由于用户8想要摄入煮好的米饭24而不是推荐的沙拉21，所以筷子50的发光单元54b发射红光并振动，以使得可以向用户8通知用户8正以错误顺序进食。

上面描述了根据本实施例的推荐系统的概况。接着，将参照图6描述根据本实施例的推荐系统的配置。

[2-2-2.推荐系统的配置]

图6是示出根据第二实施例的推荐系统的配置的说明图。如图6所示，推荐系统包括摄像装置30、服务器40（信息处理装置）和筷子50。

（摄像装置30）

摄像装置30具有与根据前面的第一实施例的HMD1的成像单元3的功能相同的功能。也就是，摄像装置30将整个桌子和用户8设置为成像范围，并对作为用户8的进食目标的菜肴20或用户8的进食（诸如用户8的进食动作等）进行成像。然后，摄像装置30以有线或无线方式将拍摄图像传送给服务器40。

（服务器40）

如根据前面的第一实施例的HMD1那样，服务器40具有向用户8推荐后续要摄入的食物的功能。具体地，服务器40基于从摄像装置30接收的拍摄图像来选择用户8后续要摄入的食物。然后，服务器40向筷子50传送用于将用户8引导至所选择的食物的引导信息。服务器40用作控制单元10-2、存储单元7、接收单元14和传送单元15。此外，由于存储单元7与在前面的第一实施例中描述的存储单元相同，所以这里将省略其详细描述。

·接收单元14

接收单元14是以有线或无线的方式向摄像装置30传送数据以及从摄像装置30接收数据的通信模块。例如，接收单元40经由无线局域网（LAN）或电话线等与摄像装置30进行通信。在本实施例中，接收单元14从摄像装置30接收通过对用户8的进食进行成像而获得的图像，并将图像输出到控制单元10-2。

·控制单元10-2

控制单元10-2具有与根据前面的第一实施例的HMD1的控制单元10-1的功能相同的功能，并包括推荐单元13-2而不是推荐单元13-1。由于检测单元11和识别单元12与在前面的第一实施例中描述的检测单元和识别单元相同，这里将省略其详细描述。

·推荐单元13-2

推荐单元13-2执行与根据前面的第一实施例的HMD1的推荐单元13-1的选择处理相同的选择处理。此后，根据本实施例的推荐单元13-2输出用于引导用户8摄入所选择的（所推荐的）食物的引导信息。引导信息包括指示用户8使筷子50接近的食物是否是推荐单元13-2推荐的食物的信息。例如，当识别单元12基于摄像装置30拍摄的图像识别到用户8使筷子50接近后续要摄入的食物时，推荐单元13-2输出指示用户8正在以正确顺序进食的引导信息。另一方面，当识别单元12基于摄像装置30拍摄的图像识别到用户8使筷子50接近禁止后续摄入的食物时，推荐单元13-2输出指示用户正在以错误顺序进食的引导信息。此外，引导信息可以包括关于识别单元12识别到的每种食物的位置信息、关于所选择的食物的位置信息以及关于筷子50的位置信息。

·传送单元15

传送单元15是以无线方式向筷子50传送数据以及从筷子50接收数据的通信模块。例如，传送单元15经由无线LAN等执行与筷子50的通信。在本实施例中，传送单元15向筷子50传送用于将用户引导至推荐单元13-2推荐的食物的引导信息。此外，当用户8用另外的进食用具更换筷子50时，传送单元15可以向更换的进食用具传送引导信息，以使得可以通过更换的进食用具继续引导。

（筷子50）

筷子50具有基于从服务器40接收的引导信息将用户8引导至推荐单元13-2推荐的食物的功能。筷子50用作接收单元51、控制单元52、振动单元53、发光单元54、以及陀螺仪55。

·接收单元51

接收单元51是以无线方式向服务器40传送数据以及从服务器50接收数据的通信模块。例如，接收单元51经由无线LAN等与服务器40进行通信。在本实施例中，接收单元51接收从服务器40传送的引导信息并将引导信息输出到控制单元52。

·控制单元52

控制单元52用作运算处理装置和控制装置，并根据各种程序控制筷子50中的所有操作。由例如CPU或微处理器来实现控制单元52。此外，控制单元52可以包括存储要使用的程序、运算参数等的ROM以及临时存储适当地变化的参数等的RAM。

在本实施例中，基于接收单元51接收的引导信息，控制单元52控制振动单元53、发光单元54和陀螺仪55，以使得将用户8引导至推荐单元13-2推荐的食物。更具体地，控制单元52基于引导信息中包括的、指示用户8使筷子50接近的食物是否是推荐单元13-2推荐的食物的信息，来控制振动单元53、发光单元54和陀螺仪55。此外，基于引导信息中包括的各种位置信息，控制单元52可以确定用户8使筷子50接近的食物是否是推荐单元13-2推荐的食物，并控制振动单元53、发光单元54和陀螺仪55。

·振动单元53

振动单元53在控制单元52的控制下使筷子50振动。也就是，振动单元53具有筷子50的振动功能。由例如振动马达来实现振动单元53。在本实施例中，例如，振动单元53以这样的方式将用户8引导至推荐单元13-2选择的食物：当用户8使筷子50接近推荐单元13-2选择的食物时，振动单元53不振动，而当用户8使筷子50接近其它食物时，振动单元53振动。

·发光单元54

发光单元54在控制单元52的控制下发光。由例如图5所示的发光单元54a和54b构成发光单元54，发光单元54a和54b通过根据用户8使筷子50接近食物的操作而发光，来将用户8引导至推荐单元13-2选择的食物。例如，当用户8使筷子50接近推荐单元13-2选择的食物，发光单元54a发射绿光。当用户8使筷子50接近其它食物，发光单元54b发射红光。发光单元54例如由LED形成。此外，发光单元54可以是发光单元54a和54b之一。

·陀螺仪55

陀螺仪55具有通过输出力矩在任何方向上引导握住筷子50的用户8的功能。例如通过《日本虚拟现实社会期刊》的2002年第3号第7卷中的Masayuki Yoshie、Hiroaki Yano和Hiroo Iwata的文献“Development ofNon-grounded Force Display Using Gyro Moment Effect”中所公开的技术来实现陀螺仪55。该文献公开了通过用于卫星的姿态的控制等的陀螺仪呈现力感的技术。更具体地，该技术是用于使用高速旋转的飞轮的旋转轴倾斜时产生的力矩向小型轻量装置输出大的力矩的技术。在本实施中，陀螺仪55输出力矩，以使得当用户8在竖直方向上握住筷子50时，基于引导信息中包括的各种位置信息在筷子50推荐的食物的方向上倾斜筷子50。因此，用户8可以识别位于筷子50倾斜的方向上的食物作为后续要摄入的食物。此外，当筷子50到达后续要摄入的食物时，陀螺仪55停止输出力矩。

上面已经描述了根据本实施例的推荐系统的配置。接着，将描述根据本实施例的推荐系统的操作处理。

[2-2-3.推荐系统的操作处理]

在根据本实施例的推荐系统中，服务器40基于摄像装置30拍摄的图像来选择后续要摄入的食物并由筷子50引导用户8。根据本实施例的推荐系统的操作处理与上面参照图4描述的HMD1执行的操作处理相同，而不同之处在于步骤S120的推荐处理。更具体地，在第一实施例中，在HMD1的显示单元2上显示强调图像或禁止图像作为推荐处理。然而，在本实施例中，执行筷子50的引导。因此，下面将参照图7描述推荐系统的筷子50的推荐处理。

图7是示出根据第二实施例的推荐系统的推荐处理的流程图。如图7所示，在步骤S204，筷子50的控制单元52首先使竖直确定传感器（未示出）确定筷子50是否在竖直方向上被定向。

当筷子50没有在竖直方向上被定向（S204中为否）时，在步骤S208筷子50的控制单元52静置（stand）直到经过预定时间为止，并且处理再次返回到步骤S204。

当筷子50在竖直方向上被定向（S204中为是）时，在步骤S212筷子50在推荐单元13-2推荐的食物的方向上引导用户8。具体地，基于从服务器40接收的引导信息，筷子50的控制单元52控制陀螺仪55，并使陀螺仪55输出力矩以使得筷子50在引导信息所指示的推荐食物的方向上倾斜。

随后，在步骤S216，筷子50的控制单元52确定筷子50是否远离推荐单元13-2推荐的食物。具体地，基于从服务器40接收的引导信息中包括的各种位置信息，筷子50的控制单元52确定筷子50的位置是否远离推荐单元13-2推荐的食物的位置。此外，服务器40可以基于摄像装置30拍摄的图像来确定筷子50是否远离推荐单元13-2推荐的食物，并将确定结果作为引导信息传送给筷子50。

当筷子50远离推荐单元13-2推荐的食物（S216中为是）时，在步骤S220发光单元54b发射红光并且振动单元53振动。因此，筷子50可以向用户8通知用户8正在以错误顺序摄入食物。此后，处理再次返回到步骤S216。

相反地，当筷子50没有远离推荐单元13-2推荐的食物（S216中为否）时，在步骤S224筷子50的控制单元52确定筷子50是否已到达推荐单元13-2推荐的食物。具体地，基于从服务器40接收的引导信息中包括的各种位置信息，筷子50的控制单元52确定筷子50的位置是否与推荐单元13-2推荐的食物的位置一致或在其附近。此外，基于摄像装置30拍摄的图像，服务器40可以确定筷子50是否已到达推荐单元13-2推荐的食物，并将确定结果作为引导信息传送给筷子50。

当筷子50尚未到达推荐单元13-2推荐的食物（S224中为否）时，处理再次返回到步骤S216。

相反地，当筷子50到达推荐单元13-2推荐的食物（S224中为是）时，在步骤S228发光单元54a发射绿光。因此，筷子50向用户8通知用户8正在以正确顺序摄入食物。

上面已经描述了推荐系统的操作处理。

（补充）

上面已经描述了通过用户8握住的进食用具引导用户8的示例，但是根据本实施例的推荐系统不限于本示例。例如，推荐系统可以使用并非用户8握住的进食用具（诸如杯子或盘子）等引导用户8。例如，当用户8摄入该食物时，推荐系统可以使在其上放置有后续要摄入的食物的盘子中形成的发光单元发光，或可以使其上放置有禁止后续摄入的食物的盘子振动。此外，用户8戴在他或她的身上的手表、护腕、戒指等可以具有筷子50的功能，并通过光发射或振动来引导用户8。此外，推荐系统可以将指示后续要摄入的食物的信息传送给存在于用户8附近的诸如智能电话或平板终端的信息处理装置，并且可以显示信息处理装置以显示进食顺序。

此外，在本实施例中，已经描述了服务器40的控制单元10-2执行选择处理的情况，但是摄像装置30或筷子50也可以执行选择处理。例如，摄像装置30可以基于拍摄图像来选择后续要摄入的食物并以无线的方式向筷子50传递引导信息。此外，筷子50可以基于从摄像装置30接收的拍摄图像来选择后续要摄入的食物，并引导用户8。此外，服务器40、摄像装置30和筷子50可以分别具有检测单元11、识别单元12、推荐单元13-2和存储单元7的功能。

此外，在本实施例中，已经描述了筷子50通过陀螺仪55进行的力矩的输出来引导用户8的示例，但是本实施例不限于本示例。例如，筷子50可以使用压电元件来执行引导。这里，压电元件是下述元件：该元件具有在施加力并使压电元件形变时生成电压的特性，并且相反地在添加电压时使压电元件形变。例如，筷子50可以以这样的方式执行引导：在筷子50远离推荐食物时，使筷子50弯曲以形成难以使用的形状，而在筷子50到达推荐食物时，筷子50形成易于使用的线性形状。

[2-2-4.变型示例]

本变型示例是如下示例：其中推荐后续要摄入的食物并通过安装在用户8附近的装置引导用户8。下文中，将参照图8描述根据本变型示例的推荐系统。

图8是示出根据变型示例的推荐系统的概况的说明图。如图8所示，根据变型示例的推荐系统包括摄像装置30、服务器40、扬声器60和照明装置70。在根据变型示例的推荐系统中，摄像装置30将摄像装置30对用户8的进食进行成像时获得的图像传送给服务器40，服务器40选择用户8后续要摄入的食物，并且扬声器60和照明装置7将用户8引导至服务器40选择的食物。

在图8所示的示例中，假设用户出于糖尿病对策的目的而首先摄入蔬菜，推荐系统使照明装置70照亮沙拉21以使得用户首先摄入包含许多蔬菜的沙拉21。同时，推荐系统通过从扬声器60蔬菜音频引导用户来向用户8推荐沙拉21，使得用户摄入沙拉21。因此，推荐系统不仅可以使用用户8握住的进食用具而且也可以使用安装在用户8附近的装置来向用户8推荐后续要摄入的食物。

上面已经描述了变型示例。

<<3.结论>>

如上所述，根据本公开的实施例的信息处理装置（HMD1和服务器40）可以通过实时地以进食顺序进行导航来促进用户8的健康。具体地，根据本公开的实施例的信息处理装置可以进行导航，以使得用户按照满足各种目的（诸如糖尿病对策、高血脂对策、肥胖症对策、教育、享受、舒适的膳食、以及遵从医生的指导）的顺序摄入食物。因此，根据本公开的实施例的信息处理装置可以从各个角度支持饮食生活以促进用户8的膳食的健康或享受。

根据第一实施例的HMD1显示强调图像和禁止图像，以使得用户8可以以推荐顺序摄入食物，而不会有压力。因此，HMD1可以在降低用户8对膳食的享受的情况下支持健康进食生活。

根据第二实施例的服务器40可以引导用户8，以使得用户8可以使用筷子50、另外的进食用具或安装在用户8附近的装置以推荐顺序摄入食物。

上面参照附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于这些示例。本公开的技术领域的技术人员应理解可以在权利要求记载的技术精神和本质内进行各种修改或改正，当然这些各种修改或改正被解释为属于本公开的技术范围。

此外，可以创建一种计算机程序，以使信息处理装置中包括的诸如CPU、ROM和RAM的硬件具有与上述HMD1或服务器40的配置的等同功能。此外，还提供了其中存储有计算机程序的存储介质。

另外，本技术还可以如下配置。

（1）一种信息处理装置，包括：

检测单元，被配置成从通过对用户的进食进行成像而获得的图像中检测作为进食目标的多件食物；以及

推荐单元，被配置成在所述多件食物中实时地至少推荐后续要摄入的食物，使得所述用户按照满足预定目的的顺序摄入所述检测单元检测的所述多件食物。

（2）根据（1）所述的信息处理装置，其中，所述推荐单元生成以强调的方式示出后续要摄入的食物的强调图像，并使显示单元显示所述强调图像。

（3）根据（1）或（2）所述的信息处理装置，其中，所述推荐单元生成以禁止的方式示出禁止后续摄入的食物的禁止图像，并使显示单元显示所述禁止图像。

（4）根据（1）至（3）中任一项所述的信息处理装置，还包括：

累积单元，被配置成累积所述用户过去进食的历史，

其中，所述推荐单元还基于所述累积单元累积的历史来至少推荐所述后续要摄入的食物。

（5）根据（1）至（4）中任一项所述的信息处理装置，还包括：

识别单元，被配置成从通过对所述用户的进食进行成像而获得的图像中识别所述用户的进食情况，

其中，所述推荐单元还基于所述识别单元识别的情况来至少推荐所述后续要摄入的食物。

（6）根据（1）至（5）中任一项所述的信息处理装置，还包括：

传送单元，被配置成向进食用具传送用于将所述用户引导至所述推荐单元推荐的所述食物的引导信息，所述进食用具具有基于接收到的信息来引导所述用户的功能。

（7）根据（2）所述的信息处理装置，其中，所述强调图像是美化所述食物的外观的图像。

（8）根据（3）所述的信息处理装置，其中，所述禁止图像是使所述食物的外观劣化的图像。

（9）根据（3）所述的信息处理装置，其中，所述禁止图像是对所述用户遮蔽所述食物的图像。

（10）根据（1）至（9）中任一项所述的信息处理装置，其中，满足所述预定目的的顺序是抑制所述用户的血糖水平上升的顺序。

（11）一种信息处理方法，包括：

从通过对用户的进食进行成像而获得的图像中检测作为进食目标的多件食物；以及

在所述多件食物中实时地至少推荐后续要摄入的食物，使得所述用户按照满足预定目的的顺序摄入所检测的所述多件食物。

Claims (11)

1.一种信息处理装置，包括：

检测单元，被配置成从通过对用户的进食进行成像而获得的图像中检测作为进食目标的多件食物；以及

推荐单元，被配置成在所述多件食物中实时地至少推荐后续要摄入的食物，使得所述用户按照满足预定目的的顺序摄入所述检测单元检测的所述多件食物。

2.根据权利要求1所述的信息处理装置，其中，所述推荐单元生成以强调的方式示出后续要摄入的食物的强调图像，并使显示单元显示所述强调图像。

3.根据权利要求1所述的信息处理装置，其中，所述推荐单元生成以禁止的方式示出禁止后续摄入的食物的禁止图像，并使显示单元显示所述禁止图像。

4.根据权利要求1所述的信息处理装置，还包括：

累积单元，被配置成累积所述用户过去进食的历史，

其中，所述推荐单元还基于所述累积单元累积的历史来至少推荐所述后续要摄入的食物。

5.根据权利要求1所述的信息处理装置，还包括：

识别单元，被配置成从通过对所述用户的进食进行成像而获得的图像中识别所述用户的进食情况，

其中，所述推荐单元还基于所述识别单元识别的情况来至少推荐所述后续要摄入的食物。

6.根据权利要求1所述的信息处理装置，还包括：

传送单元，被配置成向进食用具传送用于将所述用户引导至所述推荐单元推荐的所述食物的引导信息，所述进食用具具有基于接收到的信息来引导所述用户的功能。

7.根据权利要求2所述的信息处理装置，其中，所述强调图像是美化所述食物的外观的图像。

8.根据权利要求3所述的信息处理装置，其中，所述禁止图像是使所述食物的外观劣化的图像。

9.根据权利要求3所述的信息处理装置，其中，所述禁止图像是对所述用户遮蔽所述食物的图像。

10.根据权利要求1所述的信息处理装置，其中，满足所述预定目的的顺序是抑制所述用户的血糖水平上升的顺序。

11.一种信息处理方法，包括：

从通过对用户的进食进行成像而获得的图像中检测作为进食目标的多件食物；以及

在所述多件食物中实时地至少推荐后续要摄入的食物，使得所述用户按照满足预定目的的顺序摄入所检测的所述多件食物。