CN104871236B - 显示控制设备和方法 - Google Patents

显示控制设备和方法 Download PDF

Info

Publication number
CN104871236B
CN104871236B CN201380065261.5A CN201380065261A CN104871236B CN 104871236 B CN104871236 B CN 104871236B CN 201380065261 A CN201380065261 A CN 201380065261A CN 104871236 B CN104871236 B CN 104871236B
Authority
CN
China
Prior art keywords
drink
food
image
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380065261.5A
Other languages
English (en)
Other versions
CN104871236A (zh
Inventor
佐古曜郎
佐古曜一郎
中村隆俊
镰田恭则
甲贺有希
花谷博幸
大沼智也
迫田和之
竹原充
今孝安
林和则
浅田宏平
渡边弘
渡边一弘
丹下明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104871236A publication Critical patent/CN104871236A/zh
Application granted granted Critical
Publication of CN104871236B publication Critical patent/CN104871236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets

Abstract

本发明要解决的问题是提供一种显示控制设备和记录介质，其能够通过显示在其中食物和饮品的外观发生改变的图像来控制节食。为了实现此目的，此显示控制设备设置有：检测单元，用于检测食物和饮品的图像是否被包括在输入图像中；图像建立单元，用于当食物和饮品的图像由检测单元检测到时生成图像，在该图像中，该食物和饮品的外观发生改变；以及显示控制单元，用于控制由图像建立单元所建立的图像以便使其显示在显示单元上。

Description

显示控制设备和方法
技术领域
本公开涉及一种显示控制设备和记录介质。
背景技术
近年，存在下述已知技术：该技术用于通过依赖于情况改变显示模式来视觉地通知用户。例如，以下专利文献1公开了下述技术：该技术用于通过特定显示格式来视觉地通知驾驶员其他辆车接近他/她的车辆的情况。
此外，还提出了下述显示系统：在该显示系统中，通过改变食物的显示模式来视觉地操纵用户的饱腹感。例如，以下非专利文献1提出了下述系统：在该系统中，通过使用增强现实仅操纵食物的表观尺寸而不改变在其周围的物体的尺寸可以对在进食中要获得的饱腹感进行操纵，使得可以改变食物消耗量而饱腹感保持不变。
引用列表
专利文献
专利文献1JP2012-208566A
非专利文献
非专利文献1Takuji Narumi等四人，"Augmented Satiety:Controlling senseof satiety by manipulating appearance of food with augmented reality"，Information Processing Society of Japan，Interaction2012，2012年3月15日，第25页至第32页
发明内容
技术问题
在以上非专利文献1中，执行图像处理以仅放大或缩小目标食物，而握持食物的手保持尺寸不变但是发生变形，以便在尺寸上与食物保持一致。然而，为了实现使握持食物的手适当地变形的图像处理，需要限制握持食物的方式。另外，在手连续地移动的情况下，使握持食物的手适当地变形的图像处理变得困难。
这样，需要通过改变食物的图像处理而不使用使握持食物的手变形的图像处理，控制进餐。
在非专利文献1中，通过使得食物的尺寸感可察觉来使饱腹感发生变化，从而操纵食物摄入，但是未提及通过除了使食物的尺寸发生变化之外的方法来操纵食物摄入的方法。然而，可以考虑下述：除了食物的尺寸之外，还可以使包括质地、数量(种类数目)、颜色等的食物的外观变化，使得控制限制或促进食物摄入。
因此，本公开提出一种新的且改进的显示控制设备和记录介质，其中。通过显示外观发生改变的食物或饮品的图像可以控制进餐。
问题的解决方案
根据本公开，提供了一种显示控制设备，包括：检测单元，检测输入图像是否包含食物或饮品的图像；图像建立单元，当检测单元检测到食物或饮品的图像时，建立外观发生改变的食物或饮品的图像；以及显示控制单元，执行控制以将由图像建立单元所建立的图像显示在显示单元上。
根据本公开，提供了一种在其上记录有程序的记录介质，程序使得计算机用作：检测单元，检测输入图像是否包含食物或饮品的图像；图像建立单元，当检测单元检测到食物或饮品的图像时，建立外观发生改变的食物或饮品的图像；以及显示控制单元，执行控制以将由图像建立单元所建立的图像显示在显示单元上。
发明的有利效果
如上所述，根据本公开，可以通过显示外观发生改变的食物或饮品的图像来控制进餐。
附图说明
图1是用于说明根据本公开的实施例的显示控制的概要的图。
图2是用于说明根据实施的HMD的外观的图。
图3是示出图2所示的HMD的示例性内部配置的框图。
图4是示出根据第一实施例的显示控制处理的流程图。
图5是示出根据第一实施例的图像处理的示例的图。
图6是示出根据第一实施例的图像处理的另一示例的图。
图7是示出根据第二实施例的显示控制处理的流程图。
图8是示出根据第二实施例的促进饮食禁止的图像处理的示例的图。
图9是示出根据第三实施例的显示控制处理的流程图。
图10是示出根据第三实施例的图像处理的示例的图。
图11是示出根据第四实施例的显示控制处理的流程图。
图12是用于说明根据第四实施例的图像处理的具体示例的图。
图13是示出根据第五实施例的显示控制处理的流程图。
图14是用于说明根据第六实施例的显示控制的概要的图。
图15是示出根据第六实施例在菜单图像中所包含的、其外观依赖于食物或饮品的属性而改变的食物或饮品的图像的示例的图。
具体实施方式
在下文中，将参照附图详细地描述本发明的优选实施例。注意，在本说明书和附图中，采用相同的附图标记标示具有基本上相同的功能和结构的要素，并且省略重复的说明。
按照下面的顺序给出描述。
1.本公开的实施例的显示控制的概要
2.HMD的配置
3.实施例
3-1.第一实施例
3-2.第二实施例
3-3.第三实施例
3-4.第四实施例
3-5.第五实施例
3-6.第六实施例
4.结论
<<1.根据本公开的实施例的显示控制系统的概要>>
首先，参照图1给出根据本公开的实施例的显示控制的概要的说明。
图1是用于说明根据本公开的实施例的显示控制的概要的图。如图1所示，根据实施例的显示控制由头戴式显示器(HMD)1(显示控制设备)实现。
如图1所示，HMD 1是佩戴在用户P上的眼镜类型可穿戴装置。HMD1具有下述配置：在该配置中，在佩戴状态下，用于右眼和左眼的一对显示单元2紧接地放置在用户的双眼之前，即，放置在一般的眼镜的镜片位置处。
显示单元2可以是透射类型，并且HMD 1使得显示单元2能够处于贯通(through)状态(即，透明状态或半透明状态)，使得即使当用户P像眼镜一样连续地穿戴HMD 1时，在日常生活中也没有不方便。
在此，在上述非专利文献1中，执行图像处理以仅放大或缩小目标食物，而握持食物的手保持尺寸不变但是发生变形，以便在尺寸上与食物保持一致。然而，在手连续地移动的情况下，使握持食物的手适当地变形的图像处理变得困难。
与此相反，根据实施例的HMD 1(显示控制设备)可以通过显示下述图像来控制进餐：该图像是使用用于改变食物或饮品的图像处理，而不使用用于使握持食物的手变形的图像处理所生成的。
例如，如图1所示，当用户P进餐时，佩戴在用户P上的HMD 1将饮料49、沙拉48以及牛排50成像在他/她眼前。HMD 1检测来自捕获图像的食物或饮品的图像，以及建立外观发生改变的食物或饮品的图像并且将所建立的图像显示在显示单元2上。
此时，HMD 1可以检测食物或饮品的属性，并且基于所检测到的食 物或饮品的属性建立外观发生改变的食物或饮品的图像。
例如，如果从捕获图像检测到饮料49的图像、沙拉48的图像以及牛排50的图像，则HMD 1可以分析该图像以从该图像中检测饮料属性、蔬菜(vegetable)属性以及肉类属性。然后，在用户P在节食(禁戒)的情况下，例如针对放大在其中检测到肉类属性的牛排50的图像的尺寸执行图像处理，以给出归因于视觉效果的、大于由真实牛排的食物饮食所给出的饱腹感，从而防止肉类的过量食用。
具体的，如图1所示，HMD 1关于从其中检测到肉类属性的牛排50(牛排图像50A)的图像执行图像处理，以将牛排的长度L1改变为长于L1的长度L2，以便建立包含具有放大的尺寸的牛排图像50B的图像32并且将所建立的图像显示在显示单元2上。牛排图像50B可以是整体地建立以与牛排50(牛排图像50A)的图像合成的图像，或可以是围绕牛排图像50A所合成的、仅部分与牛排图像50A不同的图像。
即使用户P在节食(禁戒)，优选地是大量摄入从其中检测出饮品属性或蔬菜属性的食物或饮品，因此从其中检测出这些属性的图像可以不经受用于尺寸改变的图像处理。因此，如图1所示，在建立的图像32中包含的沙拉图像48A和饮料图像49A保持不经受用于尺寸改变的图像处理。
如上地描述了根据实施例的显示控制的概述。注意根据实施例的HMD 1不限于食物或饮品的大小改变，而且还改变包括质地、数量(种类数目)、颜色等的食物或饮品的外观，使得可以控制限制或促进食物或饮品摄入。此外，根据实施例的HMD 1可以基于用户是否在节食以及基于诸如用户的健康状况、过敏信息、生物信息等的用户信息，改变食物或饮品的预定外观。
随后，参照图2至图3对根据实施例实现显示控制的HMD 1(显示控制设备)的配置给出说明。
<<2.HMD的配置>>
<2-1.HMD的外观>
图2是用于说明根据实施的HMD 1的外观的图。图2所示的眼镜类型HMD 1也被称作透视(see through)HMD，其中可以控制显示单元2处于透射状态。
具体而言，HMD 1包括可穿戴单元，该可穿戴单元具有下述框架结构：诸如，从右颞区和左颞区到枕骨围绕半个头部；并且如图2所示， HMD 1被穿戴在两侧听囊上以被安装至用户。
此外，在HMD 1具有下述配置：在该配置中，在如图2所示的佩戴状态下，用于右眼和左眼的一对显示单元2紧接地放置在用户的双眼之前，即，放置在一般的眼镜的镜片位置处。例如，液晶面板被用于显示单元2。如图2所示，通过控制液晶面板的透射率，HMD 1可以处于贯穿状态，即，透明状态或半透明状态。通过使得显示单元2能够处于贯穿状态，使得即使当用户像眼镜一样连续地穿戴HMD 1时，在日常生活中也没有不方便。
显示单元2还可以显示由显示单元2中的成像透镜3a所成像的真实空间的捕获图像。显示单元2可以对由HMD 1所建立的图像、从外部装置所接收到的内容、在HMD 1的存储介质中所存储的内容等进行再现和显示。
如图2所示，成像透镜3a被布置成在佩戴在用户P上的状态下向前定向，使得在用户观看的方向是物体方向的情况下实施成像。此外，布置有照亮成像透镜3a的成像方向的发光单元4a。发光单元4a由例如发光二极管(LED)形成。
尽管在图2中仅在左耳侧上被示出，但是安装有在佩戴状态下可以被插入到用户的右耳洞和左耳洞的一对耳机扬声器5a。
收集外部声音的麦克风6a以及6b被布置在用于右眼的显示单元2的右侧和用于左眼的显示单元2的左侧。
图1所示的HMD 1的外观仅示出了示例，并且对于将HMD 1佩戴至用户可以考虑多种结构。HMD 1可由通常被认为是眼镜类型或头戴式类型的佩戴单元形成。在实施例中，至少，显示单元2可以被佩戴为在用户眼睛前方贴近。一对显示单元2可以被配置为佩戴成与双眼相对应，以及一个显示单元也可以被佩戴成与一只眼镜相对应。
在如图1所示的示例中，成像透镜3a和用于照明的发光单元4a被布置成在右眼侧向前定向，但是可以被布置成在左眼侧或在双眼侧。除了向前之外，成像透镜3a和发光单元4a还可以被布置成向侧面或向后定向。
单个耳机扬声器5a可被安装成仅被佩戴在单耳上，而不使用右侧和左侧立体声扬声器。对于麦克风，还可使用麦克风6a和6b中的一个。
还可以考虑不包括扬声器6a和6b或耳机扬声器5a的配置。也可以考虑不包括发光单元4a的配置。
以上描述了根据实施例的HMD 1的外观。注意在实施例中，HMD 1被用作显示控制设备的示例，但是根据实施例的显示控制设备不限于HMD 1。例如，根据实施例的显示控制设备可以是智能电话、移动电话终端、个人电子助理(PAD)、个人计算机(PC)、平板式终端等。
<2-2.HMD的内部配置>
接下来，将参照图3来说明根据实施例的HMD 1的内部配置。图3是示出图2所示的HMD 1的内部配置的示例的框图。
如图3所示，HMD 1包括显示单元2、成像单元3、发光单元4、声音输出单元5、声音输入单元6、系统控制器10、成像控制单元11、显示图像处理单元12、显示驱动单元13、显示控制单元14、成像信号处理单元15、声音信号处理单元16、图像分析单元17、照明控制单元18、存储单元25、通信单元26、图像输入和输出控制27、声音输入和输出控制28、声音组合单元29。
(系统控制器)
系统控制器10由例如微型计算机构成并且控制HMD 1的每个配置，该微型计算机包括：中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)、非易失存储器以及接口。
如图2所示，系统控制器10用作：检测单元10a，用于基于来自图像分析单元17的图像分析结果从获取的图像检测食物或饮品的图像，或检测食物或饮品的属性；以及操作控制单元10b，用于控制HMD 1的操作。
检测单元10a基于来自图像分析单元17的图像分析结果，检测来自捕获图像的食物或饮品的图像。例如，检测单元10a将捕获图像的图像分析结果与预先存储在存储单元25中用于食物或饮品检测的模式图像进行匹配，以能够检测食物或饮品的图像。检测单元10a基于所检测到的食物或饮品的图像，检测食物或饮品的属性。例如，检测单元10a将所检测到的食物或饮品的图像与预先存储在存储单元25中的与食物或饮品的属性相关联的模式图像进行匹配，以能够检测到食物或饮品的属性。
操作控制单元10b控制HMD 1的操作。更具体地，在检测单元10a从捕获图像中检测到食物或饮品的图像的情况下，根据实施例的操作控制单元10b用作图像建立单元，图像建立单元建立依赖于食物或饮品的属性或用户信息其外观发生改变的食物或饮品的图像。然后，操作控制单元 10b向显示控制单元14发出指令，以将所建立的图像显示在显示单元2上。
(成像单元)
成像单元3包括：透镜系统，该透镜系统包括成像透镜3a、光圈、变焦透镜以及聚焦透镜；驱动系统，该驱动系统能够使得透镜系统执行聚焦操作或变焦操作；以及固态图像传感器阵列，该固态图像传感器阵列对采用透镜系统所获得的成像光线进行光电转换以生成成像信号。该固态图像传感器阵列可以通过例如下述实现：电极耦合器件(CCD)、传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列。
(成像信号处理单元)
成像信号处理单元15包括：采样保持和自动增益控制(AGC)电路，该采样保持和自动增益控制(AGC)电路对由成像单元3的固态图像传感器所获得的信号执行增益调整或波形整形；或视频模拟至数字(A至D)转换器。这样，成像信号处理单元15获得作为数字化数据的成像信号。成像信号处理单元15对成像信号执行白平衡处理、亮度处理、颜色信号处理、模糊校正处理等。
(成像控制单元)
成像控制单元11基于来自系统控制器10的指令控制成像单元3和成像信号处理单元15的操作。例如，成像控制单元11控制成像单元3和成像信号处理单元15的操作的ON和OFF。成像处理单元11被认为对成像单元3执行控制(电机控制)，以为了执行诸如自动对焦、自动曝光调整、光圈调整以及变焦的操作。成像控制单元11包括定时发生器，并且基于由定时发生器所生成的定时信号，对控制视频A至D转换器、固态图像传感器以及成像信号处理单元15的采样保持和AGC电路的信号处理操作进行控制。成像帧率的变量控制被认为通过定时控制执行。
成像控制单元11对在固态成像元件和成像信号处理单元15中的成像敏感度或信号处理执行控制。例如，作为对成像敏感度的控制，可以执行对从固态图像传感器所读取的信号的增益控制。替选地，可以执行在数字化数据阶段对成像信号处理的各种系数的控制、黑度设置控制、模糊校正处理中的校正量控制等。
(图像输入和输出控制)
由成像单元3所成像的并且由成像信号处理单元15所处理的成像信 号(通过成像所获得的图像数据)被提供给图像输入和输出控制27。图像输入和输出控制27在系统控制器10的控制下控制图像数据的传送。换言之，图像输入和输出控制27控制成像信号处理单元15、显示图像处理单元12、图像分析单元17、存储单元25以及通信单元26之间的图像数据的传送。例如，图像输入和输出控制27执行将作为由成像信号处理单元15所处理的成像信号的图像数据(捕获图像)提供至图像分析单元17的操作。
(显示图像处理单元)
显示图像处理单元12被认为是例如所谓的视频处理器，并且被认为是可以对所提供的图像数据执行各种显示处理的单元。例如，可以执行图像数据的亮度等级调整、颜色校正、对比度调整、或锐利度(轮廓增强)调整。
(显示驱动单元)
显示驱动单元13包括像素驱动电路，该像素驱动电路将从显示图像处理单元12所提供的图像数据显示在例如被视为是液晶显示器的显示单元2上。即，通过以预定水平驱动定时和预定垂直驱动定时，将基于视频信号的驱动信号施加到在显示单元2中以矩阵形式所布置的每个像素，执行显示。显示驱动单元13可以依照来自显示控制单元14的指令，控制显示单元2的每个像素的透射率，以使显示单元2处于贯通状态。
(显示控制单元)
显示控制单元14在系统控制器10的控制下控制显示图像处理单元12的处理操作或显示驱动单元13的操作。具体地，显示控制单元14执行控制，使得显示图像处理单元12对上述图像数据上执行亮度等级调整等。
根据实施例的显示控制单元14响应于由系统控制器10进行的控制，控制显示驱动单元13的操作，以便将由操作控制单元10b(图像建立单元)所建立的外观发生改变的食物或饮品的图像显示在显示单元2。
(声音输入单元)
声音输入单元6包括图2所示的麦克风6a和6b，以及对由麦克风6a和6b所获得的声音信号进行放大和处理的麦克风放大器单元和A至D转换器。声音输入单元6将声音数据输出至声音输入和输出控制28。
(声音输入和输出控制)
声音输入和输出控制28在系统控制器10的控制下，控制声音数据的传输。具体地，声音输入和输出控制28控制声音输入单元6、声音信号处理单元16、存储单元25以及通信单元26之间的声音信号的传输。例如，声音输入和输出控制28执行将由声音输入单元6所获得的声音数据提供给声音信号处理单元16、存储单元25或通信单元26的操作。声音输入和输出控制28执行例如将由存储单元25所再现的声音数据提供至声音信号处理单元16或通信单元26的操作。声音输入和输出控制28执行例如将由通信单元26所收到的声音数据提供至声音信号处理单元16或存储单元25的操作。
(声音信号处理单元)
声音信号处理单元16例如由数字信号处理器或D至A转换器形成。声音信号处理单元16被提供有由声音输入单元6所获得的声音数据，或经由声音输入和输出控制28来自存储单元25或通信单元26的声音数据。声音信号处理单元16在系统控制器10的控制下，对所提供的声音数据执行诸如音量调整、声音质量调整或声效的处理。处理后的声音数据被转换为模拟信号，该模拟信号要被提供给声音输出单元5。声音信号处理单元16不限于在其中执行数字信号处理的配置，而且可以使用模拟放大器或模拟滤波器执行信号处理。
(声音输出单元)
声音输出单元5包括图2所示的一对耳机扬声器5a以及用于耳机扬声器5a的放大器电路。声音输出单元5可以被配置成所谓的骨传导扬声器。用户可以通过声音输出单元5进一步地听见外部声音、听见由存储单元25所再现的声音、或听见由通信单元26所收到的声音。
(存储单元)
存储单元25被认为是将数据记录在预定记录介质上并且对在预定记录介质上的数据进行再现的单元。存储单元25被实现为例如硬盘驱动(HDD)。当然，记录介质可以被认为是各种媒介中的任何一个，诸如固态存储器(如闪速存储器)、包括固定存储器的存储卡、光盘、磁光盘以及全息存储器。存储单元25可以被认为具有下述配置：在该配置中，可以根据所采用的记录介质执行记录和再现。
存储单元25经由图像输入和输出控制27被提供有：作为由成像单元 3所捕获的并且由成像信号处理单元15所处理的成像信号的图像数据(捕获图像)、由操作控制单元10b所建立的外观发生改变的食物或饮品的图像数据等。存储单元25经由声音输入和输出控制28被提供有：由声音输入单元6所获得的声音数据和由通信单元26所接收到的声音数据。
(通信单元)
通信单元26将数据传送至外部装置以及从外部装置接收数据。通信单元26是用户获取外部信息的配置的示例。通信单元26通过例如无线局域网络(LAN)、Wi–Fi(R)(无线保真)、红外通信、蓝牙(R)等的方式，与外部装置直接地进行无线通信或经由网络接入点进行无线通信。
(声音组合单元)
声音结合单元29在系统控制器10的控制下执行声音组合，并且输出声音信号。从声音组合单元29所输出的声音信号经由声音输入和输出控制28被提供给声音信号处理单元16以被处理，然后被提供给声音输出单元5以作为声音被输出给用户。
(照明单元和照明控制单元)
照明单元4包括图2所示的发光单元4a以及使得发光单元4a(例如，LED)能够发光的发光电路。照明控制单元18使得发光单元4能够在系统控制器10的控制下执行发光操作。如图1所示，照明单元4的发光单元4a被安装以对正面进行照明，因此照明单元4在用户视野方向上执行照明操作。
(图像分析单元)
图像分析单元17是用于获取外部信息的配置的示例。具体地，图像分析单元17分析图像数据，并且获得关于在图像数据中所包含的图像的信息。经由图像输入和输出控制27，图像分析单元17被提供有图像数据。作为图像分析单元17中的图像分析的目标的图像数据，是作为由成像单元3和成像信号处理单元15所获得的捕获图像的图像数据，是由通信单元26接收到的图像数据，或是由存储单元25从记录介质所再现的图像数据。
根据实施例的图像分析单元17分析由成像信号处理单元15所获得的捕获图像(图像数据)以执行点检测、线/轮廓检测、区域划分等，并且将图像分析结果输出到系统控制器10中的检测单元10a。
以上描述了根据实施例的HMD 1的内部配置。注意，声音输出单元5、声音输入单元6、声音信号处理单元16、声音输入和输出控制28以及声音组合单元29被示出为声音系统的组件，但是不必须包括所有这些组件。通信单元26被示出为HMD 1的组件，但是不必须被包括。
根据以上配置，HMD 1可以将通过改变在由成像单元3所捕获的捕获图像中所发现的食物或饮品的外观所建立的图像实时地显示在显示单元2上，以控制用户P的进餐。接下来，通过使用多个实施例，对于根据实施例的HMD 1在哪种情况下建立哪个图像，以及如何控制进餐具体地给出了描述。
<3.实施例>
<3-1.第一实施例>
在第一实施例中，HMD 1基于由检测单元10a所检测到的食物或饮品的属性，建立外观发生改变的食物或饮品的图像。在下文中，参照图4至图6对根据第一实施例的显示控制具体地给出描述。
图4是示出根据第一实施例的显示控制处理的流程图。首先，在图4的步骤S103处，在用户P上所佩戴的HMD 1通过成像单元3对在用户P的眼睛凝视方向上所存在的食物或饮品成像。
随后，在步骤S106处，检测单元10a从捕获图像中检测食物或饮品的图像以及食物或饮品的属性。
接下来，在步骤S109处，操作控制单元10b确定是否为由检测单元10a所检测到的食物或饮品的属性对应于预先设置的不健康食物或饮品的属性的情况，或确定是否为用户P在节食的情况。可以基于是否通过用户操作设置了节食模式来确定用户P是否在节食。当用户P在节食时，操作控制单元10b进一步确定由检测单元10a所检测到的食物或饮品的属性是否对应于禁戒目标食物或饮品的属性。
然后，在所检测到的属性不对应于不健康食物或饮品的属性的情况下，在用户P不在节食的情况下，或用户在节食但是所检测到的属性不对应于禁戒目标食物或饮品的属性的情况下(S109/否)，操作控制单元10b不需要改变食物或饮品的外观。因此，在步骤S115处，操作控制单元10b将由成像单元3所捕获的图像实时地在显示单元2上而不进行改变，或控制显示单元2处于透射状态。
另一方面，在所检测到的属性对应于不健康食物或饮品的属性的情况 下，或用户P在节食并且所检测到的属性对应于禁戒目标食物或饮品的属性的情况下(S109/是)，操作控制单元10b改变食物或饮品的外观。具体地，在步骤S112处，操作控制单元10b(图像建立单元)对所检测到的食物或饮品的图像，执行图像处理以给予大于由实际的食物进食所带来的饱腹感，或执行图像处理以抑制食欲。
给予大于由实际的食物进食所带来的饱腹感的图像处理是，例如，增加食物或饮品的量或尺寸的图像处理。抑制食欲的图像处理是使食物或饮品的颜色或质地改变为预定颜色或质地以抑制食欲的图像处理。
在此，通过使用图5和图6对作为给予用户大于由实际的食物摄进食所带来的饱腹感的图像处理的增加食物或饮品的量或尺寸的图像处理的具体示例给出描述。
图5是由在用户握持饼干的情况下增加饼干的尺寸的图像处理所建立的图像的示例。如图5所示的图像34，当用户沿厚度方向握持圆形饼干时，操作控制单元10b(图像建立单元)通过将饼干图像35A的径向方向的长度L4改变至长于L4的长度L5，建立饼干图像35B。另一方面，如图5所示的图像36，当用户沿径向方向握持圆形饼干时，操作控制单元10b(图像建立单元)通过将饼干图像35A的厚度方向的厚度T4改变至厚于T4的厚度T5，建立饼干图像35C。以这种方式，依赖于用户握持食物或饮品的方向来改变食物或饮品的尺寸，以便不影响被握持的部分，从而避免使手变形的图像处理。
图6是示出了在碗里盛有米饭的情况下通过将米饭的量改变为增加所建立的图像的示例的图。例如，如图6所示的图像38，操作控制单元10b(图像建立单元)通过基于被放置在碗里的米饭图像39A仅将米饭的量改变为增加，可以建立米饭图像39B。更具体地，检测单元10a从捕获图像中检测布置在食物或饮品周围的物体的图像，并且操作控制单元10b建立外观发生改变的食物或饮品的图像而不改变物体的外观。在此，布置在食物或饮品周围的物体包括如图6所示的碗，以及诸如餐盘或筷子的餐具和桌子。
操作控制单元10b可以建立由检测单元10a所检测到的食物或饮品的图像，以及盛有外观发生改变的食物或饮品的餐盘的图像。例如，如图6所示的图像41，操作控制单元10b(图像建立单元)可以建立图像42B：在图像42B中，包括米饭和碗的图像42A被改变为放大。
如上描述了根据第一实施例的显示控制。根据第一实施例，HMD 1可以基于由检测单元10a所检测到的食物或饮品的属性建立外观发生改变的食物或饮品的图像，以控制用户的饱腹感或摄入量。
<3-2.第二实施例>
在第二实施例中，HMD 1基于由检测单元10a所检测到的食物或饮品的属性以及用户信息，建立外观发生改变的食物或饮品的图像。在下文中，参照图7和图8对根据第二实施例的显示控制的具体地给出描述。
图7是示出根据第二实施例的显示控制处理的流程图。在图7中，在步骤S123处，操作控制单元10b获取用户信息。用户信息包括用户的生物信息(身高、体重、出汗量、心率、脉搏率、血液成分信息)、代表健康状况的信息(关于当前所患疾病信息)、对食物或饮品的口味信息(期望的口味等)、用户对食物或饮品的禁止饮食信息或限制饮食信息、卡路里摄入信息、用户的盐分摄入信息、用户的脂肪摄入信息、用户的糖分摄入信息、用户的酒精摄入信息、过敏信息等。以上用户信息可以从预先登记在存储单元25的用户信息中获取，可以经由通信单元26从登记在外部装置的用户信息中获取，或可以从安装在用户上的多个传感器实时地检测和获取。
接下来，在步骤S126中，操作控制单元10b基于所获取的用户信息确定用户身体是否健康。例如，在未从要参考的用户的生物信息中检测到异常值的情况下，操作控制单元10b确定该用户身体健康，其中代表健康状况的信息不包含疾病信息，或其中缺少关于食物或饮品的过敏信息。在从要参考的用户的生物信息中检测到异常值的情况下，操作控制单元10b确定用户身体不健康，其中代表健康状况的信息包含疾病信息，或其中存在关于食物或饮品的过敏信息。
接下来，如果确定用户身体不健康(S126/否)，则在步骤S129处，操作控制单元10b基于用户信息获取关于被禁止饮食或不期望饮食的食物或饮品的特定信息。具体地，操作控制单元10b可以从用户信息中提取特定信息，或可以基于用户信息从存储单元25或外部装置中获取相对应的特定信息。例如，在从用户信息中发现用户患有糖尿病或高血脂的情况下，操作控制单元10b提取在糖尿病或高血脂情况下禁止饮食或不期望饮食的食物或饮品的特定信息。
接下来，在步骤S132处，成像单元3对在用户P的眼睛凝视方向上 所存在的食物或饮品的成像。
接下来，在步骤S135处，检测单元10a从捕获图像中检测食物或饮品的图像。此时，检测单元10a可以一起检测食物或饮品的属性。
接下来，在步骤S138处，操作控制单元10b确定由检测单元10a所检测到的食物或饮品的图像是否为与特定信息有关的食物或饮品的图像。换言之，操作控制单元10b确定在捕获图像中是否包含禁止饮食或不期望饮食的食物或饮品。
随后，如果所检测到的图像被确定为是与特定信息有关的食物或饮品的图像(S138/是)，则在步骤S141处，操作控制单元10b建立外观发生改变的、与特定信息有关的食物或饮品的图像，将所建立的图像显示在显示单元2上，以及促进对食物或饮品的禁止饮食。在此，图8示出了用于促进禁止饮食的图像处理的示例。如图8所示的图像44，操作控制单元10b可以显示要被叠加到所捕获的酒精饮料图像45A的禁止标记46。如图8所示的图像47，操作控制单元10b可以通过将酒精饮料的外观改变至针对抑制食欲有效的预定颜色来建立酒精饮料图像45B。
另一方面，如果用户被确定为身体健康(S126/是)，则在步骤S103至S105处执行与参照图4所描述的步骤(S103至S105)相同的步骤。
如果在步骤S138处由检测单元10a所检测到的食物或饮品的图像被确定为不是与特定信息有关的食物或饮品的图像(S138/否)，则操作控制单元10b执行在步骤S109处所示出的处理。换言之，操作控制单元10b确定是否为由检测单元10a所检测到的食物或饮品的属性对应于预先设置的不健康食物或饮品的属性的情况，或确定是否为用户P在节食的情况。然后，操作控制单元10b依赖于确定结果执行在S112至S115处所示出的处理(与在参照图4所描述的步骤处所示出的处理相同的处理)的过程。
如上描述了根据第二实施例的显示控制。根据第二实施例，HMD 1可以基于用户信息以及食物或饮品的属性，建立外观发生改变的食物或饮品的图像以控制用户的进餐。
注意在以上所描述的示例中，在基于用户信息(例如，被禁止饮食的食物或饮品)检测到了与关于所获取的食物的饮食的特殊信息有关的食物或饮品的情形下，执行促进食物或饮品的禁止饮食的显示控制，但是根据实施例的显示控制不限于此。
例如，在以上的S112处，根据实施例的操作控制单元10b在改变与在S109处所示出的状况相对应的食物或饮品的外观中，可以参考用户信息。具体地，操作控制单元10b可以参考用户的口味信息来执行显示控制，以便增大用户最爱的食物或饮品，使得例如更有效地给予归因于视觉效果的饱腹感或满足感。如果用户在节食(S109/是)，则操作控制单元10b可以参考用户的卡路里摄入信息来关于被假定包含超出每天所需要的卡路里摄入量的食物或饮品执行图像处理以抑制食欲。
<3-3.第三实施例>
在第三实施例中，关于由检测单元10A所检测到的多种食物或饮品，HMD 1依赖于食物或饮品的每个属性执行用于改变每个外观的显示控制。在下文中，参照图9和图10给出根据第三实施例的显示控制的描述。
图9是示出根据第三实施例的显示控制处理的流程图。首先，在图9的步骤S153处，HMD 1通过成像单元3对包括多种食物或饮品的整个餐桌(盘)成像。
接下来，在步骤S156处，检测单元10a从捕获图像中单独地检测食物或饮品的多个图像。此时，检测单元10a可以一起检测食物或饮品的多个属性。
接下来，在步骤S159处，操作控制单元10b对所检测到的多种食物或饮品进行编号，并且对总数量N进行计数。例如，如图10中所示，在从捕获图像30中检测到沙拉图像48A、饮料图像49A以及牛排图像50A的情况下，操作控制单元10b将沙拉图像48A编号为“1”、将饮料图像49A编号为“2”以及将牛排图像50A编号为“3”，并且将总数量计数为“3”。
接下来，在步骤S162中，操作控制单元10b设置n＝1。
随后，在步骤S165处，操作控制单元10b确定食物或饮品n的属性是否对应于预先设置的不健康食物或饮品的属性，或是否对应于禁戒目标食物或饮品的属性。例如，如果设置n＝1，则对被编号为“1”的沙拉图像48A做出确定。
接下来，如果以上情况都不适用(S165/否)，则在步骤S171处，操作控制单元10b控制食物或饮品n的图像以使其正常地显示在显示单元2上，即，处于保持为如被捕获时的样子并且外观不发生改变的状态。例如，在所捕获的沙拉图像48A的属性被确定为不适用于任何上述状况的情况 下，如图10所示，外观没有发生改变的沙拉图像48A被包括在显示单元2上所显示的图像32中。
然后，在步骤S174处，操作控制单元10b确定当前所设置的“n”是否小于总数量“N”。
接下来，如果“n”小于“N”(S174/否)，则操作控制单元10b在步骤S177处使当前所设置的“n”递增1。这使得操作控制单元10b能够设置n＝2。
接下来，重复以上描述的步骤S165，更具体地，操作控制单元10b对被编号为“2”的饮料图像49A、关于食物或饮品的属性是否对应于预先设置的不健康食物或饮品的属性或是否对应于禁戒目标食物或饮品的属性，做出确定。
接下来，如果在步骤S165中，确定了对应性(S165/是)，则操作控制单元10b在步骤S168处改变食物或饮品的外观。具体地，操作控制单元10b(图像建立单元)对检测到的食物或饮品的图像，执行图像处理以给予大于由实际的食物进食所带来的饱腹感，或执行图像处理以抑制食欲。
例如，如果饮料图像49A的属性对应于禁戒目标食物或饮品的属性，则如图10所示，操作控制单元10b通过将盛有饮料的杯子高度改变至高度T9来建立饮料图像49B，高度T9高于捕获图像30中的饮料图像49A中的高度T8。以这种方式，杯子被显示为大于其实际尺寸，以及在透明杯子的情况下，杯子的显示被改变为不仅尺寸被增大而且杯子中的容量也增加，使得归因于视觉效果可以对用户给予大于由实际食物进食所带来的饱腹感。
另外，当握持杯子时，通常握持杯子的下半部或中部，因此即使对应于与高度T8的差异的杯子的上部是所建立的图像，用户可以握持杯子而没有不舒适的感受，并且实际地饮用。如图10所示，由于饮料图像49B在杯子宽度上未发生改变而是其高度变得更高，因此不需要用于使用户握持杯子的手的变形的图像处理等。
在牛排图像50A的属性对应于禁戒目标食物或饮品的属性的情况下，如图10所示，操作控制单元10b通过将牛排的长度改变至长度L2来建立牛排图像50B，长度L2长于捕获图像30中的牛排图像50A的长度L1。
以这种方式，重复以上步骤S165至S177，在当前设置的“n”等于 或大于总数量“N”(S174/是)时，结束用于改变食物或饮品的外观的显示控制。
如上描述了根据第三实施例的显示控制。根据第三实施例，另外在从捕获图像中检测到多个食物或饮品的图像的情况下，HMD 1可以基于食物或饮品的属性来改变每个食物或饮品的外观以控制用户的进餐。
<3-4.第四实施例>
在上述实施例中，依赖于食物或饮品的属性或者用户信息改变从捕获图像中所检测到的食物或饮品的外观，但是当用户没有看着食物或饮品时尽管食物或饮品的外观发生改变，也不能给予归因于视觉效果造成的饱腹感等。因此，在第四实施例中，在HMD 1具有眼睛凝视检测功能的情况下，通过执行对改变用户看着的食物或饮品的外观的控制进一步确保给予用户归因于视觉效果的饱腹感等。在下文中，参照图11和图12给出了根据第四实施例的显示控制的描述。
图11示出了根据第四实施例的显示控制处理的流程图。首先，在图11的步骤S183处，当HMD 1通电时，HMD 1中的操作控制单元10b在步骤S186处确定设置是否被置于进餐模式。
接下来，如果设置被置于进餐模式(S186/是)，则HMD 1在步骤S189处检测用户的眼睛凝视。例如，操作控制单元10b基于图像分析单元17关于由成像透镜(未示出)所成像的捕获图像的分析结果，检测眼睛凝视检测，该成像透镜被布置在HMD 1中以向内定向使得当安装HMD 1时用户的眼睛被成像。具体地，操作控制单元10b追踪被成像的用户的眼睛的瞳孔移动，并且计算眼睛凝视的方向以使得能够指定用户正在看着哪里(眼睛凝视方向)。
接下来，在步骤S192处，检测单元10a基于操作控制单元10b的眼睛凝视方向结果以及由成像单元3所成像的食物或饮品的捕获图像，指定用户正在看着的食物或饮品。检测单元10a一起检测所指定的食物或饮品的属性。
接下来，在步骤S195处，操作控制单元10b确定由检测单元10a所指定的食物或饮品的属性是否对应于预先设置的不健康食物或饮品的属性，或是否对应于当用户P在节食的情况下预先设置的禁戒目标食物或饮品的属性。
接下来，如果确定上述任何情况适用(S195/是)，则操作控制单元10b 在步骤S198处建立外观发生改变的所指定的食物或饮品的图像，并且将所建立的图像显示在显示单元2上。具体地，操作控制单元10b执行增加所指定的食物或饮品的量的图像处理以给予大于由实际的食物进食所带来的饱腹感，或执行改变所指定的食物或饮品的颜色或质地的图像处理以抑制食欲。
在此，通过使用图12给出了根据实施例的图像处理的具体示例的描述。如图12所示的图像52，在饮料图像49A存在于用户的眼睛凝视方向53上的情况下，操作控制单元10b通过将饮料图像49A的杯子高度T8改变至高于T8的高度T9来建立饮料图像49B，并且显示所建立的图像。如图12所示的图像54，在牛排图像50A存在于用户的眼睛凝视方向53上的情况下，操作控制单元10b通过将牛排图像50A的牛排的长度L1改变至长于L1的长度L2来建立牛排图像50B，并且显示所建立的图像。注意，为了描述的方便在图12中的图像52和54所示出的眼睛凝视方向53的显示被示出，并且不一定被显示在显示单元2上。根据实施例的操作控制单元10b可以执行控制以依赖于设置显示或隐藏眼睛凝视方向。
如上描述了根据第四实施例的显示控制。根据第四实施例，HMD 1可以基于食物或饮品的属性，建立在用户的眼睛凝视方向上所存在的食物或饮品的图像，即，建立外观发生改变的、用户在期待食用或饮用的食物或饮品的图像，以控制用户的饱腹感或摄入量。
<3-5.第五实施例>
以上所描述的第二实施例解释了用于对与特定信息有关的食物或饮品之外的食物或饮品执行改变外观的处理(图7所示的S109至S112)，以及在那时，可以参考用户信息(口味信息等)，但是根据本公开的显示控制不限于此。例如，在接下来描述的第五实施例中，HMD 1可以执行显示控制以便仅改变与从用户信息所获取的特定信息有关的食物或饮品的外观。在下文中，参照图13对根据第五实施例的显示控制具体地给出描述。
图13是示出了根据第五实施例的显示控制处理的流程图。在图13的步骤S213处，操作控制单元10b获取用户信息。
接下来，在步骤S216处，操作控制单元10b基于所获取的用户信息确定用户身体是否健康。
接下来，如果用户被确定为身体不健康(S216/否)，则在步骤S219 处，操作控制单元10b基于用户信息获取关于被禁止饮食或不期望饮食的食物或饮品的特定信息。
接下来，在步骤S222处，成像单元3对在用户P的眼睛凝视方向上所存在的食物或饮品成像。
接下来，在步骤S225处，检测单元10a从捕获图像中检测与特定信息有关的食物或饮品的图像。换言之，操作控制单元10b从捕获图像中检测被禁止饮食或不期望饮食的食物和饮品的图像。
随后，如果检测到与特定信息有关的食物或饮品的图像(S228/是)，则在步骤S231处，操作控制单元10b，建立外观发生改变的、与特定信息有关的食物或饮品的图像，并且将所建立的图像显示在显示单元2上，以促进食物或饮品的禁止饮食。
另一方面，如果用户被确定为身体健康(S216/是)并且如果未检测到与特定信息有关的食物或饮品的图像(S228/否)，则操作控制单元10b将由成像单元3所捕获的图像实时地显示在显示单元2上而不进行改变，或控制显示单元2使其处于透射状态。
如上所述，根据第五实施例，可以执行显示控制以便仅改变与从用户信息所获取的特定信息有关的食物或饮品的外观。
<3-6.第六实施例>
在以上描述的实施例中，HMD 1执行下述显示控制：由成像单元3对在用户前面的、他/她想要食用的食物或饮品成像，并且改变在捕获图像中所发现的食物或饮品的外观。然而，根据本公开，显示控制不限于此，并且即使在成像单元3对以纸质介质或电子介质的形式呈现的食物或饮品(的照片)成像的情况下，HMD 1也可以执行控制使得食物或饮品的外观发生变化并且显示在显示单元2上。在下文中，参照图14至图15对根据第六实施例的显示控制具体地给出了描述，该显示控制还以这种方式关于食物或饮品的照片对外观执行改变处理。
图14是用于说明根据第六实施例的显示控制的概要的图。如图14所示，根据实施例的HMD 1通过成像透镜3a对用户正在看着的食物或饮品的菜单图像710成像，成像透镜3a被布置成向外定向以用于沿着用户的眼睛凝视方向成像。如图14所示，菜单图像710显示在平板式电子终端70的显示单元71上。作为菜单的示例，菜单图像710显示有牛排、煎蛋卷以及沙拉的图像。
根据实施例的HMD 1在显示单元2上显示有在由成像透镜3a所成像的菜单图像710中所包含的食物或饮品的图像，其外观依赖于食物或饮品的属性而改变。在此，图15示出了在菜单图像710中所包含的、外观依赖于食物或饮品的属性而改变的食物或饮品的图像的示例。
图15所示的图像55是由HMD 1中的操作控制单元10b所建立的图像，其依赖于由检测单元10a从通过对菜单图像710成像所获得的捕获图像中所检测到的食物或饮品的属性来改变食物或饮品的外观。HMD 1将以这种方式所建立的图像55显示在显示单元2上。
更具体地，例如，在牛排是禁戒目标食物或饮品的情况下，如图15所示，操作控制单元10b建立牛排图像56B，在牛排图像56B中牛排图像56A被使得变小以避免对牛排下单(用于抑制对牛排的食欲)。
在煎蛋卷不对应于预先登记的任何不健康食物或饮品以及禁戒目标食物或饮品的情况下，操作控制单元10b建立煎蛋卷图像57B，在煎蛋卷图像57B中煎蛋卷图像57A被使得变大以便促进对煎蛋卷下单(以表达价值感)。此外，在沙拉不对应于预先登记的任何不健康食物或饮品以及禁戒目标食物或饮品的情况下，操作控制单元10b建立沙拉图像58B，在沙拉图像58B中沙拉图像58A被使得变大以便促进对沙拉下单(以表达价值感)。
这使得以下成为可能：在餐厅等对进餐下单时，例如，HMD 1改变在菜单上所列出的食物或饮品的外观，使得如果用户在节食或要下单的进餐是不健康食物或饮品则避免对该进餐下单。
<4.结论>
如上所述，根据实施例的显示控制可以实时地改变用户要食用的食物或饮品的外观以控制进餐。例如，根据实施例的HMD 1可以增加食物或饮品的尺寸或量以归因于视觉效果给予大于由实际食物进食所带来的饱腹感。这也可以在用户在节食或要进食的进餐为不健康食物或饮品的情况下，没有压力地抑制食物或饮品的摄入量。HMD 1可以将食物或饮品的颜色或质地改变为预定的颜色或质地以用于没有压力地抑制食欲从而限制预定食物或饮品的摄入。
以上参照附图描述了本公开的优选实施例，但是本技术不限于以上示例。对于本领域技术人员明显的是，在权利要求的范围中所描述的技术精神和实质的范围内可以进行各种修改和改正，并且该修改和改正当然应被 解释为属于本公开的技术范围。
例如，可以编写计算机程序以用于使得诸如CPU、ROM、RAM等内置于HMD 1的硬件发挥HMD 1的上述功能。同时提供在其中存储有计算机程序的计算机可读存储介质。
在根据实施例的HMD 1具有生成预定气味功能的情况下，除了通过上述的改变食物或饮品的外观之外，还可以通过气味控制进餐。例如，在用户在节食或用户要食用不健康食物或饮品的情况下，HMD 1生成葡萄柚气味、广藿香气味或杉木气味作为抑制食欲的气味。
根据实施例的HMD 1执行显示控制以便响应于用户食用或饮用时实际食物或饮品的数量的减少，来减少在通过改变食物或饮品的外观而建立的建立图像中、要被显示在显示单元2上的食物或饮品的量。
例如，如果通过将食物或饮品的量改变为增加来建立图像，则HMD1中的操作控制单元10b可以执行显示控制，使得与实际的食物或饮品相比，在显示单元2上所显示的建立图像中，量减少地更多。如果通过将食物或饮品的量改变为减少来建立图像，则HMD 1中的操作控制单元10b可以进行改变，使得当实际的食物或饮品减少到预定量以下时，在显示单元2上所显示的建立图像中，食物或饮品的量变成与实际的食物或饮品的量相等。
以这种方式，即使在将食物或饮品的量改变为增加的情况下，当实际的食物或饮品的量减少时，要显示在显示单元2上的食物或饮品的量也减少，该食物或饮品的外观发生改变，用户可以没有不适感地进餐。
以上实施例使用HMD 1作为显示控制设备的示例，但是根据实施例的显示控制设备不限于HMD 1，并且例如可以是智能电话和由眼镜类型显示器所形成的显示控制系统。智能电话(显示控制设备)可以经由无线/有线通信与眼镜类型显示器连接，以传送和接收数据。
在此，类似于图2所示的HMD 1，眼镜类型显示器包括可穿戴单元，该可穿戴单元具有下述框架结构：诸如，从右颞区和左颞区到枕骨围绕半个头部；并且眼镜类型显示器被穿戴在两侧听囊上以被安装至用户。显示器具有下述配置：在该配置中，在佩戴状态下，用于右眼和左眼的一对显示单元紧接地放置在用户的双眼之前，即，放置在一般的眼镜的镜片位置处。通过控制液晶面板的透射率，HMD 1可以处于贯穿状态，即，透明状态或半透明状态，使得即使当用户像眼镜一样连续地穿戴HMD 1时， 在日常生活中也没有不方便。
类似于图2中所示的HMD 1，眼镜类型显示器具有布置其中的成像透镜，以用于在佩戴状态下沿着用户的眼睛凝视方向成像，以及眼镜类型显示器将捕获图像传送到智能电话(显示控制设备)。
具有与上述的检测单元10a和操作控制单元10b相同的功能的智能电话(显示控制设备)，从捕获图像中检测食物或饮品的图像和属性，以依赖于食物或饮品的属性或者用户信息建立外观发生改变的食物或饮品的图像。
接下来，该智能电话(显示控制设备)将所建立的图像传送至眼镜类型显示器，并且将外观发生改变的食物或饮品的图像显示在眼镜类型显示器的显示单元上。
可以考虑到眼镜类型装置的应用，该眼镜类型装置具有类似于眼镜类型显示器的形式，但是不具有显示功能。在这种情况下，食物或饮品由布置在眼镜类型装置上以用于在穿戴者(用户)的眼睛凝视方向上成像的摄像装置成像，并且捕获图像被传送到智能电话(显示控制设备)。然后，智能电话(显示控制设备)依赖于在捕获图像中所发现的食物或饮品的属性或者用户信息建立外观发生改变的食物或饮品的图像，并且将所建立的图像显示在智能电话的显示单元上。
另外，本技术还可以如下配置。
(1)一种显示控制设备，包括：
检测单元，检测输入图像是否包含食物或饮品的图像；
图像建立单元，当所述检测单元检测到所述食物或饮品的图像时，建立外观发生改变的所述食物或饮品的图像；以及
显示控制单元，执行控制以将由所述图像建立单元所建立的图像显示在显示单元上。
(2)根据(1)所述的显示控制设备，其中
所述检测单元还检测所述食物或饮品的属性，以及
所述图像建立单元基于由所述检测单元所检测到的所述食物或饮品的属性，建立外观发生改变的所述食物或饮品的图像。
(3)根据(1)所述的显示控制设备，其中
所述检测单元检测从所述输入图像所检测到的多种食物或饮品的属性，以及
所述图像建立单元基于所述多种食物或饮品的属性，选择性地建立外观各自发生改变的所述多种食物或饮品的图像。
(4)根据(2)或(3)所述的显示控制设备，其中
在所述食物或饮品的属性对应于预先所设置的不健康食物或饮品的属性的情况下，或在所述食物或饮品的属性对应于禁戒目标食物或饮品的属性的情况下，所述图像建立单元建立图像，在所述图像中，增加所述食物或饮品的量，增大所述食物或饮品的尺寸，或使得所述食物或饮品的颜色或质地改变为用于抑制食欲的预定颜色或质地。
(5)根据(2)至(4)中任一项所述的显示控制设备，其中
所述图像建立单元还基于用户信息建立外观发生改变的所述食物或饮品的图像。
(6)根据(5)所述的显示控制设备，其中
所述用户信息至少为下述信息中的任意性信息：用户的生物信息、代表用户的健康状况的信息、用户关于食物或饮品的口味信息、用户关于食物或饮品的禁止饮食信息或限制饮食信息、用户的卡路里摄入信息、用户的盐分摄入信息、用户的脂肪摄入信息、用户的糖分摄入信息、用户的酒精摄入信息以及用户的过敏信息。
(7)根据根据(1)至(5)中任一项所述的显示控制设备，其中
所述图像建立单元基于用户信息建立外观发生改变的所述食物或饮品的图像。
(8)根据(7)所述的显示控制设备，其中
所述用户信息至少为下述信息中的任意性信息：用户的生物信息、代表用户的健康状况的信息、用户关于食物或饮品的口味信息、用户关于食物或饮品的禁止饮食信息或限制饮食信息、用户的卡路里摄入信息、用户的盐分摄入信息、用户的脂肪摄入信息、用户的糖分摄入信息、用户的酒精摄入信息以及用户的过敏信息。
(9)根据根据(1)至(5)中任一项所述的显示控制设备，其中
所述检测单元基于用户信息从所述输入图像中检测用户被禁止或被 限制饮食的食物或饮品的图像，以及
所述图像建立单元建立图像，在所述图像中，被禁止或被限制饮食的所述食物或饮品发生改变以便促禁止饮食或限制饮食。
(10)根据(9)所述的显示控制设备，其中
述用户信息至少为下述信息中的任意性信息：用户的生物信息、代表用户的健康状况的信息、用户关于食物或饮品的口味信息、用户关于食物或饮品的禁止饮食信息或限制饮食信息、用户的卡路里摄入信息、用户的盐分摄入信息、用户的脂肪摄入信息、用户的糖分摄入信息、用户的酒精摄入信息以及用户的过敏信息。
(11)根据根据(1)至(10)中任一项所述的显示控制设备，其中
所述输入图像是由成像单元实时地成像的捕获图像。
(12)根据(1)所述的显示控制设备，其中
所述捕获图像是通过对在真实空间中所存在的食物或饮品成像所获得的捕获图像。
(13)根据(11)所述的显示控制设备，其中
所述捕获图像是通过对呈现有食物或饮品的纸质介质或电子介质成像所获得的捕获图像。
(14)根据(1)至(13)中任一项所述的显示控制设备，其中
所述检测单元从所述输入图像中检测在所述食物或饮品周围所布置的物体的图像，以及
所述图像建立单元建立所述食物或饮品的外观发生改变而所述物体的外观不发生改变的图像。
(15)根据(1)至(14)中任一项所述的显示控制设备，其中
所述检测单元从所述输入图像中检测餐具的图像，在所述餐具中供应有所述食物或饮品，以及
所述图像建立单元建立所述餐具以及外观发生改变的所述食物或饮品的图像。
(16)根据(1)至(15)中任一项所述的显示控制设备，其中
所述检测单元检测在用户的眼睛凝视方向上所存在的食物或饮品，以 及
所述图像建立单元建立由所述检测单元所检测到的在所述用户的眼睛凝视方向上所存在的所述食物或饮品的图像，所述食物或饮品的外观发生改变。
(17)一种在其上记录有程序的记录介质，所述程序使得计算机用作：
检测单元，检测输入图像是否包含食物或饮品的图像；
图像建立单元，当所述检测单元检测到所述食物或饮品的图像时，建立外观发生改变的所述食物或饮品的图像；以及
显示控制单元，执行控制以将由所述图像建立单元所建立的图像显示在显示单元上。
参考标记列表
1 头戴式显示器(HMD)
2 显示单元
3 成像单元
3a 成像透镜
4 照明单元
4a 发光单元
5 声音输出单元
6 声音输入单元
10 系统控制器
10a 检测单元
10b 操作控制单元
11 成像控制单元
12 显示图像处理单元
13 显示驱动单元
14 显示控制单元
15 成像信号处理单元
16 声音信号处理单元
17 图像分析单元
18 照明控制单元
25 存储单元
26 通信单元
27 图像输入和输出控制
28 声音输入和输出控制
29 声音组合单元

Claims (10)

1.一种显示控制设备，包括：
检测单元，检测输入图像是否包含食物或饮品的图像以及检测所述食物或饮品的属性；
图像建立单元，当所述检测单元检测到所述食物或饮品的图像时，基于由所述检测单元所检测到的所述食物或饮品的属性，建立外观发生改变的所述食物或饮品的图像；以及
显示控制单元，执行控制以将由所述图像建立单元所建立的图像显示在显示单元上，其中，所述输入图像是由成像单元实时地对呈现有食物或饮品的纸质介质或电子介质成像所获得的捕获图像；
其中，在所述食物或饮品的属性对应于预先所设置的不健康食物或饮品的属性的情况下，或在所述食物或饮品的属性对应于禁戒目标食物或饮品的属性的情况下，所述图像建立单元建立所述外观发生改变的所述食物或饮品的图像，在所述图像中，减小所述食物或饮品的量，减小所述食物或饮品的尺寸，或使得所述食物或饮品的颜色或质地改变为用于抑制食欲的预定颜色或质地。
2.根据权利要求1所述的显示控制设备，其中
所述检测单元检测从所述输入图像所检测到的多种食物或饮品的属性，以及
所述图像建立单元基于所述多种食物或饮品的属性，选择性地建立外观各自发生改变的所述多种食物或饮品的图像。
3.根据权利要求1所述的显示控制设备，其中
其中，在所述食物或饮品的属性不对应于预先所设置的不健康食物或饮品的属性或禁戒目标食物或饮品的属性的情况下，所述图像建立单元建立所述外观发生改变的所述食物或饮品的图像，在所述图像中，增加所述食物或饮品的量，增大所述食物或饮品的尺寸，或使得所述食物或饮品的颜色或质地改变为用于促进食欲的预定颜色或质地。
4.根据权利要求1所述的显示控制设备，其中
所述图像建立单元还基于用户信息建立外观发生改变的所述食物或饮品的图像。
5.根据权利要求4所述的显示控制设备，其中
所述用户信息至少为下述信息中的任意性信息：用户的生物信息、代表用户的健康状况的信息、用户关于食物或饮品的口味信息、用户关于食物或饮品的禁止饮食信息或限制饮食信息、用户的卡路里摄入信息、用户的盐分摄入信息、用户的脂肪摄入信息、用户的糖分摄入信息、用户的酒精摄入信息以及用户的过敏信息。
6.根据权利要求1所述的显示控制设备，其中
所述检测单元基于用户信息从所述输入图像中检测用户被禁止或被限制饮食的食物或饮品的图像，以及
所述图像建立单元建立图像，在所述图像中，被禁止或被限制饮食的所述食物或饮品发生改变以便促进禁止饮食或限制饮食。
7.根据权利要求6所述的显示控制设备，其中
所述用户信息至少为下述信息中的任意性信息：用户的生物信息、代表用户的健康状况的信息、用户关于食物或饮品的口味信息、用户关于食物或饮品的禁止饮食信息或限制饮食信息、用户的卡路里摄入信息、用户的盐分摄入信息、用户的脂肪摄入信息、用户的糖分摄入信息、用户的酒精摄入信息以及用户的过敏信息。
8.根据权利要求1所述的显示控制设备，其中
所述检测单元从所述输入图像中检测在所述食物或饮品周围所布置的物体的图像，以及
所述图像建立单元建立所述食物或饮品的外观发生改变而所述物体的外观不发生改变的图像。
9.根据权利要求1所述的显示控制设备，其中
所述检测单元从所述输入图像中检测餐具的图像，在所述餐具中供应有所述食物或饮品，以及
所述图像建立单元建立所述餐具以及外观发生改变的所述食物或饮品的图像。
10.一种显示控制方法，包括：
检测输入图像是否包含食物或饮品的图像以及检测所述食物或饮品的属性；
当检测到所述食物或饮品的图像时，基于所检测到的所述食物或饮品的属性，建立外观发生改变的所述食物或饮品的图像；以及
执行控制以将所建立的图像显示在显示单元上，其中，所述输入图像是通过实时地对呈现有食物或饮品的纸质介质或电子介质成像所获得的捕获图像；
其中，在所述食物或饮品的属性对应于预先所设置的不健康食物或饮品的属性的情况下，或在所述食物或饮品的属性对应于禁戒目标食物或饮品的属性的情况下，在所述外观发生改变的所述食物或饮品的图像中，减小所述食物或饮品的量，减小所述食物或饮品的尺寸，或使得所述食物或饮品的颜色或质地改变为用于抑制食欲的预定颜色或质地。
CN201380065261.5A 2012-12-21 2013-09-27 显示控制设备和方法 Active CN104871236B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012279697 2012-12-21
JP2012-279697 2012-12-21
PCT/JP2013/076408 WO2014097706A1 (ja) 2012-12-21 2013-09-27 表示制御装置および記録媒体

Publications (2)

Publication Number Publication Date
CN104871236A CN104871236A (zh) 2015-08-26
CN104871236B true CN104871236B (zh) 2018-02-02

Family

ID=50978056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380065261.5A Active CN104871236B (zh) 2012-12-21 2013-09-27 显示控制设备和方法

Country Status (5)

Country Link
US (1) US20150332620A1 (zh)
EP (1) EP2937855A4 (zh)
JP (1) JPWO2014097706A1 (zh)
CN (1) CN104871236B (zh)
WO (1) WO2014097706A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9772495B2 (en) * 2013-11-04 2017-09-26 Weng-Kong TAM Digital loupe device
US10134164B2 (en) 2014-08-28 2018-11-20 Sony Corporation Information processing apparatus, information processing system, information processing method, and program
JP2016224086A (ja) * 2015-05-27 2016-12-28 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
KR102265086B1 (ko) * 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
JP6516464B2 (ja) * 2014-12-15 2019-05-22 Kddi株式会社 ウェアラブル検索システム
US9858676B2 (en) * 2015-01-08 2018-01-02 International Business Machines Corporation Displaying location-based rules on augmented reality glasses
US9460562B2 (en) 2015-01-09 2016-10-04 International Business Machines Corporation Providing volume indicators based on received images of containers
WO2017030193A1 (ja) * 2015-08-20 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR102030884B1 (ko) * 2016-08-25 2019-11-18 가톨릭대학교 산학협력단 네트워크 기반의 비만관리 시스템
US9754168B1 (en) * 2017-05-16 2017-09-05 Sounds Food, Inc. Incentivizing foodstuff consumption through the use of augmented reality features
JP2019061518A (ja) * 2017-09-27 2019-04-18 株式会社Ｎｔｔドコモ 情報処理装置及びプログラム
CN109756834B (zh) * 2017-11-06 2021-07-20 杨沁沁 一种音频骨传导处理方法、装置和系统
CN108259700B (zh) * 2018-03-16 2019-06-18 东莞信大融合创新研究院 一种基于空间联合量化的隐式成像通信方法
CN108471330B (zh) * 2018-03-16 2020-01-14 东莞信大融合创新研究院 一种基于量化误差最小化的隐式成像通信方法
US20190341149A1 (en) 2018-05-07 2019-11-07 Medtronic Minimed, Inc. Augmented reality guidance for medical devices
US11526322B2 (en) * 2018-08-25 2022-12-13 Microsoft Technology Licensing, Llc Enhanced techniques for merging content from separate computing devices
KR102647656B1 (ko) * 2018-09-04 2024-03-15 삼성전자주식회사 증강 현실 영상에 부가 객체를 표시하는 전자 장치 및 상기 전자 장치의 구동 방법
JPWO2020071057A1 (ja) * 2018-10-01 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
EP3764274A1 (en) * 2019-07-11 2021-01-13 Koninklijke Philips N.V. An apparatus and method for performing image-based food quantity estimation
CN110987141A (zh) * 2019-12-23 2020-04-10 深圳市纳美健康科技有限公司 一种智能灯光辅助控制饭量的装置及方法
US11481985B1 (en) * 2021-04-23 2022-10-25 International Business Machines Corporation Augmented reality enabled appetite enhancement
JP2023053592A (ja) 2021-10-01 2023-04-13 株式会社電通 食品、感覚提示システムおよび感覚提示方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101943982A (zh) * 2009-07-10 2011-01-12 北京大学 基于被跟踪的眼睛运动的图像操作

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH109753A (ja) * 1996-06-26 1998-01-16 Matsushita Refrig Co Ltd 冷凍冷蔵庫の食品在庫管理装置
JP4890671B2 (ja) * 1999-07-23 2012-03-07 雅信 鯨田 個人別味判定機能を備えた料理もしくは食品の映像提供システム
JP2005338960A (ja) * 2004-05-24 2005-12-08 Hidemasa Yamaguchi 栄養計算方法、栄養計算プログラム及びコンピューター読み取り可能な記録媒体
US7474318B2 (en) * 2004-05-28 2009-01-06 National University Of Singapore Interactive system and method
US8549442B2 (en) * 2005-12-12 2013-10-01 Sony Computer Entertainment Inc. Voice and video control of interactive electronically simulated environment
US8684922B2 (en) * 2006-05-12 2014-04-01 Bao Tran Health monitoring system
JP2007334653A (ja) * 2006-06-15 2007-12-27 Matsushita Electric Ind Co Ltd 問診装置、問診方法、問診プログラム
US8223196B2 (en) * 2009-06-10 2012-07-17 Disney Enterprises, Inc. Projector systems and methods for producing digitally augmented, interactive cakes and other food products
CN102028542B (zh) * 2009-09-29 2015-03-11 理康互联科技(北京)有限公司 信息采集显示系统/方法/装置/媒介及设备和终端
JP5746477B2 (ja) * 2010-02-26 2015-07-08 キヤノン株式会社 モデル生成装置、３次元計測装置、それらの制御方法及びプログラム
JP5087101B2 (ja) * 2010-03-31 2012-11-28 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
JP2011221637A (ja) * 2010-04-06 2011-11-04 Sony Corp 情報処理装置、情報出力方法及びプログラム
JP2012113627A (ja) * 2010-11-26 2012-06-14 Terumo Corp 携帯端末、カロリー推定方法及びカロリー推定プログラム
US10133950B2 (en) * 2011-03-04 2018-11-20 Qualcomm Incorporated Dynamic template tracking
JP5565359B2 (ja) 2011-03-29 2014-08-06 株式会社デンソー 車載制御装置
US9053483B2 (en) * 2011-09-30 2015-06-09 Microsoft Technology Licensing, Llc Personal audio/visual system providing allergy awareness
US20140002643A1 (en) * 2012-06-27 2014-01-02 International Business Machines Corporation Presentation of augmented reality images on mobile computing devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101943982A (zh) * 2009-07-10 2011-01-12 北京大学 基于被跟踪的眼睛运动的图像操作

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Augmented Perception of Satiety:Controlling Food Consumption by Changing Apparent Size of Food with Augmented Reality;Takuji Narumi, et al.;《CHI 2012》;20120510;109-118 *

Also Published As

Publication number Publication date
EP2937855A1 (en) 2015-10-28
EP2937855A4 (en) 2016-08-10
CN104871236A (zh) 2015-08-26
JPWO2014097706A1 (ja) 2017-01-12
US20150332620A1 (en) 2015-11-19
WO2014097706A1 (ja) 2014-06-26

Similar Documents

Publication Publication Date Title
CN104871236B (zh) 显示控制设备和方法
JP6098326B2 (ja) 情報処理装置および記憶媒体
CN105009128B (zh) 信息处理装置及存储介质
JP6299744B2 (ja) 情報処理装置および記憶媒体
CN111315278B (zh) 用于基于屏幕的交互的自适应接口
CN101617339B (zh) 图像处理装置和图像处理方法
US20140300633A1 (en) Image processor and storage medium
US20070211947A1 (en) System for seeing using auditory feedback
CN105243270B (zh) 饮食监控方法、装置、系统及餐饮家具
JPWO2008059878A1 (ja) 脳波識別方法の調整装置、方法およびコンピュータプログラム
US20160269713A1 (en) Stereoscopic endoscopic image processing apparatus
CN106575497B (zh) 图像校正装置以及影像内容再生装置
US20100182461A1 (en) Image-signal processing device and image signal processing program
CN107888973A (zh) 一种脑电控制的视频输入听觉显示导盲装置及方法
TWI718142B (zh) 顯示裝置及非暫時性電腦可讀媒體
CN105141850B (zh) 一种图像处理方法及装置
CN114625020A (zh) 一种电器控制方法、装置及系统
CN113331792B (zh) 一种基于肤质情况的护肤提示系统
US20200169688A1 (en) Video/audio reproduction device, video/audio reproduction method, and recording medium
JP7260737B2 (ja) 画像撮影装置、画像撮影装置の制御方法、およびプログラム
Al-Juboori Assessment of Quality of Experience of High Dynamic Range Images Using the EEG and Applications in Healthcare
WO2023058321A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータプログラム
JP2002216148A (ja) 画像表示制御装置、画像表示制御方法およびその方法をコンピュータに実行させるプログラム
CN117093122A (zh) 一种调整界面显示参数的方法、装置、设备及介质
WO2023011711A1 (en) Adaptation of senses datastreams

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant