CN101276221A - 识别装置、识别方法、识别程序以及记录了识别程序的记录介质 - Google Patents

识别装置、识别方法、识别程序以及记录了识别程序的记录介质 Download PDF

Info

Publication number
CN101276221A
CN101276221A CN200810087268.8A CN200810087268A CN101276221A CN 101276221 A CN101276221 A CN 101276221A CN 200810087268 A CN200810087268 A CN 200810087268A CN 101276221 A CN101276221 A CN 101276221A
Authority
CN
China
Prior art keywords
user
mentioned
guide data
dependency degree
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200810087268.8A
Other languages
English (en)
Inventor
长光左千男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101276221A publication Critical patent/CN101276221A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种识别装置、识别方法、识别程序以及记录了识别程序的计算机可以读取的记录介质，可以对操作中的用户提示适当的指导，来支援用户的操作。该识别装置包括存储用于给正在进行操作的用户操作支援的指导数据的指导数据库、从指导数据库选择对于操作的指导数据的指导选择部、将由指导选择部选择出的指导数据提示给用户的指导提示部、识别用户对由指导提示部提示的指导数据的反应的用户状态识别部、基于由用户状态识别部识别出的用户的反应，推定表示用户对所提示的指导数据有多少依赖的依赖度的用户依赖度推定部，其中，指导选择部从指导数据库选择适应由用户依赖度推定部推定出的依赖度的指导数据。

Description

识别装置、识别方法、识别程序以及记录了识别程序的记录介质
技术领域
本发明涉及利用文本、图像及语音等提示用于辅助用户操作的指导的识别装置、识别方法、识别程序以及记录了识别程序的计算机可读取的记录介质。
背景技术
以往，为了支援用户对设备进行输入操作，提出了按照熟练程度改变显示内容的显示装置(例如，参照日本专利公开公报特开2000-066789号公报)。在此显示装置中，利用用户使用履历信息(设备启动次数、数据显示次数值，键盘输入操作时间、设备使用后的存储量等)来推定显示内容的无用程度。
而且，还有一种操作支援系统已为公知，该操作支援系统可以识别用户的现状，并且识别用户的发声，将用户进行的对引导信息的有关发声和在此以前的系统发声或用户发声关联起来进行识别，根据其识别结果，从数据库中检索支援用户进行的操作所必要的信息，对检索到的必要的信息进行引导(例如，参照日本专利公开公报特开平10-143187号公报)。
并且，还研究一种在用户选择对象的情况下，对每个对象的兴趣的变化进行定量地图像测量的手法(例如：参照若井佑介、鹫见和彦、松山隆司，“使用图像的人的选择行为的兴趣程度推定”)。此技术利用如果对某对象的兴趣提高，则接近并凝视该对象这样的性质，并从用设置在对象物一侧的照相机测量出的用户像中抽出身体、脸部、视线，通过识别其变化，抽出兴趣程度的变化。
然而，由于上述以往的显示装置是以用户对设备直接进行输入操作为前提，所以，存在一种在不对设备进行直接操作，而是进行间接操作的情况下难以适应的问题。
而且，在上述以往的操作支援系统中，是以个别地取得各自的操作信息而逐次与理想值进行比较为前提，只对数据库可以保有的指定的操作有效。而且，还存在用户感到困惑时所提示的指导是否恰当依然不明的问题。
并且，在上述以往的研究中，是以多个对象为前提，而不能适应单一的操作对象。而且，由于为了使用用照相机测量出的脸部的大小，只能适用照相机和用户的距离为恒定的操作，因而存在通用性不良的问题。
发明内容
本发明是为了解决上述的问题，其目的在于提供可以对操作中的用户提示适当的指导的识别装置、识别方法、识别程序以及记录了识别程序的计算机可以读取的记录介质。
本发明所提供的识别装置包括：存储用于给正在进行操作的用户操作支援的指导数据的指导数据存储部、从上述指导数据存储部选择对于上述操作的指导数据的指导选择部、将由上述指导选择部选择的上述指导数据提示给用户的指导提示部、识别用户对由上述指导提示部提示的上述指导数据的反应的用户状态识别部、基于由上述用户状态识别部识别出的用户的反应，推定表示用户对由上述指导提示部所提示的上述指导数据有多少依赖的依赖度的用户依赖度推定部，其中，上述指导选择部从上述指导数据存储部选择适应由上述用户依赖度推定部推定出的上述依赖度的指导数据。
本发明还提供一种识别方法，包括：从存储用于给正在进行操作的用户操作支援的指导数据的指导数据存储部选择对于上述操作的指导数据的指导选择步骤、将在上述指导选择步骤中选择的上述指导数据提示给用户的指导提示步骤、识别用户对在上述指导提示步骤中提示的上述指导数据的反应的用户状态识别步骤、基于在上述用户状态识别步骤中识别出的用户的反应，推定表示用户对在上述指导提示步骤中提示的上述指导数据有多少依赖的依赖度的用户依赖度推定步骤，其中，在上述指导选择步骤中，从上述指导数据存储部选择适应在上述用户依赖度推定步骤中推定出的上述依赖度的指导数据。
本发明还提供一种识别程序，使计算机作为以下各部而发挥其功能：存储用于给正在进行操作的用户操作支援的指导数据的指导数据存储部、从上述指导数据存储部选择对于上述操作的指导数据的指导选择部、将由上述指导选择部选择的上述指导数据提示给用户的指导提示部、识别用户对由上述指导提示部提示的上述指导数据的反应的用户状态识别部、基于由上述用户状态识别部识别出的用户的反应，推定表示用户对由上述指导提示部所提示的上述指导数据有多少依赖的依赖度的用户依赖度推定部，其中，上述指导选择部从上述指导数据存储部选择适应由上述用户依赖度推定部推定出的上述依赖度的指导数据。
本发明还提供一种记录介质，记录了识别程序，可以由计算机读取，该识别程序使计算机作为以下各部而发挥其功能：存储用于给正在进行操作的用户操作支援的指导数据的指导数据存储部、从上述指导数据存储部选择对于上述操作的指导数据的指导选择部、将由上述指导选择部选择的上述指导数据提示给用户的指导提示部、识别用户对由上述指导提示部提示的上述指导数据的反应的用户状态识别部、基于由上述用户状态识别部识别出的用户的反应，推定表示用户对由上述指导提示部所提示的上述指导数据有多少依赖的依赖度的用户依赖度推定部，其中，上述指导选择部从上述指导数据存储部选择适应由上述用户依赖度推定部推定出的上述依赖度的指导数据。
根据上述的发明，由于表示用户对现在提示的指导数据有多少依赖的依赖度被推定，适应被推定出的依赖度的指导数据从指导数据存储部中予以选择，所以，可以对操作中的用户提示适当的指导。
附图说明
图1是表示本发明的实施例的操作支援装置的结构的方框图。
图2是用于说明本发明的实施例的操作支援装置的各构成要素的配置的图。
图3是用于说明本发明的实施例的用户依赖度推定部的动作的图。
图4是中途改变指导数据的内容时用户的脸部的活动及视线的活动的变化的示意图。
图5是用于说明图1所示的操作支援装置的动作的流程图。
图6是指导画面的一个例子的示意图。
图7是用于说明图5的步骤S5的用户状态识别处理的流程图。
图8是对20名试验者一边提示指导数据一边虚拟地进行烹调操作，识别出用户的脸部的活动及视线的活动的实验结果的示意图。
图9是对8名试验者一边提示指导数据一边实际地进行烹调操作，识别出用户的脸部的活动及视线的活动的实验结果的示意图。
图10是用于说明图5的步骤S8的用户依赖度推定处理的流程图。
图11是用于说明图5的步骤S3的指导数据选择处理的流程图。
具体实施方式
以下，参照附图对本发明的实施例进行说明。并且，以下的实施例是将本发明进行了具体化的一个例子，不具有限定本发明的技术范围的性质。
图1是表示本实施例的操作支援装置的结构的方框图。图1所示的操作支援装置(识别装置)10包括：控制部11、输入部12、显示器13、扬声器14、照相机15及记录介质驱动部16。另外，在本实施例中，主要对进行烹调操作的用户的操作支援进行说明，但是，本发明并不特别限定于此，例如，也可以适用于对进行汽车驾驶操作的用户的操作支援。
控制部11包括例如CPU(中央运算处理装置)、RAM(随机存取存储器)以及ROM(只读存储器)等。输入部12用于用户输入各种数据及操作指令等。显示器13显示可以提供指导的多个菜单。而且，显示器13还显示向用户提供的指导数据。扬声器14语音输出向用户提供的指导数据。另外，在本实施例中，个别设置了输入部12及显示器13，但是，本发明并不特别限定于此，也可以用触摸屏等构成输入部12及显示器13。
照相机15被设置在从用户的脸部正视操作对象的方向起具有指定角度的位置上，用于拍摄用户。即，照相机15例如由CCD位置传感器构成，用指定的帧频(Frame Rate)取得包含有人的脸部的图像。另外，显示器13及扬声器14配置在与照相机15相同的方向。
记录介质驱动部16，包括例如DVD-ROM驱动器、CD-ROM驱动器或软盘驱动器等。另外，可以将操作支援程序(识别程序)记录在DVD-ROM、CD-ROM或软盘等计算机可以读取的记录介质17中，通过记录介质驱动部16从记录介质17读出操作支援程序而安装到外部存储装置(图未示)来执行。而且，操作支援装置10还包括通信设备等，在操作支援程序存储在介于通讯网络连接的其它的计算机中的情况下，也可以通过网络从该计算机下载操作支援程序来执行。
在此，对控制部11的具体结构进行说明。控制部11包括：菜单数据库1、菜单选择受理部2、指导数据库3、指导选择部4、指导提示部5、用户状态识别部6、累计值存储部7及用户依赖度推定部8。
菜单数据库1存储可以对用户进行指导的多个菜单。在烹调操作的情况下，菜单表示操作内容，更具体地表示菜名。菜单选择受理部2受理用户从多个菜单中对期望指导的菜单的选择。即，菜单选择受理部2，使存储在菜单数据库1中的多个菜单显示在显示器13上，通过输入部12受理从多个菜单中对1个菜单的选择。
指导数据库3存储用于对进行操作的用户操作支援的有效的指导数据，作为视觉指导或听觉指导，存储包含动画、语音、静止画面或文字的内容。而且，指导数据被赋予属性，在本实施例中可以是有关对操作的熟练程度(技能水平)的分类。即，即使是同一个菜单的指导，也根据技能水平存储有多个指导数据。
另外，在本实施例中，指导数据库3存储用于支援用户的烹调操作的指导数据，但是，本发明并不特别限定于此，在支援汽车驾驶操作的情况下，指导数据库3存储用于支援用户的汽车驾驶操作的指导数据。
指导选择部4从指导数据库3选择对于操作的指导数据。指导选择部4从指导数据库3选择适应由菜单选择受理部2受理的菜单的指导数据。另外，关于指导选择部4的指导数据的选择的基准将在后面进行叙述。
指导提示部5将由指导选择部4选择出的指导数据提示给用户。另外，指导数据的提示方法虽然起因于用户对指导的依赖度，但却分别使用显示器13及扬声器14等。
用户状态识别部6识别用户对由指导提示部5提示的指导数据的反应。即，用户状态识别部6识别用户对由指导提示部5提示的指导数据的身体反应的时间变化。
为了识别用户的状态，在本实施例中使用照相机15。即，用户状态识别部6基于由照相机15拍摄到的图像识别用户的脸部的活动，并累计用户的脸部从正视操作对象的状态转向显示器13的倾斜指定角度的时间。
具体而言，用户状态识别部6基于由照相机15拍摄到的图像识别用户的脸部的活动，累计用户的脸部正视显示器13的第一时间，并累计用户的脸部以比用户的脸部正视操作对象的方向和用户的脸部正视显示器13的方向所成的角度小的角度，从正视操作对象的状态转向显示器13的倾斜的第二时间。而且，用户状态识别部6还基于由照相机15拍摄到的图像识别用户的视线的活动，累计用户的视线与显示器13一致的时间不足指定时间的次数。
另外，在本实施例中，不仅仅是识别用户的视线与显示器13是否完全一致，还可以识别用户的视线与显示器13是否基本上一致，也可以累计用户的视线与显示器13基本上一致的时间不足指定时间的次数。
累计值存储部7例如由EEPROM等电可擦写的非挥发性的存储器构成，存储用户的脸部正视显示器13的第一时间的累计值、用户的脸部以比用户的脸部正视操作对象的方向和用户的脸部正视显示器13的方向所成的角度小的角度，从正视操作对象的状态转向显示器13的倾斜的第二时间的累计值、以及用户的视线与显示器13一致的时间不足指定时间的次数的累计值。
用户依赖度推定部8基于由用户状态识别部6识别出的用户的反应，推定用户对指导数据的依赖度。即，用户依赖度推定部8基于由用户状态识别部6累计的时间及次数，推定用户对现在提示的指导数据的依赖度是提高还是降低。另外，依赖度表示用户使用本操作支援装置有多少。
具体而言，用户依赖度推定部8，若在此次指定期间内累计的第一时间较在上次指定期间内累计的第一时间增加，则推定用户的依赖度增加。而且，用户依赖度推定部8，若在此次指定期间内累计的第一时间较在上次指定期间内累计的第一时间减少，并且在此次指定期间内累计的第二时间较在上次指定期间内累计的第二时间增加，则推定用户的依赖度降低到第一阶段。
并且，用户依赖度推定部8，若在此次指定期间内累计的第一时间较在上次指定期间内累计的第一时间减少，并在此次指定期间内累计的第二时间较在上次指定期间内累计的第二时间增加，且在此次指定期间内累计的次数较在上次指定期间内累计的次数增加，则推定用户的依赖度降低到较第一阶段低的第二阶段。
并且，用户依赖度推定部8，若在上次指定期间内累计的次数较在上上次的指定期间内累计的次数增加，并且在此次指定期间内累计的次数较在上次指定期间内累计的次数减少，则推定用户的依赖度降低到较第二阶段低的第三阶段。
而且，指导选择部4从指导数据库3选择适应由用户依赖度推定部8推定出的依赖度的指导数据。例如，指导选择部4使技能水平的高低与依赖度的高低对应起来，来选择指导数据。即，在推定出对提示的指导数据的依赖度较高的情况下，一般认为用户的操作的技能较低。因此，在推定出依赖度较高时，认为技能水平较现在提供的指导数据低的指导数据或现在提供的指导数据较为适当。反之，在推定出依赖度较低的情况下，一般认为用户的技能较高。因此，在推定出依赖度较低时，认为技能水平较现在提供的指导数据高的指导数据较为适当。
具体而言，指导数据库3存储适应由用户依赖度推定部8推定出的第一阶段、第二阶段及第三阶段的各阶段的指导数据。指导选择部4，在由用户依赖度推定部8推定出用户的依赖度降低至第一阶段时，从指导数据库3选择适应第一阶段的指导数据。而且，指导选择部4，在由用户依赖度推定部8推定出用户的依赖度降低至第二阶段时，从指导数据库3选择适应第二阶段的指导数据。而且，指导选择部4，在由用户依赖度推定部8推定出用户的依赖度降低至第三阶段时，从指导数据库3选择适应第三阶段的指导数据。
其次，用图2对本实施例的操作支援装置10的各构成要素的配置进行说明。图2是用于说明本实施例的操作支援装置的各构成要素的配置的图。
在本实施例中，用户21面对着操作对象20进行操作。作为操作假设为烹调操作。在操作对象20的旁边并排设置显示器13。而且，在本实施例中，显示器13配置在用户21的脸部正视操作对象20的方向22和用户21的脸部正视显示器13的方向23所成的角度为30度的位置上。并且，照相机15邻接显示器13的上部而设置。
在此结构中，用户21在进行通常操作时，将头部及视线面向操作对象20的方向继续操作。然后，在指定的时间由显示器13提示包含应支援烹调操作的菜谱信息及烹调设备的信息在内的指导数据。其指导数据，虽然动画及文字信息是基本数据，但为了引起用户的注意，也可以包含例如用语音朗读文字信息的语音信息。其结果，用户21即使是在操作中也会观看显示器13的方向。用户观看显示器13的时间包含提示指导数据的时间。照相机15连续拍摄用户21的头部及视线的活动。
其次，用图3对推定用户的依赖度的用户依赖度推定部8的动作进行说明。图3是用于说明用户依赖度推定部8的动作的图。图3的棒形图的左纵轴表示将用户的脸部(头部)的动作分为30度和15度以下两种类而对各角度的指导提示时的时间进行了累计的累计值。右纵轴表示同样将指导提示时的视线的活动分为1.2秒以上且为1.5秒以下和不足1.2秒两种类而对各时间的次数进行了累计的累计值。横轴表示进行烹调操作的次数，在本实施例中，表示同一个用户实施了三次同一烹调操作的结果。另外，在各烹调操作中描绘有两个棒形图，左面的棒形图表示脸部的活动，右面的棒形图表示视线的活动。
下面对图3进行详细地说明。首先，用户状态识别部6以照相机15拍摄到的脸部的朝向判断头部的动作。照相机15从用户21的斜前方进行拍摄。在用户21面向操作对象20时，用户状态识别部6基于照相机15自身的与操作对象20的相对位置可以特别指定用户21面向哪个方向。而且，用户21是否面向显示器13的方向，也因照相机15自身设置在显示器13的上方而可以判断。并且，还开发出了多种根据拍摄到的图像来推定人的脸部朝向的方法，便于角度θ是否为15度以下的程度的判断，也能够进行实时处理。
另外，在本实验中，在脸部的活动的角度θ大于15度且在30度以下时，判断为用户观看着显示器13的画面的状况。
另一方面，视线的活动和脸部的活动同时被拍摄。即，用于脸部的活动识别的图像数据也可以用于视线的活动识别。关于视线的活动最近也开发出了多种方法和装置，便于按1/10秒程度的测量。另外，在此，视线的状态可以分为关注对象摸索状态和详细信息取得状态。前者以人看到某对象，其视线基本上在一定的区域停留1.2秒以上且为1.5秒以下为特征。反之，后者即使是视线停留在一定区域，如果其时间较1.2秒短，也不能确认是否产生了较强的兴趣。因此，在本实验中也分为以不足1.2秒的时间观看显示器13的情况和以1.2秒以上且为1.5秒以下的时间观看显示器13的情况，分别累计各自的次数。
另外，在本实施例中，虽然分为用户注视显示器13的时间不足1.2秒的情况和在1.2秒以上且为1.5秒以下的情况这两种，但最终仅基于前者的不足1.2秒的视线的活动时间进行依赖度评价。使用此1.2秒的值，不是以往技术的“兴趣的有无”，而只是因为想利用“为了确认只观察点滴时间”的时间段。
即，该值不是限定的值，由于该值也依赖于作为应用软件的指导画面的内容的量或质量，所以，多少前后有点变化。另外，即使不使用1.2秒而是使用1.5秒也可以获得相同的效果。这也是因为在1.2秒和1.5秒变化较小而可以这样推定。实际上，虽然试行了在不足1.0秒的变化，但却获得相同的倾向。即，通过指导画面也可以使用较1.2秒小的值或较1.5秒大的值，并获得与使用1.2秒时完全相同的效果。
使用脸部(头部)的活作和视线的活动，可以推定用户21对指导数据的依赖度。在图3中，表示三次烹调操作的结果，但全部使用同一菜谱信息所对应的同一指导数据。而且，烹调操作由多个烹调工序构成。为此，指导数据库3存储了适应多个烹调工序的指导数据。更新指导数据的时间，是在各烹调工序的操作结束后、开始下一个烹调工序的操作之前，将下一个烹调工序的操作内容的动画信息及文字信息作为指导数据进行提示。同时，以让专心操作的用户21识别指导数据已被更新为目的，在指导数据更新时将其文字信息的一部分用合成语音进行再生。另外，在此，用户21具有烹调经验，但是，对于本菜谱则是初学者。
第一次烹调操作，参考显示在显示器13上的指导信息来完成。特别是脸部的活动较为明显，角度θ为30度，即，注视显示器13并活用指导数据的情况被定量化。虽然也有角度θ为15度以下的动作，但这大多数是表示尽管指导数据没有被更新还是期待指导数据而再一次观看显示器13，注意着显示器13。另一方面，视线的活动，由于注视显示在显示器13上的指导数据的时间为1.5秒以上，因此在棒形图上表示为零。
然后，在第二次烹调操作中，由于用户21学会了菜谱，所以，正视显示器13的频率迅速减少，取代的是角度θ为15度以下的表示对指导数据的期待的动作增加。另一方面，视线的活动也如同访问指导数据的更新那样，注视显示在显示器13上的指导数据的时间为1.2秒以上且为1.5秒以下的次数出现。
这样，在第二次烹调操作中，脸部的活动在15度以下，而视线的活动也在1.2秒以上且为1.5秒以下的频率增加，可以说是对指导数据的依赖度减少。即使在后面的用户21的听力结果中，也是在第一次烹调操作中不仅仅是指导数据的动画，还活用包含文字信息和除合成语音部分之外的全部，而在第二次烹调操作中，虽然只读取被合成语音的文字信息部分，但确认指导数据的内容是否被更新也比较多。
在第三次烹调操作中，脸部的活动几乎没有，反之注视指导数据的时间不足1.2秒的次数迅速增加。可以说这是脸部不动只是视线朝向显示器13的用户21的状态被定量化的结果。因为在以后的用户21的听力结果中也有合成语音出来，因为关心指导数据的内容是否与上次相同，所以，可以得到有时看到显示器13的这样的回答。这样，在第三次烹调操作中，虽然对指导数据的期待还在持续，但是，可以判断为在实质上没有依赖指导数据。
另外，在多次提示相同的指导数据时，如图3的点划线所示，注视指导数据的时间不足1.2秒的次数和为1.2秒以上且为1.5秒以下的次数的总和，被推定为每增加一次操作次数便增加，之后减少。这是因为用户学习指导数据的内容与上次相同，对指导数据的依赖度减小。
其次，用图4对变更指导数据的提示内容而引起的依赖度的变化进行说明。图4是在中途改变指导数据的内容时用户的脸部的活动及视线的活动的变化的示意图。在此，以通过为适应依赖度的降低更新指导数据的内容，使用户21对指导数据的依赖度提高为目的。即，在本实施例中，不只是推定依赖度，还从实用化的角度，以使降低的依赖度提高而继续地活用指导数据为目标。
在图4中，根据第二次的烹调操作结果，不用与第二次相同的指导数据的内容实施第三次的烹调操作，而是更新指导数据的内容实施了第三次的烹调操作。更新的内容在每个烹调工序都不同，但是，使动画信息及文字信息相关的技能水平提高。另外，显示的文字信息中，为了提醒用户21注意指导数据的提示时间的目的而进行合成语音化的文字信息不变。
在图4中，用棒形图表示在第三次烹调操作中更新了指导数据的内容时的从第一次到第五次的烹调操作中的脸部的活动及视线的活动。指导数据的内容被重新更新的结果表示，用户21对指导数据的依赖度在第三次烹调操作中大幅度降低的状态被改善，对指导数据的依赖度被延长到第五次。
另外，在本实施例中，用户21与操作对象20面对面，但并不仅限于烹调，在现实的操作中，用户21经常移动。此时，用户21的脸部正视操作对象的方向和用户21的脸部正面朝向的方向所成的角度θ并不限于固定在30度。然而，通过与上述相同的方法可以进行依赖度的推定，角度θ也可以改变。
为此，有必要使设置在显示器13上的照相机15的方向也追随用户21。或者，使用广角摄像透镜，不管用户21如何动作都能够进行拍摄。
而且，指导数据库3存储的指导数据的属性不仅仅是技能水平，还包含烹调所需要的总时间或健康食品材料使用率等。并且，适应用户21的属性(年龄)的动画的显示速度、文字的大小或文章的表现等也可以作为指导数据的属性。例如，指导数据库3作为面向老年人或孩子的指导数据，存储使动画的显示速度减慢、或文字的大小增大、或文章的表现通俗的指导数据。
指导数据库3存储适应操作的种类及属性的指导数据。在此，烹调操作的种类包含有菜单(菜谱)、日餐、西餐、早餐、午餐、晚餐、减肥餐、营养管理餐及甜品等。驾驶操作的种类包含有路径显示、行车距离显示、堵塞信息显示、景色优美场所的显示、加油站显示及餐馆显示等。并且，烹调操作的属性包含技能水平(熟练程度)、紧急度、口味喜好(甜/辣)及营养均衡等。驾驶操作的属性包含技能水平(熟练程度)、近路、安全度、节能度、景观及便利度等。
另外，在本实施例中，用户依赖度推定部8可以只使用脸部的活动来判断依赖度。具体而言，用户依赖度推定部8，在用户的脸部从正视操作对象的状态转向显示器13的倾斜的时间的累计值减少时，即，在角度θ为30度的时间及角度θ为15度以下的时间的累计值减少时，判断对现在提示的指导数据的依赖度降低。
在本实施例中，用户依赖度推定部8可以只使用视线的活动来判断依赖度。具体而言，用户依赖度推定部8，在用户的视线与显示器13一致的时间不足指定时间的次数的累计值增加时，即，用户的视线与显示器13一致的时间不足1.2秒以及为1.2秒以上且为1.5秒以下的次数增加时，判断对现在提示的指导数据的依赖度降低。
在本实施例中，用户依赖度推定部8可以使用脸部的活动和视线的活动这两个方面来判断依赖度。具体而言，用户依赖度推定部8，在用户的脸部从正视操作对象的状态转向显示器13的倾斜的时间的累计值减少、且用户的视线与显示器13一致的时间不足指定时间的次数的累计值增加时，判断对现在提示的指导数据的依赖度降低。
另外，只用脸部的活动判断依赖度、只用视线的活动判断依赖度、以及用脸部的活动和视线的活动这两方面来判断依赖度时的任何一种情况都可以得到相同的效果。
用户状态识别部6，可以分析由照相机15取得的拍摄图像，识别用户点头、用户摇头或用户无表情，在识别出这些用户的状态时，用户依赖度推定部8可以判断用户不依赖指导数据，依赖度降低。或者，用户状态识别部6可以分析由没有图示的麦克风取得的语音信息，识别用户的否定的发言，在用户的否定的发言被识别时，用户依赖度推定部8可以判断用户不依赖指导数据，依赖度降低。
用户状态识别部6，可以分析由照相机15取得的拍摄图像，对在操作中操作设备的用户的动作信息进行分析，判断是否按照指导的那样操作设备。在判断出按照指导的那样操作设备时，用户依赖度推定部8可以判断用户依赖指导数据，依赖度较高。而在判断出没有按照指导的那样操作设备时，用户依赖度推定部8可以判断用户不依赖指导数据，依赖度较低。
而且，用户状态识别部6，还可以在操作中从用户操作的设备取得该设备的操作信息，并分析取得的操作信息，判断是否按照指导的那样操作设备。在判断出按照指导的那样操作设备时，用户依赖度推定部8可以判断用户依赖指导数据，依赖度较高。而在判断出没有按照指导的那样操作设备时，用户依赖度推定部8可以判断用户不依赖指导数据，依赖度较低。
然而，在这些方法中，需要有判断点头、否定的发言等个人差别较大的举止或发言内容的高度的技术，在详细地识别是否按照指导的那样操作设备以及照相机15的设置位置或设置台数等方面留下课题。对此，在本实施例中，明显的特征在于仅以设置在显示器13上的照相机15、只用指导数据提示时的录像就可以识别用户21的状况这一点上。
接下来，对本实施例的操作支援装置的详细动作进行说明。图5是用于说明图1所示的操作支援装置的动作的流程图。
首先，在步骤S1中，菜单选择受理部2读出预先存储在菜单数据库1中的多个菜单，并制作菜单一览画面，并将制作成的菜单一览画面显示在显示器13上。
其次，在步骤S2中，菜单选择受理部2从多个菜单中受理1个菜单的选择。用户利用输入部12从显示在显示器13上的菜单一览画面中选择期望指导的菜单。
其次，在步骤S3中，指导选择部4执行指导数据选择处理。另外，对于指导数据选择处理的详细情况将在以后叙述。指导选择部4从指导数据库3选择与菜单选择受理部2受理的菜单对应的指定的指导数据。
其次，在步骤S4中，指导提示部5提示由指导选择部4选择的指导数据。具体而言，指导提示部5控制显示器13以显示由动画信息及文字信息构成的指导画面，并且控制扬声器14以输出语音信息。
在此，对指导画面进行说明。图6是指导画面的一个例子的示意图。指导画面31包含用于显示动画信息的图像显示区域32和用于显示文字信息的文字显示区域33、34。图像显示区域32配置在指导画面31的中央，显示现在提示指导的烹调工序的动画。文字显示区域33配置在指导画面31的上部，显示说明现在提示指导的烹调工序的粗略内容的文章。文字显示区域34配置在指导画面31的下部，显示说明现在提示指导的烹调工序的详细内容的指导文章。
指导画面31按烹调工序而存在多个。指导提示部5根据烹调工序依次切换显示多个指导画面。而且，指导提示部5在切换指导画面时语音输出显示在文字显示区域33的文章。由此，可以将显示在显示器13的指导画面的切换通知给用户。
在文字显示区域34中，显示有现在提示指导的烹调工序的基本的信息，即，显示对熟练程度较低的用户来说有益的信息。为此，例如，对熟练程度较低的用户，在文字显示区域34中显示文字信息，而对熟练程度较高的用户，在文字显示区域34中不显示文字信息。由此，可以向用户提示适应用户的熟练程度的指导数据。
另外，在本实施例中，是在图像显示区域32中显示动画，但是，本发明并不特别限定于此，也可以显示静止图像。而且，指导画面31中可以只显示动态图像或静止图像，也可以只显示文字。
其次，在步骤S5中，用户状态识别部6执行用户状态识别处理。在此，对用户状态识别处理的详细情况进行说明。图7是用于说明图5的步骤S5的用户状态识别处理的流程图。
首先，在步骤S20中，用户状态识别部6取得由照相机15取得的拍摄图像数据。其次，在步骤S21中，用户状态识别部6从取得的拍摄图像数据识别用户的脸部的活动。具体而言，用户状态识别部6识别用户的脸部从正视操作对象的状态向显示器13(照相机15)的方向倾斜多少度。
其次，在步骤S22中，用户状态识别部6对用户的脸部正视操作对象的方向和用户的脸部正面朝向的方向所成的角度θ是否大于15度且为30度以下进行判断。若判断出角度θ大于15度且在30度以下(在步骤S22为“是”)，则在步骤S23，用户状态识别部6开始第一计时器的计时。第一计时器测量用户的脸部的角度θ为大于15度且在30度以下时的时间(以下，称为第一时间)。另外，在第一计时器的第一时间的计时已经开始时，连续计时。
另外，在本实施例中，是对角度θ是否大于15度且在30度以下进行判断，但是，本发明并不特别限定于此，也可以判断角度θ是否为30度。
另一方面，若判断出角度θ不是大于15度且在30度以下，即，判断出角度θ在15度以下或大于30度时(在步骤S22为“否”)，则在步骤S24，用户状态识别部6结束第一计时器的计时。其次，在步骤S25中，用户状态识别部6在RAM中累计并存储第一计时器计时的第一时间。RAM累计并存储用户的脸部向显示器13的方向以大于15度且在30度以下的角度倾斜的时间。然后，用户状态识别部6将第一计时器的计时值清空。
步骤S24及步骤S25的处理是在进行第一计时器的计时的情况下进行的处理。即，步骤S24及步骤S25的处理，是在第一时间的测量中用户的脸部的角度θ为15度以下或大于30度的情况下进行的。在没有进行第一计时器的计时时，不进行步骤S24及步骤S25的处理，而转入步骤S26的处理。
其次，在步骤S26中，用户状态识别部6对用户的脸部正视操作对象的方向和用户的脸部正面朝向的方向所成的角度θ是否大于0度且为15度以下进行判断。若判断出角度θ大于0度且在15度以下(在步骤S26为“是”)，则在步骤S27，用户状态识别部6开始第二计时器的计时。第二计时器测量用户的脸部的角度θ为大于0度且在15度以下时的时间(以下，称为第二时间)。另外，在第二计时器的第二时间的计时已经开始时，连续计时。
另一方面，若判断出角度θ不是大于0度且在15度以下(在步骤S26为“否”)，则在步骤S28，用户状态识别部6结束第二计时器的计时。其次，在步骤S29中，用户状态识别部6在RAM中累计并存储由第二计时器计时的第二时间。RAM累计并存储用户的脸部向显示器13的方向以大于0度且在15度以下的角度倾斜的时间。然后，用户状态识别部6将第二计时器的计时值清空。另外，第二时间被累计存储的RAM的区域是与第一时间被累计存储的区域不同的区域。为此，各自分别存储第一时间的累计值和第二时间的累计值。
步骤S28及步骤S29的处理是在进行第二计时器的计时的情况下进行的处理。即，步骤S28及步骤S29的处理是在第二时间的测量中用户的脸部的角度θ为0度以下或大于30度的情况下进行的。在没有进行第二计时器的计时时，不进行步骤S28及步骤S29的处理，而转入步骤S32的处理。
其次，在步骤S30中，用户状态识别部6结束第二计时器的计时。接着，在步骤S31中，用户状态识别部6将由第二计时器计时的第二时间在RAM中进行累计并进行存储。然后，用户状态识别部6将第二计时器的计时值清空。
步骤S30及步骤S31的处理是在进行第二计时器的计时的情况下进行的处理。即，步骤S30及步骤S31的处理是在第二时间的测量中用户的脸部的角度θ为大于15度且在30度以下的情况下进行的。在没有进行第二计时器的计时时，不进行步骤S30及步骤S31的处理，而转入步骤S32的处理。
其次，在步骤S32中，用户状态识别部6从取得的拍摄图像数据识别用户的视线的活动。具体而言，用户状态识别部6识别用户的视线是否与显示器13(照相机15)一致。在用户观看显示器13时，则为用户的视线与显示器13(照相机15)一致。
其次，在步骤S33中，用户状态识别部6对用户的视线是否与显示器13一致进行判断。在此，若判断出用户的视线与显示器13一致(在步骤S33为“是”)，则在步骤S34，用户状态识别部6开始第三计时器的计时。第三计时器测量用户的视线与显示器13一致的时间(以下，称为第三时间)。另外，在第三计时器的第三时间的计时已经开始时，连续计时。
另一方面，若判断出用户的视线与显示器13不一致(在步骤S33为“否”)，则在步骤S35，用户状态识别部6判断由第三计时器计时的第三时间是否不足1.2秒。在此，若判断出第三时间不足1.2秒(在步骤S35为“是”)，则在步骤S36，用户状态识别部6在存储在RAM中的次数上加1。RAM累计并存储用户连续观看显示器13的时间不足1.2秒的次数。另外，次数被累计存储的RAM的区域是与第一时间及第二时间被累计存储的区域不同的区域。为此，各自分别存储第一时间和第二时间以及次数。
若在次数上加1或判断出第三时间不是不足1.2秒(在步骤S35为“否”)，则在步骤S37，用户状态识别部6结束第三计时器的计时，并将第三计时器的计时值清空。另外，在没有进行第三计时器的计时时，即，在第三时间为0时，用户状态识别部6判断第三时间不是不足1.2秒。
步骤S37的处理是在进行第三计时器的计时的情况下进行的处理。即，步骤S37的处理是在第三时间的测量中用户的视线与显示器13不一致的情况下进行的。在没有进行第三计时器的计时时，不进行步骤S37的处理，而转入图5的步骤S6的处理。
接下来，对图5的步骤S6以后的处理进行说明。在步骤S6中，用户状态识别部6判断从取得由照相机15拍摄到的拍摄图像数据开始是否经过了指定的期间。在本实施例中，通过内置在控制部11中的计时器等，例如3分种这样的预先决定的指定的期间被测量。
另外，在本实施例中，是通过测量时间来判断是否经过了指定的期间，但是，本发明并不特别限定于此。例如，可以根据显示在显示器13上的指导画面按每个操作工序切换的时间来判断是否经过了指定的期间。即，可以将从显示某一指导画面开始到显示下一个指导画面为止的期间作为指定的期间。还可以根据指导画面切换的次数来判断是否经过了指定的期间。
在此，若判断出没有经过指定的期间(在步骤S6为“否”)，则返回到步骤S5的处理。另一方面，若判断出经过了指定的期间(在步骤S6为“是”)，在步骤S7中，用户状态识别部6将存储在RAM中的第一时间的累计值、第二时间的累计值及次数的累计值存储到累计值存储部7。另外，累计值存储部7至少存储三次的各累计值。即，累计值存储部7至少存储上上次测量的各累计值、上次测量的各累计值和此次测量的各累计值。
其次，在步骤S8中，用户依赖度推定部8执行基于由用户状态识别部6识别出的用户的反应，推定用户对指导数据的依赖度的用户依赖度推定处理。在此，对用户依赖度推定处理的详细情况进行说明。
发明者们让20名试验者虚拟地进行烹调操作，进行了在烹调操作中提示指导数据并识别用户的脸部的活动及视线的活动的实验。另外，本实验对20名试验者全体人员提示相同的指导数据。并且，对20名试验者一边提示指导数据一边进行烹调操作的实验共计进行了三次。在这三次实验中，分别提示相同的指导数据。图8是对20名试验者一边提示指导数据一边虚拟地进行烹调操作，识别出的用户的脸部的活动及视线的活动的实验结果的示意图。
发明者们还让8名试验者实际地进行烹调操作，在烹调操作中提示指导数据并识别用户的脸部的活动及视线的活动的实验共计进行了三次。在这三次实验中，分别提示相同的指导数据。图9是对8名试验者一边提示指导数据一边实际地进行烹调操作，识别出的用户的脸部的活动及视线的活动的实验结果的示意图。
另外，图8所示的虚拟的烹调操作不是进行食品材料处理或进行加热处理等，而是按照烹调操作工序在桌上操作烹调用具的烹调操作。因此，一次烹调操作所需要的时间平均在5分钟左右。而在图9所示的实验中，是让试验者做汉堡牛肉饼。因此，一次烹调操作所需要的时间平均在30分钟左右。
在图8及图9中，横轴表示实验次数。而且，在图8及图9中，纵轴表示脸部的活动(秒)和视线的活动(次数)，脸部的活动用试验者人数及指导数(指导画面的提示数)除以累计时间，视线的活动将用试验者人数及指导数除以累计次数的值再乘以4倍。
在图8及图9中，黑圆点符号表示用户的脸部正视操作对象的方向和用户的脸部正面朝向的方向所成的角度θ为30度时的累计时间，白圆点符号表示用户的脸部正视操作对象的方向和用户的脸部正面朝向的方向所成的角度θ在15度以下时的累计时间。黑三角符号表示用户的视线与显示器13一致的时间不足1.2秒时的累计次数，白三角符号表示用户的视线与显示器13一致的时间为从1.2秒到1.5秒时的累计次数。
如图8及图9所示，角度θ为30度时的累计时间，即，用户的脸部正视显示器13观看指导画面的时间，通过反复实验而减少，随着依赖度的降低进入初期阶段、中期阶段及后期阶段而减少。另外，依赖度分初期阶段、中期阶段及后期阶段三个阶段降低。而且，角度θ在15度以下时的累计时间，即，用户将脸部稍微向显示器13的方向倾斜的时间，虽然在达到依赖度降低的初期阶段之前暂且增加，但随着依赖度的降低进入初期阶段、中期阶段及后期阶段而减少。
并且，视线与显示器13一致的时间不足1.2秒时的累计次数，即，用户只稍微观看指导画面的次数，随着依赖度的降低进入初期阶段及中期阶段而增加之后，在依赖度降低的后期阶段中减少。并且，视线与显示器13一致的时间为从1.2秒到1.5秒时的累计次数，在依赖度的降低进入初期阶段、中期阶段及后期阶段是以某一定值而推移。
另外，在图8所示的虚拟烹调操作中，由于用比较短的时间即可结束操作，所以，在烹调操作中观看指导画面的次数较少，观看指导画面的时间也较短。为此，即使是第二次实验，对指导数据的依赖度也较高，在第二次实验中，依赖度降低到初期阶段。另一方面，在图9所示的实际烹调操作中，在加热处理中等出现等待的时间，烹调操作中观看指导画面的次数增多，观看指导画面的时间也变长。为此，在第一次实验中得到指导学习，在第二次实验中依赖度很快就开始降低。因此，从第一次实验开始依赖度即降低到初期阶段。
图9所示的实际烹调操作的实验结果，只在与从虚拟烹调操作时的指导画面更新起到下次指导画面更新之间的时间相同的时间内，计时指导画面更新之后的时间。然后，识别在其之间的用户的脸部的活动及视线的活动，分别累计用户的脸部正视显示器13的时间、用户的视线与显示器13一致的时间不足1.2秒时的次数、用户的视线与显示器13一致的时间在从1.2秒到1.5秒时的次数。由此，在实际烹调操作中，可以省略在操作的等待时间凝视指导画面的时间。
基于上述的实验结果，用户的依赖度可以作如下推定。即，在用户的脸部正视显示器13的时间增加时，可以推定用户对指导数据的依赖度增加。在用户的脸部正视显示器13的时间减少且用户将脸部向显示器13的方向稍微倾斜的时间增加时，可以推定为依赖度降低的初期阶段。
而且，在用户的脸部正视显示器13的时间减少、并且用户将脸部向显示器13的方向稍微倾斜的时间减少且用户只稍微观看指导画面的次数增加时，可以推定为依赖度降低的中期阶段。并且，在用户稍微观看指导画面的次数一旦增加之后又减少时，可以推定为依赖度降低的后期阶段。
图10是用于说明图5的步骤S8的用户依赖度推定处理的流程图。
首先，在步骤S41中，用户依赖度推定部8从累计值存储部7读出此次测量的第一时间的累计值、第二时间的累计值及次数的累计值、上次测量的第一时间的累计值、第二时间的累计值及次数的累计值、上上次测量的次数的累计值。
其次，在步骤S42中，用户依赖度推定部8对此次测量的第一时间的累计值是否较上次测量的第一时间的累计值增加进行判断。在此，若判断出此次测量的第一时间的累计值较上次测量的第一时间的累计值增加(在步骤S42为“是”)，则在步骤S43，用户依赖度推定部8推定用户的依赖度增加。
另一方面，若判断出此次测量的第一时间的累计值较上次测量的第一时间的累计值减少(在步骤S42为“否”)，在步骤S44中，用户依赖度推定部8对此次测量的第二时间的累计值是否较上次测量的第二时间的累计值增加进行判断。在此，若判断出此次测量的第二时间的累计值较上次测量的第二时间的累计值增加(在步骤S44为“是”)，则在步骤S45，用户依赖度推定部8推定为依赖度降低的初期阶段。
另一方面，若判断出此次测量的第二时间的累计值较上次测量的第二时间的累计值减少(在步骤S44为“否”)，在步骤S46中，用户依赖度推定部8对此次测量的次数的累计值是否较上次测量的次数的累计值增加进行判断。在此，若判断出此次测量的次数的累计值较上次测量的次数的累计值增加(在步骤S46为“是”)，则在步骤S47，用户依赖度推定部8推定为依赖度降低的中期阶段。
另一方面，若判断出此次测量的次数的累计值较上次测量的次数的累计值减少(在步骤S46为“否”)，在步骤S48中，用户依赖度推定部8对上次测量的次数的累计值是否较上上次测量的次数的累计值增加进行判断。在此，若判断出上次测量的次数的累计值较上上次测量的次数的累计值增加(在步骤S48为“是”)，则在步骤S49，用户依赖度推定部8推定为依赖度降低的后期阶段。
另一方面，若判断出上次测量的次数的累计值较上上次测量的次数的累计值减少(在步骤S48为“否”)，则在步骤S50，用户依赖度推定部8判断用户的依赖度不能推定。另外，各自的依赖度的推定结果暂时存储在RAM中。而且，只能存储1次的累计值，在不能判断累计值是否增加的情况下，用户依赖度推定部8判断为不能推定。
返回到图5，在步骤S9中，用户依赖度推定部8对用户的操作是否结束进行判断。在此，若判断出用户的操作已经结束(在步骤S9为“是”)，则结束操作支援处理。另一方面，若判断出用户的操作还没有结束时(在步骤S9为“否”)，则返回到步骤S3的处理，执行指导数据选择处理。
在此，对指导数据选择处理的详细情况进行说明。图11是用于说明图5的步骤S3的指导数据选择处理的流程图。
首先，在步骤S61中，指导选择部4对是否存在依赖度的推定结果进行判断。如上所述，因为依赖度的推定结果被暂时存储在RAM中，所以，指导选择部4对依赖度的推定结果是否存储在RAM中进行判断。由此，可以判断是否存在依赖度的推定结果。在此，若判断出没有依赖度的推定结果(在步骤S61为“否”)，则在步骤S62，指导选择部4选择预先决定的指定的指导数据。此时，例如，指导选择部4选择与最低的技能水平对应的指导数据。
另一方面，若判断出有依赖度的推定结果(在步骤S61为“是”)，在步骤S63中，指导选择部4对依赖度是否增加或是否不能推定进行判断。在此，若判断出依赖度增加或不能推定(在步骤S63为“是”)，则在步骤S64中，指导选择部4选择与现在提示的指导数据相同的指导数据。
另一方面，在依赖度降低时(在步骤S63为“否”)，在步骤S65中，指导选择部4对依赖度的降低是否为初期阶段进行判断。在此，若判断出依赖度的降低为初期阶段(在步骤S65为“是”)，则在步骤S66中，指导选择部4选择与依赖度降低的初期阶段对应的指导数据。
另一方面，若判断出依赖度的降低不为初期阶段(在步骤S65为“否”)，在步骤S67中，指导选择部4对依赖度的降低是否为中期阶段进行判断。在此，若判断出依赖度的降低为中期阶段(在步骤S67为“是”)，则在步骤S68中，指导选择部4选择与依赖度降低的中期阶段对应的指导数据。
另一方面，若判断出依赖度的降低不为中期阶段(在步骤S67为“否”)，则在步骤S69中，指导选择部4选择与依赖度降低的后期阶段对应的指导数据。
这样，用户对现在提示的指导数据的依赖度得以推定，因为从指导数据库3中选择适应所推定出的依赖度的指导数据，所以，可以对操作中的用户提示适当的指导。
另外，本实施例的操作支援装置是用于支援用户的烹调操作的操作支援装置，但是，本发明并不特别限定于此，也可以是通过地图及语音引导汽车到达目的地的用于支援用户的驾驶操作的汽车导航装置。
另外，操作支援装置10也可以作为以硬件形式具备中央处理器(CPU)、存储程序和永久性数据的非易失性存储器或存储装置、存储临时数据的可以高速存取的易失性存储器、输入输出设备的通用的信息处理装置而构成，将使这些硬件资源协调工作的指导程序预先存储在非易失性存储器或存储装置中以软件形式实现。此时，也可以通过磁盘或光盘等计算机可以读取的记录介质或网络等通信线路分配操作支援程序，并预先设非易失性存储器和存储装置的写入功能，来进行新的功能的追加或功能的更新。
上述的具体实施例主要包含具有以下结构的发明。
本发明所提供的识别装置包括：存储用于给正在进行操作的用户操作支援的指导数据的指导数据存储部、从上述指导数据存储部选择对于上述操作的指导数据的指导选择部、将由上述指导选择部选择的上述指导数据提示给用户的指导提示部、识别用户对由上述指导提示部提示的上述指导数据的反应的用户状态识别部、基于由上述用户状态识别部识别出的用户的反应，推定表示用户对由上述指导提示部所提示的上述指导数据有多少依赖的依赖度的用户依赖度推定部，其中，上述指导选择部从上述指导数据存储部选择适应由上述用户依赖度推定部推定出的上述依赖度的指导数据。
本发明还提供一种识别方法，包括：从存储用于给正在进行操作的用户操作支援的指导数据的指导数据存储部选择对于上述操作的指导数据的指导选择步骤、将在上述指导选择步骤中选择的上述指导数据提示给用户的指导提示步骤、识别用户对在上述指导提示步骤中提示的上述指导数据的反应的用户状态识别步骤、基于在上述用户状态识别步骤中识别出的用户的反应，推定表示用户对在上述指导提示步骤中提示的上述指导数据有多少依赖的依赖度的用户依赖度推定步骤，其中，在上述指导选择步骤中，从上述指导数据存储部选择适应在上述用户依赖度推定步骤中推定出的上述依赖度的指导数据。
本发明还提供一种识别程序，使计算机作为以下各部而发挥其功能：存储用于给正在进行操作的用户操作支援的指导数据的指导数据存储部、从上述指导数据存储部选择对于上述操作的指导数据的指导选择部、将由上述指导选择部选择的上述指导数据提示给用户的指导提示部、识别用户对由上述指导提示部提示的上述指导数据的反应的用户状态识别部、基于由上述用户状态识别部识别出的用户的反应，推定表示用户对由上述指导提示部所提示的上述指导数据有多少依赖的依赖度的用户依赖度推定部，其中，上述指导选择部从上述指导数据存储部选择适应由上述用户依赖度推定部推定出的上述依赖度的指导数据。
本发明还提供一种记录介质，记录了识别程序，可以由计算机读取，该识别程序使计算机作为以下各部而发挥其功能：存储用于给正在进行操作的用户操作支援的指导数据的指导数据存储部、从上述指导数据存储部选择对于上述操作的指导数据的指导选择部、将由上述指导选择部选择的上述指导数据提示给用户的指导提示部、识别用户对由上述指导提示部提示的上述指导数据的反应的用户状态识别部、基于由上述用户状态识别部识别出的用户的反应，推定表示用户对由上述指导提示部所提示的上述指导数据有多少依赖的依赖度的用户依赖度推定部，其中，上述指导选择部从上述指导数据存储部选择适应由上述用户依赖度推定部推定出的上述依赖度的指导数据。
根据上述的结构或方法，由于表示用户对现在提示的指导数据有多少依赖的依赖度被推定，适应被推定出的依赖度的指导数据从指导数据存储部中予以选择，所以，可以对操作中的用户提示适当的指导。
而且，在上述的识别装置中，以上述用户状态识别部识别用户对由上述指导提示部提示的上述指导数据的身体反应的时间变化，上述用户依赖度推定部基于由上述用户状态识别部识别出的用户的身体反应的时间变化推定出上述依赖度为宜。
根据此结构，基于用户对所提示的指导数据的身体反应的时间变化，可以推定用户对现在提示的指导数据有多少依赖。
而且，在上述的识别装置中，最好是上述用户状态识别部至少识别用户的脸部的活动及视线的活动的其中之一。根据此结构，因为用户的脸部的活动及视线的活动中的至少其中之一被识别，所以，基于用户的脸部的活动及视线的活动中的至少其中之一可以推定用户对现在提示的指导数据的依赖度。
而且，在上述的识别装置中，最好是还包括拍摄用户的照相机、配置在与上述照相机相同的方向的显示部，其中，上述指导提示部将由上述指导选择部选择的上述指导数据显示在上述显示部，上述用户状态识别部基于由上述照相机拍摄到的图像识别用户的脸部的活动，累计用户的脸部从正视操作对象的状态转向上述显示部的倾斜指定角度的时间，基于上述照相机拍摄到的图像识别用户的视线的活动，累计用户的视线与上述显示部基本上一致的时间不足指定时间的次数，上述用户依赖度推定部基于由上述用户状态识别部累计的上述时间及上述次数推定用户对现在提示的指导数据的依赖度是增加还是减少。
根据此结构，所选择的指导数据被显示在显示部。而且，基于照相机拍摄到的图像，用户的脸部的活动得以识别，用户的脸部从正视操作对象的状态转向显示部的倾斜指定角度的时间被累计。而且，基于照相机拍摄到的图像，用户的视线的活动得以识别，用户的视线与显示部基本上一致的时间不足指定时间的次数被累计。接下来，基于累计的时间及次数，用户对现在提示的指导数据的依赖度是增加还是减少得以推定。
因此，基于用户的脸部从正视操作对象的状态转向显示部的倾斜指定角度的时间的累计值和用户的视线与显示部基本上一致的时间不足指定时间的次数的累计值，可以容易地推定出用户对现在提示的指导数据的依赖度是增加还是减少。
而且，在上述的识别装置中，最好是上述指导数据存储部存储与用户对于上述操作的熟练程度对应的多个指导数据，上述指导选择部在由上述用户依赖度推定部推定出用户对现在提示的指导数据的依赖度降低时，从上述指导数据存储部中选择与较现在提示的指导数据的熟练程度高的熟练程度对应的指导数据。
根据此结构，指导数据存储部存储与用户对于操作的熟练程度对应的多个指导数据。然后，在推定出用户对现在提示的指导数据的依赖度降低时，从指导数据存储部选择与较现在提示的指导数据的熟练程度高的熟练程度对应的指导数据。
因此，即使用户对现在提示的指导数据的依赖度降低，因为与较现在提示的指导数据的熟练程度高的熟练程度对应的新的指导数据被提示，所以，可以使对指导数据的依赖度增加。
而且，在上述的识别装置中，最好是上述用户状态识别部基于由上述照相机拍摄到的图像识别用户的脸部的活动，累计用户的脸部正视上述显示部的第一时间，累计用户的脸部以比用户的脸部正视操作对象的方向和用户的脸部正视上述显示部的方向所成的角度小的角度，从正视操作对象的状态转向上述显示部的倾斜的第二时间，基于由上述照相机拍摄到的图像识别用户的视线的活动，累计用户的视线与上述显示部基本上一致的时间不足指定时间的次数，上述用户依赖度推定部，在此次指定期间内累计的上述第一时间较在上次指定期间内累计的上述第一时间增加时，推定用户的依赖度增加，在此次指定期间内累计的上述第一时间较在上次指定期间内累计的上述第一时间减少，并且在此次指定期间内累计的上述第二时间较在上次指定期间内累计的上述第二时间增加时，推定用户的依赖度降低到第一阶段，在此次指定期间内累计的上述第一时间较在上次指定期间内累计的上述第一时间减少，在此次指定期间内累计的上述第二时间较在上次指定期间内累计的上述第二时间减少，并且在此次指定期间内累计的上述次数较在上次指定期间内累计的上述次数增加时，推定用户的依赖度降低到较上述第一阶段低的第二阶段，在上次指定期间内累计的上述次数较在上上次指定期间内累计的上述次数增加，并且在此次指定期间内累计的上述次数较在上次指定期间内累计的上述次数减少时，推定用户的依赖度降低到较上述第二阶段低的第三阶段。
根据此结构，基于照相机拍摄到的图像，用户的脸部的活动得以识别，用户的脸部正视显示部的第一时间被累计。并且，用户的脸部以比用户的脸部正视操作对象的方向和用户的脸部正视显示部的方向所成的角度小的角度，从正视操作对象的状态转向显示部的倾斜的第二时间被累计。而且，基于照相机拍摄到的图像，用户的视线的活动得以识别，用户的视线与显示部基本上一致的时间不足指定时间的次数被累计。然后，在此次指定期间内累计的第一时间较上次指定期间内累计的第一时间增加时，推定用户的依赖度已经增加。在此次指定期间内累计的第一时间较上次指定期间内累计的第一时间减少，并且在此次指定期间内累计的第二时间较上次指定期间内累计的第二时间增加时，推定用户的依赖度降低到第一阶段。在此次指定期间内累计的第一时间较上次指定期间内累计的第一时间减少，在此次指定期间内累计的第二时间较上次指定期间内累计的第二时间减少，并且在此次指定期间内累计的次数较上次指定期间内累计的次数增加时，推定用户的依赖度降低到较第一阶段低的第二阶段。在上次指定期间内累计的次数较上上次的指定期间内累计的次数增加，并且在此次指定期间内累计的次数较上次指定期间内累计的次数减少时，推定用户的依赖度降低到较第二阶段低的第三阶段。
因此，基于用户的脸部正视显示部的第一时间的累计值、用户的脸部以比用户的脸部正视操作对象的方向与用户的脸部正视显示部的方向所成的角度小的角度，从正视操作对象的状态转向显示部的倾斜的第二时间的累计值、和用户的视线与显示部基本上一致的时间不足指定时间的次数的累计值，可以推定用户的阶段的依赖度。
而且，在上述的识别装置中，最好是上述指导数据存储部存储适应上述第一阶段、上述第二阶段及上述第三阶段的各阶段的指导数据，上述指导选择部，在由上述用户依赖度推定部推定出用户的依赖度降低到第一阶段时，从上述指导数据存储部选择适应上述第一阶段的指导数据，在由上述用户依赖度推定部推定出用户的依赖度降低到第二阶段时，从上述指导数据存储部选择适应上述第二阶段的指导数据，在由上述用户依赖度推定部推定出用户的依赖度降低到第三阶段时，从上述指导数据存储部选择适应上述第三阶段的指导数据。
根据此结构，在指导数据存储部中，适应第一阶段、第二阶段及第三阶段的各阶段的指导数据予以存储。然后，在推定出用户的依赖度降低到第一阶段时，适应第一阶段的指导数据从指导数据存储部予以选择。在推定出用户的依赖度降低到第二阶段时，适应第二阶段的指导数据从指导数据存储部予以选择。在推定出用户的依赖度降低到第三阶段时，适应第三阶段的指导数据从指导数据存储部予以选择。
因此，即使对现在提示的指导数据的依赖度已经降低，也因为适应用户的阶段性的依赖度的新的指导数据被提示，所以，可以使对指导数据的依赖度增加。
而且，在上述的识别装置中，最好是上述用户状态识别部基于由上述照相机拍摄到的图像识别用户的视线的活动，累计用户的视线与上述显示部基本上一致的时间为1.5秒以下的次数。
根据此结构，通过累计用户的视线与显示部基本上一致的时间为1.5秒以下的次数，可以累计用户为了确认而稍微看一下显示在显示部上的指导数据的次数。而且，可以利用此累计值推定用户的依赖度。
另外，一般认为若视线停留在一定区域的时间不足1.2秒，不能够确认是否产生了较强的兴趣。为此，最好也累计用户的视线与显示部基本上一致的时间为不足1.2秒的次数。由此，可以累计用户为了确认而稍微看一下在显示部显示的指导数据的次数。
而且，在上述的识别装置中，最好还包括受理从多个操作内容中对期望指导的操作内容的选择的操作内容受理部，上述指导选择部从上述指导数据存储部选择适应由上述操作内容受理部受理的操作内容的指导数据。
根据此结构，从多个操作内容中对期望指导的操作内容的选择被受理。然后，从指导数据存储部选择适应被受理的操作内容的指导数据。因此，可以向用户提示适应操作内容的指导数据。
而且，在上述的识别装置中，最好是上述指导数据存储部存储用于支援用户的烹调操作的指导数据。根据此结构，因为用于支援用户的烹调操作的指导数据被存储，所以，可以向用户提供用于支援烹调操作的指导。
而且，在上述的识别装置中，最好是上述指导数据存储部存储用于支援用户的汽车驾驶操作的指导数据。根据此结构，因为用于支援用户的汽车驾驶操作的指导数据被存储，所以，可以向用户提供用于支援汽车驾驶操作的指导。
本发明所涉及的识别装置、识别方法、识别程序以及记录了识别程序的计算机可以读取的记录介质，可以推定用户对提示的指导的依赖度，可以提供适应依赖度的适当的指导，作为通过动画和语音等提示用于辅助用户操作的指导的识别装置、识别方法、识别程序以及记录了识别程序的计算机可以读取的记录介质等极为有用。

Claims (14)

1.一种识别装置，其特征在于包括：
指导数据存储部，存储用于给正在进行操作的用户操作支援的指导数据；
指导选择部，从上述指导数据存储部选择对于上述操作的指导数据；
指导提示部，将由上述指导选择部选择的上述指导数据提示给用户；
用户状态识别部，识别用户对由上述指导提示部提示的上述指导数据的反应；
用户依赖度推定部，基于由上述用户状态识别部识别出的用户的反应，推定表示用户对由上述指导提示部提示的上述指导数据有多少依赖的依赖度，其中，
上述指导选择部，从上述指导数据存储部选择适应由上述用户依赖度推定部推定出的上述依赖度的指导数据。
2.根据权利要求1所述的识别装置，其特征在于：
上述用户状态识别部，识别用户对由上述指导提示部提示的上述指导数据的身体反应的时间变化，
上述用户依赖度推定部，基于由上述用户状态识别部识别出的用户的身体反应的时间变化推定上述依赖度。
3.根据权利要求2所述的识别装置，其特征在于：上述用户状态识别部，至少识别用户的脸部的活动及视线的活动的其中之一。
4.根据权利要求3所述的识别装置，其特征在于还包括：
照相机，用于拍摄用户；
显示部，被配置在与上述照相机相同的方向，其中，
上述指导提示部，将由上述指导选择部选择的上述指导数据显示在上述显示部上，
上述用户状态识别部，基于由上述照相机拍摄到的图像识别用户的脸部的活动，累计用户的脸部从正视操作对象的状态转向上述显示部的倾斜指定角度的时间；基于由上述照相机拍摄到的图像识别用户的视线的活动，累计用户的视线与上述显示部基本上一致的时间不足指定时间的次数，
上述用户依赖度推定部，基于由上述用户状态识别部累计的上述时间及上述次数，推定用户对现在提示的指导数据的依赖度是增加还是减少。
5.根据权利要求4所述的识别装置，其特征在于：
上述指导数据存储部，存储与用户对上述操作的熟练程度对应的多个指导数据，
上述指导选择部，在由上述用户依赖度推定部推定出用户对现在提示的指导数据的依赖度降低时，从上述指导数据存储部选择与较现在提示的指导数据的熟练程度高的熟练程度对应的指导数据。
6.根据权利要求4所述的识别装置，其特征在于：
上述用户状态识别部，基于由上述照相机拍摄到的图像识别用户的脸部的活动，累计用户的脸部正视上述显示部的第一时间，累计用户的脸部以比用户的脸部正视操作对象的方向和用户的脸部正视上述显示部的方向所成的角度小的角度，从正视操作对象的状态转向上述显示部的倾斜的第二时间；基于由上述照相机拍摄到的图像识别用户的视线的活动，累计用户的视线与上述显示部基本上一致的时间不足指定时间的次数，
上述用户依赖度推定部，
在此次指定期间内累计的上述第一时间较在上次指定期间内累计的上述第一时间增加时，推定用户的依赖度增加，
在此次指定期间内累计的上述第一时间较在上次指定期间内累计的上述第一时间减少，并且在此次指定期间内累计的上述第二时间较在上次指定期间内累计的上述第二时间增加时，推定用户的依赖度降低到第一阶段，
在此次指定期间内累计的上述第一时间较在上次指定期间内累计的上述第一时间减少，在此次指定期间内累计的上述第二时间较在上次指定期间内累计的上述第二时间减少，并且在此次指定期间内累计的上述次数较在上次指定期间内累计的上述次数增加时，推定用户的依赖度降低到较上述第一阶段低的第二阶段，
在上次指定期间内累计的上述次数较在上上次指定期间内累计的上述次数增加，并在此次指定期间内累计的上述次数较在上次指定期间内累计的上述次数减少时，推定用户的依赖度降低到较上述第二阶段低的第三阶段。
7.根据权利要求6所述的识别装置，其特征在于：
上述指导数据存储部，存储适应上述第一阶段、上述第二阶段及上述第三阶段的各阶段的指导数据，
上述指导选择部，在由上述用户依赖度推定部推定出用户的依赖度降低到第一阶段时，从上述指导数据存储部选择适应上述第一阶段的指导数据，在由上述用户依赖度推定部推定出用户的依赖度降低到第二阶段时，从上述指导数据存储部选择适应上述第二阶段的指导数据，在由上述用户依赖度推定部推定出用户的依赖度降低到第三阶段时，从上述指导数据存储部选择适应上述第三阶段的指导数据。
8.根据权利要求6所述的识别装置，其特征在于：上述用户状态识别部，基于由上述照相机拍摄到的图像识别用户的视线的活动，累计用户的视线与上述显示部基本上一致的时间为1.5秒以下的次数。
9.根据权利要求1所述的识别装置，其特征在于还包括：
操作内容受理部，受理从多个操作内容中对期望指导的操作内容的选择，其中，
上述指导选择部，从上述指导数据存储部选择适应由上述操作内容受理部受理的操作内容的指导数据。
10.根据权利要求1所述的识别装置，其特征在于：上述指导数据存储部存储用于支援用户的烹调操作的指导数据。
11.根据权利要求1所述的识别装置，其特征在于：上述指导数据存储部存储用于支援用户的汽车驾驶操作的指导数据。
12.一种识别方法，其特征在于包括：
从存储用于给正在进行操作的用户操作支援的指导数据的指导数据存储部选择对于上述操作的指导数据的指导选择步骤；
将在上述指导选择步骤中选择的上述指导数据提示给用户的指导提示步骤；
识别用户对在上述指导提示步骤中提示的上述指导数据的反应的用户状态识别步骤；
基于在上述用户状态识别步骤中识别出的用户的反应，推定表示用户对在上述指导提示步骤中提示的上述指导数据有多少依赖的依赖度的用户依赖度推定步骤，其中，
在上述指导选择步骤中，从上述指导数据存储部选择适应在上述用户依赖度推定步骤中推定出的上述依赖度的指导数据。
13.一种识别程序，其特征在于使计算机作为以下各部而发挥其功能：
存储用于给正在进行操作的用户操作支援的指导数据的指导数据存储部；
从上述指导数据存储部选择对于上述操作的指导数据的指导选择部；
将由上述指导选择部选择的上述指导数据提示给用户的指导提示部；
识别用户对由上述指导提示部提示的上述指导数据的反应的用户状态识别部；
基于由上述用户状态识别部识别出的用户的反应，推定表示用户对由上述指导提示部提示的上述指导数据的依赖度有多少依赖的用户依赖度推定部，其中，
上述指导选择部，从上述指导数据存储部选择适应由上述用户依赖度推定部推定出的上述依赖度的指导数据。
14.一种记录介质，记录了识别程序，可由计算机读取，其特征在于，该识别程序使计算机作为以下各部而发挥其功能：
存储用于给正在进行操作的用户操作支援的指导数据的指导数据存储部；
从上述指导数据存储部选择对于上述操作的指导数据的指导选择部；
将由上述指导选择部选择的上述指导数据提示给用户的指导提示部；
识别用户对由上述指导提示部提示的上述指导数据的反应的用户状态识别部；
基于由上述用户状态识别部识别出的用户的反应，推定表示用户对由上述指导提示部所提示的上述指导数据有多少依赖的依赖度的用户依赖度推定部，其中，
上述指导选择部，从上述指导数据存储部选择适应由上述用户依赖度推定部推定出的上述依赖度的指导数据。
CN200810087268.8A 2007-03-29 2008-03-26 识别装置、识别方法、识别程序以及记录了识别程序的记录介质 Pending CN101276221A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-088654 2007-03-29
JP2007088654 2007-03-29

Publications (1)

Publication Number Publication Date
CN101276221A true CN101276221A (zh) 2008-10-01

Family

ID=39794445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810087268.8A Pending CN101276221A (zh) 2007-03-29 2008-03-26 识别装置、识别方法、识别程序以及记录了识别程序的记录介质

Country Status (3)

Country Link
US (1) US20080240519A1 (zh)
JP (1) JP2008269588A (zh)
CN (1) CN101276221A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088561A (zh) * 2009-12-04 2011-06-08 三星电子株式会社 数字拍摄设备和控制该设备的方法
CN111886638A (zh) * 2018-03-28 2020-11-03 京瓷株式会社 图像处理装置、拍摄装置以及移动体

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4944055B2 (ja) * 2008-03-19 2012-05-30 富士フイルム株式会社 撮像装置及び撮像制御方法
JP5244580B2 (ja) * 2008-12-25 2013-07-24 京セラドキュメントソリューションズ株式会社 電子機器
JP5691512B2 (ja) * 2010-03-24 2015-04-01 沖電気工業株式会社 入力支援装置、入力支援方法、およびプログラム
DE102013015205B3 (de) * 2013-09-13 2015-02-05 Audi Ag Verfahren und System zum Betreiben einer Mehrzahl von Anzeigeeinrichtungen eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben einer Mehrzahl von Anzeigeeinrichtungen
DE102013015634B4 (de) * 2013-09-20 2015-06-18 Audi Ag Verfahren und System zum Betreiben wenigstens einer Anzeigeeinrichtung eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben wenigstens einer Anzeigeeinrichtung
JP6210884B2 (ja) * 2014-01-10 2017-10-11 Kddi株式会社 操作支援装置、操作支援方法及び操作支援プログラム
JP6292672B2 (ja) * 2014-06-26 2018-03-14 Kddi株式会社 操作支援装置、操作支援方法及び操作支援プログラム
JP6302381B2 (ja) * 2014-09-03 2018-03-28 Kddi株式会社 操作支援装置、操作支援方法及び操作支援プログラム
KR102362654B1 (ko) 2015-07-03 2022-02-15 삼성전자주식회사 오븐
US10845955B2 (en) 2017-05-15 2020-11-24 Apple Inc. Displaying a scrollable list of affordances associated with physical activities
DK201870599A1 (en) 2018-03-12 2019-10-16 Apple Inc. USER INTERFACES FOR HEALTH MONITORING
DK201870378A1 (en) 2018-05-07 2020-01-13 Apple Inc. DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
US11317833B2 (en) 2018-05-07 2022-05-03 Apple Inc. Displaying user interfaces associated with physical activities
WO2019229935A1 (ja) 2018-05-31 2019-12-05 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体
JP7138499B2 (ja) * 2018-07-11 2022-09-16 三菱電機株式会社 作業支援システム、作業支援システム用のサーバ装置およびプログラム
US11209957B2 (en) 2019-06-01 2021-12-28 Apple Inc. User interfaces for cycle tracking
US11228835B2 (en) 2019-06-01 2022-01-18 Apple Inc. User interfaces for managing audio exposure
US11152100B2 (en) 2019-06-01 2021-10-19 Apple Inc. Health application user interfaces
DK201970534A1 (en) 2019-06-01 2021-02-16 Apple Inc User interfaces for monitoring noise exposure levels
US11234077B2 (en) 2019-06-01 2022-01-25 Apple Inc. User interfaces for managing audio exposure
WO2021014910A1 (ja) * 2019-07-24 2021-01-28 パナソニックＩｐマネジメント株式会社 調理習得支援システムおよび調理習得支援方法
EP4004702A1 (en) 2019-09-09 2022-06-01 Apple Inc. Research study user interfaces
CN113130044B (zh) * 2019-12-31 2023-06-20 佛山市顺德区美的电热电器制造有限公司 一种食谱优化方法、优化展示的方法、装置及计算机可读存储介质
DK181037B1 (en) 2020-06-02 2022-10-10 Apple Inc User interfaces for health applications
JP7444730B2 (ja) 2020-08-13 2024-03-06 株式会社日立製作所 作業支援装置及び作業支援方法
US11698710B2 (en) 2020-08-31 2023-07-11 Apple Inc. User interfaces for logging user activities

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000066789A (ja) * 1998-08-24 2000-03-03 Sharp Corp 表示方法、該方法に用いる情報記憶媒体及び表示装置
US7630986B1 (en) * 1999-10-27 2009-12-08 Pinpoint, Incorporated Secure data interchange
WO2004088643A2 (en) * 2003-03-25 2004-10-14 Saul Shapiro Intergenerational interactive lifetime journaling/diary an advice/guidance system
US7590589B2 (en) * 2004-09-10 2009-09-15 Hoffberg Steven M Game theoretic prioritization scheme for mobile ad hoc networks permitting hierarchal deference
EP1980979A4 (en) * 2006-01-31 2011-07-27 Panasonic Corp CONSULTING DEVICE, CONSULTING PROCEDURE AND COMPUTER READABLE RECORDING MEDIUM FOR SAVING THE CONSULTING PROGRAM

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088561A (zh) * 2009-12-04 2011-06-08 三星电子株式会社 数字拍摄设备和控制该设备的方法
US8970762B2 (en) 2009-12-04 2015-03-03 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of controlling the same
CN111886638A (zh) * 2018-03-28 2020-11-03 京瓷株式会社 图像处理装置、拍摄装置以及移动体
CN111886638B (zh) * 2018-03-28 2023-01-03 京瓷株式会社 图像处理装置、拍摄装置以及移动体

Also Published As

Publication number Publication date
JP2008269588A (ja) 2008-11-06
US20080240519A1 (en) 2008-10-02

Similar Documents

Publication Publication Date Title
CN101276221A (zh) 识别装置、识别方法、识别程序以及记录了识别程序的记录介质
US10552183B2 (en) Tailoring user interface presentations based on user state
CN101770506B (zh) 信息处理装置、信息处理方法和程序
CN109176535B (zh) 基于智能机器人的交互方法及系统
JP2005502107A (ja) ヘアカラーコンサルテーション法
US20090228479A1 (en) Operational assistance server device, operational assistance method and computer program
EP1672546A1 (en) Video display
CN111494935B (zh) 游戏中虚拟对象的控制方法及装置
KR20190074563A (ko) 모션인식과 가상현실을 이용한 치매고위험군과 경도인지장애를 위한 평가 및 훈련장치와 그 방법
WO2022239793A1 (ja) 被験者分析装置
CN113301441B (zh) 应用程序的交互方法、装置和电子设备
KR20150127933A (ko) 실감효과 재현 장치 및 그 방법
US6435880B1 (en) Learning-support device and learning-support method
US6769918B1 (en) Tutorial system for learning training contents, learning programme logic
CN110665227B (zh) 指示用户操作的数据处理方法、装置与游戏辅助设备
JP4745818B2 (ja) 機器操作性評価装置、機器操作性評価方法及び機器操作性評価プログラム
CN101932366A (zh) 游戏装置、游戏处理方法、信息记录介质以及程序
KR19980701839A (ko) 화상 처리 장치
EP3951619A1 (en) Information processing device, program, and information provision system
CN112948017A (zh) 引导信息展示方法、装置、终端及存储介质
JP3110266B2 (ja) キャラクタインタフェース装置
JP2021064289A (ja) 情報処理装置
JP7483685B2 (ja) 情報処理装置、プログラム及び情報提供システム
EP4075413A1 (en) Information processing device, program, and information provision method
KR102430463B1 (ko) 선점형 혼합현실 체험 시스템 및 그 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20081001

C20 Patent right or utility model deemed to be abandoned or is abandoned