JP2008269588A - 認識装置、認識方法及び認識プログラム - Google Patents

認識装置、認識方法及び認識プログラム Download PDF

Info

Publication number
JP2008269588A
JP2008269588A JP2008072046A JP2008072046A JP2008269588A JP 2008269588 A JP2008269588 A JP 2008269588A JP 2008072046 A JP2008072046 A JP 2008072046A JP 2008072046 A JP2008072046 A JP 2008072046A JP 2008269588 A JP2008269588 A JP 2008269588A
Authority
JP
Japan
Prior art keywords
user
advice
unit
time
advice data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008072046A
Other languages
English (en)
Inventor
Sachio Nagamitsu
左千男 長光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2008072046A priority Critical patent/JP2008269588A/ja
Publication of JP2008269588A publication Critical patent/JP2008269588A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】作業中のユーザに対して適切なアドバイスを提示し、ユーザの作業を支援する。
【解決手段】アドバイスデータベース３は、作業を行っているユーザへの作業支援のためのアドバイスデータを記憶し、アドバイス選択部４は、アドバイスデータベース３から作業に対するアドバイスデータを選択し、アドバイス提示部５は、アドバイス選択部４によって選択されたアドバイスデータをユーザに提示し、ユーザ状況認識部６は、アドバイス提示部５によって提示されたアドバイスデータに対するユーザの反応を認識し、ユーザ依存度推定部８は、ユーザ状況認識部６によって認識されたユーザの反応に基づいて、提示されたアドバイスデータにユーザがどれだけ依存しているかを表す依存度を推定し、アドバイス選択部４は、ユーザ依存度推定部８によって推定された依存度に応じたアドバイスデータをアドバイスデータベース３から選択する。
【選択図】図１

Description

本発明は、テキスト、画像及び音声等を用いてユーザの作業を補助するためのアドバイスを提示する認識装置、認識方法及び認識プログラムに関するものである。
従来、ユーザの機器への入力操作を支援するために、習熟度に応じて表示内容を変える表示装置が提案されている（例えば、特許文献１参照）。この表示装置では、ユーザ使用履歴情報（機器起動回数、データ表示回数値、キー入力操作時間、機器の使用済み記憶量等）を用いて表示内容の不要度を推定している。
また、ユーザの現状を認識するとともに、ユーザの発話を認識し、ユーザが行った案内情報に対する関連発話をそれ以前のシステム発話又はユーザ発話と関連付けて認識し、それらの認識結果に応じ、データベースからユーザが行っている作業の支援に必要な情報を検索し、検索された必要な情報を案内する作業支援システムが知られている（例えば、特許文献２参照）。
さらに、ユーザが対象を選ぶ状況で、個々の対象に対する興味の変化を定量的に画像計測する手法が研究されている（例えば、非特許文献１参照）。この技術は、ある対象に対する興味が高まると、近づいて、その対象を凝視するという性質を利用し、対象物側に置かれたカメラで計測したユーザ像から体、顔、視線を抽出し、その変動を認識することで、興味の度合いの変化を抽出している。
特開２０００−０６６７８９号公報 特開平１０−１４３１８７号公報 若井祐介、鷲見和彦、松山隆司、"画像を用いた人の選択行動の興味度合推定"、ＶｉＥＷ（Ｖｉｒｓｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｗｏｒｋｓｈｏｐ）２００５、２００５年１２月
しかしながら、上記特許文献１の表示装置は、ユーザの機器への直接的な入力操作が前提であるため、機器と直接的な操作を行うことなく、間接的な操作を行う場合には適用が困難であるという課題を有している。
また、上記特許文献２の作業支援システムでは、各々の操作情報を個別に取得して逐次理想値と比較することが前提であり、データベースが保有できる特定の操作についてのみ有効である。また、ユーザが戸惑っているタイミングに提示されるアドバイスが適切なものであるか否かは不明のままであるという課題を有している。
さらに、上記非特許文献１の研究では、複数の対象が前提となっており、単一の作業対象に適応することができない。また、カメラで計測された顔の大きさを使用しているために、カメラとユーザとの距離が一定となる作業にしか適用することができないため、汎用性に劣るという課題を有している。
本発明は、上記の問題を解決するためになされたもので、作業中のユーザに対して適切なアドバイスを提示することができる認識装置、認識方法及び認識プログラムを提供することを目的とするものである。
本発明の一局面に係る認識装置は、作業を行っているユーザへの作業支援のためのアドバイスデータを記憶するアドバイスデータ記憶部と、前記アドバイスデータ記憶部から前記作業に対するアドバイスデータを選択するアドバイス選択部と、前記アドバイス選択部によって選択された前記アドバイスデータをユーザに提示するアドバイス提示部と、前記アドバイス提示部によって提示された前記アドバイスデータに対するユーザの反応を認識するユーザ状況認識部と、前記ユーザ状況認識部によって認識されたユーザの反応に基づいて、前記アドバイス提示部によって提示された前記アドバイスデータにユーザがどれだけ依存しているかを表す依存度を推定するユーザ依存度推定部とを備え、前記アドバイス選択部は、前記ユーザ依存度推定部によって推定された前記依存度に応じたアドバイスデータを前記アドバイスデータ記憶部から選択する。
本発明の他の局面に係る認識方法は、作業を行っているユーザへの作業支援のためのアドバイスデータを記憶するアドバイス記憶部から前記作業に対するアドバイスデータを選択するアドバイス選択ステップと、前記アドバイス選択ステップにおいて選択された前記アドバイスデータをユーザに提示するアドバイス提示ステップと、前記アドバイス提示ステップにおいて提示された前記アドバイスデータに対するユーザの反応を認識するユーザ状況認識ステップと、前記ユーザ状況認識ステップにおいて認識されたユーザの反応に基づいて、前記アドバイス提示ステップにおいて提示された前記アドバイスデータにユーザがどれだけ依存しているかを表す依存度を推定するユーザ依存度推定ステップとを含み、前記アドバイス選択ステップは、前記ユーザ依存度推定部によって推定された前記依存度に応じたアドバイスデータを前記アドバイスデータ記憶部から選択する。
本発明の他の局面に係る認識プログラムは、作業を行っているユーザへの作業支援のためのアドバイスデータを記憶するアドバイスデータ記憶部と、前記アドバイスデータ記憶部から前記作業に対するアドバイスデータを選択するアドバイス選択部と、前記アドバイス選択部によって選択された前記アドバイスデータをユーザに提示するアドバイス提示部と、前記アドバイス提示部によって提示された前記アドバイスデータに対するユーザの反応を認識するユーザ状況認識部と、前記ユーザ状況認識部によって認識されたユーザの反応に基づいて、前記アドバイス提示部によって提示された前記アドバイスデータにユーザがどれだけ依存しているかを表す依存度を推定するユーザ依存度推定部としてコンピュータを機能させ、前記アドバイス選択部は、前記ユーザ依存度推定部によって推定された前記依存度に応じたアドバイスデータを前記アドバイスデータ記憶部から選択する。
本発明の他の局面に係る認識プログラムを記録したコンピュータ読み取り可能な記録媒体は、作業を行っているユーザへの作業支援のためのアドバイスデータを記憶するアドバイスデータ記憶部と、前記アドバイスデータ記憶部から前記作業に対するアドバイスデータを選択するアドバイス選択部と、前記アドバイス選択部によって選択された前記アドバイスデータをユーザに提示するアドバイス提示部と、前記アドバイス提示部によって提示された前記アドバイスデータに対するユーザの反応を認識するユーザ状況認識部と、前記ユーザ状況認識部によって認識されたユーザの反応に基づいて、前記アドバイス提示部によって提示された前記アドバイスデータにユーザがどれだけ依存しているかを表す依存度を推定するユーザ依存度推定部としてコンピュータを機能させ、前記アドバイス選択部は、前記ユーザ依存度推定部によって推定された前記依存度に応じたアドバイスデータを前記アドバイスデータ記憶部から選択する認識プログラムを記録している。
これらの構成によれば、現在提示されているアドバイスデータにユーザがどれだけ依存しているかを表す依存度が推定され、推定された依存度に応じたアドバイスデータがアドバイスデータ記憶部から選択されるので、作業中のユーザに対して適切なアドバイスを提示することができる。
また、上記の認識装置において、前記ユーザ状況認識部は、前記アドバイス提示部によって提示された前記アドバイスデータに対するユーザの身体反応の時間変化を認識し、前記ユーザ依存度推定部は、前記ユーザ状況認識部によって認識されたユーザの身体反応の時間変化に基づいて、前記依存度を推定することが好ましい。
この構成によれば、提示されるアドバイスデータに対するユーザの身体反応の時間変化に基づいて、ユーザが現在提示されているアドバイスデータにどれだけ依存しているかを推定することができる。
また、上記の認識装置において、前記ユーザ状況認識部は、ユーザの顔の動き及び視線の動きのうちの少なくとも一方を認識することが好ましい。この構成によれば、ユーザの顔の動き及び視線の動きのうちの少なくとも一方が認識されるので、ユーザの顔の動き及び視線の動きのうちの少なくとも一方に基づいて、現在提示されているアドバイスデータへのユーザの依存度を推定することができる。
また、上記の認識装置において、ユーザを撮影するカメラと、前記カメラと同一方向に配置される表示部とをさらに備え、前記アドバイス提示部は、前記アドバイス選択部によって選択された前記アドバイスデータを前記表示部に表示し、前記ユーザ状況認識部は、前記カメラによって撮影された画像に基づいてユーザの顔の動きを認識し、ユーザの顔が作業対象を正視した状態から前記表示部に向かって所定の角度傾いた時間を積算し、前記カメラによって撮影された画像に基づいてユーザの視線の動きを認識し、ユーザの視線が前記表示部に略一致した時間が所定時間未満である回数を積算し、前記ユーザ依存度推定部は、前記ユーザ状況認識部によって積算された前記時間及び前記回数に基づいて、現在提示されているアドバイスデータに対するユーザの依存度が増加しているか低下しているかを推定することが好ましい。
この構成によれば、選択されたアドバイスデータが表示部に表示される。そして、カメラによって撮影された画像に基づいてユーザの顔の動きが認識され、ユーザの顔が作業対象を正視した状態から表示部に向かって所定の角度傾いた時間が積算される。また、カメラによって撮影された画像に基づいてユーザの視線の動きが認識され、ユーザの視線が表示部に略一致した時間が所定時間未満である回数が積算される。続いて、積算された時間及び回数に基づいて、現在提示されているアドバイスデータに対するユーザの依存度が増加しているか低下しているかが推定される。
したがって、ユーザの顔が作業対象を正視した状態から表示部に向かって所定の角度傾いた時間の積算値と、ユーザの視線が表示部に略一致した時間が所定時間未満である回数の積算値とに基づいて、現在提示されているアドバイスデータに対するユーザの依存度が増加しているか低下しているかを容易に推定することができる。
また、上記の認識装置において、前記アドバイスデータ記憶部は、前記作業に対するユーザの熟練度に対応付けた複数のアドバイスデータを記憶し、前記アドバイス選択部は、前記ユーザ依存度推定部によって現在提示されているアドバイスデータに対するユーザの依存度が低下していると推定された場合、現在提示されているアドバイスデータの熟練度よりも高い熟練度に対応付けられているアドバイスデータを前記アドバイスデータ記憶部から選択することが好ましい。
この構成によれば、アドバイスデータ記憶部には、作業に対するユーザの熟練度に対応付けた複数のアドバイスデータが記憶されている。そして、現在提示されているアドバイスデータに対するユーザの依存度が低下していると推定された場合、現在提示されているアドバイスデータの熟練度よりも高い熟練度に対応付けられているアドバイスデータがアドバイスデータ記憶部から選択される。
したがって、現在提示されているアドバイスデータに対するユーザの依存度が低下した場合であっても、現在提示されているアドバイスデータの熟練度よりも高い熟練度に対応付けられている新たなアドバイスデータが提示されるので、アドバイスデータに対する依存度を増加させることができる。
また、上記の認識装置において、前記ユーザ状況認識部は、前記カメラによって撮影された画像に基づいてユーザの顔の動きを認識し、ユーザの顔が前記表示部を正視した第１の時間を積算し、ユーザの顔が作業対象を正視する方向とユーザの顔が前記表示部を正視する方向とがなす角度よりも小さい角度で作業対象を正視した状態から前記表示部に向かって傾いた第２の時間を積算し、前記カメラによって撮影された画像に基づいてユーザの視線の動きを認識し、ユーザの視線が前記表示部に略一致した時間が所定時間未満である回数を積算し、前記ユーザ依存度推定部は、今回所定期間内において積算した前記第１の時間が前回所定期間内において積算した前記第１の時間よりも増加した場合、ユーザの依存度が増加したと推定し、今回所定期間内において積算した前記第１の時間が前回所定期間内において積算した前記第１の時間よりも減少し、今回所定期間内において積算した前記第２の時間が前回所定期間内において積算した前記第２の時間よりも増加した場合、ユーザの依存度が第１の段階に低下したと推定し、今回所定期間内において積算した前記第１の時間が前回所定期間内において積算した前記第１の時間よりも減少し、今回所定期間内において積算した前記第２の時間が前回所定期間内において積算した前記第２の時間よりも減少し、今回所定期間内において積算した前記回数が前回所定期間内において積算した前記回数よりも増加した場合、ユーザの依存度が前記第１の段階よりも低い第２の段階に低下したと推定し、前回所定期間内において積算した前記回数が前々回所定期間内において積算した前記回数よりも増加しており、今回所定期間内において積算した前記回数が前回所定期間内において積算した前記回数よりも減少した場合、ユーザの依存度が前記第２の段階よりも低い第３の段階に低下したと推定することが好ましい。
この構成によれば、カメラによって撮影された画像に基づいてユーザの顔の動きが認識され、ユーザの顔が表示部を正視した第１の時間が積算される。さらに、ユーザの顔が作業対象を正視する方向とユーザの顔が表示部を正視する方向とがなす角度よりも小さい角度で作業対象を正視した状態から表示部に向かって傾いた第２の時間が積算される。また、カメラによって撮影された画像に基づいてユーザの視線の動きが認識され、ユーザの視線が表示部に略一致した時間が所定時間未満である回数が積算される。そして、今回所定期間内において積算した第１の時間が前回所定期間内において積算した第１の時間よりも増加した場合、ユーザの依存度が増加したと推定される。また、今回所定期間内において積算した第１の時間が前回所定期間内において積算した第１の時間よりも減少し、今回所定期間内において積算した第２の時間が前回所定期間内において積算した第２の時間よりも増加した場合、ユーザの依存度が第１の段階に低下したと推定される。さらに、今回所定期間内において積算した第１の時間が前回所定期間内において積算した第１の時間よりも減少し、今回所定期間内において積算した第２の時間が前回所定期間内において積算した第２の時間よりも減少し、今回所定期間内において積算した回数が前回所定期間内において積算した回数よりも増加した場合、ユーザの依存度が第１の段階よりも低い第２の段階に低下したと推定される。さらにまた、前回所定期間内において積算した回数が前々回所定期間内において積算した回数よりも増加しており、今回所定期間内において積算した回数が前回所定期間内において積算した回数よりも減少している場合、ユーザの依存度が第２の段階よりも低い第３の段階に低下したと推定される。
したがって、ユーザの顔が表示部を正視した第１の時間の積算値と、ユーザの顔が作業対象を正視する方向とユーザの顔が表示部を正視する方向とがなす角度よりも小さい角度で作業対象を正視した状態から表示部に向かって傾いた第２の時間の積算値と、ユーザの視線が表示部に略一致した時間が所定時間未満である回数の積算値とに基づいて、ユーザの段階的な依存度を推定することができる。
また、上記の認識装置において、前記アドバイスデータ記憶部は、前記第１の段階、前記第２の段階及び前記第３の段階のそれぞれの段階に応じたアドバイスデータを記憶し、前記アドバイス選択部は、前記ユーザ依存度推定部によってユーザの依存度が第１の段階に低下したと推定された場合、前記第１の段階に応じたアドバイスデータを前記アドバイスデータ記憶部から選択し、前記ユーザ依存度推定部によってユーザの依存度が第２の段階に低下したと推定された場合、前記第２の段階に応じたアドバイスデータを前記アドバイスデータ記憶部から選択し、前記ユーザ依存度推定部によってユーザの依存度が第３の段階に低下したと推定された場合、前記第３の段階に応じたアドバイスデータを前記アドバイスデータ記憶部から選択することが好ましい。
この構成によれば、アドバイスデータ記憶部には、第１の段階、第２の段階及び第３の段階のそれぞれの段階に応じたアドバイスデータが記憶されている。そして、ユーザの依存度が第１の段階に低下したと推定された場合、第１の段階に応じたアドバイスデータがアドバイスデータ記憶部から選択される。また、ユーザの依存度が第２の段階に低下したと推定された場合、第２の段階に応じたアドバイスデータがアドバイスデータ記憶部から選択される。さらに、ユーザの依存度が第３の段階に低下したと推定された場合、第３の段階に応じたアドバイスデータがアドバイスデータ記憶部から選択される。
したがって、現在提示されているアドバイスデータに対する依存度が低下したとしても、ユーザの段階的な依存度に応じた新たなアドバイスデータが提示されるので、アドバイスデータに対する依存度を増加させることができる。
また、上記の認識装置において、前記ユーザ状況認識部は、前記カメラによって撮影された画像に基づいてユーザの視線の動きを認識し、ユーザの視線が前記表示部に略一致した時間が１．５秒以下である回数を積算することが好ましい。
この構成によれば、ユーザの視線が表示部に略一致した時間が１．５秒以下である回数を積算することにより、ユーザが表示部に表示されているアドバイスデータを確認のため僅かの時間だけ見た回数を積算することができる。また、この積算値を用いてユーザの依存度を推定することができる。
なお、視線が一定領域に留まっている時間が１．２秒未満の場合、強い興味が発生しているかどうかを確認することができないと言われている。そのため、ユーザの視線が表示部に略一致した時間が１．２秒未満である回数を積算することがより好ましい。これにより、ユーザが表示部に表示されているアドバイスデータを確認のため僅かの時間だけ見た回数を積算することができる。
また、上記の認識装置において、複数の作業内容の中からアドバイスを所望する作業内容の選択を受け付ける作業内容受付部をさらに備え、前記アドバイス選択部は、前記作業内容受付部によって受け付けられた作業内容に応じたアドバイスデータを前記アドバイスデータ記憶部から選択することが好ましい。
この構成によれば、複数の作業内容の中からアドバイスを所望する作業内容の選択が受け付けられる。そして、受け付けられた作業内容に応じたアドバイスデータがアドバイスデータ記憶部から選択される。したがって、作業内容に応じたアドバイスデータをユーザに提示することができる。
また、上記の認識装置において、前記アドバイスデータ記憶部は、ユーザの調理作業を支援するためのアドバイスデータを記憶することが好ましい。この構成によれば、ユーザの調理作業を支援するためのアドバイスデータが記憶されているので、調理作業を支援するためのアドバイスをユーザに提供することができる。
また、上記の認識装置において、前記アドバイスデータ記憶部は、ユーザの自動車の運転作業を支援するためのアドバイスデータを記憶することが好ましい。この構成によれば、ユーザの自動車の運転作業を支援するためのアドバイスデータが記憶されているので、自動車の運転作業を支援するためのアドバイスをユーザに提供することができる。
本発明によれば、現在提示されているアドバイスデータにユーザがどれだけ依存しているかを表す依存度が推定され、推定された依存度に応じたアドバイスデータがアドバイスデータ記憶部から選択されるので、作業中のユーザに対して適切なアドバイスを提示することができる。
以下添付図面を参照しながら、本発明の実施の形態について説明する。尚、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。
図１は、本実施の形態における作業支援装置の構成を示すブロック図である。図１に示す作業支援装置（認識装置）１０は、制御部１１、入力部１２、ディスプレイ１３、スピーカ１４、カメラ１５及び記録媒体駆動部１６を備える。なお、本実施の形態では、主に調理作業を行っているユーザへの作業支援について説明するが、本発明は特にこれに限定されず、例えば、自動車の運転作業を行っているユーザへの作業支援にも適用可能である。
制御部１１は、例えばＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）及びＲＯＭ（リードオンリメモリ）等で構成される。入力部１２は、ユーザが種々のデータ及び操作指令等を入力するために使用される。ディスプレイ１３は、アドバイスの提供が可能な複数のメニューを表示する。また、ディスプレイ１３は、ユーザに提供するアドバイスデータを表示する。スピーカ１４は、ユーザに提供するアドバイスデータを音声出力する。なお、本実施の形態では、入力部１２及びディスプレイ１３を個別に設けているが、本発明は特にこれに限定されず、入力部１２及びディスプレイ１３をタッチパネル等で構成してもよい。
カメラ１５は、ユーザの顔が作業対象を正視する方向から所定の角度有する位置に設けられており、ユーザを撮影する。すなわち、カメラ１５は、例えばＣＣＤエリアセンサで構成され、人間の顔を含む画像を所定のフレームレートで取得する。なお、ディスプレイ１３及びスピーカ１４は、カメラ１５と同一方向に配置される。
記録媒体駆動部１６は、例えばＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ又はフレキシブルディスクドライブ等から構成される。なお、作業支援プログラム（認識プログラム）を、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ又はフレキシブルディスク等のコンピュータ読み取り可能な記録媒体１７に記録し、記録媒体駆動部１６により記録媒体１７から作業支援プログラムを読み出して外部記憶装置（不図示）にインストールして実行するようにしてもよい。また、作業支援装置１０が通信装置等を備え、作業支援プログラムが通信ネットワークを介して接続された他のコンピュータに記憶されている場合、当該コンピュータからネットワークを介して作業支援プログラムをダウンロードして実行するようにしてもよい。
ここで、制御部１１の具体的な構成について説明する。制御部１１は、メニューデータベース１、メニュー選択受付部２、アドバイスデータベース３、アドバイス選択部４、アドバイス提示部５、ユーザ状況認識部６、積算値記憶部７及びユーザ依存度推定部８を備える。
メニューデータベース１は、ユーザに対してアドバイス可能な複数のメニューを記憶する。調理作業の場合、メニューは作業内容を表し、より具体的には料理名を表す。メニュー選択受付部２は、複数のメニューの中からユーザがアドバイスを所望するメニューの選択を受け付ける。すなわち、メニュー選択受付部２は、メニューデータベース１に記憶されている複数のメニューをディスプレイ１３に表示させ、複数のメニューの中から１のメニューの選択を入力部１２により受け付ける。
アドバイスデータベース３は、作業を行っているユーザへの作業支援のために有効なアドバイスデータを記憶しており、視覚アドバイス又は聴覚アドバイスとして、動画、音声、静止画又は文字を含むコンテンツを記憶している。また、アドバイスデータには属性が付与されており、本実施の形態では作業に対する熟練度（スキルレベル）に関する分類が可能である。すなわち、同一メニューのアドバイスであっても、スキルレベルに応じて複数のアドバイスデータが記憶されている。
なお、本実施の形態では、アドバイスデータベース３は、ユーザの調理作業を支援するためのアドバイスデータを記憶しているが、本発明は特にこれに限定されず、自動車の運転作業を支援する場合、アドバイスデータベース３は、ユーザの自動車の運転作業を支援するためのアドバイスデータを記憶する。
アドバイス選択部４は、アドバイスデータベース３から作業に対するアドバイスデータを選択する。アドバイス選択部４は、メニュー選択受付部２によって受け付けられたメニューに応じたアドバイスデータをアドバイスデータベース３から選択する。なお、アドバイス選択部４によるアドバイスデータの選択の基準については後述する。
アドバイス提示部５は、アドバイス選択部４によって選択されたアドバイスデータをユーザに提示する。なお、アドバイスデータの提示方法は、アドバイスに対するユーザの依存度に起因するが、ディスプレイ１３及びスピーカ１４等を使い分けることになる。
ユーザ状況認識部６は、アドバイス提示部５によって提示されたアドバイスデータに対するユーザの反応を認識する。すなわち、ユーザ状況認識部６は、アドバイス提示部５によって提示されたアドバイスデータに対するユーザの身体反応の時間変化を認識する。
ユーザの状況を認識するために、本実施の形態ではカメラ１５を使用している。すなわち、ユーザ状況認識部６は、カメラ１５によって撮影された画像に基づいてユーザの顔の動きを認識し、ユーザの顔が作業対象を正視した状態からディスプレイ１３に向かって所定の角度傾いた時間を積算する。
より具体的に、ユーザ状況認識部６は、カメラ１５によって撮影された画像に基づいてユーザの顔の動きを認識し、ユーザの顔がディスプレイ１３を正視した第１の時間を積算し、ユーザの顔が作業対象を正視する方向とユーザの顔がディスプレイ１３を正視する方向とがなす角度よりも小さい角度で作業対象を正視した状態からディスプレイ１３に向かって傾いた第２の時間を積算する。また、ユーザ状況認識部６は、カメラ１５によって撮影された画像に基づいてユーザの視線の動きを認識し、ユーザの視線がディスプレイ１３に一致した時間が所定時間未満である回数を積算する。
なお、本実施の形態では、ユーザの視線がディスプレイ１３に完全に一致したか否かを認識するだけでなく、ユーザの視線がディスプレイ１３に略一致したか否かを認識してもよく、ユーザの視線がディスプレイ１３に略一致した時間が所定時間未満である回数を積算してもよい。
積算値記憶部７は、例えばＥＥＰＲＯＭ等の電気的に書き換え可能な不揮発性のメモリで構成され、ユーザの顔がディスプレイ１３を正視した第１の時間の積算値、ユーザの顔が作業対象を正視する方向とユーザの顔がディスプレイ１３を正視する方向とがなす角度よりも小さい角度で作業対象を正視した状態からディスプレイ１３に向かって傾いた第２の時間の積算値、及びユーザの視線がディスプレイ１３に一致した時間が所定時間未満である回数の積算値を記憶する。
ユーザ依存度推定部８は、ユーザ状況認識部６によって認識されたユーザの反応に基づいて、ユーザのアドバイスデータへの依存度を推定する。すなわち、ユーザ依存度推定部８は、ユーザ状況認識部６によって積算された時間及び回数に基づいて、現在提示されているアドバイスデータに対するユーザの依存度が増加しているか低下しているかを推定する。なお、依存度とは、ユーザが本作業支援装置をどれだけ使用しているかを表している。
より具体的に、ユーザ依存度推定部８は、今回所定期間内において積算した第１の時間が前回所定期間内において積算した第１の時間よりも増加した場合、ユーザの依存度が増加したと推定する。また、ユーザ依存度推定部８は、今回所定期間内において積算した第１の時間が前回所定期間内において積算した第１の時間よりも減少し、今回所定期間内において積算した第２の時間が前回所定期間内において積算した第２の時間よりも増加した場合、ユーザの依存度が第１の段階に低下したと推定する。
さらに、ユーザ依存度推定部８は、今回所定期間内において積算した第１の時間が前回所定期間内において積算した第１の時間よりも減少し、今回所定期間内において積算した第２の時間が前回所定期間内において積算した第２の時間よりも減少し、今回所定期間内において積算した回数が前回所定期間内において積算した回数よりも増加した場合、ユーザの依存度が第１の段階よりも低い第２の段階に低下したと推定する。
さらにまた、ユーザ依存度推定部８は、前回所定期間内において積算した回数が前々回所定期間内において積算した回数よりも増加しており、今回所定期間内において積算した回数が前回所定期間内において積算した回数よりも減少した場合、ユーザの依存度が第２の段階よりも低い第３の段階に低下したと推定する。
また、アドバイス選択部４は、ユーザ依存度推定部８によって推定された依存度に応じたアドバイスデータをアドバイスデータベース３から選択する。例えば、アドバイス選択部４は、依存度の高低にスキルレベルの低高を対応させてアドバイスデータを選択する。つまり、提示したアドバイスデータへの依存度が高いと推定された場合、作業に対するユーザのスキルが低いと一般的に考えられる。したがって、依存度が高いと推定された場合、現在提供しているアドバイスデータよりスキルレベルの低いアドバイスデータ又は現在提供しているアドバイスデータが適切であると考えられる。逆に、依存度が低いと推定された場合、ユーザのスキルが高いと一般的に考えられる。したがって、依存度が低いと推定された場合、現在提供しているアドバイスデータよりスキルレベルの高いアドバイスデータが適切であると考えられる。
より具体的に、アドバイスデータベース３は、ユーザ依存度推定部８によって推定された第１の段階、第２の段階及び第３の段階のそれぞれの段階に応じたアドバイスデータを記憶する。アドバイス選択部４は、ユーザ依存度推定部８によってユーザの依存度が第１の段階に低下したと推定された場合、第１の段階に応じたアドバイスデータをアドバイスデータベース３から選択する。また、アドバイス選択部４は、ユーザ依存度推定部８によってユーザの依存度が第２の段階に低下したと推定された場合、第２の段階に応じたアドバイスデータをアドバイスデータベース３から選択する。さらに、アドバイス選択部４は、ユーザ依存度推定部８によってユーザの依存度が第３の段階に低下したと推定された場合、第３の段階に応じたアドバイスデータをアドバイスデータベース３から選択する。
次に、図２を用いて本実施の形態における作業支援装置１０の各構成要素の配置について説明する。図２は、本実施の形態における作業支援装置の各構成要素の配置について説明するための図である。
本実施の形態では、ユーザ２１は、作業対象２０に対面して作業を行う。作業としては調理作業を想定している。作業対象２０の横に並んでディスプレイ１３を設置している。また、本実施の形態においてディスプレイ１３は、ユーザ２１の顔が作業対象２０を正視する方向２２と、ユーザ２１の顔がディスプレイ１３を正視する方向２３とがなす角度が３０度となる位置に配置されている。さらに、カメラ１５は、ディスプレイ１３の上部に接して設置されている。
この構成において、ユーザ２１は通常作業を遂行する際には、作業対象２０の方向に頭部及び視線を向けて作業を継続している。そして、所定のタイミングでディスプレイ１３によって、調理作業を支援すべきレシピ情報及び調理機器の情報を含むアドバイスデータが提示される。そのアドバイスデータは、動画及び文字情報がベースであるが、ユーザに注意を喚起するため、例えば文字情報を音声で読み上げる音声情報を含んでもよい。その結果、ユーザ２１は作業中であっても、ディスプレイ１３の方向を見る。ユーザがディスプレイ１３を見るタイミングは、アドバイスデータを提示するタイミングを含む。カメラ１５は、継続的にユーザ２１の頭部及び視線の動きを撮影している。
次に、図３を用いて、ユーザの依存度を推定するユーザ依存度推定部８の動作について説明する。図３は、ユーザ依存度推定部８の動作について説明するための図である。図３における棒グラフの左縦軸は、ユーザの顔（頭部）の動きを３０度と１５度以下との二種類に分類して各角度のアドバイス提示時における時間を積算した積算値を表している。右縦軸は、同じくアドバイス提示時の視線の動きを、１．２秒以上１．５秒以下と、１．２秒未満との二種類に分類して各時間の回数を積算した積算値を表している。横軸は、調理作業を行った回数を表しており、本実施の形態では、同一ユーザに対して３回の同一調理作業を実施した結果を表している。なお、各調理作業に、２本の棒グラフがプロットされており、左の棒グラフが顔の動きを表し、右の棒グラフが視線の動きを表している。
図３について詳細な説明をする。まず、ユーザ状況認識部６は、頭部の動きをカメラ１５で撮影される顔の向きで判断する。カメラ１５はユーザ２１の斜め前方から撮影している。ユーザ２１が作業対象２０に向いている場合、ユーザ状況認識部６は、カメラ１５自身の作業対象２０との相対位置に基づいて、ユーザ２１がどちらを向いているかを特定することが可能である。また、ユーザ２１がディスプレイ１３の方向を向いているか否かも、カメラ１５自身がディスプレイ１３の上方に設置されていることから、判断可能である。また、人の顔の向きを撮影された画像から推定する方法は数多く開発されており、角度θが１５度以下であるか否か程度の判断は容易であり、リアルタイム処理も可能である。
なお、本実験では、顔の動きの角度θが１５度より大きく３０度以下である場合、ユーザはディスプレイ１３の画面を直視している状況であると判断している。
一方、視線の動きは、顔の動きと同時に撮影される。すなわち、顔の動きの認識に使用された画像データが視線の動きの認識にも使用される。視線の動きに関しても最近は数多くの方法や装置が開発されており、１０分の１秒オーダーでの計測も容易である。なお、ここで、視線の状態は注目対象模索状態と詳細情報獲得状態とに分類できる。前者は、人がある対象を見つけ、ほぼ一定の領域に視線が１．２秒以上１．５秒以下滞留していることが特徴である。逆に、後者は、視線が一定領域に留まっていても、その時間が１．２秒より短ければ、強い興味が発生しているかどうかを確認することができないと言われている。そこで、本実験でも、１．２秒未満の時間でディスプレイ１３を見た場合と、１．２秒以上１．５秒以下の時間でディスプレイ１３を見た場合とを区別して、それぞれの回数を積算した。
なお、本実施の形態では、ユーザがディスプレイ１３を注視した時間が１．２秒未満である場合と、１．２秒以上１．５秒以下である場合との二種類に区別しているが、最終的には前者の１．２秒未満のみの視線の動き時間に基づいて依存度評価を行っている。この１．２秒という値を使用したのは、従来技術における“興味の有無”ではなく、単に“確認のため僅かの時間だけ見ている”といった時間帯を利用したかったことに起因している。
つまり、この値は、限定的なものではなく、アプリケーションとしてのアドバイス画面のコンテンツの量や質にも依存するため、多少は前後する値である。なお、１．２秒でなく１．５秒を使用しても、同様な効果が得られる。そのことは、１．２秒と１．５秒とでは変化が小さいことからも推定できる。実際に１．０秒未満での変化を試行したが、同様な傾向が得られている。つまり、アドバイス画面によっては１．２秒より小さい値、或いは、１．５秒よりも大きな値を用いてもよく、１．２秒を用いた場合と全く同様の効果が得られる。
顔（頭部）の動きと視線の動きとを使用して、アドバスデータへのユーザ２１の依存度が推定できる。図３において、３回の調理作業の結果を示しているが、すべて同じレシピ情報に対応する同じアドバイスデータを使用している。また、調理作業は、複数の調理工程で構成される。そのため、アドバイスデータベース３には、複数の調理工程に応じたアドバイスデータが記憶されている。アドバイスデータを更新するタイミングは、各調理工程の作業終了後で、次の調理工程の作業を開始する前であり、次の調理工程の作業内容の動画情報及び文字情報をアドバイスデータとして提示した。同時に、作業に専念しているユーザ２１にアドバイスデータが更新されたことを認識させる目的で、アドバイスデータの更新時にはその文字情報の一部を合成音声で再生した。なお、ここで、ユーザ２１は、調理経験はあるが、本レシピに関しては初心者であった。
１回目の調理作業は、ディスプレイ１３に表示されるアドバイス情報を参考に遂行された。特に、顔の動きが顕著で、角度θが３０度、つまりディスプレイ１３を注視してアドバイスデータを活用している様子が定量化されている。角度θが１５度以下の動きもあるが、この多くは、アドバイスデータが更新されていないにも係わらずアドバイスデータを期待して再度ディスプレイ１３を見て、ディスプレイ１３を気にしていることを表している。一方、視線の動きは、ディスプレイ１３に表示されたアドバイスデータを注視する時間が１．５秒以上であるため、棒グラフ上ではゼロ表示であった。
そして、２回目の調理作業では、ユーザ２１がレシピを習得したので、ディスプレイ１３を正視する頻度が急減し、代わりに、角度θが１５度以下となるアドバイスデータへの期待を表す動きの方が増加している。一方、視線の動きも、アドバイスデータの更新を伺うかのように、ディスプレイ１３に表示されたアドバイスデータを注視する時間が１．２秒以上１．５秒以下となる回数が現れてきている。
このように、２回目の調理作業では、顔の動きが１５度以下であり、視線の動きも１．２秒以上１．５秒以下である頻度が増加しており、アドバイスデータへの依存度が減少していると言える。後のユーザ２１へのヒアリング結果においても、１回目の調理作業ではアドバイスデータの動画だけでなく、文字情報も合成音声された部分以外も含めて全て活用したが、２回目の調理作業では、合成音声された文字情報部分のみ読んだが、アドバイスデータの内容が更新されたか否かを確認することが多かったようである。
３回目の調理作業では、顔の動きはほとんど無く、逆にアドバイスデータを注視する時間が１．２秒未満となる回数が急増した。これは、顔を動かすことなく視線だけディスプレイ１３に向けたユーザ２１の様子が定量化された結果であると言える。後のユーザ２１のヒアリング結果でも、合成音声が出るので、アドバイスデータの内容が前回と同じか否か気になったので、時々ディスプレイ１３を見てしまったとの回答が得られた。このように、３回目の調理作業では、アドバイスデータへの期待は継続しているが、実質のところアドバイスデータに依存していないと判断することができる。
なお、同じアドバイスデータを複数回提示した場合、図３の一点鎖線で示すように、アドバイスデータを注視する時間が１．２秒未満となる回数と、１．２秒以上１．５秒以下となる回数との合計は、作業回数が増加する毎に増加した後、減少すると推定される。これは、アドバイスデータの内容が前回と同じであることをユーザが学習してしまい、アドバイスデータに対する依存度が減少するためである。
次に、図４を用いてアドバイスデータの提示内容を変更することによる依存度の変化について説明する。図４は、アドバイスデータの内容を途中で変更した場合のユーザの顔の動き及び視線の動きの変化を示す図である。ここでは、依存度の低下に対応して、アドバイスデータの内容を更新することにより、ユーザ２１のアドバイスデータに対する依存度を向上させることを目的とした。つまり、本実施の形態では、単に、依存度を推定するだけではなく、実用化の観点から、低下した依存度を向上させてアドバイスデータを継続的に活用してもらうことが狙いである。
図４では２回目の調理作業結果を踏まえて、２回目と同じアドバイスデータの内容で３回目の調理作業を実施せずに、アドバイスデータの内容を更新して３回目の調理作業を実施した。更新した内容は調理工程毎で異なるが、動画情報及び文字情報に関してスキルレベルを向上させている。なお、表示する文字情報のうち、アドバイスデータの提示のタイミングをユーザ２１に注意喚起する目的のために合成音声化する文字情報は不変である。
図４では、３回目の調理作業でアドバイスデータの内容を更新した場合の１回目から５回目までの調理作業中における顔の動き及び視線の動きを棒グラフで示している。新しくアドバイスデータの内容が更新された結果、ユーザ２１のアドバイスデータへの依存度が３回目で大幅に低下していた状態が改善され、５回目までアドバイスデータへの依存度が延長されることが示された。
なお、本実施の形態では、作業対象２０に正対してユーザ２１が存在するが、調理に限らず、現実の作業では、ユーザ２１が移動することが多い。その場合、ユーザ２１の顔が作業対象を正視する方向とユーザ２１の顔の正面が向いている方向とがなす角度θが３０度で一定であるとは限らない。しかしながら、上記と同じ手法により依存度の推定は可能であり、角度θは可変でもよい。
そのためには、ディスプレイ１３上に設置されたカメラ１５の向きも、ユーザ２１を追従する必要がある。或いは、広角のカメラレンズを使用して、ユーザ２１の動きに係わらず撮影可能なものとする。
また、アドバイスデータベース３が記憶するアドバイスデータの属性にはスキルレベルだけでなく、トータル調理所要時間又は健康食材使用率等も含まれる。さらに、ユーザ２１の属性（年齢）に応じた動画の表示スピード、文字の大きさ又は文章の表現等もアドバイスデータの属性となり得る。例えば、アドバイスデータベース３は、高齢者又は子供向けのアドバイスデータとして、動画の表示スピードを遅くしたり、文字の大きさを大きくしたり、文章の表現を平易にしたりしたアドバイスデータを記憶する。
アドバイスデータベース３は、作業の種類及び属性に応じたアドバイスデータを記憶する。ここで、調理作業の種類には、メニュー（レシピ）、和食、洋食、朝食、昼食、夕食、ダイエット食、栄養管理食及びデザートなどが含まれる。また、運転作業の種類には、経路表示、走行距離表示、渋滞情報表示、景色のよい場所の表示、給油場所表示、及びレストラン表示などが含まれる。さらに、調理作業の属性には、スキルレベル（熟練度）、緊急度、味の好み（甘／辛）及び栄養バランスなどが含まれる。運転作業の属性には、スキルレベル（熟練度）、近道、安全度、省エネルギー度、景観及び便利度などが含まれる。
なお、本実施の形態においてユーザ依存度推定部８は、顔の動きのみを使用して依存度を判定してもよい。具体的に、ユーザ依存度推定部８は、ユーザの顔が作業対象を正視した状態からディスプレイ１３に向かって傾いた時間の積算値が減少した場合、すなわち、角度θが３０度となる時間及び角度θが１５度以下となる時間の積算値が減少した場合、現在提示されているアドバイスデータに対する依存度が低下したと判定する。
また、本実施の形態においてユーザ依存度推定部８は、視線の動きのみを使用して依存度を判定してもよい。具体的に、ユーザ依存度推定部８は、ユーザの視線がディスプレイ１３に一致した時間が所定時間未満である回数の積算値が増加した場合、すなわち、ユーザの視線がディスプレイ１３に一致した時間が１．２秒未満及び１．２秒以上１．５秒以下となる回数が増加した場合、現在提示されているアドバイスデータに対する依存度が低下したと判定する。
さらに、本実施の形態においてユーザ依存度推定部８は、顔の動きと視線の動きとを両方使用して依存度を判定してもよい。具体的に、ユーザ依存度推定部８は、ユーザの顔が作業対象を正視した状態からディスプレイ１３に向かって傾いた時間の積算値が減少し、かつユーザの視線がディスプレイ１３に一致した時間が所定時間未満である回数の積算値が増加した場合に現在提示されているアドバイスデータに対する依存度が低下したと判定する。
なお、顔の動きのみを用いて依存度を判定した場合、視線の動きのみを用いて依存度を判定した場合、及び顔の動きと視線の動きとの両方を用いて依存度を判定した場合のいずれの場合も同様の効果が得られる。
また、ユーザ状況認識部６は、カメラ１５によって取得された撮影画像を解析し、ユーザが首をかしげた、ユーザが首を横に振った、又はユーザが無表情であることを認識してもよく、これらのユーザの状況が認識された場合、ユーザ依存度推定部８は、ユーザがアドバイスデータに依存しておらず、依存度が低下したと判断してもよい。或いは、ユーザ状況認識部６は、不図示のマイクによって取得された音声情報を解析し、ユーザの否定的な発話を認識してもよく、ユーザの否定的な発話が認識された場合、ユーザ依存度推定部８は、ユーザがアドバイスデータに依存しておらず、依存度が低下したと判断してもよい。
さらに、ユーザ状況認識部６は、カメラ１５によって取得された撮影画像を解析し、作業中に機器を操作するユーザの動作情報を解析し、アドバイス通りに機器を操作しているか否かを判断してもよい。アドバイス通りに機器が操作されていると判断された場合、ユーザ依存度推定部８は、ユーザがアドバイスデータに依存しており、依存度が高いと判断してもよい。また、アドバイス通りに機器が操作されていないと判断された場合、ユーザ依存度推定部８は、ユーザがアドバイスデータに依存しておらず、依存度が低いと判断してもよい。
さらにまた、ユーザ状況認識部６は、作業中にユーザが操作した機器から当該機器の操作情報を取得し、取得した操作情報を解析し、アドバイス通りに機器が操作されているか否かを判断してもよい。アドバイス通りに機器が操作されていると判断された場合、ユーザ依存度推定部８は、ユーザがアドバイスデータに依存しており、依存度が高いと判断してもよい。また、アドバイス通りに機器が操作されていないと判断された場合、ユーザ依存度推定部８は、ユーザがアドバイスデータに依存しておらず、依存度が低いと判断してもよい。
しかしながら、これらの方法では、首をかしげるとか否定的な発話等の個人差の大きなしぐさや発話内容を判断する高度な技術が必要であり、アドバイス通りに機器が操作されているか否かを詳細に識別することも、カメラ１５の設置位置や設置台数等で課題が残る。これに対し、本実施の形態では、単にディスプレイ１３上に設置したカメラ１５のみでユーザ２１の状況を、アドバイスデータの提示時のみの撮影で認識できる点が、大きな特徴である。
続いて、本実施の形態における作業支援装置の詳細な動作について説明する。図５は、図１に示す作業支援装置の動作について説明するためのフローチャートである。
まず、ステップＳ１において、メニュー選択受付部２は、メニューデータベース１に予め記憶されている複数のメニューを読み出し、メニュー一覧画面を作成し、作成したメニュー一覧画面をディスプレイ１３に表示する。
次に、ステップＳ２において、メニュー選択受付部２は、複数のメニューの中から１のメニューの選択を受け付ける。ユーザは、ディスプレイ１３に表示されているメニュー一覧画面の中から、入力部１２を用いてアドバイスを所望するメニューを選択する。
次に、ステップＳ３において、アドバイス選択部４は、アドバイスデータ選択処理を実行する。なお、アドバイスデータ選択処理の詳細については後述する。アドバイス選択部４は、メニュー選択受付部２によって受け付けられたメニューに対応する所定のアドバイスデータをアドバイスデータベース３から選択する。
次に、ステップＳ４において、アドバイス提示部５は、アドバイス選択部４によって選択されたアドバイスデータを提示する。具体的に、アドバイス提示部５は、動画情報及び文字情報で構成されるアドバイス画面を表示するようディスプレイ１３を制御するとともに、音声情報を出力するようスピーカ１４を制御する。
ここで、アドバイス画面について説明する。図６は、アドバイス画面の一例を示す図である。アドバイス画面３１は、動画情報を表示するための画像表示領域３２と、文字情報を表示するための文字表示領域３３，３４とで構成される。画像表示領域３２は、アドバイス画面３１の中央に配置され、現在アドバイスを提示している調理工程の動画像を表示する。文字表示領域３３は、アドバイス画面３１の上部に配置され、現在アドバイスを提示している調理工程の大まかな内容を説明した文章を表示する。文字表示領域３４は、アドバイス画面３１の下部に配置され、現在アドバイスを提示している調理工程の詳細な内容を説明したアドバイス文章を表示する。
アドバイス画面３１は、調理工程に応じて複数存在する。アドバイス提示部５は、調理工程に応じて複数のアドバイス画面を順次切り換えて表示する。そして、アドバイス提示部５は、アドバイス画面を切り換えるタイミングで文字表示領域３３に表示される文章を音声出力する。これにより、ディスプレイ１３に表示されるアドバイス画面が切り替わったことをユーザに通知することができる。
文字表示領域３４には、現在アドバイスを提示している調理工程における基本的な情報、すなわち、熟練度の低いユーザにとって有益な情報が表示される。そのため、例えば、熟練度の低いユーザには、文字表示領域３４に文字情報を表示し、熟練度の高いユーザには、文字表示領域３４に文字情報を表示しないようにする。これにより、ユーザの熟練度に応じたアドバイスデータをユーザに提示することが可能となる。
なお、本実施の形態では、画像表示領域３２に動画像を表示しているが、本発明は特にこれに限定されず、静止画像を表示してもよい。また、アドバイス画面３１には、動画像又は静止画像のみを表示してもよく、また、文字のみを表示してもよい。
次に、ステップＳ５において、ユーザ状況認識部６は、ユーザ状況認識処理を実行する。ここで、ユーザ状況認識処理の詳細について説明する。図７は、図５のステップＳ５におけるユーザ状況認識処理について説明するためのフローチャートである。
まず、ステップＳ２０において、ユーザ状況認識部６は、カメラ１５によって取得された撮影画像データを取得する。次に、ステップＳ２１において、ユーザ状況認識部６は、取得した撮影画像データからユーザの顔の動きを認識する。具体的には、ユーザ状況認識部６は、ユーザの顔が作業対象を正視した状態からディスプレイ１３（カメラ１５）の方向に何度傾いているかを認識する。
次に、ステップＳ２２において、ユーザ状況認識部６は、ユーザの顔が作業対象を正視する方向と、ユーザの顔の正面が向いている方向とがなす角度θが１５度より大きく３０度以下であるか否かを判断する。角度θが１５度より大きく３０度以下であると判断された場合（ステップＳ２２でＹＥＳ）、ステップＳ２３において、ユーザ状況認識部６は、第１のタイマによる計時を開始する。第１のタイマは、ユーザの顔の角度θが１５度より大きく３０度以下である場合の時間（以下、第１の時間とする）を計測する。なお、既に第１のタイマによる第１の時間の計時が開始されている場合、継続して計時される。
なお、本実施の形態では、角度θが１５度より大きく３０度以下であるか否かを判断しているが、本発明は特にこれに限定されず、角度θが３０度であるか否かを判断してもよい。
一方、角度θが１５度より大きく３０度以下でないと判断された場合、すなわち角度θが１５度以下又は３０度より大きいと判断された場合（ステップＳ２２でＮＯ）、ステップＳ２４において、ユーザ状況認識部６は、第１のタイマによる計時を終了する。次に、ステップＳ２５において、ユーザ状況認識部６は、第１のタイマによって計時された第１の時間をＲＡＭに積算して記憶する。ＲＡＭは、ユーザの顔がディスプレイ１３の方向に１５度より大きく３０度以下の角度で傾いた時間を積算して記憶する。そして、ユーザ状況認識部６は、第１のタイマのタイマ値を０にする。
なお、ステップＳ２４及びステップＳ２５の処理は、第１のタイマによる計時が行われている場合に行われる処理である。すなわち、ステップＳ２４及びステップＳ２５の処理は、第１の時間の計測中に、ユーザの顔の角度θが１５度以下又は３０度より大きくなった場合に行われる。第１のタイマによる計時が行われていない場合は、ステップＳ２４及びステップＳ２５の処理は行われず、ステップＳ２６の処理へ移行する。
次に、ステップＳ２６において、ユーザ状況認識部６は、ユーザの顔が作業対象を正視する方向と、ユーザの顔の正面が向いている方向とがなす角度θが０度より大きく１５度以下であるか否かを判断する。角度θが０度より大きく１５度以下であると判断された場合（ステップＳ２６でＹＥＳ）、ステップＳ２７において、ユーザ状況認識部６は、第２のタイマによる計時を開始する。第２のタイマは、ユーザの顔の角度θが０度より大きく１５度以下である場合の時間（以下、第２の時間とする）を計測する。なお、既に第２のタイマによる第２の時間の計時が開始されている場合、継続して計時される。
一方、角度θが０度より大きく１５度以下でないと判断された場合（ステップＳ２６でＮＯ）、ステップＳ２８において、ユーザ状況認識部６は、第２のタイマによる計時を終了する。次に、ステップＳ２９において、ユーザ状況認識部６は、第２のタイマによって計時された第２の時間をＲＡＭに積算して記憶する。ＲＡＭは、ユーザの顔がディスプレイ１３の方向に０度より大きく１５度以下の角度で傾いた時間を積算して記憶する。そして、ユーザ状況認識部６は、第２のタイマのタイマ値を０にする。なお、第２の時間が積算して記憶されるＲＡＭの領域は、第１の時間が積算して記憶される領域とは異なる領域である。そのため、第１の時間の積算値と第２の時間の積算値とはそれぞれ個別に記憶される。
なお、ステップＳ２８及びステップＳ２９の処理は、第２のタイマによる計時が行われている場合に行われる処理である。すなわち、ステップＳ２８及びステップＳ２９の処理は、第２の時間の計測中に、ユーザの顔の角度θが０度以下又は３０度より大きくなった場合に行われる。第２のタイマによる計時が行われていない場合は、ステップＳ２８及びステップＳ２９の処理は行われず、ステップＳ３２の処理へ移行する。
次に、ステップＳ３０において、ユーザ状況認識部６は、第２のタイマによる計時を終了する。次に、ステップＳ３１において、ユーザ状況認識部６は、第２のタイマによって計時された第２の時間をＲＡＭに積算して記憶する。そして、ユーザ状況認識部６は、第２のタイマのタイマ値を０にする。
なお、ステップＳ３０及びステップＳ３１の処理は、第２のタイマによる計時が行われている場合に行われる処理である。すなわち、ステップＳ３０及びステップＳ３１の処理は、第２の時間の計測中に、ユーザの顔の角度θが１５度より大きく３０度以下となった場合に行われる。第２のタイマによる計時が行われていない場合は、ステップＳ３０及びステップＳ３１の処理は行われず、ステップＳ３２の処理へ移行する。
次に、ステップＳ３２において、ユーザ状況認識部６は、取得した撮影画像データからユーザの視線の動きを認識する。具体的には、ユーザ状況認識部６は、ユーザの視線がディスプレイ１３（カメラ１５）に一致したか否かを認識する。ユーザがディスプレイ１３を見ている場合、ユーザの視線がディスプレイ１３（カメラ１５）に一致することとなる。
次に、ステップＳ３３において、ユーザ状況認識部６は、ユーザの視線がディスプレイ１３に一致したか否かを判断する。ここで、ユーザの視線がディスプレイ１３に一致したと判断された場合（ステップＳ３３でＹＥＳ）、ステップＳ３４において、ユーザ状況認識部６は、第３のタイマによる計時を開始する。第３のタイマは、ユーザの視線がディスプレイ１３に一致している場合の時間（以下、第３の時間とする）を計測する。なお、既に第３のタイマによる第３の時間の計時が開始されている場合、継続して計時される。
一方、ユーザの視線がディスプレイ１３に一致していないと判断された場合（ステップＳ３３でＮＯ）、ステップＳ３５において、ユーザ状況認識部６は、第３のタイマによって計時された第３の時間が１．２秒未満であるか否かを判断する。ここで、第３の時間が１．２秒未満であると判断された場合（ステップＳ３５でＹＥＳ）、ステップＳ３６において、ユーザ状況認識部６は、ＲＡＭに記憶されている回数に１を積算する。ＲＡＭは、ユーザがディスプレイ１３を継続して見た時間が１．２秒未満である回数を積算して記憶する。なお、回数が積算して記憶されるＲＡＭの領域は、第１の時間及び第２の時間が積算して記憶される領域とは異なる領域である。そのため、第１の時間と第２の時間と回数とはそれぞれ個別に記憶される。
回数に１が積算された場合、又は第３の時間が１．２秒未満でないと判断された場合（ステップＳ３５でＮＯ）、ステップＳ３７において、ユーザ状況認識部６は、第３のタイマによる計時を終了し、第３のタイマのタイマ値を０にする。なお、第３のタイマによる計時が行われていない場合、すなわち、第３の時間が０である場合、ユーザ状況認識部６は、第３の時間が１．２秒未満でないと判断する。
なお、ステップＳ３７の処理は、第３のタイマによる計時が行われている場合に行われる処理である。すなわち、ステップＳ３７の処理は、第３の時間の計測中に、ユーザの視線がディスプレイ１３に一致しなくなった場合に行われる。第３のタイマによる計時が行われていない場合は、ステップＳ３７の処理は行われず、図５のステップＳ６の処理へ移行する。
続いて、図５のステップＳ６以降の処理について説明する。ステップＳ６において、ユーザ状況認識部６は、カメラ１５によって撮影された撮影画像データの取得を開始してから所定の期間が経過したか否かを判断する。本実施の形態では、制御部１１に内蔵されたタイマなどによって、例えば３分間といった予め定められた所定の期間が計測される。
なお、本実施の形態では、時間を計測することにより所定の期間を経過したか否かを判断しているが、本発明は特にこれに限定されない。例えば、作業工程毎にディスプレイ１３に表示されるアドバイス画面が切り替わるタイミングに基づいて所定の期間を経過したか否かを判断してもよい。すなわち、或るアドバイス画面が表示されてから次のアドバイス画面が表示されるまでの期間を所定の期間としてもよい。また、アドバイス画面が切り替わる回数に基づいて所定の期間を経過したか否かを判断してもよい。
ここで、所定の期間が経過していないと判断された場合（ステップＳ６でＮＯ）、ステップＳ５の処理へ戻る。一方、所定の期間が経過したと判断された場合（ステップＳ６でＹＥＳ）、ステップＳ７において、ユーザ状況認識部６は、ＲＡＭに記憶されている第１の時間の積算値、第２の時間の積算値及び回数の積算値を積算値記憶部７に記憶する。なお、積算値記憶部７は、少なくとも３回分の各積算値を記憶する。すなわち、積算値記憶部７は、前々回計測した各積算値と、前回計測した各積算値と、今回計測した各積算値とを少なくとも記憶している。
次に、ステップＳ８において、ユーザ依存度推定部８は、ユーザ状況認識部６によって認識されたユーザの反応に基づいて、ユーザのアドバイスデータへの依存度を推定するユーザ依存度推定処理を実行する。ここで、ユーザ依存度推定処理の詳細について説明する。
発明者らは、２０名の被験者に対して擬似的な調理作業を行わせ、調理作業中にアドバイスデータを提示し、ユーザの顔の動き及び視線の動きを認識する実験を行った。なお、本実験は、２０名の被験者全員に同一のアドバイスデータを提示した。さらに、２０名の被験者に対してアドバイスデータを提示しながら調理作業を行う実験を合計３回行った。この３回の実験では、それぞれ同一のアドバイスデータを提示した。図８は、２０名の被験者に対してアドバイスデータを提示しながら擬似的に調理作業を行い、ユーザの顔の動き及び視線の動きを認識した実験結果を示す図である。
さらに、発明者らは、８名の被験者に対して実際に調理作業を行わせ、調理作業中にアドバイスデータを提示し、ユーザの顔の動き及び視線の動きを認識する実験を合計３回行った。この３回の実験では、それぞれ同一のアドバイスデータを提示した。図９は、８名の被験者に対してアドバイスデータを提示しながら実際に調理作業を行い、ユーザの顔の動き及び視線の動きを認識した実験結果を示す図である。
なお、図８に示す擬似的な調理作業とは、食材や加熱処理等を行うことなく、調理工程に応じてテーブル上で調理器具を操作する調理作業のことである。そのため、１回の調理作業に要する時間は、平均して５分程度であった。これに対し、図９に示す実験では、被験者にハンバーグを調理してもらった。そのため、１回の調理作業に要する時間は、平均して３０分程度であった。
なお、図８及び図９において、横軸は実験回数を表している。また、図８及び図９において、縦軸は、顔の動き（秒）と視線の動き（回数）を表しており、顔の動きは、積算時間を被験者数及びアドバイス数（アドバイス画面の提示数）で除算しており、視線の動きは、積算回数を被験者数及びアドバイス数で除算した値をさらに４倍している。
また、図８及び図９において、黒丸印は、ユーザの顔が作業対象を正視する方向と、ユーザの顔の正面が向いている方向とがなす角度θが３０度である場合の積算時間を表し、白丸印は、ユーザの顔が作業対象を正視する方向と、ユーザの顔の正面が向いている方向とがなす角度θが１５度以下である場合の積算時間を表している。黒三角印は、ユーザの視線がディスプレイ１３に一致した時間が１．２秒未満であった場合の積算回数を表し、白三角印は、ユーザの視線がディスプレイ１３に一致した時間が１．２秒から１．５秒であった場合の積算回数を表している。
図８及び図９に示すように、角度θが３０度である場合の積算時間、すなわち、ユーザの顔がディスプレイ１３を正視してアドバイス画面を見た時間は、実験を繰り返すことで減少しており、依存度の低下が初期段階、中期段階及び後期段階と進むにつれて減少している。なお、依存度は、初期段階、中期段階及び後期段階と３段階に低下する。また、角度θが１５度以下である場合の積算時間、すなわち、ユーザがディスプレイ１３の方向へ顔を僅かに傾けた時間は、依存度低下の初期段階に至るまでに一旦増加するものの、依存度の低下が初期段階、中期段階及び後期段階と進むにつれて減少している。
さらに、視線がディスプレイ１３に一致した時間が１．２秒未満であった場合の積算回数、すなわち、ユーザがアドバイス画面を僅かだけ見た回数は、依存度の低下が初期段階及び中期段階と進むにつれて増加した後、依存度低下の後期段階において減少している。さらにまた、視線がディスプレイ１３に一致した時間が１．２秒から１．５秒であった場合の積算回数は、依存度の低下が初期段階、中期段階及び後期段階と一定の値で推移している。
なお、図８に示す疑似調理作業では、比較的短時間で作業が終了するので、調理作業中にアドバイス画面を見る回数が少なく、またアドバイス画面を見る時間も短くなっている。そのため、実験２回目でも、アドバイスデータに対する依存度が高く、実験２回目で依存度は初期段階に低下している。一方、図９に示す実調理作業では、加熱処理中などに待ち時間が発生し、調理作業中にアドバイス画面を見る回数が多くなり、またアドバイス画面を見る時間も長くなる。そのため、１回目の実験でアドバイスを習得してしまい、実験２回目では早くも依存度が低下し始めた。したがって、実験１回目から依存度は初期段階に低下している。
また、図９に示す実調理作業による実験結果は、疑似調理作業時におけるアドバイス画面が更新されてから次にアドバイス画面が更新されるまでの間の時間と同じ時間だけ、アドバイス画面が更新されてからの時間をカウントしている。そして、その間におけるユーザの顔の動き及び視線の動きを認識し、ユーザの顔がディスプレイ１３を正視している時間、ユーザの視線がディスプレイ１３に一致した時間が１．２秒未満であった場合の回数、ユーザの視線がディスプレイ１３に一致した時間が１．２秒から１．５秒であった場合の回数をそれぞれ積算している。これにより、実調理作業において、作業の待ち時間にアドバイス画面を凝視している時間を省略することが可能となる。
上記の実験結果に基づいて、ユーザの依存度を以下のように推定することができる。すなわち、ユーザの顔がディスプレイ１３を正視している時間が増加している場合、アドバイスデータに対する依存度が増加していると推定することができる。また、ユーザの顔がディスプレイ１３を正視している時間が減少し、かつユーザがディスプレイ１３の方向へ顔を僅かに傾けた時間が増加している場合、依存度低下の初期段階であると推定することができる。
さらに、ユーザの顔がディスプレイ１３を正視している時間が減少し、かつユーザがディスプレイ１３の方向へ顔を僅かに傾けた時間が減少し、かつユーザがアドバイス画面を僅かだけ見た回数が増加した場合、依存度低下の中期段階であると推定することができる。さらにまた、ユーザがアドバイス画面を僅かだけ見た回数が一旦増加した後、減少した場合、依存度低下の後期段階であると推定することができる。
図１０は、図５のステップＳ８におけるユーザ依存度推定処理について説明するためのフローチャートである。
まず、ステップＳ４１において、ユーザ依存度推定部８は、今回計測した第１の時間の積算値、第２の時間の積算値及び回数の積算値と、前回計測した第１の時間の積算値、第２の時間の積算値及び回数の積算値と、前々回計測した回数の積算値とを積算値記憶部７から読み出す。
次に、ステップＳ４２において、ユーザ依存度推定部８は、今回計測した第１の時間の積算値が前回計測した第１の時間の積算値よりも増加したか否かを判断する。ここで、今回計測した第１の時間の積算値が前回計測した第１の時間の積算値よりも増加したと判断された場合（ステップＳ４２でＹＥＳ）、ステップＳ４３において、ユーザ依存度推定部８は、ユーザの依存度が増加したと推定する。
一方、今回計測した第１の時間の積算値が前回計測した第１の時間の積算値よりも減少したと判断された場合（ステップＳ４２でＮＯ）、ステップＳ４４において、ユーザ依存度推定部８は、今回計測した第２の時間の積算値が前回計測した第２の時間の積算値よりも増加したか否かを判断する。ここで、今回計測した第２の時間の積算値が前回計測した第２の時間の積算値よりも増加したと判断された場合（ステップＳ４４でＹＥＳ）、ステップＳ４５において、ユーザ依存度推定部８は、依存度低下の初期段階であると推定する。
一方、今回計測した第２の時間の積算値が前回計測した第２の時間の積算値よりも減少したと判断された場合（ステップＳ４４でＮＯ）、ステップＳ４６において、ユーザ依存度推定部８は、今回計測した回数の積算値が前回計測した回数の積算値よりも増加したか否かを判断する。ここで、今回計測した回数の積算値が前回計測した回数の積算値よりも増加したと判断された場合（ステップＳ４６でＹＥＳ）、ステップＳ４７において、ユーザ依存度推定部８は、依存度低下の中期段階であると推定する。
一方、今回計測した回数の積算値が前回計測した回数の積算値よりも減少したと判断された場合（ステップＳ４６でＮＯ）、ステップＳ４８において、ユーザ依存度推定部８は、前回計測した回数の積算値が前々回計測した回数の積算値よりも増加したか否かを判断する。ここで、前回計測した回数の積算値が前々回計測した回数の積算値よりも増加したと判断された場合（ステップＳ４８でＹＥＳ）、ステップＳ４９において、ユーザ依存度推定部８は、依存度低下の後期段階であると推定する。
一方、前回計測した回数の積算値が前々回計測した回数の積算値よりも減少したと判断された場合（ステップＳ４８でＮＯ）、ステップＳ５０において、ユーザ依存度推定部８は、ユーザの依存度が推定不可能であると判断する。なお、それぞれの依存度の推定結果は、ＲＡＭに一時的に記憶される。また、１回分の積算値しか記憶されておらず、積算値が増加したか否かを判断することができない場合、ユーザ依存度推定部８は、推定不可能と判断する。
図５に戻って、ステップＳ９において、ユーザ依存度推定部８は、ユーザの作業が終了したか否かを判断する。ここで、ユーザの作業が終了したと判断された場合（ステップＳ９でＹＥＳ）、作業支援処理を終了する。一方、ユーザの作業が終了していないと判断された場合（ステップＳ９でＮＯ）、ステップＳ３の処理へ戻り、アドバイスデータ選択処理が実行される。
ここで、アドバイスデータ選択処理の詳細について説明する。図１１は、図５のステップＳ３におけるアドバイスデータ選択処理について説明するためのフローチャートである。
まず、ステップＳ６１において、アドバイス選択部４は、依存度の推定結果が有るか否かを判断する。上記の通り、依存度の推定結果は、ＲＡＭに一時的に記憶されているので、アドバイス選択部４は、ＲＡＭに依存度の推定結果が記憶されているか否かを判断する。これにより、依存度の推定結果が有るか否かを判断することができる。ここで、依存度の推定結果がないと判断された場合（ステップＳ６１でＮＯ）、ステップＳ６２において、アドバイス選択部４は、予め定められた所定のアドバイスデータを選択する。このとき、例えば、アドバイス選択部４は、最も低いスキルレベルに対応付けられたアドバイスデータを選択する。
一方、依存度の推定結果が有ると判断された場合（ステップＳ６１でＹＥＳ）、ステップＳ６３において、アドバイス選択部４は、依存度が増加したか否か又は推定不可能であったか否かを判断する。ここで、依存度が増加した又は推定不可能であったと判断された場合（ステップＳ６３でＹＥＳ）、ステップＳ６４において、アドバイス選択部４は、現在提示しているアドバイスデータと同じアドバイスデータを選択する。
一方、依存度が低下した場合（ステップＳ６３でＮＯ）、ステップＳ６５において、アドバイス選択部４は、依存度の低下が初期段階であるか否かを判断する。ここで、依存度の低下が初期段階であると判断された場合（ステップＳ６５でＹＥＳ）、ステップＳ６６において、アドバイス選択部４は、依存度低下の初期段階に対応するアドバイスデータを選択する。
一方、依存度の低下が初期段階でないと判断された場合（ステップＳ６５でＮＯ）、ステップＳ６７において、アドバイス選択部４は、依存度の低下が中期段階であるか否かを判断する。ここで、依存度の低下が中期段階であると判断された場合（ステップＳ６７でＹＥＳ）、ステップＳ６８において、アドバイス選択部４は、依存度低下の中期段階に対応するアドバイスデータを選択する。
一方、依存度の低下が中期段階でないと判断された場合（ステップＳ６７でＮＯ）、ステップＳ６９において、アドバイス選択部４は、依存度低下の後期段階に対応するアドバイスデータを選択する。
このように、現在提示されているアドバイスデータへのユーザの依存度が推定され、推定された依存度に応じたアドバイスデータがアドバイスデータベース３から選択されるので、作業中のユーザに対して適切なアドバイスを提示することができる。
なお、本実施の形態における作業支援装置は、ユーザの調理作業を支援するための作業支援装置であるが、本発明は特にこれに限定されず、地図及び音声により自動車を目的地まで誘導する、ユーザの運転作業を支援するためのカーナビゲーション装置であってもよい。
なお、作業支援装置１０は、ハードウェア的には中央演算処理装置（ＣＰＵ）と、プログラムや恒久的なデータを記録した不揮発性メモリまたは記憶装置と、一時的なデータを格納する高速アクセス可能な揮発性メモリと、入出力装置とを備えた汎用の情報処理装置として構成し、それらのハードウェア資源を協調動作させるアドバイスプログラムを、予め不揮発性メモリ又は記憶装置に記憶させて、ソフトウェア的に実現してもよい。この場合、作業支援プログラムを磁気ディスクや光ディスクなどのコンピュータ読み取り可能な記録媒体や、インターネットなどの通信回線を介して配布し、不揮発性メモリや記憶装置に書き込む機能を予め設けておき、新たな機能の追加や機能の更新を行えるようにしてもよい。
本発明に係る認識装置、認識方法及び認識プログラムは、提示されたアドバイスに対するユーザの依存度を推定し、依存度に応じた適切なアドバイスを提供することができ、動画や音声等によってユーザの作業を補助するためのアドバイスを提示する認識装置、認識方法及び認識プログラム等として有用である。
本発明の実施の形態における作業支援装置の構成を示すブロック図である。 本発明の実施の形態における作業支援装置の各構成要素の配置について説明するための図である。 本発明の実施の形態におけるユーザ依存度推定部の動作について説明するための図である。 アドバイスデータの内容を途中で変更した場合のユーザの顔の動き及び視線の動きの変化を示す図である。 図１に示す作業支援装置の動作について説明するためのフローチャートである。 アドバイス画面の一例を示す図である。 図５のステップＳ５におけるユーザ状況認識処理について説明するためのフローチャートである。 ２０名の被験者に対してアドバイスデータを提示しながら擬似的に調理作業を行い、ユーザの顔の動き及び視線の動きを認識した実験結果を示す図である。 ８名の被験者に対してアドバイスデータを提示しながら実際に調理作業を行い、ユーザの顔の動き及び視線の動きを認識した実験結果を示す図である。 図５のステップＳ８におけるユーザ依存度推定処理について説明するためのフローチャートである。 図５のステップＳ３におけるアドバイスデータ選択処理について説明するためのフローチャートである。
符号の説明
１ メニューデータベース
２ メニュー選択受付部
３ アドバイスデータベース
４ アドバイス選択部
５ アドバイス提示部
６ ユーザ状況認識部
７ 積算値記憶部
８ ユーザ依存度推定部
１０ 作業支援装置
１１ 制御部
１２ 入力部
１３ ディスプレイ
１４ スピーカ
１５ カメラ
１６ 記録媒体駆動部
１７ 記録媒体

Claims (13)

  1. 作業を行っているユーザへの作業支援のためのアドバイスデータを記憶するアドバイスデータ記憶部と、
    前記アドバイスデータ記憶部から前記作業に対するアドバイスデータを選択するアドバイス選択部と、
    前記アドバイス選択部によって選択された前記アドバイスデータをユーザに提示するアドバイス提示部と、
    前記アドバイス提示部によって提示された前記アドバイスデータに対するユーザの反応を認識するユーザ状況認識部と、
    前記ユーザ状況認識部によって認識されたユーザの反応に基づいて、前記アドバイス提示部によって提示された前記アドバイスデータにユーザがどれだけ依存しているかを表す依存度を推定するユーザ依存度推定部とを備え、
    前記アドバイス選択部は、前記ユーザ依存度推定部によって推定された前記依存度に応じたアドバイスデータを前記アドバイスデータ記憶部から選択することを特徴とする認識装置。
  2. 前記ユーザ状況認識部は、前記アドバイス提示部によって提示された前記アドバイスデータに対するユーザの身体反応の時間変化を認識し、
    前記ユーザ依存度推定部は、前記ユーザ状況認識部によって認識されたユーザの身体反応の時間変化に基づいて、前記依存度を推定することを特徴とする請求項１記載の認識装置。
  3. 前記ユーザ状況認識部は、ユーザの顔の動き及び視線の動きのうちの少なくとも一方を認識することを特徴とする請求項２記載の認識装置。
  4. ユーザを撮影するカメラと、
    前記カメラと同一方向に配置される表示部とをさらに備え、
    前記アドバイス提示部は、前記アドバイス選択部によって選択された前記アドバイスデータを前記表示部に表示し、
    前記ユーザ状況認識部は、前記カメラによって撮影された画像に基づいてユーザの顔の動きを認識し、ユーザの顔が作業対象を正視した状態から前記表示部に向かって所定の角度傾いた時間を積算し、前記カメラによって撮影された画像に基づいてユーザの視線の動きを認識し、ユーザの視線が前記表示部に略一致した時間が所定時間未満である回数を積算し、
    前記ユーザ依存度推定部は、前記ユーザ状況認識部によって積算された前記時間及び前記回数に基づいて、現在提示されているアドバイスデータに対するユーザの依存度が増加しているか低下しているかを推定することを特徴とする請求項３記載の認識装置。
  5. 前記アドバイスデータ記憶部は、前記作業に対するユーザの熟練度に対応付けた複数のアドバイスデータを記憶し、
    前記アドバイス選択部は、前記ユーザ依存度推定部によって現在提示されているアドバイスデータに対するユーザの依存度が低下していると推定された場合、現在提示されているアドバイスデータの熟練度よりも高い熟練度に対応付けられているアドバイスデータを前記アドバイスデータ記憶部から選択することを特徴とする請求項４記載の認識装置。
  6. 前記ユーザ状況認識部は、
    前記カメラによって撮影された画像に基づいてユーザの顔の動きを認識し、ユーザの顔が前記表示部を正視した第１の時間を積算し、ユーザの顔が作業対象を正視する方向とユーザの顔が前記表示部を正視する方向とがなす角度よりも小さい角度で作業対象を正視した状態から前記表示部に向かって傾いた第２の時間を積算し、前記カメラによって撮影された画像に基づいてユーザの視線の動きを認識し、ユーザの視線が前記表示部に略一致した時間が所定時間未満である回数を積算し、
    前記ユーザ依存度推定部は、
    今回所定期間内において積算した前記第１の時間が前回所定期間内において積算した前記第１の時間よりも増加した場合、ユーザの依存度が増加したと推定し、
    今回所定期間内において積算した前記第１の時間が前回所定期間内において積算した前記第１の時間よりも減少し、今回所定期間内において積算した前記第２の時間が前回所定期間内において積算した前記第２の時間よりも増加した場合、ユーザの依存度が第１の段階に低下したと推定し、
    今回所定期間内において積算した前記第１の時間が前回所定期間内において積算した前記第１の時間よりも減少し、今回所定期間内において積算した前記第２の時間が前回所定期間内において積算した前記第２の時間よりも減少し、今回所定期間内において積算した前記回数が前回所定期間内において積算した前記回数よりも増加した場合、ユーザの依存度が前記第１の段階よりも低い第２の段階に低下したと推定し、
    前回所定期間内において積算した前記回数が前々回所定期間内において積算した前記回数よりも増加しており、今回所定期間内において積算した前記回数が前回所定期間内において積算した前記回数よりも減少した場合、ユーザの依存度が前記第２の段階よりも低い第３の段階に低下したと推定することを特徴とする請求項４記載の認識装置。
  7. 前記アドバイスデータ記憶部は、前記第１の段階、前記第２の段階及び前記第３の段階のそれぞれの段階に応じたアドバイスデータを記憶し、
    前記アドバイス選択部は、前記ユーザ依存度推定部によってユーザの依存度が第１の段階に低下したと推定された場合、前記第１の段階に応じたアドバイスデータを前記アドバイスデータ記憶部から選択し、前記ユーザ依存度推定部によってユーザの依存度が第２の段階に低下したと推定された場合、前記第２の段階に応じたアドバイスデータを前記アドバイスデータ記憶部から選択し、前記ユーザ依存度推定部によってユーザの依存度が第３の段階に低下したと推定された場合、前記第３の段階に応じたアドバイスデータを前記アドバイスデータ記憶部から選択することを特徴とする請求項６記載の認識装置。
  8. 前記ユーザ状況認識部は、前記カメラによって撮影された画像に基づいてユーザの視線の動きを認識し、ユーザの視線が前記表示部に略一致した時間が１．５秒以下である回数を積算することを特徴とする請求項６記載の認識装置。
  9. 複数の作業内容の中からアドバイスを所望する作業内容の選択を受け付ける作業内容受付部をさらに備え、
    前記アドバイス選択部は、前記作業内容受付部によって受け付けられた作業内容に応じたアドバイスデータを前記アドバイスデータ記憶部から選択することを特徴とする請求項１〜８のいずれかに記載の認識装置。
  10. 前記アドバイスデータ記憶部は、ユーザの調理作業を支援するためのアドバイスデータを記憶することを特徴とする請求項１〜９のいずれかに記載の認識装置。
  11. 前記アドバイスデータ記憶部は、ユーザの自動車の運転作業を支援するためのアドバイスデータを記憶することを特徴とする請求項１〜９のいずれかに記載の認識装置。
  12. 作業を行っているユーザへの作業支援のためのアドバイスデータを記憶するアドバイス記憶部から前記作業に対するアドバイスデータを選択するアドバイス選択ステップと、
    前記アドバイス選択ステップにおいて選択された前記アドバイスデータをユーザに提示するアドバイス提示ステップと、
    前記アドバイス提示ステップにおいて提示された前記アドバイスデータに対するユーザの反応を認識するユーザ状況認識ステップと、
    前記ユーザ状況認識ステップにおいて認識されたユーザの反応に基づいて、前記アドバイス提示ステップにおいて提示された前記アドバイスデータにユーザがどれだけ依存しているかを表す依存度を推定するユーザ依存度推定ステップとを含み、
    前記アドバイス選択ステップは、前記ユーザ依存度推定部によって推定された前記依存度に応じたアドバイスデータを前記アドバイスデータ記憶部から選択することを特徴とする認識方法。
  13. 作業を行っているユーザへの作業支援のためのアドバイスデータを記憶するアドバイスデータ記憶部と、
    前記アドバイスデータ記憶部から前記作業に対するアドバイスデータを選択するアドバイス選択部と、
    前記アドバイス選択部によって選択された前記アドバイスデータをユーザに提示するアドバイス提示部と、
    前記アドバイス提示部によって提示された前記アドバイスデータに対するユーザの反応を認識するユーザ状況認識部と、
    前記ユーザ状況認識部によって認識されたユーザの反応に基づいて、前記アドバイス提示部によって提示された前記アドバイスデータにユーザがどれだけ依存しているかを表す依存度を推定するユーザ依存度推定部としてコンピュータを機能させ、
    前記アドバイス選択部は、前記ユーザ依存度推定部によって推定された前記依存度に応じたアドバイスデータを前記アドバイスデータ記憶部から選択することを特徴とする認識プログラム。
JP2008072046A 2007-03-29 2008-03-19 認識装置、認識方法及び認識プログラム Withdrawn JP2008269588A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008072046A JP2008269588A (ja) 2007-03-29 2008-03-19 認識装置、認識方法及び認識プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007088654 2007-03-29
JP2008072046A JP2008269588A (ja) 2007-03-29 2008-03-19 認識装置、認識方法及び認識プログラム

Publications (1)

Publication Number Publication Date
JP2008269588A true JP2008269588A (ja) 2008-11-06

Family

ID=39794445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008072046A Withdrawn JP2008269588A (ja) 2007-03-29 2008-03-19 認識装置、認識方法及び認識プログラム

Country Status (3)

Country Link
US (1) US20080240519A1 (ja)
JP (1) JP2008269588A (ja)
CN (1) CN101276221A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221985A (ja) * 2010-03-24 2011-11-04 Oki Electric Ind Co Ltd 入力支援装置、入力支援方法、およびプログラム
JP2015132951A (ja) * 2014-01-10 2015-07-23 Kddi株式会社 操作支援装置、操作支援方法及び操作支援プログラム
JP2016009424A (ja) * 2014-06-26 2016-01-18 Kddi株式会社 操作支援装置、操作支援方法及び操作支援プログラム
JP2016053804A (ja) * 2014-09-03 2016-04-14 Kddi株式会社 操作支援装置、操作支援方法及び操作支援プログラム
JP2020009276A (ja) * 2018-07-11 2020-01-16 三菱電機株式会社 作業支援システム、作業支援システム用のサーバ装置およびプログラム
JPWO2021014910A1 (ja) * 2019-07-24 2021-01-28
US11418612B2 (en) 2018-05-31 2022-08-16 Rakuten Group Inc. Information processing device, information processing method, program, and storage medium for transmitting information to a terminal device irrespective of state transmitioning of the terminal device
JP7444730B2 (ja) 2020-08-13 2024-03-06 株式会社日立製作所 作業支援装置及び作業支援方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4944055B2 (ja) * 2008-03-19 2012-05-30 富士フイルム株式会社 撮像装置及び撮像制御方法
JP5244580B2 (ja) * 2008-12-25 2013-07-24 京セラドキュメントソリューションズ株式会社 電子機器
KR101634247B1 (ko) * 2009-12-04 2016-07-08 삼성전자주식회사 피사체 인식을 알리는 디지털 촬영 장치, 상기 디지털 촬영 장치의 제어 방법
DE102013015205B3 (de) * 2013-09-13 2015-02-05 Audi Ag Verfahren und System zum Betreiben einer Mehrzahl von Anzeigeeinrichtungen eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben einer Mehrzahl von Anzeigeeinrichtungen
DE102013015634B4 (de) * 2013-09-20 2015-06-18 Audi Ag Verfahren und System zum Betreiben wenigstens einer Anzeigeeinrichtung eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben wenigstens einer Anzeigeeinrichtung
KR102362654B1 (ko) 2015-07-03 2022-02-15 삼성전자주식회사 오븐
US10845955B2 (en) 2017-05-15 2020-11-24 Apple Inc. Displaying a scrollable list of affordances associated with physical activities
DK180246B1 (en) 2018-03-12 2020-09-11 Apple Inc User interfaces for health monitoring
JP6971187B2 (ja) * 2018-03-28 2021-11-24 京セラ株式会社 画像処理装置、撮像装置、および移動体
US11317833B2 (en) 2018-05-07 2022-05-03 Apple Inc. Displaying user interfaces associated with physical activities
DK179992B1 (en) 2018-05-07 2020-01-14 Apple Inc. DISPLAY OF USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
US11228835B2 (en) 2019-06-01 2022-01-18 Apple Inc. User interfaces for managing audio exposure
US11209957B2 (en) 2019-06-01 2021-12-28 Apple Inc. User interfaces for cycle tracking
US11234077B2 (en) 2019-06-01 2022-01-25 Apple Inc. User interfaces for managing audio exposure
US11152100B2 (en) 2019-06-01 2021-10-19 Apple Inc. Health application user interfaces
DK201970534A1 (en) 2019-06-01 2021-02-16 Apple Inc User interfaces for monitoring noise exposure levels
CN114286975A (zh) 2019-09-09 2022-04-05 苹果公司 调查研究用户界面
CN113130044B (zh) * 2019-12-31 2023-06-20 佛山市顺德区美的电热电器制造有限公司 一种食谱优化方法、优化展示的方法、装置及计算机可读存储介质
DK181037B1 (en) 2020-06-02 2022-10-10 Apple Inc User interfaces for health applications
US11698710B2 (en) 2020-08-31 2023-07-11 Apple Inc. User interfaces for logging user activities

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000066789A (ja) * 1998-08-24 2000-03-03 Sharp Corp 表示方法、該方法に用いる情報記憶媒体及び表示装置
US7630986B1 (en) * 1999-10-27 2009-12-08 Pinpoint, Incorporated Secure data interchange
US7337172B2 (en) * 2003-03-25 2008-02-26 Rosario Giacobbe Intergenerational interactive lifetime journaling/diaryand advice/guidance system
US7590589B2 (en) * 2004-09-10 2009-09-15 Hoffberg Steven M Game theoretic prioritization scheme for mobile ad hoc networks permitting hierarchal deference
JP4898712B2 (ja) * 2006-01-31 2012-03-21 パナソニック株式会社 アドバイス装置、アドバイス方法、アドバイスプログラム及びアドバイスプログラムを記録したコンピュータ読み取り可能な記録媒体

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221985A (ja) * 2010-03-24 2011-11-04 Oki Electric Ind Co Ltd 入力支援装置、入力支援方法、およびプログラム
JP2015132951A (ja) * 2014-01-10 2015-07-23 Kddi株式会社 操作支援装置、操作支援方法及び操作支援プログラム
JP2016009424A (ja) * 2014-06-26 2016-01-18 Kddi株式会社 操作支援装置、操作支援方法及び操作支援プログラム
JP2016053804A (ja) * 2014-09-03 2016-04-14 Kddi株式会社 操作支援装置、操作支援方法及び操作支援プログラム
US11418612B2 (en) 2018-05-31 2022-08-16 Rakuten Group Inc. Information processing device, information processing method, program, and storage medium for transmitting information to a terminal device irrespective of state transmitioning of the terminal device
JP2020009276A (ja) * 2018-07-11 2020-01-16 三菱電機株式会社 作業支援システム、作業支援システム用のサーバ装置およびプログラム
JP7138499B2 (ja) 2018-07-11 2022-09-16 三菱電機株式会社 作業支援システム、作業支援システム用のサーバ装置およびプログラム
JPWO2021014910A1 (ja) * 2019-07-24 2021-01-28
WO2021014910A1 (ja) * 2019-07-24 2021-01-28 パナソニックＩｐマネジメント株式会社 調理習得支援システムおよび調理習得支援方法
JP7444730B2 (ja) 2020-08-13 2024-03-06 株式会社日立製作所 作業支援装置及び作業支援方法

Also Published As

Publication number Publication date
CN101276221A (zh) 2008-10-01
US20080240519A1 (en) 2008-10-02

Similar Documents

Publication Publication Date Title
JP2008269588A (ja) 認識装置、認識方法及び認識プログラム
US10565766B2 (en) Language element vision augmentation methods and devices
US8411171B2 (en) Apparatus and method for generating image including multiple people
US7853051B2 (en) Recognizing apparatus and method, recording media, and program
KR102230172B1 (ko) 실제 및 가상의 객체와 인터페이싱하기 위한 생체기계학-기반의 안구 신호를 위한 시스템 및 방법
US9563283B2 (en) Device having gaze detection capabilities and a method for using same
JP5863423B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9436887B2 (en) Apparatus and method for automatic action selection based on image context
EP2634727B1 (en) Method and portable terminal for correcting gaze direction of user in image
US8899752B2 (en) Visual fatigue level measuring device, visual fatigue level measuring method, visual fatigue level measuring system, and three-dimensional glasses
CN103181180B (zh) 提示控制装置以及提示控制方法
US9407804B2 (en) Method, apparatus, and non-transitory medium for generating a synthetic image from a series of captured images
KR20110098988A (ko) 정보 표시 장치 및 정보 표시 방법
JP5187517B2 (ja) 情報提供装置、情報提供方法およびプログラム
JP2020042807A (ja) フォービエイテッド・レンダリング・システムおよび方法
WO2018076622A1 (zh) 图像处理方法、装置及终端
CN109002164A (zh) 头戴显示设备的显示方法、装置及头戴显示设备
US20220413285A1 (en) Eye tracking system for smart glasses and method therefor
JP2016076259A (ja) 情報処理装置、情報処理方法及びプログラム
US10747308B2 (en) Line-of-sight operation apparatus, method, and medical device
JPWO2018216402A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109788227A (zh) 一种图像处理方法及其装置、设备和存储介质
JP2014030657A (ja) 刺激誘発装置、刺激誘発方法及びプログラム
US20220284718A1 (en) Driving analysis device and driving analysis method
US20200250498A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101015

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20120404