JP2018133050A - 機器、制御方法及びプログラム - Google Patents

Abstract

【課題】利用者に心理的負担を強いるような案内が行われることを防止する。【解決手段】実施形態の機器は出力制御部を備える。出力制御部は、第１行動にかかった時間が第１閾値以上の場合、又は、第１行動をやり直した回数が第２閾値以上の場合、第１行動の次に利用者により行われることが想定されている第１想定行動に誘導する第１案内を出力し、第１行動にかかった時間が第１閾値未満の場合、又は、第１行動をやり直した回数が第２閾値未満の場合、第１想定行動に誘導する案内を省略する、又は、第１案内よりも簡易な第２案内を出力する。【選択図】図２

Description

本発明の実施形態は機器、制御方法及びプログラムに関する。

所定の手順に従って利用者に利用される自動券売機等の機器において、利用者に手順を案内する音声等を出力する機器が、従来から知られている。例えば画像処理を用いて利用者の行動を認識し、利用者の行動に対応した案内を行う行動認識型の自動券売機が、従来から知られている。

しかしながら、従来の技術では、利用者に心理的負担を強いるような案内が行われることを防止することが難しかった。例えば利用者が機器の操作にどれほど慣れているかが考慮されておらず、過剰な案内をしてしまう恐れがあった。

特開平０９−１６１１０２号公報

本発明が解決しようとする課題は、利用者に心理的負担を強いるような案内が行われることを防止することができる機器、制御方法及びプログラムを提供することである。

実施形態の機器は出力制御部を備える。出力制御部は、前記第１行動にかかった時間が第１閾値以上の場合、又は、前記第１行動をやり直した回数が第２閾値以上の場合、前記第１行動の次に前記利用者により行われることが想定されている第１想定行動に誘導する第１案内を出力し、前記第１行動にかかった時間が第１閾値未満の場合、又は、前記第１行動をやり直した回数が第２閾値未満の場合、前記第１想定行動に誘導する案内を省略する、又は、前記第１案内よりも簡易な第２案内を出力する。

第１実施形態の機器のハードウェア構成の例を示す図。 第１実施形態の機器の機能構成の例を示す図。 第１実施形態の機器の動作の例を示すフローチャート。 第２実施形態の機器の機能構成の例を示す図。 第２実施形態の機器の動作の例を示すフローチャート。 第２実施形態により解決される問題の例（熟練度が高い場合）を示す図。 第２実施形態により解決される問題の例（熟練度が低い場合）を示す図。 第３実施形態の機器のハードウェア構成の例を示す図。 第３実施形態の機器の機能構成の例を示す図。 第３実施形態の機器の動作の例を示すフローチャート。

以下に添付図面を参照して、機器、制御方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
はじめに、第１実施形態の機器１００のハードウェア構成の例について説明する。

［ハードウェア構成の例］
図１は第１実施形態の機器１００のハードウェア構成の例を示す図である。第１実施形態の機器１００は、プロセッサ１０１、補助記憶装置１０２、主記憶装置１０３、カメラ１０４、表示装置１０５、入力装置１０６及びスピーカー１０７を備える。機器１００は任意でよい。機器１００は、例えば自動券売機である。

プロセッサ１０１は、補助記憶装置１０２等の記憶媒体からプログラムを読み出して実行する。

補助記憶装置１０２は、プログラム等の情報を記憶する。補助記憶装置１０２は任意でよい。補助記憶装置１０２は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。主記憶装置１０３は、プロセッサ１０１により作業領域として使用される記憶領域である。

カメラ１０４は、機器１００の利用者を撮像することにより、複数の画像を時系列に取得する。カメラ１０４は任意でよい。カメラ１０４は、例えば可視光カメラ及び深度画像カメラ等である。カメラ１０４は、機器１００を利用する利用者の動作を撮像できる位置に設置される。カメラ１０４は、機器１００の利用開始時から利用終了時まで利用者の動作の様子を示す画像を継続的に取得する。

なお機器１００は、カメラ１０４を複数、備えていてもよい。機器１００が複数のカメラ１０４を備える場合、それぞれのカメラ１０４が、異なる位置、異なる角度から利用者を撮像することにより、例えば利用者の前方、後方、及び、利用者の手元等を撮像する。

また、カメラ１０４として、深度画像カメラが使用される場合、機器１００の利用者の動作を、奥行き情報を含む画像として取得できる。

表示装置１０５は、機器１００の利用者に提示する情報等を表示する。表示装置１０５は任意でよい。表示装置１０５は、例えば液晶ディスプレイである。入力装置１０６は、機器１００の利用者の操作入力を受け付ける。入力装置１０６は、例えばハードウェアキーである。

なお表示装置１０５及び入力装置１０６は、表示機能と入力機能とを兼ね備えた液晶タッチパネル等でもよい。

スピーカー１０７は、機器１００の利用者に対する案内音声等を出力する。

次に第１実施形態の機器１００の機能構成の例について説明する。

［機能構成の例］
図２は第１実施形態の機器１００の機能構成の例を示す図である。第１実施形態の機器１００は、撮像部１、取得部２、認識部３、第１決定部４ａ、第２決定部４ｂ、出力制御部５及び記憶部６を備える。

＜動作の概要＞
撮像部１は、機器１００の利用者を撮像することにより、複数の画像を時系列に取得する。撮像部１は、例えばカメラ１０４により実現される。

取得部２は、撮像部１により撮像された複数の画像を取得すると、当該複数の画像を、認識部３、第１決定部４ａ及び第２決定部４ｂに入力する。取得部２は、例えばプロセッサ１０１により実行されるプログラムにより実現される。また例えば、取得部２は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現される。

認識部３は、取得部２から複数の画像を受け付けると、当該複数の画像から利用者の行動を認識する。認識部３は、認識された行動を示す行動情報を第１決定部４ａ及び第２決定部４ｂに入力する。認識部３は、例えばプロセッサ１０１により実行されるプログラムにより実現される。また例えば、認識部３は、ＩＣ等のハードウェアにより実現される。

第１決定部４ａは、取得部２から複数の画像を受け付け、認識部３から行動情報を受け付けると、当該複数の画像、及び、当該行動情報の少なくとも一方から、利用者の熟練度を決定する。熟練度を示すデータ形式は任意でよい。熟練度は、例えば熟練度の高さを示す数値である。

熟練度は、例えば１〜１０までの数値により示されてもよい。この場合、第１決定部４ａは、例えば熟練度の初期値を５とし、利用者の行動に応じて、熟練度の加算又は減算することにより、当該利用者の熟練度を決定してもよい。

また例えば、熟練度は、２値（０：低い、１：高い）により示されてもよい。

第１決定部４ａは、決定された熟練度を示す熟練度情報を第２決定部４ｂに入力する。

第２決定部４ｂは、認識部３から行動情報を受け付け、第１決定部４ａから熟練度情報を受け付けると、当該行動情報及び熟練度情報から、出力対象の案内を決定する。第２決定部４ｂは、決定された案内を示す案内情報を出力制御部５に入力する。

第１決定部４ａ及び第２決定部４ｂは、例えばプロセッサ１０１により実行されるプログラムにより実現される。また例えば、第１決定部４ａ及び第２決定部４ｂは、ＩＣ等のハードウェアにより実現される。また、第１決定部４ａ及び第２決定部４ｂは、１つの機能ブロックにより実現してもよい。

出力制御部５は、第２決定部４ｂから案内情報を受け付けると、当該案内情報を出力する。出力制御部５は、例えばプロセッサ１０１により実行されるプログラムにより実現される。また例えば、出力制御部５は、ＩＣ等のハードウェアにより実現される。

記憶部６は情報を記憶する。記憶部６は、例えば補助記憶装置１０２及び主記憶装置１０３により実現される。記憶部６に記憶される情報は、例えば利用者の行動と熟練度との組と、機器１００の案内とが関連付けられた案内情報である。

案内情報は、行動と熟練度との組が検索キーとして使用されることにより、機器１００の案内が検索される仕組みになっている。そのため、認識部３により同じ行動と認識された場合でも、熟練度が異なる場合は、異なる案内が検索される。また、案内情報に記憶される機器１００の案内は、出力される音声、及び、出力されるテキスト等の案内に限られない。案内情報に記憶される機器１００の案内は、例えば熟練度が閾値未満の利用者の手助けを行う動作を示す情報でもよい。利用者の手助けを行う動作は、例えば「係員を呼び出す」等である。出力制御部５は、例えば係員により使用される端末等の他の装置に、ネットワークを介して通知することにより、当該係員を呼び出す。また例えば、案内情報に記憶される機器１００の案内は、熟練度が閾値以上の利用者の操作の妨げにならないようにする動作を示す情報でもよい。利用者の操作の妨げにならないようにする動作は、例えば「案内を出力しない」等である。

なお案内情報のデータ形式は任意でよい。例えば案内情報を、行動と案内種別とを記憶するデータベースと、熟練度と案内種別との組と、機器１００の案内とを記憶するデータベースとに分けてもよい。

［動作方法の例］
次にフローチャートを参照して、第１実施形態の機器の動作の詳細について説明する。

図３は第１実施形態の機器１００の動作の例を示すフローチャートである。はじめに、取得部２が、撮像部１により撮像された複数の画像を取得する（ステップＳ１）。

次に、認識部３が、ステップＳ１の処理により取得された複数の画像から、利用者の行動を認識する（ステップＳ２）。具体的には、まず認識部３は、１つの画像が示すフレーム毎の特徴量、及び、前後のフレーム間から特定される特徴量を抽出する。

フレーム毎の特徴量は、例えば利用者の体の特徴的な部位の画像中の座標情報を含む。座標情報は、平面又は空間の点を示す。利用者の体の特徴的な部位は、例えば利用者の目等、画像中のエッジとして検出される部位である。また例えば、フレーム毎の特徴量は、画像中の勾配情報から特定される画像内の見え（アピアランス）の情報を含む。

前後のフレーム間から特定される特徴量は、前後のフレームに含まれる利用者の動きを示す特徴量である。

次に、認識部３は、抽出された特徴量の変化から利用者の行動を認識する。具体的には、認識部３は、例えば抽出された特徴量の変化と、予め用意された、行動を認識するためのモデルとを比較することにより、最も尤もらしい行動を認識する。また例えば、認識部３は、抽出された特徴量の変化と、予め定められている特徴量の変化パターンとを比較する。認識部３は、抽出された特徴量の変化に最も近い特徴量の変化パターンを特定する。そして認識部３は、特定された特徴量の変化パターンに予め対応付けられた行動パターンを、利用者の行動として認識する。行動パターンは、例えば「コインを入れる。」、及び、「液晶タッチパネルをさわる。」等である。

また、認識部３は、時系列に認識された複数の行動パターンを使用して、行動の遷移を認識する。行動の遷移を示す情報は、例えば利用者の行動と、当該利用者の次の行動との間の時間を含む。また例えば、行動の遷移を示す情報は、利用者の行動と、当該利用者の次の行動との組み合わせを含む。

次に、第１決定部４ａは、ステップＳ１の処理により取得された複数の画像、並びに、ステップＳ２の処理により認識された行動及び行動の遷移の少なくとも１つから、利用者の熟練度を決定する（ステップＳ３）。

＜熟練度の決定例＞
熟練度の決定方法は任意でよい。以下、熟練度の決定方法について例示する。

第１決定部４ａは、例えば複数の画像から上述の特徴量を抽出し、当該特徴量の変化を使用して、利用者の熟練度の回帰及び分類等をすることにより、熟練度を決定する。

また例えば、第１決定部４ａは、認識部３により認識された行動、及び、行動の遷移を使用して、利用者の熟練度の回帰及び分類等をすることにより、熟練度を決定する。具体的には、第１決定部４ａは、各行動の実施に費やされる時間と、行動毎に予め定めた所定時間との大小関係を使用して、利用者の熟練度の回帰及び分類等をする。また例えば、第１決定部４ａは、行動の遷移の間隔と、遷移毎に予め定めた所定時間との大小関係を使用して、利用者の熟練度の回帰及び分類等をする。また例えば、第１決定部４ａは、各行動のやり直し回数等を使用して、利用者の熟練度の回帰及び分類等をする。

なお上述の所定時間は、行動、及び、行動の遷移等毎に定められていなくてもよい。上述の所定時間は、例えば一律に定められていてもよい。また例えば、上述の所定時間は、その時刻までに決定された利用者の熟練度に応じて調整されていてもよい。

また例えば、第１決定部４ａは、第１行動にかかった時間が閾値（第１閾値）以上の場合、この利用者の熟練度から所定の値を減算する。所定の値は、例えば１である。逆に、第１決定部４ａは、第１行動にかかった時間が閾値（第１閾値）未満の場合、この利用者の熟練度に所定の値を加算する。

また例えば、第１決定部４ａは、第１行動をやり直した回数が閾値（第２閾値）以上の場合、この利用者の熟練度から所定の値を減算する。逆に、第１決定部４ａは、第１行動をやり直した回数が閾値（第２閾値）未満の場合、この利用者の熟練度に所定の値を加算する。

また例えば、第１決定部４ａは、第１行動にかかった時間が閾値（第１閾値）以上の場合、又は、第１行動をやり直した回数が閾値（第２閾値）以上の場合、熟練度を閾値（第３閾値）未満の値に決定する。

また例えば、第１決定部４ａは、第１行動と、当該第１行動の次に利用者により行われた第２行動と、の間の時間が長いほど、熟練度を小さい値に決定する。第１決定部４ａは、例えば第１行動と第２行動との間の時間が長いほど、この利用者の熟練度の減算値を大きくする。

なお第１決定部４ａは、時間による閾値（第１閾値）、及び、回数による閾値（第２閾値）のいずれか一方を判定してもよいし、両方を判定してもよい。

次に、第２決定部４ｂは、ステップＳ２の処理により認識された行動と、ステップＳ３の処理により決定された熟練度とから、出力制御部５により出力される機器１００の案内を決定する（ステップＳ４）。具体的には、第２決定部４ｂは、行動と熟練度との組を検索キーとして使用して、上述の案内情報から検索された機器１００の案内を、出力制御部５により出力される機器１００の案内に決定する。

次に、出力制御部５は、第２決定部４ｂにより決定された案内の出力を制御する（ステップＳ５）。出力制御部５は、例えば表示装置１０５及びスピーカー１０７等に案内を出力する。

出力制御部５は、例えば第１行動が行われた後の熟練度が閾値（第３閾値）未満の場合、第１行動の次に利用者により行われることが想定されている第１想定行動に誘導する第１案内を出力し、熟練度が閾値（第３閾値）以上の場合、第１想定行動に誘導する案内を、省略する、又は、第１案内よりも簡易な第２案内を出力する。

例えば第１行動が、「レシート発行ボタンを押下する。」の場合、第１想定行動は、「レシートを取る。」である。この場合、第１案内は、例えば「画面右下の取り出し口から、レシートをお取り下さい。」であり、第２案内は、例えば「レシートをお取り下さい。」又は「レシートの取り忘れにご注意下さい」等である。

また例えば、出力制御部５は、第２行動が行われた後の熟練度が閾値（第３閾値）未満の場合、第２行動の次に利用者により行われることが想定されている第２想定行動に誘導する第３案内を出力し、熟練度が閾値（第３閾値）以上の場合、第２想定行動に誘導する案内を、省略する、又は、第３案内よりも簡易な第４案内を出力する。

なお上述の図３の説明では、第２決定部４ｂが、ステップＳ２の処理により認識部３により認識された行動と、ステップＳ３の処理により第１決定部４ａにより決定された熟練度とに基づいて、機器１００の案内を決定する場合について説明した。しかしながら、第２決定部４ｂは、認識部３により認識された行動のみから、機器１００の案内を決定してもよい。

なお認識部３は、カメラ１０４により取得された画像のみではなく、入力装置１０６等から取得される操作入力も使用して、利用者の行動を認識してもよい。認識部３は、例えばレシート発行ボタンの押下された場合、利用者の行動が「レシート発行ボタンを押下する。」であると認識してもよい。

以上、説明したように、第１実施形態の機器１００では、出力制御部５が、第１行動にかかった時間が第１閾値以上の場合、又は、第１行動をやり直した回数が第２閾値以上の場合、第１行動の次に利用者により行われることが想定されている第１想定行動に誘導する第１案内を出力し、第１行動にかかった時間が第１閾値未満の場合、又は、第１行動をやり直した回数が第２閾値未満の場合、第１想定行動に誘導する案内を省略する、又は、前記第１案内よりも簡易な第２案内を出力する。

これにより第１実施形態の機器１００によれば、利用者の熟練度に応じて機器１００の案内を制御することができる。具体的には、第１実施形態の機器１００によれば、利用者による機器１００の利用状況と、当該利用者の熟練度とに応じて、最も適切な案内を行うことが可能となり、利用者に心理的負担を強いるような案内が行われることを防止することができる。

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。第２実施形態では、第１時刻に利用者に対して案内された案内に対して、第２時刻の利用者の応答が望ましい応答を示しているかどうかを示す乖離度に更に基づいて、熟練度が決定される場合について説明する。

第１実施形態との１つ目の違いは、乖離度を、第２時刻における熟練度の判定に利用する点である。なお第２時刻は、第１時刻よりも後の時刻である。なお第１時刻と第２時刻との間隔は任意でよい。

第１実施形態との２つ目の違いは、上述の案内情報に含まれる機器１００の案内に応じて利用者により行われることが想定されている想定行動が、更に関連付けて記憶されている点である。すなわち第２実施形態の案内情報には、行動、熟練度、案内及び想定行動が関連付けて記憶されている。

［機能構成の例］
図４は第２実施形態の機器１００の機能構成の例を示す図である。第２実施形態の機器１００は、撮像部１、取得部２、認識部３、第１決定部４ａ、第２決定部４ｂ、第３決定部４ｃ、出力制御部５及び記憶部６を備える。第２実施形態の機器１００では、第１実施形態の機器１００の機能構成に、更に第３決定部４ｃが追加されている。

第３決定部４ｃは、例えばプロセッサ１０１により実行されるプログラムにより実現される。また例えば、第３決定部４ｃは、ＩＣ等のハードウェアにより実現される。また、第１決定部４ａ、第２決定部４ｂ及び第３決定部４ｃは、１つの機能ブロックにより実現してもよい。

第３決定部４ｃは、第１行動の次に利用者により行われることが想定されている第１想定行動と、第２行動との乖離度を決定する。第１想定行動は、上述の案内情報に含まれる第１行動に関連付けられている想定行動である。なお乖離度の決定方法は任意でよい。第３決定部４ｃは、例えば第１行動を示す上述の特徴量と、第１想定行動を示す上述の特徴量との差から乖離度を決定する。

第２決定部４ｂは、第３決定部４ｃにより決定された乖離度に更に基づいて、利用者の熟練度を決定する。第２決定部４ｂは、例えば乖離度が大きいほど、熟練度を小さい値に決定する。

［動作方法の例］
次にフローチャートを参照して、第２実施形態の機器の動作の詳細について説明する。

図５は第２実施形態の機器１００の動作の例を示すフローチャートである。図５の説明では、第１時刻に行われた第１行動が、認識部３により最初に認識された行動である場合を例にして説明する。

＜利用開始時の第１行動に対する動作＞
第１時刻に行われた第１行動が、認識部３により最初に認識された行動である場合、第１行動の前に行われた行動が存在しない。そのため、第３決定部４ｃによるステップＳ２−２の処理は行われない。利用開始時の第１行動に対する動作は、第１実施形態の機器１００の動作（図３参照）と同じなので説明を省略する。

＜第２行動に対する動作＞
次に、第１行動の次に利用者により行われた第２行動に対する動作について説明する。はじめに、取得部２が、撮像部１により撮像された複数の画像を取得する（ステップＳ１）。

次に、認識部３が、ステップＳ１の処理により取得された複数の画像から、利用者の第２行動を認識する（ステップＳ２−１）。

次に、第３決定部４ｃが、第１行動の次に利用者により行われることが想定されている第１想定行動と、ステップＳ２−１の処理により認識された第２行動との乖離度を決定する（ステップＳ２−２）。なお第３決定部４ｃは、第１時刻に行われた第１行動に対する処理で決定された第１案内に関連付けられた想定行動を、上述の案内情報から取得することにより、第１想定行動を特定する。

次に、第１決定部４ａは、ステップＳ１の処理により取得された複数の画像、ステップＳ２−１の処理により認識された行動及び行動の遷移、並びに、ステップＳ２−２の処理により決定された乖離度の少なくとも１つから、利用者の熟練度を決定する（ステップＳ３）。第１決定部４ａは、例えば第１想定行動と第２行動との乖離度が大きいほど、熟練度を小さい値に決定する。

ステップＳ４及びステップＳ５の処理の説明は、第１実施形態の機器１００の動作方法の説明（図３参照）と同じなので省略する。

第２行動よりも後に行われた第３行動以降の利用者の行動に対する動作の説明は、上述の第２行動に対する動作と同様であるので省略する。

以上、説明したように、実施形態の機器１００では、第１決定部４ａは、第１想定行動と第２行動との乖離度が大きいほど、熟練度を小さい値に決定する。

第２実施形態では、第１時刻の案内に対する第２時刻の利用者の行動を、第２時刻の熟練度の決定にフィードバックすることができる。これにより案内に対する利用者の行動を加味した案内の制御が可能となる。

第２実施形態により解決される問題として、例えば図６Ａに示す問題が考えられる。機器１００による購入手続きを終えた熟練度の高い利用者は、次に行うべき行動が「レシートをとる」行動であることを予め認識しており、利用終了のアナウンス後は、すぐに「レシートをとる」動作を開始し始める。この場合に、機器１００が、「レシートを取らせる」アナウンス等の案内を出力すると、利用者に心的負担を強いる恐れがあり望ましくない。第２実施形態によれば、「利用終了」アナウンスに対する利用者の反応として「レシートをとる」動作が確認された場合は、「レシートを取らせる」アナウンスを取りやめる制御をすることができる。これにより第２実施形態の機器１００によれば、利用者に心理的負担を強いるような案内が行われることを防止することができる。

また、第２実施形態により解決される問題として、例えば図６Ｂに示す問題が考えられる。機器１００により「レシートをとらせる」アナウンス等の案内を受けた利用者は、「レシートをとる」動作を開始すると想定される。しかしながら、アナウンスに対して同動作を開始できない熟練度の低い利用者に対して、同アナウンスを繰り返すことは無意味である。第２実施形態の機器１００によれば、アナウンスの反応として想定される行動が見られない利用者に対しては、アナウンスをより具体的な指示へ変更する、または、係員を派遣する等の対応へ変更する制御をすることができる。これにより第２実施形態の機器１００によれば、利用者に心理的負担を強いるような案内が行われることを防止することができる。

（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。第３実施形態では、利用者の利用履歴に更に基づいて、熟練度が決定される場合について説明する。

第１実施形態との１つ目の違いは、機器１００が、利用者の利用者情報を読み取る点である。第１実施形態との２つ目の違いは、機器１００が利用者の利用履歴を記憶する点である。

［ハードウェア構成の例］
図７は第３実施形態の機器１００のハードウェア構成の例を示す図である。第３実施形態の機器１００は、プロセッサ１０１、補助記憶装置１０２、主記憶装置１０３、カメラ１０４、表示装置１０５、入力装置１０６、スピーカー１０７及び読取装置１０８を備える。第３実施形態の機器１００では、第１実施形態の機器１００のハードウェア構成に、更に読取装置１０８が追加されている。

読取装置１０８は、利用者の利用者情報を読み取る。読取装置１０８は、例えばＩＣカードリーダー等である。利用者情報は、利用者に関する情報である。利用者情報は、少なくとも利用者を識別する利用者識別情報を含む。

補助記憶装置１０２は、利用者による機器１００の利用履歴を更に記憶する。利用履歴は、利用者により機器１００が利用されたときの記録である。利用履歴は、例えば上述の利用者識別情報、利用日時及び熟練度等を含む。利用日時は、利用者により機器１００が利用された日時である。熟練度は、利用者により機器１００が利用されたときに決定された熟練度である。

［機能構成の例］
図８は第３実施形態の機器１００の機能構成の例を示す図である。第３実施形態の機器１００は、撮像部１、取得部２、認識部３、第１決定部４ａ、第２決定部４ｂ、出力制御部５、記憶部６及び読取部７を備える。第３実施形態の機器１００では、第１実施形態の機器１００の機能構成に、更に読取部７が追加されている。

読取部７は、上述の利用者情報を読み取る。読取部７は、例えば読取装置１０８により実現される。記憶部６は、上述の利用履歴を更に記憶する。

［動作方法の例］
次にフローチャートを参照して、第３実施形態の機器の動作の詳細について説明する。

図９は第３実施形態の機器１００の動作の例を示すフローチャートである。はじめに、取得部２が、撮像部１により撮像された複数の画像を取得する（ステップＳ１−１）。

次に、読取部７が、上述の利用者情報を読み取る（ステップＳ１−２）。

次に、認識部３が、ステップＳ１−１の処理により取得された複数の画像から、利用者の行動を認識する（ステップＳ２）。

次に、第１決定部４ａは、ステップＳ１−１の処理により取得された複数の画像、ステップＳ１−２の処理により読み取られた利用者情報、並びに、ステップＳ２の処理により認識された行動及び行動の遷移の少なくとも１つから、利用者の熟練度を決定する（ステップＳ３）。

＜熟練度の決定例＞
熟練度の決定方法は任意でよい。以下、熟練度の決定方法について例示する。

第１決定部４ａは、例えば利用開始時点の利用者の熟練度を、利用者情報に含まれる利用者識別情報を使用して、利用履歴から読み出された熟練度により決定する。

また例えば、第１決定部４ａは、利用履歴から熟練度を読み出すことができた場合、利用者の熟練度を利用履歴から読み出された熟練度に決定し、利用履歴から熟練度を読み出すことができなかった場合、ステップＳ１−１の処理により取得された複数の画像、並びに、ステップＳ２の処理により認識された行動及び行動の遷移の少なくとも１つから、利用者の熟練度を決定する。

また例えば、第１決定部４ａは、利用履歴から読み出された熟練度と、ステップＳ１−１の処理により取得された複数の画像、並びに、ステップＳ２の処理により認識された行動及び行動の遷移の少なくとも１つから決定された熟練度と、に基づいて、熟練度を決定する。この場合、利用履歴から読み出された熟練度を、一定の影響度をもって、熟練度の決定に反映させてもよいし、利用履歴から読み出された熟練度の影響度を、時系列とともに、減衰させてもよい。

ステップＳ３の処理により決定された熟練度は、利用者による一連の操作が完了した時点で、記憶部６の利用履歴に記憶される。

ステップＳ４及びステップＳ５の処理の説明は、第１実施形態の機器１００の動作方法の説明（図３参照）と同じなので省略する。

以上、説明したように、実施形態の機器１００では、記憶部６が、利用者による機器１００の利用履歴を記憶する。そして第１決定部４ａが、更に、利用履歴に基づいて利用者の熟練度を決定する。

これにより第３実施形態の機器１００によれば、前回の利用時に決定された利用者の熟練度を利用することができるので、機器１００の利用開始時等の利用者の操作が行われていない状態でも、案内の適切な制御が可能となる。すなわち第３実施形態の機器１００によれば、利用者に心理的負担を強いるような案内が行われることを防止することができる。

なお上述の利用者情報は、利用者を識別する識別情報と、利用者の熟練度とを含んでもよい。この場合、第１決定部４ａは、例えば読取部７により利用者情報が読み取られた場合、利用者情報に含まれる熟練度により、利用者の熟練度を決定する。

上述の第１乃至第３実施形態の機器１００は、例えば汎用のプロセッサ１０１を備えるコンピュータにより実現することが可能である。すなわち、上述の機器１００の機能（図２、図４及び図８参照）のうち、プログラムにより実現可能な機能の全部又は一部を、汎用のプロセッサ１０１にプログラムを実行させることにより実現することができる。

第１乃至第３実施形態の機器１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ、及び、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

また第１乃至第３実施形態の機器１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１乃至第３実施形態の機器１００が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また第１乃至第３実施形態の機器１００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

また第１乃至第３実施形態の機器１００の機能の一部を、ＩＣ等のハードウェアにより実現してもよい。ＩＣは、例えば所定の処理を実行する専用のプロセッサ１０１である。

また機器１００は、複数のプロセッサ１０１を備えていてもよい。複数のプロセッサ１０１を用いて各機能を実現する場合、各プロセッサ１０１は、各機能のうち１つを実現してもよいし、各機能のうち２以上を実現してもよい。

また第１乃至第３実施形態の機器１００の動作形態は任意でよい。第１乃至第３実施形態の機器１００の機能を、例えばネットワーク上のクラウドシステムとして動作させてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 撮像部
２ 取得部
３ 認識部
４ 決定部
５ 出力制御部
６ 記憶部
７ 読取部
１００ 機器
１０１ プロセッサ
１０２ 補助記憶装置
１０３ 主記憶装置
１０４ カメラ
１０５ 表示装置
１０６ 入力装置
１０７ スピーカー
１０８ 読取装置

Claims (14)

1. 利用者の第１行動にかかった時間が第１閾値以上の場合、又は、前記第１行動をやり直した回数が第２閾値以上の場合、前記第１行動の次に前記利用者により行われることが想定されている第１想定行動に誘導する第１案内を出力し、前記第１行動にかかった時間が第１閾値未満の場合、又は、前記第１行動をやり直した回数が第２閾値未満の場合、前記第１想定行動に誘導する案内を省略する、又は、前記第１案内よりも簡易な第２案内を出力する出力制御部と、
   を備える機器。
2. 利用者の第１行動から前記利用者の熟練度を決定する決定部と、
   前記熟練度が第３閾値未満の場合、前記第１行動の次に前記利用者により行われることが想定されている第１想定行動に誘導する第１案内を出力し、前記熟練度が第３閾値以上の場合、前記第１想定行動に誘導する案内を省略する、又は、前記第１案内よりも簡易な第２案内を出力する出力制御部と、
   を備える機器。
3. 前記決定部は、前記第１行動にかかった時間が第１閾値以上の場合、又は、前記第１行動をやり直した回数が第２閾値以上の場合、前記熟練度を前記第３閾値未満の値に決定する、
   請求項２に記載の機器。
4. 前記利用者の第１行動を認識する認識部、
   を更に備える請求項２に記載の機器。
5. 前記認識部は、前記第１行動の次に前記利用者により行われた第２行動を、更に認識し、
   前記決定部は、前記第１行動と前記第２行動との間の時間が長いほど、前記熟練度を小さい値に決定し、
   前記出力制御部は、前記熟練度が前記第３閾値未満の場合、前記第２行動の次に前記利用者により行われることが想定されている第２想定行動に誘導する第３案内を出力し、前記熟練度が第３閾値以上の場合、前記第２想定行動に誘導する案内を、省略又は前記第３案内よりも簡易な第４案内に変更する、
   請求項４に記載の機器。
6. 前記決定部は、前記第１想定行動と前記第２行動との乖離度が大きいほど、前記熟練度を小さい値に決定する、
   請求項５に記載の機器。
7. 前記出力制御部は、前記熟練度が第４閾値以下の場合、前記機器が熟練度の低い利用者により使用されていることを他の装置に通知する、
   請求項２に記載の機器。
8. 前記認識部は、少なくとも、前記利用者を含む画像および前記利用者の操作入力の何れか一つに基づいて前記第１行動を認識する、
   請求項４に記載の機器。
9. 前記利用者を識別する識別情報と、前記利用者の熟練度とを含む利用者情報を読み取る読取部を更に備え、
   前記決定部は、前記読取部により前記利用者情報が読み取られた場合、前記利用者情報に含まれる熟練度により、前記利用者の熟練度を決定する、
   請求項２に記載の機器。
10. 前記利用者による前記機器の利用履歴を記憶する記憶部を更に備え、
    前記決定部は、更に、前記利用履歴に基づいて前記利用者の熟練度を決定する、
    請求項２に記載の機器。
11. 利用者の第１行動にかかった時間が第１閾値以上の場合、又は、前記第１行動をやり直した回数が第２閾値以上の場合、前記第１行動の次に前記利用者により行われることが想定されている第１想定行動に誘導する第１案内を出力するステップと、
    前記第１行動にかかった時間が第１閾値未満の場合、又は、前記第１行動をやり直した回数が第２閾値未満の場合、前記第１想定行動に誘導する案内を省略する、又は、前記第１案内よりも簡易な第２案内を出力するステップと、
    を含む制御方法。
12. 利用者の第１行動から前記利用者の熟練度を決定するステップと、
    前記熟練度が第３閾値未満の場合、前記第１行動の次に前記利用者により行われることが想定されている第１想定行動に誘導する第１案内を出力するステップと、
    前記熟練度が第３閾値以上の場合、前記第１想定行動に誘導する案内を省略する、又は、前記第１案内よりも簡易な第２案内を出力するステップと、
    を含む制御方法。
13. コンピュータを、
    利用者の第１行動にかかった時間が第１閾値以上の場合、又は、前記第１行動をやり直した回数が第２閾値以上の場合、前記第１行動の次に前記利用者により行われることが想定されている第１想定行動に誘導する第１案内を出力し、前記第１行動にかかった時間が第１閾値未満の場合、又は、前記第１行動をやり直した回数が第２閾値未満の場合、前記第１想定行動に誘導する案内を省略する、又は、前記第１案内よりも簡易な第２案内を出力する出力制御部、
    として機能させるためのプログラム。
14. コンピュータを、
    利用者の第１行動から前記利用者の熟練度を決定する決定部と、
    前記熟練度が第３閾値未満の場合、前記第１行動の次に前記利用者により行われることが想定されている第１想定行動に誘導する第１案内を出力し、前記熟練度が第３閾値以上の場合、前記第１想定行動に誘導する案内を省略する、又は、前記第１案内よりも簡易な第２案内を出力する出力制御部、
    として機能させるためのプログラム。

Images