JP2011107915A - 表示装置、表示プログラム及び表示方法 - Google Patents

Abstract

【課題】ユーザによる選択肢の選択を支援し、ユーザに選択を早急に行わせる。
【解決手段】動きパターン生成部２４が、ユーザの指の動きを検知して、表示部１０上で動かされた指の動きのパターンデータを取得し、表示制御部１８が、動きパターン生成部２４により取得されたパターンデータから指が一定時間以上動いていて、かつ選択肢の選択が行われていないと判断すると、選択肢と選択肢の表示位置とを関連付けて持つ表示項目ＤＢ３６と、パターンデータとから、パターンデータに対応する選択肢を特定し、当該特定された選択肢のうち、ユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で表示部に表示させる。これにより、ユーザに迷いが生じた場合でも、ユーザは、選択肢の選択を早急に行うことができるようになる。
【選択図】図１

Description

本件は、表示装置、表示プログラム及び表示方法に関する。

ＡＴＭ（現金自動預け払い機：Automated Teller Machine）などの無人端末においては、表示画面（タッチパネル）上に種々のメニューが表示される。表示画面上において人（ユーザ）が希望のメニューを選択すると、選択されたメニューの内容が表示画面上に表示されるようになっている。最近では、このような装置における、人の使い勝手を向上するための技術として、特許文献１、２などが提案されている。

上記特許文献１に記載の技術は、無人端末において、表情や視線から迷いを判断して、ヘルプメニューを表示するというものである。また、特許文献２に記載の技術は、手の位置や動く方向から人がどのようなキー（メニュー）を操作するかを予測して、予測したキーの次のステップを先読み提示することでユーザの操作回数を減らすというものである。

特開平８−３２８７１５号公報 特開２００５−７１２４６号公報

しかしながら、上記いずれの技術を用いたとしても、画面上に多数のメニューが存在しているためにユーザがメニュー選択に迷った場合に、迷いを早急に解消することは難しい。すなわち、上記いずれの技術を用いても、メニュー選択の時間を短縮することは難しい。

そこで本件は上記の課題に鑑みてなされたものであり、ユーザに迷いが生じた場合でも早急に選択肢の選択を行わせることが可能な表示装置、表示プログラム及び表示方法を提供することを目的とする。

本明細書に記載の表示装置は、複数の選択肢を表示する表示手段と、ユーザの手又は指の動きを検知して、前記表示手段上で動かされた手又は指の位置情報を取得する取得手段と、前記取得手段が取得した手又は指の位置情報から手又は指が一定時間以上動いていて、かつ選択肢の選択が行われていないと判断すると、前記選択肢と前記選択肢の表示位置とを関連付けて持つデータベースと、前記取得手段が取得した一定時間の手又は指の位置情報とから、前記取得手段が取得した一定時間の手又は指の位置に対応する選択肢を特定し、当該特定された選択肢のうち、ユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で前記表示手段に表示させる表示制御手段と、を備える表示装置である。

本明細書に記載の表示プログラムは、 コンピュータを、複数の選択肢を表示する表示手段上での、ユーザの手又は指の動きを検知して、手又は指の位置情報を取得する取得手段、及び前記取得手段が取得した手又は指の位置情報から手又は指が一定時間以上動いていて、かつ選択肢の選択が行われていないと判断すると、前記選択肢と前記選択肢の表示位置とを関連付けて持つデータベースと、前記取得手段が取得した一定時間の手又は指の位置情報とから、前記取得手段が取得した一定時間の手又は指の位置に対応する選択肢を特定し、当該特定された選択肢のうち、ユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で前記表示手段に表示させる表示制御手段、として機能させる表示プログラムである。

本明細書に記載の表示方法は、複数の選択肢を表示する表示手段上での、ユーザの手又は指の動きを検知して、手又は指の位置情報を取得する取得工程と、前記取得工程で取得された手又は指の位置情報から手又は指が一定時間以上動いていて、かつ選択肢の選択が行われていないと判断すると、前記選択肢と前記選択肢の表示位置とを関連付けて持つデータベースと、前記取得手段が取得した一定時間の手又は指の位置情報とから、前記取得手段が取得した一定時間の手又は指の位置に対応する選択肢を特定し、当該特定された選択肢のうち、ユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で前記表示手段に表示させる表示工程と、をコンピュータが実行することを特徴とする表示方法である。

本明細書に記載の表示装置、表示プログラム及び表示方法によれば、ユーザに迷いが生じた場合でも早急に選択肢の選択を行わせることができるという効果を奏する。

一実施形態に係る表示装置１００の構成を概略的に示すブロック図である。 図２（ａ）は、個人ＤＢを示す図であり、図２（ｂ）は、候補群ＤＢを示す図である。 図３（ａ）は、迷いパターンＤＢを示す図であり、図３（ｂ）は、表示項目ＤＢを示す図である。 図１の表示装置１００による処理を示すフローチャートである。 表示部の画面上に表示されるメニューの一例を示す図である。 ユーザが、選択すべき選択肢を見つけられなかったり、選択すべき選択肢に迷いが生じたときに行う動作の一例を示す図である。 ステップＳ１４のパターンデータの生成処理を示すフローチャートである。 動きパターン生成部により生成されるパターンデータを示す図である。 図９（ａ）、図９（ｂ）は、図４のステップＳ２４の処理を説明するための図である。 指を動かしている範囲を示す図である。 図１１（ａ）、図１１（ｂ）は、図４のステップＳ３４の処理を説明するための図である。 図１２（ａ）、図１２（ｂ）は、図４のステップＳ４２の処理を説明するための図である。 変形例を説明するための図である。

以下、表示装置、表示プログラム及び表示方法の一実施形態について、図１〜図１２に基づいて詳細に説明する。図１には、一実施形態に係る表示装置１００がブロック図にて示されている。この表示装置１００は、ＡＴＭなどの無人端末に設けられ、人（ユーザ）に対して、情報の提供や、当該情報のメニューの表示を行う。また、表示装置１００は、ユーザからの入力、例えばメニュー選択など、を受け付けるものである。

表示装置１００は、図１に示すように、表示手段としての表示部１０と、ユーザ情報取得手段としての個人ＩＤ取得部１２と、取得手段としてのカメラ１４と、判別部１６と、表示制御手段としての表示制御部１８と、記憶手段としてのデータ蓄積部２０と、を備える。これら各部は、通信配線４０により接続され、当該通信配線４０を介して、各部間で各種データのやり取りを行ったり、制御信号を送ったりすることが可能となっている。

表示部１０は、タッチパネル機能を有するディスプレイである。すなわち、表示部１０は、情報や当該情報のメニューなどを表示する機能と、ユーザによるメニューの選択を受け付ける入力インタフェースとしての機能と、を有している。個人ＩＤ取得部１２は、ユーザが保有するカード（ＡＴＭで使用するキャッシュカードなど）から、ユーザの個人ＩＤを取得するカードリーダである。カメラ１４は、その視野内に、表示部１０の画面全体が収まるように設定されており、表示部１０の画面上でタッチパネルを操作するユーザの指の動きを撮影する。

判別部１６は、動き検出部２２と、動きパターン生成部２４と、迷い判別部２６と、を有する。動き検出部２２と動きパターン生成部２４とを少なくとも含んで、取得手段が実現されている。動き検出部２２は、カメラ１４で撮影された映像から、ユーザの指の位置情報を検出する。この動き検出部２２では、ユーザの指の位置情報をリアルタイム計測するため、指の動きを検出しているとも言える。動きパターン生成部２４は、動き検出部２２で検出したユーザの指の位置情報（動き）のパターンデータを生成する。迷い判別部２６は、動きパターン生成部２４にて生成されたパターンデータと、予め用意されている迷いパターン（軌跡）と、からユーザの迷いを判別する。

表示制御部１８は、表示部１０の表示処理を統括的に制御する。例えば、表示制御部１８は、迷い判別部２６による迷い判別結果、個人ＩＤ及び過去の操作履歴などから、表示すべきメニュー（選択肢）の候補群を選択し、表示部１０に対して当該選択肢を表示させる。

データ蓄積部２０は、個人ＤＢ３０と、候補群ＤＢ３２と、迷いパターンＤＢ３４と、表示項目ＤＢ３６と、を有する。個人ＤＢ３０は、図２（ａ）に示すように、ユーザ名、個人ＩＤ、識別番号、操作パターン、及びメニューの選択情報（操作履歴）を蓄積する。操作パターンは、ある項目を選択したときに行った指の動きを意味する。操作パターンそれぞれには、識別番号が付与されている。なお、識別番号については後述する。候補群ＤＢ３２は、メニューに表示すべき選択肢の候補の一覧（候補群）を蓄積する。例えば、候補群ＤＢ３２には、図２（ｂ）に示すように、ユーザの個人ＩＤに対応して、当該ユーザが頻繁に選択する選択肢を、候補群として蓄積しておく。ここで、「頻繁に選択する選択肢」とは、予め定めておいた回数以上選択が行われた選択肢であるものとする。また、全ユーザが頻繁に選択する選択肢についても、全ユーザに関する候補群として格納しておく（図２（ｂ）の最下段参照）。これら各候補群は、個人ＤＢ３０に蓄積された操作履歴などを用いて随時更新される。

迷いパターンＤＢ３４は、図３（ａ）に示すように、人の迷いパターン情報を蓄積する。迷いパターンは、図２（ａ）の操作パターンのうち、メニュー項目の選択に一定時間以上時間がかかった場合の操作パターンを意味する。なお、迷いパターンＤＢ３４には、各ユーザの個別の迷いパターンと、一般的なユーザの迷いパターン（図３（ａ）参照）が蓄積される。一般的なユーザの迷いパターンとしては、各ユーザ個別の迷いパターンを平均したパターンなどを用いることができる。また、迷いパターンＤＢ３４には、過去に各迷いパターンの指の動きがユーザによってなされた後にユーザによって選択された回数の多い選択肢が、各迷いパターン（及び各迷いパターンに対応する個人ＩＤ）に対応付けられて格納されている。表示項目ＤＢ３６には、図３（ｂ）に示すように、メニューに表示する項目の表示位置が、左上座標と、右下座標とにより定義されている。

次に、本実施形態の表示装置１００による処理について、図４のフローチャートに沿って、かつその他の図面を適宜参照しつつ、説明する。なお、前提として、表示部１０の画面上には、表示制御部１８の指示の下、図３（ｂ）の表示項目ＤＢ３６に基づいて、図５に示すようなメニューが表示されているものとする。

まず、図４のステップＳ１０では、個人ＩＤ取得部１２が、ユーザから個人ＩＤが入力されたか否かを判断する。このステップＳ１０では、ユーザが保有するカードが、個人ＩＤ取得部１２が読み取り可能な位置まで挿入（又は配置）され、個人ＩＤ取得部１２が、個人ＩＤを読み取れた段階で判断が肯定され、ステップＳ１２に移行する。ステップＳ１２では、個人ＩＤ取得部１２が、個人ＤＢ３０を参照して個人ＩＤの認証を行うことで、ユーザを特定する。

次いで、ステップＳ１４では、カメラ１４により撮影された画像を用いて、動き検出部２２が、指の動き（指の位置情報）を検出する。ここで、ユーザは、自己が選択すべき選択肢を見つけられなかったり、選択すべき選択肢に迷いが生じたときには、画面上で、図６に示すような動作を行うのが一般的である。そこで、動き検出部２２は、このようなユーザの指の動きを検出する。本実施形態においては、動き検出部２２は、予め用意しておいた指（例えば、人差し指）の画像（サンプル画像）を用いて、カメラ１４において取得された画像中からパターンマッチング法により指の位置情報を特定する。また、位置情報をリアルタイム計測することで指の動きを特定する。なお、指のサンプル画像としては、複数人の人差し指の平均的な画像を採用しても良い。また、ユーザが表示装置１００を最初に使用するときに、人差し指のサンプル画像を取得しておき、ユーザごとにサンプル画像を使い分けることとしても良い。これにより、パターンマッチングにおける精度を向上することができる。

更に、ステップＳ１４では、上記指の動き検出以外に、動きパターン生成部２４が、動き検出部２２により検出された指の動きから、パターンデータを生成する。このパターンデータの生成は、図７に示すフローチャートに沿って実行される。

まず、動きパターン生成部２４は、ステップＳ１１０において、個人ＩＤ取得部１２で取得された個人ＩＤを読み出す。次いで、ステップＳ１１２では、個人ＩＤと日時を組み合わせた識別番号を生成する。具体的には、個人ＩＤが「ＸＸＸＸＸ」で、日時が例えば「２００９年１１月２日１０時３０分」であれば、識別番号としては、「ＸＸＸＸＸ０９１１０２１０３０」となる。

次いで、動きパターン生成部２４は、ステップＳ１１４において、変数ｉを０に設定する。次いで、動きパターン生成部２４は、ステップＳ１１６において、動き検出部２２で取得されたユーザの指の動きから、Ｐｉ（ｘｉ，ｙｉ）（ここでは、Ｐ０（ｘ０，ｙ０））を取得する。

次いで、動きパターン生成部２４は、ステップＳ１１８において、指の動きが止まったか否かを判断する。ここでは、Ｐｉ（ｘｉ，ｙｉ）と、Ｐ（ｉ−１）（ｘ（ｉ−１），ｙ（ｉ−１））との距離が、所定値（τ）以下である状態が、所定のサンプル回数継続した場合に、指の動きが止まったと判断する。なお、例えばサンプル回数が１０回であり、サンプル間隔が１００ｍ秒であれば、τが次式（１）を満たさない状態が１秒間継続したときに、ステップＳ１１８の判断が否定される。ステップＳ１１８の判断が否定された場合には、ステップＳ１２０に移行する。
τ＞{（ｘｉ−ｘ（ｉ−１））²＋（ｙｉ−ｙ（ｉ−１））²}^1/2 …（１）

次いで、動きパターン生成部２４は、ステップＳ１２０において、ｉを１インクリメント（ｉ←ｉ＋１）し、ステップＳ１１６に戻る。これ以降は、指の動きが止まるまで、ステップＳ１１６、Ｓ１１８、Ｓ１２０の処理、判断を一定の間隔で繰り返す。この繰り返し処理の結果、図８に示すようなＸＹ座標を取得することができる。本実施形態では、動きパターン生成部２４は、これらＸＹ座標の時系列データをパターンデータとし、ステップＳ１２２において、識別番号と対応付けられて、不図示のメモリ等に格納される。なお、本実施形態では、図８において、ｉ＝０の座標データをパターンデータに含めていない。これは、ｉ＝０からｉ＝１の間には、ユーザの迷いにかかわらず、指が大きく動くことが多く、パターンデータとしては適さないおそれがあるからである。ただし、これに限らず、ｉ＝０のデータを、パターンデータに含めることとしても良い。

なお、図７の処理においては、表示部１０からユーザの指が離れたり、指が大きく移動した場合については特に言及をしていないが、このような場合には、それまでのデータを破棄して、新たなデータを取得することとしても良い。表示部１０からユーザの指が離れた場合としては、ユーザの指の位置を取得できなくなった場合が挙げられる。また、指が大きく移動した場合としては、ＰｉとＰ（ｉ−１）との距離が、所定距離（例えば、表示部１０の画面の対角線長さの１／４以上など）となった場合が挙げられる。

図４に戻り、ステップＳ１６では、迷い判別部２６が、ステップＳ１４で生成されたパターンデータに基づいて、指が一定時間動いているか否かを判断する。ここでの判断が肯定された場合には、ステップＳ３０に移行するが、否定された場合には、ステップＳ１８に移行する。ステップＳ１８に移行する場合、ユーザは、メニュー選択に然程迷っていない場合であるといえる。

ステップＳ１８では、表示制御部１８が、所定時間内にユーザによりメニュー選択がされたか否かを判断する。ここでの判断が肯定された場合、すなわちユーザがメニュー選択を行った場合には、表示制御部１８は、ステップＳ２０において、現ユーザの個人ＩＤ、取得された操作パターン及びメニュー選択情報を、識別番号とともに個人ＤＢ３０に蓄積する。なお、表示制御部１８は、個人ＤＢ３０に蓄積された選択情報を用いて、候補群ＤＢ３２に格納されている選択肢の候補群を更新する。

次いで、ステップＳ２２では、表示制御部１８が、ユーザによって選択された情報を画面上に表示する。その後は、画面上に新たに表示された情報等に対するユーザの操作が行われることになる。

一方、ステップＳ１８の判断が否定された場合、すなわち、未だメニュー選択がなされていない場合には、ステップＳ２４に移行する。ステップＳ２４では、表示制御部１８が、個人ＤＢ３０を参照して、ステップＳ１２において特定されたユーザ、すなわち現ユーザによる過去のメニュー操作回数が、一定数以下か否かを判断する。ここでの判断が否定された場合（一定数以上であった場合）には、候補群ＤＢ３２の中から、現ユーザが過去に多く選択していた候補群を選択し、当該候補群を他の選択肢とは異なる状態で表示する。具体的には、図５に示す全てのメニューのうち、現ユーザが頻繁に選択する候補群を、例えば、図９（ａ）に示すように、目立つように表示する。なお、図９（ａ）では、図２（ｂ）における、個人ＩＤ「ＸＸＸＸ１」のユーザの候補群を目立つように表示した例を示している。なお、表示方法としては、これに限られるものではなく、図９（ｂ）に示すように、候補群のみを拡大して表示することとしても良い。その後は、ステップＳ１４に戻る。

一方、ステップＳ２４の判断が肯定されると、ステップＳ２８に移行する。ステップＳ２８では、表示制御部１８がメニューに含まれる選択肢の中から、全ユーザが頻繁に選択する候補群を表示する。具体的には、表示制御部１８は、ステップＳ２８を行う前の段階で候補群ＤＢ３２に既に蓄積されている、全ユーザが頻繁に選択する複数の選択肢の候補群（図２（ｂ）の最下段）を読み出し、当該候補群を、図９（ａ）や図９（ｂ）と同様の方法で表示する。その後は、ステップＳ１４に戻る。

これに対し、図４のステップＳ１６の判断が肯定された場合、すなわち、指が一定時間以上動いていた場合には、ステップＳ３０に移行する。このようにステップＳ３０に移行する場合は、ユーザがメニュー選択に迷っている場合であるといえる。

ステップＳ３０では、表示制御部１８が、所定時間内に、ユーザによりメニュー選択がされたか否かを判断する。ここでの判断が肯定された場合には、表示制御部１８は、ステップＳ２０、Ｓ２２を上述したのと同様にして実行する。一方、ステップＳ３０の判断が否定された場合には、ステップＳ３２に移行する。

ステップＳ３２では、表示制御部１８が、個人ＤＢ３０を参照して、ユーザによるメニュー操作回数が一定数以下か否かを判断する。ここでの判断が肯定される場合とは、現ユーザは、過去にあまり操作を行っていない、すなわち操作履歴がデータ蓄積部２０にあまり蓄積されていないことを意味する。この場合には、ステップＳ３４において、表示制御部１８が、ステップＳ１４で取得されたパターンデータと、迷いパターンＤＢ３４に格納されている複数の迷いパターンと、を比較する。なお、この場合の迷いパターンは、迷いパターンＤＢ３４に格納されている一般的なユーザの迷いパターン（図３（ａ）参照）である。ここでの比較は、動きのパターンの２次元時系列データ（パターンデータ）と蓄積データ列との相関を取ることにより行われる。そして、表示制御部１８は、複数の一般的なユーザの迷いパターンの中から、パターンデータと共通する（同一又は近似する）迷いパターンを特定する。また、表示制御部１８は、表示部１０に対して、特定された迷いパターンに対応する表示を行わせる。具体的には、表示制御部１８は、（ｉ）ステップＳ１４で生成されたパターンデータと、図３（ｂ）に示す表示項目ＤＢの座標値と、に基づいて、指を動かしている範囲に含まれる選択肢のみを、表示部１０に拡大表示させる。そして、（ｉｉ）その拡大表示した選択肢のうち、候補群ＤＢ３２に迷いパターンに対応して格納されている候補群を、他の選択肢とは異なる態様で、表示部１０に表示させる。

上記(ｉ)においては、図８のパターンデータが生成された場合に、図１０に示すように、表示部１０の直交座標系（ＸＹ座標系）上でパターンデータがとりうるＸ、Ｙ座標の最大値（xmax,ymax）及び最小値（xmin，ymin）を取得する。そして、それぞれの最大値と最小値とで規定される範囲（パターンデータの存在範囲）に少なくとも一部が含まれる選択肢を、図３（ｂ）の座標値から導き出し、当該選択肢を表示部１０に拡大表示させる。図１１（ａ）には、表示部１０における拡大表示状態が示されている。そして、上記（ｉｉ）では、表示制御部１８が、図１１（ｂ）に示すように、迷いパターンに対応して迷いパターンＤＢ３４に格納されている選択肢の候補群を、他の選択肢とは異なる色などで目立つように表示する。上記のようにしてステップＳ３４の処理が完了すると、ステップＳ１４に戻る。

一方、ステップＳ３２の判断が否定された場合には、ステップＳ３６に移行する。ステップＳ３６では、表示制御部１８が、迷いパターンＤＢ３４に格納されている現ユーザの過去の迷いパターンと、今回のパターンとを比較する。次いで、ステップＳ３８では、表示制御部１８が、個人ＤＢ３０を参照して、以前操作したメニュー付近か否かを判断する。ここでの判断が否定された場合には、ステップＳ４０に移行し、肯定された場合には、ステップＳ４２に移行する。

ステップＳ４０に移行した場合、表示制御部１８は、現ユーザの操作履歴のうち、操作頻度が少ない選択肢を候補群として生成し、表示部１０に表示する。

一方、ステップＳ４２に移行した場合、表示制御部１８は、現ユーザの操作履歴のうちで、以前操作した選択肢を入れた候補群を生成し表示する。具体的には、図１０に示すようにパターンデータの存在範囲を規定した後、図１２（ａ）に示すようにパターンデータの存在範囲に含まれる選択肢を、図３（ｂ）の座標値から導き出して表示部１０に拡大表示させる。そして、現ユーザにより多く選択されている選択肢を迷いパターンＤＢ３４から読み出して、図１２（ｂ）に示すように他の選択肢とは異なる態様で表示部１０に表示させる。

上記のようにしてステップＳ４０又はＳ４２の処理が完了すると、ステップＳ１４に戻る。ステップＳ２６，Ｓ２８，Ｓ３４，Ｓ４０，Ｓ４２のいずれかを経て、ステップＳ１４に移行すると、以降は、上記と同様の処理を実行する。

なお、ステップＳ１４に戻った後に行われるステップＳ２２では、表示部１０上でメニューが拡大表示されていたり、特定の選択肢が他の選択肢と異なる態様で表示されている状態で、ユーザにより選択肢が選択される場合がある。このような場合には、表示制御部１８は、一旦メニューを最初の状態（図５の状態）に戻した後に、次の画面に切り替えることとする。このようにするのは、選択したメニューが実際にはどの位置に有ったのかを、ユーザに意識させるためである。ただし、これに限られるものではなく、最初の状態に戻すことなく次の画面に切り替えることとしても良い。

以上、詳細に説明したように、本実施形態によると、動きパターン生成部２４が、表示部１０上でのユーザの指の位置情報を検知して、指の動きのパターンデータを生成し、表示制御部１８が、指の動きのパターンデータ（指の位置情報）から指が一定時間以上動いていて、かつ選択肢の選択が行われていないと判断すると、選択肢と選択肢の表示位置とを関連付けて持つ表示項目ＤＢ３６と、パターンデータ（一定時間の指の位置情報）とから、一定時間の指の位置に対応する選択肢を特定し、当該特定された選択肢のうち、ユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で表示部１０に表示させる。このように、ユーザが選択肢を選択せずに指を一定時間以上動かしている場合、表示部１０には、ユーザの指の移動範囲に対応する選択肢のうち、ユーザにより選択される可能性の高い選択肢が他の選択肢とは異なる態様で表示されるので、ユーザに迷いが生じた場合でも、ユーザによる選択肢の選択を支援し、選択を早急に行わせることができるようになる。

また、本実施形態では、個人ＩＤ取得部１２は、ユーザを特定する個人ＩＤを取得し、候補群ＤＢ３２には、当該個人ＩＤと、個人ＩＤにより特定されるユーザが過去に選択した選択肢と、が対応付けられて記憶されている。そして、表示制御部１８が、個人ＩＤにより特定されるユーザが過去に選択した選択肢のうち、一定時間の指の位置に対応する選択肢、すなわちパターンデータの存在範囲に含まれる選択肢を、他の選択肢とは異なる態様で表示部１０に表示させる。一般的に、ユーザは、過去に表示装置１００を操作した経験があれば、以前に選択した選択肢が、表示部１０の画面上のどの辺りに存在していたかを大まかに覚えていることが多い。このような場合、ユーザは、過去に選択した選択肢の近傍で指を動かして迷うような動作をすることが多い。したがって、一定時間の指の位置に対応する選択肢、すなわち、指の動きのパターンデータの存在範囲に含まれる選択肢のうち、過去に表示装置１００を操作した経験のあるユーザにより選択された選択肢を他の選択肢とは異なる態様で表示することで、ユーザは過去に選択したのと同一の選択肢を選択する場合の選択を支援することができる。これにより、ユーザに選択を早急に行わせることができるようになる。

また、本実施形態では、個人ＩＤ取得部１２が取得した個人ＩＤに対応する選択肢が、候補群ＤＢ３２にないとき、すなわち、現ユーザが表示装置１００を使用した履歴がないときに、表示制御部１８は、不特定のユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で表示部１０に表示させる。ここで、一般的には、ユーザが、過去に表示装置１００を操作したことが無ければ、表示部１０の画面全体から選択肢を探すために、指を画面の広い範囲にわたって動かすことが多い。このような場合でも、当該広い範囲内で、ユーザにより選択される可能性が高い選択肢（例えば、全ユーザにより頻繁に選択される選択肢）を他の選択肢とは異なる態様で表示することで、ユーザは、早期に選択肢を選択することができるようになる。

また、本実施形態では、表示制御部１８は、動きパターン生成部２４において生成された指の動きのパターンデータの存在範囲を、表示部１０に拡大表示させる。これにより、ユーザによる選択肢の選択を支援し、選択を早急に行わせることができるようになる。

なお、上記実施形態では、動き検出部２２が、ユーザの人差し指の動きを検出し、動きパターン生成部２４が、人差し指の動きのパターンデータを生成する場合について説明したが、これに限られるものではない。例えば、ユーザの他の指の動きや、手の動きを検出し、当該動きのパターンを生成することとしても良い。

なお、上記実施形態では、カメラ１４を用いて指の動きを検出する場合について説明したが、これに限らず、その他の装置（モーションキャプチャーやサーモグラフィックカメラなど）を用いて指の動きを検出することとしても良い。

なお、上記実施形態では、個人ＩＤ取得部１２が、ユーザが保有するカードから、ユーザの個人ＩＤを取得するカードリーダである場合について説明したが、これに限られるものではない。個人ＩＤ取得部１２は、指紋、腕の静脈、顔、網膜などから個人ＩＤを特定する生体認証装置であっても良いし、ユーザがキーボードなどを用いて直接入力した個人ＩＤを取得可能な装置であっても良い。

なお、上記実施形態では、図４の処理を行うか行わないかの切り替えをユーザが行えるようにしても良い。具体的には、表示部１０の画面上等に、拡大表示や候補群の表示を行うか否かをユーザに選択させるボタンを設けることとしても良い。

なお、上記実施形態では、拡大表示と候補群の表示を行う場合について説明したが、これに限られるものではない。例えば、候補群のみを表示した画面を、全選択肢が表示されている画面上にオーバーラップさせて表示することとしても良い。

なお、上記実施形態では、表示装置１００の現ユーザに合わせて、選択肢の候補群を表示する場合について説明したが、これに限られるものではない。例えば、候補群ＤＢ３２に、ユーザが実際に選択した選択肢と、その選択した日時と、を記憶しておき、選択した時期（例えば、週末や月末など）ごとに実際に選択した選択肢をグループ分けしておいても良い。この場合、例えば、月初めに引き出しを頻繁に行うとともに月末に入金を頻繁に行うユーザが、月末にＡＴＭを利用する際には「入金」の選択肢を目立つように表示することができる。なお、選択した時期は、図２（ａ）の個人ＤＢ３０に示す識別番号で管理しても良い。なお、

なお、図２（ａ）〜図３（ｂ）のデータベースの構成は一例であって、当該構成に限定されるものではない。データベースの構成は、制御に用いるデータの種別にあわせて適宜変更可能である。

なお、上記実施形態では、所定時間ごとに指の位置を検知し、当該位置情報に基づいて動きのパターンデータを生成する場合について説明したが、これに限られるものではない。例えば、指のオプティカルフロー（動き方向検出）を行って、その動き方向の時系列データに基づいて、動きのパターンデータを生成することとしても良い。

なお、上記実施形態では、ステップＳ１６において、指が一定時間動いている場合に、ユーザが迷っていると判断する場合について説明したが、これに限られるものではない。例えば、ステップＳ１６においては、ユーザの視線の動きを検知して、視線が定まっていない場合に、ユーザが迷っていると判断することとしても良い。また、指の動きと視線の動きの両方から、ユーザが迷っていると判断することとしても良い。

なお、上記実施形態では、表示部１０の画面上で、選択される可能性の高い選択肢を目立たせる場合について説明したが、これに限られるものではない。例えば、棚に置かれた物体（部品や本など）についても、適用することができる。具体的には、図１３（ａ）に示すように、部品を収納する箱６０が整列された棚５０の近傍に、カメラ１４を設けるとともに、表示手段としてのスポットライト１０’を設ける。このような棚５０の前でも、人は、部品を探すときに指や手を動かす場合がある。この場合、カメラ１４により取得した画像から指や手の動きのパターンデータを取得することで、ユーザの迷いを検出することができる。また、迷いパターンの存在範囲やユーザの個人ＩＤなどを用いることで、上記実施形態と同様に、ユーザが選択する可能性の高い選択肢（箱６０）を特定することができる。したがって、ユーザが選択する可能性の高い選択肢（箱６０）をスポットライト１０’で照明（表示）することで、ユーザは、必要とする部品の入った箱６０を早急に探すことが可能となる。

なお、図１３（ａ）では、表示手段としてスポットライトを用いた場合について説明したが、これに限らず、図１３（ｂ）に示すように、各箱６０の配置位置に対応して、ＬＥＤなどの表示手段１０”を設けることとしても良い。この場合、表示手段１０”により、図１３（ａ）のスポットライト１０’と同様に、ユーザが選択する可能性の高い選択肢（箱６０）の位置を表示することができる。これにより、ユーザは、必要とする部品の入った箱６０を早急に探すことが可能となる。

なお、上記実施形態の表示装置１００では、迷いパターンＤＢ３４に格納されているユーザの指や手の動きのパターンデータの固有の特徴が、同一ユーザにより実際に行われた指や手の動きパターンの特徴点と一致しなかった場合に、警告を発する警告装置を備えていても良い。この場合、警告装置は、パターンデータの固有の特徴点と、実際のパターンデータの特徴点との相関を取り、相関が低い場合に警告を発するようにすれば良い。なお、これに限らず、警告装置は、以前の手や指の動きから、次に動く地点の確率を推定し、実際に手や指が移動した地点の確率が小さい場合に、警告を発することとしても良い。

なお、上記実施形態では、本件の表示プログラムが、ＡＴＭに設置された表示装置１００内に組み込まれ、図１の各部の各機能を実現する。しかしながら、これに限らず、例えば、インターネット等の通信網に接続されたサーバコンピュータを本件の表示制御手段とし、これに接続されたパーソナルコンピュータ等の通信装置が有する表示部に、メニュー表示を行うサービスをサーバコンピュータから提供するようにしても良い（ＡＳＰ(Application Service Provider)）。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

なお、以上の説明に関して更に以下の付記を開示する。
（付記１） 複数の選択肢を表示する表示手段と、ユーザの手又は指の動きを検知して、前記表示手段上で動かされた手又は指の位置情報を取得する取得手段と、前記取得手段が取得した手又は指の位置情報から手又は指が一定時間以上動いていて、かつ選択肢の選択が行われていないと判断すると、前記選択肢と前記選択肢の表示位置とを関連付けて持つデータベースと、前記取得手段が取得した一定時間の手又は指の位置情報とから、前記取得手段が取得した一定時間の手又は指の位置に対応する選択肢を特定し、当該特定された選択肢のうち、ユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で前記表示手段に表示させる表示制御手段と、を備える表示装置。
（付記２） 前記ユーザを特定するユーザ特定情報を取得するユーザ特定情報取得手段と、前記ユーザ特定情報と、当該ユーザ特定情報により特定されるユーザが過去に選択した選択肢と、を対応付けて記憶する記憶手段と、を更に備え、前記表示制御手段は、前記ユーザ特定情報により特定されるユーザが過去に選択した選択肢のうち、前記一定時間の手又は指の位置に対応する選択肢を、他の選択肢とは異なる態様で前記表示手段に表示させることを特徴とする付記１に記載の表示装置。
（付記３） 前記記憶手段は、前記ユーザ特定情報と、当該ユーザ特定情報により特定されるユーザが迷っているときに実行する手又は指の動きのパターンである迷いパターンと、当該迷いパターンの後に選択した選択肢と、を対応付けて記憶し、前記表示制御手段は、前記一定時間の手又は指の位置と予め定められている迷いパターンとを比較して、共通する場合には、前記迷いパターンに対応する選択肢を前記表示手段に表示させることを特徴とする付記２に記載の表示装置。
（付記４） 前記ユーザ特定情報取得手段が取得したユーザ特定情報に対応する選択肢が、前記記憶手段に記憶されていないときに、前記表示制御手段は、不特定のユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で前記表示手段に表示させることを特徴とする請求項２に記載の表示装置。
（付記５） 前記表示制御手段は、前記取得手段により取得された、前記ユーザが手又は指を動かしている範囲を、前記表示手段に拡大表示させることを特徴とする付記１〜４のいずれかに記載の表示装置。
（付記６） コンピュータを、複数の選択肢を表示する表示手段上での、ユーザの手又は指の動きを検知して、手又は指の位置情報を取得する取得手段、及び前記取得手段が取得した手又は指の位置情報から手又は指が一定時間以上動いていて、かつ選択肢の選択が行われていないと判断すると、前記選択肢と前記選択肢の表示位置とを関連付けて持つデータベースと、前記取得手段が取得した一定時間の手又は指の位置情報とから、前記取得手段が取得した一定時間の手又は指の位置に対応する選択肢を特定し、当該特定された選択肢のうち、ユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で前記表示手段に表示させる表示制御手段、として機能させる表示プログラム。
（付記７） 前記コンピュータを、前記ユーザを特定するユーザ特定情報を取得するユーザ特定情報取得手段、前記ユーザ特定情報と、当該ユーザ特定情報により特定されるユーザが過去に選択した選択肢と、を対応付けて記憶する記憶手段、として更に機能させ、前記表示制御手段は、前記ユーザ特定情報により特定されるユーザが過去に選択した選択肢のうち、前記一定時間の手又は指の位置に対応する選択肢を、選択肢を他の選択肢とは異なる態様で前記表示手段に表示させることを特徴とする付記６に記載の表示プログラム。
（付記８） 前記記憶手段は、前記ユーザ特定情報と、当該ユーザ特定情報により特定されるユーザが迷っているときに実行する手又は指の動きのパターンである迷いパターンと、当該迷いパターンの後に選択した選択肢と、を対応付けて記憶し、前記表示制御手段は、前記一定時間の手又は指の位置と予め定められている迷いパターンとを比較し、これらが共通する場合には、前記迷いパターンに対応する選択肢を前記表示手段に表示させることを特徴とする付記７に記載の表示プログラム。
（付記９） 前記ユーザ特定情報取得手段が取得したユーザ特定情報に対応する選択肢が、前記記憶手段に記憶されていないときに、前記表示制御手段は、不特定のユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で前記表示手段に表示させることを特徴とする付記７に記載の表示プログラム。
（付記１０） 前記表示制御手段は、前記取得手段により取得された、前記ユーザが手又は指を動かしている範囲を、前記表示手段に拡大表示させることを特徴とする付記６〜９のいずれかに記載の表示プログラム。
（付記１１） 複数の選択肢を表示する表示手段上での、ユーザの手又は指の動きを検知して、手又は指の位置情報を取得する取得工程と、前記取得工程で取得された手又は指の位置情報から手又は指が一定時間以上動いていて、かつ選択肢の選択が行われていないと判断すると、前記選択肢と前記選択肢の表示位置とを関連付けて持つデータベースと、前記取得手段が取得した一定時間の手又は指の位置情報とから、前記取得手段が取得した一定時間の手又は指の位置に対応する選択肢を特定し、当該特定された選択肢のうち、ユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で前記表示手段に表示させる表示工程と、をコンピュータが実行することを特徴とする表示方法。
（付記１２） 前記ユーザを特定するユーザ特定情報を取得するユーザ特定情報取得工程と、前記ユーザ特定情報と、当該ユーザ特定情報により特定されるユーザが過去に選択した選択肢と、を対応付けて記憶する記憶工程と、を更に含み、前記表示制御工程では、前記ユーザ特定情報により特定されるユーザが過去に選択した選択肢のうち、前記一定時間の手又は指の位置に対応する選択肢を、他の選択肢とは異なる態様で前記表示手段に表示させることを特徴とする付記１１に記載の表示方法。
（付記１３） 前記記憶工程では、前記ユーザ特定情報と、当該ユーザ特定情報により特定されるユーザが迷っているときに実行する手又は指の動きのパターンである迷いパターンと、当該迷いパターンの後に選択した選択肢と、を対応付けて記憶し、前記表示制御工程では、前記一定時間の手又は指の位置と予め定められている迷いパターンとを比較し、これらが共通する場合には、前記迷いパターンに対応する選択肢を前記表示手段に表示させることを特徴とする付記１２に記載の表示装置。
（付記１４） 前記ユーザ特定情報取得手段が取得したユーザ特定情報に対応する選択肢が、前記記憶手段に記憶されていないときに、前記表示制御工程では、不特定のユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で前記表示手段に表示させることを特徴とする付記１２に記載の表示方法。
（付記１５） 前記表示制御工程では、前記取得手段により取得された、前記ユーザが手又は指を動かしている範囲を、前記表示手段に拡大表示させることを特徴とする付記１１〜１４のいずれかに記載の表示方法。

１０ 表示部（表示手段）
１２ 個人ＩＤ取得部（ユーザ情報取得手段）
１４ カメラ（取得手段）
１８ 表示制御部（表示制御手段）
２２ 動き検出部（取得手段の一部）
２４ 動きパターン生成部（取得手段の一部）
３０ データ蓄積部（記憶手段）

Claims (7)

1. 複数の選択肢を表示する表示手段と、
   ユーザの手又は指の動きを検知して、前記表示手段上で動かされた手又は指の位置情報を取得する取得手段と、
   前記取得手段が取得した手又は指の位置情報から手又は指が一定時間以上動いていて、かつ選択肢の選択が行われていないと判断すると、前記選択肢と前記選択肢の表示位置とを関連付けて持つデータベースと、前記取得手段が取得した一定時間の手又は指の位置情報とから、前記取得手段が取得した一定時間の手又は指の位置に対応する選択肢を特定し、当該特定された選択肢のうち、ユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で前記表示手段に表示させる表示制御手段と、を備える表示装置。
2. 前記ユーザを特定するユーザ特定情報を取得するユーザ特定情報取得手段と、
   前記ユーザ特定情報と、当該ユーザ特定情報により特定されるユーザが過去に選択した選択肢と、を対応付けて記憶する記憶手段と、を更に備え、
   前記表示制御手段は、前記ユーザ特定情報により特定されるユーザが過去に選択した選択肢のうち、前記一定時間の手又は指の位置に対応する選択肢を、他の選択肢とは異なる態様で前記表示手段に表示させることを特徴とする請求項１に記載の表示装置。
3. 前記記憶手段は、前記ユーザ特定情報と、当該ユーザ特定情報により特定されるユーザが迷っているときに実行する手又は指の動きのパターンである迷いパターンと、当該迷いパターンの後に選択した選択肢と、を対応付けて記憶し、
   前記表示制御手段は、前記一定時間の手又は指の位置と予め定められている迷いパターンとを比較して、共通する場合には、前記迷いパターンに対応する選択肢を前記表示手段に表示させることを特徴とする請求項２に記載の表示装置。
4. 前記ユーザ特定情報取得手段が取得したユーザ特定情報に対応する選択肢が、前記記憶手段に記憶されていないときに、
   前記表示制御手段は、不特定のユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で前記表示手段に表示させることを特徴とする請求項２に記載の表示装置。
5. 前記表示制御手段は、前記取得手段により取得された、前記ユーザが手又は指を動かしている範囲を、前記表示手段に拡大表示させることを特徴とする請求項１〜４のいずれか一項に記載の表示装置。
6. コンピュータを、
   複数の選択肢を表示する表示手段上での、ユーザの手又は指の動きを検知して、手又は指の位置情報を取得する取得手段、及び
   前記取得手段が取得した手又は指の位置情報から手又は指が一定時間以上動いていて、かつ選択肢の選択が行われていないと判断すると、前記選択肢と前記選択肢の表示位置とを関連付けて持つデータベースと、前記取得手段が取得した一定時間の手又は指の位置情報とから、前記取得手段が取得した一定時間の手又は指の位置に対応する選択肢を特定し、当該特定された選択肢のうち、ユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で前記表示手段に表示させる表示制御手段、として機能させる表示プログラム。
7. 複数の選択肢を表示する表示手段上での、ユーザの手又は指の動きを検知して、手又は指の位置情報を取得する取得工程と、
   前記取得工程で取得された手又は指の位置情報から手又は指が一定時間以上動いていて、かつ選択肢の選択が行われていないと判断すると、前記選択肢と前記選択肢の表示位置とを関連付けて持つデータベースと、前記取得手段が取得した一定時間の手又は指の位置情報とから、前記取得手段が取得した一定時間の手又は指の位置に対応する選択肢を特定し、当該特定された選択肢のうち、ユーザにより選択される可能性の高い選択肢を他の選択肢とは異なる態様で前記表示手段に表示させる表示工程と、をコンピュータが実行することを特徴とする表示方法。

Images