JP2014109916A - ユーザ操作端末装置、ユーザ操作端末プログラム - Google Patents

Abstract

【課題】ユーザの操作への迷い度を検出し、効果的に操作支援ガイドを提供する。
【解決手段】ユーザによる操作を受け付けるユーザ操作端末装置であって、前記ユーザの画像に基づいて前記ユーザの視線を検出する視線検出手段と、前記検出された視線に基づいて、前記操作が可能な操作可能箇所、及び、前記操作可能箇所のうち次の操作可能箇所を示す操作目標箇所に対する視線箇所情報を生成する視線箇所情報生成手段と、前記視線箇所情報に基づいて、前記操作目標箇所での操作完了までの前記操作目標箇所に対する視線の滞留状態に基づく視線さまよい状態の有無を検出し、前記視線さまよい状態が有る場合は前記ユーザに操作支援ガイドを出力するガイド出力手段と、を有する。
【選択図】図５

Description

本発明は、ユーザ操作端末装置、ユーザ操作端末プログラムに関する。

ユーザ操作端末装置とは、係員によって行われていた機械操作をユーザ自身によって操作させる機械であって、近年、オペレーションコスト削減の要望により導入が進んでいる。ユーザ操作端末装置は、例えば、金融機関のＡＴＭ端末や、スーパーマーケット等のセルフチェックレジ、自動両替機、交通機関の指定席券売機（特急券や座席指定など）、航空機の自動チェックイン機、コンビニなどのチケットの販売等である。このように、生活の様々な場面において、ユーザ操作端末装置が導入される事例が増加している。

ユーザ操作端末装置は、慣れているユーザにとっては、窓口の列に並ぶ必要がなく、簡単な操作で比較的短い時間で目的が達せられるため、利便性が高い。ただし、不慣れなユーザにとっては、操作に時間を要し、係員による操作方法の解説の必要性が生じてしまう。このため、ユーザ操作端末装置を導入した店舗や金融機関、航空会社等では、操作のサポートを行う専任係員を配置することによって、不慣れなユーザに対応していた。しかしながら、オペレーションコスト削減のために、ユーザ操作端末装置を導入する事例が増加していることにより、専任係員を配置するコストが見合わないケースが想定される。そこで、ユーザ操作端末装置の普及のため、専任係員の配置を要することなく、不慣れなユーザへ対応可能なユーザ操作端末装置が求められる。

一般的に、ユーザ操作端末装置では、例えば、操作の種類を端末からユーザに指示し、ユーザの操作の終了を待機する工程を繰り返す。具体的に、例えば、ユーザ操作端末装置は、ユーザに数字の入力を促し、ユーザによる、ユーザタッチパネルからの数字入力の終了を待機する。または、ユーザ操作端末装置は、商品のバーコード入力を促し、ユーザによる、バーコードの読み取りの終了を待機する。

そこで、ユーザ操作端末装置は、例えば、次の方法に従って、ユーザが操作に迷っているか否かを判定しユーザへの操作支援ガイドを提供していた。第１の方法では、例えば、ユーザ操作端末装置は、操作開始時に、ユーザに、不慣れなユーザ向けの詳細ガイドモードと、慣れているユーザ向けのパワーユーザモードを選択させる（非特許文献１）。また、第２の方法では、例えば、ユーザ操作端末装置は、一定時間を経過してもユーザが操作を開始しない場合に、操作支援ガイドを提供する（特許文献１）。具体的に、例えば、ユーザ操作端末装置は、ガイド音声「開始ボタンを押してください」の後、５秒間、操作が行われない場合に、操作支援音声を発生させる。また、ユーザ操作端末装置は、さらに長い時間を経過してもユーザが操作を完了できない場合、専任係員を呼び出す。

特開２００８-２０４４４３号公報

https://www.fureai-net.city.kawasaki.jp/

しかし、第１の方法によると、詳細ガイドモードでは説明が詳し過ぎて、ユーザが操作をまどろっこしく感じたとしても、操作の途中でモード変更できないことがある。一方、パワーユーザモードでは難解過ぎて、ユーザが操作を行えないことがある。また、第２の方法によると、操作に迷っているか否かを時間に基づいて検出するため、不慣れなユーザは、操作支援音声を聞くために、毎回、必ず一定時間待つ必要があった。また、操作支援音声が迅速に開始されないことにより、専任係員のサポートが必要となるケースがあった。

そこで、第１、２の方法のように、平均ユーザを想定したユーザへの操作支援ガイドを行うのではなく、個々のユーザの操作に対する迷い度合いに合わせた操作支援を提供することが求められる。

本発明は、ユーザの操作への迷い度を検出し、効果的に操作支援ガイドを提供するユーザ操作端末装置、ユーザ操作端末プログラムを提供することにある。

第１の側面は、ユーザによる操作を受け付けるユーザ操作端末装置であって、前記ユーザの画像に基づいて前記ユーザの視線を検出する視線検出手段と、前記検出された視線に基づいて、前記操作が可能な操作可能箇所、及び、前記操作可能箇所のうち次の操作可能箇所を示す操作目標箇所に対する視線箇所情報を生成する視線箇所情報生成手段と、前記視線箇所情報に基づいて、前記操作目標箇所での操作完了までの前記操作目標箇所に対する視線の滞留状態に基づく視線さまよい状態の有無を検出し、前記視線さまよい状態が有る場合は前記ユーザに操作支援ガイドを出力するガイド出力手段と、を有する。

第１の側面によれば、ユーザの操作への迷い度を検出し、効果的に操作支援ガイドを提供する。

ユーザ操作端末装置の一例であるセルフチェックレジを示す例図である。 図１に示されるユーザ操作端末装置の構成の一例を示す例図である。 操作可能箇所、及び、操作目標箇所の一例を表す図である。 メッシュ領域に対応する操作可能箇所、操作目標箇所を説明する図である。 視線さまよい状態の有無の第１の検出処理を説明するフローチャート図である。 視線さまよい状態の有無の第２の検出処理を説明するフローチャート図である。 第２の実施の形態例におけるユーザ操作端末装置の視線さまよい状態の有無の検出処理について説明するフローチャート図である。

以下、図面にしたがって本発明の実施の形態について説明する。ただし、本発明の技術的範囲はこれらの実施の形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。

［ユーザ操作端末装置の例］
図１は、ユーザ操作端末装置の一例であるセルフチェックレジ１００を示す例図である。同図において、セルフチェックレジ１００は、例えば、カメラ１０、買い物かご置き場１１、バーコードリーダ１２、１３、タッチパネル１４、精算機１５、袋詰め部１６等を有する。セルフチェックレジ１００は、ユーザに操作を指示した後、指示にしたがってユーザが行った操作の終了を検出し、続いて、次の操作指示を出力する。

例えば、図１のセルフチェックレジ１００の場合を例示する。ユーザは、まず、精算対象の商品の入った買い物カゴを買い物かご置き場１１に置く。このとき、セルフチェックレジ１００のタッチパネル１４に会計開始ボタンが表示されている。そこで、ユーザは、会計開始ボタンを押下し、準備が整ったことをセルフチェックレジ１００に認識させる。続いて、バーコードの読み取りが指示され、ユーザは、買い物カゴから精算する商品を１つずつ取り出し、商品に印刷されたバーコードを、バーコードリーダ１２、１３に読み込ませる。バーコードが読み込まれると、タッチパネル１４に表示された商品の情報を確認し、商品を袋詰め部１６のレジ袋に入れる。バーコードの読み取り処理は、買い物カゴにある全ての精算対象について繰り返される。

そして、全ての商品のバーコードを読み込ませると、ユーザは、タッチパネル１４に表示された精算ボタンを押下する。そこで、セルフチェックレジ１００は、マネーカード、現金、クレジットカードのいずれで支払いを行うかを、タッチパネル上で選択するように指示する。ユーザは、例えば、現金による支払い方法を選択し、現金を精算機１５に投入する。精算終了が通知されると、ユーザは、レシートとお釣りを取り出すと共に、精算済の商品の入ったレジ袋を袋詰め部１６から取り上げる。

このように、ユーザ操作端末装置は、ユーザに操作を指示し、操作の終了を検出するまで待機する。また、一般的に、ユーザ操作端末装置は、タッチパネル１４上のボタンや、バーコードリーダ１２、１３、買い物カゴ置き場１１、袋詰め部１６等、操作対象となる箇所を、複数、有する。このため、ユーザは、複数の操作箇所から、次に操作対象となる箇所を判別し、操作を行う。不慣れなユーザは、次に操作対象となる箇所を判別できず、処理が滞ってしまう。このため、ユーザ操作端末装置は、操作支援ガイドを提供する。

［操作支援ガイド］
操作支援ガイドは、ユーザが操作に迷っている場合に提供される、操作に関する音声や表示等による支援である。操作支援ガイドは、一般的なユーザ操作端末装置によると、ユーザへの操作を指示した後、例えば、一定時間を経過してもユーザが操作を開始しない場合に開始される。このため、一般的なユーザ操作端末装置において、不慣れなユーザは、一定時間待たないと操作支援ガイドの提供を受けることができない。一方、慣れているユーザにとっては、お財布を捜すのに手間取っている場合、一定時間経過すると操作支援ガイドが開始されてしまう。これにより、慣れているユーザは、不要な操作支援ガイドの提供を受け、不快な想いをもつことがあった。

そこで、本実施の形態例におけるユーザ操作端末装置１００は、ユーザの画像に基づいてユーザの視線を検出し、検出された視線に基づいて、操作が可能な操作可能箇所、及び、操作可能箇所のうち次の操作可能箇所を示す操作目標箇所に対する視線箇所情報を生成する。そして、ユーザ操作端末装置１００は、視線箇所情報に基づいて、操作目標箇所への操作完了までの操作目標箇所に対する視線の滞留状態を示す視線さまよい状態の有無を検出し、視線さまよい状態がある場合はユーザに操作支援ガイドを出力する。

即ち、本実施の形態例におけるユーザ操作端末装置１００は、ユーザ操作端末装置１００におけるユーザの視線の滞留状態に基づいて視線のさまよい状態の有無を検出する。これにより、ユーザ操作端末装置１００は、視線のさまよい状態有りと検出されたユーザを対象として、操作支援ガイドを提供することができる。これにより、必要なユーザに対して、必要な操作において、必要なタイミングで操作支援ガイドが提供される。また、視線さまよい状態有りと検出された不慣れなユーザは、一定時間の待機すること無く、操作支援ガイドの提供を受けることができる。一方、視線さまよい状態無しと判定された、慣れているユーザにとっては、操作に迷っていないにもかかわらず、操作支援ガイドが誤って提供されることが回避される。

続いて、本実施の形態例におけるユーザ操作端末装置１００の構成について説明する。

［ユーザ操作端末装置の構成例］
図２は、図１に示されるユーザ操作端末装置１００の構成の一例を示す例図である。同図において、ユーザ操作端末装置１００は、例えば、ＣＰＵ（Central Processing Unit）２１、ディスプレイ２２、カメラ２３、スピーカ２４、メモリ２５、バーコード読み取り装置２６、タッチパネル２７、紙幣・貨幣受出装置２８、ハードディスク２９を有する。

カメラ２３は、例えば、図１のユーザ操作端末装置１００におけるカメラ１０のように、ユーザの視線を検知可能な位置に設置され、操作を行うユーザの画像データを生成する。ディスプレイ２２は、例えば、操作指示や、バーコードが読み込まれた商品の情報を表示し、タッチパネル２７は、図１のタッチパネル１４に対応し、例えば、ボタンの押下等によるユーザの操作を受け付ける。スピーカ２４は、ユーザへの操作指示や操作支援ガイド等を出力する。バーコード読み取り装置２６は、商品のバーコードを読み取り、商品情報に変換する。紙幣・貨幣受出装置２８は、ユーザからの支払いを受け付けると共に、お釣りやレシート等の出力を行う。ハードディスク２９は、ユーザ操作端末装置１００全体の制御に係る情報を記憶する。また、メモリ２５は、例えば、本実施の形態例におけるユーザ操作端末処理を行うプログラムＰＲ等を記憶する。

本実施の形態例におけるユーザ操作端末処理のプログラムＰＲは、ＣＰＵ２１と協働し、カメラ２３によって生成されたユーザの画像に基づいてユーザの視線を検出すると共に視線箇所情報を生成する。そして、ユーザ操作端末処理のプログラムＰＲは、視線箇所情報に基づいて視線さまよい状態の有無を検出し、視線さまよい状態が有る場合に、ディスプレイ２２やスピーカ２４等を介して操作支援ガイドを出力させる。

続いて、本実施の形態例におけるユーザ操作端末装置１００による視線さまよい状態の検出処理について具体的に説明する。

［操作可能箇所、操作目標箇所］
まず、本実施の形態例のユーザ操作端末装置１００における操作可能箇所Ａ〜Ｇ、及び、操作目標箇所Ｔについて説明する。本実施の形態例において、図１に示したようなユーザ操作端末装置１００において、ユーザの操作の対象となる箇所を操作可能箇所Ａ〜Ｇ、操作可能箇所Ａ〜Ｇのうち次に操作の対象となる操作可能箇所Ａ〜Ｇを操作目標箇所Ｔとする。

図３は、図１に示したセルフチェックレジ１００における操作可能箇所Ａ〜Ｇ、及び、操作目標箇所Ｔの一例を表す図である。同図の例において、操作可能箇所Ａは、例えば、現金を投入する精算機の位置に対応し、操作可能箇所Ｃはタッチパネル１４における支払い方法指定ボタン、操作可能箇所Ｄは会計開始ボタンの位置に対応する。また、操作可能箇所Ｅはバーコードリーダ１２、１３、操作可能箇所Ｆは袋詰め部１６、操作可能箇所Ｇは買い物かご置き場１１の位置に対応する。そして、操作目標箇所Ｔは、支払い時に使用されるカードリーダの位置に対応する。

つまり、図３の例は、支払い方法指定ボタンによってカードによる支払いが指定された場合における操作可能箇所Ａ〜Ｇ、及び、操作目標箇所Ｔを示す。このように、本実施の形態例におけるユーザ操作端末装置１００では、予め、操作可能箇所Ａ〜Ｇが設定され、ユーザに操作が指示される度に、当該操作に対応する操作可能箇所が操作目標箇所Ｔとして設定される。ユーザ操作端末装置１００は、操作可能箇所Ａ〜Ｇ、及び、操作目標箇所Ｔに向けられたユーザの視線の情報を、視線箇所情報として生成する。ところで、操作可能箇所Ａ〜Ｇ及び操作目標箇所Ｔは、例えば、視線検出の対象領域が区分されたメッシュ領域に合わせて設定されてもよい。これにより、視線箇所情報の生成処理の負荷が軽減される。

図４は、メッシュ領域ｅｒに対応する操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔについて説明する例図である。同図では、例えば、視線センサの対象とする領域が、ｘ座標方向、ｙ座標方向に等分割されたメッシュ領域が単位領域ｅｒとして設定される。同図において、１つまたは複数のメッシュ領域ｅｒが、操作可能箇所Ａｅ〜Ｇｅ、及び、操作目標領域Ｔｅとして設定される。

ユーザ操作端末装置１００は、ユーザの視線が向けられた箇所の情報を、例えば、デカルト座標型（ｘ座標，ｙ座標）によって表す。そして、視線が向けられた座標情報と、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔの座標情報とが照合され、視線箇所情報が生成される。図４の例において、操作可能箇所Ａｅ〜Ｇｅ、及び、操作目標箇所Ｔｅとして、メッシュ単位の領域ｅｒが設定されることにより、視線箇所情報の生成処理がより簡易になる。ユーザ操作端末装置１００は、視線が向けられた座標が、矩形領域である操作可能箇所Ａｅ〜Ｇｅ、操作目標箇所Ｔｅに含まれるか否かを判別すればよいためである。また、さらに、操作可能箇所Ａｅ〜Ｇｅ、操作目標箇所Ｔｅの領域の境界は、演算処理が簡易になる整数等の値に設定されてもよい。これにより、さらに、視線箇所情報の生成処理が簡易になり、処理に係る負荷が軽減される。

［第１の実施の形態例］
続いて、第１の実施の形態例において、ユーザ操作端末装置１００が、視線箇所情報に基づいて視線のさまよい状態の有無を検出する処理について説明する。本実施の形態例におけるユーザ操作端末装置１００は、操作目標箇所Ｔへの操作の完了までの、操作目標箇所Ｔに対する視線の滞留状態に基づいて、視線のさまよい状態の有無を検出する。

［視線さまよい状態の検出］
ユーザの視線は、その動作に先んじて動く特性を有する。このため、例えば、ボタン押下等の操作が指示された場合、ユーザは、ボタンに指を伸ばす前に、ボタンに視線を向ける。そこで、本実施の形態例におけるユーザ操作端末装置１００は、視線が動作に先んじて操作可能箇所Ａ〜Ｇ、及び、操作目標箇所Ｔに向けられる特性を利用して、ユーザが操作に迷っているか否かを判別する。ここで、ユーザが操作に迷っている場合、迷っていない場合における視線の滞留状態について、具体例に基づいて説明する。

［操作に迷っていない場合］
ユーザが操作に迷っておらず、確信的に操作を行う場合、視線はまず操作目標箇所Ｔに向けられる。例えば、図３に示したセルフチェックレジ１００において、精算対象の商品のバーコードを読ませる場合、ユーザの視線は、バーコードリーダ（操作目標箇所Ｔ）１２、１３に向けられた後、商品に向けられる。そして、ユーザは、商品をバーコードリーダ１２、１３の前に運ぶ。或いは、ユーザは、予め、視線を商品に向けてバーコードの位置を確認した後、バーコードリーダ（操作目標箇所Ｔ）１２、１３に向け、商品をバーコードリーダ１２、１３の前に運ぶ。このように、ユーザが操作に迷っていない場合、ユーザの視線はさまようことなく、操作目標箇所Ｔに向けられる。

［操作に迷っている場合］
一方、ユーザが操作に迷っている場合、ユーザの視線は、例えば、操作目標箇所Ｔを探して操作可能箇所Ａ〜Ｇを巡る。人の視線は、緩やかにゆっくりと移動するのではなく、特徴を有する箇所をジャンプして移動する特性を有する。操作対象である、操作目標箇所Ｔを含む操作可能箇所Ａ〜Ｇは、形状や色、マーク等の視覚的な特徴が付与され、視線を誘導するように表される。つまり、ユーザの視線は、操作目標箇所Ｔ、及び、操作可能箇所Ａ〜Ｇに向けられやすい。このため、ユーザが操作に迷っている場合、ユーザの視線は、バーコードリーダ（操作目標箇所Ｔ）１２、１３にたどり着かず、操作可能箇所Ａ〜Ｇをさまよう。或いは、ユーザは、視線をバーコードリーダ（操作目標箇所Ｔ）１２、１３に向けることができたとしても、バーコードリーダ（操作目標箇所Ｔ）を見つめながら考え込んでしまう。この場合、視線は、操作目標箇所Ｔにたどり着くものの、操作目標箇所Ｔから離れずに停滞し、凝視状態になる。ユーザが操作に迷っている場合、このような視線のさまよい状態がみられる。

そこで、ユーザ操作端末装置１００は、本実施の形態例において、操作目標箇所Ｔ、操作可能箇所Ａ〜Ｇへの視線の滞留時間、または、視線の滞留回数に基づいて視線のさまよい状態の有無を検出する。ここで、操作可能箇所Ａ〜Ｇに視線が滞留した時間（回数）をＡｔ〜Ｇｔ、操作目標箇所Ｔに視線が滞留した時間（回数）をＴｔとする。

［さまよい状態の第１の検出方法］
第１の検出方法では、ユーザ操作端末装置１００は、操作可能箇所Ａ〜Ｇ及び操作目標箇所Ｔに対する視線滞留時間または視線滞留回数の累積における、操作目標箇所Ａ〜Ｇへの視線滞留時間または視線滞留回数の目標滞留割合が第１の基準値より小さいとき、視線さまよい状態が有ると判定し、操作支援ガイドを出力する。つまり、ユーザ操作端末装置１００は、ユーザへの操作指示の後、操作が完了するまでの間における、操作目標箇所Ｔ、操作可能箇所Ａ〜Ｇに対する視線滞留量の累計に対する、操作目標箇所Ｔへ視線滞留量の割合が小さいとき、視線のさまよい状態有りと判定する。即ち、操作目標箇所Ｔ、操作可能箇所Ａ〜Ｇに対する視線滞留量の累計に対する操作目標箇所Ｔへ視線滞留量の割合が小さい場合、ユーザの視線が操作目標箇所Ｔを捜しながら操作可能箇所Ａ〜Ｇを巡る場合を示す。これにより、ユーザが操作に迷っていることが検出され、操作支援ガイドが出力される。

具体的に、視線滞留時間に基づいて視線のさまよい状態の有無を検出する場合を例示する。まず、ユーザ操作端末装置１００は、操作指示後、現時点までの間で、操作可能箇所Ａ〜Ｇ、及び、操作目標箇所Ｔに視線が向けられた各時間を計測する。続いて、ユーザ操作端末装置１００は、操作目標箇所Ｔ、操作可能箇所Ａ〜Ｇへの累計の視線滞留時間「Ａｔ+Ｃｔ+Ｄｔ+Ｅｔ+Ｆｔ+Ｇｔ+Ｔｔ」における、操作可能箇所Ａ〜Ｇへの視線滞留時間「Ａｔ+Ｃｔ+Ｄｔ+Ｅｔ+Ｆｔ+Ｇｔ」の割合を算出し、割合が第１の基準割合（例えば、５０％）以上のとき、操作目標箇所Ｔへの視線滞留時間が十分ではないと判定し、視線さまよい状態有りとみなす。

なお、第１の検出方法における第１の基準割合（この例では５０％）は、ユーザ操作端末装置１００を利用する環境、コンテンツなどによって変化する。このため、第１の基準割合は、次のように調整される。ユーザ操作端末装置１００は、まず、第１の基準割合が初期値に設定された状態で、さまよい状態の有無の検出を行う。このとき、操作支援ガイドが必要なユーザにガイドが提供されたか否か、及び、不要なユーザに提供されなかったか否かが検証される。第１の基準割合は、操作支援ガイドが必要なユーザに提供されていない場合に下げられ、操作支援ガイドが不要なユーザに提供された場合に上げられる。

なお、視線さまよい状態の有無の検出が、視線滞留回数に基づく場合についても同様である。操作可能箇所Ａ〜Ｇに視線が滞留した回数をＡｔ〜Ｇｔ、操作目標箇所Ｔに視線が滞留した回数をＴｔとする。ユーザ操作端末装置１００は、操作目標箇所Ｔ、操作可能箇所Ａ〜Ｇへの累計の視線滞留回数「Ａｔ+Ｃｔ+Ｄｔ+Ｅｔ+Ｆｔ+Ｇｔ+Ｔｔ」における、操作可能箇所Ａ〜Ｇへの視線滞留回数「Ａｔ+Ｃｔ+Ｄｔ+Ｅｔ+Ｆｔ+Ｇｔ」の割合を算出し、割合が例えば５０％以上のとき、操作目標箇所Ｔへの視線滞留回数が十分ではないと判定し、視線さまよい状態有りとみなす。

［さまよい状態の第２の検出方法］
第２の検出方法では、ユーザ操作端末装置１００は、操作可能箇所Ａ〜Ｇ及び操作目標箇所Ｔに対する視線滞留時間または視線滞留回数の累積における、操作目標箇所Ａ〜Ｇへの視線滞留時間または視線滞留回数の目標滞留割合が第２の基準値より大きく、且つ、操作目標箇所に対する１回の視線滞留時間または、累積の視線滞留時間が基準時間を超えるとき、視線さまよい状態有りと判定し、操作支援ガイドを出力する。操作目標箇所Ｔ、操作可能箇所Ａ〜Ｇに対する視線滞留量の累計に対する操作目標箇所Ｔへ視線滞留量の割合が大きく、操作目標箇所Ｔに対する視線滞留時間が長い場合、ユーザが操作目標箇所Ｔを凝視している場合を示す。即ち、操作目標箇所Ｔに十分に視線が向けられているが、凝視したまま処理が完了しない場合である。これにより、ユーザが操作に迷っていることが検出され、操作支援ガイドが出力される。操作に慣れているユーザであれば、視線が操作目標箇所Ｔを捉えたのち、視線が停滞することはない。

具体的に、ユーザ操作端末装置１００は、操作目標箇所Ｔ、操作可能箇所Ａ〜Ｇへの累計の視線滞留時間（回数）「Ａｔ+Ｃｔ+Ｄｔ+Ｅｔ+Ｆｔ+Ｇｔ+Ｔｔ」における、操作目標箇所Ｔへの視線滞留時間（回数）「Ｔｔ」の割合が第２の基準割合（例えば、８０％）以上であって、操作目標箇所Ｔに視線が基準時間（例えば、５秒）以上滞留しているとき、視線さまよい状態有りとみなす。なお、第２の検出方法における第２の基準割合、及び、基準時間についても、第１の検出方法と同様にして、環境、コンテンツ等に応じて、調整可能に設定される。

続いて、第１、２の検出方法に対応する処理について、フローチャート図に基づいて説明する。

［フローチャート図：第１の検出方法］
図５は、ユーザ操作端末装置１００における視線さまよい状態の有無の第１の検出処理について説明するフローチャート図である。ユーザ操作端末装置１００であるセルフチェックレジ１００は、ユーザを検知すると、操作指示を出力する（Ｓ１１）。ユーザへの操作指示は、例えば、支払い開始ボタンの押下処理等の指示である。

続いて、ユーザ操作端末装置１００は、一定時間経過後、ユーザの視線をカメラ２３によって計測し、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔへの視線滞留時間（回数）を計測し、その累計を記録する（Ｓ１２）。具体的に、ユーザ操作端末装置１００は、カメラ２３によって生成されたユーザの画像データに基づいて、ユーザの視線を検出する。次に、ユーザ操作端末装置１００は、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔへの視線滞留時間（回数）を視線箇所情報として生成する。そして、ユーザ操作端末装置１００は、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔへの視線滞留時間（回数）の累計を算出すると共に、操作可能箇所Ａ〜Ｇへの視線滞留時間（回数）の累計を算出する。

このとき、本実施の形態例におけるユーザ操作端末装置１００は、ユーザに操作を指示した後、一定時間の経過後に、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔへの視線滞留時間（回数）の計測を開始する。これは、操作指示の直後、一定時間が経過するまでは、ユーザが操作にまごつくためである。ユーザ操作端末装置１００は、ユーザが操作にまごつく期間を除外することにより、より高精度に、さまよい状態の有無を検出することができる。

続いて、ユーザ操作端末装置１００は、第１の検出方法として、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔへの視線滞留時間（回数）の累計「Ａｔ+Ｃｔ+Ｄｔ+Ｅｔ+Ｆｔ+Ｇｔ+Ｔｔ」における、操作可能箇所Ａ〜Ｇへの視線滞留時間（回数）の累計「Ａｔ+Ｃｔ+Ｄｔ+Ｅｔ+Ｆｔ+Ｇｔ」の割合が５０％を超えるか否かを判定する（Ｓ１３、Ｓ１４）。５０％を超える場合（Ｓ１４のＹＥＳ）、操作目標箇所Ｔへの視線滞留時間（回数）の割合が少ないことを示す。つまり、ユーザが、操作目標箇所Ｔを見ている度合いが小さいことを示し、視線さまよい状態有りと判定される。視線さまよい状態有りと判定された場合、音声ガイドが開始される（Ｓ１５）。そして、次のフローチャート図に示す工程（図６のフローチャート図の「３」）に遷移する。「３」に示す工程については、後述する。

一方、５０％を超えない場合（Ｓ１４のＮＯ）、ユーザが、操作目標箇所Ｔを見ている度合いが大きく、視線さまよい状態無しと判定される。視線のさまよい状態無しと判定された場合、第２の検出方法による判定（図６のフローチャート図における「１」）に遷移する。

［フローチャート図：第２の検出方法］
図６は、ユーザ操作端末装置１００における視線さまよい状態の有無の第２の検出処理について説明するフローチャート図である。同図のフローチャート図は、図５のフローチャート図における工程Ｓ１４がＮＯの場合における処理に当たる。ユーザ操作端末装置１００は、第２の検出方法として、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔへの視線滞留時間（回数）の累計「Ａｔ+Ｃｔ+Ｄｔ+Ｅｔ+Ｆｔ+Ｇｔ+Ｔｔ」における、操作目標箇所Ｔへの視線滞留時間（回数）の累計「Ｔｔ」の割合が８０％を超えるか否かを判定する（Ｓ２１）。割合が８０％を超える場合（Ｓ２１のＹＥＳ）、ユーザ操作端末装置１００は、さらに、操作指示から現在までの操作目標箇所Ｔへの視線滞留時間Ｔｔの累計、または、１回の視線滞留時間が５秒以内か否かを判定する（Ｓ２２）。

割合が８０％を超え（Ｓ２１のＹＥＳ）、且つ、操作指示から現在までの操作目標箇所Ｔへの視線滞留時間が５秒を超える場合（Ｓ２２のＮＯ）、操作目標箇所Ｔへの視線滞留時間（回数）は十分であるものの、操作目標箇所Ｔに視線が停滞していることを示す。つまり、操作目標箇所Ｔへの凝視状態にあるとみなされる。この場合、視線さまよい状態有りと判定され、音声ガイドが開始される（Ｓ２３）。そして、図５のフローチャート図における音声ガイドが出力（図５のＳ１５）された場合と共に（図５の「３」）、次に、ユーザの操作が完了したか否かが判定される（Ｓ２４）。また、割合が８０％を超えない場合についても（Ｓ２１のＮＯ）、ユーザの操作が完了したか否かが判定される（Ｓ２４）。

ユーザの操作が完了した場合（Ｓ２４のＹＥＳ）、続いて、全ての操作が完了したか否かが判定される（Ｓ２５）。全ての操作が完了したか否かは、例えば、セルフチェックレジ１００の例において、精算済の商品の入ったレジ袋を取り上げられたか否かが判定される。全ての操作が完了した場合（Ｓ２５のＹＥＳ）、ユーザ操作端末装置１００は、処理を終了する。一方、全ての操作が完了していない場合（Ｓ２５のＮＯ）、及び、ユーザの操作が完了していない場合（Ｓ２４のＮＯ）、ユーザ操作端末装置１００は、次の操作指示（Ｓ２６）を行い、図５のフローチャート図における第１の検出工程（Ｓ１３）に進む。

なお、ユーザ操作端末装置１００は、本実施の形態例において、操作可能箇所Ａ〜Ｇ、及び、操作目標箇所Ｔを除く、操作不可箇所（図示せず）への視線滞留時間（回数）については、視線のさまよい状態の有無の検出に加味しない。これは、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔ以外の操作不可箇所に、長い時間、または頻繁に視線が向けられたとしても、さまよい状態有りと検出されないことを意味する。例えば、操作の指示が行われているにも関わらず、操作不可箇所に視線が向けられている場合、ユーザが操作に関連しない事項に気をとられている場合を示す。操作に関連しない行動とは、例えば、セルフチェックレジ１００の例において、支払いのために、財布やポイントカード、小銭を探している等の行動を示す。また、操作に関連しない行動には、バーコードを読み取らせるために商品上のバーコードの印刷位置を探す行動や、他の係員や知人に気を取られている行動も含まれる。このような場合に操作支援ガイドが提供されると、ユーザは、不必要な指摘をユーザ操作端末装置１００から受けたと感じ、不快感を感じ易い。

そこで、本実施の形態例におけるユーザ操作端末装置１００は、視線のさまよい状態の有無の検出にあたり、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔ以外への視線の滞留状態を使用しない。これにより、本実施の形態例におけるユーザ操作端末装置１００は、ユーザが操作に迷っている場合と、操作に直接的には関連しない事象や行動に気をとられている場合とを区別して、さまよい状態の有無を検出することを可能にする。

以上のように、本実施の形態例におけるユーザ操作端末装置１００は、ユーザの画像に基づいてユーザの視線を検出する視線検出手段と、検出された視線に基づいて、操作が可能な操作可能箇所Ａ〜Ｇ、及び、操作可能箇所Ａ〜Ｇのうち次の操作可能箇所Ａ〜Ｇを示す操作目標箇所Ｔに対する視線箇所情報を生成する視線箇所情報生成手段とを有する。そして、本実施の形態例におけるユーザ操作端末装置１００は、視線箇所情報に基づいて、操作目標箇所Ｔでの操作完了までの操作目標箇所Ｔに対する視線の滞留状態に基づく視線さまよい状態の有無を検出し、視線さまよい状態が有る場合はユーザに操作支援ガイドを出力するガイド出力手段を有する。

このように、本実施の形態例におけるユーザ操作端末装置１００は、操作完了までの操作目標箇所Ｔに対する視線の滞留状態を利用することによって、ユーザ毎、操作毎の視線のさまよい状態の有無を検出可能にする。これにより、ユーザ操作端末装置は、操作支援ガイドを、必要とされる操作シーンにおいて、必要とするユーザに提供することを可能にする。このため、慣れているユーザに、誤って操作支援ガイドが提供されることがなくなると共に、不慣れなユーザに的確に操作支援ガイドが提供される。これにより、専任係員が呼び出される頻度が減少し、専任係員に要するコストが抑えられる。また、ユーザ操作端末装置の普及が促進する。

また、ユーザ操作端末装置１００は、操作ではなく視線の滞留状態に基づいて、視線さまよい状態の有無を検出する。視線の移動は操作に先立って行われることにより、操作に基づいて操作の迷い度を判定するよりも、より迅速に、操作支援ガイドを提供するか否かの判定が可能になる。さらに、本実施の形態例におけるユーザ操作端末装置１００は、視線が操作目標箇所Ｔにたどり着く前に、視線さまよい状態の有無に基づいて、ユーザが操作に迷っているか否かが判定可能になる。これにより、ユーザが操作に迷っている場合、ユーザは、操作目標箇所Ｔに視線を向ける前に、迅速に、操作支援ガイドの提供を受けることができる。

これに対し、一般的なユーザ操作端末装置によると、操作の終了までの時間に基づいて、ユーザが操作に迷っているか否かが判定される。例えば、操作指示後、１０秒経過しても操作が行われない場合、操作に迷っていると判定され、操作支援ガイドが開始される。一方、本実施の形態例のユーザ操作端末装置１００によると、１０秒が経過する前に、操作支援ガイドが提供可能になり、操作に迷っているユーザはより迅速に操作支援ガイドの提供を受けられる。これにより、不慣れなユーザが不快な想いをもつ機会が減少し、専任係員が呼び出される頻度についても減少する。

また、本実施の形態例におけるユーザ操作端末装置１００において、視線箇所情報は、操作可能箇所Ａ〜Ｇ及び操作目標箇所Ｔに対する視線滞留時間、または、視線滞留回数のいずれかまたは両方である。そして、ユーザ操作端末装置１００のガイド出力手段は、操作可能箇所Ａ〜Ｇ及び操作目標箇所Ｔに対する視線滞留時間または視線滞留回数の累積における、操作目標箇所Ｔへの視線滞留時間または視線滞留回数の目標滞留割合に基づいて視線さまよい状態の有無を検出する。前述したように、１０秒等の一定の経過時間に基づいて視線のさまよい状態の有無を検出する場合、個々のユーザに対して一律の経過時間を設定することは難しい。これに対し、本実施の形態例におけるユーザ操作端末装置１００は、視線滞留時間、または、視線滞留回数の割合に基づくことにより、一律の経過時間の設定が不要になり、視線のさまよい状態の有無をより高精度に検出することができる。

また、本実施の形態例におけるユーザ操作端末装置１００は、目標滞留割合が第１の基準値（本実施の形態例では、例えば５０％）より小さいとき、視線さまよい状態が有ると判定する。これにより、本実施の形態例のユーザ操作端末装置１００は、ユーザの視線が操作目標箇所Ｔを捉えた視線滞留時間、視線滞留回数が十分でない場合に、視線さまよい状態有りと検出し、操作支援ガイドを提供することができる。

また、本実施の形態例におけるユーザ操作端末装置１００は、目標滞留割合が第２の基準値（本実施の形態例では、例えば８０％）より大きく、且つ、操作目標箇所Ｔに対する１回の視線滞留時間または、累積の視線滞留時間が基準時間（本実施の形態例では、例えば５秒）を超えるとき、視線さまよい状態有りと判定する。これにより、本実施の形態例のユーザ操作端末装置１００は、視線が、操作目標箇所Ｔを捉えた後、操作目標箇所Ｔに停滞している場合を検出可能にする。これにより、ユーザ操作端末装置１００は、操作目標箇所Ｔを凝視して操作を完了できないユーザに対して、迅速に操作支援ガイドを提供することができる。

また、本実施の形態例のユーザ操作端末装置１００は、基準時間経過後に、視線箇所情報の生成を開始する。これにより、ユーザが操作の指示を受けてまごつく一定時間における視線の状態は、視線さまよい状態の有無の判定対象から除外される。これにより、より精度の高い視線箇所情報に基づくことにより、視線のさまよい状態の有無がより高精度に検出可能になる。

［第２の実施の形態例］
第２の実施の形態例において、ユーザ端末装置は、視線箇所情報として、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔ、及び、操作目標箇所Ｔと操作可能箇所Ａ〜Ｇ以外の操作不可箇所に対する視線箇所の視線滞留順を生成し、視線滞留順に基づいて視線さまよい状態の有無を検出する。ここで、操作不可箇所Ｏは、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔを除く箇所（図示せず）を示す。操作不可箇所Ｏは、例えば、商品やお財布、他の人物等であって、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔを除く箇所を示す。

［操作に迷っていない場合］
ユーザが確信的に操作を行う場合、例えば、視線は、すぐに、操作目標箇所Ｔに到達する。セルフチェックレジ１００の例において、操作目標箇所Ｔがバーコードリーダ１２、１３である場合、ユーザは、まず、視線を商品に向けて商品を手に取り、視線をバーコードリーダ１２、１３（操作目標箇所Ｔ）に移した後、商品をバーコードリーダ１２、１３の前に移動させバーコードを読み込ませる。この場合、視線は、「操作不可箇所Ｏ→操作目標箇所Ｔ」の順に移動する。または、ユーザは、まず、バーコードリーダ１２、１３（操作目標箇所Ｔ）に視線を向け、視線を商品に向けて商品を手に取り、視線をバーコードリーダ（操作目標箇所Ｔ）に移した後、商品をバーコードリーダ１２、１３の前に移動させバーコードを読み込ませる。この場合、視線は、「操作目標箇所Ｔ→操作不可箇所Ｏ→操作目標箇所Ｔ」の順に移動する。このように、ユーザが操作に迷っていない場合、視線は、「操作不可箇所Ｏ→操作目標箇所Ｔ」の順、または、「操作目標箇所Ｔ→操作不可箇所Ｏ→操作目標箇所Ｔ」の順に移動する。

また、ある程度慣れたユーザについては、視線は、すぐには、操作目標箇所Ｔに到達しないことがあるが、いくつかの操作可能箇所Ａ〜Ｇを巡った後、最終的に操作目標箇所Ｔに到達する。このように、ユーザがある程度慣れている場合、視線がすぐには操作目標箇所Ｔに到達しなくても、最終的には操作目標箇所Ｔに到達する。

［操作に迷っている場合］
一方、ユーザが操作に迷っている場合、視線は操作可能箇所Ａ〜Ｇを巡り続ける。または、視線は、一旦、操作目標箇所Ｔに到達しても、操作目標箇所Ｔであることが認識されないため、再び、他の操作可能箇所Ａ〜Ｇを巡る。このように、ユーザが操作に迷っている場合、ユーザが操作目標箇所Ｔを認識できず、操作可能箇所Ａ〜Ｇを巡るような視線のさまよい状態がみられる。

そこで、第２の実施の形態例におけるユーザ操作端末装置１００は、視線滞留順「操作目標箇所Ｔ→操作可能箇所Ａ〜Ｇ」であるとき、視線さまよい状態有りと判定する。これは、例えば、視線が「操作可能箇所Ａ→操作目標箇所Ｔ→操作可能箇所Ｄ」のように移動する場合に当たる。この場合、視線が操作目標箇所Ｔに到達したものの、続いて操作可能箇所Ａ〜Ｇに移っていることから、視線さまよい状態有りと検出される。なお、「操作目標箇所Ｔ→操作可能箇所Ａ〜Ｇ」を所定回数繰り返す場合に、視線さまよい状態有りと判定されてもよい。これは、例えば、視線が「操作可能箇所Ａ→操作目標箇所Ｔ→操作可能箇所Ｄ→操作不可箇所Ｏ→操作目標箇所Ｔ→操作可能箇所Ｇ」のように移動する場合に当たる。この場合、視線が操作目標箇所Ｔに到達し、再び操作可能箇所Ａ〜Ｇに移る工程が繰り返されていることから、ユーザが操作に迷っていると考えられ、視線さまよい状態有りと検出される（所定回数＝２のとき）。

一方、第２の実施の形態例におけるユーザ操作端末装置１００は、視線滞留順「操作目標箇所Ｔ→操作不可箇所Ｏ」であるとき、視線さまよい状態無しと判定する。この場合、ユーザは、迷っているのではなく、操作目標箇所Ｔを認めた後、商品のバーコード位置の確認や財布の確認等、操作以外のことを行っていると考えられる。これは、例えば、視線が「操作可能箇所Ａ→操作目標箇所Ｔ→操作不可箇所Ｏ」のように移動する場合に当たる。この場合、視線が操作目標箇所Ｔに到達した後、他の領域に移動しているものの、視線の移動先が操作不可箇所Ｏであることにより、視線さまよい状態無しと検出される。

ただし、「操作目標箇所Ｔ→操作不可箇所Ｏ」を所定回数繰り返した場合、視線さまよい状態有りと判定されてもよい。これは、例えば、視線が「操作可能箇所Ａ→操作目標箇所Ｔ→操作不可箇所Ｏ→操作目標箇所Ｔ→操作不可箇所Ｏ」のように移動する場合に当たる。この場合、視線が操作目標箇所Ｔに到達し、再び操作不可箇所Ｏに移る工程が繰り返されていることから、ユーザが操作に迷っていると考えられ、視線さまよい状態有りと検出される（所定回数＝２のとき）。

続いて、第２の実施の形態例における視線のさまよい状態の有無の検出処理について、フローチャート図に基づいて説明する。

［検出処理のフローチャート図］
図７は、第２の実施の形態例におけるユーザ操作端末装置１００の視線さまよい状態の有無の検出処理について説明するフローチャート図である。第１の実施の形態例と同様にして、ユーザ操作端末装置１００であるセルフチェックレジ１００は、ユーザを検知すると、操作指示を出力する（Ｓ３１）。続いて、ユーザ操作端末装置１００は、一定時間経過後、ユーザの視線をカメラ２３によって計測し、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔ、操作不可箇所Ｏへの視線滞留順を計測し、記録する（Ｓ３２）。具体的に、ユーザ操作端末装置１００は、カメラ２３によって生成されたユーザの画像データに基づいて、ユーザの視線を検出する。続いて、ユーザ操作端末装置１００は、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔ、操作不可箇所Ｏへの視線滞留順を視線箇所情報として生成し記憶する。なお、第２の実施の形態例においても、ユーザ操作端末装置１００は、ユーザに操作を指示した後、一定時間の経過後に、視線滞留順の記録を開始してもよい。これにより、ユーザが操作にまごつく初期の期間が除外され、より高精度に、視線のさまよい状態の有無が検出される。

続いて、ユーザ操作端末装置１００は、ユーザが操作目標箇所Ｔに視線を向けたか否かを判定する（Ｓ３３）。ユーザが操作目標箇所Ｔに視線を向けていない場合（Ｓ３３のＮＯ）、再び、工程Ｓ３２に戻る。一方、操作目標箇所Ｔに視線が向けられた場合（Ｓ３３のＹＥＳ）、続いて、操作可能箇所Ａ〜Ｇに視線が向けられたか否かが判定される（Ｓ３４）。これにより、視線が、操作目標箇所Ｔの次に操作可能箇所Ａ〜Ｇに向けられたか否かが判定される。

視線が操作目標箇所Ｔの次に操作可能箇所Ａ〜Ｇに向けられた場合（Ｓ３４のＹＥＳ）、さらに、この工程が所定回数繰り返されたか否かが判定される（Ｓ３６）。つまり、視線滞留順「操作目標箇所Ｔ→操作可能箇所Ａ〜Ｇ」が所定回数、繰り返されたか否かが判定される。所定回数繰り返されている場合（Ｓ３６のＹＥＳ）、音声ガイドが開始される（Ｓ３７）。このように、視線が、操作目標箇所Ｔと操作可能箇所Ａ〜Ｇとを繰り返し巡る場合、視線さまよい状態有りと判定され、操作支援ガイドが提供される。なお、図７のフローチャート図では、視線が、操作目標箇所Ｔの次に操作可能箇所Ａ〜Ｇに移動する工程が所定回数、繰り返される場合に（Ｓ３６のＹＥＳ）、音声ガイドが開始されるが（Ｓ３７）、この例に限定されるものではない。視線が、一度、操作目標箇所Ｔの次に操作可能箇所Ａ〜Ｇに移動した場合に（Ｓ３４のＹＥＳ）、視線さまよい状態有りと判定され、操作支援ガイドが提供されてもよい（Ｓ３７）。

また、視線が、操作目標箇所Ｔの次に操作可能箇所Ａ〜Ｇ以外、即ち、操作不可箇所Ｏに視線が向けられた場合（Ｓ３４のＮＯ）、視線滞留順「操作目標箇所Ｔ→操作不可箇所Ｏ」が所定回数、繰り返されたか否かが判定される（Ｓ３５）。所定回数繰り返されている場合（Ｓ３５のＹＥＳ）、音声ガイドが開始される（Ｓ３７）。このように、視線が、操作目標箇所Ｔと操作不可箇所Ｏとを繰り返し巡る場合、視線さまよい状態有りと判定され、操作支援ガイドが提供される。一方、工程Ｓ３５においてＮＯの場合、即ち、視線が、一度、操作目標箇所Ｔの次に操作不可箇所Ｏに移動した場合に（Ｓ３５のＮＯ）、視線さまよい状態無しと判定され、操作支援ガイドは提供されない。この場合、操作目標箇所Ｔを認識した上で、お財布や商品に視線を向けたような場合を示すため、視線さまよい状態無しと判定される。

続いて、ユーザの操作が完了したか否かが判定される（Ｓ３８）。ユーザの操作が完了した場合（Ｓ３８のＹＥＳ）、続いて、全ての操作が完了したか否かが判定される（Ｓ３９）。全ての操作が完了した場合（Ｓ３９のＹＥＳ）、ユーザ操作端末装置１００は、処理を終了する。一方、全ての操作が完了していない場合（Ｓ３９のＮＯ）、及び、ユーザの操作が完了していない場合（Ｓ３８のＮＯ）、ユーザ操作端末装置１００は、次の操作指示（Ｓ４０）を行い、工程Ｓ３２に進む。

以上のように、第２の実施の形態例におけるユーザ操作端末装置１００は、操作可能箇所Ａ〜Ｇ、操作目標箇所Ｔ、及び、操作目標箇所Ｔと操作可能箇所Ａ〜Ｇ以外の操作不可箇所Ｏに対する視線箇所の視線滞留順に基づいて視線さまよい状態の有無を検出する。このように、第２の実施の形態例におけるユーザ操作端末装置１００は、視線の滞留順に基づくことにより、視線のさまよい状態の有無を高精度に検出可能にし、効果的に操作支援ガイドを出力することができる。また、より迅速に、操作支援ガイドの提供が可能になる。

また、本実施の形態例におけるユーザ操作端末装置１００は、視線滞留順が、操作目標箇所Ｔの次に操作可能箇所Ａ〜Ｇに移るとき、視線さまよい状態有りと判定する。または、ユーザ操作端末装置１００は、視線滞留順が、操作目標箇所Ｔの次に操作可能箇所Ａ〜Ｇに移ることを第１の基準回数（所定回数）繰り返すとき、視線さまよい状態有りと判定する。

このように、ユーザ操作端末装置１００は、視線が、一度、または、所定回数、操作目標箇所Ｔに続いて操作可能箇所Ａ〜Ｇに向けられるとき、視線さまよい状態有りと判定し、操作支援ガイドを提供することができる。これにより、ユーザ操作端末装置１００は、ユーザの視線が操作目標箇所Ｔに到達した場合であっても、操作目標箇所Ｔであることが認識できていない場合を迅速に検出し、操作支援ガイドを提供することができる。

また、本実施の形態例におけるユーザ操作端末装置１００は、視線滞留順が、操作目標箇所Ｔの次に操作不可箇所Ｏに移るとき、視線さまよい状態無しと判定する。これにより、ユーザ操作端末装置１００は、ユーザの視線が操作目標箇所Ｔに到達した後、操作以外のことを行っている場合を迅速に検出し、操作支援ガイドの提供を回避することができる。このため、ユーザが商品上のバーコードの印刷位置を探す場合や、他の係員や知人に気を取られている場合に操作支援ガイドが提供され、操作に迷っていないユーザが不快感を感じることが回避される。

ただし、ユーザ操作端末装置１００は、視線滞留順が、操作目標箇所Ｔの次に操作不可箇所Ｏに移ることを第２の基準回数（所定回数）繰り返すとき、視線さまよい状態有りと判定する。これにより、ユーザ操作端末装置１００は、ユーザの視線が操作目標箇所Ｔと操作不可箇所Ｏとを繰り返し巡り、ユーザが操作目標箇所Ｔを認識できていない場合を迅速に検出し、操作支援ガイドを提供することができる。

また、また、ユーザ操作端末装置１００は、視線滞留順が、操作目標箇所Ｔの次に操作不可箇所Ｏに移り、さらに操作可能箇所Ａ〜Ｇに移るとき、視線さまよい状態有りと判定する。これにより、ユーザ操作端末装置１００は、ユーザの視線が操作目標箇所Ｔに到達した場合であっても他の箇所を巡り、操作目標箇所Ｔであることが認識できていない場合を迅速に検出し、操作支援ガイドを提供することができる。

なお、第１、２の実施の形態例を別々に説明したが、各実施の形態例におけるさまよい状態の有無の検出方法は、組み合わせて使用されてもよい。これにより、ユーザ操作端末装置１００は、さらに高精度に視線のさまよい状態の有無の検出を可能にし、効果的に操作支援ガイドを出力することができる。

なお、本実施の形態例におけるユーザ操作端末装置処理は、コンピュータ読み取り可能な記録媒体にプログラムとして記憶され、当該プログラムをコンピュータが読み出して実行することによって行われてもよい。

以上の実施の形態をまとめると、次の付記のとおりである。

（付記１）
ユーザによる操作を受け付けるユーザ操作端末装置であって、
前記ユーザの画像に基づいて前記ユーザの視線を検出する視線検出手段と、
前記検出された視線に基づいて、前記操作が可能な操作可能箇所、及び、前記操作可能箇所のうち次の操作可能箇所を示す操作目標箇所に対する視線箇所情報を生成する視線箇所情報生成手段と、
前記視線箇所情報に基づいて、前記操作目標箇所での操作完了までの前記操作目標箇所に対する視線の滞留状態に基づく視線さまよい状態の有無を検出し、前記視線さまよい状態が有る場合は前記ユーザに操作支援ガイドを出力するガイド出力手段と、を有するユーザ操作端末装置。

（付記２）
付記１において、
前記視線箇所情報は、前記操作可能箇所及び前記操作目標箇所に対する視線滞留時間、または、視線滞留回数のいずれかまたは両方であって、
前記ガイド出力手段は、前記操作可能箇所及び前記操作目標箇所に対する視線滞留時間または視線滞留回数の累積における、前記操作目標箇所への視線滞留時間または視線滞留回数の目標滞留割合に基づいて前記視線さまよい状態の有無を検出するユーザ操作端末装置。

（付記３）
付記２において、
前記ガイド出力手段は、前記目標滞留割合が第１の基準値より小さいとき、前記視線さまよい状態が有ると判定するユーザ操作端末装置。

（付記４）
付記２または３において、
前記ガイド出力手段は、前記目標滞留割合が第２の基準値より大きく、且つ、前記操作目標箇所に対する１回の前記視線滞留時間または、累積の前記視線滞留時間が基準時間を超えるとき、前記視線さまよい状態有りと判定するユーザ操作端末装置。

（付記５）
付記１において、
前記視線箇所情報は、前記操作可能箇所、前記操作目標箇所、及び、前記操作目標箇所と前記操作可能箇所以外の操作不可箇所に対する前記視線箇所の視線滞留順であって、
前記ガイド出力手段は、前記視線滞留順に基づいて前記視線さまよい状態の有無を検出するユーザ操作端末装置。

（付記６）
付記５において、
前記ガイド出力手段は、前記視線滞留順が、前記操作目標箇所の次に前記操作可能箇所に移るとき、前記視線さまよい状態有りと判定するユーザ操作端末装置。

（付記７）
付記６において、
前記ガイド出力手段は、前記視線滞留順が、前記操作目標箇所の次に前記操作可能箇所に移ることを第１の基準回数繰り返すとき、前記視線さまよい状態有りと判定するユーザ操作端末装置。

（付記８）
付記５または６において、
前記ガイド出力手段は、前記視線滞留順が、前記操作目標箇所の次に前記操作不可箇所に移るとき、前記視線さまよい状態無しと判定するユーザ操作端末装置。

（付記９）
付記８において、
前記ガイド出力手段は、前記視線滞留順が、前記操作目標箇所の次に前記操作不可箇所に移ることを第２の基準回数繰り返すとき、前記視線さまよい状態有りと判定するユーザ操作端末装置。

（付記１０）
付記８において、
前記ガイド出力手段は、前記視線滞留順が、前記操作目標箇所の次に前記操作不可箇所に移り、さらに前記操作可能箇所に移るとき、前記視線さまよい状態有りと判定するユーザ操作端末装置。

（付記１１）
付記１乃至１０のいずれかにおいて、
前記視線箇所情報生成手段は、基準時間経過後に、前記視線箇所情報の生成を開始するユーザ操作端末装置。

（付記１２）
ユーザによる操作を受け付けるユーザ操作端末処理をコンピュータに実行させるコンピュータ読み取り可能なユーザ操作端末プログラムであって、
前記ユーザ操作端末処理は、
前記ユーザの画像に基づいて前記ユーザの視線を検出する視線検出工程と、
前記検出された視線に基づいて、前記操作が可能な操作可能箇所、及び、前記操作可能箇所のうち次の操作可能箇所を示す操作目標箇所に対する視線箇所情報を生成する視線箇所情報生成工程と、
前記視線箇所情報に基づいて、前記操作目標箇所への操作完了までの前記操作目標箇所に対する視線の滞留状態を示す視線さまよい状態の有無を検出し、前記視線さまよい状態が有る場合は前記ユーザに操作支援ガイドの出力を指示するガイド指示工程と、を有するユーザ操作端末プログラム。

１００：ユーザ操作端末装置、２１：ＣＰＵ、２２：ディスプレイ、２３：カメラ、２４：スピーカ、２５：メモリ、２６：バーコード読み取り装置、２７：タッチパネル、２８：紙幣・貨幣受出装置、２９：ハードディスク

Claims (12)

1. ユーザによる操作を受け付けるユーザ操作端末装置であって、
   前記ユーザの画像に基づいて前記ユーザの視線を検出する視線検出手段と、
   前記検出された視線に基づいて、前記操作が可能な操作可能箇所、及び、前記操作可能箇所のうち次の操作可能箇所を示す操作目標箇所に対する視線箇所情報を生成する視線箇所情報生成手段と、
   前記視線箇所情報に基づいて、前記操作目標箇所での操作完了までの前記操作目標箇所に対する視線の滞留状態に基づく視線さまよい状態の有無を検出し、前記視線さまよい状態が有る場合は前記ユーザに操作支援ガイドを出力するガイド出力手段と、を有するユーザ操作端末装置。
2. 請求項１において、
   前記視線箇所情報は、前記操作可能箇所及び前記操作目標箇所に対する視線滞留時間、または、視線滞留回数のいずれかまたは両方であって、
   前記ガイド出力手段は、前記操作可能箇所及び前記操作目標箇所に対する視線滞留時間または視線滞留回数の累積における、前記操作目標箇所への視線滞留時間または視線滞留回数の目標滞留割合に基づいて前記視線さまよい状態の有無を検出するユーザ操作端末装置。
3. 請求項２において、
   前記ガイド出力手段は、前記目標滞留割合が第１の基準値より小さいとき、前記視線さまよい状態が有ると判定するユーザ操作端末装置。
4. 請求項２または３において、
   前記ガイド出力手段は、前記目標滞留割合が第２の基準値より大きく、且つ、前記操作目標箇所に対する１回の前記視線滞留時間または、累積の前記視線滞留時間が基準時間を超えるとき、前記視線さまよい状態有りと判定するユーザ操作端末装置。
5. 請求項１において、
   前記視線箇所情報は、前記操作可能箇所、前記操作目標箇所、及び、前記操作目標箇所と前記操作可能箇所以外の操作不可箇所に対する前記視線箇所の視線滞留順であって、
   前記ガイド出力手段は、前記視線滞留順に基づいて前記視線さまよい状態の有無を検出するユーザ操作端末装置。
6. 請求項５において、
   前記ガイド出力手段は、前記視線滞留順が、前記操作目標箇所の次に前記操作可能箇所に移るとき、前記視線さまよい状態有りと判定するユーザ操作端末装置。
7. 請求項６において、
   前記ガイド出力手段は、前記視線滞留順が、前記操作目標箇所の次に前記操作可能箇所に移ることを第１の基準回数繰り返すとき、前記視線さまよい状態有りと判定するユーザ操作端末装置。
8. 請求項５または６において、
   前記ガイド出力手段は、前記視線滞留順が、前記操作目標箇所の次に前記操作不可箇所に移るとき、前記視線さまよい状態無しと判定するユーザ操作端末装置。
9. 請求項８において、
   前記ガイド出力手段は、前記視線滞留順が、前記操作目標箇所の次に前記操作不可箇所に移ることを第２の基準回数繰り返すとき、前記視線さまよい状態有りと判定するユーザ操作端末装置。
10. 請求項８において、
    前記ガイド出力手段は、前記視線滞留順が、前記操作目標箇所の次に前記操作不可箇所に移り、さらに前記操作可能箇所に移るとき、前記視線さまよい状態有りと判定するユーザ操作端末装置。
11. 請求項１乃至１０のいずれかにおいて、
    前記視線箇所情報生成手段は、基準時間経過後に、前記視線箇所情報の生成を開始するユーザ操作端末装置。
12. ユーザによる操作を受け付けるユーザ操作端末処理をコンピュータに実行させるコンピュータ読み取り可能なユーザ操作端末プログラムであって、
    前記ユーザ操作端末処理は、
    前記ユーザの画像に基づいて前記ユーザの視線を検出する視線検出工程と、
    前記検出された視線に基づいて、前記操作が可能な操作可能箇所、及び、前記操作可能箇所のうち次の操作可能箇所を示す操作目標箇所に対する視線箇所情報を生成する視線箇所情報生成工程と、
    前記視線箇所情報に基づいて、前記操作目標箇所への操作完了までの前記操作目標箇所に対する視線の滞留状態を示す視線さまよい状態の有無を検出し、前記視線さまよい状態が有る場合は前記ユーザに操作支援ガイドの出力を指示するガイド指示工程と、を有するユーザ操作端末プログラム。

Images