JP2010108070A - ユーザインタフェース制御装置、ユーザインタフェース制御方法およびプログラム - Google Patents

Abstract

【課題】操作を行うユーザの身体的特徴や動作などの詳細なユーザ情報に基づいて、最適な画面構成を提供することのできるユーザインタフェース制御装置、これを用いる注文受付装置、ユーザインタフェース制御方法、およびこれを実行するプログラムを提供する。
【解決手段】アプリケーションの操作者の操作のスピードや操作に要する時間などの情報、および、ユーザの顔の表情、操作を行う腕、視力、指の太さなどの身体情報などの詳細なユーザ情報を取得するユーザ情報取得部と、これらの情報に基づいて、各ユーザごとに、画面のユーザインタフェース設定を行うユーザインタフェース設定部とを備えることにより、上記課題を解決する。
【選択図】図１

Description

本発明は、ユーザごとに最適なユーザインタフェースを提供するユーザインタフェース制御装置、これを用いる注文受付装置、ユーザインタフェース制御方法およびこれを実行するプログラムに関し、詳しくは、操作を行うユーザの身体的特徴や動作などの情報に基づいて、最適なユーザインタフェースを提供することのできるユーザインタフェース制御装置、これを用いる注文受付装置、ユーザインタフェース制御方法およびこれを実行するプログラムに関する。

近年、店頭などに備え付けられた注文の受付端末や、家庭でパーソナルコンピュータ上のアプリケーションなどを使用する際のユーザインタフェースとして、モニタなどの表示手段に表示されたＧＵＩ（Graphical User Interface）を用いて操作を行うシステムが広く用いられている。また、このようなシステムでは、操作を行うユーザに応じて、ＧＵＩを変更する方法が種々提案されている。

例えば、特許文献１には、人間が画面のどこに着目しているのかの意図を抽出し、着目部分を自動的に拡大する画面サイズ設定装置が提案されている。特許文献１には、生体情報、動作、簡便な入力装置を用いて、障害者が希望する倍率を自動的に判断し、これらを個別データとして保存しておくことにより、障害者が簡単に画面サイズの倍率を変更し、表示を行うことができると記載されている。特許文献１では、脳波、脈波、呼吸、瞬目、心電、視線、注視点、注視時間、および瞳孔径などを計測し、これらの生体情報に基づいて、最適な画面サイズを推定することができると記載されている。

また、特許文献２には、利用者の操作の頻度に応じて、表示内容を変更する情報処理装置が開示されている。特許文献２では、利用者の操作回数の情報に基づいて、操作の頻度の高い画面については、目立つ位置に配置するように、ユーザ毎に表示内容を変更する。具体的には、複数のページを有するＧＵＩにおいて、ユーザの各ページごとの操作の頻度に応じて、操作頻度の高いページが前に来るように並び替えることが記載されている。

さらに、特許文献３には、利用者が各種情報の理解に必要な補助機能を自動的に提供する情報提供装置が開示されている。特許文献３では、利用者の顔の動き、視線、および表情の情報に基づいて、利用者が画面上に表示されている文字を読むことができているかどうかを算出し、読むことができていないと判断された場合は、利用者は表示されている言語を読めないものとして、補助機能により画面の英語表示を行うことが記載されている。

また、特許文献４には、使用するユーザ毎に使用しやすいタッチパネル環境を、自動で設定可能なタッチパネル搭載装置が開示されている。特許文献４では、入力時の接触部分面積を検出し、表示を該接触面積または接触形状に応じた、ボタンサイズおよび形状に自動的に変更することが記載されている。

特開平９−２１２３２２号公報 特開２００４−２４０５８２号公報 特開２００６−３５０７０５号公報 特開２００７−３２８４２１号公報

ここで、特許文献１は、ユーザの目の動きにより画面サイズを変更するものであるが、画面構成や操作方法など、その他のＧＵＩについては同一のものを用いている。また、特許文献２は、ユーザ毎にページの表示の順序を変えるものであり、ページの内容や操作方法自体は、同一である。さらに、特許文献３も、ユーザに応じて、表示言語を変更するのみであり、やはり基本的なＧＵＩは変わっていない。また、特許文献４は、指がタッチパネルに接触してからボタンサイズおよび形状を変更しているが、指やスタイラス等の操作を予測してボタンサイズおよび形状を自動的に変更することは記載されていない。

本発明の目的は、上記従来技術の問題点を解決し、より詳細なユーザ情報を取得して、これに基づき、最適なユーザインタフェース（画面）構成を提供することのできるユーザインタフェース制御装置、これを用いる注文受付装置、ユーザインタフェース制御方法およびこれを実行するプログラムを提供することにある。

上記課題を解決するために、本発明は、ユーザがアプリケーションの操作を行うためのユーザインタフェース制御装置であって、前記アプリケーションの操作情報を入力する操作入力部と、前記操作入力部より入力された前記操作情報、および、前記ユーザが前記アプリケーションの操作を行う動作情報のうち１以上を含むユーザ情報を取得するユーザ情報取得部と、前記ユーザ情報に基づいて、画面のユーザインタフェースを設定するユーザインタフェース設定部と、前記設定されたユーザインタフェースに基づいて、操作画面の表示を行う表示部と、前記表示部に表示された操作画面に基づいて、前記操作入力部により入力された操作情報に基づき処理を実行する処理実行部とを有し、前記ユーザ情報に基づいて前記ユーザインタフェースを変更することを特徴とするユーザインタフェース制御装置を提供するものである。

ここで、前記ユーザインタフェースは、ＧＵＩであるのが好ましい。
また、前記ユーザインタフェースの変更は、ボタンを大きくするのが好ましい。
さらに、前記ユーザインタフェースの変更は、メニューを変更することであるのが好ましい。

また、前記ユーザ情報は、前記ユーザの前記操作入力部の操作時間を含み、予め設定された操作時間と、前記ユーザの操作時間を比較した結果によって、前記ユーザインタフェースを変更するのが好ましい。
さらに、前記ユーザ情報は、前記ユーザの顔情報を含み、前記アプリケーションを操作中の前記ユーザを撮影して得られた顔情報、または、前記ユーザが所持する会員カードに識別情報として保存された顔情報に基づいて、前記ユーザインタフェースを変更するのが好ましい。

また、前記ユーザ情報は、前記ユーザの利き腕の情報を含み、前記アプリケーションを操作中の前記ユーザを撮影して得られた利き腕情報、前記ユーザが所持する会員カードに識別情報として保存された利き腕情報、および、前記操作入力部のデバイスの位置から得られた利き腕情報のうち１以上に基づいて、前記ユーザインタフェースを変更するのが好ましい。
さらに、前記ユーザ情報は、前記ユーザの操作のやり直し、間違い、および戻りのうち１以上の頻度の情報を含み、前記頻度の情報に基づいて、前記ユーザインタフェースを変更するのが好ましい。

また、前記操作入力部はポインティングデバイスであり、前記ユーザ情報は、前記ポインティングデバイスを操作するためのスタイラス、前記ユーザの指のうち１以上の接触形状、接触面積、および押圧の情報を含み、前記接触形状、前記接触面積、および前記押圧のうち１以上に基づいて、前記ユーザインタフェースを変更するのが好ましい。
さらに、前記ポインティングデバイスはタッチパネルであるのが好ましい。

また、コンテンツ再生装置として機能する上記のユーザインタフェース制御装置であって、さらに、再生されるコンテンツを取得するデータ取得部を有し、
前記処理実行部は、前記データ取得部によって取得された前記コンテンツを、前記ユーザインタフェースに基づいて、前記操作入力部によって入力された前記操作情報に基づく処理によって再生するのが好ましい。
また、前記コンテンツは、画像であり、前記データ取得部は、前記表示部の画面に表示する前記画像を取得する画像取得部であり、前記処理実行部は、前記ユーザインタフェースに基づいて、前記画像取得部に格納されている画像を前記表示部に表示し、前記コンテンツ再生装置は、画像表示装置であることが好ましい。
また、上記課題を解決するために、本発明は、写真プリントの注文を受け付ける注文受付機であって、上記ユーザインタフェース制御装置を有することを特徴とする注文受付機を提供するものである。

また、上記課題を解決するために、本発明は、ユーザがアプリケーションの操作を行うためのユーザインタフェース制御方法であって、前記アプリケーションの操作情報を入力するステップと、入力された前記操作情報、および、前記ユーザが前記アプリケーションの操作を行う動作情報のうち１以上を含むユーザ情報を取得するステップと、前記ユーザ情報に基づいて、画面のユーザインタフェースを設定するステップと、前記設定されたユーザインタフェースに基づいて、操作画面の表示を行うステップと、前記操作入力部により入力された操作情報に基づき処理を実行するステップと、前記ユーザ情報に基づいて前記ユーザインタフェースを変更するステップとを有することを特徴とするユーザインタフェース制御方法を提供するものである。

さらに、上記課題を解決するために、本発明は、ユーザがアプリケーションの操作を行うためのユーザインタフェース制御方法をコンピュータに実行させるためのプログラムであって、前記アプリケーションの操作情報を入力するステップと、入力された前記操作情報、および、前記ユーザが前記アプリケーションの操作を行う動作情報のうち１以上を含むユーザ情報を取得するステップと、前記ユーザ情報に基づいて、画面のユーザインタフェースを設定するステップと、前記設定されたユーザインタフェースに基づいて、操作画面の表示を行うステップと、前記操作入力部により入力された操作情報に基づき処理を実行するステップと、前記ユーザ情報に基づいて前記ユーザインタフェースを変更するステップとをコンピュータに実行させるためのプログラムを提供するものである。

本発明のユーザインタフェース制御装置、ユーザインタフェース制御方法およびプログラムによれば、アプリケーションの操作者の操作情報や身体情報などの詳細なユーザ情報に基づいて、各操作者に最適なユーザインタフェースを提供することができる。

以下に、本発明のユーザインタフェース制御装置、これを用いる注文受付装置、ユーザインタフェース制御方法およびこれを実行するプログラムについて、添付の図面に示す好適実施形態に基づいて詳細に説明する。

図１は、本発明のユーザインタフェース制御方法を実施する本発明のユーザインタフェース制御装置の装置構成の実施形態を示すブロック図である。図１に示すユーザインタフェース制御装置１０は、アプリケーションの操作画面を表示するものである。なお、本実施例では、一例として、アプリケーションは、画像のアルバム編集や、注文などを行うものであるとする。
ユーザインタフェース制御装置１０は、操作入力部１２、データ取得部１４、処理実行部１６、表示部１８、ユーザ情報取得部２０、およびユーザインタフェース設定部２２を有する。

操作入力部１２は、ユーザインタフェース制御装置１０において、ユーザが画像の編集や注文などを実行する際に、表示部１８の画面上で実行指示を行うものである。
操作入力部１２の具的な態様には特に限定はなく、リモートコントローラや携帯端末、マウス、タッチパネルなど、公知の各種の操作機器を用いればよい。本実施例では、操作入力部１２として、表示部１８に備え付けられたタッチパネルを用いる。操作入力部１２は、タッチパネルに人間の指か、またはスタイラスで触れることにより、操作を行うことができる。
操作入力部１２において入力された各操作情報は、処理実行部１６およびユーザ情報取得部２０に送信される。

データ取得部１４は、ユーザインタフェース制御装置１０において、アルバム編集や注文に供されるコンテンツデータを取得し、格納するためのものである。データ取得部１４に格納されるコンテンツデータには特に限定はなく、例えば、ユーザがカメラなどの撮影機器で撮影した画像データや、ネットワーク上からダウンロードした画像データ、および動画のデータなどを、撮影機器を直接ユーザインタフェース制御装置１０に接続するか、外部記憶媒体をユーザインタフェース制御装置１０に挿入するか、あるいはネットワークを介するなどして間接的に取得して、データ取得部１４に格納すればよい。外部記憶媒体には特に限定はなく、ＳＤカードやメモリースティック、ＣＤ−Ｒなどの公知の記憶媒体が使用可能である。
データ取得部１４に格納されているコンテンツデータは、処理実行部１６を介して、必要に応じて表示部１８に表示される。
なお、コンテンツデータとして画像を扱う場合には、データ取得部１４は画像取得部としてもよい。

処理実行部１６は、アプリケーションの操作画面を表示部１８に表示させ、操作入力部１２からの入力に応じて、表示コンテンツの編集や注文などの処理を行う。また、データ取得部１４で取得され格納されているコンテンツデータの中から、表示部１８に表示するコンテンツを選択して表示を行う。

表示部１８は、アプリケーションにおいて、コンテンツデータの編集や注文などを行うための操作画面を表示するものである。ユーザは、表示部１８を見ながら、操作入力部１２を用いて、画面上でアプリケーションの操作を行う。

ユーザ情報取得部２０は、操作入力部１２を操作するユーザについての情報であるユーザ情報を取得するものである。
ユーザ情報とは、ユーザがアプリケーションの操作を行う場合の、操作入力部１２におけるユーザの動作やユーザの身体的特徴などに関する情報である。
例えば、ユーザ情報としては、ユーザの指やスタイラスの動きと操作の速さ、操作するユーザの顔の表情、ユーザの顔の表示部１８からの距離、ユーザの視力、ユーザの利き腕、ユーザの指またはスタイラスの接触形状、接触面積、および押圧などについての情報が用いられる。
取得されたユーザ情報は、ユーザインタフェース設定部２２に送信される。

ユーザインタフェース設定部２２は、ユーザ情報取得部２０から受信したユーザ情報に基づいて、ユーザインタフェースの設定を行う。
ユーザインタフェース設定部２２は、上述のようなユーザ情報に基づいて、ユーザが操作に不慣れな初心者であるか、何度もこのアプリケーションを利用したことのある経験者であるかを判断し、それぞれに応じたユーザインタフェースを提供する。また、ユーザの利き腕や、操作を行う指またはスタイラスの接触形状、接触面積、および押圧に応じて、各ユーザがより操作のしやすい表示位置やサイズのユーザインタフェースを提供する。
ユーザ情報、および、これに基づくユーザインタフェースの設定方法については、後に詳述する。

次に、本発明のユーザインタフェース制御方法を実現する本発明のユーザインタフェース制御装置の具体的な作用について説明する。

まず、図２に、本実施例のアプリケーションにおいて、表示部１８に表示される画面フローの一例を示す。本実施例では、コンテンツとして画像を用いた場合を説明する。
図２において、初めに、画像の注文を受け付ける注文受付画面Ｓ１０が表示される。次に、ユーザの操作に応じて、使用許諾などの注意事項を表示する免責画面Ｓ１２、画像データが記憶されている外部記憶媒体をユーザインタフェース制御装置１０に挿入するためのメディア挿入画面Ｓ１４、挿入された外部記憶媒体内の画像データをユーザインタフェース制御装置１０に読み込む画像読み込み画面Ｓ１６、読み込んだ画像データを表示し、サービス内容を選択する画像一覧表示・サービス選択画面Ｓ１８、サービスを受ける対象となる画像データを選択する画像選択画面Ｓ２０、選択された画像を編集する画像編集画面Ｓ２２、および、編集された画像データをプリントするためのプリント確認画面Ｓ２４が表示される。

操作に慣れているユーザであれば、注文受付画面Ｓ１０や免責画面Ｓ１２における操作にはあまり時間をかけず、メディア挿入画面Ｓ１４での操作も戸惑うことなく行うことができると考えられる。他方、初めてこのアプリケーションを操作するようなユーザであれば、このような画面の操作や、メディアの挿入にも時間を要する。したがって、ユーザ情報取得部２０は、これらの画面での操作入力部１２による操作時間を計測し、操作に要した時間に基づいて、異なるユーザインタフェースを設定する。
ここで、一般的に最も時間のかかる画面操作は、画像編集画面Ｓ２２である。したがって、本発明では、特に、画像編集画面Ｓ２２において、ユーザごとのユーザインタフェースを設定することで、ユーザが簡易に画面上の操作を行うことができるユーザインタフェース制御装置を実現する。

図３に、ユーザインタフェースの設定方法についてのフローチャートを示す。なお、ここではユーザインタフェースとしてＧＵＩを用いた場合について説明する。
表示部１８において、図２の注文受付画面Ｓ１０〜画像選択画面Ｓ２０までの操作を行う際に、図３のステップＳ３０では、ユーザ情報取得部２０が、操作入力部１２の操作内容から、各画面における操作情報を取得する。さらに、ステップＳ３２で、ユーザ情報取得部２０は、Ｓ１０〜Ｓ２０までの各画面ごとに要した操作時間を取得する。取得した操作情報および操作時間情報は、ユーザインタフェース設定部２２に送信される。

ユーザインタフェース設定部２２は、ユーザ情報取得部２０から受信した情報に基づいて、ＧＵＩの設定を行う。まず、ステップＳ３４において、操作時間情報に基づいて、ユーザがこのアプリケーションを初めて操作するなど、まだ操作に慣れていない初心者であるか、すでに何度も操作の経験があり、操作に慣れている経験者であるかを判別する。このため、ユーザインタフェース設定部２２は、予め、図２に示す各画面について、経験者が操作を行う場合に必要な時間の平均的値を、標準操作時間として有している。

表１に、ユーザが初心者か経験者かを判別するための条件の一例を示す。
表１は、ユーザインタフェース設定部２２に予め記憶されている、各画面ごとの標準操作時間［ｓ］と、ユーザ情報取得部２０が取得したユーザＡの操作時間［ｓ］およびユーザＢの操作時間［ｓ］とを示す。

表１において、注文受付画面Ｓ１０においては、標準操作時間が１０秒であるのに対し、ユーザＡの操作時間は５秒、ユーザＢの操作時間は１５秒である。
ここで、ユーザＡは、全ての画面において、標準操作時間よりも短い時間で操作を行っていることがわかる。したがって、ユーザインタフェース設定部２２は、ユーザＡは経験者であると判断して、経験者用のＧＵＩを設定する（図３のステップＳ３８）。他方、ユーザＢは、全ての画面において、標準操作時間よりも長い時間を要して操作を行っている。したがって、ユーザインタフェース設定部２２は、ユーザＢは初心者であると判断し、初心者用のＧＵＩを設定する（図３のステップＳ３６）。
なお、画像読み込み画面Ｓ１６については、ユーザの操作が行われないため、標準時間は設定されていない。

ユーザインタフェース設定部２２による判定結果に基づくＧＵＩ設定の一例を図４（ａ）および（ｂ）に示す。
図４（ａ）は、ユーザインタフェース設定部２２においてユーザが初心者であると判断された場合に表示部１８に表示される画像編集画面Ｓ２２の一例である。画面の左側のサムネイル表示領域３０ａには、データ取得部１４において取得された画像データのサムネイル画像が表示されている。また、初心者に対して、次に行う操作をガイドするために、ガイド領域３２には、この画面でユーザが行うべき操作の内容の説明文を表示する。さらに、画面右側には、画像の編集に用いるツールボタン３４ａが配置されており、各ボタンには、処理の内容を表す文言が表示されている。画像表示領域３６ａには、編集対象の画像が表示されている。
初心者であるユーザは、ガイド領域３２に表示されている説明文を読みながら画面の操作を行うことにより、スムーズに所望の処理を行うことができる。

他方、図４（ｂ）は、ユーザインタフェース設定部２２において、ユーザが経験者であると判断された場合に、表示部１８に表示される画像編集画面Ｓ２２の一例である。画面の左側のサムネイル表示領域３０ｂには、図４（ａ）と同様にサムネイル画像が表示されている。しかし、ガイド領域３２は表示されておらず、その分、サムネイル表示領域３０ｂの面積を大きくとる画面構成となっている。さらに、画面右側には、画像の編集に用いるツールボタン３４ｂが表示されているが、図４（ａ）とは異なり、アイコンのみが表示された小さいサイズのボタンとなっている。これにより、画像表示領域３６ｂのサイズも大きくなり、編集対象の画像がより大きく表示される。
つまり、経験者であるユーザには操作に関する丁寧な説明や表示が必要ないため、それらを削除して、その代わりに画像の表示領域を大きくとることで、画像編集処理を行いやすい画面構成となっている。

ユーザインタフェース設定部２２は、このように、ユーザが初心者であるか経験者であるかによって、異なるＧＵＩを設定する。
また、経験者用のＧＵＩを設定した場合に、一定時間以上、画面操作が行われなかった場合（図３のステップＳ４０においてＹの場合）には、ユーザが操作に戸惑っていると判断して、初心者用のＧＵＩに表示を切り替える。

また、上述の例では、画面上の固定された領域にガイド領域３２を設定し、説明文を表示しているが、本発明はこれに限定されず、バルーン表示などにより、一時的に表示を行うようにしてもよい。または、シミュレーション用の画面を表示して、実際の操作のイメージを動画で表示するようにしてもよい。さらに、ある処理を終えると、次の処理の操作に関する領域に向けて矢印を表示して、ユーザがスムーズに操作を行うことができるように誘導してもよい。
また、ユーザが初心者であるか経験者であるかの判断は、ユーザの画面の操作時間に加えて、ユーザが操作入力部１２を操作するスピードに基づいて行ってもよい。

ここで、ユーザが初心者であると判断された場合は、図４（ａ）のような画面よりもさらに表示をわかりやすくするために、図５（ａ）および（ｂ）に示すように、ユーザが行う各作業毎に、異なる画面を用意してもよい。
図４（ａ）では、画面左側にサムネイル表示領域３０ａを表示すると共に、画面右側には、ツールボタン３４ａが表示されており、ユーザは１つの画面上で画像の選択および画像合成などの編集を行うことができるものであった。他方、図５（ａ）では、サムネイル表示領域３０ａのみを表示させる、画像選択のための画面を表示して、画像選択が終了すると、図５（ｂ）に示すような、ツールボタン３４ａの表示された、画像編集用の画面を表示させる。
これにより、ユーザは、各画面において行うべき操作がよりわかりやすくなるような、初心者が操作しやすいＧＵＩを提供することができる。

また、ユーザが初心者である場合には、操作のやり直し、間違い、および戻り等が発生する確率が高いことから、ユーザの操作時間ではなく、操作手順によっても初心者か、経験者であるかを判別することができる。
図６にコンテンツとして画像を用いたフォトアルバムを、プリント注文する時のフロー図の一例を示す。

図６において、初めにステップＳ５０で、フォトアルバムのテンプレートを選択する。次に、ステップＳ５２でフォトアルバムにする画像を確認するために、画像が一覧表示される。ユーザは、一覧表示された画像を確認し、ステップＳ５４にて、自動合成と手動合成を選択することができる。自動合成の場合には、選択したテンプレートと画像を、例えば、ランダム、日付順、ファイル名順等のように、画像合成する順序を選択する。手動合成の場合には、ステップＳ５６で合成する画像を選択し順番を指定する。合成する画像の選択および順番の指定の終了後、画像合成が行われ、ステップＳ５７にて合成結果を確認する。次にステップＳ５８で、フォトアルバムの表紙に用いる画像を選択する。

フォトアルバムを構成する要素を全て指定し終えると、ステップＳ６０において、フォトアルバムの完成イメージが表示される。ユーザは、フォトアルバムの完成イメージを見て、ステップＳ６２〜Ｓ８０に示す、レイアウト変更、ページの追加、削除、テンプレート変更、画像処理、トリミング、回転、および文字入れ等の各種編集処理を行うことができる。ユーザは、これら各種編集処理を行った結果を、ステップＳ８２にて最終的に確認し、フォトアルバムのプリントを注文する。

ここで、経験者であれば、これら一連の操作はスムーズに行うことができるが、初心者であれば、例えば、ステップＳ５２の画像の一覧表示を行ってから、テンプレートの選択を思い直し、ステップＳ５０に戻ってテンプレートを再選択したり、ステップＳ５４の画像合成方法の選択で、自動合成を行いたいのに、間違って手動合成を選んでしまった場合等には、操作のやり直しや前のステップへの戻り作業が経験者に比べて多く発生する。
他にも、次にどの様な操作をして、次のステップに進めばよいかわからず、同じステップで操作が止まってしまう、最初からやり直してみるなどの操作が、経験者に比べて多く発生する。

このように、操作のやり直し等が多く発生し、画面遷移における「戻る」ボタン押下の回数が多い場合には、ユーザは初心者であると判別し、図４（ａ）、図５（ａ）および（ｂ）のように、わかりやすい操作画面に変更することができる。

また、図６のステップＳ６２〜Ｓ８０に示す各種編集処理においても、それぞれのステップでの操作時間により初心者と経験者を判断することもできる。
各種編集処理の一例として、図７に画像処理の編集画面を示す。
編集画面には、左側にオリジナル画像４０が表示され、右側に画像処理後の画像４８が表示されている。ユーザは、オリジナル画像４０に対して、ブライトネス４２、コントラスト４４、サチュレーション４６、赤５０、青５２、および緑５４の各要素を調整することができ、また、画像全体をモノクロやセピア調にするためのボタンエリア５６を用いて、それぞれの効果を画像処理後の画像４８として確認しながら、画像処理方法を決定することができる。

画像処理の編集画面においても、経験者は概ねどのような処理を行えば、所望の画像になるかを知っているが、初心者は各処理の結果に対して予想が付かず、試行錯誤を行いながら処理を行うため、画面内の操作におけるやり直し、間違いの回数等によってもユーザが初心者であるか経験者であるかを判別することができる。

さらに、画面遷移を行ってから「戻る」ボタンが押下されるまでの時間によって、初心者か経験者かを判断してもよい。
図８は、画面遷移を行ってから「戻る」ボタンが押下されるまでの時間による、画面表示設定の一例を示すフロー図である。
まず、ステップＳ９０で画面表示は通常（経験者向け）に設定され、ステップＳ９２で画面が表示される。ここで、画面を表示してからの経過時間の計測を開始する（ステップＳ９４）。ユーザは、ステップＳ９６で、画面を操作して注文作業を行う。ユーザが注文作業を終え、ステップＳ９８で「次へ」または「戻る」ボタンを押下したかを判断し、「次へ」ボタンを押下したならば、所定の注文作業を終えて次の処理へ進むこととなるので、ステップＳ９４で開始した画面表示からの経過時間の計測を終了する。他の画像についても処理を行う必要があれば、再度ステップＳ９２に戻り、処理を続ける。

ステップＳ９８で「戻る」ボタンが押下された場合には、ステップＳ９４で開始した画面表示からの経過時間をステップＳ１０４で取得し、経過時間が予め設定された一定時間を超えていれば、遷移先の画面が何をする画面なのかを理解するのに時間がかかった、すなわち、操作に戸惑っていると判断し、ステップＳ１０８で画面表示設定を初心者向けに変更する。経過時間が予め設定された一定時間を超えていない場合、すなわち、画面遷移後にすぐ「戻る」ボタンを押下した場合には、ボタンの押し間違い等によるものと判断し、画面表示設定は通常のままで前画面へと戻り、処理を続ける。

ここで、各画面毎に画面遷移後、「戻る」ボタンが押下されるまでの時間（初心者判断時間［ｓ］）の設定例を表２に示す。

注文受付画面から免責画面へと遷移したとき、および、免責画面からメディア挿入画面へと遷移したときは、ユーザが複雑な操作を行う画面ではないので、初心者判断時間は短く設定する。画像読み込み画面では、ユーザは待機状態であるので初心者判断時間は設定されない。
画像の読み込み終了後、画像一覧表示・サービス選択画面へと遷移したとき、および、画像一覧表示・サービス選択画面から画像選択画面へと遷移したときは、ユーザが正しい画像を読み込んだか等を確認する必要があるため、初心者判断時間は標準に設定する。
画像選択画面から画像編集画面へと遷移したときは、各種画像編集機能が表示されて画面が複雑になり、また、画像編集を少し行ってみたものの、やはり編集する画像を変更したいと考えて、「戻る」ボタンを押下する場合等が考えられるため、初心者判断時間を長めに設定する。

また、本発明では、ユーザが初心者であるか経験者であるかに基づくＧＵＩ設定だけでなく、ユーザの操作中の操作入力部１２または操作入力部１２を操作するユーザの指の動きなどの動作情報、および、ユーザの顔の表情などの身体情報に基づいて、ユーザの操作の流れに応じて、その時々に応じたＧＵＩを表示することができる。

まず、操作入力部１２またはユーザの指の動きの動作情報に応じて、ＧＵＩを設定する方法について述べる。ここでは一例として、ユーザが指でタッチパネルに触れることにより操作を行う場合について説明する。
図９（ａ）に示すような操作画面において、ユーザがサムネイル画像領域３０ｂの中から編集を行う画像を選択するために、サムネイル画像領域３０ｂに指を近づけたとする。この時、ユーザ情報取得部２０は、ユーザの指の位置を検知して、画面上のどの部分をタッチしようとしているかを予測する。そして、図９（ｂ）に示すように、サムネイル画像領域３０ｂを小さくしてサムネイル画像領域３０ｃとし、サムネイル画像領域３０ｃの上部にガイド領域３２を設け、ユーザがタッチしようとしている領域に関する説明文を表示する。
さらに、ユーザの指がサムネイル画像領域３０ｃから遠ざかると、ユーザインタフェース設定部２２は、画像選択の作業が完了したものと判断して、次の操作ステップにおける操作領域を視覚的にわかりやすく表示する。ここでは、画像選択が完了した状態であるので、次の作業は選択した画像の編集である。したがって、ユーザインタフェース設定部２２は、図９（ｃ）に示すように、画像表示領域３６ａ上に表示されている選択された画像を太枠で囲むなどして、ユーザに次の作業を行う領域がわかりやすいように表示する。

また、ユーザが画像編集を行う場合には、様々な処理を選択することができるので、選択された画像を太枠で囲むだけでなく、図１０に示すように、次に使用する頻度が高いボタンやメニューを拡大することもできる。図１０（ａ）のように、ユーザが指を画像編集ボタン３４ｂのエリアに近づけると、ユーザが画像編集を行おうとしていると予測し、図１０（ｂ）のように、画像編集ボタンの中で、使用頻度の高いボタン３４ｃ、メニュー、あるいは、おすすめ機能を拡大表示することで、ユーザの利便性を高めることができる。
さらに、使用頻度の高いボタンやメニューを近づけることで、よりユーザの操作の利便性を高めてもよい。

なお、ユーザの指の位置情報の取得方法は、例えば、表示部１８付近にカメラを設置して、これにより表示部１８およびユーザを撮影することで、ユーザの指の表示部１８からの距離や位置を検知すればよい。
また、上述の実施例では、ユーザが指でタッチパネルに触れることにより操作を行う場合について述べたが、操作の方法は、スタイラスなどを用いて操作入力部１２を操作するものであってもよい。この場合も同様に、スタイラスの位置をカメラなどで検知することで、ユーザが行おうとしている操作を予測することが可能である。

さらに、ユーザの身体情報に応じてユーザインタフェース（ＧＵＩ）を設定する方法について述べる。
まず、ユーザの操作中の顔の表情に応じて、ＧＵＩを設定する方法について説明する。
ユーザインタフェース設定部２２は、上述のような表示部１８付近に設置したカメラにより、ユーザの顔を撮影して、ユーザの顔の表示部１８からの位置および距離、ならびに、顔検出および顔の表情の解析を行う。
ユーザが目を細めた表情をしている場合や、表示部１８に顔を近づけている場合には、ユーザインタフェース設定部２２は、ユーザが表示部１８に表示されている画像や文字が見づらい状態にあると判断し、画面上の文字や画像の表示サイズを大きくする。
また、ユーザの視線を検出して、これに基づきユーザが画面上のどこに注目しているかを識別し、その部分を拡大表示してもよい。

次に、ユーザが操作を行う腕に応じてユーザインタフェース（ＧＵＩ）を設定する方法について説明する。
ユーザインタフェース設定部２２は、上述のような表示部１８付近に設置したカメラにより、ユーザの腕を撮影して、ユーザがどちらの腕を使って操作を行っているかを検知する。そして、操作を行っている腕に応じて、ＧＵＩを変更する。例えば、ユーザが右腕で操作を行っている場合は、図１１（ａ）に示すように、ツールボタン３４ａを画面の右側に表示し、ユーザが左腕で操作を行っている場合は、図１１（ｂ）に示すように、ツールボタン３４ａを画面の左側に表示する。

なお、上述のようなユーザの身体情報は、カメラによる撮影により判断してもよいし、予めユーザごとの身体情報を記憶しておき、それを利用してもよい。
例えば、ユーザの視力および操作を行う腕に関する情報を、予め身体情報として、各ユーザ毎の識別情報と対応付けて記憶しておき、ユーザが操作開始時に、会員カードを用いたり、ユーザの識別情報を入力したりすることにより、ユーザの識別を行い、識別情報に対応する身体情報に基づいて、ＧＵＩの設定を変更してもよい。

また、他にもユーザがタッチパネルを指で押したときの、押圧により左右の腕を判別することもできる。例えば、右腕を使用している場合には、指がタッチパネルに接触する部分の右側が押圧が強くなるため、これを検知して右腕により操作を行っていると判別することができる。
さらに、指の接触部分の傾きから、左右どちらの腕がよく使用されているかを判別することもできる。図１２に示す例は、画面正面から右腕を使用してタッチした場合を示し、指の接触部分が左に傾いている。このように、指の接触部分の傾きからどちらの腕で操作されているかを判別することができる。

ユーザが指ではなく、スタイラス等のデバイスを使用する場合には、画面に対するデバイスの位置から、左右どちらの腕で使用されているかを判別することもできる。

さらに、操作を行うユーザの指の太さ、すなわち指がタッチパネルに接触する接触形状、接触面積、および押圧に応じて、ＧＵＩを変更してもよい。指が太いユーザの場合は、指と画面との接触面積が大きくなるため、画面上に小さなボタンが多数並んでいる領域などでは、所望のボタンのみをタッチすることが難しい。このため、ユーザの指の太さに応じて、表示するボタンのサイズを決定する。
例えば、図１３（ａ）において、ユーザがツールボタン３４ｂの中のあるボタンをタッチしようとする場合、ユーザインタフェース設定部２２は、上述のカメラを用いて、ユーザの指を撮影し、指の太さを判別する。そして、太さに応じて、そのユーザがボタンをタッチするのに十分なボタンのサイズを判断する。そして、ユーザがツールボタン３４ｂに指を近づけると、ユーザがタッチしようとしているボタンをカメラで判断して、図１３（ｂ）のツールボタン３４ｃに示すように、そのボタンの表示サイズを、判断結果に基づいて自動的に拡大表示する。
また、上述の実施例では、ユーザが指でタッチパネルに触れることにより操作を行う場合について述べたが、スタイラスなどを用いて操作入力部１２を操作するものであっても、同様の方法でＧＵＩ設定を行うことができる。

このように、本発明のユーザインタフェース制御方法を用いるユーザインタフェース制御装置、および、このようなユーザインタフェース制御方法をコンピュータに実行させるためのプログラムによれば、アプリケーションの操作者の操作のスピードや操作に要する時間などの情報、および、ユーザの顔の表情、操作を行う腕、視力、指がタッチパネルに接触する接触形状、接触面積、および押圧などの身体情報などの詳細なユーザ情報に基づいて、各操作者に最適なユーザインタフェースをリアルタイムで判断し、提供することができる。

なお、本発明においては、上述したユーザインタフェース制御方法の各工程をコンピュータに実行させるためのユーザインタフェース制御プログラムとして構成しても良いし、また、コンピュータを、ユーザインタフェース制御方法の各工程を実施する各手段として、または、上述したユーザインタフェース制御装置を構成する各手段として機能させるユーザインタフェース制御プログラムとして構成しても良い。
また、本発明を、上述したユーザインタフェース制御プログラムをコンピュータにより読取可能な媒体またはコンピュータにより読取可能なメモリとして構成しても良い。

以上、本発明のユーザインタフェース制御装置、これを用いる注文受付装置、ユーザインタフェース制御方法およびこれを実行するプログラムについて詳細に説明したが、本発明は上記種々の実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

本発明のユーザインタフェース制御装置の装置構成の一例を示すブロック図である。 表示部に表示される画面フロー図である。 ユーザインタフェース（ＧＵＩ）の設定方法についてのフロー図である。 （ａ）および（ｂ）は、ユーザの操作時間の判定結果に基づくＧＵＩ設定の画面の一例を示す図である。 （ａ）および（ｂ）は、ユーザの操作時間の判定結果に基づくＧＵＩ設定の画面の他の一例を示す図である。 ユーザがフォトアルバムのプリント注文をする場合の、処理の流れの一例を示すフロー図である。 画像処理の編集画面の一例を示す図である。 「戻る」ボタンの押下までの時間による、画面表示設定の一例を示すフロー図である。 （ａ）〜（ｃ）は、ユーザの指の位置に基づくＧＵＩ設定の画面の一例を示す図である。 （ａ）および（ｂ）は、ユーザの指の動きの予測に基づくＧＵＩ設定の画面の一例を示す図である。 （ａ）および（ｂ）は、ユーザの操作を行う腕に基づくＧＵＩ設定の画面の一例を示す図である。 ユーザの指の接触部分の傾きの一例を示す図である。 （ａ）および（ｂ）は、ユーザの指の太さに基づくＧＵＩ設定の画面の一例を示す図である。

符号の説明

１０ ユーザインタフェース制御装置
１２ 操作入力部
１４ データ取得部
１６ 処理実行部
１８ 表示部
２０ ユーザ情報取得部
２２ ユーザインタフェース設定部
３０ａ、３０ｂ、３０ｃ サムネイル表示領域
３２ ガイド領域
３４ａ、３４ｂ、３４ｃ ボタン
３６ａ、３６ｂ 画像表示領域
４０ オリジナル画像
４２ ブライトネス
４４ コントラスト
４６ サチュレーション
４８ 画像処理後の画像
５０ 赤
５２ 青
５４ 緑
５６ ボタンエリア

Claims (15)

1. ユーザがアプリケーションの操作を行うためのユーザインタフェース制御装置であって、
   前記アプリケーションの操作情報を入力する操作入力部と、
   前記操作入力部より入力された前記操作情報、および、前記ユーザが前記アプリケーションの操作を行う動作情報のうち１以上を含むユーザ情報を取得するユーザ情報取得部と、
   前記ユーザ情報に基づいて、画面のユーザインタフェースを設定するユーザインタフェース設定部と、
   前記設定されたユーザインタフェースに基づいて、操作画面の表示を行う表示部と、
   前記表示部に表示された操作画面に基づいて、前記操作入力部により入力された操作情報に基づき処理を実行する処理実行部とを有し、
   前記ユーザ情報に基づいて前記ユーザインタフェースを変更することを特徴とするユーザインタフェース制御装置。
2. 前記ユーザインタフェースは、ＧＵＩであることを特徴とする請求項１に記載のユーザインタフェース制御装置。
3. 前記ユーザインタフェースの変更は、ボタンを大きくすることである請求項１または２に記載のユーザインタフェース制御装置。
4. 前記ユーザインタフェースの変更は、メニューを変更することである請求項１または２に記載のユーザインタフェース制御装置。
5. 前記ユーザ情報は、前記ユーザの前記操作入力部の操作時間を含み、予め設定された操作時間と、前記ユーザの操作時間を比較した結果によって、前記ユーザインタフェースを変更することを特徴とする請求項１〜４のいずれかに記載のユーザインタフェース制御装置。
6. 前記ユーザ情報は、前記ユーザの顔情報を含み、前記アプリケーションを操作中の前記ユーザを撮影して得られた顔情報、または、前記ユーザが所持する会員カードに識別情報として保存された顔情報に基づいて、前記ユーザインタフェースを変更することを特徴とする請求項１〜５のいずれかに記載のユーザインタフェース制御装置。
7. 前記ユーザ情報は、前記ユーザの利き腕の情報を含み、前記アプリケーションを操作中の前記ユーザを撮影して得られた利き腕情報、前記ユーザが所持する会員カードに識別情報として保存された利き腕情報、および、前記操作入力部のデバイスの位置から得られた利き腕情報のうち１以上に基づいて、前記ユーザインタフェースを変更することを特徴とする請求項１〜６のいずれかに記載のユーザインタフェース制御装置。
8. 前記ユーザ情報は、前記ユーザの操作のやり直し、間違い、および戻りのうち１以上の頻度の情報を含み、前記頻度の情報に基づいて、前記ユーザインタフェースを変更することを特徴とする請求項１〜７のいずれかに記載のユーザインタフェース制御装置。
9. 前記操作入力部はポインティングデバイスであり、
   前記ユーザ情報は、前記ポインティングデバイスを操作するためのスタイラス、前記ユーザの指のうち１以上の接触形状、接触面積、および押圧の情報を含み、前記接触形状、前記接触面積、および前記押圧のうち１以上に基づいて、前記ユーザインタフェースを変更することを特徴とする請求項１〜８のいずれかに記載のユーザインタフェース制御装置。
10. 前記ポインティングデバイスはタッチパネルであることを特徴とする請求項９に記載のユーザインタフェース制御装置。
11. コンテンツ再生装置として機能する請求項１〜１０のいずれかに記載のユーザインタフェース制御装置であって、さらに、
    再生されるコンテンツを取得するデータ取得部を有し、
    前記処理実行部は、前記データ取得部によって取得された前記コンテンツを、前記ユーザインタフェースに基づいて、前記操作入力部によって入力された前記操作情報に基づく処理によって再生することを特徴とするユーザインタフェース制御装置。
12. 前記コンテンツは、画像であり、前記データ取得部は、前記表示部の画面に表示する前記画像を取得する画像取得部であり、前記処理実行部は、前記ユーザインタフェースに基づいて、前記画像取得部に格納されている画像を前記表示部に表示し、前記コンテンツ再生装置は、画像表示装置である請求項１１に記載のユーザインタフェース制御装置。
13. 写真プリントの注文を受け付ける注文受付機であって、
    請求項１２に記載のユーザインタフェース制御装置を有することを特徴とする注文受付機。
14. ユーザがアプリケーションの操作を行うためのユーザインタフェース制御方法であって、
    前記アプリケーションの操作情報を入力するステップと、
    入力された前記操作情報、および、前記ユーザが前記アプリケーションの操作を行う動作情報のうち１以上を含むユーザ情報を取得するステップと、
    前記ユーザ情報に基づいて、画面のユーザインタフェースを設定するステップと、
    前記設定されたユーザインタフェースに基づいて、操作画面の表示を行うステップと、
    前記操作画面に基づいて入力された前記操作情報に基づき処理を実行するステップと、
    前記ユーザ情報に基づいて前記ユーザインタフェースを変更するステップと
    を有することを特徴とするユーザインタフェース制御方法。
15. ユーザがアプリケーションの操作を行うためのユーザインタフェース制御方法をコンピュータに実行させるためのプログラムであって、
    前記アプリケーションの操作情報を入力するステップと、
    入力された前記操作情報、および、前記ユーザが前記アプリケーションの操作を行う動作情報のうち１以上を含むユーザ情報を取得するステップと、
    前記ユーザ情報に基づいて、画面のユーザインタフェースを設定するステップと、
    前記設定されたユーザインタフェースに基づいて、操作画面の表示を行うステップと、
    前記操作画面に基づいて入力された前記操作情報に基づき処理を実行するステップと、
    前記ユーザ情報に基づいて前記ユーザインタフェースを変更するステップと
    をコンピュータに実行させるためのプログラム。

Images