JP2014086019A - ユーザインタフェース変換装置、方法及びプログラム - Google Patents

Abstract

【課題】ユーザごとにその好みに応じたユーザインタフェースを常に表示する。
【解決手段】アプリケーションごとに操作履歴情報とスクリーンショット情報を記憶部１０１に記憶し、この記憶された操作履歴情報及びスクリーンショット情報をもとに、操作種別と入力フォームの種別の全ての組み合わせについてその慣れスコアを算出し記憶部１０１に記憶する。そして、新たなアプリケーションが起動された場合に、当該アプリケーションのＧＵＩを、過去に使用されたアプリケーションのうち慣れスコアの高いアプリケーションのボタン操作位置とデザインに対応するように変換する。
【選択図】図２

Description

この発明は、ユーザ端末に表示される画面ユーザインタフェースをユーザの好みに応じて変換するユーザインタフェース変換装置、方法及びプログラムに関する。

ユーザ端末で使用されるＧＵＩ（Graphic User Interface）の良し悪しがサービスやアプリケーションに影響をおよぼすことは古くから言われている。特に、災害時等のように冷静に対応することが困難な状況下において、その影響は顕著になる。実際に、東日本大震災では災害用伝言板サービスの使い方がわからず使用を諦めてしまう人が多数存在した。しかしながら、使いやすいＧＵＩは個人個人によって異なるため、全ての人が使いやすいＧＵＩを設計および実装することは非常に困難である。

そこで、ユーザに応じてユーザインタフェースを変換する技術として、ユーザの能力、例えば言語能力、視覚、聴覚、コンピュータの熟練度や、情報端末の性能、例えば処理能力、表示サイズ、音質、残存電力等にあわせてユーザインタフェースを変えて提示する手法が提案されている（例えば非特許文献１を参照）。

前田優作 他、"ユニバーサルマルチメディアアクセスのためのユーザインタフェースデザイン"、電子情報通信学会技術研究報告、ＫＢＳＥ、知能ソフトウェア工学、vol．108，no．326，PP．71-76，2008．

ところが、非特許文献に記載された手法は、予め用意されているテンプレートの中からユーザが好みのものを選択するものとなっている。このため、用意されているテンプレートの中に利用者に合ったユーザインタフェースが存在しなければ使い勝手を向上させられないという課題がある。

この発明は上記事情に着目してなされたもので、その目的とするところは、ユーザごとにその好みに応じたユーザインタフェースを常に表示できるようにするユーザインタフェース変換装置、方法及びプログラムを提供することにある。

上記目的を達成するためにこの発明の１つの観点は、アプリケーションごとに当該アプリケーションにより定義されたユーザインタフェースをユーザに提示するユーザインタフェース変換装置にあって、上記アプリケーションごとに当該アプリケーションに対するユーザの慣れの度合いを計算し、アプリケーションが実行される際に当該アプリケーションのユーザインタフェースを、過去に使用されたアプリケーションのうち上記計算された慣れの度合いが高いアプリケーションのユーザインタフェースに近づけるように変換し、この変換されたユーザインタフェースをユーザに提示するようにしたものである。

また、この発明の１つの観点は以下のような態様を備えることを特徴とする。
第１の態様は、上記慣れの度合いを計算する際に、上記アプリケーションが実行されるごとにその操作種別及びフォーム種別を検出し操作履歴として記憶し、この記憶された操作履歴をもとに、操作種別とフォーム種別との組み合わせごとに当該組み合わせの全ての操作種別とフォーム種別との組み合わせに対する出現頻度を算出し、この算出された出現頻度を慣れの度合いとして記憶するものである。

第２の態様は、上記ユーザインタフェースを変換する際に、アプリケーションの操作ボタンの位置及びフォームを、過去に使用されたアプリケーションのうち上記計算された慣れの度合いが高いアプリケーションの操作ボタンの位置及びフォームに変換するものである。

第３の態様は、上記変換に際し、上記フォームのデザインを、慣れの度合いが高いアプリケーションの実行時に記憶されたスクリーンショットに基づいて変換するものである。

この発明の一観点によれば、アプリケーションが実行される際に、当該アプリケーションのユーザインタフェースが、過去に使用されたアプリケーションのうち慣れの度合いが高いアプリケーションのユーザインタフェースに近づくように変換されて提示される。このため、ユーザが新しいアプリケーションを使用する際に、多数のＧＵＩテンプレートを用意しなくても、ユーザごとにその好みに応じたＧＵＩを表示することが可能となり、これによりユーザは初見のサービスやアプリケーションでも使い方がすぐ分かるようになる。

また第１の態様によれば、慣れの度合いが、アプリケーションの操作種別とフォーム種別との組み合わせごとにその出現頻度として算出される。このため、単に操作種別或いはフォーム種別について算出する場合に比べ、アプリケーションのユーザインタフェースに対するユーザの慣れの度合いを、より正確に判定することが可能となる。

第２の態様によれば、ユーザインタフェースを変換する際に、アプリケーションの操作ボタンの位置及びフォームが、過去に使用されたアプリケーションのうち慣れの度合いが高いアプリケーションの操作ボタンの位置及びフォームに変換される。このため、アプリケーションの操作に不慣れなユーザに対しても、理解しやすい形態で変換後のユーザインタフェースを提示することができる。

第３の態様によれば、上記変換に際し、フォームのデザインが慣れの度合いが高いアプリケーションの実行時に記憶されたスクリーンショットをもとに変換される。したがって、フォームのデザインをスクリーンショットに応じた形態にすることができる。

すなわち、この発明の一観点によれば、ユーザごとにその好みに応じたユーザインタフェースを常に表示できるようにするユーザインタフェース変換装置、方法及びプログラムを提供することができる。

この発明の原理説明に用いるＧＵＩの変換表示例を示す図。 この発明の一実施形態に係わるユーザインタフェース変換機能を備えた端末の機能構成を示すブロック図。 図２に示した端末で記憶されるＧＵＩ情報及び操作情報の一例を示す図。 図２に示した端末で記憶される操作履歴情報の一例を示す図。 図２に示した端末で記憶されるスクリーンショット情報の一例を示す図。 図２に示した端末で算出され記憶される慣れスコア情報の一例を示す図。 図２に示した端末によるＧＵＩ変換処理及びデータ記憶処理の処理手順と処理内容を示すフローチャート。 図２に示した端末による慣れスコア算出処理の処理手順と処理内容を示すフローチャート。

［原理］
先ず、この発明の原理を説明する。
図１は、あるＷｅｂ伝言板サービスに対応する画面ユーザインタフェースをユーザ端末に表示させる際に、ユーザごとに当該ユーザが使い慣れているアプリケーションに対応するユーザインタフェースに変換して表示させる場合の例を示している。例えば、ユーザＡがあるマイクロブログサービスのアプリケーションを使い慣れているのであれば、Ｗｅｂ伝言板サービスに対応する画面ユーザインタフェースを、上記使い慣れているマイクロブログサービスと類似する表示形態になるように変換して表示させる。また、メールを使い慣れているユーザＢに対しては、上記Ｗｅｂ伝言板サービスに対応する画面ユーザインタフェースを、使い慣れているメーラと類似する表示形態に変換して表示させる。

このように、あるサービスのＧＵＩを、ユーザごとに当該ユーザが普段使い慣れているサービスやアプリケーションのＧＵＩの表示形態に変換して表示させることで、多数のテンプレートを用意しなくても、ユーザは自身が使い慣れたサービス又はアプリケーションと類似する表示形態により上記サービスを利用することが可能となる。

上記ＧＵＩの変換を実現するために、この発明では以下のような対策を講じている。すなわち、先ず使い慣れているアプリケーションやサービスを判定する。そのために、利用者が使用したアプリケーションの操作履歴（例えばボタンを押した回数）や、スクリーンショットを記憶しておく。そして、操作履歴から、どのアプリケーションでどのような操作をどの位置に配置されているどんなフォームで良く行われているかを抽出する。例えば「アプリケーションＡ」では、コメントの「投稿」操作を「ｘ座標が５０、ｙ座標が１０」の位置にある「ボタン」フォームを押すことにより行うことが多いという情報を抽出する。

次に、この「操作」と「フォーム」が同一の組み合わせとなるものを、慣れスコアの高いものの「位置」や「デザイン」に変換する。例えば、初めて使用するアプリケーションＢに「投稿」という操作と「ボタン」というフォームがあり、アプリケーションＡの「投稿」と「ボタン」の組み合わせの慣れスコアが高い場合、アプリケーションＢの投稿ボタンをアプリケーションＡの位置とデザインに変換する。この処理を起動したアプリケーションがもつ「操作」と「フォーム」の組み合わせ全てに対して実行することでＧＵＩの変換を行う。なお「デザイン」の変換は、操作履歴がもつ位置座標やフォームの幅や高さと、その操作履歴と同時刻に記録したスクリーンショットとからフォームのデザインを抽出する。

慣れスコアは、操作種別とフォーム種別との組み合わせの全てに対して算出する。操作種別とは、上述した「投稿」の他に、「ブックマーク」、「ページスクロール」等といった操作の行為をさす。フォーム種別とは、上述した「ボタン」の他に、「スクロールバー」等といった操作を行うための入カフォームのことをさす。慣れスコアは、例えば全てのアプリケーションを対象にして同一の操作種別とフォーム種別との組み合わせの出現頻度に対する当該アプリケーションの操作数の確率を用いて算出することができる。例えば、「投稿」と「ボタン」の組み合わせとなる操作履歴が全てのアプリケーションで１００回存在し、その内アプリケーションＡでの回数は７５回であったとする。この場合、「投稿」、「ボタン」、「アプリケーションＡ」の慣れスコアは０．７５となる。

以上の手法により、多数のテンプレートを用意しなくてもユーザごとにその好みに応じたユーザインタフェースを表示することが可能となり、これによりユーザは初見のサービスやアプリケーションでも使い方がすぐ分かるようになる。

［一実施形態］
以下、図面を参照してこの発明に係わる実施形態を説明する。
（構成）
図２は、この発明の一実施形態に係わるユーザインタフェース変換機能を備えた端末の機能構成を示すブロック図である。
端末１００は、携帯電話機やスマートホン、タブレット型端末、ノート型パーソナル・コンピュータ等の移動端末（ノード）からなり、この一実施形態を実現するために必要な機能として、記憶部１０１と、アプリケーション実行部１０２と、アプリケーション監視部１０３と、操作履歴情報生成部１０４と、スクリーンショット情報生成部１０５と、慣れスコア情報算出部１０６と、ＧＵＩ変換処理部１０７と、タイマ１０８を備えている。このうち、記憶部１０１を除いた各機能は、図示しないプログラム・メモリに格納されたプロを図示しないＣＰＵ（Central Processing Unit）に実行させることにより実現される。

記憶部１０１には、操作履歴情報記憶エリア１０１１と、スクリーンショット情報記憶エリア１０１２と、慣れスコア情報記憶エリア１０１３が設けられている。操作履歴情報記憶エリア１０１１は、ユーザがアプリケーションを利用しているときの操作履歴を表す情報を蓄積するために用いられる。図４は記憶された操作履歴情報の一例を示すもので、各操作履歴情報はそれぞれアプリケーション名と、記憶時刻と、操作目的の種別と、操作フォームの種別と、画面上のｘ座標及びｙ座標と、フォームデザインの幅及び高さを示す情報により表される。

スクリーンショット情報記憶エリア１０１２は、スクリーンショット情報を記憶するために用いられる。スクリーンショットとは画面のキャプチャ画像である。図５は記憶されたスクリーンショット情報の一例を示すもので、各スクリーンショット情報はそれぞれアプリケーション名と、記憶時刻と、キャプチャ画像ファイルの保存場所を表す情報により表される。

慣れスコア情報記憶エリア１０１３は、上記操作履歴情報記憶エリア１０１１及びスクリーンショット情報記憶エリア１０１２に記憶された操作種別とフォーム種別のすべての組み合わせに対して、後述する慣れスコア情報算出部１０６により算出された慣れ情報を記憶するために用いられる。図６は記憶された慣れスコア情報の一例を示すもので、操作種別、フォーム種別、アプリケーション名、画面上のｘ座標及びｙ座標に関連付けて記憶される。

アプリケーション実行部１０２は、ボタンが押された、或いは画面がスクロールされたといった入力イベントが発生した場合に、その操作情報とスクリーンショットをアプリケーション監視部１０３に渡す。また、アプリケーション起動時にはＧＵＩ情報をアプリケーション監視部１０３に渡し、さらに後述するＧＵＩ変換処理部１０７から変換後ＧＵＩ情報を受け取った場合には当該変換後ＧＵＩ情報に従い画面データを表示させる機能を有する。

図３は上記ＧＵＩ情報及び操作情報の一例を示すものである。ＧＵＩ情報及び操作情報は、アプリケーション名、操作種別、フォーム種別、画面上のｘ座標及びｙ座標、フォームデザインの幅、高さを示す情報により表される。ＧＵＩ情報と操作情報のデータ形式は基本的に同一であるが、ＧＵＩ情報は同一アプリケーションすべてのデータの集合、操作情報はアプリケーション、操作種別、フォーム種別の一意な組み合わせとなる。例えば図３では、アプリケーションＢが起動された場合には２行目のデータと３行目のデータの集合がＧＵＩ情報となる。また、プリケーションＢの投稿ボタンが押された場合には、３行目のデータが操作情報となる。なお、操作種別、フォーム種別は予めアプリケーション実行部１０２内で定義されているものを使用する。例えば、アプリケーションとしてＷｅｂアプリケーションを対象としているのであれば、ＨＴＭＬで定義されているフォームタグのインプットタイプがフォーム種別に、またフォームに付けられている名称が操作種別となる。

アプリケーション監視部１０３は、アプリケーション実行部１０２から情報を受け取った場合に、受け取った情報が操作情報であれば操作履歴情報生成部１０４へ、スクリーンショットであればスクリーンショット情報生成部１０５へ、ＧＵＩ情報であればＧＵＩ変換処理部１０７へそれぞれ転送する。また、ＧＵＩ変換処理部１０７から変換後ＧＵＩ情報を受け取った場合には、アプリケーション実行部１０２へこの変換後ＧＵＩ情報を転送する。

操作履歴情報生成部１０４は、アプリケーション監視部１０３から操作情報を受け取った場合に、当該操作情報にタイムスタンプを付与して操作履歴情報を生成する。そして、この生成された操作履歴情報を記憶部１０１の操作履歴情報記憶エリア１０１１に記憶させる機能を有する。

スクリーンショット情報生成部１０５は、アプリケーション監視部１０３からスクリーンショットを受け取ると、このスクリーンショットに対しタイムスタンプ情報及びスクリーンショット画像の保存先ファイルパスを付与してスクリーンショット情報を生成する。そして、この生成されたスクリーンショット情報を記憶部１０１内のスクリーンショット情報記憶エリア１０１２に記憶させる処理を行う。

慣れスコア情報算出部１０６は、開始トリガを受信したとき、記憶部１０１の操作履歴情報記憶エリア１０１１及びスクリーンショット情報記憶エリア１０１２からそれぞれ操作履歴情報及びスクリーンショット情報を読み出し、この読み出された情報をもとに慣れスコアを算出する。慣れスコアは、例えばすべてのアプリケーションを対象にして、同一の操作種別とフォーム種別の組み合わせの出現頻度に対する当該アプリケーションの操作数の確率として算出される。そして、この算出された慣れスコア情報を記憶部１０１の慣れスコア情報記憶部１０１３に記憶させる機能を有する。

ＧＵＩ変換処理部１０７は、アプリケーション監視部１０３からＧＵＩ情報を受け取った場合に、記憶部１０１から慣れスコア情報を読み出し、この読み出された慣れスコア情報にもとついてＧＵＩ情報を変換し、変換後ＧＵＩ情報をアプリケーション監視部１０３へ出力する機能を有する。
タイマ１０８は、予め設定されている周期で慣れスコア算出部１０６に対し開始トリガを送信する機能を有する。

（動作）
次に、以上のように構成された端末１００によるユーザインタフェース変換処理の動作を説明する。図７はその処理手順と処理内容を示すフローチャートである。
（１）入力イベントの発生の監視
アプリケーションの実行中に、ボタンの押下や画面のスクロール操作等の入力イベントが発生すると、アプリケーション実行部１０２からアプリケーション監視部１０３に対しその操作情報又はスクリーンショットが出力される。また、アプリケーション起動時にはＧＵＩ情報がアプリケーション監視部１０３へ出力される。

アプリケーション監視部１０３は、上記アプリケーション実行部１０２による情報の出力をステップＳ１により監視している。そして、情報を受信すると、この受信した情報がＧＵＩ情報であるか、操作情報であるか又はスクリーンショットであるかを判定する。そして、ＧＵＩ情報であればＧＵＩ変換処理部１０７に当該ＧＵＩ情報を転送し、操作情報であれば操作履歴情報生成部１０４に当該操作情報を転送し、スクリーンショットであればスクリーンショット情報生成部１０５に当該スクリーンショットを転送する。

（２）操作履歴情報の生成
操作履歴情報生成部１０４は、ステップＳ７において操作情報の受信を監視しており、操作情報を受け取るとステップＳ８に移行する。そして、このステップＳ８で操作履歴情報を生成し、この生成した操作履歴情報を記憶部１０１の操作履歴情報記憶エリア１０１１に格納する。操作履歴情報の生成は、受信した操作情報にタイムスタンプを付与し、さらにデータ構成を例えば図４に示したデータ集合の形態に整形することによりなされる。そして、この１つの操作に対する操作履歴情報の生成及び格納処理が終了すると、待機状態に戻る。以後同様に、操作情報を受け取るごとに操作履歴情報の生成及び格納処理が繰り返し実行される。

（３）スクリーンショット情報の生成
スクリーンショット情報生成部１０５は、ステップＳ９においてスクリーンショットの受信を監視しており、スクリーンショットを受信するとステップＳ１０に移行する。そして、このステップＳ１０において、スクリーンショット情報を生成して、記憶部１０１のスクリーンショット情報記憶エリア１０１２に格納する処理を実行する。スクリーンショット情報の生成は、例えば図５に示したように、受信したスクリーンショットに対しタイムスタンプ及びスクリーンショット画像の保存先ファイルパスを付与することによりなされる。そして、この１個のスクリーンショットに対するスクリーンショット情報の生成及び格納処理が終了すると、待機状態に戻る。以後同様に、スクリーンショットを受け取るごとにスクリーンショット情報の生成及び格納処理が繰り返し実行される。

（４）慣れスコアの算出
タイマ１０８から開始トリガが発生されると、慣れスコア算出部１０６はすべてのアプリケーションを対象にして以下のように慣れスコアを計算する。図８はその処理手順と処理内容を示すフローチャートである。
すなわち、慣れスコア算出部１０６は先ずステップＳ９０１において、記憶部１０１の操作履歴情報記憶エリア１０１１及びスクリーンショット情報記憶エリア１０１２からそれぞれ操作履歴情報とスクリーンショット情報を全て読み出し、この読み出した各情報を作業メモリに保持する。またそれと共に、慣れスコア情報のすべてを更新するために、記憶部１０１の慣れスコア情報記憶部１０１３に記憶されている慣れスコア情報をすべて削除する。

次にステップＳ９０２において、上記作業メモリに保持した各情報のうち、まだ慣れスコアを算出していないアプリケーション名が存在するか否かを判定する。この判定の結果、慣れスコアを算出していないアプリケーション名があれば、ステップＳ９０３の処理へ移行する。

ステップＳ９０３では、慣れスコアを算出していないアプリケーション名のうちの１つを選択し、この選択したアプリケーション名に関連付けられた操作履歴情報とスクリーンショット情報をすべて選択する。そして、この選択した情報を作業メモリに保持する。続いてステップＳ９０４において、上記ステップＳ９０３により選択された操作履歴情報をもとに、その操作種別とフォーム種別のすべての組み合わせに対して慣れスコアをそれぞれ計算する。

慣れスコアは、操作履歴情報に含まれる同一の操作種別とフォーム種別の組み合わせのすべての出現回数に対する、上記ステップＳ９０３により選択されたアプリケーションにおける同一の操作種別とフォーム種別の組み合わせの出現回数の確率として算出する。

例えば、選択されたアプリケーションがアプリケーションＡ、操作種別とフォーム種別の組み合わせが「投稿」と「ボタン」であり、「投稿」と「ボタン」の組み合わせとなる操作履歴がすべてのアプリケーションで１００回存在し、そのうちアプリケーションＡにおける回数が７５回だったとする。この場合、「投稿」、「ボタン」、「アプリケーションＡ」の慣れスコアは０．７５となる。このような処理を操作種別とフォーム種別のすべての組み合わせに対して行い、これにより算出された慣れスコアを記憶部１０１の慣れスコア情報記憶部１０１３の該当するアプリケーションＡに関連付けて書き込む。

以後同様に、すべてのアプリケーションについて上記ステップＳ９０３及びＳ９０４による処理を実行し、その処理が終了すると慣れスコア算出処理を終了し、タイマ１０８から次の開始トリガが発生するまで待機状態となる。

（５）ＧＵＩの変換
ＧＵＩ変換処理部１０７は、ステップＳ１でＧＵＩ情報の受信を監視しており、ＧＵＩ情報を受信するとステップＳ２に移行する。そして、このステップＳ２において先ず記憶部１０１の慣れスコア情報記憶部１０１３から、過去に実行された各アプリケーションに対するユーザの慣れスコアを読み出す。そして、この読み出した慣れスコアを作業メモリに保持する。

ＧＵＩ変換処理部１０７は、次にステップＳ３において、上記受信されたＧＵＩ情報に含まれる操作種別及びフォーム種別を分析する。ここで、操作種別及びフォーム種別とは、図４及び図６に示したように投稿やページ移動、ボタンやスクロールバーのことを指す。上記受信されたＧＵＩ情報にどんな操作種別又はフォーム種別が含まれているかを抽出し、その結果を作業メモリに保持する。

続いてステップＳ４において、上記ステップＳ２において取得された慣れスコア情報と、上記ステップＳ３により抽出された操作種別又はフォーム種別に基づいて、変換後ＧＵＩ情報を生成する。

例えば、いま受信されたＧＵＩ情報の操作種別とフォーム種別の組み合わせとして「投稿」、「ボタン」が存在し、慣れスコア情報が図６に示すものだったとする。この場合、慣れスコア情報の中に「投稿」、「ボタン」という組み合わせのものは２つ存在するが、慣れスコアが大きいのは「アプリケーションＡ」のものであるため、受信されたＧＵＩ情報の「投稿」、「ボタン」、ユーザインタフェースをアプリケーションＡのｘ、ｙ座標値に書き換える。またデザイン変換のために、先ず選択している操作種別とフォーム種別、慣れスコアが最大だったアプリケーション名を検索キーとして、記憶部１０１に記憶されている操作履歴情報の中から最新の記憶時刻のデータを１つ取得する。

次に、取得した操作履歴情報のアプリケーション名と記憶時刻を検索キーとして、記憶部１０１に記憶されているスクリーンショット情報の中から最も記憶時刻が近いデータを１つ取得する。そして、この取得されたスクリーンショット情報からスクリーンショット画像を読み込み、この読み込まれたスクリーンショット画像から、先に取得した操作履歴情報のｘ、ｙ座標および幅、高さをパラメータとして画像を切り出す。切り出した画像が変換後のデザインとなるため、この画像データを変換後ＧＵＩ情報に付与する。

以上の処理を、受信したＧＵＩ情報の操作種別とフォーム種別の組み合わせとなっているもの全てに対して行い、変換完了後の情報を変換後ＧＵＩ情報として作業メモリに保持する。

続いてステップＳ５において、アプリケーション情報送信元となるアプリケーション実行部１０２へ上記変換後ＧＵＩ情報を送り、ステップＳ６の処理へ進む。ステップＳ６では、アプリケーション情報送信元のアプリケーション実行部１０２が、上記受け取った変換後ＧＵＩ情報に基づいてユーザインタフェースを描画し、ＧＵＩ変換処理は終了となり、イベントが再度発生するまで待機状態になる。

（効果）
以上詳述したように一実施形態では、アプリケーションごとに操作履歴情報とスクリーンショット情報を記憶部１０１に記憶し、この記憶された操作履歴情報及びスクリーンショット情報をもとに、操作種別と入力フォームの種別の全ての組み合わせについてその慣れスコアを算出し記憶部１０１に記憶する。そして、新たなアプリケーションが起動された場合に、当該アプリケーションのＧＵＩを、過去に使用されたアプリケーションのうち慣れスコアの高いアプリケーションのボタン操作位置とデザインに対応するように変換するようにしている。

したがって、ユーザが新しいアプリケーションを使用する際に、多数のＧＵＩテンプレートを用意しなくても、ユーザごとにその好みに応じたＧＵＩを表示することが可能となり、これによりユーザは初見のサービスやアプリケーションでも使い方がすぐ分かるようになる。

また、アプリケーションのＧＵＩに対する慣れスコアを、当該アプリケーションの操作種別と入力フォーム種別の組み合わせについて算出するようにしているので、単に操作種別或いは入力フォーム種別について算出する場合に比べ、アプリケーションのＧＵＩに対するユーザの慣れの度合いを、より正確に判定することが可能となる。

［他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、前記一実施形態ではユーザインタフェースの変換機能を端末１００に備えた場合を例にとって説明したが、同機能をクラウドコンピュータやＷｅｂサーバに設けてもよい。この場合、クラウドコンピュータ又はサーバは、端末からアプリケーションの操作履歴情報及びスクリーンショット情報をネットワークを介して取得する。そして、この取得した各情報に基づいてアプリケーションごとの慣れスコアを算出し、この算出された慣れスコアを参照してＧＵＩ情報を変換して端末へダウンロードする。このようにすることで、端末の処理負荷を軽減することができる。

また、前記実施形態ではタイマ１０８から開始トリガが発生するごとに慣れスコアを算出し直すようにしているが、１つのアプリケーションの実行が終了するごとに、記憶部１０１の慣れスコア情報記憶エリア１０１３に記憶されている全ての慣れスコアを計算し直すようにしてもよい。このようにすると、アプリケーションが実行されていない状態で慣れスコアの再計算が行われる不具合を防止して、端末１００の処理負荷及びバッテリ消費を軽減することができる。

その他、装置の種類やその構成、ユーザインタフェース変換処理の手順と処理内容等については、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１００…端末、１０１…記憶部、１０１１…操作履歴情報記憶エリア、１０１２…スクリーンショット情報記憶エリア、１０１３…慣れスコア情報記憶エリア、１０２…アプリケーション実行部、１０３…アプリケーション監視部、１０４…操作履歴情報生成部、１０５…スクリーンショット情報生成部、１０６…慣れスコア情報算出部、１０７…ＧＵＩ変換処理部、１０８…タイマ。

上記目的を達成するためにこの発明の１つの観点は、アプリケーションごとに当該アプリケーションにより定義されたユーザインタフェースをユーザに提示するユーザインタフェース変換装置にあって、上記アプリケーションごとに当該アプリケーションに対するユーザの慣れの度合いを計算し、アプリケーションが実行される際に当該アプリケーションのユーザインタフェースを、過去に使用されたアプリケーションのうち上記計算された慣れの度合いが高いアプリケーションのユーザインタフェースに近づけるように変換し、この変換されたユーザインタフェースをユーザに提示するようにしたものである。
より具体的には、上記慣れの度合いを計算する際に、上記アプリケーションが実行されるごとに、その操作種別及びフォーム種別を検出し操作履歴として記憶し、この記憶された操作履歴をもとに、操作種別とフォーム種別との組み合わせごとにその出現頻度をアプリケーション単位に算出し、この算出された出現頻度から、操作種別とフォーム種別とのすべての組み合わせについて各アプリケーションの出現頻度の確率を求め、この確率を慣れの度合いとして記憶する。そして、アプリケーションが実行される際に、当該実行されるアプリケーションの操作種別とフォーム種別を抽出し、上記実行されるアプリケーションのユーザインタフェースを、過去に使用されたアプリケーションのうち前記抽出された操作種別とフォーム種別の組み合わせによる慣れ度合いが高いアプリケーションのユーザインタフェースに近づけるように変換するようにしたものである。

また、この発明の１つの観点は以下のような態様を備えることを特徴とする。
第１の態様は、上記ユーザインタフェースを変換する際に、アプリケーションの操作ボタンの位置及びフォームを、過去に使用されたアプリケーションのうち上記計算された慣れの度合いが高いアプリケーションの操作ボタンの位置及びフォームに変換するものである。

第２の態様は、上記変換に際し、上記フォームのデザインを、慣れの度合いが高いアプリケーションの実行時に記憶されたスクリーンショットに基づいて変換するものである。

この発明の一観点によれば、アプリケーションが実行される際に、当該アプリケーションのユーザインタフェースが、過去に使用されたアプリケーションのうち慣れの度合いが高いアプリケーションのユーザインタフェースに近づくように変換されて提示される。このため、ユーザが新しいアプリケーションを使用する際に、多数のＧＵＩテンプレートを用意しなくても、ユーザごとにその好みに応じたＧＵＩを表示することが可能となり、これによりユーザは初見のサービスやアプリケーションでも使い方がすぐ分かるようになる。
また、慣れの度合いが、アプリケーションの操作種別とフォーム種別との組み合わせごとにその出現頻度として算出される。このため、単に操作種別或いはフォーム種別について算出する場合に比べ、アプリケーションのユーザインタフェースに対するユーザの慣れの度合いを、より正確に判定することが可能となる。

第１の態様によれば、ユーザインタフェースを変換する際に、アプリケーションの操作ボタンの位置及びフォームが、過去に使用されたアプリケーションのうち慣れの度合いが高いアプリケーションの操作ボタンの位置及びフォームに変換される。このため、アプリケーションの操作に不慣れなユーザに対しても、理解しやすい形態で変換後のユーザインタフェースを提示することができる。

第２の態様によれば、上記変換に際し、フォームのデザインが慣れの度合いが高いアプリケーションの実行時に記憶されたスクリーンショットをもとに変換される。したがって、フォームのデザインをスクリーンショットに応じた形態にすることができる。

Claims (8)

1. アプリケーションごとに当該アプリケーションにより定義されたユーザインタフェースをユーザに提示するユーザインタフェース変換装置であって、
   前記アプリケーションごとに当該アプリケーションに対するユーザの慣れの度合いを計算する計算手段と、
   アプリケーションが実行される際に、当該アプリケーションのユーザインタフェースを、過去に使用されたアプリケーションのうち前記計算された慣れの度合いが高いアプリケーションのユーザインタフェースに近づけるように変換する変換手段と、
   前記変換されたユーザインタフェースをユーザに提示する提示手段と
   を具備することを特徴とするユーザインタフェース変換装置。
2. 前記計算手段は、
   前記アプリケーションが実行されるごとに、その操作種別及びフォーム種別を検出し操作履歴として記憶する手段と、
   前記記憶された操作履歴をもとに、操作種別とフォーム種別との組み合わせごとに、当該組み合わせの全ての操作種別とフォーム種別との組み合わせに対する出現頻度を算出する手段と、
   前記算出された出現頻度を慣れの度合いとして記憶する手段と
   を備えることを特徴とする請求項１記載のユーザインタフェース変換装置。
3. 前記変換手段は、アプリケーションの操作ボタンの位置及びフォームを、過去に使用されたアプリケーションのうち前記計算された慣れの度合いが高いアプリケーションの操作ボタンの位置及びフォームに変換することを特徴とする請求項１記載のユーザインタフェース変換装置。
4. 前記変換手段は、前記フォームのデザインを、慣れの度合いが高いアプリケーションの実行時に記憶されたスクリーンショットに基づいて変換することを特徴とする請求項３記載のユーザインタフェース変換装置。
5. アプリケーションごとに当該アプリケーションにより定義されたユーザインタフェースをユーザに提示する装置において実行されるユーザインタフェース変換方法であって、
   前記アプリケーションごとに当該アプリケーションに対するユーザの慣れの度合いを計算する過程と、
   アプリケーションが実行される際に、当該アプリケーションのユーザインタフェースを、過去に使用されたアプリケーションのうち前記計算された慣れの度合いが高いアプリケーションのユーザインタフェースに近づけるように変換する過程と、
   前記変換されたユーザインタフェースをユーザに提示する過程と
   を具備することを特徴とするユーザインタフェース変換方法。
6. 前記計算する過程は、
   前記アプリケーションが実行されるごとに、その操作種別及びフォーム種別を検出し操作履歴として記憶する過程と、
   前記記憶された操作履歴をもとに、操作種別とフォーム種別との組み合わせごとに、当該組み合わせの全ての操作種別とフォーム種別との組み合わせに対する出現頻度を算出する過程と、
   前記算出された出現頻度を慣れの度合いとして記憶する過程と
   を備えることを特徴とする請求項５記載のユーザインタフェース変換方法。
7. 前記変換する過程は、アプリケーションの操作ボタンの位置及びフォームを、過去に使用されたアプリケーションのうち前記計算された慣れの度合いが高いアプリケーションの操作ボタンの位置及びフォームに変換することを特徴とする請求項５記載のユーザインタフェース変換方法。
8. 請求項１乃至請求項４のいずれかに記載のユーザインタフェース変換装置が具備する手段に対応する処理を、前記ユーザインタフェース変換装置のコンピュータに実行させるプログラム。

Images