JP2015049661A - 操作性評価尺度に基づくｇｕｉ変換プログラム、装置及びｇｕｉ変換方法 - Google Patents

Abstract

【課題】入力デバイス及び出力デバイスの種類及びスペックが異なる情報機器間において、搭載されたアプリケーションのＧＵＩを変換することができるプログラムを提供する。【解決手段】本ＧＵＩ変換プログラムは、変換元ＧＵＩ情報に基づいて操作オブジェクトに対する変換元操作性評価尺度を算出する手段と、変換先のＧＵＩにおける操作方法に従って操作される操作オブジェクトに対する変換先操作性評価尺度を算出する手段と、操作オブジェクトを互いの位置関係に基づいて分類したグループ毎に、グループに属する操作オブジェクトのみを含むＧＵＩ領域を設定する手段と、変換元操作性評価尺度と変換先操作性評価尺度との相違の度合いに基づいて、変換元のＧＵＩを分割するか否かを判定する操作体系判定手段と、分割すると判定された変換元のＧＵＩを分割して変換先のＧＵＩを決定する変換先ＧＵＩ生成手段としてコンピュータを機能させる。【選択図】図２

Description

本発明は、情報機器に搭載されたアプリケーションのグラフィカルユーザインタフェース（ＧＵＩ）を構築する技術に関する。

近年、情報機器の多種多様化に伴い、１つの機器に搭載されたアプリケーションを他の機器においても使用したいとのニーズが高まっている。この際、多くの場合において搭載先の機器に応じてＧＵＩを構築し直さなければならない。しかしながら、情報機器の入力デバイス間および出力デバイス間での仕様（スペック）の相違がこの構築を困難にしている。

このＧＵＩの再構築に関して、例えば、特許文献1は、異なる入出力デバイスを備えた情報端末について、各端末に応じたユーザインタフェース画面を簡便に生成する技術を開示している。具体的には、端末に備えられたデバイスの数や大きさなどの情報をまとめたハードウェア情報を準備し、さらに、アプリケーションソフトウェア内でメニューボタンに関する情報を取得する。次いで、これらの情報に基づいて各メニューボタンに機能を割り当てている。

特開２０１０−２６７１６８号公報

現在、情報機器の入力デバイス及び出力デバイスとして、物理的なハードウェアボタンを用いたもののみならず、タッチセンサやタッチパネル、さらには赤外線等による近距離無線通信を利用した操作端末といった種々のデバイスが使用されている。また、タッチパネル・ディスプレイのように入出力が一体となったデバイスも普及している。

しかしながら、特許文献１に記載の技術のような従来技術では、ハードウェアボタンを用いた入力デバイスを備え、その入力デバイスとディスプレイ等の出力デバイスとが分離している端末を想定したＧＵＩの構築が前提となっている。従って、例えば、ハードウェアボタンとディスプレイとを主要な入出力デバイスとした従来の携帯電話機の間でのＧＵＩの再構築は可能であるが、タッチパネル・ディスプレイを備えたスマートフォンやタブレット型コンピュータの間ではこの再構築は困難である。

さらに、近距離無線通信を利用して入力信号を出力デバイスに伝送する操作端末についても、この操作端末とディスプレイ等の出力デバイスとに合わせたＧＵＩの再構築は、従来技術では非常に困難となる。

そこで、本発明は、入力デバイス及び出力デバイスの種類及びスペックが異なる情報機器間において、搭載されたアプリケーションのＧＵＩを変換することができるプログラム、装置及び変換方法を提供することを目的とする。

本発明によれば、操作オブジェクトを表示可能な情報機器に搭載されたアプリケーションのＧＵＩを変換するＧＵＩ変換プログラムであって、
変換元の操作オブジェクトに係る情報である変換元ＧＵＩ情報に基づいて、操作オブジェクト毎に、当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換元操作性評価尺度を算出する変換元ＧＵＩ特徴量算出手段と、
操作オブジェクト毎に、変換先のＧＵＩにおける操作方法に従って実行される当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換先操作性評価尺度を算出する変換先ＧＵＩ特徴量算出手段と、
変換元のＧＵＩにおける操作オブジェクトの互いの位置関係に基づいて操作オブジェクトを複数のグループに分類し、グループ毎に、当該グループに属する操作オブジェクトのみを含むＧＵＩ領域を設定するＧＵＩ領域設定手段と、
設定されたＧＵＩ領域に含まれる操作オブジェクトについて算出された変換元操作性評価尺度と変換先操作性評価尺度との相違の度合いに基づいて、変換元のＧＵＩを分割するか否かを判定する操作体系判定手段と、
操作体系判定手段によって分割すると判定された変換元のＧＵＩを分割して変換先のＧＵＩを決定する変換先ＧＵＩ生成手段と
してコンピュータを機能させるＧＵＩ変換プログラムが提供される。

この本発明のＧＵＩ変換プログラムでは、一実施形態として、所定の操作タスクを完了させるために操作が必要となる操作オブジェクトを含むＧＵＩ領域に対し、この所定の操作タスクに応じた重要度を付与する重要度設定手段としてコンピュータを更に機能させ、
操作体系判定手段は、算出された変換元操作性評価尺度及び変換先操作性評価尺度と、付与された重要度とに基づいて、変換元のＧＵＩを分割するか否かを判定することも好ましい。

さらに、上記の実施形態において、操作体系判定手段は、設定されたＧＵＩ領域に含まれる操作オブジェクトについて、変換先操作性評価尺度の合計と変換元操作性評価尺度の合計との差もしくは比が所定の尺度閾値以上である場合、及び／又はＧＵＩ領域の重要度が所定の重要度閾値以上である場合、ＧＵＩ領域を独立させて変換元のＧＵＩを分割することも好ましい。

また、本発明に係る変換元操作性評価尺度及び変換先操作性評価尺度は、対応する操作オブジェクトの表示位置、対応する操作オブジェクトの大きさ、対応する操作オブジェクトに対する操作タスクを完了させるために必要な操作数、及び変換元のＧＵＩにおける操作オブジェクトの配置に係る情報のうちの複数の組合せに基づいて算出されることも好ましい。

さらに、本発明のＧＵＩ変換プログラムの他の実施形態として、変換元ＧＵＩ特徴量算出手段は、開始点から操作オブジェクトの中心までの距離Ｄと操作動作の方向でのこの操作オブジェクトの幅Ｗとに基づきフィッツの法則（Fitts's Law）を用いて算出した操作時間を、操作オブジェクトの変換元操作性評価尺度とすることも好ましい。

また、本発明のＧＵＩ変換プログラムの更なる他の実施形態として、変換先ＧＵＩ特徴量算出手段は、
操作オブジェクトを変換先操作方法で決定又は選択するのに要する操作回数と、
この操作オブジェクトを変換先操作方法で決定又は選択する際に設定されたＧＵＩ領域間の境界を跨ぐ回数ｍとこの操作オブジェクトの属していないＧＵＩ領域での操作回数ｎとに基づいて算出される複雑度と
に基づいて算出した操作時間を、操作オブジェクトの変換先操作性評価尺度とすることも好ましい。

さらに、本発明のＧＵＩ変換プログラムの更なる他の実施形態として、ＧＵＩ領域設定手段は、各操作オブジェクトについて操作オブジェクトの大きさに応じた広さを有する外周領域を設定し、設定された外周領域が互いに重畳する操作オブジェクト同士を同一のグループに属するものとして操作オブジェクトを複数のグループに分類することも好ましい。

また、上述した重要度設定手段を機能させる実施形態において、１つのＧＵＩ領域の重要度は、変換元の当該アプリケーションの所定期間での操作履歴における、当該ＧＵＩ領域内のいずれかの操作オブジェクトが操作された回数の全操作回数に対する割合に基づいて算出されることも好ましい。

本発明によれば、また、操作オブジェクトを表示可能な情報機器に搭載されたアプリケーションのＧＵＩを変換する装置であって、
変換元の操作オブジェクトに係る情報である変換元ＧＵＩ情報に基づいて、操作オブジェクト毎に、操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換元操作性評価尺度を算出する変換元ＧＵＩ特徴量算出手段と、
操作オブジェクト毎に、変換先のＧＵＩにおける操作方法に従って実行される操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換先操作性評価尺度を算出する変換先ＧＵＩ特徴量算出手段と、
変換元のＧＵＩにおける操作オブジェクトの互いの位置関係に基づいて操作オブジェクトを複数のグループに分類し、グループ毎に、当該グループに属する操作オブジェクトのみを含むＧＵＩ領域を設定するＧＵＩ領域設定手段と、
設定されたＧＵＩ領域に含まれる操作オブジェクトについて算出された変換元操作性評価尺度と変換先操作性評価尺度との相違の度合いに基づいて、変換元のＧＵＩを分割するか否かを判定する操作体系判定手段と、
操作体系判定手段によって分割すると判定された変換元のＧＵＩを分割して変換先のＧＵＩを決定する変換先ＧＵＩ生成手段と
を有する装置が提供される。

本発明によれば、さらに、操作オブジェクトを表示可能な情報機器に搭載されたアプリケーションのＧＵＩを変換するＧＵＩ変換方法であって、
変換元の操作オブジェクトに係る情報である変換元ＧＵＩ情報に基づいて、操作オブジェクト毎に、当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換元操作性評価尺度を算出する第１のステップと、
操作オブジェクト毎に、変換先のＧＵＩにおける操作方法に従って実行される当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換先操作性評価尺度を算出する第２のステップと、
変換元のＧＵＩにおける操作オブジェクトの互いの位置関係に基づいて操作オブジェクトを複数のグループに分類し、グループ毎に、当該グループに属する操作オブジェクトのみを含むＧＵＩ領域を設定する第３のステップと、
設定されたＧＵＩ領域に含まれる操作オブジェクトについて算出された変換元操作性評価尺度と変換先操作性評価尺度との相違の度合いに基づいて、変換元のＧＵＩを分割するか否かを判定する第４のステップと、
第４のステップで分割すると判定された変換元のＧＵＩを分割して変換先のＧＵＩを決定する第５のステップと
を有するＧＵＩ変換方法が提供される。

本発明のＧＵＩ変換プログラム、ＧＵＩ変換装置及びＧＵＩ変換方法によれば、入力デバイス及び出力デバイスの種類及びスペックが異なる情報機器間において、搭載されたアプリケーションのＧＵＩを変換することができる。

本発明によるＧＵＩ変換の一実施例を説明するための模式図である。 本発明によるＧＵＩ変換装置の一実施形態としてのＳＴＢの機能構成図である。 変換元ＧＵＩ情報及び変換元端末・操作情報の一実施例を示す模式図である。 ＧＵＩ領域設定の一実施例を示す模式図である。 変換先操作性評価尺度の算出方法の一実施例を示す模式図である。 本発明によるＧＵＩ変換方法の一実施形態を示すフローチャートである。

以下では、本発明の実施形態について、図面を用いて詳細に説明する。

図１は、本発明によるＧＵＩ変換の一実施例を説明するための模式図である。

図１（Ａ）によれば、情報機器であるスマートフォン２は、所定のアプリケーションを起動しており、タッチパネル・ディスプレイの表示画面に、このアプリケーションのＧＵＩとしてアイコン１〜８を表示している。アイコン１〜８は、ユーザによる操作を受け付ける仮想ボタンとしての操作オブジェクトである。さらに、同表示画面には、画像を表示するエリアであるＩＭＧ及びテキストを表示するエリアであるＴＸＴも表示されている。ＩＭＧ及びＴＸＴはユーザによる操作を受け付けない非操作オブジェクトである。

ここで、アイコン１〜８のうちの１つを指でタップすることによって、予めそのアイコンに対応付けられた機能を発動させることができる。特に、本実施例では、アイコン５を指でタップすることによって、例えばアイコン１〜４を用いて選択した又は移動させた何らかの表示されたオブジェクトの選択・位置を決定することができる。さらに、アイコン６〜８は、例えば起動しているアプリケーションにおける３つの機能モードにそれぞれ対応しており、アイコン６〜８のうちの１つをタップすることによって、３つの機能モードのうちの１つを選択することができる。

また、スマートフォン２は、このようなアイコン１〜８を表示しその機能を発動させるためのＧＵＩ情報（「変換元ＧＵＩ情報」）を有している。

図１（Ｂ）によれば、情報機器であって本発明によるＧＵＩ変換装置であるセットトップボックス（ＳＴＢ）１は、スマートフォン２で起動している図１（Ａ）で示したアプリケーションを起動させることができる。この際、ＳＴＢ１にとって、入力デバイスは物理的な十字配置ボタン（上下左右及び決定ボタン）を備えた操作端末（リモコン）となる。リモコンは、赤外線等を利用した無線通信方法によって、十字配置ボタンに対しユーザによって実行された操作情報をＳＴＢ１の本体に伝送する。さらに、ＳＴＢ１にとって、出力デバイスはＳＴＢ１と接続されたテレビのディスプレイとなる。

ここで、本発明のＧＵＩ変換装置でもあるＳＴＢ１は、図１（Ａ）で示したアプリケーションを起動させる際、変換先となるＳＴＢ１の入出力デバイス（リモコン及びテレビのディスプレイ）に適合したＧＵＩを生成する。具体的には、
（ａ）最初に、変換元であるスマートフォン２で表示されたアイコン１〜８に係る情報である「変換元ＧＵＩ情報」を取得する。
（ｂ）次いで、取得した「変換元ＧＵＩ情報」に基づいて、アイコン毎に、当該アイコンに対する（タップによる）操作タスクを完了させるのに要する時間に対応する「変換元操作性評価尺度」を算出する。
（ｃ）次いで、アイコン毎に、変換先であるＳＴＢ１のＧＵＩにおける操作方法（十字配置ボタンを使った操作法）に従って実行されるアイコンに対する操作タスクを完了させるのに要する時間に対応する「変換先操作性評価尺度」を算出する。

（ｄ）次いで、変換元であるスマートフォン２のＧＵＩにおけるアイコン１〜８の互いの位置関係に基づいてアイコン１〜８を複数のグループに分類し、グループ毎に、当該グループに属するアイコンのみを含む「ＧＵＩ領域」を設定する。
（ｅ）次いで、所定の操作タスクを完了させるために操作が必要となるアイコンを含む「ＧＵＩ領域」に対し、この所定の操作タスクに応じた「重要度」を付与する。

（ｆ）次いで、設定された「ＧＵＩ領域」に含まれるアイコンについて算出された「変換元操作性評価尺度」と「変換先操作性評価尺度」との相違の度合いに基づいて、変換元のＧＵＩを分割するか否かを判定する。ここで、これらの尺度間の相違の度合いに加えて付与された「重要度」にも基づいて判定することも好ましい。
（ｇ）最後に、分割すると判定された変換元のＧＵＩを分割して変換先のＧＵＩを決定する。

図１（Ｂ）に示された変換先のＧＵＩは、以上に述べた（ａ）〜（ｇ）のプロセスによって生成されたＧＵＩである。具体的には、上記（ｄ）で、それぞれアイコン１〜４、アイコン５及びアイコン６〜８を含む３つの「ＧＵＩ領域」が設定される。ここで、後に詳細に説明する「変換元操作性評価尺度」及び「変換先操作性評価尺度」（及び「重要度」）に基づいて、図１（Ａ）に示した変換元（スマートフォン２）のＧＵＩを、これら３つの「ＧＵＩ領域」に対応した形で分割するとの判定を行う。次いで、変換元（スマートフォン２）のＧＵＩを分割して、これら３つの「ＧＵＩ領域」のそれぞれに対応する、図１（Ｂ）に示したような３つの画面画像に分割された変換先のＧＵＩが決定される。

図１（Ｂ）において、第１の画面画像は、３つの「ＧＵＩ領域」のうちアイコン５を含む「ＧＵＩ領域」に対応する画像である。ここでは、アイコン５が表示されるとともに、新たな操作オブジェクトであるアイコンａ及びアイコンｂが追加されている。

このうち、アイコンａは、タップされることによって、画面画像を第２の画面画像に遷移させるために設置された操作オブジェクトである。遷移先の第２の画面画像は、アイコン１〜４を含む「ＧＵＩ領域」に対応する画像であり、アイコン１〜４を表示している。一方、アイコンｂは、タップされることによって、画面画像を第３の画面画像に遷移させるために設置された操作オブジェクトである。遷移先の第３の画面画像は、アイコン６〜８を含む「ＧＵＩ領域」に対応する画像であり、アイコン６〜８を表示している。

第２の画面画像においては、アイコン１〜４が画面縦方向一列に配列しており、リモコンの「上」ボタン及び「下」ボタンによって、アイコン１〜４のいずれかの選択（フォーカス）状態を、隣接したアイコンのフォーカス状態に遷移させることができる。例えば、アイコン３がフォーカスされた状態で「下」ボタンを押下すると、アイコン４がフォーカスされた状態に移行する。

さらに、アイコン４が選択された状態で「決定」ボタンを押下すると、画面画像が第１の画面画像に戻る。これは、図１（Ａ）に示した変換元のアイコン４をタップしたことに相当する。ここで、さらに「決定」ボタンを押下すると、アイコン５を指でタップすることに相当し、例えば何らかの表示されたオブジェクトを決定することができる。

ここで、図１（Ａ）に示したＧＵＩは、スマートフォン２のタッチパネル・ディスプレイの比較的小さい画面内にアイコン１〜８を密に並べており、１つの画面画像でユーザの指によって種々の操作をするのに適している。これに対し、本発明のＧＵＩ変換装置であるＳＴＢ１で変換されたＧＵＩは、複数の（本実施例では３つの）画面画像にわたるものであり、各画面画像ではリモコンの比較的簡素なハードウェアボタンでも容易に選択可能なように、比較的単純なアイコン配置をとっている。

その結果、スマートフォン２の入出力デバイスであるタッチパネル・ディスプレイに適したＧＵＩで操作されるアプリケーションを、リモコン及びテレビディスプレイという入出力デバイスに適したＧＵＩで操作して簡便に使用することができる。

以上に説明したように、本発明のＧＵＩ変換装置であるＳＴＢ１において、変換元であるスマートフォン２で起動しているアプリケーションのＧＵＩを、変換先であるＳＴＢ１についての入出力デバイスに適したＧＵＩに変換することができる。すなわち、本発明によれば、入力デバイス及び出力デバイスの種類及びスペックが異なる情報機器間において、搭載されたアプリケーションのＧＵＩを変換することが可能となることが理解される。

図２は、本発明によるＧＵＩ変換装置の一実施形態としてのＳＴＢ１の機能構成図である。

図２によれば、ＳＴＢ１は、入出力インタフェース１０１と、表示・入力部１０２と、変換元ＧＵＩ情報蓄積部１１１と、変換元端末・操作情報蓄積部１１２と、変換先端末・操作情報蓄積部１１３と、変換先ＧＵＩ情報蓄積部１１４と、プロセッサ・メモリとしての機能構成部とを備えている。ここで、機能構成部（プロセッサ・メモリ）は、ＳＴＢ１に搭載されたコンピュータを機能させるプログラムを実行することによって、その機能を実現する。

この機能構成部（プロセッサ・メモリ）は、変換元ＧＵＩ特徴量算出部１２１と、変換先ＧＵＩ特徴量算出部１２２と、ＧＵＩ領域設定部１２３と、重要度設定部１２４と、操作体系判定部１２５と、変換先ＧＵＩ生成部１２６と、入出力制御部１３１と、表示・入力制御部１３２と、アプリケーション処理部１３３とを有している。

［変換元・変換先情報］
入出力インタフェース１０１（図２）は、外部（例えばアプリケーション配信サーバ又はスマートフォン２）から変換元ＧＵＩ情報及び変換元端末・操作情報を取得し、それぞれ変換元ＧＵＩ情報蓄積部１１１及び変換元端末・操作情報蓄積部１１２に蓄積する。

図３は、変換元ＧＵＩ情報及び変換元端末・操作情報の一実施例を示す模式図である。

図３（Ａ）によれば、変換元であるスマートフォン２でのＧＵＩは、図１（Ａ）で示したように、操作オブジェクトであるアイコン１〜８と非操作オブジェクトであるＩＭＧ及びＴＸＴとを有している。図３（Ｂ）によれば、変換元ＧＵＩ情報は、これらのアイコン又は非操作オブジェクトの位置や大きさ（表示位置範囲）等を規定したものである。図３（Ａ）では、変換元ＧＵＩについて１つの画面画像のみを示しているが、複数の画面画像を有する場合、変換元ＧＵＩ情報は各画面画像について操作オブジェクト及び非操作オブジェクトについての表示位置範囲情報等を規定する。さらに、図３（Ｃ）によれば、変換元端末情報は、入力デバイス（タッチパネル、ハードウェアボタン）及び出力デバイス（ディスプレイ）のサイズや方式、機能を規定したものである。

変換先端末・操作情報蓄積部１１３（図２）は、変換先であるＳＴＢ１の入力デバイス（リモコン）及び出力デバイス（テレビディスプレイ）のサイズや方式、機能を規定したものである。また、変換先ＧＵＩ情報蓄積部１１４は、本発明によるＧＵＩ変換方法（プログラム）によって、変換先（ＳＴＢ１）に適合した形に変換されたＧＵＩを保存する。

［変換元操作性評価尺度］
変換元ＧＵＩ特徴量算出部１２１（図２）は、変換元の操作オブジェクトに係る情報である（例えば図３（Ｂ）の）変換元ＧＵＩ情報に基づいて、操作オブジェクト毎に「変換元操作性評価尺度」を算出する。「変換元操作性評価尺度」は、操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する操作性の指標である。「変換元操作性評価尺度」は、（ａ）対応する操作オブジェクトの表示位置、（ｂ）対応する操作オブジェクトの大きさ、（ｃ）対応する操作オブジェクトに対する操作タスクを完了させるために必要な操作数、及び（ｄ）変換元のＧＵＩにおける操作オブジェクトの配置に係る情報のうちの複数の組合せに基づいて算出可能である。

１つのアイコン（操作オブジェクト）に対する「変換元操作性評価尺度」算出の一実施例として、フィッツの法則（Fitts's Law）を用いることができる。フィッツの法則は、マンマシンインタフェースにおける人間の動作をモデル化し、対象の領域にまで移動するのに要する時間が対象までの距離と対象の大きさとの関数となると推測するものである。

本実施例では、１つのアイコンの「変換元操作性評価尺度」は、このフィッツの法則で算出される、ユーザの指が開始点からこのアイコンに対する操作を完了するまでの平均所用時間Ｔに一致するものとする。この平均所用時間Ｔは、
（１） Ｔ＝ａ＋ｂlog₂（１＋Ｄ／Ｗ）
として算出される。ここで、ａは装置の開始・停止時間であり、ｂはデバイスの速度に依存した係数である。また、Ｄは開始点からアイコンの中心までの距離であり、Ｗは操作動作の方向でのアイコンの幅Ｗである。（１）式から、Ｔ値そのものである「変換元操作性評価尺度」は、アイコンが（画面内で）遠い位置にあったり小さかったりした場合により多くの操作時間がかかる事情を勘案して操作性の尺度を導出したものであることが理解される。

ここで、アイコン５（図１（Ａ））の「変換元操作性評価尺度」を算出する。アイコン５の場合、（１）式における距離Ｄは６０（ｍｍ）であって幅Ｗは２０（ｍｍ）であり、ａ＝０及びｂ＝０.１５秒（sec）とすると、「変換元操作性評価尺度」（平均所用時間Ｔ）は、０＋０.１５×log₂（１＋６００／２００）＝０.３（sec）となる。

［ＧＵＩ領域設定］
ＧＵＩ領域設定部１２３（図２）は、変換元であるスマートフォン２のＧＵＩにおける操作オブジェクトの互いの位置関係に基づいて操作オブジェクトを複数のグループに分類し、グループ毎に、当該グループに属する操作オブジェクトのみを含む「ＧＵＩ領域」を設定する。

図４は、ＧＵＩ領域設定の一実施例を示す模式図である。

「ＧＵＩ領域」設定にあたり、最初に、図４（Ａ）に示すアイコン１〜８同士の位置関係に基づいてアイコン１〜８を複数のグループに分類する。ここで、まず、アイコン（操作オブジェクト）１〜８の各々について当該アイコンの大きさに応じた広さを有する外周領域を設定する。図４（Ｂ）では、高さがｔ₄であって幅がｗ₄であるアイコン４の外周領域として、アイコン４を中央に据えており高さが３ｔ₄であって幅が３ｗ₄である領域が設定されている。

次いで、設定された外周領域が互いに重畳するアイコン同士を同一のグループに属するものとしてアイコン１〜８を複数のグループに分類する。具体的に図４（Ｂ）に示した外周領域を採用すると、アイコン１〜４の各外周領域はアイコン１〜４の中で隣接するアイコンの外周領域と互いに重畳し、アイコン５の外周領域はいずれのアイコンの外周領域とも重畳せず、アイコン６〜８の各外周領域はアイコン６〜８の中で隣接するアイコンの外周領域と互いに重畳する。このことから、図４（Ｃ）に示すように、アイコン１〜４のみを含む「ＧＵＩ領域」１と、アイコン５のみを含む「ＧＵＩ領域」２と、アイコン６〜８のみを含む「ＧＵＩ領域」３とが設定される。

尚、ＩＭＧやＴＸＴ等の非操作オブジェクトについても同様に外周領域を設定し、操作オブジェクトと合わせて「ＧＵＩ領域」に所属させてもよい。また、外周領域内にフレーム分割境界が存在する場合、このフレーム分割境界を境にしてグループを更に分けて別グループとすることも好ましい。ここで、フレーム分割境界は、ＨＴＭＬでのFrameタグで区切られた境界や、AndroidでのFrameRayoutなどのタグで区切られた境界を指す。
［変換先操作性評価尺度］
変換先ＧＵＩ特徴量算出部１２２（図２）は、操作オブジェクト毎に「変換先操作性評価尺度」を算出する。「変換先操作性評価尺度」は、変換先のＧＵＩにおける操作方法に従って実行される操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する操作性の指標である。この「変換先操作性評価尺度」は、（ａ）対応する操作オブジェクトの表示位置、（ｂ）対応する操作オブジェクトの大きさ、（ｃ）対応する操作オブジェクトに対する操作タスクを完了させるために必要な操作数、及び（ｄ）変換元のＧＵＩにおける操作オブジェクトの配置に係る情報のうちの複数の組合せに基づいて算出可能である。

ここで、１つのアイコン（操作オブジェクト）についての「変換先操作性評価尺度」算出の一実施例として、
（α）このアイコンを変換先操作方法で決定又は選択するのに要する操作回数Ｎと、
（β）このアイコンを変換先操作方法で決定又は選択する際に、設定された「ＧＵＩ領域」間の境界を跨ぐ回数ｍと、このアイコンの属していない「ＧＵＩ領域」での操作回数ｎとに基づいて算出される操作複雑度Ｃと
に基づいて算出した操作時間を、このアイコンの「変換先操作性評価尺度」とする。例えば、
（２） （変換先操作性評価尺度）＝ｃ×（Ｎ＋Ｃ），Ｃ＝ｍ×ｎ
とすることができる。ここで、ｃは変換先のデバイスに依存した係数であり、１回当たりの操作に要する時間を示す量である。

図５は、変換先操作性評価尺度の算出方法の一実施例を示す模式図である。

以下、アイコン５（図１（Ａ））の「変換先操作性評価尺度」の算出を説明する。図５（Ａ）によれば、上記（α）操作回数Ｎ及び上記（β）操作複雑度Ｃを算出するのに使用される変換先操作方法は、リモコン（図１（Ｂ））における上下左右ボタン及び決定ボタンの押下である。この変換先操作方法をもってアイコン５を決定するのに要する操作回数Ｎは、図５（Ｂ）に示したように、フォーカスが「下」ボタンの押下によってアイコン１から順次移動してアイコン５に至り次いで「決定」ボタンが押下される一連の操作での押下回数であって５である（Ｎ＝５）。尚、アイコンのフォーカス移動と決定とを同時に行うためのショートカットアイコンが割り当てられている場合、操作回数Ｎは１となる。

また、リモコン（図１（Ｂ））における変換先操作方法をもって、変換元のＧＵＩのアイコン５を決定する際に設定された「ＧＵＩ領域」間の境界を跨ぐ回数ｍは、アイコン４からアイコン５への移動の際に「ＧＵＩ領域」１と「ＧＵＩ領域」２との境界を跨ぐときの１（回）である（ｍ＝１）。さらに、アイコン５の属していない「ＧＵＩ領域」での操作回数ｎは、アイコン１〜４でのタップの回数であって４となる（ｎ＝４）。従って、操作複雑度Ｃ（＝ｍ×ｎ）は、１×４であって４となる（Ｃ＝４）。

これらの結果を式（２）に代入し、係数ｃ＝１.１（sec）とすると、アイコン５の「変換先操作性評価尺度」は、１.１×（５＋４）＝９.９（sec）と算出される。

尚、操作回数Ｎ、跨ぐ回数ｍ及び操作回数ｎは、対象アプリケーションを実際に操作した際のログを分析して取得したり、対象アプリケーションのソースコードを解析して取得したりすることができる。

［重要度］
重要度設定部１２４（図２）は、所定の操作タスクを完了させるために操作が必要となる操作オブジェクトを含む「ＧＵＩ領域」に対し、この所定の操作タスクに応じた「重要度」を付与する。具体的には、全ての「ＧＵＩ領域」の「重要度」の合計を１とし、各「ＧＵＩ領域」に「重要度」を所定の取り決めによって割り振る。

本実施例では、所定の操作タスクは上下左右ボタン及び決定ボタンの押下である。ここで、図５（Ｂ）の「ＧＵＩ領域」１、２及び３にそれぞれ変数p1、p2及びp3を対応付け、「ＧＵＩ領域」１、２及び３の「重要度」を、それぞれ
p1／(p1+p2+p3)、p2／(p1+p2+p3)及びp3／(p1+p2+p3)
と定義する。

これらの変数p1、p2及びp3の値は、以下の通りに決定することができる。即ち、所定期間における変換元のアプリケーションでの操作履歴（ログ）において、「ＧＵＩ領域」毎に、当該「ＧＵＩ領域」内のいずれかのアイコンが選択（操作）された回数（選択回数）を集計する。次いで、「ＧＵＩ領域」１〜３での選択回数を、それぞれ変数p1、p2及びp3の値とする。ここで、例えば、変数p1、p2及びp3の値（「ＧＵＩ領域」１〜３での選択回数）がそれぞれ１０（回）、３５（回）及び５（回）であったとすると、「ＧＵＩ領域」１、２及び３の「重要度」はそれぞれ０.２、０.７及び０.１に設定される。

尚、「重要度」の設定は本実施例に限定されるものではなく、例えば、変数p1、p2及びp3の値として、それぞれ「ＧＵＩ領域」１〜３の面積を採用することも可能である。また、「ＧＵＩ領域」１〜３での選択回数及び面積をともに考慮して「重要度」を設定することもできる。この場合、例えば、「ＧＵＩ領域」１〜３での（選択回数）×（面積）の計算結果をそれぞれ変数p1、p2及びp3の値としてもよい。さらに、例えば、左上に位置する「ＧＵＩ領域」に対して所定の「重要度」分を加点する取り決めをしてもよい。

［変換先ＧＵＩ生成］
操作体系判定部１２５（図２）は、設定された「ＧＵＩ領域」に含まれる操作オブジェクトについて算出された「変換元操作性評価尺度」と「変換先操作性評価尺度」との相違の度合いに基づいて、変換元のＧＵＩを分割するか否かを判定する。ここで、「変換元操作性評価尺度」及び「変換先操作性評価尺度」に加えて、各「ＧＵＩ領域」に付与された「重要度」にも基づいて、変換元のＧＵＩを分割するか否かを判定することも好ましい。

具体的には、操作体系判定部１２５は、
（ａ）設定された「ＧＵＩ領域」に含まれる操作オブジェクトについて、「変換先操作性評価尺度」の合計と「変換元操作性評価尺度」の合計との差もしくは比が所定の尺度閾値Ｓ_th以上である場合、及び／又は
（ｂ）「ＧＵＩ領域」の「重要度」が所定の重要度閾値Ｉ_th以上である場合、
この「ＧＵＩ領域」を独立させて変換元のＧＵＩを分割することが好ましい。

本実施例においては、例えば「ＧＵＩ領域」２では、「変換先操作性評価尺度」の合計は、アイコン５の「変換先操作性評価尺度」に相当し、上述した計算結果より0.3（sec）である。一方、「変換先操作性評価尺度」の合計は、アイコン５の「変換先操作性評価尺度」に相当し、上述した計算結果より9.9（sec）である。ここで、尺度の差に関する尺度閾値Ｓ_thが３（sec）とすると、「変換先操作性評価尺度」の合計と「変換元操作性評価尺度」の合計との差（９.６（sec））は尺度閾値Ｓ_th（３（sec））以上であるから、「ＧＵＩ領域」２を独立させて変換元のＧＵＩを分割することが判定される。また、本実施例では、同様にして、「ＧＵＩ領域」１も独立させて分割することが判定される。

さらに、本実施例において、所定の重要度閾値Ｉ_thが０.１５であるとすると、「ＧＵＩ領域」１の重要度（０.２）及び「ＧＵＩ領域」２の重要度（０.７）はいずれもこの重要度閾値Ｉ_th（０.１５）以上であるので、「ＧＵＩ領域」１及び「ＧＵＩ領域」２を独立させて変換元のＧＵＩを分割することを判定してもよい。この際、「変換先操作性評価尺度」の合計と「変換元操作性評価尺度」の合計との差が所定の尺度閾値Ｓ_th以上であることに加えて、「重要度」が重要度閾値Ｉ_th以上であることを、分割するとの判定を行う条件とすることもできる。

変換先ＧＵＩ生成部１２６（図２）は、操作体系判定部１２５によって分割すると判定された変換元のＧＵＩを分割して変換先のＧＵＩを決定する。本実施例では、「ＧＵＩ領域」１及び「ＧＵＩ領域」２を独立させて分割すると判定されているので、結局、変換先のＧＵＩは、図１（Ｂ）に示した第１の画面画像、第２の画面画像及び第３の画面画像の３つに決定される。

尚、分割された各画面画像をつなぐために、例えば、画面画像下部に、図１（Ｂ）に示した「ａ」及び「ｂ」アイコンや、「次へ」とキャプション表示したアイコンを追加することも好ましい。また、画面画像の遷移前のＧＵＩでの操作オブジェクトに対する操作完了後、自動的に遷移先の画面画像（ＧＵＩ）に遷移する機能を付与することも好ましい。さらには、画面画像の総数のうち、何画像目かを示すための「パンくずリスト」（breadcrumb list）機能を付与してもよい。また、それまでの操作オブジェクトによって完了した操作内容を、完了した次以降の画面画像や最終画面画像に表示し、確認させる機能や前の画面画像に戻れる機能を付与することも好ましい。

入出力制御部１３１（図２）は、入出力インタフェース１０１を介した、ＳＴＢ機能に係る情報の受信又は送信を制御する。表示・入力部１０２（図２）は、例えばディスプレイ及びハードウェアボタン又はタッチパネル・ディスプレイであり、ＳＴＢ機能に係る情報を表示し、ＳＴＢに対する入力操作を受け付ける。また、表示・入力制御部１３２（図２）は、表示・入力部１０２の動作を制御する。アプリケーション処理部１３３（図２）は、ＳＴＢの機能に係るアプリケーションの動作を制御する。

尚、変換先ＧＵＩ生成部１２６で新たに変換されたＧＵＩを、テレビディスプレイ（図１（Ｂ））に表示する代わりに表示・入力制御部１３２（図２）に表示して、リモコンで操作してもよい。この場合、ＧＵＩの変換は、表示・入力部１０２の変換先端末・操作情報を考慮して実行される。

図６は、本発明によるＧＵＩ変換方法の一実施形態を示すフローチャートである。

以下、本発明のＧＵＩ変換装置としてのＳＴＢ１におけるＧＵＩ変換を説明する。
（Ｓ６０１）変換元ＧＵＩ情報蓄積部１１１（図２）から「変換元ＧＵＩ情報」を読み込む。
（Ｓ６０２）変換元端末・操作情報蓄積部１１２（図２）から変換元端末情報を読み込む。
（Ｓ６０３）変換先端末・操作情報蓄積部１１３（図２）から変換先端末情報を読み込む。

（Ｓ６０４）「変換元ＧＵＩ情報」を変換テンプレートと照合する。ここで、変換テンプレートは、変換元端末情報と変換先端末情報との対応毎に、過去の変換事例として、変換の頻度の高いＧＵＩ情報をＧＵＩ情報パターンして記録したものである。

（Ｓ６０５）「変換元ＧＵＩ情報」と一致する変換テンプレートが存在するか否かを判定する。ここで、「変換元ＧＵＩ情報」の操作オブジェクトと、変換テンプレートのＧＵＩ情報における対応する操作オブジェクトとの位置関係に関する類似度を算出し、この類似度が所定閾値を超える場合、「変換元ＧＵＩ情報」と変換テンプレートとが一致すると判定してもよい。この類似度としては、「変換元ＧＵＩ情報」の操作オブジェクトの表示位置範囲と、変換テンプレートのＧＵＩ情報における対応する操作オブジェクト表示位置範囲の重畳部分の、画面全体に対する割合とすることができる。

ステップＳ６０５で真の判定（一致する変換テンプレートが存在するとの判定）を行った場合、この変換テンプレートに基づいて変換先ＧＵＩ情報を作成し（ステップＳ６２１）、本ＧＵＩ変換のフローを終了する。一方、ステップＳ６０５で偽の判定（一致する変換テンプレートが存在しないとの判定）を行った場合、ステップＳ６０６に移行する。

（Ｓ６０６）「変換元ＧＵＩ情報」に基づいて「変換元操作性評価尺度」を算出する。
（Ｓ６０７）「変換元ＧＵＩ情報」から「ＧＵＩ領域」を設定する。
（Ｓ６０８）変換先操作方法に基づいて「変換先操作性評価尺度」を算出する。
（Ｓ６０９）「ＧＵＩ領域」毎の「重要度」を設定する。

（Ｓ６１０）「変換元操作性評価尺度」と「変換先操作性評価尺度」と「重要度」とに基づいて、設定した「ＧＵＩ領域」を独立させてＧＵＩを分割するか否かを判定する
（Ｓ６１１）判定結果に基づいてＧＵＩを分割しつつ変換先ＧＵＩ情報を作成する。
（Ｓ６１２）作成した変換先ＧＵＩ情報を出力する。

以上、詳細に説明したように、本発明によれば、入力デバイス及び出力デバイスの種類及びスペックが異なる情報機器間において、搭載されたアプリケーションのＧＵＩを変換することができる。この際、「変換元操作性評価尺度」及び「変換先操作性評価尺度」の間の相違（さらには「重要度」）に基づき、設定した「ＧＵＩ領域」に沿って分割した変換先のＧＵＩを実現する。従って、入出力デバイスの変化に伴う操作性の低下を抑制して十分な操作性を確保した、且つ変換先の入出力デバイスに適合したＧＵＩが提供される。

これにより、例えば、入出力デバイスがタッチパネル・ディスプレイであって１つの画面画像で種々の操作を受け入れるＧＵＩを、入出力デバイスがリモコン（ハードボタン）及びディスプレイであって複数の画面画像を切り換えて各画面で比較的単純な操作を受け入れるＧＵＩに変換することができる。

尚、本発明のＧＵＩ変換プログラムは、ＳＴＢ１のような変換先の装置のみならず、スマートフォン２のような変換元の装置や、全く別に設けられたＧＵＩ変換装置でも搭載可能である。

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例であって、何ら発明の範囲を制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ ＳＴＢ（情報機器）
１０１ 入出力インタフェース
１０２ 表示・入力部
１１１ 変換元ＧＵＩ情報蓄積部
１１２ 変換元端末・操作情報蓄積部
１１３ 変換先端末・操作情報蓄積部
１１４ 変換先ＧＵＩ情報蓄積部
１２１ 変換元ＧＵＩ特徴量算出部
１２２ 変換先ＧＵＩ特徴量算出部
１２３ ＧＵＩ領域設定部
１２４ 重要度設定部
１２５ 操作体系判定部
１２６ 変換先ＧＵＩ生成部
１３１ 入出力制御部
１３２ 表示・入力制御部
１３３ アプリケーション処理部
２ スマートフォン（情報機器）

Claims (10)

1. 操作オブジェクトを表示可能な情報機器に搭載されたアプリケーションのグラフィカルユーザインタフェース（ＧＵＩ）を変換するＧＵＩ変換プログラムであって、
   変換元の操作オブジェクトに係る情報である変換元ＧＵＩ情報に基づいて、操作オブジェクト毎に、当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換元操作性評価尺度を算出する変換元ＧＵＩ特徴量算出手段と、
   操作オブジェクト毎に、変換先のＧＵＩにおける操作方法に従って実行される当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換先操作性評価尺度を算出する変換先ＧＵＩ特徴量算出手段と、
   変換元のＧＵＩにおける当該操作オブジェクトの互いの位置関係に基づいて当該操作オブジェクトを複数のグループに分類し、グループ毎に、当該グループに属する操作オブジェクトのみを含むＧＵＩ領域を設定するＧＵＩ領域設定手段と、
   設定されたＧＵＩ領域に含まれる操作オブジェクトについて算出された当該変換元操作性評価尺度と当該変換先操作性評価尺度との相違の度合いに基づいて、変換元のＧＵＩを分割するか否かを判定する操作体系判定手段と、
   前記操作体系判定手段によって分割すると判定された変換元のＧＵＩを分割して変換先のＧＵＩを決定する変換先ＧＵＩ生成手段と
   してコンピュータを機能させることを特徴とするＧＵＩ変換プログラム。
2. 所定の操作タスクを完了させるために操作が必要となる操作オブジェクトを含むＧＵＩ領域に対し、該所定の操作タスクに応じた重要度を付与する重要度設定手段としてコンピュータを更に機能させ、
   前記操作体系判定手段は、算出された当該変換元操作性評価尺度及び当該変換先操作性評価尺度と、付与された当該重要度とに基づいて、変換元のＧＵＩを分割するか否かを判定する
   ことを特徴とする請求項１に記載のＧＵＩ変換プログラム。
3. 前記操作体系判定手段は、設定されたＧＵＩ領域に含まれる操作オブジェクトについて、当該変換先操作性評価尺度の合計と当該変換元操作性評価尺度の合計との差もしくは比が所定の尺度閾値以上である場合、及び／又は該ＧＵＩ領域の重要度が所定の重要度閾値以上である場合、該ＧＵＩ領域を独立させて変換元のＧＵＩを分割する
   ことを特徴とする請求項２に記載のＧＵＩ変換プログラム。
4. 当該変換元操作性評価尺度及び当該変換先操作性評価尺度は、対応する操作オブジェクトの表示位置、対応する操作オブジェクトの大きさ、対応する操作オブジェクトに対する操作タスクを完了させるために必要な操作数、及び変換元のＧＵＩにおける操作オブジェクトの配置に係る情報のうちの複数の組合せに基づいて算出される
   ことを特徴とする請求項１から３のいずれか１項に記載のＧＵＩ変換プログラム。
5. 前記変換元ＧＵＩ特徴量算出手段は、開始点から操作オブジェクトの中心までの距離Ｄと操作動作の方向での該操作オブジェクトの幅Ｗとに基づきフィッツの法則（Fitts's Law）を用いて算出した操作時間を、該操作オブジェクトの変換元操作性評価尺度とすることを特徴とする請求項１から４のいずれか１項に記載のＧＵＩ変換プログラム。
6. 前記変換先ＧＵＩ特徴量算出手段は、
   操作オブジェクトを変換先操作方法で決定又は選択するのに要する操作回数と、
   該操作オブジェクトを変換先操作方法で決定又は選択する際に設定されたＧＵＩ領域間の境界を跨ぐ回数ｍと該操作オブジェクトの属していないＧＵＩ領域での操作回数ｎとに基づいて算出される複雑度と
   に基づいて算出した操作時間を、該操作オブジェクトの変換先操作性評価尺度とすることを特徴とする請求項１から５のいずれか１項に記載のＧＵＩ変換プログラム。
7. 前記ＧＵＩ領域設定手段は、各操作オブジェクトについて当該操作オブジェクトの大きさに応じた広さを有する外周領域を設定し、設定された外周領域が互いに重畳する操作オブジェクト同士を同一のグループに属するものとして当該操作オブジェクトを複数のグループに分類することを特徴とする請求項１から６のいずれか１項に記載のＧＵＩ変換プログラム。
8. １つのＧＵＩ領域の重要度は、変換元の当該アプリケーションの所定期間での操作履歴における、当該ＧＵＩ領域内のいずれかの操作オブジェクトが操作された回数の全操作回数に対する割合に基づいて算出されることを特徴とする請求項２又は３に記載のＧＵＩ変換プログラム。
9. 操作オブジェクトを表示可能な情報機器に搭載されたアプリケーションのＧＵＩを変換する装置であって、
   変換元の操作オブジェクトに係る情報である変換元ＧＵＩ情報に基づいて、操作オブジェクト毎に、当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換元操作性評価尺度を算出する変換元ＧＵＩ特徴量算出手段と、
   操作オブジェクト毎に、変換先のＧＵＩにおける操作方法に従って実行される当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換先操作性評価尺度を算出する変換先ＧＵＩ特徴量算出手段と、
   変換元のＧＵＩにおける当該操作オブジェクトの互いの位置関係に基づいて当該操作オブジェクトを複数のグループに分類し、グループ毎に、当該グループに属する操作オブジェクトのみを含むＧＵＩ領域を設定するＧＵＩ領域設定手段と、
   設定されたＧＵＩ領域に含まれる操作オブジェクトについて算出された当該変換元操作性評価尺度と当該変換先操作性評価尺度との相違の度合いに基づいて、変換元のＧＵＩを分割するか否かを判定する操作体系判定手段と、
   前記操作体系判定手段によって分割すると判定された変換元のＧＵＩを分割して変換先のＧＵＩを決定する変換先ＧＵＩ生成手段と
   を有することを特徴とする装置。
10. 操作オブジェクトを表示可能な情報機器に搭載されたアプリケーションのＧＵＩを変換するＧＵＩ変換方法であって、
    変換元の操作オブジェクトに係る情報である変換元ＧＵＩ情報に基づいて、操作オブジェクト毎に、当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換元操作性評価尺度を算出する第１のステップと、
    操作オブジェクト毎に、変換先のＧＵＩにおける操作方法に従って実行される当該操作オブジェクトに対する操作タスクを完了させるのに要する時間に対応する変換先操作性評価尺度を算出する第２のステップと、
    変換元のＧＵＩにおける当該操作オブジェクトの互いの位置関係に基づいて当該操作オブジェクトを複数のグループに分類し、グループ毎に、当該グループに属する操作オブジェクトのみを含むＧＵＩ領域を設定する第３のステップと、
    設定されたＧＵＩ領域に含まれる操作オブジェクトについて算出された当該変換元操作性評価尺度と当該変換先操作性評価尺度との相違の度合いに基づいて、変換元のＧＵＩを分割するか否かを判定する第４のステップと、
    第４のステップで分割すると判定された変換元のＧＵＩを分割して変換先のＧＵＩを決定する第５のステップと
    を有することを特徴とするＧＵＩ変換方法。

Images