JP2016522943A - ソフトウェアアプリケーションを制御するためのユーザインタフェース - Google Patents

Abstract

ソフトウェアアプリケーションを制御するユーザインタフェースを構成する装置であって、表示画面と、触覚制御素子配列と、表示画面の一部を隠し、１以上の表示領域を表示するように構成され、１以上の表示領域が１以上の触覚制御素子のファンクションを表示するマスキング要素と、ユーザ発信イベントに応答し、ユーザ発信イベントに割り当てられた１以上のソフトウェアアプリケーションのファンクションを実行するトランスレータとを含み、ユーザ発信イベントは、表示領域に表示された触覚制御素子のファンクションを実行する触覚制御素子の作動を含み、グラフィカルユーザインタフェースアプリケーションは、ユーザが１以上のソフトウェアアプリケーションのファンクションをユーザ発信イベントに割り当てて装置の触覚制御素子に割り当てられたファンクションを所定のレイアウトに配置するように構成される装置を提供する。

Description

本発明は、ソフトウェアアプリケーションを制御するためのユーザインタフェースに関する。本発明は、多くの潜在的な用途を有し、特に、音声、映像、映画、マルチメディアの制作を含むメディア制作の分野に適する。具体的には、上記のメディアのコンテンツのデジタル操作において使用されるデータの編集、ミキシング、エフェクト処理、フォーマット変換およびパイプライニングなどの制作作業に対して適用可能であるが、それらの用途に限定されない。

現在のコンピュータは、マウス、キーボード、およびその他の周辺機器によって主に駆動される高速カラーグラフィックスおよびよく設計されたグラフィカルユーザインタフェースを提供する。ただし、マウスインタフェースは、すばやく学習できるが、結局のところ、特定のコマンドに対して要求される手目の動き量によって速度が制限される。それらは時々の使用または日常的な使用には非常に適切であるが、プロフェッショナルの使用に対しては、ユーザの手が動作手順を学んで、その時のタスクの内容に集中して無意識の状態になった場合、専用のハードウェアサーフェスに容易に追い越されてしまう。「わき見」動作が実現可能となるのは、ユーザの手の届く範囲にファンクションを置いた場合のみである。例えば、音楽家は、キーボード／フレットボードを見ない時に典型的に上手な演奏をする。

タッチスクリーンは、コンテクストに応じてファンクションや外観を変更するファンクションを有し、これは特にスマートフォンおよびＰＯＳ（ポイントオブセールス）のアプリケーションにおいて非常に成功したパラダイムであった。しかしながら、タッチスクリーン単体では複雑な状況や高スループットの状況に対しては適していない。例えば、複雑な音声−視覚制作環境において、物理的な「感じる」ことを取り入れたインタフェースは、オペレータがビデオ映像、音声ガイダンス、レバーやフェーダ、ノブなどのその他のコントロール要素に集中する必要がある場合に作業速度を上げることができる。タッチスクリーンは、触覚応答を欠いており、そのため物理的なフィードバックがない。

固定キーコントローラのボタンは即座の触覚フィードバックを供給するが、多数のファンクションが必要とされる場合に、その結果必要とされるコントローラの設置面積は実現不可能である。小さい設置面積に対して多くのファンクションを追加するために、キーボードのショートカットおよび／またはモディファイア（一時的にいくつかのキーファンクションを変更する）のセットが固定のキーコントローラに組み込まれてもよいが、典型的にオペレータは利用可能な学習時間が限られているため、ショートカットのわずかなサブセットのみを学習する。

したがって、ファンクション性の向上に伴い、特に複雑な状況および高スループットの状況において、ソフトウェアアプリケーションを制御する改良型ユーザインタフェースを提供することが継続的に必要である。

本発明の目的は、先行技術の１つ以上の欠点をほぼ克服するまたは少なくとも改善することである。

１つの態様において、本発明は、ソフトウェアアプリケーションを制御するためのユーザインタフェースとして構成される装置を提供し、装置は、
表示画面と、
触覚制御素子の配列と、
表示画面の少なくとも一部を隠し、少なくとも１つの表示領域を表示するように構成され、少なくとも１つの表示領域が少なくとも１つの触覚制御素子の現在のファンクションを表示するためのものであるマスキング要素と、
ユーザ発信イベントに応答して、前記ユーザ発信イベントに割り当てられた１つ以上のソフトウェアアプリケーションのファンクションを実行するトランスレータとを含み、ユーザ発信イベントは、前記表示領域に表示された前記触覚制御素子の現在のファンクションを実行する触覚制御素子の作動を含み、グラフィカルユーザインタフェースアプリケーションは、ユーザが、１つ以上のソフトウェアアプリケーションのファンクションをユーザ発信イベントに割り当てて前記装置の１つ以上の触覚制御素子に割り当てられたファンクションを所定のレイアウトに配置するように構成されることを特徴とする。

別の態様において、本発明はユーザインタフェースとして構成される装置を提供し、装置は、
表示画面と、
触覚制御素子の配列と、
少なくとも１つのレイアウト制御素子と、
表示画面の少なくとも一部を隠し、少なくとも１つの表示領域を表示するように構成され、少なくとも１つの表示領域が少なくとも１つの触覚制御素子の現在のファンクションを表示するためのものであるマスキング要素と、
ユーザ発信イベントに応答して、前記ユーザ発信イベントに割り当てられた１つ以上のソフトウェアアプリケーションのファンクションを実行するトランスレータと、ユーザ発信イベントは、前記表示領域に表示された前記触覚制御素子の現在のファンクションを実行する触覚制御素子の作動を含み、
ユーザによるレイアウト制御素子の作動に応答して、１つ以上の触覚制御素子の現在のファンクションに対応する情報の表示を含む少なくとも１つの表示領域上に情報を表示させるように構成されたトランスレータとを含み、
グラフィカルユーザインタフェースアプリケーションは、ユーザが、１つ以上のソフトウェアアプリケーションのファンクションをユーザ発信イベントに割り当てて前記装置の１つ以上の触覚制御素子に割り当てられたファンクションを所定のレイアウトに配置するように構成され、前記レイアウト制御素子の作動は、１つ以上の触覚制御素子に割り当てられたファンクションの所定のレイアウト間で変化することを特徴とする。

さらに別の態様において、本発明は、ソフトウェアアプリケーションを制御するためのユーザインタフェースシステムを提供し、前記システムは、
ユーザが、１つ以上のソフトウェアアプリケーションのファンクションをユーザ発信イベントに割り当てできるように構成されるグラフィカルユーザインタフェースアプリケーションと、
ユーザ発信イベントに応答して、前記ユーザ発信イベントに割り当てられた１つ以上のソフトウェアアプリケーションのファンクションを実行するトランスレータと、を含み、
前記ユーザ発信イベントは、触覚制御素子の作動、音声コマンド、二次元ジェスチャ、三次元ジェスチャのうちの１つ以上を含むことを特徴とする。

さらなる態様において、本発明はソフトウェアアプリケーションを制御するためのユーザインタフェースシステムを提供し、前記システムは、
表示画面と、
少なくとも１つのレイアウト制御素子と、
ユーザが、１つ以上のソフトウェアアプリケーションのファンクションをユーザ発信イベントに割り当てできるように構成されるグラフィカルユーザインタフェースアプリケーションと、
ユーザ発信イベントに応答して、前記ユーザ発信イベントに割り当てられた１つ以上のソフトウェアアプリケーションのファンクションを実行するトランスレータと、
ユーザによるレイアウト制御素子の作動に応答して、１つ以上のユーザ発信イベントの現在のファンクションに対応する情報を表示することを含む、表示画面上に情報の表示を発生させるように構成されたトランスレータとを含み、
前記ユーザ発信イベントは、触覚制御素子の作動、音声コマンド、二次元ジェスチャ、三次元ジェスチャのうちの１つ以上を含み、前記レイアウト制御素子の作動は、ユーザ発信イベントに割り当てられるファンクションの所定のレイアウト間で変化することを特徴とする。

以下の態様のいずれかの構成において、触覚制御素子は透明キャップを含むスイッチでもよい。表示領域はスイッチの現在のファンクションにおける表示のために透明キャップを介して閲覧可能でもよい。イメージコンジットは表示と透明キャップ間に配置されてもよい。イメージコンジットは、第１の端部において前記表示領域に対して固定的接触した複数の並列光ファイバを含んでもよい。

触覚制御素子はつまみでもよい。前記つまみは、表示領域に表示される情報を操作するために構成されてもよい。好ましくは、マスキング要素は保護製品表面を含む。

前記グラフィカルユーザインタフェースアプリケーションは、装置の１つ以上の触覚制御素子に割り当てられたファンクションのレイアウトを含む、ユーザ発信イベントに割り当てられた１つ以上のソフトウェアアプリケーションのファンクションのドラッグアンドドロップ編集を可能とするように構成されてもよい。

本発明の好適な実施形態を添付図面を参照して説明する。
図１は、本発明の実施形態によるユーザインタフェースのハイレベルな動作を示す。 図２は、本発明の実施形態によるファンクションの複数のレイアウトの背景となる概念を示す概略フロー図である。 図３ａ〜図３ｃは、本発明の実施形態とともに使用されるのに適したハードウェアコントロールサーフェスの例を図示する。 図４は、本発明の実施形態による装置の１つ以上の触覚制御素子に対して割り当てられるファンクションの所定のレイアウトをユーザが構成可能に構成されるグラフィックユーザインタフェースアプリケーションのスクリーンショットである。 図５は、本発明の実施形態とともに使用されるのに適したトランスレータの一例である。 図６は、表示領域への第１のエンドに固定接触ひている複数の並列光ファイバを含むイメージコンジットの概略図である。 図７は、透明キャップを含むスイッチ機構の簡略図である。 図８は、エディタモード、英語キーボードおよび日本語キーボードにおける下方キーの３つのレイアウトを示すコントローラの断面図である。

本発明の実施形態は、ＰＣ、ＭａｃまたはＬｉｎｕｘオペレーティングシステム上で動作するソフトウェアアプリケーションの制御を可能とし、ＲＳ−４２２，ＭＩＤＩ，ＡＳＣＩＩ，Ｅｔｈｅｒｎｅｔ(登録商標)，ＨＵ１などを含むビルトインのプロトコルおよびコマンドセットを介した通信を可能とする。これは、アプリケーションを意識することが可能なソリューションであり、したがって異なるソフトウェアアプリケーション間でほぼ瞬時にフォーカスを切り替えたり、その時点でアクティブでなければ起動したりできる。また言語を意識したものでもよく、それによってソフトウェアアプリケーションを動作しているハードウェアの現時点の言語で作業するために適切なグラフィカルな記号およびレイアウトを選択できる。

好適な実施形態において、ハードウェアインタフェースとのソフトウェアスクリプトの強力な組み合わせによって、ソフトウェアアプリケーションとの複雑な対話が可能となり、さらに結果的に発生する変更をハードウェア表示に対して正確に反映されるようにする。

図１において、本発明の実施形態によるユーザインタフェースのハイレベルな動作を図示する。

１：イベント（ユーザ発信）
ユーザによる触覚動作。例えば、つまみが回された、スイッチが作動した、フェーダの移動。
ユーザによるマイクに対する音声コマンド。例えば、マルチトラックの音声の混合時に、ユーザは以下のような口頭コマンドを発行する場合がある。
・「プレイ」（現在の位置からの再生）
・「プレイアゲイン」（前回の開始点から再度再生）
・「ストップ」
・「プレイオール」（最初からトラックを再生）
・「コールヴォーカル」（ヴォーカルを有するチャンネルに焦点を当てる）
二次元ジェスチャ。例えば、削除のために、タッチスクリーンを右から左へ３本の指でスワイプする。
三次元ジェスチャ。例えば、
・触って握る（にぎりこぶしをつくってかみ合う。三次元ジェスチャ制御）
・仮想オブジェクトを操作するために手を三次元で動かす。
・上級の操作として手をひねる、傾ける、横ねじれする。
・触ってから離す（拳を開く。三次元ジェスチャ制御の解除）

２：イベント解析
上記例に基づく、スイッチのオンまたはオフ、つまみの回転速度および／または回転量、フェーダのタッチ。
音声コマンドを解析するための辞書エンジン。例えば、Ｍｉｃｒｏｓｏｆｔ Ｓｐｅｅｃｈ ＡＰＩ （ＳＡＰＩ）５．４ （ｈｔｔｐ：／／ ｍｓｄｎ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｅｎ− ｕｓ／ｌｉｂｒａｒｙ／ｅｅｌ２５６６３（ｖ＝ｖｓ．８５）．ａｓｐｘ （最終アクセス２０１４年５月２１日））もしくはｔｈｅ Ｄｒａｇｏｎ ＮａｔｕｒａｌｌｙＳｐｅａｋｉｎｇ ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｅｒ ｋｉｔ （ＳＤＫ） （ｈｔｔｐ：／／ｗｗｗ．ｎｕａｎｃｅ．ｃｏｍ／ｆｏｒ− ｄｅｖｄｏｐｅｒｓ／ｄｒａｇｏｎ／ｉｎｄｅｘ．ｈｔｍ（最終アクセス２０１４年５月２１日））参照。
ジェスチャエンジンは、二次元および／または三次元のジェスチャを解析する。例えば、Ｓｋｅｌｅｔａｌ ＳＤＫ （ｈｔｔｐｓ：／／ｄｅｖｅｌｏｐｅｒ．ｌｅａｐｍｏｔｉｏｎ．ｃｏｍ／（最終アクセス２０１４年５月２１日））参照。

３：トランスレータ
イベントパラメータに基づき、かつアプリケーションの優勢な状態に依存して、アクションのシーケンスを決定する論理を適用する。この論理は、スクリプト言語または同様の手段によって実装されるアルゴリズムを介して適用される。

４：アクション
アクションは、スクリプト言語にリンクされるアプリケーションプログラミングインタフェース（ＡＰＩ）を介してソフトウェアアプリケーションに対して伝えられる。

５：情報
ソフトウェアアプリケーションは、パラメータ変更についてＡＰＩを介してトランスレータに対して伝える。

６：トランスレータ
情報がどのように物理的インタフェース上に表示されるかを決定する論理を適用する。
この論理は、スクリプト言語または同様の手段を介して実装されるアルゴリズムを介して適用される。

７：タリー
例えば、照明をつける、フェーダの移動、画面更新、スイッチのラベル変更、テキスト音声（Ｔｅｘｔ−ｔｏ−Ｓｐｅｅｃｈ：ＴＴＳ）は、スピーカを介して音声でフィードバックを伝える。

上記に示すような上位のインタラクションは、プッシュモードおよびプルモードの両方における製品データベース情報の伝送を必要とする。ある場合において、その一方または両方のモードがサポートされていない場合、本発明の解決策は、いずれかの設定において最も実現可能に動作するオプションを有する。

例えば、アプリケーションから情報がプッシュバックされない場合、アプリケーションパラメータセットのデータベースはそのアプリケーションから独立して維持されることが可能であり、さらに既知の開始位置およびそれが実行した変更に基づいて更新可能である。これは、本発明によるユーザインタフェースがアプリケーションの唯一のコントローラである場合に良好に作動する。この場合、上記例のステップ１〜３および６〜７が実行される場合がある。

本発明は、アプリケーションインタフェースが高度に開発されていない場合、さらに低レベルで動作することが可能である。

例えば、製品は、作業速度を上げるために、キーボードショートカットのセットを使用してもよい。典型的に、オペレータは、利用可能な学習時間が限られているため、ショートカットの小サブセットを学習する。キーボードショートカットインタフェースが一方向性のものであるため、本例におけるタリーは存在しない。この場合、上記例のステップ１〜３のみが実行される場合がある。

図２において、本発明の実施形態によるファンクションの複数のレイアウトの背後にある概念を図示する簡略フロー図が図示されている。本発明の実施形態において、ユーザインタフェースとして構成される装置は、ハードウェアコントロールサーフェス（図２において使用される「コントローラ」なる用語の意味の範囲内に含まれる）によって起動する。図３ａ〜図３ｃは、本発明の実施形態とともに使用されることに適したハードウェアコントロールサーフェスの例を図示する。

ハードウェアコントロールサーフェス（またはコントローラ）は、触覚制御素子を含むリソースのコレクションを含んでもよい。そのようなリソースのタイプ例は以下を含む。
Ｐｉｃｔｕｒｅ Ｋｅｙ（ピクチャーキー）（以下参照）
Ｌｅｄ Ｋｅｙ（Ｌｅｄキー）
Ｔｏｕｃｈ ｓｅｎｓｉｔｉｖｅ Ｅｎｃｏｄｅｒ（タッチセンサエンコーダ）
Ｊｏｇｇｅｒ（ジョガー）
Ｍｅｔｅｒ（メータ）
ＥＱカーブ
つまみ

コントローラはユーザ発信イベントを受け取るためのリソースを含むその他の適切なハードウェアでもよい。例えば、コントローラは、二次元ジェスチャを受け取るタッチスクリーンおよび／または音声コマンドを受け取るマイクロフォンを含んでもよい。

これらのリソース間のバインディングが作成され、ファンクションがスクリプト言語を介して定義され、トランスレータと呼ばれる。

バインディングは、ユーザ発信イベント（リソースによって受け取られる）をトランスレータに関連付けることである。さらに、バインディングは、数値定数およびテキスト定数の形態のメタデータを含んでもよい。例えば、ＱＷＥＲＴＹの「Ｑ」ファンクションを作成するためのバインディングは、以下を含むことができる。
・汎用キーボードトランスレータへのバインディング
・「ｑＢＭＰ」キーに表示されるビットマップの名称
・システムに送信するためのＡＳＣＩＩコード（Ａｍｅｒｉｃａｎ Ｓｔａｎｄａｒｄ Ｃｏｄｅ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｉｎｔｅｒｃｈａｎｇｅ：情報交換用米国標準コード）：１２２

トランスレータは、ユーザ発信イベント（例えば、スイッチの作動または音声コマンド）およびアプリケーション（例えば、ＧＶＧ社のＥｄｉｕｓ（登録商標）、Ａｐｐｌｅ社のＦｉｎａｌ Ｃｕｔ Ｐｒｏ（登録商標）またはＡｖｉｄ社のＭｅｄｉａＣｏｍｐｏｓｅｒ（登録商標））との間において変換を行う。これは、特定の規則に準拠した「Ｃ」コードでもよい。これは、Ｔｉｎｙ Ｃコンパイラによって実行時にコンパイルされてもよく、それによってアイデアや概念から実世界の試験および試用への作業の超高速化が促進されることができる。「Ｔｉｎｙ Ｃ」は特定のコンパイラ「Ｔｉｎｙ Ｃ」によって例示されるスクリプト機構「Ｃ］の一例に過ぎない。これは、例えば、Ｍｉｃｒｏｓｏｆｔ社のＶｉｓｕａｌ Ｂａｓｉｃ ｆｏｒ Ａｐｐｌｉｃａｔｉｏｎｓ（ＶＢＡ）を介して実行されるＢａｓｉｃなどの言語と同等と考えられる。

各トランスレータは、以下の２つの一次ファンクションを実装する。
・様々な形態の刺激（ユーザ発信イベント）に応じて呼び出されるイベントハンドラ
・トランスレータ内から呼び出され、割り当てられたファンクションが利用可能な場合は常に呼び出されるアップデートファンクション

トランスレータの一例は、以下のようなＭＭＣベースのフィードバックを有するＨＵＩベースのプレイキーである。
・イベントハンドラは、キーのダウン／アップイベントに応じて対象アプリケーションに対してＨＵＩ ＭＩＤＩメッセージを送信することである。
・アップデートファンクションが該アプリケーションからＭＭＣ ＭＩＤＩデータを受信し、トランスポートモードがプレイになったり、変更されたりした場合は常に画像を更新することである。

トランスレータは、ビンディングされているユーザ発信イベントに応答して暗黙的に呼び出される。さらに、トランスレータは例えば、１つ以上のＳｔｕｄｉｏＭｏｄｅｌパラメータ、タイマ、フォーカス変更などの追加のトリガを指定することができる。トランスレータは、それがバインディングされているユーザ発信イベントが発生すると、暗黙的にトリガされる。スイッチの場合、トリガ値は放す（Ｒｅｌｅａｓｅ）、一回押す（Ｓｉｎｇｌｅ Ｐｒｅｓｓ）、２回押す（Ｄｏｕｂｌｅ Ｐｒｅｓｓ）、押し続ける（Ｈｏｌｄ）のうちの１つでもよい。

本発明の実施形態とともに使用されることに適した作動中のトランスレータの一例を図５に再現する。レイアウトは、ユーザ発信イベントの特定のセットに対する関連バインディングの数を定義するファイルである。例えば、ＮＵＭ−ＰＡＤ機能を提供するレイアウトでもよい。レイアウトは、ベースレイアウトとしてインスタント化することができ、その他のレイアウトの上にプッシュ／ポップされることが可能である。

多数のファンクションを、例えば物理的に小型のハードウェアコントロールサーフェスに効率よくマッピングするために、本発明の実施形態はレイアウトのレイヤリングをサポートする。このように、レイアウトは表面上のリソースのセットに対するスタック上にバインディングをプッシュすることができる。レイアウトをポップすることによってそのようなバインディングを除去する。各リソースはそれ自体のバインディングのスタックを維持するが、「ベースレイアウト」をロードすることができ、レイアウトに含まれるすべてのリソースのスタックを削除する。

特に、ハードウェアコントロールサーフェスは、少なくとも１つの特定リソース、すなわち例えばスイッチの形態をとることが可能なレイアウト制御素子を含んでもよい。レイアウト制御素子は、あらゆるユーザ発信イベントの形態をとることが可能であるが、触覚制御素子であることが好ましい。例えば、ユーザがレイアウト制御素子を作動すると、触覚制御素子（リソース）の所定のセットに割り当てられているファンクションのレイアウトが変化する。単純な例として、ユーザが「ＣＡＬＣ」キーを作動して、一時的にキー（触覚制御素子）の選択上に計算機レイアウトをプッシュすることが挙げられる。ユーザが計算機ファンクションを終了すると、「ＣＡＬＣ」キーは再度作動し、そのキーを「ポップ」して非表示とし、以前そこにあったものを表示する。レイアウトのコレクションは、アプリケーション特定および／またはコントロール特定のものである。

ユーザがレイアウト全体または一部をコントローラ上にプッシュ可能にするためには、例えば、キーに「Ｇｏ Ｔｏ」というラベル付けがなされた場合、ユーザがそのキーを作動すると、それに応答してテンキーが表示される。これは、以下のトランスレータスクリプト例を用いて実現可能である。
ｖｏｉｄ ＰｕｓｈＬａｙｏｕｔ（ｃｏｎｓｔ ｃｈａｒ ＊ ｌａｙｏｕｔ．）

それとは反対に、すなわち以前プッシュされたスクリプトであるレイアウトの削除は、以下のトランスレータスクリプト例を用いて実現可能である。
ｖｏｉｄ ＰｏｐＬａｙｏｕｔ（ｃｏｎｓｔ ｃｈａｒ ＊ｌａｙｏｕｔ）；

以下のトランスレータスクリプト例によって、ユーザは、新規のベースレイアウトを設定可能となる。すなわち、様々な制御、例えばハードウェアコントロールサーフェスの制御上に重ねられたあらゆるバインディングを取り除く。良い例は、ＱＷＥＲＴＹレイアウトをベースレイアウトとして設定することであり、これを開始点とし、その他のレイアウトを必要に応じてその上に重ねることができる。
ｖｏｉｄ ＳｅｔＢａｓｅＬａｙｏｕｔ（ｃｏｎｓｔ ｃｈａｒ ＊ｌａｙｏｕｔ）：

このため、この実行時技術は以下のコンポーネントから構築することができる。
・Ｌａｙｏｕｔ Ｅｎｇｉｎｅ（レイアウト エンジン）−レイアウトをロードして管理するグラフィカルユーザインタフェースアプリケーション
・Ｔｉｎｙ Ｃ （タイニー シー）−トランスレータをコンパイルする（上述のように、「Ｔｉｎｙ Ｃ」は、特定のコンパイラ「Ｔｉｎｙ Ｃ」の例におけるスクリプト機構「Ｃ」の一例に過ぎない）。これは、例えば、Ｍｉｃｒｏｓｏｆｔ社のＶＢＡを介して実行されるＢＡＳＩＣなどの言語と同等と考えられる）
・Ｄｅｖｉｃｅ ｃｏｎｎｅｃｔｉｏｎ（デバイス コネクション）−パネル制御のためのネットワーク接続
・ＡＰＩｓ（エーピーアイエス）−アプリケーション特定インタフェース。例えばＤｒｙ Ｉｃｅの場合におけるＡｃｔｉｏｎｓおよびＳｔｕｄｉｏ Ｍｏｄｅｌインタフェースファンクション。

図４において、本発明の実施形態による装置の１つ以上の触覚制御素子に割り当てられたファンクションの所定のレイアウトをユーザが構成可能となるように構成されるグラフィカルユーザインタフェースアプリケーションのスクリーンショットが再現されている。このグラフィカルユーザインタフェースアプリケーションによって装置の１つ以上の触覚制御素子に割り当てられたファンクションのレイアウトのドラッグアンドドロップ編集が可能となってもよい。図４に示す例において、選択されたハードウェアコントロールサーフェスの図的な表現と、すべての利用可能なトランスレータのリストとがユーザに対して提示される。新規バインディングは、トランスレータのリソース上へのドラッグ、リソース間での移動／コピー、メタデータ編集などにより作成可能である。

グラフィカルユーザインタフェースアプリケーションは、トランスレータ定義内の埋込み型タグをサポートすることができ、それによってトランスレータリストのソートおよびフィルタリングが可能となる。そのようなタグの一例はＴＲＡＮＳＰＯＲＴであり、これによってトランスポート関連の全トランスレータのグループの作成が可能となる。

グラフィカルユーザインタフェースアプリケーションには複数のタブが存在する。
・Ｌａｙｏｕｔ Ｍａｎａｇｅｒ（レイアウト マネージャ）：典型的に１つのユーザインタフェースを構成する複数のレイアウトを管理する。
・Ｌａｙｏｕｔ Ｅｄｉｔｏｒ（レイアウト エディタ）：レイアウトのドラッグアンドドロップ編集を可能とする。
・Ｔｒａｎｓｌａｔｏｒ Ｍａｎａｇｅｒ（トランスレータ マネージャ）：タグの編集およびトランスレータおよびマクロに関連付けられるテキストを説明する。

グラフィカルユーザインタフェースアプリケーションはマクロをサポートする。グラフィカルユーザインタフェースアプリケーションがロードおよび使用するためのトランスレータ用メタデータを含む場合、同一のコードを使用するトランスレータのファミリが存在する。このメタデータはテキスト（例えば、６フィールドまで）または数字（例えば、４フィールドまで）でもよい。マクロの一例はＡＣＴＩＯＮＳでもよい。この場合、トランスレータはそのテキスト引数がメタデータから供給されるアクションファンクションを呼び出す。

マクロは、以下（例とともに記載）を、未処理のトランスレータと同様に利用可能なエンティティと組み合わせるコンテナである。
・表示名（ＣＲ−ＭＵＴＥ）
・トランスレータ参照（ＳｉｍｐｌｅＳｔｕｄｉｏＭｏｄｅｌＴｏｇｇｌｅ）
・テキスト定数（「ＭＵＴＥ＿ＯＮ．ｂｍｐ」、「ＭＵＴＥ＿ＯＦＦ．ｂｍｐ」）
・数値定数（ＭＴ＿ＣＲ＿ＭＯＮ、０、ＭＵＴＥ）

レイアウトおよびトランスレータのカスタマイズには、異なるレベルのカスタマイズを含んでもよい。
ユーザレベル：ユーザによってオンサイトで実行される変更
カスタムレベル：ユーザインタフェースプロバイダによって維持されるカスタマイズされたフィーチャーセット
工場レベル：無条件でインストール可能なユーザインタフェース用の機能のベースセット

ピクチャーキー技術
好適な実施形態において、本発明はここ参照として組み込まれる国際特許公報ＷＯ２００７１３４３５９号に記載される触覚ユーザインタフェースの要素を組み合わせる（ピクチャーキーおよびピクチャーキー技術など様々に呼ばれる）。

広範な用語であるピクチャーキー技術は、表示機構の周囲にシェルを形成し、画像を閲覧するために上部に透明な窓を有するキーを含む。このように、表示領域はスイッチの現在のファンクションを表示するため透明キャップを介して閲覧可能である。イメージコンジットはディスプレイと透明キャップとの間に配置されてもよい。このイメージコンジットは、第１の端部において表示領域に固定的に接触する複数の並列光ファイバを含んでもよい。

図６は、第１の端部において表示領域に固定的に接触する複数の並列光ファイバを含むイメージコンジットの概略図である。この光ファイバは、基礎画面からブロックの上部に画像を送信する。図６に示すように、文字Ａは画面表面から持ち上げられている。

図７は、透明キャップを含むスイッチ機構の簡略図を示す。光ファイバは金属板（マスキング要素）とプリント回路基板（ＰＣＢ）の開口部を通って実装され、それによって薄膜トランジスタ（ＴＦＴ）表面（表示画面）と密着して常に配置されている。このスイッチ素子は、シリコンキーマット機構を使用してその導電素子を押し下げ、ＰＣＢ上のトラックの橋渡しをして、スイッチイベントを発生させる。したがって、単純なＴＦＴ画面は、多機能かつ無限に柔軟な触覚制御素子のための基礎を提供する。

したがって、キーボード配列は、例えば、アプリケーション内部において変更可能である。例えば、キーグラフィックスをいずれかの必要とされるセットと置き換えることができるため、外国語バージョンは単純化される。図８において、コントローラの断面図を図示し、エディタモード、英語キーボード、日本語キーボードの下方のピクチャーキーに関する３つのレイアウトを示す。もしくは、本発明の実施形態において、ピクチャーキーは、固定キーおよび／またはその他の触覚制御素子と組み合わされてもよい。

グラフィカルユーザインタフェースアプリケーションは、さらに、ユーザが触覚制御素子に対してユーザ自身のラベルを挿入可能とし、それによって例えば社内ニーモニックおよび用語の使用、視覚的に問題を有するユーザの支援、企業ブランディングの支援、交換後の製品からのレガシー画像の保持、自分の仕事上のツールとの個人的関与の提供を可能とする。動的画像は、例えば画像としてのアニメＧＩＦの使用またはタイマートリガのトランスレータへの追加、さらにプログラム上で送信する画像更新によって触覚制御素子に含まれてもよく、もしくはそれに隣接してもよい。

重要なファンクションは、例えば角部など、指の「触覚点（ｆｅｅｌ ｐｏｉｎｔ）」の近くに配置されてもよく、多くの「触覚点（ｆｅｅｌ ｐｏｉｎｔ）」を作成するようにレイアウトを切換えて、「ホーム」キーのために隆起を使用してもよい。したがって、本発明の実施形態はハードウェアコントローラの表面を観る必要性を減らし、アプリケーションの無意識の動作および効率的な使用につながる筋肉記憶訓練を向上させる。

本発明の実施形態は、さらに、遠隔制御を可能とするアプリケーションを含んでもよい。例えば、遠隔制御アプリケーションは以下を行うことが可能である。
・Ｗｉｎｄｏｗｓ７（登録商標）および／またはＭａｃＯＳ−Ｘおよび／またはＬｉｎｕｘ（登録商標）などのその他のオペレーティングシステムのいずれかにおいて動作し、および／または
・基本的なキーボードおよびマウスインタフェースファンクションを提供し、および／または
・ＤＬＬによって拡張可能なインタフェース機能を有し、および／または
・自動ブートおよび自動構成

本発明の実施形態にしたがって使用されるトランスレータは、様々なメタデータとタグ付けされて、システムのユーザビリティを向上させてもよい。例えば、ユーザに対してヘルプテキストを統一した表法で表示することを含む。その場合、トランスレータは「ＸＸＸを説明」キーシーケンスに応じてユーザに対して表示されるヘルプテキストを用いて注釈が付けられてもよい。すべてのバインディングされたトランスレータからのすべてのヘルプテキストは、検索可能なデータベースに組み立てられてもよい。ヘルプテキストにおける専用のタグによって、システムは「このキーを見つける」ことをユーザに提示できるデータを識別可能としてもよい。実際のヘルプテキストを表示するには、説明タグをキーとして使用してシステムはディクショナリでヘルプテキストを探してもよい。そのようなディクショナリは多くの言語に切換可能である。例えば、Ｇｏｏｇｌｅ Ｔｒａｎｓｌａｔｅなどのオンライン翻訳サービスを使用して、ヘルプテキストを異なる言語に翻訳してもよい。

実際に、ユーザインタフェースは、例えばファイルを開く機能を含んでもよい。したがって、そのファンクションに対応するトランスレータは、「Ｏｐｅｎファイル」と呼ばれてもよい。そのトランスレータは値「ｅｘｐｌａｉｎＯｐｅｎＦｉｌｅ」を有する説明タグを有してもよい。このディクショナリは、このキーに対して、「ファイルを開くためにこのキーを押す」という英語の説明テキストを含む。このディクショナリは、さらに、このテキストの翻訳文、例えば、「ｔｒｙｋ ｐａａ ｄｅｎｎｅ ｋｎａｐ ｆｏｒ ａｔ ａａｂｎｅ ｅｎ ｆｉｌ」（デンマーク語）を含む。

本システムは、さらに学習機構をサポートしてもよい。学習シラバスをトピック毎に分割してもよい。その後、トピックをサブトピックに分割してもよい。例えば、
トピック：「自分のファイリングの方法」
サブトピック：「ファイルを開く方法」

ユーザが学習モジュールにアクセスすると、ユーザは全トピックのリストを提示されてもよい。ユーザは、トピックを選択してもよく、その後その関連サブトピックのリストが提示されてもよい。ユーザはサブトピックを選択してもよく、その後本システムは所望の動作に関してステップをたどりながらユーザを導く。ステップ毎に、システムは、例えば「ファイルを開き、「ファイルを開く」キーを押す」などの説明テキストが提示されてもよく、同時に本システムは活性化のためにコントロールを光らせてもよい。すべてのトピックおよびサブトピックは、ディクショナリを介して管理されてもよく、それによって代替の言語に切換えることができるようになる。

本発明の好適な実施形態の上述の説明からわかるように、本発明は以下の利点の１つ以上を具体化することが可能であることは明確である。
・ソフトウェアアプリケーションの範囲全体において動作可能なユーザインタフェースのカスタマイズが可能
・ユーザは、最も一般的に使用される、または（自分用に）論理的にグループ化されたファンクションを所望の領域に配置することが可能
・特定のファンクションに対するラベルのカスタマイズ
・無関係の選択の「ノイズ」を減らすユーザ環境と組み合わせた多数のファンクションを提供
・物理的空間の効率的な使用

本発明の好適な形態はメディア制作の分野に関連したアプリケーションを特に参照しながら説明したが、当業者には上述した好適な実施形態に対して修正を行うことが可能であり、もしくは本発明が他の形態で具体化でき、代替の用途において使用可能であることは明らかである。

本明細書を通じて、文脈上で他の意味に解釈すべき場合を除いて、「含む（ｃｏｍｐｒｉｓｅ）」という単語、及びその変形の「含む（ｃｏｍｐｒｉｓｅｓ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、定まった完全体（ｓｔａｔｅｄ ｉｎｔｅｇｅｒ）又は完全体の集合（ｇｒｏｕｐ ｏｆ ｉｎｔｅｇｅｒｓ）を包含する意味であると解されるであろうが、しかし、他のいかなる定まった完全体や完全体の集合をも排除するものではない。

以前の発行物（またはそこから導出された情報）または既知のあらゆる事柄に対する本明細書における参照は、そのような以前の発行物（またはそこから導出された情報）または既知の事柄が本明細書の関係する活動分野における一般的な広範の知識の一部を形成することを承認、認可、またはあらゆる形態の示唆として解釈されるものではなく、そのように解釈されるべきではない。

Claims (10)

1. ソフトウェアアプリケーションを制御するためのユーザインタフェースとして構成される装置であって、
   表示画面と、
   触覚制御素子の配列と、
   表示画面の少なくとも一部を隠し、少なくとも１つの表示領域を表示するように構成され、少なくとも１つの表示領域が少なくとも１つの触覚制御素子の現在のファンクションを表示するためのものであるマスキング要素と、
   ユーザ発信イベントに応答して、前記ユーザ発信イベントに割り当てられた１つ以上のソフトウェアアプリケーションのファンクションを実行するトランスレータとを含み、ユーザ発信イベントは、前記表示領域に表示された前記触覚制御素子の現在のファンクションを実行する触覚制御素子の作動を含み、
   グラフィカルユーザインタフェースアプリケーションは、ユーザが、１つ以上のソフトウェアアプリケーションのファンクションをユーザ発信イベントに割り当てて前記装置の１つ以上の触覚制御素子に割り当てられたファンクションを所定のレイアウトに配置するように構成されることを特徴とする装置。
2. さらに、少なくとも１つのレイアウト制御素子と、ユーザによるレイアウト制御素子の作動に応答して、１つ以上の触覚制御素子の現在のファンクションに対応する情報の表示を含む少なくとも１つの表示領域上に情報を表示させるように構成されたトランスレータとを含み、
   前記レイアウト制御素子の作動は、１つ以上の触覚制御素子に割り当てられたファンクションの所定のレイアウト間で変化することを特徴とする請求項１に記載の装置。
3. 前記触覚制御素子の少なくとも１つは、透明キャップとスイッチの現在のファンクションを表示する透明キャップを介して閲覧可能な表示領域とを含む前記スイッチであることを特徴とする請求項１または請求項２に記載の装置。
4. イメージコンジットが前記表示と前記透明キャップとの間に配置され、前記イメージコンジットは第１の端部において前記表示領域に対して固定的接触した複数の並列光ファイバを含むことを特徴とする請求項３に記載の装置。
5. 前記触覚制御素子の少なくとも１つは、表示領域に表示された情報を操作するように構成されるつまみであることを特徴とする請求項１〜４のいずれか１項に記載の装置。
6. 前記レイアウト制御素子は触覚制御素子であることを特徴とする請求項２〜５のいずれか１項に記載の装置。
7. 前記グラフィカルユーザインタフェースアプリケーションは、前記装置の１つ以上の触覚制御素子に割り当てられたファンクションのレイアウトのドラッグアンドドロップ編集を可能とするように構成されることを特徴とする請求項２〜６のいずれか１項に記載の装置。
8. ソフトウェアアプリケーションを制御するためのユーザインタフェースシステムであって、前記システムは、
   ユーザが、１つ以上のソフトウェアアプリケーションのファンクションをユーザ発信イベントに割り当てできるように構成されるグラフィカルユーザインタフェースアプリケーションと、
   ユーザ発信イベントに応答して、前記ユーザ発信イベントに割り当てられた１つ以上のソフトウェアアプリケーションのファンクションを実行するトランスレータと、を含み、
   前記ユーザ発信イベントは、触覚制御素子の作動、音声コマンド、二次元ジェスチャ、三次元ジェスチャのうちの１つ以上を含むことを特徴とするユーザインタフェースシステム。
9. 前記システムは、さらに、
   表示画面と、
   少なくとも１つのレイアウト制御素子と、
   ユーザによるレイアウト制御素子の作動に応答して、１つ以上のユーザ発信イベントの現在のファンクションに対応する情報を表示することを含む、表示画面上に情報の表示を発生させるように構成されたトランスレータとを含み、
   前記レイアウト制御素子の作動は、ユーザ発信イベントに割り当てられるファンクションの所定のレイアウト間で変化することを特徴とする請求項８に記載のユーザインタフェースシステム。
10. 前記グラフィカルユーザインタフェースアプリケーションは、ユーザ発信イベントに割り当てられる１つ以上のソフトウェアアプリケーションのファンクションのドラッグアンドドロップ編集を可能にするように構成された請求項８または請求項９に記載のユーザインタフェースシステム。

Images