JP2006506698A - マルチメディア・ファイルのツールチップ - Google Patents

Abstract

【課題】マルチメディア・ファイルのツールチップを提供すること。
【解決手段】マルチメディア・ファイルのツールチップ・プレゼンテーション・システムが、スクリーン・キャプチャされたイメージや完全なオーディオ・ファイルといったマルチメディア・ファイル、のリスト内の選択されたエントリに関連する近接イベントに応答するように構成される。選択されたエントリに基づいて、スクリーン・キャプチャされたイメージのサムネイル・イメージやオーディオ・ファイルのオーディオ・サンプルといった対応するマルチメディア・サンプルを取り出し、ツールチップとして提示することができる。具体的に言うと、選択されたエントリに近接する位置にツールチップを表示することができる。このようにして、マルチメディア・ファイルのリストと対話的やり取りする人は、マルチメディア・ファイルの内容を判定するために、リスト内の完全なマルチメディア・ファイルのそれぞれをロードする必要がない。むしろ、ツールチップ内のマルチメディア・サンプルで充分とすることができる。

Description

本発明は、グラフィカル・ユーザ・インターフェース要素に関し、具体的にはツールチップ（ｔｏｏｌ−ｔｉｐ）に関する。

典型的なツールチップとは、ユーザ・インターフェースと対話する人に補足情報を提供するためにユーザ・インターフェースのインターフェース要素の上に重ねられる小型化されたグラフィカル要素である。ツールチップは、単純なテキスト・データからグラフィカル・イメージまでの範囲をとることができる。ツールチップは、当初は、ツール・ボックスのボタンの基礎となる機能性についての拡張された説明を提供するために開発された。ツールチップは、主として、ボタンのグラフィカル・イメージが非常に複雑になると、ボタンとその基礎となる機能性との関連性が失われるので、必要となった。その結果、ボタンの基礎になる機能性を普通の会話用言語で「説明」するために、テキスト・ツールチップが設けられた。

従来のツールチップ・システムでは、ボタンまたはメニュー・アイテムなどの特定のユーザ・インターフェース要素に関連した、マウスオーバ（ｍｏｕｓｅ−ｏｖｅｒ）・イベントなどのユーザ・インターフェース・イベントの発生時に、ツールチップをアクティブ化させることができる。ツールチップが即座にアクティブ化されない場合があるが、マウスオーバ・イベントを生じさせるマウス・ポインタがユーザ・インターフェース要素の境界を超えて移動しない状況で、ツールチップをアクティブ化することができる。そのため、マウス・ポインタがためらうのは、ユーザがユーザ・インターフェース要素の選択の結果を認識せず、そのユーザ・インターフェース要素の機能性に関する追加情報を必要としていることの表れであると扱うことが可能である。

重要なことに、ツールチップは、基礎となるユーザ・インターフェース要素の機能性に関する補足情報の提供に制限されてきた。そのようなユーザ・インターフェース要素には、典型的には、メニュー・アイテムおよびツール・バー・ボタンが含まれる。ツールチップは、イメージなどの非テキストのコンテンツについてのポップアップ・テキスト説明を提供するのにも使用されてきた。具体的に言うと、イメージの近くでのマウスオーバ・イベントの発生時に、ツールチップによって、そのイメージについてテキスト説明を提供することができる。さらに、ツールチップは、多数のユーザ・インターフェース問題に適用される固有の潜在能力を有するが、ユーザ・インターフェースについて「説明する」という要素の範囲外にある問題には適用されてきてこなかった。

スクリーン・キャプチャ技術は、何年にもわたってコンピューティング技術の重要な部分であった。スクリーン・キャプチャは、具体的には、「スナップ・ショット」によく似た、コンピュータ・スクリーンの保管されたイメージの生成を指す。当初、スクリーン・キャプチャ技術は、コンピュータ教育およびトレーニングに適用された。特に、スクリーン・キャプチャは、読者が、アプリケーション・インストラクション・マニュアル内のテキストで書かれたインストラクションを、コンピュータ・スクリーン上に表示される所望の結果に結びつけることができるので、アプリケーション・トレーニング・マニュアル作成の欠くことのできない要素になっていた。

より最近になって、スクリーン・キャプチャ技術は、レガシーなアプリケーションのユーザ・インターフェースを最新のアプリケーションのユーザ・インターフェースに変換するのに使用されるようになった。たとえば、米国ニューヨーク州アーモンクのＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎが製造するＷｅｂＳｐｈｅｒｅ（商標）Ｈｏｓｔ Ａｃｃｅｓｓ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｓｅｒｖｅｒ（ＨＡＴＳ（商標））は、３２７０動作環境および５２５０動作環境でホスティングされるといったレガシーなアプリケーションをワールド・ワイド・ウェブ（ウェブ）に拡張するための総合的なツール・セットを提供する。メインフレームまたはミッドレンジによってホスティングされるアプリケーションをウェブベース・アプリケーションに変換するのを容易にするために、ホスト・アプリケーションのスクリーン・キャプチャは、ユーザ介入をほとんどまたは全く伴わずに動的にウェブ・スクリーン上に処理されることが可能である。

ＨＡＴＳなどの変換アプリケーション内で、統合開発環境は、結果としてもたらされるウェブベース・アプリケーションをカスタマイズするリソースを変換の開発者に提供することができる。統合開発環境の一部として、レガシーなアプリケーションのスクリーン・キャプチャされたイメージのディレクトリを、開発者による選択のために提供することができる。特定のスクリーン・キャプチャされたイメージが選択されたならば、そのスクリーン・キャプチャされたイメージをロードすることができ、開発者は、ウェブベース・アプリケーションでのディスプレイの動作をカスタマイズするために、ロードされたスクリーン・キャプチャされたイメージと対話的にやり取りすることができる。

スクリーン・キャプチャされたイメージは、他の伝統的なコンピュータ・イメージと同様に、特定のスクリーン・キャプチャされたイメージをロードするためにかなりのコンピューティング・リソースを必要とする。その結果、開発者が、特定のスクリーン・キャプチャされたイメージと対話的にやり取りする特定の意図を有しない限り、その特定のスクリーン・キャプチャされたイメージをロードすることが不利になる可能性がある。しかし、スクリーン・キャプチャされたイメージが、記述的なものに満たない命名規約（Naming Convention）を使用して保管されている場合に、開発者がそれとの対話的やり取りを望む特定のスクリーン・キャプチャされたイメージを識別することが難しくなる可能性がある。したがって、コンピューティング・リソースの浪費にもかかわらず、開発者は、所望の特定のスクリーン・キャプチャされたイメージを識別するために、スクリーン・キャプチャされたイメージのそれぞれをロードすることを強要される。

本発明は、スクリーン・キャプチャされたイメージや完全なオーディオ・ファイルといった、マルチメディア・ファイル用のツールチップ・プレゼンテーション・システムである。このツールチップ・プレゼンテーション・システムは、スクリーン・キャプチャされたイメージやオーディオ・ファイルといった、完全なマルチメディア・ファイルのリスト内の選択されたエントリに関連する近接イベントに応答するように構成することができる。選択されたエントリに基づいて、スクリーン・キャプチャされたイメージのサムネイル・イメージまたはオーディオ・サンプルといった、対応するマルチメディア・サンプルを取り出し、ツールチップとして提示することができる。具体的に言うと、ツールチップを、選択されたエントリに近い位置に表示することができる。このように、完全なマルチメディア・ファイルのリストと対話的やり取りをする人が、マルチメディア・ファイルの内容を判定するためにこのリスト内のマルチメディア・ファイルのそれぞれをロードする必要がなくなる。むしろ、ツールチップ内のマルチメディア・サンプルで十分とすることができる。

本発明の一態様では、ツールチップ・プレゼンテーション・システムに、スクリーン・キャプチャされたイメージのリストと、スクリーン・キャプチャされたイメージに対応するサムネイル・イメージの記憶と、スクリーン・キャプチャされたイメージのリスト内のエントリに近接してユーザ・インターフェース入力デバイスが置かれることを検出し、その検出に応答してサムネイル・イメージの対応する１つを取り出して表示するように構成されたツールチップ・ロジックと、を含めることができる。特筆すべきことに、スクリーン・キャプチャされたイメージを、レガシーなホスト・アプリケーション・スクリーンのイメージとすることができる。また、ユーザ・インターフェース入力デバイスを、マウス・ポインタとすることができる。その場合に、エントリに近接するスクリーン位置にマウス・ポインタを置くことによって引き起こされるマウスオーバ・イベントを検出するようにプログラムされたイベント・ハンドラを、ツールチップ・ロジックに含めることができる。その検出に応答して、ツールチップ・ロジックは、サムネイル・イメージの対応する１つを取り出して表示することができる。

本発明のもう１つの態様では、ツールチップ表示システムに、サムネイル・イメージのインデックスへの修正可能なカップリング（結合）を含めることができる。具体的に言うと、各イメージは、特定のスクリーン・キャプチャされたイメージに対応することができる。システムのデータ・メンバをさらに含めることができ、スクリーン・キャプチャされたイメージのリスト内のエントリへの参照を保管するようにこのデータ・メンバを構成することができる。最後に、このデータ・メンバに保管されたスクリーン・キャプチャされたイメージへの参照に基づいて、インデックスで指定される選択されたサムネイル・イメージをツールチップとして表示するように、表示ロジックがプログラムされる。

スクリーン・キャプチャされたイメージのリスト内の特定のスクリーン・キャプチャされたイメージに関連する近接イベントを検出することを、ツールチップ表示方法に含めることができる。この検出に応答して、その特定のスクリーン・キャプチャされたイメージに対応するサムネイル・イメージの位置を突き止めることができる。その後、位置を突き止められたサムネイル・イメージを、スクリーン・キャプチャされたイメージのリスト内の、その特定のスクリーン・キャプチャされたイメージに近接する位置に、ツールチップ内で表示することができる。重要なことに、近接イベントは、その特定のスクリーン・キャプチャされたイメージに関連するマウスオーバ・イベントとすることができる。

例としてのみ、添付図面を参照して本発明の実施形態をこれから説明する。

本発明は、スクリーン・キャプチャに関するマルチメディア・ツールチップである。具体的に言うと、本発明の実施形態によれば、サムネイル・イメージやオーディオ・サンプルといったマルチメディア・サンプルを、スクリーン・キャプチャされたイメージやオーディオ・ファイルといった、固定ストレージに保管された完全なマルチメディア・ファイルから生成することができる。マルチメディア・サンプルのそれぞれは、キーボード選択やマウスオーバ・イベントといった、保管された完全なマルチメディア・ファイルのリスティングに関連するトリガ・イベントにリンクさせることができる。トリガ・イベントの発生時に、そのトリガ・イベントを生じさせたリスティング内の特定のイベントに関連するマルチメディア・サンプルを、ツールチップの使用を介して提示することができる。このようにして、エンドユーザは、最初にストレージから完全なマルチメディア・ファイルをロードすることなく、リストされた完全なマルチメディア・ファイルの内容を認識することができる。

重要なことに、このツールチップ・システムを、アプリケーション開発システムの統合開発環境に有利に適用することができる。それに関して、図１および２は、開発環境における基礎となるスクリーン・キャプチャの例示的表現を提示するのに使用されるマルチメディア・ツールチップの絵図である。まず図１を参照すると、統合開発環境が示されており、この統合開発環境に、たとえば、プロジェクト・ファイルと設定とのリスティングをリストすることができるプロジェクト・ツリー１１０、およびプロジェクト・ファイルと設定とのうちの個々の１つの内容を表示することができるプロジェクト・ワークスペース１４０が含まれる。

プロジェクト・ツリー１１０に、ソース・コード、マクロ、プロジェクト設定その他の、プロジェクト・ファイルと設定の階層１２０、を含めることができる。特筆すべきことに、階層１２０には、スクリーン・キャプチャされたイメージのリスティング１３０も含めることができ、特にそこには、ホスト・ベース・アプリケーションのユーザ・インターフェースをウェブベース・アプリケーションに変換することを意図されたホスト・アクセス変換サーバの変換モジュールの一部として、統合開発環境が含められている。その状況下では、スクリーン・キャプチャされたイメージのリスティング１３０に、ホスト・ベース・アプリケーションの選択されたスクリーンのイメージが含まれることは、当業者によって予期されるものであると言えよう。

通常、図１および２に示された環境などの開発環境では、開発者が、スクリーン・キャプチャされたイメージのリスティング１３０内の個々のエントリを選択して、特定の選択された、スクリーン・キャプチャされたイメージをロードし、これと対話的やり取りをする。しかし、スクリーン・キャプチャされたイメージのリスティング１３０に適用される命名規約が、スクリーン・キャプチャされたイメージのリスティング１３０の各イメージの内容を適当に記述しない場合に、スクリーン・キャプチャされたイメージの所望の１つを識別するために、開発者が各スクリーン・キャプチャされたイメージを個別にロードする必要はない。むしろ、図２に示されているように、開発者は、スクリーン・キャプチャされたイメージのリスティング１３０内の所望のエントリの上にマウス・ポインタ１５０を置き、スクリーン・キャプチャされたイメージの所望の１つのツールチップ・サムネイル１６０を表示させることができる。

また、グラフィカル・サムネイルではなくオーディオ・サンプルに適用される場合に、本発明のマルチメディア・ツールチップが、基礎となる完全なオーディオ・ファイル（当技術分野で、非常に大きく、ロードおよび再生にかなりのリソースを要することが知られている）の「プレビュー」を提供できることを当業者は諒解するであろう。特筆すべきことに、ツールチップとしてのオーディオ・サンプルの使用は、視覚障害者と思われる人、またはアプリケーションの最適な視覚的表示を有しない人に、アクセシビリティの利点を提供することもできる。その場合に、オーディオ・サンプルは、基礎となる完全なオーディオ・ファイルの内容の聴覚的な手がかりを提供することができる。

図３は、本発明の処理に従って構成されたツールチップ・システムを示すブロック図である。このツールチップ・システムに、スクリーン・キャプチャされたイメージのリスティング２７０を提供できるアプリケーション・プログラム２１０を含めることができる。スクリーン・キャプチャされたイメージのリスティング２７０に、たとえば、テキスト・リスティング、階層ツリー、アイコンのブロック、ボタンのバーといった、一組の、スクリーン・キャプチャされたイメージの動作的な表現を含めることができる。スクリーン・キャプチャされたイメージのリスティング２７０内の各エントリを、フライオーバ（ｆｌｙ−ｏｖｅｒ）ロジック２２０を含めることができるイベント・ロジックにリンクさせることができる。フライオーバ・ロジック２２０は、マウスオーバ・イベントか、選択イベントか、または、リンクされたユーザ・インターフェース要素の上または非常に近くにカーソルやマウス・ポインタといったユーザ入力要素が置かれる時にアクティブ化させることができるその他のそのようなイベント、を処理することができる。フライオーバ・ロジック２２０は、特に、アクティブ化に際して、リンクされたユーザ・インターフェース要素に関連するスクリーン・キャプチャされたイメージのサムネイル・イメージをロードして表示するように、構成することができる。具体的に言うと、事前に設置された期間であって、その間にマウス・ポインタがほぼまたは完全にアイドルのままであるか、またはリンクされたユーザ・インターフェース要素の境界内にある期間、の後にアクティブ化されるように、フライオーバ・ロジック２２０を構成することができる。

フライオーバ・ロジック２２０およびアプリケーション・プログラム２１０のそれぞれは、一組のスクリーン・キャプチャされたイメージ２４０が保管可能な固定ストレージ２３０に通信できるようにカップリングさせることができる。スクリーン・キャプチャされたイメージ２４０のそれぞれは、サムネイル生成処理２５０で処理することができ、同じく固定ストレージ２３０に保管できる対応するサムネイル２６０が作られる。このようにして、フライオーバ・ロジック２２０は、アクティブ化されるに際し、固定ストレージ２３０に保管されたスクリーン・キャプチャされたイメージ２４０を表すことで、ユーザ・インターフェース要素にリンクされた当該スクリーン・キャプチャされたイメージ２３０に関連する適切なサムネイル・イメージ２６０を取り出すことができる。

図４は、本発明の配置による、選択されたスクリーン・キャプチャのツールチップを表示する処理を示す流れ図である。この処理は、好ましくは、マウスオーバ・イベントに応答してフライオーバ・ロジックで実行することができるが、本発明は、マウスオーバ・イベントの発生にも完全にフライオーバ・ロジック内に入るプロセスの実行にも限定されるものではない。ブロック３１０から開始して、マウスの移動を検出することができる。判断ブロック３２０で、事前に設定された持続時間を超える期間にわたって、スクリーン・キャプチャされたイメージのリスティング内のエントリの近くにマウスが置かれたかどうかを判定することができる。そうでない場合には、この処理が、ブロック３１０を介して繰り返される。そうである場合には、ブロック３３０で、マウスがその近くに置かれていた特定のスクリーン・キャプチャされたイメージを識別することができる。

ブロック３４０で、識別されたスクリーン・キャプチャされたイメージに関連するサムネイル・イメージを取り出すことができ、ブロック３５０で、取り出されたサムネイル・イメージを表示することができる。判断ブロック３６０で、スクリーン・キャプチャされたイメージのリスティング内のエントリの近くからマウスが離れた場合に、ブロック３７０で、サムネイルをディスプレイから除去することができる。そうでない場合には、ブロック３５０を介して、サムネイルを表示されたままにすることができる。

本発明は、ハードウェア、ソフトウェア、またはファームウェアで、１つのコンピュータ・システムで集中化された形、または異なる要素が複数の相互接続されたコンピュータ・システムにまたがって分散する分散式の形で、実現することができる。本明細書に記載の方法を実行するように適合された、あらゆる種類のコンピュータ・システムまたは他の装置が、本明細書に記載の機能を実行するのに適する。ロードされ実行される時に本明細書に記載の方法を実行するようにコンピュータ・システムを制御するコンピュータ・プログラムを伴う汎用コンピュータ・システムを、通常の集中実施形態に含めることができる。

この文脈でのコンピュータ・プログラムまたはアプリケーションは、ａ）別の言語、コード、または表記への変換、またはｂ）異なる材料形態での複製、のいずれかもしくは両方に続いてかあるいはその後に、情報処理機能性を有するシステムに特定の機能を実行させることを意図された、一組の命令の、任意の言語、コード、または表示でのすべての表現を意味する。重要なことに、本発明は、その趣旨または本質的な属性から逸脱せずに他の特定の形で実施することができ、したがって、本発明の範囲を示すものとして、前述の明細書ではなく請求項を参照しなければならない。

基礎となるクリーン・キャプチャの例示的表現を提示するのに使用されるグラフィカル・ツールチップを示す絵図である。 基礎となるクリーン・キャプチャの例示的表現を提示するのに使用されるグラフィカル・ツールチップを示す絵図である。 本発明の実施形態に従って構成されたツールチップ・システムを示すブロック図である。 本発明の実施形態による、選択されたスクリーン・キャプチャのツールチップを表示する処理を示す流れ図である。

Claims (11)

1. 完全なマルチメディア・ファイルのリストと、
   前記完全なマルチメディア・ファイルに対応するマルチメディア・サンプルの記憶と、
   完全なマルチメディア・ファイルの前記リスト内のエントリに近接してユーザ・インターフェース入力デバイスが置かれることを検出するように、および、前記検出に応答して、前記マルチメディア・サンプルの中から対応する１つを取り出して提示するように、構成されたツールチップ・ロジックと
   を含む、ツールチップ・プレゼンテーション・システム。
2. 前記マルチメディア・サンプルが、レガシーなホスト・アプリケーション・スクリーンのスクリーン・キャプチャされたイメージである、請求項１に記載のシステム。
3. 前記ユーザ・インターフェース入力デバイスが、マウス・ポインタである、請求項１に記載のシステム。
4. 前記ツールチップ・ロジックが、前記エントリの近くのスクリーン位置に前記マウス・ポインタを置くことによって引き起こされるマウスオーバ・イベントを検出するように、および、前記検出に応答して、前記マルチメディア・サンプルの中から対応する１つを取り出して提示するように、プログラムされたイベント・ハンドラを含む、請求項３に記載のシステム。
5. 前記マルチメディア・サンプルが、完全なオーディオ・ファイルの基礎となるオーディオ・サンプルである、請求項１に記載のシステム。
6. 前記マルチメディア・サンプルが、前記完全なマルチメディア・ファイルに対応する可聴な要約を提供するオーディオ・サンプルである、請求項１に記載のシステム。
7. マルチメディア・サンプルのインデックスへの修正可能なカップリングであって、各マルチメディア・サンプルが特定の完全なマルチメディア・ファイルに対応する、カップリングと、
   完全なマルチメディア・ファイルのリスト内のエントリへの参照を保管するように構成された、システムのデータ・メンバと、
   前記データ・メンバに保管された完全なマルチメディア・ファイルへの参照に基づいて、前記インデックスで指定される選択されたマルチメディア・サンプルをツールチップとして提示するようにプログラムされたプレゼンテーション・ロジックと
   を含む、ツールチップ・プレゼンテーション・システム。
8. 各々の前記マルチメディア・サンプルが、オーディオ・サンプルおよびサムネイル・イメージのうちの１つを含み、各々の前記対応する特定の完全なマルチメディア・ファイルが、完全なオーディオ・ファイルおよびスクリーン・キャプチャされたイメージのうちの１つを含む、請求項７に記載のシステム。
9. スクリーン・キャプチャされたイメージのリスト内の特定のスクリーン・キャプチャされたイメージに関連する近接イベントを検出するステップと、
   前記検出に応答して、前記特定のスクリーン・キャプチャされたイメージに対応するサムネイル・イメージの位置を突き止め、および、前記位置を突き止められたサムネイル・イメージを、ツールチップ内の、スクリーン・キャプチャされたイメージの前記リスト内の前記特定のスクリーン・キャプチャされたイメージに近接する位置に表示するステップと
   を含む、ツールチップ表示方法。
10. 前記近接イベントが、マウスオーバ・イベントである、請求項９に記載の方法。
11. ツールチップを表示するためのコンピュータ・プログラムが保管されたマシン読取可能ストレージであって、前記コンピュータ・プログラムが、前記マシンによって実行される時に、前記マシンに、
    スクリーン・キャプチャされたイメージのリスト内の特定のスクリーン・キャプチャされたイメージに関連する近接イベントを検出するステップと、
    前記検出に応答して、前記特定のスクリーン・キャプチャされたイメージに対応するサムネイル・イメージの位置を突き止め、および、前記位置を突き止められたサムネイル・イメージを、ツールチップ内の、スクリーン・キャプチャされたイメージの前記リスト内の前記特定のスクリーン・キャプチャされたイメージに近接する位置に表示するステップと
    を実行させる命令セットのルーチンを含む、マシン読取可能ストレージ。

Images