JP2005168016A - メディアデータの経路指定及びメディア機器の制御のための方法、システム及びプログラム - Google Patents

Abstract

【課題】 携帯コントローラを用いたメディアデータの経路指定及びメディア機器の制御のための方法の提供。
【解決手段】 リモコン１００を用いて、ソース装置１０３と関連づけられた第１の制御装置１０２ａに選択信号を送信する。また、リモコン１００を用いて、シンク装置１０４と関連づけられた第２の制御装置１０２ｂにペースト信号を送信する。そして、選択信号及びペースト信号の送信に応答して、ソース装置１０３からシンク装置１０４にメディアデータ転送する。
【選択図】 図１

Description

本発明は、表示機器の制御に関する。特に、本発明は、携帯コントローラを用いたメディアデータの経路指定及びメディア機器の制御のための方法、システム及びプログラムに関する。

コンピュータ、ビデオカメラ、デジタルビデオディスク（ＤＶＤ）、ビデオテープ、ケーブル放送のオーディオ及びビデオ、ビデオプロジェクタ、フロントパネルディスプレイ、フロント／バック室内スピーカー、個人用ラップトップ型コンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ）、又は他の個人用表示装置等の電子機器を制御するために、リモコン装置がしばしば用いられる。各電子装置は専用リモコンを有するのが一般的である。

複数の電子装置を制御するための、プログラム可能な汎用リモコンが設計されている。一般的に、プログラム可能汎用リモコンは、複数の電子装置を同時操作（interoperate）できない。特許文献１には、複数の装置を選択的に操作するための遠隔操作送信器が開示されている。特許文献２には、例えばテレビ受像機の電源を入れたり、音声ボリュームを調節したりためのリモコン装置が開示されている。特許文献３には、１台で旧式と新式の両方の遠隔操作システムに対応できる遠隔操作送信器が開示されている。特許文献４には、１台の送信器で複数の車庫扉を遠隔操作できるシステムが開示されている。
米国特許第４，８５５，７４６号明細書 米国特許第４，９５９，８１０号明細書 米国特許第５，８９８，３９７号明細書 米国特許第６，０２０，８２９号明細書 ウチハシ、フート、ギルゲンソン及びボレツキー（S. Uchihashi, J. Foote, A. Girgensohn, and J. Boreczky）著， 「 ビデオマグナ：意味論的に有意なビデオ要約の生成（VideoMagna: Generating Semantically Meaningful Video Summaries）」 ，ＡＣＭマルチメディア会報（Proc. ACM Multimedia），（米国），エーシーエム・プレス（ACM Press），１９９９年，ｐ．３８３−３９２ フォックス、ジョンソン、ハンラハン及びウィノグラッド（A. Fox, B. Johnson, P. Hanrahan, and T. Winograd）著，「インタラクティブ作業空間への情報機器の統合（Integrating Information Appliances into an Interactive Workspace）」，アイイーイーイー・コンピュータグラフィックス及びアプリケーション（IEEE Computer Graphics and Applications），２０００年５月，ｐ．５４−６５

例えば携帯コントローラを用いて、ソース装置とシンク装置との間で例えばメデイアファイル等のメデイアデータを移動できることが要望されている。本発明は、このような要望に応え得るものとして、携帯コントローラを用いたメデイアデータの経路指定及びメデイア機器の制御のための方法、システム及びプラグラムを提供することを目的とする。

本発明の実施形態は、携帯コントローラを用いたメディアデータの経路指定方法及びメディア機器の制御方法を含む。

本発明の一実施形態では、リモコンを用いて、選択信号が、ソース（発信側）装置と関連づけられた第１の制御装置に送信される。リモコンを用いて、ペースト信号が、シンク（受信側）装置と関連づけられた第２の制御装置に送信される。この送信に応答して、ソース装置からシンク装置にメディアデータが転送される。

本発明の一実施形態は、リモコンを含むシステムである。複数のソース装置及びシンク装置には、リモコンからの選択信号及びペースト信号を受信するように構成された複数の制御装置が関連づけられている。このシステムは、選択信号及びペースト信号に応答してソース装置の１つからシンク装置の１つへとメディアデータを転送するように構成された、ロジックを含む。

本発明の一実施形態では、携帯コントローラをソース装置に向けて、メディアデータを選択する。携帯コントローラは、ソース装置の判定に十分な、コントローラ位置／向き情報を生成するように構成されている。携帯コントローラをシンク装置に向けて、メディアデータをペーストすることができる。携帯コントローラは、シンク装置の判定に十分な、コントローラ位置／向き情報を生成するように構成されている。この選択及びペーストに応答して、ソース装置からシンク装置へとメディアデータが転送される。

本発明の一実施形態は、ソース装置及びシンク装置を選択するための、コントローラ位置／向き情報を生成する携帯コントローラと、携帯コントローラを用いたソース装置及びシンク装置の選択に応答して、選択されたソース装置から選択されたシンク装置へとメディアデータを転送するロジックと、を含むシステムである。

請求項１の発明は、リモコンを用いて、ソース装置と関連づけられた第１の制御装置に選択信号を送信する工程と、前記リモコンを用いて、シンク装置と関連づけられた第２の制御装置にペースト信号を送信する工程と、前記選択信号及びペースト信号の送信に応答して、前記ソース装置から前記シンク装置にメディアデータを転送する工程とを含む、メディアデータの経路指定及びメディア機器の制御のための方法である。

請求項２の発明は、請求項１記載の発明において、前記シンク装置に前記メディアデータを表示する工程を更に含む。

請求項３の発明は、請求項１記載の発明において、前記選択信号及びペースト信号が、前記第１及び第２の制御装置に無線送信される。

請求項４の発明は、請求項１記載の発明において、前記選択信号及びペースト信号が、電磁信号として前記第１及び第２の制御装置に送信される。

請求項５の発明は、請求項１記載の発明において、前記ソース装置が、前記第１の制御装置とは別の場所に位置する仮想ソースである。

請求項６の発明は、請求項１記載の発明において、前記シンク装置が、前記第２の制御装置とは別の場所に位置する仮想シンクである。

請求項７の発明は、請求項１記載の発明において、前記シンク装置が、別の場所へのメディア接続として作用するメディアバスである。

請求項８の発明は、請求項１記載の発明において、前記メディアデータが、前記シンク装置に対して望ましいフォーマットに変換される。

請求項９の発明は、請求項１記載の発明において、１つのシンク装置に１つ以上の制御装置が関連づけられ、該制御装置の１つに複数のシンク装置が関連づけられる。

請求項１０の発明は、請求項１記載の発明において、選択信号又はペースト信号が送信される際に、ユーザに対してフィードバックが与えられる。

請求項１１の発明は、選択信号及びペースト信号を生成するリモコンと、ソース装置及びシンク装置と関連づけられた制御装置と、前記リモコンから前記選択信号及びペースト信号を受け取るように構成された制御装置と、前記選択信号及びペースト信号に応答して、前記ソース装置の１つから前記シンク装置の１つにメディアデータを転送するように構成されたロジックとを含む、メディアデータの経路指定及びメディア機器の制御のためのシステムである。

請求項１２の発明は、請求項１１記載の発明において、前記ロジックがスイッチング・マトリックスを含む。

請求項１３の発明は、前記ロジックが中央コントローラを含む、請求項１１記載のシステム。

請求項１４の発明は、請求項１１記載の発明において、前記ロジックが、前記メディアデータのフォーマットを変換するフォーマット変換器を含む。

請求項１５の発明は、請求項１１記載の発明において、前記リモコンが無線リモコンである。

請求項１６の発明は、請求項１５記載の発明において、前記リモコンが赤外線リモコンである。

請求項１７の発明は、請求項１１記載の発明において、少なくとも１つのソース装置が、関連づけられた制御装置とは別の場所に位置する仮想ソース装置である。

請求項１８の発明は、請求項１１記載の発明において、少なくとも１つのシンク装置が、関連づけられた制御装置とは別の場所に位置する仮想シンク装置である。

請求項１９の発明は、請求項１１記載の発明において、前記シンク装置の１つが、別の場所と通信するメディアバスである。

請求項２０の発明は、請求項１１記載の発明において、前記シンク装置の１つに複数の制御装置が関連づけられ、該制御装置の１つに１つ以上のシンク装置が関連づけられる。

請求項２１の発明は、請求項１１記載の発明において、前記システムが、前記選択機能及びペースト機能に対するフィードバックを与える。

請求項２２の発明は、ソース装置の判定に十分なコントローラ位置／向き情報を生成する携帯コントローラをソース装置に向けて、メディアデータを選択する工程と、シンク装置の判定に十分なコントローラ位置／向き情報を生成する前記携帯コントローラをシンク装置に向けて、ペースト信号を送る工程と、前記選択及びペーストに応答して、前記ソース装置から前記シンク装置に前記メディアデータを転送する工程とを含む、メディアデータの経路指定及びメディア機器の制御のための方法である。

請求項２３の発明は、請求項２２記載の発明において、前記メディアデータを選択する前記工程が、選択ボタンを押すことを含み、ペースト信号を送る前記工程が、ペーストボタンを押すことを含む。

請求項２４の発明は、請求項２２記載の発明において、前記シンク装置に前記メディアデータを表示する工程を更に含む。

請求項２５の発明は、請求項２２記載の発明において、前記携帯コントローラが６自由度コントローラである。

請求項２６の発明は、請求項２２記載の発明において、前記携帯コントローラがロジックと無線通信して前記メディアデータを転送する。

請求項２７の発明は、請求項２２記載の発明において、前記ソース装置及び前記シンク装置が、前記携帯コントローラが前記ソース装置又は前記シンク装置に向けられているか否かを定義する補助となる所定の制御ウインドウと関連づけられる。

請求項２８の発明は、請求項２２記載の発明において、前記シンク装置が、前記メディアデータを別の場所に転送するメディアバスである。

請求項２９の発明は、請求項２２記載の発明において、前記メディアデータが、前記シンク装置に対して望ましいフォーマットに自動変換される。

請求項３０の発明は、請求項２２記載の発明において、前記選択機能又はペースト機能が生じる際に、ユーザへのフィードバックが生成される。

請求項３１の発明は、ソース及びシンク装置を選択するための、コントローラ位置／向き情報を生成する携帯コントローラと、前記携帯コントローラを用いた前記ソース及び前記シンク装置の選択に応答して、選択されたソース装置から選択されたシンク装置にメディアデータを転送するように構成されたロジックとを含む、メディアデータの経路指定及びメディア機器の制御のためのシステムである。

請求項３２の発明は、請求項３１記載の発明において、前記携帯コントローラが、ソース装置を選択するための選択ボタンと、シンク装置を選択するためのペーストボタンとを含む。

請求項３３の発明は、請求項３１記載の発明において、前記ロジックがスイッチング・マトリックスを含む。

請求項３４の発明は、請求項３１記載の発明において、前記ロジックが中央コントローラを含む。

請求項３５の発明は、請求項３１記載の発明において、前記ロジックがフォーマット変換器を含む。

請求項３６の発明は、請求項３１記載の発明において、前記携帯コントローラが６自由度コントローラである。

請求項３７の発明は、請求項３１記載の発明において、前記携帯コントローラが前記ロジックと無線通信する。

請求項３８の発明は、請求項３１記載の発明において、前記ソース装置及び前記シンク装置が、前記携帯コントローラが前記ソース装置又は前記シンク装置に向けられているか否かを定義する補助となる所定の制御ウインドウと関連づけられる。

請求項３９の発明は、請求項３１記載の発明において、前記シンク装置が、別の場所に接続するメディアバスである。

請求項４０の発明は、請求項３１記載の発明において、前記ロジックが、スイッチング・マトリックスとして作用するネットワークに接続する。

請求項４１の発明は、請求項４０記載の発明において、前記ネットワークがインターネットである。

請求項４２の発明は、コンピュータに、リモコンを用いて、ソース装置と関連づけられた第１の制御装置へ選択信号を送信させる機能と、前記リモコンを用いて、シンク装置と関連づけられた第２の制御装置へペースト信号を送信させる機能と、前記選択信号及び前記ペースト信号の送信に応答して、前記ソース装置から前記シンク装置へとメディアデータ転送させる機能と、を実現させるための、メディアデータの経路指定及びメディア機器の制御のためのプログラムである。

本発明の一実施形態は、指向性携帯コントローラを用いてメディアストリームを経路指定すると共にメディア機器を制御する、直観的な方法である。一実施形態では、携帯コントローラを用いて、ソース装置とシンク装置との間でメディアファイルを移動させる。

ソース装置は、メディアデータを生成できる任意の装置である。メディアデータは、ビデオ、オーディオ、静止画像、静止画像シーケンス、パワーポイント（登録商標）等のプレゼンテーションメディア、スキャンした文書又はデジタル文書、マウスの移動及び／又はキーストロークのシーケンス、ペン型コンピュータ又は電子ホワイトボードのデジタル「インク」、ストリーミング・インターネット・メディア、又はウェブページ若しくはそのシーケンスを含む。一実施形態では、メディアデータはメディアストリームである。可能なソース装置としては、ビデオカセットレコーダ（ＶＣＲ）やＤＶＤプレイヤー、放送、衛星、若しくは他のオーディオ／ビデオ受信器、ストリーミング・インターネット・メディア復号器、ファクシミリや文書スキャナやデジタルカメラ、ＰＤＡや電子ホワイトボード、パワーポイント（登録商標）を実行するコンピュータシステム、ウェブブラウザ、インターネット会議アプリケーションのビデオカメラ、マイク、遠隔の会議室等の場所にある電話が含まれる。ディスプレイをブランクにしたり、オーディオスピーカーをミュートするために、「空（null）ソース」を用いることができる。

シンク装置は、メディアストリームを受信、表示、経路指定、放送、プリント又は記録できる任意の装置である。シンク装置の例としては、ビデオプロジェクタ、ＣＲＴディスプレイやフラットパネルディスプレイ、ラップトップ型コンピュータやＰＤＡの画面、増幅スピーカ、スピーカー付き電話や電話（オーディオストリームに関して）、プリンタやファクシミリ装置、ビデオレコーダ、及び、例えばインターネット会議アプリケーション等の任意の数のプログラムを実行するコンピュータシステム、電子ホワイトボードのディスプレイ、放送や有線テレビ（ＣＣＴＶ）の送信、又はインターネット送信用のストリーミングメディア符号器が含まれる。

一実施形態では、ユーザは、携帯コントローラによって、ソースをシンク装置に接続する。ソース装置及びシンク装置には、１つ以上の制御装置を関連づけることが可能である。ユーザは、指示する制御装置に携帯コントローラをまっすぐに向け、その制御装置を制御する。一実施形態では、指向性コントローラによって、一度に１つの装置のみが制御コマンドを受信することが確実になる。一実施形態では、ソース装置からメディアデータが選択され、次に、指示されたシンク装置へと転送される。「カット」機能及び「コピー」機能は、いずれも選択機能の例である。一例では、ソースと関連づけられた制御装置を指しながら「選択」ボタンを押す。次に、ユーザは、宛先の制御装置を指して「ペースト」ボタンを押すことにより、メディアデータをその宛先に向かわせることができる。例えば、会議室内の複数のディスプレイにわたって画像を移動させるためには、ユーザは、前方のディスプレイを指して「選択」ボタンを押せばよい。側方のディスプレイを指して「ペースト」ボタンを押すことにより、側方のディスプレイにも画像を表示させることができる。次に、前方のディスプレイを、例えばプレゼンテーション中の次の画像を表示する等の、別の目的に用いることができる。同じソースを追加の装置に「ペースト」して、そのストリームのコピーを、例えば遠隔地のテレビ会議用ディスプレイ等の、どこか別の場所に経路指定することもできる。オプションの「ブランク（空白）」ボタンは、空ソースを「ペースト」することにより、使用していない画面をブランクにする（及び／又は関連するオーディオをミュートする）ように機能する。「選択」機能は、「ブランク」機能を含む「カット」機能であってもよい。これらの機能は、ユーザに、（携帯コントローラを）向けてクリックする直観的な操作を用いた、精巧な切り替え及び経路指定の制御力を与える。

図１は、本発明のシステムの一実施形態を示している。この実施形態では、リモコン１００を用いて、メディアソース装置１０３と関連づけられた制御装置１０２ａを指すことができる。その後、メディアシンク装置１０４と関連づけられた制御装置１０２ｂにリモコン１００を向けることができる。一実施形態では、リモコン１００は、ソース装置と関連づけられた第１の制御装置に選択信号を送信する。選択信号は、関連づけられたメディアソースからメディアデータが選択されたことを制御装置に示す符号化信号であってもよい。メディアシンク装置と関連づけられた制御装置１０２ｂ等の制御装置に、ペースト信号を送信できる。

選択信号及びペースト信号の送信に応答して、第１の制御装置と関連づけられたソース装置と、第２の制御装置と関連づけられたシンク装置との間で、メディアファイルを転送できる。ソース装置又はシンク装置と関連づけられた制御装置は、ソース装置又はシンク装置の近くに配置されてもよい。或いは、制御装置はソース装置又はシンク装置に内蔵されてもよい。一実施形態では、リモコンは、制御装置に信号を無線送信する。無線装置は、赤外線（ＩＲ）リモコン等の指向性装置であってもよい。

一実施形態では、選択信号及びペースト信号が制御装置１０２に送られたことに応答して、ソース装置１０３の１つからメディアシンク装置１０４の１つにメディアファイルを転送するために、ロジック１０６を用いる。

一実施形態では、ロジック１０６は中央コントローラ１０８を含む。中央コントローラは、制御装置１０２から、制御装置がリモコン１００から選択信号を受け取ったという知らせを受け取る。中央コントローラ１０８は、リモコン１００を用いてシンク装置が選択されるまで、ソース装置からの各メディアデータ選択をバッファできる。シンク装置が選択されると、中央コントローラ１０８は、メディアデータが宛先のシンク装置と適合するか否かをチェックして判定できる。適合しない場合には、中央コントローラ１０８は、メディアデータを宛先のシンク装置と適合するフォーマットに変換できるか否かをチェックできる。中央コントローラ１０８によってソース装置を制御して、メディアデータを出力できる。中央コントローラは、コンピュータ、専用プロセッサ又は他の装置であってよい。このメディアデータを、メディアデータを宛先のシンク装置に向かわせるスイッチング・マトリックス１１０等のスイッチング素子に送ることができる。幾つかのケースでは、メディアデータを、スイッチング・マトリックスに送る前に、メディア／フォーマット変換器１１２に送ることができる。メディア／フォーマット変換器１１２は、少なくとも幾つかのフォーマットのメディアデータを、宛先のシンク装置と適合するフォーマットに変換できる。例えば、スピーカーで再生するために、ビデオ信号をオーディオ信号に変換できる。一実施形態では、中央コントローラ１０８は、フォーマットを変換するために、メディアデータをメディア／フォーマット変換器１１２に送る。スイッチング・マトリックス１１０は、完全な又は部分的な相互接続を含む任意のタイプのスイッチであってよい。中央コントローラ１０８は、複数の選択されたメディアデータ及びソースＩＤを、選択バッファに格納できる。メディアデータがシンク装置にペーストされるまで、メディアデータを、先入れ先出し（ＦＩＦＯ）又は後入れ先出し（ＬＩＦＯ）スタック等のスタックにバッファしてもよい。

中央コントローラ１０８によって、スイッチング・マトリックス１１０を、正しいソース装置から正しい宛先のシンク装置にメディアデータを送るように構成できる。ソース装置とシンク装置とが不適合又は接続不可能である場合には、何らかのフィードバックによってユーザに警告できる。メディア／フォーマット変換器１１２は、ネットワークの任意の部分に配置可能である。スイッチング・マトリックス１１０は、少数のスイッチのマトリックスとして実施可能であり、全ての経路を経路指定可能にする必要はない。

一実施形態では、スイッチング・マトリックスは、インターネット又は他のネットワークであってもよい。メディアデータの経路指定は、ネットワークを介して実行可能である。この場合、中央コントローラを中央に配置する必要はない。メディアデータを転送するために、装置のロジックをインターネット等のネットワークに接続できる。

一実施形態のシステムは、多くの強力なメディア経路指定操作及び変換操作をサポート可能である。

仮想及び物理的ソース：コントローラ上のソースボタンに加え、孤立したＩＲ受信器も、選択コマンドのソースとして機能できる。例えばＤＶＤプレイヤー等の装置が物理的に存在する場合には、装置にＩＲ受信器を取り付けることができる。この装置に向けられた任意の「選択」コマンドは、関連づけられたソースＩＤ（この例ではＤＶＤ）を格納できる。例えば衛星放送受信アンテナのように、ソースが物理的に存在しない場合には、制御装置を、恐らくはソースのタイプ名を示す印やアイコン及び／又はソースメディアを表示する小型モニタと共に、壁又は他の都合が良い場所に配置できる。

仮想シンク：シンク装置が室内に物理的に存在しない場合でも、シンク装置は関連づけられた制御装置を用いて制御され得る。例としては、別の場所にあるテレビ会議用遠隔ディスプレイが含まれる。小型の又は付加的なディスプレイを用いて仮想シンクをモニタすることにより、遠隔地に送信されているメディアをユーザが確認できる。

メディアバス：ソース／シンクの１つのクラスは「メディアバス」である。これは、これを介して任意のメディアストリームの経路指定が可能な「仮想パイプ」又はメディア接続である。例えば、テレビ会議中に、複数の場所の間にバスを設定して、そのバスにペーストされた任意のストリームが、離れた場所でメディアソースとして機能するように、又は専用シンクに表示され得るようにできる。

ウェブ仮想シンク：仮想シンクの有用なクラスには、指示されたメディアをプッシュできるウェブサーバが含まれる。例えば、選択されたソースをウェブを介して放送するストリーミング・メディアサーバに向けて、ビデオを経路指定できる。スライド又はコンピュータ上のプレゼンテーションでは、仮想シンクが所与のウェブページ上に静止画像をプッシュできよう。これにより、例えば、無線ラップトップ型コンピュータやＰＤＡを有するローカル参加者が、新たな各画像にアクセスできるようになる。更に、複数の遠隔地からメディアにアクセスできるように、シンク装置は、ストリーミングメディア変換器又は放送局を含むことも可能である。この機能性は、ＴＶやラジオのスタジオの従来の放送用アプリケーションにも同様に拡張できよう。

自動メディア変換：解像度、帯域幅、及びその他の要因により、全てのソースとシンクとが適合するわけではない。可能な場合には、サーバ／スイッチャーマトリックスは、複数のフォーマット間の変換を実行できる。例えば、ビデオストリームから静止フレームを抽出して、低帯域幅の見えない（viewless）クライアント機にプッシュできる。極端な例では、静止画像を抽出してそれらをプリント可能な要約として構成する自動要約システムを用いて、ビデオストリームをプリンタに「ペースト」することもできる。

「スナップショット」モード：幾つかのケースでは、（時間ベースのメディアストリームではなく）静止フレーム又は静止画像のみををキャプチャ、格納及び移動することが望ましい。この場合、個別の制御ボタンが「選択」ボタンと同様に機能するが、実際には静止「スナップショット」画像をキャプチャする。これは、プレゼンテーション用グラフィックを用いる講義において特に有用であるかもしれず、この場合、現在表示されているグラフィックを、補助的なディスプレイに、（更に用いるために又は注釈を付けるためにラップトップ型コンピュータ等の）ユーザ装置に、又はプリンタや他の画像ベースの装置にペーストできよう。幾つかのケースでは、システムを制御する能力を有するのは講師だけではなく、特定のコントローラのコードを付与された聴講者も、現在のグラフィックを「選択」して、各自の個人用ラップトップ型コンピュータに「ペースト」できる。携帯装置にカラー画面等の十分な能力があれば、複数の「スナップショット」を選択して、それらをスクロールするディスプレイ内の複数のサムネイル画像として表することも可能であろう。所望のスナップショットを呼び出すには、ユーザは所望のサムネイルを選択し、それを任意の使用可能なシンクにペーストする。

特定の装置の制御：指向性携帯コントローラにより、特定の装置を制御できるようになる。従って、各装置に関連づけられた制御装置に（コントローラを）向けるだけで、装置を特定した再生や巻き戻し等のコマンドを、特定の装置に向けることができる。これは、１つのコントローラで図３に示されるような複数の装置を制御するための、直観的な方法である。本明細書では、５つの制御装置を用いて、「ビデオウォール」として構成された４つのディスプレイを制御している。それぞれの角にある制御装置は、制御装置Ａがディスプレイ１を制御するというように、それぞれ個々のディスプレイを制御する。中央の制御装置Ｅは、４つのディスプレイ全てを１つのユニットとして、各ディスプレイが四分されたソースストリームの１つを示すように制御する。従って、ストリームを左上のディスプレイ２のみにペーストするには、ユーザは、制御装置Ｂにリモコンを向ける。大きなディスプレイとして用いる場合には、ユーザは、ソースストリームを中央の制御装置Ｅにペーストし、その結果、１つの大きなディスプレイとして構成された４つのディスプレイ全てにそのストリームが表示される。後述する空間的コントローラがあれば、コントローラが、複数のディスプレイを有する複数のコンピュータシステム用のマウスポインタとして機能しよう。

ユーザフィードバック：一実施形態では、システムは、進行中の操作に関するフィードバックをユーザに与える。携帯コントローラは指向性であるので、どの装置に宛てた操作であるかの視覚的又は他のフィードバックを直ちに与えることができる。これは、例えば、指示されている装置上の特定の標示ランプを点灯すること、特定の音を発すること、又はコントローラを振動させることによる、視覚的又は聴覚的フィードバックを用いて行うことができる。「ペースト」操作が選択された際にそのストリームが用いられることがユーザに分かるように、例えば、選択されたストリームを反転映像で表示して、又は、選択された制御装置上の標示ライトを用いて、選択されたシステムを「ハイライト」することも可能である。「ハイライト」されたソースの別の例としては、赤い長方形等の目立つ境界線を加えることや、選択された画像の明るさやコントラストを変えること、更に、選択された装置をハイライトするために室内照明を変えることも含まれ得る。更なるフィードバックとして、小型モニタを用いて、ローカル又は遠隔のストリームや装置を表示することができる。これは、ソース（例えば、遠隔地のカメラを、そのカメラの画像を表示する小型モニタを有する制御装置で表すことができる）及びシンク（例えば、遠隔地のディスプレイを、その遠隔ディスプレイを反映するモニタを有する制御装置で表すことができる）の両方に有用である。コントローラを制御装置に向けると作動するレーザポインタや触覚フィードバック、又は、例えば、現在選択されているストリームを表す画像を表示してもよいコントローラ上の補助的なディスプレイといった、コントローラそのものに関するフィードバックも、制御操作の一助となり得る。

一実施例では、周知のテレビ用リモコンと同様の、赤外線（ＩＲ）コントローラ等のコントローラを用いる。ＩＲリモコンによって、ＩＲ受信器を内蔵した可能な制御装置の１つにコードを送信できる。各ソース及びシンクには、ＩＤ及び制御装置が関連づけられている。「選択」機能を押す又は別様で指示すると、指されている制御装置に「選択」コードが送られる（ライトや他の標示器によって選択状態を標示してもよい）。このコードは、システムに、指示された制御装置と関連づけられたソースのＩＤを保存するよう命令する。最後に選択されたストリームが最初にペーストされるようなＬＩＦＯスタックとして、複数のストリームが「選択」されてもよい。所望のシンク装置を指して、「ペースト」ボタンを放すことによって「ペースト」コードを送ると、システムは、（格納されたＩＤによって示される）ソースを（指された装置によって示される）シンクのディスプレイに接続する。このように、リモコンを向けてクリックすることにより、１つのディスプレイから別のディスプレイへと信号が経路指定される。選択されたストリームに対するシンクとして機能し得ない装置は、「ペースト」コマンドに応答しないようにするか、又は、適切なライト、音又は類似のフィードバックによって、その状態を標示できる。他のボタンは、ソースＩＤ（例えば空ソース）に対応するコードを発する。任意の特定のシンクが（「選択」コードではなく）ソースＩＤコードを受信すると、サーバはそれを認識して、該当するソースを該当するシンクに接続する。ＰＤＡや、ラップトップ型コンピュータ、台車上の機器等の、携帯又は可動機器と共に、無線制御装置を用いてもよい。この場合、制御装置は、ラップトップ型コンピュータの無線ネットワーク接続に用いられるような、無線リンクを介してシステムと通信する。

コントローラのビーム幅は重要な可変要素である。ビームが狭過ぎると、コントローラを向ける際に高い精度が必要になり、一方、ビームが広過ぎると、１つ以上の装置が選択されてしまう可能性がある。ビーム幅を制御するために、図４に示されているようなスライド式コリメータ装置を用いることができる。ユーザに対するフィードバックのために、各ディスプレイのソースが選択された際に、各ディスプレイと関連づけられた表示ライトを点灯し、そのソースＩＤがペーストに使用可能なことがユーザに分かるようにしてもよい。ＩＲコントローラが制御装置に向けられた際に、ＩＲコントローラが音を発するか又は振動するように構成することも可能である。カットや選択等の操作を区別するために、複数の異なる音を用いてもよい。好ましい実施形態では、各制御装置は、選択された際に点灯する標示ライトを有する。操作においては、ユーザは、携帯コントローラの対応するボタンを押すことにより、（「選択」や「スナップショット選択」等の）コマンドを選択できる。これにより、コントローラが赤外ＬＥＤを介して対応するコードを送信する。任意のコードを受信した任意の制御装置は「選択」ライトを点灯させることができるが、そのコマンドの操作は、ユーザがボタンを放すまで実行されない。従って、周知のメニュー選択の際のマウス操作と同様の方法で、ユーザは、コマンドを発する前に、所望の装置が選択されたことを確認できる。複数の装置が不用意に選択された場合には、ユーザにその状態を警告するために、それらの装置の選択ライトを点滅させるか、又はここでも触覚又は聴覚的な警告を用いることも可能であろう。

ＩＲビームと一致させた可視レーザポインタを用いて、ユーザが所望の受信器を正確に指示する際の補助とすることもできる。或いは、高輝度ＬＥＤ等の可視光を、携帯コントローラのＩＲ素子と一致させることもできる。このように、ＩＲ光源によって照射されるものを、可視光でも照射して、ビーム方向及びビーム範囲がユーザに見えるようにする。

図２は別の実施形態を示しており、ここでは、携帯コントローラが何に向けられているかを判定できるように、携帯コントローラ１２０はコントローラ位置／向き情報を生成する。携帯コントローラ１２０は、ロジック１０６とやりとりして、携帯コントローラが向けられている装置を判定できる。携帯コントローラは、６自由度（６−ＤＯＦ）ポインタであってもよい。この実施形態では、６自由度ポインタを用いて、携帯コントローラが向けられている方向を判定し、それに従って、ユーザが指示しているメディア装置を判定できる。

６−ＤＯＦポインタは、一般的には室内における、メディア装置の空間的配列モデルを用いることができる。６−ＤＯＦポインタは、三角測量、無線周波又はその他の技術を用いて、その空間的な位置及び向きを推測する装置である。６−ＤＯＦポインタシステムの例には、インターセンス社（InterSense）製及びポヒマス社（Polhemus）製のものがある。或いは、剛性の棒又はロッドに取り付けた２つの３自由度センサを用いて、６−ＤＯＦセンサを構成できる。ロジック１０６と６−ＤＯＦコントローラ１２０との間には、無線又はその他の通信リンクを用いることができる。コントローラは、個別の装置を示すのに十分な角度解像度を有することができる。各ソース又はシンク装置は、空間内の二次元又は三次元領域によって表すことができ、本明細書ではこれを「制御ウインドウ」と呼ぶ。例えば、大きなディスプレイ画面に対する直観的制御ウインドウは、その画面の長方形になる。その長方形に、僅かな三次元の深さを与えることにより、コントローラがそのウインドウの平面内にある場合でも、その長方形を示すことが可能になる。システムは、コントローラと一致する光線が、特定の制御ウインドウによって囲まれた領域と交わるか否かを、幾何学的に計算することにより、コントローラがその特定の制御ウインドウに向けられたことを検出できる。オプションとして、制御ウインドウを「許容誤差領域」で囲み、許容誤差領域内を指せば、その制御ウインドウを指したことになるようにしてもよい。これにより、指示精度が高くなくても、ユーザが所与の制御ウインドウを選択できるようになる。極限では、許容誤差領域は、任意の特定の方向において、最も近い制御ウインドウまでの距離の半分まで延びることが可能である。

ソースとシンクとの間でストリームを接続するには、ユーザは、空間的コントローラをソース制御ウインドウに向け、ボタン又は他のコマンドを用いて「選択」コマンドを指示する。これにより、システムは、指示されたソースストリームと関連づけられたＩＤを「選択バッファ」に格納する。空間的コントローラをシンク制御ウインドウに向け、「ペースト」コマンドを指示すると、システムは、、選択されたソースを指示されたシンク装置に向けて経路指定する。ユーザが所望のコマンド及び装置を選択するのを補助するために、触覚的、聴覚的及び／又は視覚的フィードバック効果を用いることができる。

手動で、又は制御される装置に取り付けた位置センサを用いて、制御ウインドウを前もって定めることができる。簡単なアプリケーションでは、ユーザが空間的コントローラを用いて、例えば、コントローラの特別なボタンを押しながら制御ウインドウの境界をなぞり、類似のセレクタのメニューを用いて、新たなウインドウと装置とを関連づけることにより、制御ウインドウを定めることができるようにしてもよい。制御ウインドウは、制御装置の範囲によって、ペイント、マーキング又は別の視覚的標示によって、アクティブプロジェクタによって、又は聴覚的若しくは触覚的フィードバックによって、ユーザに示され得る。後者の一例として、空間的コントローラがアクティブウインドウに向けられた際に、空間的コントローラが音を発するか又は振動するように構成できる。複数の異なる音で、例えば、或るストリーム（ソース等）をサポートしない装置に、そのストリームをペーストしようとした場合等の、複数の異なる状態を示してもよい。例えば、位置センサを備えたラップトップ型コンピュータ等の、位置認識（location-aware）装置を、可動制御ウインドウと関連づけて、装置が移動された際に、関連づけられた制御ウインドウも共に移動させることができる。この場合、装置は、その場所に関係なく指されることによって制御されてもよい。

６−ＤＯＦコントローラには多くの用途が可能である。例えば、コントローラを、場合によっては複数のコンピュータディスプレイにわたって、表示されたコンピュータ画面をウインドウ及びボタンの操作によって制御するための、マウスやペンとして用いることができる。コントローラを、最も近くにある表示装置に対するマウスやポインタとして作用するよう容易に構成できる。同様に、遠隔の部屋及びカメラの構成に関する十分な空間情報があれば、ユーザが、空間的コントローラによって、ビデオの投影を介して別の部屋にある機器を制御することも可能になろう。

このシステムは、コントローラの場所及び位置を解析することによってユーザがいそうな位置を推測し、ビデオをキャプチャしたり、アクティブ（可動型）プロジェクタを用いてオペレーターへの支援（ヘルプ情報）や、メニュー、その他の情報を表示できる。更に、システムは、コントローラを動かすことによって示されるジェスチャを検出して、これらのジェスチャを更なるコマンドとして用いることができる。一例では、コントローラを時計回り方向に回すことで、システムに、プレゼンテーションの次のスライドを表示するよう指示でき、一方、半時計回りの動きで、その逆を指示できる。机や壁上の領域に特別な制御ウインドウを関連づけて、このウインドウ内でのコントローラの動きをペンのストロークとして解釈し、どこか別の場所に表示することもできよう。

上述した本発明の好ましい実施形態の記載は、例示及び説明の目的で与えられたものである。本発明を網羅すること、又は本発明を開示された正確な形態に限定することは、意図しない。本発明の原理及び実際的な用途を最もよく説明するために、多くの実施形態を選択して説明し、これにより、本発明の様々な実施形態と、意図される特定の使用形態に適した様々な変形とを、他の当業者が理解できるようにした。本発明の範囲は、特許請求の範囲及びその等価物によって定義されることが意図される。

本発明の一実施形態のネットワークシステムを示す図である。 本発明の別の実施形態のネットワークの実施形態を示す図である。 組み合わされたディスプレイにおける複数の制御装置の使用を示す図である。 調節可能なリモコンを示す図である。

符号の説明

１００ リモコン
１０２ 制御装置
１０３ メディアソース装置
１０４ メディアシンク装置
１０６ ロジック
１０８ 中央コントローラ
１１０ スイッチング・マトリックス
１１２ メディア／フォーマット変換器

Claims (42)

1. リモコンを用いて、ソース装置と関連づけられた第１の制御装置に選択信号を送信する工程と、
   前記リモコンを用いて、シンク装置と関連づけられた第２の制御装置にペースト信号を送信する工程と、
   前記選択信号及びペースト信号の送信に応答して、前記ソース装置から前記シンク装置にメディアデータを転送する工程と、
   を含む、メディアデータの経路指定及びメディア機器の制御のための方法。
2. 前記シンク装置に前記メディアデータを表示する工程を更に含む、請求項１記載の方法。
3. 前記選択信号及びペースト信号が、前記第１及び第２の制御装置に無線送信される、請求項１記載の方法。
4. 前記選択信号及びペースト信号が、電磁信号として前記第１及び第２の制御装置に送信される、請求項１記載の方法。
5. 前記ソース装置が、前記第１の制御装置とは別の場所に位置する仮想ソースである、請求項１記載の方法。
6. 前記シンク装置が、前記第２の制御装置とは別の場所に位置する仮想シンクである、請求項１記載の方法。
7. 前記シンク装置が、別の場所へのメディア接続として作用するメディアバスである、請求項１記載の方法。
8. 前記メディアデータが、前記シンク装置に対して望ましいフォーマットに変換される、請求項１記載の方法。
9. １つのシンク装置に１つ以上の制御装置が関連づけられ、該制御装置の１つに複数のシンク装置が関連づけられる、請求項１記載の方法。
10. 選択信号又はペースト信号が送信される際に、ユーザに対してフィードバックが与えられる、請求項１記載の方法。
11. 選択信号及びペースト信号を生成するリモコンと、
    ソース装置及びシンク装置と関連づけられ、前記リモコンから前記選択信号及びペースト信号を受け取るように構成された制御装置と、
    前記選択信号及びペースト信号に応答して、前記ソース装置の１つから前記シンク装置の１つにメディアデータを転送するように構成されたロジックと、
    を含む、メディアデータの経路指定及びメディア機器の制御のためのシステム。
12. 前記ロジックがスイッチング・マトリックスを含む、請求項１１記載のシステム。
13. 前記ロジックが中央コントローラを含む、請求項１１記載のシステム。
14. 前記ロジックが、前記メディアデータのフォーマットを変換するフォーマット変換器を含む、請求項１１記載のシステム。
15. 前記リモコンが無線リモコンである、請求項１１記載のシステム。
16. 前記リモコンが赤外線リモコンである、請求項１５記載のシステム。
17. 少なくとも１つのソース装置が、関連づけられた制御装置とは別の場所に位置する仮想ソース装置である、請求項１１記載のシステム。
18. 少なくとも１つのシンク装置が、関連づけられた制御装置とは別の場所に位置する仮想シンク装置である、請求項１１記載のシステム。
19. 前記シンク装置の１つが、別の場所と通信するメディアバスである、請求項１１記載のシステム。
20. 前記シンク装置の１つに複数の制御装置が関連づけられ、該制御装置の１つに１つ以上のシンク装置が関連づけられる、請求項１１記載のシステム。
21. 前記システムが、前記選択機能及びペースト機能に対するフィードバックを与える、請求項１１記載のシステム。
22. ソース装置の判定に十分なコントローラ位置／向き情報を生成する携帯コントローラをソース装置に向けて、メディアデータを選択する工程と、
    シンク装置の判定に十分なコントローラ位置／向き情報を生成する前記携帯コントローラをシンク装置に向けて、ペースト信号を送る工程と、
    前記選択及びペーストに応答して、前記ソース装置から前記シンク装置に前記メディアデータを転送する工程と、
    を含む、メディアデータの経路指定及びメディア機器の制御のための方法。
23. 前記メディアデータを選択する前記工程が、選択ボタンを押すことを含み、ペースト信号を送る前記工程が、ペーストボタンを押すことを含む、請求項２２記載の方法。
24. 前記シンク装置に前記メディアデータを表示する工程を更に含む、請求項２２記載の方法。
25. 前記携帯コントローラが６自由度コントローラである、請求項２２記載の方法。
26. 前記携帯コントローラがロジックと無線通信して前記メディアデータを転送する、請求項２２記載の方法。
27. 前記ソース装置及び前記シンク装置が、前記携帯コントローラが前記ソース装置又は前記シンク装置に向けられているか否かを定義する補助となる所定の制御ウインドウと関連づけられる、請求項２２記載の方法。
28. 前記シンク装置が、前記メディアデータを別の場所に転送するメディアバスである、請求項２２記載の方法。
29. 前記メディアデータが、前記シンク装置に対して望ましいフォーマットに自動変換される、請求項２２記載の方法。
30. 前記選択機能又はペースト機能が生じる際に、ユーザへのフィードバックが生成される、請求項２２記載の方法。
31. ソース及びシンク装置を選択するための、コントローラ位置／向き情報を生成する携帯コントローラと、
    前記携帯コントローラを用いた前記ソース及び前記シンク装置の選択に応答して、選択されたソース装置から選択されたシンク装置にメディアデータを転送するように構成されたロジックと、
    を含む、メディアデータの経路指定及びメディア機器の制御のためのシステム。
32. 前記携帯コントローラが、ソース装置を選択するための選択ボタンと、シンク装置を選択するためのペーストボタンとを含む、請求項３１記載のシステム。
33. 前記ロジックがスイッチング・マトリックスを含む、請求項３１記載のシステム。
34. 前記ロジックが中央コントローラを含む、請求項３１記載のシステム。
35. 前記ロジックがフォーマット変換器を含む、請求項３１記載のシステム。
36. 前記携帯コントローラが６自由度コントローラである、請求項３１記載のシステム。
37. 前記携帯コントローラが前記ロジックと無線通信する、請求項３１記載のシステム。
38. 前記ソース装置及び前記シンク装置が、前記携帯コントローラが前記ソース装置又は前記シンク装置に向けられているか否かを定義する補助となる所定の制御ウインドウと関連づけられる、請求項３１記載のシステム。
39. 前記シンク装置が、別の場所に接続するメディアバスである、請求項３１記載のシステム。
40. 前記ロジックが、スイッチング・マトリックスとして作用するネットワークに接続する、請求項３１記載のシステム。
41. 前記ネットワークがインターネットである、請求項４０記載のシステム。
42. コンピュータに、
    リモコンを用いて、ソース装置と関連づけられた第１の制御装置へ選択信号を送信させる機能と、
    前記リモコンを用いて、シンク装置と関連づけられた第２の制御装置へペースト信号を送信させる機能と、
    前記選択信号及び前記ペースト信号の送信に応答して、前記ソース装置から前記シンク装置へとメディアデータ転送させる機能と、
    を実現させるための、プログラム。

Images