JP2005055892A - Ｌａｐｅ：圧縮ドメイン画像処理を用いる階層型プレゼンテーションシステム - Google Patents

Abstract

【課題】ＬＡＰＥ：圧縮ドメイン画像処理を用いる階層型プレゼンテーションシステム。
【解決手段】階層型プレゼンテーションシステムは、共用ディスプレイで見るために、マスタクライアントからのマスタイメージとクライアントからのイメージを一体化した合成イメージを生成するために複数クライアントから受け取ったイメージデータに圧縮ドメイン画像処理サーバを備える。クライアントは現在表示画像に質問、コメント、グラフィックスなどのイメージを追加可能。追加イメージは、共用ディスプレイ、各クライアント独自のディスプレイにも現れる合成イメージを生成するようにマスタイメージと一緒に処理される。必要に応じてマスタイメージ／追加イメージのスケーリングする。追加イメージをマスタイメージ上にブレンド及び／又はオーバレイすることとを含む。サーバとクライアントの間で圧縮ドメインでデータをやりとりできるネットワークプロトコルを含む。
【選択図】 図４

Description

本発明は、ＬＣＤプロジェクタ又は共用電子ホワイトボードなど共用ディスプレイで見るためにマスタクライアントからのマスタイメージと他のクライアントからのイメージを一体化した合成イメージ／フレームを生成するためにマスタクライアント及びその他のクライアントなど複数のクライアントから受け取る画像データを処理するためのプレゼンテーションシステムに関する。基本の画像処理アルゴリズムは、共用ディスプレイと恐らく各クライアント独自のディスプレイにも現れる合成イメージを生成するためにマスタイメージと共に、質問、コメント、グラフィックスといった形になっていることのある追加の画像を処理する。このシステム並びにそのアルゴリズムは、ハードウェア、ソフトウェア、及び／又はネットワーク資源を用いて、いろいろな方法で実現可能である。

複数の出席者によるビジネスミーティング／プレゼンテーションは今日ではかなり普通のことである。一般的に、そうしたミーティング／プレゼンテーションは主役のプレゼンタと一人以上の他の参加者が集まる一つの会議場で行なわれる。更なる出席者は遠隔地にいても電話通信で参加することができる。主役のプレゼンタは、パワーポイントやその他のプレゼンテーションソフトウェアを用いて作成されたイメージ／スライドをスクリーンに表示するＬＣＤプロジェクタを用いてプレゼンテーションをしているかもしれない。他の参加者は特定のスライドに関して時々コメントや質問があるかもしれない。そうしたコメント／質問は口頭で聞けるけれども、他の人たちが見れるように現在表示されている内容にイメージ／アノテーション／ビデオを追加して参加者が自分のコメント／質問を増補できれば、その参加者にはもっと容易になるかもしれない、或いはグループ全体にもっと役立つかもしれない。

プレゼンテーションシステムは、中には遠隔地に在しているものがあるかもしれない複数のクライアントからそうした二次イメージデータを効率よく受け取り、処理できなければならない。そうしたシステムは、パーソナルＰＣ、ラップトップや、携帯電話及びＰＤＡなどワイヤレスハンドヘルド装置など、構成が異なる多様なクライアントと主サーバとの間のデータ交換に対応できると共に、サイズを問わず自分のディスプレイで現スクリーンの内容のコピーを見れるオプションをどんなクライアントにも与えなければならない。加えて、そうした二次イメージデータは、主画像を効果的に増補するために、併合される必要がある。

米国特許第6,437,818号明細書 米国特許第5,991,276号明細書

そこで、本発明の目的は、こうしたニーズを全て満たし、しかもそれをＪＰＥＧイメージに効率的な圧縮ドメイン操作を用いることによって行なうプレゼンテーションシステムを提供することである。

本発明のもう一つの目的は、二次イメージデータを好ましい配置に合わせてスケーリングし、この余分のイメージを既存のスクリーンにブレンドするといった、多様な処理オプションを提供できるプレゼンテーションシステム対応の圧縮ドメイン画像処理アルゴリズムを提供することである。

本発明の更なる目的は、構成及び接続モードが異なる多様なクライアントをサポートし、クライアント各々に全ての機能性（つまり、現スクリーン内容を見ることができ、二次イメージを望むとおりにマスタイメージに付加できる能力）をもれなく提供できるプレゼンテーションシステム及び画像処理アルゴリズムを提供することである。

本発明の一つの態様により、階層型プレゼンテーションシステムは共用ディスプレイと、複数の外部ソースの各々から圧縮ドメイン形式で画像データを受け取るサーバとからなり、複数の外部ソースは各々がサーバと通信している。サーバはさらに、複数の外部ソースから受け取った圧縮ドメインイメージデータに基づいて圧縮ドメインの合成イメージを計算し、合成イメージを復号化し、共用ディスプレイに合成イメージをレンダリングするように構成されている。発明のこの態様により、サーバと外部ソースとの間のデータ交換は全て圧縮ドメイン形式で行なわれる。

圧縮ドメインの合成イメージの計算は次の操作（つまり、選択受信イメージデータをブレンド、及び選択受信イメージデータをオーバレイ）を一つ以上実行して達成されるのが好ましい。

複数の外部ソースは、うち一つがマスタクライアントである複数のクライアントであって構わない。その場合、サーバから受け取り合成イメージを計算するのに用いられる複数の圧縮ドメインデータ集合のうちの一つはマスタクライアントから受け取ったマスタイメージを表わし、サーバから受け取り合成イメージを計算するのに用いられるその他の圧縮ドメインデータ集合は各々が一つ以上の他のクライアントから受け取った二次イメージを表わしている。

サーバは、必要に応じてマスタイメージをスケーリングし、必要に応じて任意の二次イメージをスケーリングし、各二次イメージをマスタイメージ上にどこにどのように組み入れるか判定し、その判定どおりに各二次イメージをマスタイメージに組み入れることによって、合成イメージを計算するように構成されているのが好ましい。

サーバはさらに、各二次イメージをマスタイメージ上に、マスタイメージとその二次イメージをαブレンディングし、マスタイメージに対してその二次イメージの適正配置を判定することによって、組み入れるように構成されているのが好ましい。αブレンディング及び配置操作は組み合わされても構わない。また、或る特定の二次イメージに対するαブレンディング及び配置操作はその二次イメージの出所であるクライアントによって指定されても構わない。

サーバは、圧縮ドメイン形式で受け取られたマスタイメージ及び各二次イメージを保持するが、合成イメージを保持しないように構成されているのが好ましい。さらに、サーバは圧縮ドメインで合成イメージをオンザフライで計算するように構成されているのが好ましい。

サーバが受け取ったマスタイメージ及び各二次イメージは各々、そのイメージ受信時の或る特定のプレゼンテーションセッションを識別するセッションＩＤと、出所である特定のクライアントを識別するクライアントＩＤと、画像ＩＤとからなる固有のＩＤを有しているのが好ましい。固有のＩＤは、同じマスタイメージ又は二次イメージを部分的に含んだ複数のデータパケットを相互識別(co-identify)するのに用いることができる。

共用ディスプレイ及びサーバは、ＬＣＤプロジェクタであるかもしれない表示機能を有する単一装置に実施されて構わない。

発明の別の態様により、階層型プレゼンテーションシステムは共用ディスプレイと、各々ディスプレイを有する複数のクライアントと、複数のクライアントの各々から圧縮ドメイン形式のデータを受け取るように構成されたサーバとからなる。サーバはさらに、複数のクライアントから受け取った複数の圧縮ドメインデータ集合に基づいて圧縮ドメインの合成イメージを計算し、合成イメージを復号化し、合成イメージを共用ディスプレイにレンダリングするように構成されている。この発明の態様により、各クライアントは、サーバがそのクライアントのディスプレイに一致するようにスケーリングされた現在の表示のコピーをそのクライアントに送るよう要求するように構成されており、現表示はマスタイメージ又は計算された合成イメージのレンダリングであって、サーバはさらに要求により現表示のコピーをスケーリングするように構成されている。また、サーバとクライアントとの間のデータ交換は全て圧縮ドメイン形式で行なわれる。

複数のクライアントのうちの一つはマスタクライアントで、サーバが受け取り合成イメージを計算するのに用いられる複数の圧縮ドメインデータ集合の一つはマスタクライアントから受け取ったマスタイメージを表わし、サーバが受け取り合成イメージを計算するのに用いられるその他の圧縮ドメインデータ集合は一つ以上の他のクライアントから受け取った二次イメージを各々表わしているのが好ましい。

各クライアントは、例えば、ペン、マウス、及び／又はブラシといった入力装置を少なくとも１つ備え、それを用いてサーバに伝送される二次イメージを生成し、二次イメージはプレゼンテーション中に現表示にアノテーションとして生成されるのが好ましい。ペン、マウス、又はブラシは適切なタッチスクリーンを有する任意のクライアントに使用することができる。

別の態様により、複数のソースの各々からのイメージデータで構成された合成イメージを形成するために複数のソースから受け取ったイメージデータを維持及び処理する方法を提供する。この方法は、マスタイメージを受け取り、必要ならばターゲットディスプレイにフィットするようにマスタイメージをスケーリングし、二次イメージを受け取り、必要ならば二次イメージをスケーリングし、マスタイメージと受け取った各二次イメージとのブレンド操作を実行する各ステップを有する。方法を実行する際、受け取るイメージは全て圧縮ドメイン形式になっているので、スケーリング及びブレンディングは全て圧縮ドメインで行なわれる。

ブレンド操作実行ステップは、各二次イメージをマスタイメージ上にどこにどのように組み入れるか判定し、その判定通りに各二次イメージをマスタイメージ上に組み入れるステップを有しているのが好ましい。

ブレンド操作実行ステップは、マスタイメージ及び各二次イメージをαブレンディングし、マスタイメージに対してその二次イメージの適正配置を判定するステップを有しているのが好ましい。αブレンディング及び配置は組み合わされても構わない。

発明の更なる態様により、上記の方法又はそのステップのどれでも、実行するためにコンピュータ又はその他のプロセッサ制御型装置に保持又は伝達される命令プログラム（例えば、ソフトウェア）で実施しても構わない。もしくは、方法又はそのステップのどれでも、機能的に同等のハードウェア（例えば、ＡＳＩＣ、デジタル信号処理回路機構など）又はソフトウェアとハードウェアとの組合せを用いて実現することもできる。

添付の図面と共に以下の説明及び特許請求の範囲を参照することにより、発明をより深く理解できるようになると共にその他の目的並びに成果が明白になり評価できるようになる。

以下、本発明の実施形態を図面に基づいて説明する。

Ａ．共用ディスプレイを用いる会議シナリオ
図１に典型的な会議室環境を示す。これにおいて、複数の参加者は各々、自分のディスプレイで現在のスクリーン内容を見ると共に望むとおりに二次イメージをマスタイメージに追加することができる。図に示すように、ＬＣＤプロジェクタ１１は会議参加者の一人１３ａがプレゼンテーションするのに伴いスクリーン１２に表示している。一般的にプレゼンテーションの基礎をなすマスタイメージ集合を管理するのはプレゼンタ１３ａである。これらのイメージは「スライド」の形式になっており、パワーポイントやその他のプレゼンテーションソフトウェアを用いて作成され、今はプレゼンタのクライアント装置１４ａ内にあるかもしれない。例えば、他の出席者１３ｂ〜１３ｅは各自のクライアント装置１４ｂ〜１４ｅを通して会議に参加しているかもしれない。図１に示した例において、プレゼンタ１３とさらに別の３名の出席者１３ｂ〜１３ｅは会議室の中に実際いるように表示され、片や出席者１３ｅは遠隔地から参加している。この構成は例としてのみである。参加者がいる場所については、発明の説明から容易に理解できるように、その他いろいろな数多くの可能性がある。

他の出席者１３ｂ〜１３ｅは、めいめいのクライアント装置１４ｂ〜１４ｅに現在表示されているイメージに追加のイメージ／アノテーション／ビデオ（つまり、二次イメージ）を周期的に描いてプレゼンテーションに参加しているかもしれない。本発明のプレゼンテーションシステムは、そうした二次イメージを受け取り、それを必要に応じてスケーリングなどの処理をし、二次イメージをオリジナル（つまり、マスタ）イメージの上に好きなように載せることができる。本発明の処理構成により、マスタイメージを増補するが不鮮明にしないようにこの二次イメージをマスタイメージの上にブレンドして、図２に示すように、イメージがオーバレイ及びブレンドされた出力画像２５を作成することができる。図に見られるように、出力画像はマスタイメージと二次イメージとの合成で、後者は下線、コメント、質問など様々なアノテーションからなる。

クライアント装置１４ａ〜１４ｅは、パーソナルＰＣ、ラップトップや、携帯電話及びＰＤＡといったワイヤレスハンドヘルド装置など、多様なタイプのどれでも構わない。各クライアント装置１４にはディスプレイとクライアント装置のタイプにふさわしい一つ以上の入力装置が備わっている。本発明のプレゼンテーションシステムはそうしたクライアント装置１４全てに対応できる。発明により、そうしたクライアント装置１４が、遠隔地に位置しているいないを問わず、マスタイメージに二次イメージを追加し、そうしたければ自分のディスプレイ（サイズを問わず）で現在のスクリーン内容のコピーを見ることができるようになる。

Ｂ．ＬＡＰＥ及びそのアルゴリズム（Ｌａｐｅ）の概要
本発明は、圧縮ドメイン画像処理（ＬＡＰＥ）を用いる階層型プレゼンテーションシステムと圧縮（ＪＰＥＧが好ましい）画像に対して効率的な圧縮ドメイン操作を用いる基本アルゴリズム（Ｌａｐｅ）とによりこれらの機能を実現する構成を提供する。ＬＡＰＥ及びそのアルゴリズムＬａｐｅは、複数の会議／ミーティング参加者が見る、聞くさらに現在表示されている画像に二次イメージを追加してプレゼンテーションへの入力を可能にするための便利で効率的な方法を提供する。

ＬＡＰＥ及びそのアルゴリズムは、他の先行技術のシステムにはないいくつかのユニークで先行技術とは異なる構成を提供する。本発明では、全てのデータ交換が圧縮ドメイン形式（ＪＰＥＧフォーマットが好ましい）で行なわれる。同様に、ディスプレイに複数の画像を配列しなければならないことから生じるスケーリングやアルファブレンディングは圧縮ドメインで行なわれる。（マスタイメージに二次イメージを載せる／ブレンドすることから生じる）合成イメージは、それ自体は保持されない。構成素イメージだけが圧縮形式で、効率的な連鎖型データ構造で保持される。表示できるように（或いは場合によっては異なるスケールで伝送できるように）、合成イメージは圧縮フォーマットでオンザフライで計算され、ハードウェア／ソフトウェアのデコーダに送り込まれる。このシステムで採用される特定のＬａｐｅプロトコルも固有である。

Ｃ．ＬＡＰＥアーキテクチャ
図３において、ＬＡＰＥシステムには図面でＬＡＰＥサーバと呼んでいるメインユニット３１があり、ＬＡＰＥサーバ３１はデコーダ３３を介して共用ディスプレイと有線又は無線通信している。このデコーダはＪＰＥＧ画像を復号化するように構成されているのが好ましい。ＬＡＰＥサーバ３１は、ハードウェア、ソフトウェア、又はその両者の組合せで実現することができ、プレゼンテーションに参加しているＬＡＰＥクライアント３４ａ〜３４ｅを含むネットワークの一部である。各ＬＡＰＥクライアント３４ａ〜３４ｅは、サーバと有線又は無線のどちらかで通信しているクライアント装置１４ａ〜１４ｅのそれぞれに存在している。ＬＡＰＥサーバ３１は、デコーダ３３によって復号化され共用ディスプレイ３２に描かれる圧縮画像（好ましくは、ＪＰＥＧフォーマットで）を生成する。表示を目的とした圧縮画像の復号化は、ソフトウェアで行なうか又は比較的安価なハードウェアを用いて行なうか、いずれかで行なうことができる。図３には、ＬＡＰＥサーバ３１、デコーダ３３、及び共用ディスプレイ３２が別々のモジュールとして表示されている。しかしながら、これらのモジュールは、図５に示すように、例えば、ＬＣＤプロジェクタなど、単一ユニットの内部に一まとめにすることもできる。

各ＬＡＰＥクライアント３４は、ユーザが本書で説明しているようなプレゼンテーションに参加するのを可能にするためにそれぞれのクライアント装置１４に実装された機能を提供する。図１に示したクライアント装置自体に関して先に説明したよに、図３に示した５個のＬＡＰＥクライアント３４は説明のためで、例にしかすぎない。このシステムは、任意数のＬＡＰＥクライアント３４に対応できる。各ＬＡＰＥクライアント３４の機能はそのホスト（クライアント）装置１４（例えば、ＰＣ、ラップトップ、ＰＤＡ、携帯電話など）上にあるソフトウェアで実現することができるが、ソフトウェア実現にはそのホスト及び／又はＬＡＰＥサーバ３１上にあるハードウェア資源を部分的に利用する。

｛３０｝そうしたホストハードウェア資源には、一般的には、図６に示すように、計算資源を提供し、ホスト１４を制御する中央処理ユニット（ＣＰＵ）６１が含まれる。ＣＰＵ６１は、プロセッサ又はそれと同等のもので実現することができるし、数学計算に対応できるように浮動小数点コプロセッサを含んでいても構わない。ＣＰＵ６１はグラフィックス／イメージデータ、映像及び音声を処理するように構成されているのが好ましい。ホスト１４はさらにシステムメモリ６２を有し、システムメモリ６２はランダムアクセスメモリ（ＲＡＭ）及びリードオンリーメモリ（ＲＯＭ）の形になっていて構わない。

各ホスト１４には、そのユーザが共用ディスプレイ３２に表示されたマスタイメージに二次イメージを追加して会議に参加できるように、例えば、キーボード／キーパッド、ペン、マウス、トラックボール、及び／又はブラシなど、１個以上の入力装置が備わっている。言うまでもなく、任意の特定のホストで使用可能な入力装置６３はホストの特定のタイプによって変わってくる。タッチスクリーンを備えたホストは、追加された画像をタッチスクリーン上でペン、マウス、又はブラシの筆運びを用いて生成することができる。入力制御器６４は入力装置６３に対するインタフェースを表わす。

｛３２｝各ホスト１４には一個以上の記憶装置６６とインタフェースをとるストレージコントローラ６５も備わっている。記憶装置６６は各々、本発明の様々な態様を実現することができるオペレーティングシステム、ユーティリティ、アプリケーションに対応した命令プログラムを保持するのに使用することのできる磁気テープ又はディスク、もしくは光学式媒体といった記憶媒体６７を備えている。記憶媒体６６は、会議中に受信及び処理されたデータを保持するのに使用することもできる。

各ホスト１４にはまた、関連付けられたホストの特定のタイプによって大きさ及びタイプが変わる専用のディスプレイ６８が備わっているのが好ましい。ディスプレイ６８は特定のホストに適していれば任意の公知のタイプのディスプレイで構わない。ディスプレイコントローラ６９はディスプレイ６８に対するインタフェースを実現する。

各ホスト３４には通信装置７２とインタフェースをとる通信制御器７１も備わっており、通信制御器７１によってそのホストはＬＡＰＥサーバ３１と通信し、データを交換できるようになる。この通信は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）など多様なネットワークのどれでも、あるいは赤外線信号など任意の適した電磁搬送波信号によっても行なうことができる。発明の実施例により、それぞれのクライアント３４がランするホスト装置３４の場所並びにＬＡＰＥサーバ３１及び共用ディスプレイ３２の場所については、数多くのいろいろな配置が可能なことが理解されるだろう。これらの構成要素は互いに物理的に近接していてもいなくても構わない。

図に示したホストのアーキテクチャにおいて、主要なシステム構成要素はすべてバス７３に接続しており、バス７３は１個以上の物理的バスを表わしていて構わない。

ＬＡＰＥサーバ３１はＬＣＤプロジェクタ５１内にあっていて構わない。その場合、ＬＡＰＥサーバの機能は、プロジェクタの資源（ＣＰＵ、システムメモリなど）を利用することができるソフトウェアで実現されるのが一般的である。ＬＡＰＥサーバ３１及びＬＡＰＥクライアント３４の機能に関して、以下にさらに詳細に説明する。

Ｄ．Ｌａｐｅアルゴリズム
会議／プレゼンテーションの最中、任意の時点で、ＬＡＰＥクライアントの中の一つ（例えば、クライアント３４ａ）がマスタクライアントの役割を果たす。マスタは、共用ディスプレイ３２の一次所有権者である。現プレゼンタのコンピュータ（例えば、１４ａ）がマスタクライアントになるのが一般的である。同様に、ディスプレイ３２上で「バックグラウンド」としての働きをするマスタイメージがある。マスタクライアント３４が送ったマスタイメージはディスプレイ３２にフィットするようにスケーリングされる必要があるかもしれない。さらに、各クライアント３４（マスタクライアントを含む）は、マスタイメージの上に載せる一つ以上のイメージ（二次イメージ）を供給したかもしれない。そうした二次イメージもクライアントが望むとおりの適切な配置ができるようにスケーリングを要するかもしれない。さらに、二次イメージの中にはオーバレイしなければならないものがある一方で、残りはブレンドしなければならないかもしれない。

Ｌａｐｅでは、全てのイメージ（マスタイメージ及び二次イメージ）が公知のＪＰＥＧフォーマットで維持及び伝送されるのが好ましい。この選択による圧縮の効果は明白であるが、ここで重要な利点は、Ｌａｐｅは圧縮ドメイン処理を用いて全ての画像操作を効率よく行なうことである。そのことを考慮すると、ＪＰＥＧは全てのイメージデータを維持及び処理するのに好適な圧縮フォーマットであるが、発明はそれに限定されないことが分かるはずである。ふさわしい変更を加えれば（変更については、この開示に照らせば、当業者には明白であろう）、直交変換関数を採用する他の画像圧縮フォーマットで全てのイメージデータを維持及び処理することもできる。

従って、任意の時点で、ＬＡＰＥサーバ３１は図４に示した構造に似た構造で全ての二次イメージ（つまり、追加のクライアントイメージ４２及び４３）と共にマスタイメージ４１を維持する。図が示すように、画像の全て（つまり、マスタイメージ及び全てのクライアントイメージ）が圧縮（例えば、ＪＰＥＧ）フォーマットで保持され、圧縮ドメイン操作だけを用いて合成イメージ２５が圧縮された形で生成される。

圧縮ドメインでのスケーリング４６（必要ならば、鮮明化も）に加えて、Ｌａｐｅはアルファブレンディング４７の操作も採用する。画像I₁及びI₂があるとすれば、アルファブレンド操作（パラメータαを用いて、ここで0 ≦α≦1とする）から生まれるのは、画素が各々(1-α)I₁(x,y) +αI₂(x,y)と定義される画像Ｉである。α=1のときI₁の上にI₂を重ねたオーバレイが与えられ、α< 1のときブレンドが与えられることに注目。

ＪＰＥＧ画像を用いると、離散コサイン変換（ＤＣＴ）係数に演算を行なってアルファブレンディング４７を圧縮ドメインで簡単に実現することができる。ＤＣＴは線形変換だから、ＤＣＴ係数の任意の８ｘ８画素ブロックf₁,f₂及び対応するブロックF₁,F₂に対して、次式が成り立つ。

［数１］DCT((1-α)f₁ +αf₂) = (1-α)F₁ +αF₂
従って、圧縮ドメインでアルファブレンディング４７を行なうことができる。その上、ＪＰＥＧＤＣＴ係数ブロックが疎であることとそのコンパクトなジグザグ表現とを活用することができる。すなわち、F₁,F₂のコンパクトなジグザグ表現が零でない係数だけからなるとすれば、N₁ + N₂演算だけを用いてコンパクトなジグザグ表現(1-α)F₁ +αF₂を生成することができる。ここで、N₁,N₂はそれぞれF₁,F₂の零でないエントリー数である。典型的な疎なF₁,F₂のケースでは、N₁ + N₂は６４よりもはるかに小さくなる可能性が高い、従ってすばらしい効率利得を意味する。

２個のＪＰＥＧ画像に対して全く同じ量子化行列があると仮定し、量子化されたＤＣＴ係数の２個のブロックF₁及びF₂が下記の擬似コードで記述された構造にコンパクトな形で保持されるとしよう。

このデータ構造において、Nはブロック内の零でないＡＣ係数の個数である。意味があるのは配列Aの最初のN個のエントリーだけである。要素A[k]からジグザグ位置（Z）と、k番目の零でないＡＣ係数の値（V）が与えられ、ここでは0 ≦k < Nである。ＪＰＥＧビットストリームからこの構造にブロックを読み出すこと及びこの構造をＪＰＥＧデータとして書き込むことはどちらも込み入った作業ではないから、ここでは詳細を省く。

次に、下記のように、F = (1-α)F₁ +αF₂を得るためのブレンディングをF₁.N + F₂.Nステップで行なうことができる。

画像に異なる量子化行列が用いられている場合（好適な実施例では、全てのＬａｐｅクライアントが全く同じ量子化行列を用いる）、先ずF₁及びF₂を別々に逆量子化(dequantize)してから、上記のブレンディングアルゴリズムを適用し、結果として生じる係数を量子化するのが込み入っておらず分かりやすい。

アルファブレンディング４７及び配置４８はとても簡単に組み合わせることができる。画像I₂を画像I₁にブレンドしなければならない場合には、左上の座標(X,Y) (I₁に対して)から始めて、オーバラップしていない領域でI₁のＤＣＴブロックだけを検索し、I₁及びI₂からのブロックを上述のごとくオーバラップしている領域にブレンドすることによって出力画像のＤＣＴブロックを得る。

ＬＡＰＥサーバ３１は、要求している任意のクライアント３４に合成イメージの縮小版も提供する（つまり、合成イメージをクライアントのディスプレイのサイズに合わせてスケーリングする）。ここでも、スケーリングは圧縮ドメイン操作を用いて効率よく行なわれる。

Ｅ．Ｌａｐｅプロトコル
各ＪＰＥＧ画像は、そしてＬａｐｅにおける各要求／応答も、１個以上のＵＤＰパケットで伝送される。プレゼンテーションに参加している各クライアント３４にはＬＡＰＥサーバ３１によって固有のＩＤ（普通は、そのネットワークアドレス）が割り当てられる。各Ｌａｐｅプレゼンテーションにはサーバ３１によって固有のＩＤが生成される。さらに、生成された各画像は固有の（生成したクライアント固有の）ＩＤを有している。（セッションＩＤ、クライアントＩＤ、画像ＩＤ）というトリオによって単一の画像が一意に判定され、トリオは単一の画像の部分部分を含んだ複数のパケットを相互識別するのに用いられる。

どのクライアント３４もマスタイメージを送ることができるが、任意の特定の時にマスタになれるのは一つのクライアントだけである。或るプレゼンテーションの最中に一つ以上のクライアントがマスタになることがあると想定している場合は、どのクライアントがいつマスタになれるか決めるのに適切なサブプロトコルを用いることができる。クライアント（マスタを含む）３４は追加イメージ（二次イメージ）を送ることができる。その際、追加イメージをスケーリング／配置／ブレンディングの指定と一緒に送れるのが好ましい。参加者は、自分専用のクライアントのディスプレイにアノテーションをスケッチして二次イメージを生成することが多い。クライアント３４は次に、そのアノテーションをＪＰＥＧフォーマットに変換し、それをサーバ３１に送る。

各参加者／出席者は、自分のクライアントから、クライアントのディスプレイサイズに合った現在の表示の縮小コピーを提供するようサーバ３１に要求することができる。さらに、サーバ３１は、ネットワークのトラフィックを軽減するために、典型的なサイズに合わせて縮小された現在の表示を周期的にブロードキャスト／マルチキャストしても構わない。

Ｆ．効果
上記の説明から明らかなように、本発明はシステム（ＬＡＰＥ）並びにアルゴリズム（Ｌａｐｅ）を提供しており、この両者を合わせると会議やビジネスミーティングを実現する便利で効果のある方法を提供することができる。ＬＡＰＥサーバ、デコーダ、及び共用ディスプレイはプレゼンテーションを行なうのに用いるＬＣＤプロジェクタ内にあるが、ＬＡＰＥクライアントの各々は会議場で参加者各人が管理するそれぞれのクライアント装置上にある。ＬＡＰＥサーバ及び各ＬＡＰＥクライアントはソフトウェア又はハードウェアで実現することができるし、或いはそれらの組合せで実現することもできる。ソフトウェアとハードウェアの組合せでは、機能指定ソフトウェア(function-specifying software)がサーバ／クライアント装置上にあり、発明が想定する多様な活動を可能にするために装置の資源と協働する。そうした機能を部分的に又は全面的に、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号処理回路機構やその他の同等のものなど、ハードウェア構成要素を用いて実現しても構わない。

これらの実現の選択肢を考慮すれば、図面並びに添付の説明は当業者がプログラムコード（つまり、ソフトウェア）を書くのに欠かせない、或いは必要な処理を実行するために回路（つまり、ハードウェア）を製造するのに欠かせない機能情報を提供していると理解されるべきである。従って、「機械可読媒体」というクレーム表現には、命令プログラムがハードワイヤードされた任意のそうしたハードウェア媒体だけでなく、ソフトウェアを保持又は伝達することのできる任意のそうした媒体も含まれる。

発明をいくつかの具体的な実施例との関連において説明してきたが、上記の説明に照らして当業者ならば数多くの更なる選択肢、修正、変形、応用が明白になるだろう。従って、本書で説明した発明は、添付の特許請求の範囲並びに精神から逸脱しない限りにおいて、そうした選択肢、修正、変更、応用を全て包含するつもりである。

発明の実施例を実現できる環境を表わす会議室のシナリオの概略表現。 マスタイメージ及び二次イメージからのオーバレイ及びブレンドイメージを含む合成イメージが共用ディスプレイに表示されている例。 発明の実施例による、階層型プレゼンテーションシステムのアーキテクチャを説明するブロック図。 表示用合成イメージを作成するために様々な画像が維持及び使用される構造を説明する図。 発明のモジュールを取り入れたＬＣＤプロジェクタの概略図。 発明の実施例との関連で使用可能な模式的クライアント装置の主な構成要素のブロック図。

符号の説明

２５： 出力画像
３１： ＬＡＰＥサーバ
３２： 共用ディスプレイ
３３： デコーダ
３４ａ： クライアント
３４ｂ： クライアント
３４ｃ： クライアント
３４ｄ： クライアント
４１： マスタＪＰＥＧイメージ
４２： クライアントＪＰＥＧイメージ
４３： クライアントＪＰＥＧイメージ
４６： スケーリング
４７： アルファブレンディング
４８： 配置

Claims (25)

1. 階層型プレゼンテーションシステムであって、
   共用ディスプレイと、
   複数の外部ソースの各々から圧縮ドメイン形式で画像データを受け取るように構成されたサーバとを備え、該複数の外部ソースは各々該サーバと通信しており、
   該サーバはさらに、
   下記の操作のうちの一つ以上を行なって、複数の外部ソースから受け取った圧縮ドメインイメージデータに基づいて圧縮ドメインで合成イメージを計算し、
   選択受信イメージデータをブレンド、及び
   選択受信イメージデータをオーバレイ、
   合成イメージを復号化し、
   合成イメージを該共用ディスプレイにレンダリングするように構成されており、さらに、
   該サーバ及び該外部ソース間のデータ交換は全て圧縮ドメインで行なわれることを特徴とする階層型プレゼンテーションシステム。
2. 階層型プレゼンテーションシステムであって、
   共用ディスプレイと、
   複数のクライアントの各々から圧縮ドメイン形式のデータを受け取るように構成されたサーバとを備え、該複数のクライアントのうちの一つはマスタクライアントで、該複数のクライアントは各々が該サーバと通信しており、
   該サーバはさらに、
   複数のクライアントから受け取った複数の圧縮ドメインデータ集合に基づいて圧縮ドメインの合成イメージを計算し、
   合成イメージを復号化し、
   合成イメージを該共用ディスプレイにレンダリングするように構成されており、
   該サーバ及び該外部ソース間のデータ交換は全て圧縮ドメインで行なわれることを特徴とする階層型プレゼンテーションシステム。
3. 該サーバが受け取り該合成イメージを計算するのに使用された複数の圧縮ドメインデータ集合のうちの一つは該マスタクライアントから受け取ったマスタイメージを表わし、該サーバが受け取り合成イメージを計算するのに使用されたその他の圧縮ドメインデータ集合は各々が一つ以上の他のクライアントから受け取った二次イメージを表わしていることを特徴とする請求項２に記載の階層型プレゼンテーションシステム。
4. 該サーバはさらに、
   必要に応じてマスタイメージをスケーリングし、
   必要に応じて任意の二次イメージをスケーリングし、
   各二次イメージをマスタイメージ上にどこにどのように組み入れるか判定し、その判定通りに各二次イメージをマスタイメージ上に組み入れる、
   ことによって合成イメージを計算するように構成されていることを特徴とする請求項３に記載の階層型プレゼンテーションシステム。
5. 該サーバは各二次イメージを、その二次イメージをマスタイメージとαブレンドし、マスタイメージに対してその二次イメージの適正配置を判定して、マスタイメージ上に組み入れるように構成されていることを特徴とする請求項４に記載の階層型プレゼンテーションシステム。
6. αブレンディング及び配置操作は組み合わされていることを特徴とする請求項５に記載の階層型プレゼンテーションシステム。
7. 或る特定の二次イメージに対するαブレンディング及び配置操作はその二次イメージの出所であるクライアントによって指定されることを特徴とする請求項６に記載の階層型プレゼンテーションシステム。
8. 該サーバは圧縮ドメイン形式で受信されたマスタイメージ及び各二次イメージを保持するが合成イメージを保持しないように構成されていることを特徴とする請求項３に記載の階層型プレゼンテーションシステム。
9. 該サーバは合成イメージを圧縮ドメインでオンザフライで計算するように構成されていることを特徴とする請求項２に記載の階層型プレゼンテーションシステム。
10. 該サーバが受け取ったマスタイメージ及び各二次イメージは各々固有のＩＤを有し、ＩＤは、
    受信時の或る特定のプレゼンテーションセッションを識別するセッションＩＤと、
    出所である特定のクライアントを識別するクライアントＩＤと、
    イメージＩＤとからなることを特徴とする請求項２に記載の階層型プレゼンテーションシステム。
11. 固有ＩＤは同じマスタイメージ又は二次イメージを部分的に含んだ複数のデータパケットを相互識別するために使用されることを特徴とする請求項９に記載の階層型プレゼンテーションシステム。
12. 該共用ディスプレイ及び該サーバは表示機能を有する単一の装置に実施されることを特徴とする請求項２に記載の階層型プレゼンテーションシステム。
13. 該表示機能を有する単一の装置はＬＣＤプロジェクタからなることを特徴とする請求項１２に記載の階層型プレゼンテーションシステム。
14. 階層型プレゼンテーションシステムであって、
    共用ディスプレイと、
    各々がディスプレイを備える複数のクライアントと、
    該複数のクライアントの各々から圧縮ドメイン形式でデータを受け取るように構成されたサーバとを備え、
    該サーバはさらに、
    複数のクライアントから受け取った複数の圧縮ドメインデータ集合に基づいて圧縮ドメインで合成イメージを計算し、
    合成イメージを復号化し、
    合成イメージを該共用ディスプレイ上にレンダリングするように構成されており、
    各クライアントは、該サーバがそのクライアントのディスプレイに合うようにスケーリングされた現表示のコピーをそのクライアントに送るよう要求するように構成され、現表示はマスタイメージ又は計算された合成イメージのレンダリングであって、該サーバはさらに要求により現表示のコピーをスケーリングするように構成されており、
    該サーバ及び該クライアント間のデータ交換は全て圧縮ドメインで行なわれることを特徴とする階層型プレゼンテーションシステム。
15. 該複数のクライアントのうちの一つはマスタクライアントで、該サーバが受け取り合成イメージを計算するのに使用された該複数の圧縮ドメインデータ集合のうちの一つはマスタクライアントから受け取ったマスタイメージを表わし、該サーバが受け取り合成イメージを計算するのに使用されたその他の圧縮ドメインデータ集合は各々が一つ以上の他のクライアントから受け取った二次イメージを表わしていることを特徴とする請求項１４に記載の階層型プレゼンテーションシステム。
16. 各クライアントには該サーバに伝送される二次イメージを生成するのに使用される少なくとも一つの入力装置が備わっており、二次イメージは現表示へのアノテーションとしてプレゼンテーション中に生成され、該少なくとも一つの入力装置はペン、マウス、及びブラシのうちの一つ以上からなることを特徴とする請求項１５に記載の階層型プレゼンテーションシステム。
17. 該クライアントディスプレイの少なくとも一つはペン、マウス又はブラシの筆運びを実行できるタッチスクリーンからなることを特徴とする請求項１６に記載の階層型プレゼンテーションシステム。
18. 複数のソースの各々からのイメージデータから構成された合成イメージを形成するために複数のソースから受け取ったイメージデータを維持及び処理する方法であって、該方法は、
    マスタイメージを受け取るステップと、
    ターゲットディスプレイにフィットするように、必要ならば、マスタイメージをスケーリングするステップと、
    二次イメージを受け取るステップと、
    マスタイメージと受け取った各二次イメージとのブレンド操作を実行するステップとを有し、
    受信されるイメージは全て圧縮ドメイン形式になっており、スケーリング及びブレンディングは全て圧縮ドメインで行なわれることを特徴とする方法。
19. ブレンド操作実行ステップは各二次イメージをマスタイメージ上にどこにどのように組み入れるか判定し、その判定通りに各二次イメージをマスタイメージ上に組み入れることからなることを特徴とする請求項１８に記載の方法。
20. ブレンド操作実行ステップはマスタイメージ及び各二次イメージをαブレンドし、マスタイメージに対してその二次イメージの適切な配置を判定することからなることを特徴とする請求項１８に記載の方法。
21. αブレンディング及び配置は組み合わされることを特徴とする請求項２０に記載の方法。
22. 複数のソースの各々からのイメージデータから構成された合成イメージを形成するために複数のソースから受け取ったイメージデータを維持及び処理するように機械に指示するための命令プログラムを実装している機械可読媒体であって、該命令プログラムは、
    ターゲットディスプレイにフィットするように、必要ならば、受け取ったマスタイメージをスケーリングするための命令と、
    必要ならば、受け取った二次イメージをスケーリングするための命令と、
    マスタイメージと受け取った各二次イメージとの間のブレンド操作を実行するための命令とを有し、
    受け取るイメージは全て圧縮ドメイン形式になっており、全てのスケーリング及びブレンディングは圧縮ドメインで行なわれることを特徴とする機械可読媒体。
23. ブレンド操作実行命令は各二次イメージをマスタイメージ上にどこにどのように組み入れるか判定し、その判定通りに各二次イメージをマスタイメージ上に組み入れるための命令を有することを特徴とする請求項２２に記載の機械可読媒体。
24. ブレンド操作実行命令はマスタイメージ及び各二次イメージをαブレンドし、マスタイメージに対してその二次イメージの適切な配置を判定するための命令を有することを特徴とする請求項２２に記載の機械可読媒体。
25. αブレンディング及び配置は組み合わされることを特徴とする請求項２４に記載の機械可読媒体。