JP2006146481A - プレゼンテーションシステム及びコンテンツ作成システム - Google Patents

Abstract

【課題】プレゼンタによる表示画像の操作が可能な移動範囲を拡張することができるプレゼテーションシステムを提供する。
【解決手段】講師用コンピュータ１には、必要な講義用資料を表示されるとともに、カメラ２によって撮影された講師の撮影画像が合成され、表示される。講師用コンピュータ１は、合成画像データに含まれる講師画像に基づき、講師によるポインティング操作を認識する。ポインティング操作の認識は、合成画像データに含まれる講師によって移動される特定物体を識別することによって行う。
【選択図】図１

Description

本発明は、コンピュータを用いて生成した画像の表示を行うプレゼンテーションシステム、及びプレゼンテーションシステムによって生成した画像を含むコンテンツを作成するコンテンツ作成システムに関する。

講義、講演、発表等には、大型の表示画面を有するプレゼンテーションシステムが利用される。プレゼンテーションシステムとしては、コンピュータを用いて生成した画像を、液晶プロジェクタや大型フラットパネルディスプレイ等に表示させるコンピュータ利用のシステムがある。また、プレゼンテーションや講義を行う時に、予め作成した電子化文書に手書き情報を付加した画像情報を生成し、表示するものも提案されている（特許文献１、特許文献２参照）。

このようなプレゼンテーション用画像の表示切換えを行ったり、手書き画像を表示させたりするためには、プレゼンタや講師等が操作する入力手段が必要であり、一般にキーボード、マウス、タブレット等が利用される。しかし、これらの入力手段は、コンピュータの近傍に固定設置されるため、移動しながらのプレゼンテーションや講義が難しい。

設置位置から離れた位置でのコンピュータの操作を可能とする技術が、特許文献３に記載されている。特許文献３に記載されたポインティング方法は、操作者が手に持っている色タグを含む画像を撮影するカメラを設置し、撮影した画像における色タグの位置に基づいて、ディスプレイ画面上にカーソルを表示するものである。したがって、操作者が色タグを移動させることにより、カーソルを移動させることができるので、操作者は、コンピュータの設置位置近傍から離れた位置からでもコンピュータの操作が可能となる。

特許文献３に記載されたポインティング方法においては、撮影画像における色タグの位置とカーソル位置を対応付けるための変換パラメータの設定が必要である。この変換パラメータは、カメラ設置位置とディスプレイ設置位置、カメラの画角を考慮して、回転・拡大／縮小・移動処理により変換するためのものであり、操作者の平均的な立ち位置からみてディスプレイ上の適切な範囲が指示可能となるように予めキャリブレーションによって設定する。したがって、操作者がコンピュータの操作が可能となる範囲は、カメラの予め定められた画角内に制限されることになる。

特開２００２−４４５８５号公報 特開２００１−１６３８４号公報 特開２００４−２７２５９８号公報

本発明は、上記事情に鑑みなされたもので、プレゼンタによる表示画像の操作が可能な移動範囲を拡張することができるプレゼテーションシステムを提供することを目的とする。また、そのようなプレゼンテーションシステムを用いて作成した画像を含むコンテンツを作成するコンテンツ作成システムを提供することを目的とする。

本発明のプレゼンテーションシステムは、コンピュータを用いて生成した画像の表示を行うプレゼンテーションシステムであって、プレゼンタの画像を撮影する撮像手段と、前記撮像手段からの撮影画像データを一部に含む合成画像データを生成する画像合成手段と、前記合成画像データに基づく画像を表示する表示手段と、前記合成画像データに含まれる前記撮影画像データに基づき、前記プレゼンタによるポインティング操作を認識するポインティング処理手段と、を備え、前記ポインティング処理手段は、前記撮影画像データに含まれる前記プレゼンタによって移動される特定物体を識別し、前記撮影画像データに基づく画像の表示領域における前記特定物体の相対位置座標を認識し、前記相対位置座標に基づいて表示画面上のポインティング位置を認識するものである。

本発明によれば、撮影手段による撮影画像データの内、合成すべき領域を簡単に変更できるので、プレゼンタによるポインティング位置を認識するための画像の領域、すなわちプレゼンタによって移動される特定物体の表示可能領域を簡単に変更できる。したがって、プレゼンタが移動しても合成すべき領域を変更することにより、ポインティングが可能となり、プレゼンタによる表示画像の操作可能範囲を拡張することができる。また、プレゼンタの撮影画像に、特定物体の識別の妨げになる外乱物体が含まれる場合には、その外乱物体が含まれない領域の画像を合成領域とすることにより、ポインティング位置の認識精度を向上させることができる。また、表示用合成画像データに含まれる撮影画像データを、ポインティング処理に必要な部分の撮影画像データのみとすることができるで、ポインティング位置の認識精度を向上させることができるととともに、認識処理負担を軽減することができる。また、プレゼンタにとって、表示画面の全領域に渡ってポインティングし易いものとなる。

本発明のプレゼンテーションシステムは、前記画像合成手段が、前記撮影画像データの鏡像データを合成して前記合成画像データを生成するものであるものを含む。

本発明のプレゼンテーションシステムは、前記画像合成手段が、前記表示手段に表示された撮影画像に対する操作に基づき、前記撮影画像データの合成すべき領域を認識するものであるものを含む。本発明によれば、ポインティング位置認識用の撮影画像領域を簡単に変更することができる。

本発明のプレゼンテーションシステムは、前記ポインティング処理手段が、前記相対位置座標を前記表示手段の表示領域全体の座標にスケール変換して得た座標を前記ポインティング位置として認識するものであるものを含む。

本発明のプレゼンテーションシステムは、前記特定物体が、特定の色の光を発光又は反射する物体であるものを含む。具体的には、発光体、特定色のテープ等が利用可能である。

本発明のコンテンツ作成システムは、上記したプレゼンテーションシステムにおける前記画像合成手段によって生成された前記合成画像データに基づく表示用合成画像信号を生成するビデオ信号生成手段と、前記表示用合成画像信号に基づくデジタル動画データを含む動画ファイルを生成する動画ファイル生成手段とを備えるものである。

本発明の講義ビデオ作成システムは、上記したコンテンツ作成システムを利用して生成した前記動画ファイルを講義ビデオとして出力するものである。

以上の説明から明らかなように、本発明によれば、プレゼンタによる表示画像の操作が可能な移動範囲を拡張することができるプレゼテーションシステムを提供することができる。また、そのようなプレゼンテーションシステムを用いて作成した画像を含むコンテンツを作成するコンテンツ作成システムを提供することができる。

以下、本発明の実施の形態について、図面を用いて説明する。なお、以下の説明では、プレゼンテーションシステムを講義に使用し、同時に講義ビデオを作成する講義ビデオ作成システムを適用例としている。

図１は、コンテンツ作成システムの一例である講義ビデオ作成システムの概略構成を示す図である。図１の講義ビデオ作成システムは、教室等での講義と同時に講義ビデオを作成するものであり、講師用コンピュータ１、カメラ２、タブレット３、プロジェクタ４、スキャンコンバータ５、録画用コンピュータ６、マイクロホン７、ビデオサーバ８を含んで構成される。

講師用コンピュータ１は、プレゼンタである講師が講義に使用するコンピュータであり、例えばノート型ＰＣである。講師用コンピュータ１には、予め、Power Point等のプレゼンテーションソフトウェアで作成された講義用素材が用意されている。また、Ｗｅｂサイトのコンテンツを講義に使用する場合は、Ｗｅｂブラウザをインストールしておくと共にインターネットに接続可能としておく。

講師用コンピュータ１には、カメラ２とタブレット３が、例えばＵＳＢ接続により接続される。カメラ２は、講義中の講師を撮影する講師撮影用カメラであって、動画像を講師用コンピュータ１に入力するものであり、タブレット３は、講義中の板書と同様に、講師が手書きデータを入力するためのものである。また、講師用コンピュータ１は、操作手段としてキーボードとマウス、及び液晶表示部（いずれも図示せず）を備える。講師用コンピュータ１は、このような操作手段によって操作され、表示画像の切換え等を行うが、さらに、カメラ２の撮影画像に基づくポインティング操作も可能である。ポインティング操作については、後述する。

講師用コンピュータ１には、カメラ２からの映像をデスクトップ上に表示させるソフトウェアと、タブレット３からの手書き情報をデスクトップ上に描画するためのソフトウェアが予めインストールされる。これらのソフトウェアは、周知の技術により簡単に作成することができる。既に作成されたソフトウェアは、例えば、「COE e-Learning Tools」、＜ＵＲＬ：http://coe-el.sfc.keio.ac.jp/＞でダウンロードすることができる。このサイトからダウンロードされるソフトウェアは、カメラ２からの撮影動画像及びタブレット３からの手書き画像と１又は複数の講義用素材画像とを合成した合成画像データを生成するものである。

ここで生成される合成画像データは、複数の画像を重ね合わせたものでも、一部の画像を部分的に上書きしたものでも、それぞれの画像を所定の大きさの領域に配置したものでよい。また、合成する各アプリケーション画像（カメラ画像、手書き画像を含む。）の大きさは、任意であり、講師が変更可能である。また、カメラ画像のうちの合成領域も講師が変更可能である。ただし、カメラ画像については、講義資料の表示の邪魔にならないように表示領域の一部に合成する。また、後述するポインティング操作のために、カメラ画像は、鏡像データに変換した上で合成するのが好ましい。

カメラ画像の大きさの変更操作、及び合成領域の変更操作は、マウス操作によって行う。図２に、カメラ画像の大きさの変更操作の一例を示す。表示画面２００の右下部分に、カメラ画像が領域２１０ａの大きさで表示されているものとする。この状態で領域２１ａの左上隅の点２２０ａをドラッグすることにより、カメラ画像の大きさを変更する。例えば、点２２０ａを点２２０ｂまでドラッグすると、カメラ画像が領域２１０ｂの大きさで表示され、点２２０ｃまでドラッグすると、カメラ画像が領域２１０ｃの大きさで表示される。

図３に、カメラ画像の合成領域の変更操作の一例を示す。表示画面３００の右下部分に、領域３１０ａの大きさでカメラ画像全体が表示されているものとする。この状態でカメラ画像を選択し、移動させるものとする。この処理は、周知の表示ウィンドウの選択移動により行うことができる。いま、選択したカメラ画像を右下方向に移動させると、表示画面３００に表示されるカメラ画像は、領域３１０ｂ（斜め左下方向のハッチングを付した領域）に、撮影領域の一部がトリミングされた状態で表示される。そして、さらに右下方向に移動させると、カメラ画像は、領域３１０ｃ（斜め右下方向のハッチングを付した領域）に、表示される。すなわち、図３で仮想的に示した領域３２０ｂ、３２０ｃの領域の撮影画像データが除かれた部分が合成されることになる。

以上の説明では、カメラ画像を表示画面の右下に表示させるものとしたが、講義資料の表示の邪魔にならないような位置であれば、右下に限らない。また、図１のシステムでは、カメラ２を１台としたが複数台のカメラを設け、それぞれ別のウィンドウに表示させてもよい。さらに、カメラ画像を移動させることによってカメラ画像左上部分を残すようにトリミングしたが、マウス操作によって、任意の部分を残すことも可能である。

なお、このような合成画像を表示するための合成画像データは、講師用コンピュータ１のフレームバッファ（図示せず）に書き込まれ、講師用コンピュータ１のデスクトップ画面の表示に利用される。また、フレームバッファの画像データは、後述するポインティング処理に利用される。

講師用コンピュータ１の外部モニタ出力端子（図示せず）には、デスクトップの画面を映像として図示しない大規模スクリーンに表示するためのプロジェクタ４が接続される。スキャンコンバータ５は、講師用コンピュータ１の外部モニタ出力端子（図示せず）に接続され、この出力端子から出力されるデジタル信号を表示用画像信号の１つであるアナログビデオ信号に変換するものである。

録画用コンピュータ６は、スキャンコンバータ５で取得したアナログビデオ信号をビデオキャプチャボードにより入力し、既存のビデオキャプチャソフトを用いて動画ファイル、例えばWindows Media 形式(.WMV)にリアルタイムでエンコードする。Windows Media 形式の動画ファイルは、非常に軽量である。例えば、録画解像度を６４０pixels×４８０pixels、配信ビットレートを２５０bpsに設定すると、１時間あたりのファイル容量は約１００ＭＢである。録画解像度を６４０pixels×４８０pixelsで、講師用コンピュータ１の画面上の資料及びタブレット描画による板書は、問題なく判読可能である。また、フレームレートは、１０fps程度であり、講師の表情や板書の動き等を違和感なく閲覧することが可能である。録画用コンピュータ６の性能は、例えば、PentiumIV．４ＧＨｚプロセッサ、メモリ１ＧＢ、ハードディスク容量１８０ＧＢである。

マイクロホン７は、講師の音声信号取得するためのものであり、録画用コンピュータ６に接続される。録画用コンピュータ６は、動画ファイルの生成時に音声データの付加を行う。なお、図１では、マイクロホン７を録画用コンピュータ６に接続したが、講師用コンピュータ１に接続し、講師用コンピュータ１で取得した音声データを録画用コンピュータ６に送ってもよい。

ビデオサーバ８は、録画用コンピュータ６で作成された動画ファイルがアップされ、ストリーミング配信するものである。ビデオサーバ８は、例えば、Windows 2000Server がインストールされたコンピュータであり、その性能は、Pentium III，７５０ＭＨｚプロセッサ、メモリ５１２ＭＢ、ハードディスク容量２４０ＧＢである。

このような構成を有する講義ビデオを作成システムの動作について説明する。講義室には、予め、講師用コンピュータ１以外の機器が用意されている。講師は、講義用素材を記憶した自己のコンピュータ１のＵＳＢ端子にカメラ２、タブレット３を接続し、ビデオ出力端子にプロジェクタ４及びスキャンコンバータ５を接続する。そして、全ての機器を動作させ、講師用コンピュータ１に用意した講義資料表示用のアプリケーションを起動する。

講師は、このようなシステムの状態で講義を開始し、講師用コンピュータ１に必要な講義用資料を表示させながら講義を進める。講師用コンピュータ１の画像表示信号は、プロジェクタ４に送られるので、図示しない大規模スクリーンにも表示される。講師用コンピュータ１には、講義用資料の一部にカメラ２からの撮影画像が表示される。図４に、表示画像の一例を示す。

図４は、表示画面４００のほぼ大部分の領域に、プレゼンテーションソフトウェアによる表示画像４１０を表示させ、さらに表示画面４００の右下部に講師の撮影映像４２０が表示されている状態を模式的に示したものである。講師の撮影画像４２０における講師４３０は、ポインティング位置を認識するための物体４３０ａを保持している。そして、撮影画像４２０が占める領域における物体４３０ａの相対位置座標に対応する表示画面４００の位置にカーソル４４０が表示されている。ポインティング位置を認識するための物体４３０ａは、例えば、特定の色の光を発光又は反射する物体である。

講師用コンピュータ１の画像表示信号は、同時にスキャンコンバータ５に送られ、スキャンコンバータ５では、画像表示信号に基づくアナログビデオ信号が生成される。そして、生成されたアナログビデオ信号は、録画用コンピュータ６に送られ、デジタル動画ファイルに変換される。すなわち、アナログビデオ信号は、録画用コンピュータ６のビデオキャプチャボード（図示せず）を介して入力され、既存のビデオキャプチャソフトを用いてWindows Media 形式(WMV)のデジタル画像データにリアルタイムでエンコードされる。その際、マイクロホン７によって入力された音声信号も同時にデジタル化され、合わせて出力される。

録画用コンピュータ６で作成されたWindows Media 形式(WMV) の動画ファイルは、ビデオサーバ８にアップロードされる。そして、図示しないネットワークを介して講義ビデオの配信に供せられる。アップロードされる講義ビデオは動画ファイルであるので、ストリーム配信も可能であり、したがって、実際の講義とほぼ同時のライブ配信も可能であり、遠隔講義も実現できる。

録画用コンピュータ６で作成されたWindows Media 形式(WMV) の動画ファイルは、ビデオサーバ８にアップロードされる。そして、図示しないネットワークを介して講義ビデオの配信に供せられる。アップロードされる講義ビデオは動画ファイルであるので、ストリーム配信も可能であり、したがって、実際の講義とほぼ同時のライブ配信も可能であり、遠隔講義も実現できる。

次に、講師用コンピュータ１が行うポインティング処理について説明する。ポインティング処理は、合成画像データに含まれるカメラ画像データに基づき、講師によるポインティング操作を認識する処理である。具体的には、カメラ画像データに含まれる講師が保持する特定物体（例えば、特定の色の光を発光又は反射する物体）を識別し、カメラ画像データに基づく画像の表示領域における特定物体の相対位置座標を認識し、認識した相対位置座標に基づいて表示画面上のポインティング位置を認識するものである。表示画面上のポインティング位置は、認識した相対位置座標を表示領域全体の座標にスケール変換して求める。

図５に、ポインティング処理の一例の概略フローを示す。ステップＳ１０１では、フレームバッファに記憶された合成画像データを取得し、ステップＳ１０２では、表示領域中のカメラ画像表示用ウィンドウを特定するデータを取得する。今、表示画面が（Ｘ_０＋１）×（Ｙ_０＋１）画素で構成され、フレームバッファに、図６（ａ）に示すような座標に対応させて画素データが記憶されているものとする。図６（ｂ）における領域６１０は、カメラ画像のウィンドウ領域である。このような合成が行われる場合、カメラ画像ウィンドウを特定するデータとして、領域６１０の左上点の座標を取得する。

続いて、ステップＳ１０３では、カメラ画像ウィンドウ領域における特定物体の探索を行う。特定物体の探索のための画像処理は、例えば、特許文献３に示される技術が利用可能である。そして、探索結果カメラ画像ウィンドウ領域に１つの特定物体が認識できた場合は、探索成功と判断し、特定物体が認識できない場合及び２以上の特定物体が認識できた場合は探索不成功と判断する（ステップＳ１０４）。

探索成功の場合は、認識できた特定物体の重心位置の相対座標を演算する（ステップＳ１０５）。相対座標は、ウィンドウ領域６１０における座標であり、次のように求めることができる。図６（ａ）に示すように、表示画面座標系（Ｘ，Ｙ）において、ウィンドウ領域６１０の左上点の座標が（Ｘ_Ｗ，Ｙ_Ｗ）であり、特定物体の重心位置Ｐ_１の座標が（Ｘ_１、Ｙ_１）であるとする。ここで、図６（ｂ）に示すようなＡを原点とする座標系（ｘ，ｙ）を考えると、点Ｐ_１の相対座標（ｘ_１、ｙ_１）は、（Ｘ_１−Ｘ_Ｗ，Ｙ_１）となる。

次に、ウィンドウ領域６１０における点Ｐ_１の座標系（ｘ，ｙ）での相対座標を、表示画面全体の座標にスケール変換する（ステップＳ１０６）。表示画面全体の画素数は、（Ｘ_０＋１）×（Ｙ_０＋１）であり、ウィンドウ領域６１０の画素数は、（Ｘ_０−Ｘ_Ｗ＋１）×（Ｙ_Ｗ＋１）であるので、点Ｐ_１をスケール変換した座標は、（（Ｘ_０＋１）（Ｘ_１−Ｘ_Ｗ）／（Ｘ_０−Ｘ_Ｗ＋１），（Ｙ_０＋１）（Ｙ_１）／（Ｙ_Ｗ＋１））となる。図６（ａ）の例では、点Ｐｃの位置がスケール変換した座標となる。そして、ステップＳ１０７では、このスケール変換した座標をポインティング位置情報として出力する。このポインティング位置情報は、例えばカーソル表示や手書き軌跡データの作成に利用される。

ポインティング処理によって、マウスと同様のポインティングを、コンピュータから離れた状態で行うことができる。なお、マウスのクリックに対応する入力は、例えば、他のリモコン端末を操作して行う。この場合のリモコン端末は、１又は２のオンオフ信号を出力するものであるので、小型かつ安価ものを利用できる。また、プレゼンタが保持する特定物体として複数の色の光を発光又は反射可能なものを利用し、特定物体の色を変化させることにより、クリック動作を認識させることも可能である。

ステップＳ１０４で探索不成功と判断された場合は、ステップＳ１０８で探索不成功を講師用コンピュータ１のＯＳに通知して終了する。

以上のように、本発明においては、合成画像データに基づいて特定物体の識別処理を行うので、ポインティング処理自体の手順は変更なく、処理負担も増加しない。また、表示手段の一部には、カメラによる撮影画像が表示されるので、プレゼンタは、特定の物体がその画像に含まれるように動かすことにより、ポインティング位置を任意に設定することができる。

さらに、合成されるカメラ画像データの領域を適宜変更することにより、ポインティング処理に適した部分のみを合成させることができるので、ポインティング位置の認識精度を向上させることができるととともに、認識処理負担を軽減することができる。また、プレゼンタにとって、表示画面の全領域に渡ってポインティングし易い領域を合成することも可能である。なお、合成領域の変更操作は、プレゼンタがマウス等を使用して行ってもよいが、プレゼンテーションの補佐をする者が別のマウス等を利用して行ってもよい

本発明の実施の形態の講義ビデオ作成システムの概略構成を示す図 本発明の実施の形態の講義ビデオ作成システムにおけるカメラ画像の大きさの変更操作の一例を示す図 本発明の実施の形態の講義ビデオ作成システムにおけるカメラ画像の合成領域の変更操作の一例を示す図 本発明の実施の形態の講義ビデオ作成システムにおける表示画像の一例を示す図 本発明の実施の形態の講義ビデオ作成システムにおけるポインティング処理の一例の概略フローを示す図 本発明の実施の形態の講義ビデオ作成システムにおけるポインティング処理の一例を説明する図

符号の説明

１・・・講師用コンピュータ
２・・・カメラ
３・・・タブレット
４・・・プロジェクタ
５・・・スキャンコンバータ
６・・・録画用コンピュータ
７・・・マイクロホン
８・・・ビデオサーバ

Claims (7)

1. コンピュータを用いて生成した画像の表示を行うプレゼンテーションシステムであって、
   プレゼンタの画像を撮影する撮像手段と、
   前記撮像手段からの撮影画像データを一部に含む合成画像データを生成する画像合成手段と、
   前記合成画像データに基づく画像を表示する表示手段と、
   前記合成画像データに含まれる前記撮影画像データに基づき、前記プレゼンタによるポインティング操作を認識するポインティング処理手段と、を備え、
   前記ポインティング処理手段は、前記撮影画像データに含まれる前記プレゼンタによって移動される特定物体を識別し、前記撮影画像データに基づく画像の表示領域における前記特定物体の相対位置座標を認識し、前記相対位置座標に基づいて表示画面上のポインティング位置を認識するプレゼンテーションシステム。
2. 請求項１記載のプレゼンテーションシステムであって、
   前記画像合成手段は、前記撮影画像データの鏡像データを合成して前記合成画像データを生成するプレゼンテーションシステム。
3. 請求項１又は２記載のプレゼンテーションシステムであって、
   前記画像合成手段は、前記表示手段に表示された撮影画像に対する操作に基づき、前記撮影画像データの合成すべき領域を認識するプレゼンテーションシステム。
4. 請求項１ないし３のいずれか１項記載のプレゼンテーションシステムであって、
   前記ポインティング処理手段は、前記相対位置座標を前記表示手段の表示領域全体の座標にスケール変換して得た座標を前記ポインティング位置として認識するプレゼンテーションシステム。
5. 請求項１ないし４のいずれか１項記載のプレゼンテーションシステムであって、
   前記特定物体は、特定の色の光を発光又は反射する物体であるプレゼンテーションシステム。
6. 請求項１ないし５のいずれか１項記載のプレゼンテーションシステムにおける前記画像合成手段によって生成された前記合成画像データに基づく表示用合成画像信号を生成するビデオ信号生成手段と、
   前記表示用合成画像信号に基づくデジタル動画データを含む動画ファイルを生成する動画ファイル生成手段とを備えるコンテンツ作成システム。
7. 請求項６記載のコンテンツ作成システムを利用して生成した前記動画ファイルを講義ビデオとして出力する講義ビデオ作成システム。

Images