JP2004325941A - 描画処理装置、描画処理方法および描画処理プログラム、並びにそれらを備えた電子会議システム - Google Patents
描画処理装置、描画処理方法および描画処理プログラム、並びにそれらを備えた電子会議システム Download PDFInfo
- Publication number
- JP2004325941A JP2004325941A JP2003122406A JP2003122406A JP2004325941A JP 2004325941 A JP2004325941 A JP 2004325941A JP 2003122406 A JP2003122406 A JP 2003122406A JP 2003122406 A JP2003122406 A JP 2003122406A JP 2004325941 A JP2004325941 A JP 2004325941A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- still
- moving image
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Television Signal Processing For Recording (AREA)
- Image Processing (AREA)
Abstract
【課題】電子会議等で用いる画面内の動画像上への書き込みおよび画像の取り込みを両立させると共に、これを汎用ＰＣ上で実施可能にする。
【解決手段】描画処理装置１００は、所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を前記所定時間ごとに抽出する画像制御部１１２と、画像制御部１１２によって切り出された動画内静止画像データおよび入力描画静止画像データを保持する画像情報記憶部１１３と、画像情報記憶部１１３に保持された動画内静止画像データおよび入力描画静止データを合成して合成画像データを作成する画像合成部１１４と、合成画像データを連続して出力する画像描画部１１５と、を備える。
【選択図】 図７
【解決手段】描画処理装置１００は、所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を前記所定時間ごとに抽出する画像制御部１１２と、画像制御部１１２によって切り出された動画内静止画像データおよび入力描画静止画像データを保持する画像情報記憶部１１３と、画像情報記憶部１１３に保持された動画内静止画像データおよび入力描画静止データを合成して合成画像データを作成する画像合成部１１４と、合成画像データを連続して出力する画像描画部１１５と、を備える。
【選択図】 図７
Description
【０００１】
【発明の属する技術分野】
本発明は、描画処理装置、描画処理方法および描画処理プログラム、並びにそれらを備えた電子会議システムに関する。
【０００２】
【従来の技術】
近年、ブロードバンド環境の普及およびＰＣ（パーソナルコンピュータ）の性能向上によって、汎用ＰＣを用いて動画を扱うことが日常化してきた。例えば、電子会議システムなどにおいて、汎用ＰＣから出力された表示画面に動画像が表示されている場合に、その表示画面上に使用者が記号、矢印、文字、任意の書き込み等を描画入力装置等で書き込んで動画と合成する描画処理方法として次のような方法がある。
【０００３】
Ｗｉｎｄｏｗｓ（登録商標）などのＯＳ（ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）が使用される汎用ＰＣにおいては、表示画面の動画像に、描画された静止画を合成して表示する描画処理方法が用いられている。以下、グラフィックアクセラレータを使用した場合の描画処理方法を示す。
【０００４】
図１は、汎用ＰＣのＯＳ上でグラフィックアクセラレータを使用した従来の描画処理装置２００を示す図である。図１に示すように、大容量記録媒体２１１に蓄えられた動画データのうち、使用者によって選択された動画が動画再生部２１２に送信される。そして、グラフィックアクセラレータによるハードウェア描画部２１３により描画処理されて画面表示装置２１６に表示される。一方、使用者が描画入力装置２１４を用いて入力した入力描画データは、画像描画部２１５で描画処理されて、前記の動画と同時に画面表示装置２１６上に表示される。
【０００５】
これにより、図２に示すようにグラフィックアクセラレータによりハードウェア描画された動画Ａ（鳥が飛ぶ動画）と、これとは独立して画像描画部２１５においてＯＳ上で管理され描画された入力描画画像（矢印）Ｂとが、画面表示装置２１６の表示画面上で重なって見える。
【０００６】
また、表示画面に動画が表示される場合に、使用者がインタラクティブ（双方向対話的）に係わる方法としては、例えば、特許文献１に記載された、使用者の入力に応じて予め記憶された静止画データと動画データを合成する技術がある。
【０００７】
【特許文献１】
特開平７−３０６９５３号公報
【０００８】
【発明が解決しようとする課題】
ところで、前述の従来の描画処理装置では、画面表示装置２１６に表示されている動画像はクリップボードによる画面取り込みを行うことができない。これは、グラフィックアクセラレータによるハードウェア描画部２１３は、ＯＳが直接管理していないため、ＯＳの機能の一部である画面取り込みを行うことができないためである。
【０００９】
このため、ＯＳの画面取り込み機能を使用した場合は、図３に示すように、ＯＳが直接管理する画像描画部２１５において画面取り込みが行われ、入力描画データのみがクリップボードに取り込まれる。したがって、クリップボードに取り込まれた画面では、図４に示すように、動画データが存在しない黒画面上に、前記入力描画画像（矢印）Ｂのみが表示される。
【００１０】
一方、ＯＳの設定を変更し、グラフィックアクセラレータを使用しないで動画上へ描画（書き込み）を行った場合の従来の描画処理装置２００Ａは、図５に示すように、ＯＳが直接管理する画像描画部２１５Ａで、入力描画データおよび動画データを管理する。これにより、動画の画面取り込みを行うことができる。
【００１１】
ところがこの場合は、図６に示すように、画像描画部２１５Ａに動画データ（ａ１、ａ２、ａ３、…）が次々と送信されてくるため、画像描画部２１５Ａに送信された入力描画データは、動画データによって上書きされ（ＯＳによる排他制御がなされないため）、入力描画データが上書きされ消されてしまう。
【００１２】
以上のように、従来の描画処理装置では、表示画面に動画が表示されている場合に、その表示画面上に使用者が記号、矢印、文字、任意の書き込み等を描画入力装置等で書き込んで動画と合成させてリアルタイムに表示させる機能と、この合成された画像を取り込んで記憶媒体等に保存させて後で表示させる機能とを両立させることができなかった。
【００１３】
また、電子会議システムなどにおいては、予め記憶された静止画データではなく、使用者が記号、矢印、文字、任意の書き込み等を描画入力装置等で書き込みながら、この入力描画データと動画とを合成するため、静止画と動画の合成を行う従来の合成技術（例えば、特許文献１）を適用しても、汎用のＰＣでは処理能力が限られているためフレーム抜け等が生じ、動画のスムーズな表示が困難である。
【００１４】
なお、動画像上へ入力描画データを繰り返し上書き描画させることが考えられるが、入力描画データが消えたり出力されたりして連続せず、画像がチラつき見にくくなってしまう。また、動画の変化より入力描画データの描画を高速で繰り返す必要があるために、ＰＣの処理が過負荷になってしまう。
【００１５】
あるいは、入力描画画像を描画させるペンの軌跡の形状でウィンドウを作り出して、その動画像上への書き込みを行うことが考えられるが、ＯＳの管理機能でウィンドウオブジェクトを動画像の上に表示させることはできるが、ペン形状にウィンドウを形成する処理が過負荷になってしまう。また、ウィンドウ形成処理が描画に追いつかない場合に、入力描画画像が途切れてしまう。
【００１６】
本発明が解決しようとする課題としては、上述した従来技術において生じている表示画面上に使用者が記号、矢印、文字、任意の書き込み等を描画入力装置等で書き込んで動画と合成させてリアルタイムに表示させる機能と、この合成された画像を取り込んで記憶媒体等に保存させて後で表示させる機能とを両立させることができないと云う問題が一例として挙げられる。
【００１７】
【課題を解決するための手段】
請求項１に記載の描画処理装置は、所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を前記所定時間ごとに抽出する画像制御部と、前記画像制御部によって切り出された動画内静止画像情報および抽出された入力描画静止情報を保持する画像情報記憶部と、前記画像情報記憶部に保持された前記動画内静止画像情報および入力描画静止情報を合成して合成画像情報を作成する画像合成部と、前記合成画像情報を連続して出力する画像描画部と、を備えたことを特徴とする。
【００１８】
請求項７に記載の描画処理方法は、画像を動画内静止画像情報として切り出す画像切り出しステップと、描画された入力画像より入力描画静止情報を抽出する画像抽出ステップと、切り出して得られた前記動画内静止画像情報および抽出して得られた入力描画静止情報を合成して合成画像情報を作成する合成画像作成ステップと、前記合成画像情報を出力する画像出力ステップと、を含み、所定時間ごとに前記動画内静止画像情報の切り出しおよび入力描画静止情報の抽出を繰り返すことを特徴とする。
【００１９】
請求項１０に記載の描画処理プログラムは、コンピュータに、所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を前記所定時間ごとに抽出する画像制御機能と、前記制御機能によって切り出された前記動画内静止画像情報および抽出された入力描画静止情報を合成して合成画像情報を作成する画像合成機能と、を実現させることを特徴とする描画処理プログラム。
【００２０】
請求項１１に記載の電子会議システムは、会議に参加する複数の参加者端末を通信回線を介して接続して構成される電子会議システムであって、所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を前記所定時間ごとに抽出する画像制御部と、前記画像制御部によって切り出された動画内静止画像情報および抽出された入力描画静止情報を保持する画像情報記憶部と、前記画像情報記憶部に保持された前記動画内静止画像情報および入力描画静止情報を合成して合成画像情報を作成する画像合成部と、前記合成画像情報を連続して出力する画像描画部と、を備えた描画処理装置を前記参加者端末として用いることを特徴とする電子会議システム。
【００２１】
【発明の実施の形態】
以下に、本発明の実施の形態について、図７〜図１１を用いて詳細に説明する。図７は、本発明の実施の形態に係る描画処理装置を示す図である。
本発明の実施の形態に係る描画処理装置は、例えば、会議に参加する複数の参加者端末を通信回線を介して接続して構成する電子会議システムに使用される。
図７に示すように、描画処理装置１００は、データ処理のための構成を示しており、動画データを記憶する動画記憶部１１０、動画再生部１１１、画像制御部１１２、画像情報記憶部１１３、画像合成部１１４および画像描画部１１５を有する。そして、この描画処理装置１００の外部に描画入力装置１１６および画面表示装置１１７が接続されている。なお、描画処理装置１００においてデータの流れは実線矢印で示しており、コントロール信号の流れを点線矢印で示している。
【００２２】
また、描画処理装置１００は、いわゆる電子会議機能を備えると共に、表計算、ワードプロセッサ、プレゼンテーション等の業務用アプリケーションを扱うことができる。また、描画処理装置１００の画面表示装置１１７はホワイトボードとしての機能を果たし、アプリケーションのデータやホワイトボードに書き込まれたデータを複数の描画処理装置１００で共有し、これらに同一のコンテンツを表示させた状態で会議を行うことが可能である。なお、描画処理装置１００は汎用パーソナルコンピュータで構成される。
【００２３】
動画記憶部１１０は、例えば大容量記憶媒体である光磁気記録媒体やハードディスクなどを用いて構成され、その中に電子会議等で使用される複数の動画データがＭＰＥＧ２等の画像圧縮方式でエンコードするなどして記憶されている。この複数の動画データの中から使用者が必要に応じて選択した動画データを動画再生部１１１に取り出すことができる。
【００２４】
動画再生部１１１は、動画記憶部１１０から選択的に取り出された動画データをデコードするなどして再生可能なデータに変換する。なお、この動画再生部１１１では動画データを看取できる形での表示は行われない。
また、画像制御部１１２は動画再生部１１１に取り込まれた動画像データを、時間ΔＴごとに切り出して静止画データとして出力する。
【００２５】
描画入力装置１１６は、使用者が例えば指先や電子ペン等によって描画したデータを入力する。この入力データは、点や線またはこれらを組み合わせた描画データのほか、テキストデータでもよい。画像情報記憶部１１３は、例えば半導体メモリなどの記憶媒体で構成され、この描画データを入力描画データとして記憶し、前記画像制御部１１２はこの入力描画データを時間ΔＴごとに抽出する。切り出した描画データは、画像情報記憶部１１３における前記動画内静止画像データの記憶領域とは異なる領域に、入力描画静止画像データとして記憶される。
【００２６】
画像合成部１１４は、画像情報記憶部１１３に記憶された動画内静止画像データと入力描画静止データとを合成して、擬似的に動画像を構成する１枚のフレームとして合成画像データを作成するように機能する。
【００２７】
画像描画部１１５は、画面表示装置１１７に対して、フレーム単位の合成画像データを連続して出力することにより、画面表示装置１１７には、入力描画データが書き込まれた擬似的な動画が表示される。
【００２８】
次に、本発明の実施の形態に係る描画処理装置を用いた描画処理方法について、図８の画像合成処理の流れを示す説明図および図９フローチャートを用いて説明する。
はじめに、使用者は電子会議に必要となる動画データを動画記憶部１１０の中から選択する。選択された動画データはデコードするなどして再生可能なデータに変換される。なお、この動画再生部１１１では動画像を画像表示装置１１７に表示しない。一方、使用者が描画入力装置１１６から入力した入力描画データは一旦、画像情報記憶部１１３に取り込まれて保持される。
【００２９】
続いて、図９に示すように、動画と入力描画を合成するために、動画再生部１１１上の動画データを、画像制御部１１２が出力する切り出し制御信号により所定の時間ΔＴごとに切り出す（ステップＳ１）。また、画像情報記憶部１１３上の入力描画データから、前記切り出し制御信号により時間ΔＴごとに入力描画静止データを抽出する（ステップＳ２）。
【００３０】
このように切り出された動画データおよび抽出された入力描画静止データは、画像情報記憶部１１３上に動画内静止画像データおよび入力描画静止データとして保持され、再び取り出されてそれぞれが画像合成部１１４にて所定のタイミングで重ね合わされ合成画像データが作成される（合成画像作成ステップＳ３）。そして、この合成画像データは、画面表示装置１１７上へ出力される（画像出力ステップＳ４）
【００３１】
次に、画像切り出しステップＳ１，Ｓ２による動画像および描画された入力画像の切り出し処理を行ってから、画像出力ステップＳ４によって出力された合成画像データが画面表示されるまでの時間Δｔが、時間ΔＴ以上、経過したか否かを判断し（ステップＳ５）、経過していない場合は待機し、経過した場合には上述のステップＳ１以下の処理を繰り返す。
【００３２】
このようにして合成画像データを出力して、時間ΔＴが経過するのを待って、再びステップＳ１以下の処理を高速に繰り返し実行することで、擬似的に動画像を構成することができ、入力描画データの動画像上への書き込みを実現することができる。
【００３３】
このように、時間ΔＴの間隔を、画像の切り出し処理を行ってから画面表示を行うまでに要する時間（Δｔ）に等しいか僅かに大きくすることで、汎用ＰＣに必要以上に負荷をかけることを防止することができる。
【００３４】
これにより、前記描画の書き込みや汎用ＰＣによる処理との並列処理をスムースに実行させることができる。なお、画像の切り出しは実時間軸上で動画データや入力描画データの再生時からリアルタイムに行われるため、音声とのずれも実質的にΔｔ内で収まることになる。
【００３５】
また、動画内静止画データへの切り出し等に要する処理時間が増加すると、画面の表示間隔時間ΔＴは大きくなってしまう。しかし、動画内静止画像データの切り出し時間もその遅れに伴ってずれるため、動画を再生していくうちに音声とのずれがだんだん大きくなっていくということはない。
【００３６】
次に、さらに前述の描画処理方法における画像合成処理の一実施例を具体的に挙げ、図１０〜図１２を用いて説明する。
入力描画静止データは、色、サイズ、ポイント数、座標データ群等を含んで構成されるベクタ形式で表される軌跡データの集合として保持される。例えば図１０に示す入力描画静止データは、軌跡データＬ（１）、軌跡データＬ（２）で構成される。この軌跡データＬ（１）は、色は青、サイズは３ｐｔ、ポイント数はｍ、座標データ群は座標Ｐ（１）〜Ｐ（ｍ）からなり、軌跡データＬ（２）は、色は赤、サイズは１ｐｔ、ポイント数はｎ、座標データ群は座標Ｐ（１）〜Ｐ（ｎ）からなる。このような軌跡データＬ（１）、Ｌ（２）を構成するポイントは、例えばマウスなどのポインティングデバイスによる入力描画時に、マウスが動いたというイベント毎に取得される。
【００３７】
そして、画像情報記憶部１１３内に展開された動画内静止画像データとの合成は、入力描画静止データの軌跡データを画像情報記憶部１１３内に展開された動画内静止画像データ上に書き込むことで行われ、以下、図１１のフローチャート及び図１２の合成画像の一例を用いて説明する。
【００３８】
まず、動画再生部１１１より、動画内静止画データを切り出す（ステップＳ３１、図１２（ａ）参照）。また、画像情報記憶部１１３上の入力描画データから入力描画静止データを抽出する（ステップＳ３２）。この入力描画静止データに書き込みが有るか否かを判断し（ステップＳ３３）、書き込みが無い場合は、動画内静止画データをそのまま画面表示装置に出力する（ステップＳ３９）。
【００３９】
一方、書き込みが有る場合は、まず書き込みカウントｃｎｔに“０”をセットする（ステップＳ３４）。次に、この書き込みカウントｃｎｔをインクリメント（“１”加算）し（ステップＳ３５）、軌跡データＬ（ｃｎｔ）を動画内静止画像データに上書きする（ステップＳ３６、ｃｎｔ＝１のときの合成画像図１２（ｂ）参照）。
【００４０】
そして、書き込みカウントｃｎｔと軌跡データ数とを比較し（ステップＳ３７）、書き込みカウントｃｎｔが軌跡データ数以上となった場合、すなわち全ての軌跡データ（Ｌ（１）、Ｌ（２））を動画内静止画像データに上書きしたとき（ｃｎｔ＝２のときの合成画像図１２（ｃ）参照）に、合成処理を完了する（ステップＳ３８）。そして、この図１２（ｃ）の合成画像のデータを画面表示装置に出力する（ステップＳ３９）。
【００４１】
なお、上述の軌跡データを動画内静止画像データに上書きする方法としては、完全な上書きではなく、αブレンディング等の半透明処理によって、軌跡データと動画内静止画像データとを任意の比率で混合してもよい。
【００４２】
このように、上述の合成方法によれば、入力描画静止データを軌跡データの集合として保持するため、合成時間は画面サイズに係わらず、入力描画静止データを構成する軌跡データの量に関係することになる。
よって、入力描画静止データを構成する軌跡データの量が少なければ、画像合成にかかる処理時間Δｔも少なく済むので、より多くの合成画像を画面に表示することができるようになり、動画像をより滑らかに見せることが可能となる。
【００４３】
しかし、入力描画静止データを構成する軌跡データの量が増大すると、メモリ上に展開された動画内静止画像への上書きの回数が増加して、合成時間にかかる処理時間Δｔの増加につながることになる。
但し、動画像上への書き込みという状況において、背景の動画像が見えなくなるほどに入力描画されることは稀であるから、入力描画静止データを構成する軌跡データの量は少量に押さえられるという性質を持っているため、合成時間にかかる処理時間Δｔが軌跡データの量の増大に伴って増加するというデメリットも事実上問題とならない。
【００４４】
上記の画像合成処理の実施例では、入力描画静止データは、ベクタ形式で表される軌跡データの集合として保持される例を示したが、ビットマップ形式のデータを用いてもよい。
ビットマップ形式のデータを動画内静止画像データと合成する場合は、画像を構成する全ての画素に対して、上書きするか否かをそれぞれ判定するための比較演算を行う必要がある。そして、上書きすると判定された画素は、動画内静止画像データにおける対応する座標の画素と同じ色で上書き処理を行なう。
また、画面サイズが大きくなれば画素数が増加するので、合成時における判定処理を含めた合成処理時間Δｔの増加につながる。
【００４５】
本実施の形態によれば、前述のように動画データと入力描画データとは同一レイヤ上にないため、これらを個別に保持することができる。したがって、画面取り込み後の画像を背景映像と入力画像の２レイヤとして扱うことができ、用途が広がる。例えば、キャプチャした合成画像から入力描画データだけを消すことができるように構成することもできる。
また、前記においては予め用意された動画データに描画を行う例を示したが、動画データのソースはビデオカメラから取り込んだ生の映像を利用することも可能である。
【００４６】
画像描画部１１５に得られる合成画像データは、前記のように静止画像が連続する擬似的動画像であるため、使用者による画面取り込み操作による画面取り込み信号の入力によって、その合成画像データの取り込みが可能となる（ステップＳ６）。したがって、電子会議に参加する複数の描画処理装置を参加者端末として通信回路を介して接続した場合には、会議で利用する動画に描画データの書き込みや画像の取り込みを行いながら、ＰＣ画面上の設定画面内でインタラクティブに情報交換をすることができる。
【００４７】
図１３は図９の動画内静止画像データの切り出しステップ（ステップＳ１）の詳細を示すフローチャートである。この動画内静止画像データの切り出しでは、まず、使用者が動画ファイルを選択すると（ステップＳ１１）、この選択された動画ファイルをメモリ展開して（ステップＳ１２）、動画データをフレーム単位で停止する（ステップＳ１３）。
【００４８】
次に、使用者によるその動画データの再生操作を待ち、再生操作があったとき（ステップＳ１５）、動画ファイルを再生する。この再生画像は画面表示装置１１７には出力しない。但し、動画の音声は出力する。そして、使用者による停止操作を待ち、停止操作があった場合には、再びステップＳ１３以下の処理を繰り返し実行する（ステップＳ１６）。前記動画停止状態（ステップＳ１３））と動画ファイルの再生状態（ステップＳ１５）に、時間ΔＴごとに動画内静止画像データの切り出しを行う（ステップＳ１６）。
【００４９】
図１４は図９の入力描画静止データの切り出しステップ（ステップＳ２）の詳細を示すフローチャートである。この入力描画静止データの切り出しでは、はじめに入力描画データを画像情報記憶部１１３に保持しておき（ステップＳ２１）、使用者による描画の入力（消去）があると（ステップＳ２２）、入力された描画データを、蓄積されている入力描画データへ追加する（ステップＳ２３）。ここで、ステップＳ２１においてメモリに保持された入力描画データの切り出しを時間ΔＴごとに行う（ステップＳ２４）。
【００５０】
このように、動画像を画面表示せずに動画像から一定間隔で画面を切り出し、その上に描画データを合成して画面表示することを高速に繰り返し実施することで、擬似的に動画像を作って、これを画面表示することができる。
【００５１】
また、一旦、ＯＳ上へ画面データを取り込むために、この画面データからの画面の取り込みもスムースに実現できる。したがって、電子会議システムなどにおいて、情報の書き込みをしながら動画の状態を看取でき、プレゼンテーションを効果的に支援できる。
【００５２】
以上詳述したように、本実施の形態に係る描画処理装置１００は、所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を前記所定時間ごとに抽出する画像制御部１１２と、画像制御部１１２によって切り出された動画内静止画像データおよび抽出された入力描画静止情報を保持する画像情報記憶部１１３と、画像情報記憶部１１３に保持された動画内静止画像情報および入力描画静止情報を合成して合成画像情報を作成する画像合成部１１４と、合成画像情報を連続して出力する画像描画部１１５と、を備える。
また、本実施の形態に係る描画処理方法は、動画像を動画内静止画像情報として切り出す画像切り出しステップＳ１と、描画された入力画像より入力描画静止情報を抽出する画像抽出ステップＳ２と、得られた動画内静止画像情報および入力描画静止情報を合成して合成画像情報を作成する合成画像作成ステップＳ３と、合成画像情報を出力する画像出力ステップＳ４と、を含み、所定時間ごとに動画内静止画像情報の切り出しおよび入力描画静止情報の抽出を繰り返す。
また、本実施の形態に係る描画処理プログラムは、コンピュータに、所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を所定時間ごとに抽出する画像制御機能と、制御機能によって切り出された動画内静止画像情報および抽出された入力描画静止情報を合成して合成画像情報を作成する画像合成機能と、を実現させる。
また電子会議システムは、前記描画処理装置１００を会議に参加する参加者端末として用いて構成される。
【００５３】
このように、動画像から所定時間ごとに画面を切り出し、その上に描画データを合成して画面表示するという動作を繰り返し行うことで、表示画面上に使用者が記号、矢印、文字、任意の書き込み等を描画入力装置等で書き込んで動画と合成させてリアルタイムに表示させる機能と、この合成された画像を取り込んで記憶媒体等に保存させて後で表示させる機能とを両立させることができる。そして、電子会議での描画データのインタラクティブな通信を実現できる。
【図面の簡単な説明】
【図１】従来の描画処理装置の構成を示す図である。
【図２】従来のアクセラレータを使用した描画処理装置による描画イメージを示す図である。
【図３】従来の描画処理装置の他の構成例を示す図である。
【図４】図３に示す描画処理装置による画像取り込みの結果を示す図である。
【図５】従来の描画処理装置の他の構成例を示す図である。
【図６】従来のアクセラレータを使用しない描画処理装置による描画イメージを示す図である。
【図７】本発明の実施の形態における描画処理装置の構成を示す図である。
【図８】本発明による動画像への描画処理による描画イメージを示す図である。
【図９】本発明による描画処理手順を示すフローチャートである。
【図１０】軌跡データの構成の一例を説明する図である。
【図１１】入力描画静止データと動画内静止画像データの合成方法の一例を示すフローチャートである。
【図１２】図１１の合成方法による合成画像の一例である。
【図１３】図９における動画内静止画像データの切り出しステップを詳細を示すフローチャートである。
【図１４】図９における入力描画静止データの抽出ステップを詳細に示すフローチャートである。
【符号の説明】
１００ 描画処理装置
１１０ 動画記憶部
１１１ 動画再生部
１１２ 画像制御部
１１３ 画像情報記憶部
１１４ 画像合成部
１１５ 画像描画部
１１６ 描画入力装置
１１７ 画面表示装置
【発明の属する技術分野】
本発明は、描画処理装置、描画処理方法および描画処理プログラム、並びにそれらを備えた電子会議システムに関する。
【０００２】
【従来の技術】
近年、ブロードバンド環境の普及およびＰＣ（パーソナルコンピュータ）の性能向上によって、汎用ＰＣを用いて動画を扱うことが日常化してきた。例えば、電子会議システムなどにおいて、汎用ＰＣから出力された表示画面に動画像が表示されている場合に、その表示画面上に使用者が記号、矢印、文字、任意の書き込み等を描画入力装置等で書き込んで動画と合成する描画処理方法として次のような方法がある。
【０００３】
Ｗｉｎｄｏｗｓ（登録商標）などのＯＳ（ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）が使用される汎用ＰＣにおいては、表示画面の動画像に、描画された静止画を合成して表示する描画処理方法が用いられている。以下、グラフィックアクセラレータを使用した場合の描画処理方法を示す。
【０００４】
図１は、汎用ＰＣのＯＳ上でグラフィックアクセラレータを使用した従来の描画処理装置２００を示す図である。図１に示すように、大容量記録媒体２１１に蓄えられた動画データのうち、使用者によって選択された動画が動画再生部２１２に送信される。そして、グラフィックアクセラレータによるハードウェア描画部２１３により描画処理されて画面表示装置２１６に表示される。一方、使用者が描画入力装置２１４を用いて入力した入力描画データは、画像描画部２１５で描画処理されて、前記の動画と同時に画面表示装置２１６上に表示される。
【０００５】
これにより、図２に示すようにグラフィックアクセラレータによりハードウェア描画された動画Ａ（鳥が飛ぶ動画）と、これとは独立して画像描画部２１５においてＯＳ上で管理され描画された入力描画画像（矢印）Ｂとが、画面表示装置２１６の表示画面上で重なって見える。
【０００６】
また、表示画面に動画が表示される場合に、使用者がインタラクティブ（双方向対話的）に係わる方法としては、例えば、特許文献１に記載された、使用者の入力に応じて予め記憶された静止画データと動画データを合成する技術がある。
【０００７】
【特許文献１】
特開平７−３０６９５３号公報
【０００８】
【発明が解決しようとする課題】
ところで、前述の従来の描画処理装置では、画面表示装置２１６に表示されている動画像はクリップボードによる画面取り込みを行うことができない。これは、グラフィックアクセラレータによるハードウェア描画部２１３は、ＯＳが直接管理していないため、ＯＳの機能の一部である画面取り込みを行うことができないためである。
【０００９】
このため、ＯＳの画面取り込み機能を使用した場合は、図３に示すように、ＯＳが直接管理する画像描画部２１５において画面取り込みが行われ、入力描画データのみがクリップボードに取り込まれる。したがって、クリップボードに取り込まれた画面では、図４に示すように、動画データが存在しない黒画面上に、前記入力描画画像（矢印）Ｂのみが表示される。
【００１０】
一方、ＯＳの設定を変更し、グラフィックアクセラレータを使用しないで動画上へ描画（書き込み）を行った場合の従来の描画処理装置２００Ａは、図５に示すように、ＯＳが直接管理する画像描画部２１５Ａで、入力描画データおよび動画データを管理する。これにより、動画の画面取り込みを行うことができる。
【００１１】
ところがこの場合は、図６に示すように、画像描画部２１５Ａに動画データ（ａ１、ａ２、ａ３、…）が次々と送信されてくるため、画像描画部２１５Ａに送信された入力描画データは、動画データによって上書きされ（ＯＳによる排他制御がなされないため）、入力描画データが上書きされ消されてしまう。
【００１２】
以上のように、従来の描画処理装置では、表示画面に動画が表示されている場合に、その表示画面上に使用者が記号、矢印、文字、任意の書き込み等を描画入力装置等で書き込んで動画と合成させてリアルタイムに表示させる機能と、この合成された画像を取り込んで記憶媒体等に保存させて後で表示させる機能とを両立させることができなかった。
【００１３】
また、電子会議システムなどにおいては、予め記憶された静止画データではなく、使用者が記号、矢印、文字、任意の書き込み等を描画入力装置等で書き込みながら、この入力描画データと動画とを合成するため、静止画と動画の合成を行う従来の合成技術（例えば、特許文献１）を適用しても、汎用のＰＣでは処理能力が限られているためフレーム抜け等が生じ、動画のスムーズな表示が困難である。
【００１４】
なお、動画像上へ入力描画データを繰り返し上書き描画させることが考えられるが、入力描画データが消えたり出力されたりして連続せず、画像がチラつき見にくくなってしまう。また、動画の変化より入力描画データの描画を高速で繰り返す必要があるために、ＰＣの処理が過負荷になってしまう。
【００１５】
あるいは、入力描画画像を描画させるペンの軌跡の形状でウィンドウを作り出して、その動画像上への書き込みを行うことが考えられるが、ＯＳの管理機能でウィンドウオブジェクトを動画像の上に表示させることはできるが、ペン形状にウィンドウを形成する処理が過負荷になってしまう。また、ウィンドウ形成処理が描画に追いつかない場合に、入力描画画像が途切れてしまう。
【００１６】
本発明が解決しようとする課題としては、上述した従来技術において生じている表示画面上に使用者が記号、矢印、文字、任意の書き込み等を描画入力装置等で書き込んで動画と合成させてリアルタイムに表示させる機能と、この合成された画像を取り込んで記憶媒体等に保存させて後で表示させる機能とを両立させることができないと云う問題が一例として挙げられる。
【００１７】
【課題を解決するための手段】
請求項１に記載の描画処理装置は、所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を前記所定時間ごとに抽出する画像制御部と、前記画像制御部によって切り出された動画内静止画像情報および抽出された入力描画静止情報を保持する画像情報記憶部と、前記画像情報記憶部に保持された前記動画内静止画像情報および入力描画静止情報を合成して合成画像情報を作成する画像合成部と、前記合成画像情報を連続して出力する画像描画部と、を備えたことを特徴とする。
【００１８】
請求項７に記載の描画処理方法は、画像を動画内静止画像情報として切り出す画像切り出しステップと、描画された入力画像より入力描画静止情報を抽出する画像抽出ステップと、切り出して得られた前記動画内静止画像情報および抽出して得られた入力描画静止情報を合成して合成画像情報を作成する合成画像作成ステップと、前記合成画像情報を出力する画像出力ステップと、を含み、所定時間ごとに前記動画内静止画像情報の切り出しおよび入力描画静止情報の抽出を繰り返すことを特徴とする。
【００１９】
請求項１０に記載の描画処理プログラムは、コンピュータに、所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を前記所定時間ごとに抽出する画像制御機能と、前記制御機能によって切り出された前記動画内静止画像情報および抽出された入力描画静止情報を合成して合成画像情報を作成する画像合成機能と、を実現させることを特徴とする描画処理プログラム。
【００２０】
請求項１１に記載の電子会議システムは、会議に参加する複数の参加者端末を通信回線を介して接続して構成される電子会議システムであって、所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を前記所定時間ごとに抽出する画像制御部と、前記画像制御部によって切り出された動画内静止画像情報および抽出された入力描画静止情報を保持する画像情報記憶部と、前記画像情報記憶部に保持された前記動画内静止画像情報および入力描画静止情報を合成して合成画像情報を作成する画像合成部と、前記合成画像情報を連続して出力する画像描画部と、を備えた描画処理装置を前記参加者端末として用いることを特徴とする電子会議システム。
【００２１】
【発明の実施の形態】
以下に、本発明の実施の形態について、図７〜図１１を用いて詳細に説明する。図７は、本発明の実施の形態に係る描画処理装置を示す図である。
本発明の実施の形態に係る描画処理装置は、例えば、会議に参加する複数の参加者端末を通信回線を介して接続して構成する電子会議システムに使用される。
図７に示すように、描画処理装置１００は、データ処理のための構成を示しており、動画データを記憶する動画記憶部１１０、動画再生部１１１、画像制御部１１２、画像情報記憶部１１３、画像合成部１１４および画像描画部１１５を有する。そして、この描画処理装置１００の外部に描画入力装置１１６および画面表示装置１１７が接続されている。なお、描画処理装置１００においてデータの流れは実線矢印で示しており、コントロール信号の流れを点線矢印で示している。
【００２２】
また、描画処理装置１００は、いわゆる電子会議機能を備えると共に、表計算、ワードプロセッサ、プレゼンテーション等の業務用アプリケーションを扱うことができる。また、描画処理装置１００の画面表示装置１１７はホワイトボードとしての機能を果たし、アプリケーションのデータやホワイトボードに書き込まれたデータを複数の描画処理装置１００で共有し、これらに同一のコンテンツを表示させた状態で会議を行うことが可能である。なお、描画処理装置１００は汎用パーソナルコンピュータで構成される。
【００２３】
動画記憶部１１０は、例えば大容量記憶媒体である光磁気記録媒体やハードディスクなどを用いて構成され、その中に電子会議等で使用される複数の動画データがＭＰＥＧ２等の画像圧縮方式でエンコードするなどして記憶されている。この複数の動画データの中から使用者が必要に応じて選択した動画データを動画再生部１１１に取り出すことができる。
【００２４】
動画再生部１１１は、動画記憶部１１０から選択的に取り出された動画データをデコードするなどして再生可能なデータに変換する。なお、この動画再生部１１１では動画データを看取できる形での表示は行われない。
また、画像制御部１１２は動画再生部１１１に取り込まれた動画像データを、時間ΔＴごとに切り出して静止画データとして出力する。
【００２５】
描画入力装置１１６は、使用者が例えば指先や電子ペン等によって描画したデータを入力する。この入力データは、点や線またはこれらを組み合わせた描画データのほか、テキストデータでもよい。画像情報記憶部１１３は、例えば半導体メモリなどの記憶媒体で構成され、この描画データを入力描画データとして記憶し、前記画像制御部１１２はこの入力描画データを時間ΔＴごとに抽出する。切り出した描画データは、画像情報記憶部１１３における前記動画内静止画像データの記憶領域とは異なる領域に、入力描画静止画像データとして記憶される。
【００２６】
画像合成部１１４は、画像情報記憶部１１３に記憶された動画内静止画像データと入力描画静止データとを合成して、擬似的に動画像を構成する１枚のフレームとして合成画像データを作成するように機能する。
【００２７】
画像描画部１１５は、画面表示装置１１７に対して、フレーム単位の合成画像データを連続して出力することにより、画面表示装置１１７には、入力描画データが書き込まれた擬似的な動画が表示される。
【００２８】
次に、本発明の実施の形態に係る描画処理装置を用いた描画処理方法について、図８の画像合成処理の流れを示す説明図および図９フローチャートを用いて説明する。
はじめに、使用者は電子会議に必要となる動画データを動画記憶部１１０の中から選択する。選択された動画データはデコードするなどして再生可能なデータに変換される。なお、この動画再生部１１１では動画像を画像表示装置１１７に表示しない。一方、使用者が描画入力装置１１６から入力した入力描画データは一旦、画像情報記憶部１１３に取り込まれて保持される。
【００２９】
続いて、図９に示すように、動画と入力描画を合成するために、動画再生部１１１上の動画データを、画像制御部１１２が出力する切り出し制御信号により所定の時間ΔＴごとに切り出す（ステップＳ１）。また、画像情報記憶部１１３上の入力描画データから、前記切り出し制御信号により時間ΔＴごとに入力描画静止データを抽出する（ステップＳ２）。
【００３０】
このように切り出された動画データおよび抽出された入力描画静止データは、画像情報記憶部１１３上に動画内静止画像データおよび入力描画静止データとして保持され、再び取り出されてそれぞれが画像合成部１１４にて所定のタイミングで重ね合わされ合成画像データが作成される（合成画像作成ステップＳ３）。そして、この合成画像データは、画面表示装置１１７上へ出力される（画像出力ステップＳ４）
【００３１】
次に、画像切り出しステップＳ１，Ｓ２による動画像および描画された入力画像の切り出し処理を行ってから、画像出力ステップＳ４によって出力された合成画像データが画面表示されるまでの時間Δｔが、時間ΔＴ以上、経過したか否かを判断し（ステップＳ５）、経過していない場合は待機し、経過した場合には上述のステップＳ１以下の処理を繰り返す。
【００３２】
このようにして合成画像データを出力して、時間ΔＴが経過するのを待って、再びステップＳ１以下の処理を高速に繰り返し実行することで、擬似的に動画像を構成することができ、入力描画データの動画像上への書き込みを実現することができる。
【００３３】
このように、時間ΔＴの間隔を、画像の切り出し処理を行ってから画面表示を行うまでに要する時間（Δｔ）に等しいか僅かに大きくすることで、汎用ＰＣに必要以上に負荷をかけることを防止することができる。
【００３４】
これにより、前記描画の書き込みや汎用ＰＣによる処理との並列処理をスムースに実行させることができる。なお、画像の切り出しは実時間軸上で動画データや入力描画データの再生時からリアルタイムに行われるため、音声とのずれも実質的にΔｔ内で収まることになる。
【００３５】
また、動画内静止画データへの切り出し等に要する処理時間が増加すると、画面の表示間隔時間ΔＴは大きくなってしまう。しかし、動画内静止画像データの切り出し時間もその遅れに伴ってずれるため、動画を再生していくうちに音声とのずれがだんだん大きくなっていくということはない。
【００３６】
次に、さらに前述の描画処理方法における画像合成処理の一実施例を具体的に挙げ、図１０〜図１２を用いて説明する。
入力描画静止データは、色、サイズ、ポイント数、座標データ群等を含んで構成されるベクタ形式で表される軌跡データの集合として保持される。例えば図１０に示す入力描画静止データは、軌跡データＬ（１）、軌跡データＬ（２）で構成される。この軌跡データＬ（１）は、色は青、サイズは３ｐｔ、ポイント数はｍ、座標データ群は座標Ｐ（１）〜Ｐ（ｍ）からなり、軌跡データＬ（２）は、色は赤、サイズは１ｐｔ、ポイント数はｎ、座標データ群は座標Ｐ（１）〜Ｐ（ｎ）からなる。このような軌跡データＬ（１）、Ｌ（２）を構成するポイントは、例えばマウスなどのポインティングデバイスによる入力描画時に、マウスが動いたというイベント毎に取得される。
【００３７】
そして、画像情報記憶部１１３内に展開された動画内静止画像データとの合成は、入力描画静止データの軌跡データを画像情報記憶部１１３内に展開された動画内静止画像データ上に書き込むことで行われ、以下、図１１のフローチャート及び図１２の合成画像の一例を用いて説明する。
【００３８】
まず、動画再生部１１１より、動画内静止画データを切り出す（ステップＳ３１、図１２（ａ）参照）。また、画像情報記憶部１１３上の入力描画データから入力描画静止データを抽出する（ステップＳ３２）。この入力描画静止データに書き込みが有るか否かを判断し（ステップＳ３３）、書き込みが無い場合は、動画内静止画データをそのまま画面表示装置に出力する（ステップＳ３９）。
【００３９】
一方、書き込みが有る場合は、まず書き込みカウントｃｎｔに“０”をセットする（ステップＳ３４）。次に、この書き込みカウントｃｎｔをインクリメント（“１”加算）し（ステップＳ３５）、軌跡データＬ（ｃｎｔ）を動画内静止画像データに上書きする（ステップＳ３６、ｃｎｔ＝１のときの合成画像図１２（ｂ）参照）。
【００４０】
そして、書き込みカウントｃｎｔと軌跡データ数とを比較し（ステップＳ３７）、書き込みカウントｃｎｔが軌跡データ数以上となった場合、すなわち全ての軌跡データ（Ｌ（１）、Ｌ（２））を動画内静止画像データに上書きしたとき（ｃｎｔ＝２のときの合成画像図１２（ｃ）参照）に、合成処理を完了する（ステップＳ３８）。そして、この図１２（ｃ）の合成画像のデータを画面表示装置に出力する（ステップＳ３９）。
【００４１】
なお、上述の軌跡データを動画内静止画像データに上書きする方法としては、完全な上書きではなく、αブレンディング等の半透明処理によって、軌跡データと動画内静止画像データとを任意の比率で混合してもよい。
【００４２】
このように、上述の合成方法によれば、入力描画静止データを軌跡データの集合として保持するため、合成時間は画面サイズに係わらず、入力描画静止データを構成する軌跡データの量に関係することになる。
よって、入力描画静止データを構成する軌跡データの量が少なければ、画像合成にかかる処理時間Δｔも少なく済むので、より多くの合成画像を画面に表示することができるようになり、動画像をより滑らかに見せることが可能となる。
【００４３】
しかし、入力描画静止データを構成する軌跡データの量が増大すると、メモリ上に展開された動画内静止画像への上書きの回数が増加して、合成時間にかかる処理時間Δｔの増加につながることになる。
但し、動画像上への書き込みという状況において、背景の動画像が見えなくなるほどに入力描画されることは稀であるから、入力描画静止データを構成する軌跡データの量は少量に押さえられるという性質を持っているため、合成時間にかかる処理時間Δｔが軌跡データの量の増大に伴って増加するというデメリットも事実上問題とならない。
【００４４】
上記の画像合成処理の実施例では、入力描画静止データは、ベクタ形式で表される軌跡データの集合として保持される例を示したが、ビットマップ形式のデータを用いてもよい。
ビットマップ形式のデータを動画内静止画像データと合成する場合は、画像を構成する全ての画素に対して、上書きするか否かをそれぞれ判定するための比較演算を行う必要がある。そして、上書きすると判定された画素は、動画内静止画像データにおける対応する座標の画素と同じ色で上書き処理を行なう。
また、画面サイズが大きくなれば画素数が増加するので、合成時における判定処理を含めた合成処理時間Δｔの増加につながる。
【００４５】
本実施の形態によれば、前述のように動画データと入力描画データとは同一レイヤ上にないため、これらを個別に保持することができる。したがって、画面取り込み後の画像を背景映像と入力画像の２レイヤとして扱うことができ、用途が広がる。例えば、キャプチャした合成画像から入力描画データだけを消すことができるように構成することもできる。
また、前記においては予め用意された動画データに描画を行う例を示したが、動画データのソースはビデオカメラから取り込んだ生の映像を利用することも可能である。
【００４６】
画像描画部１１５に得られる合成画像データは、前記のように静止画像が連続する擬似的動画像であるため、使用者による画面取り込み操作による画面取り込み信号の入力によって、その合成画像データの取り込みが可能となる（ステップＳ６）。したがって、電子会議に参加する複数の描画処理装置を参加者端末として通信回路を介して接続した場合には、会議で利用する動画に描画データの書き込みや画像の取り込みを行いながら、ＰＣ画面上の設定画面内でインタラクティブに情報交換をすることができる。
【００４７】
図１３は図９の動画内静止画像データの切り出しステップ（ステップＳ１）の詳細を示すフローチャートである。この動画内静止画像データの切り出しでは、まず、使用者が動画ファイルを選択すると（ステップＳ１１）、この選択された動画ファイルをメモリ展開して（ステップＳ１２）、動画データをフレーム単位で停止する（ステップＳ１３）。
【００４８】
次に、使用者によるその動画データの再生操作を待ち、再生操作があったとき（ステップＳ１５）、動画ファイルを再生する。この再生画像は画面表示装置１１７には出力しない。但し、動画の音声は出力する。そして、使用者による停止操作を待ち、停止操作があった場合には、再びステップＳ１３以下の処理を繰り返し実行する（ステップＳ１６）。前記動画停止状態（ステップＳ１３））と動画ファイルの再生状態（ステップＳ１５）に、時間ΔＴごとに動画内静止画像データの切り出しを行う（ステップＳ１６）。
【００４９】
図１４は図９の入力描画静止データの切り出しステップ（ステップＳ２）の詳細を示すフローチャートである。この入力描画静止データの切り出しでは、はじめに入力描画データを画像情報記憶部１１３に保持しておき（ステップＳ２１）、使用者による描画の入力（消去）があると（ステップＳ２２）、入力された描画データを、蓄積されている入力描画データへ追加する（ステップＳ２３）。ここで、ステップＳ２１においてメモリに保持された入力描画データの切り出しを時間ΔＴごとに行う（ステップＳ２４）。
【００５０】
このように、動画像を画面表示せずに動画像から一定間隔で画面を切り出し、その上に描画データを合成して画面表示することを高速に繰り返し実施することで、擬似的に動画像を作って、これを画面表示することができる。
【００５１】
また、一旦、ＯＳ上へ画面データを取り込むために、この画面データからの画面の取り込みもスムースに実現できる。したがって、電子会議システムなどにおいて、情報の書き込みをしながら動画の状態を看取でき、プレゼンテーションを効果的に支援できる。
【００５２】
以上詳述したように、本実施の形態に係る描画処理装置１００は、所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を前記所定時間ごとに抽出する画像制御部１１２と、画像制御部１１２によって切り出された動画内静止画像データおよび抽出された入力描画静止情報を保持する画像情報記憶部１１３と、画像情報記憶部１１３に保持された動画内静止画像情報および入力描画静止情報を合成して合成画像情報を作成する画像合成部１１４と、合成画像情報を連続して出力する画像描画部１１５と、を備える。
また、本実施の形態に係る描画処理方法は、動画像を動画内静止画像情報として切り出す画像切り出しステップＳ１と、描画された入力画像より入力描画静止情報を抽出する画像抽出ステップＳ２と、得られた動画内静止画像情報および入力描画静止情報を合成して合成画像情報を作成する合成画像作成ステップＳ３と、合成画像情報を出力する画像出力ステップＳ４と、を含み、所定時間ごとに動画内静止画像情報の切り出しおよび入力描画静止情報の抽出を繰り返す。
また、本実施の形態に係る描画処理プログラムは、コンピュータに、所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を所定時間ごとに抽出する画像制御機能と、制御機能によって切り出された動画内静止画像情報および抽出された入力描画静止情報を合成して合成画像情報を作成する画像合成機能と、を実現させる。
また電子会議システムは、前記描画処理装置１００を会議に参加する参加者端末として用いて構成される。
【００５３】
このように、動画像から所定時間ごとに画面を切り出し、その上に描画データを合成して画面表示するという動作を繰り返し行うことで、表示画面上に使用者が記号、矢印、文字、任意の書き込み等を描画入力装置等で書き込んで動画と合成させてリアルタイムに表示させる機能と、この合成された画像を取り込んで記憶媒体等に保存させて後で表示させる機能とを両立させることができる。そして、電子会議での描画データのインタラクティブな通信を実現できる。
【図面の簡単な説明】
【図１】従来の描画処理装置の構成を示す図である。
【図２】従来のアクセラレータを使用した描画処理装置による描画イメージを示す図である。
【図３】従来の描画処理装置の他の構成例を示す図である。
【図４】図３に示す描画処理装置による画像取り込みの結果を示す図である。
【図５】従来の描画処理装置の他の構成例を示す図である。
【図６】従来のアクセラレータを使用しない描画処理装置による描画イメージを示す図である。
【図７】本発明の実施の形態における描画処理装置の構成を示す図である。
【図８】本発明による動画像への描画処理による描画イメージを示す図である。
【図９】本発明による描画処理手順を示すフローチャートである。
【図１０】軌跡データの構成の一例を説明する図である。
【図１１】入力描画静止データと動画内静止画像データの合成方法の一例を示すフローチャートである。
【図１２】図１１の合成方法による合成画像の一例である。
【図１３】図９における動画内静止画像データの切り出しステップを詳細を示すフローチャートである。
【図１４】図９における入力描画静止データの抽出ステップを詳細に示すフローチャートである。
【符号の説明】
１００ 描画処理装置
１１０ 動画記憶部
１１１ 動画再生部
１１２ 画像制御部
１１３ 画像情報記憶部
１１４ 画像合成部
１１５ 画像描画部
１１６ 描画入力装置
１１７ 画面表示装置
Claims (11)
- 所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を前記所定時間ごとに抽出する画像制御部と、
前記画像制御部によって切り出された動画内静止画像情報および抽出された入力描画静止情報を保持する画像情報記憶部と、
前記画像情報記憶部に保持された前記動画内静止画像情報および入力描画静止情報を合成して合成画像情報を作成する画像合成部と、
前記合成画像情報を連続して出力する画像描画部と、を備えたことを特徴とする描画処理装置。 - 前記所定時間は、前記画像制御部による動画像の切り出し処理および描画された入力画像の抽出処理を行ってから、前記画像描画部によって出力された合成画像情報が画面表示されるまでの時間に等しいかより大きいことを特徴とする請求項１に記載の描画処理装置。
- 前記画像描画部は、使用者の画像取り込み操作による画面取り込み信号の入力によって前記合成画像情報の取り込みを実施する機能を有することを特徴とする請求項１または請求項２に記載の描画処理装置。
- 複数の動画データが記憶された動画記憶部と、前記動画記憶部に記憶された動画データから選択した動画データを取り出して前記動画像とする動画再生部と、を備えたことを特徴とする請求項１〜請求項３のいずれかに記載の描画処理装置。
- 前記入力描画静止情報は、ベクタ形式で表される軌跡データの集合からなり、
前記画像合成部は、前記画像情報記憶部に保持された前記動画内静止画情報に基づく画像と、前記軌跡データの集合によって示される画像と、を合成して合成画像情報を作成することを特徴とする請求項１〜請求項４のいずれかに記載の描画処理装置。 - 前記軌跡データは、描画された入力画像の色、サイズ、ポイント数、座標データ群を含んで構成されたことを特徴とする請求項５に記載の描画処理装置。
- 動画像を動画内静止画像情報として切り出す画像切り出しステップと、
描画された入力画像より入力描画静止情報を抽出する画像抽出ステップと、
切り出して得られた前記動画内静止画像情報および抽出して得られた入力描画静止情報を合成して合成画像情報を作成する合成画像作成ステップと、
前記合成画像情報を出力する画像出力ステップと、を含み、
所定時間ごとに前記動画内静止画像情報の切り出しおよび入力描画静止情報の抽出を繰り返すことを特徴とする描画処理方法。 - 前記所定時間は、前記画像切り出しステップによる動画像の切り出し処理および前記画像抽出ステップによる描画された入力画像の抽出処理を行ってから、前記画像出力ステップによって出力された合成画像情報が画面表示されるまでの時間に等しいかより大きいことを特徴とする請求項７に記載の描画処理方法。
- 前記合成画像作成ステップで作成された合成画像情報を、画面取り込み操作によって取り込む画像取り込みステップを含むことを特徴とする請求項７または請求項８に記載の描画処理方法。
- コンピュータに、所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を前記所定時間ごとに抽出する画像制御機能と、前記制御機能によって切り出された前記動画内静止画像情報および抽出された入力描画静止情報を合成して合成画像情報を作成する画像合成機能と、を実現させることを特徴とする描画処理プログラム。
- 会議に参加する複数の参加者端末を通信回線を介して接続して構成される電子会議システムであって、
所定時間ごとに動画像を動画内静止画像情報として切り出し、かつ、描画された入力画像より入力描画静止情報を前記所定時間ごとに抽出する画像制御部と、
前記画像制御部によって切り出された動画内静止画像情報および抽出された入力描画静止情報を保持する画像情報記憶部と、
前記画像情報記憶部に保持された前記動画内静止画像情報および入力描画静止情報を合成して合成画像情報を作成する画像合成部と、
前記合成画像情報を連続して出力する画像描画部と、を備えた描画処理装置を前記参加者端末として用いることを特徴とする電子会議システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003122406A JP4321751B2 (ja) | 2003-04-25 | 2003-04-25 | 描画処理装置、描画処理方法および描画処理プログラム、並びにそれらを備えた電子会議システム |
| US10/829,276 US20040212629A1 (en) | 2003-04-25 | 2004-04-22 | Drawing processing apparatus, drawing processing method, drawing processing program and teleconference system equipped therewith |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003122406A JP4321751B2 (ja) | 2003-04-25 | 2003-04-25 | 描画処理装置、描画処理方法および描画処理プログラム、並びにそれらを備えた電子会議システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004325941A true JP2004325941A (ja) | 2004-11-18 |
| JP4321751B2 JP4321751B2 (ja) | 2009-08-26 |
Family
ID=33296601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003122406A Expired - Fee Related JP4321751B2 (ja) | 2003-04-25 | 2003-04-25 | 描画処理装置、描画処理方法および描画処理プログラム、並びにそれらを備えた電子会議システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040212629A1 (ja) |
| JP (1) | JP4321751B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100940499B1 (ko) | 2006-06-15 | 2010-02-10 | 후지필름 가부시키가이샤 | 화상 처리 방법, 화상 처리 장치, 화상 처리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체 및 화상 열람 시스템 |
| KR101025252B1 (ko) * | 2008-01-16 | 2011-03-29 | 이진규 | 컴퓨터를 이용한 동영상초상화 작성 방법 |
| JP2016058940A (ja) * | 2014-09-11 | 2016-04-21 | 富士通株式会社 | 画像編集方法、装置、及びプログラム |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101370115A (zh) * | 2008-10-20 | 2009-02-18 | 深圳华为通信技术有限公司 | 会议终端、会议服务器、会议系统及数据处理方法 |
| JP4902765B2 (ja) * | 2010-03-31 | 2012-03-21 | 新日鉄ソリューションズ株式会社 | 情報処理システム及び情報処理方法 |
| JP2013026878A (ja) * | 2011-07-22 | 2013-02-04 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
| JP6515603B2 (ja) * | 2015-03-13 | 2019-05-22 | 日本電気株式会社 | 電子ホワイトボードシステム、電子ホワイトボードアクセス権付与方法およびそのプログラム |
| US10147160B2 (en) * | 2015-09-30 | 2018-12-04 | Ricoh Company, Ltd. | Image management apparatus and system, and method for controlling display of captured image |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5754186A (en) * | 1993-05-10 | 1998-05-19 | Apple Computer, Inc. | Method and apparatus for blending images |
| JP4328397B2 (ja) * | 1998-07-03 | 2009-09-09 | 富士通株式会社 | 画像データ処理方法及び装置並びに記憶媒体 |
| US7075556B1 (en) * | 1999-10-21 | 2006-07-11 | Sportvision, Inc. | Telestrator system |
| DE60143081D1 (de) * | 2000-04-07 | 2010-10-28 | Dartfish Sa | Automatisiertes stroboskop-verfahren für videosequenzen |
| US7007236B2 (en) * | 2001-09-14 | 2006-02-28 | Accenture Global Services Gmbh | Lab window collaboration |
-
2003
- 2003-04-25 JP JP2003122406A patent/JP4321751B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-22 US US10/829,276 patent/US20040212629A1/en not_active Abandoned
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100940499B1 (ko) | 2006-06-15 | 2010-02-10 | 후지필름 가부시키가이샤 | 화상 처리 방법, 화상 처리 장치, 화상 처리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체 및 화상 열람 시스템 |
| KR101025252B1 (ko) * | 2008-01-16 | 2011-03-29 | 이진규 | 컴퓨터를 이용한 동영상초상화 작성 방법 |
| JP2016058940A (ja) * | 2014-09-11 | 2016-04-21 | 富士通株式会社 | 画像編集方法、装置、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4321751B2 (ja) | 2009-08-26 |
| US20040212629A1 (en) | 2004-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107770626B (zh) | 视频素材的处理方法、视频合成方法、装置及存储介质 | |
| JP3177221B2 (ja) | 興味深いシーンのイメージを表示するための方法及び装置 | |
| WO2015196937A1 (zh) | 一种录制视频的方法和装置 | |
| US7839434B2 (en) | Video communication systems and methods | |
| US10965783B2 (en) | Multimedia information sharing method, related apparatus, and system | |
| US20150012831A1 (en) | Systems and methods for sharing graphical user interfaces between multiple computers | |
| CN112804459A (zh) | 基于虚拟摄像头的图像展示方法、装置、存储介质及电子设备 | |
| CN112839190B (zh) | 虚拟图像与现实场景同步视频录制或直播的方法 | |
| US11363088B1 (en) | Methods and apparatus for receiving virtual relocation during a network conference | |
| JP2014021570A (ja) | 動画像生成装置 | |
| WO2023035882A1 (zh) | 视频处理方法、设备、存储介质和程序产品 | |
| US7756391B1 (en) | Real-time video editing architecture | |
| US12058183B2 (en) | Virtual relocation during network conferences | |
| JP4321751B2 (ja) | 描画処理装置、描画処理方法および描画処理プログラム、並びにそれらを備えた電子会議システム | |
| US20230043683A1 (en) | Determining a change in position of displayed digital content in subsequent frames via graphics processing circuitry | |
| US20020158895A1 (en) | Method of and a system for distributing interactive audiovisual works in a server and client system | |
| US11399166B2 (en) | Relationship preserving projection of digital objects | |
| US11381793B2 (en) | Room capture and projection | |
| CN108886513B (zh) | 具有经节制内容流的协作平台 | |
| JP2006129190A (ja) | 画像配信システム、画像配信装置、画像配信方法及びプログラム | |
| WO2023185968A1 (zh) | 相机功能页面切换方法、装置、电子设备及存储介质 | |
| CN114286002A (zh) | 图像处理电路、方法、装置、电子设备及芯片 | |
| CN118409667A (zh) | 书写显示方法、装置、终端设备、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090519 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090528 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130612 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |