JP2004193702A - ビデオ画像共有システム - Google Patents

Abstract

【課題】各種情報および加工編集処理された結果をリアルタイムで共有することができ、操作履歴を再生することができるようにする。
【解決手段】ビデオサーバ２は、ビデオカメラ１によって撮影された動画データを取り込み、リアルタイムで静止画のデータに変換して管理サーバ３に供給し、管理サーバ３は、クライアント端末１０−１乃至１０−Ｎによる操作の履歴（操作履歴）、ログイン情報、動画ファイル等の各種情報を記憶するとともに、各種情報をインターネット２０を介してクライアント端末１０に配信し、クライアント端末１０−１乃至１０−Ｎは、管理サーバ３から配信された各種情報を表示または出力し、加工編集処理を行う。加工編集処理の結果は各クライアント端末１０−１乃至１０−Ｎにリアルタイムで反映される。また、操作履歴に基づき、動画ファイルの再生および過去の加工編集処理の再現が行われる。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ画像共有システムに関し、特に、ネットワークで接続された複数の端末間で、リアルタイムに各種情報を共有し、情報の加工編集を共同して行うビデオ画像共有システムに関する。
【０００２】
【従来の技術】
従来、例えば、インターネットに接続されたサーバ機に、情報の種類に応じてその情報を共有し得る参加者の特定の組み合わせを決定するデータを、システム管理者が記憶させることのできる第１の記憶手段と、複数の参加者によって提供される情報を記憶する第２の記憶手段とが設けられ、参加者は、第１の記憶手段に記憶されたデータに基づき、決定される特定の組み合わせ内にある参加者によって提供された情報を利用することができ、且つサーバ機の第２の記憶手段に自己の情報を記憶させることができるようにして、生産効率を高めるようにしたものがある（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００１−２９０９８５号公報（図１）
【０００４】
【発明が解決しようとする課題】
しかしながら、インターネットに接続された複数の端末間で、画像データや音声データ等の情報をリアルタイムで共有し、かつそれらの情報に対して加工編集処理を施すことができ、その加工編集処理が各端末にリアルタイムで反映されるようにすることはできなかった。さらに、過去の操作履歴を再現することはできないという問題点があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、各種情報をネットワークを介してリアルタイムに共有し、協調して加工編集ができるようにするとともに、過去の操作履歴を再現することができるようにするものである。
【０００６】
【課題を解決するための手段】
請求項１に記載のビデオ画像共有システムは、サーバに接続された複数の端末間でビデオ画像をネットワークを介してリアルタイムに共有するビデオ画像共有システムであって、サーバは、ビデオ画像を記憶する記憶手段と、ビデオ画像をネットワークを介して各端末に配信する第１の配信手段と、端末によってビデオ画像を加工編集するために行われた所定の操作を示す操作情報をネットワークを介して受信する受信手段と、受信手段によって受信された操作情報を操作履歴情報として記憶する第２の記憶手段と、操作情報に基づいてビデオ画像を加工編集する加工編集手段と、加工編集されたビデオ画像をネットワークを介して各端末に配信する第２の配信手段と、ビデオ画像および操作履歴情報に基づいて、過去の操作履歴をビデオ画像とともに再現する再現手段とを備え、端末は、サーバから配信されたビデオ画像を出力する出力手段と、出力手段によって出力されたビデオ画像に対して加工編集操作を行う操作手段と、操作手段によって行われた加工編集操作を示す操作情報をサーバに送信する送信手段とを備えることを特徴とする。
また、ビデオ画像が表示された画面内の所定の被写体に対して、端末の操作手段によって所定の図形が描画されたとき、被写体の移動に追従して図形を移動させ、被写体と図形の相対的な位置関係をほぼ一定にするトラッキング手段をさらに備えるようにすることができる。
また、トラッキング手段は、被写体の画面上での位置を色成分分析および形状分析によって検出し、位置に図形を描画するようにすることができる。
また、サーバの第１の配信手段は、所定のホームページに対してユーザを特定するＩＤを入力してログインした端末に対して、ビデオ画像を配信し、第２の配信手段は、端末に対して、加工編集されたビデオ画像を配信するようにすることができる。
また、操作履歴情報は、ログインしたユーザを特定するＩＤ情報と、加工編集のために行われた操作を示す情報と、操作が行われた時刻を示す情報とからなり、ビデオ画像と操作履歴情報とは時刻によってリンクされるようにすることができる。
請求項６に記載のビデオ画像共有方法は、サーバに接続された複数の端末間でビデオ画像をネットワークを介してリアルタイムに共有するビデオ画像共有方法であって、サーバは、ビデオ画像を記憶する記憶ステップと、ビデオ画像をネットワークを介して各端末に配信する第１の配信ステップと、端末によってビデオ画像を加工編集するために行われた所定の操作を示す操作情報をネットワークを介して受信する受信ステップと、受信ステップにおいて受信された操作情報を操作履歴情報として記憶する第２の記憶ステップと、操作情報に基づいてビデオ画像を加工編集する加工編集ステップと、加工編集されたビデオ画像をネットワークを介して各端末に配信する第２の配信ステップと、ビデオ画像および操作履歴情報に基づいて、過去の操作履歴をビデオ画像とともに再現する再現ステップとを備え、端末は、サーバから配信されたビデオ画像を出力する出力ステップと、出力ステップにおいて出力されたビデオ画像に対して加工編集操作を行う操作ステップと、操作ステップにおいて行われた加工編集操作を示す操作情報をサーバに送信する送信ステップとを備えることを特徴とする。
また、ビデオ画像が表示された画面内の所定の被写体に対して、端末の操作ステップにおいて所定の図形が描画されたとき、被写体の移動に追従して図形を移動させ、被写体と図形の相対的な位置関係をほぼ一定にするトラッキングステップをさらに備えるようにすることができる。
また、トラッキングステップにおいては、被写体の画面上での位置を色成分分析および形状分析によって検出し、位置に図形を描画するようにすることができる。
また、サーバの第１の配信ステップにおいては、所定のホームページに対してユーザを特定するＩＤを入力してログインした端末に対して、ビデオ画像を配信し、第２の配信ステップにおいては、端末に対して、加工編集されたビデオ画像を配信するようにすることができる。
また、操作履歴情報は、ログインしたユーザを特定するＩＤ情報と、加工編集のために行われた操作を示す情報と、操作が行われた時刻を示す情報とからなり、ビデオ画像と操作履歴情報とは時刻によってリンクされているようにすることができる。
請求項１１に記載のビデオ画像共有プログラムは、サーバに接続された複数の端末間でビデオ画像をネットワークを介してリアルタイムに共有するビデオ画像共有システムを制御するビデオ画像共有プログラムであって、サーバに、ビデオ画像を記憶する記憶ステップと、ビデオ画像をネットワークを介して各端末に配信する第１の配信ステップと、端末によってビデオ画像を加工編集するために行われた所定の操作を示す操作情報をネットワークを介して受信する受信ステップと、受信ステップにおいて受信された操作情報を操作履歴情報として記憶する第２の記憶ステップと、操作情報に基づいてビデオ画像を加工編集する加工編集ステップと、加工編集されたビデオ画像をネットワークを介して各端末に配信する第２の配信ステップと、ビデオ画像および操作履歴情報に基づいて、過去の操作履歴をビデオ画像とともに再現する再現ステップとを実行させ、端末に、サーバから配信されたビデオ画像を出力する出力ステップと、出力ステップにおいて出力されたビデオ画像に対して加工編集操作を行う操作ステップと、操作ステップにおいて行われた加工編集操作を示す操作情報をサーバに送信する送信ステップとを実行させることを特徴とする。
【０００７】
【発明の実施の形態】
図１は、本発明のビデオ画像共有システムの一実施の形態の構成例を示すブロック図である。同図に示すように、本実施の形態は、ビデオカメラ１と、ビデオカメラ１によって撮影された動画データ（ビデオ画像データ）を取り込み、リアルタイムで静止画のデータに変換して後述する管理サーバ３に供給するビデオサーバ２と、後述するクライアント端末１０−１乃至１０−Ｎ（以下では、クライアント端末１０−１乃至１０−Ｎを特に区別する必要がない場合、単にクライアント端末１０と記載する）による操作の履歴（操作履歴）、ログイン情報、動画ファイルおよび音声ファイル等の各種情報を記憶するとともに、各種情報をインターネット２０を介してクライアント端末１０に配信する管理サーバ３と、インターネット２０に接続され、管理サーバ３から配信された各種情報を表示または出力し、加工編集処理を行うクライアント端末１０等により構成されている。
【０００８】
ビデオサーバ２は、ビデオカメラ１によって撮影された動画像信号を取り込み、エンコードする動画エンコーダ２１と、その動画エンコーダ２１によってエンコードされた動画データを所定の時間間隔（例えば３０分の１秒間隔）で１コマずつ抜き出し、静止画データ（フレームデータ）に変換して、通信制御部２５を介して管理サーバ３に供給するフレームバッファ２２と、各部を制御する制御部２３と、動画像信号より変換された所定の動画ファイルを記憶する記憶装置２４と、各種データの送受信を制御する通信制御部２５と、音声信号をエンコードする音声エンコーダ２６とを備えている。
【０００９】
また、ビデオサーバ２の制御部２３は、ビデオカメラ１から供給された動画像信号を所定の動画ファイル（ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｉｎｇ）等）に変換し、記憶装置２４に保存するようになっている。この動画ファイルは、後に履歴情報を再生するときに用いられる。ビデオカメラ１が音声信号を出力する場合には音声信号もビデオサーバ２に供給され、音声エンコーダ２６により音声信号がエンコードされ、音声データに変換される。また、ビデオサーバ２の制御部２３は、ビデオカメラ１から供給された音声信号を所定の音声ファイルに変換し、記憶装置２４に保存するようになっている。この音声ファイルは、後に履歴情報を再生するときに用いられる。音声および動画は、あくまでも時間軸上の連続情報であるため、音声と動画とは対にして圧縮して時間軸を合わせた状態で保存される。
【００１０】
管理サーバ３は、ログイン情報（所定のホームページにログインしたユーザのＩＤ、ログインした時刻（または日時）、ログアウトした時刻（または日時）、およびログイン回数）と、各クライアント端末１０による操作履歴（ユーザＩＤ、各種ツールを用いて操作を行った時刻（または日時）（例えば、ペンツール使用時には、ペンの色および形状、ウィンドウ内のローカル座標、描画した時刻、消去した時刻）等のユーザ履歴情報を記憶するユーザ履歴管理データベース（ＤＢ）３１と、ビデオボード機能を仮想的に実現する、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等で構成されたビデオボード３２とを備えている。
【００１１】
次に、図２のフローチャートを参照して、ビデオカメラ１によって撮影された動画像に対応する動画データをリアルタイムにインターネット２０を介して各クライアント端末１０に配信し、各クライアント端末１０間で動画データを共有し、各クライアント端末１０が協調してこの動画データに対して加工編集処理を施す手順について説明する。
【００１２】
まず最初に、ステップＳ１において、管理サーバ３は、ビデオカメラ１によって撮影された動画像に対応する動画データをビデオサーバ２から取得し、インターネット２０を介して各クライアント端末１０に配信するビデオ配信処理を実行する。次に、ステップＳ２において、各クライアント端末１０は、管理サーバ３からインターネット２０を介して配信された動画データを受け取り、図示せぬ表示装置の画面に表示する表示処理を実行する。ステップＳ１およびステップＳ２の処理は、動画データが更新される度に、繰り返し実行される。
【００１３】
次に、ステップＳ３において、各クライアント端末１０は、画面に表示された動画データに対して加工編集処理を施し、管理サーバ３に加工編集後の動画データをインターネット２０を介して送信する。次に、ステップＳ４において、管理サーバ３は、各クライアント端末１０から送信されてきた加工編集処理が施された動画データを各クライアント端末１０にインターネット２０を介して配信する。ステップＳ３およびステップＳ４の処理は、加工編集処理が行われる度に、繰り返し実行される。ここで、加工編集処理とは、各クライアント端末１０の利用者（送受信者）が、管理サーバ３からリアルタイムに配信された動画データに対して、付加図形情報を描画、合成することである。
【００１４】
図３は、図２のフローチャートのステップＳ１におけるビデオ配信処理の詳細な処理手順を示すフローチャートである。まず最初に、ステップＳ１１において、ビデオカメラ１による撮影が行われ、動画像信号がビデオサーバ２の動画エンコーダ２１に供給される。次に、ステップＳ１２において、ビデオサーバ２の動画エンコーダ２１は、ビデオカメラ１より供給された動画像信号をエンコードし、動画データに変換する。フレームバッファ２２は、動画エンコーダ２１によってエンコードされた動画データからフレーム単位で静止画データ（フレームデータ）を切り出し、記憶する。
【００１５】
次に、ステップＳ１３において、フレームバッファ２２は、動画エンコーダ２１より出力される動画データから切り出した静止画データを通信制御部２５を介してＵＤＰ（ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ）プロトコルを用いて管理サーバ３に供給する。管理サーバ３は、ビデオサーバ２より供給された、動画データから切り出された静止画データをビデオボード３２に記憶させるとともに、この静止画データをインターネット２０を介して各クライアント端末１０に配信する。ビデオボード３２に記憶される静止画データは、フレーム単位で更新されるため、後述するように、各クライアント１０は、管理サーバ３が提供するホームページにアクセスすることによりビデオボード３２に描画された静止画データを取得し、更新し続けることによって、リアルタイムに動画像の再生を行うことができ、タイムラグ無しに動画像を表示することができる。
【００１６】
次に、ステップＳ１４において、フレームの有無が判定される。即ち、フレームが更新されて差分フレームがあるか否かが判定される。差分フレームがあると判定された場合、ステップＳ１２に戻り、ステップＳ１２以降の処理が繰り返し実行される。一方、差分フレームが無いと判定された場合、本処理を終了する。
【００１７】
図４は、図２のフローチャートのステップＳ２の各クライアント端末１０における表示処理の手順を示すフローチャートである。まず最初に、ステップＳ２１において、各クライアント端末１０は、管理サーバ３が提供する所定のホームページにインターネット２０を介してアクセスし、取得した静止画データ（フレームデータ）により、既存ファイルの上書きを行う。次に、ステップＳ２２において、フレームの有無、即ち、差分フレームの有無が判定される。差分フレームがある場合、静止画データが更新されたことを示しており、画面を更新する必要がある。
【００１８】
ステップＳ２２における判定の結果、差分フレームが無い（静止画データが更新されていない）と判定された場合、ステップＳ２１に戻り、ステップＳ２１以降の処理が繰り返し実行される。一方、差分フレームがある（静止画データが更新されている）と判定された場合、ステップＳ２３に進み、蓄積されたファイル（静止画データ）のうち、最新の静止画データを画面に表示し、ステップＳ２１に戻る。その後、ステップＳ２１以降の処理が繰り返し実行される。このように、各クライアント端末１０の画面には、動画データからリアルタイムに切り出された静止画データ、即ち動画像が表示される。
【００１９】
図５は、各クライアント端末１０の画面に表示された動画データに対して、加工・編集処理を施す手順を示すフローチャートである。ここでは、クライアント端末１０−１において加工・編集処理が行われるものとする。加工・編集処理は、動画上に図形を描画したり、消去することを実現するものである。加工・編集処理において選択可能なツールは、ペン（動画像上に図形を描画するためのツール）、消しゴム（動画像上にペンで描かれた図形を消去するためのツール）、およびペンの色を変更するツールである。
【００２０】
各ツールは、例えば、画面上に各ツールに対応する文字や図形を表示し、マウス等のポインティングデバイスを操作して所望のツールに対応する文字や図形を指定してクリックすることにより選択することができるようになっている。同様に、画面上にペンの種別（色や大きさ（太さ））に対応する文字や図形を表示し、マウス等のポインティングデバイスを操作して所望のペンの種別に対応する文字や図形を指定してクリックすることによりペンの種別を選択することができるようになっている。
【００２１】
まず最初に、ステップＳ３１において、クライアント端末１０−１の図示せぬ制御部により、ユーザによって選択されたツールの種類が判定される。その結果、ペンツールが選択されたと判定された場合、ステップＳ３２に進み、ペン描画処理が実行される。ペン描画処理は、動画像上に、指定された色の任意の図形を描画する処理である。
【００２２】
まず、ユーザによって、クライアント端末１０−１に接続された図示せぬキーボード等が操作されてペンの色が選択される。次に、ユーザによって、クライアント端末１０−１に接続された図示せぬマウス等のポインティングデバイスに対してドラッグ等の操作がなされると、画面上のカーソルの位置がｘ座標およびｙ座標のそれぞれの方向に１ドットだけ移動する毎に、カーソルの画面上での位置を示すｘｙ座標（例えば、画面左上隅を原点とする）の値が取得される。そして、カーソルの位置に、選択された色のドットが表示される。そして、ステップＳ３４において、カーソルの位置を示すｘｙ座標値がインターネット２０を介して管理サーバ３に送信される。
【００２３】
その後、ステップＳ３２に戻り、ステップＳ３２以降の処理が繰り返し実行される。これにより、カーソルが移動したとき、その軌跡の部分に、指定された色のドットが連続的に表示され、ステップＳ３４において、カーソルが移動した軌跡の各ドット毎のｘｙ座標値を示す座標データが、ユーザＩＤ（ログイン時に入力されるＩＤ）と、ペンの色および太さと、時刻等の情報とともに、操作履歴情報としてリアルタイムに管理サーバ３に送信される。管理サーバ３は、この操作履歴情報を、受信した順に記憶装置３１に記憶させる。ステップＳ３２およびステップＳ３４の処理は、ペン描画が行われている間、繰り返し実行される。また、ユーザにより、ペン描画処理の終了が指示されたときは、ステップＳ３１に戻り、ステップＳ３１以降の処理が繰り返し実行される。
【００２４】
一方、ステップＳ３１において、消しゴムが選択された場合、ステップＳ３３に進み、消去処理が実行される。消去処理は、動画像上に描画された図形を一括消去する処理および動画像上に描画された図形を選択的に消去（部分消去）する処理である。即ち、一括消去の場合は所定の操作により動画上に描画された図形が一括消去される。また、指定した図形を選択的に消去する場合は、ユーザがマウス等のポインティングデバイスを操作して、動画像上に描画された消去したい図形上にカーソルを移動させ、左ボタンをクリックするなどしてその図形を選択すると、クライアント端末１０−１の図示せぬ制御部は、画面上（またはウィンドウ上）のカーソルの位置を示すｘｙ座標値を取得し、このｘｙ座標値を含む図形を画面上から消去する。
【００２５】
そして、ステップＳ３４において、このｘｙ座標値を示すｘｙ座標データを含む操作履歴情報が、インターネット２０を介して管理サーバ３に送信される。図形消去時の操作履歴情報は、クライアント端末１０−１のＩＤ（またはログイン時のユーザＩＤ）と、時刻（図形が消去された時刻）を示す情報と、図形消去時のカーソルの位置を示すｘｙ座標データと、一括消去か部分消去かを示す情報等からなる。管理サーバ３は、この操作履歴情報を、受信した順に記憶装置３１に記憶させる。その後、ステップＳ３１に戻り、ステップＳ３１以降の処理が繰り返し実行される。
【００２６】
図６は、所定のクライアント端末１０によって図形が描画または消去されたときの操作履歴情報が、他のクライアント端末１０に対して配信（マルチキャスト配信）される手順を示すフローチャートである。ステップＳ４１においては、管理サーバ３は、クライアント端末１０−１からインターネット２０を介して送信されてきた上記操作履歴情報を受信すると、ステップＳ４２において、これらの操作履歴情報をインターネット２０を介してＵＤＰプロトコルを用いて他のクライアント端末１０−２乃至１０−Ｎのうち、クライアント端末１０−１と同一のホームページをログイン後に表示しているものにマルチキャスト配信する。
【００２７】
図７は、クライアント端末１０の画面に動画像を表示し、その動画像上にペンツールを用いて図形を描画した様子を示している。この動画像を提供するホームページにログインしている全てのクライアント端末１０に対してクライアント端末１０上で描画された上記図形を示すデータが管理サーバ３を介してインターネット２０経由で配信され、同一の動画像および図形が画面に表示される。従って、各クライアント１０のユーザ同士で、同一の情報をリアルタイムで共有することができる。また、動画像上に図形を描画したり消去した場合、操作履歴情報が他のクライアント端末１０に管理サーバ３を介してインターネット２０経由でリアルタイムでマルチキャスト配信されるため、各種情報を複数のユーザで共有することができる。
【００２８】
次に、図８を参照して、過去においてログインしたホームページ上で動画像上に図形の描画や消去等の操作を行った操作履歴を再生することにより、過去を再現する方法について説明する。まず最初に、ステップＳ５１において、操作履歴保存処理が実行される。次に、ステップＳ５２において、操作履歴確認処理が実行される。次に、ステップＳ５３において、操作履歴再生処理が実行され、本処理を終了する。
【００２９】
図９は、図８のフローチャートのステップＳ５１における操作履歴保存処理の詳細な手順を示すフローチャートである。まず、ステップＳ６１において、クライアント端末１０の制御部は、ユーザによって入力されたユーザ情報（ＩＤ）を入手する。次に、ステップＳ６２において、ユーザによって操作された操作履歴情報を取得する。操作履歴情報は、例えば、ユーザがキーボードやマウス等を操作して実行した処理の種類と、その処理を実行した時刻（または日時）と、ユーザのＩＤ等からなる。
【００３０】
ステップＳ６３においては、ステップＳ６２において取得された操作履歴情報が、インターネット２０を介してリアルタイムに管理サーバ３に配信される。その後、操作履歴情報が取得される間、ステップＳ６２、Ｓ６３の処理が繰り返し実行される。ステップＳ６４においては、ステップＳ６３においてクライアント端末１０から管理サーバ３に配信された操作履歴情報が、管理サーバ３において受信され、順次、ユーザ履歴管理データベース３１に登録される。ユーザ履歴管理データベース３１には、ログインしたユーザのユーザＩＤ毎に、操作履歴情報が登録される。そして、クライアント端末１０がログアウトしたとき、本処理を終了する。
【００３１】
図１０は、図８のフローチャートのステップＳ５２における操作履歴確認処理の詳細な処理手順を示すフローチャートである。まず、ステップＳ７１において、ユーザ情報（ＩＤ）の確認処理が実行される。即ち、クライアント端末１０のユーザはユーザＩＤを入力し、管理サーバ３に送信することにより、ユーザＩＤを管理サーバ３に通知する。次に、ステップＳ７２において、管理サーバ３によって、上記ユーザＩＤに対応するユーザが過去に行った操作履歴、およびその時点で他のログインしたユーザが行った全ての操作履歴情報がユーザ履歴管理データベース３１から読み出される。その後、ステップＳ７１に戻り、ステップＳ７１、ステップＳ７２の処理が繰り返し実行される。
【００３２】
図１１は、図８のフローチャートのステップＳ５３における操作履歴再生処理の詳細な処理手順を示すフローチャートである。まず、ステップＳ８１において、ステップＳ５２において取得された操作履歴情報が入手される。次に、ステップＳ８２において、ステップＳ８１において入手された操作履歴情報に基づいて、画面上への情報のプロットが行われる。即ち、操作履歴情報に従って、過去において行われた操作によって画面に反映されるべき図形の描画や消去等の処理が行われ、操作履歴情報の再生が行われるとともに、ログイン後にホームページに表示されていた動画像や音声の再生が時系列的に行われる。即ち、動画ファイルや音声ファイルには過去において表示された時刻（または日時）が記録され、操作履歴情報と時刻（または日時）を表す時間情報によってリンクされており、操作履歴情報の再生と同期して、管理サーバ３は、ビデオサーバ２の記憶装置２４に記憶されている動画ファイルや音声ファイルを取得して、再生する。
【００３３】
即ち、管理サーバ３は、ユーザ情報（ユーザＩＤ）と、時刻をキーにしたユニークなＩＤと、ログイン情報から得られる同一のホームページにアクセスしていた他のユーザのユーザＩＤとに基づいて、指定時刻（または日時）の動画像ファイルをビデオサーバ２から取得し、その動画像ファイルを再生する。同時に、指定時刻（または日時）にその動画ファイルを閲覧していた全てのユーザの操作履歴情報をユーザ履歴管理データベース３１から読み出し、再生する。
【００３４】
次に、ステップＳ８３において、履歴ファイル（動画像ファイルや操作履歴情報を含む）の再生が終了したか否かが判定される。即ち、ステップＳ８１において入手された操作履歴情報および動画ファイルや音声ファイル等を含む履歴ファイルの再生が全て終了したか否かが判定される。その結果、履歴ファイルの再生が終了していないと判定された場合、ステップＳ８２に戻り、ステップＳ８２以降の処理が繰り返し実行される。一方、履歴ファイルの再生が終了したと判定された場合、ステップＳ８４において再生終了処理が実行され、本処理を終了する。
【００３５】
図１２は、描画制御処理の詳細な処理手順を示すフローチャートである。描画制御処理には、ドロー処理と表示更新処理とがある。まず最初に、ステップＳ９１において、ユーザがクライアント端末１０のマウス等を操作して選択したツールの種別が判定される。その結果、ユーザがペンツールを選択したと判定された場合、ステップＳ９２において、ペンツールが選択されたことを示す操作履歴情報が図示せぬ記憶装置に保存される。
【００３６】
次に、ステップＳ９３において、ユーザがペンツールを用いて行おうとしている操作の種類が判定される。その結果、ユーザがペンツールを用いてペン消去を行おうとしていると判定された場合、ステップＳ９４において上述した操作履歴確認処理が実行され、ログインしているユーザの操作履歴情報が取得される。次に、ステップＳ９５において、ユーザがマウス等を用いて、画面上に表示された、ユーザが過去に描画した図形のうち、消去したい所望の図形にカーソルを合わせて左ボタンをクリックする等の操作がなされると、その図形が消去される（ペン消去）。その後、ステップＳ９６において、図形を消去したことを示す操作履歴情報（消去された図形の座標、消去した時刻、ユーザＩＤ等）が、ユーザＩＤおよび時刻とともに操作履歴情報として図示せぬ記憶装置に保存される。
【００３７】
また、ステップＳ９３において、ユーザがペンツールを用いてペン描画を行おうとしていると判定された場合、ステップＳ９７において、ペン描画処理が実行される。即ち、ユーザによってマウスに対してドラッグ操作がなされたとき、カーソルが移動した軌跡に沿って指定された色のドットが表示される。その後、ステップＳ９８において、その軌跡のｘｙ座標値が、ユーザＩＤおよび時刻とともに操作履歴情報として図示せぬ記憶装置に保存される。
【００３８】
また、ステップＳ９３において、ユーザがペンツールを用いてペン種選択を行おうとしていると判定された場合、ステップＳ９９において、ペン種選択処理が行われる。即ち、ユーザがマウス等を用いて、図示せぬ制御部の制御によって画面上に表示されたペン種を示す図形から所望のペン種にカーソルを合わせ、左ボタンをクリックする等の操作によりペン種を選択すると、制御部は選択されたペン種を設定する。次に、ステップＳ１００において、選択されたペン種が、ユーザＩＤおよび時刻とともに操作履歴情報として図示せぬ記憶装置に保存される。
【００３９】
一方、ステップＳ９１において、ユーザが消去ツール（一括画面消去）を選択したと判定された場合、ステップＳ１０１において、消去ツールが選択されたことを示す操作履歴情報（消去ツールが選択されたことを示す情報と、時刻と、ユーザＩＤ）が図示せぬ記憶装置に保存される。次に、ステップＳ１０２において、一括画面消去が実行される。これにより、ユーザが画面にペンツールで描画した全ての図形が消去される。次に、ステップＳ１０３において、一括画面消去が実行されたことを示す操作履歴情報（一括画面消去が実行されたことを示す情報、時刻、ユーザＩＤ）が図示せぬ記憶装置に記憶される。
【００４０】
ステップＳ９６、ステップＳ９８、ステップＳ１００、ステップＳ１０３のいずれかの処理が終了すると、ステップＳ１０４に進み、図示せぬ記憶装置に記憶された操作履歴情報が管理サーバ３に送信され、ホームページが更新される。そして、更新されたホームページの情報が、インターネット２０経由で、ログインしている他の全てのクライアント端末１０にマルチキャスト配信される。これにより、例えばクライアント端末１０−１のユーザが画面上に図形を描画すると、その図形が他のクライアント端末１０−２乃至１０−Ｎに配信され、画面上に表示される。このように、複数のクライアント端末１０間で、リアルタイムに情報を共有することができる。
【００４１】
図１３は、操作履歴情報を利用して、過去にペンツールを用いて描画した図形を消去する様子を示している。この例では、動画像上に描画されたＸ印の上にカーソルを移動させ、クリックすることによりＸ印を消去している。このように、過去の操作履歴情報を再生しながら、過去に描画した図形等の情報を消去することができる。
【００４２】
次に、クライアント端末１０の画面上に表示された動画像の所定の対象物に対して描画された図形をトラッキングさせる処理について説明する。このトラッキング処理は、動画像の所定の対象物が画面上で移動したとき、その対象物に対して描画された図形もその対象物に追従して移動させるようにする処理である。
【００４３】
図１４は、ビデオカメラを横に振った場合、所定の被写体（この例ではパーソナルコンピュータ）を囲むようにして描画された図形（丸印）がパーソナルコンピュータに追従して移動することを示している。従って、カメラを横に振っても被写体であるパーソナルコンピュータと丸印との相対的な位置関係はほとんど変化せず、パーソナルコンピュータ上に丸印が固定されることになる。
【００４４】
次に、図１５のフローチャートを参照して、トラッキング処理の詳細な手順について説明する。まず最初に、ステップＳ１１１において、特徴図形（被写体）の色成分分析が行われる。次に、ステップＳ１１２において、特徴図形の形状分析が行われる。次に、ステップＳ１１３において、分析結果の反映が行われる。即ち、色成分分析および形状分析によって得られた特徴図形の画面上での位置のずれを示す情報が記憶される。次に、ステップＳ１１４において、特徴図形の画面上での座標の抽出が行われる。次に、ステップＳ１１５において、描画情報（例えば丸印等のペンツールで描画された図形）を描画すべき画面上（またはウィンドウ内）のｘｙ座標の割り当てが行われる。次に、ステップＳ１１６において、描画情報の再描画処理が行われる。その結果、被写体が移動しても、その被写体に追従してその被写体に対して描画された図形も移動することになる。
【００４５】
図１６は、図１５のステップＳ１１１における特徴図形の色成分分析の詳細な処理手順を示すフローチャートである。まず最初に、管理サーバ３の制御部３３は、ステップＳ１２１において、ビデオボード３２上に描画された動画像を構成する各ドットのＲＧＢ情報の標準偏差を求める。次に、ステップＳ１２２において、特徴点（いまの場合、図１４において丸印で囲まれた領域）のＲＧＢ情報の標準偏差を求める。次に、ステップＳ１２３において、ステップＳ１２２で求めたＲＧＢ情報の閾値（標準偏差の幅）を決める。ここで、閾値は経験的に求められた最良の値とされる。次に、ステップＳ１２４において、閾値外のＲＧＢ情報にマスクをかける。即ち、閾値外にブラックマスクをかけ、閾値外のＲＧＢの値を０にする。その後、本処理を終了する。
【００４６】
図１７は、図１５のステップＳ１１２における特徴図形の形状分析の詳細な処理手順を示すフローチャートである。まず最初に、ステップＳ１３１において、管理サーバ３の制御部３３は、ビデオボード３２にペンツールで描画された領域の特徴点（いまの場合、図１４において丸印で囲まれた領域）を細分化する。即ち、二値化して細線化する。次に、ステップＳ１３２において、領域外に対してブラックマスクをかける。その後、本処理を終了する。
【００４７】
図１８は、図１５のステップＳ１１３における分析結果の反映処理の詳細な処理手順を示すフローチャートである。まず最初に、ステップＳ１４１において、管理サーバ３の制御部３３は、画面全体のトレースを行う。即ち、ステップＳ１１１において得られた丸印で囲まれた領域の各ドットのＲＧＢの標準偏差と、画面全体の各ドットのＲＧＢの標準偏差とに基づいて、丸印で囲まれた領域が画面上のどこにあるかをトレースする。次に、ステップＳ１４２において、図１６の特徴図形の色成分分析処理のステップＳ１２３で得られた閾値（標準偏差の幅）を拡大し、ブラックマスクされない領域を拡大する。
【００４８】
次に、ステップＳ１４３において、ステップＳ１４２で得られた拡大されたブラックマスクされない領域の画像から、図１７の特徴図形の形状分析処理で得られた特徴点を探す。特徴点が見つかったら、ステップＳ１４４において、特徴点が見つかった画面上での位置を示すｘｙ座標値を決定し、図示せぬ記憶装置に記憶させた後、本処理を終了する。その後、図１５のステップＳ１１４に進み、上述したような処理が実行され、被写体に追従して丸印が移動する。このように、動画像上の所定の被写体に対して丸印等の図形で印を付けると、被写体が移動してもそれに追従して丸印も移動する。このトラッキング処理は、上述した履歴ファイルの再生時においても同様に実行される。
【００４９】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更することができることは言うまでもない。
【００５０】
【発明の効果】
以上の如く、本発明に係るビデオ画像共有システムによれば、サーバは、ビデオ画像を記憶し、ビデオ画像をネットワークを介して各端末に配信し、端末によってビデオ画像を加工編集するために行われた所定の操作を示す操作情報をネットワークを介して受信し、受信された操作情報を操作履歴情報として記憶し、操作情報に基づいてビデオ画像を加工編集し、加工編集されたビデオ画像をネットワークを介して各端末に配信し、ビデオ画像および操作履歴情報に基づいて、過去の操作履歴をビデオ画像とともに再現し、端末は、サーバから配信されたビデオ画像を出力し、出力されたビデオ画像に対して加工編集操作を行い、加工編集操作を示す操作情報をサーバに送信するようにしたので、複数の端末間でビデオ画像を共有し、各端末において行われたビデオ画像に対する加工編集をリアルタイムで各端末に反映し、過去の操作履歴をビデオ画像とともに再現することができる。
【図面の簡単な説明】
【図１】本発明のビデオ画像共有システムの一実施の形態の構成例を示すブロック図である。
【図２】本実施の形態の動作を説明するためのフローチャートである。
【図３】図２のビデオ配信処理を説明するためのフローチャートである。
【図４】図２の表示処理を説明するためのフローチャートである。
【図５】図２の加工・編集処理を説明するためのフローチャートである。
【図６】図２の情報配信処理を説明するためのフローチャートである。
【図７】動画像上に図形を表示した例を示す図である。
【図８】履歴ファイルの再生処理手順を説明するためのフローチャートである。
【図９】図８の操作履歴保存処理を説明するためのフローチャートである。
【図１０】図８の操作履歴確認処理を説明するためのフローチャートである。
【図１１】図８の操作履歴再生処理を説明するためのフローチャートである。
【図１２】描画制御処理の詳細な処理手順を説明するためのフローチャートである。
【図１３】動画像上に描画された図形が消去される様子を示す図である。
【図１４】トラッキング処理により、被写体が移動しても丸印が追従して移動することを示す図である。
【図１５】トラッキング処理を説明するためのフローチャートである。
【図１６】図１５の特徴図形の色成分分析処理を説明するためのフローチャートである。
【図１７】図１５の特徴図形の形状分析処理を説明するためのフローチャートである。
【図１８】図１５の分析結果の反映の処理手順を説明するためのフローチャートである。
【符号の説明】
１ ビデオカメラ
２ ビデオサーバ
３ 管理サーバ
１０−１乃至１０−Ｎ クライアント端末
２１ 動画エンコーダ
２２ フレームバッファ
２３，３３ 制御部
２４ 記憶装置
２５，３４ 通信制御部
２６ 音声エンコーダ
３１ ユーザ履歴管理データベース
３２ ビデオボード

Claims (11)

1. サーバに接続された複数の端末間でビデオ画像をネットワークを介してリアルタイムに共有するビデオ画像共有システムであって、
   前記サーバは、
   前記ビデオ画像を記憶する記憶手段と、
   前記ビデオ画像を前記ネットワークを介して各端末に配信する第１の配信手段と、
   前記端末によって前記ビデオ画像を加工編集するために行われた所定の操作を示す操作情報を前記ネットワークを介して受信する受信手段と、
   前記受信手段によって受信された前記操作情報を操作履歴情報として記憶する第２の記憶手段と、
   前記操作情報に基づいて前記ビデオ画像を加工編集する加工編集手段と、
   加工編集された前記ビデオ画像を前記ネットワークを介して各端末に配信する第２の配信手段と、
   前記ビデオ画像および前記操作履歴情報に基づいて、過去の操作履歴を前記ビデオ画像とともに再現する再現手段と
   を備え、
   前記端末は、
   前記サーバから配信された前記ビデオ画像を出力する出力手段と、
   前記出力手段によって出力された前記ビデオ画像に対して加工編集操作を行う操作手段と、
   前記操作手段によって行われた前記加工編集操作を示す操作情報を前記サーバに送信する送信手段と
   を備える
   ことを特徴とするビデオ画像共有システム。
2. 前記ビデオ画像が表示された画面内の所定の被写体に対して、前記端末の前記操作手段によって所定の図形が描画されたとき、前記被写体の移動に追従して前記図形を移動させ、前記被写体と前記図形の相対的な位置関係をほぼ一定にするトラッキング手段をさらに備える
   ことを特徴とする請求項１に記載のビデオ画像共有システム。
3. 前記トラッキング手段は、前記被写体の前記画面上での位置を色成分分析および形状分析によって検出し、前記位置に前記図形を描画する
   ことを特徴とする請求項２に記載のビデオ画像共有システム。
4. 前記サーバの第１の配信手段は、所定のホームページに対してユーザを特定するＩＤを入力してログインした端末に対して、前記ビデオ画像を配信し、前記第２の配信手段は、前記端末に対して、加工編集された前記ビデオ画像を配信する
   ことを特徴とする請求項１乃至３のいずれかに記載のビデオ画像共有システム。
5. 前記操作履歴情報は、ログインしたユーザを特定するＩＤ情報と、加工編集のために行われた操作を示す情報と、前記操作が行われた時刻を示す情報とからなり、前記ビデオ画像と前記操作履歴情報とは前記時刻によってリンクされている
   ことを特徴とする請求項１乃至４のいずれかに記載のビデオ画像共有システム。
6. サーバに接続された複数の端末間でビデオ画像をネットワークを介してリアルタイムに共有するビデオ画像共有方法であって、
   前記サーバは、
   前記ビデオ画像を記憶する記憶ステップと、
   前記ビデオ画像を前記ネットワークを介して各端末に配信する第１の配信ステップと、
   前記端末によって前記ビデオ画像を加工編集するために行われた所定の操作を示す操作情報を前記ネットワークを介して受信する受信ステップと、
   前記受信ステップにおいて受信された前記操作情報を操作履歴情報として記憶する第２の記憶ステップと、
   前記操作情報に基づいて前記ビデオ画像を加工編集する加工編集ステップと、
   加工編集された前記ビデオ画像を前記ネットワークを介して各端末に配信する第２の配信ステップと、
   前記ビデオ画像および前記操作履歴情報に基づいて、過去の操作履歴を前記ビデオ画像とともに再現する再現ステップと
   を備え、
   前記端末は、
   前記サーバから配信された前記ビデオ画像を出力する出力ステップと、
   前記出力ステップにおいて出力された前記ビデオ画像に対して加工編集操作を行う操作ステップと、
   前記操作ステップにおいて行われた前記加工編集操作を示す操作情報を前記サーバに送信する送信ステップと
   を備える
   ことを特徴とするビデオ画像共有方法。
7. 前記ビデオ画像が表示された画面内の所定の被写体に対して、前記端末の前記操作ステップにおいて所定の図形が描画されたとき、前記被写体の移動に追従して前記図形を移動させ、前記被写体と前記図形の相対的な位置関係をほぼ一定にするトラッキングステップをさらに備える
   ことを特徴とする請求項６に記載のビデオ画像共有方法。
8. 前記トラッキングステップにおいては、前記被写体の前記画面上での位置を色成分分析および形状分析によって検出し、前記位置に前記図形を描画する
   ことを特徴とする請求項７に記載のビデオ画像共有方法。
9. 前記サーバの第１の配信ステップにおいては、所定のホームページに対してユーザを特定するＩＤを入力してログインした端末に対して、ビデオ画像を配信し、前記第２の配信ステップにおいては、前記端末に対して、加工編集された前記ビデオ画像を配信する
   ことを特徴とする請求項６乃至８のいずれかに記載のビデオ画像共有方法。
10. 前記操作履歴情報は、ログインしたユーザを特定するＩＤ情報と、加工編集のために行われた操作を示す情報と、前記操作が行われた時刻を示す情報とからなり、前記ビデオ画像と前記操作履歴情報とは前記時刻によってリンクされている
    ことを特徴とする請求項６乃至９のいずれかに記載のビデオ画像共有方法。
11. サーバに接続された複数の端末間でビデオ画像をネットワークを介してリアルタイムに共有するビデオ画像共有システムを制御するビデオ画像共有プログラムであって、
    前記サーバに、
    前記ビデオ画像を記憶する記憶ステップと、
    前記ビデオ画像を前記ネットワークを介して各端末に配信する第１の配信ステップと、
    前記端末によって前記ビデオ画像を加工編集するために行われた所定の操作を示す操作情報を前記ネットワークを介して受信する受信ステップと、
    前記受信ステップにおいて受信された前記操作情報を操作履歴情報として記憶する第２の記憶ステップと、
    前記操作情報に基づいて前記ビデオ画像を加工編集する加工編集ステップと、
    加工編集された前記ビデオ画像を前記ネットワークを介して各端末に配信する第２の配信ステップと、
    前記ビデオ画像および前記操作履歴情報に基づいて、過去の操作履歴を前記ビデオ画像とともに再現する再現ステップと
    を実行させ、
    前記端末に、
    前記サーバから配信された前記ビデオ画像を出力する出力ステップと、
    前記出力ステップにおいて出力された前記ビデオ画像に対して加工編集操作を行う操作ステップと、
    前記操作ステップにおいて行われた前記加工編集操作を示す操作情報を前記サーバに送信する送信ステップと
    を実行させる
    ことを特徴とするビデオ画像共有プログラム。

Images