JP2008294789A - 遠隔指示システム及びサーバ装置 - Google Patents

Abstract

【課題】 アノテーション情報を適切なタイミングで蓄積し、蓄積したアノテーション情報により会議等の振り返りを可能とすること遠隔指示システムを提供することを目的とする。
【解決手段】 サーバ側で対象物をビデオカメラ１１８で撮像した撮像画像をネットワーク４００を介してクライアント側のクライアントシステム２４０へ送信し、クライアント側のクライアントシステム２４０で当該撮像画像に付加された注釈画像をサーバ側で受信してホワイトボード１６０にプロジェクタ１１６に投影させ、特定の事象をトリガにして前記撮像画像および注釈画像の少なくとも一方を記憶手段に記憶するサーバ１１３を有することを特徴としている。
【選択図】 図１

Description

本発明は遠隔指示システム及びサーバ装置に関する。

会議システム等ではサーバ装置側で立体物等の対象物をビデオカメラ等の撮像装置で撮像し、遠隔地にあるクライアント装置にその画像を送信し、クライアント装置では、送信された画像にアノテーション(注釈)などの指示を行い，その対象物画像に対する指示を示す指示画像をアノテーション画像としてサーバ装置側に送信して、投影装置により立体物にアノテーション画像を投影するものがある(例えば、特許文献１参照)。

また、特許文献２に開示された投影表示システムでは、配線基板上に形成された配線パターンを検査する場合、配線パターンに対応したコンテンツデータをサーバから表示装置に取り込み、表示装置の投影部に投影させることにより、コンテンツデータから得られる配線パターンに対応した投影画像を配線基板上に実寸で表示させ、配線パターンを投影画像と照合することにより、配線パターンの検査を行っている。
特開２００５−０３３７５６号 特開２００５−３２７１２７号

本発明はアノテーション情報を適切なタイミングで蓄積し、蓄積したアノテーション情報により会議等の振り返りを可能とすること遠隔指示システム及びサーバ装置を提供することを目的とする。

前記課題を解決するために、本発明の第１の態様の遠隔指示システムは、サーバ側で対象物を撮像手段で撮像した撮像画像をネットワークを介してクライアント側の装置へ送信し、クライアント側の装置で当該撮像画像に付加された注釈画像をサーバ側で受信して当該対象物に投影手段に投影させる制御手段と、特定の事象をトリガにして撮像画像および注釈画像の少なくとも一方を記憶手段に記憶する記憶処理手段と、を有することを特徴としている。

本発明の第２の態様の遠隔指示システムでは、請求項１に記載の発明において、更に、特定の時点における復元指示に基づいて、記憶手段から撮像画像および注釈画像の少なくとも一方を取得して対象物に投影する復元手段を有することを特徴としている。

本発明の第３の態様の遠隔指示システムでは、請求項２に記載の発明において、制御手段が復元手段を兼ねることを特徴としている。

本発明の第４の態様の遠隔指示システムでは、請求項１から３のいずれか１項に記載の発明において、特定の事象が、新たなクライアントが接続されたこと、クライアントが切断されたこと、一定時間間隔内にある所定の数以上の注釈が付与されたこと、所定の撮像画像領域内においてある所定の数以上の注釈が付与されたこと、所定の撮像画像領域内においてある所定の数以上の別々のクライアントからの注釈が付与されたこと、撮像画像の変化が閾値を超えたこと、及びクライアントから保存が要求されたことの内、少なくとも一つであることを特徴としている。

本発明の第５の態様の遠隔指示システムでは、請求項１から４のいずれか１項に記載の発明において、更に、特定の事象の発生を検出し、検出結果を特定の事象として通知する通知手段を有することを特徴としている。

本発明の第１の態様のサーバ装置では、対象物を撮像手段で撮像した撮像画像をネットワークを介してクライアント装置へ送信し、クライアント装置で当該撮像画像に付加された注釈画像を受信して当該対象物に投影手段に投影させる制御手段を有し、制御手段が、特定の時点における復元指示に基づいて、特定の事象をトリガにして撮像画像および注釈画像の少なくとも一方が記憶された記憶手段から記憶内容を取得し、取得した内容に基づく投影画像を投影手段に投影させることを特徴としている。

本発明の第１の態様の構成によれば、議論を振り返る際に必要なアノテーション情報などが適切なタイミングで記憶(保存)することができる。

本発明の第２の態様の構成によれば、保存された注釈(アノテーション)や撮像画像等を用いて、遠隔地においてこれまでの会議等の議論内容を対象物(実物体)を共有した形で、振り返りを行うことができる。また、議論に参加していない者も振り返りを行うことができる。

本発明の第３の態様の構成によれば、構成を簡単にできる。

本発明の第４の態様の構成によれば、目的に応じて事象を選択することにより、適切なタイミングで記憶(保存)処理ができる。

本発明の第５の態様の構成によれば、通知手段からの事象発生の通知により、適切なタイミングで自動保存が可能となる。

本発明の第６の態様の構成によれば、議論を振り返る際に必要なアノテーション情報などが適切なタイミングで記憶(保存)することができる。保存された注釈(アノテーション)や撮像画像等を用いて、遠隔地においてこれまでの会議等の議論内容を対象物(実物体)を共有した形で、振り返りを行うことができる。また、議論に参加していない者も振り返りを行うことができる。

以下、本発明の最良の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態の遠隔指示システムの構成を示す構成図である。同図において、拠点Ａには、サーバシステム１１０及び対象物(被写体)としてのホワイトボード１６０が設置され、拠点Ｂには、クライアントシステム２４０が設置されている。

拠点Ａのサーバシステム１１０は、描画サーバ１１２及びビデオサーバ１１４から成るサーバ装置（以下、単にサーバという。）１１３、プロジェクタ１１６、ビデオカメラ１１８及びハーフミラー１２０を有する。

ビデオカメラ１１８は、本発明の撮像手段の一例であって、サーバ１１３の制御により、ホワイトボード１６０や立体被写体などの対象物をハーフミラー１２０を介して撮像する。
プロジェクタ１１６は、本発明の投影手段の一例であって、サーバ１１３の制御により、ビデオカメラ１１８の撮像画像や注釈画像をハーフミラー１２０を介して対象物等に投影する。
ハーフミラー１２０はビデオカメラ１１８とプロジェクタ１１６の画角と光軸を一致させるために設けられる。
サーバ１１３は、本発明の制御手段、記憶処理手段、復元手段等を備える装置の一例であって、描画コマンドに応じてプロジェクタ１１６へ表示画像を送出し、ビデオカメラ１１８の画像を取り込みインターネット４００を介してクライアント側と通信するするコンピュータである。

一方、拠点Ｂのクライアントシステム２４０は、サーバ１１３からの画像を受信して表示画像を生成して表示し、その画像に加えた注釈画像を生成してサーバ１１３へ送信するクライアントコンピュータ(以下、単にクライアントという。)２４１と、クライアント２４１が生成した表示画像とユーザの入力した注釈画像とを重畳して表示するＧＵＩ表示機能を含むモニタ(表示装置)２４２とを有する。

拠点Ａのサーバシステム１１０内の描画サーバ１１２及びビデオサーバ１１４(即ち、サーバ１１３)と、拠点Ｂのクライアントシステム２４０とは、インターネット４００によって通信可能に接続されている。

拠点Ａのサーバシステム１１０(サーバ１１３)は、拠点Ｂのクライアントシステム２４０の要求に応じて、拠点Ａにおける画像投影のための処理を行う。
拠点Ｂのクライアントシステム２４０は、拠点Ｂのユーザの操作指示に応じて、注釈等のアノテーション画像を投影させる指示である描画コマンドと、当該アノテーション画像の情報を生成し、インターネット４００を介して、拠点Ａのサーバシステム１１０内(サーバ１１３内)の描画サーバ１１２に対して送信する。

描画サーバ１１２は、受信した描画コマンドに応じて、当該描画コマンドと共に受信したアノテーション画像の情報をプロジェクタ１１６へ出力する。また、描画サーバ１１２は、予め保持している画像情報が存在する場合には、その画像情報をプロジェクタ１１６へ出力する。プロジェクタ１１６は、入力した画像情報に対応する画像を、ハーフミラー１２０を介してホワイトボード１６０へ投影する。

ホワイトボード１６０には、プロジェクタ１１６によって画像が投影され、拠点Ａのユーザによって文字等が書き込まれる。
ビデオカメラ１１８は、ハーフミラー１２０を介して、投影画像が投影されるとともに文字等が書き込まれたホワイトボード１６０を撮像する。このビデオカメラ１１８は、プロジェクタ１１６と画角及び光軸がほぼ一致するように、パン、チルト、ズーム、配置等の各種設定がなされている。撮像により得られた画像情報は、サーバ１１３内のビデオサーバ１１４へ出力される。
ビデオサーバ１１４は、入力した画像情報を、インターネット４００を介して、拠点Ｂのクライアントシステム２４０に対して送信する。

拠点Ｂのクライアントシステム２４０は、受信した画像情報をモニタ(表示装置)２４２の表示画面２４３等に表示する。これにより、拠点Ｂのユーザは、拠点Ａのホワイトボード１６０の画像を認識することができる。

なお、図１のシステム構成では、クライアントシステム２４０(クライアント)は一つしか記載されていないが、複数のクライアントがネットワーク４００を介してサーバシステム１１０内のサーバ１１３に接続されていてもよい。

本実施の形態では、特定のイベントをトリガイベントとして保存処理をする。本実施形態では、説明を簡単にするために、保存処理自体はサーバ１１３が行うものとし、保存対象のデータ情報をサーバ１１３が管理する記憶手段に保存(記憶)するものとする。保存時にはトリガ（処理を実行させるための引き金）となったイベントの種類、発生時刻とあわせて保存画像、保存描画コマンドをイベントの種類及びその条件に応じてセットにして保存する。

トリガイベントの発生源は、サーバ及びクライアントの内、少なくとも一方に１以上あるものとし、トリガイベントを監視し、そのイベントコマンドを発生するトリガジェネレータもサーバ及びクライアントの内、少なくとも一方にあるものとする。また、復元コマンドはクライアント側が発行するものとする。

特定のイベントとして、次のようなものが挙げられる。
（１）新たなクライアントが接続された、
（２）クライアントが切断された、
（３）一定時間間隔内にある所定の数以上の注釈が付与された：頻繁に書き込みある場合、
（４）所定の撮像画像領域内においてある所定の数以上の注釈が付与された：所定値以上の書き込み密度がある場合、
（５）所定の撮像画像領域内においてある所定の数以上の別々のクライアントからの注釈が付与された、
（６）撮像画像の変化が閾値を超えた、
（７）クライアントから保存が要求された、
等々。

次に図２のホワイトボード(又はそれを撮像した画像を表示した表示画面)を参照して保存処理及び復元処理について説明する。ここでは、描画コマンドを監視し、これを検出したとき、トリガイベントが発生したとして、保存するとする。

まず、「トリガ発生時」２０ａに示すように、画像２１に対して画像で注釈したとすると、このときの撮像画像を保存画像２１として記憶手段に保存（記憶）すると共に、注釈画像２１ａを保存描画コマンドとして記憶手段に保存（記憶）する。

次に、「現状」２０ｂに示すように、画像２１が画像２１ｂのように、ブロックａが削除され、注釈画像２１ａの位置にブロックｄが付け加えられるような書き換えがなされたとする。そこで、復元コマンドが発行され、それを処理すると、サーバ１１３は記憶手段から保存画像等を取り出し、「復元時」２０ｃに示すように、それを表示(投影)する。その結果、削除されたブロックａが復元される。このように、復元コマンドを受信した際、指定された保存画像等を実物体上に重畳して投影することにより、実物体上でなくなったもの、新たに追加されたものとの差分を把握できる。

次に、図３を参照して立体の対象物(サイコロのような立体物)の場合の保存処理及び復元処理について説明する。ここでは、サイコロ状の対象物３１の撮像画像を監視し、その画像に変化があったとき、トリガイベントが発生したとして、保存するとする。

まず、サーバ１１３はビデオカメラ１１８の撮像画像を取り込み、その撮像画像の変化を検出し、変化したと判断したとき、撮像画像を記憶手段に保存(記憶)する。例えば、サイコロ状の対象物３１が、「現状」３０ｂのように右方向に移されたとき、撮像画像が変化するので、変化する前の左側の対象物の画像３１ｓが撮像された撮像画像を保存画像３２として保存する。

次に復元コマンドが発行されると、復元処理がなされ、サーバ１１３により、記憶手段に保存された保存画像３２が取り出され、投影画像として転送され、更に「復元時」３０ｃ上図に示すように、プロジェクタ１１６により対象物３１に投影される。そこで、投影された保存画像の対象物の画像３１ｓに合わせて対象物３１を右の位置から保存時の左の位置に戻すことにより、保存時の状態で会議等の議論を再開することができる(「復元時」３０ｃ下図)。

このように、投影された画像と実物体が一致するように実物体を配置することで、元の位置に戻して議論を再開できる。元の位置に戻した後は投影画像を消去して議論を再開できる。

次に、図４のフローチャートを参照して本実施形態の処理動作を説明する。
拠点Ａのサーバシステム１１０内の描画サーバ１１２は、予め保持している画像情報をプロジェクタ１１６へ出力する。プロジェクタ１１６は、入力した画像情報に対応する画像（初期画像）を、ハーフミラー１２０を介してホワイトボード１６０へ投影する（Ｓ４１）。

次に、ビデオカメラ１１８は、ホワイトボード１６０の撮像を開始する。撮像により得られた画像情報（撮像画像の情報）は、ビデオサーバ１１４へ出力され、当該ビデオサーバ１１８は、入力した画像情報の拠点Ｂのクライアントシステム２４０への送信を開始する（Ｓ４１）。その後も、ビデオカメラ１１８は、ホワイトボード１６０の撮像を継続し、ビデオサーバ１１８は、随時、入力した画像情報を拠点Ｂのクライアントシステム２４０へ送信する(常時送出処理)。

次に、描画サーバ１１２は、メッセージ待ちループを開始する(ｓ４２)。そして拠点Ｂのクライアントシステム２４０からの描画コマンド等のコマンドを受信したか否かを判定する（Ｓ４３）。
コマンドがイベントコマンドのときは、トリガイベントとして後でサブルーチンにより詳述する保存処理をする(ｓ４４、ｓ５９)。
コマンドが復元コマンドのときは、後でサブルーチンにより詳述する復元処理をする(ｓ４５、ｓ６０)。
コマンドが描画コマンドのとき、即ち描画コマンドを受信した場合、描画サーバ１１２は、当該描画コマンドの指示に応じて、当該描画コマンドに付加されているアノテーション画像の情報をプロジェクタ１１６へ出力する。

プロジェクタ１１６は、入力したアノテーション画像の情報に対応する画像を、ハーフミラー１２０を介してホワイトボード１６０へ投影する（Ｓ４６）。これにより、ホワイトボード１６０には、初期画像とともに、拠点Ｂのクライアントシステム２４０からの描画コマンドに付加されているアノテーション画像の情報に対応する注釈等の画像が投影される。

なお、ビデオカメラ１１８による撮像画像における、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像の部分が色飛び等の不都合を引き起こす場合があることを考慮して、ビデオサーバ１１８は、ビデオカメラ１１８による撮像画像における、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像の位置に、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像を重ねた合成画像に対応する画像情報を生成し、その生成した画像情報を拠点Ｂのクライアントシステム２４０へ送信するようにしてもよい。

Ｓ４６における画像投影の後、あるいは、Ｓ４３において描画コマンド等のコマンドを受信していないと判定された後、サーバシステム１１０は、拠点Ａのユーザによって終了指示がなされたか否かを判定する（Ｓ４７）。終了指示がなされた場合には、一連の動作が終了する。一方、終了指示がなされていない場合には、描画サーバ１１２による描画コマンド等のコマンドを受信したか否かの判定（Ｓ４３）以降の動作が繰り返される。

次に、保存処理について図５を参照して詳細説明する。
まず、イベントの種類を取得し、その種類に応じた画像を取得し記憶手段に保存(記憶)する(ｓ６１、ｓ６２)と共に、現有している描画コマンドを保存する(ｓ６３)。これら保存した画像及び描画コマンド等をイベントの種類及びイベント発生時刻等と対応付けてインデックスセットとして記憶手段に保存(記憶)する(ｓ６４)。

次に、復元処理について図６を参照して説明する。ここでは、サーバ側では、復元時には、復元操作そのものもひとつのイベントとしてその時点の画像を保存する場合を説明する。
まず、復元コマンドによる復元処理を保存すべきイベントとし記憶手段に保存し、現在の画像及び現有している描画コマンドを取得し、保存すると共に、インデックスセットとして保存する(ｓ６５〜ｓ６８)。その後、現有している描画コマンドを削除(クリア)する(ｓ６９)。復元コマンドで特定の時点(時刻)等により指定された保存画像及び描画コマンドを前記インデックスセットを介して検索し、取得する(ｓ７０)。その後取得した保存画像及び描画コマンドから投影画像を作成し、作成した投影画像をプロジェクタ１１６に転送し、対象物等に投影する（ｓ７１）。

次に、拠点Ｂのクライアントシステム２４０の処理動作を図７を参照して説明する。
クライアントシステム２４０は、例えばサーバに接続した後、ｓ４１でビデオサーバ１１４から送出された画像を表示装置(モニタ)２４２の表示画面上に表示し拠点Ｂのユーザにより表示された画像に対してアノテーション(注釈)が行われ得る状態になる。拠点Ｂのユーザの操作指示に応じて、注釈等のアノテーション画像を拠点Ａのホワイトボード１６０に投影させる指示である描画コマンドや特定の時点の状態を復元する復元コマンド等のコマンドを生成する（ｓ４８、ｓ４９）。コマンドが、描画コマンドのときには、クライアントシステム２４０は、画像描画処理を行い、拠点Ａのホワイトボード１６０あるいは拠点Ｂのホワイトボード２６０に投影させるアノテーション画像の情報を生成し、サーバに送出する（ｓ５１、ｓ５２）。次に、入力コマンドの処理が終了したかどうかを判断し、終了していなければ、ｓ４９乃至ｓ５２の処理を繰り返し、終了したと判断したい場合には、処理を終了する(ｓ５３)。

次に特定のイベント(トリガイベント)コマンドの生成及び発行の処理について図８を参照して説明する。
サーバ１１３及びクライアントシステム２４０のうち、少なくとも一方に設けられたトリガジェネレータは、イベント、又はクライアント等から出力されるコマンドを監視し、トリガ条件を満足するかどうかを判断する(ｓ５５、ｓ５６)。イベント発生判断は発生源によって任意の条件を持ってよい。イベントの監視としては、先に述べた（１）乃至（７）のようなものがあり、これらのイベントの発生条件がトリガジェネレータの持つ条件と一致したとき、保存処理をトリガすべきイベントコマンドとしてサーバに送られる(ｓ５７)。コマンドからのトリガとしては、例えば、あるユーザからの注釈(アノテーション)発生時にトリガを発行するなどがある。この場合、少なくともあるユーザによる描画コマンドには、トリガすべき特定のユーザであることを示す識別子が描画コマンドに付与されており、この識別子がトリガジェネレータの持つ条件と一致したとき、トリガすべきイベントコマンドとしてサーバに送られる(ｓ５７)。

以上説明した実施形態では、保存画像等を保存（記憶）する記憶手段は、サーバ１１３が管理するものとしたが、サーバ１１３が格納先が分かれば、クライアントを含むネットワーク上のどこにあってもよし、クライアント側で保存してもよい。また、保存先の数も複数あってもよい。クライアント側で保存したときには、復元コマンド発行時に保存情報の保存先アドレス(ＵＲＬを含む)を当該コマンドに記述してもよいし、予めイベントの種類毎に保存先アドレスをサーバ１１３に通知する通知手段を設けてもよい。

なお、サーバ１１３やクライアント２４１はコンピュータ等で構成される装置である。コンピュータは、図９に示すように、ＣＰＵ１１３ａ等の処理装置、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ１１３ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)１１３ｃ、クライアントシステム２４０又はサーバシステム１１０等の外部装置と入出力を行うＩ／Ｆ（インタフェース）１１３ｄ、図示しないハードディスク等の磁気ディスク等がバス１１３ｅにより接続されたハードウェア構成により実現される。

したがって、ＣＰＵ１１３ａがＲＯＭ１１３ｃやハードディスク等に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、描画サーバ１１２やビデオサーバ１１４の各機能が実行される。そして、所要のプログラムとしては図４から図８を参照して説明したフローチャートに応じたプログラムとすることができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、インターネット４００は、公衆通信網や専用線、ケーブルやネットワーク機器等で構成されるＬＡＮ等のネットワークであってもよく、ケーブル等を利用せずに、電波等の無線通信であってもよい。

本発明に係る遠隔指示システム及びサーバ装置は、遠隔会議システム等の会議システムに適用できる。

本発明の実施形態に係る遠隔指示システムの構成図である 保存処理及び復元処理を説明するための図である。 保存処理及び復元処理を説明するための他の図である。 サーバの動作の一例を示すフローチャートである。 保存処理の動作の一例を示すフローチャートである。 復元処理の動作の一例を示すフローチャートである。 クライアントの動作の一例を示すフローチャートである。 トリガジェネレータの動作の一例を示すフローチャートである。 サーバのハードウェア構成を示すブロック図である。

符号の説明

２１、３１ 対象物
３２ 保存画像
１１０ サーバシステム
１１２ 描画サーバ
１１３ サーバ
１１４ ビデオサーバ
１１６ プロジェクタ
１１８ ビデオカメラ
１２０ ハーフミラー
１６０ ホワイトボード
２４０ クライアントシステム
２４１ クライアントコンピュータ
２４２ モニタ
２４３ 表示画面
４００ インターネット

Claims (6)

1. サーバ側で対象物を撮像手段で撮像した撮像画像をネットワークを介してクライアント側の装置へ送信し、クライアント側の装置で当該撮像画像に付加された注釈画像をサーバ側で受信して当該対象物に投影手段に投影させる制御手段と、
   特定の事象をトリガにして前記撮像画像および注釈画像の少なくとも一方を記憶手段に記憶する記憶処理手段と、
   を有することを特徴とする遠隔指示システム。
2. 更に、特定の時点における復元指示に基づいて、前記記憶手段から前記撮像画像および注釈画像の少なくとも一方を取得して対象物に投影する復元手段を有することを特徴とする請求項１に記載の遠隔指示システム。
3. 前記制御手段が前記復元手段を兼ねることを特徴とする請求項２に記載の遠隔指示システム。
4. 前記特定の事象が、新たなクライアントが接続されたこと、クライアントが切断されたこと、一定時間間隔内にある所定の数以上の注釈が付与されたこと、所定の撮像画像領域内においてある所定の数以上の注釈が付与されたこと、所定の撮像画像領域内においてある所定の数以上の別々のクライアントからの注釈が付与されたこと、撮像画像の変化が閾値を超えたこと、及びクライアントから保存が要求されたことの内、少なくとも一つであることを特徴とする請求項１から３のいずれか１項に記載の遠隔指示システム。
5. 更に、前記特定の事象の発生を検出し、検出結果を前記特定の事象として通知する通知手段を有することを特徴とする請求項１から４のいずれか１項に記載の遠隔指示システム。
6. 対象物を撮像手段で撮像した撮像画像をネットワークを介してクライアント装置へ送信し、クライアント装置で当該撮像画像に付加された注釈画像を受信して当該対象物に投影手段に投影させる制御手段を有し、
   前記制御手段が、特定の時点における復元指示に基づいて、特定の事象をトリガにして前記撮像画像および注釈画像の少なくとも一方が記憶された記憶手段から記憶内容を取得し、取得した内容に基づく投影画像を投影手段に投影させることを特徴とするサーバ装置。
   
   
   

Images