JP2009219037A - 指示システム、指示プログラム及び指示装置 - Google Patents

Abstract

【課題】 一の端末の画面上で描画を行っていても、他の端末における画面の更新が一時的に中断されることを抑制し得る指示システムを提供する。
【解決手段】 対象物４００を撮像するビデオカメラ２０で撮像された撮像画像を端末１００,２００に送信すると共に、端末１００でなされた指示に応じたアノテーション画像を端末１００，２００で共有させつつプロジェクタ４０により対象物４００に投影させるサーバ５０を有し、サーバ５０は、指示がなされている間に、端末２００からの、指示がなされている対象の画像を変化させる指示を受信した場合、端末１００における撮像画像の表示の更新を停止させ、指示が完了したときに、停止を解除する。また、指示が完了するまでの撮像画像を該指示に応じたアノテーション画像と時系列に対応付けて蓄積し、指示が完了したときに、該撮像画像を、対応付けられたアノテーション画像と併せて連続して端末１００に表示させる。
【選択図】 図１

Description

本発明は、指示システム、指示プログラム及び指示装置に関する。

会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば特許文献１に示すように、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末側において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている。

また、上述した会議システム以外にも種々の会議システムが知られている。例えば、特許文献２に開示される会議システムは、会議の参加者が共用可能な共用表示装置、参加者の端末ごとに割り当てられた表示装置及びサーバ等から構成される。そして、表示させるカーソルを表示装置ごとに切り替えるように制御することで、各参加者が着席したまま並行して共用表示装置に描画を行うことを可能にしている。

特許文献３に開示される会議システムは、共用表示装置に表示させる表示領域（ウィンドウ）を、会議の参加者の端末から送信される情報（オブジェクト）を一覧にして表示する情報共有領域（スタッキングエリア）と、これらのオブジェクトを選択的に表示する複数の選択表示領域（エディティングエリア）とに区別している。各エディティングエリアに表示されるオブジェクトに属性を付与し、所定の属性に基づいて同じ属性が付与されたオブジェクトを抽出して新たなエディティングエリアに表示している。これにより、効率的な情報収集を可能としている。

さらに、特許文献４は、表示装置に表示される電子的な会議資料と、そこに描画された描画の位置関係を整合させるように関連付ける技術を開示している。特許文献５は、テレビ会議用の通信端末において、スーパーインポーズ回路とバッファ回路を利用し、文字情報を入力する利用者以外の利用者から別の文字情報が入力された場合に、画面にその別の文字情報を重畳して表示する技術を開示している。

特開２００５−３３７５６号公報 特開２００４−２１５９５号公報 特開２００４−９４８３３号公報 特開２００６−９１０３３号公報 特開平８−３０７８４５号公報

ところで、複数の端末による並列的な描画が実現可能な会議システムの多くの方式は、例えば、描画用の複数のバッファを制御手段に用意する方式であったり、複数のチャネル経由により制御手段が並列的に描画する方式であったりする。しかしながら、これらの方式は、いわゆる占有権や操作権の切替制御が必要となる。例えば、一の端末が制御手段を占有し操作等をしている場合に、他の端末から制御手段に対し割り込むように操作等がなされた場合、一の端末から他の端末に占有権が切り替わり、一の端末では操作等が中断する可能性が生じる。

このため、利用者が一の端末で撮像画像に対し描画を行っている際に、他の端末からビデオカメラの撮像領域を変化させる指示を制御手段に行うと、制御手段は撮像領域を変化させるため、一の端末の利用者は撮像画像の変化により描画を一時的に中断したり、再び他の端末から制御手段に対する占有権を確保し、描画を行ったりする必要が生じる。このことは、円滑な対話を阻害する一因となり得る。

本発明は、このような事情に鑑みてなされたものであり、一の端末から制御手段に対し描画指示がなされている際に、他の端末から指示があっても、一の端末における描画指示の中断が抑制され得る指示システム、指示プログラム及び指示装置を提供することを目的とする。

請求項１に記載の発明は、対象物を撮像する撮像手段で撮像された撮像画像を複数の端末に送信すると共に、該複数の端末のうちの一の端末でなされた指示に応じた注釈を表す注釈画像を前記複数の端末で共有させつつ投影手段により対象物に投影させ得る制御手段を有し、制御手段は、指示がなされている間に、一の端末以外の端末からの、前記指示がなされている対象の画像を変化させる指示を受信した場合、一の端末における撮像画像の表示の更新を停止させ、指示が完了したときに、停止を解除することを特徴とする指示システムである。

請求項２に記載の発明は、請求項１に記載の発明において、制御手段は、指示がなされている対象の画像が撮像手段で撮像された撮像画像である場合であって、該撮像画像において変化が生じたときに、一の端末における撮像画像の表示の更新を停止させ、指示が完了したときに、停止を解除することを特徴としている。

請求項３に記載の発明は、請求項２に記載の発明において、制御手段は、撮像手段による連続した撮像画像を対比して、撮像画像において変化が生じたと判定することを特徴としている。

請求項４に記載の発明は、請求項２又は３に記載の発明において、制御手段は、撮像手段による連続した撮像画像を対比して、該撮像画像内の対象物の位置が所定時間にかけて不変である場合に、対象物の位置が確定したと判定することを特徴としている。

請求項５に記載の発明は、請求項１から４のいずれか１項に記載の発明において、制御手段は、指示が完了するまでの撮像画像を、変化に伴う撮像領域の移動量と対応付けて時系列に蓄積し、指示が完了したときに、該撮像画像を連続して一の端末に表示させることを特徴としている。

請求項６に記載の発明は、請求項１から５のいずれか１項に記載の発明において、制御手段は、指示が完了するまでの撮像画像を該指示に応じた注釈画像と時系列に対応付けて蓄積し、指示が完了したときに、該撮像画像を、対応付けられた注釈画像と併せて連続して一の端末に表示させることを特徴としている。

請求項７に記載の発明は、コンピュータを、対象物を撮像する撮像手段で撮像された撮像画像を複数の端末に送信すると共に、該複数の端末のうちの一の端末でなされた指示に応じた注釈を表す注釈画像を複数の端末で共有させつつ投影手段により対象物に投影させ得る制御手段として機能させ、制御手段は、指示がなされている間に、一の端末以外の端末からの、前記指示がなされている対象の画像を変化させる指示を受信した場合、一の端末における撮像画像の表示の更新を停止させ、指示が完了したときに、停止を解除することを特徴とする指示プログラムである。

請求項８に記載の発明は、請求項７に記載の発明において、制御手段は、指示がなされている対象の画像が撮像手段で撮像された撮像画像である場合であって、該撮像画像において変化が生じたときに、一の端末における撮像画像の表示の更新を停止させ、指示が完了したときに、停止を解除することを特徴としている。

請求項９に記載の発明は、対象物を撮像する撮像手段と、複数の端末のうちの一の端末でなされた指示に応じた注釈を表す注釈画像を対象物に投影する投影手段と、撮像手段で撮像された撮像画像を複数の端末に送信すると共に、指示に応じた注釈画像を複数の端末で共有させつつ投影手段により投影させ、指示がなされている間に、一の端末以外の端末からの、指示がなされている対象の画像を変化させる指示を受信した場合、一の端末における撮像画像の表示の更新を停止させ、指示が完了したときに、停止を解除する制御手段と、を有することを特徴とする指示装置である。

請求項１０に記載の発明は、請求項９に記載の発明において、制御手段は、指示がなされている対象の画像が撮像手段で撮像された撮像画像である場合であって、該撮像画像において変化が生じたときに、一の端末における撮像画像の表示の更新を停止させ、指示が完了したときに、停止を解除することを特徴としている。

請求項１に記載の発明によれば、一の端末から制御手段に対し描画指示がなされている際に、他の端末から指示があっても、一の端末における描画指示の中断が抑制できる。

請求項２に記載の発明によれば、一の端末から制御手段に対し描画指示がなされている際に対象物の位置が変化しても、一の端末における描画指示の中断が抑制できる。

請求項３に記載の発明によれば、本構成を有していない場合に比較して、撮像画像内の対象物の位置により、対象物の位置の変化が判定される。

請求項４に記載の発明によれば、本構成を有していない場合に比較して、撮像画像内の対象物の位置が所定時間にかけて不変である場合に、対象物の位置が確定したと判定される。

請求項５に記載の発明によれば、本構成を有していない場合に比較して、描画の指示を完了した後に、撮像画像の変化の様子が表示される。

請求項６に記載の発明によれば、本構成を有していない場合に比較して、描画の指示を完了した後に、注釈画像の変化の様子が表示される。

請求項７に記載の発明によれば、一の端末から制御手段に対し描画指示がなされている際に、他の端末から指示があっても、一の端末における描画指示の中断が抑制できる。

請求項８に記載の発明によれば、一の端末から制御手段に対し描画指示がなされている際に対象物の位置が変化しても、一の端末における描画指示の中断が抑制できる。

請求項９に記載の発明によれば、一の端末から制御手段に対し描画指示がなされている際に、他の端末から指示があっても、一の端末における描画指示の中断が抑制できる。

請求項１０に記載の発明によれば、一の端末から制御手段に対し描画指示がなされている際に対象物の位置が変化しても、一の端末における描画指示の中断が抑制できる。

以下、本発明の実施形態について図面を参照して説明する。
（第１実施形態）
図１は本発明の第１実施形態に係る指示システムの構成図、図２はサーバ５０の要部構成を例示する機能ブロック図、図３はサーバ５０のハードウェア構成を例示する機能ブロック図である。

この指示システムは、図１に示すように、対象物側装置１０及び端末１００,２００を備えており、対象物側装置１０と端末１００,２００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００,２００の２台のみ示しているが、３台以上の端末１００等がネットワーク３００を通じて対象物側装置１０の後述するサーバ５０へ接続されるようにしてもよい。また、本実施形態に係る指示システムは、１つの筐体で覆われる等して１つの指示装置として構成されていてもよく、また、複数の装置から構成されていてもよい。

対象物側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０及びハーフミラー６０等から構成される。

ビデオカメラ２０は、例えばＣＣＤカメラ等で構成される。ビデオカメラ２０は、対象物４００を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。ビデオカメラ２０は、ハーフミラー６０を透過した画像を撮像する。

プロジェクタ４０は、例えば液晶プロジェクタ等で構成される。プロジェクタ４０は、端末１００や端末２００でなされた指示に応じた注釈画像（以下、アノテーション画像という。）ＡＮ１を対象物４００に投影する。この指示を例えば静止画像や撮像画像に基づいて行うようにしてもよい。プロジェクタ４０は、その光学系が、ハーフミラー６０によりビデオカメラ２０と光学的な主点が略一致するように配置されている。すなわち、プロジェクタ４０とビデオカメラ２０との光軸及び投影・撮像画角をそれぞれ一致させている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像ＡＮ１をその光学系を通じハーフミラー６０を介して対象物４００へ投影する。プロジェクタ４０からのアノテーション画像ＡＮ１は、ハーフミラー６０で反射して対象物４００へ投影される。尚、アノテーション画像ＡＮ１には、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラー６０の反射率は発振現象の防止の観点から０．３％程度であることが望ましい。

サーバ５０は、ビデオカメラ２０及びプロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して端末１００,２００との間で各種情報を授受する。

より詳しくは、図２に示すように、ビデオカメラ２０を制御する撮像部５１と、ビデオカメラ２０によって撮像された撮像画像を端末１００に送信する画像送信部５２とを備える。また、サーバ５０は、端末１００,２００からの描画指示や撮像領域を変化させる指示（以下、変更指示という。）を受信する受信部５３と、プロジェクタ４０を制御し、プロジェクタ４０にアノテーション画像ＡＮ１等を投影させ得る投影部５４とを備える。さらに、端末１００や端末２００からの描画指示に対して所要の処理を行う描画指示処理部５５、撮像画像からアノテーション画像ＡＮ１等を抽出する画像処理部５６を備える。

したがって、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００,２００へ送信すると共に、端末１００や端末２００でなされた指示に応じたアノテーション画像ＡＮ１を端末１００，２００で共有させつつ投影させる。

尚、上述したサーバ５０は、いわゆるコンピュータ、すなわち、図３に示すように、ＣＰＵ等の処理装置５０ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０ｃ及び入出力を制御するＩ／Ｆ５０ｄがバス５０ｅにより接続されたハードウェア構成により実現される。

したがって、ＣＰＵ５０ａがＲＡＭ５０ｂやＲＯＭ５０ｃ等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、各装置の機能が実現される。後述するコンピュータ１２０についても同様の構成である。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、必要に応じて、バス５０ｅにハードディスクを接続するようにしてもよい。

端末１００は、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成される。端末１００は、例えばノート型やデスクトップ型のいわゆるパソコン、携帯電話等が該当する。

表示装置１１０は、その表示画面に対象物側装置１０から送信される撮像画像を表示する。
ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物４００へ投影するアノテーション画像ＡＮ１に関する指示を形成するのに用いられる。

端末２００は、端末１００と概ね同様の構成を有し、又、端末１００を構成する各装置についても、端末１００を構成する各装置と概ね同様の機能を有する。端末１００と端末２００とは必ずしも構成機器や機能について一致している必要はない。以下の説明では、端末２００の各装置には、端末１００を構成する各装置に対応した符号を付する。

次に、上記構成の指示システムの動作について図４から図６を参照して説明する。
図４は対象物側装置１０のサーバ５０における処理の一例を示すフローチャート、図５は端末１００のコンピュータ１２０における処理の一例を示すフローチャート、図６は端末１００側の操作の一例を説明するための図である。尚、端末２００のコンピュータは、端末１００のコンピュータ１２０の動作と概ね同等であり、その説明を省略する。

まず、サーバ５０の動作について説明する。
対象物側装置１０側のサーバ５０は、図４に示すように、まず、ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０や端末２００のコンピュータから接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０等からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０や端末２００のコンピュータへ送信する（ステップＳ１３）。

サーバ５０は、次いで、コンピュータ１２０等から描画指示の送信があるか否かを判断する（ステップＳ１４）。この描画指示は、アノテーション画像ＡＮ１の描画に関する情報である。サーバ５０は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う（ステップＳ１５）。描画指示に対する処理としては、例えば、プロジェクタ４０を制御して、描画指示に応じたアノテーション画像ＡＮ１の投影させること等がある。

一方、サーバ５０は、上記の描画指示を受信しない場合には、すべてのコンピュータ１２０等から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像等をネットワーク３００を通じて端末１００のコンピュータ１２０や端末２００のコンピュータへ送信し、切断要求があった場合には、その端末に対するビデオカメラ２０の撮像画像の送信を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。

次に、端末１００の動作について説明する。
端末１００のコンピュータ１２０は、図５に示すように、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図６に示すように、対象物側装置１０のサーバ５０から送信される撮像画像１１２ａを表示装置１１０の表示画面に表示させる（ステップＳ２２）。撮像画像１１２ａにはアノテーション画像ＡＮ１が投影された、撮像領域内の対象物４００が表示される。

次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示された撮像画像１１２ａに対する利用者からの注目領域ＡＲの指示があるかを判断し（ステップＳ２３）、注目領域ＡＲの指示がある場合には、指示に応じた処理を行う（ステップＳ２４）。

具体的には、端末１００の利用者は、図６に示すような表示装置１１０の表示画面１１１内の撮像画像１１２ａを見ながら、表示されている撮像画像１１２ａにアノテーション画像ＡＮ１を投影したい領域があるか判断する。投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域ＡＲを指示する。注目領域ＡＲは、アノテーション画像ＡＮ１を投影する投影位置を規定する領域である。このとき、同時に、注目領域ＡＲに投影するアノテーション画像ＡＮ１に関する情報を指示する。

アノテーション画像ＡＮ１に関する情報は、例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより生成される。この情報には、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等がある。そして、コンピュータ１２０は、ステップＳ２４で特定された各種情報を描画指示としてサーバ５０へ送信する（ステップＳ２５）。

コンピュータ１２０は、次いで、端末１００でなされたビデオカメラ２０の撮像画像に基づく利用者による指示が完了したかを判断し（ステップＳ２６）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２７）、処理を終了する。端末１００の利用者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。

次に、本発明の特徴となる指示中断抑制機能について図７から図１５を参照して説明する。
図７はサーバ５０における指示中断抑制処理の一例を示すフローチャート、図８、図９、図１３及び図１４の各（ａ）は表示装置１１０の表示例、これらの図の各（ｂ）は表示装置２１０の表示例、図１０は撮像画像２１２ａが変化していく様子を例示する図、図１１は撮像画像及びその移動量の記憶形態の一例を示す図、図１２はアノテーション画像ＡＮ２の記憶形態の一例である。

尚、図７に示すフローチャートは、図４に示すサーバ５０の動作の一例を示すフローチャートに含めることができ、望ましくは、ステップＳ１４の処理とステップＳ１５の処理の間に含めることができる。この場合、ステップＳ１４の処理は、後述するステップＳ３１の処理に置換することができる。

また、以下の説明において、アノテーション画像ＡＮ２の描画は表示装置１１０においてなされ、ビデオカメラ２０の撮像領域の変更は表示装置２１０においてなされるものとして説明する。これらの役割分担は適宜変更可能である。

サーバ５０は、図７に示すように、まず、アノテーション画像ＡＮ２に関する描画指示の開始を受信したか否かを判定する（ステップＳ３１）。描画指示の開始はコンピュータ１２０から送信される。

例えば、図８（ａ）に示すように、端末１００の利用者がポインティングデバイス１３０を操作してポインタＰｔを表示画面１１１内で移動させ、「ＰＥＮ」や「Ｔｅｘｔ」等のボタンＢＴが指示された場合に、コンピュータ１２０は描画指示の開始をサーバ５０に送信する。これにより、アノテーション画像ＡＮ２をプロジェクタ４０に投影させる描画指示が表示装置１１０において可能となる。尚、描画指示の開始は上述した注目領域ＡＲを表示させた際に送信するようにしてもよい。

本実施形態では、コンピュータ１２０は、ポインタＰｔの軌跡に応じたアノテーション画像ＡＮ２を投影させる描画指示を送信する。したがって、図８（ａ）に示すように、ポインタＰｔが撮像画像１１２ａ内で移動すると、この移動の軌跡に応じたアノテーション画像ＡＮ２が対象物４００に投影される。ビデオカメラ２０は撮像領域内を撮像し、その撮像画像をコンピュータ１２０に送信する。これにより、表示装置１１０はアノテーション画像ＡＮ２が投影された対象物４００含むビデオカメラ２０の撮像領域内の撮像画像を表示する。

尚、図（８）ａにおいて、アノテーション画像ＡＮ２は実線の部分と破線の部分とに区別されて記載されている。実線の部分はすでに描画指示がなされ、アノテーション画像ＡＮ２が投影された部分である。破線の部分はこれから描画指示がなされる予定のポインタＰｔの軌跡である。これらの区別は、説明を容易にするために便宜的に行ったものであり、破線の部分は視認することができない。このため、表示装置２１０は、図８（ｂ）に示すように、すでに描画指示がなされた部分のアノテーション画像ＡＮ２を撮像画像２１２ａとして表示する。

サーバ５０は、次いで、撮像領域の変更指示を受信したか否かを判定する（ステップＳ３２）。撮像領域の変更指示はコンピュータ２２０から送信される。

例えば、図９（ａ）に示すように、端末１００の利用者がポインタＰｔを表示画面１１１内で移動させ、撮像画像１１２ａ上で描画指示を行っている間に、図９（ｂ）に示すように、端末２００の利用者がポインティングデバイス２３０を操作してポインタＰｔを表示画面２１１内で移動させ、撮像領域変更ボタン２１２ｂを指示した場合に、コンピュータ２２０は撮像領域の変更指示をサーバ５０に送信する。

サーバ５０は、変更指示を受信した場合には、ビデオカメラ２０の撮像領域を変更指示に応じて変更させつつ、描画指示がなされている撮像画像の表示の更新を停止させる停止情報を送信する（ステップＳ３３）。

したがって、停止情報はコンピュータ１２０に送信される。コンピュータ１２０は受信した停止情報に基づく制御を表示装置１１０に行う。これにより、表示装置１１０は、撮像画像１１２ａの更新を停止する。すなわち、表示装置１１０の撮像画像１１２ａは、表示装置２１０の撮像領域の変更に連動しない。このため、端末１００の利用者は、更新が停止した撮像画像１１２ａに対して描画指示を行える。

尚、上述した撮像領域変更ボタン２１２ｂは、ビデオカメラ２０の撮像領域を上下左右に変更するボタン群から構成される。必要に応じて、撮像領域を拡大させる拡大ボタンや撮像領域を縮小させる縮小ボタンを撮像領域変更ボタン２１２ｂに形成してもよい。本実施形態では、図９（ｂ）に示すように、ポインタＰｔによる指示はビデオカメラ２０の撮像領域を右に変更させるものである。したがって、撮像画像２１２ａ内の対象物４００は撮像画像２１２ａ内で左に移動する。

この様子について図１０を参照してさらに詳しく説明する。
表示装置２１０に表示される撮像画像２１２ａは、同図の（ａ）から（ｆ）に示す順序により変化する。すなわち、表示装置１１０において、描画指示がなされると、その描画指示に応じたアノテーション画像ＡＮ２が対象物４００に投影される。ビデオカメラ２０は、アノテーション画像ＡＮ２が投影された対象物４００を含む撮像領域内の撮像画像を端末２００に送信する。この結果、図１０（ａ）に示す撮像画像２１２ａが表示装置２１０に表示される。

ここで、表示装置２１０において、撮像領域変更ボタン２１２ｂが指示されると、その指示の度にその指示に応じて撮像画像２１２ｂが変化する。具体的には、同図（ａ）の状態において指示が一度なされると、撮像画像２１２ａは、（ａ）から（ｂ）に変化する。同図（ｂ）の状態において指示が一度なされると、撮像画像２１２ａは、（ｂ）から（ｃ）に変化する。このようにして、（ａ）から（ｆ）まで撮像画像２１２ａが変化する。尚、撮像領域変更ボタン２１２ｂが指示され続けることによって、連続的に撮像画像２１２ａが変化するようにしてもよい。

表示装置２１０は、ビデオカメラ２０による撮像に連動して撮像画像２１２ａを表示する。このため、表示装置１１０からの描画指示に応じたアノテーション画像ＡＮ２が対象物４００に徐々に投影されると、撮像画像２１２ａ内には、図１０に示すように、その投影に応じたアノテーション画像ＡＮ２が徐々に現れる。

サーバ５０は、ステップＳ３３の処理において停止情報を送信すると、次いで、撮像画像２１２ａを記憶装置に蓄積していく（ステップＳ３４）。さらに、その撮像画像２１２ａに移動量を対応付けて蓄積していく（ステップＳ３５）。尚、撮像画像２１２ａの蓄積は、アノテーション画像ＡＮ２が投影されていない対象物４００のみを含む撮像画像であってもよいし、アノテーション画像ＡＮ２が投影された対象物４００を含む撮像画像であってもよい。

例えば、前者であれば、図１０（ａ）に示す撮像画像２１２ａは、図１１に示すように、画像識別情報「２００８０２２１＿００００」、撮像画像「０００．ＪＰＧ」が付されて蓄積または保持される。この画像識別情報等は、撮像領域変更指示が最初になされた際の情報となる。その際には、図１０（ａ）に示す撮像画像２１２ａを移動量の原点とみなし、移動量「（０、０）」を付してその撮像画像に対応付けて記憶する。

そして、撮像領域変更指示がなされる度に、撮像画像２１２ａに画像識別情報を付し、その移動量と併せて蓄積する。移動量は、ビデオカメラ２０の撮像領域の移動量でもよいし、撮像画像２１２ａ内の対象物４００の移動量のいずれでもよい。後者の場合には、対象物４００の特徴点に基づいてその移動量を算出できる。このように、撮像画像２１２ａの変化に応じて時系列に順序付けて蓄積することが望ましい。

サーバ５０は、さらに、その撮像画像２１２ａにアノテーション画像ＡＮ２を対応付けて蓄積していく（ステップＳ３６）。アノテーション画像ＡＮ２の蓄積は、図１２に示すように、画像識別情報ごとに行われる。すなわち、画像識別情報「２００８０２２１＿００００」には、アノテーション画像「FreeHand（（１０、２０）、（１５、２５））」が対応付けられる。

また、アノテーション画像ＡＮ２は、変化前後の差分画像として蓄積される。すなわち、図１０（ａ）に示すアノテーション画像ＡＮ２であれば、まだ、アノテーション画像ＡＮ２が投影されていない撮像画像２１２ａと、図１０（ａ）に示す撮像画像２１２ａとの差分により抽出されたアノテーション画像ＡＮ２が蓄積される。図１０（ｂ）に示すアノテーション画像ＡＮ２であれば、図１０（ａ）に示す撮像画像２１２ａと、図１０（ｂ）に示す撮像画像２１２ａとの差分により抽出されたアノテーション画像ＡＮ２が蓄積される。この場合、両者のアノテーション画像ＡＮ２の特徴点に基づいて、図１０（ａ）（ｂ）に示すアノテーション画像ＡＮ２が同じものであったか否かを判定すればよい。

ここで、関数「FreeHand」は、ポインタＰｔの移動の軌跡に応じたアノテーション画像ＡＮ２を投影させる関数であり、その引数は、アノテーション画像ＡＮ２が表示される位置座標である。したがって、「FreeHand（（１０、２０）、（１５、２５））」は、位置座標（１０、２０）から（１５、２５）にかけてポインタＰｔの移動の軌跡に応じたアノテーション画像ＡＮ２が表示されたことを意味する。

サーバ５０は、次いで、アノテーション画像ＡＮ２に関する描画指示の完了を受信したか否かを判定する（ステップＳ３７）。描画指示の完了はコンピュータ１２０から送信される。

例えば、図１３（ａ）に示すように、端末１００の利用者がポインティングデバイス１３０を操作してポインタＰｔを表示画面１１１内で移動させ、「Ｅｎｄ」ボタンＢＴが指示された場合に、コンピュータ１２０は描画指示の完了をサーバ５０に送信する。これにより、サーバ５０はアノテーション画像ＡＮ２をプロジェクタ４０に投影させる描画指示が完了したと判定する。尚、同図（ｂ）に示すように、表示装置２１０においては、撮像領域変更指示が終了し、撮像画像２１２ａが更新されている。このように、描画指示の完了を受信しない場合には、ステップＳ３４の処理に戻る。したがって、サーバ５０は、描画指示がなされている間は、ステップＳ３２からＳ３６の処理を繰り返す。

一方、サーバ５０は、描画指示の完了を受信した場合には、停止情報に基づく表示の更新の停止を解除する解除情報を送信する（ステップＳ３８）。これにより、表示装置１１０における撮像画像１１２ａの更新停止が解除される。この結果、図１４（ａ）に示すように、表示装置１１０には同図（ｂ）に示す撮像画像２１２ａと同じ撮像画像１１２ａが表示される。

さらに、必要に応じて、ステップＳ３９及びＳ４０の処理を加えてもよい。これらの処理は、表示装置１１０に表示させる撮像画像１１２ａを、瞬時に、表示装置２１０の撮像画像２１２ａと同様にするのではなく、撮像画像２１２ａと同様になるまでの過程を表示させられる点で好ましい。

すなわち、サーバ５０は、ステップＳ３８の処理において、解除情報を送信した後に、蓄積した撮像画像を連続して送信し（ステップＳ３９）。さらに、蓄積したアノテーション画像ＡＮ２を連続して送信する（ステップＳ４０）。

例えば、蓄積した撮像画像２１２ａの送信は、図１１に示す画像識別情報の順序により行われる。したがって、図１０に示す撮像画像２１２ａのうち、アノテーション画像ＡＮ２が除かれたものが順次送信される。また、蓄積したアノテーション画像ＡＮ２は、図１２に示す画像識別情報の順序により行われる。したがって、図１０に示す撮像画像２１２ａのうちのアノテーション画像ＡＮ２が順次送信される。これにより、表示装置１１０では、図１０（ａ）から（ｆ）の順序で撮像画像１１２ａが表示され、利用者は撮像画像１１２ａの変化の様子を視認する。尚、アノテーション画像ＡＮ２と対象物４００とが一体となった撮像画像２１２ａを蓄積していた場合には、これらを順次送信しても同様の結果が得られる。

（第２実施形態）
続いて、本発明の第２実施形態について図１５を参照して説明する。
図１５は本発明の第２実施形態に係る指示システムの構成図である。尚、図１に示される指示システムの各装置と同様の構成には同一符号を付し、その説明を省略する。

本実施形態に係る指示システムでは、対象物４００の位置がビデオカメラ２０の撮像領域内で変化した場合に、アノテーション画像ＡＮ２の描画指示を行っている表示装置１１０における撮像画像１１２ａの更新を停止させ、描画指示が完了し、対象物４００の位置が確定したときに、その更新の停止を解除するようにしたものである。尚、図１５では、図１で示される対象物４００の位置が台４０１の中心から変化した様子を示している。

次に、本実施形態に係る指示システムの動作について図１６から図１９を参照して説明する。
図１６はサーバ５０における処理の一例を示すフローチャート、図１７は表示装置１１０の表示例、図１８は対象物４００の位置が変化していく様子を例示する図、図１９は撮像画像１１２ａが変化していく様子を例示する図である。

尚、図１６に示すフローチャートは、図４に示すサーバ５０の動作の一例を示すフローチャートに含めることができ、望ましくは、ステップＳ１４の処理とステップＳ１５の処理の間に含めることができる。この場合、ステップＳ１４の処理は、後述するステップＳ３１の処理に置換することができる。また、図７に示フローチャートの各処理と同様の処理は、その説明を省略する。

サーバ５０は、ステップＳ４１の処理において、描画指示の開始を受信すると、対象物４００の位置が変化したか判定する（ステップＳ４２）。この判定処理は、対象物４００の変化前後の撮像画像１１２ａを比較することにより行われる。撮像画像１１２ａ内の対象物４００の位置が変化したと判定した場合には、対象物４００の位置が変化したと判定し、停止情報を送信する（ステップＳ４２）。

また、サーバ５０は、ステップＳ４７の処理において、描画指示の完了を受信すると、次いで、対象物４００の位置が確定したか判定する（ステップＳ４８）。この判定処理は、連続した撮像画像１１２ａを対比して、その撮像画像１１２ａ内の対象物４００の位置が所定時間かけて不変である場合に、対象物４００の位置が確定したと判定する。対象物４００の位置が確定した場合には、解除情報を送信する（ステップＳ４８）。

したがって、端末１００を利用する利用者が、図１７に示すように、ポインタＰｔを移動させて描画指示を行っている場合に、図１８（ａ）から（ｆ）に示すように、対象物４００の位置が変化した場合、サーバ５０は、表示装置１１０の撮像画像１１２ａの表示更新を停止させる。これにより、利用者は、対象物４００の位置の変化を感じずに、描画指示を行える。

一方、対象物４００は、図１８に示すように、その位置が変化する。この変化は同図に示すような水平方向だけに限られず、垂直方向や回転方向であってもよい。また、この変化は人的な力、機械的な力または、例えば風力等、自然の力のいずれでもよい。端末１００からの描画指示に応じたアノテーション画像ＡＮ２は、対象物４００の移動に追随する。尚、対象物４００の移動に伴うアノテーション画像ＡＮ２の追随は、例えば、D. Comaniciu, V. Ramesh, and P. Meer, "Kernel-Based Object Tracking", IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 25, no. 5, May 2003.やM. Arulampalam, S. Maskell, N. Gordon, and T. Clapp, "A Tutorial on Particle Filters for Online Nonlinear/Non-Gaussian Bayesian Tracking", IEEE Trans. on Signal Processing, Vol. 50, no. 2, Feb. 2002.に開示されるオブジェクトトラッキング（物体追跡）に関する技術を利用できる。すなわち、対象物の移動量はオブジェクトトラッキングにより計測でき、移動前と移動後の位置関係は例えば平面上であるとユークリッド変換（平行移動及び回転）で表せる。アノテーション画像ＡＮ２をオブジェクトトラッキングで計算したユークリッド変換の係数（行列）で変換を掛ければ、対象物に追随できる。

そして、対象物４００の変化の様子は、ビデオカメラ２０に撮像され、サーバ５０は、これを撮像画像１１２ａとして記憶装置に蓄積する。記憶装置への蓄積形態は、上述した図１１や図１２に示す形態でよい。サーバ５０は、描画指示の完了を受信すると、蓄積した撮像画像１１２ａ及びアノテーション画像ＡＮ２を送信する。この結果、表示装置１１０の撮像画像１１２ａは、図１９の（ａ）から（ｆ）の順序で連続して表示される。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変化が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

また、撮像画像内のアノテーション画像ＡＮ２を利用者に示すだけでなく、描画指示に応じたアノテーション画像ＡＮ２は表示画面１１１上に出力してもよい。この場合、表示画面１１１上のアノテーション画像は、撮像画像に表れるアノテーション画像と重畳する。

本発明によれば、一の端末から制御手段に対し描画指示がなされている際に、他の端末から指示があっても、一の端末における描画指示の中断が抑制でき、円滑な対話が可能となる点で産業上の利用可能性が高い。

第１実施形態に係る指示システムの構成図である。 サーバの要部構成を示す機能ブロック図である。 サーバのハードウェア構成を示す機能ブロック図である。 対象物側装置のサーバにおける処理の一例を示すフローチャートである。 端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。 端末側の操作の一例を説明するための図である。 サーバにおける指示中断抑制処理の一例を示すフローチャートである。 表示装置の表示例である。 表示装置の表示例である。 撮像画像が変化していく様子を例示する図である。 撮像画像及びその移動量の記憶形態の一例を示す図である。 アノテーション画像の記憶形態の一例である。 表示装置の表示例である。 表示装置の表示例である。 第２実施形態に係る指示システムの構成図である。 サーバにおける処理の一例を示すフローチャートである。 表示装置の表示例である。 対象物の位置が変化していく様子を例示する図である。 撮像画像が変化していく様子を例示する図である。

符号の説明

１０ 対象物側装置
２０ ビデオカメラ
４０ プロジェクタ
５０ サーバ
５０ａ ＣＰＵ
５０ｂ ＲＡＭ
５０ｃ ＲＯＭ
５０ｄ Ｉ／Ｆ
５０ｅ バス
５１ 撮像部
５２ 画像送信部
５３ 受信部
５４ 投影部
５５ 描画指示処理部
５６ 画像処理部
６０ ハーフミラー
１００、２００ 端末
１１０、２１０ 表示装置
１１１、２１１ 表示画面
１１２ａ、２１２ａ 撮像画像
２１２ｂ 撮像領域変更ボタン
１２０ コンピュータ
１３０ ポインティングデバイス
３００ ネットワーク
４００ 対象物
４０１ 台
ＡＮ１、ＡＮ２ アノテーション画像
ＡＲ 注目領域
ＢＴ ボタン
Ｐｔ ポインタ

Claims (10)

1. 対象物を撮像する撮像手段で撮像された撮像画像を複数の端末に送信すると共に、該複数の端末のうちの一の端末でなされた指示に応じた注釈を表す注釈画像を前記複数の端末で共有させつつ投影手段により前記対象物に投影させ得る制御手段を有し、
   前記制御手段は、前記指示がなされている間に、前記一の端末以外の端末からの、前記指示がなされている対象の画像を変化させる指示を受信した場合、前記一の端末における撮像画像の表示の更新を停止させ、前記指示が完了したときに、前記停止を解除することを特徴とする指示システム。
2. 前記制御手段は、前記指示がなされている対象の画像が前記撮像手段で撮像された撮像画像である場合であって、該撮像画像において変化が生じたときに、前記一の端末における撮像画像の表示の更新を停止させ、前記指示が完了したときに、前記停止を解除することを特徴とする請求項１に記載の指示システム。
3. 前記制御手段は、前記撮像手段による連続した撮像画像を対比して、前記撮像画像において変化が生じたと判定することを特徴とする請求項２に記載の指示システム。
4. 前記制御手段は、前記撮像手段による連続した撮像画像を対比して、該撮像画像内の対象物の位置が所定時間にかけて不変である場合に、前記対象物の位置が確定したと判定することを特徴とする請求項２又は３に記載の指示システム。
5. 前記制御手段は、前記指示が完了するまでの撮像画像を、前記変化に伴う撮像領域の移動量と対応付けて時系列に蓄積し、前記指示が完了したときに、該撮像画像を連続して前記一の端末に表示させることを特徴とする請求項１から４のいずれか１項に記載の指示システム。
6. 前記制御手段は、前記指示が完了するまでの撮像画像を該指示に応じた注釈画像と時系列に対応付けて蓄積し、前記指示が完了したときに、該撮像画像を、対応付けられた注釈画像と併せて連続して前記一の端末に表示させることを特徴とする請求項１から５のいずれか１項に記載の指示システム。
7. コンピュータを、
   対象物を撮像する撮像手段で撮像された撮像画像を複数の端末に送信すると共に、該複数の端末のうちの一の端末でなされた指示に応じた注釈を表す注釈画像を前記複数の端末で共有させつつ投影手段により前記対象物に投影させ得る制御手段として機能させ、
   前記制御手段は、前記指示がなされている間に、前記一の端末以外の端末からの、前記指示がなされている対象の画像を変化させる指示を受信した場合、前記一の端末における撮像画像の表示の更新を停止させ、前記指示が完了したときに、前記停止を解除することを特徴とする指示プログラム。
8. 前記制御手段は、前記指示がなされている対象の画像が前記撮像手段で撮像された撮像画像である場合であって、該撮像画像において変化が生じたときに、前記一の端末における撮像画像の表示の更新を停止させ、前記指示が完了したときに、前記停止を解除することを特徴とする請求項７に記載の指示プログラム。
9. 対象物を撮像する撮像手段と、
   複数の端末のうちの一の端末でなされた指示に応じた注釈を表す注釈画像を前記対象物に投影する投影手段と、
   前記撮像手段で撮像された撮像画像を前記複数の端末に送信すると共に、前記指示に応じた前記注釈画像を前記複数の端末で共有させつつ前記投影手段により投影させ、前記指示がなされている間に、前記一の端末以外の端末からの、前記指示がなされている対象の画像を変化させる指示を受信した場合、前記一の端末における撮像画像の表示の更新を停止させ、前記指示が完了したときに、前記停止を解除する制御手段と、
   を有することを特徴とする指示装置。
10. 前記制御手段は、前記指示がなされている対象の画像が前記撮像手段で撮像された撮像画像である場合であって、該撮像画像において変化が生じたときに、前記一の端末における撮像画像の表示の更新を停止させ、前記指示が完了したときに、前記停止を解除することを特徴とする請求項９に記載の指示装置。
    
    
    

Images