JP2010034720A - 指示システム、指示装置、端末装置、指示プログラム及び端末用プログラム - Google Patents

Abstract

【課題】 注釈画像により指示された対象物が移動しても、円滑な指示が継続して行われ得る指示システムを提供する。
【解決手段】 対象物を含む対象領域内を撮像するビデオカメラ２０と、ビデオカメラ２０で撮像された撮像画像に基づく指示に応じた注釈画像を対象領域内に投影するプロジェクタ４０と、撮像画像を送信する画像送信部５１、注釈画像ないし指示操作によって指し示された指示位置を判定する指示位置判定部５５、撮像画像と予め設定された背景画像との差分による差分画像並びに指示位置判定部５５により判定された指示位置により、該指示位置が含まれた対象物を抽出する指示対象抽出部５６及び抽出された対象物の残像画像を注釈画像と共にプロジェクタ４０に投影させる投影制御部５４を具備するサーバ５０と、撮像画像を受信する受信部及び該撮像画像に基づく指示を送信する送信部を具備する端末１００と、を有する。
【選択図】 図２

Description

本発明は、指示システム、指示装置、端末装置、指示プログラム及び端末用プログラムに関する。

会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末において撮像画像に基づいて操作者によって指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている。

また、指示システムとして、一の端末と遠隔地に置かれている他の端末との間で、他の端末に表示される実物体の任意の位置を一の端末から容易かつ正確に指示するために、３次元スキャナで実物体の画像を予め取り込み、双方の端末で共有するシステムが知られている（例えば特許文献１）。さらに、画像と音声の送受のみを行うテレビ会議システムに利用される端末同士間でポインタ像等の表示位置がずれるという問題を解消する技術や（例えば特許文献２）、被写体が移動する場合でも、被写体の位置に応じて適切に注釈画像を投影する技術も知られている（例えば特許文献３）。

特開２００２−３１８７７５号公報 特開２００４−１１２８２４号公報 特開２００７−３６５４３号公報

本発明は、注釈画像により指示された対象物が移動しても、円滑な指示が継続して行われ得る指示システム、指示装置、端末装置、指示プログラム及び端末用プログラムを提供することを目的とする。

請求項１に記載の発明は、対象物を含む対象領域内を撮像する撮像手段と、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を対象領域内に投影する投影手段と、撮像画像を送信する第１の送信部と、注釈画像ないし指示操作によって指し示された指示位置を判定する判定部と、撮像画像と予め設定された背景画像との差分による差分画像並びに判定部により判定された指示位置により、該指示位置が含まれた対象物を抽出する抽出部と、抽出部により抽出された対象物の残像に関する残像画像を、注釈画像と共に投影手段に投影させる投影制御部とを具備する制御手段と、撮像画像を受信する受信部及び受信部により受信された撮像画像に基づく指示を送信する第２の送信部を具備する端末と、を有することを特徴とする指示システムである。

請求項２に記載の発明は、請求項１に記載の発明において、制御手段の判定部は、注釈画像の形状が矢印又は線分の形状である場合に、形状の終点を指示位置と判定することを特徴としている。

請求項３に記載の発明は、請求項１に記載の発明において、制御手段の判定部は、注釈画像の形状が円又は多角形のいずれかである場合に、形状の重心を指示位置と判定することを特徴としている。

請求項４に記載の発明は、請求項１に記載の発明において、制御手段の判定部は、キーボードやマウス等の入力デバイスによる特定キーないしボタンが押されたカーソル位置と判定することを特徴としている。

請求項５に記載の発明は、請求項１に記載の発明において、制御手段の判定部は、端末に表示された撮像画像上の対象物が指示画像により指示された場合に、該指示画像によって指示された位置を指示位置と判定することを特徴としている。

請求項６に記載の発明は、請求項１から５のいずれか１項に記載の発明において、対象物が残像画像の投影位置に置かれたことを検出した場合に、残像画像を消去する消去部を制御手段にさらに含むことを特徴としている。

請求項７に記載の発明は、請求項１から６のいずれか１項に記載の発明において、注釈画像によって指し示された対象物の移動を検出する検出部を制御手段にさらに含み、制御手段の投影制御部は、検出部によって対象物の移動が検出された場合に、残像画像を投影手段に投影させることを特徴としている。

請求項８に記載の発明は、請求項１から７のいずれか１項に記載の発明において、対象物が指し示されたか否かを判定する判定部を制御手段にさらに含み、制御手段の投影制御部は、判定部によって対象物が指し示されたと判定された場合に、残像画像を投影手段に投影させることを特徴としている。

請求項９に記載の発明は、請求項１から８のいずれか１項に記載の発明において、指示の際に利用された撮像画像と、最新の撮像画像との変化を検知する検知部を制御手段にさらに含み、制御手段の投影制御部は、検知部によって撮像画像の変化が検知された場合に、残像画像を投影手段に投影させることを特徴としている。

請求項１０に記載の発明は、対象物を含む対象領域内を撮像する撮像手段により撮像された撮像画像を送信する送信部と、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像ないし指示操作によって指し示された指示位置を判定する判定部と、撮像画像と予め設定された背景画像との差分による差分画像並びに判定部により判定された指示位置により、該指示位置が含まれた対象物を抽出する抽出部と、対象領域内に注釈画像を投影する投影手段に、抽出部により抽出された対象物の残像に関する残像画像も併せて投影させる投影制御部と、を有することを特徴とする指示装置である。

請求項１１に記載の発明は、対象物を含む対象領域内を撮像する撮像手段により撮像された撮像画像を受信する受信部と、撮像画像に基づく指示に応じた注釈を表す注釈画像を対象領域内に投影する投影手段に対して、対象物の残像に関する残像画像も併せて投影させるか否かを選択する選択部と、選択部により投影させる旨が選択された場合に、指示を送信する送信部と、を有することを特徴とする端末装置である。

請求項１２に記載の発明は、コンピュータを、対象物を含む対象領域内を撮像する撮像手段により撮像された撮像画像を送信する送信部、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像ないしは指示操作によって指し示された指示位置を判定する判定部、撮像画像と予め設定された背景画像との差分による差分画像並びに判定部により判定された指示位置により、該指示位置が含まれた対象物を抽出する抽出部、対象領域内に注釈画像を投影する投影手段に、抽出部により抽出された対象物の残像に関する残像画像も併せて投影させる投影制御部、として機能させることを特徴とする指示プログラムである。

請求項１３に記載の発明は、コンピュータを、対象物を含む対象領域内を撮像する撮像手段により撮像された撮像画像を受信する受信部、撮像画像に基づく指示に応じた注釈を表す注釈画像を対象領域内に投影する投影手段に対して、対象物の残像に関する残像画像も併せて投影させるか否かを選択する選択部、選択部により投影させる旨が選択された場合に、指示を送信する送信部、として機能させることを特徴とする端末用プログラムである。

請求項１に記載の発明によれば、注釈画像ないし指示操作により指示された対象物が移動しても、対象物の残像画像を元にして、円滑な指示が継続して行われる。

請求項２に記載の発明によれば、注釈画像の形状が矢印等である場合に、該形状による指示位置が特定される。

請求項３に記載の発明によれば、注釈画像の形状が多角形等である場合に、該形状による指示位置が特定される。

請求項４に記載の発明によれば、キーボードやマウス等の入力デバイスの操作により指示位置が特定される。

請求項５に記載の発明によれば、指示画像ないし指示操作によって指示された位置により指示位置が特定される。

請求項６に記載の発明によれば、対象物とその残像が重複することに伴う、視認性の劣化が抑えられる。

請求項７に記載の発明によれば、対象物が移動すれば、その残像が投影される。

請求項８に記載の発明によれば、対象物側の利用者は対象物を指し示すことで残像画像を投影させることができる。

請求項９に記載の発明によれば、撮像画像の端末への送信に遅延が生じても、端末の操作者は的確な指示を継続して行うことができる。

請求項１０に記載の発明によれば、注釈画像ないし指示操作により指示された対象物が移動しても、対象物の残像画像を元にして、円滑な指示が継続して行われる。

請求項１１に記載の発明によれば、撮像画像に基づく注釈画像を投影手段に投影させる指示を送信する端末に、残像画像の投影も併せて投影させるか否か選択できる。

請求項１２に記載の発明によれば、注釈画像ないし指示操作により指示された対象物が移動しても、対象物の残像画像を元にして、円滑な指示が継続して行われる。

請求項１３に記載の発明によれば、撮像画像に基づく注釈画像を投影手段に投影させる指示を送信する端末に、残像画像の投影も併せて投影させるか否か選択できる。

以下、本発明の実施形態について図面を参照して説明する。

（第１実施形態）
図１は、本発明の指示システムの実施形態を示す構成図、図２は、サーバ５０の要部構成を例示するブロック図、図３は、サーバ５０のハードウェア構成を例示するブロック図である。

この指示システムは、図１に示すように、対象物側装置１０及び端末１００等を備えており、対象物側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００、１０１等をネットワーク３００を通じて対象物側装置１０の後述するサーバ５０へ接続可能である。

対象物側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段または制御装置としてのサーバ５０、ハーフミラー６５等を含んで構成される。

ビデオカメラ２０は、例えばＣＣＤカメラ等で構成され、テーブル７０上に置かれた対象物２００を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。尚、ビデオカメラ２０は、ハーフミラー６５を透過した画像を撮像する。

プロジェクタ４０は、液晶プロジェクタ等で構成され、端末１００でなされた撮像画像に基づく指示に応じた注釈画像（以下、アノテーション画像という。）ＡＮを対象物２００に投影する。また、プロジェクタ４０は、その光学系が、ハーフミラー６５によりビデオカメラ２０と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像ＡＮをその光学系を通じハーフミラー６５を介して対象物２００へ投影する。プロジェクタ４０からのアノテーション画像ＡＮは、ハーフミラー６５で反射して対象物２００へ投影される。尚、アノテーション画像ＡＮには、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラーの反射率は０．３％程度であることが望ましい。

サーバ５０は、ビデオカメラ２０、プロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を送受する。

より詳しくは、図２に示すように、ビデオカメラ２０を制御する撮像制御部５１と、ビデオカメラ２０によって撮像された撮像画像を端末１００に送信する画像送信部５２とを備える。また、サーバ５０は、端末１００からの描画指示等、各種指示を受信する指示受信部５３と、プロジェクタ４０を制御し、アノテーション画像ＡＮや後述する残像画像ＩＭＧを投影させる投影制御部５４とを備える。さらに、指示受信部５３に対して描画に関する指示（描画指示）があった場合に、描画が指示する位置や指示操作があったどうかを判定する指示位置判定部５５と、指示された位置が含まれた対象物２００を抽出する指示対象抽出部５６とを備える。

したがって、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像ＡＮや対象物２００の残像に関する残像画像ＩＭＧをプロジェクタ４０により対象物２００へ投影させる。

尚、サーバ５０は、図３に示すように、ＣＰＵ５０ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０ｃ及び入出力を制御するＩ／Ｏインタフェース５０ｄやＬＡＮインタフェース５０ｅ等がバス５０ｆにより接続されたハードウェア構成により実現される。

したがって、ＣＰＵ５０ａがＲＡＭ５０ｂやＲＯＭ５０ｃ等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、上述したサーバ５０の各機能が実現される。後述する端末１００のコンピュータ１２０ついても概ね同様の構成である。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、同図に示すように、必要に応じて、バス５０ｆにＨＤＤ（ハードディスクドライブ）５０ｇ、ＣＤ−ＲＯＭドライブ５０ｈ、ＦＤドライブ５０ｉ、モデム５０ｊを接続するようにしてもよい。

端末１００は、図１に示すように、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。表示装置１１０及びポインティングデバイス１３０の動作はコンピュータ１２０によって制御される。

表示装置１１０は、その表示画面に対象物側装置１０から送信される撮像画像を表示する。
ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物２００へ投影するアノテーション画像ＡＮに関する指示の形成や残像となる対象物を指定する操作に用いられる。
コンピュータ１２０は、撮像画像を受信する受信部、撮像画像に対して行われたアノテーション画像の描画に関する描画指示等、各種指示を送信する送信部及びアノテーション画像を投影するプロジェクタ４０に対して、残像画像も併せて投影させるか否かを選択する選択部を含んで構成される。

次に、上記構成の指示システムの動作について図４から図６を参照して説明する。

まず、対象物側装置１０の動作について図４を参照して説明する。
図４は、対象物側装置１０のサーバ５０における処理の一例を示すフローチャートである。

サーバ５０は、図４に示すように、まず、ビデオカメラ２０のよる撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求があったと判断した場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信する（ステップＳ１３）。

サーバ５０は、次いで、コンピュータ１２０から描画指示の送信があるか否かを判断する（ステップＳ１４）。この描画指示は、アノテーション画像ＡＮの描画に関する指示である。サーバ５０は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う（ステップＳ１５）。具体的には、描画指示に応じたアノテーション画像ＡＮを生成する。これにより、プロジェクタ４０に処理結果に基づくアノテーション画像ＡＮを投影させる。

一方、サーバ５０は、上記の描画指示を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信し、切断要求があった場合には、ビデオカメラ２０の撮像画像の送信を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。

次に、端末１００の動作について図５及び図６を参照して説明する。
図５は、端末１００のコンピュータ１２０における画像形成における処理の一例を示すフローチャート、図６は、端末１００側の操作の一例を説明するための図である。

まず、図５に示すように、端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図６に示すように、対象物側のサーバ５０から送信される撮像画像１１１を表示装置１１０の画面上に表示する（ステップＳ２２）。尚、図６に示される撮像画像１１１は、テーブル７０の上に置かれた対象物２００ａ,２００ｂが、これらの上方に配置されたビデオカメラ２０によって撮像された画像を表している。

次いで、コンピュータ１２０は、表示装置１１０の画面上に表示された撮像画像１１１に対する操作者からのアノテーション画像ＡＮの描画指示があるかを判断し（ステップＳ２３）、アノテーション画像ＡＮの描画指示がある場合には、その描画指示に応じた処理を行う（ステップＳ２４）。

具体的には、端末１００の操作者は、図６に示すような表示装置１１０の画面上の撮像画像１１１を見ながら、画面上の指示画像としてのポインタＰｔをポインティングデバイス１３０の操作によって移動させ、アノテーション画像ＡＮを指示する。この指示は、例えば、ポインティングデバイス１３０を用いて画面上に形成された各種ボタンＢＴ等を操作することにより行われる。

アノテーション画像ＡＮの描画指示には、多角形や円、線分、矢印などの図形の描画を行わせる指示、あらかじめ用意されたビットマップ画像の描画を行わせる指示、キーボードなどから入力されたテキスト画像の描画を行わせる指示、ポインティングデバイス１３０の動作を反映させた画像の描画を行わせる指示等がある。そして、コンピュータ１２０は、ステップＳ２４で特定された描画指示をサーバ５０へ送信する（ステップＳ２５）。

次いで、コンピュータ１２０は、端末１００でなされたビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し（ステップＳ２６）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２７）、処理を終了する。端末１００の操作者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。

続いて、残像画像ＩＭＧの投影処理について説明する。

図７は、サーバ５０における指示位置判定部５５の動作の一例を示すフローチャート、図８は、アノテーション画像ＡＮの形状を説明するための図である。尚、図７に示されるフローチャートは、図４に示されるステップＳ１５の処理に含められることが望ましい。後述するフローチャートについても同様である。

指示位置判定部５５は、まず、アノテーション画像ＡＮの形状が矢印であるか否かを判定し（ステップＳ３１）。アノテーション画像ＡＮの形状が矢印であると判定した場合には、矢印の終点座標を指示位置と判定する（ステップＳ３２）。

具体的には、図８（ａ）に示すように、撮像画像１１１上に現れる対象物２００ａに対して指示されたアノテーション画像ＡＮの形状が矢印の形状である場合には、そのアノテーション画像ＡＮの終点Ｅがそのアノテーション画像ＡＮによって指示された指示位置であると判定する。尚、矢印に代えて線分を用いて判定するようにしてもよい。

一方、指示位置判定部５５は、ステップＳ３１の処理において、アノテーション画像ＡＮの形状が矢印でないと判定した場合には、次に、アノテーション画像ＡＮの形状が円又は多角形であるか否かを判定する（ステップＳ３３）。そして、アノテーション画像ＡＮの形状が円又は多角形であると判定した場合には、その形状の重心を指示位置と判定する（ステップＳ３４）。

具体的には、図８（ｂ）に示すように、撮像画像１１１上に現れる対象物２００ａに対して指示されたアノテーション画像ＡＮの形状が長方形の形状である場合には、そのアノテーション画像ＡＮの重心Ｇがそのアノテーション画像ＡＮによって指示された指示位置であると判定する。

指示位置判定部５５は、ステップＳ３３の処理において、アノテーション画像ＡＮの形状が円又は多角形でないと判定した場合には、アノテーション画像ＡＮによって指示された指示位置はないと判定する（ステップＳ３５）。このような形状としては、例えば、折線や曲線等がある。

尚、指示位置判定部５５の動作は上述した実施形態に限定されない。その一例について図９を参照して説明する。
図９は、指示位置判定部５５の動作の他の一例を示すフローチャートである。

指示位置判定部５５は、同図に示すように、アノテーション画像ＡＮの形状が矢印であるか否かを判定し（ステップＳ４１）。アノテーション画像ＡＮの形状が矢印であると判定した場合には、矢印の終点座標を指示位置と判定し（ステップＳ４２）、アノテーション画像ＡＮの形状が矢印でないと判定した場合には、円又は多角形の重心を指示位置と判定する（ステップＳ４３）。

さらに、他の指示位置の判定処理としては、例えば、表示装置１１０に表示された撮像画像１１１上に現れる対象物２００ａがポインタＰｔにより指示された場合に、そのポインタＰｔによって指示された位置を指示位置と判定するようにしてもよい。

次に、アノテーション画像ＡＮによって指示された対象物２００の画像を抽出する処理について図１０から図１２を参照して説明する。

図１０は、サーバ５０における指示対象抽出部５６の動作の一例を示すフローチャート、図１１は、撮像画像１１１からのアノテーション画像ＡＮの除去を説明するための図、図１２は、指示された対象物２００の画像抽出処理を説明するための図である。

指示対象抽出部５６は、図１０に示すように、まず、指示位置が存在するか否かを判定する（ステップＳ５１）。当該判定処理は、上述した指示位置判定部５５の判定処理によって指示位置が特定されたか否かを判定される。

指示対象抽出部５６は、ステップＳ５１の処理において、指示位置が存在すると判定した場合には、次いで、撮像画像１１１からアノテーション画像ＡＮを除去する処理を行う（ステップＳ５２）。

具体的には、図１１（ａ）に示すように、アノテーション画像ＡＮが対象物２００ａに投影された状態において、指示対象抽出部５６は、投影制御部５４に対しプロジェクタ４０への投影停止要求を送信し、投影制御部５４はこの要求を受信してプロジェクタ４０に対し投影を停止させる。この投影停止時間は、例えば１秒以下等、一時的であることが望ましい。この結果、同図（ｂ）に示すように、一時的にアノテーション画像ＡＮの投影を停止する。したがって、ビデオカメラ２０は、アノテーション画像ＡＮが投影されていない対象物２００ａの画像を撮像する。そして、指示対象抽出部５６は、投影制御部５４に対しプロジェクタ４０への投影停止解除要求を送信し、投影制御部５４はプロジェクタ４０に対し投影を開始させる。この結果、同図（ｃ）に示すように、再び、対象物２００ａに対しアノテーション画像ＡＮが投影される。

これにより、指示対象抽出部５６は、対象物２００ａに対して、図１２（ａ）に示すように、アノテーション画像ＡＮが投影された撮像画像１１１と、同図（ｂ）に示すように、アノテーション画像ＡＮが投影されていない撮像画像１１１とを得る。

指示対象抽出部５６は、ステップＳ５２の処理が終了すると、次いで、アノテーション画像除去後の撮像画像１１１と予め設定された背景画像との差分画像を生成する（ステップＳ５３）。具体的には、図１２（ｂ）に示すように、アノテーション画像ＡＮが投影されていない撮像画像１１１と、同図（ｃ）に示すように、対象物２００ａ,２００ｂがまだテーブル７０上に設置されていない画像となる背景画像１１５と、の差分画像１１７を生成する。この結果、同図（ｄ）に示すように、対象物２００ａ,２００ｂが画像として現れる。

指示対象抽出部５６は、ここで、図１０に示すように、指示位置が差分画像１１７に現れる対象物２００ａ,２００ｂ内に含まれるか否かを判定する（ステップＳ５４）。例えば、アノテーション画像ＡＮの形状が矢印の場合であれば、終点Ｅが対象物２００ａ,２００ｂのいずれかに含まれているか判定する。

指示対象抽出部５６は、ステップＳ５４の処理において、指示位置が差分画像１１７に現れる対象物２００ａ,２００ｂのいずれかの内部に含まれると判定した場合には、指示位置を画素の起点として連続性がある画素を抽出する（ステップＳ５５）。例えば、図１２（ｄ）に示す対象物２００ａ内に指示位置が含まれていれば、その指示位置を起点として、その対象物２００ａ内部の画素すべてを抽出する。これにより、アノテーション画像ＡＮによって指し示された対象物を特定する。この抽出された画素の集合は、対象物２００ａの残像に関する残像画像ＩＭＧとなる。指示対象抽出部５６は、ステップＳ５５の処理を終了すると、投影制御部５４に対し、残像画像ＩＭＧを送信する。

次に、残像画像ＩＭＧの投影例について図１３を参照して説明する。
図１３は、残像画像ＩＭＧの投影を説明するための図である。

サーバ５０における投影制御部５４は、指示対象抽出部５６から残像画像ＩＭＧを受信すると、対象物が設置された位置と概ね同じ位置に概ね同じ大きさの残像画像ＩＭＧをプロジェクタ４０に投影させる。この投影技術は、例えば、特開２００７―５２２１６号公報に開示されるカメラと投影部との光軸一致技術を利用すればよい。この結果、図１３（ａ）に示すように、アノテーション画像ＡＮが投影されていた対象物２００ａに対し、同図（ｂ）に示すように、その対象物２００ａの同じ位置に同じ大きさの残像画像ＩＭＧも投影される。

この結果、図１３（ｃ）に示すように、対象物２００ａがテーブル７０から移動しても、テーブル７０には残像画像ＩＭＧがアノテーション画像ＡＮと共に投影され続ける。ビデオカメラ２０はこの状態を撮像する。したがって、サーバ５０は、ビデオカメラ２０により撮像されたこの状態の撮像画像を端末１００に送信する。端末１００側での操作者は、対象物２００ａが移動した後であっても、残像画像ＩＭＧを対象として指示を継続する。

（第２実施形態）
続いて、本発明の第２実施形態について図１４及び図１５を参照して説明する。

図１４は、サーバ５０の要部構成を例示する他のブロック図、図１５は、残像画像ＩＭＧの消去を説明するための図である。尚、図２に示されるサーバ５０の各機能と同様の構成には同一符号を付し、その説明を省略する。後述する実施形態についても同様とする。

本実施形態に係るサーバ５０は、残像消去部５７をさらに具備する点で、第１実施形態に係るサーバ５０と相違する。
残像消去部５７は、残像画像が投影された場所に、その残像画像の元となった対象物が戻された場合に、投影制御部５４に対し、その残像画像を消去する要求を送信する。

具体的には、図１５（ａ）に示すように、テーブル７０に対象物２００ａの残像画像ＩＭＧ及び対象物２００ａに対して指示されたアノテーション画像ＡＮが投影されている状態において、残像画像ＩＭＧの投影位置と概ね同じ位置に対象物２００ａが設置されると、同図（ｂ）に示すように、対象物２００ａの天井面に残像画像ＩＭＧとアノテーション画像ＡＮの一部が投影された状態となる。

ビデオカメラ２０は、この状態を撮像し、画像送信部５２に送信する。画像送信部５２は、ビデオカメラ２０によって撮像された撮像画像を端末１００と残像消去部５７に送信する。残像消去部５７は、対象物２００ａが残像画像ＩＭＧの投影位置と概ね同じ位置に設置されたと判定した場合、図１５（ｃ）に示すように、残像画像ＩＭＧを消去する処理を行う。

対象物２００ａが残像画像ＩＭＧの投影位置と概ね同じ位置に設置されたか否かについての判定は、例えば、残像画像ＩＭＧと対象物２００ａの撮像画像との特徴量に基づいたパターンマッチング技術により行うことが望ましい。また、残像画像ＩＭＧを消去する処理は、例えば、残像消去部５７が投影制御部５４に対し、残像画像ＩＭＧの投影を停止させる指示を送信するようにすればよい。投影制御部５４はこれを受信してプロジェクタ４０に残像画像ＩＭＧの投影を停止させる。

（第３実施形態）
続いて、本発明の第３実施形態について図１６及び図１７を参照して説明する。

図１６は、サーバ５０の要部構成を例示する他のブロック図、図１７は、残像画像ＩＭＧの投影を説明するための図である。

本実施形態に係るサーバ５０は、移動検出部５８をさらに具備する点で、第１実施形態に係るサーバ５０と相違する。
移動検出部５８は、アノテーション画像によって指し示された対象物が移動したことを検出すると、投影制御部５４に対し、対象物が設置されていた位置と概ね同じ位置に、その対象物の残像画像をプロジェクタ４０に投影させる旨の要求を送信する。

具体的には、図１７（ａ）に示すように、テーブル７０にアノテーション画像ＡＮによって指し示された対象物２００ａが設置されている状態において、同図（ｂ）に示すように、対象物２００ａが移動すると、テーブル７０上には、アノテーション画像ＡＮが投影されている状態となる。

ビデオカメラ２０は、この状態を撮像し、画像送信部５２に送信する。画像送信部５２は、ビデオカメラ２０によって撮像された撮像画像を端末１００と移動検出部５８に送信する。移動検出部５８は、対象物２００ａが移動したと判定した場合、図１７（ｃ）に示すように、残像画像ＩＭＧを投影する処理を行う。

対象物２００ａが移動したか否かについての判定は、例えば、移動検出部５８が、受信した撮像画像を一定時間にかけて保持し続け、保持した複数の撮像画像の中に対象物２００ａの画像がない撮像画像の数が予め設定された数値以上となったか否かにより行い、対象物２００ａの画像がない撮像画像の数が予め設定された数値以上となった場合に、対象物２００ａが移動したと判定する。また、残像画像ＩＭＧを投影する処理は、移動検出部５８が投影制御部５４に対し、残像画像ＩＭＧを投影させる指示を送信するようにすればよい。投影制御部５４はこれを受信してプロジェクタ４０に残像画像ＩＭＧを投影させる。

（第４実施形態）
続いて、本発明の第４実施形態について図１８及び図１９を参照して説明する。

図１８は、サーバ５０の要部構成を例示する他のブロック図、図１９は、残像画像ＩＭＧの投影を説明するための他の図である。

本実施形態に係るサーバ５０は、指し示し判定部５９をさらに具備する点で、第１実施形態に係るサーバ５０と相違する。
指し示し判定部５９は、対象物が、例えば指や手等、対象物側の利用者の体の一部によって指し示された場合に、対象物が設置されていた位置と概ね同じ位置に、その対象物の残像画像を投影する処理を行う。

具体的には、図１９（ａ）に示すように、テーブル７０にアノテーション画像ＡＮによって指し示された対象物２００ａが設置されている状態において、同図（ｂ）に示すように、対象物側の利用者は、自身の指９０により対象物２００ａを指し示す。

ビデオカメラ２０は、この指し示された状態を撮像し、画像送信部５２に送信する。画像送信部５２は、ビデオカメラ２０によって撮像された撮像画像を端末１００と指し示し判定部５９に送信する。指し示し判定部５９は、対象物２００ａが指し示されたと判定した場合、図１９（ｃ）に示すように、残像画像ＩＭＧを投影させる要求を投影制御部５４に送信する。

対象物２００ａが指し示されたか否かについての判定は、例えば、ジェスチャー認識に関する技術
（http://www.i.u-tokyo.ac.jp/coe/report/H17/21COE-ISTSC-H17_2_1.pdf）を利用すればよい。また、残像画像ＩＭＧを投影する処理は、例えば、指し示し判定部５９が投影制御部５４に対し、残像画像ＩＭＧを投影させる指示を送信するようにすればよい。投影制御部５４はこれを受信してプロジェクタ４０に残像画像ＩＭＧを投影させる。この結果、同図（ｄ）に示すように、対象物２００ａが移動しても、対象物２００ａが設置された位置と概ね同じ位置に残像画像ＩＭＧが投影される。

尚、本実施形態では、対象物側の利用者の体の一部を使った実施形態を説明したが、これに代えて、レーザポインタや種々のコーナーキューブ（例えばコーナーキューブ・ミラー、コーナーキューブ・プリズム、コーナーキューブ・リフレクタ）等を利用するようにしてもよい。前者であれば、レーザポインタによって対象物２００ａが指し示されると、対象物２００ａの側面や天井面に発光点が現れる。この発光点を含む対象物２００ａの撮像画像から、発光点を画像処理で検出する技術
（http://www.mech.chuo-u.ac.jp/umedalab/introduction/g1/r_1.html）により行うことが望ましい。後者であれば、対象物２００ａの天井面等にコーナーキューブを置いたり、付けたりすることで、予め定められた強度よりの高い強度の反射光を画像処理で検出することが望ましい。また、本実施形態では、棒状の部材で指し示すようにしてもよい。さらに、サーバ５０に移動検出部５８を構成し、対象物２００ａが指し示された後に、対象物２００ａの移動を検出すれば、残像画像ＩＭＧを投影するようにしてもよい。

（第５実施形態）
続いて、本発明の第５実施形態について図２０から図２２を参照して説明する。

図２０は、サーバ５０の要部構成を例示する他のブロック図、図２１及び図２２は、残像画像ＩＭＧの投影を説明するための他の図である。

本実施形態に係るサーバ５０は、指示位置判定部５５に代えて、画像変化検知部６０を具備すると共に、画像送信部５２が撮像画像を送信する際に、各撮像画像に識別情報（画像ＩＤ）を付し、この撮像画像を複写し、複写された撮像画像を予め定められた期間自己に保持しつつ、複写元の撮像画像を送信する点で、第１実施形態に係るサーバ５０と相違する。

画像変化検知部６０は、描画指示の際に利用された撮像画像と、最新の撮像画像との変化を検知し、検知結果を投影制御部５４に送信する。

具体的には、図２１（ａ）に示すように、テーブル７０に対象物２００ａ,２００ｂが設置されている状態において、表示装置１１０に表示される撮像画像１１１に対し、同図（ｂ）に示すように、アノテーション画像ＡＮ１の指示が行われると、サーバ５０の指示受信部５３がこの指示及びこの指示を行う際に利用された撮像画像の識別情報を受信して、投影制御部５４に対しプロジェクタ４０にアノテーション画像ＡＮ１を投影させる旨の要求を行う。この結果、図２１（ｃ）に示すように、テーブル７０にアノテーション画像ＡＮ１が投影される。そして、アノテーション画像ＡＮ１に従って、対象物側の利用者は、図２１（ｄ）に示すように、対象物２００ａを対象物２００ｂに近づける。

ここで、ビデオカメラ２０は、対象物２００ａが対象物２００ｂに近づけられた状態を撮像し、サーバ５０の画像送信部５２はこれを撮像画像として端末１００に送信する。しかし、端末１００がこの撮像画像を受信して、表示装置１１０がこの撮像画像を表示するまで時間がかかる場合があり、表示装置１１１には、図２１（ｂ）に示すように、対象物２００ａがまだ対象物２００ｂに近づけられていない状態の撮像画像が表示される可能性がある。

表示装置１１０が、図２１（ｂ）に示すように、撮像画像１１１を表示している場合に、図２２（ａ）に示すように、アノテーション画像ＡＮ１の描画指示が停止され、図２２（ｂ）に示すように、修正されたアノテーション画像ＡＮ２の描画指示が行われると、サーバ５０の指示受信部５３がこの指示及びこの指示を行う際に利用された撮像画像の識別情報を受信して、投影制御部５４に対してプロジェクタ４０にアノテーション画像ＡＮ２を投影させる旨の要求を行う。この結果、図２２（ｃ）に示すように、テーブル７０にアノテーション画像ＡＮ２が投影される。

画像変化検知部６０は、指示受信部５３が受信した撮像画像の識別情報を取得し、この識別情報に応じた撮像画像を画像送信部５２から取得すると共に、最新の撮像画像をも取得する。そして、双方の撮像画像を比較して、撮像画像が相違するか否かを判定する。

具体的には、アノテーション画像ＡＮ２の描画指示の際に利用された、図２２（ａ）に示すような撮像画像と、対象物２００ａが対象物２００ｂに近づけられた、図２２（ｃ）に示すような、撮像画像とが比較される。この場合、対象物２００ａが移動しており、双方の撮像画像は相違すると判定される。

画像変化検知部６０は、画像の変化を検知した場合、投影制御部５４に対し、残像画像ＩＭＧを投影させる指示を送信する。投影制御部５４はこれを受信して対象物２００ａが設置された位置と概ね同じ位置にプロジェクタ４０に残像画像ＩＭＧを投影させる。

この結果、図２１（ｃ）に示すように、対象物２００ａが移動しても、対象物２００ａが設置された位置と概ね同じ位置に残像画像ＩＭＧが投影される。残像画像ＩＭＧが投影されなければ、対象物側の利用者は、テーブル７０に投影されたアノテーション画像ＡＮ２による指示を認識しない可能性がある。一方、残像画像ＩＭＧが投影されることで、対象物２００ａの修正後の移動先を把握し易くなる。

また、表示装置１１０には、図２２（ｄ）に示すように、対象物２００ｂに近づけられた対象物２００ａ、対象物２００ａが設置されていた位置と概ね同じ位置に投影された残像画像ＩＭＧ及びアノテーション画像ＡＮ２等が撮像された撮像画像が表示される。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。例えば、上述した各実施形態に係るサーバを選択的に組み合わせて構成するようにしてもよい。また、移動した対象物とその残像画像の投影位置は、可能な限り移動前と同じ位置であることが望ましい。

指示システムの実施形態を示す構成図である。 サーバの要部構成を例示するブロック図である。 サーバのハードウェア構成を例示するブロック図である。 対象物側装置のサーバにおける処理の一例を示すフローチャートである。 端末のコンピュータにおける画像形成における処理の一例を示すフローチャートである。 端末側の操作の一例を説明するための図である。 サーバにおける指示位置判定部の動作の一例を示すフローチャートである。 アノテーション画像の形状を説明するための図である。 指示位置判定部の動作の他の一例を示すフローチャートである。 サーバにおける指示対象抽出部の動作の一例を示すフローチャートである。 撮像画像からのアノテーション画像の除去を説明するための図ある。 指示された対象物の画像抽出処理を説明するための図である。 残像画像の投影を説明するための図である。 サーバの要部構成を例示する他のブロック図である。 残像画像の消去を説明するための図である。 サーバの要部構成を例示する他のブロック図である。 残像画像の投影を説明するための図である。 サーバの要部構成を例示する他のブロック図である。 残像画像の投影を説明するための他の図である。 サーバの要部構成を例示する他のブロック図である。 残像画像の投影を説明するための他の図である。 残像画像の投影を説明するための他の図である。

符号の説明

１０ 対象物側装置
２０ ビデオカメラ
４０ プロジェクタ
５０ サーバ
５１ 撮像制御部
５２ 画像送信部
５３ 指示受信部
５４ 投影制御部
５５ 指示位置判定部
５６ 指示対象抽出部
５７ 残像消去部
５８ 移動検出部
５９ 指し示し判定部
６０ 画像変化検知部
６５ ハーフミラー
７０ テーブル
１００ 端末
１１０ 表示装置
１１１ 撮像画像
１２０ コンピュータ
１３０ ポインティングデバイス
２００、２００ａ、２００ｂ 対象物
３００ ネットワーク
ＡＮ、ＡＮ１、ＡＮ２ アノテーション画像
ＩＭＧ 残像画像
Ｐｔ ポインタ
ＢＴ ボタン

Claims (13)

1. 対象物を含む対象領域内を撮像する撮像手段と、
   前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を前記対象領域内に投影する投影手段と、
   前記撮像画像を送信する第１の送信部と、前記注釈画像ないしは指示操作により指し示された指示位置を判定する判定部と、前記撮像画像と予め設定された背景画像との差分による差分画像並びに前記判定部により判定された指示位置により、該指示位置が含まれた対象物を抽出する抽出部と、前記抽出部により抽出された対象物の残像に関する残像画像を、前記注釈画像と共に前記投影手段に投影させる投影制御部とを具備する制御手段と、
   前記撮像画像を受信する受信部及び前記受信部により受信された撮像画像に基づく指示を送信する第２の送信部を具備する端末と、
   を有することを特徴とする指示システム。
2. 前記制御手段の前記判定部は、前記注釈画像の形状が矢印又は線分の形状である場合に、前記形状の終点を指示位置と判定することを特徴とする請求項１に記載の指示システム。
3. 前記制御手段の前記判定部は、前記注釈画像の形状が円又は多角形のいずれかである場合に、前記形状の重心を指示位置と判定することを特徴とする請求項１に記載の指示システム。
4. 前記制御手段の前記判定部は、前記指示操作としてマウスないしキーボード等の入力デバイスの特定キーないしボタンが押されたカーソル位置と判定することを特徴とする請求項１に記載の指示システム。
5. 前記制御手段の前記判定部は、前記端末に表示された撮像画像上の対象物が指示画像ないし指示操作により指示された場合に、該指示画像によって指示された位置を指示位置と判定することを特徴とする請求項１に記載の指示システム。
6. 前記対象物が前記残像画像の投影位置に置かれたことを検出した場合に、前記残像画像を消去する消去部を前記制御手段にさらに含むことを特徴とする請求項１から５のいずれか１項に記載の指示システム。
7. 前記注釈画像によって指し示された対象物の移動を検出する検出部を前記制御手段にさらに含み、
   前記制御手段の前記投影制御部は、前記検出部によって前記対象物の移動が検出された場合に、前記残像画像を前記投影手段に投影させることを特徴とする請求項１から６のいずれか１項に記載の指示システム。
8. 前記対象物が指し示されたか否かを判定する判定部を前記制御手段にさらに含み、
   前記制御手段の前記投影制御部は、前記判定部によって前記対象物が指し示されたと判定された場合に、前記残像画像を前記投影手段に投影させることを特徴とする請求項１から７のいずれか１項に記載の指示システム。
9. 前記指示の際に利用された撮像画像と、最新の撮像画像との変化を検知する検知部を前記制御手段にさらに含み、
   前記制御手段の前記投影制御部は、前記検知部によって撮像画像の変化が検知された場合に、前記残像画像を前記投影手段に投影させることを特徴とする請求項１から８のいずれか１項に記載の指示システム。
10. 対象物を含む対象領域内を撮像する撮像手段により撮像された撮像画像を送信する送信部と、
    前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像ないし指示操作によって指し示された指示位置を判定する判定部と、
    前記撮像画像と予め設定された背景画像との差分による差分画像並びに前記判定部により判定された指示位置により、該指示位置が含まれた対象物を抽出する抽出部と、
    前記対象領域内に前記注釈画像を投影する投影手段に、前記抽出部により抽出された前記対象物の残像に関する残像画像も併せて投影させる投影制御部と、
    を有することを特徴とする指示装置。
11. 対象物を含む対象領域内を撮像する撮像手段により撮像された撮像画像を受信する受信部と、
    前記撮像画像に基づく指示に応じた注釈を表す注釈画像を前記対象領域内に投影する投影手段に対して、前記対象物の残像に関する残像画像も併せて投影させるか否かを選択する選択部と、
    前記選択部により投影させる旨が選択された場合に、前記指示を送信する送信部と、
    を有することを特徴とする端末装置。
12. コンピュータを、
    対象物を含む対象領域内を撮像する撮像手段により撮像された撮像画像を送信する送信部、
    前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像ないし指示操作によって指し示された指示位置を判定する判定部、
    前記撮像画像と予め設定された背景画像との差分による差分画像並びに前記判定部により判定された指示位置により、該指示位置が含まれた対象物を抽出する抽出部、
    前記対象領域内に前記注釈画像を投影する投影手段に、前記抽出部により抽出された前記対象物の残像に関する残像画像も併せて投影させる投影制御部、
    として機能させることを特徴とする指示プログラム。
13. コンピュータを、
    対象物を含む対象領域内を撮像する撮像手段により撮像された撮像画像を受信する受信部、
    前記撮像画像に基づく指示に応じた注釈を表す注釈画像を前記対象領域内に投影する投影手段に対して、前記対象物の残像に関する残像画像も併せて投影させるか否かを選択する選択部、
    前記選択部により投影させる旨が選択された場合に、前記指示を送信する送信部、
    として機能させることを特徴とする端末用プログラム。
    
    
    

Images