JP2010109774A - 情報処理装置、情報処理システム及びプログラム - Google Patents

Abstract

【課題】対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる情報処理装置、情報処理システム及びプログラムを提供する。
【解決手段】サーバ１のＣＰＵ１０１は、対象物９の複製画像２２を生成し、クライアント２から入力されたアノテーション画像２１及び複製画像２２をプロジェクタ４に投影させ、複製画像２２と撮影画像とから対象物９の移動方向を検出し、検出された対象物の移動方向に応じて、プロジェクタ４により投影されるアノテーション画像２１及び複製画像２２を回転させる。
【選択図】図６

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。

従来より、カメラ及びプロジェクタが接続されているサーバ（例えばコンピュータ）と、ネットワークを介して当該サーバに接続される遠隔地のクライアント（例えばコンピュータ）とを備えるシステムが知られている（例えば、特許文献１、２参照）。

このシステムでは、サーバに接続されているカメラが対象物を撮影し、ネットワークを介して撮影画像をクライアントに送信する。クライアントは、表示装置の表示画面に撮影画像を表示し、当該表示画面上にアノテーション画像などが書き込まれると、当該アノテーション画像をネットワークを介してサーバに送信する。サーバは受信したアノテーション画像をプロジェクタに送信し、プロジェクタは受信したアノテーション画像を対象物を含む投影領域の適切な位置（これは、クライアントが、撮影画像の範囲内でアノテーション画像を書き込んだ位置に対応する）に投影する。また、このシステムでは、対象物の周辺にいるユーザが対象物を動かすことがある。

また、特許文献２のシステムは、表示画面上に表示される対象物とアノテーション画像との位置関係に応じて、アノテーション画像の表示位置、大きさ、及び方向などを調整する。
特開２００５−３３７５６号公報 特開２００８−４８３７７号公報

本発明の目的は、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる情報処理装置、情報処理システム及びプログラムを提供することにある。

上記目的を達成するため、請求項１の情報処理装置は、対象物の撮影画像を撮影装置から取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段と、外部装置から入力された注釈画像及び前記複製画像を投影装置に投影させる投影手段と、前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段とを備えることを特徴とする。

請求項２の情報処理装置は、請求項１記載の情報処理装置において、前記回転された複製画像及び注釈画像を含む撮影画像を前記外部装置に出力する出力手段を備え、前記外部装置は、表示装置と接続されており、前記対象物の移動方向が当該表示装置の表示領域の下方向になるように、前記出力手段から出力された撮影画像を回転して、前記表示装置に表示させることを特徴とする。

請求項３の情報処理装置は、請求項１記載の情報処理装置において、前記対象物の移動方向に応じて、前記投影手段により投影される注釈画像及び複製画像の回転角度を算出する算出手段と、前記回転角度を前記外部装置に通知する通知手段とを備え、前記外部装置は、表示装置と接続されており、前記通知された回転角度に基づいて前記撮影画像に含まれる注釈画像及び複製画像を回転させ、さらに、前記対象物の移動方向が当該表示装置の表示領域の下方向になるように、前記撮影画像を回転して、前記表示装置に表示させることを特徴とする。

請求項４の情報処理装置は、請求項１乃至３のいずれか１項に記載の情報処理装置において、前記複製画像の縦方向及び横方向の検出を行う検出手段と、前記複製画像の縦方向及び横方向が前記対象物の移動方向に対して略平行又は略垂直となるように回転された注釈画像及び複製画像の複数の候補を前記外部装置に接続される表示装置に表示させる制御手段とを備え、前記回転手段は、前記外部装置で選択された注釈画像及び複製画像の候補に基づいて、前記投影手段により投影される注釈画像及び複製画像を回転させることを特徴とする。

請求項５の情報処理装置は、対象物の撮影画像を撮影装置から外部装置を介して取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段と、操作部から入力された注釈画像及び前記複製画像を前記外部装置を介して投影装置に投影させる投影手段と、前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像の回転方向を算出し、当該算出された回転方向を前記外部装置に通知する通知手段とを備え、前記外部装置は、前記通知手段により通知された回転方向に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させることを特徴とする。

請求項６の情報処理装置は、請求項５記載の情報処理装置において、前記対象物の移動方向に応じて、前記注釈画像及び前記複製画像を回転させ、さらに、前記対象物の移動方向が表示装置の表示領域の下方向になるように、前記回転された注釈画像及び複製画像を含む撮影画像を回転して、回転後の撮影画像を前記表示装置に表示させる第１制御手段を備えることを特徴とする。

請求項７の情報処理装置は、請求項５又は６に記載の情報処理装置において、 前記複製画像の縦方向及び横方向の検出を行う検出手段と、前記複製画像の縦方向及び横方向が前記対象物の移動方向に対して略平行又は略垂直となるように回転された注釈画像及び複製画像の複数の候補を表示装置に表示させる第２制御手段とを備え、前記外部装置は、前記複数の候補の中から選択された注釈画像及び複製画像の候補に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させることを特徴とする。

請求項８の情報処理システムは、対象物の撮影画像を撮影装置から取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、第２情報処理装置から入力された注釈画像及び前記複製画像を投影装置に投影させる投影手段、及び前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段を有する第１情報処理装置と、注釈画像を入力する入力手段、及び入力された注釈画像を前記第１情報処理装置に出力する出力手段とを有する第２情報処理装置とを備えていることを特徴とする。

請求項９の情報処理システムは、対象物の撮影画像を撮影装置から第１情報処理装置を介して取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、操作部から入力された注釈画像及び前記複製画像を前記第１情報処理装置を介して投影装置に投影させる投影手段、及び前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像の回転方向を算出し、当該算出された回転方向を前記第１情報処理装置に通知する通知手段を有する第２情報処理装置と、前記通知手段により通知された回転方向に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段を有する第１情報処理装置とを備える特徴とする。

請求項１０のプログラムは、コンピュータを、対象物の撮影画像を撮影装置から取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、外部装置から入力された注釈画像及び前記複製画像を投影装置に投影させる投影手段、及び前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段として機能させることを特徴とする。

請求項１１のプログラムは、コンピュータを、対象物の撮影画像を撮影装置から外部装置を介して取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、操作部から入力された注釈画像及び前記複製画像を前記外部装置を介して投影装置に投影させる投影手段、前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像の回転方向を算出し、当該算出された回転方向を前記外部装置に通知する通知手段として機能させ、前記外部装置は、前記通知手段により通知された回転方向に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させることを特徴とする。

請求項１の発明によれば、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。

請求項２の発明によれば、外部装置側（即ち表示装置側）のユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。

請求項３の発明によれば、外部装置側（即ち表示装置側）のユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。

請求項４の発明によれば、外部装置側（即ち表示装置側）のユーザに対象物の複製画像及び注釈画像の回転方向の候補を複数提示することができる。

請求項５の発明によれば、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。

請求項６の発明によれば、表示装置側のユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。

請求項７の発明によれば、表示装置側のユーザに対象物の複製画像及び注釈画像の回転方向の候補を複数提示することができる。

請求項８の発明によれば、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。

請求項９の発明によれば、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。

請求項１０の発明によれば、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。

請求項１１の発明によれば、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る情報処理システムの構成を示す図である。

図１の情報処理システムは、パーソナルコンピュータ（ＰＣ）で構成されるサーバ１及びクライアント２を備えており、これらは、ネットワーク３を介して互いに接続されている。サーバ１が情報処理装置又は第１情報処理装置として機能する場合、クライアント２は外部装置として機能する。クライアント２が情報処理装置又は第２情報処理装置として機能する場合、サーバ１は外部装置として機能する。

サーバ１には、プロジェクタ４（投影装置）及びカメラ５（撮影装置）が接続されている。プロジェクタ４及びカメラ５は、メインユニット６を構成し、１つの箱状のケースに組み込まれている。プロジェクタ４は、サーバ１からの制御コマンドに基づいて、テーブル１０上に載置された対象物９に対して、単なる光線を照射する又はアノテーション画像（注釈画像）等を投影する。尚、アノテーション画像は、線、文字、記号、図形、色、フォント（書体）等のあらゆる態様の画像を含む。

カメラ５は、ＰＴＺ（Pan-Tilt-Zoom）カメラ又はビデオカメラで構成され、対象物９を含むテーブル１０の反射画像を撮影し、撮影画像をサーバ１に出力する。メインユニット６には、カメラ５の光軸及び画角がプロジェクタ４の光軸及び画角と一致するように不図示のハーフミラーが設けられている。

サーバ１は、カメラ５により撮影された撮影画像をネットワーク３を介してクライアント２に出力する。クライアント２には、モニタで構成される表示部１１が接続されており、表示部１１は、撮影画像の表示領域１５およびユーザインターフェース（ＵＩ）１６を表示する。尚、クライアント２は、表示部１１を備える一体型のパーソナルコンピュータで構成してもよい。

サーバ１及びクライアント２には、それぞれ不図示のマイクとスピーカが接続されており、それらを使って、サーバ１及びクライアント２のユーザは互いに音声でコミュニケーションをすることができる。

ＵＩ１６は、ペン、テキスト、及び消去などのボタン群と、線種や色種のアイコンとを含む。表示領域１５には、カメラ５で撮影された撮影画像が表示される。同図においては、対象物９を含むテーブル１０をカメラ５により撮影した撮影画像が表示領域１５に表示されている。

例えば、ＵＩ１６のペンボタンが押下されて、表示領域１５内の対象物９上に図形等が記載されると、当該図形の情報（具体的には座標データ）はクライアント２からサーバ１を介してプロジェクタ４に出力される。プロジェクタ４は当該図形の情報に基づいて対象物９上に図形を描く。

このように、対象物９上やその周辺に記載された情報等は、クライアント２に画像として送信され、クライアント２では、この画像上にアノテーション画像を書き込むことで、当該アノテーション画像が対象物９上やその周辺に投影されるので、対象物９側のユーザとクライアント２側のユーザは遠隔会議を行える。

また、クライアント２は、サーバ１に対して制御コマンドを出力し、プロジェクタ４及びカメラ５の動作（例えば、カメラ５の撮影角度、カメラ５の撮影画像の明るさ、並びにプロジェクタ４の投影画像の明るさなど）を制御する。

尚、同図においては、１台のクライアント２が記載されているが、情報処理システムは、複数のクライアントを備えていてもよい。

図２は、サーバ１及びクライアント２のハードウエア構成を示すブロック図である。サーバ１のハードウエア構成は、クライアント２のハードウエア構成と同一であるので、ここではサーバ１のハードウエア構成について説明する。尚、図２において、２０１〜２０９番の符号は、クライアント２の構成要素を示す。

サーバ１は、装置全体を制御するＣＰＵ１０１（生成手段、投影手段、回転手段、出力手段、算出手段、通知手段、検出手段、及び制御手段）、制御プログラムを備えるＲＯＭ１０２、ワーキングエリアとして機能するＲＡＭ１０３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）１０４、マウス及びキーボードと接続するＰＳ／２インターフェース１０５、他のコンピュータと接続するためのネットワークインタフェース１０６、表示装置を接続するためのビデオインターフェース１０７、及び不図示のＵＳＢ機器と接続するためのＵＳＢ（universal serial bus）インタフェース１０８を備えている。ＣＰＵ１０１は、システムバス１０９を介してＲＯＭ１０２、ＲＡＭ１０３、ハードディスクドライブ（ＨＤＤ）１０４、ＰＳ／２インターフェース１０５、ネットワークインタフェース１０６、ビデオインターフェース１０７及びＵＳＢインタフェース１０８に接続されている。ＣＰＵ２０１は、生成手段、投影手段、通知手段、第１制御手段、第２制御手段、及び検出手段として機能する。

図３は、メインユニット６と対象物９との位置関係を示す図である。

テーブル１０の上方には、シェード２１のついたラック２２が設置されている。ラック２２には、メインユニット６を収納する収納部２３が設けられている。また、シェード２１には、メインユニット６からの投影光を垂直下方に導くと共にテーブル１０及び対象物９からの反射光をメインユニット６へ導くためのミラー２４が設けられている。メインユニット６は、ミラー２４を介して対象物９の画像を取得すると共にアノテーション画像をミラー２４を介して対象物９及びテーブル１０上に投影する。

図４（Ａ）〜（Ｃ）は、カメラ５で撮影される対象物９及びテーブル１０の状態を示す図である。図５（Ａ）は、図４（Ａ）の状態を表示する表示部１１を示す図であり、図５（Ｂ）は、図４（Ｃ）の状態を表示する表示部１１を示す図である。

図４（Ａ）では、テーブル１０上に対象物９が置かれており、アノテーション２１がプロジェクタ４から投影されている。また、対象物９の複製画像２２がプロジェクタ４から投影されている。複製画像２２は、対象物９と重なるように投影されているが、図４（Ａ）では、説明の便宜上、複製画像２２は対象物９からずらしている。図５（Ａ）の表示部１１は、図４（Ａ）の状態を表示する。

図４（Ａ）の状態では、対象物９、アノテーション画像２１及び複製画像２２は、ユーザＡに正対している。このような状態において、図４（Ｂ）に示すように、ユーザＢが対象物９を手に取ると（即ち、対象物９を移動させる）、対象物９は、ユーザＢに正対するが、アノテーション画像２１及び複製画像２２は、ユーザＢに正対しておらず、ユーザＢはアノテーション画像２１を参照しずらい。

このような場合に、本システムのサーバ１又はクライアント２は、図４（Ｃ）に示すように、アノテーション画像２１及び複製画像２２がユーザＢに正対するようにアノテーション画像２１及び複製画像２２を回転させる。これにより、ユーザＢは、アノテーション画像２１を参照しやすくなる。

このとき、サーバ１又はクライアント２は、クライアント２のユーザが対象物９を手に取っているユーザＢとコミュニケーションし易いように、表示領域１５に表示される画像を回転させる（図５（Ｂ）参照）。尚、ユーザＡ，Ｂの位置は、図４（Ａ）〜（Ｃ）に示す位置に限定されるものではなく、例えば、ユーザＢは、ユーザＡに向き合う位置にいてもよい。この場合に、ユーザＢが対象物９を手に取っても、サーバ１又はクライアント２は、対象物９の移動方向が表示領域１５の下方向になるように、画像を回転させる。

図６は、サーバ１で実行される処理を示すフローチャートである。

まず、サーバ１のＣＰＵ１０１は、カメラ５から対象物９及びテーブル１０の撮影画像を継続的に取得する（ステップＳ１）。ＣＰＵ１０１は、公知の背景差分処理及び領域抽出処理を用いて、撮影画像から対象物９の画像を抽出することで、対象物９の複製画像２２を作成する（ステップＳ２）。なお、ＣＰＵ１０１は、クライアント２からの範囲指定のコマンドに基づいて、撮影画像から指定された範囲の画像を抽出することで、複製画像２２を作成してもよい。

次いで、ＣＰＵ１０１は、クライアント２からアノテーション画像を取得し（ステップＳ３）、複製画像２２及びアノテーション画像２１をプロジェクタ４に投影させる（ステップＳ４）。尚、ＣＰＵ１０１は、ステップＳ２で複製画像２２を作成するときに、複製画像２２の投影位置を算出し、ステップＳ３でクライアント２からアノテーション画像２１を取得するときに、アノテーション画像２１の投影位置をクライアント２から取得する。

次に、ＣＰＵ１０１は、複製画像２２と継続的に取得される撮影画像とを対比することにより、対象物９の移動方向を検出する（ステップＳ５）。このとき、複製画像２２の移動と対象物９の移動とを区別するために、ＣＰＵ１０１は、図７の処理を実行する。

図７では、まず、ＣＰＵ１０１は、複製画像２２をテンプレートとして、撮影画像とのマッチング処理を行い、複製画像２２又は対象物９が移動しているか否かを判別する（ステップＳ１１）。ステップＳ１１でＮＯの場合には、本処理を終了する。

ステップＳ１１でＹＥＳの場合には、ＣＰＵ１０１は、複製画像２２が移動しているか否かを判別する（ステップＳ１２）。ここで、ＣＰＵ１０１は、クライアント２から画像の移動を示すコマンドを受信する場合に、ステップＳ１３に進み、クライアント２からクライアント２から画像の移動を示すコマンドを受信しない場合に、ステップＳ１４に進む。

ステップＳ１２でＹＥＳの場合には、ＣＰＵ１０１は、複製画像２２が移動していると判断し（ステップＳ１３）、本処理を終了する。一方、ステップＳ１２でＮＯの場合には、ＣＰＵ１０１は、対象物９が移動していると判断し（ステップＳ１４）、本処理を終了する。

図６に戻り、ＣＰＵ１０１は、ステップＳ５で検出された対象物９の移動方向に基づいて、複製画像２２及びアノテーション画像２１を回転させる（ステップＳ６）。その後、ＣＰＵ１０１は、回転された複製画像２２及びアノテーション画像２１を含む撮影画像をクライアント２に出力し、表示部１１に表示させ（ステップＳ７）、本処理を終了する。

ステップＳ７の後に、クライアント２のＣＰＵ２０１は、図５（Ｂ）に示すように、対象物９を手に取るユーザ（即ち対象物の移動方向にいるユーザ）が表示領域１５の底辺（最下部）に表示されるように、即ち、対象物の移動方向が表示領域１５の下方向になるように、サーバ１から受信した複製画像２２及びアノテーション画像２１を含む撮影画像を回転して、表示部１１に表示させる。

ステップＳ６，Ｓ７に代えて、ＣＰＵ１０１は、ステップＳ５で検出された対象物９の移動方向に基づいて、複製画像２２及びアノテーション画像２１の回転角度を算出し、算出された回転角度をクライアント２に通知し、クライアント２が、通知された回転角度に基づいて複製画像２２及びアノテーション画像２１を回転させて、回転された複製画像２２及びアノテーション画像２１を含む撮影画像を表示部１１に表示させてもよい。

また、ステップＳ５では、ＣＰＵ１０１は、複製画像２２と継続的に取得される撮影画像とを対比することにより、対象物９の移動方向を検出したが、図８に示すように、サーバ１にマイク３１を接続し、ＣＰＵ１０１が、対象物９側の複数のユーザの音声から対象物９を手に取っているユーザの位置を検出することで対象物９の移動方向を検出してもよい。この場合、ＣＰＵ１０１は、予め決められたキーワードを発するユーザが、対象物９を手に取っているユーザであると推定する。

また、ステップＳ５において、図８に示すように、テーブル１０にボタン３２〜３５を設置して、サーバ１に当該ボタン３２〜３５を接続する。ＣＰＵ１０１は、ボタン３２〜３５のいずれかから押下信号を受信し、押下されたボタンの方向を対象物９の移動方向として検出してもよい。テーブル１０に設置されるボタンは４つ以上でもよい。

また、ステップＳ５では、ＣＰＵ１０１は、複製画像２２と継続的に取得される撮影画像とを対比することにより、対象物９の移動方向を検出したが、ＣＰＵ１０１は、対象物側のユーザのジェスチャー（例えば、指で方向を示すジェスチャー）から、対象物９の移動方向を検出してもよい。この場合、ＣＰＵ１０１は、継続的に取得される撮影画像からユーザのジェスチャーを抽出する画像処理を実行する。

以上説明したように、本実施の形態によれば、ＣＰＵ１０１は、対象物９の複製画像２２を生成し、クライアント２から入力されたアノテーション画像２１及び複製画像２２をプロジェクタ４に投影させ、複製画像２２と撮影画像とから対象物９の移動方向を検出し、検出された対象物の移動方向に応じて、プロジェクタ４により投影されるアノテーション画像２１及び複製画像２２を回転させる。よって、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに、見やすい対象物の複製画像及び注釈画像が提示される。

（第２の実施の形態）
第１の実施の形態では、サーバ１が、対象物９の移動方向を検出し、複製画像２２及びアノテーション画像２１を回転させたが、本実施の形態では、クライアント２が対象物９の移動方向を検出し、複製画像２２及びアノテーション画像２１を回転させる。

以下、第１の実施の形態と異なる点を説明する。

図９は、クライアント２で実行される処理を示すフローチャートである。ここで、サーバ１は、図６の処理を実行せず、カメラ５からの撮影画像をクライアント２に送信するものとする。

まず、クライアント２のＣＰＵ２０１は、サーバ１及びネットワーク３を介してカメラ５から対象物９及びテーブル１０の撮影画像を継続的に取得する（ステップＳ２１）。ＣＰＵ２０１は、公知の背景差分処理及び領域抽出処理を用いて、撮影画像から対象物９の画像を抽出することで、対象物９の複製画像２２を作成する（ステップＳ２２）。なお、ＣＰＵ２０１は、キーボード又はマウスからの範囲指定のコマンドに基づいて、撮影画像から指定された範囲の画像を抽出することで、複製画像２２を作成してもよい。

次いで、ＣＰＵ２０１は、入力されたアノテーション画像を取得し（ステップＳ２３）、複製画像２２及びアノテーション画像２１をサーバ１に送信し、プロジェクタ４に投影させる（ステップＳ２４）。尚、ＣＰＵ２０１は、ステップＳ２２で複製画像２２を作成するときに、複製画像２２の投影位置を算出し、ステップＳ２３でアノテーション画像２１を取得したときに、アノテーション画像２１の投影位置を算出する。

次に、ＣＰＵ２０１は、複製画像２２と継続的に取得される撮影画像とを対比することにより、対象物９の移動方向を検出する（ステップＳ２５）。このとき、複製画像２２の移動と対象物９の移動とを区別するために、ＣＰＵ２０１は、上述した図７の処理を実行する。

ＣＰＵ２０１は、ステップＳ２５で検出された対象物９の移動方向に基づいて、複製画像２２及びアノテーション画像２１を回転させると共に、対象物９の移動方向に基づいて、複製画像２２及びアノテーション画像２１の回転方向を算出し、サーバ１に通知する（ステップＳ２６）。サーバ１のＣＰＵ１０１は、通知された回転方向に基づいて、プロジェクタ４で投影される複製画像２２及びアノテーション画像２１を回転させる。

その後、ＣＰＵ２０１は、図５（Ｂ）に示すように、対象物９を手に取るユーザ（即ち対象物の移動方向にいるユーザ）が表示領域１５の底辺（最下部）に表示されるように、即ち、対象物の移動方向が表示領域１５の下方向になるように、回転された複製画像２２及びアノテーション画像２１を含む撮影画像を回転して、表示部１１に表示させ（ステップＳ２７）、本処理を終了する。

尚、ステップＳ２５では、ＣＰＵ２０１は、第１の実施の形態と同様に、マイク３１又はボタン３２〜３５を使って対象物９の移動方向を検出してもよい。さらに、ＣＰＵ１０１は、対象物側のユーザのジェスチャー（例えば、指で方向を示すジェスチャー）から、対象物９の移動方向を検出してもよい。

以上説明したように、本実施の形態によれば、ＣＰＵ２０１が、撮影画像から対象物９の複製画像２２を生成し、マウス又はキーボードから入力されたアノテーション画像２１及び複製画像２２をプロジェクタ４に投影させ、複製画像２２と撮影画像とから対象物９の移動方向を検出し、検出された対象物の移動方向に応じて、プロジェクタ４により投影されるアノテーション画像２１及び複製画像２２の回転方向を算出し、当該算出された回転方向をサーバ１に通知する。サーバ１のＣＰＵ１０１は、クライアント２により通知された回転方向に基づいて、プロジェクタ４により投影されるアノテーション画像２１及び複製画像２２を回転させる。よって、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに、見やすい対象物の複製画像及び注釈画像が提示される。

（第３の実施の形態）
第１の実施の形態では、対象物９がテーブル１０の４辺に対して平行又は垂直に置かれているが（図４（Ａ）参照）、第３の実施の形態では、図１０（Ａ）に示すように、対象物９がテーブル１０の４辺に対して傾いて置かれている場合を想定する。

以下、第１又は第２の実施の形態と異なる点を説明する。

図１１は、サーバ１で実行される処理を示すフローチャートである。本処理において、図６の処理と同一の処理には、同一のステップ番号を付して、その説明を省略する。

まず、サーバ１のＣＰＵ１０１は、ステップＳ２の後に、複製画像２２にハフ変換を実行し、複製画像２２の縦横方向（縦方向及び横方向）の検出を行い（ステップＳ３１）、ステップＳ３に進む。具体的には、ステップＳ３１では、ＣＰＵ１０１は、複製画像２２のエッジ検出により最も長い線分を複製画像２２の縦方向又は横方向と認定し、その線分に対して垂直な線分を複製画像２２の横方向又は縦方向と認定する。

ＣＰＵ１０１は、ステップＳ５で対象物９の移動方向を検出した後、ステップＳ３１で検出された複製画像２２の縦横方向が、対象物９の移動方向に対して、略平行又は略垂直となるように回転された複製画像２２及びアノテーション画像２１の４つの候補をクライアント２に送信し、表示部１１に表示させる（ステップＳ３２）。ここで、略平行又は略垂直とは、平行又は垂直の状態、及び平行又は垂直（０度）から５度まで傾いた状態を含む。図１０（Ｂ）は、表示部１１に表示される、回転後の複製画像２２及びアノテーション画像２１の候補の例を示す。

クライアント２のＣＰＵ２０１は、クライアント２のユーザに選択された複製画像２２及びアノテーション画像２１の候補をサーバ１に通知する。

ＣＰＵ１０１は、ユーザに選択された複製画像２２及びアノテーション画像２１の候補に基づいて、複製画像２２及びアノテーション画像２１を回転させ（ステップＳ３３）、ステップＳ７に進む。

本処理によれば、対象物９がテーブル１０の４辺に対して傾いて置かれている場合でも、対象物９を手に取ったユーザ（即ち対象物の移動方向にいるユーザ）に見やすい複製画像２２及びアノテーション画像２１が提示される。また、クライアント２のユーザにも、見やすい複製画像２２及びアノテーション画像２１が提示される。

図１２は、クライアント２で実行される処理を示すフローチャートである。本処理において、図９の処理と同一の処理には、同一のステップ番号を付して、その説明を省略する。ここで、サーバ１は、図１１の処理を実行しないものとする。

まず、クライアント２のＣＰＵ２０１は、ステップＳ２２の後に、複製画像２２にハフ変換を実行し、複製画像２２の縦横方向（縦方向及び横方向）の検出を行い（ステップＳ４１）、ステップＳ２３に進む。具体的には、ステップＳ４１では、ＣＰＵ２０１は、複製画像２２のエッジ検出により最も長い線分を複製画像２２の縦方向又は横方向と認定し、その線分に対して垂直な線分を複製画像２２の横方向又は縦方向と認定する。

ＣＰＵ２０１は、ステップＳ２５で対象物９の移動方向を検出した後、ステップＳ４１で検出された複製画像２２の縦横方向が、対象物９の移動方向に対して、略平行又は略垂直となるように回転された複製画像２２及びアノテーション画像２１の４つの候補を表示部１１に表示させる（ステップＳ４２）。ここで、略平行又は略垂直とは、平行又は垂直の状態、及び平行又は垂直（０度）から５度まで傾いた状態を含む。図１０（Ｂ）は、表示部１１に表示される、回転後の複製画像２２及びアノテーション画像２１の候補の例を示す。

ＣＰＵ２０１は、ユーザに選択された複製画像２２及びアノテーション画像２１の候補に基づいて、複製画像２２及びアノテーション画像２１を回転させると共に、複製画像２２及びアノテーション画像２１の回転方向を算出し、サーバ１に通知する（ステップＳ４３）、ステップＳ２７に進む。

本処理によれば、対象物９がテーブル１０の４辺に対して傾いて置かれている場合でも、対象物９を手に取ったユーザ（即ち対象物の移動方向にいるユーザ）に見やすい複製画像２２及びアノテーション画像２１が提示される。また、クライアント２のユーザにも、見やすい複製画像２２及びアノテーション画像２１が提示される。

サーバ１の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、サーバ１に供給し、ＣＰＵ１０１が記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。また、クライアント２の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、クライアント２に供給し、ＣＰＵ２０１が記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、又はＳＤカードなどがある。

また、ＣＰＵ１０１が、サーバ１の機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。ＣＰＵ２０１が、クライアント２の機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。

なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。

本発明の第１の実施の形態に係る情報処理システムの構成を示す図である。 サーバ１及びクライアント２のハードウエア構成を示すブロック図である。 メインユニット６と対象物９との位置関係を示す図である。 （Ａ）〜（Ｃ）は、カメラ５で撮影される対象物９及びテーブル１０の状態を示す図である。 （Ａ）は、図４（Ａ）の状態を表示する表示部１１を示す図であり、（Ｂ）は、図４（Ｃ）の状態を表示する表示部１１を示す図である。 サーバ１で実行される処理を示すフローチャートである。 複製画像２２の移動と対象物９の移動とを区別する処理を示すフローチャートである。 情報処理システムの構成の変形例を示す図である。 第２の実施の形態に係るクライアント２で実行される処理を示すフローチャートである。 （Ａ）は、第３の実施に形態に係るカメラ５で撮影される対象物９及びテーブル１０の状態を示す図であり、（Ｂ）は、表示部１１に表示される、回転後の複製画像２２及びアノテーション画像２１の候補の例を示す図である。 サーバ１で実行される処理を示すフローチャートである。 クライアント２で実行される処理を示すフローチャートである。

符号の説明

１ サーバ
２ クライアント
３ ネットワーク
４ プロジェクタ
５ カメラ
９ 対象物
１０ テーブル
１１ 表示部
１０１，２０１ ＣＰＵ
１０２，２０２ ＲＯＭ
１０３，２０３ ＲＡＭ
１０４，２０４ ハードディスクドライブ（ＨＤＤ）
１０５，２０５ ＰＳ／２インターフェース
１０６，２０６ ネットワークインタフェース
１０７，２０７ ビデオインターフェース
１０８，２０８ ＵＳＢインタフェース

Claims (11)

1. 対象物の撮影画像を撮影装置から取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段と、
   外部装置から入力された注釈画像及び前記複製画像を投影装置に投影させる投影手段と、
   前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段と
   を備えることを特徴とする情報処理装置。
2. 前記回転された複製画像及び注釈画像を含む撮影画像を前記外部装置に出力する出力手段を備え、
   前記外部装置は、表示装置と接続されており、前記対象物の移動方向が当該表示装置の表示領域の下方向になるように、前記出力手段から出力された撮影画像を回転して、前記表示装置に表示させることを特徴とする請求項１記載の情報処理装置。
3. 前記対象物の移動方向に応じて、前記投影手段により投影される注釈画像及び複製画像の回転角度を算出する算出手段と、前記回転角度を前記外部装置に通知する通知手段とを備え、
   前記外部装置は、表示装置と接続されており、前記通知された回転角度に基づいて前記撮影画像に含まれる注釈画像及び複製画像を回転させ、さらに、前記対象物の移動方向が当該表示装置の表示領域の下方向になるように、前記撮影画像を回転して、前記表示装置に表示させることを特徴とする請求項１記載の情報処理装置。
4. 前記複製画像の縦方向及び横方向の検出を行う検出手段と、
   前記複製画像の縦方向及び横方向が前記対象物の移動方向に対して略平行又は略垂直となるように回転された注釈画像及び複製画像の複数の候補を前記外部装置に接続される表示装置に表示させる制御手段とを備え、
   前記回転手段は、前記外部装置で選択された注釈画像及び複製画像の候補に基づいて、前記投影手段により投影される注釈画像及び複製画像を回転させることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 対象物の撮影画像を撮影装置から外部装置を介して取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段と、
   操作部から入力された注釈画像及び前記複製画像を前記外部装置を介して投影装置に投影させる投影手段と、
   前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像の回転方向を算出し、当該算出された回転方向を前記外部装置に通知する通知手段とを備え、
   前記外部装置は、前記通知手段により通知された回転方向に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させることを特徴とする情報処理装置。
6. 前記対象物の移動方向に応じて、前記注釈画像及び前記複製画像を回転させ、さらに、前記対象物の移動方向が表示装置の表示領域の下方向になるように、前記回転された注釈画像及び複製画像を含む撮影画像を回転して、回転後の撮影画像を前記表示装置に表示させる第１制御手段を備えることを特徴とする請求項５記載の情報処理装置。
7. 前記複製画像の縦方向及び横方向の検出を行う検出手段と、
   前記複製画像の縦方向及び横方向が前記対象物の移動方向に対して略平行又は略垂直となるように回転された注釈画像及び複製画像の複数の候補を表示装置に表示させる第２制御手段とを備え、
   前記外部装置は、前記複数の候補の中から選択された注釈画像及び複製画像の候補に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させることを特徴とする請求項５又は６に記載の情報処理装置。
8. 対象物の撮影画像を撮影装置から取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、
   第２情報処理装置から入力された注釈画像及び前記複製画像を投影装置に投影させる投影手段、及び
   前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段を有する第１情報処理装置と、
   注釈画像を入力する入力手段、及び入力された注釈画像を前記第１情報処理装置に出力する出力手段とを有する第２情報処理装置と
   を備えていることを特徴とする情報処理システム。
9. 対象物の撮影画像を撮影装置から第１情報処理装置を介して取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、
   操作部から入力された注釈画像及び前記複製画像を前記第１情報処理装置を介して投影装置に投影させる投影手段、及び
   前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像の回転方向を算出し、当該算出された回転方向を前記第１情報処理装置に通知する通知手段を有する第２情報処理装置と、
   前記通知手段により通知された回転方向に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段を有する第１情報処理装置と
   を備える特徴とする情報処理システム。
10. コンピュータを、
    対象物の撮影画像を撮影装置から取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、
    外部装置から入力された注釈画像及び前記複製画像を投影装置に投影させる投影手段、及び
    前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段
    として機能させることを特徴とするプログラム。
11. コンピュータを、
    対象物の撮影画像を撮影装置から外部装置を介して取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、
    操作部から入力された注釈画像及び前記複製画像を前記外部装置を介して投影装置に投影させる投影手段、
    前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像の回転方向を算出し、当該算出された回転方向を前記外部装置に通知する通知手段として機能させ、
    前記外部装置は、前記通知手段により通知された回転方向に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させることを特徴とするプログラム。

Images