JP2010109774A - 情報処理装置、情報処理システム及びプログラム - Google Patents
情報処理装置、情報処理システム及びプログラム Download PDFInfo
- Publication number
- JP2010109774A JP2010109774A JP2008280523A JP2008280523A JP2010109774A JP 2010109774 A JP2010109774 A JP 2010109774A JP 2008280523 A JP2008280523 A JP 2008280523A JP 2008280523 A JP2008280523 A JP 2008280523A JP 2010109774 A JP2010109774 A JP 2010109774A
- Authority
- JP
- Japan
- Prior art keywords
- image
- annotation
- duplicate
- information processing
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる情報処理装置、情報処理システム及びプログラムを提供する。
【解決手段】サーバ1のCPU101は、対象物9の複製画像22を生成し、クライアント2から入力されたアノテーション画像21及び複製画像22をプロジェクタ4に投影させ、複製画像22と撮影画像とから対象物9の移動方向を検出し、検出された対象物の移動方向に応じて、プロジェクタ4により投影されるアノテーション画像21及び複製画像22を回転させる。
【選択図】図6
【解決手段】サーバ1のCPU101は、対象物9の複製画像22を生成し、クライアント2から入力されたアノテーション画像21及び複製画像22をプロジェクタ4に投影させ、複製画像22と撮影画像とから対象物9の移動方向を検出し、検出された対象物の移動方向に応じて、プロジェクタ4により投影されるアノテーション画像21及び複製画像22を回転させる。
【選択図】図6
Description
本発明は、情報処理装置、情報処理システム及びプログラムに関する。
従来より、カメラ及びプロジェクタが接続されているサーバ(例えばコンピュータ)と、ネットワークを介して当該サーバに接続される遠隔地のクライアント(例えばコンピュータ)とを備えるシステムが知られている(例えば、特許文献1、2参照)。
このシステムでは、サーバに接続されているカメラが対象物を撮影し、ネットワークを介して撮影画像をクライアントに送信する。クライアントは、表示装置の表示画面に撮影画像を表示し、当該表示画面上にアノテーション画像などが書き込まれると、当該アノテーション画像をネットワークを介してサーバに送信する。サーバは受信したアノテーション画像をプロジェクタに送信し、プロジェクタは受信したアノテーション画像を対象物を含む投影領域の適切な位置(これは、クライアントが、撮影画像の範囲内でアノテーション画像を書き込んだ位置に対応する)に投影する。また、このシステムでは、対象物の周辺にいるユーザが対象物を動かすことがある。
また、特許文献2のシステムは、表示画面上に表示される対象物とアノテーション画像との位置関係に応じて、アノテーション画像の表示位置、大きさ、及び方向などを調整する。
特開2005−33756号公報
特開2008−48377号公報
本発明の目的は、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる情報処理装置、情報処理システム及びプログラムを提供することにある。
上記目的を達成するため、請求項1の情報処理装置は、対象物の撮影画像を撮影装置から取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段と、外部装置から入力された注釈画像及び前記複製画像を投影装置に投影させる投影手段と、前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段とを備えることを特徴とする。
請求項2の情報処理装置は、請求項1記載の情報処理装置において、前記回転された複製画像及び注釈画像を含む撮影画像を前記外部装置に出力する出力手段を備え、前記外部装置は、表示装置と接続されており、前記対象物の移動方向が当該表示装置の表示領域の下方向になるように、前記出力手段から出力された撮影画像を回転して、前記表示装置に表示させることを特徴とする。
請求項3の情報処理装置は、請求項1記載の情報処理装置において、前記対象物の移動方向に応じて、前記投影手段により投影される注釈画像及び複製画像の回転角度を算出する算出手段と、前記回転角度を前記外部装置に通知する通知手段とを備え、前記外部装置は、表示装置と接続されており、前記通知された回転角度に基づいて前記撮影画像に含まれる注釈画像及び複製画像を回転させ、さらに、前記対象物の移動方向が当該表示装置の表示領域の下方向になるように、前記撮影画像を回転して、前記表示装置に表示させることを特徴とする。
請求項4の情報処理装置は、請求項1乃至3のいずれか1項に記載の情報処理装置において、前記複製画像の縦方向及び横方向の検出を行う検出手段と、前記複製画像の縦方向及び横方向が前記対象物の移動方向に対して略平行又は略垂直となるように回転された注釈画像及び複製画像の複数の候補を前記外部装置に接続される表示装置に表示させる制御手段とを備え、前記回転手段は、前記外部装置で選択された注釈画像及び複製画像の候補に基づいて、前記投影手段により投影される注釈画像及び複製画像を回転させることを特徴とする。
請求項5の情報処理装置は、対象物の撮影画像を撮影装置から外部装置を介して取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段と、操作部から入力された注釈画像及び前記複製画像を前記外部装置を介して投影装置に投影させる投影手段と、前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像の回転方向を算出し、当該算出された回転方向を前記外部装置に通知する通知手段とを備え、前記外部装置は、前記通知手段により通知された回転方向に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させることを特徴とする。
請求項6の情報処理装置は、請求項5記載の情報処理装置において、前記対象物の移動方向に応じて、前記注釈画像及び前記複製画像を回転させ、さらに、前記対象物の移動方向が表示装置の表示領域の下方向になるように、前記回転された注釈画像及び複製画像を含む撮影画像を回転して、回転後の撮影画像を前記表示装置に表示させる第1制御手段を備えることを特徴とする。
請求項7の情報処理装置は、請求項5又は6に記載の情報処理装置において、 前記複製画像の縦方向及び横方向の検出を行う検出手段と、前記複製画像の縦方向及び横方向が前記対象物の移動方向に対して略平行又は略垂直となるように回転された注釈画像及び複製画像の複数の候補を表示装置に表示させる第2制御手段とを備え、前記外部装置は、前記複数の候補の中から選択された注釈画像及び複製画像の候補に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させることを特徴とする。
請求項8の情報処理システムは、対象物の撮影画像を撮影装置から取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、第2情報処理装置から入力された注釈画像及び前記複製画像を投影装置に投影させる投影手段、及び前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段を有する第1情報処理装置と、注釈画像を入力する入力手段、及び入力された注釈画像を前記第1情報処理装置に出力する出力手段とを有する第2情報処理装置とを備えていることを特徴とする。
請求項9の情報処理システムは、対象物の撮影画像を撮影装置から第1情報処理装置を介して取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、操作部から入力された注釈画像及び前記複製画像を前記第1情報処理装置を介して投影装置に投影させる投影手段、及び前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像の回転方向を算出し、当該算出された回転方向を前記第1情報処理装置に通知する通知手段を有する第2情報処理装置と、前記通知手段により通知された回転方向に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段を有する第1情報処理装置とを備える特徴とする。
請求項10のプログラムは、コンピュータを、対象物の撮影画像を撮影装置から取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、外部装置から入力された注釈画像及び前記複製画像を投影装置に投影させる投影手段、及び前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段として機能させることを特徴とする。
請求項11のプログラムは、コンピュータを、対象物の撮影画像を撮影装置から外部装置を介して取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、操作部から入力された注釈画像及び前記複製画像を前記外部装置を介して投影装置に投影させる投影手段、前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像の回転方向を算出し、当該算出された回転方向を前記外部装置に通知する通知手段として機能させ、前記外部装置は、前記通知手段により通知された回転方向に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させることを特徴とする。
請求項1の発明によれば、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。
請求項2の発明によれば、外部装置側(即ち表示装置側)のユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。
請求項3の発明によれば、外部装置側(即ち表示装置側)のユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。
請求項4の発明によれば、外部装置側(即ち表示装置側)のユーザに対象物の複製画像及び注釈画像の回転方向の候補を複数提示することができる。
請求項5の発明によれば、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。
請求項6の発明によれば、表示装置側のユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。
請求項7の発明によれば、表示装置側のユーザに対象物の複製画像及び注釈画像の回転方向の候補を複数提示することができる。
請求項8の発明によれば、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。
請求項9の発明によれば、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。
請求項10の発明によれば、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。
請求項11の発明によれば、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに見やすい対象物の複製画像及び注釈画像を提示することができる。
以下、本発明の実施の形態について、図面を参照して説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係る情報処理システムの構成を示す図である。
図1は、本発明の第1の実施の形態に係る情報処理システムの構成を示す図である。
図1の情報処理システムは、パーソナルコンピュータ(PC)で構成されるサーバ1及びクライアント2を備えており、これらは、ネットワーク3を介して互いに接続されている。サーバ1が情報処理装置又は第1情報処理装置として機能する場合、クライアント2は外部装置として機能する。クライアント2が情報処理装置又は第2情報処理装置として機能する場合、サーバ1は外部装置として機能する。
サーバ1には、プロジェクタ4(投影装置)及びカメラ5(撮影装置)が接続されている。プロジェクタ4及びカメラ5は、メインユニット6を構成し、1つの箱状のケースに組み込まれている。プロジェクタ4は、サーバ1からの制御コマンドに基づいて、テーブル10上に載置された対象物9に対して、単なる光線を照射する又はアノテーション画像(注釈画像)等を投影する。尚、アノテーション画像は、線、文字、記号、図形、色、フォント(書体)等のあらゆる態様の画像を含む。
カメラ5は、PTZ(Pan-Tilt-Zoom)カメラ又はビデオカメラで構成され、対象物9を含むテーブル10の反射画像を撮影し、撮影画像をサーバ1に出力する。メインユニット6には、カメラ5の光軸及び画角がプロジェクタ4の光軸及び画角と一致するように不図示のハーフミラーが設けられている。
サーバ1は、カメラ5により撮影された撮影画像をネットワーク3を介してクライアント2に出力する。クライアント2には、モニタで構成される表示部11が接続されており、表示部11は、撮影画像の表示領域15およびユーザインターフェース(UI)16を表示する。尚、クライアント2は、表示部11を備える一体型のパーソナルコンピュータで構成してもよい。
サーバ1及びクライアント2には、それぞれ不図示のマイクとスピーカが接続されており、それらを使って、サーバ1及びクライアント2のユーザは互いに音声でコミュニケーションをすることができる。
UI16は、ペン、テキスト、及び消去などのボタン群と、線種や色種のアイコンとを含む。表示領域15には、カメラ5で撮影された撮影画像が表示される。同図においては、対象物9を含むテーブル10をカメラ5により撮影した撮影画像が表示領域15に表示されている。
例えば、UI16のペンボタンが押下されて、表示領域15内の対象物9上に図形等が記載されると、当該図形の情報(具体的には座標データ)はクライアント2からサーバ1を介してプロジェクタ4に出力される。プロジェクタ4は当該図形の情報に基づいて対象物9上に図形を描く。
このように、対象物9上やその周辺に記載された情報等は、クライアント2に画像として送信され、クライアント2では、この画像上にアノテーション画像を書き込むことで、当該アノテーション画像が対象物9上やその周辺に投影されるので、対象物9側のユーザとクライアント2側のユーザは遠隔会議を行える。
また、クライアント2は、サーバ1に対して制御コマンドを出力し、プロジェクタ4及びカメラ5の動作(例えば、カメラ5の撮影角度、カメラ5の撮影画像の明るさ、並びにプロジェクタ4の投影画像の明るさなど)を制御する。
尚、同図においては、1台のクライアント2が記載されているが、情報処理システムは、複数のクライアントを備えていてもよい。
図2は、サーバ1及びクライアント2のハードウエア構成を示すブロック図である。サーバ1のハードウエア構成は、クライアント2のハードウエア構成と同一であるので、ここではサーバ1のハードウエア構成について説明する。尚、図2において、201〜209番の符号は、クライアント2の構成要素を示す。
サーバ1は、装置全体を制御するCPU101(生成手段、投影手段、回転手段、出力手段、算出手段、通知手段、検出手段、及び制御手段)、制御プログラムを備えるROM102、ワーキングエリアとして機能するRAM103、各種の情報やプログラムを備えるハードディスクドライブ(HDD)104、マウス及びキーボードと接続するPS/2インターフェース105、他のコンピュータと接続するためのネットワークインタフェース106、表示装置を接続するためのビデオインターフェース107、及び不図示のUSB機器と接続するためのUSB(universal serial bus)インタフェース108を備えている。CPU101は、システムバス109を介してROM102、RAM103、ハードディスクドライブ(HDD)104、PS/2インターフェース105、ネットワークインタフェース106、ビデオインターフェース107及びUSBインタフェース108に接続されている。CPU201は、生成手段、投影手段、通知手段、第1制御手段、第2制御手段、及び検出手段として機能する。
図3は、メインユニット6と対象物9との位置関係を示す図である。
テーブル10の上方には、シェード21のついたラック22が設置されている。ラック22には、メインユニット6を収納する収納部23が設けられている。また、シェード21には、メインユニット6からの投影光を垂直下方に導くと共にテーブル10及び対象物9からの反射光をメインユニット6へ導くためのミラー24が設けられている。メインユニット6は、ミラー24を介して対象物9の画像を取得すると共にアノテーション画像をミラー24を介して対象物9及びテーブル10上に投影する。
図4(A)〜(C)は、カメラ5で撮影される対象物9及びテーブル10の状態を示す図である。図5(A)は、図4(A)の状態を表示する表示部11を示す図であり、図5(B)は、図4(C)の状態を表示する表示部11を示す図である。
図4(A)では、テーブル10上に対象物9が置かれており、アノテーション21がプロジェクタ4から投影されている。また、対象物9の複製画像22がプロジェクタ4から投影されている。複製画像22は、対象物9と重なるように投影されているが、図4(A)では、説明の便宜上、複製画像22は対象物9からずらしている。図5(A)の表示部11は、図4(A)の状態を表示する。
図4(A)の状態では、対象物9、アノテーション画像21及び複製画像22は、ユーザAに正対している。このような状態において、図4(B)に示すように、ユーザBが対象物9を手に取ると(即ち、対象物9を移動させる)、対象物9は、ユーザBに正対するが、アノテーション画像21及び複製画像22は、ユーザBに正対しておらず、ユーザBはアノテーション画像21を参照しずらい。
このような場合に、本システムのサーバ1又はクライアント2は、図4(C)に示すように、アノテーション画像21及び複製画像22がユーザBに正対するようにアノテーション画像21及び複製画像22を回転させる。これにより、ユーザBは、アノテーション画像21を参照しやすくなる。
このとき、サーバ1又はクライアント2は、クライアント2のユーザが対象物9を手に取っているユーザBとコミュニケーションし易いように、表示領域15に表示される画像を回転させる(図5(B)参照)。尚、ユーザA,Bの位置は、図4(A)〜(C)に示す位置に限定されるものではなく、例えば、ユーザBは、ユーザAに向き合う位置にいてもよい。この場合に、ユーザBが対象物9を手に取っても、サーバ1又はクライアント2は、対象物9の移動方向が表示領域15の下方向になるように、画像を回転させる。
図6は、サーバ1で実行される処理を示すフローチャートである。
まず、サーバ1のCPU101は、カメラ5から対象物9及びテーブル10の撮影画像を継続的に取得する(ステップS1)。CPU101は、公知の背景差分処理及び領域抽出処理を用いて、撮影画像から対象物9の画像を抽出することで、対象物9の複製画像22を作成する(ステップS2)。なお、CPU101は、クライアント2からの範囲指定のコマンドに基づいて、撮影画像から指定された範囲の画像を抽出することで、複製画像22を作成してもよい。
次いで、CPU101は、クライアント2からアノテーション画像を取得し(ステップS3)、複製画像22及びアノテーション画像21をプロジェクタ4に投影させる(ステップS4)。尚、CPU101は、ステップS2で複製画像22を作成するときに、複製画像22の投影位置を算出し、ステップS3でクライアント2からアノテーション画像21を取得するときに、アノテーション画像21の投影位置をクライアント2から取得する。
次に、CPU101は、複製画像22と継続的に取得される撮影画像とを対比することにより、対象物9の移動方向を検出する(ステップS5)。このとき、複製画像22の移動と対象物9の移動とを区別するために、CPU101は、図7の処理を実行する。
図7では、まず、CPU101は、複製画像22をテンプレートとして、撮影画像とのマッチング処理を行い、複製画像22又は対象物9が移動しているか否かを判別する(ステップS11)。ステップS11でNOの場合には、本処理を終了する。
ステップS11でYESの場合には、CPU101は、複製画像22が移動しているか否かを判別する(ステップS12)。ここで、CPU101は、クライアント2から画像の移動を示すコマンドを受信する場合に、ステップS13に進み、クライアント2からクライアント2から画像の移動を示すコマンドを受信しない場合に、ステップS14に進む。
ステップS12でYESの場合には、CPU101は、複製画像22が移動していると判断し(ステップS13)、本処理を終了する。一方、ステップS12でNOの場合には、CPU101は、対象物9が移動していると判断し(ステップS14)、本処理を終了する。
図6に戻り、CPU101は、ステップS5で検出された対象物9の移動方向に基づいて、複製画像22及びアノテーション画像21を回転させる(ステップS6)。その後、CPU101は、回転された複製画像22及びアノテーション画像21を含む撮影画像をクライアント2に出力し、表示部11に表示させ(ステップS7)、本処理を終了する。
ステップS7の後に、クライアント2のCPU201は、図5(B)に示すように、対象物9を手に取るユーザ(即ち対象物の移動方向にいるユーザ)が表示領域15の底辺(最下部)に表示されるように、即ち、対象物の移動方向が表示領域15の下方向になるように、サーバ1から受信した複製画像22及びアノテーション画像21を含む撮影画像を回転して、表示部11に表示させる。
ステップS6,S7に代えて、CPU101は、ステップS5で検出された対象物9の移動方向に基づいて、複製画像22及びアノテーション画像21の回転角度を算出し、算出された回転角度をクライアント2に通知し、クライアント2が、通知された回転角度に基づいて複製画像22及びアノテーション画像21を回転させて、回転された複製画像22及びアノテーション画像21を含む撮影画像を表示部11に表示させてもよい。
また、ステップS5では、CPU101は、複製画像22と継続的に取得される撮影画像とを対比することにより、対象物9の移動方向を検出したが、図8に示すように、サーバ1にマイク31を接続し、CPU101が、対象物9側の複数のユーザの音声から対象物9を手に取っているユーザの位置を検出することで対象物9の移動方向を検出してもよい。この場合、CPU101は、予め決められたキーワードを発するユーザが、対象物9を手に取っているユーザであると推定する。
また、ステップS5において、図8に示すように、テーブル10にボタン32〜35を設置して、サーバ1に当該ボタン32〜35を接続する。CPU101は、ボタン32〜35のいずれかから押下信号を受信し、押下されたボタンの方向を対象物9の移動方向として検出してもよい。テーブル10に設置されるボタンは4つ以上でもよい。
また、ステップS5では、CPU101は、複製画像22と継続的に取得される撮影画像とを対比することにより、対象物9の移動方向を検出したが、CPU101は、対象物側のユーザのジェスチャー(例えば、指で方向を示すジェスチャー)から、対象物9の移動方向を検出してもよい。この場合、CPU101は、継続的に取得される撮影画像からユーザのジェスチャーを抽出する画像処理を実行する。
以上説明したように、本実施の形態によれば、CPU101は、対象物9の複製画像22を生成し、クライアント2から入力されたアノテーション画像21及び複製画像22をプロジェクタ4に投影させ、複製画像22と撮影画像とから対象物9の移動方向を検出し、検出された対象物の移動方向に応じて、プロジェクタ4により投影されるアノテーション画像21及び複製画像22を回転させる。よって、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに、見やすい対象物の複製画像及び注釈画像が提示される。
(第2の実施の形態)
第1の実施の形態では、サーバ1が、対象物9の移動方向を検出し、複製画像22及びアノテーション画像21を回転させたが、本実施の形態では、クライアント2が対象物9の移動方向を検出し、複製画像22及びアノテーション画像21を回転させる。
第1の実施の形態では、サーバ1が、対象物9の移動方向を検出し、複製画像22及びアノテーション画像21を回転させたが、本実施の形態では、クライアント2が対象物9の移動方向を検出し、複製画像22及びアノテーション画像21を回転させる。
以下、第1の実施の形態と異なる点を説明する。
図9は、クライアント2で実行される処理を示すフローチャートである。ここで、サーバ1は、図6の処理を実行せず、カメラ5からの撮影画像をクライアント2に送信するものとする。
まず、クライアント2のCPU201は、サーバ1及びネットワーク3を介してカメラ5から対象物9及びテーブル10の撮影画像を継続的に取得する(ステップS21)。CPU201は、公知の背景差分処理及び領域抽出処理を用いて、撮影画像から対象物9の画像を抽出することで、対象物9の複製画像22を作成する(ステップS22)。なお、CPU201は、キーボード又はマウスからの範囲指定のコマンドに基づいて、撮影画像から指定された範囲の画像を抽出することで、複製画像22を作成してもよい。
次いで、CPU201は、入力されたアノテーション画像を取得し(ステップS23)、複製画像22及びアノテーション画像21をサーバ1に送信し、プロジェクタ4に投影させる(ステップS24)。尚、CPU201は、ステップS22で複製画像22を作成するときに、複製画像22の投影位置を算出し、ステップS23でアノテーション画像21を取得したときに、アノテーション画像21の投影位置を算出する。
次に、CPU201は、複製画像22と継続的に取得される撮影画像とを対比することにより、対象物9の移動方向を検出する(ステップS25)。このとき、複製画像22の移動と対象物9の移動とを区別するために、CPU201は、上述した図7の処理を実行する。
CPU201は、ステップS25で検出された対象物9の移動方向に基づいて、複製画像22及びアノテーション画像21を回転させると共に、対象物9の移動方向に基づいて、複製画像22及びアノテーション画像21の回転方向を算出し、サーバ1に通知する(ステップS26)。サーバ1のCPU101は、通知された回転方向に基づいて、プロジェクタ4で投影される複製画像22及びアノテーション画像21を回転させる。
その後、CPU201は、図5(B)に示すように、対象物9を手に取るユーザ(即ち対象物の移動方向にいるユーザ)が表示領域15の底辺(最下部)に表示されるように、即ち、対象物の移動方向が表示領域15の下方向になるように、回転された複製画像22及びアノテーション画像21を含む撮影画像を回転して、表示部11に表示させ(ステップS27)、本処理を終了する。
尚、ステップS25では、CPU201は、第1の実施の形態と同様に、マイク31又はボタン32〜35を使って対象物9の移動方向を検出してもよい。さらに、CPU101は、対象物側のユーザのジェスチャー(例えば、指で方向を示すジェスチャー)から、対象物9の移動方向を検出してもよい。
以上説明したように、本実施の形態によれば、CPU201が、撮影画像から対象物9の複製画像22を生成し、マウス又はキーボードから入力されたアノテーション画像21及び複製画像22をプロジェクタ4に投影させ、複製画像22と撮影画像とから対象物9の移動方向を検出し、検出された対象物の移動方向に応じて、プロジェクタ4により投影されるアノテーション画像21及び複製画像22の回転方向を算出し、当該算出された回転方向をサーバ1に通知する。サーバ1のCPU101は、クライアント2により通知された回転方向に基づいて、プロジェクタ4により投影されるアノテーション画像21及び複製画像22を回転させる。よって、対象物を手に取るユーザ、即ち対象物の移動方向にいるユーザに、見やすい対象物の複製画像及び注釈画像が提示される。
(第3の実施の形態)
第1の実施の形態では、対象物9がテーブル10の4辺に対して平行又は垂直に置かれているが(図4(A)参照)、第3の実施の形態では、図10(A)に示すように、対象物9がテーブル10の4辺に対して傾いて置かれている場合を想定する。
第1の実施の形態では、対象物9がテーブル10の4辺に対して平行又は垂直に置かれているが(図4(A)参照)、第3の実施の形態では、図10(A)に示すように、対象物9がテーブル10の4辺に対して傾いて置かれている場合を想定する。
以下、第1又は第2の実施の形態と異なる点を説明する。
図11は、サーバ1で実行される処理を示すフローチャートである。本処理において、図6の処理と同一の処理には、同一のステップ番号を付して、その説明を省略する。
まず、サーバ1のCPU101は、ステップS2の後に、複製画像22にハフ変換を実行し、複製画像22の縦横方向(縦方向及び横方向)の検出を行い(ステップS31)、ステップS3に進む。具体的には、ステップS31では、CPU101は、複製画像22のエッジ検出により最も長い線分を複製画像22の縦方向又は横方向と認定し、その線分に対して垂直な線分を複製画像22の横方向又は縦方向と認定する。
CPU101は、ステップS5で対象物9の移動方向を検出した後、ステップS31で検出された複製画像22の縦横方向が、対象物9の移動方向に対して、略平行又は略垂直となるように回転された複製画像22及びアノテーション画像21の4つの候補をクライアント2に送信し、表示部11に表示させる(ステップS32)。ここで、略平行又は略垂直とは、平行又は垂直の状態、及び平行又は垂直(0度)から5度まで傾いた状態を含む。図10(B)は、表示部11に表示される、回転後の複製画像22及びアノテーション画像21の候補の例を示す。
クライアント2のCPU201は、クライアント2のユーザに選択された複製画像22及びアノテーション画像21の候補をサーバ1に通知する。
CPU101は、ユーザに選択された複製画像22及びアノテーション画像21の候補に基づいて、複製画像22及びアノテーション画像21を回転させ(ステップS33)、ステップS7に進む。
本処理によれば、対象物9がテーブル10の4辺に対して傾いて置かれている場合でも、対象物9を手に取ったユーザ(即ち対象物の移動方向にいるユーザ)に見やすい複製画像22及びアノテーション画像21が提示される。また、クライアント2のユーザにも、見やすい複製画像22及びアノテーション画像21が提示される。
図12は、クライアント2で実行される処理を示すフローチャートである。本処理において、図9の処理と同一の処理には、同一のステップ番号を付して、その説明を省略する。ここで、サーバ1は、図11の処理を実行しないものとする。
まず、クライアント2のCPU201は、ステップS22の後に、複製画像22にハフ変換を実行し、複製画像22の縦横方向(縦方向及び横方向)の検出を行い(ステップS41)、ステップS23に進む。具体的には、ステップS41では、CPU201は、複製画像22のエッジ検出により最も長い線分を複製画像22の縦方向又は横方向と認定し、その線分に対して垂直な線分を複製画像22の横方向又は縦方向と認定する。
CPU201は、ステップS25で対象物9の移動方向を検出した後、ステップS41で検出された複製画像22の縦横方向が、対象物9の移動方向に対して、略平行又は略垂直となるように回転された複製画像22及びアノテーション画像21の4つの候補を表示部11に表示させる(ステップS42)。ここで、略平行又は略垂直とは、平行又は垂直の状態、及び平行又は垂直(0度)から5度まで傾いた状態を含む。図10(B)は、表示部11に表示される、回転後の複製画像22及びアノテーション画像21の候補の例を示す。
CPU201は、ユーザに選択された複製画像22及びアノテーション画像21の候補に基づいて、複製画像22及びアノテーション画像21を回転させると共に、複製画像22及びアノテーション画像21の回転方向を算出し、サーバ1に通知する(ステップS43)、ステップS27に進む。
本処理によれば、対象物9がテーブル10の4辺に対して傾いて置かれている場合でも、対象物9を手に取ったユーザ(即ち対象物の移動方向にいるユーザ)に見やすい複製画像22及びアノテーション画像21が提示される。また、クライアント2のユーザにも、見やすい複製画像22及びアノテーション画像21が提示される。
サーバ1の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、サーバ1に供給し、CPU101が記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。また、クライアント2の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、クライアント2に供給し、CPU201が記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、CD−ROM、DVD、又はSDカードなどがある。
また、CPU101が、サーバ1の機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。CPU201が、クライアント2の機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。
なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。
1 サーバ
2 クライアント
3 ネットワーク
4 プロジェクタ
5 カメラ
9 対象物
10 テーブル
11 表示部
101,201 CPU
102,202 ROM
103,203 RAM
104,204 ハードディスクドライブ(HDD)
105,205 PS/2インターフェース
106,206 ネットワークインタフェース
107,207 ビデオインターフェース
108,208 USBインタフェース
2 クライアント
3 ネットワーク
4 プロジェクタ
5 カメラ
9 対象物
10 テーブル
11 表示部
101,201 CPU
102,202 ROM
103,203 RAM
104,204 ハードディスクドライブ(HDD)
105,205 PS/2インターフェース
106,206 ネットワークインタフェース
107,207 ビデオインターフェース
108,208 USBインタフェース
Claims (11)
- 対象物の撮影画像を撮影装置から取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段と、
外部装置から入力された注釈画像及び前記複製画像を投影装置に投影させる投影手段と、
前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段と
を備えることを特徴とする情報処理装置。 - 前記回転された複製画像及び注釈画像を含む撮影画像を前記外部装置に出力する出力手段を備え、
前記外部装置は、表示装置と接続されており、前記対象物の移動方向が当該表示装置の表示領域の下方向になるように、前記出力手段から出力された撮影画像を回転して、前記表示装置に表示させることを特徴とする請求項1記載の情報処理装置。 - 前記対象物の移動方向に応じて、前記投影手段により投影される注釈画像及び複製画像の回転角度を算出する算出手段と、前記回転角度を前記外部装置に通知する通知手段とを備え、
前記外部装置は、表示装置と接続されており、前記通知された回転角度に基づいて前記撮影画像に含まれる注釈画像及び複製画像を回転させ、さらに、前記対象物の移動方向が当該表示装置の表示領域の下方向になるように、前記撮影画像を回転して、前記表示装置に表示させることを特徴とする請求項1記載の情報処理装置。 - 前記複製画像の縦方向及び横方向の検出を行う検出手段と、
前記複製画像の縦方向及び横方向が前記対象物の移動方向に対して略平行又は略垂直となるように回転された注釈画像及び複製画像の複数の候補を前記外部装置に接続される表示装置に表示させる制御手段とを備え、
前記回転手段は、前記外部装置で選択された注釈画像及び複製画像の候補に基づいて、前記投影手段により投影される注釈画像及び複製画像を回転させることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。 - 対象物の撮影画像を撮影装置から外部装置を介して取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段と、
操作部から入力された注釈画像及び前記複製画像を前記外部装置を介して投影装置に投影させる投影手段と、
前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像の回転方向を算出し、当該算出された回転方向を前記外部装置に通知する通知手段とを備え、
前記外部装置は、前記通知手段により通知された回転方向に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させることを特徴とする情報処理装置。 - 前記対象物の移動方向に応じて、前記注釈画像及び前記複製画像を回転させ、さらに、前記対象物の移動方向が表示装置の表示領域の下方向になるように、前記回転された注釈画像及び複製画像を含む撮影画像を回転して、回転後の撮影画像を前記表示装置に表示させる第1制御手段を備えることを特徴とする請求項5記載の情報処理装置。
- 前記複製画像の縦方向及び横方向の検出を行う検出手段と、
前記複製画像の縦方向及び横方向が前記対象物の移動方向に対して略平行又は略垂直となるように回転された注釈画像及び複製画像の複数の候補を表示装置に表示させる第2制御手段とを備え、
前記外部装置は、前記複数の候補の中から選択された注釈画像及び複製画像の候補に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させることを特徴とする請求項5又は6に記載の情報処理装置。 - 対象物の撮影画像を撮影装置から取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、
第2情報処理装置から入力された注釈画像及び前記複製画像を投影装置に投影させる投影手段、及び
前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段を有する第1情報処理装置と、
注釈画像を入力する入力手段、及び入力された注釈画像を前記第1情報処理装置に出力する出力手段とを有する第2情報処理装置と
を備えていることを特徴とする情報処理システム。 - 対象物の撮影画像を撮影装置から第1情報処理装置を介して取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、
操作部から入力された注釈画像及び前記複製画像を前記第1情報処理装置を介して投影装置に投影させる投影手段、及び
前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像の回転方向を算出し、当該算出された回転方向を前記第1情報処理装置に通知する通知手段を有する第2情報処理装置と、
前記通知手段により通知された回転方向に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段を有する第1情報処理装置と
を備える特徴とする情報処理システム。 - コンピュータを、
対象物の撮影画像を撮影装置から取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、
外部装置から入力された注釈画像及び前記複製画像を投影装置に投影させる投影手段、及び
前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像を回転させる回転手段
として機能させることを特徴とするプログラム。 - コンピュータを、
対象物の撮影画像を撮影装置から外部装置を介して取得し、前記撮影画像から前記対象物の複製画像を生成する生成手段、
操作部から入力された注釈画像及び前記複製画像を前記外部装置を介して投影装置に投影させる投影手段、
前記複製画像と前記撮影画像とから前記対象物の移動方向を検出し、前記対象物の移動方向に応じて、前記投影装置により投影される注釈画像及び複製画像の回転方向を算出し、当該算出された回転方向を前記外部装置に通知する通知手段として機能させ、
前記外部装置は、前記通知手段により通知された回転方向に基づいて、前記投影装置により投影される注釈画像及び複製画像を回転させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008280523A JP2010109774A (ja) | 2008-10-30 | 2008-10-30 | 情報処理装置、情報処理システム及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008280523A JP2010109774A (ja) | 2008-10-30 | 2008-10-30 | 情報処理装置、情報処理システム及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010109774A true JP2010109774A (ja) | 2010-05-13 |
Family
ID=42298753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008280523A Pending JP2010109774A (ja) | 2008-10-30 | 2008-10-30 | 情報処理装置、情報処理システム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010109774A (ja) |
-
2008
- 2008-10-30 JP JP2008280523A patent/JP2010109774A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11494000B2 (en) | Touch free interface for augmented reality systems | |
EP3341851B1 (en) | Gesture based annotations | |
JP6573755B2 (ja) | 表示制御方法、情報処理プログラム、及び情報処理装置 | |
JP2012023595A (ja) | 会議システム | |
JP2009211166A (ja) | 認証装置、認証方法及び認証プログラム | |
US10600218B2 (en) | Display control system, display control apparatus, display control method, and storage medium | |
US9888209B1 (en) | Remote communication system, method for controlling remote communication system, and storage medium | |
WO2012147959A1 (ja) | 入力装置、入力方法及び記録媒体 | |
KR20160031183A (ko) | 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램 | |
EP3582068A1 (en) | Information processing device, information processing method, and program | |
JP6790630B2 (ja) | ドキュメント共有方法、プログラム及びドキュメント共有装置 | |
US11706378B2 (en) | Electronic device and method of controlling electronic device | |
JP2010272078A (ja) | 電子情報ボードシステム、電子情報ボード制御装置およびカーソル制御方法 | |
WO2015072091A1 (ja) | 画像処理装置、画像処理方法及びプログラム記憶媒体 | |
KR100845274B1 (ko) | 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치 | |
JP6374203B2 (ja) | 表示システム及びプログラム | |
JP6314564B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP6308842B2 (ja) | 表示システム及びプログラム | |
JP2010093512A (ja) | 情報処理装置、遠隔指示システム及びプログラム | |
TWI394063B (zh) | 應用影像辨識之指令輸入系統以及方法 | |
JP2010109774A (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP5187001B2 (ja) | 情報処理システム及び情報処理装置 | |
JP6175927B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び画像処理システム | |
JP2009076983A (ja) | 情報処理システム及び情報処理装置 | |
JP7484568B2 (ja) | 表示装置、表示方法、プログラム |