JP2018107489A - 入出力装置、情報共有方法及び情報共有プログラム - Google Patents

Abstract

【課題】立体物が存在する現物側と指示側とで双方向の情報共有を行う場合において、簡易な構成で視差に起因するズレを解消し、立体物の適切な位置にピントを合わせる。【解決手段】立体物が載置される第１の拠点の入出力装置に、撮像部と、投影部と、撮像部から撮像画像を取得して第２の拠点の指示装置に出力する撮像制御部と、指示装置から追記情報を取得する追記情報処理部と、投影部を制御して立体物に追記情報を投影させる投影制御部と、光学系のフォーカス位置を調整するフォーカス制御部と、を設け、投影部と撮像部とで光学系の一部又は全部を共通で使用し、共通で使用される光学系に光路分離素子を設け、撮像制御部は立体物の立体形状を測定し、追記情報処理部は追記情報と立体物の立体形状とに基づいて立体物上の着目位置を特定し、フォーカス制御部は特定した着目位置に光学系のフォーカス位置を調整する。【選択図】図３

Description

本発明は、入出力装置、情報共有方法及び情報共有プログラムに関し、特に、双方向の情報共有を行う情報共有システムにおける入出力装置、情報共有システムにおける情報共有方法及び入出力装置で動作する情報共有プログラムに関する。

近年、画面上に入力された電子データや手書き文字などを遠隔地とリアルタイムで共有し、複数人で同時に書き込みができるインタラクティブホワイトボード（ＩＷＢ：Interactive Whiteboard）が普及してきている。ＩＷＢは手書き文字などを電子ペンで入力し、その電子データを共有するのが一般的であるが、カメラと組み合わせることで、通常のホワイトボードマーカーで入力した情報やボールペンでノートなどに記載した情報などのアナログ情報を電子データとして取り込むことができるようになり、電子データだけでなく、アナログ情報を使った双方向の情報共有が可能となる。

上記アナログ情報を共有する際に、出力機器としてプロジェクタを使用することで、ノートや本、図面などの紙媒体や、高さを持った立体物への双方向の情報共有への対応も可能となる。例えば、具体的なシーンとして、拠点Ａと拠点Ｂとで遠隔打ち合わせを実施する際に、拠点Ａでは平面（例えば、紙や共有画面など）上に載置した現物（例えば、ある製品の試作部品など）を使用しながら会議を行い、拠点Ｂでは拠点Ａの現物の撮影画像に対して指示やコメントを記載しながら会議を行う、といったシーンが想定できる（以下、拠点Ａを現物側、拠点Ｂを指示側と呼ぶ。）。

このような双方向の情報共有に関する技術として、例えば、下記特許文献１には、電子文書が表示されている表示画像に対し、書き込み画像を重複して形成可能な表示手段と、前記表示手段に形成された書き込み画像を光学的に撮影し、該撮影した書き込み画像を電子データに変換する撮像手段と、前記撮像手段により撮影した前記書き込み画像の投影位置、及び、大きさを、前記表示手段に表示する電子文書の表示画像に合わせて調整し、該調整した書き込み画像を、前記表示手段に表示する電子文書に貼り付ける情報処理手段と、を有する投影型表示装置であって、前記撮像手段から得られる撮影画像を、ネットワークを介して接続された外部の前記投影型表示装置に送信する手段と、前記外部の投影型表示装置から受信した撮影画像を、所定の透明度の撮影画像として、前記表示手段に表示される電子文書の表示画像に対して重ねて表示する手段と、を有する構成が開示されている。

双方向の情報共有に関する技術ではないが、立体物の形状を把握する技術に関して、例えば、下記特許文献２には、測定範囲として合焦位置の前後に所定の測定奥行をもつ非接触型の三次元形状測定装置を用い、測定対象物に対するフォーカス調整を行った後、三次元形状の測定動作を行う三次元形状測定方法において、前記フォーカス調整として、所定のパターン光を測定対象物に投光すると共にその反射光を受光して前記測定対象物についての二次元画像を取得する動作と、取得された二次元画像について複数の領域で像面コントラストを算出する動作とを、フォーカス距離を変えて所定回数繰り返すステップと、前記像面コントラストが所定の閾値を超過する高コントラスト領域を、各フォーカス距離で取得された二次元画像毎に抽出するステップと、前記高コントラスト領域に対応する前記測定対象物上の位置と、前記投光及び受光の位置とに基づいて、三角測量により距離情報を取得するステップと、前記距離情報に基づき当該測定対象物についての前記測定範囲の合わせ込み調整を行うステップとを含む構成が開示されている。

また、プロジェクタに関する技術として、例えば、下記特許文献３には、光源を含み光源からの光束を反射型液晶パネルに集光入射させる照明光学系と、入射光の直線偏光の偏光方向に従い透過又は反射することによって光束の分離を行う偏光ビームスプリッタと、映像信号が入力され、該映像信号に従い入射光を空間変調し、該変調光を内部に有する反射層によって反射する反射型液晶パネルと、焦点位置可変機構を備え上記反射型液晶パネルの像をスクリーンに投射する投射レンズと、受光素子と、上記受光素子からの信号に基づいて上記焦点位置可変機構を駆動して上記投射レンズの焦点を上記スクリーン上に上記反射型液晶プロジェクタの像が結像する合焦位置に移動させる焦点調節制御部とを備え、上記光源から上記照明光学系を経て上記偏光ビームスプリッタに入射し該偏光ビームスプリッタによって反射又は透過された光束を上記反射型液晶パネルに入射させ、該反射型液晶パネルによって空間変調され且つ反射層によって反射された光束を偏光ビームスプリッタを介して上記投射レンズによってスクリーンに投射し、スクリーンで反射した光束を再び投射レンズ、偏光ビームスプリッタを介して上記受光素子に入射させ、上記反射光束の入射によって受光素子から出力される信号に基づいて上記焦点調節制御部が上記焦点位置可変機構を駆動する反射型液晶プロジェクタ装置が開示されている。

特開２００５−０５１４４６号公報 特開２００７−３２７８８２号公報 特開２００１−３４３７０３号公報

上述した双方向の情報共有の際に課題となるのが、現物側に立体物が置かれた場合のピントズレである。最初、平面で情報共有を行っていた場合、その平面上にプロジェクタのピントが合った状態になっているため、撮像領域に高さ方向の大きな立体物が挿入された場合には、立体物を含めた撮像領域全体にピントを合わせるのが困難となる。そして、指示側で追記がなされた位置や現物側で指定した位置など、その時々で着目すべき位置に常にピントが合っていないと、円滑なコミュニケーションができなくなってしまう。

着目すべき位置にピントを合わせるためには、立体物が置かれた時点で立体物の形状と置かれた位置を把握しておく必要がある。立体物の形状を把握する方法として、特許文献２のように、投影装置で立体物に特定のパターンを投影し、その特定のパターンの変化具合を撮像装置で撮影する方法がある。しかしながら、特許文献２に記載された方法では、投影光学系と撮像光学系とが別々であり、投影装置と撮像装置とをそれぞれ用意する必要があるため、装置全体の大型化を招いてしまう。また、投影光学系と撮像光学系とが別々の構成では、双方の光学系間に視差が生じてしまい、指示側で追記した情報が現物側でずれた位置に表示されてしまうこととなる。

このようなズレを防止するためには、視差をキャリブレーションで取り除くような画像処理が必要になるが、画像処理を追加すると情報の共有にタイムラグが生じてしまう。また、特許文献３のような撮像光学系と投影光学系とを一体型にしたプロジェクタでは視差を解消することができるが、特許文献３は、現物側と指示側との双方向の情報共有に関する技術ではなく、指示側で追記がなされた位置などの着目すべき位置を把握することができないため、双方向の情報共有における円滑なコミュニケーションを実現することができない。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、立体物が存在する現物側と立体物の撮像画像が表示される指示側とで双方向の情報共有を行う場合において、簡易な構成で視差に起因するズレを解消しつつ、立体物の適切な位置にピントを合わせることができる入出力装置、情報共有方法及び情報共有プログラムを提供することにある。

本発明の一側面は、立体物が載置される第１の拠点と前記第１の拠点とは異なる第２の拠点とで双方向に情報を共有する情報共有システムにおける、前記第１の拠点に配置される入出力装置であって、撮像光学系と固体撮像素子とを有し、対象を撮像する撮像部と、投影光学系と光源と画像表示素子とを有し、情報を投影する投影部と、前記撮像部から撮像画像を取得し、当該撮像画像のデータを前記第２の拠点に配置される指示装置に出力する撮像制御部と、前記指示装置から、前記立体物を撮像した撮像画像に対する追記情報を取得する追記情報処理部と、前記投影部を制御して、前記立体物に前記追記情報を投影させる投影制御部と、前記撮像光学系及び前記投影光学系のフォーカス位置を調整するフォーカス制御部と、を備え、前記投影光学系と前記撮像光学系とは、光学系の一部又は全部が共通で使用され、前記共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を備え、前記撮像制御部は、前記立体物を撮像した撮像画像を解析して前記立体物の形状を測定し、前記追記情報処理部は、前記追記情報と前記立体物の形状とに基づいて前記立体物上の着目位置を特定し、前記フォーカス制御部は、前記立体物上の着目位置に前記撮像光学系及び前記投影光学系のフォーカス位置を調整することを特徴とする。

本発明の一側面は、立体物が載置される第１の拠点と前記第１の拠点とは異なる第２の拠点とで双方向に情報を共有する情報共有方法であって、前記第１の拠点に配置される入出力装置は、撮像光学系と固体撮像素子とを有し、対象を撮像する撮像部と、投影光学系と光源と画像表示素子とを有し、情報を投影する投影部と、を備え、前記投影光学系と前記撮像光学系とは、光学系の一部又は全部が共通で使用され、前記共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を備え、前記第２の拠点に配置される指示装置は、情報を表示する表示部と、情報の入力を受け付ける操作部と、を備え、前記入出力装置は、前記撮像部から、前記立体物を撮像した撮像画像を取得し、当該立体物の撮像画像のデータを前記指示装置に出力する撮像処理を実行し、前記指示装置は、前記立体物の撮像画像のデータを受信し、前記立体物の撮像画像を前記表示部に表示する撮像画像表示処理と、前記操作部による、前記立体物の撮像画像に対する追記情報の入力を受け付けて前記入出力装置に送信する追記情報送信処理と、を実行し、前記入出力装置は、前記立体物を撮像した撮像画像を解析して前記立体物の形状を測定する形状測定処理と、前記指示装置から前記追記情報を取得する追記情報取得処理と、前記追記情報と前記立体物の形状とに基づいて前記立体物上の着目位置を特定する着目位置特定処理と、前記立体物上の着目位置に前記撮像光学系及び前記投影光学系のフォーカス位置を調整するフォーカス調整処理と、前記投影部を制御して、前記立体物に前記追記情報を投影する追記情報投影処理と、を実行することを特徴とする。

本発明の一側面は、立体物が載置される第１の拠点と前記第１の拠点とは異なる第２の拠点とで双方向に情報を共有する情報共有システムにおける、前記第１の拠点に配置される入出力装置で動作する情報共有プログラムであって、前記入出力装置は、撮像光学系と固体撮像素子とを有し、対象を撮像する撮像部と、投影光学系と光源と画像表示素子とを有し、情報を投影する投影部と、を備え、前記投影光学系と前記撮像光学系とは、光学系の一部又は全部が共通で使用され、前記共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を備え、前記入出力装置に、前記撮像部から、前記立体物を撮像した撮像画像を取得し、当該立体物の撮像画像のデータを前記第２の拠点に配置される指示装置に出力する撮像処理、前記立体物を撮像した撮像画像を解析して前記立体物の形状を測定する形状測定処理、前記指示装置から、前記立体物の撮像画像に対する追記情報を取得する追記情報取得処理、前記追記情報と前記立体物の形状とに基づいて前記立体物上の着目位置を特定する着目位置特定処理、前記立体物上の着目位置に前記撮像光学系及び前記投影光学系のフォーカス位置を調整するフォーカス調整処理、前記投影部を制御して、前記立体物に前記追記情報を投影する追記情報投影処理、を実行させることを特徴とする。

本発明の入出力装置、情報共有方法及び情報共有プログラムによれば、立体物が存在する現物側と立体物の撮像画像が表示される指示側とで双方向の情報共有を行う場合において、簡易な構成で視差に起因するズレを解消しつつ、立体物の適切な位置にピントを合わせることができる。

その理由は、立体物が載置される第１の拠点と第１の拠点とは異なる第２の拠点とで双方向に情報を共有する情報共有システムにおいて、第１の拠点に配置される入出力装置に、撮像光学系と固体撮像素子とを有する撮像部と、投影光学系と光源と画像表示素子とを有する投影部と、撮像部から撮像画像を取得し、当該撮像画像のデータを第２の拠点に配置される指示装置に出力する撮像制御部と、指示装置から、立体物の撮像画像に対する追記情報を取得する追記情報処理部と、投影部を制御して、立体物に追記情報を投影させる投影制御部と、撮像光学系及び投影光学系のフォーカス位置を調整するフォーカス制御部と、を設け、投影光学系と撮像光学系とを、光学系の一部又は全部が共通で使用されるように構成し、共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を設け、撮像制御部は、立体物を撮像した撮像画像を解析して立体物の立体形状を測定し、追記情報処理部は、指示装置から取得した追記情報と立体物の立体形状とに基づいて立体物上の着目位置を特定し、フォーカス制御部は、特定した着目位置に撮像光学系及び投影光学系のフォーカス位置を調整する制御を行うからである。

本発明の一実施例に係る情報共有システムの一例を示す模式図である。 本発明の一実施例に係る情報共有システムの他の例を示す模式図である。 本発明の一実施例に係る入出力装置の構成を示すブロック図である。 本発明の一実施例に係る入出力装置の撮像／投影部の構造を示す模式図である。 本発明の一実施例に係る指示装置の構成を示すブロック図である。 本発明の一実施例に係る情報共有システムの概略動作を示す模式図である。 本発明の一実施例に係る情報共有システムにおける情報の追記手順を示す模式図である。 本発明の一実施例に係る入出力装置の動作を示すフローチャート図である。 本発明の一実施例に係る入出力装置の動作（立体物の立体形状取得処理）を示すフローチャート図である。 本発明の一実施例に係る情報共有システムにおける着目位置の指定方法を説明する模式図である。 本発明の一実施例に係る情報共有システムにおける着目位置の指定方法を説明する模式図である。

背景技術で示したように、現物側の装置にカメラなどの撮像手段とプロジェクタなどの投影手段とを設け、撮像手段を用いて平面や立体物などの対象を撮像した画像を指示側の装置に送信し、指示側の装置で撮像画像を表示し、撮像画像に対して追記した情報を現物側の装置に送信し、現物側の装置で投影手段を用いて追記された情報を対象に投影することにより、双方向の情報共有を実現することができる。

しかしながら、双方向の情報共有に際して、平面にピントが合った状態で立体物が挿入されるとピントズレが生じ、円滑なコミュニケーションができなくなってしまう。また、ピントを合わせるためには、立体物が置かれた時点で立体物の形状と置かれた位置を把握する必要があるが、特許文献２のように、投影光学系と撮像光学系とが別々に配置されている構成では、装置が大型化すると共に、双方の光学系間に視差が生じ、指示側で追記した情報が現物側でずれた位置に表示されてしまい、この視差に起因するズレを防止するために画像処理を追加すると、情報の共有にタイムラグが生じてしまう。また、特許文献３のような撮像光学系と投影光学系とを一体型にしたプロジェクタでは視差を解消することができるが、特許文献３では、指示側で追記がなされた位置などの着目すべき位置を把握することができないため、円滑なコミュニケーションを実現することはできない。

そこで、本発明の一実施の形態では、立体物が載置される第１の拠点と立体物の撮像画像が表示される第２の拠点とで、双方向の情報共有を行う情報共有システムにおいて、第１の拠点に配置される入出力装置に、撮像光学系と固体撮像素子とを有する撮像部と、投影光学系と光源と画像表示素子とを有する投影部と、を備える撮像／投影部と、撮像部から撮像画像を取得し、当該撮像画像のデータを第２の拠点に配置される指示装置に送信する撮像制御部と、指示装置から、立体物の撮像画像に対する追記情報（立体物の撮像画像に対して入力されたオブジェクトの情報と立体物の撮像画像に対するオブジェクトのサイズ情報及び位置情報）を取得する追記情報処理部と、投影部を制御して、立体物に追記情報を投影させる投影制御部と、撮像光学系及び投影光学系のフォーカス位置を調整するフォーカス制御部と、を設ける。そして、撮像／投影部に、投影時の光路と撮像時の光路とを分離する光路分離素子を配置して投影光学系及び撮像光学系の一部又は全部を共通で使用できるようにすると共に、撮像制御部は、立体物を撮像した撮像画像を解析して立体物の立体形状を測定し、追記情報処理部は、指示装置から取得した追記情報と立体物の立体形状とに基づいて立体物上の着目位置を特定し、フォーカス制御部は、特定した着目位置に投影光学系及び撮像光学系のフォーカス位置を調整する。これにより、簡易な構成で視差に起因するズレを解消しつつ、立体物の適切な位置にピントを合わせることができ、円滑なコミュニケーションを実現することができる。

上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る入出力装置、情報共有方法及び情報共有プログラムについて、図１乃至図１１を参照して説明する。図１及び図２は、本実施例の情報共有システムの構成を示す模式図である。また、図３は、本実施例の入出力装置の構成を示すブロック図、図４は、入出力装置に含まれる撮像／投影光学系の構造を示す模式図であり、図５は、指示装置の構成を示すブロック図である。また、図６は、本実施例の情報共有システムの概略動作を示す模式図であり、図７は、情報共有システムにおける情報の追記手順を示す模式図である。また、図８及び図９は、本実施例の入出力装置の動作を示すフローチャート図であり、図１０及び図１１は、情報共有システムにおける着目位置の指定方法を説明する模式図である。

図１に示すように、本実施例の情報共有システムは、入出力装置１０と指示装置２０とを含み、これらはイーサネット（登録商標）、トークンリング、ＦＤＤＩ（Fiber-Distributed Data Interface）等の規格により定められるＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の通信ネットワーク３０を介して接続されている。なお、指示装置２０は、画面上に画像を表示し、表示した画像に対して情報を追記する構成としてもよいし、図２に示すように、電子黒板３１等に画像を投影し、電子黒板３１等に追記された情報を読み取る構成としてもよい。以下、各装置について詳細に説明する。

［入出力装置］
入出力装置１０は、立体物が載置される（立体物が視認できる）現物側（第１の拠点）に配置される装置であり、図３（ａ）に示すように、制御部１１、記憶部１２、ネットワークＩ／Ｆ部１３、撮像／投影部１４などで構成される。

制御部１１は、マイクロプロセッサ等により構成されるＣＰＵ（Central Processing Unit）とＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリとで構成され、ＣＰＵは、ＲＯＭや記憶部１２に記憶した制御プログラムをＲＡＭに展開して実行することにより、入出力装置１０全体の動作を制御する。

記憶部１２は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などで構成され、ＣＰＵが各部を制御するためのプログラム、自装置の処理機能に関する情報、後述する撮像／投影部１４が平面又は平面及び立体物を撮像した撮像画像のデータ、指示装置２０から受信した追記情報などを記憶する。

ネットワークＩ／Ｆ部１３は、ＮＩＣ（Network Interface Card）やモデムなどで構成され、入出力装置１０を通信ネットワーク３０に接続し、指示装置２０との双方向通信を可能にする。

撮像／投影部１４は、紙や共有画面などの平面や平面上に載置された立体物を撮像する撮像部と追記情報（オブジェクト）を立体物に投影する投影部とを含む。この撮像／投影部１４は、撮像／投影光学系１５、固体撮像素子１６、画像表示素子１７、光源１８、光路分離素子１９などで構成される。

撮像／投影光学系１５は、複数のレンズと光学系全体のフォーカス位置を調整するフォーカス調整機構とで構成され、立体物からの光を固体撮像素子１６に集光して結像すると共に、画像表示素子１７からの光を立体物に集光して結像する。上記フォーカス調整機構は、例えば、複数のレンズの内の可動レンズを光軸に沿って移動させるパルスモータ等の駆動手段と可動レンズの位置を検出する位置検出手段などで構成され、後述するフォーカス制御部１１ｄから指示に従って、立体物上の着目位置にピントが合うようにフォーカス位置を調整する。

固体撮像素子１６は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサであり、入射する光を検出し、光の強度に応じた信号を出力する。

画像表示素子１７は、内部に反射層を有する反射型ＬＣＤ（Liquid Crystal Display）などであり、液晶に電圧を印加して旋光性や複屈折性などの光学的性質を変化させ、光源１８から入射して反射層で反射する光の透過を制御することにより、映像信号に応じた画像を表示する。

光源１８は、高圧水銀ランプやＬＥＤ（Light Emitting Diode）などであり、放射光を画像表示素子１７に出射する。

光路分離素子１９は、偏光ビームスプリッタや無偏光ビームスプリッタ、非偏光ビームスプリッタなどであり、撮像／投影光学系１５を介して入射する光を固体撮像素子１６に反射すると共に、光源１８から入射する光を画像表示素子１７に反射し、画像表示素子１７から入射する光を透過して撮像／投影光学系１５に出射する。

図４は、撮像／投影部１４の構造を示す模式図である。撮像部は、撮像／投影光学系１５と固体撮像素子１６と光路分離素子１９とを含み、投影部は、撮像／投影光学系１５と画像表示素子１７と光源１８と光路分離素子１９とを含む。このように、撮像／投影部１４に光路分離素子１９を配置し、撮像部と投影部とで撮像／投影光学系１５を共通で使用することによって視差をなくすことができ、簡易な構成で視差に起因するズレを防止することができる。

なお、撮像／投影部１４は、撮像と投影とを同時に行ってもよいが、指示装置２０から取得した追記情報（オブジェクト）を立体物に投影している時に立体物を撮像すると、追記情報を含む撮像画像を取得してしまい、指示装置２０は追記情報を二重に表示することになる。そこで、本実施例では、撮像／投影部１４は、投影と撮像を交互に行うものとし、例えば、１秒間隔などの所定の間隔で投影と撮像を切り替えるようにする。また、撮像／投影部１４は、可視光のみを検出できるようにしてもよいし、立体物の立体形状を取得するために後述する投影機が赤外光などの可視領域以外の波長の光の基準パターンを投影する場合には、当該可視領域以外の波長の光も検出できるようにしてもよい。

また、上記制御部１１は、図３（ｂ）に示すように、撮像制御部１１ａ、追記情報処理部１１ｂ、投影制御部１１ｃ、フォーカス制御部１１ｄなどとしても機能する。

撮像制御部１１ａは、撮像／投影部１４が撮像した撮像画像を取得し、撮像画像のデータを指示装置２０に出力する。その際、撮像画像を解析して立体物の挿入を検知し、撮像画像のコントラスト値が変化した場合は、挿入された立体物の立体形状を測定する。立体物の立体形状を測定する場合は、所謂ＤＦＤ法（Depth from Defocus法）を用いて、光源及びスリットなどを含む外部の投影機などに基準パターン（明部と暗部が交互に配列したパターンなど）を照射させ、撮像／投影部１４がフォーカス位置を連続的に変化させながら立体物（立体物上の基準パターン）を撮像した撮像画像を取得して解析し、基準パターンの明部と暗部のコントラストが予め定めた閾値以上の場合は、フォーカス位置に基づいて立体物の各部までの距離を算出し、算出した各部の距離に基づいて立体物の立体形状を特定し、特定した立体物の立体形状を追記情報処理部１１ｂ及びフォーカス制御部１１ｄに通知する。なお、上記立体物の立体形状は、立体物の各部までの距離に基づいて特定しているため、立体物の立体形状には立体物が載置される位置の情報が含まれる。また、立体形状の測定は、撮像／投影部１４の撮像範囲内への立体物の挿入を検知した時点で開始することが望ましい。また、上記投影機の光源は可視光を発光する光源としてもよいが、赤外光などの可視領域以外の波長の光を発光する光源を用いることにより、立体物の立体形状を取得する際に追記情報と基準パターンとが混在して追記情報の視認性が悪化するなどの弊害を未然に防止することができる。また、撮像制御部１１ａは、必要に応じて、撮像／投影部１４が撮像した撮像画像を解析して指示部材を検知し、指示部材などで指し示された位置を示す指示情報を追記情報処理部１１ｂに通知する。

追記情報処理部１１ｂは、指示装置２０から、立体物の撮像画像に対する追記情報（立体物の撮像画像に対して入力されたオブジェクトの情報、立体物の撮像画像に対するオブジェクトのサイズ情報及び位置情報）を取得する。そして、取得したサイズ情報及び位置情報に基づいて、オブジェクトの投影サイズ及び投影位置を特定し、オブジェクトの情報と投影サイズ及び投影位置とを投影制御部１１ｃに通知する。例えば、立体物の外形寸法と撮像／投影部１４から立体物までの距離と立体物の撮像画像に対するオブジェクトのサイズ情報（立体物の撮像画像の縦方向及び／又は横方向のサイズを基準にした場合のオブジェクトの縦方向及び／又は横方向のサイズの比率）とに基づいて投影サイズを特定し、立体物の所定位置（例えば、中心）と立体物の撮像画像に対するオブジェクトの位置情報（立体物の撮像画像の所定位置を基準にした場合のオブジェクトの所定位置の変位量）とに基づいて投影位置を特定する。また、追記情報処理部１１ｂは、上記オブジェクトの投影サイズ及び投影位置（立体物の撮像画像に対して指示された位置に対応する投影位置、立体物に対して指示された位置に対応する投影位置）と撮像制御部１１ａから通知される立体物の立体形状とに基づいて、立体物上の着目位置を特定し、特定した着目位置をフォーカス制御部１１ｄに通知する。なお、追記情報に基づいて着目位置を特定する場合、着目位置はオブジェクトのサイズに応じた面積を有する。

投影制御部１１ｃは、撮像／投影部１４を制御して、追記情報処理部１１ｂから通知されるオブジェクトの情報と投影サイズ及び投影位置とに基づいて、立体物にオブジェクトを投影させる。

フォーカス制御部１１ｄは、追記情報処理部１１ｂから通知される着目位置と撮像制御部１１ａから通知される立体物の立体形状とに基づいて、フォーカス位置（撮像／投影光学系１５から立体物上の着目位置までの距離）を算出し、算出したフォーカス位置を撮像／投影部１４に通知して、特定した着目位置にピントが合った状態で、撮像／投影部１４による立体物へのオブジェクトの投影及び立体物の撮像ができるようにする。また、フォーカス制御部１１ｄは、フォーカス位置を算出する際に、着目位置が複数のフォーカス位置に跨がっている場合は、着目位置の中の、フォーカス位置が同じで面積が最も広い部分に基づいてフォーカス位置を算出する。これにより、複雑な形状の立体物にオブジェクトを投影する場合においても、指示側からの指示を現物側に適切に伝達できるようにすることができる。

なお、上記撮像制御部１１ａ、追記情報処理部１１ｂ、投影制御部１１ｃ、フォーカス制御部１１ｄはハードウェアとして構成してもよいし、制御部１１を撮像制御部１１ａ、追記情報処理部１１ｂ、投影制御部１１ｃ、フォーカス制御部１１ｄとして機能させる情報共有プログラムとして構成し、当該情報共有プログラムを制御部１１のＣＰＵに実行させるようにしてもよい。

［指示装置］
指示装置２０は、平面又は平面及び立体物の撮像画像が表示される（立体物が視認できない）指示側（第２の拠点）に配置されるパーソナルコンピュータ、タブレットＰＣ、スマートフォンなどであり、図５（ａ）に示すように、制御部２１、記憶部２２、ネットワークＩ／Ｆ部２３、表示部２４、操作部２５、必要に応じて投影部２６及び撮像部２７などで構成される。

制御部２１は、マイクロプロセッサ等により構成されるＣＰＵとＲＯＭやＲＡＭなどのメモリとで構成され、ＣＰＵは、ＲＯＭや記憶部２２に記憶した制御プログラムをＲＡＭに展開して実行することにより、指示装置２０全体の動作を制御する。

記憶部２２は、ＨＤＤやＳＳＤなどで構成され、ＣＰＵが各部を制御するためのプログラム、自装置の処理機能に関する情報、入出力装置１０から受信した平面又は平面及び立体物の撮像画像のデータ、指示装置２０で追記した追記情報（オブジェクトの情報、立体物の撮像画像に対するオブジェクトのサイズ情報及び位置情報）などを記憶する。

ネットワークＩ／Ｆ部２３は、ＮＩＣやモデムなどで構成され、指示装置２０を通信ネットワーク３０に接続し、入出力装置１０との双方向通信を可能にする。

表示部２４は、液晶表示装置（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（electroluminescence）表示装置などで構成され、入出力装置１０から受信した撮像画像のデータに基づいて平面又は平面及び立体物の撮像画像を表示したり、立体物の撮像画像に対して入力されたオブジェクトを表示したりする。

操作部２５は、マウスやキーボード、表示部２４上に配置されたタッチセンサなどで構成され、立体物の撮像画像に対する文字や図形などのオブジェクトの追記、立体物の撮像画像に対する位置の指定などの操作を可能にする。

投影部２６は、必要に応じて設けられ、投影光学系と画像表示素子と光源などを備える。そして、入出力装置１０から受信した撮像画像のデータに基づいて、平面又は平面及び立体物の撮像画像を電子黒板３１などに投影する。

撮像部２７は、必要に応じて設けられ、撮像光学系と固体撮像素子などを備える。そして、電子黒板３１などに手書きされた情報を撮像し、撮像画像を下記の操作制御部２１ｂに通知する。

また、上記制御部２１は、図５（ｂ）に示すように、表示制御部２１ａ、操作制御部２１ｂなどとしても機能する。

表示制御部２１ａは、入出力装置１０から受信した撮像画像のデータに基づいて平面又は平面及び立体物の撮像画像を表示部２４に表示（又は投影部２６に投影）させる。その際に、表示部２４の画面サイズ（又は電子黒板３１のサイズ）と撮像画像のサイズとを比較し、表示部２４の画面（又は電子黒板３１）の所定の領域に撮像画像が表示されるように撮像画像を拡大／縮小する。そして、公知の手法を用いて立体物の撮像画像の輪郭を抽出し、画面上（又は電子黒板３１上）の立体物の撮像画像のサイズを取得して操作制御部２１ｂに通知する。

操作制御部２１ｂは、表示部２４に表示された撮像画像に対して操作部２５により文字や図形などのオブジェクトが追記された場合に、操作部２５からの信号に基づいて、オブジェクトの情報を取得すると共に、画面上の立体物の撮像画像に対するオブジェクトのサイズ及び位置を特定する。例えば、立体物の撮像画像の縦方向及び／又は横方向のサイズを基準にした場合のオブジェクトの縦方向及び／又は横方向のサイズを特定し、立体物の撮像画像の所定位置（例えば、中心）を基準にした場合のオブジェクトの所定位置（例えば、中心）を特定する。また、操作制御部２１ｂは、投影部２６に投影された撮像画像に対して電子黒板３１にオブジェクトが書き込まれた場合に、電子黒板３１から受信した信号又は撮像部２７が電子黒板３１を撮像した撮像画像の解析結果に基づいて、オブジェクトの情報を取得すると共に、電子黒板３１上の立体物の撮像画像に対するオブジェクトのサイズ及び位置を特定する。そして、オブジェクトの情報と立体物の撮像画像に対するオブジェクトのサイズ情報及び位置情報とを含む追記情報を入出力装置１０に送信する。また、表示部２４に表示された撮像画像に対して操作部２５により位置が指示された場合は、画面上の立体物の撮像画像に対する位置を特定し、特定した位置を指示する指示情報を入出力装置１０に送信する。

なお、図１乃至図５は、本実施例の情報共有システムの一例であり、各装置の構成や制御は適宜変更可能である。

以下、上記構成の情報共有システムの概略動作について、図６及び図７の模式図を参照して説明する。図６は、撮像画像を表示する際のデータの流れと追記情報を投影する際のデータの流れを示している。また、図７は、情報の追記手順を示している。なお、本実施例では、共有画面４０上に立体物４１が載置されるものとする。また、入出力装置１０は、撮像／投影部１４を用いて共有画面４０のほぼ真上から共有画面４０及び立体物４１を撮像するものとするが、共有画面４０の斜め上方から共有画面４０及び立体物４１を撮像する場合も同様である。

入出力装置１０は、撮像／投影部１４を用いて共有画面４０を撮像し、撮像画像のデータを指示装置２０に送信する（図６の太い実線及び図７（ａ）参照）。指示装置２０は、入出力装置１０から撮像画像のデータを受信すると、表示部２４に共有画面４０の撮像画像を表示する（図７（ｂ）参照）。

次に、入出力装置１０は、立体物４１の挿入を検知したら、撮像／投影部１４を用いて共有画面４０及び立体物４１を撮像し、撮像画像のデータを指示装置２０に送信する（図６の太い実線及び図７（ｃ）参照）。指示装置２０は、入出力装置１０から撮像画像のデータを受信すると、表示部２４に共有画面４０及び立体物４１の撮像画像を表示する（図７（ｄ）参照）。

次に、指示装置２０は、撮像画像に情報（オブジェクト）が追記されたら、オブジェクトの情報と立体物４１の撮像画像に対するオブジェクトのサイズ情報及び位置情報とを含む追記情報を生成し、入出力装置１０に送信する（図６の太い破線及び図７（ｅ）参照）。入出力装置１０は、追記情報を受信したら、追記情報を解析して（図６の追記情報解析処理参照）、立体物４１上の着目位置を特定し（図６の太い一点鎖線及び着目位置特定処理参照）、特定した着目位置と予め撮像画像から求めた立体物４１の立体形状（図６の太い一点鎖線及び形状測定処理参照）とに基づいて、フォーカス位置（撮像／投影光学系１５から立体物４１上の着目位置までの距離）を算出し（図６の太い一点鎖線及びフォーカス位置算出処理参照）、撮像／投影光学系１５のフォーカス調整機構にフォーカス調整を指示する（図６の太い一点鎖線及びフォーカス調整処理参照）。なお、指示装置２０から位置を指定する指示情報を取得した場合や、指示部材などで指し示された位置を示す指示情報を取得した場合も同様である。そして、入出力装置１０は、追記情報に基づいてオブジェクトの投影サイズ及び投影位置を特定し、撮像／投影部１４を用いて、立体物４１にオブジェクトを投影する（図６の太い破線及び図７（ｆ）参照）。

次に、入出力装置１０の具体的な動作について説明する。制御部１１のＣＰＵは、ＲＯＭ又は記憶部１２に記憶した情報共有プログラムをＲＡＭに展開して実行することにより、図８及び図９のフローチャート図に示す各ステップの処理を実行する。

入出力装置１０の撮像／投影部１４は、共有画面を撮像し（Ｓ１００）、制御部１１（撮像制御部１１ａ）は、撮像／投影部１４から共有画面の撮像画像を取得し、撮像画像のデータを指示装置２０に送信する（Ｓ１１０）。指示装置２０は、入出力装置１０から撮像画像のデータを受信したら、制御部２１（表示制御部２１ａ）は、表示部２４に共有画面の撮像画像を表示させる。

その後、制御部１１（撮像制御部１１ａ）は、撮像／投影部１４から取得した撮像画像を解析することによって撮影領域内への立体物の挿入を監視し（Ｓ１２０）、立体物の挿入を検知しなかったら（Ｓ１２０のＮｏ）、Ｓ１００に戻って同様の処理を繰り返し、指示装置２０に共有画面の撮像画像をリアルタイムで表示する。一方、立体物の挿入を検知したら（Ｓ１２０のＹｅｓ）、制御部１１（撮像制御部１１ａ）は、撮像／投影部１４から取得した撮像画像を解析してコントラスト値が変化したかを判断し（Ｓ１３０）、コントラスト値が変化しなかった場合は（Ｓ１３０のＮｏ）、フォーカス位置を調整しなくてもピントズレが許容範囲内に収まると判断できることから、Ｓ１００に戻って同様の処理を繰り返し、指示装置２０に共有画面及び立体物の撮像画像をリアルタイムで表示する。

コントラスト値が変化した場合は（Ｓ１３０のＹｅｓ）、フォーカス位置を調整する必要があるため、制御部１１（撮像制御部１１ａ）は、立体物の立体形状を測定する（Ｓ１４０）。図９は、このステップの詳細を示しており、まず、外部の投影機などを用いて、立体物に基準パターン（明部と暗部が交互に出現する縦縞又は横縞又は格子状パターンなど）を投影させる（Ｓ１４１）。次に、立体物上の測定位置を設定し（Ｓ１４２）、フォーカス位置を設定する（Ｓ１４３）。そして、撮像／投影部１４に立体物上の基準パターンを撮像させ（Ｓ１４４）、撮像画像を解析して明部と暗部のコントラストを測定し（Ｓ１４５）、コントラストが予め定めた閾値以上であるかを判断する（Ｓ１４６）。コントラストが閾値未満の場合は（Ｓ１４６のＮｏ）、測定位置にピントが合っていないと考えられることから、Ｓ１４３に戻ってフォーカス位置を調整し（フォーカス位置を徐々に遠く又は近くし）、同様の処理を繰り返す。一方、コントラストが閾値以上の場合は（Ｓ１４６のＹｅｓ）、Ｓ１４３で設定したフォーカス位置に基づいてＳ１４２で設定した測定位置までの距離を算出する（Ｓ１４７）。次に、立体物に未測定位置があるかを判断し（Ｓ１４８）、未測定位置がある場合は（Ｓ１４８のＹｅｓ）、Ｓ１４２に戻って測定位置を設定して同様の処理を繰り返す。そして、未測定位置が無くなったら（Ｓ１４８のＮｏ）、Ｓ１４７で算出した各測定位置までの距離に基づいて、立体物の立体形状（撮像／投影部１４側の面の立体形状）を特定する（Ｓ１４９）。

一方、指示装置２０は、入出力装置１０から撮像画像のデータを受信したら、制御部２１（表示制御部２１ａ）は、表示部２４に共有画面及び立体物の撮像画像を表示させ、制御部２１（操作制御部２１ｂ）は、操作部２５により撮像画像へのオブジェクトの追記が行われたら、オブジェクトの情報と、立体物の撮像画像に対するオブジェクトのサイズ情報及び位置情報と、を含む追記情報を生成して入出力装置１０に送信する。

入出力装置１０の制御部１１（追記情報処理部１１ｂ）は、追記情報の受信を待機し（Ｓ１５０）、指示装置２０から追記情報を受信したら（Ｓ１５０のＹｅｓ）、制御部１１（追記情報処理部１１ｂ）は、追記情報とＳ１４０で取得した立体物の立体形状とに基づいて立体物上の着目位置を特定する（Ｓ１６０）。

次に、制御部１１（フォーカス制御部１１ｄ）は、Ｓ１６０で特定した立体物上の着目位置とＳ１４０で取得した立体物の立体形状とに基づいて、フォーカス位置（撮像／投影部１４の撮像／投影光学系１５から着目位置までの距離）を算出し、撮像／投影部１４に算出したフォーカス位置を通知し、撮像／投影部１４のフォーカス調整機構は、撮像／投影光学系１５のフォーカス位置を調整する（Ｓ１８０）。その際、複雑な形状の立体物が置かれた場合などは、指示装置２０で追記されたオブジェクトが複数のフォーカス範囲に跨がって投影される可能性がある。そこで、制御部１１（フォーカス制御部１１ｄ）は、フォーカス位置を算出する際に、着目位置が複数のフォーカス位置に跨がる場合は、着目位置の中の、フォーカス位置が同じで面積が最も広い部分に基づいてフォーカス位置を算出する。

そして、撮像／投影部１４は、撮像／投影光学系１５のフォーカスが調整された状態で立体物を撮像し、制御部１１（撮像制御部１１ａ）は、撮像／投影部１４から立体物の撮像画像を取得し、撮像画像のデータを指示装置２０に送信する（Ｓ１８０）。これにより、指示側では立体物上の着目位置にピントが合った撮像画像を表示することができ、適切に情報を共有することができる。また、制御部１１（投影制御部１１ｃ）は、撮像／投影部１４を制御して、撮像／投影光学系１５のフォーカスが調整された状態で立体物にオブジェクトを投影する（Ｓ１８０）。これにより、現物側では立体物の着目位置にピントが合った明瞭な追記情報を視認することができ、適切に情報を共有することができる。

なお、上記フローでは、指示装置２０でオブジェクトが追記された位置を着目位置としてフォーカスの調整を行ったが、遠隔地ではＰＣ等の画面で立体物の情報を共有していて、その表示手段がタッチ検出可能である場合には、ユーザがタッチした位置にピントを合わせるようにしてもよい。具体的には、図１０に示すように、指示装置２０の表示部２４に立体物の撮像画像が表示されている状態で、タッチペンなどで撮像画像上の任意の点が指示された場合に、撮像画像に対するその点の座標を示す指示情報を作成して入出力装置１０に送信し、入出力装置１０は、指示情報に基づいて着目位置を特定してフォーカス位置を調整する。これにより、ユーザが着目したい場所に的確にピントを合わせることができ、円滑なコミュニケーションを実現することができる。

また、ピントを合わせる行為を遠隔地の指示側だけで行うようにすると不都合もあるため、立体物が置かれている現物側でも任意の位置にピントを合わせることができるようにしてもよい。具体的には、図１１に示すように、現物側では、指示部材４２で立体物面上を指し示した場合に、制御部１１（撮像制御部１１ａ）は、撮像画像を解析して着目位置を特定し、その着目位置にフォーカス位置を調整する。この指示部材４２は、例えば、特定の波長の光を先端から発するようにした棒状のものとすることができ、特定の波長の光を検出することにより、指示された位置にピントを合わせることができる。また、指示部材４２は、先端が特定の形状を有した指示棒でも構わない。その場合は、特定の形状を検出することにより、指示された位置にピントを合わせることができる。

以上説明したように、入出力装置１０に、立体物を撮像する撮像部と立体物に情報を投影する投影部として機能する撮像／投影部１４を設けることにより、立体物に対して双方向で情報を共有しながら議論を行うことができる。また、立体物に対して双方向で情報の共有を行うようなシーンにおいて、投影部と撮像部の視差による出力位置のズレが課題となる。投影光学系と撮像光学系の光軸が異なる位置にあると、それぞれの視差によって、撮像画像に書き込まれた文字などが立体物上の正確な位置に投影できないといった不具合が生じる。本実施例では、投影光学系と撮像光学系を共通で使用する撮像／投影一体型光学系を採用することにより、上記課題を解決している。具体的には、投影光学系と撮像光学系を共通で使用し、固体撮像素子１６や画像表示素子１７と撮像／投影光学系１５との間に投影時の光路と撮像時の光路を分離する光路分離素子１９を配置することで、光学系を共通で使用しながら、投影光と撮像光をそれぞれ分離できるようにしている。

また、平面と立体物を撮像する場合に課題となるのが、立体物が置かれた場合のピントズレであり、指示側で追記や指示がなされた位置や現物側で指示した位置など、その時々で着目すべき位置に常にピントが合っていないと円滑なコミュニケーションができなくなってしまう。そこで、本実施例では、立体物の形状を元に、ユーザが指定した任意の位置にピントを合わせる機構を設ける。その際、遠隔地で追記がなされた情報はその場ですぐに伝えたい情報であるので、フォーカス調整を行う際の着目位置を遠隔地で追記がなされた位置とする。これにより、ユーザが着目したい場所に的確にピントを合わせることができるようになり、ピントズレのないクリアな情報を共有することができ、お互いが齟齬のない形で円滑なコミュニケーションを実現することができる。

また、上記のフォーカス調整を行う際には、立体物の形状を把握する必要がある。そこで、本実施例では、立体物の少なくとも一部の形状を測定できるようにしている。この形状測定に関して、投影部と撮像部とが別体で備わった構成であれば、投影部で基準パターンを投影対象物に投影しつつ撮像部で撮像し、その基準パターンの歪み具合で投影対象物の形状を把握することが可能であるが、撮像／投影一体型光学系では、投影光学系と撮像光学系とが共通であるため、自身で投影した基準パターンを自身では認識できない。そこで、本実施例では、外部の投影機を用いて基準パターンを投影し、撮像光学系のフォーカス位置を連続的に変化させながら投影対象物面上の基準パターンを撮像し、基準パターンのコントラストに基づいて投影対象面までの距離を特定するようにしている。その際、投影機から投影する基準パターンが可視光であると、基準パターンが追記情報と混在してしまい好ましくない。その場合は、形状測定のための基準パターンのみ可視領域以外の波長の光（例えば、赤外光）を用いれば、追記情報の視認性を損なわずに立体物の立体形状の測定が可能となる。

また、立体物の立体形状を測定する場合は、フォーカス位置を変化させながら撮影を繰り返すため、ある程度の時間がかかってしまう。さらに、本実施例のような投影光学系と撮像光学系とが一体となった構成では、投影光学系のフォーカス位置を変化させると撮像光学系のフォーカス位置も連動して変化してしまうため、遠隔地のユーザが見ている画面においてもフォーカスの変化が認識されてしまう。そこで、本実施例では、撮像範囲内に立体物が挿入された時点で立体形状の測定を開始するようにしている。これにより、ユーザが立体物を配置する際の作業時間内に立体形状の測定を終えることができるようになるため、立体形状の測定がコミュニケーションの妨げになることを防ぐことができる。

また、複雑な立体物が置かれた場合などは、遠隔地で追記された情報が複数のフォーカス範囲に跨がってしまう可能性がある。そこで、本実施例では、着目位置が複数のフォーカス位置に跨がっている場合は、着目位置の中の、フォーカス位置が同じで面積が最も広い部分にフォーカス位置を調整するようにする。これにより、効率よく相手側に情報を伝えることができ、円滑なコミュニケーションを実現することができる。

なお、本発明は、上記実施例の記載に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。

例えば、上記実施例では、共有画面４０のほぼ真上から撮像する場合を例示したが、共有画面４０の斜め上方から撮像する場合に対しても、本発明の情報共有方法を同様に適用することができる。

また、上記実施例では、１台の入出力装置１０と１台の指示装置２０とで構成される情報共有システムを例示したが、複数台の入出力装置１０や複数台の指示装置２０で構成される情報共有システムに対して、本発明の情報共有方法を同様に適用することができる。

本発明は、双方向の情報共有を行う情報共有システムにおける入出力装置、情報共有システムにおける情報共有方法、入出力装置で動作する情報共有プログラム及び当該情報共有プログラムを記録した記録媒体に利用可能である。

１０ 入出力装置
１１ 制御部
１１ａ 撮像制御部
１１ｂ 追記情報処理部
１１ｃ 投影制御部
１１ｄ フォーカス制御部
１２ 記憶部
１３ ネットワークＩ／Ｆ部
１４ 撮像／投影部
１５ 撮像／投影光学系
１６ 固体撮像素子
１７ 画像表示素子
１８ 光源
１９ 光路分離素子
２０ 指示装置
２１ 制御部
２１ａ 表示制御部
２１ｂ 操作制御部
２２ 記憶部
２３ ネットワークＩ／Ｆ部
２４ 表示部
２５ 操作部
２６ 投影部
２７ 撮像部
３０ 通信ネットワーク
３１ 電子黒板
４０ 共有画面
４１ 立体物
４２ 指示部材

Claims (18)

1. 立体物が載置される第１の拠点と前記第１の拠点とは異なる第２の拠点とで双方向に情報を共有する情報共有システムにおける、前記第１の拠点に配置される入出力装置であって、
   撮像光学系と固体撮像素子とを有し、対象を撮像する撮像部と、
   投影光学系と光源と画像表示素子とを有し、情報を投影する投影部と、
   前記撮像部から撮像画像を取得し、当該撮像画像のデータを前記第２の拠点に配置される指示装置に出力する撮像制御部と、
   前記指示装置から、前記立体物を撮像した撮像画像に対する追記情報を取得する追記情報処理部と、
   前記投影部を制御して、前記立体物に前記追記情報を投影させる投影制御部と、
   前記撮像光学系及び前記投影光学系のフォーカス位置を調整するフォーカス制御部と、を備え、
   前記投影光学系と前記撮像光学系とは、光学系の一部又は全部が共通で使用され、前記共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を備え、
   前記撮像制御部は、前記立体物を撮像した撮像画像を解析して前記立体物の形状を測定し、
   前記追記情報処理部は、前記追記情報と前記立体物の形状とに基づいて前記立体物上の着目位置を特定し、
   前記フォーカス制御部は、前記立体物上の着目位置に前記撮像光学系及び前記投影光学系のフォーカス位置を調整する、
   ことを特徴とする入出力装置。
2. 前記撮像制御部は、前記撮像部から、投影機により基準パターンが投影された前記立体物を前記撮像光学系のフォーカス位置を連続的に変化させながら撮像した撮像画像を取得して解析し、前記基準パターンのコントラストに基づいて、前記立体物の立体形状を測定する、
   ことを特徴とする請求項１に記載の入出力装置。
3. 前記撮像制御部は、前記撮像部の撮像範囲内への前記立体物の挿入を検知したら、前記立体物の形状の測定を開始する、
   ことを特徴とする請求項２に記載の入出力装置。
4. 前記追記情報は、前記立体物の撮像画像に対して入力されたオブジェクトの情報と、前記立体物の撮像画像に対する前記オブジェクトのサイズ情報及び位置情報と、を含み、
   前記追記情報処理部は、前記サイズ情報及び前記位置情報に基づいて、前記オブジェクトの投影サイズ及び投影位置を特定し、前記投影サイズ及び前記投影位置に基づいて、前記立体物上の着目位置を特定する、
   ことを特徴とする請求項１乃至３のいずれか一に記載の入出力装置。
5. 前記フォーカス制御部は、前記着目位置が複数のフォーカス位置に跨がっている場合は、前記着目位置の中の、フォーカス位置が同じで面積が最も広い部分に、前記撮像光学系及び前記投影光学系のフォーカス位置を調整する、
   ことを特徴とする請求項４に記載の入出力装置。
6. 前記投影制御部は、前記オブジェクトの情報と前記投影サイズ及び前記投影位置とに基づいて、前記立体物に前記オブジェクトを投影させる、
   ことを特徴とする請求項４又は５に記載の入出力装置。
7. 立体物が載置される第１の拠点と前記第１の拠点とは異なる第２の拠点とで双方向に情報を共有する情報共有方法であって、
   前記第１の拠点に配置される入出力装置は、
   撮像光学系と固体撮像素子とを有し、対象を撮像する撮像部と、
   投影光学系と光源と画像表示素子とを有し、情報を投影する投影部と、を備え、
   前記投影光学系と前記撮像光学系とは、光学系の一部又は全部が共通で使用され、前記共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を備え、
   前記第２の拠点に配置される指示装置は、
   情報を表示する表示部と、
   情報の入力を受け付ける操作部と、を備え、
   前記入出力装置は、
   前記撮像部から、前記立体物を撮像した撮像画像を取得し、当該立体物の撮像画像のデータを前記指示装置に出力する撮像処理を実行し、
   前記指示装置は、
   前記立体物の撮像画像のデータを受信し、前記立体物の撮像画像を前記表示部に表示する撮像画像表示処理と、
   前記操作部による、前記立体物の撮像画像に対する追記情報の入力を受け付けて前記入出力装置に送信する追記情報送信処理と、を実行し、
   前記入出力装置は、
   前記立体物を撮像した撮像画像を解析して前記立体物の形状を測定する形状測定処理と、
   前記指示装置から前記追記情報を取得する追記情報取得処理と、
   前記追記情報と前記立体物の形状とに基づいて前記立体物上の着目位置を特定する着目位置特定処理と、
   前記立体物上の着目位置に前記撮像光学系及び前記投影光学系のフォーカス位置を調整するフォーカス調整処理と、
   前記投影部を制御して、前記立体物に前記追記情報を投影する追記情報投影処理と、を実行する、
   ことを特徴とする情報共有方法。
8. 前記形状測定処理では、前記撮像部から、投影機により基準パターンが投影された前記立体物を前記撮像光学系のフォーカス位置を連続的に変化させながら撮像した撮像画像を取得して解析し、前記基準パターンのコントラストに基づいて、前記立体物の立体形状を測定する、
   ことを特徴とする請求項７に記載の情報共有方法。
9. 前記形状測定処理では、前記撮像部の撮像範囲内への前記立体物の挿入を検知したら、前記立体物の形状の測定を開始する、
   ことを特徴とする請求項８に記載の情報共有方法。
10. 前記追記情報は、前記立体物の撮像画像に対して入力されたオブジェクトの情報と、前記立体物の撮像画像に対する前記オブジェクトのサイズ情報及び位置情報と、を含み、
    前記着目位置特定処理では、前記サイズ情報及び前記位置情報に基づいて、前記オブジェクトの投影サイズ及び投影位置を特定し、前記投影サイズ及び前記投影位置に基づいて、前記立体物上の着目位置を特定する、
    ことを特徴とする請求項７乃至９のいずれか一に記載の情報共有方法。
11. 前記フォーカス調整処理では、前記着目位置が複数のフォーカス位置に跨がっている場合は、前記着目位置の中の、フォーカス位置が同じで面積が最も広い部分に、前記撮像光学系及び前記投影光学系のフォーカス位置を調整する、
    ことを特徴とする請求項１０に記載の情報共有方法。
12. 前記追記情報投影処理では、前記オブジェクトの情報と前記投影サイズ及び前記投影位置とに基づいて、前記立体物に前記オブジェクトを投影させる、
    ことを特徴とする請求項１０又は１１に記載の情報共有方法。
13. 立体物が載置される第１の拠点と前記第１の拠点とは異なる第２の拠点とで双方向に情報を共有する情報共有システムにおける、前記第１の拠点に配置される入出力装置で動作する情報共有プログラムであって、
    前記入出力装置は、
    撮像光学系と固体撮像素子とを有し、対象を撮像する撮像部と、
    投影光学系と光源と画像表示素子とを有し、情報を投影する投影部と、を備え、
    前記投影光学系と前記撮像光学系とは、光学系の一部又は全部が共通で使用され、前記共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を備え、
    前記入出力装置に、
    前記撮像部から、前記立体物を撮像した撮像画像を取得し、当該立体物の撮像画像のデータを前記第２の拠点に配置される指示装置に出力する撮像処理、
    前記立体物を撮像した撮像画像を解析して前記立体物の形状を測定する形状測定処理、
    前記指示装置から、前記立体物の撮像画像に対する追記情報を取得する追記情報取得処理、
    前記追記情報と前記立体物の形状とに基づいて前記立体物上の着目位置を特定する着目位置特定処理、
    前記立体物上の着目位置に前記撮像光学系及び前記投影光学系のフォーカス位置を調整するフォーカス調整処理、
    前記投影部を制御して、前記立体物に前記追記情報を投影する追記情報投影処理、を実行させる、
    ことを特徴とする情報共有プログラム。
14. 前記形状測定処理では、前記撮像部から、投影機により基準パターンが投影された前記立体物を前記撮像光学系のフォーカス位置を連続的に変化させながら撮像した撮像画像を取得して解析し、前記基準パターンのコントラストに基づいて、前記立体物の立体形状を測定する、
    ことを特徴とする請求項１３に記載の情報共有プログラム。
15. 前記形状測定処理では、前記撮像部の撮像範囲内への前記立体物の挿入を検知したら、前記立体物の形状の測定を開始する、
    ことを特徴とする請求項１４に記載の情報共有プログラム。
16. 前記追記情報は、前記立体物の撮像画像に対して入力されたオブジェクトの情報と、前記立体物の撮像画像に対する前記オブジェクトのサイズ情報及び位置情報と、を含み、
    前記着目位置特定処理では、前記サイズ情報及び前記位置情報に基づいて、前記オブジェクトの投影サイズ及び投影位置を特定し、前記投影サイズ及び前記投影位置に基づいて、前記立体物上の着目位置を特定する、
    ことを特徴とする請求項１３乃至１５のいずれか一に記載の情報共有プログラム。
17. 前記フォーカス調整処理では、前記着目位置が複数のフォーカス位置に跨がっている場合は、前記着目位置の中の、フォーカス位置が同じで面積が最も広い部分に、前記撮像光学系及び前記投影光学系のフォーカス位置を調整する、
    ことを特徴とする請求項１６に記載の情報共有プログラム。
18. 前記追記情報投影処理では、前記オブジェクトの情報と前記投影サイズ及び前記投影位置とに基づいて、前記立体物に前記オブジェクトを投影させる、
    ことを特徴とする請求項１６又は１７に記載の情報共有プログラム。

Images