JP2006350452A - 撮影表示装置およびそのキャリブレーションデータ算出方法 - Google Patents

Abstract

【課題】 スクリーンへ画像表示を行うとともにスクリーンまたはスクリーン近傍の情報を含む画像を撮像して情報入力を可能とした撮影表示装置において、情報入力を正確かつ容易に行うことができるようにする。
【解決手段】 画像変調手段２と、スクリーン５と、撮像手段７と、導光手段４と、スクリーン５に表示される画像と撮像手段７により撮像される裏面透過光１２による画像との間の画素位置を対応させるキャリブレーションデータを求める制御手段と、制御手段により求めたキャリブレーションデータを用いて、撮像手段７で撮像される裏面透過光１２による画像の画像位置を、スクリーン５表示される画像に対する相対位置として算出する位置演算手段とを備える。
【選択図】 図１

Description

本発明は、撮影表示装置およびそのキャリブレーションデータ算出方法に関する。例えば、スクリーンへ画像表示を行うとともにスクリーンまたはスクリーン近傍の画像を撮像して情報入力を可能とする撮影表示装置およびそのキャリブレーションデータ算出方法に関する。

従来、スクリーンへ画像表示を行うとともにスクリーンまたはスクリーン近傍の画像を撮像して情報入力を行うことができるようにした撮影表示装置が知られている。例えば、透過型スクリーンに画像を投影し、その投影画像上で、指し棒、ペンなどの入力手段により、ポインティングしたり、移動したりするとき、そのポインティング位置情報や移動軌跡の画像などを取得する装置が知られている。このような装置は、会議、プレゼンテーションなどに好適に用いることができる。
例えば、特許文献１には、プロジェクタが投影する画像とその画像上に照射された光学的ポインタの照射光をカメラで撮像し画像処理を施すことにより光学的ポインタの照射位置を認識できるようにするための、プレゼンテーションのポインタ位置認識と再投影の方法が記載されている。
特許文献２には、入力板を裏面から撮像するカメラにより、入力板表面に接触または接近するペンの移動軌跡を撮像し、座標演算部でペンの位置座標を算出し、投影画像に重ね合わせる入力システムおよび投射型表示システムが記載されている。この場合、投影画像の表示位置は、入力板と異なるスクリーンの場合と、入力板自体の場合とが記載されている。
特許文献３には、プロジェクタから投影された画像を平面導波路により導光して、導光方向に沿って面間距離が減少するようなテーパを設けた導波路に沿って伝搬させることで、テーパを設けた導波路の一方の面から出射させることにより、投影画像を表示する導波路ディスプレーが記載されている。
特許文献４には、特許文献３の導波路ディスプレーの出射面側にプリズムシートを配置し、プリズムシートを透過した光を導光し、カメラで撮像するフラットパネルカメラが記載されている。
特開２００４−１１８８０７号公報（図１−３） 特開２０００−１４８３７５号公報（図１−６） 特表２００３−５２８３５６号公報（図１、２） 特表２００４−５１５１７０号公報（図１、２）

しかしながら、上記のような従来の撮影表示装置は、以下のような問題があった。
特許文献１に記載の技術では、スクリーンに画像を投影する照射系とポインタの画像を撮像する受光系との光路をスプリッタで分割し、それぞれに用いるレンズを共通使用している。そのため、スクリーン上の画像位置とポインタの位置とが対応するようになっているものの、照射系の投影する画像の表示面と受光系の撮像面の大きさを一致させる必要があるので、設計の自由度が制約され、製作コストが高価につくという問題がある。
照射系、受光系に相異なる光学系を採用して焦点距離や倍率などをデバイスごとに最適化することも考えられるが、その場合、照射系と受光系との位置関係や倍率のずれを調整する手間がかかるという問題がある。
特許文献２に記載の技術では、投影機とカメラとを別個に備えるため、スクリーンへの投影画面とスクリーン上の入力画面との間の、位置、倍率を調整する手間がかかる。また、ペンの位置を撮像した画像から座標演算部により画像処理して算出し、スクリーンに表示するので迅速な表示や入力処理を行うことができないという問題がある。
このような問題は、特許文献３、４に記載の技術を組み合わせて、撮影表示装置を構成した場合も同様である。すなわち、カメラやプロジェクタが別個の光学系を備えるため、位置関係の調整の手間がかかるという問題がある。
特にこの場合、テーパ上の導波路を用いて反射を繰り返して画像を拡大投射するので、カメラやプロジェクタの取付誤差などが微小であっても、顕著に拡大され倍率誤差が生じやすいので、調整が格段に難しくなるという問題がある。

本発明は、上記のような問題に鑑みてなされたものであり、スクリーンへ画像表示を行うとともにスクリーンまたはスクリーン近傍の情報を含む画像を撮像して情報入力を可能とした撮影表示装置において、情報入力を正確かつ容易に行うことができる撮影表示装置およびそのキャリブレーションデータ算出方法を提供することを目的とする。

上記の課題を解決するために、請求項１に記載の発明では、入力される画像情報に応じて画像を変調して変調光として投影する画像変調手段と、前記変調光を透過して、該変調光による画像を観察可能に表示する透過型スクリーンと、該透過型スクリーンから前記変調光の透過方向と逆方向に出射されるスクリーン裏面光による画像を撮像する撮像手段と、前記画像変調手段から投影される前記変調光を導光して前記透過型スクリーンに向けて出射するとともに、前記スクリーン裏面光を導光して前記撮像手段に向けて出射する導光手段と、前記透過型スクリーンに表示される画像と、前記撮像手段により撮像される前記スクリーン裏面光による画像との間の画素位置を対応させるキャリブレーションデータを求める演算関数生成手段と、該演算関数生成手段により求めたキャリブレーションデータを用いて、前記撮像手段で撮像される前記スクリーン裏面光による画像の画像位置を、前記透過型スクリーンに表示される画像に対する相対位置として算出する位置演算手段とを備える構成とする。
この発明によれば、画像変調手段により、入力された画像情報に応じた画像を変調し、導光手段を通して透過型スクリーンに観察可能に表示できる。また、撮像手段によりスクリーン裏面光を撮像することができる。そして、演算関数生成手段により、透過型スクリーンに表示される画像（以下、スクリーン表示画像と称する）とスクリーン裏面光による画像（以下、スクリーン裏面光画像と称する）との間の画素位置を対応させるキャリブレーションデータを求めることができる。そして、位置演算手段により、このキャリブレーションデータを用いて、スクリーン裏面光画像の画像位置を、スクリーン表示画像に対する相対位置として算出することができる。そのため、スクリーン表示画像とスクリーン裏面光画像の位置関係や倍率などが異なっていても、スクリーン表示画像に対するスクリーン裏面光画像の相対的な位置関係を対応させることができる。
例えば、指、指し棒、ポインタなどの入力手段により、透過型スクリーン上の所定位置にスクリーン裏面光を発生させて情報入力を行う場合、スクリーン表示画像に対する相対位置を正確に取得することができる。

ここで、キャリブレーションデータは、画素位置（座標）の対応表のデータであってもよいが、画素位置の対応関係を演算関数で表したときの、演算関数を特定するデータであってもよい。演算関数を特定するデータは、例えば、演算関数が多項式で表される場合に、多項式の係数を表すデータ群を挙げることができる。
演算関数は、所定の精度を満足する範囲であれば、近似的に対応させるものであってもよい。その場合、個々の画素位置ではなく、画素が含まれる領域の変形や移動から、その領域内の画素の対応関係を求めることにより、演算関数を簡素化することができる。
また、キャリブレーションデータは、スクリーン裏面光画像の画像位置からスクリーン表示画像上の画素位置を算出できるデータとは限らず、スクリーン表示画像に区画領域が形成される場合、どの区画領域に属するかを判定する条件式を表すデータであってもよい。

請求項２に記載の発明では、請求項１に記載の撮像表示装置において、前記導光手段が、導光路の両端に、前記画像変調手段から投影された前記変調光の入射部と、前記撮像手段への前記スクリーン裏面光の出射部とを兼ねる第１の端部と、前記透過型スクリーンへの前記変調光の出射部と、前記透過型スクリーンを透過した前記スクリーン裏面光の入射部とを兼ねる第２の端部を備える構成とする。
この発明によれば、画像変調手段から投影された変調光が第１の端部から導光手段の導光路に入射されて第２の端部から出射され、スクリーン裏面光が第２の端部から導光手段の導光路に入射されて第１の端部に出射されるから、１つの導光路を共有することができるので、簡素な構成とすることができる。

請求項３に記載の発明では、請求項２に記載の撮像表示装置において、前記導光手段の前記第１の端部と、前記画像変調手段および前記撮像手段との間に、前記第１の端部に入出射する前記変調光および前記スクリーン裏面光との光路を分岐する光分岐手段を設けた構成とする。
この発明によれば、光分岐手段により、第１の端部側の光路を分岐するので、画像変調手段と撮像手段とを相異なる位置に配置しても、第１の端部に対して同一の光路を通して入出射させることができる。そのため、導光手段の光路を共通化することができる。したがって、導光手段に起因する倍率誤差や画像歪みなどが共通となるので、演算関数生成手段によりキャリブレーションデータを精度よく求めることができる。

請求項４に記載の発明では、請求項１に記載の撮影表示装置において、前記導光手段が、前記画像変調手段により投影された前記変調光を、対向する平行反射面の間で内部反射させて導光する平行平板状の第１導光部と、対向する２平面が一端から他端に向けて対向する面間隔を狭めるテーパ状部材からなり、前記第１導光部により導光された前記変調光が前記テーパ部材の一端側から入射して、前記対向する２平面のうち、一方において内部反射され、他方において入射角に応じて内部反射または透過されることにより、前記対向する２平面の他方から、前記変調光の画像を投影できるようにした第２導光部とを備え、前記第２導光部の前記対向する２平面の他方を前記透過型スクリーンに対面して配置した構成とする。
この発明によれば、導光手段が第１導光部と第２導光部を備える板状に構成されるので、表示画面の大きさに比べて薄型のコンパクトな装置とすることができる。

請求項５に記載の発明では、請求項１に記載の撮影表示装置において、前記演算関数生成手段により求められたキャリブレーションデータを記憶する記憶手段を備え、前記位置演算手段が、前記記憶手段に記憶されたキャリブレーションデータを用いて、前記撮像手段で撮像される前記スクリーン裏面光による画像の画像位置を、前記透過型スクリーンに表示される画像に対する相対位置として算出できるようにした構成とする。
この発明によれば、記憶手段に、演算関数生成手段により求められたキャリブレーションデータを記憶して、それを用いて位置演算手段による位置算出を行うことができるので、製造時や、初期設定時などに、キャリブレーションデータを求めるだけで、以後、スクリーン表示画像とスクリーン裏面光画像との間の位置関係の対応をとることができる。

請求項６に記載の発明では、請求項１に記載の撮影表示装置において、前記入力される画像情報の少なくとも一部は、情報入力を行うキーボードを模擬したキーボード画像であり、前記位置演算手段により、前記撮像手段で撮像された前記スクリーン裏面光による画像と前記キャリブレーションデータとから、前記キーボード画像において操作されたキーを検出する構成とする。
この発明によれば、透過型スクリーンにスクリーン表示画像としてキーボード画像を表示し、操作者が、表示面の側に指などで適宜のキーの上に指を置くと、撮像手段により透過型スクリーンの表示面の裏面側から、その指の像を撮像することができる。そして、位置演算手段によりその指の画像位置を、キーボード画像との相対位置として算出することにより、操作されたキーを検出することができる。このとき、キーボード画像を移動しても、キャリブレーションデータによりキーボード画像に対する相対位置を算出するので、移動位置に応じて正確に対応させることができる。そのため、必要に応じて透過型スクリーン上の任意の位置にキーボードを出現させても、正確な情報入力を行うことができる。

請求項７に記載の発明では、請求項６に記載の撮影表示装置において、前記撮像手段が、撮像素子と、前記スクリーン裏面光による画像を前記撮像素子の撮像面上に結像する撮影光学手段とを備え、該撮影光学手段が、前記透過型スクリーンにおける前記変調光の表示面と前記撮像素子の撮像面とを共役な関係とするように設けられた構成とする。
この発明によれば、撮影光学手段により、変調光の表示面と撮像素子の撮像面とが共役な関係とされるので、スクリーン裏面光画像として、変調光の表示面上の画像を撮像することができる。

請求項８に記載の発明では、請求項１に記載の撮影表示装置において、前記画像変調手段が、前記変調光により前記透過型スクリーンの全面または一部への照明光を形成できるようにした構成とする。
この発明によれば、変調光により、透過型スクリーンへの照明光を形成することができるので、透過型スクリーン上に被写体が置かれたときに、その被写体の反射光をスクリーン裏面光として撮像することができる。そのため、特に照明光源を設けなくても、透過型スクリーン上の被写体を照明して、スクリーン裏面光画像の撮像を行うことができる。

このとき、照明光を透過型スクリーンを全面に照射するようにすると、透過型スクリーンのどの位置に被写体が置かれてもその画像位置を取得することができる。
また、照明光を透過型スクリーンの一部に照射するようにすると、例えば、被写体が、指や指し棒などの情報入力を行う手段であって、情報入力位置が所定の領域に限定される場合、所定領域のみを照明することにより、所定領域外の画像を誤検出してしまうことを防止できる。
また、変調光は、照明を行うタイミングと、照明を行わないタイミングとを時分割して交互に異なる変調を行うようにしてもよい。例えば、照明を行わないタイミングでは、スクリーン表示画像を変調し、照明を行うタイミングでは、所定領域内を高輝度に照射する、例えば白画像を変調してもよい。このタイミングの切替は、目視あるいは撮像において、ちらつき、フリッカが生じないような周期で行うようにすることが好ましい。

請求項９に記載の発明では、請求項８に記載の撮影表示装置において、前記画像変調手段により形成される前記照明光が、前記撮像手段により撮像が行われるタイミングと連動して形成されるようにした構成とする。
この発明によれば、画像変調手段により形成される照明光が、撮像が行われるタイミングと連動して形成されるので、撮像に必要なタイミングのみで照明を行うことができるので照明の効率が向上する。

請求項１０に記載の発明では、請求項１に記載の撮影表示装置において、前記透過型スクリーン上もしくは前記透過型スクリーンの近傍に配置される被写体に照明光を照射することができる照明光源を備え、該照明光源により照射された照明光の反射光により前記スクリーン裏面光が形成できるように前記照明光源を設けた構成とする。
この発明によれば、透過型スクリーン上に被写体が置かれたときに、その被写体に照明光源から照明光を照射して、その反射光をスクリーン裏面光として撮像することができる。そのため、透過型スクリーン上の被写体を良好に撮像することができる。

請求項１１に記載の発明では、請求項１０に記載の撮影表示装置において、前記照明光源により形成された照明光が、前記撮像手段により撮像が行われるタイミングと連動して形成されるようにした構成とする。
この発明によれば、照明光源により形成される照明光が、像が行われるタイミングと連動して形成されるので、撮像に必要なタイミングのみで照明を行うことができるので照明の効率が向上する。

請求項１２に記載の発明では、請求項１０に記載の撮影表示装置において、前記照明光源が、赤外光を照明光として照射する構成とする。
この発明によれば、照明光が赤外光なので、照明されても観察されるスクリーン表示画像に影響しないので、良好な表示を行いつつスクリーン裏面光画像を撮像することができる。

請求項１３に記載の発明では、請求項１０に記載の撮影表示装置において、前記導光手段が、前記画像変調手段により投影された前記変調光を、対向する平行反射面の間で内部反射させて導光する平行平板状の第１導光部と、対向する２平面が一端から他端に向けて対向する面間隔を狭めるテーパ状部材からなり、前記第１導光部により導光された前記変調光が前記テーパ部材の一端側から入射して、前記対向する２平面のうち、一方において内部反射され、他方において入射角に応じて内部反射または透過されることにより、前記対向する２平面の他方から、前記変調光の画像を投影できるようにした第２導光部とを備え、前記照明光源が、前記照明光を、前記変調光による画像に重ね合わせるための重ね合わせ画像情報に応じて画像を変調した照明光として照射する照明光変調手段を備え、前記照明光源が、前記導光手段の前記第２導光部を挟んで前記透過型スクリーンに対向して配置され、前記照明光が、前記第２導光部の前記対向する２平面の一方から入射して、前記対向する２平面の他方から前記透過型スクリーンに向けて出射される構成とする。
この発明によれば、請求項４に記載の発明と同じ導光手段を有する構成となっているので、請求項４に記載の発明と同様の作用効果を備える。
さらに、照明光源が、第２導光部を挟んで透過型スクリーンに対向して配置されるから、第２導光部の対向する２平面の一方に浅い入射角で入射するため、照明光が第２導光部を透過して、透過型スクリーンに向けて出射される。そのため、照明光の光路が簡素となり、効率の高い照明を行うことができる。
照明光源は、適宜の構成を採用することができるが、導光手段、画像変調手段と同様の構成からなる、第２の導光手段、第２の画像変調手段を組み合わせた構成としてもよい。このような構成にすれば、照明光源を薄型のコンパクトな構成とすることができる。
また、それらに加えて、第２の導光手段からの出射光を集光して略平行光とするプリズムシートなどの光学部材を組み合わせた構成としてもよい。

請求項１４に記載の発明では、請求項１に記載の撮影表示装置において、前記透過型スクリーンが、入射光を略一定方向に集光して視野角を広げるために拡散させて出射するプリズムシートである構成とする。
この発明によれば、プリズムシートにより透過型スクリーンを構成するので、光利用効率の高い透過型スクリーンとすることができる。
プリズムシートとしては、例えば、変調光の入射面側に同心円状に配置されたマイクロプリズムアレイが設けられ、出射面側に視野角を広げるための光拡散部が形成された構成を採用することができる。ただし、入射光を略一定方向に集光して視野角を広げるために拡散させて出射できる構成であれば、このような構成には限定されない。例えばリアプロジェクタ装置などに用いられる適宜のプリズムシートを採用することができる。

請求項１５に記載の発明では、請求項１に記載の撮影表示装置において、前記キャリブレーションデータを求めるために前記透過型スクリーンに表示するテストパターン画像を記憶するパターン記憶手段を備え、前記画像変調手段が、前記パターン記憶手段に記憶されたテストパターン画像を前記画像情報として入力可能に構成され、前記画像変調手段が、前記テストパターン画像を投影し、前記導光手段により前記透過型スクリーンに出射して、前記透過型スクリーンに表示される画像を形成するとともに、前記撮像手段が、前記透過型スクリーンからの戻り光を前記スクリーン裏面光として撮像して、前記スクリーン裏面光による画像を形成し、前記演算関数生成手段が、これらの前記透過型スクリーンに表示される画像および前記スクリーン裏面光による画像を用いて、前記キャリブレーションデータを求めるようにした構成とする。
この発明によれば、パターン記憶手段に記憶されたテストパターン画像を画像情報として、画像変調手段により画像を変調し、その変調光を導光手段に導光させて、透過型スクリーンに投影し、そのときの透過型スクリーンからの戻り光をスクリーン裏面光として撮像手段により撮像し、演算関数生成手段によりそのスクリーン裏面光画像を用いてキャリブレーションデータを求めることができる。そのため、例えば、キャリブレーションを行うためのテストパターン画像が印刷されたテストチャートなどをセットしてキャリブレーション動作を行わなくてもよいので、キャリブレーションデータを求めることが容易となる。また、テストチャートの配置誤差や、経時劣化などによるキャリブレーション精度の悪化などを防止することができる。

請求項１６に記載の発明では、請求項１に記載の撮影表示装置のキャリブレーションデータ算出方法であって、前記画像情報として、前記撮像手段が撮像する前記透過型スクリーン上の領域を検出するためのテストパターン画像を入力し、該テストパターン画像を前記画像変調手段で変調して前記透過型スクリーンに表示する第１のステップと、前記第１のステップで変調され、前記透過型スクリーンに表示されたテストパターン画像の戻り光を、前記スクリーン裏面光として前記撮像手段により撮像する第２のステップと、前記演算関数生成手段により、前記第２のステップで撮像したテストパターン画像の戻り光による画像の画像位置情報から、前記撮像手段が撮像する前記透過型スクリーンの領域を求め、前記第１のステップで入力したテストパターン画像の領域情報と比較演算することにより前記キャリブレーションデータを求める第３のステップとを備える方法とする。
この発明によれば、第１のステップで、テストパターン画像を変調し、その画像を透過型スクリーンに表示する。そして、第２のステップで、透過型スクリーンに表示されたテストパターン画像の戻り光をスクリーン裏面光として撮像手段により撮像する。そして、第３のステップで、テストパターン画像に対応するスクリーン裏面光画像の画像位置情報から、スクリーン裏面光画像上における透過型スクリーンの領域を求め、テストパターン画像の領域情報と比較演算することにより、テストパターン画像のスクリーン裏面光画像上における位置、形状、倍率などの情報を求めることができる。そして、それらの情報をもとに、キャリブレーションデータを求める。そのため、キャリブレーションデータを、テストパターン画像の領域を、移動、変形する変換データとして求めることができる。
ここで、テストパターンの画像の領域は、単数でも複数でもよい。

本発明の撮影表示装置によれば、透過型スクリーンに表示するスクリーン表示画像と、スクリーンまたはスクリーン近傍の情報を含むスクリーン裏面光画像との位置関係や倍率などが異なっていても、キャリブレーションデータを求めることにより、スクリーン表示画像に対するスクリーン裏面光画像の相対的な位置関係を対応させることができるので、スクリーン表示画像によって情報入力が容易な入力画面を形成して正確な情報入力を行うことができるという効果を奏する。
また、本発明のキャリブレーションデータ算出方法によれば、テストパターン画像の戻り光によるスクリーン裏面光画像を撮像して、その位置、形状、倍率などの情報を求め、キャリブレーションデータをテストパターン画像の領域を移動、変形する変換データとして求めるので、演算が簡素となるとともに、テストチャートなどをセットするといった手間を省くことができ、またテストチャートの配置誤差や経時劣化などの影響を受けることがなく正確なキャリブレーションデータの算出を行うことができるという効果を奏する。

以下では、本発明の実施の形態について添付図面を参照して説明する。すべての図面において、実施形態が異なる場合であっても、同一または相当する部材には同一の符号を付し、共通する説明は省略する。

［第１の実施形態］
本発明の第１の実施形態に係る撮像表示装置について説明する。
図１は、本発明の第１の実施形態に係る撮像表示装置の概略構成について説明するための機能ブロック図である。図２は、本発明の第１の実施形態に係る撮像表示装置の概略構成について説明するための模式的な側面説明図である。図３は、本発明の第１の実施形態に係る撮像表示装置の概略構成について説明するために模式的な正面説明図である。図４は、本発明の第１の実施形態に係る撮像表示装置の画像処理手段の概略構成について説明するための機能ブロック図である。図５（ａ）、（ｂ）、（ｃ）は、本発明の第１の実施形態に係る撮像表示装置に用いるテストパターン画像の例について説明するための模式図である。

本実施形態の撮像表示装置１００は、図１に示すように、画像データ２００（画像情報）を入力して、表示光１０（変調光）を透過型スクリーンに表示するとともに、透過型スクリーンから表示光１０と逆方向に出射される裏面透過光１２（スクリーン裏面光）を撮像し、表示光１０が透過型スクリーン上に形成するスクリーン表示画像と、裏面透過光１２を撮像した画像（スクリーン裏面光画像）との間の画素位置を対応させるキャリブレーションを可能としたものである。
それにより、スクリーン表示画像として、観察、鑑賞する画像の他に、例えばボタンやキーボードなどの情報入力部の画像を形成し、それらの情報入力部の表示位置に、例えば指し棒や指などで触れるなどして情報入力を行う光学的なタッチパネルのユーザインターフェースを備えるものである。

撮像表示装置１００の概略構成は、画像変調手段２、投影レンズ３、導光手段４、スクリーン５（透過型スクリーン）、撮像手段７、および画像処理手段１からなる。

画像変調手段２は、画像処理手段１に入力された画像データ２００に応じた画像信号２０１により変調された画像を表示し、表示光１０として投影レンズ３に向けて投射するもので、略矩形状の表示面に光のＯＮ／ＯＦＦ制御が可能な画素を格子状に配列した構成を採用することができる。画素数は、所望の解像度に応じて適宜数とすることができる。本実施形態では、例えば１０７８×７６８とした例で説明する。
画像変調手段２の具体的な構成は、特に図示しないが、本実施形態では、液晶ディスプレイ（以下、ＬＣＤと称する）と、ＬＣＤを背後から照明するバックライトの組合せを採用している。ただし、画像変調手段２の構成は、これに限定されるものではなく、例えば、光をマイクロミラーデバイスにより変調する反射型の変調デバイスなどを採用してもよい。

投影レンズ３は、表示光１０を拡大投影して、導光手段４に入射させるための光学素子であり、適宜倍率の投影光学系を採用することができる。レンズの種類、構成は、特に限定されず、適宜のレンズまたはレンズ群を採用することができる。

導光手段４は、投影レンズ３から出射された表示光１０をスクリーン５に導光する導光路と、スクリーン５から出射される裏面透過光１２を撮像レンズ７に入射させる導光路とを備える。それぞれの導光路は、全部または一部が共通であってもよいし、それぞれ異なる導光路であってもよい。
導光路の光路長は、投影レンズ３の焦点距離や、撮像手段７の撮像距離などに応じてそれぞれ必要な長さとする。
導光手段４は、導光路を形成する導光部材のみで形成してもよいが、画像歪みや倍率を補正するための光学素子を備えることが好ましい。

本実施形態の導光手段４の具体的な構成について、図２、３を参照して説明する。ただし、図３は、見易さのため一部の構成を省略している。
導光手段４は、第１導光部４Ａ、シリンドリカルレンズ４Ｃ、および第２導光部４Ｂからなる。
第１導光部４Ａは、屈折率が１より大きい媒質で満たされた光透過性の平行平板からなり、略矩形状の平行面が対向し媒質内を進む光を対向面間で内部反射する内部反射面４ｂ、４ｃを形成している。そして、平行平面の側面のうち投影レンズ３に対向して配置された入射面４ａ（第１の端部）に入射された表示光１０を内部反射面４ｂ、４ｃ間で同一入射角の内部反射を繰り返して入射面４ａに対向する側面である中間出射面４ｆに導光できるようになっている。他の側面である側面４ｄ、４ｅの対向間隔は、表示光１０が対向方向に反射しないように十分離されている。
内部反射面４ｂ、４ｃは、表示光１０が臨界角以上で入射するように画像変調手段２、投影レンズ３を配置することで、全反射させるようにしてもよいし、反射膜コーティングを施して内部反射するようにしてもよい。

本実施形態では、画像変調手段２、投影レンズ３は、投影レンズ３から出射された表示光１０が入射面４ａを通して内部反射面４ｃ上に投影される位置関係に配置されている。

シリンドリカルレンズ４Ｃは、図２のＡ視方向に沿って同一断面を有し、中間出射面４ｆから出射された表示光１０を図２のＡ視で光軸と直交する左右幅方向のみに集光して、略平行光とするためのパワーを備えた光学素子である。

第２導光部４Ｂは、屈折率が１より大きい媒質で満たされた光透過性の断面がテーパ状部材からなる。すなわち、図２のＡ視方向で略矩形状のテーパ面４ｈ（対向する２平面の一方）と出射面４ｉ（対向する２平面の他方）とが、シリンドリカルレンズ４Ｃに対向する側面である中間入射面４ｇから表示光１０の伝播方向（図示上方向）に沿って対向間隔が減少するように対向して形成されている。本実施形態では、出射面４ｉは、内部反射面４ｃと平行に配置されている。
また、中間入射面４ｇに直交する側面である側面４ｊ、４ｋは、それぞれ第１導光部４Ａの側面４ｄ、４ｅと略整列されている。

出射面４ｉは、第２導光部４Ｂの内部を伝播する表示光１０のうち、入射角に応じて内部反射または透過させる面とされている。例えば、コーティングを施さずに、臨界角以上の入射光を全反射し、臨界角より小さい入射光を透過させる構成とすることができる。ただし、必要に応じて、適宜のコーティングを施してもよい。例えば、表示光１０の出射位置による透過率の変化を補正するようなコーティングを施して、出射される表示光１０の出射位置による輝度ムラを補正してもよい。

スクリーン５は、透過型スクリーンであれば、特に限定されないが、本実施形態では、導光手段４から出射される表示光１０を入射位置に応じて屈折させ、略平行光として出射するために、同心円状に配置されたマイクロプリズム群と、略平行光にされた表示光１０による画像が所定の視野角内で観察できるように拡散させる光拡散部を設けたプリズムシートを採用している。この場合、表示光１０によるスクリーン表示画像の表示面は光拡散部の配置面となっている。
光拡散部は、光拡散部材が内部に分散された層状に形成してもよいし、スクリーン５の表面に微細な凹凸を設けて形成してもよい。
スクリーン５は、出射面４ｉに近接して、出射面４ｉ全体を覆うように設けられており、表示光１０を全面的に表示できるようになっている。
このようなプリズムシートとしては、このような構成の他にも、例えば、リアプロジェクション型プロジェクタなどに用いられている周知のプリズムシートを好適に採用することができる。

スクリーン５から出射される裏面透過光１２（スクリーン裏面光）は種々の仕方で発生する。
例えば、スクリーン５上に被写体６が配置されていると、スクリーン５から出射される表示光１０が被写体６に反射して被写体反射光１１として、スクリーン５に戻り、反対方向に透過して裏面透過光１２が形成される。
この場合、被写体６は、図示のようにスクリーン５から離間し、スクリーン５の近傍に配置されていてもよいし、スクリーン５上に当接して配置されていてもよい。また、被写体６は、図示のような板状の部材とは限らず、立体的な構造を有していてもよい。
特に、被写体６として反射板を採用し、スクリーン５上に当接して配置すれば、裏面透過光１２を撮像することにより、スクリーン表示画像と同じ画像が撮像される。
また、被写体６が配置されていない場合でも、スクリーン５の各透過面を透過できない光が被写体６が配置されている場合と比較して微小であるが戻り光となることで裏面透過光１２が形成される。
さらに、スクリーン５が被写体６により覆われていない場合、スクリーン５に入射する外部光も、裏面透過光１２を形成する。

出射面４ｉは、透過型スクリーンへの変調光の出射部と透過型スクリーンを透過したスクリーン裏面光の入射部とを兼ねる第２の端部を構成している。

撮像手段７は、裏面透過光１２による画像を撮像するためのものであり、撮像レンズ８（撮像光学手段）と撮像素子９とを備える。本実施形態では、内部反射面４ｂで内部反射されて入射面４ａから出射される裏面透過光１２を撮像できるように、画像変調手段２、投影レンズ３に図２のＡ視方向に略対向する位置に配置している。すなわち、図３に図示するとすれば、画像変調手段２、投影レンズ３と略重なり合う範囲に配置されている。
このように配置することにより、画像変調手段２、投影レンズ３と、撮像手段７とを、Ａ視方向から見た光軸の位置を合わせつつ、図１の左右方向に位置をずらして配置することができる。そのため、例えば、それぞれを図１の奥行き方向に内部反射面４ｂまたは内部反射面４ｃの一方に向けて配置する場合に比べて、それぞれの配置が容易となり、それぞれの投影領域、撮像領域の範囲を図１の奥行き方向に合わせやすくなるという利点がある。

撮像レンズ８は、裏面透過光１２を撮像素子９の撮像面に結像する適宜倍率の撮像光学系を採用することができる。
撮像レンズ８は、本実施形態では、スクリーン５の表示面と撮像素子９の撮像面とが共役な関係となるように設けられている。これにより、スクリーン５の表示面の近傍が被写界深度内となり、スクリーン５上またはその近傍に配置された被写体６を良好に撮像できるようになっている。
ただし、被写体６の配置位置によっては、スクリーン５の表示面から離れた位置にピント調節されていてもよいし、ピント位置を調整可能に設けられていてもよい。例えば、スクリーン５は、光拡散部の摩耗や汚れを防ぐため、光拡散部の表面側に、保護板や保護層が設けられる場合がある。この場合、スクリーン５の外面が表示面とずれるので、スクリーン５の外面に密着された被写体６にピントを合わせておくと、被写体６を鮮明に撮像することができる。

撮像素子９は、撮像レンズ８により結像された裏面透過光１２による画像を撮像し、画像信号２０２として、画像処理手段１に送出するものである。例えば、ＣＣＤやＣＭＯＳ撮像素子などの適宜の撮像素子を採用することができる。
撮像素子９の画素構成は、画像変調手段２の画素構成と異なっていてもよいが、本実施形態では、同一の画素構成を備える。

画像処理手段１は、撮像表示装置１００の画像に関係する信号処理や演算処理の全般を行うもので、少なくとも、入力された画像データ２００を画像変調手段２に入力する変調信号である画像信号２０１を生成する信号処理、裏面透過光１２を撮像手段７により撮像した画像の画像信号２０２からその画像の画像位置を算出する演算処理、および裏面透過光１２がテストパターン画像であるときスクリーン裏面光画像とスクリーン表示画像との間の画素位置を対応させるキャリブレーションデータを生成する演算処理が可能とされている。
そして、これらの画像演算処理の結果、必要に応じて不図示の外部機器、例えばモニタやパソコンなどに向けて適宜の制御信号２０９を送出できるようになっている。

画像処理手段１の具体的な構成は、特に図示しないが、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース、外部記憶部などを備えたコンピュータを用いた構成や、適宜のハードウェアなどからなる構成を採用することができる。コンピュータを用いる場合、それぞれの信号処理、演算処理は対応する処理が記述されたプログラムを実行することにより実現される。

次に、画像処理手段１の主要部の機能ブロックの構成について、図４を参照して説明する。
画像処理手段１は、表示画像生成手段１１０、画像記憶手段１１８、モード選択手段１１６、制御手段１１５（演算関数生成手段）、演算関数記憶手段１１４（キャリブレーションデータを記憶する記憶手段）、ポインタ画像認識手段１１１、位置演算手段１１２、ポインタ指定ボタン決定手段１１３、およびパターン記憶手段１１７を備える。

表示画像生成手段１１０は、画像データに基づいて、スクリーン表示画像を形成する画像信号２０１を生成して、画像変調手段２に送出するものである。また、画像信号２０１に、情報入力に用いるための画像、例えばボタンやキーボードのキーなどの情報入力部の画像が含まれる場合、それらの入力領域の情報からなる表示画像領域情報２０６を生成し、ポインタ指定ボタン決定手段１１３に送出するものである。
画像データとしては、外部から入力された画像データ２００と、後述する制御手段１１５で生成された付加画像データ２０８とを用いることができる。

画像記憶手段１１８は、画像信号２０２を一時記憶する手段であり、ＲＡＭや外部記憶部などにより構成される。

モード選択手段１１６は、撮像表示装置１００が、スクリーン表示画像とスクリーン裏面光画像との間の画素位置のキャリブレーションを行うキャリブレーションモードであるか、通常の撮像、表示を行う通常動作モードであるかに応じて、撮像素子９から送出された画像信号２０２の処理を選択するものである。キャリブレーションモードであるか通常動作モードであるかは、不図示の操作入力部などから入力設定されるモード選択信号２１１に基づいて判定する。
キャリブレーションモードに設定された場合、画像信号２０２は制御手段１１５の演算関数生成部１１５Ａに送出される。
通常動作モードに設定された場合、画像信号２０２はポインタ画像認識手段１１１に送出される。

制御手段１１５は、演算関数生成部１１５Ａと処理部１１５Ｂとを備える。
演算関数生成部１１５Ａは、パターン記憶手段１１７に記憶されたテストパターン画像データ２１２と、キャリブレーションモードで撮像されたスクリーン裏面光画像による画像信号２０２とから、キャリブレーションを行うためのキャリブレーションデータ２０３を形成し、演算関数記憶手段１１４に送出するものである。
処理部１１５Ｂは、通常動作モードで撮像されたスクリーン裏面光画像から被写体６の画像位置を算出した入力情報２０７に基づき、必要に応じてスクリーン表示画像を変更するための付加画像データ２０８を生成したり、不図示の外部機器に向けて制御信号２０９を送出したりするものである。
付加画像データ２０８は、例えば、被写体６の画像位置に出力するカーソルの画像データや、撮像された被写体６の像そのものなどを採用することができる。後者の場合、被写体６が、指し棒や指示ペンのペン先などの場合、それを連続して動かすことにより、それらの移動軌跡の画像を表示可能とするための画像データとなっている。
また、例えば、情報入力部がキーボードを模擬したキーボード画像であって、被写体６が、文字「Ｚ」のキーに触れている場合、文字「Ｚ」に対応する入力信号を制御信号２０９として送出できるようにする。そして、付加画像データ２０８としては、画面のいずれかに文字「Ｚ」を表示したり、キー入力が行われたことを表すメッセージを表示したり、例えば画像反転やブリンクなどの画像効果を発生したり、文字「Ｚ」のキートップの色を変えたりするなどの画像データを必要に応じて送出してもよい。

演算関数記憶手段１１４は、演算関数生成部１１５Ａから送出されたキャリブレーションデータ２０３を記憶するもので、ＲＯＭまたは外部記憶部により構成される。

ポインタ画像認識手段１１１は、画像信号２０２から、被写体６の画像を抽出して、スクリーン裏面光画像上での画像位置を算出し、ポインタ撮像位置情報２０４として位置演算手段１１２に送出するものである。
例えば、情報入力を行う被写体６の特徴が決まっている場合に、画像信号２０２を画像処理して、被写体６の特徴抽出を行ったり、特に特徴が決まっていない場合には、その重心を求めたりするなどして、ポインタ撮像位置情報２０４を算出することができる。
例えば、スクリーン表示画像が線状の画像であり、被写体６が操作者の指である場合、細線除去処理を行ったり、一定の大きさ以上のエリアのエッジ抽出を行ったりすることで、被写体６の画像のみを取得できる。またスクリーン表示画像の戻り光が低輝度であり、被写体６の輝度が高輝度である場合、輝度に閾値を設けて２値化することで被写体６の画像のみを取得することができる。

位置演算手段１１２は、演算関数記憶手段１１４に記憶されたキャリブレーションデータ２０３を参照してポインタ撮像位置情報２０４をスクリーン表示画像上の位置情報に変換し、ポインタ表示位置情報２０５としてポインタ指定ボタン決定手段１１３に送出するものである。

ポインタ指定ボタン決定手段１１３は、表示画像領域情報２０６とポインタ表示位置情報２０５とを参照して、被写体６がスクリーン表示画像に表示された情報入力部のいずれを操作したものであるかを決定し、制御手段１１５に入力情報２０７として送出するものである。
スクリーン表示画像に情報入力部が含まれない場合には、ポインタ表示位置情報２０５をそのまま入力情報２０７として送出する。

パターン記憶手段１１７は、キャリブレーションモードにおいて、キャリブレーションデータを求めるためのテストパターン画像を表示するテストパターン画像データ２１２を記憶し、表示画像生成手段１１０およびテストパターン画像データ２１２に送出するものである。
テストパターン画像データ２１２としては、例えば図５（ａ）、（ｂ）、（ｃ）に示すようなテストパターン１６、１８、１９を採用することができる。いずれの画像も、白ベタ画像の中の所定位置に所定サイズの黒レベルのドット１７ａ、１７ｂ、１７ｃを形成したパターンとしている。枠線は、画像の範囲を示す。
テストパターン１６は、ドット１７ａが、図示左上の角部（点Ｑ）近傍の所定位置に配置されている。テストパターン１８は、ドット１７ｂが、図示右上の角部近傍の所定位置に配置されている。テストパターン１９は、ドット１７ｃが、図示左下の角部（点Ｐ）近傍の所定位置に配置されている。
これらのテストパターン画像により、スクリーン５上で種々位置にドットの画像を表示することができる。そのため、その戻り光を撮像し、スクリーン裏面光画像上の位置を算出することにより、スクリーン表示画像とスクリーン裏面光画像との画素位置のキャリブレーションを行うことができる。

なお、これらのテストパターン画像は一例であって、例えば、演算関数生成部１１５Ａが複数のドットを別個に位置検出する画像処理を行うようにすれば、複数のドットを含むテストパターン画像としてもよい。例えば、ドット１７ａ、１７ｂ、１７ｃの３ドットを備えたり、例えば、ドット１７ｄを加えて４ドットとしたり、それ以上のドットを備えてもよい。また、画像はドットとは限らず、線や他の記号などを組み合わせた画像としてもよい。
また、これらのテストパターン画像は、テストチャートとして、スクリーン５上に配置する被写体６として作成して用いてもよい。その場合、テストパターン画像データ２１２は、スクリーン５に投影する必要はないが、テストチャートに印字されたドット１７ａなどの位置データを演算関数生成部１１５Ａに受け渡すのみでよい。

次に、撮像表示装置１００の動作についてキャリブレーションデータ算出方法に関する動作を中心に説明する。
図６は、本発明の第１の実施形態に係る撮像表示装置のキャリブレーションデータ算出方法の工程フローについて概念的に説明するためのフローチャートである。図７は、本発明の第１の実施形態に係る撮像表示装置のキャリブレーションデータ算出方法の工程フローについて詳細に説明するためのフローチャートである。図８（ａ）、（ｂ）は、被写体に対するそれぞれスクリーン表示画像とスクリーン裏面光画像との一例について示す模式図である。

本実施形態に係る撮像表示装置のキャリブレーションデータ算出方法は、テストパターン画像が形成されたテストチャートなどを被写体として撮像して行う方法と、テストパターン画像をスクリーン５に投影してその戻り光をスクリーン裏面光画像として撮像して行う方法とがあるが、後者の動作が理解されれば前者の理解は容易であるため、以下では、後者の例で説明する。
本実施形態のキャリブレーションデータ算出方法の概念的な工程フローを図６に示した。
ステップＳ１（第１のステップ）では、テストパターン画像を画像変調手段で変調して透過型スクリーンに表示する。
ステップＳ２（第２のステップ）では、テストパターン画像の透過型スクリーンからの戻り光を撮像手段により撮像する。
ステップＳ３（第３のステップ）では、ステップＳ２で撮像したスクリーン裏面光画像の画像位置情報から、撮像手段が撮像する透過型スクリーンの領域を求め、ステップＳ１で入力したテストパターン画像の領域情報と比較演算することによりキャリブレーションデータを求める。
以上は、概念的な工程フローであり、具体的には、例えば、図７に詳細に示したようなフローにしたがって、上記第１〜第３のステップが実行される。以下、図７を参照して、撮像表示装置１００における動作の一例について説明する。

ステップＳ３０は、図６のステップＳ１、Ｓ２を順次行う工程である。
ステップＳ１に相当する工程では、パターン記憶手段１１７により、例えば、テストパターン１６をテストパターン画像データ２１２として、表示画像生成手段１１０および演算関数生成部１１５Ａに送出する。表示画像生成手段１１０は、テストパターン画像データ２１２を画像信号２０１に変換して、画像変調手段２に送出する。
また、画像処理手段１のモード選択手段１１６には、モード選択信号２１１により、キャリブレーションモードが選択されていることが通知される。

画像変調手段２では、画像変調手段２を画像信号２０１に応じてＯＮ／ＯＦＦ制御して、テストパターン１６の画像を表示光１０として投影レンズ３に向けて投影する。
表示光１０は、投影レンズ３により集光され、入射面４ａから第１導光部４Ａに入射される。そして、内部反射面４ｃ上に画像変調手段２上のテストパターン１６の画像が投影される。例えば、図５（ａ）の点Ｐ、Ｑが、図２の点Ｐ_０、Ｑ_０に投影される。表示光１０の内部反射面４ｃに対する入射角をそれぞれθ_Ｐ０、θ_Ｑ０と表すと、θ_Ｐ０＜θ_Ｑ０となっている。
そして、それぞれ出射角θ_Ｐ０、θ_Ｑ０で反射され、内部反射面４ｂに入射して再反射される。表示光１０は、これらを繰り返して第１導光部４Ａ内を導光され、中間出射面４ｆからシリンドリカルレンズ４Ｃに向けて出射される。

このとき、内部反射面４ｂ、４ｃは平行なので、第１導光部４Ａの厚さ方向の各光線の入出射角は保存される。そのため、表示光１０は、投影レンズ３のパワーに応じて、第１導光部４Ａを伝播するにつれて拡大投影されていく。
そして、シリンドリカルレンズ４Ｃを透過することにより、図３に示すように、幅方向（図３の左右方向）に集光され、光軸に沿う方向には略平行光とされる。
一方、テストパターン１６の上下方向（線分ＰＱが延びる方向）に相当する方向では、シリンドリカルレンズ４Ｃはパワーを有しないので、光束は発散を続ける。そして、第２導光部４Ｂに中間入射面４ｇから入射する。

第２導光部４Ｂでは、図２に示すように、表示光１０は、テーパ面４ｈと出射面４ｉとの間で反射を繰り返して伝播する。ただし、テーパ面４ｈが出射面４ｉ側に傾斜して、伝播方向に沿って面間距離が減少するように傾いているので、テーパ面４ｈで反射されるたびに、表示光１０の発散角が狭まる方向に光路が屈曲されていく。そのため、出射面４ｉへの入射角が伝播方向に沿って減少していき、臨界角より小さい入射角となる位置で出射面４ｉから出射される。
例えば、点Ｐ_０から入射された光線は、点Ｑ_０から入射した光線に比べて少ない反射回数で出射面４ｉから出射される。そのため、テストパターン１６の点Ｐから点Ｑまでの画像は、出射面４ｉ上で、点Ｐ_１から点Ｑ_１までの範囲に拡大された状態で出射され、スクリーン５に入射される。

スクリーン５に入射した表示光１０は、マイクロプリズム群により、入射位置、入射角に応じて、略平行光として屈折される。そして、光拡散部により、所定範囲の立体角の範囲に拡散された状態で、スクリーン５から出射される。そのため、スクリーン５上にテストパターン１６の画像がスクリーン表示画像として表示される。
すなわち、観察者が、図２のＡ方向を中心とした所定の視野角の範囲内で観察すると、スクリーン５の光拡散部（表示面）上の点Ｐ_２から点Ｑ_２の範囲に拡大されたテストパターン１６の画像を観察することができる。

テストパターン１６の表示光１０は、スクリーン５上またはその近傍に被写体６があれば、被写体６で反射されて被写体反射光１１として、スクリーン５に再入射する。例えば、被写体６として白色板やミラーを配置すれば、被写体反射光１１として、テストパターン１６の画像を反射し、投影された光路を逆進させることができる。
被写体６がない場合でも、スクリーン５を透過しなかった表示光１０の成分が戻り光として第２導光部４Ｂ側に反射される。
いずれの場合でも、テストパターン１６の画像が裏面透過光１２として、導光手段４に再入射し、上記の逆の光路をたどって、第２導光部４Ｂ、シリンドリカルレンズ４Ｃ、第１導光部４Ａ内で導光されていく。

次に、ステップＳ２に相当する工程では、入射面４ａの近傍の内部反射面４ｂから反射された裏面透過光１２を、撮像手段７により撮像する。すなわち、裏面透過光１２が撮像レンズ８に入射して、撮像素子９の撮像面上に結像され、スクリーン５上のテストパターン１６の画像が撮像され、画像信号２０２として、画像処理手段１に送出される。
画像処理手段１では、画像信号２０２をテストパターン１６の種類の情報などとともに画像記憶手段１１８に記憶する。

以下のステップＳ３１〜Ｓ３５は、図６のステップＳ３に相当する工程である。
ステップＳ３１では、テストパターン１６に含まれるドット１７ａの画像位置を算出する。そのため、パターン記憶手段１１７からテストパターン１６のテストパターン画像データ２１２を演算関数生成部１１５Ａに呼び出し、演算関数生成部１１５Ａにおいて、適宜の画像認識手法によりドット１７ａの画像位置を求める。例えば、重心検出を行う画像演算処理を行ってドット１７ａの画像位置の代表値として中心座標を求める。
例えば、図８（ａ）に示すように、テストパターン１６が、Ｍ×Ｎの画像データにより表される場合、図５（ａ）の点Ｑを原点とするＸＹ座標系を設定して、ドット１７ａの中心座標を（Ｘ_１，Ｙ_１）のように求めることができる。

ステップＳ３２では、スクリーン裏面光画像におけるテストパターンのドットの画像位置情報を検出し、ステップＳ３１で求めたテストパターン画像上の画像位置と比較演算して関係情報を取得する。
すなわち、ステップＳ３１が終了すると、モード選択手段１１６により、画像記憶手段１１８に記憶された画像信号２０２が、演算関数生成部１１５Ａに送出される。
このとき、スクリーン裏面光画像は、撮像手段７の設置位置や撮像レンズ８の倍率などによりスクリーン表示画像とは異なった画像として撮像されている。例えば、図８（ｂ）に示すように、撮像素子９の画素がｍ×ｎであるとして、図示左上を原点とするｘｙ座標系を設定したときに、撮像素子９の有効画像域内の一部において撮像される。このため、テストパターン１６の点Ｑに対応する点Ｑ_２は、撮像素子９上の原点ｏから（Δｘ，Δｙ）だけオフセットしているものである。
このような画像から、ステップＳ３１と同様の画像認識手法により、ドット１７ａの中心位置座標を求めると、例えば、（ｘ_１，ｙ_１）となる。すなわち、（Ｘ_１，Ｙ_１）が、スクリーン裏面光画像の（ｘ_１，ｙ_１）に対応するという関係情報が得られる。

ステップＳ３３では、テストパターン画像の撮像がすべて終了したがどうか判定する。本実施形態では、他にテストパターン１８、１９を用いるので、上記のテストパターン１６、ドット１７ａを、テストパターン１８、１９およびドット１７ｂ、１７ｃに代えて上記のステップＳ３０〜Ｓ３２を繰り返す。
そして、図８（ａ）、（ｂ）に示すように、ドット１７ｂ、１７ｃの画像比較により、（Ｘ_２，Ｙ_１）が（ｘ_２，ｙ_１）に対応し、（Ｘ_１，Ｙ_２）が（ｘ_１、ｙ_２）に対応するという関係情報が得られる。

ステップＳ３４では、上記の関係情報から、演算関数生成部１１５Ａによりキャリブレーションデータを算出する。
キャリブレーションデータは、例えば、（ｘ，ｙ）に対して（Ｘ，Ｙ）を一対一に対応させる表データとして与えることもできるが、そのような表データと等価な演算関数ｆを求め、演算関数ｆを特徴づけるパラメータとして求めることが好ましい。つまり、
（Ｘ，Ｙ）＝ｆ（ｘ，ｙ） ・・・（１）
のようなｆを求めればよい。
例えば、ｆを線形多項式で表すと、
Ｘ＝ｆ_１１・ｘ＋ｆ_１２・ｙ＋Ｘ_０ ・・・（２）
Ｙ＝ｆ_２１・ｘ＋ｆ_２２・ｙ＋Ｙ_０ ・・・（３）
この場合、演算関数ｆは、ｆ_１１、ｆ_１２、ｆ_２１、ｆ_２２、Ｘ_０、Ｙ_０の６つのパラメータにより特徴づけられる。
これらのパラメータは、上記のように互いに独立な３点の座標間の関係情報を、式（２）、（３）に代入して得られる６元連立方程式を解くことにより、決定することができる。
式（２）、（３）の演算関数ｆは、２次元平面での線形変換を行うものである。そのため、画像の２軸方向の一様な伸縮、回転移動、オフセット移動を組み合わせた変形、移動に対して厳密なキャリブレーションをとることができる。

例えば、図８（ａ）、（ｂ）の例で、Ｍ＝ｍ＝１０７８，Ｎ＝ｎ＝７６８，Δｘ＝６０，Δｙ＝５０とし、ドット１７ａ、１７ｂ、１７ｃの座標データが、
（Ｘ_１，Ｙ_１）＝（１１２，８４）
（Ｘ_２，Ｙ_１）＝（９１２，８４）
（Ｘ_１，Ｙ_２）＝（９１２，６８４）
（ｘ_１，ｙ_１）＝（１１６，１０６）
（ｘ_２，ｙ_１）＝（５１６，１０６）
（ｘ_１，ｙ_２）＝（５１６，１０６）
である場合、式（２）、（３）に代入して得られる６元連立方程式から、キャリブレーションデータとして、下記のような解が得られる。
（ｆ_１１，ｆ_１２，ｆ_２１，ｆ_２２，Ｘ_０，Ｙ_０）
＝（２，０，２，０，−１２０，−１００） （４）
すなわち、演算関数ｆが式（５）、（６）のように表される。
Ｘ＝２・（ｘ−６０） （５）
Ｙ＝２・（ｙ−５０） （６）
本例では、ドット１７ａ、１７ｂ、１７ｃで決まる三角形領域の対応関係を基にキャリブレーションデータを求めていることになる。

ステップＳ３５は、ステップＳ３４で求められたキャリブレーションデータを演算関数記憶手段１１４に記憶する工程である。
以上により、ステップＳ３に相当する工程が終了し、キャリブレーションモードが終了する。

次に、通常動作モードの動作について簡単に説明する。
通常動作モードへのモード切替は、不図示の操作部により通常動作モードとするモード選択信号２１１が入力されるか、または、キャリブレーションモードが終了したことが検出されたときに自動的に、演算関数生成部１１５Ａからにモード選択信号２１１が入力されることで行われる。

通常動作モードでは、まず、画像処理手段１に入力された画像データ２００の画像表示を行う。その工程は、上記ステップＳ１で説明した工程において、テストパターン画像データ２１２を画像データ２００と読み替えればよい。
例えば、画像データ２００が、文字「４」であるとき、ステップＳ１と同様の工程をたどって、図３に示すように、スクリーン５上に表示画像１５として拡大された「４」を表示することができる。
このとき、表示画像１５の戻り光が上記のステップＳ２で説明した過程を経て、撮像手段７により撮像されている。ただし、表示画像１５はテストパターン画像データ２１２のように、必ずしも撮像しなくてもよいので、表示に支障がなければ、その戻り光が確実に撮像できるような高輝度の画像でなくてもよい。

ここで、スクリーン５上またはその近傍に、例えば操作者の指や、指し棒などの被写体６があると、その反射光が、被写体反射光１１としてスクリーン５に入射する。そして、裏面透過光１２として、スクリーン５の戻り光と同様にして撮像手段７により撮像され、画像処理手段１に画像信号２０２として送出され、画像記憶手段１１８に一時記憶される。

モード選択手段１１６は、通常動作モードであることを認識すると、画像信号２０２を、ポインタ画像認識手段１１１に送出する。
ポインタ画像認識手段１１１では、画像信号２０２から、被写体６の画像を抽出して、スクリーン裏面光画像上での画像位置を算出し、ポインタ撮像位置情報２０４として位置演算手段１１２に送出する。
ポインタ撮像位置情報２０４は、図８（ｂ）に示すｘｙ座標系の座標値（ｘ，ｙ）で表される。
なお、被写体６が配置されていなくて、ポインタ画像認識手段１１１が、被写体６を認識できない場合、あるいは認識できたとしてもポインタ画像として登録されている指し棒や指などの物体の大きさ、輝度、色や形状の特徴などを有しない被写体６を認識した場合、ポインタ撮像位置情報２０４には、後述する処理部１１５Ｂの画像処理に影響を与えない適宜のダミーデータ、例えば、（０，０）や表示可能領域外の座標値などを与える。

位置演算手段１１２は、演算関数記憶手段１１４に記憶されたキャリブレーションデータ２０３を呼び出し、ポインタ撮像位置情報２０４の座標値（ｘ，ｙ）を、図８（ａ）に示すＸＹ座標系の座標値（Ｘ，Ｙ）に変換し、ポインタ表示位置情報２０５として、ポインタ指定ボタン決定手段１１３に送出する。

ポインタ指定ボタン決定手段１１３は、表示画像領域情報２０６を参照して、ポインタ表示位置情報２０５の位置が何かの情報入力部の操作と関係しているかどうか判断する。例えば、表示画像１５が、操作ボタンやキーボード画像などの情報入力部の画像を含み、それらのうちの特定のボタンやキートップの表示領域に、ポインタ表示位置情報２０５が示す位置が含まれる場合、特定のボタンやキートップに対応する情報を付加した入力情報２０７を処理部１１５Ｂに送出する。
一方、表示画像１５にそのような情報入力部の画像が含まれない場合、または含まれていてもボタンやキートップなどの表示領域外を指していると判定される場合、入力情報２０７としては、ポインタ表示位置情報２０５の座標値の情報に情報入力が発生していないことを表す情報とを付加して処理部１１５Ｂに送出する。

処理部１１５Ｂでは、入力情報２０７に基づき、必要に応じてスクリーン表示画像を変更するための付加画像データ２０８を生成したり、不図示の外部機器に向けて制御信号２０９を送出したりする。
例えば、情報入力がないことを表す情報が付加された入力情報２０７では、ポインタ表示位置情報２０５の位置に適宜のカーソル画像を表示するような付加画像データ２０８を生成し、表示画像生成手段１１０に送出する。
また、特定のボタンやキートップに対応する情報が付加されている場合には、それらに対応する制御信号２０９を外部に送出したり、特定のボタンやキートップが操作されたことが分かるような画像データを生成したりして、表示画像生成手段１１０に送出する。
いずれの場合でも、入力情報２０７が、キャリブレーションデータ２０３により、画像信号２０１のＸＹ座標系に変換されているため、例えば、製造時の組立誤差などにより、画像変調手段２と、撮像手段７との位置関係が正確に調整されていなくても、スクリーン表示画像との関係で正確な情報入力を行うことができる。また、スクリーン表示画像上で、位置を正確に入力して、その位置をカーソルなどとして再表示したり、手書き入力を行ったりすることができる。

次に、本発明の第１の実施形態の変形例について説明する。
図９は、本発明の第１の実施形態の変形例の撮像表示装置の概略構成について説明するための模式的な側面説明図である。図１０は、本発明の第１の実施形態の変形例の撮像表示装置の概略構成について説明するために模式的な正面説明図である。ただし、図９、１０は、見易さのため、それぞれにおいて一部の構成の図示を省略している。

本変形例の撮像表示装置１０１は、図９、１０に示すように、上記実施形態の投影レンズ３、撮像レンズ８に代えて、投影撮像レンズ２２を備え、ハーフミラー２３（光分岐手段）を追加したものである。以下、上記実施形態と異なる点を中心に説明する。

投影撮像レンズ２２は、画像変調手段２と第１導光部４Ａとの間の光路中に配置され、画像変調手段２で変調された画像を第１導光部４Ａの入射面４ａを介して入射面４ａの近傍の内部反射面４ｃ上へ投影するとともに、内部反射面４ｃで内部反射されて入射面４ａから出射される光を結像するための光学素子である。
ハーフミラー２３は、投影撮像レンズ２２と画像変調手段２との間に配置され、投影撮像レンズ２２を通して画像変調手段２側に向かう光を反射する光路分岐手段である。撮像素子９は、ハーフミラー２３で分岐された光の結像面と撮像面とが一致するように配置されている。すなわち、表示光１０の表示面と撮像素子９の撮像面とが共役な関係に設けられている。ただし、被写体６の種類に応じて、表示面からデフォーカスした位置と共役な関係としてもよいことは上記の実施形態と同様である。
本変形例では、投影撮像レンズ２２は、撮像光学手段を兼ねており、投影撮像レンズ２２と撮像素子９とは、撮像手段を構成している。

本変形例の動作について簡単に説明する。
図１１（ａ）は、スクリーン５の裏面側からみたスクリーン表示画像と被写体の位置関係を示す模式説明図である。図１１（ｂ）は、撮像素子９により撮像されたスクリーン裏面光画像から抽出された被写体の画像を示す模式説明図である。図１２は、本発明の第１の実施形態に係る撮像表示装置の表示および撮像のタイミングを示す模式的なタイミングチャートである。

本変形例では、ハーフミラー２３により表示光１０の光路と裏面透過光１２の光路とを分岐して、それぞれの分岐光路上に画像変調手段２、撮像素子９を配置するので、ハーフミラー２３による分岐方向を適宜調整することにより、画像変調手段２と撮像素子９とが干渉しないような位置に容易に配置することができるという利点がある。
また、本変形例では、投影撮像レンズ２２が、表示光１０を投影する光学素子と裏面透過光１２を撮像する撮像光学手段とを兼ねるため、表示光１０と裏面透過光１２との分岐前の光路が共通となる。そのため倍率ずれなどが格段に低減される。その結果、キャリブレーションが容易となり、スクリーン５上からの情報入力の精度をより向上できるものである。
したがって、スクリーン５に表示する情報入力部の画像として、種々の情報入力領域に細かく区画された画像、例えばキーボード画像などを表示する場合により好適となる。

そこで、以下では、キーボード画像をスクリーン５上に表示して情報入力を行う場合の例で、撮像表示装置１０１の動作を説明する。
画像信号２０１は、図１０に示すように、スクリーン表示画像として、表示画像２０とキーボード画像２１に対応する画像データを外部から画像処理手段１に入力し、表示画像生成手段１１０において、それぞれを合成して形成する。
表示画像２０とキーボード画像２１との合成は、図１０のように、例えば上下に領域を分割して重なり合わないように合成してもよいし、それぞれが重ね合わされていてもよい。
キーボード画像２１は、文字、記号などを表すキーに対応して、複数のキー領域２１ａが適宜配列され、パソコンのキーボードなどを模擬するようにした画像である。
それぞれのキー領域２１ａは、例えば、図示のような矩形状や、円形、楕円などの適宜形状に形成されている。そして、表示画像生成手段１１０により、各キー領域２１ａの内部と外部とを識別するための表示画像領域情報２０６が生成され、ポインタ指定ボタン決定手段１１３に必要に応じて送出される。
表示画像領域情報２０６は、例えば、キーボード画像２１の表示位置が動的に変更されるたびに自動的に更新される。

画像信号２０１は、画像変調手段２により、変調された表示光１０を形成する。表示光１０は、ハーフミラー２３を透過し、投影撮像レンズ２２により集光されつつ、入射面４ａを透過し、内部反射面４ｃ上に投影される。このとき、例えば、表示画像２０上の一点が点ｕに、またキーボード画像２１のうち「Ｚ」を表すキーのキー領域２１ａ内の一点が点ｖに投影される。
表示光１０は、第１導光部４Ａ、シリンドリカルレンズ４Ｃ、第１導光部４Ａ内を導光され、出射面４ｉ上で、点ｕの画像が点ｕ_１の位置から、点ｖの画像が点ｖ_１の位置からそれぞれ出射され、スクリーン５上で、それぞれ点ｕ_０、ｖ_０の位置に表示される。

ここで、操作者が、スクリーン５上の「Ｚ」キーのキー領域２１ａを指１３で触れたとする。このとき、スクリーン５の裏面側から見ると、図１１（ａ）に示すように、表示画像２０、キーボード画像２１の戻り光である裏面透過光１２により形成される裏面画像２０Ｒ、裏面画像２１Ｒと、スクリーン５側から外部側に透過する光が指１３に反射した被写体反射光１１によるが裏面透過光１２として戻って形成される裏面画像１３Ｒとが重ね合わされた画像を見ることができる。
そして、その画像は、導光手段４内を逆に戻って、内部反射面４ｃから反射されて投影撮像レンズ２２、ハーフミラー２３を介して、撮像素子９の撮像面に結像され撮像される。
しかしながら、こうして撮像される画像は、指１３による被写体反射光１１が最も高輝度であり、スクリーン５の戻り光にすぎない表示画像２０、キーボード画像２１はより低輝度である。さらに指１３で触れられた領域以外では、スクリーン５に入射する外部光による裏面透過光１２が加わるため、表示画像２０、キーボード画像２１の画像情報のコントラストが少なくなる。
そのため、撮像された画像信号２０２は、実質的に、図１１（ｂ）に示すような、裏面画像１３Ｒと、指１３の範囲内の裏面画像２１Ｒのみとなる。仮に裏面画像２０Ｒなどが、わずかに残るとしても、２値化処理などの簡単な画像処理により、容易に除去することができるものである。

画像処理手段１では、上記実施形態で説明したのと同様に、画像信号２０２の処理を行い、裏面画像１３Ｒの代表位置を算出し、ポインタ指定ボタン決定手段１１３により、表示画像領域情報２０６と比較して、指１３が「Ｚ」キーに触れていることを判定して、文字「Ｚ」に対応した制御信号２０９を生成するなどの動作を行う。

ところで、図示のようにキー領域２１ａの大部分が高輝度であり、Ｚなどの文字や他のキーとの境界線が暗部となっている場合は、キーボード画像２１の光量だけでも十分な被写体反射光１１が得られるが、Ｚなどの文字表示の暗部がキーによって異なるため、裏面画像１３Ｒの輝度がばらついたり、例えば画像の重心により代表位置を求める場合、重心位置に影響したりする場合がある。また、キーボード画像２１のデザインの都合上、このような高輝度の画像とすることができない場合も考えられる。また、指１３以外の物が触れた際、キー操作として処理しないようにするために、指１３の画像認識をすることも可能であるが、その際、文字表示の暗部によって前記認識ミスを起こす恐れがある。
このような場合、スクリーン５の裏面側から照明光を暗部がない均一な状態で照射することが好ましい。
例えば、画像処理手段１は、キーボード画像２１をちらつきが感じない程度に間欠表示（時分割駆動）し、その間に全面の白画像を表示して照明光とするとよい。この場合、画像変調手段２は、照明光の照明光源も兼ねている。
図１２に、そのような照明光を表示する場合の模式的なタイミングチャートを示した。

図１２において、折れ線３０は、キーボード画像２１の表示タイミングを示す。図示上側のレベルが表示ＯＮ状態であり、下側のレベルが表示ＯＦＦ状態を表す。また、折れ線３１は、全面白画像の照明光のタイミングを示す。折れ線３２は、撮像素子９の撮像タイミングを示し、図示上側のレベルが撮像ＯＮ状態を示す。
このように、例えば時刻ｔ_１でキーボード画像２１をＯＦＦするとともに、照明光をＯＮし、時刻ｔ_２で、キーボード画像２１をＯＦＦするとともに照明光をＯＦＦする。そして、時刻ｔ_１からｔ_２の間に撮像素子９による撮像を行う。そして、時分割駆動を目のちらつきが問題とならない程度、すなわち、目にとってキーボード画像２１の残像が持続する程度の周期で繰り返す。

なお、この場合、撮像素子９の感度が十分であれば、撮像タイミングは、時刻ｔ_１とｔ_２との間で、時間（ｔ_２−ｔ_１）より短くてもよい。また、時間（ｔ_２−ｔ_１）の間で撮像ＯＮのタイミングを複数回繰り返してもよい。
また、照明光は全面白画像であれば、変調しなくともよいので、画像変調手段２により変調して形成せず、別に光源を配置してもよい。例えば、光源からの照明光を投影撮像レンズ２２の手前側で表示光１０の光路に入射する構成とすることができる。
また、照明光は、被写体反射光１１の輝度を高めるために用いるので、スクリーン５の全面に照射しなくてもよい。例えば、画像処理手段１により、キーボード画像２１を照射する範囲のみ白画像となる領域を限定した白画像としてもよい。また、さらに、キーボード画像２１のうち、入力可能キーの領域のみを照射するように画像処理手段１により照射領域を変調してもよい。例えば、所定のタイミングで、数字入力のみが想定されている場合に、数字キーのみを照明することで、文字キーが誤入力されても検出されないようにすることができる。

また、照明光は、全面または一部の白画像とは限らず、撮像素子９の感度が十分であれば、赤外光であってもよい。この場合、照明光が目には見えなくなるため、キーボード画像２１に重ね合わせて、より長時間もしくは常時照射することができるという利点がある。

［第２の実施形態］
本発明の第２の実施形態に係る撮像表示装置について説明する。
図１３は、本発明の第２の実施形態に係る撮像表示装置の概略構成について説明するための模式的な側面説明図である。図１４は、本発明の第２の実施形態に係る撮像表示装置の概略構成について説明するために模式的な正面説明図である。

本実施形態の撮像表示装置１０２は、図１３に示すように、本発明の第１の実施形態の撮像表示装置１０１に照明光源部５０を付加して構成されたものである。以下では、第１の実施形態と異なる点を中心に説明する。

照明光源部５０（照明光源）は、スクリーン５を裏面から画像情報に応じて変調され、画像表示も可能とされた照明光を導光手段内で導光することなく照射することができるようにしたものであり、プロジェクタ３５および画像処理手段３９からなる。

プロジェクタ３５は、光源３６、画像変調手段３７（照明光変調手段）、および投影レンズ３８からなる。
光源３６は、照明光４４を形成するための光源であり、例えば高圧水銀ランプなどの少なくとも可視波長域を含む光源を採用することができる。
画像変調手段３７は、画像変調手段２と同様な構成を採用することができる。ただし、画素数などは、照明光４４の変調の仕方に応じて、画像変調手段２と異なる画素数を採用してもよい。すなわち、画像変調手段２と同等の精度でスクリーン表示画像を形成できるようにしてもよいし、照明領域の形状を変更する程度の粗い画素数としてもよい。
投影レンズ３８は、画像変調手段３７に表示された画像を第２導光部４Ｂのテーパ面４ｈに向けて投影するための光学素子である。

画像処理手段３９は、照明光４４を、スクリーン５上の全面または一部の照明領域に照明光を照射したり、表示光１０による画像に重ね合わせるための照明用画像４０を変調したりするための画像データである照明画像データ２１０（重ね合わせ画像情報）に応じて、画像変調手段３７を変調制御するための照明光変調信号２１３を形成するものである。

このような構成により、例えば、図１３に示すような表示画像４１に対応する画像データ２００（例えば文字「４」を表示する画像データ）が画像処理手段１に入力されたとき、斜め線の暗部が形成された照明用画像４０に対応して照明画像データ２１０を画像処理手段３９に入力する。
表示画像４１は、第１の実施形態に説明した過程を経てスクリーン５に表示画像４２（図１４参照）として拡大表示される。
一方、照明用画像４０は、照明画像データ２１０が画像処理手段３９により照明光変調信号２１３に変換され、画像変調手段３７により、光源３６から照射する光を変調し、投影レンズ３８により拡大投影されて照明光４４として出射される。照明光４４は、テーパ面４ｈから第２導光部４Ｂに入射し、出射面４ｉからスクリーン５に向けて出射される。そして、スクリーン５の表示面で、表示画像４１が拡大された照明光表示画像４３として表示される。
そのため、スクリーン５では、表示画像４２と照明光表示画像４３とが重ね合わされた画像が表示され、それらの戻り光を裏面透過光１２として、撮像手段７により撮像することが可能となる。

このように、本実施形態では、スクリーン５に表示するスクリーン表示画像を表示光１０と照明光４４とに分けて形成することができる。そのため、画像処理手段３９は図１２に示したような撮像するタイミングに同期して画像変調手段３７により白色画像が表示するよう制御すると、画像処理手段１で同様の制御をする必要がなく、構成を簡素なものとすることができる。
また、本実施形態では、照明光４４を導光手段内で繰り返し反射させることなくスクリーン５に投影するので、位置合わせや倍率調整が容易となるという利点がある。

なお、上記の説明では、第１導光部が正面視矩形状の例で説明したが、表示光１０、裏面透過光１２の導光を妨げない範囲であれば適宜の形状とすることができる。例えば扇状としてもよい。

また、上記の説明では、被写体の接触を情報入力として用いるタッチパネル入力を行うことができるものとして説明したが、指や指し棒などの被写体の位置を連続的に撮像し、その移動軌跡を付加画像データとして、スクリーンに再表示したり、画像情報として出力したりすることにより、手書き入力を行う場合にも用いることができる。

また、上記の説明では、スクリーン表示画像の画像データの画素数と撮像手段の画素数とが同じ場合の例で説明したが、互いに異なるようにした場合、次のような利点がある。
例えば、撮像手段の画素数の方が多い場合、スクリーン表示画像と同じ解像度で撮像しても、スクリーン表示画像よりも広い範囲を撮像することができる。すなわち、スクリーン表示画像に対する解像度を保持しながら、透過型スクリーンに対する撮像手段の配置位置に余裕を持たせることができるので、製造組立が容易となる。
また、指し棒や指などの被写体の画像が一般にスクリーン表示画像の画素よりも十分大きいことに配慮して、撮像手段の画素数の方が少なくしてもよい。つまり、被写体の位置の解像度は低下するが、ポインティングであれ手書き入力であれ、情報入力には支障がない。この場合、ポインタ画像認識手段における画像処理を簡素かつ高速に行うことができるという利点がある。そして、付加画像データは、スクリーン表示画像と同じ解像度で形成することができるので、付加画像の再表示は、高品位に行うことができる。例えば、手書き入力の軌跡を表示する場合にも、軌跡の中心位置のデータが取得されるので、適宜の線幅などの付加画像データを生成することができる。

また、上記の説明では、説明の簡単のため、６つのパラメータによりキャリブレーションを行うことができる場合の演算関数、キャリブレーションデータについて説明したが、テストパターン画像から取得する位置データの数を増やせば、高次の補正項を追加して、画像の歪みや部分的な伸縮を除去するキャリブレーションを行うこともできる。

また、上記のキャリブレーション算出方法の説明では、１つのテストパターン画像からドットの位置の対応関係を算出して、これを複数繰り返してから、演算関数を生成する例で説明した。すなわち、第１のステップ、第２のステップと第３のステップの一部を行ってから、それをテストパターン画像の数だけ繰り返し、その後、第３のステップの残りを行うとして説明した。
これは、一例であって、例えば、第１、第２のステップをテストパターン画像の数だけ繰り返しから、第３のステップを行ってもよい。
例えば、各テストパターン画像を表示し、それぞれを撮像して、それぞれの画像信号２０２を画像記憶手段１１８にすべて記憶してから、それぞれの画像信号２０２ごとにドットの位置を算出し、それらにより演算関数を生成するようにしてもよい。
また、テストパターン画像が１画面で構成される場合には、第１、第２、第３のステップを順次行うことが可能である。

また、上記の第１の実施形態の変形例の説明では、光分岐手段としてハーフミラーを用いた例で説明したが、光分岐手段はこれに限定されない。例えば、ビームスプリッタプリズムなどでもよい。また、撮像手段により撮像する波長を限定できる場合には、撮像する周波数の光のみを分岐する波長特性を備えた光分岐手段を用いてもよい。

また、上記の第２の実施形態の説明では、照明光源部５０として、照明光４４を主に空間光として伝播させる例で説明したが、導光路を用いて構成してもよい。例えば、撮像表示装置１００の構成において、撮像系の構成要素を除去した構成を用いてもよい。

また、上記の説明では、被写体がポインタである場合の例を中心として説明したが、本発明は、ポインタに限らず、透過型スクリーン上またはその近傍のすべての物体を撮像し、そのままスクリーン表示画像として再表示することができる。また、その物体の位置を算出したり、形状の特徴抽出をしたりといった画像処理を行うことができる。すなわちポインタ画像認識手段１１１、ポインタ指定ボタン決定手段１１３などの名称は、被写体をポインタのみに限定するものではない。

また、上記の説明では、スクリーン裏面光が被写体反射光である場合で説明したが、スクリーン裏面光は、透過型スクリーンを通して外部から透過した光でもよい。例えば、レーザポインタなどの高輝度、あるいは特定の色を有する光ビームが透過型スクリーン上で拡散して形成されるビームスポットの画像をポインタとして認識するようにしてもよい。

また、上記の実施形態および変形例の各構成要素は、本発明の技術的思想の範囲であり、かつ実現可能な組合せであれば、適宜組み合わせて実施することができる。

本発明の第１の実施形態に係る撮像表示装置の概略構成について説明するための機能ブロック図である。 本発明の第１の実施形態に係る撮像表示装置の概略構成について説明するための模式的な側面説明図である。 本発明の第１の実施形態に係る撮像表示装置の概略構成について説明するために模式的な正面説明図である。 本発明の第１の実施形態に係る撮像表示装置の画像処理手段の概略構成について説明するための機能ブロック図である。 本発明の第１の実施形態に係る撮像表示装置に用いるテストパターン画像の例について説明するための模式図である。 本発明の第１の実施形態に係る撮像表示装置のキャリブレーションデータ算出方法の工程フローについて概念的に説明するためのフローチャートである。 本発明の第１の実施形態に係る撮像表示装置のキャリブレーションデータ算出方法の工程フローについて詳細に説明するためのフローチャートである。 被写体に対するそれぞれスクリーン表示画像とスクリーン裏面光画像との一例について示す模式図である。 本発明の第１の実施形態の変形例の撮像表示装置の概略構成について説明するための模式的な側面説明図である。 本発明の第１の実施形態の変形例の撮像表示装置の概略構成について説明するために模式的な正面説明図である。 透過型スクリーン５裏面側からみたスクリーン表示画像と被写体の位置関係を示す模式説明図、および撮像手段により撮像されたスクリーン裏面光画像から抽出された被写体の画像を示す模式説明図である。 本発明の第１の実施形態に係る撮像表示装置の表示および撮像のタイミングを示す模式的なタイミングチャートである。 本発明の第２の実施形態に係る撮像表示装置の概略構成について説明するための模式的な側面説明図である。 本発明の第２の実施形態に係る撮像表示装置の概略構成について説明するために模式的な正面説明図である。

符号の説明

１ 画像処理手段
２ 画像変調手段
３、３８ 投影レンズ
４ 導光手段
４Ａ 第１導光部
４Ｂ 第２導光部
４Ｃ シリンドリカルレンズ
４ａ 入射面（第１の端部）
４ｂ、４ｃ 内部反射面
４ｈ テーパ面（対向する２平面の一方）
４ｉ 出射面（対向する２平面の他方）
５ スクリーン（透過型スクリーン）
６ 被写体
７ 撮像手段
８ 撮像レンズ（撮像光学手段）
９ 撮像素子
１０ 表示光（変調光）
１１ 被写体反射光
１２ 裏面透過光（スクリーン裏面光）
１３ 指（被写体）
１５、２０、２４、４２ 表示画像（スクリーン表示画像）
１６、１８、１９ テストパターン（テストパターン画像）
１７ａ、１７ｂ、１７ｃ、１７ｄ ドット
２１ キーボード画像
２１ａ キー領域
２２ 投影撮像レンズ（撮像光学手段）
２３ ハーフミラー（光分岐手段）
３５ プロジェクタ
３６ 光源
３７ 画像変調手段（照明光変調手段）
３９ 画像処理手段
４３ 照明光表示画像
４４ 照明光
５０ 照明光源部（照明光源）
１００、１０１、１０２ 撮像表示装置
１１０ 表示画像生成手段
１１１ ポインタ画像認識手段
１１２ 位置演算手段
１１３ ポインタ指定ボタン決定手段
１１４ 演算関数記憶手段（キャリブレーションデータを記憶する記憶手段）
１１５ 制御手段（演算関数生成手段）
１１５Ａ 演算関数生成部
１１５Ｂ 処理部
１１６ モード選択手段
１１７ パターン記憶手段
１１８ 画像記憶手段
２１１ モード選択信号
２００ 画像データ（画像情報）
２０１、２０２ 画像信号
２０３ キャリブレーションデータ
２０４ ポインタ撮像位置情報
２０５ ポインタ表示位置情報
２０６ 表示画像領域情報
２０７ 入力情報
２０８ 付加画像データ
２０９ 制御信号
２１０ 照明画像データ（重ね合わせ画像情報）
２１２ テストパターン画像データ（テストパターン画像）

Claims (16)

1. 入力される画像情報に応じて画像を変調して変調光として投影する画像変調手段と、
   前記変調光を透過して、該変調光による画像を観察可能に表示する透過型スクリーンと、
   該透過型スクリーンから前記変調光の透過方向と逆方向に出射されるスクリーン裏面光による画像を撮像する撮像手段と、
   前記画像変調手段から投影される前記変調光を導光して前記透過型スクリーンに向けて出射するとともに、前記スクリーン裏面光を導光して前記撮像手段に向けて出射する導光手段と、
   前記透過型スクリーンに表示される画像と、前記撮像手段により撮像される前記スクリーン裏面光による画像との間の画素位置を対応させるキャリブレーションデータを求める演算関数生成手段と、
   該演算関数生成手段により求めたキャリブレーションデータを用いて、前記撮像手段で撮像される前記スクリーン裏面光による画像の画像位置を、前記透過型スクリーンに表示される画像に対する相対位置として算出する位置演算手段とを備えることを特徴とする撮影表示装置。
2. 前記導光手段が、
   導光路の両端に、
   前記画像変調手段から投影された前記変調光の入射部と、前記撮像手段への前記スクリーン裏面光の出射部とを兼ねる第１の端部と、
   前記透過型スクリーンへの前記変調光の出射部と、前記透過型スクリーンを透過した前記スクリーン裏面光の入射部とを兼ねる第２の端部を備えることを特徴とする請求項１に記載の撮像表示装置。
3. 前記導光手段の前記第１の端部と、前記画像変調手段および前記撮像手段との間に、前記第１の端部に入出射する前記変調光および前記スクリーン裏面光との光路を分岐する光分岐手段を設けたことを特徴とする請求項２に記載の撮像表示装置。
4. 前記導光手段が、
   前記画像変調手段により投影された前記変調光を、対向する平行反射面の間で内部反射させて導光する平行平板状の第１導光部と、
   対向する２平面が一端から他端に向けて対向する面間隔を狭めるテーパ状部材からなり、前記第１導光部により導光された前記変調光が前記テーパ部材の一端側から入射して、前記対向する２平面のうち、一方において内部反射され、他方において入射角に応じて内部反射または透過されることにより、前記対向する２平面の他方から、前記変調光の画像を投影できるようにした第２導光部とを備え、
   前記第２導光部の前記対向する２平面の他方を前記透過型スクリーンに対面して配置したことを特徴とする請求項１に記載の撮影表示装置。
5. 前記演算関数生成手段により求められたキャリブレーションデータを記憶する記憶手段を備え、
   前記位置演算手段が、前記記憶手段に記憶されたキャリブレーションデータを用いて、前記撮像手段で撮像される前記スクリーン裏面光による画像の画像位置を、前記透過型スクリーンに表示される画像に対する相対位置として算出できるようにしたことを特徴とする請求項１に記載の撮影表示装置。
6. 前記入力される画像情報の少なくとも一部は、情報入力を行うキーボードを模擬したキーボード画像であり、
   前記位置演算手段により、前記撮像手段で撮像された前記スクリーン裏面光による画像と前記キャリブレーションデータとから、前記キーボード画像において操作されたキーを検出することを特徴とする請求項１に記載の撮影表示装置。
7. 前記撮像手段が、撮像素子と、前記スクリーン裏面光による画像を前記撮像素子の撮像面上に結像する撮影光学手段とを備え、
   該撮影光学手段が、
   前記透過型スクリーンにおける前記変調光の表示面と前記撮像素子の撮像面とを共役な関係とするように設けられたことを特徴とする請求項６に記載の撮影表示装置。
8. 前記画像変調手段が、
   前記変調光により前記透過型スクリーンの全面または一部への照明光を形成できるようにしたことを特徴とする請求項１に記載の撮影表示装置。
9. 前記画像変調手段により形成される前記照明光が、
   前記撮像手段により撮像が行われるタイミングと連動して形成されるようにしたことを特徴とする請求項８に記載の撮影表示装置。
10. 前記透過型スクリーン上もしくは前記透過型スクリーンの近傍に配置される被写体に照明光を照射することができる照明光源を備え、
    該照明光源により照射された照明光の反射光により前記スクリーン裏面光が形成できるように前記照明光源を設けたことを特徴とする請求項１に記載の撮影表示装置。
11. 前記照明光源により形成された照明光が、
    前記撮像手段により撮像が行われるタイミングと連動して形成されるようにしたことを特徴とする請求項１０に記載の撮影表示装置。
12. 前記照明光源が、赤外光を照明光として照射することを特徴とする請求項１０に記載の撮影表示装置。
13. 前記導光手段が、
    前記画像変調手段により投影された前記変調光を、対向する平行反射面の間で内部反射させて導光する平行平板状の第１導光部と、
    対向する２平面が一端から他端に向けて対向する面間隔を狭めるテーパ状部材からなり、前記第１導光部により導光された前記変調光が前記テーパ部材の一端側から入射して、前記対向する２平面のうち、一方において内部反射され、他方において入射角に応じて内部反射または透過されることにより、前記対向する２平面の他方から、前記変調光の画像を投影できるようにした第２導光部とを備え、
    前記照明光源が、
    前記照明光を、前記変調光による画像に重ね合わせるための重ね合わせ画像情報に応じて画像を変調した照明光として照射する照明光変調手段を備え、
    前記照明光源が、前記導光手段の前記第２導光部を挟んで前記透過型スクリーンに対向して配置され、
    前記照明光が、前記第２導光部の前記対向する２平面の一方から入射して、前記対向する２平面の他方から前記透過型スクリーンに向けて出射される構成としたことを特徴とする請求項１０に記載の撮影表示装置。
14. 前記透過型スクリーンが、入射光を略一定方向に集光して視野角を広げるために拡散させて出射するプリズムシートであることを特徴とする請求項１に記載の撮影表示装置。
15. 前記キャリブレーションデータを求めるために前記透過型スクリーンに表示するテストパターン画像を記憶するパターン記憶手段を備え、
    前記画像変調手段が、前記パターン記憶手段に記憶されたテストパターン画像を前記画像情報として入力可能に構成され、
    前記画像変調手段が、前記テストパターン画像を投影し、前記導光手段により前記透過型スクリーンに出射して、前記透過型スクリーンに表示される画像を形成するとともに、
    前記撮像手段が、前記透過型スクリーンからの戻り光を前記スクリーン裏面光として撮像して、前記スクリーン裏面光による画像を形成し、
    前記演算関数生成手段が、これらの前記透過型スクリーンに表示される画像および前記スクリーン裏面光による画像を用いて、前記キャリブレーションデータを求めるようにしたことを特徴とする請求項１に記載の撮影表示装置。
16. 請求項１に記載の撮影表示装置のキャリブレーションデータ算出方法であって、
    前記画像情報として、前記撮像手段が撮像する前記透過型スクリーン上の領域を検出するためのテストパターン画像を入力し、該テストパターン画像を前記画像変調手段で変調して前記透過型スクリーンに表示する第１のステップと、
    前記第１のステップで変調され、前記透過型スクリーンに表示されたテストパターン画像の戻り光を、前記スクリーン裏面光として前記撮像手段により撮像する第２のステップと、
    前記演算関数生成手段により、前記第２のステップで撮像したテストパターン画像の戻り光による画像の画像位置情報から、前記撮像手段が撮像する前記透過型スクリーンの領域を求め、前記第１のステップで入力したテストパターン画像の領域情報と比較演算することにより前記キャリブレーションデータを求める第３のステップとを備えることと特徴とするキャリブレーションデータ算出方法。

Images