JP2014119937A - 入力装置および画像表示装置 - Google Patents

Abstract

【課題】投影表示型の入力装置について、キャリブレーション等の特別な処理を利用者に強いることなく、投影面上に置かれた指示物の位置を精度よく特定できるようにする。
【解決手段】レーザ光の走査により投影面に表示された画像１０１の投影面上に置かれた指示物Ｆによる反射光を受光する受光部２６と、受光部２６による反射光の受光結果に基づいて投影面上に置かれた指示物Ｆの位置を検出し、当該位置を補正して画像１０１中のオブジェクトに対する指示位置を特定する指示位置特定部２９と、画像１０１画像におけるオブジェクトの位置と当該オブジェクトについて指示位置特定部２９により特定された指示位置とのズレに基づいて、投影面上に置かれた指示物Ｆの位置を補正するパラメータを修正するパラメータ修正部３０と、を備える。
【選択図】図２

Description

本発明は、投影表示される画像によって利用者からの操作入力を受け付ける入力装置、および、このような入力装置を備えた画像表示装置に関する。

電子機器の入力インターフェースとして、画像が表示された表示面を利用者が指示物（例えば、利用者の指、利用者が操作する指示棒等）でタッチすることによって入力操作を行なうことが可能なタッチ式の入力装置が知られている。

また、近年では、レーザ光の走査により投影面に画像を表示する投影型の画像表示装置を利用して、投影面に対する指示物による入力操作を検出する投影表示型の入力装置も検討されている。すなわち、投影面上の任意の位置に置かれた指示物によるレーザ光の反射光を受光部で受光し、反射光を受光したタイミングにおけるレーザ光の走査位置に基づいて、画像上における指示物の位置を特定し、当該位置に応じた入力処理を行う。
投影表示型の入力装置によれば、投影面を指示物でタッチせずとも、投影面から所定高さ内に指示物を置くだけで当該指示物の位置が特定可能である。このため、表示面を直接タッチすることが必須の入力方式とは異なる操作感を得ることが可能となる。

上記のような入力装置では、利用者が指示物で指示しようとした画像上の座標値と、指示物の位置として特定された表示面（投影表示型の入力装置の場合は投影面）上の座標値との間にズレが生じてしまい、利用者に操作の違和感を与えることがある。そこで、このような事態の発生を抑制するために、指示物の位置として特定した座標値を画像上の座標値に補正（変換）する座標補正が行われる。

この座標補正は、一般に、指示物の位置として特定した座標値を所定の変換式に適用して演算することで行なわれる。ここで、個体差はあるものの大まかな補正量は各入力装置で共通しているため、変換式のパラメータを各入力装置で同じ設定にすれば、大まかな座標補正は行える。しかしながら、そのままでは、入力装置の個体差、使用状況、経年変化等に起因して微小なズレが生じてしまう。そこで、このズレの発生を抑えるために、定期的または利用者の指示などを契機として、変換式のパラメータを校正する処理（所謂キャリブレーション）を実行して座標補正の適正化を図る必要があった。

図７には、キャリブレーションに係る画面の例を示してある。
入力装置は、図７（ａ）に例示するようなメニュー画面を表示面に表示し、このメニュー画面に設けられた複数の選択肢の中から「キャリブレーション」が選択されたことに応じて、キャリブレーションを開始する。
キャリブレーションでは、入力装置はまず、図７（ｂ）に例示するように、利用者に指示物による指示を求める複数の箇所（同図では、四隅と中央の５箇所）を規定した画像を表示面に表示する。その後、入力装置は、各々の箇所について実際に利用者に指示された表示面上の座標値を特定して収集し、当該収集した座標値に基づいて変換式のパラメータを校正する。

特許文献１には、タッチパネル式のデータ入力装置において、キャリブレーション機能を有する装置が開示されている。この装置は、タッチパネルの入力操作範囲とスクリーンの表示範囲が一致している構成を前提として、タッチパネルへの入力指示に応じて座標変換処理によって得られたスクリーン座標値がスクリーンの表示範囲内に含まれているか否かを判定する手段を有する。そして、スクリーン座標値がスクリーンの表示範囲外の場合に、スクリーンの表示範囲内の所定の基準位置からのズレ量に対応する変換係数のズレ情報を算出する。

特許文献１に開示された技術は、タッチパネルのズレの調整であり、スクリーン上のどの位置の座標値を検出しても同じズレ量となる。このため、変換式のパラメータ（変換係数など）として、スクリーン全体で同じパラメータを使用することができる。
これに対し、投影表示型の入力装置では、画像の投影で生じる台形歪等によって投影面上の位置に応じてズレ量が異なる。このため、台形歪等を考慮した多次元のパラメータを有する変換式が用いられることから、投影面上の複数の箇所でズレ量を測定して変換式に反映させる必要がある。
しかしながら、このような事項は特許文献１では考慮されていない。また、特許文献１では、少なくとも前回のズレとの比較しか行なっておらず、値の信頼性に欠ける。

特許第３９５９１６３号公報

本発明は、上記のような従来の事情に鑑みてなされたものであり、投影表示型の入力装置について、キャリブレーション等の特別な処理を利用者に強いることなく、投影面上に置かれた指示物の位置を精度よく特定できるようにすることを目的とする。

本発明に係る入力装置は、操作の対象となるオブジェクトを含む画像をレーザ光の走査により投影面に表示する画像表示部と、前記投影面上に置かれた指示物によるレーザ光の反射光を受光する受光部と、前記受光部による反射光の受光結果に基づいて前記投影面上に置かれた指示物の位置を検出し、当該位置を補正して前記画像中のオブジェクトに対する指示位置を特定する位置特定部と、前記画像におけるオブジェクトの位置と当該オブジェクトについて前記位置特定部により特定された指示位置とのズレに基づいて、前記投影面上に置かれた指示物の位置を補正するパラメータを修正するパラメータ修正部と、を備える。

したがって、本発明に係る入力装置によれば、操作の対象となるオブジェクトを含む画像を用いた通常の入力操作の過程で、自動的に変換式のパラメータを修正することができる。このため、キャリブレーション等の特別な処理を利用者に強いることなく、座標変換の適正化を図ることが可能となる。

より具体的には、本発明に係る入力装置では、前記パラメータ修正部は、前記画像におけるオブジェクトの重心の位置と当該オブジェクトに対する複数の指示位置の平均値との差分を求め、当該差分が小さくなるように、前記パラメータの修正を行う。
これにより、過去の指示位置の傾向を鑑みてパラメータを修正することができ、座標変換の適正化を精度よく行うことが可能となる。

また、本発明に係る入力装置では、前記パラメータ修正部は、前記画像におけるオブジェクトの重心の位置と当該オブジェクトに対する複数の指示位置の平均値との差分が閾値以上の場合に、前記パラメータの修正を行う。
これにより、パラメータの修正が頻繁に発生することを抑制することができ、入力装置の処理負担の軽減を図ることが可能となる。

ここで、本発明に係る入力装置では、操作の対象となるオブジェクトを含む画像として、種々の画像を用いることが可能である。
一例として、複数のオブジェクトを分散して配置した画像を用いる。この場合には、前記パラメータ修正部は、前記画像に含まれるオブジェクト毎に、前記画像におけるオブジェクトの位置と当該オブジェクトについて前記位置特定部により特定された指示位置とのズレを算出し、各オブジェクトについて算出したズレに基づいて前記パラメータの修正を行えばよい。

また、他の例として、オブジェクトの位置を変更可能な画像を用いる。この場合には、前記パラメータ修正部は、前記画像に含まれるオブジェクトの位置毎に、前記画像におけるオブジェクトの位置と当該オブジェクトについて前記位置特定部により特定された指示位置とのズレを算出し、オブジェクトの各位置について算出したズレに基づいて前記パラメータの修正を行えばよい。

なお、本発明に係る入力装置は、レーザプロジェクタ等の画像表示装置に用いることができる。
すなわち、本発明に係る画像表示装置は、操作の対象となるオブジェクトを含む操作用画像をレーザ光の走査により第１投影面に表示する操作用画像表示部と、前記操作用画像に関連する表示用画像をレーザ光の走査により第２投影面に表示する表示用画像表示部と、前記第１投影面上に置かれた指示物によるレーザ光の反射光を受光する受光部と、前記受光部による反射光の受光結果に基づいて前記第１投影面上に置かれた指示物の位置を検出し、当該位置を補正して前記操作用画像中のオブジェクトに対する指示位置を特定する位置特定部と、前記操作用画像におけるオブジェクトの位置と当該オブジェクトについて前記位置特定部により特定された指示位置とのズレに基づいて、前記第１投影面上に置かれた指示物の位置を補正するパラメータを修正するパラメータ修正部と、を備える。
この場合、操作用画像と表示用画像は、それぞれ同じ画像としてもよく、異なる画像としてもよい。

本発明によれば、操作の対象となるオブジェクトを含む画像を用いた通常の入力操作の過程で、自動的に変換式のパラメータを修正することができるため、キャリブレーション等の特別な処理を利用者に強いることなく、座標変換の適正化を図ることが可能となる。

本発明の一実施形態に係るレーザプロジェクタの使用態様の例を示す図である。 レーザプロジェクタの主要なハードウェア構成の例を示す図である。 変換式のパラメータ修正の概要を示す図である。 パラメータ修正部による変換式のパラメータ修正に係る処理フローの例を示す図である。 操作オブジェクトを有する画像の例を示す図である。 操作オブジェクトを有する画像の他の例を示す図である。 従来方式のキャリブレーションに係る画面の例を示す図である。

図１には、本発明の一実施形態に係る画像表示装置の一例として、レーザプロジェクタ１を示してある。このレーザプロジェクタ１は、本発明の一実施形態に係る入力装置を内蔵して備えている。

レーザプロジェクタ１は、例えば、机１００の上に設置されて使用される。レーザプロジェクタ１は、操作用画像１０１を第１の方向に投影し、表示用画像２０１を第１の方向とは異なる第２の方向に投影する。

操作用画像１０１は、プロジェクタ１の利用者（操作者）用の画像である。操作用画像１０１は、通常、プロジェクタ１の近傍に投影される。図１では、プロジェクタ１は、操作用画像１０１を机１００上に投影している。
表示用画像２０１は、通常、多くの人が見ることのできるように投影される。図１では、プロジェクタ１は、表示用画像２０１を壁２００に投影する。
なお、机１００は、操作用画像１０１が投影される投影面の一例であり、壁２００は、表示用画像２０１が投影される投影面の一例であり、これら画像の投影面として他のものを用いてもよい。

プロジェクタ１は、単一の画像を、プロジェクタ１内の光学素子（図１には示さず）により、操作用画像１０１と表示用画像２０１に分割している。したがって、操作用画像１０１と表示用画像２０１は、拡大率を除き、基本的に同一である。なお、通常、プロジェクタ１は、操作用画像１０１の大きさが表示用画像２０１の大きさよりも小さくなるように設計される。

プロジェクタ１は、光を検出するための受光部２６を備える。受光部２６は、机１００（操作用画像１０１の投影面）に向かって照射され、机１００付近の指示物Ｆにより反射（あるいは散乱）された光が入射する位置に設置される。なお、図１では、指示物Ｆとして利用者の指を描いているが、指示物Ｆは指に限られない。例えば、指示物Ｆは、筆記具等の棒状物であっても構わない。ただし、指示物Ｆは、受光部２６が光を検出できるように、プロジェクタ１からの光を反射（あるいは散乱）することが好ましい。

本例では、受光部２６は、フォトダイオードであるとする。なお、フォトダイオードに代えて、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどを用いてもよい。

プロジェクタ１は、受光部２６の検出結果に基づいて、指示物Ｆの位置を算出する。また、プロジェクタ１は、算出した指示物Ｆの位置に基づいて、操作用画像１０１と表示用画像２０１との双方（これらをまとめて「投影画像」と呼ぶ）の表示制御を行う。
利用者は、操作用画像１０１へ指示物Ｆにより指示を与えることで、投影画像上のポインタを移動したり、投影画像の内容（表示スライドのページなど）を変更したりできる。また、例えば、アルファベット等の文字キーを模した複数のオブジェクト（操作子）を配置したキーボード画像の領域と、文章の表示領域とを含む投影画像を用い、キーボード画像に対する指示物Ｆによる指示によって入力された文章を表示領域に表示させることなどもできる。
すなわち、利用者は、その近くにある操作用画像１０１へ指示物Ｆにより指示を与えることで、操作用画像１０１と同内容の表示用画像２０１を変化させることができる。そのため、利用者は、直感的に表示用画像２０１に対する操作を行い易い。

なお、プロジェクタ１の形状および大きさは、図１に示すものに限られるわけではない。プロジェクタ１は、例えば、携帯可能な大きさのモバイル型のプロジェクタであってもよいし、据付型のプロジェクタであってもよい。

プロジェクタ１のハードウェア構成について、図２を参照して説明する。図２には、プロジェクタ１の主要なハードウェア構成の例を示してある。
プロジェクタ１は、レーザ光を投影面に照射して投影面に画像を表示する、いわゆるレーザプロジェクタである。プロジェクタ１は、光学系（１１〜２０）と、レーザ制御部２１と、投影位置算出部２２と、ＣＰＵ（Central Processing Unit）２３と、ミラー制御部２４と、ミラードライバ２５と、受光部２６と、アンプ２７と、Ａ／Ｄ変換部２８と、指示位置特定部２９と、パラメータ修正部３０とを備える。

光学系は、緑色レーザ光源１１と、２色レーザ光源１２と、第１のビームスプリッタ１３と、コリメートレンズ１４と、スキャンミラー１５と、第２のビームスプリッタ１６と、第３のビームスプリッタ１７と、レンズ１８と、光検出器１９と、レーザパワー検出器２０とを含む。

なお、本例では、表示用画像２０１を投影する表示用画像表示部と、操作用画像１０１を投影する操作用画像表示部とは、以下で述べるようにビームスプリッタ１７に至る経路で共用されているが、それぞれ独立にレーザ光源や走査ミラー等の光学系を備えた別経路の構成としてもよい。

緑色レーザ光源１１は、緑色レーザ光を出射する。なお、緑色レーザ光を発振できるレーザ光源がない場合、赤色レーザ光を出射する赤色レーザ光源とＳＨＧ（Second-Harmonic Generation）素子との組み合わせを緑色レーザ光源１１として用いてもよい。

２色レーザ光源１２は、赤色レーザ光と青色レーザ光とを出射する。２色レーザ光源１２のパッケージ内には、赤色レーザ光を発振するレーザチップと、青色レーザ光を発振するレーザチップとが組み込まれている。

２色レーザ光源１２を用いることにより、互いに独立な赤色レーザ光源と青色レーザ光源とを用いる場合に比べ、部品点数の削減や光学系の小型化が可能となる。なお、使用に耐え得るかどうかあるいは価格等の観点から、製品化に適切な２色レーザ光源１２が準備できない場合などは、２色レーザ光源１２に代えて、互いに独立な赤色レーザ光源と青色レーザ光源を用いてもよい。

第１のビームスプリッタ１３は、緑色レーザ光の光路と、赤色レーザ光および青色レーザ光の光路とを重ね合わせて、コリメートレンズ１４に出力する。また、第１のビームスプリッタ１３は、各色のレーザ光の一部を、レーザパワー検出器２０に出力する。第１のビームスプリッタ１３の光の反射率（あるいは透過率）は、レーザパワー検出器２０でレーザパワーが測定できる範囲で、コリメートレンズ１４側になるべく光が出力されるように設定されていることが好ましい。なお、第１のビームスプリッタ１３は、レーザ光の光路を合成する合成素子の一例であり、第１のビームスプリッタ１３に代えて、他の光学素子を用いても構わない。
コリメートレンズ１４は、第１のビームスプリッタ１３を通った光を集光し、平行光にする。

スキャンミラー１５は、駆動信号を受けて、レーザ光を走査し、表示対象の画像の画素毎に選択的に投影面に向けて照射する。本例では、スキャンミラー１５は、ＸＹ方向（水平および垂直方向）に２次元的に走査を行う共振型ＭＥＭＳ（Micro Electro Mechanical System）ミラーであるとする。共振型ＭＥＭＳミラーには、小型、低消費電力、安価に製造可能、といった利点がある。なお、スキャンミラー１５は、共振型ＭＥＭＳミラーに限られない。例えば、スキャンミラー１５として、他のタイプの共振型走査ミラーやＤＭＤ（Digital Micromirror Device）、あるいは、２軸ガルバノミラーなどを用いてもよい。また、このような２軸型の走査ミラーに代えて、１軸の走査ミラーを２つ組み合わせたものを、スキャンミラー１５として用いてもよい。

スキャンミラー１５は、レーザ光を画像のフレーム単位で走査する。スキャンミラー１５は、１フレームの間に、画像の画素数に応じた回数、走査位置を変更する。スキャンミラー１５は、この走査位置の一連の変更を、フレーム毎に繰り返す。

第２のビームスプリッタ１６は、スキャンミラー１５により走査されたレーザ光を異なる方向に進行する２つのレーザ光に分割する。第２のビームスプリッタ１６からの一方のレーザ光は、第３のビームスプリッタ１７に入射する。第２のビームスプリッタ１６からの他方のレーザ光は、光検出器１９に入射する。

本例では、第２のビームスプリッタ１６を透過したレーザ光が、第３のビームスプリッタ１７に入射する。また、第２のビームスプリッタ１６により反射されたレーザ光が、光検出器１９に入射する。第２のビームスプリッタ１６の反射率（あるいは透過率）は、各投影面になるべく多くの光が投射できるように、光検出器１９で反射光を検出できる範囲内でなるべく低いことが好ましい。なお、ここで説明した透過光と反射光との関係は、逆であってもよい。

第３のビームスプリッタ１７は、第２のビームスプリッタ１６からのレーザ光を、机１００（操作用画像１０１の投影面）に向かうレーザ光と、壁２００（表示用画像２０１の投影面）に向かうレーザ光とに分割する。本例では、第３のビームスプリッタ１７は、光の透過率（あるいは反射率）が５０％のハーフミラーであるとする。したがって、操作用画像１０１と表示用画像２０１とは、ほぼ同じ明るさである。ただし、光の透過率（あるいは反射率）は、５０％に限られない。

光検出器１９は、光検出器１９の検出面に入射した光を検出する。光検出器１９の検出結果は、スキャンミラー１５の振れ角（あるいは各投影面への画像の投影範囲）を検出するために用いられる。また、これらの検出結果は、画像投影のためのレーザ光の打ち出しタイミングの確認にも用いられる。

なお、スキャンミラー１５の振れ角やレーザ光の打ち出しタイミングを検出するために、他の方法を用いることもできる。例えば、スキャンミラー１５自身の信号を検出する検出器を用いてもよい。また、例えば、電磁誘導型の共振型ＭＥＭＳの逆起電力や、静電容量型の共振型ＭＥＭＳミラーのピエゾ信号を検知する方法もある。

光検出器１９を用いる場合、光検出器１９をスキャンミラー１５の後方に配置する必要があるため、光検出器１９の検出面サイズを大きくする必要がある。しかしながら、スキャンミラー１５自身の信号を検知する方法によれば、光検出器１９は不要であり、プロジェクタ１を小型化できる。また、これらの方法によれば、プロジェクタ１の製造コストを低減できる。

なお、スキャンミラー１５自身の信号を検知する検出器を用いる場合も、光検出器１９を同位置に設け、光検出器１９をＡＰＣ（Auto Power Control）に用いてもよい。なお、ＡＰＣ用の光検出器１９は、スキャンミラー１５へ入射する前の光を検出できる位置に配置してもよい。

レーザパワー検出器２０は、第１のビームスプリッタ１３からの光の強度を検出する。レーザパワー検出器２０の検出結果は、緑色レーザ光源１１および２色レーザ光源１２が出力するレーザ光の強度の制御に用いられる。

なお、光学系の構成は、上記のものに限られるわけではない。光学系は、走査されたレーザ光が、各投影面に投射されるように配置された複数の光学素子を含むものであればよい。

レーザ制御部２１は、レーザパワー検出器２０の検出結果に基づいて、緑色レーザ光源１１および２色レーザ光源１２を制御する。具体的には、レーザ制御部２１は、緑色レーザ光源１１および２色レーザ光源１２が、所定のタイミングで指定された強度のレーザ光を出力するように、緑色レーザ光源１１および２色レーザ光源１２の駆動電流などを制御する。

投影位置算出部２２は、光検出器１９の検出結果に基づいて、画像の投影位置（スキャンミラー１５により走査された光の進行方向）を検出する。具体的には、投影位置算出部２２は、レーザ光の出力タイミングの指定値と、光検出器１９によるレーザ光の検出タイミングとに基づいて、画像の投影位置を検出する。検出された投影位置は、走査異常の検出や指示位置の特定などに用いられる。

ＣＰＵ２３は、レーザ制御部２１、投影位置算出部２２、ミラー制御部２４、指示位置特定部２９の動作を制御する。例えば、ＣＰＵ２３は、投影画像に応じた画像信号をレーザ制御部２１へ送る。例えば、ＣＰＵ２３は、投影位置算出部２２の検出結果（投影位置）をミラー制御部２４に与える。例えば、ＣＰＵ２３は、後述する指示物Ｆによる反射光の検出信号を指示位置特定部２９に与える。

ミラー制御部２４は、ミラードライバ２５の駆動信号を作成する。この駆動信号は、スキャンミラー１５の駆動周波数や駆動波形を指定する。詳しくは、ミラー制御部２４は、Ｙ方向（垂直方向）についての駆動信号と、Ｘ方向（水平方向）についての駆動信号を作成する。

また、ミラー制御部２４は、光検出器１９により検出された投影位置の変化に応じて、ミラードライバ２５の駆動信号を変更する。つまり、ミラー制御部２４は、ＣＰＵ２３から投影位置に応じた信号を受け取り、受け取った信号に基づいて、ミラードライバ２５の駆動信号を作成する。

ミラードライバ２５は、ミラー制御部２４からの駆動信号に応じて、スキャンミラー１５に走査動作を行わせる。具体的には、ミラードライバ２５は、スキャンミラー１５（共振型ＭＥＭＳミラー）に対して、駆動信号に応じた波形の電流を生成し、生成した電流をスキャンミラー１５に与える。

より詳しくは、ミラードライバ２５は、ミラー制御部２４からの駆動周波数の制御指示あるいは波形パターンの生成または切替指示に基づいて、水平方向駆動（高速駆動）のためのパルス矩形波や、垂直方向駆動のためのＤＣ波形を生成する。

ミラードライバ２５は、水平方向については、矩形波によって、スキャンミラー１５を共振駆動する。共振駆動は、少ない電流でスキャンミラー１５を高速に動かすことができる。ミラードライバ２５は、スキャンミラー１５固有の共振周波数に合わせたパルスで、スキャンミラー１５を駆動する。

ミラードライバ２５は、垂直方向については、スキャンミラー１５を低速ＤＣ駆動する。低速ＤＣ駆動は、スキャンミラー１５の位置を電流によって、所望の位置に制御可能である。垂直駆動波形は、投影画像のフレームの投影期間中、徐々に時間とともに減少（あるいは増加）する電流パターンの繰り返しとなる。垂直の駆動周波数が、フレームレートを規定する。

プロジェクタ１の水平方向の解像度は、水平１走査期間中に各レーザ光源がレーザを出力する回数により決まる。したがって、プロジェクタ１の水平方向の解像度は、スキャンミラー１５の共振周波数、および、レーザの打ち出し周波数に依存する。

一方、プロジェクタ１の垂直方向の解像度は、垂直駆動波形によって決まる。詳しくは、垂直方向の１往復期間に、スキャンミラー１５が垂直方向の解像度分のラインを走査できるように、垂直駆動波形の１サイクルにおいて、投影方向（走査の往路あるいは復路）の波形が時間的に占める比率が、設定される。

なお、プロジェクタ１の解像度は、走査方式にも依存する。具体的には、プロジェクタ１の解像度は、走査方式がプログレッシブ方式であるかインタレース方式であるかによっても異なる。

走査方式は、レーザ光の出力期間と、走査の往路あるいは復路の期間との関係により決まる。本例では、スキャンミラー１５は、光をフレームの上から下に走査するものとする。つまり、各レーザ光源は、往路期間に、レーザ光を出力する。なお、走査方向は、これに限られない。例えば、各レーザ光源が復路期間にレーザ光を出力すると、走査方向は逆（下から上）になる。また、各レーザ光源が、往路期間および復路期間の両方でレーザ光を出力すると、光は、双方向に走査される。

なお、低速（垂直方向）ミラーも共振周波数を有している。そのため、ミラー制御部２４は、垂直方向の駆動周波数の高調波を、高調波が共振周波数成分にかからないように、アナログおよびデジタル的に除去する。また、ミラードライバ２５が、このようなフィルタ処理を行ってもよい。

受光部２６は、受光部２６に入射した光を検出し、光の検出に応じた検出信号をアンプ２７に出力する。すでに説明したように、受光部２６は、机１００（操作用画像１０１の投影面）上の指示物Ｆによる反射光（散乱光を含む）を検出する。すなわち、受光部２６は、指示物Ｆによる反射光の検出信号をアンプ２７に出力する。

なお、操作用画像１０１を形成するレーザ光とは別に、位置判定用のレーザ光（例えば、赤外線等の不可視なレーザ光）を重畳して走査し、受光部２６が指示物Ｆによる位置判定用レーザ光の反射光を受光するように構成してもよい。

アンプ２７は、受光部２６からの検出信号を増幅して、増幅した検出信号をＡ／Ｄ変換部２８に出力する。
Ａ／Ｄ変換部２８は、アンプ２７により増幅された検出信号をデジタル信号に変換し、ＣＰＵ２３に与える。

指示位置特定部２９は、ＣＰＵ２３からデジタルの検出信号を受け取り、この検出信号の発生タイミング（指示物Ｆによる反射光の受光タイミング）に基づいて、指示物Ｆによる操作用画像１０１への指示位置を特定する。

より具体的には、指示位置特定部２９は、まず、スキャンミラー１５への制御信号および光検出器１９の検出結果に基づき算出された投影位置に基づいて、検出信号の発生タイミングでの走査位置（光の進行方向）を検出する。すなわち、指示位置特定部２９は、検出信号の発生タイミングにおける走査位置を、操作用画像１０１の投影面上の指示位置として検出し、その座標値を求める。次に、指示位置特定部２９は、操作用画像１０１の投影面上の指示位置を示す座標値を補正して、操作用画像１０１上の座標値を求める。この座標補正は、操作用画像１０１の投影面上の座標値を、多次元のパラメータを有する変換式に適用して演算することで行われる。
以上の処理により、指示物Ｆによる操作用画像１０１への指示位置を示す座標が特定される。

パラメータ修正部３０は、指示位置特定部２９により特定された操作用画像１０１上の指示位置の座標値に基づいて、指示位置特定部２９において座標補正に用いる変換式のパラメータを修正する。

パラメータ修正部３０による変換式のパラメータ修正の概要を、図３を参照して説明する。
図３（ａ）には、変換式のパラメータ修正に使用する画像の例を示してある。同図の画像は、キャリブレーション等の特別な処理のために専用に用意したものではなく、プロジェクタ１の操作に通常使用されるものであり、利用者による操作の対象となる操作オブジェクトを含む。プロジェクタ１は、例えば、“１”の数値キーを模したオブジェクトＫ１の画像領域が指示物Ｆで指示された場合に、“１”の数値入力の指示であるとして処理する。なお、同図では、画像に対し、投影により生じる台形歪とは逆方向の歪を予め加えた様子を示してあり、投影面（本例では机１００）上では長方形に表示される。

図３（ｂ）には、指示位置特定部２９により特定された、図３（ａ）の画像に対する指示物Ｆによる指示位置の例を示してある。図中の各点は、操作オブジェクトに対するものと推定される指示位置を表す。例えば、符号Ｄ１で示す点の集合は、オブジェクトＫ１（“１”の数値キー）に対するものとしてサンプリングされた指示位置の集合である。これら指示位置の座標値は、図３（ａ）の画像を用いた入力操作の度に特定され、その対象となった画像中の操作オブジェクトに対応付けてメモリに蓄積される。すなわち、プロジェクタ１は、操作オブジェクト毎に、その操作オブジェクトに対するものと推定される指示位置の座標値を履歴として蓄積する。
本例のプロジェクタ１では、画像中の操作オブジェクト毎に、直近から遡って予め定められた個数（又は期間）の座標値を蓄積することで、座標値の蓄積に係るメモリ容量の増大を抑えている。

図３（ｃ）には、オブジェクトＫ１（“１”の数値キー）の画像領域と、オブジェクトＫ１に対する指示位置の集合とを示してある。
パラメータ修正部３０は、オブジェクトＫ１に対する複数の指示位置の座標値について平均値Ｐ１を求め、オブジェクトＫ１の画像領域の重心Ｐ２と指示位置の平均値Ｐ１との差分を算出し、予め定められた閾値未満であるか否か（ズレが許容範囲内か否か）を判定する。そして、画像領域の重心Ｐ２と指示位置の平均値Ｐ１との差分（ズレ）が閾値以上（ズレが許容範囲内ではない）と判定された場合に、画像領域の重心Ｐ２と指示位置の平均値Ｐ１との差分が小さくなるように、指示位置特定部２９で使用する変換式のパラメータを修正する。
本例では、各操作オブジェクトの画像領域を示す領域情報をメモリに保持しており、当該領域情報に基づいて画像領域の重心Ｐ２を求めているが、各操作オブジェクトの画像領域の重心Ｐ２を示す座標値そのものをメモリに保持するようにしてもよい。

このように、パラメータ修正部３０は、操作オブジェクトを有する画像を用いた通常の入力操作の過程で、操作オブジェクトの画像領域の重心と当該操作オブジェクトに対する指示位置の座標値の平均値との比較により、自動的に変換式のパラメータを修正する。このため、キャリブレーション等の特別な処理を利用者に強いることなく、座標変換の適正化を図ることができる。

なお、指示位置の座標値をサンプリングする箇所は、座標変換を行う際の変換式のパラメータの数に応じて決まる。例えば、１つのパラメータに起因するズレであれば１箇所のズレの測定が必要であり、２つのパラメータに起因するズレであれば２箇所のズレの測定が必要である。具体的には、変換式の係数のみに起因するズレの場合（例えば、フォトダイオードが一次的にズレために、一次方向にのみ発生したズレ）は、１箇所のズレを測定し、その結果に基づいてパラメータの修正を行えば済む。図３の例では、９個の操作オブジェクト（“１”〜“９”の数値キー）の各々についてズレを測定できるため、多数のパラメータについての修正が可能である。

図４には、パラメータ修正部３０による変換式のパラメータ修正に係る処理フローの例を示してある。
パラメータ修正部３０は、指示位置特定部２９により指示物Ｆによる指示位置が特定された場合に、指示位置特定部２９から当該指示位置を示す座標値を取得する（ステップＳ１）。
次に、投影画像は操作オブジェクトを含むか否かを判定する（ステップＳ２）。

ステップＳ２において、投影画像は操作オブジェクトを含まないと判定された場合には、処理を終了する。
一方、ステップＳ２において、投影画像は操作オブジェクトを含むと判定された場合には、指示位置特定部２９から取得した座標値に基づいて、操作オブジェクトに対する操作か否かを判定する（ステップＳ３）。

ステップＳ３では、例えば、取得した座標値が操作オブジェクトの画像領域内に含まれる場合に、当該操作オブジェクトに対する操作と判定する。また、操作オブジェクトの画像領域を或る程度拡張した拡張領域内に座標値が含まれる場合に、当該操作オブジェクトに対する操作と判定してもよい。なお、取得した座標値を拡張領域内に含む複数の操作オブジェクトが存在する場合には、予め定められた基準により１つの操作オブジェクトを選択すればよい。すなわち、例えば、取得した座標値との距離が最も近い操作オブジェクトに対する操作と判定すればよい。

ステップＳ３において、操作オブジェクトに対する操作ではないと判定された場合には、処理を終了する。
一方、ステップＳ３において、操作オブジェクトに対する操作であると判定された場合には、指示位置特定部２９から取得した座標値を当該操作オブジェクトに対応付けて蓄積する（ステップＳ４）。すなわち、対象の操作オブジェクトについてのサンプルデータとして今回の座標値を追加する。

次に、対象の操作オブジェクトについてのサンプルデータに基づいて、当該操作オブジェクトに対する操作と判断された座標値の平均値を求める（ステップＳ５）。
その後、対象の操作オブジェクトの画像領域の重心と当該操作オブジェクトについて算出した平均値とを比較して、これらの誤差（差分）が許容範囲内（所定の閾値未満）であるか否かを判定する（ステップＳ６）。

ステップＳ６において、誤差が許容範囲内であると判定された場合には、処理を終了する。
一方、ステップＳ６において、誤差が許容範囲内ではないと判定された場合には、誤差が小さくなるように、指示位置特定部２９で使用する変換式のパラメータを更新（修正）する（ステップＳ７）。

図５には、操作オブジェクトを有する画像の例を示してある。
図５（ａ）は、“１”〜“９”の数値キー等を模した複数の操作オブジェクトを有するテンキー画像の例である。また、図５（ｂ）は、“Ａ”〜“Ｚ”のアルファベットキー等を模した複数の操作オブジェクトを有するキーボード画像の例である。また、図５（ｃ）は、機能毎にその処理内容を表象した図柄を有する複数の操作オブジェクト、および、“戻る”や“次へ”といったボタン形式の複数の操作オブジェクトを有する操作メニュー画面の例である。
これらは、プロジェクタ１の操作に通常使用される画像の例であり、操作の対象となる複数の操作オブジェクトを画像内に分散して配置してある。このため、操作オブジェクト毎に、その操作オブジェクトに対するものと推定される指示位置の座標値を収集して、変換式が有する多次元のパラメータの修正に用いることで、画像の投影で生じる台形歪等を考慮した座標補正の適正化を自動的に実施することが可能となる。

図６には、操作オブジェクトを有する画像の他の例を示してある。
同図の画像は、“はい”と“いいえ”の２つのボタン形式の操作オブジェクトを有する確認画面の例であり、図６（ａ）では画面中央、図６（ｂ）では画面左上、図６（ｃ）では画面左下に各操作オブジェクトの位置が変化している。すなわち、同じ処理内容の操作オブジェクトの位置を可変にすることで、ズレを測定する箇所数を増加させている。
このような操作オブジェクトの位置の変更は、必要に応じて行えばよい。例えば、一定の箇所でデータ（指示位置の座標値）を或る程度サンプリングするために、所定回数（例えば２０回）の指示操作があるまでは操作オブジェクトの位置の変更を行わず、所定回数の指示操作があった場合に操作オブジェクトの位置を変更する。
このように、画像内の一部にしか操作オブジェクトがない場合でも、その位置を適宜に変更することで複数の箇所でズレを測定することができ、変換式が有する多次元のパラメータを修正することが可能となる。

本発明は、例えば、レーザプロジェクタ等の画像表示装置の入力装置として利用することが可能である。また、他にも、パーソナルコンピュータ、携帯電話機、携帯情報端末等のあらゆる電子機器において、投影された操作用画像で利用者からの入力を受け付ける入力装置に利用することが可能である。

１：レーザプロジェクタ、 １１：緑色レーザ光源、 １２：２色レーザ光源、 １３：第１のビームスプリッタ、 １４：コリメートレンズ、 １５：スキャンミラー、 １６：第２のビームスプリッタ、 １７：第３のビームスプリッタ、 １８：レンズ、 １９：光検出器、 ２０：レーザパワー検出器、 ２１：レーザ制御部、 ２２：投影位置算出部、 ２３：ＣＰＵ、 ２４：ミラー制御部、 ２５：ミラードライバ、 ２６：受光部、 ２７：アンプ、 ２８：Ａ／Ｄ変換部、 ２９：指示位置特定部、 ３０：パラメータ修正部、 １００：机、 １０１：操作用画像、 ２００：壁、 ２０１：表示用画像、 Ｆ：指示物

Claims (6)

1. 操作の対象となるオブジェクトを含む画像をレーザ光の走査により投影面に表示する画像表示部と、
   前記投影面上に置かれた指示物によるレーザ光の反射光を受光する受光部と、
   前記受光部による反射光の受光結果に基づいて前記投影面上に置かれた指示物の位置を検出し、当該位置を補正して前記画像中のオブジェクトに対する指示位置を特定する位置特定部と、
   前記画像におけるオブジェクトの位置と当該オブジェクトについて前記位置特定部により特定された指示位置とのズレに基づいて、前記投影面上に置かれた指示物の位置を補正するパラメータを修正するパラメータ修正部と、
   を備えたことを特徴とする入力装置。
2. 前記パラメータ修正部は、前記画像におけるオブジェクトの重心の位置と当該オブジェクトに対する複数の指示位置の平均値との差分を求め、当該差分が小さくなるように、前記パラメータの修正を行う、
   ことを特徴とする請求項１に記載の入力装置。
3. 前記パラメータ修正部は、前記画像におけるオブジェクトの重心の位置と当該オブジェクトに対する複数の指示位置の平均値との差分が閾値以上の場合に、前記パラメータの修正を行う、
   ことを特徴とする請求項２に記載の入力装置。
4. 前記画像として、複数のオブジェクトを分散して配置した画像を用い、
   前記パラメータ修正部は、前記画像に含まれるオブジェクト毎に、前記画像におけるオブジェクトの位置と当該オブジェクトについて前記位置特定部により特定された指示位置とのズレを算出し、各オブジェクトについて算出したズレに基づいて前記パラメータの修正を行う、
   ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の入力装置。
5. 前記画像として、オブジェクトの位置を変更可能な画像を用い、
   前記パラメータ修正部は、前記画像に含まれるオブジェクトの位置毎に、前記画像におけるオブジェクトの位置と当該オブジェクトについて前記位置特定部により特定された指示位置とのズレを算出し、オブジェクトの各位置について算出したズレに基づいて前記パラメータの修正を行う、
   ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の入力装置。
6. 操作の対象となるオブジェクトを含む操作用画像をレーザ光の走査により第１投影面に表示する操作用画像表示部と、
   前記操作用画像に関連する表示用画像をレーザ光の走査により第２投影面に表示する表示用画像表示部と、
   前記第１投影面上に置かれた指示物によるレーザ光の反射光を受光する受光部と、
   前記受光部による反射光の受光結果に基づいて前記第１投影面上に置かれた指示物の位置を検出し、当該位置を補正して前記操作用画像中のオブジェクトに対する指示位置を特定する位置特定部と、
   前記操作用画像におけるオブジェクトの位置と当該オブジェクトについて前記位置特定部により特定された指示位置とのズレに基づいて、前記第１投影面上に置かれた指示物の位置を補正するパラメータを修正するパラメータ修正部と、
   を備えたことを特徴とする画像表示装置。