JP2010154461A - 投影画像変換器及びプロジェクタ装置 - Google Patents

Abstract

【課題】汎用性に富み、かつ精度よく投影画像の歪みを補正できるプロジェクタ装置１００又は、既存のプロジェクタ装置１００に後付け可能な投影画像変換器２００を提供する。
【解決手段】予め定められたパターン元画像を投影手段２が投影することによってスクリーン６上に表示されたパターン投影画像を、該投影手段２から偏位した複数の既知位置又は該投影手段２から偏位した既知位置での複数の既知姿勢でそれぞれ撮影する撮影手段３と、各パターン撮影画像に基づいて、投影手段２とスクリーン６との相対的な姿勢及び位置関係を推定算出する姿勢・位置推定部４１と、前記姿勢・位置推定部４１が推定算出した姿勢及び位置関係に基づいて、スクリーン６上での所望の投影画像を得るために必要な、投影の元画像に対する幾何変換情報を算出する変換情報算出部４２とを設けた。
【選択図】図２

Description

この発明は、スクリーン上に投影した画像の歪みを補正できる投影画像変換器及びプロジェクタ装置に関するものである。

プロジェクタ装置を用いてスクリーンに元画像を投影するとき、両者の位置関係によっては、元画像とスクリーンに投影された投影画像との間で投影歪みが発生する。元画像をドットマトリクス表示できるデジタル方式のプロジェクタ装置では、投影する元画像を幾何変形しておくことで投影歪みをキャンセルし、スクリーン上に意図した形状で映写することが可能である。

この投影歪みに対する従来技術としては、主に次の３種類が用いられている。
（１）スクリーン上の画像を目視しながら手動操作で歪み量を調整するもの
（２）予め定められた形状のチャートをスクリーンに貼り付けておき、既知の位置に設置したキャリブレーション済みのカメラで前記チャートを撮影することにより、プロジェクタ装置とスクリーンの相対位置関係を知り、画像の歪み量を算出するもの。
（３）プロジェクタ装置から既知の複数のドットを映写するとともに、映写された各ドットまでの距離をそれぞれ位相差センサを利用した測距手段で測定し、その測定結果からプロジェクタ装置とスクリーンとの相対位置関係を知り、画像の歪み量を算出するもの。
特開２００４−２６０７８５ 特開２００６−１３３６７９

しかしながら、（１）は手動方式であり、操作に慣れを必要とすることから、ユーザへの負担が大きい。

また、（２）はチャートをスクリーンに描画しておく必要があることから、専用のスクリーンが必要になるなど、実施に手間がかかる。これに対し、スクリーンの輪郭を前記チャートとみなして、チャート描画を不要にした例が特許文献１に記載されているが、背景との関係で輪郭を明確に測定できない場合があるうえ、異形状のスクリーンには対応できないなど、やはり汎用性の点で問題点がある。

さらに、（３）の場合は、その一例が特許文献２に記載されているが、別途測距手段が必要となる。また、この特許文献２に記載されている測距手段は、投影手段に隣接して設けてあり、視差を得にくいことから精度が低い。

本発明は、かかる問題点を鑑みてなされたものであって、その主目的は、専用のスクリーンが必要になるといったことなく、汎用性に富み、かつ精度よく投影画像の歪みを補正できるプロジェクタ装置又は、既存のプロジェクタ装置に後付け可能な投影画像変換器を提供することにある。

すなわち、本発明に係る投影画像変換器は、予め定められたパターン元画像を投影手段が投影することによってスクリーン上に表示されたパターン投影画像を、該投影手段から偏位した複数の既知位置又は該投影手段から偏位した既知位置での複数の既知姿勢でそれぞれ撮影する撮影手段と、前記撮影手段がパターン投影画像を複数位置又は複数姿勢でそれぞれ撮影したパターン撮影画像に基づいて、前記投影手段とスクリーンとの相対的な姿勢及び位置関係を推定算出する姿勢・位置推定部と、前記姿勢・位置推定部が推定算出した姿勢及び位置関係に基づいて、スクリーン上で所望の投影画像を得るために必要な、投影の元画像に対する幾何変換情報を算出する変換情報算出部とを具備していることを特徴とする。また、前記姿勢・位置推定部及び変換情報算出部としての機能を発揮する投影画像変換器用プログラムでもよい。

このようなものであれば、投影手段から予め定めたパターン元画像をスクリーンに投影し、そのパターン投影画像に基づいて投影手段とスクリーンとの相対的な姿勢及び位置関係を推定算出するので、汎用のスクリーンを用いることができる。また、撮影手段が投影手段から偏位した複数位置又は姿勢で撮影した複数のパターン撮影画像から投影手段とスクリーンとの相対的な姿勢及び位置関係を推定し、投影の元画像に対する幾何変換情報を算出するので、精度よく投影画像の歪み等を補正できる。

既存のプロジェクタ装置に装着することが容易な好適な具体的態様としては、前記撮影手段が、前記パターン投影画像をそれぞれ撮影できるように並べ設けた複数の撮影要素を具備し、前記投影手段を保持するケーシングの定められた位置に取り付け得るように構成したものを挙げることができる。

前記撮影手段のコストダウンを図るには、該撮影手段を単一の撮影要素からなるものにするとともに、前記投影手段を保持するケーシングに位置変更可能に取り付け、又は前記ケーシングの定められた位置に姿勢変更可能に取り付けて、複数の位置又は姿勢でそれぞれ前記パターン投影画像を撮影できるように構成しておけばよい。

また、本発明は、前記投影画像変換器としての機能を内蔵したプロジェクタ装置でも構わない。具体的には、元画像をスクリーンに投影する投影手段と、予め定められたパターン元画像を投影手段が投影することによってスクリーン上に表示されたパターン投影画像を、該投影手段から偏位した複数の既知位置又は該投影手段から偏位した既知位置での複数の既知姿勢でそれぞれ撮影する撮影手段と、前記撮影手段がパターン投影画像を複数位置又は複数姿勢でそれぞれ撮影したパターン撮影画像に基づいて、前記投影手段とスクリーンとの相対的な姿勢及び位置関係を推定算出する姿勢・位置推定部と、前記姿勢・位置推定手段が推定算出した姿勢及び位置関係に基づいて、前記元画像をスクリーン上で所望の投影画像が表示されるように幾何変換する元画像制御部とを具備しているプロジェクタ装置を挙げることができる。

このように構成した本発明によれば、投影手段から予め定めたパターン元画像をスクリーンに投影し、そのパターン投影画像に基づいて投影手段とスクリーンとの相対的な姿勢及び位置関係を推定算出するので、専用のスクリーンが不要で、汎用性に富んだものとなる。また、撮影手段が投影手段から偏位した複数位置又は姿勢で撮影した複数の撮影画像から投影手段とスクリーンとの相対的な姿勢及び位置関係を推定し、投影の元画像に対する幾何変換情報を算出するので、精度よく投影画像の歪み等を補正できる。

以下、本発明の実施形態を図面を参照して説明する。

＜第１実施形態＞
本実施形態に係るプロジェクタ装置１００は、図１に示すように、扁平な直方体形状をなすケーシング１と、ケーシング１の前面一端部に設けた開口に投影レンズが臨むように該ケーシング１に内蔵させた投影手段２と、ケーシング１の前面他端部に設けた開口に撮影レンズが臨むように該ケーシング１に内蔵させた撮影手段３と、該ケーシング１内に収容され、前記投影手段２や撮影手段３等を制御する制御手段４（図３に示す）とを具備したものである。

投影手段２は、図２に示すように、光源２１、元画像を描画する液晶パネル等のドットマトリクス表示可能なデジタル表示デバイス２２、及び投影レンズ２３を直列に並べ設けたものである。

撮影手段３は、例えばＣＣＤカメラやＣＭＯＳカメラ等のデジタルスチルカメラであり、図２に示すように、撮影レンズ及び撮像素子を二次元配列したエリアイメージセンサを具備したデジタル式のものである。そして本実施形態では、図２に示すように、この撮影手段３をレール等の案内機構５によって、ケーシング１に対して姿勢を維持したままスライド移動可能に保持させるとともに、そのスライド移動のためのねじ送り機構などの駆動手段（図示しない）を設けている。なお、ここでのスライド移動方向は、投影の光軸に垂直かつ互いに直交する２方向に設定してある。

制御手段４は、メモリ、ＣＰＵ、Ｉ／Ｏチャネル、ドライバ回路などを具備したいわゆる制御用コンピュータであり、前記メモリに予め格納した所定のプログラムにしたがって前記ＣＰＵやその周辺機器が協働することにより、図３に示すように、姿勢・位置推定部４１、変換情報算出部４２、パターン元画像出力部４３、画像データ受付部４４、元画像制御部４５、撮影手段駆動部４６等としての機能を発揮する。

次に、このように構成したプロジェクタ装置１００の動作につき、前記各機能部の説明も兼ねて、以下に詳述する。

まず、前記パターン元画像出力部４３が、前記メモリの所定領域に予め格納したパターン元画像データを取得し、これを元画像制御部４５に出力する。元画像制御部４５は、このパターン元画像データを受け取って、投影手段２のデジタル表示デバイス２２を駆動し、該デジタル表示デバイス２２にパターン元画像を表示させる。

そうすると、このパターン元画像が拡大されてスクリーン６に投影される（スクリーン６に投影された画像を、以下パターン投影画像と言う）。パターン元画像は、２次元画像であって、パターン投影画像を撮像手段で撮像したときに、座標点を特定できる必要がある。ここでは、パターン元画像を、図４に示すように、縦横に均等に並んだ格子点状のものとしているが、白黒の市松模様や十字線等でも構わない。特に白黒の市松模様であれば、認識が容易となるため好ましい。

次に、撮影手段３が、前記パターン投影画像を撮影する。このとき、撮影手段駆動部４６が、撮影手段３を投影の光軸に垂直な面内で２次元的に、より具体的には、互いに直交する２方向に沿って、複数の位置に移動させ、撮影手段３が各位置でのパターン投影画像をそれぞれ撮影する。なお、前記各位置は予め定められているか、あるいは測定されており、投影手段２に対する相対位置は既知である。また、撮影画像数、つまり撮影手段３を移動させる位置の数は、多ければ多いほど後述する演算の精度が高まるが、多すぎると演算時間やデータ格納量が多くなる。演算精度と演算時間等とのトレードオフを考えると、６つ前後の撮影画像数が最も好ましい。

そして、パターン投影画像の撮影画面上での座標情報に基づいて、姿勢・位置推定部４１が、前記投影手段２とスクリーン６との相対的な姿勢及び位置関係を推定算出する。その推定算出の手順一例について以下に詳述する。

このような撮影手段スライド方式における投影手段２、スクリーン６、撮影手段３の位置関係を模式的に描くと図５のようになる。

投影手段２の投影中心を(0,0,0)、正規化された投影画像の座標を(i,j)とする。スクリーン面はax+by+z=dとする。また、撮影手段３は(l_x,l_y)の位置にあり、正規化された投影面及び撮影面はz=1にあるとする。

投影画像のスクリーン６上での座標(x,y,z)は、媒介変数tを用いて下記の式（数１）のように表される。

これとスクリーン６の面（ax+by+z=c）との交点(x,y,z)を求めると、次の式（数２）のようになる。

これを以下の式（数３）を用いて、撮影画面上の座標に射影変換する。

よって、以下の式（数４）が導かれる。

これをパターン上のN点について書き下すと、
となり、スクリーン６のプロジェクタ装置１００（より正確には投影手段２）に対する傾き及び位置を求めることができる。

撮影手段３を平行移動(Shift)することは(l_x,l_y)を変更することに相当する。(l_x,l_y)を変化させてＫ枚撮影した場合、式（数６）の右辺第１項は３行ＫＮ列の行列、第２項はＫＮ行のベクトルとなる。キャリブレーション、つまり撮影手段３の投影手段２に対する位置決めが正確に行われていれば、複数枚の撮影により精度が向上する。

なお、ここで†は疑似逆行列を表し、行列Aの擬似逆行列A†は次のように定義される。
ｍ行ｎ列である行列Ａに対して

次に、このように姿勢・位置推定部４１が推定算出したスクリーン６の投影手段２に対する傾き及び位置に基づいて、変換情報算出部４２が、スクリーン６上で正規の投影画像を得るために必要な、投影の元画像に対する幾何変換情報を算出し、メモリの所定領域に格納する。正規の投影画像とは、元画像との縦横比が略等しく拡大又は縮小された、略歪みのない画像のことである。この幾何変換情報の算出に関しては、当業者であれば既知であるので、ここでの説明は省略する。

その後、例えば、スクリーン６に投影したい画像データが、例えば別のコンピュータから送信されてくると、その画像データを、前記画像データ受付部４４が受け付け、元画像制御部４５が、前記受け付けた画像データを、前記幾何変換情報を参照して変換し、その変換した画像データに基づく画像を表示デバイス２２に表示させる。この変換に関しても当業者であれば既知であるので、ここでの説明は省略する。

しかして、かかる構成により、どのように投影画像が変化するのか、その効果を、実例で説明する。

図６はスクリーン６に対して斜め方向から元画像として自然画像を幾何変換することなく投影した場合の模式図である。元画像は長方形であっても投影後は大きく歪んでいることが分かる。

図７は自然画像の代わりにパターン元画像を投影したものである。これをケーシング１内の撮影手段３で撮影すると図８のようになる。投影手段２と撮影手段３の視差により、パターン投影画像が長方形からわずかにずれて観察される。

更に撮影手段３を初期位置から第２位置にスライド移動して撮影した画像が図９である。スライド移動量は既知であるので、パターン投影画像中から各格子点の位置を抽出することでスクリーン６のプロジェクタに対する姿勢を知ることができる。

図１０は出力画像に適切な幾何変換を施してから画像を投影した模式図である。プロジェクタの位置は図１と同じであるが、スクリーン６上の画像はほとんど歪んでおらず、極めて精度よく正規画面が投影されていることが確認できる。

＜第２実施形態＞
この第２実施形態に係るプロジェクタ装置１００は、第１実施形態のものとほぼ同じであるが、構成としては、図１１に示すように、撮影手段３がケーシング１に対して姿勢変更可能に設けられた点のみが異なる。また、前記案内機構は回転座機構５’などとなる。そして、このときの投影手段２、スクリーン６、撮影手段３の位置関係を模式的に描くと図１２のようになる。

次に、このような撮影手段回転方式（PanTilt方式）における前記姿勢・位置推定部４１の動作について、以下に詳述する。

投影手段２の投影中心を(0,0,0)、正規化された投影画像の座標を(i,j)とする。スクリーン６はax+by+z=dとする。また、撮影手段３は(l_x,l_y)の位置にあり、投影手段２の正規化された投影面からの傾きをθとし、撮影画面と主点との距離は１とする。

投影画像のスクリーン６上での座標は、媒介変数tを用いて下記の式（数９）のように表される。

これとスクリーン６の面（ax+by+z=c）との交点(x,y,z)を求めると、次のようになる。

これを撮影画面での座標に変換する。
ここでr_mnは回転行列、l_x,l_y,l_zは投影手段２の投影中心に対する撮影手段３の主点座標である。

これを撮影画面での座標に射影変換すると、以下の式（数１２）のようになる。

これらを解くと、スクリーン情報(a,b,c)が得られる。また、前記第１実施形態で述べたスライド方式と同様に、角度を変えて複数枚撮影することでより精度を高めることができる。

＜他の実施形態＞
なお、本発明は前記実施形態に限られるものではない。
例えば、前記各実施形態では、撮影位置又は姿勢が異なる複数の撮影画像を取得するために、撮影手段３を移動可能に構成していたが、撮影手段３として、図１３に模式的に示すように、前記パターン投影画像をそれぞれ撮影できるように２次元的に並べ設けた複数の撮影要素３ａを具備したものにしてもよい。ここでの撮影要素３ａとは、それぞれがイメージセンサ及びレンズを具備したものであり、単独で投影画像を撮影できるものである。このようなものであれば、撮影手段３を移動させずとも、各撮像要素３ａによって、撮影位置の異なるパターン投影画像をそれぞれ撮影できる。

また、このような撮影手段３であれば、既存のプロジェクタ装置１００に別個に取付可能な投影画像変換器２００を構成することもできる。この場合、撮影手段３に、所定の取付機構を設け、既存のプロジェクタ装置１００のケーシング１における特徴的な部分であって投影手段から可及的に離間した部位に、位置決めして着脱可能に取り付けられるようにしておけばよい。このことにより、撮影手段３の投影手段２に対する位置情報を予め設定しておくことができる。また、ソフトウェアとしては前記姿勢・位置推定部４１、パターン元画像出力部４３、変換情報算出部４２などに相当するプログラムをＣＤやＲＯＭなどの不揮発性の記録媒体に格納することで、この投影画像変換器２００に具備させておき、既存のプロジェクタ装置１００に設置する場合には、そのプログラムをプロジェクタ装置１００の制御手段に追加でインストールできるようにしておけばよい。

さらに、前記実施形態において、姿勢・位置推定部４１が推定算出したスクリーン６の投影手段２に対する傾き及び位置情報を、投影歪みをキャンセルするために用いたが、任意の歪み状態を再現するために用いることもできるし、姿勢情報を数値・またはアイコンなどで表示することも可能である。
加えて、撮影手段の移動は、スライド移動と回転移動(PanTilt)を単独で用いても良いし、それらが複合しても構わない。またプロジェクタ装置とは、画像を何らかのスクリーンに投影できるものであればよく、プロジェクタ機能を有する端末なども含まれる。いわゆる狭義でのプロジェクタに限られるものではない。
その他、本発明はその趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。

本発明の第１実施形態及び第２実施形態に係るプロジェクタ装置の外観図。 前記第１実施形態における撮影手段と投影手段を示す模式図。 前記第１実施形態における制御手段の機能ブロック図。 前記第１実施形態における表示デバイスに表示されるパターン元画像の一例を示す模式図。 前記第１実施形態における撮影手段、ケーシング、スクリーンの位置関係を示すとともに、演算の説明を補助する位置関係図。 スクリーンに対して斜めに配置されたプロジェクタ装置から自然画像を投影した模式図。 図６と同条件でパターン元画像を、幾何変換することなく投影した模式図。 図７と同条件でプロジェクタ装置におけるケーシング内の撮影手段からパターン投影画像を撮影した模式図。 図７と同条件で撮影手段を移動してパターン投影画像を撮影した模式図（移動前後の２枚の画像を合成してある）。 前記第１実施形態の作用を示すものであって、パターンの撮影結果を元に、自然画像を幾何変形してから投影した模式図。 本発明の第２実施形態における撮影手段と投影手段を示す模式図。 前記第２実施形態における撮影手段、ケーシング、スクリーンの位置関係を示すとともに、演算の説明を補助する位置関係図。 本発明の他の実施形態における投影画像変換器、撮影手段等を示す外観図。

符号の説明

１００・・・プロジェクタ装置
２００・・・投影画像変換器
２・・・投影手段
３・・・撮影手段
４１・・・姿勢・位置推定部
４２・・・変換情報算出部
６・・・スクリーン

Claims (5)

1. 予め定められたパターン元画像を投影手段が投影することによってスクリーン上に表示されたパターン投影画像を、該投影手段から偏位した複数の既知位置又は該投影手段から偏位した既知位置での複数の既知姿勢でそれぞれ撮影する撮影手段と、
   前記撮影手段がパターン投影画像を複数位置又は複数姿勢でそれぞれ撮影したパターン撮影画像に基づいて、前記投影手段とスクリーンとの相対的な姿勢及び位置関係を推定算出する姿勢・位置推定部と、
   前記姿勢・位置推定部が推定算出した姿勢及び位置関係に基づいて、スクリーン上での所望の投影画像を得るために必要な、投影の元画像に対する幾何変換情報を算出する変換情報算出部とを具備していることを特徴とする投影画像変換器。
2. 前記撮影手段は、前記パターン投影画像をそれぞれが撮影できるように並べ設けた複数の撮影要素を具備したものであり、該撮影手段を、前記投影手段を保持するケーシングの定められた位置に取り付け得るように構成してある請求項１記載の投影画像変換器。
3. 前記撮影手段が、単一の撮影要素を具備したものであり、該撮影手段を、前記投影手段を保持するケーシングに位置変更可能に取り付け、又は前記ケーシングの定められた位置に姿勢変更可能に取り付けて、複数の位置又は姿勢でそれぞれ前記パターン投影画像を撮影できるように構成してある請求項１記載の投影画像変換器。
4. 元画像をスクリーンに投影する投影手段と、
   予め定められたパターン元画像を投影手段が投影することによってスクリーン上に表示されたパターン投影画像を、該投影手段から偏位した複数の既知位置又は該投影手段から偏位した既知位置での複数の既知姿勢でそれぞれ撮影する撮影手段と、
   前記撮影手段がパターン投影画像を複数位置又は複数姿勢でそれぞれ撮影したパターン撮影画像に基づいて、前記投影手段とスクリーンとの相対的な姿勢及び位置関係を推定算出する姿勢・位置推定部と、
   前記姿勢・位置推定手段が推定算出した姿勢及び位置関係に基づいて、前記元画像をスクリーン上で所望の投影画像が表示されるように幾何変換する元画像制御部とを具備していることを特徴とするプロジェクタ装置。
5. 予め定められたパターン元画像を投影手段が投影することによってスクリーン上に表示されたパターン投影画像を、該投影手段から偏位した複数の既知位置又は該投影手段から偏位した既知位置での複数の既知姿勢でそれぞれ撮影する撮影手段とともに用いられるものであって、
   前記撮影手段がパターン投影画像を複数位置又は複数姿勢でそれぞれ撮影したパターン撮影画像に基づいて、前記投影手段とスクリーンとの相対的な姿勢及び位置関係を推定算出する姿勢・位置推定部と、
   前記姿勢・位置推定部が推定算出した姿勢及び位置関係に基づいて、スクリーン上での所望の投影画像を得るために必要な、投影の元画像に対する幾何変換情報を算出する変換情報算出部としての機能をコンピュータに発揮させることを特徴とする投影画像変換プログラム。