JP2015139087A - 投影装置 - Google Patents

Abstract

【課題】利用者の操作を低減して投影面に柔軟に投影画像を投影可能な投影装置を提供する。【解決手段】投影光を投影可能な領域を検出する投影可能領域検出手段３５と、前記投影可能領域検出手段が検出した前記領域のうち、歪みが補正された投影光を投影する投影範囲を設定する投影範囲設定手段３６と、前記投影範囲設定手段により設定された前記投影範囲に応じて、投影光データを補正する投影光データ補正手段３７と、を有する。【選択図】図３

Description

本発明は、投影光を投影する投影装置に関する。

投影面に対しプロジェクタの投影方向が傾いていても投影画像が台形などに変形しないように投影画像を予め補正しておくキーストン補正機能（台形歪み補正機能）が知られている。プロジェクタは、投影画像の形状を矩形から変形した後に投影画像を投影することによって、投影面では矩形の投影画像を投影することができる。

しかしながら、従来のプロジェクタは、投影画像のキーストン補正や、投影画像の拡大・縮小などは可能であるが、投影画像を柔軟に変更することは困難であった。

一方、利用者が希望する形状で投影画像を投影する技術が考案されている（例えば、特許文献１参照。）、特許文献１には、ユーザの操作に従って光を投影する投影範囲と光を投影しない非投影範囲を設定する投影範囲設定手段と、投影範囲設定手段により設定された投影範囲に光を投影するように投影光データを補正する投影光データ補正手段と、投影光データ補正手段により補正された投影光補正データの描画処理を行う投影光補正データ描画手段と、投影光補正データ描画手段により生成された投影光描画データを用いて光を投影する光投影手段と、を有する光投影装置が開示されている。

ところで、プロジェクタの大画面化・高精細化が進んでおり、投影面の一部に投影画像を投影しても利用者としては内容を把握することが可能になってきた。しかし、投影面として広い平面を確保できない場合、従来のプロジェクタでは投影面を柔軟に変更できないために、投影面の一部に投影画像を投影するには、利用者がプロジェクタの設置場所を正しく変更しなければならない。

また、プロジェクタの投影画像に対するニーズとしては、投影画像の２画面化やマルチ画面化も存在する。これは、１台のプロジェクタで複数の画像を投影することにより、プロジェクタの台数を削減したり、コストを削減したいというニーズである。しかし、この場合も、２画面分の平坦な投影面を確保できなければ、利用者は複数の画像を投影可能であるというプロジェクタの機能を活かすことができなった。

したがって、大画面・高精細なプロジェクタ又はマルチ画面を投影可能なプロジェクタを使用する利用者としては、全てが１つの平面でない投影面に、投影後に矩形になるように１つ以上の投影画像を柔軟に投影できることが好ましいと考えられる。

しかしながら、特許文献１に記載された光投影装置では、投影画像の形状を変更できるとしても利用者が投影領域を指定しなければならないという問題がある。また、特許文献１に記載された光投影装置を含め従来のプロジェクタでは、このようなニーズに応えることは困難であるという問題がある。

本発明は、上記課題に鑑み、利用者の操作を低減して投影面に柔軟に投影画像を投影可能な投影装置を提供することを目的とする。

本発明は、投影光を投影する投影装置であって、投影光を投影可能な領域を検出する投影可能領域検出手段と、前記投影可能領域検出手段が検出した前記領域のうち、歪みが補正された投影光を投影する投影範囲を設定する投影範囲設定手段と、前記投影範囲設定手段により設定された前記投影範囲に応じて、投影光データを補正する投影光データ補正手段と、を有することを特徴とする。

利用者の操作を低減して投影面に柔軟に投影画像を投影可能な投影装置を提供することができる。

本実施形態の投影装置による画像補正について説明する図の一例である。 投影装置の構成図の一例である。 画像処理部の機能を説明するブロック図の一例である。 画像処理部が投影画像データを補正する手順を示すフローチャート図の一例を示す。 投影面までの距離と投影画像の関係を説明する上面図の一例である。 キーストン補正された場合の投影画面について説明する図の一例である。 投影可能範囲検出部による距離データを用いた投影可能範囲の検出について説明する図の一例である。 距離画像のうち矩形領域abdeの座標を説明する図の一例である。 投影可能範囲検出部が投影可能範囲を検出する手順を示すフローチャート図の一例である。 距離画像から検出された平面（投影可能範囲）を三次元空間で示す図の一例である。 投影範囲設定部が投影範囲を設定する手順を示すフローチャート図の一例である。 設定された投影範囲、及び、台形歪みを補正するために変形された投影範囲の一例をそれぞれ示す図である。 投影範囲の補正について説明する図の一例である。 投影画像データの補正を模式的に説明する図の一例である。 投影装置が補正投影画像データを平面でない壁に向かって投影した場合の投影例を説明する図の一例である。

以下、本発明を実施するための形態について図面を参照しながら説明する。
図１は、本実施形態の投影装置による画像補正について説明する図の一例である。２つの壁が作るコーナーに向けて投影装置が配置されている。
I．まず、投影装置は投影面に投影された投影画像までの距離データを取得する。
II．例えば、撮影手段により投影画像を撮像し画素毎に距離データが含まれる距離画像を取得する。距離画像は投影画像とほぼ同じ範囲が撮像されている。
III．距離画像の距離データを解析して壁に相当する平面を検出する。
IV．各平面から投影画像データと同じアスペクト比（図では１６：９）の投影範囲を検出する。
V．距離データを利用して投影面で台形歪みが補正されるように投影範囲を補正する。この補正された投影範囲に投影画像データをマッピングする。なお、補正された投影範囲以外の画素には例えば黒画素が設定される。

以上のような処理により、投影面が平坦でなくても、距離データにより投影面から複数の平面を検出することで、それぞれの平面に投影される画像画像データを適切に補正できる。

また、複数の面が検出されるので、１台の投影装置が複数の同じ投影画像を投影したり、異なる投影画像を投影するマルチ画面に対応することもできる。これにより、プロジェクタの台数を削減し、コストを削減できる。

以下の説明において、本実施形態で使用される用語について定義しておく。
投影画像データ：投影される画像データ（画像データはなくてもよくこの場合、投影画像は投影光となり、投影画像データは投影光データとなる。）
投影画像 ：投影画像データが平面などに投影された表示物
投影可能範囲 ：距離データから解析された平面のうち投影が適切な面
投影範囲 ：投影可能範囲のうち投影画像データと同じアスペクト比の範囲
補正された投影範囲 ：歪み補正のために補正された投影範囲
補正投影画像データ ：補正された投影範囲にマッピングされた投影画像データ
〔構成例〕
図２は、投影装置の構成図の一例を示す。投影装置１００は、画像信号入力部２１、データ通信部２２、画像データ記憶部２３、画像処理部２４、画像投影部２５、モータ制御部３０、モータ３１、光学系３２、距離検出部２８、制御部３４、操作部２９及びＲＯＭ３３を有している。データ通信部２２と画像信号入力部２１は共に、投影される画像データを入力するための入力部である。データ通信部２２はＬＡＮやＵＳＢケーブルを介してデジタル信号の画像データ（例えばＪＰＥＧ，ＭＰＥＧ２、Ｈ．２６２、ＧＩＦなどのフォーマット）を受信する。通信方法は、有線通信又は無線通信のいずれでもよい。無線通信を利用する場合、無線ＬＡＮの他、Bluetooth（登録商標）、ＮＦＣ通信、TransferJetなど、どのような通信規格を利用してもよい。

また、画像信号入力部２１は、Ｄ−Ｓｕｂ端子、コンポジット端子などのアナログの映像信号を入力するための入力部又はＤＶＩ−Ｄ、ＨＤＭＩ（登録商標）などのデジタルの映像信号を入力するための入力部である。画像信号入力部２１はこれらの映像信号をＪＰＥＧなどの所定のフォーマットの画像データに変換する。画像データ記憶部２３は、画像データを記憶するメモリやバッファと呼ばれる記憶手段である。

本実施形態では、画像信号入力部２１及びデータ通信部２２の両方から画像データを取得可能である。または、画像信号入力部２１又はデータ通信部２２の少なくとも一方が複数存在し、複数の画像データを取得可能である。これにより、投影装置は、異なる画像データを同時に投影することができる。

制御部３４は、投影装置１００の全体を制御する。制御部３４は、ＣＰＵ、ＲＡＭ、割り込みコントローラ、入出力Ｉ／Ｆなどを備えたマイコンであり、ＲＯＭ３３に記憶されたプログラムを実行する。制御部３４は、利用者が投影画像を投影するための操作を操作部２９に入力すると、投影画像の投影を開始する。

画像処理部２４は、画像データに後述する投影画像データの補正処理を行う。画像処理部２４はスケーリング処理部２６とキーストン補正部２７と接続されており、これを用いた画像処理を行うこともできる。画像処理部２４は、ＩＣなどにより実装されていてもよいし、制御部３４がプログラムを実行することでソフトウェアにより実現される機能でもよい。

スケーリング処理部２６は、画像投影部２５の解像度に合わせて投影画像データをスケーリングする。例えば、投影画像データが1920×1200で、画像投影部２５の解像度が1024×768の場合、投影画像データを1024×768の解像度に変更する。

キーストン補正部２７は、直方体や正方形以外の矩形に歪んだ投影画像が矩形になるように投影画像データを変形する。キーストン補正部２７は、４ ： ３や１６：９等の特定のアスペクト比を有する投影画像の範囲を示すパターン画像（ひし形、平行四辺形、台形などに歪んでいる）を生成して、投影画像データをパターン画像の形状に変形する。これにより平面に投影された投影画像は矩形となる。

画像投影部２５は、例えば所定の投影方式により投影画像データを光に変換して投影する。投影方式としては、マイクロミラーを使用するＤＬＰ方式、透過型液晶を使用するＬＣＤ方式、反射型液晶を使用するＬＣＯＳ方式などがある。本実施形態では投影方式はどのようなものでもよい。

投影装置１００は変倍機能を有しており、制御部３４はモータ制御部３０に対し設定された倍率に応じた制御信号を出力する。モータ制御部３０は、光学系３２のレンズを光軸方向に移動可能なモータ３１を制御し、レンズ位置を決定することで設定された倍率に投影画像を拡大・縮小する。

距離検出部２８は、投影画像が投影される対象物との距離を検出する。距離は、好ましくは画素毎に検出されるが、所定の画素ブロック毎に検出してもよい。解像度が高くなると画素間の距離の違いはわずかになるためである。距離データの取得を画素ブロック毎とすることで、処理負荷を低減できる。距離検出部２８としては、例えばステレオカメラ、タイム・オブ・フライト方式による距離を検出可能なカメラ、レーザーレーダーなどがある。

ステレオカメラにより距離を検出するには２つの画像をブロックマッチングして視差を算出し、焦点距離や基線長などから距離を算出する。画素又は画素ブロックに距離データが含まれる画像データを距離画像という。

なお、距離検出部２８は投影装置１００に固定されていてもよいが、着脱可能でもよい。着脱可能な場合、距離検出部２８はBluetooth、ＩＣ通信、赤外線通信、無線ＬＡＮなどの無線Ｉ／Ｆにより投影装置１００と通信し、距離情報を送信する。

操作部２９は、利用者の操作を受け付ける。操作部２９は、例えば、投影装置１００に配置されたハードキーである。また、リモコンによる操作を受け付けるため例えば赤外線受信部を有していてもよい。また、操作部２９として、投影装置１００が投影する操作メニューが用いられてもよい。この場合、投影装置１００は画像投影部２５から操作メニューを投影するので、利用者はハードキー又はリモコンでカーソルを移動させ決定キーを押下することで所望の操作を行うことができる。操作部２９は、縮小・拡大の変倍率、明るさ、キーストン補正の補正量の設定など各種の操作を受け付けることが可能である。なお、操作部２９が液晶表示部とタッチパネルを有し、タッチパネルから操作を受け付けてもよい。

ＲＯＭ３３にはプログラム４０が記憶されている。プログラム４０は、制御部３４のＣＰＵが実行するプログラムである。また、画像処理部２４がソフト的に実現される場合は、制御部３４が投影画像データを補正する補正処理を行うためのプログラムも含まれる。プログラム４０はデータ通信部２２を経由して不図示のサーバからダウンロードされてもよいし、メモリカードなどに記憶された状態で配布されてもよい。

〔機能と動作手順〕
図３は、画像処理部２４の機能を説明するブロック図の一例である。投影装置１００は、距離データなどを用いて投影装置１００が投影画像を投影可能な範囲を検出する投影可能範囲検出部３５と、投影可能範囲検出部３５から検出した投影可能範囲を用いて投影範囲を設定する投影範囲設定部３６と、投影範囲設定部３６により設定された投影範囲を用いて投影画像データを補正して補正投影画像データを作成する投影画像データ補正部３７と、を有する。

図４は、画像処理部２４が投影画像データを補正する手順を示すフローチャート図の一例を示す。

まず、投影可能範囲検出部３５は距離データを取得する(Ｓ１)。

次に、投影可能範囲検出部３５は距離データを用いて投影可能範囲を検出する（Ｓ２）。

次に、投影範囲設定部３６は投影可能範囲に投影画像データと同じアスペクト比の投影範囲を設定する（Ｓ３）。

次に、投影範囲設定部３６は、投影範囲に歪み補正を施す（Ｓ４）。

次に、投影画像データ補正部３７は投影画像データを補正された投影範囲にマッピングすることで補正投影画像データを作成する（Ｓ５）。
以下、図４に沿って説明する。

＜Ｓ１ 距離データの取得＞
図５（ａ）は、投影面までの距離と投影画像の関係を説明する上面図の一例である。図５（ａ）に示すように、投影装置１００はコーナー部５１に向けて投影画像を投影する。従って、投影画像は左の壁５２と右の壁５３に跨って投影される。

直線５４，５５は投影範囲の左端と右端をそれぞれ示している。左右の壁５２，５３の内側に描画された同心円は投影装置（例えば、光学系３２の最も外側のレンズ）を中心５６としている。同心円から明らかなように、投影装置１００から左右の壁５２，５３までの距離は一定でなく、コーナー部５１の奥に近づくほど距離が長くなっている。

図５（ｂ）は、画像を投影するために投影装置１００に入力される投影画像データの一例を示す。このように投影画像データはアスペクト比が決まった矩形の画像データである。投影画像は投影装置１００と壁５２，５３までの距離に応じて拡大される。

図５（ｃ）は、コーナー部５１に向けて投影された投影画像を示す図の一例である。投影装置１００から壁５２，５３までの距離が短いと投影画像データは小さく表示され、距離が長いと投画像は大きく表示される。したがって、図５（ｂ）の投影画像データを壁５２，５３に向かって投影すると、投影画像データの縦の長さは直線５４、５５の位置で最も短くなり、コーナー部５１で最も長くなる。

このため、何らかの補正を行わずに投影画像を壁に投影すると、投影画像は中心が大きく、両端にいくに従って小さく表示される。片側の壁だけに着目すると投影範囲が台形に変形されている。

図５のように、投影面に対し投影装置１００の光軸が垂直でない場合に生じる台形、ひし形、平行四辺形などへの歪みを、電子的にキャンセルする補正が台形歪み補正（キーストン補正とも言うがキーストン補正部２７によるキーストン補正と区別するため台形歪み補正という）である。投影装置１００が台形歪み補正を行う場合、投影画像が正しい形（投影画像データと同じアスペクト比の矩形）となるように、投影画像データを投影装置１００の内部にて補正し、補正投影画像データを生成する。

図６を用いて、台形歪み補正された場合の投影画面について説明する。図６（ａ）は図５（ａ）と同じ上面図である。図６（ｂ）は、投影画像データを左右に区切って、左右の投影画像のそれぞれに台形歪み補正が行われた投影画像データの一例を示す図である。台形歪み補正では台形歪みとは逆方向に投影画像データを歪ませておく。すなわち、投影装置１００からの距離が長い位置（例えばコーナー部５１）で壁に投影される画像が小さくなるように補正する。左右に区切られたそれぞれの投影画像データが台形歪み補正されることで、上下に三角形の切り欠きを有するような形状となる。

図６（ｃ）は、台形歪み補正された投影画像データがコーナー部５１に向けて投影された投影画像を示す図の一例である。図６（ｂ）のように補正された投影画像データを投影することにより、矩形の投影画像が得られる。

なお、図６（ｃ）の投影画像データの補正は後述する本実施形態の投影画像データの補正とは異なっているが、図６（ｃ）のように補正することも可能である。

投影装置１００がこのような台形歪み補正を行うためには、壁と投影装置１００の位置関係を正しく把握する必要がある。具体的には、壁５２と壁５３のコーナー部５１はどこか、壁５２の手前側と奥側の距離はどのくらいか、壁５３の手前側と奥側の距離はどのくらいか、などを検出する必要がある。本実施形態では、以下にて説明するように、これらに相当する情報を取得して、壁５２と５３にそれぞれ投影画像を投影することを可能にする。

図７は、投影可能範囲検出部３５による距離データを用いた投影可能範囲の検出について説明する図の一例である。同様に、投影装置１００は２つの壁のコーナー部５１に対し投影画像を投影している。

まず、投影装置１００が実際には存在しない平面な投影面に投影した場合、投影範囲は頂点abdeを結ぶ矩形領域となる。これに対し、２つの壁５２，５３が形成する非平面に投影された投影範囲は、頂点abcdefを結ぶ領域となる。

距離検出部２８は、少なくとも投影画像abcdefと同じ広さ以上の範囲の距離データを取得する。また、好ましくは、距離検出部２８は、投影画像abdeと同じ範囲で距離データを取得する。つまり、距離画像の画素は投影画像データの画素と対応するので、距離画像から求める投影範囲を投影画像データに設定できる。投影画像データと距離画像の解像度が異なってもよく、この場合は１つの距離画像の画素を複数の投影画像データの画素に対応づければよい。したがって、頂点abcdefを結ぶ領域は矩形領域となる。頂点abcdefを結ぶ領域は矩形領域は特許請求の範囲の投影予定範囲の一例である。

投影画像abcdefの全体が得られていなくても、投影画像abdeを検出することに平面を検出することは可能である。なお、距離画像から輝度値などを利用して投影画像abcdefを検出してもよい。

距離データの取得密度は、距離検出部２８の距離の検出原理などによって異なるが、投影画像データの補正に十分な取得密度（例えば、投影画像データの補正によりジャギーが見られない程度）を有している。例えば、距離検出部２８がステレオカメラの場合、画素毎に距離情報を取得できる。ＴＯＦカメラの場合は少なくとも１〜数画素に１つの距離情報を取得できる。また、距離検出部２８がレーザーレーダーの場合、レーザー光の照射方向の制御分解能に応じて距離情報を取得できる。

このように投影範囲の距離データが得られれば、次述するように平面を検出することができる。平面とは図７の場合は２つの壁５２，５３である。

＜Ｓ２ 投影可能範囲の検出＞
図８（ａ）は、距離画像のうち矩形領域abdeの座標を説明する図の一例であり、図８（ｂ）は、矩形領域abdeの距離データを模式的に説明する図の一例である。図８（ａ）の(x,y)は距離データが格納されている距離画像の座標を表す。ｘ座標は距離画像の水平方向の座標であり、ｙ座標は投影範囲の垂直方向の座標である。

図８（ｂ）に示すように、ｘ座標は１〜２３で、ｙ座標は１〜２０であるが、距離データはより細かく検出されてもよい。ｘ座標に沿って距離データを見ると、ｘ＝１４、１５で最も距離データが大きく、ｘ＝１又はｘ＝２３に近いほど距離データが小さくなっている。また、ｘ＝１４、１５、ｘ＝１付近、又は、ｘ＝２３付近でｙ座標に沿って距離データをみると、ほぼ一定である。

これらの距離データから、投影範囲の矩形領域abdeは垂直な２つの壁に跨っており、ｘ＝１４、１５で２つの壁が交差するコーナー部５１の最奥部があると推定できる。より詳細には、ｙ座標に沿った距離データがほぼ一定の複数のｘ座標が連続した範囲は平坦であると推定できる。一方、ｘ座標に沿った距離データが一様に増加又は減少しない場合（増加から減少、又は、減少から増加に転じる場合）、２つの平面のコーナーに到達したと判断できる。このことを利用すれば、距離データから平面を検出できる。

以下、詳細に説明する。投影可能範囲検出部３５は、距離データを解析して、投影面において連続した平面を検出する。連続した平面は投影可能範囲と判断される。具体的には、隣接した距離データを比較することによって判定できる。

まず、投影範囲の左上の頂点の座標を(1,1)とする。座標(1,1)の距離データは４０である。次に、座標(2,1)の距離データを参照すると、距離データは５０である。座標(1,1)と座標(2,1)は同じ距離ではないので、投影範囲のＸ軸方向は投影装置１００の光軸と垂直でないことがわかる。

一方、座標(1,1)の距離データである４０と、座標(2,1)の距離データである５０の２点をＸ軸方向に直線で近似すると、距離データをＺとして、
Ｚ = １０Ｘ + ３０
という一次式が得られる。

次に、座標(3,1)の距離データは６０となっており、先ほどの一次式「Ｚ = １０Ｘ + ３０」を満たすことがわかる。すなわち、座標(1,1)から座標(3,1)までは、Ｘ座標に比例して距離データが増大している。このことは、座標(1,1)から座標(3,1)の間の投影範囲は、直線であることが分かる。すなわち、投影範囲のＸ軸方向は投影装置１００の光軸と垂直ではないものの平面であることがわかる。

なお、座標(1,1)と座標(2,1)の距離データから求めた一次式「Ｚ = １０Ｘ +３０」を、座標（3,1）の距離データが満たすか否かはマージンをもって判定してもよい。平面であっても、誤差などにより距離データが完全に直線上に乗らない場合があるためである。

例えば、座標(1,1)における距離データが４０、座標(2,1)の距離データが５０、座標(3,1)の距離データが６１の場合、座標(3,1)の計算上の距離データである６０との差異はわずかなので、座標(3,1)も平面内にあると判断できる。例えば、マージンを±５％とする。座標(1,1)、(2,1)の距離データから求めた一次式の算出結果は６０なので、マージンは±３である。したがって、座標(1,3)の実際の距離データが、５７〜６３の場合、座標(1,1)から座標(3,1)までを結ぶ直線は平面状にあると判断することができる。

なお、マージンについては、予め定められていてもよいし、利用者が任意に設定できるようにしても良い。

座標(1,1)から座標(3,1)を結ぶ直線が平面状にある事が判明したら、同様の手法で座標(1,1)から座標(4,1)までを結ぶ直線が平面状にあるかも判定する。この処理を繰り返すことで、平面な範囲を検出する。

平面かどうかの検出先の座標の距離データが平面でない場合、該座標から別の平面の検出を開始する。

隣接画素の距離データが一次式の算出結果に対しマージン以上に異なる場合について説明する。図８（ｂ）の座標(15,1)と座標(16,1)の距離データを比較すると、Ｘ軸方向の距離データが等しくないため投影面に平行ではないことがわかる。次に、Ｘ軸方向の距離データが一次式で近似できるか否かを考える。座標(15,1)の距離データは１７０であるが、一次式の算出結果は１８０なので、マージン外であることが分かる。このため、座標(1,1)から(14,1)までを結ぶ平面と、座標(15,1)から(16,1)を結ぶ平面は別の平面であることがわかる。

なお、連続した平面か否かの判定では、一次式の算出結果と実際の距離データを比較するのでなく、一次式のパラメータを比較してもよい。例えば、座標(1,1)から(14,1)までは、隣接した座標の距離データに「Ｚ = １０Ｘ + ３０」の一次式が成立する。これに対し、座標(15,1)と座標(16,1)の距離データには「Ｚ = -２０ (Ｘ - １５) + １７０」 の一次式が成り立つ。比例係数もｙ切片も有意差以上に異なることから、座標(1,1)から(14,1)までを結ぶ平面と、座標(15,1)から(16,1)を結ぶ平面は別の平面であることがわかる。

図９は、投影可能範囲検出部３５が投影可能範囲を検出する手順を示すフローチャート図の一例である。図９の手順は、投影可能範囲検出部３５が距離データを取得することでスタートする。

まず、投影可能範囲検出部３５はＸ軸方向の距離データが等しいか否かを判定する（Ｓ１０）。

等しい場合（Ｓ１０のＹｅｓ）、投影範囲のＸ軸方向は投影装置１００に平行であると判断する（Ｓ２０）。

等しくない場合（Ｓ１０のＮｏ）、投影可能範囲検出部３５は、Ｘ軸方向の距離データを１次式で近似できるか否かを判定する（Ｓ３０）。

１次式で近似できた場合（Ｓ３０のＹｅｓ）、投影可能範囲検出部３５は、近似できた範囲では投影範囲のＸ軸方向は投影装置１００に平行でないが平面であると判断する（Ｓ４０）。

１次式で近似できない場合（Ｓ３０のＮｏ）、投影可能範囲検出部３５は、Ｘ軸方向に少なくとも平面でない部分があると判断する（Ｓ５０）。

次に、投影可能範囲検出部３５はＹ軸方向の距離データが等しいか否かを判定する（Ｓ６０）。

等しい場合（Ｓ６０のＹｅｓ）、投影範囲のＹ軸方向は投影装置１００に平行であると判断する（Ｓ７０）。

等しくない場合（Ｓ６０のＮｏ）、投影可能範囲検出部３５は、Ｙ軸方向の距離データを１次式で近似できるか否かを判定する（Ｓ８０）。

１次式で近似できた場合（Ｓ８０のＹｅｓ）、投影可能範囲検出部３５は、近似できた範囲では投影範囲のＹ軸方向は投影装置１００に平行でないが平面であると判断する（Ｓ９０）。

１次式で近似できない場合（Ｓ８０のＮｏ）、投影可能範囲検出部３５は、Ｙ軸方向に少なくとも平面でない部分があると判断する（Ｓ１００）。

次に、投影可能範囲検出部３５は、全ての距離データについて判断したか否かを判定する（Ｓ１１０）。

全ての距離データについて判断していない場合（Ｓ１１０のＮｏ）、次の距離データを参照してステップＳ１０からの処理を繰り返す。

全ての距離データについて判断した場合（Ｓ１１０のＹｅｓ）、図９の手順は終了する。

図１０は、距離画像から検出された平面（投影可能範囲）を三次元空間で示す図の一例である。検出された平面が（Ｘ，Ｙ，Ｚ）軸上に表示されている。Ｘ軸は距離画像の水平方向の座標、Ｙ座標は垂直方向の座標、Ｚ座標は距離データである。

図１０では、平面abcfと平面fcdeの２つの平面が距離画像内に検出されている。この２つの平面がそれぞれ投影可能範囲である。

なお、図１０では２つの平面が検出されているが、３つ以上の平面が検出される場合もある。また、図１０では水平方向に左右に平面が検出されているが、上下方向に検出される場合もある。

＜Ｓ３ 投影範囲の設定＞
続いて、投影範囲設定部３６による投影範囲の設定について説明する。投影範囲設定部３６は、投影可能範囲から、投影画像データと同じアスペクト比で投影画像を投影可能な範囲を決定する。

図１１は投影範囲設定部３６が投影範囲を設定する手順を示すフローチャート図の一例である。図１１の手順は、投影範囲設定部３６が、図１０のように座標で示された投影可能範囲を取得するとスタートし、１つの投影可能範囲毎に処理する。

まず、投影範囲設定部３６は、投影画像データのアスペクト比を確認する（Ｓ２１０）。本具体形態では１６：９と仮定する。

次に、投影可能範囲においてアスペクト比１６：９で表示できる最大領域を算出する（Ｓ２２０）。具体的には、図１０の平面abcdのＹ方向の長さとＸ方向の長さのうち、Ｘ方向の長さを１６とした場合に、９に相当するＹ方向の長さを確保できるか否かを判定する。Ｘ方向の長さは「１４−１＝１３」である。これを１６とすると、９に相当するＹ方向の長さは「（１３／１６）×９」である。Ｙ方向の長さは例えば２０なので、Ｘ方向の全体を使った１６：９のアスペクト比が最大領域である。

なお、１６：９の９に相当するＹ方向の長さを確保できない場合、Ｙ方向の長さを９とした場合に、１６に相当するＸ方向の長さを決定することで１６：９のアスペクト比の最大領域を決定する。

なお、最大領域の位置は、例えば平面abcdの上下方向又は左右方向の中央とすればよい。

次に、この最大領域における画素数を算出する（Ｓ２３０）。すなわち、最大領域のＸ方向の画素数とＹ方向の画素数の積を算出する。画素数が少ない場合、粗い投影画像となってしまうためである。なお、後述するように台形歪み補正が行われるため、最大領域の全ての画素を使用して投影することができないので、例えば最大領域の画素数に０．９（例えば９０％が使用される）を乗じてもよい。または、後述する図１１のように台形歪み補正後の画素数を算出してもよい。

そして、画素数が閾値以上か否かを判定する（Ｓ２４０）。なお、Ｘ方向の画素数とＹ方向の画素数のそれぞれを閾値と比較してもよい。

閾値以上でない場合（Ｓ２４０のＮｏ）、投影しても投影画像の品質が低いと判断して、着目した投影可能範囲は利用不可と判断する（Ｓ２７０）。すなわち、該投影可能範囲を平面又は投影範囲から除外する。

画素数が閾値以上の場合（Ｓ２４０のＹｅｓ）、投影範囲設定部３６は最大領域の画像を投影した場合の面積が閾値以上か否かを判定する（Ｓ２５０）。歪み補正された投影画像は長方形なので、平面abceのＸ方向の長さ「１４−１」とＹ方向の長さ「２０」をそれぞれ、投影面までの距離（Ｘ＝１の距離データ４０）で拡大すれば、投影画面のＸ方向の長さとＹ方向の長さが得られる。よって、投影面積は容易に求められる。

最大領域の画像を投影した場合の面積が閾値以上でない場合（Ｓ２５０のＮｏ）、投影しても利用者が視認性よく投影画像を見られないと判断して、着目した投影可能範囲は利用不可と判断する（Ｓ２７０）。

最大領域の画像を投影した場合の面積が閾値以上の場合（Ｓ２５０のＹｅｓ）、着目した投影可能範囲が利用可能と判断する（Ｓ２６０）。

投影範囲設定部３６は全ての平面について判断したか否かを判断する（Ｓ２８０）。

全ての平面について判断されていない場合（Ｓ２８０のＮｏ）、次の投影可能範囲を参照してステップＳ２１０以降の処理を行う（Ｓ２９０）。

＜Ｓ４ 投影範囲の歪み補正＞
図１２（ａ）は、設定された投影範囲の一例を示す図である。２つの投影可能範囲においてそれぞれ１６：９の投影範囲が確保されている。この投影範囲の全てに投影画像データが配置されると、投影面では台形歪みが生じるので、投影画像データには台形歪み補正が施される。

台形歪み補正の程度は、投影装置１００と投影面の傾きの大きさによって変わるので、投影範囲設定部３６は距離データを用いて投影範囲を補正する。

また、投影画像abdeと距離データの取得範囲は同じなので、図１２（ａ）の投影範囲は、投影画像データとそのまま対応する。したがって、距離画像の投影範囲の座標に基づき、投影画像データが格納される画像メモリの投影範囲に対応する範囲を特定できる。

図１３は投影範囲の補正について説明する図の一例である。図１３（ａ）は投影画像データを投影する投影素子のサイズと投影面における投影画像のサイズＨの関係を説明する図の一例である。投影素子の高さをｈとした。投影素子が作る画像は光学系で拡大されるが光学系の拡大率は固定又は既知である。また、投影画像は距離Ｌに応じて大きくなるが、その比例係数をαとする。αは既知である。
Ｈ＝α・Ｌ・ｈ
ｈは、本実施形態では、アスペクト比１６：９の９に相当する投影素子のサイズであるが、すでに投影範囲の画素数が求められているのでこの式からＨを算出できる。なお、図では高さ方向のサイズｈとＨを用いて説明しているが、横方向のサイズも比例係数αと距離Ｌの関係は同じである。

図１３（ｂ）は平面fcdeの距離データを模式的に示す図の一例である。Ｘ＝１５の距離データは約１７０、Ｘ＝２３の距離データは約１０である。したがって、平面fcdeの近傍の右端と、遠方の左端で距離が「１７０−１０」異なっている。

距離Ｌがｈに与える影響は、上式から「ｈ＝Ｈ／α・Ｌ」で表すことができるため、Ｌに「１７０−１０」を設定することで、台形歪みを修整するため、Ｘ＝１５ではどの程度ｈを小さくすればよいか算出できる。このようにして算出された、Ｘ＝１５における投影素子のサイズをｈ´とする。平面abcfについても同様にｈ´を算出できるため説明は省略する。

図１２（ｂ）は、台形歪みを補正するために変形された投影範囲の一例を示す図である。距離データが大きくなる平面abcfの右端、及び、距離データが大きくなる平面fcdeの左端では、高さ方向の投影画像データのサイズｈがｈ´に補正されている。これにより、投影面では、アスペクト比１６：９の投影画像が得られる。

＜Ｓ５ 投影画像データのマッピング＞
続いて、投影画像データの補正について説明する。投影画像データ補正部３７は画像データ記憶部２３から読み出す投影画像データを、投影範囲設定部３６が設定した投影範囲にもとづいて補正する。

図１４は、投影画像データの補正を模式的に説明する図の一例である。投影画像データと画像メモリは同じサイズであるとする。
(i)まず、設定された投影範囲外の画像メモリを黒の画素値などで塗りつぶす。白の画素値で置き換えてもよい。
(ii)投影範囲に対して、投影画像データの全体を縮小してマッピングする。マッピングには任意のアルゴリズムを使用すればよい。例えば、射影変換する。射影変換は例えば以下のように行う。投影範囲の座標を（ｕ，ｖ）、投影画像データの座標を（ｘ、ｙ）で表す。また、変換係数をａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈとして、ｕ，ｖをｘ、ｙで表す。
ｕ＝ｘ・ａ＋ｙ・ｂ＋ｃ-ｘ・ｇ・ｕ‐ｙ・ｈ・ｕ
ｖ＝ｘ・ｄ＋ｙ・ｅ＋ｆ−ｘ・ｇ・ｖ−ｙ・ｈ・ｖ
投影範囲の４つの頂点と投影画像データの４つの頂点が対応するので、それぞれ頂点の座標をｕ，ｖとｘ、ｙに代入して変換係数をａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出する。４つの頂点にｘ、ｙの２つの値があるので、８個の変換式が得られ、各変関係係数を決定できる。変換係数がわかれば、任意のｘ、ｙをｕ，ｖに変換できる。
(iii)黒の画素値と投影範囲にマッピングされた投影画像データが補正投影画像データである。補正投影画像データは画像投影部に出力される。

ここで、平面fcdeに設定された投影範囲に対しては、同じ投影画像データを縮小してマッピングしても良いし、別の投影画像データをマッピングしてもよい。別の投影画像データをマッピングすることで、１つの投影装置１００が異なる投影画像を同時に投影することができる。

また、投影画像データが１種類で投影領域が１箇所でよい場合は、投影範囲の大きい方にのみ投影画像データをマッピングすればよい。

〔平面距離補正が施された投影画像の例〕
図１５は、投影装置１００が補正投影画像データを平面でない壁に向かって投影した場合の投影例を説明する図の一例である。投影装置１００に平行でない２つの壁に跨って投影画像が投影されているが、投影画像データに平面距離補正が施されているので、２つの壁のそれぞれに矩形の投影画像を投影できる。

また、投影面を平面の数と同じ２箇所に増やすことができるので、投影の自由度を上げることができる。利用者は投影範囲を設定するなどの作業も不要である。

１つの投影装置１００で異なる複数の投影画像を投影するマルチ画面化に関しても、距離データから平面を見つけ出し、投影画像データを補正して投影することができる。

したがって、本実施形態の投影装置は、投影面が平坦でなくても、距離データにより投影面から複数の平面を検出することで、それぞれの平面に投影される画像画像データを適切に補正できる。

また、複数の面が検出されるので、１台の投影装置が複数の同じ投影画像を投影したり、異なる投影画像を投影するマルチ画面に対応することもできる。これにより、プロジェクタの台数を削減し、コストを削減できる。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、各平面を検出して投影可能範囲とするのでなく、辺を共有する複数の平面に、複数の平面の全体からアスペクト比を満たす投影可能範囲を検出してもよい（図６（ｃ））。各平面を検出した後、平面の端部のＸ座標を比較すれば２つの平面が辺を共有していることが分かる。そして、平面の座標に応じて投影画像データを区分して投影範囲に、マッピングすれば複数の平面に跨って１つの矩形の投影画像を投影できる。

２４ 画像処理部
２５ 画像投影部
２８ 距離検出部
２９ 操作部
３４ 制御部
３５ 投影可能範囲検出部
３６ 投影範囲設定部
３７ 投影画像データ補正部
１００ 投影装置

特許第4341723号公報

Claims (10)

1. 投影光を投影する投影装置であって、
   投影光を投影可能な領域を検出する投影可能領域検出手段と、
   前記投影可能領域検出手段が検出した前記領域のうち、歪みが補正された投影光を投影する投影範囲を設定する投影範囲設定手段と、
   前記投影範囲設定手段により設定された前記投影範囲に応じて、投影光データを補正する投影光データ補正手段と、
   を有することを特徴とする投影装置。
2. 前記投影可能領域検出手段は、距離情報検出手段が検出した投影光の投影予定範囲の距離情報を用いて、投影光を投影可能な前記領域を検出する、
   ことを特徴とする請求項１記載の投影装置。
3. 前記投影可能領域検出手段は、前記距離情報を用いて、前記投影予定範囲に存在する投影光の光軸に垂直な平面以外の、投影光の光軸に垂直でない平面を前記領域として検出する、ことを特徴とする請求項２記載の投影装置。
4. 前記投影可能領域検出手段は、前記投影予定範囲に存在する、投影光の光軸に垂直でない複数の平面を前記領域として検出する、ことを特徴とする請求項３記載の投影装置。
5. 前記投影範囲設定手段は、前記投影可能領域検出手段が検出した平面のうち、投影光を所定の品質以上で投影可能でない平面を除外する、
   ことを特徴とする請求項３又は４記載の投影装置。
6. 前記投影範囲設定手段は、前記投影可能領域検出手段が検出した平面のうち、投影される投影光の面積が閾値以下の平面を除外する、
   ことを特徴とする請求項５記載の投影装置。
7. 前記投影範囲設定手段は、前記投影可能領域検出手段が検出した平面のうち、投影される投影光の画素数が閾値以下の平面を除外する、
   ことを特徴とする請求項５又は６記載の投影装置。
8. 前記投影範囲設定手段は、前記投影可能領域検出手段が検出した平面のうち、投影光データと同じアスペクト比が確保される範囲を前記投影範囲に設定する、
   ことを特徴とする請求項３〜７いずれか１項記載の投影装置。
9. 前記投影範囲設定手段は、前記投影範囲のうち最も遠方の距離情報と最も近傍の距離情報の差を用いて前記投影範囲に台形歪み補正を施し、
   前記投影光データ補正手段は、台形歪みが施された前記投影範囲に投影光データをマッピングすることで投影光データを補正する、
   ことを特徴とする請求項８記載の投影装置。
10. 前記投影光データ補正手段は、台形歪みが施された複数の前記投影範囲のそれぞれに、同じ投影光データをマッピングすることで投影光データを補正するか、又は、異なる投影光データをマッピングすることで投影光データを補正し、
    補正された投影光データに基づく複数の投影光を同時に投影する、
    ことを特徴とする請求項９記載の投影装置。

Images