JP2009111813A - プロジェクタ、プロジェクタにおける画像データ取得方法及び撮像装置 - Google Patents

Abstract

【課題】プロジェクタを投射面に近接した状態で投射を行うような場合、プロジェクタに設けられた撮像装置から出力される撮像画像データを効率よくかつ適切に取得する。
【解決手段】画像を投射面に投射する画像投射部１０と、前記投射面に投射された投射画像を撮像する撮像素子２１とを有し、前記撮像素子２１によって取得される撮像画像に基づいて画像補正を行う機能を有するプロジェクタであって、前記撮像素子２１によって取得される撮像画像の解像度が当該撮像画像の各領域に応じた解像度となるように前記撮像素子２１が複数の部分領域撮像素子によって構成される。
【選択図】図１

Description

本発明は、投射画像を撮像する撮像素子によって取得される撮像画像に基づいて画像補正を行う機能を有するプロジェクタ、プロジェクタにおける画像データ取得方法及び撮像装置に関する。

プロジェクタを用いて投射面としてのスクリーンに画像を表示させる際、プロジェクタとスクリーンとの相対的な位置関係により、スクリーン上の投射画像に台形歪みが生じることがある。このため、プロジェクタにはこのような台形歪みを補正するためのキーストーン補正機能が備えられているのが一般的であり、キーストーン補正に関する技術はこれまでに種々提案されている（例えば、特許文献１及び特許文献２参照）。

特開２００４−２０８０８９号公報 特開２００６−５５３４号公報

上述した特許文献１に開示された技術（以下、第１従来技術という）および特許文献２に開示された技術（以下、第２従来技術という）は、プロジェクタに設けられた撮像装置が有する撮像素子によって、スクリーンに投射された投射画像を撮像し、撮像素子によって取得された撮像画像に基づいて台形歪み補正を行うものであり、台形歪み補正を行う手法としてそれぞれ有効な技術であると考えられる。

ところで、最近では、狭い会議室でのプレゼンテーションや店舗のショーウインドウなど狭い空間で使用可能な超短焦点型プロジェクタが存在する。
図７は超短焦点型プロジェクタの使用状態の一例を示す図である。図７に示すように、超短焦点型プロジェクタ（以下では単にプロジェクタという）ＰＪは、スクリーンＳＣＲに対して近接した状態で設置して使用する。このような状態で、スクリーンＳＣＲ上の投射画像をプロジェクタＰＪに設けられた撮像装置２０で撮像する場合、スクリーンＳＣＲ上の投射画像は、撮像装置２０が有する撮像素子２１からスクリーンＳＣＲを見たときの仰角の大きさに応じて歪んだ画像となる。なお、撮像素子２１はプロジェクタＰＪに対して予め決められた角度（設計値）で取り付けられているものとする。

図８はスクリーンＳＣＲ上の投射画像とその投射画像を撮像装置２０で撮像したときに撮像素子２１によって取得される撮像画像を示す図であり、図８（ａ）はスクリーンＳＣＲ上の投射画像Ｇ０、図８（ｂ）は撮像素子２１によって取得される撮像画像Ｇ１を示す図である。プロジェクタＰＪは、スクリーンＳＣＲに対してきわめて近接した位置に設置されるため（図７参照）、撮像素子２１によって取得される撮像画像Ｇ１は、図８（ｂ）に示すように、仰角の大きい位置に対応する位置ほど縦方向及び横方向が縮小し、全体として台形状に歪んだ画像となる。

このように、撮像素子２１によって取得される撮像画像Ｇ１は、全体として台形状となるため、その撮像画像Ｇ１を用いて画像補正を行う場合、縮小率の大きな箇所の分解能が十分に得られないという問題がある。

これを解決するには、撮像装置として高解像度のものを用いることが考えられるが、高解像度の撮像装置を用いると、撮像装置から出力される撮像画像データのデータ量が増大
するため、撮像画像データの読み込み時間も増大し、読み込んだ撮像画像データを転送する場合にも転送レートが増大するといった問題がある。また、縮小率の小さな箇所（図８（ｂ）に示す台形状の画像の底辺及び底辺に近い箇所）は、高解像度の撮像画像データは冗長であるため、高価な高解像度の撮像装置を用いる必要性は特にはない。

また、低解像度の撮像装置（Ｗｅｂカメラなど）を複数用いることも考えられるが、撮像装置を複数用いるということは、レンズなどの歪みの要因も複数となり、高精度な撮像画像データを得ることができないといった課題がある。

本発明は、スクリーンに対してプロジェクタを近接した状態で投射を行うような場合、プロジェクタに設けられた撮像装置から出力される撮像画像データを効率よくかつ適切に取得可能なプロジェクタ及びプロジェクタにおける画像データ取得方法を提供するとともに、投射画像を撮像する際に用いる撮像装置を提供することを目的とする。

本発明のプロジェクタは、画像を投射面に投射する画像投射部と、前記投射面に投射された投射画像を撮像する撮像素子と、前記撮像素子によって取得される撮像画像に基づいて画像補正を行う画像処理部とを有するプロジェクタであって、前記撮像素子によって取得される撮像画像の解像度が当該撮像画像の各領域に応じた解像度となるように、前記撮像素子が複数の部分領域撮像素子によって構成されていることを特徴とする。

撮像素子をこのような構成とすることより、高解像度の撮像素子のすべての画素の画素出力を取得する場合に比べて大幅に削減することができる。特に、撮像素子から投射面上の画像を見たときの仰角が大きくなるようにプロジェクタを設置した場合、その撮像画像は、台形状に歪んだものとなるため、撮像画像の領域によっては補正を行うに必要な十分な解像度が得られない場合があるが、本発明によれば、撮像素子を複数の部分領域撮像素子によって構成するようにしているので、補正に必要な画像データを効率よくかつ適切に取得することができる。

本発明のプロジェクタにおいて、前記複数の部分領域撮像素子は、前記撮像素子の領域における画像の歪みの度合いに応じた解像度を有することが好ましい。

具体的には、撮像画像の歪みの度合いが高い領域に対しては、高い解像度を有する部分領域撮像素子を用い、撮像画像の歪みの度合いが低い領域に対しては、低い解像度を有する部分領域撮像素子を用いるようにしている。このように、各々の部分領域撮像素子が撮像素子の領域における画像の歪みの度合いに応じた解像度を有することにより、高解像度を必要とする領域とそれほど高解像度を必要としない領域とにおける撮像素子出力を効率よくかつ適切に取得することができる。

本発明のプロジェクタにおいて、前記複数の部分領域撮像素子は、各々の部分領域撮像素子が同じ解像度を有し、前記撮像画像の各領域における画像の歪みの度合いに応じた密度で配置されることもまた好ましい。

具体的には、撮像画像の各領域における画像の歪みの度合いが高い領域に対しては、複数の部分領域撮像素子を高密度に配置し、撮像画像の各領域における画像の歪みの度合いが低い領域に対しては、複数の部分領域撮像素子を低密度に配置するというものである。撮像素子を構成する部分領域撮像素子をこのような配置とすることによっても、高解像度を必要とする領域とそれほど高解像度を必要としない領域における撮像素子出力を効率よくかつ適切に取得することができる。

本発明のプロジェクタにおいて、前記各々の部分領域撮像素子は、前記撮像画像の各領域における画像の歪みの度合いに応じた外形寸法を有することが好ましい。

具体的には、撮像画像の各領域における画像の歪みの度合いが高い領域に対しては、小さい外形数法を有する複数の部分領域撮像素子を高密度に配置し、撮像画像の各領域における画像の歪みの度合いが低い領域に対しては、大きい外形数法を有する複数の部分領域撮像素子を低密度に配置するというものである。撮像素子を構成する部分領域撮像素子をこのような構成とすることにより、高解像度の必要な領域の撮像素子出力をより高い解像度の出力として取得することができる。

本発明のプロジェクタにおける画像補正データ取得方法において、画像を投射面に投射する画像投射部と、前記投射面に投射された投射画像を撮像する撮像素子と、前記撮像素子によって取得される撮像画像に基づいて画像補正を行う画像処理部とを有し、前記撮像素子によって取得される撮像画像の解像度が当該撮像画像の各領域に応じた解像度となるように、前記撮像素子が複数の部分領域撮像素子によって構成されているプロジェクタにおける画像補正データ取得方法であって、前記部分領域撮像素子のうちの最も高い解像度を有する部分領域撮像素子によって前記撮像素子全体を構成したときの当該撮像素子全体の解像度に基づいて、前記撮像素子全体を構成する各画素を処理対象画素として順次設定する第１ステップと、前記設定された処理対象画素に対応する画素が前記部分領域撮像素子に存在するか否かを判定する第２ステップと、前記処理対象画素に対応する画素が前記部分領域撮像素子に存在する場合は、当該部分領域撮像素子の画素値を前記処理対象画素の画素値とする第３ステップと、前記処理対象画素に対応する画素が前記部分領域撮像素子に存在しない場合は、前記部分領域撮像素子の画素の画素値に基づいて前記処理対象画素の画素値を求める第４ステップとを有することを特徴とする。

このような画像補正データ取得方法を採用することにより、撮像素子から出力される撮像画像データのデータ量を少なくしても、画像補正に必要な画像補正データとしては、高解像度の撮像画像を得ることができる。これにより、台形歪み補正などの補正処理を高精度に行うことができる。なお、本発明のプロジェクタにおける画像補正データ取得方法においても、前記本発明のプロジェクタと同様の特徴を有することが好ましい。

本発明のプロジェクタにおける画像補正データ取得方法において、前記第４ステップにおける前記処理対象画素の画素値を求める処理は、前記処理対象画素に近い位置の前記部分領域撮像素子の画素を特定し、特定した画素の画素値を前記処理対象画素の画素値とすることが好ましい。

これは、前記処理対象画素と部分領域撮像素子の画素とが対応しない場合における補間手法であって、このような補間手法を採用することにより、処理対象画素の画素値を容易かつ適切に求めることができる。

本発明の撮像装置は、プロジェクタに取り付けられ、前記プロジェクタによって投射された投射画像を撮像する撮像素子を有する撮像装置であって、前記撮像素子によって取得される撮像画像の解像度が当該撮像画像の各領域に応じた解像度となるように、前記撮像素子が複数の部分領域撮像素子によって構成されていることを特徴とする。

このような構成を有する撮像装置をプロジェクタに搭載することにより、前記本発明のプロジェクタを構成することができる。なお、本発明の撮像装置においても、前記本発明のプロジェクタと同様の特徴を有することが好ましい。

以下、本発明の実施形態について説明する。なお、以下に示す各実施形態で用いられるプロジェクタは、図７に示したように投射面としてのスクリーンＳＣＲに近接した状態で設置される超短焦点型のプロジェクタであるとする。

〔実施形態１〕
図１は実施形態１に係るプロジェクタの構成を概略的に示す図である。実施形態１に係るプロジェクタは、図１に示すように、画像投射部１０、撮像装置２０、ＣＰＵ３０、記憶装置４０、画像処理部５０を有している。なお、後述する他の実施形態（実施形態２〜実施形態４）に係るプロジェクタＰＪにおいてもそれぞれのプロジェクタＰＪは図１と同様の構成を有する。

画像投射部１０は、投射制御部１１、液晶パネルなどの光変調素子１２、光源１３、投射光学系１４などを有し、画像処理部５０によって画像処理された画像データに基づく画像をスクリーンＳＣＲ（図１では図示せず）に投射する。

撮像装置２０は、撮像素子２１、撮像素子２１の各画素からの出力信号（画素出力という）の取得など撮像素子２１を制御する撮像素子制御部２２、撮像光学系２３を有している。
画像処理部５０は、投射すべき画像に対応する画像データの補正（台形歪み補正を含む）など各種の画像処理の他に、本発明の各実施形態で行うべき各種処理（詳細は後述する）なども行う。

プロジェクタＰＪをスクリーンＳＣＲに対して、図７に示すように近接して設置した場合、スクリーンＳＣＲ上の投射画像Ｇ０（図８参照（ａ）参照）を撮像装置２０で撮像すると、撮像素子２１によって取得される撮像画像Ｇ１は、図８（ｂ）で示したように、仰角の大きい箇所ほど縦方向及び横方向に縮小した歪んだ画像となる。すなわち、図８（ｂ）に示すように、撮像素子２１から見たときに仰角の大きい位置に対応する撮像画像Ｇ１の領域（撮像画像Ｇ１のうち図８（ｂ）において上方に位置する領域）ほど、縮小率が高くなり全体として台形状となる。

本発明の実施形態１では、撮像素子２１を解像度の異なる複数の撮像素子によって構成する。具体的には、撮像画像の解像度が当該撮像画像の各領域に応じた解像度となるように撮像素子２１をそれぞれの領域に応じた解像度を有する複数の撮像素子（部分領域撮像素子と呼ぶことにする）によって構成する。

図２は実施形態１に係るプロジェクタにおいて用いられる撮像素子２１の構成例を示す図である。図２に示すように、撮像素子２１は、高い解像度を必要とする領域を撮像する左右一対の部分領域撮像素子Ｌ１，Ｒ１と、あまり高い解像度を必要としない領域を撮像する左右一対の部分領域撮像素子Ｌ２，Ｒ２の合計４つの部分領域撮像素子によって構成され、これら４つの部分領域撮像素子がタイリング配置されている。

なお、部分領域撮像素子Ｌ１，Ｒ１は、２０００画素(横)×１０００画素(縦)の２００万画素、部分領域撮像素子Ｌ２，Ｒ２は、６４０画素(横)×４８０画素(縦)の３０万画素の解像度を有しているものとし、実施形態１に係るプロジェクタにおいては、部分領域撮像素子Ｌ１，Ｒ１を中解像度センサＬ１，Ｒ１、部分領域撮像素子Ｌ２．Ｒ２を低解像度センサＬ２，Ｒ２と呼ぶことにする。そして、図２に示すように、中解像度センサＬ１，Ｒ１は、スクリーンＳＣＲ上の投射画像の主には上半分の領域を撮像可能とし、低解像度センサＬ２，Ｒ２は、スクリーンＳＣＲ上の投射画像の主には下半分の領域を撮像可能とするように配置されている。

なお、これら中解像度センサＬ１，Ｒ１と低解像度センサＬ２，Ｒ２とから構成される撮像素子２１は、通常の撮像素子と同様に、撮像レンズ（図１参照）の内側に設けられる。そして、中解像度センサＬ１，Ｒ１及び低解像度センサＬ２，Ｒ２の画素出力は、撮像素子制御部２２によって取得され、バッファなどの記憶手段（図１における記憶装置４０とする）に書き込まれる。

撮像素子２１を図２に示すような構成とすることにより、高い解像度で撮像画像データを取得する必要のある投射画像の領域に対しては、中解像度センサＬ１，Ｒ１から十分な解像度を有する撮像画像データを取得することができる。すなわち、２０００画素（横）×１０００画素(縦)の２つの中解像度センサＬ１，Ｒ１が撮像素子２１の上半分に対応しているため、撮像素子２１の上半分についての解像度は、８００万画素の高解像度を有する撮像素子の上半分の解像度に対応することとなる。このため、投射画像の上半分については中解像度センサＬ１，Ｒ１から高解像度の撮像画像データを取得することができる。

一方、あまり高い解像度を必要としない投射画像の領域に対しては、低解像度センサＬ２，Ｒ２からその領域に適した解像度の撮像データを取得することができる。すなわち、６４０画素（横）×４８０画素(縦)の２つの低解像度センサＬ２，Ｒ２が撮像素子２１の下半分に対応しているため、撮像素子２１の下半分についての解像度は、約１２０万画素の解像度を有する撮像素子の下半分の解像度に対応することとなる。このため、投射画像の下半分について低解像度センサＬ２，Ｒ２から比較的、低い解像度の撮像画像データが取得される。

このように、実施形態１に係るプロジェクタによれば、撮像素子制御部２２が撮像素子２１から撮像画像データ（各画素の画素出力）を取得する際、高い解像度を必要とする領域に対しては、中解像度センサＬ１，Ｒ１から高い解像度の撮像画像データを取得し、それほど高い解像度を必要としない領域に対しては、低解像度センサＬ２，Ｒ２から比較的低い解像度の撮像画像データを取得するようにしている。これにより、例えば、８００万画素といった高解像度を有する撮像素子からの撮像画像データをすべて取得する場合に比べて、取得すべきデータ量を大幅に削減することができる。

図３は図２に示す複数の部分領域撮像素子における各画素の画素出力をバッファに書き込む処理を説明するフローチャートである。
また、図４は高解像度領域における処理対象画素インデクスと中解像度センサの画素インデクスとの対応を示す図であり、図５は高解像度領域における処理対象画素インデクスと低解像度センサの画素インデクスとの対応を示す図である。なお、図４及び図５において示される数値は、高解像度領域の画素インデクス、中解像度センサＬ１，Ｒ１及び低解像度センサＬ２，Ｒ２のそれぞれの画素インデクスである。これら、図３〜図５を参照しながら部分領域撮像素子における各画素の画素出力をバッファに書き込む処理を説明する。なお、図３に示す処理は画像処理部５０（図１参照）によって行う。

まず、撮像素子２１を構成する部分領域撮像素子（中解像度センサＬ１，Ｒ１及び低解像度センサＬ２，Ｒ２）のうちの最も高い解像度を有する部分領域撮像素子によって撮像素子全体を構成したときの当該撮像素子全体の解像度を設定する。

この場合、最も解像度の高い部分領域撮像素子は、２００万画素の解像度を有する中解像度センサＬ１，Ｒ１である。これら２つの中解像度センサＬ１，Ｒ１が撮像素子２１の上半分に対応しているので、撮像素子２１の上半分についての解像度は、８００万画素の高解像度を有するものとなるため、これを撮像素子全体の解像度として設定する。すなわち、撮像素子全体の解像度として、４０００（横方向の画素数）×２０００（縦方向の画素数）の合計８００万画素の解像度を有する領域（高解像度領域という）を設定する。

そして、画像処理部５０は、撮像素子制御部２２が中解像度センサＬ１，Ｒ１及び低解像度センサＬ２，Ｒ２から取得した画素出力に基づいて、高解像度領域の各画素（８００万画素）に対応する画素値を求めて、求められた画素値をバッファ（図１における記憶装置４０とする）上の所定の書き込み位置に書き込んで行く。

このような処理は、４０００（横）×２０００（縦）の高解像度領域の横方向（行方向という）の各行ごとに１番目の画素から４０００番目の画素の画素値を画素出力として書き込んで行くものとする。なお、図３のフローチャートは、ある１つの行（処理対象行という）におけるある１つの画素（処理対象画素という）の画素値を書き込む場合の処理手順である。

図３において、ある処理対象行における１〜４０００番目の画素のうちのある処理対象画素の画素インデクス（処理対象画素インデクスという）を、例えば、高解像度領域における左端の画素から順に１番目、２番目というように設定する（ステップＳ１）。そして、当該処理対象画素インデクスに対応する画素が中解像度センサＬ１，Ｒ１及び低解像度センサＬ２，Ｒ２に存在するか否かを判定する（ステップＳ２）。その判定の結果、高解像度領域（８００万画素）における処理対象画素インデクスに対応する画素が中解像度センサＬ１，Ｒ１または低解像度センサＬ２，Ｒ２に存在すれば、当該中解像度センサＬ１，Ｒ１または低解像度センサＬ２，Ｒ２の画素の画素値を高解像度領域における処理対象画素インデクスの画素値とする（ステップＳ３）。

たとえば、現在の処理対象画素が高解像度領域の１行目の３番目の画素（画素インデクス「３」）であるとすれば、中解像度センサＬ１，Ｒ２または低解像度センサＬ２，Ｒ２のうち、中解像度センサＬ１にはそれに対応する画素インデクス（画素インデクス＝３）が存在するので（図４参照）、高解像度領域の処理対象画素インデクス「３」の画素値は、中解像度センサＬ１の３番目の画素の画素値とするということであり、当該画素値がバッファの所定の書き込み位置に書き込まれる。なお、ステップＳ１において、処理対象画素に対応する画素が存在すると判定されるのは、この例の場合、中解像度センサＬ１，Ｒ２及び低解像度センサＬ２，Ｒ２のうち、中解像度センサＬ１のみである。

一方、ステップＳ２において、高解像度領域（８００万画素）における処理対象画素に対応する画素が存在しないと判定された場合には、ステップＳ４，Ｓ５の処理を行う。ステップＳ４，Ｓ５の処理は、中解像度センサＬ１，Ｒ１または低解像度センサＬ２，Ｒ２から得られる画素値に基づいて高解像度領域の画素値を求める補間処理であり、ここではニアレストネイバ法による補間処理を行うものとする。

例えば、現在の処理対象行が中解像度センサＬ１，Ｒ１に対応する行であって、当該処理対象行において高解像度領域における処理対象画素の画素インデクスが「２００３」の画素値を求める場合を考える。この場合、高解像度領域における画素インデクス「２００３」が中解像度センサのどの画素インデクスの画素に対応するかを求めて（ステップＳ４）、求められた中解像度センサにおける画素インデクスの画素の画素値を、高解像度領域の処理対象画素インデクス「２００３」の画素値とするといった処理を行う（ステップＳ５）。

ここで、ある処理対象行において、高解像度領域における処理対象画素インデクスが中解像度センサＬ１，Ｒ１の行方向の通算画素数（この場合、４０００画素）のどの画素インデクスであるかを示す中解像度センサの通算画素インデクスは、
中解像度センサの通算画素インデクス＝中解像度センサ内の画素インデクス＋（中解像度センサのセンサインデクス−１）×中解像度センサの横方向画素数・・・（１）
と表すことができる。

また、（１）式における中解像度センサ内の画素インデクスは、
中解像度センサ内の画素インデクス＝中解像度センサの中間算出インデクス％中解像度センサの横方向画素数・・・（２）
によって求めることができる。なお、（２）式における「％」は剰余を表している。また、中間算出インデクスというのは、処理の途中で求められるインデクスである。

ここで、中解像度センサの中間算出インデクスは、
中解像度センサの中間算出インデクス＝高解像度領域画素インデクス÷{高解像度領域の横方向画素数÷（中解像度センサの横方向画素数×２）}・・・（３）
によって求められる。なお、（３）式において、高解像度領域画素インデクスは、高解像度領域において画素値を求めるべき画素（処理対象画素）の画素インデクスすなわち処理対象画素インデクスである。

また、（１）式におけるセンサインデクスは、
センサインデクス＝中解像度センサの中間算出インデクス÷中解像度センサの横方向画素数・・・（４）
によって求めることができる。なお、上記した各式において、求められた値が整数でない場合には、小数点以下を繰り上げることによって得られた整数値を用いるものとする。

ここで、具体例について説明する。４０００画素×２０００画素の高解像度領域におけるある処理対象行における処理対象画素インデクス「２００３」の画素値を求める場合について説明する。なお、処理対象画素インデクス「２００３」は、図４（ａ）の矢印Ｑ１で示す画素である。

まず、（３）式により、中解像度センサの中間算出インデクスを求める。この場合、（３）式における高解像度領域画素インデクス（処理対象画素インデクス）は「２００３」、高解像度領域の横方向画素数は「４０００」、中解像度センサの横方向画素数は「２０００」であるので、これらを（３）式に代入すると、
中解像度センサの中間算出インデクス＝２００３÷{４０００÷（２０００×２）}
となり、中解像度センサの中間算出インデクス「２００３」を求めることができる。

中解像度センサの中間算出インデクスが求められると、この中解像度センサの中間算出インデクスにより、中解像度センサ内の画素インデクスとセンサインデクスとを求めることができる。この場合、中解像度センサの中間算出インデクスは「２００３」、中解像度センサの横方向画素数は「２０００」であるので、中解像度センサ内の画素インデクスは、(２)式により、剰余「３」を求めることができ、中解像度センサ内の画素インデクス「３」を得る。

また、センサインデクスは、（４）式により、センサインデクス＝２００３÷２０００＝１．００１５と求められ、少数点以下を繰り上げると、求めるべきセンサインデクス「２」が得られる。

なお、この場合、図２に示した２つの中解像度センサ（中解像度センサＬ１，Ｒ１）と２つの低解像度センサ（低解像度センサＬ２，Ｒ２）のそれぞれのセンサインデクスは、それぞれ左側に位置するセンサ（中解像度センサＬ１及び低解像度センサＬ２）をセンサインデクス「１」、右側に位置するセンサ（中解像度センサＲ１及び低解像度センサＲ２）を「２」とする。

すなわち、中解像度センサにおいては、左側の中解像度センサＬ１をセンサインデクス「１」、右側の中解像度センサＲ１をセンサインデクス「２」とし、低解像度センサにおいては、左側の低解像度センサＬ２をセンサインデクス「１」、右側の低解像度センサＲ２をセンサインデクス「２」としている。したがって、中解像度センサについての処理を行っている場合、（４）式により、センサインデクス「２」が求められた場合は、当該中解像度センサは右側の中解像度センサＲ１であることを意味している。

以上の処理により、高解像度領域における処理対象画素インデクス「２００３」の画素（図４（ａ）における矢印Ｑ１で示す画素）は、中解像度センサＲ１（センサインデクス「２」）における３番目の画素すなわち中解像度センサＲ１内の画素インデクス「３」に対応すると求められる（図４（ｂ）参照）。したがって、高解像度領域における処理対象画素インデクス「２００３」の画素の画素値は、中解像度センサＲ１における画素インデクス「３」の画素の画素値とすればよく、この中解像度センサＲ１における画素インデクス「３」の画素の画素値をバッファの所定の書き込み領域に書き込む。

続いて、高解像度領域の現在の処理対象行における次の画素インデクス「２００４」を処理対象画素インデクスとして同様の処理（ステップＳ１以降の処理）を行う。なお、処理対象画素インデクス「２００４」は、図４（ａ）の矢印Ｑ２で示す画素である。この場合、高解像度領域における処理対象画素インデクス「２００４」の画素は、中解像度センサＲ１（センサインデクス「２」）における４番目の画素すなわち中解像度センサ内の画素インデクス「４」に対応するというように求めることができる（図４（ｂ）参照）。したがって、高解像度領域における処理対象画素インデクス「２００４」の画素の画素値は、中解像度センサＲ１における画素インデクス「４」の画素の画素値とすればよく、この中解像度センサＲ１における画素インデクス「４」の画素の画素値をバッファの所定の書き込み領域に書き込む。

以上の処理を、高解像度領域における現在の処理対象行の横方向画素がなくなるまで行うことにより、当該処理対象行における高解像度領域の各画素の画素値を求めることができる。そして、当該処理対象行についての処理が終了したら、縦方向（ｙ軸方向）における次の行について同様の処理を行う。

次に、処理対象行が高解像度領域における下半分すなわち低解像度センサＬ２，Ｒ２に対応する行である場合について説明する。なお、低解像度センサＬ２，Ｒ２における各々の画素は、図５に示すように、４０００画素×２０００画素の高解像度領域の各々の画素と対応していないため、図２のフローチャートのステップＳ２において、設定された処理対象画素インデクスに対応する画素が存在しないと判定され、ステップＳ４，Ｓ５の処理を行う。

まず、ある処理対象行において高解像度領域における処理対象画素インデクス「３」の画素の画素値を求める場合について説明する。この場合、高解像度領域における処理対象画素インデクス「３」が低解像度センサのどの画素インデクスの画素に対応するかを求めて（ステップＳ４）、求められた低解像度センサにおける画素インデクスの画素の画素値を、処理対象画素インデクス「３」の画素値とするといった処理を行う(ステップＳ５)。

ここで、ある処理対象行において、高解像度領域における処理対象画素インデクスが低解像度センサＬ２，Ｒ２の行方向の通算画素数（この場合、４０００画素）のどの画素インデクスであるかを示す低解像度センサの通算画素インデクスは、
低解像度センサの通算画素インデクス＝低解像度センサ内の画素インデクス＋（低解像度センサのセンサインデクス−１）×低解像度センサの横方向画素数・・・（５）
と表すことができる。

また、（５）式における低解像度センサ内の画素インデクスは、
低解像度センサ内の画素インデクス＝低解像度センサの中間算出インデクス％低解像度センサの横方向画素数・・・（６）
によって求めることができる。なお、（６）式における「％」は剰余を表している。また、中間算出インデクスというのは、処理の途中で求められるインデクスである。

ここで、低解像度センサの中間算出インデクスは、
低解像度センサの中間算出インデクス＝高解像度領域画素インデクス÷{高解像度領域の横方向画素数÷（低解像度センサの横方向画素数×２）}・・・（７）
によって求められる。なお、（７）式において、高解像度領域画素インデクスは、高解像度領域において画素値を求めるべき画素（処理対象画素）の画素インデクスすなわち処理対象画素インデクスである。

また、（５）式におけるセンサインデクスは、
センサインデクス＝低解像度センサの中間算出インデクス÷低解像度センサの横方向画素数・・・（８）
によって求めることができる。なお、この場合も、上記した各式において求められた値が整数でない場合には、小数点以下を繰り上げることによって得られた整数値を用いるものとする。

ここで、具体例について説明する。例えば、高解像度領域（４０００画素×２０００画素）のある行（処理対象行）における処理対象画素インデクス「３」の画素値を求める場合について説明する。なお、処理対象画素インデクス「３」は、図５（ａ）の矢印Ｑ３で示す画素である。

まず、（７）式により、低解像度センサの中間算出インデクスを求める。この場合、（７）式における高解像度領域画素インデクス（処理対象画素インデクス）は「３」、高解像度領域の横方向画素数は「４０００」、低解像度センサの横方向画素数は「６４０」であるので、これらを（７）式に代入すると、

低解像度センサの中間算出インデクス＝３÷{４０００÷（６４０×２）}
となり、低解像度センサの中間算出インデクス＝０．９６と求めることができ、この場合、小数点以下を繰り上げて、低解像度センサの中間算出インデクスは「１」とする。

低解像度センサの中間算出インデクスが求められると、この低解像度センサの中間算出インデクスにより、低解像度センサ内の画素インデクスとセンサインデクスとを求めることができる。この場合、低解像度センサの中間算出インデクスは「１」、低解像度センサの横方向画素数は「６４０」であるので、低解像度センサ内の画素インデクス「１」を得る。

また、センサインデクスは、（７）式により、センサインデクス＝１÷６４０＝０．００１６と求められ、少数点以下を繰り上げると、センサインデクスは「１」と求めることができる。なお、この場合、図２に示した２つの低解像度センサＬ２，Ｒ２のうちの左側の低解像度センサＬ２をセンサインデクス「１」、右側の低解像度センサＲ２をセンサインデクス「２」としているので、センサインデクス「１」は左側の低解像度センサＬ２を示している。

以上の処理により、高解像度領域における処理対象画素インデクス「３」の画素（図５（ａ）において矢印Ｑ３で示す画素）は、低解像度センサＬ２（センサインデクス「１」
）における１番目の画素すなわち低解像度センサＬ２内の画素インデクス「１」に対応する（図５（ｂ）参照）。したがって、高解像度領域における処理対象画素インデクス「３」の画素の画素値は、低解像度センサＬ２における画素インデクス「１」の画素の画素値とすればよく、この低解像度センサＬ２における画素インデクス「１」の画素の画素値をバッファの所定の書き込み領域に書き込む。

続いて、高解像度領域の現在の処理対象行における次の画素インデクス「４」を処理対象画素インデクスとして同様の処理（ステップＳ１以降の処理）を行う。なお、処理対象画素インデクス「４」は、図５（ａ）の矢印Ｑ４で示す画素である。この場合、高解像度領域における処理対象画素インデクス「４」の画素は、低解像度センサ（センサインデクス「２」）における２番目の画素すなわち低解像度センサＬ２内の画素インデクス「２」に対応するというように求めることができる（図５（ｂ）参照）。したがって、高解像度領域における処理対象画素インデクス「４」の画素の画素値は、低解像度センサＬ２における画素インデクス「２」の画素の画素値とすればよく、この低解像度センサＬ２における画素インデクス「２」の画素の画素値をバッファの所定の書き込み領域に書き込む。

以上の処理を、高解像度における現在の処理対象行の横方向画素について順次行う。そして、当該処理対象行において高解像度領域における処理対象画素インデクスが「２００３」となった場合について説明する。この場合も、高解像度領域における処理対象画素インデクス「２００３」が低解像度センサのどの画素インデクスの画素に対応するかを求めて、求められた低解像度センサにおける画素インデクスの画素の画素値を、処理対象画素インデクス「２００３」の画素値とする。

まず、（７）式により、低解像度センサの中間算出インデクスを求める。この場合、（７）式における高解像度インデクスは「２００３」、高解像度の横方向画素数は「４０００」、低解像度センサの横方向画素数は「６４０」であるので、これらを（７）式に代入すると、

低解像度センサの中間算出インデクス＝２００３÷{４０００÷（６４０×２）}
となり、低解像度センサの中間算出インデクス「６４１」と求められる。低解像度センサの中間算出インデクスが求められると、この中間算出インデクスにより、低解像度センサ内の画素インデクスとセンサインデクスとを求める。この場合、低解像度センサの中間算出インデクスは「６４１」、低解像度センサの横方向画素数は「６４０」であるので、低解像度センサ内の画素インデクス「１」を得る。また、低解像度センサのセンサインデクスは、（７）式により、センサインデクス＝６４１÷６４０＝１．００１６と求められ、少数点以下を繰り上げると、センサインデクスは「２」と求めることができる。なお、センサインデクス「２」は右側の低解像度センサＲ２を示している。

以上の処理により、高解像度における処理対象画素インデクス「２００３」の画素（図５（ａ）における矢印Ｑ５で示す画素）は、低解像度センサＲ２（センサインデクス「２」）における１番目の画素すなわち低解像度センサＬ２内の画素インデクス「１」に対応する（図５（ｂ）参照）。したがって、高解像度領域における処理対象画素インデクス「２００３」の画素の画素値は、低解像度センサＲ２における画素インデクス「１」の画素の画素値とすればよく、この低解像度センサＲ２における画素インデクス「１」の画素の画素値をバッファの所定の書き込み領域に書き込む。

続いて、当該処理対象行における次の画素インデクス「２００４」を処理対象画素インデクスとして同様の処理を行う。この場合、高解像度領域における処理対象画素インデクス「２００４」の画素（図５（ａ）における矢印Ｑ６で示す画素）は、低解像度センサＲ２（センサインデクス「２」）における２番目の画素すなわち低解像度センサ内の画素イ
ンデクス「２」に対応する（図５（ｂ）参照）。したがって、高解像度領域における処理対象画素インデクス「２００４」の画素の画素値は、低解像度センサＲ２における画素インデクス「２」の画素の画素値とすればよく、この低像度センサにおける画素インデクス「２」の画素の画素値をバッファの所定の書き込み領域に書き込む。

以上の処理を、高解像度領域における処理対象行の横方向画素がなくなるまで行うことにより、当該処理対象行における高解像度の各画素の画素値を求めることができる。そして、当該処理対象行についての処理が終了したら、縦方向（ｙ軸方向）における次の行について同様の処理を行う。

以上説明したように、実施形態１に係るプロジェクタにおいては、中解像度センサＬ１，Ｒ１と低解像度センサＬ２，Ｒ２とをタイリングして１つの撮像素子２１を構成するようにしている。撮像素子２１をこのような構成とすることによって、高い解像度で画像データを取得する必要のある投射画像の領域に対しては、中解像度センサＬ１，Ｒ１から高解像度の撮像データを取得することができ、高い解像度を必要としない領域に対しては、低解像度センサＬ２，Ｒ２からその領域に適した解像度の撮像データを取得することができる。

これにより、撮像素子制御部２２が撮像素子２１から撮像画像データ（各画素の画素出力）を取得する際、８００万画素といった高解像度の撮像素子の各画素の画素出力をすべて取得する場合に比べて、取得すべきデータ量を大幅に削減することができる。また、バッファ（記憶装置４０）には、８００万画素の高解像度領域の各画素に対応する画素出力を書き込むことができるので、バッファに書き込まれた撮像画像データを用いて台形歪み補正処理などを行うことにより高精度な補正が可能となる。

なお、上述の説明においては、中解像度センサＬ１，Ｒ１及び低解像度センサＬ２，Ｒ２を同じ外形寸法としたが、これに限られるものではなく、それぞれが配置される領域に応じた外形寸法を有するようにすることも可能である。

[実施形態２]
実施形態２に係るプロジェクタは、実施形態１と同様、撮像素子２１を複数の部分領域撮像素子によって構成するものであるが、実施形態２に係るプロジェクタでは、各々の部分領域撮像素子が同じ解像度を有し、撮像画像の各領域における画像の歪みの度合いに応じた密度で配置するようにした点が実施形態１に係るプロジェクタと異なる。

なお、実施形態２に係るプロジェクタに用いられる部分領域撮像素子は、それぞれが３０万画素程度の低解像度の撮像素子であるとし、それぞれの部分領域撮像素子を低解像度センサＰ１，Ｐ２，・・・と呼ぶことにする。

図６は実施形態２に係るプロジェクタにおいて用いられる撮像素子２１の構成を示す図である。図６に示すように、低解像度センサＰ１，Ｐ２，・・・は、同じ解像度（この場合、６４０画素×４８０画素の３０万画素としている）を有するものであるが、撮像素子２１の領域に応じた密度で配置され、また、配置される領域に応じた外形寸法を有している。

実施形態２に係るプロジェクタにおいては、撮像素子２１全体を水平方向に３つの領域Ａ１，Ａ２，Ａ３に分けて、最上部の領域Ａ１には、６個の低解像度センサＰ１〜Ｐ６を行方向（ｘ軸方向）に互いに接した状態となるように配置し、中央の領域Ａ２には、３個の低解像度センサＰ７〜Ｐ９を行方向に互いに所定の間隔を有した状態となるように配置し、最下端の領域Ａ３には、２個の低解像度センサＰ１０，Ｐ１１を行方向に互いに所定
間隔を有した状態となるように配置している。また、実施形態２に係るプロジェクタにおいては、領域Ａ１に配置される低解像度センサＰ１〜Ｐ６、領域Ａ２に配置される低解像度センサＰ７〜Ｐ９、領域Ａ３に配置される低解像度センサＰ１０，Ｐ１１は、縦方向（ｙ軸方向）において、それぞれ所定の空間を設けて配置される。

なお、領域Ａ１，Ａ２，Ａ３の縦方向（ｙ軸方向）の長さは、Ａ１＜Ａ２＜Ａ３であるとし、これら各領域Ａ１，Ａ２，Ａ３に配置される各低解像度センサＰ１〜Ｐ１１は、それぞれ配置される領域に応じた大きさを有している。例えば、図６に示すように、領域Ａ１に配置される低解像度センサＰ１〜Ｐ６は、他の領域に配置される低解像度センサＰ７〜Ｐ１１に比べて最も小さいものとなっている。

これは、領域Ａ１は最も高い解像度を必要とする領域であり、より多くの低解像度センサを互いに接した状態で配置することによって、高解像度の画像データを得ることができるようにするためである。ちなみに、６４０画素（横）×４８０画素（縦）の合計３０万画素の部分領域低解像度センサを横（水平）方向に互いに接した状態で６個配置することによって、横方向の画素数は約３８００画素とすることができる。

逆に、あまり解像度の必要のない領域Ａ３において配置される低解像度センサＰ１０，Ｐ１１は、領域Ａ１に配置される低解像度センサＰ１〜Ｐ６に比べると、個々の低解像度センサの解像度は同じ３０万画素であっても、１つの低解像度センサでより広い領域に対応可能な大きな形状を有し、かつ、互いに空間を有して配置されたものとなっている。このため、領域Ａ３においては、領域Ａ１に比べると相対的に低い解像度での撮像画像データしか得られないこととなる。領域Ａ３はもともとそれほど高解像度の撮像データを必要としない領域であるため、図６に示すような低解像度センサの配置の仕方で十分であるといえる。

撮像素子２１を図６に示すような構成とすることにより、スクリーンＳＣＲ上に投射された投射画像を撮像する際、より高い解像度が必要な領域に対しては、互いに接した状態で高密度に配置された多数（６個）の低解像度センサＰ１〜Ｐ６により高解像度の撮像画像データを取得することができ、それほど高い解像度を必要としない領域Ａ２，Ａ３などに対しては、空間をおいた状態で配置された少数の部分領域撮像素子により低解像度の撮像画像データを取得するようにしている。

これにより、実施形態１に係るプロジェクタと同様、撮像素子制御部２２が撮像素子２１から撮像画像データ（各画素の画素出力）を取得する際、８００万画素といった高解像度を有する撮像素子の各画素の画素出力をすべて取得する場合に比べて、取得すべきデータ量を大幅に削減することができる。

なお、実施形態２に係るプロジェクタにおいても、撮像素子２１の撮像画像データをバッファに書き込む処理は実施形態１で説明した処理（図３のフローチャート）と同様の処理を行うことにより実施可能であり、このような処理を行うことにより、バッファ（記憶装置４０）には、８００万画素の高解像度領域の各画素に対応する画素出力を書き込むことができる。

また、上述の例では、各低解像度センサＰ１〜Ｐ１１は、その外形寸法が領域によって異なるものを用いたが、大きさは同じであってもよく、その場合も、各部分領域撮像素子を配置する際の密度を撮像素子２１の領域に応じて適切に設定すれば、図６に示した例と同様の効果を得ることができる。

また、領域Ａ２に配置される低解像度センサＰ７〜Ｐ９及び領域Ａ３に配置される低解
像度センサＰ１０，Ｐ１１は、それぞれの低解像度センサが行方向（ｘ軸方向）において互いに所定の空間を置いて配置されたが、これに限られるものではなく、必ずしも空間を設けて配置する必要はない。

また、領域Ａ１に配置される低解像度センサＰ１〜Ｐ６、領域Ａ２に配置される低解像度センサＰ７〜Ｐ９、領域Ａ３に配置される低解像度センサＰ１０，Ｐ１１は、縦方向（ｙ軸方向）において、それぞれ所定の空間を設けて配置されるようにしたが、これに限られるものではなく、必ずしも空間を設けて配置する必要はない。

なお、本発明は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、実施形態１及び実施形態２で用いた部分領域撮像素子（実施形態１においては中解像度センサＬ１，Ｒ１及び低解像度センサＬ２，Ｒ２、実施形態２においては低解像度センサＰ１，Ｐ２，・・・）の解像度は、一例であって、実施形態１及び実施形態２で説明した解像度に限られるものではない。また、部分領域撮像素子の個数なども実施形態１及び実施形態２で説明した個数に限られるものではない。

実施形態１に係るプロジェクタの構成を概略的に示す図。 実施形態１に係るプロジェクタにおいて用いられる撮像素子２１の構成例を示す図。 図２に示す複数の部分領域撮像素子における各画素の画素出力をバッファに書き込む処理を説明するフローチャート。 高解像度領域における処理対象画素インデクスと中解像度センサの画素インデクスとの対応を示す図。 高解像度領域における処理対象画素インデクスと低解像度センサの画素インデクスとの対応を示す図。 実施形態２に係るプロジェクタにおいて用いられる撮像素子２１の構成例を示す図。 超短焦点型プロジェクタの使用状態の一例を示す図。 スクリーンＳＣＲ上の投射画像とその投射画像を撮像装置２０で撮像したときに撮像素子２１によって取得される撮像画像を示す図。

符号の説明

１０・・・画像表示部、２０・・・撮像装置、２１・・・撮像素子、２２・・・撮像素子制御部、４０・・・記憶装置、５０・・・画像処理部、Ｌ１，Ｒ１・・・中解像度センサ、Ｌ２，Ｒ２，Ｐ１〜Ｐ１１・・・低解像度センサ

Claims (7)

1. 画像を投射面に投射する画像投射部と、前記投射面に投射された投射画像を撮像する撮像素子と、前記撮像素子によって取得される撮像画像に基づいて画像補正を行う画像処理部とを有するプロジェクタであって、
   前記撮像素子によって取得される撮像画像の解像度が当該撮像画像の各領域に応じた解像度となるように、前記撮像素子が複数の部分領域撮像素子によって構成されていることを特徴とするプロジェクタ。
2. 請求項１に記載のプロジェクタであって、
   前記複数の部分領域撮像素子は、前記撮像素子の領域における画像の歪みの度合いに応じた解像度を有することを特徴とするプロジェクタ。
3. 請求項１に記載のプロジェクタであって、
   前記複数の部分領域撮像素子は、各々の部分領域撮像素子が同じ解像度を有し、前記撮像画像の各領域における画像の歪みの度合いに応じた密度で配置されることを特徴とするプロジェクタ。
4. 請求項３に記載のプロジェクタであって、
   前記各々の部分領域撮像素子は、前記撮像画像の各領域における画像の歪みの度合いに応じた外形寸法を有することを特徴とするプロジェクタ。
5. 画像を投射面に投射する画像投射部と、前記投射面に投射された投射画像を撮像する撮像素子と、前記撮像素子によって取得される撮像画像に基づいて画像補正を行う画像処理部とを有し、前記撮像素子によって取得される撮像画像の解像度が当該撮像画像の各領域に応じた解像度となるように、前記撮像素子が複数の部分領域撮像素子によって構成されているプロジェクタにおける画像補正データ取得方法であって、
   前記部分領域撮像素子のうちの最も高い解像度を有する部分領域撮像素子によって前記撮像素子全体を構成したときの当該撮像素子全体の解像度に基づいて、前記撮像素子全体を構成する各画素を処理対象画素として順次設定する第１ステップと、
   前記設定された処理対象画素に対応する画素が前記部分領域撮像素子に存在するか否かを判定する第２ステップと、
   前記処理対象画素に対応する画素が前記部分領域撮像素子に存在する場合は、当該部分領域撮像素子の画素値を前記処理対象画素の画素値とする第３ステップと、
   前記処理対象画素に対応する画素が前記部分領域撮像素子に存在しない場合は、前記部分領域撮像素子の画素の画素値に基づいて前記処理対象画素の画素値を求める第４ステップと、
   を有することを特徴とするプロジェクタにおける画像補正データ取得方法。
6. 請求項５に記載のプロジェクタにおける画像補正データ取得方法において、
   前記第４ステップにおける前記処理対象画素の画素値を求める処理は、前記処理対象画素に近い位置の前記部分領域撮像素子の画素を特定し、特定した画素の画素値を前記処理対象画素の画素値とすることを特徴とするプロジェクタにおける画像補正データ取得方法。
7. プロジェクタに取り付けられ、前記プロジェクタによって投射された投射画像を撮像する撮像素子を有する撮像装置であって、
   前記撮像素子によって取得される撮像画像の解像度が当該撮像画像の各領域に応じた解像度となるように、前記撮像素子が複数の部分領域撮像素子によって構成されていることを特徴とする撮像装置。

Images