JP2018182539A - 映像処理装置、映像処理方法、及びプログラム - Google Patents

Abstract

【課題】スクリーンの形状等に因らずに、映像の歪みだけでなく、輝度むらをも抑制した映像投射を実現可能にすることを課題とする。【解決手段】Ｉ／Ｆ部（１０９）は、スクリーンの形状に合わせた歪み補正を施した映像が前記スクリーンに投射された投射映像の撮像画像を取得する。輝度分布作成部（１０８）は、撮像画像を用いて輝度分布を作成する。作用素作成部（１０４）は、輝度分布を基に、輝度を補正する作用素を作成する。輝度補正部（１０５）は、輝度を補正する作用素を用いて、スクリーンに投射する映像の輝度を補正する。歪み補正部（１０３）は、スクリーンの形状に合わせた歪み補正を、スクリーンに投射する映像に施す。【選択図】図１

Description

本発明は、映像を処理する映像処理装置、映像処理方法、及びプログラムに関する。

従来、映像投射装置による投射映像をスクリーン（投射面）の形状に因らず視認し易くするために、歪み補正機能を搭載した映像投射装置が知られている。この歪み補正機能を有する映像投射装置によれば、例えば円柱やドームなどの曲面部分がスクリーンとして用いられた場合でも、そのスクリーンの形状に応じた歪み補正を施した映像を投射することにより、鑑賞者は歪みのない映像を視認できるようになる。また、特許文献１には、歪み補正機能に加えて輝度補正が行える映像投射装置が開示されている。

特開２００７−３１２４２０号公報

しかしながら、円柱やドームなどがスクリーンとして用いられた場合、そのスクリーンの形状によっては、映像投射装置が投射する映像のスクリーンに対する入射角に差が生じることがある。この場合、スクリーン面上における投射映像に輝度むら（つまり明るさにばらつき）が生じてしまうことがある。例えば円柱の曲面部分がスクリーンとして用いられた場合、中心部分より周辺部分が暗くなってしまうような輝度むらが生ずることが多い。なお、前述した特許文献１では、歪み補正機能に加えて輝度補正を行うことについて記述されているが、このようなスクリーンの形状によって生ずる輝度むら（明るさのばらつき）を正しく補正できる具体的な技術については言及されていない。

そこで、本発明は、スクリーンの形状等に因らずに、映像の歪みだけでなく、輝度むらをも抑制した映像投射を実現可能にすることを目的とする。

本発明は、スクリーンの形状に合わせた歪み補正を施した映像が前記スクリーンに投射された投射映像の撮像画像を取得する取得手段と、前記撮像画像を用いて輝度分布を作成する分布作成手段と、前記輝度分布を基に、輝度を補正する作用素を作成する作用素作成手段と、前記輝度を補正する作用素を用いて、前記スクリーンに投射する映像の輝度を補正する輝度補正手段と、前記スクリーンの形状に合わせた歪み補正を、前記スクリーンに投射する映像に施す歪み補正手段と、を有することを特徴とする。

本発明によれば、スクリーンの形状等に因らずに、映像の歪みだけでなく、輝度むらをも抑制した映像投射が実現可能となる。

第１の実施形態の映像投射装置の概略構成を示す図である。 輝度補正作用素の説明に用いる図である。 歪み補正及び輝度補正の説明に用いる図である。 輝度補正データ作成処理のフローチャートである。 第２の実施形態の構成例を示す図である。 第３の実施形態の構成例を示す図である。 第３の実施形態の場合の輝度補正作用素の説明に用いる図である。

以下、本発明の好ましい実施の形態を添付の図面を参照して詳細に説明する。なお、以下に説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、本発明は以下の実施形態に限定されるものではない。
＜第１の実施形態＞
図１は、本発明の映像処理装置が適用される第１の実施形態の映像投射装置１００の概略構成を示すブロック図である。
第１の実施形態の映像投射装置１００は、映像入力部１０６、輝度補正部１０５、歪み補正部１０３、映像投射部１０７、Ｉ／Ｆ部１０９、画像補正部１１０、輝度分布作成部１０８、作用素作成部１０４、制御部１０２を有して構成されている。

映像入力部１０６は、スクリーン（投射面）に投射される映像の元になる入力映像データ、つまり鑑賞者に観せるための入力映像のデータを取得又は生成する。映像入力部１０６は、歪み補正や輝度補正を行う際の補正用の入力映像データについても取得又は生成する。これらの入力映像データはスクリーンに投射される前の２次元の映像データである。映像投射部１０７は、不図示の表示素子を有し、入力された映像データを基に表示素子上に映像を形成する。そして、映像投射部１０７は、不図示の光源からの光により、その表示素子上に形成した映像をスクリーンに投射する。本実施形態では、一例として円柱の曲面部分をスクリーンとして用いる場合を想定する。このため、映像投射部１０７の表示素子上に形成される映像は、円柱のスクリーンに投射された際に生ずる投射映像の歪みを補正するような歪み補正が施された映像となされる。歪み補正部１０３は、このような歪み補正の処理を行う。本実施形態における入力映像の例、円柱の曲面部分をスクリーンとした場合の歪み補正部１０３における歪み補正の具体例の説明は後述する。

撮像装置１０１は、映像投射装置１００から映像が投射されたスクリーンを鑑賞者と略々同じ視点（鑑賞点）から撮像して撮像画像のデータを取得する。映像投射装置１００のＩ／Ｆ部１０９は、撮像装置１０１から出力された撮像画像のデータを取得する。Ｉ／Ｆ部１０９は、例えばいわゆるＲＳ２３２Ｃ用のＩ／Ｆでもよいし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）用のＩ／Ｆなどでもよい。Ｉ／Ｆ部１０９にて取得された撮像画像のデータは、画像補正部１１０に送られる。

画像補正部１１０は、Ｉ／Ｆ部１０９により取得された撮像画像に対し、後述する輝度分布作成部１０８が投射映像の正確な輝度分布を作成できるようにするための画像補正を行う。すなわち、撮像装置１０１にて取得された撮像画像には、スクリーン上の投射映像だけでなく、その投射映像の周囲のスクリーン部分などの不要部分も映り込んでいるため、そのままでは輝度分布作成部１０８が投射映像の正確な輝度分布を作成できない。このため、画像補正部１１０は、撮像画像から、投射映像の周囲のスクリーン部分などの不要部分を除いた、投射映像のみの画像領域を切り出すような画像補正を行う。

また詳細は後述するが、本実施形態の場合、輝度分布作成部１０８で作成したい輝度分布は、歪み補正部１０３による歪み補正後の投射映像の輝度分布である。このため、輝度分布作成部１０８にて輝度分布を作成する際、本実施形態の映像投射装置１００は、歪み補正部１０３による歪み補正が行われた映像をスクリーンに投射し、撮像装置１０１ではその歪み補正後の映像が投射されているスクリーンを撮像する。したがって、画像補正部１１０により撮像画像から切り出される画像領域は、歪み補正がなされてスクリーンに投射された投射映像の画像領域となされる。画像補正部１１０における画像補正処理の詳細については後述する。

輝度分布作成部１０８は、画像補正部１１０により撮像画像から切り出された投射映像の輝度分布データを作成する。輝度分布作成部１０８における輝度分布データの作成処理の詳細は後述する。そして、輝度分布作成部１０８により作成された輝度分布データは、作用素作成部１０４に送られる。

作用素作成部１０４は、輝度分布作成部１０８から供給された輝度分布データを基に、スクリーンに投射される映像の輝度を補正するための作用素（以下、輝度補正作用素とする。）を作成する。作用素作成部１０４による輝度補正作用素の作成処理の詳細については後述する。作用素作成部１０４にて作成された輝度補正作用素は、輝度補正部１０５に送られる。

輝度補正部１０５は、作用素作成部１０４にて作成された輝度補正作用素を用い、入力映像の各画素の輝度を補正する。
以下、輝度補正作用素と、その輝度補正作用素を用いた輝度補正の詳細について説明する。本実施形態では、輝度補正作用素として、図２に示すようなＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を用いた補正マップを用いる。以下の説明では、輝度補正用のＬＵＴを輝度補正ＬＵＴと表記する。

図２の各白丸（○）はそれぞれ輝度補正ＬＵＴの各補正点ｐ１１，ｐ１２，・・・，ｐ２１，ｐ２２，・・・（以下、補正点とのみ表記する。）を表しており、これら各補正点ｐ１１，・・・に映像の座標が割り当てられている。図２の黒丸（●）は輝度補正部１０５に入力される映像の着目画素ｎを表しており、着目画素ｎの座標が補正マップのどこにマッピングされるかを示している。各補正点ｐ１１，・・・に割り当てられたデータは輝度ゲイン値である。着目画素ｎの輝度値を補正するための輝度ゲイン値は、その着目画素ｎの周囲の補正点ｐ１１，ｐ１２，ｐ２１，ｐ２２の輝度ゲイン値の内挿により求められる。このように、本実施形態の場合、作用素作成部１０４が、輝度分布データを基に、輝度補正作用素として図２に示すような輝度補正ＬＵＴを作成する。そして、輝度補正部１０５は、輝度補正ＬＵＴの各補正点の輝度ゲイン値を用いた内挿演算により、入力される映像の着目画素ｎの輝度値を補正するための輝度ゲイン値を算出する。

ここで、着目画素ｎの輝度値を補正するための輝度ゲイン値をＧ（ｎ）で表した場合、輝度補正部１０５は、下記式（１）を用いて輝度ゲイン値Ｇ（ｎ）を算出する。なお、式（１）では、着目画素ｎの輝度値を補正する輝度ゲイン値を算出する際に使用される各補正点ｐ１１〜ｐ２２の輝度ゲイン値を、それぞれＧ（ｐ１１）〜Ｇ（ｐ２２）として表している。また、式（１）では、着目画素ｎのｘ座標をｘ（ｎ）、ｙ座標をｙ（ｎ）で表し、各補正点ｐ１１〜ｐ２２のｘ座標をそれぞれｘ（ｐ１１）〜ｘ（ｐ２２）、ｙ座標をそれぞれｙ（ｐ１１）〜ｙ（ｐ２２）で表している。

Ｇ（ｎ）＝（Ｇ（ｐ１１）α＋Ｇ（ｐ１２）（１−α））β＋（Ｇ（ｐ２１）α＋Ｇ（ｐ２２）（１−α））（１−β） 式（１）
なお、式（１）のαは式（２）、βは式（３）により求められる。
α＝（ｘ（ｎ）−ｘ（ｐ１２））／（ｘ（ｐ１１）−ｘ（ｐ１２）） 式（２）
β＝（ｙ（ｎ）−ｙ（ｐ２１））／（ｙ（ｐ１１）−ｙ（ｐ２１）） 式（３）

そして、輝度補正部１０５は、式（４）に示すように着目画素ｎの輝度値Ｌ（ｎ）に輝度ゲイン値Ｇ（ｎ）を乗算することにより、着目画素ｎの補正後の輝度値Ｌｃ（ｎ）を算出する。
Ｌｃ（ｎ）＝Ｌ（ｎ）＊Ｇ（ｎ） 式（４）
なお、着目画素ｎに対する輝度ゲインＧ（ｎ）は、前述の式（１）以外のアルゴリズム、例えばバイキュービック補間などにより求められてもよい。

前述したようにして輝度補正部１０５による輝度補正がなされた後の映像のデータは、歪み補正部１０３に送られる。歪み補正部１０３は、輝度補正がなされた後の映像に対し、映像をスクリーンに投射した際の映像の歪みを抑えるような歪み補正を行う。歪み補正部１０３にて行われる歪み補正処理については公知の技術を用いることができ、映像の歪みを補正するための作用素としてはＬＵＴからなる歪み補正マップを用いてもよいし、スクリーンの形状をモデル化した変換式などを用いてもよい。

図３（ａ）〜図３（ｇ）は、スクリーンの撮像画像から輝度分布作成部１０８により輝度分布データが作成されるまでの様子を説明するイメージ図である。
図３（ａ）〜図３（ｇ）の例は、映像が投射されるスクリーンが円柱の曲面部分である場合を想定している。なお、撮像装置１０１がスクリーンを撮像するタイミングは、予め決められた定期的なタイミングとし、撮像装置１０１は定期的に撮像した撮像画像をＩ／Ｆ部１０９へ送信する。そして、画像補正部１１０は、撮像画像に対して、後段の輝度分布作成部１０８が投射映像の正確な輝度分布を作成できるようにするための画像補正を行う。なお、画像補正部１１０が、撮像装置１０１に対して撮像を行うように指示する構成であってもよい。

図３（ａ）は、本実施形態の映像投射装置１００において、輝度分布を作成する際に、映像入力部１０６より入力される映像、つまり投射映像の元になる２次元映像の一例を示している。図３（ｂ）は歪み補正部１０３による歪み補正後の映像を示しており、本実施形態では円柱の曲面部分をスクリーンとして用いているため、歪み補正後の映像は図３（ｂ）に示すような映像となっている。図３（ｃ）は映像投射装置１００によりスクリーンに投射された映像を表している。本実施形態では、スクリーンが円柱３５０の曲面部分となされ、投射される映像は図３（ｂ）に示すように歪み補正が施された映像であるため、スクリーン上の投射映像３００は図３（ｃ）に示したような歪みが軽減された映像となる。なお、図３（ｃ）では、図中太枠で示す領域が投射映像３００の領域を表している。図３（ａ）〜図３（ｃ）では、映像に格子模様が描かれているが、これは歪み補正の様子を判り易くイメージするために描かれているだけであり、輝度分布作成時に用いられる入力映像は、例えば後述するように全画素が均一の色（例えば白）の映像である。

図３（ｄ）は、図３（ｃ）に示したようにスクリーン上に投射されている映像を、撮像装置１０１にて撮像した撮像画像３１０を表している。図３（ｄ）に示すように、撮像画像３１０の中には、図３（ｃ）の投射映像３００に対応した画像領域（以下、投射画像領域３２０とする。）が含まれている。図３（ｅ）は、画像補正部１１０が、撮像画像３１０から投射映像３００に対応した投射画像領域３２０を検知して切り出して、その投射画像領域３２０の各画素と入力映像の各画素とが１対１の対応になるよう拡大した補正画像３３０を表している。ここで、画像補正部１１０による投射画像領域３２０の検知の際には、例えば映像投射部１０７から全画素が最大輝度となる投射映像３００をスクリーンに投射させる。そして、画像補正部１１０は、その状態のスクリーンを撮像装置１０１で撮像した撮像画像３１０の中から、投射画像領域３２０とそれ以外の領域（つまり映像が投射されていないスクリーン部分等）の輝度や色の差を検知することにより行う。また、切り出された投射画像領域３２０は、輝度分布作成部１０８において輝度分布を作成するために使用されるため、このとき映像入力部１０６から入力される補正用の入力映像は、全画素が均一の色（例えば白）の映像となされる。このため、画像補正部１１０は、撮像画像３１０の中から、例えば白の均一の色の領域とそれ以外の領域との差を基に、投射画像領域３２０を切り出す。

また例えば、撮像装置１０１とスクリーンとの相対的な位置関係によっては、撮像装置１０１がスクリーンに正対した状態で撮像できないことがある。すなわち、撮像装置１０１とスクリーンとの相対的な位置関係が、正対する位置関係からずれているなどの理由により、図３（ｇ）のように、撮像画像３１０の中の投射画像領域３２０に歪み（傾きなど）が生ずることがある。このような投射画像領域３２０の歪みへの対応のため、本実施形態の映像投射装置１００の画像補正部１１０は、前述した投射画像領域３２０の検知と切り出しの前処理として、投射画像領域３２０の傾きなどの歪みの検知及びその歪みの補正をも行う。

また、図３（ｄ）の投射画像領域３２０や図３（ｅ）に示した補正画像３３０において、図中のドットパターンの有り無し、及びドットパターンの濃さ（ドットの多さ）は画像の輝度を表しており、ドットパターンが濃いほど輝度が低いことを意味しているとする。例えば図３（ｅ）の場合、濃度が最も濃いドットパターン３０１の領域は最も輝度が低く、以下ドットパターン３０２，３０３の順に輝度が高くなり、ドットパターンが描かれていない領域３０４は最も輝度が高いことを表している。なお、図３（ｄ）〜図３（ｇ）の例では便宜上、ドットパターン３０１〜３０４の濃度が段階的に変化しているように描かれているが、スクリーンが円柱３５０である場合、実際の濃度は無段階に徐々に変化する。

図３（ｆ）は、図３（ｅ）の補正画像３３０を複数の領域ａ１１，ａ１２，・・・，ａ３５に分割した図である。なお、図３（ｆ）では、図３（ｅ）の補正画像３３０を３×５の１５個の領域ａ１１，ａ１２，・・・，ａ３５に分けた例を挙げているがこれは一例であり、さらに多数の領域に分割してもよい。以下、これら各領域ａ１１，ａ１２，・・・を分割領域と表記する。図３（ｆ）に示すように、輝度分布作成部１０８は、画像補正部１１０による補正画像３３０を複数の分割領域ａ１１，ａ１２，・・・，ａ３５に分けて、それぞれに代表点ｐ１１，ｐ１２，・・・，ｐ３５を設定する。各分割領域ａ１１，・・・には、必ず少なくとも一つの代表点が設定される。なお、図３（ｆ）では、各分割領域ａ１１，・・・の中心座標に対してそれぞれ代表点ｐ１１，・・・が設定された例を挙げている。そして、輝度分布作成部１０８は、それら各代表点ｐ１１，ｐ１２，・・・の画素がそれぞれ持つ輝度値（輝度データ）の集合を輝度分布データとして作成する。また、輝度分布作成部１０８は、それら代表点ごとに、正規化した輝度データを保持する。なお、前述した図２の各補正点ｐ１１，・・・の各座標は、これら図３（ｆ）の代表点ｐ１１，・・・の座標を基に決められる。一例として、図３（ｆ）の各代表点の各座標が図２の各補正点の各座標としてそのまま用いられてもよいし、例えば各代表点の各座標を基にした演算により各補正点の各座標が求められてもよい。

以下、輝度分布作成部１０８における輝度分布の算出方法について詳細に説明する。
輝度分布作成部１０８は、図３（ｆ）に示したように、図３（ｅ）の補正画像３３０を複数の領域に分割する。ここで、或る分割領域ａの平均輝度をＡ（ａ）とした場合、平均輝度Ａ（ａ）は、その分割領域ａに含まれる各画素の輝度値の平均値として算出される。輝度分布作成部１０８は、図３（ｆ）に示した各分割領域ａ１１〜ａ３５についてそれぞれ平均輝度を同様に算出する。なお、平均輝度は、分割領域に含まれる画素の内、間引きして得られた画素の輝度値の平均値であってもよい。

次に、輝度分布作成部１０８は、分割領域ａの平均輝度Ａ（ａ）を正規化して、正規化輝度Ｎ（ａ）を算出する。例えば、輝度分布作成部１０８は、補正画像３３０に含まれる全ての分割領域ａ１１〜ａ３５の平均輝度Ａ（ａ１１）〜Ａ（ａ３５）の最小値ＭＩＮを１．０として、下記の式（５）により分割領域ａの正規化輝度Ｎ（ａ）を算出する。

Ｎ（ａ）＝Ａ（ａ）／ＭＩＮ（Ａ（ａ１１），Ａ（ａ１２），・・・，Ａ（ａ３５））
式（５）
そして、輝度分布作成部１０８は、各分割領域ａ１１〜ａ３５についてそれぞれ算出した各正規化輝度を各代表点ｐ１１〜ｐ３５の輝度データとし、それら各代表点ｐ１１〜ｐ３５の各輝度データの集合を正規化輝度Ｎの輝度分布データとして保持する。この正規化輝度Ｎの輝度分布データは、その後、作用素作成部１０４に送られる。

作用素作成部１０４は、輝度分布作成部１０８が算出した正規化輝度Ｎの輝度分布データを基に、前述の図２で説明したような各補正点が輝度ゲイン値となされた補正マップである輝度補正ＬＵＴを、輝度補正作用素として作成する。ここで、輝度補正ＬＵＴに含まれる各補正点のうち、分割領域ａの代表点に対応した補正点ｐの輝度ゲイン値をＧ（ｐ）として表すと、作用素作成部１０４は、その補正点ｐの輝度ゲイン値Ｇ（ｐ）を下記の式（６）により算出する。

Ｇ（ｐ）＝γ（１／Ｎ（ａ）） 式（６）
ここで、式（６）のγは係数であり、輝度ゲインの効き具合を調整する値である。また、式中のＮ（ａ）は前述した分割領域ａにおける正規化輝度（代表点の輝度データ）である。すなわち、作用素作成部１０４は、分割領域ａの正規化輝度Ｎ（ａ）の逆数に対し、調整用の係数γを乗算して、補正点ｐの輝度ゲイン値Ｇ（ｐ）を算出することにより、輝度補正ＬＵＴの補正マップを作成する。

図４は、本実施形態の映像投射装置１００において前述した輝度補正ＬＵＴである輝度補正作用素が輝度補正データとして作成されるまでの流れを示すフローチャートである。なお、図４のフローチャートでは、処理ステップＳ４０１〜Ｓ４０６をそれぞれＳ４０１〜Ｓ４０６と略記する。また図４のフローチャートの処理は、ハードウェア構成により行われてもよいし、本実施形態に係る輝度補正データ作成処理のプログラムを例えばパーソナルコンピュータ等のＣＰＵが実行することにより実現されてもよい。なお、このプログラムは各種記録メディアやネットワークを介して供給され、ＲＡＭ等に展開されることによりＣＰＵにより実行可能となされる。また、この輝度補正データ作成処理は、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。このことは後述する各実施形態においても同様とする。

図４のＳ４０１において、制御部１０２は、本実施形態の映像投射装置１００の動作モードが補正データ作成モードか否かを判断する。制御部１０２は、動作モードが補正データ作成モードであると判断（Ｙｅｓ）した場合にはＳ４０２へ処理を進める。一方、制御部１０２は、動作モードが、補正データ作成モードでないと判断（Ｎｏ）した場合、例えば、入力映像をスクリーンに投射して鑑賞者による鑑賞が行われる鑑賞モードであると判断した場合には、Ｓ４０６へ処理を進める。

Ｓ４０２の処理に進んだ場合、制御部１０２は、輝度補正部１０５を制御して輝度補正処理を行わない設定（オフ設定）にし、また、歪み補正部１０３を制御して歪み補正処理を行う設定（オン設定）にした後、Ｓ４０３に処理を進める。なお、輝度補正部１０５が輝度補正処理を行わないオフ設定になされた場合、輝度補正部１０５は、入力映像データをスルーさせて後段の歪み補正部１０３に出力する。

Ｓ４０３の処理に進むと、制御部１０２による制御の下、画像補正部１１０は、撮像装置１０１により撮像されてＩ／Ｆ部１０９から供給された撮影画像に対して、前述した画像補正処理を行う。なお、補正データ作成モードの場合、映像入力部１０６からは前述したように全画素が例えば白の均一色の補正用の映像が入力され、画像補正部１１０は前述したように撮像画像の中から白の投射画像領域を切り出すような画像補正処理を行う。Ｓ４０３の後、制御部１０２は、Ｓ４０４に処理を進める。

Ｓ４０４の処理に進むと、制御部１０２による制御の下、輝度分布作成部１０８は、画像補正部１１０による画像補正処理後の補正画像データから、前述したような輝度分布データを作成する。Ｓ４０４の後、制御部１０２は、Ｓ４０５に処理を進める。

Ｓ４０５の処理に進むと、制御部１０２による制御の下、作用素作成部１０４は、輝度分布作成部１０８により作成された輝度分布データを基に、前述した輝度補正作用素の輝度補正ＬＵＴである輝度補正データを作成する。Ｓ４０５の後、制御部１０２は、図４のフローチャートの処理を終了する。この輝度補正データは、輝度補正部１０５に送られて保持され、その後、本実施形態の映像投射装置１００が鑑賞モードになされた際に、輝度補正部１０５において行われる輝度補正処理に用いられる。

一方、Ｓ４０６の処理に進んだ場合、制御部１０２は、輝度補正部１０５を制御して輝度補正処理を行う設定（オン設定）にし、また、歪み補正部１０３を制御して歪み補正処理を行う設定（オン設定）にする。例えば鑑賞モードの場合、映像入力部１０６からは鑑賞者に鑑賞させる映像が入力され、その入力映像に対して輝度補正部１０５による輝度補正と歪み補正部１０３による歪み補正とがなされた映像が、スクリーンに投射されることになる。Ｓ４０６の後、制御部１０２は、図４のフローチャートの処理を終了する。

以上説明したように、本実施形態の映像投射装置１００は、補正データ作成モードの場合、歪み補正後の映像をスクリーンに投射し、そのスクリーンの撮像画像に画像補正を行い、その補正画像から作成した輝度分布データを基に輝度補正作用素を作成する。そして、鑑賞モードの場合、本実施形態の映像投射装置１００は、その輝度補正作用素により入力映像の輝度を補正し、さらに歪み補正を行った後の映像を、スクリーンに投射するようになされている。したがって、本実施形態の映像投射装置１００によれば、スクリーンの形状がどのような形状であっても、映像の歪みだけでなく、輝度むらも抑制された映像をスクリーンに投射することが可能となる。

なお、本実施形態では、円柱の曲面部分をスクリーン（投射面）として使用する場合を想定した例を挙げたが、スクリーンが円柱以外の形状、例えば球体、ドーム、平面など何れの形状であっても、映像の歪みと輝度むらが抑制された映像の投射が可能となる。

＜第２の実施形態＞
以下、第２の実施形態として、映像投射を行う構成と、撮像画像から輝度補正作用素を作成するまでの情報処理を行う構成とが分離された例について説明する。
図５は、第２の実施形態の映像処理装置の構成例を示すブロック図である。第２の実施形態の映像処理装置は、図１に示した映像入力部１０６から映像投射部１０７までと同様の構成を有する映像投射装置５０１と、制御部１０２及びＩ／Ｆ部１０９から作用素作成部１０４までと同様の構成を有する情報処理装置５０２とからなる。図５の情報処理装置５０２が第２の実施形態に係る映像処理装置である。

第２の実施形態の場合、図５に示すように、情報処理装置５０２は、Ｉ／Ｆ部１０９、制御部１０２、画像補正部１１０、輝度分布作成部１０８、作用素作成部１０４を備え、これらの構成は前述の第１の実施形態の構成と同様の機能を有する。また、情報処理装置５０２は、Ｉ／Ｆ部５０３、Ｉ／Ｆ部５０５をも備えている。

第２の実施形態の映像投射装置５０１は、映像入力部１０６、輝度補正部１０５、歪み補正部１０３、映像投射部１０７を備え、これらの構成は前述の第１の実施形態の構成と同様の機能を有する。また、映像投射装置５０１は、Ｉ／Ｆ部５０４、Ｉ／Ｆ部５０６をも備えている。

情報処理装置５０２のＩ／Ｆ部５０３は、作用素作成部１０４にて前述同様に作成された輝度補正ＬＵＴを映像投射装置５０１に送信し、映像投射装置５０１のＩ／Ｆ部５０４はその輝度補正ＬＵＴを取得して輝度補正部１０５に送る。また、情報処理装置５０２のＩ／Ｆ部５０５は、制御部１０２が設定した現在のモード情報、つまり補正データ作成モードかそれ以外のモード（例えば鑑賞モード）かを示す情報を映像投射装置５０１に送信する。そして、映像投射装置５０１のＩ／Ｆ部５０４はそのモード情報を取得し、歪み補正部１０３と輝度補正部１０５に送る。なお、Ｉ／Ｆ部５０３，５０４，５０５，５０６は、例えばＲＳ２３２Ｃ用のＩ／Ｆでもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）用のＩ／Ｆなどでもよい。

第２の実施形態によれば、情報処理装置５０２のＩ／Ｆ部１０９、制御部１０２、画像補正部１１０、輝度分布作成部１０８、作用素作成部１０４は第１の実施形態の対応した構成と同様に動作する。また、映像投射装置５０１の映像入力部１０６、輝度補正部１０５、歪み補正部１０３、映像投射部１０７は第１の実施形態の対応した構成と同様に動作する。そして、第２の実施形態では、情報処理装置５０２の作用素作成部１０４にて作成された輝度補正ＬＵＴが、Ｉ／Ｆ部５０３及び５０４を介して映像投射装置５０１の輝度補正部１０５に送られる。また、制御部１０２からのモード情報が、Ｉ／Ｆ部５０５及び５０６を介して歪み補正部１０３と輝度補正部１０５とに送られる。

ここで、モード情報が例えば補正データ作成モードを示す場合、前述した図４のＳ４０２のように、歪み補正部１０３はオンに設定され、輝度補正部１０５はオフに設定され、以降、前述した図４のＳ４０３からＳ４０５の処理が行われる。これにより、前述した輝度補正ＬＵＴの輝度補正データが作成されることになる。一方、モード情報が例えば鑑賞モードを示す場合、歪み補正部１０３と輝度補正部１０５は、前述の図４のＳ４０６のように共にオンに設定され、これにより、前述したように歪み補正と輝度補正が行われた後の映像が、スクリーンに投射されることになる。

このように、第２の実施形態においても前述した第１の実施形態の場合と同様に、スクリーン（投射面）の形状等に因らずに、映像の歪みだけでなく、輝度むらも抑制された映像を投射することが可能となる。

＜第３の実施形態＞
次に、本発明の映像処理装置が適用される第３の実施形態として、映像の歪み補正が輝度補正よりも先に行われる構成例について説明する。映像の歪み補正が輝度補正よりも先に行われる場合には、映像の歪み補正を考慮して、輝度補正作用素を作成する必要があり、以下、映像の歪み補正を考慮して輝度補正作用素を作成する処理について説明する。

図６は、第３の実施形態の映像処理装置の適用例である映像投射装置６００の概略構成例を示すブロック図である。第３の実施形態の映像投射装置６００において、映像入力部１０６、映像投射部１０７、Ｉ／Ｆ部１０９、画像補正部１１０、制御部１０２は、前述の第１の実施形態の場合と同様の構成であるためその説明は省略する。以下、第３の実施形態の映像投射装置６００において、第１の実施形態の映像投射装置１００とは異なる点についてのみ説明する。

第３の実施形態の映像投射装置６００の場合、映像入力部１０６からの入力映像データは歪み補正部１０３に送られる。歪み補正部１０３は、歪み補正情報６０２に基づき、映像入力部１０６からの入力映像の歪みを補正する。なお、歪み補正情報６０２は、ユーザーの指示により作成された歪み補正情報でもよいし、撮像装置１０１の撮像画像を基に作成した歪み補正情報でもよく、公知の歪み補正情報作成処理により作成可能である。歪み補正部１０３にて行われる歪み補正処理は前述の第１の実施形態の場合と同様に行われる。第３の実施形態の場合、歪み補正部１０３による歪み補正後の映像データが輝度補正部１０５に送られる。

輝度補正部１０５は、歪み補正部１０３から出力された歪み補正後の映像に対し、作用素作成部６０１にて作成された輝度補正作用素を用いて輝度補正を行う。輝度補正部１０５にて行われる輝度補正処理は前述の第１の実施形態の場合と同様に行われる。

第３の実施形態の場合、作用素作成部６０１は、輝度分布作成部１０８が作成した輝度分布データと、歪み補正情報６０２とを基に、輝度補正作用素を作成する。また第３の実施形態の場合、輝度分布データは、入力映像の画素数に対応した数の輝度データからなるデータとする。

図７は、第３の実施形態における輝度分布データの説明図である。
前述した図３（ｆ）の例では分割領域ａ１１〜ａ３５ごとに一つの代表点ｐ１１〜ｐ３５が設定されたが、第３の実施形態の場合、輝度分布作成部１０８は、各分割領域ａ１１〜ａ３５に含まれる全画素の座標に対し、それぞれ代表点の輝度データを割り当てる。図７に示した分割領域ａ１１を例に挙げると、輝度分布作成部１０８は、分割領域ａ１１に含まれる全ての画素の座標について、前述した代表点ｐ１１の同一の輝度データを割り当てる。すなわち、第３の実施形態の場合、輝度分布データは、各分割領域ａ１１〜ａ３５にそれぞれ含まれる全画素の座標に対応して、各代表点ｐ１１〜ｐ３５と同一の輝度データが割り当てられた輝度分布データとなる。輝度分布作成部１０８は、この輝度分布データを、作用素作成部６０１に送る。

作用素作成部６０１は、輝度分布作成部１０８にて作成された輝度分布データを、歪み補正部１０３と同様に歪み補正情報６０２に基づいて変形し、その変形後の輝度分布データを用いて輝度補正作用素、つまり輝度補正ＬＵＴを作成する。このように、第３の実施形態の場合、輝度分布作成部１０８で作成された輝度分布データを、歪み補正情報６０２に基づいて変形した変形後の輝度分布データを基に、輝度補正ＬＵＴが作成される。また、第３の実施形態の場合、輝度補正ＬＵＴは、各分割領域ａ１１〜ａ３５の全画素にそれぞれ代表点の輝度データが割り当てられた輝度分布データを基に作成されている。このため、輝度補正ＬＵＴは、各画素の座標にそれぞれ補正点の輝度ゲイン値が割り当てられたものとなる。そして、この輝度補正ＬＵＴが、輝度補正部１０５に送られる。

輝度補正部１０５では、歪み補正部１０３による歪み補正後の映像に対し、輝度補正ＬＵＴを用いて輝度の補正を行う。第３の実施形態の場合、輝度補正ＬＵＴの各補正点が歪み補正後の各画素に対応して求められているため、輝度補正部１０５では、歪み補正部１０３による歪み補正後の各画素の輝度値を、輝度補正ＬＵＴの輝度ゲイン値を用いて補正することができる。すなわち、第３の実施形態の場合、輝度補正部１０５は、着目画素の輝度値に対し、輝度補正ＬＵＴの中で着目画素に対応した輝度ゲイン値を乗算することにより、その着目画素の補正後の輝度値を算出する。そして、輝度補正部１０５により輝度補正がなされた後の映像データが、映像投射部１０７に送られてスクリーンに投射されることになる。

なお、第３の実施形態の輝度補正ＬＵＴは、前述した第１の実施形態と同様、分割領域ａ１１〜ａ３５ごとに一つの代表点に対応した補正点からなるＬＵＴとして作成されてもよい。例えば分割領域ａ内の各画素に対応した複数の輝度データの中から、例えば分割領域ａの中心座標の輝度データを一つの代表値として用いるようにして、前述同様に分割領域ａ１１〜ａ３５ごとに一つの代表点に対応した補正点からなる輝度補正ＬＵＴを作成する。また、この例の場合、輝度補正部１０５は、第１の実施形態の場合と同様に、着目画素に対する輝度ゲイン値を、その周囲の各補正値の輝度ゲイン値を内挿して算出し、その算出した輝度ゲイン値を用いて着目画素の輝度補正を行う。

第３の実施形態では、映像に対する歪み補正を考慮して輝度補正作用素を作成し、歪み補正後の映像に対して、その輝度補正作用素を用いて輝度補正を行っている。第３の実施形態のように、映像の歪み補正を輝度補正より先に行う場合でも、第１の実施形態と同様に、スクリーンの形状等に因らずに、映像の歪みだけでなく、輝度むらも抑制された映像を投射可能となる。

また、第３の実施形態のように映像の歪み補正が輝度補正よりも先に行われる場合においても、前述の第２の実施形態の例のように、映像投射を行う構成と、撮像画像から輝度補正作用素を作成するまでの情報処理を行う構成とが分離されていてもよい。図示と詳細な説明は省略するが、この場合の映像処理装置は、図６に示した映像入力部１０６から映像投射部１０７までの構成を有する映像投射装置と、制御部１０２及びＩ／Ｆ部１０９から作用素作成部６０１までの構成を有する情報処理装置とからなる。そして、それら映像投射装置と情報処理装置が、前述した第２の実施形態と同様のＩ／Ｆ部により接続される。また、この場合の歪み補正情報６０２は、映像投射装置と情報処理装置の両方において保持されている。この例の場合も、前述した第３の実施形態の例と同様の効果を得ることができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：映像投射装置、１０１：撮像装置、１０２：制御部、１０３：歪み補正部、１０４：作用素作成部、１０５：輝度補正部、１０６：映像入力部、１０７：映像投射部、１０８：輝度分布作成部、１０９：Ｉ／Ｆ部、１１０：画像補正部

Claims (15)

1. スクリーンの形状に合わせた歪み補正を施した映像が前記スクリーンに投射された投射映像の撮像画像を取得する取得手段と、
   前記撮像画像を用いて輝度分布を作成する分布作成手段と、
   前記輝度分布を基に、輝度を補正する作用素を作成する作用素作成手段と、
   前記輝度を補正する作用素を用いて、前記スクリーンに投射する映像の輝度を補正する輝度補正手段と、
   前記スクリーンの形状に合わせた歪み補正を、前記スクリーンに投射する映像に施す歪み補正手段と、
   を有することを特徴とする映像処理装置。
2. 映像を前記スクリーンに投射する投射手段を有することを特徴とする請求項１に記載の映像処理装置。
3. 前記輝度補正手段は、前記輝度を補正する作用素を用いて入力映像の輝度を補正し、
   前記歪み補正手段は、前記輝度の補正がなされた映像に対して、前記スクリーンの形状に合わせた歪み補正を施すことを特徴とする請求項１又は２に記載の映像処理装置。
4. 前記歪み補正手段は、入力映像に対して、前記スクリーンの形状に合わせた歪み補正を施し、
   前記輝度補正手段は、前記歪み補正が施された映像の輝度を、前記輝度を補正する作用素を基に補正することを特徴とする請求項１又は２に記載の映像処理装置。
5. スクリーンに投射された投射映像の撮像画像を取得する取得手段と、
   前記撮像画像を用いて輝度分布を作成する分布作成手段と、
   前記輝度分布を基に、輝度を補正する作用素を作成する作用素作成手段と、を有し、
   輝度を補正する作用素を用いて前記スクリーンに投射する映像の輝度を補正する輝度補正手段と前記スクリーンの形状に合わせた歪み補正を行う歪み補正手段とを有する映像投射装置に対して、前記作成した輝度を補正する作用素を送信することを特徴とする映像処理装置。
6. 前記分布作成手段は、前記撮像画像を複数に分割した領域ごとに対応した各代表点の輝度データからなる輝度分布を作成し、
   前記作用素作成手段は、前記輝度を補正する作用素として、前記各代表点に対応した各補正点に輝度ゲイン値が割り当てられた補正マップを作成し、
   前記輝度補正手段は、輝度を補正する着目画素に対する輝度ゲイン値を、前記補正マップの中で前記着目画素に対する周囲の各補正点の輝度ゲイン値を用いた内挿により算出し、前記算出した輝度ゲイン値を前記着目画素の輝度値に乗算することで、前記着目画素の輝度の補正を行うことを特徴とする請求項３又は５に記載の映像処理装置。
7. 前記分布作成手段は、前記分割した領域ごとに対応した各代表点の輝度データを正規化した輝度データからなる前記輝度分布を作成し、
   前記作用素作成手段は、前記輝度分布の前記正規化された輝度データの逆数に対し、調整用の係数を乗算して前記補正マップを作成することを特徴とする請求項６に記載の映像処理装置。
8. 前記分布作成手段は、前記撮像画像を複数に分割した領域ごとに対応した代表点の輝度データが、それぞれの領域の中の各画素に対して割り当てられた輝度分布を作成し、
   前記作用素作成手段は、前記輝度を補正する作用素として、前記分割された領域の中の各画素に対応した各補正点に輝度ゲイン値が割り当てられた補正マップを作成し、
   前記輝度補正手段は、輝度を補正する着目画素の輝度値に、前記補正マップの前記着目画素に対応した輝度ゲイン値を乗算することで、前記着目画素の輝度の補正を行うことを特徴とする請求項４又は５に記載の映像処理装置。
9. 前記撮像画像に対し、前記輝度分布の作成のための画像補正を施す画像補正手段を有し、
   前記分布作成手段は、前記画像補正が施された後の撮像画像を用いて前記輝度分布を作成することを特徴とする請求項１から８の何れか１項に記載の映像処理装置。
10. 前記画像補正手段は、前記画像補正として、前記撮像画像の中に含まれる前記投射映像の領域を切り出し、前記切り出した領域の画素が入力映像の画素に１対１に対応するように前記切り出した領域を補正する処理を行うことを特徴とする請求項９に記載の映像処理装置。
11. 前記画像補正手段は、前記輝度分布の作成のための画像補正の前処理として、前記撮像画像を撮像する撮像装置と前記スクリーンとの相対的な位置関係により生ずる撮像画像の歪みを検知し、前記撮像画像に対して前記検知した歪みの補正を施すことを特徴とする請求項９又は１０に記載の映像処理装置。
12. 設定されたモードに応じて前記歪み補正と前記輝度の補正とを制御する制御手段を有し、
    前記制御手段は、
    前記設定されたモードが、前記輝度分布を基に前記輝度を補正する作用素の作成を行うモードである場合には、前記輝度の補正を行わせずに、前記歪み補正を行わせるように制御し、
    前記設定されたモードが、鑑賞のための入力映像をスクリーンに投射させるモードである場合には、前記歪み補正及び前記輝度の補正を行わせるように制御することを特徴とする請求項１から１１の何れか１項に記載の映像処理装置。
13. スクリーンの形状に合わせた歪み補正を施した映像が前記スクリーンに投射された投射映像の撮像画像を取得する取得工程と、
    前記撮像画像を用いて輝度分布を作成する分布作成工程と、
    前記輝度分布を基に、輝度を補正する作用素を作成する作用素作成工程と、
    前記輝度を補正する作用素を用いて、前記スクリーンに投射する映像の輝度を補正する輝度補正工程と、
    前記スクリーンの形状に合わせた歪み補正を、前記スクリーンに投射する映像に施す歪み補正工程と、
    を有することを特徴とする映像処理装置の映像処理方法。
14. スクリーンに投射された投射映像の撮像画像を取得する取得工程と、
    前記撮像画像を用いて輝度分布を作成する分布作成工程と、
    前記輝度分布を基に、輝度を補正する作用素を作成する作用素作成工程と、を有し、
    輝度を補正する作用素を用いて前記スクリーンに投射する映像の輝度を補正する輝度補正手段と前記スクリーンの形状に合わせた歪み補正を行う歪み補正処理手段とを有する映像投射装置に対して、前記作成した輝度を補正する作用素を送信することを特徴とする映像処理装置の映像処理方法。
15. コンピュータを、請求項１から１２の何れか１項に記載の映像処理装置の各手段として機能させるためのプログラム。

Images