JP2010081488A - 画像処理装置、画像処理方法およびプロジェクションシステム - Google Patents

Abstract

【課題】理想的画素位置に対する画素ずれによる画像の鮮鋭性低下の補正を画像処理で行う。
【解決手段】複数の画像生成手段が有する各光変調素子のそれぞれ対応する画素の位置を一致または所定量ずらした状態を理想的画素位置として前記複数の画像生成手段で生成される画像を投射面に投射して前記投射面で複数の画像を重ねて表示するプロジェクションシステム１０における画像処理装置２００であって、前記理想的画素位置に対する画素ずれ量を算出する画素ずれ量算出部２１０と、算出された画素ずれ量のときの所定の周波数におけるＭＴＦ（Modulation Transfer Function）を取得するＭＴＦ取得部２２０と、投射面に表示される画像が所望とする鮮鋭性を有するように前記ＭＴＦを補正するための補正フィルタを生成する補正フィルタ生成部２３０と、前記補正フィルタを前記画像に対応する画像データに適用するフィルタ適用部２４０とを有する。
【選択図】図１

Description

本発明は、それぞれ対応する画素の位置を一致または所定量ずらした状態として複数の画像を投射するプロジェクションシステムにおける画像処理装置、画像処理方法およびプロジェクションシステム関する。

それぞれ対応する画素の位置を一致または所定量ずらした状態として複数の画像を投射するプロジェクションシステムが知られている。このようなプロジェクションシステムにおいて、例えば、複数のプロジェクタ（説明の簡単化のために２台とする）のそれぞれ対応する画素の位置が斜め方向に１／２画素ずれるように設定して、２台のプロジェクタから画像を投射することによって、投射面に表示される画像を高解像度化することができる。また、複数のプロジェクタ（同じく２台とする）のそれぞれ対応する画素の位置が一致するように設定して、２台のプロジェクタから画像を投射することによって、投射面に表示される画像を高輝度化することができる。

このようなプロジェクションシステムにおいては、いずれの場合であっても、２台のプロジェクタのそれぞれ対応する画素は高精度に位置調整された状態を保持することが重要である。

例えば、２台のプロジェクタのそれぞれ対応する画素を斜め方向に１／２画素ずらして投射を行うようなプロジェクションシステム（第１プロジェクションシステムという）について考えると、第１プロジェクションシステムの構築時には、２台のプロジェクタのそれぞれ対応する画素の位置が斜め方向に１／２画素ずれるように高精度に調整されたとしても、経時変化などによって、各プロジェクタにおいて初期に設定した理想的な画素の位置（理想的画素位置という）に対し、画素ずれが生じてしまうことがある。このような理想的画素位置に対する画素ずれは、投射面としてのスクリーン上に表示される画像の鮮鋭性の低下の要因ともなる。

図９は理想的画素位置に対する画素ずれを説明する図である。図９（ａ）は２台のプロジェクタのそれぞれ対応する画素が理想的画素位置に設定されている状態であり、この場合、２台のプロジェクタＰＪ１，ＰＪ２のうちの一方のプロジェクタＰＪ１の画素Ｐ１１，Ｐ１２，・・・（白抜きの四角で示す）と、他方のプロジェクタＰＪ２の画素Ｐ２１，Ｐ２２，・・・（灰色の四角で示す）は、それぞれ対応する画素(例えば、画素Ｐ１１と
画素Ｐ２１、画素Ｐ１２と画素２２など)が斜め方向に１／２画素だけずれた状態となっ
ている。なお、図９に示す各画素は、光変調素子（液晶パネルとする）における各画素の開口部のみが示されており、ブラックマトリクスの部分は省略されている。これは、後に説明する図６においても同様である。

また、図９（ｂ）は、図９（ａ）の状態から何らかの原因で光変調素子の位置がずれて光変調素子の各画素の位置が理想的画素位置（図９（ａ）に示す画素位置）に対してずれ（画素ずれという）が生じた場合であり、この場合、プロジェクタＰＪ１の各画素Ｐ１，Ｐ２，・・・の位置を基準として、プロジェクタＰＪ２の各画素に画素ずれが生じたとする。

ここで、理想的画素位置におけるプロジェクタＰＪ１の各画素Ｐ１１，Ｐ１２，・・・の位置に対するプロジェクタＰＪ２の各画素Ｐ２１，Ｐ２２，・・・の位置を（ｒｉ，θｉ）とし、当該理想的画素位置からプロジェクタの各画素のずれが生じたときときのプロ
ジェクタＰＪ１の各画素に対するプロジェクタＰＪ２の各画素の位置を（ｒｆ，θｆ）としたとき、理想的画素位置に対するプロジェクタＰＪ２の画素ずれ量（ｒ，θ）は、
（ｒ，θ）＝（ｒｆ−ｒｉ，θｆ−θｉ）・・・・・・・（１）
と表すことができる。したがって、（１）式で得られる画素ずれ量を補正することで、２台のプロジェクタＰＪ１，ＰＪ２の対応する画素の位置を理想的画素位置（図９（ａ）参照）とすることができる。なお、各画素の画素位置（ｒｉ，θｉ）および（ｒｆ，θｆ）の決め方は、例えば、当該画素における輝度分布のピーク位置とするという方法を例示することができる。

また、２台のプロジェクタＰＪ１，ＰＪ２のそれぞれ対応する画素が一致するように２台のプロジェクタＰＪ１，ＰＪ２を調整したプロジェクションシステム（第２プロジェクションシステムという）においても理想的画素位置からの画素ずれ量を求めることができる。

第１プロジェクションシステムおよび第２プロジェクションシステムにおいて、理想的画素位置に対する画素ずれが生じると、スクリーン上に表示される画像の鮮鋭性低下を招くため、画像の鮮鋭性低下を補正する手段が必要となる。画像の鮮鋭性低下を補正する手段としては、例えば、理想的画素位置に対する画素ずれを補正する画素位置補正手段を設け、この画素位置補正手段によって画素ずれを補正することによって画像の鮮鋭性低下を補正することができる。

このような画素位置補正手段としては、たとえば、光変調素子の位置を微調整可能な光変調素子の位置調整機構を例示することができ、このような位置調整機構を組み込んだプロジェクタは従来から知られている（例えば、特許文献１参照）。

特許文献１に開示された技術は、光変調素子をアクチュエータによって微調整可能とするものであって、このような光変調素子の位置調整機構を各プロジェクタに設けることにより、理想的画素位置に対する画素ずれを補正することができる。

例えば、図９に示したように、２台のプロジェクタのそれぞれ対応する画素を斜め方向に１／２画素ずらして投射を行うような第１のプロジェクションシステムにおいて、理想的画素位置に対し画素ずれが生じた場合、一方のプロジェクタ側において光変調素子の位置調整機構を駆動させることによって、２台のプロジェクタのそれぞれ対応する画素を理想的画素位置に補正することが可能であり、それによって、理想的画素位置に対する画素ずれによる画像の鮮鋭性低下を補正することができると考えられる。

特開２００６−１０９９３号公報

しかしながら、特許文献１に開示された技術は、機械的な位置調整機構により光変調素子を動かすものであるため、プロジェクタ内部に複雑な構成を有する位置調整機構を設ける必要がある。このため、プロジェクタの内部構成が複雑となり、また、プロジェクタの小型・軽量化を阻害するものとなる。また、光変調素子の解像度が高くなるほど、位置調整を高精度に行う必要があり、例えば、数百ナノメートル程度の調整精度が要求される場合もある。このため、アクチュエータなどの機械的な位置調整機構では実質的に調整困難な場合もある。

そこで本発明は、画素ずれによる画像の鮮鋭性低下を機械的な位置調整機構を用いることなく適切に補正可能とする画像処理装置、画像処理方法およびプロジェクションシステ
ムを提供することを目的とする。

本発明の画像処理装置は、複数の画像生成手段が有する各光変調素子のそれぞれ対応する画素の位置を一致または所定量ずらした状態を理想的画素位置として前記複数の画像生成手段で生成される画像を投射面に投射して前記投射面で複数の画像を重ねて表示するプロジェクションシステムにおける画像処理装置であって、前記理想的画素位置に対する画素ずれ量を算出する画素ずれ量算出部と、前記画素ずれ量算出部によって算出された画素ずれ量のときの所定の周波数におけるＭＴＦ（Modulation Transfer Function）を取得するＭＴＦ取得部と、前記投射面に表示される画像が所望とする鮮鋭性を有するように前記ＭＴＦを補正するための補正フィルタを生成する補正フィルタ生成部と、前記補正フィルタを前記画像に対応する画像データに適用するフィルタ適用部とを有することを特徴とする。

本発明の画像処理装置は、理想的画素位置に対する画素ずれ量を算出し、算出された画素ずれ量のときの所定の周波数におけるＭＴＦを取得し、投射面に表示された画像が所望とする鮮鋭性を有するようにＭＴＦを補正する補正フィルタを生成して、生成された補正フィルタを表示すべき画像に対応する画像データに適用するようにしている。これにより、画素ずれによる画像の鮮鋭性低下を補正することができる。一般に、画像の鮮鋭性はＭＴＦによって表すことができる。本発明は、投射面に表示される画像が所望とする鮮鋭性を有するようにＭＴＦを補正する補正フィルタを生成して、生成された補正フィルタを表示すべき画像に対応する画像データに適用するものである。

このように、本発明の画像処理装置によれば、画像処理によって理想位置に対する画素ずれによる画像の鮮鋭性低下を補正するものであるため、光変調素子を位置調整するための機械的な位置調整機構を不要とすることができる。

本発明の画像処理装置においては、前記画素ずれ量と、当該画素ずれ量のときの前記所定の周波数におけるＭＴＦとが対応付けられたＭＴＦ取得用テーブルを有し、前記ＭＴＦ取得用テーブルにより、前記画素ずれ量算出部によって算出された前記画素ずれ量のときの所定の周波数におけるＭＴＦを取得することが好ましい。

このようなＭＴＦ取得用テーブルを作成しておくことによって、理想的画素位置に対する画素ずれ量に対応するＭＴＦを容易に取得することができる。

本発明の画像処理装置においては、前記ＭＴＦ取得用テーブルは、離散的な各画素ずれ量と当該離散的な各画素ずれ量のときの前記所定の周波数におけるＭＴＦとが対応付けられていることが好ましい。

このように、ＭＴＦ取得用テーブルを、離散的な各画素ずれ量と当該離散的な各画素ずれ量のときの前記所定の周波数におけるＭＴＦとが対応付けられたテーブルとすることによって、ＭＴＦ取得用テーブルのデータ量を少なくすることができる。なお、ＭＴＦ取得用テーブルに存在しない画素ずれ量に対するＭＴＦは、補間によって算出することができる。

本発明の画像処理装置においては、前記所定の周波数は、２ｄｏｔ／ｃｙｃｌｅの周波数であることが好ましい。

ＭＴＦは２ｄｏｔ／ｃｙｃｌｅ（表現可能な最も高い周波数）の周波数において、より小さくなるため、２ｄｏｔ／ｃｙｃｌｅのみにおけるＭＴＦを用いて補正フィルタを生成
することによって、生成された補正フィルタは、鮮鋭性の低下を適切に補正するフィルタとすることができる。また、２ｄｏｔ／ｃｙｃｌｅのみにおけるＭＴＦを用いて補正フィルタを生成することにより、２ｄｏｔ／ｃｙｃｌｅ以外の周波数におけるＭＴＦを用いて補正フィルタを生成する場合に比べて、フィルタ係数の算出など補正フィルタ生成に要する演算量を大幅に削減することができる。

本発明の画像処理装置においては、前記画素を所定量ずらした状態は、それぞれ対応する画素の位置を斜め方向に所定量ずらした状態であることが好ましい。
このように、それぞれ対応する画素の位置を斜め方向に所定量ずらして複数の画像を表示することによって、投射面に表示される画像を高解像度化することができる。

本発明の画像処理装置においては、前記補正フィルタは、前記理想的画素位置において前記投射面に表示される画像が所望とする鮮鋭性を有するように生成された初期設定フィルタを基にして生成されることが好ましい。

これは、理想的画素位置における画像の鮮鋭性低下を補正するために生成されたフィルタ（デフォルトフィルタ）を基にして、当該理想的画素位置に対して画素ずれが生じたときの画像の鮮鋭性低下を補正する補正フィルタを生成するというものである。具体的には、デフォルトフィルタの有するフィルタ係数を基にして補正フィルタのフィルタ係数を算出する。これにより、理想的画素位置に対して画素ずれが生じたときの画像の鮮鋭性低下を補正するための補正フィルタを少ない演算量でかつ適切に生成することができる。

本発明の画像処理装置においては、前記複数の画像生成手段は、前記複数の画像生成手段の各画像生成手段が複数のプロジェクタの各プロジェクタに設けられていることが好ましい。

これは、複数のプロジェクタを有し、当該複数のプロジェクタから投射される画像を投射面で重ねて表示するプロジェクションシステムであって、このようなプロジェクションシステムに本発明の画像処理装置を適用することによって、画素ずれによる画像の鮮鋭性低下の補正を画像処理によって行うことができる。これにより、光変調素子を位置調整するための機械的な位置調整機構を不要とすることができる。

本発明の画像処理装置においては、前記複数の画像生成手段は、１台のプロジェクタに設けられていることもまた好ましい。

このようなプロジェクタは、複数の画像生成手段（第１画像生成手段および第２画像生成手段の２つの画像生成手段とする）と、第１画像生成手段および第２画像生成手段でそれぞれ生成される画像を合成する合成光学系と、合成光学系によって合成された画像を投射する投射光学系とを有するプロジェクタであって、このようなプロジェクタを用いたプロジェクションシステムにおいても、投射面で複数の画像を重ねて表示することができる。したがって、本発明の画像処理装置は、このようなプロジェクタを有するプロジェクションシステムにおいても適用することができる。

本発明の画像処理方法は、複数の画像生成手段が有する各光変調素子のそれぞれ対応する画素の位置を一致または所定量ずらした状態を理想的画素位置として前記複数の画像生成手段で生成される画像を投射面に投射して前記投射面で複数の画像を重ねて表示するプロジェクションシステムにおける画像処理方法であって、前記理想的画素位置に対する画素ずれ量を算出する画素ずれ量算出ステップと、前記画素ずれ量算出ステップによって算出された画素ずれ量のときの所定の周波数におけるＭＴＦ（Modulation Transfer Function）を取得するＭＴＦ取得ステップと、前記投射面に表示される画像が所望とする鮮鋭性
を有するように前記ＭＴＦを補正するための補正フィルタを生成する補正フィルタ生成ステップと、前記補正フィルタを前記画像に対応する画像データに適用するフィルタ適用ステップとを有することを特徴とする。

本発明の画像処理方法を前記プロジェクションシステムに適用することによって、前記本発明の画像処理装置で述べた効果と同様の効果を得ることができる。なお、本発明の画像処理方法においても前記本発明の画像処理装置の各特徴を有することが好ましい。

本発明のプロジェクションシステムは、複数の画像生成手段が有する各光変調素子のそれぞれ対応する画素の位置を一致または所定量ずらした状態を理想的画素位置として前記複数の画像生成手段で生成される画像を投射面に投射して前記投射面で複数の画像を重ねて表示する際の画像処理を行う画像処理装置を有するプロジェクションシステムであって、前記画像処理装置は、前記理想的画素位置に対する画素ずれ量を算出する画素ずれ量算出部と、前記画素ずれ量算出部によって算出された画素ずれ量のときの所定の周波数におけるＭＴＦ（Modulation Transfer Function）を取得するＭＴＦ取得部と、前記投射面に表示される画像が所望とする鮮鋭性を有するように前記ＭＴＦを補正するための補正フィルタを生成する補正フィルタ生成部と、前記補正フィルタを前記画像に対応する画像データに適用するフィルタ適用部とを有することを特徴とする。

本発明のプロジェクションシステムがこのような画像処理装置を有することによって、前記本発明の画像処理装置で述べた効果と同様の効果を得ることができる。なお、本発明のプロジェクションシステムにおいても前記本発明の画像処理装置の各特徴を有することが好ましい。

以下、本発明の実施形態について説明する。

[実施形態１]
実施形態１に係るプロジェクションシステム１０は、２台のプロジェクタのそれぞれ対応する画素の位置が図９（ａ）に示すように、斜め方向に１／２画素ずれるように設定されたプロジェクションシステムである。

図１は実施形態１に係るプロジェクションシステム１０の構成を示す図である。実施形態１に係るプロジェクションシステム１０は、図１に示すように、投射面としてのスクリーンＳＣＲに画像を投射する２台のプロジェクタＰＪ１，ＰＪ２と、スクリーンＳＣＲに投射された画像を撮像する撮像装置１００と、撮像装置１００から出力された撮像画像データに基づいて鮮鋭性低下を補正するための画像処理を行う画像処理装置２００とを有している。

画像処理装置２００は、プロジェクタＰＪ１，ＰＪ２のそれぞれ対応する画素（例えば、図９に示す画素Ｐ１１と画素Ｐ２１、画素Ｐ１２と画素Ｐ２２など）の理想的画素位置（図９（ａ）参照）に対する画素ずれ量（ｒ，θ）を算出する画素ずれ量算出部２１０と、画素ずれ量算出部２１０によって算出された画素ずれ量（ｒ，θ）のときの所定の周波数（２ｄｏｔ／ｃｙｃｌｅの周波数とする）におけるＭＴＦ（このときのＭＴＦをＭ（ｒ，θ）で表す）を、ＭＴＦ取得用テーブルＴＢを参照することによって取得するＭＴＦ取得部２２０と、スクリーンＳＣＲ上に表示される画像が所望とする鮮鋭性を有するようにＭＴＦを補正するための補正フィルタを初期設定フィルタ（デフォルトフィルタという）ＤＦを基に生成する補正フィルタ生成部２３０と、生成された補正フィルタを画像データに適用するフィルタ適用部２４０とを有する。

なお、プロジェクタＰＪ１，ＰＪ２のそれぞれ対応する画素の理想的画素位置に対する画素ずれ量（ｒ，θ）は、前述の（１）式のように表すことができる。また、デフォルトフィルタＤＦは、プロジェクタＰＪ１，ＰＪ２のそれぞれ対応する画素が理想的画素位置にあるときのＭＴＦの低下を補正するためのフィルタであり、それぞれ対応する画素が理想的画素位置にあるときのＭＴＦに基づいて作成されるフィルタである。

図２は実施形態１に係るプロジェクションシステム１０において用いられるプロジェクタＰＪ１，ＰＪ２の構成の一部を概略的に示す図である。プロジェクタＰＪ１は、図２に示すように、光源３１０と、光変調素子４１１を有する第１画像生成手段４１０と、投射光学系５１０とを有し、プロジェクタＰＪ２も同様に光源３２０と、光変調素子４２１を有する第２画像生成手段４２０と、投射光学系５２０とを有している。

なお、図２においては、実施形態１に係るプロジェクションシステム１０の説明に必要な構成要素のみが図示されており、例えば、第１画像生成手段４１０および第２画像生成手段４２０は、光変調素子４１１，４２１以外にも色分離光学系、クロスダイクロイックプリズムなど様々な構成要素を有するがこれらの図示および説明は省略する。

また、プロジェクタＰＪ１，ＰＪ２がＲＧＢの各色に対応した３つの光変調素子を有する３板式のプロジェクタである場合、光変調素子４１１および光変調素子４２１は、ＲＧＢに対応した３枚の光変調素子（図示せず）によりそれぞれ構成されている。

図３は画像の鮮鋭性について説明する図である。図３は空間周波数（単に周波数という）とＭＴＦとの関係を示すもので、画像の鮮鋭性低下がなければ、図３の太い実線で示すように、どの周波数においてもＭＴＦ＝１．０であり、また、画像の鮮鋭性低下があると、図３の破線で示すように、ＭＴＦ＜１となり、高周波成分側においてＭＴＦはより低下する。このように、画像の鮮鋭性はＭＴＦによって表すことができる。

このような画像の鮮鋭性の低下によるＭＴＦの低下は、その逆数関数となるような周波数特性を持つフィルタを適用することで補正することが可能である。すなわち、ＭＴＦが低下したときの周波数特性をＡ（ｆ）とすれば、図３の一点鎖線で示すように、その逆数関数となるような周波数特性１／Ａ（ｆ）を持つフィルタを適用することでＭＴＦの低下を補正することが可能である。

ところで、画像を高解像度化するために、図９（ａ）に示すように、２台のプロジェクタＰＪ１，ＰＪ２のそれぞれ対応する画素の位置を斜め方向に１／２画素ずらすように設定（理想的画素位置に設定）しただけでもＭＴＦは低下する。なお、実施形態１に係るプロジェクションシステム１０において、「２台のプロジェクタのそれぞれ対応する画素」というのは、実際には、プロジェクタＰＪ１に設けられた第１画像生成手段４１０が有する光変調素子４１１とプロジェクタＰＪ２に設けられた第２画像生成手段４２０が有する光変調素子４２１のそれぞれ対応する画素のことを指すものであるが、実施形態１に係るプロジェクションシステム１０においては、「２台のプロジェクタＰＪ１，ＰＪ２のそれぞれ対応する画素」というように表記している。

図４は２台のプロジェクタＰＪ１，ＰＪ２のそれぞれ対応する画素を斜め方向に１／２画素ずらすように設定（理想的画素位置に設定）したときのＭＴＦについて説明する図である。２台のプロジェクタのそれぞれ対応する画素を理想的画素位置に設定した場合でも、図４の破線で示すように、ＭＴＦは低下する。このときの理想的画素位置に対する画素ずれ量は（０，０）であり、この画素ずれ量（０，０）のときの２ｄｏｔ／ｃｙｃｌｅにおけるＭＴＦをＭ（０，０）で表す。このように、理想的画素位置に設定した場合でもＭＴＦが低下するのは、１／２画素ずらすことによって、プロジェクタＰＪ１，ＰＪ２のそ
れぞれ対応する画素および他の画素との間において部分的に重畳領域が存在するためである。

図４の破線で示すような理想的画素位置に設定した場合のＭＴＦの低下は、図３で説明したように、ＭＴＦの低下による周波数特性と逆数関数となるような周波数特性を持つフィルタをデフォルトフィルタＤＦとして予め生成しておき、生成されたデフォルトフィルタＤＦを適用することでＭＴＦの低下を補正することが可能である。

一方、プロジェクタＰＪ１，ＰＪ２のそれぞれ対応する画素の位置を理想的画素位置（図９（ａ）参照）に設定したのち、経時変化などによって、理想的画素位置に対して画素ずれが生じると（例えば、図９（ｂ）参照）、ＭＴＦは図４の一点鎖線で示すようにさらに低下する。このときの理想的画素位置に対する画素ずれ量は（ｒ，θ）であり、この画素ずれ量（ｒ，θ）のときの２ｄｏｔ／ｃｙｃｌｅにおけるＭＴＦをＭ（ｒ，θ）で表す。

このように、理想的画素位置に対して画素ずれが生じた場合は、理想的画素位置のときのＭＴＦよりもさらにＭＴＦが低下する。したがって、理想的画素位置に対して画素ずれが生じた場合のＭＴＦの低下を補正するには、理想的画素位置のときのＭＴＦの低下を補正するために生成されたデフォルトフィルタＤＦではＭＴＦ＝１．０に補正することはできない。そこで、本発明では以下に示すような画像処理を行う。

図５は実施形態１に係るプロジェクションシステムにおける画像処理を説明するフローチャートである。まずは、プロジェクタＰＪ１，ＰＪ２からスクリーンＳＣＲに投射された画像を撮像装置１００で撮像する(ステップＳ１)。そして、画素ずれ算出部２１０は、撮像装置１００から出力される撮像画像データに基づいて、理想的画素位置に対する画素ずれ量（ｒ，θ）を算出する（ステップＳ２）。この理想的画素位置に対する画素ずれ量（ｒ，θ）は、前述の（１）式によって算出することができる。なお、理想的画素位置に対する画素ずれ量（ｒ，θ）を以下では単に画素ずれ量（ｒ，θ）という。

画素ずれ量（ｒ，θ）が求められると、ＭＴＦ取得部２２０は、ＭＴＦ取得用テーブルＴＢを参照して、算出された画素ずれ量（ｒ，θ）のときの２ｄｏｔ／ｃｙｃｌｅにおけるＭ（ｒ，θ）を取得する（ステップＳ３）。

ＭＴＦ取得用テーブルＴＢは、離散的な各画素ずれ量（ｒ，θ）と、当該離散的な各画素ずれ量のときの２ｄｏｔ／ｃｙｃｌｅにおけるＭ（ｒ，θ）とが対応付けられているテーブルであり、離散的な各画素ずれ量（ｒ，θ）のときの２ｄｏｔ／ｃｙｃｌｅにおけるＭ（ｒ，θ）は予め求めておく。なお、ＭＴＦ取得用テーブルＴＢに存在しない画素ずれ量（ｒ，θ）に対するＭ（ｒ，θ）は、補間によって算出することができる。

続いて、補正フィルタ生成部２３０は、ＭＴＦ取得用テーブルＴＢから取得されたＭ（ｒ，θ）に基づいてデフォルトフィルタＤＦのゲインを調整し、理想的画素位置に対する画素ずれによるＭＴＦの低下を考慮して、ＭＴＦ＝１．０に補正可能なフィルタ係数を有する補正フィルタを生成する（ステップＳ４）。

ここで、フィルタサイズがＮ×Ｎのデフォルトフィルタのフィルタ係数をｈ_０[ｉ，ｊ]で表すと（ただし、ｉ，ｊ＝−（Ｎ−１）／２〜（Ｎ−１）／２）、理想的画素位置に対して画素ずれが生じたときのＭＴＦを１．０に補正するための補正フィルタのフィルタ係数ｈ[ｉ，ｊ]は、近似的に下記（２）式および（３）式のように表すことができる。ただし、（２）式は、ｉ，ｊ＝０のときであり、（３）式は、ｉ，ｊ≠０のときである。

ｈ[０，０]＝（ｈ_０[０，０]−１）×ｇ（ｒ，θ）＋１・・・・・（２）
ｈ[ｉ，ｊ]＝ｈ_０[ｉ，ｊ]×ｇ（ｒ，θ）・・・・・（３）
（２）式および（３）式におけるｇ（ｒ，θ）は、補正量を決めるための係数であり、
ｇ（ｒ，θ）＝{１／Ｍ（ｒ，θ）−１}／{１／Ｍ（０，０）−１}・・・・・（４）
で表すことができる。なお、（４）式におけるＭ（ｒ，θ）は、画素ずれ量（ｒ，θ）のときの２ｄｏｔ／ｃｙｃｌｅにおけるＭＴＦであり、Ｍ（０，０）は、理想的画素位置のときの２ｄｏｔ／ｃｙｃｌｅにおけるＭＴＦである。

以上のようにして、デフォルトフィルタＤＦのゲインが調整された補正フィルタ（ＭＴＦを１．０に補正するための補正フィルタ）が算出されると、フィルタ適用部２４０は、算出された補正フィルタを画像データに適用する（ステップＳ５）。以上説明したステップＳ１〜Ｓ４の一連の処理はリアルタイムで行われる。

図６は画像データに対して補正フィルタを適用する例について説明する図である。プロジェクタＰＪ１，ＰＪ２のそれぞれ対応する画素を斜め方向に１／２画素ずらした場合、フィルタ適用部２４０は、図５のステップＳ４において生成された補正フィルタ（フィルタサイズ３×３とする）を４５度回転させて（図６（ａ）参照）、投射すべき画像に対応する画像データに対して畳み込みを行う（図６（ｂ）参照）。このようにして補正フィルタが適用された画像データは、プロジェクタＰＪ１，ＰＪ２に入力される。

このように、プロジェクタＰＪ１，ＰＪ２のそれぞれ対応する画素の位置が理想的画素位置に対してずれた場合であっても、図５のステップＳ１〜Ｓ４によって生成された補正フィルタを画像データに適用（図６参照）することによって、ＭＴＦ＝１．０に補正することができ、画像の鮮鋭性低下を補正することができる。

なお、実施形態１に係るプロジェクションシステム１０において用いるＭＴＦ取得用テーブルＴＢは、離散的な各画素ずれ量と、当該離散的な各画素ずれ量のときの２ｄｏｔ／ｃｙｃｌｅにおけるＭ（ｒ，θ）とが対応付けられたテーブルとしたが、本来は、２ｄｏｔ／ｃｙｃｌｅ以外の周波数におけるＭ（ｒ，θ）を取得可能なＭＴＦ取得用テーブルとすることが好ましい。

このようなＭＴＦ取得用テーブルを用いることによって、２ｄｏｔ／ｃｙｃｌｅ以外の周波数におけるＭＴＦを取得することができ、取得したＭＴＦを用いてフィルタ係数を算出することによって、より適切な補正が可能となる補正フィルタを生成することができる。ただし、２ｄｏｔ／ｃｙｃｌｅ以外の周波数におけるＭ（ｒ，θ）を取得可能なＭＴＦ取得用テーブルを作成すると、ＭＴＦ取得用テーブルのデータ量が増加するとともに、フィルタ係数の算出のための演算量が増加する。

これに対して、実施形態１に係るプロジェクションシステム１０において用いるＭＴＦ取得用テーブルＴＢのように、２ｄｏｔ／ｃｙｃｌｅにおけるＭ（ｒ，θ）を取得するようなテーブルとすることにより、ＭＴＦ取得用テーブルのデータ量を削減することができ、また、フィルタ係数の算出のための演算量を削減することができる。したがって、プロジェクションシステムの演算性能やメモリの容量、表示する画像の種類などを考慮して、２ｄｏｔ／ｃｙｃｌｅにおけるＭ（ｒ，θ）を取得可能なＭＴＦ取得用テーブルとするか、２ｄｏｔ／ｃｙｃｌｅ以外の周波数におけるＭ（ｒ，θ）を取得可能なＭＴＦ取得用テーブルとするかを決定すればよい。

〔実施形態２〕
実施形態２に係るプロジェクションシステム２０は、１台のプロジェクタを有するプロジェクションシステムであって、２つの画像生成手段（第１画像生成手段および第２画像
生成手段）がこの１台のプロジェクタに設けられている。また、プロジェクションシステム２０は、第１画像生成手段が有する光変調素子および第２画像生成手段が有する光変調素子のそれぞれ対応する画素を一致させた状態または所定量ずらした状態を理想的画素位置として第１画像生成手段および第２画像生成手段で生成される画像をスクリーンＳＣＲで重ねて表示するものである。

図７は実施形態２に係るプロジェクションシステム２０の構成を示す図である。実施形態２に係るプロジェクションシステムは、図７に示すように、２つの画像をスクリーンＳＣＲに重ねて投射可能なプロジェクタＰＪ３と、スクリーンＳＣＲに投射された画像を撮像する撮像装置１００と、撮像装置１００から出力された撮像画像データに基づいて鮮鋭性低下を補正するための画像処理を行う画像処理装置２００とを有している。

実施形態２に係るプロジェクションシステム２０において、図１に示す実施形態１に係るプロジェクションシステム１０と同一構成要素には同一符号が付されている。実施形態２に係るプロジェクションシステム２０が実施形態１に係るプロジェクションシステム１０と異なるのは、実施形態２に係るプロジェクションシステム２０は、プロジェクタＰＪ３が２つの画像生成手段（第１画像生成手段４１０および第２画像生成手段４２０）を有している点である。

図８は実施形態２に係るプロジェクションシステム２０において用いられるプロジェクタＰＪ３の構成の一部を概略的に示す図である。プロジェクタＰＪ３は、図８に示すように、光源３００、第１画像生成手段４１０および第２画像生成手段４２０と、第１画像生成手段４１０および第２画像生成手段４２０で生成される画像を合成する合成光学系６００と、合成光学系６００によって合成された画像を投射する投射光学系５００とを有している。

また、第１画像生成手段４１０は光変調素子４１１を有し、第２画像生成手段４２０は光変調素子４２１を有している。なお、実施形態１に係るプロジェクションシステム１０と同様、プロジェクタＰＪ１，ＰＪ２がＲＧＢの各色に対応した３つの光変調素子を有する３板式のプロジェクタである場合、光変調素子４１１および光変調素子４２１は、ＲＧＢに対応した３枚の光変調素子（図示せず）によりそれぞれ構成されている。

また、プロジェクタＰＪ３は、第１画像生成手段４１０が有する光変調素子４１１および第２画像生成手段４２０が有する光変調素子４２１のそれぞれ対応する画素を斜め方向に１／２画素ずらした状態（理想的画素位置）に設定されているものとする。

このように構成された実施形態２に係るプロジェクションシステム２０においても、実施形態１に係るプロジェクションシステムと同様の画像処理を行うことによって、第１画像生成手段４１０が有する光変調素子４１１と第２画像生成手段４２０が有する光変調素子４２１のそれぞれ対応する画素の位置にずれ（理想的画素位置に対する画素ずれ）が生じた場合のＭＴＦの低下を補正することができる。それによって、理想的画素位置に対する画素ずれによる画像の鮮鋭性低下を補正することができる。なお、ＭＴＦの低下を補正するための画像処理については、実施形態１に係るプロジェクションシステム１０において説明したので、ここではその説明は省略する。

なお、本発明は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で下記（１）〜（４）に示すような変形も可能となるものである。

（１）各実施形態においては、第１画像生成手段４１０が有する光変調素子４１１および第２画像生成手段４２０が有する光変調素子４２１のそれぞれ対応する画素の位置を所
定量（１／２画素）ずらした状態で２つの画像を重ねて表示する場合について説明したが、画像を高輝度化する目的で、第１画像生成手段４１０が有する光変調素子４１１および第２画像生成手段４２０が有する光変調素子４２１のそれぞれ対応する画素を一致させた状態で２つの画像を重ねて表示する場合にも本発明を適用することができる。

（２）各実施形態では、ＭＴＦ＝１．０となるような補正を行う例について説明したが、表示すべき画像の種類などによっては、ＭＴＦ≒１．０となるような補正であっても所望とする鮮鋭性が得られる場合もある。したがって、すべての画像において必ずしもＭＴＦ＝１．０とする必要はなく、表示する画像の種類などによって、鮮鋭性低下の補正の度合いを適宜設定することも可能である。

（３）各実施形態では、画素の位置を極座標で表したが直交座標で表すようにしてもよい。

（４）実施形態１に係るプロジェクションシステムにおいては、プロジェクタの台数を２台としたが、プロジェクタは３台以上であってもよい。

実施形態１に係るプロジェクションシステム１０の構成を示す図。 実施形態１に係るプロジェクションシステム１０において用いられるプロジェクタＰＪ１，ＰＪ２の構成の一部を概略的に示す図。 画像の鮮鋭性について説明する図。 ２台のプロジェクタＰＪ１，ＰＪ２のそれぞれ対応する画素を斜め方向に１／２画素ずらすように設定（理想的画素位置に設定）したときのＭＴＦについて説明する図。 実施形態１に係るプロジェクションシステム１０における画像処理を説明するフローチャート。 画像データに対して補正フィルタを適用する例について説明する図。 実施形態２に係るプロジェクションシステム２０の構成を示す図。 実施形態２に係るプロジェクションシステム２０において用いられるプロジェクタＰＪ３の構成の一部を概略的に示す図。 理想的画素位置に対する画素ずれを説明する図。

符号の説明

１００・・・撮像装置、２００・・・画像処理装置、２１０・・・画素ずれ量算出部、２２０・・・ＭＴＦ取得部、２３０・・・補正フィルタ生成部、２４０・・・フィルタ適用部、３００，３１０，３２０・・・光源、４１０・・・第１画像生成手段，４２０・・・第２画像生成手段、４１１，４２１・・光変調素子、５００，５１０，５２０・・・投射光学系、６００・・・合成光学系、Ｐ１１，Ｐ１２・・・プロジェクタＰＪ１の画素（光変調素子４１１の画素、Ｐ２１，Ｐ２２・・・プロジェクタＰＪ２の画素（光変調素子４２１の画素）、ＰＪ１，ＰＪ２，ＰＪ３・・・プロジェクタ、ＳＣＲ・・・スクリーン

Claims (10)

1. 複数の画像生成手段が有する各光変調素子のそれぞれ対応する画素の位置を一致または所定量ずらした状態を理想的画素位置として前記複数の画像生成手段で生成される画像を投射面に投射して前記投射面で複数の画像を重ねて表示するプロジェクションシステムにおける画像処理装置であって、
   前記理想的画素位置に対する画素ずれ量を算出する画素ずれ量算出部と、
   前記画素ずれ量算出部によって算出された画素ずれ量のときの所定の周波数におけるＭＴＦ（Modulation Transfer Function）を取得するＭＴＦ取得部と、
   前記投射面に表示される画像が所望とする鮮鋭性を有するように前記ＭＴＦを補正するための補正フィルタを生成する補正フィルタ生成部と、
   前記補正フィルタを前記画像に対応する画像データに適用するフィルタ適用部と、
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画素ずれ量と、当該画素ずれ量のときの前記所定の周波数におけるＭＴＦとが対応付けられたＭＴＦ取得用テーブルを有し、前記ＭＴＦ取得用テーブルにより、前記画素ずれ量算出部によって算出された前記画素ずれ量のときの所定の周波数におけるＭＴＦを取得することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記ＭＴＦ取得用テーブルは、離散的な各画素ずれ量と当該離散的な各画素ずれ量のときの前記所定の周波数におけるＭＴＦとが対応付けられていることを特徴とする画像処理装置。
4. 請求項１〜３のいずれかに記載の画像処理装置において、
   前記所定の周波数は、２ｄｏｔ／ｃｙｃｌｅの周波数であることを特徴とする画像処理装置。
5. 請求項１〜４のいずれかに記載の画像処理装置において、
   前記画素を所定量ずらした状態は、それぞれ対応する画素の位置を斜め方向に所定量ずらした状態であることを特徴とする画像処理装置。
6. 請求項１〜５のいずれかに記載の画像処理装置において、
   前記補正フィルタは、前記理想的画素位置において前記投射面に表示される画像が所望とする鮮鋭性を有するように生成された初期設定フィルタを基にして生成されることを特徴とする画像処理装置。
7. 請求項１〜６のいずれかに記載の画像処理装置において、
   前記複数の画像生成手段は、前記複数の画像生成手段の各画像生成手段が複数のプロジェクタの各プロジェクタに設けられていることを特徴とする画像処理装置。
8. 請求項１〜６のいずれかに記載の画像処理装置において、
   前記複数の画像生成手段は、１台のプロジェクタに設けられていることを特徴とする画像処理装置。
9. 複数の画像生成手段が有する各光変調素子のそれぞれ対応する画素の位置を一致または所定量ずらした状態を理想的画素位置として前記複数の画像生成手段で生成される画像を投射面に投射して前記投射面で複数の画像を重ねて表示するプロジェクションシステムにおける画像処理方法であって、
   前記理想的画素位置に対する画素ずれ量を算出する画素ずれ量算出ステップと、
   前記画素ずれ量算出ステップによって算出された画素ずれ量のときの所定の周波数におけるＭＴＦ（Modulation Transfer Function）を取得するＭＴＦ取得ステップと、
   前記投射面に表示される画像が所望とする鮮鋭性を有するように前記ＭＴＦを補正するための補正フィルタを生成する補正フィルタ生成ステップと、
   前記補正フィルタを前記画像に対応する画像データに適用するフィルタ適用ステップと、
   を有することを特徴とする画像処理方法。
10. 複数の画像生成手段が有する各光変調素子のそれぞれ対応する画素の位置を一致または所定量ずらした状態を理想的画素位置として前記複数の画像生成手段で生成される画像を投射面に投射して前記投射面で複数の画像を重ねて表示する際の画像処理を行う画像処理装置を有するプロジェクションシステムであって、
    前記画像処理装置は、
    前記理想的画素位置に対する画素ずれ量を算出する画素ずれ量算出部と、
    前記画素ずれ量算出部によって算出された画素ずれ量のときの所定の周波数におけるＭＴＦ（Modulation Transfer Function）を取得するＭＴＦ取得部と、
    前記投射面に表示される画像が所望とする鮮鋭性を有するように前記ＭＴＦを補正するための補正フィルタを生成する補正フィルタ生成部と、
    前記補正フィルタを前記画像に対応する画像データに適用するフィルタ適用部と、
    を有することを特徴とするプロジェクションシステム。