JP2014072595A - 映像処理装置 - Google Patents

Abstract

【課題】より好適な映像補正処理を行う。
【解決手段】
入力映像信号を入力する入力部と、前記入力映像信号を補正する映像補正部とを備え、前記映像補正部は、入力映像信号から鏡面反射成分と拡散反射成分とを抽出し、該抽出した前記鏡面反射成分及び前記拡散反射成分に対する演算結果に基づいて補正映像信号を生成するように、プロジェクタまたは表示装置または撮像装置などの映像処理装置を構成する。
【選択図】 図１

Description

本発明は、映像処理技術に関する。

本技術分野の背景技術として、特開２００５−００４５０６号公報（特許文献１）がある。特許文献１は、その要約に「処理対象となる原画像の内容に依存することなく、良好なＭｕｌｔｉＳｃａｌｅ Ｒｅｔｉｎｅｘ処理ができる画像処理プログラムを提供する」ために「Ｍｕｌｔｉ Ｓｃａｌｅ Ｒｅｔｉｎｅｘ処理において、処理対象となる原画像Ｄ２の画素値レベルに応じて、スケールの異なる複数の周辺関数Ｄ３−１〜Ｄ３−３から生成されるぼけ具合の異なる複数のぼけ画像Ｄ４−１〜Ｄ４−３からいずれかを画素毎に選択することで、合成ぼけ画像Ｄ６を作成する。合成ぼけ画像Ｄ６に対してローパスフィルタ４１０を施すことによって、不自然な境界の不連続の発生を防止し、Ｒｅｔｉｎｅｘ処理を行なう。」ことが開示されている。

特開２００５−００４５０６号公報

しかし、特許文献１に開示される技術では、複数のスケールに対する映像の寄与は考慮されているが、反射の性質に対する寄与は考慮されていない。それ故、映像中の被写体の材質に係わらず、一様な補正となり被写体の材質の質感の表現が十分とはいえないという課題があった。

本発明は、当該課題を鑑みてなされたものであり、その目的はより好適な映像補正処理を行うことにある。

上記課題を解決するために、本発明は、例えば、入力映像信号を入力する入力部と、前記入力映像信号を補正する映像補正部とを備え、前記映像補正部は、入力映像信号から鏡面反射成分と拡散反射成分とを抽出し、該抽出した前記鏡面反射成分及び前記拡散反射成分に対する演算結果に基づいて補正映像信号を生成するように構成すればよい。

本発明によれば、より好適な映像補正処理を行うことが可能となる。

本発明による映像処理装置の構成図の例である（実施例１）。 映像補正部の処理を説明する図である。 反射光検出部の処理を説明する図である。 反射光制御部の処理を説明する図である。 反射光制御部に輝度特性を加えた処理を説明する図である。 Ｐｈｏｎｇ反射モデルによる反射光の性質を説明する図である。 従来技術による反射光検出処理を説明する図である。 従来技術による反射光制御処理を説明する図である。 ガウシアン分布を説明する図である。 余弦による輝度分布を説明する図である。 余弦のべき乗による輝度分布を説明する図である。 映像の輝度値によるスペキュラ補正ゲインを説明する図である。 映像の輝度値によるディフューズ補正ゲインを説明する図である。 本発明による映像処理装置の構成図の例である（実施例２）。 ノイズおよび外光による適応制御例を説明する図である。 エッジ量とゲインの関係を説明する図である。 本発明による映像処理装置の構成図の例である（実施例３）。 本発明による映像処理装置の構成図の例である（実施例４）。

以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。

光の反射の性質毎に映像を分解して映像補正を行う本発明に係る映像処理装置の例として、本実施例では、をプロジェクタとして構成した例を説明する。

図１は、本実施例の映像処理機能を有する映像処理装置１０００（プロジェクタ）の構成図の例である。

本映像処理装置は、映像入力信号１０を入力とし、例えば圧縮映像信号のデコーダ、ＩＰ変換、スケーラ等により内部映像信号１２に変換する入力信号処理部１１と、内部映像信号１２を入力とする映像補正部１００と、補正映像信号１３を入力とし、補正映像信号を表示画面の水平・垂直同期信号に基づいて表示制御信号１５を生成するタイミング制御部１４と、映像を表示する光学系ユニット２００などを含む。

光学系ユニット２００は、光束を発生する光源２０３と、表示制御信号１５により制御され、光源２０３からの光束の階調を画素毎に調整して映像を生成する表示素子２０２と、表示素子２０２を透過または反射した光束をスクリーンなどに出射するための投射レンズ２０１などを含む。なお、光源２０３と表示素子２０２との間の光路、及び表示素子２０２と投射レンズ２０１との間の光路には、仕様に応じて適宜必要なレンズ、ミラー、光学フィルタなどの光学素子を配置すればよい。表示素子２０２は、光源からの光を反射するデジタルミラーデバイス（ＤＭＤ）でもよく、光源からの光を反射する反射型の液晶素子でもよく、光源からの光を透過する透過型の液晶素子でもよい。また、表示素子２０２は１つの素子である必要はなく、例えば複数の光の色（例えばＲ，Ｇ，Ｂの３色）にそれぞれ対応した素子をもうけた複数の素子として構成してもよい。

映像補正部１００は、内部映像信号１２を入力信号とし、Ｒｅｔｉｎｅｘ理論に基づく映像処理を行うことで、２つの反射光成分１０１と１０２とを検出する反射光検出部１５０と、検出された２つの反射光成分を入力とし、反射光を調整した後、再合成を行うことで補正映像信号１３を出力する反射光制御部１８０で構成される。

反射光検出部１５０と反射光制御部１８０の構成を説明する前に、従来のＲｅｔｉｎｅｘ理論に基づく映像補正処理について説明する。なお、ここで説明する処理は、本実施例の処理と比較するために説明するものであり、本実施例の映像補正処理の説明から参照する部分を除いて、本実施例の映像補正処理と直接的な関係は無い。

Ｒｅｔｉｎｅｘ理論によると、映像Ｉは照明光Ｌと反射光ｒとの積であらわされるため、Ｉ＝Ｌ・ｒと記述できる。ここで、局所的な照明光成分がガウシアン分布に従うと推定し、反射光成分を抽出するＲｅｔｉｎｅｘであるＣｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ（以下、Ｃ／Ｓと記載する） Ｒｅｔｉｎｅｘでは、Ｌは映像中の注目画素を中心とするガウシアン分布に従うと推定し、対数空間の反射光Ｒを対数空間に於けるガウシアン分布と注目画素との差分により求める。ここで、注目画素の輝度値をＩ（ｘ，ｙ）、ガウシアンをＦ（ｘ，ｙ）とすると次の式で記載される。

数式１に於いて、２次元空間上の原点を中心とする分散σのガウシアン分布は、次の式で記載される。

また、図８Ａは、縦軸を輝度のレベル、横軸を１次元位置座標で表現したガウシアン分布を説明する図である。このように、中心から離れるとレベルが低くなることが分かる。

さらに、Ｆ（ｘ，ｙ）とＩ（ｘ，ｙ）の積はコンボリューション積と呼び、次のような式で表される。

ここで、数式１のように１つのスケールで表されるモデルをＳｉｎｇｌｅ Ｓｃａｌｅ Ｒｅｔｉｎｅｘモデル（以下、ＳＳＲ）と呼び、複数のスケールで表されるモデルをＭｕｌｔｉ-Ｓｃａｌｅ Ｒｅｔｉｎｅｘモデル（以下、ＭＳＲ）と呼ぶ。ＳＳＲは、一つのスケールに対する反射光の輝度成分を映像中から抽出するモデルである。ＳＳＲを拡張し、複数のスケールに対する反射光の輝度成分を映像中から抽出するモデルがＭＳＲである。ここで、Ｎ個のスケールのＭＳＲは、ｉ番目のＳＳＲの反射光成分を重みＷで合成するとするならば、次の式で表される。

構成図６および構成図７を用いて、数式４を説明する。尚、簡単のためにn＝２、すなわち、２つのＳＳＲで構成されるＭＳＲを考える。また、構成図６および構成図７は、従来のＲｅｔｉｎｅｘ理論に基づく映像補正処理を用いて入力映像信号１２Ｂを補正映像信号１３Ｂに変換する構成を説明するため図である。ここで説明する構成は、本実施例の構成と比較するために説明するものであり、実施例の構成である図１、図２とは直接的な関係は無い。

図６は、ＭＳＲの反射光検出部の処理を説明する図である。反射光検出部１２０は、２つのＳＳＲで構成され、具体的には、スケール１によるフィルタ部１２１、スケール２によるフィルタ部１２３、対数変換部１２５および１２７で構成される。

スケール１によるフィルタ部１２１は、処理対象の映像信号１２Ｂを数式３に表されるコンボリューション積で処理した結果の信号を出力する。対数変換部１２５は、コンボリューション積の結果信号１２２を対数変換する。対数変換された信号１２６は、元映像信号との差分により、スケール１による反射光成分１０１Ｂが出力される。即ち、これが数式４に於けるi＝１のＳＳＲの反射光成分である。

スケール２によるフィルタ部１２３は、映像信号１２Ｂをスケール１によるフィルタ部１２１とは異なるスケール、例えばスケール１より大きなスケールのコンボリューション積で処理した結果信号を出力する。対数変換部１２７は、コンボリューション積の結果信号１２３を対数変換する。対数変換された信号１２８は、元映像信号との差分により、スケール２による反射光成分１０２Ｂが出力される。即ち、これが数式４に於けるi＝２のＳＳＲの反射光成分である。

図７は、図６の反射光検出部から出力される、反射光成分１０１Ｂと反射光成分１０２Ｂとを用いて補正映像信号１３Ｂを生成する、ＭＳＲの反射光制御部の処理を説明する図である。反射光制御部は、重みＷ１とＷ２による加重平均で構成してもよく、指数変換部１３２と、重みＷ１とＷ２による加重平均およびゲインＧで構成してもよい。特に前者をＭＳＲの結果とすることが多いが、本実施例では後者の準同型フィルタの結果を用いる。また、ゲインＧは、例えば、入力信号処理部１１に入力される映像入力信号１０のフォーマットや映像コンテンツの種類に応じて、変えてもよい。

反射光成分１０１および１０２は、それぞれＷ１およびＷ２で加重平均されて対数空間に於ける反射光１３１を生成する。即ち、これがＳＳＲの加重平均で表現された一般的なＭＳＲの数式４である。ここで、数式４にて信号１３１にゲインＧで映像調整を行い、指数変換部１３２にて対数輝度空間から線形な輝度空間に戻すと、反射光ｒが求まる。

以上説明した従来のＲｅｔｉｎｅｘ理論に基づく映像補正処理では、ＭＳＲを用いて照明光成分の影響を取り除き、反射光成分を抽出することができる。ところが、このＭＳＲのように単に複数のスケールを調整してダイナミックレンジ圧縮の高性能化を行う技術では、複数のスケールに対する映像の寄与は考慮されているが、反射の性質に対する寄与は考慮されていない。それ故、映像中のオブジェクトの材質に係わらず、一様な補正となる。 次に、本実施例の映像処理に係る反射光検出部および反射光制御部を説明する。本実施例の映像処理では、以下のような考え方で反射光を取り扱う。

光の反射は、性質により、例えば、滑らかな表面で鏡のような鏡面反射をする光（以下、スペキュラと呼ぶ）、ざらざらした表面の細かな凹凸により拡散反射する光（以下、ディフューズと呼ぶ）、そして周囲の環境に対し反射等を繰り返すことで散乱した光である環境光（以下、アンビエントと呼ぶ）等に分類される。

例えば、３次元コンピュータグラフィックス分野に於いて、これら３つの光の性質を用いて物体表面の陰影を表現する反射モデルに、Ｐｈｏｎｇ反射モデルがある。Ｐｈｏｎｇ反射モデルによれば、材質は光の反射具合により表現できる。

例えば、プラスチック球体にスポットライトを当てた場合、輝度の高い小さな円形のハイライトができる。また、ゴム状の球体ではプラスチックよりハイライトの半径が広がるが、輝度は低くなる。このハイライトの部分がスペキュラである。また、ディフューズやアンビエントも材質に応じて輝度が異なる。

そこで、以下に説明する本発明は、反射光成分を抽出する際に、光の反射の性質毎に映像を分解し、それぞれの性質に応じて補正方法を変えることで、映像中の被写体の材質を考慮した、高画質な映像補正処理を提供する。例えば、反射光成分抽出時に、映像をスペキュラ、ディフューズ、アンビエントの成分に分解し、光沢のある金属やガラス表面などのスペキュラは強く、ゴムや粘土表面のスペキュラは弱く調整することで、被写体の材質を考慮した映像補正処理を提供する。

図５は、Ｐｈｏｎｇ反射モデルの例を説明する図である。図は、光源と光源から延びる光線、光線が到達した球体と球体を載せた床、この様子を観測する観測者で構成される。観測は、視点の位置で行われ、実際に目で観測しても、カメラ等の観測機器を使用してもよい。

図５に於いてスペキュラは、光線が被写体である球体表面で視線方向に反射した光５０１である。これは、光源が球体表面に映りこんだものであり、図中の円形のハイライト５０４がスペキュラの範囲である。例えば、プラスチックの球体の場合、輝度の高い小さな円形のハイライトができる。また、ゴム状の球体ではプラスチックよりハイライトの半径が広がるが、輝度は低くなる。Ｐｈｏｎｇ反射モデルでは、スペキュラは視線と反射光の余弦のべき乗に従うと仮定している。

図５に於いてディフューズは、光線が球体表面に当たった光５０２が拡散反射する光である。ディフューズの輝度は、光線と球体表面の向き、すなわち光線と法線との余弦で決まるため、球体表面で光が直接当たる部分がディフューズの範囲である。

図５に於いてアンビエントは、影となる部分に回りこんだ光５０３である。これは、周囲で幾度も反射し、散乱した光が環境全体に平均化されて留まったものあるため、直接光が届かない影の部分にも一定の輝度がある。

以上より、Ｐｈｏｎｇ反射モデルは、次の式で表される。

そこで、本実施例による反射光検出部に於ける反射光は、アンビエント、ディフューズ、スペキュラで構成されるとし、映像中のアンビエントは、広いスケールのガウシアンに従い、ディフューズは余弦による輝度分布に従い、スペキュラは余弦のべき乗による輝度分布に従うとする。アンビエントのフィルタをＦａ（ｘ，ｙ）、ディフューズのフィルタをＦｄ（ｘ，ｙ）、スペキュラのフィルタをＦｓ（ｘ，ｙ）とすると、各フィルタは次式となる。

また、図８Ａ、図８Ｂ、図８Ｃは、それぞれ縦軸を輝度のレベル、横軸を１次元位置座標で表現したアンビエント、ディフューズ、スペキュラの分布を説明する図である。このように、アンビエントのガウシアン分布に比べ、ディフューズ、スペキュラの分布は急峻にレベルが下がることが分かる。

ここで、アンビエントのフィルタによる映像Iaは、全体を平均化するため、ほぼアンビエント成分のみとなる。ディフューズのフィルタによる映像Idは、スペキュラの成分はフィルタにより平均化され、ほぼアンビエント成分とディフューズ成分のみとなる。スペキュラのフィルタによる映像Isは、殆ど平均化されないため、アンビエント成分とディフューズ成分とスペキュラ成分すべてが残る。これを数式９に示す。

これを、ＭＳＲと同様に対数空間による反射成分を求めると数式１０となる。

また、鏡や金属等のスペキュラは、全反射と考えられるため、余弦のべき乗は無限大となる。この時、スペキュラによる反射成分は、数式１１を用いてもよい。

また、アンビエントは環境全体の平均的な光であるため、ガウシアンフィルタの代わりに平均値フィルタまたは平均輝度を用いてもよい。例えば平均輝度を用いると数式１２となる。

また、スペキュラが目立つのは高輝度のハイライトであることが多く、ディフューズは中低輝度の場合が多い。そこで、例えば、数式１０のスペキュラＲ_specularに対しては、図９Ａに示すような高輝度領域のゲインを加え、ディフューズＲ_diffuseに対しては、図９Ｂに示すような中低輝度度領域のゲインを加えてもよい。ここで、図９Ａの入出力曲線をｇ（Ｉ）とすると、入力輝度Ｉが低輝度の時はゲインが０となり、中輝度から徐々にゲインが高くなり、高輝度になるとゲインは１となる。図９Ｂの入出力曲線は１−ｇ（Ｉ）で、低輝度の時にゲインが１で、中輝度から徐々にゲインが低くなり、高輝度でゲインが０となる。

また、ＭＳＲの例と同様、数式１０は、加重平均後にゲインと指数関数を加えると準同型フィルタとなる。この準同型フィルタに対し、対数関数および指数関数を、例えばべき乗を用いた関数およびその逆関数で近似してもよい。この場合、関数ｆとすると数式１３となる。

以上の処理を行うことにより、本実施例に係る映像処理では、反射の性質を考慮した補正が行える。すなわち、本実施例に係る映像処理では、単に異なる複数のスケールを考慮して反射光を取り扱う映像処理とは異なり、性質の異なる複数の反射光成分をそれぞれ分離して、これらの性質を考慮した映像処理を行う。これにより、映像中のオブジェクトの材質の質感をより好適に表現することができる。

上述の映像処理を実現するための構成について、図３および図４を用いて説明する。

図３は、実施例１による反射光検出部の処理を説明する図である。反射光検出部１５０は、スペキュラフィルタ部１５１、ディフューズフィルタ部１５３と、アンビエントフィルタ部１５５と、関数変換部１５７、１５９、１６１と、スペキュラ検出部１６３と、ディフューズ検出部１６４とを含む。スペキュラフィルタ部１５１は例えば数式８に示されるフィルタによる処理を行う。ディフューズフィルタ部１５３は例えば数式７に示されるフィルタによる処理を行う。アンビエントフィルタ部１５５は例えば数式６に示されるフィルタによる処理を行う。次に、関数変換部１５７、１５９、１６１により関数変換された反射光成分を用いて、スペキュラ検出部１６３が数式１０に示されるＲ_Specularを検出する。このとき上述のとおり、必要に応じて数式１１に示されるＲ_Specularを検出する構成としてもよい。また、ディフューズ検出部１６４が同様に数式１０に示されるＲ_Diffuseを算出する。なお、上述のとおりアンビエント成分について、アンビエントフィルタ部１５５において、ガウシアンフィルタの代わりに平均値フィルタまたは平均輝度を用いる場合は、ディフューズ検出部１６４で検出するＲ_Diffuseは、数式１２となる。なお、関数変換部は、上述の数式に示されるように対数関数でもよいが、べき乗関数で近似してもよい。

図４Ａは、実施例１による反射光制御部の処理を説明する図である。反射光制御部１８０は、重みＷ１とＷ２による加重平均とを含む。当該加重平均は、数式１０のＲ_Phongの算出処理に対応する処理である。反射光制御部１８０の出力を、逆関数変換部１８２において、関数変換部で用いた関数の逆関数での変換処理を行うことにより、反射光ｒが求まる。本実施例の映像処理装置では、当該反射光ｒを補正映像信号１３として出力する。なお、図４Ａに示すようにゲインＧを設けてゲイン調整を行っても良い。ゲインＧは、例えば、入力信号処理部１１に入力される映像入力信号１０のフォーマットや映像コンテンツの種類に応じて、変えてもよい。

また、図４Ｂに示すように、図４Ａの構成に図９Ａの高輝度域に高いゲインを持つスペキュラ補正ゲイン１８３と図９Ｂの中低輝度域に高いゲインを持つディフューズ補正ゲイン１８４を加えてもよい。

以上の構成によれば、反射光成分を抽出する際に、光の反射の性質毎、すなわちスペキュラ、ディフューズ、アンビエント毎に映像を分解し、それぞれの性質に応じて補正量を変えることで、映像中のオブジェクトの材質を考慮した映像補正処理を提供する。

したがって、以上説明した本発明の実施例１に係る映像処理装置によれば、反射光成分を抽出する際に、光の反射の性質毎に映像を分解し、それぞれの性質に応じて補正方法を変える。これにより、映像中のオブジェクトの材質を考慮した、高画質な映像補正処理を行うことが可能となる。すなわち、従来より好適な映像補正処理を行うことが可能となる。

実施例１では、光の反射の性質毎に映像を分解して映像補正を行う映像処理装置の例を説明した。実施例２では、本発明の応用として映像中のノイズおよび／または外光による適応制御例を説明する。

図１０は、本実施例の映像処理装置１００１（プロジェクタ）の構成図の例である。図１と同じ符号が付される要素は、図１と同様の動作、構成を有するものである。これらの要素の動作、構成は、実施例１で説明したとおりであるので、詳細な説明は省略する。

本映像処理装置は、映像入力信号１０を入力とし、例えば圧縮映像信号のデコーダ、ＩＰ変換、スケーラ等により内部映像信号１２に変換する入力信号処理部１１と、外光を入力とし、例えば２５６段階の照度レベル信号３２を出力する照度センサ３１と、内部映像信号１２と照度レベル信号３２とを入力とする映像補正部３００と、補正映像信号３３を入力とし、補正映像信号を表示画面の水平・垂直同期信号に基づいて表示制御信号１５を生成するタイミング制御部１４と、映像を表示する表示素子２０２、光源２０３、投射レンズ２０３を含む光学系ユニット２００などを有する。

次に、本実施例の発明に係る映像補正部３００の構成を示す図１１について説明する。映像補正部３００は、内部映像信号１２を入力信号とし、２つの反射光成分１０１と１０２とを検出する反射光検出部１５０と、検出された２つの反射光成分を入力とし、反射光を調整した後、再合成を行うことで補正映像信号１３を出力する反射光制御部１８０と、内部映像信号１２を入力信号とし、エッジ信号３０２を出力信号とするエッジ検出部３０１と、補正映像信号１３とエッジ信号３０２と内部映像信号１２と照度レベル信号３２とを入力信号とし、照度レベルとエッジ信号により適応制御を行う適応制御部３０４とで構成される。

エッジ検出部３０１は、例えば、対象画素とその隣接画素との差分の絶対値を隣接画素分加算した値をエッジ量とすると、小振幅の粒状ノイズのような高周波領域はエッジ量が小さくなる。そこで、このような場合には補正を行わないようにすればよい。これによりノイズが強調されることを防ぐことができる。

図１２は、エッジ量を横軸と補正値を制御するゲインを縦軸とし、エッジ量とゲインの関係とを説明する図である。この図に示すように、コア値として設定されたエッジ量まではゲインが０となり、エッジ量が大きくなると、ゲインは上限値で一定となる。例えば、この特性曲線をエッジ信号３０２とすることで、補正値を制御することができる。

ここで、エッジ検出部３０１は、エッジ量を取得したが、高周波濾過フィルタを用いてもよく、図１２は、エッジ量の代わりにスペクトル量とし、補正値を制御してもよい。

適応制御部３０４は、注目画素の内部映像信号１２をＩ_in（ｘ，ｙ）、反射光を調整した信号１３をｒ（ｘ，ｙ）、エッジ信号３０２をＧ_edge、照度レベル信号３２によるゲインをＧ_lmとし、出力される補正映像信号３３とすると、数式１４となる。

ここで、照度レベル信号３２によるゲインＧ_lmは、例えば照度レベルを２５６階調とすると、照度レベル信号／２５６である。

数式１４によると、原画に対して補正量をゲインで調整しているが、本数式は一例を示すもので本数式に限るものではない。例えば、実施例１で示したＲｅｔｉｎｅｘ理論の原理である、映像Ｉは照明光Ｌと反射光ｒとの積で表されるという関係式Ｉ＝Ｌ・ｒを用いて、反射光ｒにゲインを加えることで、原画からの補正量を調整してもよい。ここで、照明光Ｌは、アンビエントフィルタ部１５５の出力及びディフューズフィルタ部１５３の出力に基づいて算出すればよい。数式１４に基づく処理の場合でも、関係式Ｉ＝Ｌ・ｒに基づく処理の場合でも、本実施例の適応制御部３０４は照明光成分を考慮した補正映像信号を出力することができる。

このように、外光の照度レベルが高いほど補正を強調することで、スクリーンに投影された映像中の被写体の光沢感が外光によって低下することを防止することができる。

なお、上述の例では、照度レベルとエッジ信号の両者を用いた適応制御を説明したが、どちらか一方のみに基づく適応制御でもそれぞれの効果を得ることができる。この場合、数式１４におけるゲインは一方のもののみで十分であり、他方のゲインは不要である。あわせて不要な構成は図１１から除いてかまわない。

以上の構成によれば、小振幅の粒状ノイズが含まれる領域ではノイズを強調しないという適応制御が可能である。また、外光が強い場合は、照度レベルに応じて強く補正し、外光がない場合は補正を行わないという外光による適応制御が可能となる。または、これらを組み合わせた適用処理が可能となる。

これにより、実施例２に係る映像処理装置によれば、実施例１の映像補正処理もより好適な映像補正処理が可能となる。

実施例１および２では、本発明の構成例の一例として、プロジェクタを用いた映像処理装置の例について説明した。

本実施例では、プロジェクタ以外の実装例として、表示パネル一体型表示装置である映像処理装置の例を説明する。

図１３は、本実施例の映像処理装置の構成図の例である。
図１と同様、映像入力信号１０を入力とし、例えば圧縮映像信号のデコーダ、ＩＰ変換、スケーラ等により内部映像信号１２に変換する入力信号処理部１１と、内部映像信号１２を入力とする映像補正部１００を有する。また、映像補正部１００より出力される補正映像信号１３を入力とする映像表示部５００とを有する。映像表示部５００は、入力した補正映像信号１３を表示画面の水平・垂直同期信号に基づいて表示制御信号１５を生成するタイミング制御部と、表示制御信号１５を受けて対応する画素領域に映像を表示するパネル２３で構成される。パネル２３はバックライトからの光の透過を画素毎に制御する液晶パネルでもよく、画素毎に自発光するプラズマディスプレイパネルや有機ＥＬパネルでもよい。視聴者は、パネル２３に表示される映像を直接観賞することとなる。

映像補正部１００は、実施例１で説明したとおり、従来技術に比べてより好適な映像補正処理を行うことが可能である。したがって、図１３の構成により、実施例１の効果を有する表示パネル一体型表示装置を提供することが可能となる。

また、図１３の構成のうち、映像補正部１００より前段の各処理部を図１０に示される実施例２の構成に変更してもよい。この場合、実施例２の効果を有する表示パネル一体型表示装置を提供することも可能である。

また、これらの表示パネル一体型表示装置において、入力信号処理部１１にテレビチューナ機能を追加し、映像入力信号１０をテレビ放送信号とすれば、より好適な映像補正処理を行うことが可能なテレビジョン受信装置を提供することが可能となる。

以上説明した本発明の実施例３に係る映像処理装置によれば、実施例１または実施例２の効果を有する表示パネル一体型表示装置を提供することが可能となる。

本実施例では、本発明のその他の実装例として、撮像装置である映像処理装置の例を説明する。

図１４は、本実施例の映像処理装置の構成図の例である。

本映像処理装置は、撮像光学系ユニット４００と、撮像光学系ユニット４００より出力される映像信号１２を入力とする映像補正部１００と、映像補正部１００より出力される補正映像信号１３を入力とする映像表示部５００と、同じく映像補正信号１３を入力とし、映像を記憶する、例えば不揮発性メモリ、光ディスク、ハードディスク等の記録媒体に記録する記録再生部４１で構成される。

ここで、映像補正部１００は、実施例１と同様の構成を有するものである。

光学系装置４００は、例えばＣｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（以下、ＣＣＤと呼ぶ）イメージセンサで、光線を集光するレンズ４０１と、集光した光線から映像出力４０３するＣＣＤ４０２と、ＣＣＤを制御し映像信号１２を出力するＣＣＤドライバ４０４で構成される。

映像表示部５００は、入力した補正映像信号１３を表示画面の水平・垂直同期信号に基づいて表示制御信号１５を生成するタイミング制御部と、表示制御信号１５を受けて対応する画素領域に映像を表示するパネル２３で構成される。なお、映像表示部５００で表示する映像は、ＣＣＤドライバ４０４からのリアルタイムの撮像映像でも良く、記録再生部４１が記録媒体に映像を記録したあとに当該記録媒体から再生した映像でも良い。

映像補正部１００は、実施例１で説明したとおり、従来技術よりも好適な映像補正処理を行うことが可能である。よって、図１４のような構成の撮像装置とすることにより、撮像映像についても、映像中の被写体の材質を考慮した映像補正を行うことが可能である。

また、記録部４１により、当該映像補正を行った撮像映像を記録することができる。記録部４１が、取り出し可能な記録媒体に当該映像補正を行った撮像映像を記録する構成とする場合は、他の装置において、当該記録媒体に記録された撮像映像を再生し、本発明による従来技術より好適な映像補正がなわれた映像を観賞することが可能である。

また、映像表示部５００により、ユーザは当該映像補正を行った撮像映像を鑑賞することができる。ユーザにとっては、質感がより好適に表現された映像として鑑賞でき、見やすいという利点がある。また、質感がより好適に表現された映像として撮像または記録できていることが確認することができるというメリットがある。

１１ 入力信号処理部
１４ タイミング制御部
４１ 記録再生部
１００ 映像補正部
１２０ 反射光検出部
１２１ スケール１によるフィルタ部
１２３ スケール２によるフィルタ部
１２５、１２６ 対数変換部
１３０ 反射光制御部
１３２ 指数変換部
１５０ 反射光検出部
１５１ スペキュラフィルタ部
１５３ ディフューズフィルタ部
１５５ アンビエントフィルタ部
１５７、１５９、１６１ 関数変換部
１６３ スペキュラ検出部
１６４ ディフューズ検出部
１８０ 反射光制御部
１８２ 逆関数変換部
１８３ スペキュラ補正ゲイン
１８４ ディフューズ補正ゲイン
２００ 光学系ユニット
２０１ 投射レンズ
２０２ 表示素子
２０３ 光源
３０２ エッジ信号
４０３ 映像
５００ 映像表示部
５０１ パネル
１０００ 映像処理装置
１００１ 映像処理装置

Claims (9)

1. 入力映像信号を入力する入力部と、
   前記入力映像信号を補正する映像補正部とを備え、
   前記映像補正部は、入力映像信号から鏡面反射成分と拡散反射成分とを抽出し、該抽出した前記鏡面反射成分及び前記拡散反射成分に対する演算結果に基づいて補正映像信号を生成する
   ことを特徴とする映像処理装置。
2. 請求項１に記載の映像処理装置であって、
   前記映像補正部は、抽出した前記鏡面反射成分と抽出した前記拡散反射成分とに重み付けを行って合成し、該合成結果に基づいて補正映像信号を生成する
   ことを特徴とする映像処理装置。
3. 請求項２に記載の映像処理装置であって、
   前記映像補正部は、抽出した前記鏡面反射成分と抽出した前記拡散反射成分とに重み付けを行う前に、それぞれ異なるゲイン調整処理を行う
   ことを特徴とする映像処理装置。
4. 請求項１乃至３に記載の映像処理装置であって、
   前記映像補正部は、前記入力映像信号から環境光成分を得る第１のフィルタ処理と、前記入力映像信号から環境光成分と拡散反射成分を含む成分を得る第２のフィルタ処理と、前記入力映像信号から環境光成分、拡散反射成分及び鏡面反射成分を含む成分を得る第３のフィルタ処理を行い、該３つのフィルタ処理の結果に基づいて、前記鏡面反射成分と前記拡散反射成分とを抽出する
   ことを特徴とする映像処理装置。
5. 請求項１乃至４に記載の映像処理装置であって、
   前記映像補正部は、前記入力映像中のエッジを検出するエッジ検出部を備え、
   該エッジ検出部の検出結果に応じて映像補正処理を変更することを特徴とする映像処理装置。
6. 請求項１乃至５に記載の映像処理装置であって、
   外光の照度を計測する照度センサを備え、
   前記映像補正部は、該照度センサの計測する外光の照度に応じて映像補正処理を変更することを特徴とする映像処理装置。
7. 請求項１乃至６に記載の映像処理装置であって、
   さらに光源と、前記映像補正部が生成した補正映像信号に応じて光源からの光束の透過または反射を制御する表示素子と、当該表示素子を透過または反射した光束を出力する投射レンズを備えてプロジェクタを構成することを特徴とする映像処理装置。
8. 請求項１乃至６に記載の映像処理装置であって、
   さらに前記映像補正部が生成した補正映像信号に応じて映像を表示する表示パネルを備えて表示装置を構成することを特徴とする映像処理装置。
9. 請求項１乃至６に記載の映像処理装置であって、
   前記入力部が、撮像レンズとセンサを有する撮像光学ユニットであり、前記入力映像信号は、前記センサからの出力信号に基づいて生成された信号であり、撮像装置を構成することを特徴とする映像処理装置。

Images