JP2010166580A - 画像処理装置および画像処理方法ならびに撮像装置 - Google Patents

Abstract

【課題】カラー画像とともに、偏光の方向および程度を表現する偏光画像を同時に取得することの可能な画像処理装置を提供する。
【解決手段】本発明の画像処理装置は、カラーモザイクフィルタ２０１、および、異なる少なくとも３種の角度の透過偏波面を有する複数の偏光子単位がカラーモザイクフィルタ２０１内の同一色（Ｇ）の複数の画素に設けられたパターン化偏光子２０２を有する単板カラー撮像素子をを備えている。また、この装置は、上記構成の単板カラー撮像素子を有するカラー偏光同時取得部１０１と、Ｇ画素において偏光子単位を透過した光の輝度と偏光子単位の透過偏波面の角度との関係を正弦関数で近似する偏光情報処理部１０３と、カラー輝度の補間を行うことにより注目画素で得られないカラー輝度を得てカラー輝度画像を生成するカラーモザイク補間部１０２を備えている。
【選択図】図１

Description

本発明は、被写体からのカラー情報と偏光情報を同時に取得できる画像処理装置および方法に関するものである。また、本発明は、このような画像処理に好適に用いられる撮像装置に関している。

近年のデジタルムービーカメラの進歩はめざましく、将来的には携帯電話のカメラにおいてもＨＤＴＶ画質が得られると予想されている。しかし、光学系や撮像素子が小型化すると、感度やレンズ回折限界などにより画像撮像の限界の問題が発生するため、将来的には、高精細化も限界に到達すると考えられる。その場合、不足する被写体の画像情報にコンピュータグラフィックス的処理を加えることが画質向上に有効になる。しかし、そのためには、被写体の３次元形状情報や、被写体を照明する光源など、画像生成過程における物理情報を取得しなくてはならない。形状情報の取得には、通常、レーザ光やＬＥＤ（Light Emitting Diode）光を用いるアクティブセンサや、２眼ステレオなどの距離計測システムが必要である。これらは大掛かりなシステムになるうえ、各種の制約がある。たとえばカメラと被写体との距離がせいぜい数ｍ程度までしかとれない、対象被写体が固形物で明るい拡散物体に限られるなどの制約である。これでは遠距離の屋外シーン撮影や髪の毛や衣服が重要な人物撮影には利用できない。

従来、完全にパッシブ（受動的）な被写体形状センシング方式として、偏光を利用する技術があった。これは非偏光の自然光を照射された被写体からの反射光（鏡面反射光、または拡散反射光）が、表面の向きや視点という幾何学的要因によって種々の部分偏光を呈することを利用するものである。この情報の取得のためには、被写体各画素の部分偏光状態を偏光画像として取得する必要がある。

特許文献１および非特許文献１では、輝度画像と被写体の部分偏光の画像を同時に取得するため複数の異なる偏光主軸を有するパターン化偏光子を撮像素子に空間的に配置することが開示されている。パターン化偏光子としては、フォトニック結晶や構造複屈折波長板アレイが利用されている。しかしながら、これらの技術ではモノクロ画像と偏光画像とが同時に取得できるのみであった。

特許文献２は、ベイヤーカラーモザイクにおけるＧ（グリーン）画素の一部に偏光フィルタを配置することにより、撮像素子の一部に偏光特性を持たせ、カラー画像と偏光情報とを同時に取得することを開示している。この技術では、カラー画像から鏡面反射成分を抑制した画像を得ている。この技術では、異なる２つの偏光画素の間にある差分を得るという単純操作が行われているため、被写体の部分偏光の情報を完全には取得できない。

特開２００７−８６７２０号公報 特開２００６−２５４３３１号公報

菊田、岩田：「偏光画像計測システム」、ＯｐｌｕｓＥ、Ｖｏｌ．２５、Ｎｏ．１１、Ｐ１２４１−１２４７、２００３

従来の技術では、被写体のカラー画像と被写体の部分偏光の偏光画像とを同時に取得することはできていない。このため、カラー動画を取得し、かつ時間的にずれのない形状情報を取得することはできなかった。

特許文献２は、カラー画像に一部偏光情報を加味してカラー画像を制御し、鏡面反射を抑制している。この技術では、図２４に示すように画素をベイヤーモザイク状に配置している。図２３において、Ｇ１およびＧ２は、いずれもＧ画素を示しているが、Ｇ１の位置には偏光子が配置され、Ｇ１の位置には偏光子が配置されていない。一方、Ｒ１およびＢ１は、それぞれ、Ｒ（赤）およびＢ（青）の画素を示しており、これらの画素位置には偏光子が設けられていない。すなわち、この画素配置では、Ｇ２画素のみが偏光画素として機能することになる。

特許文献２の装置による処理は、Ｇ１およびＧ２の画素位置における輝度差を定数倍し、それぞれ、Ｒ１、Ｇ１、Ｂ１という非偏光画素に加算する。これにより、カラー輝度値を制御することができる。この構成では、カラー画像および偏光情報を取得しているといっても、Ｇ２の画素位置には偏光子が設けられて本来のＧ画素とは異なるため、そのままカラーモザイク補間を行うとカラー画像上に色ずれが発生してしまう。

さらに２種類の偏光画素しか用いていないため、取得する部分偏光の情報が不完全である。その結果、各画素位置において、どの程度の部分偏光がいずれの方向に発生しているかは不明である。つまり完全な偏光情報の画像を取得できていない。

本発明は、上記課題を解決するためになされたものであり、正しくカラーモザイクが補間されたフルカラー画像を得るともに、偏光の方向および程度を表現する偏光画像を同時に取得することのできる画像処理装置および画像処理方法を提供することを目的とする。

また、本発明は、このような画像処理に好適に用いられる撮像装置を提供することを目的としている。

本発明の画像処理装置は、カラーモザイクフィルタ、および、異なる少なくとも３種類の角度の透過偏波面を有する複数の偏光子単位が前記カラーモザイクフィルタ内の同一色の複数の画素に設けられたパターン化偏光子を有する単板カラー撮像素子を含むカラー偏光取得部と、前記同一色の複数の画素において前記偏光子単位を透過した光の輝度と前記偏光子単位の透過偏波面の角度との関係を正弦関数で近似する偏光情報処理部と、カラー輝度の補間を行うことにより、相互に透過偏波面の角度が異なり、かつ隣接する３つの偏光子単位で形成される三角形領域を画素単位として、カラー輝度画像を生成するカラーモザイク補間部とを有する。

好ましい実施形態において、前記パターン化偏光子は、透過偏波面の角度が相互に異なる３種類の偏光子単位が隣接して配置された構成を有している。

好ましい実施形態において、前記カラーモザイクフィルタは、単一特定色の画素が千鳥格子（市松模様）状に配列された構成を有しており、前記偏光子単位は、前記市松模様状に配列された画素に配置されている。

好ましい実施形態において、前記カラーモザイクフィルタは、単一特定色の画素が市松模様状に配列された正方格子を４５度回転させた構成を有しており、前記偏光子単位は、前記市松模様状に配列された画素に配置されている。

好ましい実施形態において、各画素は八角形の形状を有している。

好ましい実施形態において、前記単一特定色は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）のうちのＧ（グリーン）である。

好ましい実施形態において、前記カラーモザイクフィルタは、各画素が六角形の形状を有する六方格子構造を有しており、前記偏光子単位は、前記配列された単一特定色の画素に配置されている。

好ましい実施形態において、前記カラーモザイク補間部は、カラー輝度を補間すべき画素の近傍において透過偏光面の角度が互いに６０°だけ異なる３種類の偏光子単位を有する同一色の画素で観測された輝度を平均化することにより偏光の効果を打ち消してカラー輝度を補間する。

本発明の画像処理方法は、カラー画素配列のうちの単一特定色の複数の画素に透過偏波面の角度が異なる３種類の偏光子単位が設けられた単板カラー撮像素子を用いて各画素の輝度を観測するステップと、前記単一特定色の透過偏波面の角度が異なる３種類の画素で観測された輝度から偏光情報を取得するステップと、前記単一特定色の透過偏波面の角度が異なる３種類の画素で形成される三角形領域を画素単位としてカラー輝度を補間することによりカラー輝度画像を生成するステップとを含む。

本発明の撮像装置は、カラーモザイクフィルタと、異なる３種類の角度の透過偏波面を有する複数の偏光子単位が前記カラーモザイクフィルタ内の単一特定色の複数の画素に設けられたパターン化偏光子と、前記カラーモザイクフィルタおよびパターン化偏光子を透過してきた光の輝度に応じた信号を画素単位で出力する単板カラー撮像素子とを備える。

好ましい実施形態において、前記カラーモザイクフィルタは、前記単一特定色の画素が市松模様状に配列された構成を有している。

好ましい実施形態において、前記カラーモザイクフィルタは、前記単一特定色の画素が市松模様状に配列された正方格子を４５度回転させた構成を有している。

好ましい実施形態において、各画素は八角形の形状を有している。

好ましい実施形態において、前記カラーモザイクフィルタは、各画素が六角形の形状を有する六方格子構造を有している。

本発明によれば、複数種類の偏光子単位をカラーモザイクフィルタの画素配列に組み合わせて使用するため、カラー輝度および偏光に関する情報を同時に取得し、処理することが可能になる。

また、本発明では、透過偏光面の角度が相互に異なり、かつ、隣接する３種類の偏光子単位で構成される三角形領域を画素単位とするため、透過偏光面の角度が相互に異なる４種類以上の偏光子単位で構成される領域を画素単位とする場合に比べると、より面積の小さな画素単位から局所的で精度の高い偏光情報を取得することが可能になる。

本発明における画像処理装置の構成を示すブロック図である。 本発明におけるカラー偏光取得部の構成を示す図である。 偏光子単位の３種類の偏光主軸の説明図である。 （ａ）および（ｂ）は、第１の実施形態のカラーフィルタおよびパターン化偏光素子の配列状態の説明図である。 （ａ）および（ｂ）は、第１の実施形態のカラーフィルタおよびパターン化偏光素子の配列状態の別の例の説明図である。 第１の実施形態における正弦関数状輝度変動と観測輝度点を説明する図である。 第１の実施形態における正弦関数の３種の未知パラメータを説明する図である。 第１の実施形態における三角形領域の集合とＧカラー輝度の補間方法を示す図である。 第１の実施形態における三角形領域の集合とＢカラー輝度の補間方法を示す図である。 第１の実施形態における三角形領域の集合とＲカラー輝度の補間方法を示す図である。 第１の実施形態におけるカラーモザイク補間部の動作を説明するフローチャートである。 第１の実施形態における偏光情報処理部の動作を説明するフローチャートである。 （ａ）は、球体であるプラスチック製ボールの被写体の入力画像であり、（ｂ）および（ｃ）は、それぞれ、（ａ）の被写体に対する偏光度画像ρ（ｘ、ｙ）および偏光位相画像φ（ｘ、ｙ）の例を示す画像である。 （ａ）および（ｂ）は、偏光度画像ρ（ｘ、ｙ）および偏光位相画像φ（ｘ、ｙ）の被写体上の数値変化を示す模式図である。 （ａ）から（ｃ）は、鏡面反射成分画像と拡散反射成分画像への分離の例を示す図である。 第２の実施形態におけるカラーフィルタおよびパターン化偏光子の配列、および単位画素の形状を示す図である。 第２の実施形態における三角形領域の集合と補間方法を示す図である。 第３の実施形態におけるカラーフィルタおよびパターン化偏光子の配列、および単位画素の形状を説明する図である。 第３の実施形態における三角形領域の集合を示す図である。 第３の実施形態における三角形領域の集合とＧカラー輝度の補間方法を説明する図である。 第３の実施形態における三角形領域の集合とＢカラー輝度の補間方法を説明する図である。 第３の実施形態における三角形領域の集合とＲカラー輝度の補間方法を説明する図である。 本発明による撮像装置の実施形態の構成を示すブロック図である。 従来技術の説明図である。

以下、図面を参照しながら本発明による画像処理装置および画像処理方法の実施形態を説明する。以下に説明する本発明の好ましい実施形態は、概略、次の構成を有している。
実施形態１：ベイヤーカラーモザイクのうち、Ｇ画素だけに異なる３種類の偏光子を配置する。
実施形態２：ベイヤーカラーモザイクを４５度回転させた構成において、Ｇ画素だけに異なる３種類の偏光子を配置する。
実施形態３：六角格子のカラーモザイク配列において、Ｇのみに異なる３種の偏光子を配置する。

（実施形態１）
図１は、本明細書で説明する本発明の実施形態のすべてに共通する基本的な構成を示すブロック図である。本実施形態の装置は、被写体からリアルタイムにカラー画像情報を取得すると同時に偏光画像情報を取得し、２種類の偏光画像（偏光度画像ρおよび偏光位相画像φ）として出力することができる。偏光度画像ρと偏光位相画像φは静止、動画のどちらの場合もありえる。

図１に示すレンズ１００を通った入射光は、カラー偏光取得部１０１に入射する。この入射光から、カラー偏光取得部１０１はカラー動画像と偏光情報画像のデータを同時に取得する。カラー偏光取得部１０１から出力されるカラーモザイク画像のデータは、モザイク画像フレームメモリ１０７に蓄積される。

モザイク画像フレームメモリ１０７からモザイク画像のデータが順に読み出され、カラーモザイク補間部１０２に送られて補間処理される。補間処理の結果は、一画素につき、ＲＧＢの３プレーン構成からなるカラー画像フレームメモリ１０４に蓄積され、適宜読み出しも行われる。

モザイク画像フレームメモリ１０７からは、画素信号が順に読み出され、偏光情報処理部１０３に送られる。これらの画素信号は、偏光情報処理部１０３で処理され、偏光度画像フレームメモリ１０５および偏光位相画像フレームメモリ１０６に格納される。偏光度画像フレームメモリ１０５からは偏光度画像（ρ）のデータが出力され、偏光位相画像フレームメモリ１０６から偏光位相画像（φ）のデータが出力される。

図２は、カラー偏光取得部１０１の基本的な構成を示す模式図である。図示されている例では、カラーモザイクフィルタ２０１およびパターン化偏光子２０２が、撮像素子画素２０３の前面に重ねて設置されている。図２は、概念的な図であってカラーモザイクフィルタ２０１とパターン化偏光子２０２の重ねの順番は図２と逆に、パターン化偏光子２０２がカラーモザイクフィルタ２０１の前面に重ねてあってもよく、またカラーフィルタ機能と偏光機能が融合した光学素子を用いた場合にはそれ自体で２種の機能を実現できるため重ねる操作自身が不要になる。

入射光２０４は、カラーモザイクフィルタ２０１およびパターン化偏光子２０２を透過して撮像素子に到達し、撮像素子画素２０３によって輝度が画素単位で観測される。本実施形態によれば、単板カラー撮像素子を用いてカラー情報および偏光情報の両方を同時に取得することができる。なお、パターン化偏光子２０２は、後に詳しく説明するように、透過偏波面の角度が相互に異なる偏光子単位（セグメント）を含む多数の偏光子単位によって構成される。個々の偏光子単位は、典型的には１画素に相当する大きさを有しているが、偏光子単位はカラーモザイクフィルタ２０１の全ての画素に配置する必要はない。パターン化偏光子２０２の配置では市松模様になっている。

このようなパターン化偏光子２０２は、例えば非特許文献１に記載されたフォトニック結晶を用いて実現することができる。フォトニック結晶の場合、その表面に形成された溝に平行な電場ベクトル（振動面）を持つ光がＴＥ波（Transverse Electric Wave, 電場成分が入射面に対し横向き）、垂直な電場ベクトル（振動面）を持つ光がＴＭ波（Transverse Magnetic Wave, 磁場成分が入射面に対し横向き）となる。そして、偏光子単位は、各波長帯域においてＴＭ波が透過、ＴＥ波が反射（透過せず）という偏光特性を示す。

図３は、パターン化偏光子２０２の各偏光子単位に模式的に描かれた斜め線の意味を示している。図３に示される各画素内の斜め線は、各画素上に設置された微小偏光板（偏光子単位）の偏光主軸方向を示している。ここで、「偏光主軸」とは、偏光子を透過する光の偏波面（透過偏波面）に平行な軸である。

偏光子単位は主軸方向に振動面を有する光を透過し、それに垂直な振動面を有する光を遮断する。本明細書では、偏光子番号１〜３の偏光子単位に、それぞれ、角度Ψ＝０°、６０°、１２０°の偏光主軸を割り当てている。偏光子単位の偏光透過率は、利用する光の波長に依存するため、カラーモザイクフィルタの透過波長帯にあわせて設計する。例えば符合「Ｇ１」で特定される偏光子単位は、「Ｇ」の波長帯域において、主軸方向が「１」（すなわち、角度Ψ＝０°）の方向の偏光を透過させるように設計されている。

図４は、本実施形態のカラー偏光取得部１０１における画素の配置を示している。図４（ａ）は、ベイヤー型カラーモザイクフィルタにおけるＧ画素の位置のみに「Ｇ１」〜「Ｇ３」の３種類の偏光子単位が配置されることを示している。この例では、Ｇの配列に注目した場合、縦方向にＧ１が配列された列４０１と、Ｇ２が配列された列４０２と、Ｇ３が配列された列４０３とがこの順番で周期的に並んでいる。行４０４では、横方向にＧ１、Ｇ３，Ｇ２がこの順番に交互に配列されている。また、行４０５では、行４０４と同様にＧ１、Ｇ３，Ｇ２がこの順番に交互に配列されているが、行４０４に対して３画素分だけ配列の位相が横方向にシフトしている。なお、Ｒ画素およびＢ画素の位置には偏光子単位が配置されていない。

図４には、５×５＝２５個の画素のみが示されているが、実際のカラー偏光取得部１０１では、ここに示す２５個の画素ブロックと同一の多数の画素ブロックが撮像面に平行な面内で周期的に配列されている。図４（ｂ）では、三角形Ｇ１−Ｇ２−Ｇ３の集合体を描いている。隣接する３種のＧ画素を頂点とする三角形領域は実際には微小であり、この三角形領域の内部で偏光情報は同一と考えられるため、この３種の偏光子単位で観測される輝度から以下の偏光情報を取得する。すなわち三角形が偏光情報取得の基本単位となる。したがって、本明細書では、三角形領域Ｇ１-Ｇ２-Ｇ３を撮像素子面上の物理的受光単位としての画素とは異なる仮想的な三角形画素と考える。本実施形態では、撮像面上の画素配列自身が正方格子であるため、仮想的な三角形画素は二等辺三角形となる。

図５は、本実施形態のカラー偏光取得部１０１における画素の配置の別の例を示している。この配置では、縦方向にＧ２が配列された列５０１と、Ｇ１が配列された列５０２と、Ｇ３が配列された列５０３とがこの順番で周期的に並んでいる。行５０４では、横方向にＧ２、Ｇ３，Ｇ１がこの順番に交互に配列されている。また、行５０５では、行５０４と同様にＧ２、Ｇ３，Ｇ１がこの順番に交互に配列されているが、行５０４に対して３画素分だけ配列の位相が横方向にシフトしている。三角形Ｇ１−Ｇ２−Ｇ３の構成は図４の配列における構成と同一である。

＜偏光情報＞
図６は、方向が異なる偏光主軸（Ψｉ＝０°、６０°、１２０°）を有する３種類の偏光子を透過したＧ光の輝度６０１〜６０３を示している。ここで、偏光主軸の回転角ψがψ_iのときにおける観測輝度をＩ_iとする。ただし、「ｉ」は、１以上Ｎ以下の整数、「Ｎ」はサンプル数とする。図６に示す例では、Ｎ＝３であるため、ｉ＝１、２、３となる。図６には、３個のＧ画素のサンプル（ψ_i、Ｉ_i）に対応する輝度６０１〜６０３が示されている。偏光主軸の角度Ψｉと輝度６０１〜６０３との関係は、周期＝π（１８０°）の正弦関数によって表現される。周期が固定された正弦関数が有する未知数は、振幅、位相、および平均値の３種しかなく、異なるΨにおける３つの輝度６０１〜６０３の観測により、１本の正弦関数カーブが完全に決定される。

偏光子単位の偏光主軸の角ψに対する観測輝度は、以下の式で表される。

ここで図７に示すようにＡ、Ｂ、Ｃは未知定数であり、それぞれ、偏光輝度の変動カーブの振幅、位相、平均値を表現している。３点の観測によって（式１）は、以下のような連立方程式になる。

未知数Ｃは均等な位相差を有する偏光画素輝度の平均値であるから、以下の（式３）のように決定される。

また、（式２）の連立方程式から、ＡおよびＢは、それぞれ、（式４）および（式５）に示すように決定される。

なお、本明細書における「偏光情報」とは、輝度の偏光主軸角度に対する依存性を示す正弦関数カーブにおける振幅変調度ρおよび位相情報φを意味する。以上の処理により個々の三角形領域Ｇ１−Ｇ２−Ｇ３ごとに正弦関数のＡ、Ｂ、Ｃの３パラメータが確定すると、各画素における偏光度ρを示す偏光度画像と各画素における偏光位相φを示す偏光位相画像が求められる。偏光度ρは、該当画素の光が偏光している程度を表し、偏光位相φは、正弦関数の最大値をとる角度位置を表す。この角度は、被写体からの反射光が内部拡散反射を起こしている場合の被写体の表面法線が存在する面の角度を、画像面内において表現する。なお、偏光主軸の角度は、０°と１８０°（π）は同一である。

値ρ、φ（０≦φ≦π）は、それぞれ、以下の（式６）および（式７）によって算出される。

なお、三角形領域Ｇ１−Ｇ２−Ｇ３ごとに上記偏光度と偏光位相が求められるということは、偏光度画像フレームメモリ１０５および偏光位相フレームメモリ１０６の画像が三角形画素の構成になることを意味する。

＜Ｇのカラー輝度の補間＞
図９は、図４（ｂ）あるいは図５（ｂ）における８個の三角形画素の集合を描いたものであり、三角形の各頂点（ａ）〜（ｉ）がＧの偏光画素Ｇ１，Ｇ２，Ｇ３のいずれかからなる９画素に対応する。本発明の好ましい実施形態では、図９に示すようにカラー輝度補間も三角形画素を単位として実施する。図に示す（ａ）（ｂ）（ｅ）（ｄ）によって構成される斜め正方形を上下に分割した三角形（ａ）（ｂ）（ｄ）のＧ輝度であるＧ_u、およ
び三角形（ｂ）（ｅ）（ｄ）のＧ輝度であるＧ_dは各頂点画素における観測輝度をＩ_a〜Ｉ_eとすると、以下の（式８）および（式９）によって求めることができる。

式８、式９における定数の２は、非偏光の光が直線偏光子を透過した場合に光量が１/
２になる現象の補正項である。また、これらの式中のＴは偏光子の透過率を示し、Ｔが１００％でないことによる補正項である。

同様に図８の全ての三角形領域におけるＧ輝度Ｇ_uとＧ_dが求められる。なお、これらの三角形画素の各々が１個の輝度を有する単位となる。

＜Ｂのカラー輝度の補間＞
図９は図４（ｂ）あるいは図５（ｂ）に示す三角形画素のＢのカラー輝度を取得するために必要な画素を示す図である。図９に示される９つの頂点（ａ）〜（ｉ）は、三角形画素の頂点を構成しており、Ｇの偏光画素１、２、３のいずれかに対応している。図９には、補間に必要なデータを取得するための画素位置として、上記の頂点（ａ）〜（ｉ）によって構成される三角形画素の外側の４つの頂点（α）（β）（γ）（δ）、さらに外側の頂点（μ）（ν）も図示されている。

図９において、点線で囲まれた矩形領域９０１〜９０４は、Ｂカラー輝度を有する正方形画素を示している。

Ｂ画素は、矩形領域９０１〜９０４内に位置しており、Ｂ画素の面積は三角形画素の面積の５０％を占めている。上下の三角形画素としてもこの値を採用する。この考え方に基づくと、図９においてＢ値が存在するのは、斜線をほどこした領域である。具体的には、斜め正方形（ｂ）（ｃ）（ｆ）（ｅ）、斜め正方形（ｅ）（ｈ）（ｇ）（ｄ）、三角形（α）（ｂ）（ａ）、三角形（ａ）（ｄ）（β）、三角形（ｆ）(γ)（ｉ）、三角形（ｈ）（ｉ）（δ）である。

Ｂ輝度が欠落した三角形領域は、斜め正方形（ａ）（ｂ）（ｅ）（ｄ）および斜め正方形（ｅ）（ｆ）（ｉ）（ｈ）に含まれる各々２個の白い領域で示される三角形である。これらの三角形画素におけるＢカラー輝度は、補間によって生成しなければならない。それには、矩形領域９０１〜９０４のＢカラー輝度を平均することによって補間すればよい。例えば矩形領域９０１のＢ輝度をＢ₉₀₁のように記載すると、以下の（式１０）によって
補間値を算出することができる。

ただし、斜め正方形の領域を２つ三角形画素に上下分割する必要がある。Ｂカラー輝度とＧカラー輝度とは相関を有することを使って、三角形画素毎にＢカラー輝度Ｂ_u、Ｂ_dを、以下の（式１１）によって計算する。

図１０は、図４（ｂ）あるいは図５（ｂ）に示す三角形画素のＲのカラー輝度を取得するために必要な画素を示す図である。補間に必要なデータとして、頂点（ａ）〜（ｉ）からなる三角形画素の外側のＧ画素位置である４つの頂点（ε）（ζ）（η）（θ）も描かれている。ここで、Ｒ画素が存在するのは、先ほどのＢ画素と同様の考え方によれば、斜線をほどこした領域である。具体的には、斜め正方形（ａ）（ｂ）（ｅ）（ｄ）、斜め正方形（ｅ）（ｆ）（ｉ）（ｈ）の位置、三角形（ε）（ｃ）（ｂ）、三角形（ｃ）（ζ）（ｆ）、三角形（ｄ）(ｇ)（η）、三角形（ｇ）（ｈ）（θ）である。

＜Ｒのカラー輝度の補間＞
図１０は図４（ｂ）あるいは図５（ｂ）に示す三角形画素のＲのカラー輝度を取得するために必要な画素を示す図である。補間に必要なデータとして、頂点（ａ）〜（ｉ）からなる三角形画素の外側のＧ画素位置である４つの頂点（ε）（ζ）（η）（θ）も描かれている。ここで、Ｒ画素が存在するのは、先ほどのＢ画素と同様の考え方によれば、斜線をほどこした領域である。具体的には、斜め正方形（ａ）（ｂ）（ｅ）（ｄ）、斜め正方形（ｅ）（ｆ）（ｉ）（ｈ）の位置、三角形（ε）（ｃ）（ｂ）、三角形（ｃ）（ζ）（ｆ）、三角形（ｄ）(ｇ)（η）、三角形（ｇ）（ｈ）（θ）である。Ｒ画素を持たない三角形画素の補間は、Ｂ画素の補間と同様にして、以下（式１２）（式１３）によって算出することができる。

以上の処理により、図４（ｂ）あるいは図５（ｂ）に示した三角形画素ごとに偏光度画像および偏光位相画像、ならびに（ＲＧＢ）フルカラー輝度画像が生成される。

カラー偏光取得部の画素構造と三角形画素画像を得た場合の画素構造とを重ねて表示してみると三角形画素と元になる正方形画素は面積的には等しい。しかし三角形画素を使わない場合、偏光情報やＧカラー輝度の補間結果が位置する中心座標位置が本来の正方格子の座標系からずれてくる。この処理が複雑化することが懸念されるために採用している。

次に、図１１を参照しながら、図１におけるカラーモザイク補間部１０２の動作を説明する。

まず、カラー偏光取得部１０１で取得されたカラーモザイク画像のデータがモザイク画像フレームメモリ１０７に格納されているものとする。ステップＳ１１０１においてモザイク画像のＧ輝度の画素の組（Ｇ１−Ｇ２−Ｇ３）が１単位として読み出される。

ステップＳ１１０２において、（式８）または（式９）を用いてＧ輝度が補間される。

ステップＳ１１０３おいて、カラー画像フレームメモリ１０４のＧプレーンに三角形画素としてＧ輝度が格納される。ステップＳ１１０４では、全てのＧ輝度の画素の組（Ｇ１−Ｇ２−Ｇ３）が終了したか否かが判定される。終了していない場合は、ステップ１１０１〜１１０４の処理が繰り返される。ステップＳ１１０４において「終了」が判定された場合、ステップＳ１１０５に進む。

次に、ステップＳ１１０５において、モザイク画像フレームメモリからＢ輝度とＲ輝度の画素を取得する。この取得は並列で実行されてもよい。ステップＳ１１０６においてＢ輝度においては（式１０）、Ｒ輝度については（式１２）を用いて三角形画素におけるＢ輝度とＲ基礎を算出する。ステップＳ１１０７においてＢ輝度が欠落した三角形画素については（式１１）、Ｒ輝度の欠落した三角形画素については（式１３）を用いて補間する。ステップＳ１１０８において、上記補間されたＢ輝度の三角形画素とＲ輝度の三角形画素をカラー画像フレームメモリ１０４のＢ，Ｒプレーンに格納する。

ステップＳ１１０９において、モザイク画像フレームメモリに含まれる全てのＢ輝度画素、Ｒ輝度画素について、上記の処理が終了したか否かが判定される。終了していないと判定された場合は、ステップＳ１１０５〜Ｓ１１０９までの処理が繰り返される。

以上の処理の結果、各画素における（ＲＧＢ）輝度値を有するカラー輝度画像Ｉ（ｘ、ｙ）のデータがカラー画像フレームメモリ１０４内に生成される。このＩ（ｘ、ｙ）の画像は、三角形画素構造ではあるが、通常のベイヤーカラーモザイクを用いた単板カラー撮像素子と同程度の色再現性を有するフルカラー画像が補間生成できる。

次に、図１２を参照しながら、図１の偏光情報処理部１０３の動作を説明する。

まず、カラー偏光取得部１０１で取得されたカラーモザイク画像のデータはモザイク画像フレームメモリ１０７に格納されているものとする。ステップＳ１２０１において、モザイク画像フレームメモリからＧ輝度画素（Ｇ１−Ｇ２−Ｇ３）の組が読み出される。次にＧ１、Ｇ２，Ｇ３という偏光輝度を使って、(式２)から(式５)を用いて正弦関数パラメータＡ，Ｂ、Ｃが決定される。

ステップＳ１２０３では、（式６）（式７）を用いて偏光度ρと偏光位相φを作成する。

ステップＳ１２０４では、生成された値を、偏光画像フレームメモリ１０５と偏光位相画像フレームメモリ１０６に三角形画素の位置に格納する。

以上の処理は、ステップＳ１２０５でモザイク画像フレームメモリの全画素が終了すると判定されるまで繰り返される。こうして、偏光度画像フレームメモリ１０５内に偏光度画像ρ（ｘ,ｙ）のデータが、また偏光位相画像フレームメモリ１０６内に偏光位相画像
φ（ｘ,ｙ）のデータが生成される。これらの画像のサイズは、その作成過程からわかる
ように、カラーモザイク画像の画像構造とは異なり、三角形画素の構造となる。結果としてＧ画素にのみパターン化偏光子を配置しただけにもかかわらずフルカラー画像Ｉ（ｘ、ｙ）と同じ画素構造および解像度にて偏光情報を得ることが可能になる。

なお、図１１および図１２の処理は、互いに独立しているため、これらの処理を並列的に実行しても良い。また、これらの処理は、ソフトウエアで実施されてもよく、同様の処理をハードウエアで実行してもよい。

本実施形態では、フォトニック結晶から形成したパターン化偏光子を用いているが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子を用いてもよい。

図１３（ａ）は、球体であるプラスチック製ボールの被写体の入力画像である。図１３（ｂ）および（ｃ）は、それぞれ、図１３（ａ）の被写体に対する、偏光度画像ρ（ｘ、ｙ）および偏光位相画像φ（ｘ、ｙ）の例を示している。図１３（ａ）、（ｂ）では、各画像において、偏光度ρ、偏光位相φが大きいほど、高い明度を示すように表示されている。

図１４（ａ）および（ｂ）は、図１３（ｂ）および（ｃ）の画像を説明するための模式図である。偏光度画像ρ（ｘ、ｙ）では、カメラの視線方向とボールの表面法線とが同一になる中心付近から方位１４０１の向きに画素位置が離れるほど、その画素の偏光度ρは増加する。また、ボールの表面法線がカメラの視線方向に対して９０°に近くなるボールの遮蔽エッジ（背景との境界）付近では、偏光度ρが最大になっている。図１４（ａ）では、この偏光度ρを等高線で模式的に表現した。

図１４（ｂ）の偏光位相画像φ（ｘ、ｙ）では、位相＝０°を示す画像の天地方向の垂線に対して偏光位相が１８０°周期で球体の周囲を反時計回りに矢印１４０２、１４０３の向きに単調増加していることがわかる。これら偏光情報画像によれば、偏光度ρと偏光位相φが、被写体の表面法線の２自由度の向きに相当していることがよくわかる。すなわち偏光情報が被写体の形状を推定することが可能になる。

なお、本実施形態では、被写体の反射光のうち拡散反射成分の偏光度画像と偏光位相画像を出力としているが、これは鏡面反射成分でもよく、その場合偏光位相φが９０°異なるものとなる。

また偏光情報としては、（ρ、φ）という組み合わせの他、図７の正弦関数から得られる情報であれば、他の情報の組であってもよく、その情報から生成される画像でもよい。たとえば偏光情報から誘電体被写体の拡散反射成分と鏡面反射成分を成分として分離することが応用面で重要である。これを本発明で実行するには、正弦関数パラメータのＡ，Ｃを用いる。

図１５（ａ）は鏡面反射成分と拡散反射成分の関係を正弦関数変動との関係で示している。そこでフレネル反射式から決定する一定の屈折率と照明入射角を有する鏡面反射の部分偏光比率（SpecularPFR）を仮にｒとすると、偏光情報がＧカラー成分から得られるため

となるから、これをもとにしてカラー輝度鏡面反射成分を以下のように求めることができる。

このようにして生成された画像例を図１５（ｂ）（ｃ）に示す。

（実施形態２）
以下、本発明による画像処理装置の第２の実施形態を説明する。

本実施形態の基本的構成も、図１のブロック図で示されるため、ここでも適宜、図１を参照する。

図１６は、本実施形態のカラー偏光取得部１０１における画素の配置を示している。本実施形態における画像処理装置の特徴的な点は、カラーフィルタ配列が実施形態１におけるカラーフィルタ配列とは異なっていることである。具体的には、図４あるいは図５に示すベイヤー型の正方格子配列を４５度回転させた配列と等価であり、Ｇ画素２個に対して、Ｒ，Ｂ画素がそれぞれ１個だけ配置されるベイヤー配列の性質は維持されている。個々の画素の形状は、受光面積を大きくするため、正方形ではなく八角形であってもよい。図１６には、八角形の形状を有する画素の代表例として、３つの画素Ｇ１、Ｂ、Ｇ３を模式的に拡大して記載している。

図１６に示すような画素配列を採用することにより、補間後のカラー画像、偏光度画像、偏光位相画像の画素配列構造が正立するため、画像処理に適した画像を生成することができる。

図１６の例では、Ｇ画素のみに「Ｇ１」〜「Ｇ３」の３種類の偏光子単位が配置され、Ｒ画素およびＢ画素の位置には偏光子単位が配置されていない。図１６には、３２個の画素のみが示されているが、実際のカラー偏光取得部１０１では、図に示す３２個の画素ブロックと同一の多数の画素ブロックが撮像面に平行な面内で周期的に配列されている。

図１７は、三角形Ｇ１−Ｇ２−Ｇ３の集合体を描いている。この三角形内では偏光情報は同一と考えられるため、この３種の偏光子単位で観測される輝度から上記の偏光情報を取得する。実施形態１と同様に、この三角形画素が偏光情報取得およびカラー輝度補間の基本単位となる。実際の補間処理や処理のフローチャートも、実施形態１について説明したとおりであるため、その説明は省略する。最終的に得られる画素構造は、図１７の正方格子となる。実施形態１では斜めになっていた画素構造が本実施形態では正立するため、処理に便利な構造となる利点がある。

（実施形態３）
以下、本発明による画像処理装置の第３の実施形態を説明する。

本実施形態の基本的構成も図１のブロック図で示されるため、ここでも適宜、図１を参照する。

図１８は、本実施形態のカラー偏光取得部１０１における画素の配置を示している。本実施形態の画像処理装置で特徴的な点はパターン化偏光子を追加する基礎になるカラーフィルタ配列が実施形態１や２とは以下の点で異なることである。
１） 正方格子に基づくものではなく、六角格子に基づく配列である。これは画素が半画素ずつずれた配列を意味する。
２） Ｇ画素、Ｂ画素、Ｒ画素の出現頻度が皆等しい。

このようなカラーモザイクフィルタを基礎として、Ｇ画素のみに３種類の偏光子Ｇ１，Ｇ２，Ｇ３を設置している。図１８には、９×５＝４５個の画素のみが示されているが、実際のカラー偏光取得部１０１では、図に示す４５個の画素ブロックと同一の多数の画素ブロックが撮像面に平行な面内で周期的に配列されている。

各画素単位の形状は正方形ではなく、より受光面積を有効に使える六角形であってもよい。図１８には、六角形の形状を有する画素の代表例として、３つの画素Ｂ、Ｇ３、Ｒを模式的に拡大して記載している。

図１８に示す配列では、情報取得単位となる三角形の形状が第１、２の実施形態に比べて正三角形に近く、３種の偏光画素からの情報取得において偏りが少ないという利点を有する。

図１９は、三角形Ｇ１−Ｇ２−Ｇ３の集合体を描いている。この２等辺三角形の３辺の長さは、以下の（式１６）に示すとおりである。

一方、第１、２の実施の形態の三角形の３辺は、以下の（式１７）に示すとおりである。

この局所的な三角形内では偏光情報は同一と考えられるため、この３種の偏光子単位で観測される輝度から以下の偏光情報を取得することができる。すなわち、この三角形が偏光情報取得およびカラー輝度補間の基本単位となることは、第１、第２の実施の形態と同様である。

＜偏光情報＞
図１９の構成から判る通り、Ｇ色のカラーのみで異なる３種類の偏光情報を有する三角形領域から１つの偏光情報が得られる。他の実施形態について詳しく説明したように、本実施形態でも、平面を三角形領域の画素の集合体として偏光度画像と偏光位相画像情報が得られる。

＜Ｇのカラー輝度の補間＞
図２０に示す点(ａ)〜（ｉ)は、図１９の三角形の集合体の頂点を意味する。したがっ
て、各三角形を１つの画素とみなして、各三角形画素のＧカラー輝度を、３つの頂点に位置するＧ１，Ｇ２，Ｇ３の平均値として補間することができる。例えば、点（ｂ）（ｆ）（ｅ）を頂点とする三角形画素のＧカラー輝度をＧ_b-f-eと表す場合、輝度Ｇ_b-f-eは、以下の（式１８）によって計算することができる。

ここで、Ｉ_b、Ｉ_f、Ｉ_eは、それぞれ、点（ｂ）、（ｆ）、（ｅ）に位置するＧ画素で
観測されるＧカラー輝度である。

＜Ｂ、Ｒのカラー輝度の補間＞
図２１、図２２は、図１９における三角形の集合を描いたものである。図２１、図２２には、頂点がＧの偏光画素Ｇ１，Ｇ２，Ｇ３のいずれかに対応する点（ａ）〜（ｉ）の９画素が示されている。ここで、Ｂカラー輝度またはＲカラー輝度が欠落した三角形領域は、周囲の三角形から補間する。この補間は、Ｂカラー輝度の補間を行う場合、図２１の矢印で示すように、周囲の３種類の三角形領域を用いて行われる。Ｒカラー輝度を補間する場合は、図２２の矢印で示すように周囲の３種類の三角形領域を用いて行う。

例えば、点（ｂ）（ｆ）（ｅ）を頂点とする三角形画素のＢカラー輝度をＢ_b-f-eと表
す場合、輝度Ｂ_b-f-eは、以下の（式１９）によって計算することができる。

また、例えば、点（ｅ）（ｈ）（ｄ）を頂点とする三角形画素のＢカラー輝度をＢ_b-f-eと表す場合、輝度Ｒ_e-h-dは、以下の（式２０）によって計算することができる。

以上の処理によって図１９に示した三角形領域ごとに偏光度画像と各画素における偏光位相φを示す偏光位相画像、および（ＲＧＢ）フルカラー輝度画像が生成される。

上記の各実施形態は、図１に示すように、カラー偏光取得部１０１のみならず、カラーモザイク補間部１０２などの画像処理部を備えているが、本発明は、そのような画像処理装置としてではなく、撮像装置としても実現可能である。すなわち、図２に例示するカラーモザイクフィルタ２０１、パターン化偏光子２０２、及び撮像素子画素２０３を備える撮像装置として本発明を実施することができる。

図２３は、本発明による撮像装置の実施形態の構成を示すブロック図である。

本実施形態の撮像装置２３２は、実施形態１〜３におけるレンズ１００、カラー偏光取得部１０１、およびモザイク画像フレームメモリ１０７を備え、更にモザイク画像フレームメモリ１０７のデータを外部に出力するための出力部１０８ａを備えている。

本実施形態におけるレンズ１００、カラー偏光取得部１０１、およびモザイク画像フレームメモリ１０７の構成および動作は、実施形態１〜３について説明した通りであるため、ここでは説明を繰り返さない。出力部１０８ａは、モザイク画像フレームメモリ１０７に記録されているデータを読出し、外部に出力する機能を有している。

本実施形態における撮像装置２３２から出力される信号は、図２３に示す処理装置２３４に入力される。図２３に示す処理装置２３４では、入力部１０８ｂが撮像装置２３２からの信号を受け取り、フレームメモリ１０９にデータを記録する。フレームメモリ１０９からはモザイク画像のデータが順に読み出され、カラーモザイク補間部１０２に送られて補間処理される。補間処理の結果は、一画素につき、ＲＧＢの３プレーン構成からなるカラー画像フレームメモリ１０４に蓄積され、適宜読み出しも行われる。また、フレームメモリ１０９から画素信号が順に読み出され、偏光情報処理部１０３に送られる。これらの画素信号は、偏光情報処理部１０３で処理され、偏光度画像フレームメモリ１０５および偏光位相画像フレームメモリ１０６に格納される。偏光度画像フレームメモリ１０５からは偏光度画像（ρ）のデータが出力され、偏光位相画像フレームメモリ１０６から偏光位相画像（φ）のデータが出力される。

処理装置２３４は、例えば図１２に示すような処理を実行するソフトウェアプログラムを内蔵した汎用コンピュータであっても良いし、本発明の実施のために製造された処理装置であってもよい。

本発明の画像処理装置および画像処理方法は、被写体からのカラー情報と偏光情報を同時に取得できるため各種デジタルスチルカメラ、デジタルムービーカメラ、監視カメラ、車載搭載カメラなどに適用可能である。

１００ レンズ
１０１ カラー偏光取得部
１０２ カラーモザイク補間部
１０３ 偏光情報処理部
１０４ カラー画像フレームメモリ
１０５ 偏光度画像フレームメモリ
１０６ 偏光位相画像フレームメモリ
１０７ モザイク画像フレームメモリ

Claims (11)

1. カラーモザイクフィルタ、および、異なる少なくとも３種類の角度の透過偏波面を有する複数の偏光子単位が前記カラーモザイクフィルタ内の同一色の複数の画素に設けられたパターン化偏光子を有する単板カラー撮像素子を含むカラー偏光取得部と、
   前記同一色の複数の画素において前記偏光子単位を透過した光の輝度と前記偏光子単位の透過偏波面の角度との関係を正弦関数で近似する偏光情報処理部と、
   カラー輝度の補間を行うことにより、相互に透過偏波面の角度が異なり、かつ隣接する３つの偏光子単位で形成される三角形領域を画素単位として、カラー輝度画像を生成するカラーモザイク補間部と、
   を有する画像処理装置。
2. 前記パターン化偏光子は、透過偏波面の角度が相互に異なる３種類の偏光子単位が隣接して配置された構成を有している請求項１に記載の画像処理装置。
3. 前記カラーモザイクフィルタは、単一特定色の画素が市松模様状に配列された構成を有しており、
   前記偏光子単位は、前記市松模様状に配列された画素に配置されている請求項１に記載の画像処理装置。
4. 前記カラーモザイクフィルタは、単一特定色の画素が市松模様状に配列された正方格子を４５度回転させた構成を有しており、
   前記偏光子単位は、前記市松模様状に配列された画素に配置されている請求項１に記載の画像処理装置。
5. 各画素は八角形の形状を有している請求項４に記載の画像処理装置。
6. 前記単一特定色は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）のうちのＧ（グリーン）である請求項３に記載の画像処理装置。
7. 前記単一特定色は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）のうちのＧ（グリーン）である請求項４に記載の画像処理装置。
8. 前記カラーモザイクフィルタは、各画素が六角形の形状を有する六方格子構造を有しており、
   前記偏光子単位は、前記配列された単一特定色の画素に配置されている請求項１に記載の画像処理装置。
9. 前記カラーモザイク補間部は、カラー輝度を補間すべき画素の近傍において透過偏光面の角度が互いに６０°だけ異なる３種類の偏光子単位を有する同一色の画素で観測された輝度を平均化することにより偏光の効果を打ち消してカラー輝度を補間する、請求項１に記載の画像処理装置。
10. カラー画素配列のうちの単一特定色の複数の画素に透過偏波面の角度が異なる３種類の偏光子単位が設けられた単板カラー撮像素子を用いて各画素の輝度を観測するステップと、
    前記単一特定色の透過偏波面の角度が異なる３種類の画素で観測された輝度から偏光情報を取得するステップと、
    前記単一特定色の透過偏波面の角度が異なる３種類の画素で形成される三角形領域を画素単位としてカラー輝度を補間することによりカラー輝度画像を生成するステップと
    を含む画像処理方法。
11. カラー画素配列のうちの単一特定色の複数の画素に透過偏波面の角度が異なる３種類の偏光子単位が設けられた単板カラー撮像素子を用いて各画素の輝度を観測するステップと、
    前記単一特定色の透過偏波面の角度が異なる３種類の画素で観測された輝度から偏光情報を取得するステップと、
    前記単一特定色の透過偏波面の角度が異なる３種類の画素で形成される三角形領域を画素単位としてカラー輝度を補間することによりカラー輝度画像を生成するステップと
    を画像処理装置に実行させるプログラム。

Images